Journal of Broadcast Engineering
[ 특집논문 (Special Paper) ]
- Vol. 28, No. 1, pp.79-89
ISSN: 1226-7953 (Print) 2287-9137 (Online)
Print publication date 30 Jan 2023
Received 05 Dec 2022 Revised 28 Dec 2022 Accepted 28 Dec 2022
DOI: https://doi.org/10.5909/JBE.2023.28.1.79

광학 모듈 어레이를 이용한 넓은 시야 부피의 다시점 볼 렌즈 디스플레이

이건희a) ; 허대락b) ; 박정혁a) ; 정민우b) ; 한준구a), b),
a)경북대학교 전자공학부
b)경북대학교 대학원 전자전기공학부
Large-view-volume Multi-view Ball-lens Display using Optical Module Array
Gunhee Leea) ; Daerak Heob) ; Jeonghyuk Parka) ; Minwoo Jungb) ; Joonku Hahna), b),
a)School of Electronics Engineering Kyungpook National University
b)School of Electronic and Electrical Engineering, Kyungpook National University

Correspondence to: 한준구(Joonku Hahn) E-mail: jhahn@knu.ac.kr Tel: +82-53-950-5514

Copyright © 2023, The Korean Institute of Broadcast and Media Engineers
This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.

초록

다시점 디스플레이는 관찰자의 위치에 따라 적절한 시점의 영상을 제공할 수 있어 시청자에게 입체적인 효과를 줄 수 있는 가장 실용적인 기술로 여겨진다. 하지만 대부분의 다시점 디스플레이는 평면 형태로서 시청자가 전방의 제한된 시야각 내에서만 입체 영상을 볼 수 있는 단점이 있다. 본 논문에서는 시청 영역을 360도로 확장하여 완전 시차 시차를 제공하는 구 대칭성을 가지는 볼 렌즈를 적용한 광학계로 구성된 구형 디스플레이를 제안하였다. 제안한 시스템에서 각각의 프로젝션 렌즈는 소형 모듈화하여 어레이로 구성할 수 있으며 모듈 어레이를 볼 렌즈 주위에 구면으로 배치하여 수직, 수평 시차를 제공할 수 있다. 적용된 광학 모듈을 통해 볼 렌즈 내부 중앙에 이미지가 결상되고, 사용자는 디스플레이의 시야창을 통해 선명한 영상을 시청할 수 있다. 따라서 볼 렌즈의 구면 수차를 극복하여 넓은 시야 부피를 제공하는 360도 완전 시차 디스플레이의 실현 가능성을 실험적으로 확인하였다.

Abstract

A multi-view display is regarded as the most practical technology to provide a three-dimensional effect to a viewer because it can provide an appropriate viewpoint according to the observer's position. But, most multi-view displays with flat shapes have a disadvantage in that a viewer watches 3D images only within a limited front viewing angle. In this paper, we proposed a spherical display using a ball lens with spherical symmetry that provides perfect parallax by extending the viewing zone to 360 degrees. In the proposed system, each projection lens is designed to be packaged into a small modular array, and the module array is arranged in a spherical shape around a ball lens to provide vertical and horizontal parallax. Through the applied optical module, the image is formed in the center of the ball lens, and 3D contents are clearly imaged with the size of about 0.65 times the diameter of the ball lens when the viewer watches them within the viewing window. Therefore, the feasibility of a 360-degree full parallax display that overcomes the spherical aberration of a ball lens and provides a wide field of view is confirmed experimentally.

Keywords:

Multi-view display, Full-parallax display, Geometric aberration, Optical design

I. 서 론

3차원 디스플레이는 시청자에게 입체적인 효과를 줄 수 있어 미래지향적인 디스플레이로 주목받고 있으며, 3차원 인식 정보를 기반으로 하는 다양한 3차원 디스플레이의 연구 개발이 진행되고 있다[1-2]. 양안시차를 기반으로 하는 다시점 디스플레이는 관찰자의 위치에 따라 적절한 시점의 영상을 제공할 수 있어, 3차원 디스플레이를 구현하는 가장 실용적인 기술로 여겨졌다[3-4]. 그 중 대표적으로 렌티큘러 렌즈를 사용한 방식은 수평 방향의 서로 다른 시점을 각각의 렌즈에 배치하여 수평 시차를 제공하는 다시점 디스플레이로서 이미 상업적으로 널리 사용되고 있다[5-7]. 하지만 대부분의 다시점 디스플레이는 평면형 디스플레이에 렌즈 어레이를 부착시키는 형태로 구현되어 있어[8-9], 시청자가 전방의 제한된 시야각 내에서만 입체 영상을 볼 수 있는 단점이 있다.

시청 영역을 360도로 확장하기 위하여 평면형 구조에서 벗어나 시차 격벽 방식을 사용한 원기둥 형태의 디스플레이 구조가 제안되었다[10-12]. 평면형 다시점 디스플레이의 문제인 좁은 시청각을 360도로 확장하는 방법으로써 디스플레이 시스템은 회전하는 시차 격벽과 동기화된 다시점 영상을 방사하는 프로젝션 광학계로 구성되어 있다. 하지만 이러한 방법은 원기둥 모양의 디스플레이로 수평 시차만 제공할 수 있다. 따라서 이상적인 수평과 수직 시차 모두를 동시에 제공하기 위해서는 대칭적 구조를 가진 구면 디스플레이가 요구된다.

전 방향 시차를 제공하기 위해서 구 대칭성을 가지는 볼 렌즈를 적용한 광학계로 구성된 구형 디스플레이가 연구되었다[13]. 이 시스템에서는 프로젝션 광학계와 2축 스캐너를 사용하여 수직, 수평 시차를 제공하고, 볼 렌즈 내부에 뷰 볼륨을 형성하여 3차원 영상이 볼 렌즈 안에 있는 실감 효과를 줄 수 있다. 하지만 해당 시스템은 프로젝션 광학계로 시야각이 제한되는데, 프로젝션 광학계를 소형화하기 어렵고, 플리커링을 없애기 위하여 고속 동작하는 디스플레이 소자와 스캐너가 필요한 단점이 있다.

따라서 본 논문에서는 스캐너를 사용한 시분할 방식이 아닌 공간분할 방식을 적용하여 완전 시차 다시점 볼 렌즈 디스플레이를 제안하였다. 제안한 시스템에서 각각의 프로젝션 렌즈는 소형 모듈화하여 어레이로 구성할 수 있으며 모듈 어레이를 디스플레이의 형태에 맞게 구면으로 배치하여 수직, 수평 시차를 제공할 수 있는 장점이 있다. 그림 1은 제안한 방법으로 볼 렌즈와 모듈 어레이를 배치하여 시청자가 탁자 위를 내려보는 방향으로 볼 렌즈 내부에 형성된 입체영상을 볼 수 있는 디스플레이의 개념도를 보여주고 있다. 볼 렌즈는 구면 곡률을 가지기 때문에 볼 렌즈 내부에 형성되는 3차원 컨텐츠가 넓은 시야 부피를 가지는 경우 심각한 상면 만곡 수차가 발생한다. 본 논문에서는 이러한 수차를 보상하는 프로젝션 소형 모듈 광학계를 설계하였고, 이를 어레이로 구성하여 360도 다시점 디스플레이의 실현 가능성을 확인하였다.

그림 1.

광학 모듈 어레이를 이용한 다시점 볼 렌즈 디스플레이의 개략도Fig. 1. Schematic of the multi-view ball-lens display using optical module array


Ⅱ. 광학 모듈 어레이를 이용한 다시점 볼 렌즈 디스플레이

프로젝션 광학계 어레이를 기반으로 하는 다시점 디스플레이는 사용자가 관찰하는 영상을 형성하는 방법에 따라 크게 두 가지로 나누어진다. 하나는 사용자가 관찰하는 영상 전체를 하나의 프로젝션 광학계에서 투사된 이미지와 같도록 설계하는 방법이고 다른 하나는 사용자가 관찰하는 영상이 다수의 프로젝션 광학계에서 투사된 이미지들의 부분의 합이 되도록 설계하는 방법이다. 일반적인 평판 형태의 다시점 디스플레이에서 전자의 방법은 사용자가 하나의 투사광학계를 통해서 영상을 관찰하므로 수차로 인한 영상의 왜곡이 작은 장점이 있지만 프로젝션 광학계가 형성하는 시야창이 작다. 그러므로 사용자의 관찰 위치가 이동함에 따라 다음 투사광학계가 형성하는 시야창을 통해 영상을 관찰한다. 그러므로 여러 투사광학계의 시야창을 통합해 주기 위한 광학계의 개구수가 높아야 하는 단점이 존재한다. 반면 후자의 방법은 프로젝션 광학계의 개수를 단순히 늘리면 사용자가 수평 방향으로 관찰할 수 있는 시야창이 넓어지는 장점이 있다. 하지만 사용자가 관찰하는 영상이 다수의 프로젝션 광학계를 통해서 형성되므로 각각의 프로젝션 광학계의 왜곡 수차에 의해 합쳐진 영상의 화질 저하가 심각한 단점이 있다.

본 논문에서 제안한 다시점 볼 렌즈 디스플레이는 하나의 투사광학계가 하나의 시점을 형성하도록 설계되었고, 볼 렌즈가 구 대칭성을 가지기 때문에 개구수에 의한 제한에서 자유로워 완전 시차 360도 시야각을 제공할 수 있다. 제안한 시스템에서는 시점에 해당하는 이미지를 투사하기 위한 광학 모듈을 설계하였고, 광학 모듈을 볼 렌즈를 중심으로 정렬하여 관찰 방향에 따라 다른 시차의 이미지를 제공하도록 구성하였다. 광학 모듈은 이미지를 생성하는 디스플레이 소자인 spatial light modulator (SLM)와 프로젝션 렌즈로 구성되며, 하나의 SLM에서 생성한 기초 영상은 프로젝션 렌즈에 의하여 투사되어 볼 렌즈 내부에 결상된다. 그림 2는 완전 시차를 제공하기 위하여 볼 렌즈를 중심으로 광학 모듈이 배치된 다시점 볼 렌즈 디스플레이의 레이아웃을 보여준다. 여기에서 프로젝션 광학계로 구성된 광학 모듈은 각각 하나의 시점을 생성하므로 사용자에게 양안시차를 제공하기 위해서는 광학 모듈 간의 거리가 충분히 작을 필요가 있다.

그림 2.

구형으로 배치된 광학 모듈 어레이와 볼 렌즈 내부에 형성된 뷰 볼륨Fig. 2. View volume in a ball lens with a spherically arranged optical module array

그림 3은 프로젝션 광학계에서 나온 광선이 볼 렌즈에 의해 시야창을 형성하는 개략도를 보여주고 있다. 프로젝션 광학계의 프로젝션 기준점 A를 통과한 광선은 볼 렌즈를 거쳐 시점 B에 모인다. 즉 볼 렌즈에 의하여 기준점 A가 시점 B로 결상되도록 설계되었다. 이때 기준점 A에서 볼 렌즈 앞면까지의 거리와 볼 렌즈 뒷면에서 시점 B까지의 거리가 d로 동일하다면 인접한 프로젝션 광학계 사이의 거리가 시점 간의 거리가 동일하다.

그림 3.

볼 렌즈에 의해 형성된 시야창의 개략도Fig. 3. Schematic of the generated viewing window by a ball lens

프로젝션 렌즈와 광축이 만나는 점 A, 볼 렌즈의 중심점 O, 그리고 A에서 뻗어 나온 빛이 볼 렌즈와 만나는 점이 이루는 삼각형에서, 삼각형의 변의 길이와 각도는 다음과 같은 관계를 갖는다.

여기서 θ1θ2는 입사각과 굴절각에 대응되며, 해당 식에 근축 근사를 적용하여 광축 상에서 볼 렌즈 표면과 프로젝션 렌즈 또는 시야창 간의 거리(d), 볼 렌즈의 반지름 길이(R), 공기와 렌즈의 굴절률(n1,n2)가 다음과 같은 관계를 만족한다.

분석된 볼 렌즈의 굴절률(n2)는 1.5의 값을 가지므로 볼 렌즈 표면과 프로젝션 렌즈 또는 시야창 간의 거리(d)가 볼 렌즈의 지름(2R)과 같은 상황을 기준으로 설계를 진행하였다. 볼 렌즈의 경우 근축 근사를 적용하기에는 광축에서 개구의 측면까지 곡률의 변화가 크지만 이러한 근사 방법은 시스템을 초기 설계할 때 다른 광학계와 역할을 직관적으로 설명하는데 도움이 된다.


Ⅲ. 넓은 시야 부피 형성을 위한 광학 모듈 설계

제안하는 다시점 볼 렌즈 디스플레이는 볼 렌즈가 가지는 구 대칭성을 이용하여 모듈을 어레이로 곡면에 배치하여 넓은 시야각을 제공하도록 설계되었다. 각 모듈은 3차원 영상의 시점 정보를 제공하기 위한 SLM과 이미지를 볼 렌즈 중심에 결상하는 프로젝션 렌즈로 구성된다. 본 논문에서 제안하는 프로젝션 광학계는 볼 렌즈 중심에 영상을 결상시키고, 사용자가 시점의 정보를 인지할 수 있는 시야창을 형성하는 역할을 한다. 특히, 프로젝션 광학계는 볼 렌즈에서 필연적으로 존재하는 구면 수차를 보정하는 유일한 광학 부품이며, 영상의 품질을 결정하는데 주요한 역할을 한다.

그림 4는 볼 렌즈로 인해 발생하는 기하 수차에 대한 시뮬레이션 결과를 보여주고 있다. 그림에서는 이미지를 생성하는 SLM 이미지를 수정구슬 내부에 결상하는 한 개의 프로젝션 렌즈에 대한 레이아웃을 보여주고 있다. 사용된 프로젝션 렌즈는 수차가 없는 이상적인 렌즈를 가정하였다. 볼 렌즈의 중심을 향하는 필드는 구 대칭성에 의해 볼 렌즈 표면에서 굴절되지 않고 입사한다. 따라서 프로젝션 렌즈에 의해 결상되는 이미지의 위치는 광축에서 일반적인 렌즈 공식에 의해 결정된다.

그림 4.

이상적인 프로젝션 렌즈에 의해 형성된 볼 렌즈 내부 이미지의 상면 만곡Fig. 4. Field curvature of the image surface inside of a ball lens with an ideal projection lens

d1은 SLM과 프로젝션 렌즈 사이의 거리인 물체 거리이며, 이미지 거리는 프로젝션 렌즈에서 볼 렌즈까지의 거리인 d2와 볼 렌즈의 반지름 R의 합이다. fprojection은 프로젝션 렌즈의 초점거리다.

여기에서 프로젝션 렌즈를 이상적인 렌즈로 가정하였으므로 어떤 수차도 존재하지 않지만, 볼 렌즈의 구면이 갖는 큰 수차로 인하여 결국 볼 렌즈 내부의 결상 이미지는 상당한 상면 만곡을 가지므로 관찰자가 시청하게 되는 영상은 심하게 왜곡된다. 따라서 한 시점의 영상의 품질을 향상하기 위해서는 프로젝션 렌즈가 상면 만곡을 보상하도록 설계되어야 한다. 그리고 구면 렌즈의 개구는 볼 렌즈에 의해 전달되고, 이는 디스플레이에서 시야창의 역할을 한다.

그림 5는 프로젝션 렌즈의 시야창 역할 및 상면 만곡 보상 역할을 바탕으로 설계한 시스템을 보여주고 있다. 그림 5(a)는 프로젝션 렌즈를 보여주고 있는데, 프로젝션 렌즈는 초점거리가 짧은 렌즈로 (+)의 상면 만곡을 갖는 특징이 있다. 그림 4에서 이상적인 렌즈가 어떤 수차도 없었던 것과 대비하여 사용한 렌즈는 큰 상면 만곡을 갖는다. 이러한 상면 만곡은 결과적으로 볼 렌즈에 의해 발생하는 (-)의 상면 만곡을 상쇄하는 역할을 할 수 있다. 본 논문에서 사용한 프로젝션 렌즈는 에드몬드 社의 63.5 mm의 초점거리를 갖는 더블렛 렌즈이다. 그림 5(b)는 프로젝션 렌즈를 적용하였을 때 상면 만곡이 보상된 것을 알 수 있다. 이 경우 볼 렌즈의 중심에 영상이 맺히게 되며, 그림 4에서 보인 결과와 달리 상면 만곡이 거의 보상되었다. 그리고 사용된 프로젝션 렌즈의 개구는 앞서 분석한 볼 렌즈의 근사한 수식처럼 관찰자 측면에서 출사동의 역할을 하고, 이는 시야창이 되어 관찰자에게 제한된 시야각을 제공한다. 이때, 프로젝션 렌즈의 개구로부터 볼 렌즈의 거리와 볼 렌즈로부터 시야창까지의 거리는 동일하지 않다. 이러한 차이는 다름 아닌 상용 렌즈를 통해 상면 만곡을 보상하기 위해서 생긴 선택적 제한으로 인한 것이며, 원하는 시청 거리로 변경하도록 프로젝션 렌즈를 설계하는 것이 가능하다.

그림 6그림 5(b)를 바탕으로 구성한 프로토타입 볼 렌즈 디스플레이와 촬영된 영상이다. 그림 6(a)의 프로토타입 볼 렌즈 디스플레이는 좌안 및 우안에 해당하는 2개의 시점을 제공하며, 볼 렌즈 중심을 기준으로 약 9.8도의 간격으로 배치되어 있다. 사용된 모듈은 2개의 모듈로 시스템의 체적을 줄이기 위해 폴딩 미러를 배치하였다. 실험을 위한 프로토타입 볼 렌즈 디스플레이는 그림 5(a)의 시야창과 같이 공간상에 2개의 시야창을 형성하고 있다. 그림 6(b)6(c)는 각각 좌안 및 우안에 제공되는 주사위의 시점 영상을 보여준다. 이때 주사위의 1의 눈의 면적은 좌안 영상인 그림 6(b)에서 더 크고, 주사위의 2의 눈의 면적은 우안 영상인 그림 6(c)에서 더 크다. 해당 주사위 영상을 통하여 볼 수 있듯, 볼 렌즈가 제공하는 상면 만곡이 사용한 상용 프로젝션 렌즈에 의해서 상당 부분 보상되었음을 확인할 수 있다.

그림 5.

(a) 큰 상면 만곡을 갖는 제안된 프로젝션 렌즈 및 (b) 제안된 프로젝션 렌즈를 적용하여 상면 만곡이 보상된 볼 렌즈 내부의 이미지 면Fig. 5. (a) The proposed projection lens with curved image surface and (b) the compensated flat image plane inside of the ball lens with the proposed projection lens

그림 6.

(a) 양안시차 볼 렌즈 디스플레이와 (b) 왼쪽 시점 및 (c) 오른쪽 시점Fig. 6. (a) Binocular ball-lens display, captured images of (b) the left view and (c) the right view


Ⅳ. 광학 모듈 어레이 구조 설계

다시점 볼 렌즈 디스플레이의 각 시점은 SLM과 프로젝션 렌즈로 구성된 광학 모듈에 의해 생성된다. 볼 렌즈 주변에 균일한 시야창을 제공하기 위해서는 각각의 모듈이 볼 렌즈 중심에서 같은 거리에 위치하고, 동일한 각도 간격으로 배치되어야 한다. 균일한 시야창은 균일한 양안시차와 운동시차를 구현할 수 있다. 광학 모듈을 연속적으로 배열하면 각 모듈 사이의 간격이 존재하기 때문에 시야창이 전환될 때 지나치는 영역에는 정보가 존재하지 않아 시야창을 옮길 때 관찰자는 상당한 범위에서 검은색 화면을 느끼게 된다. 이는 의도된 운동시차를 관찰자로 하여금 제대로 느낄 수 없게 하여 컨텐츠의 시청 환경을 저하시킨다. 해당 시스템에서는 그림 5(b)에서 사용된 렌즈를 4.9도의 각도 간격으로 배치하였다. 하지만 각 시점을 형성하는 프로젝션 렌즈의 체적이 간섭하는 문제가 발생한다. 우리는 이러한 간섭을 해결하기 위해서 프로젝션 렌즈를 육각형 모양으로 절삭하여 최대한 밀접하게 시야창들을 배치하였다. 따라서 본 논문에서는 광학 모듈을 소형화하여 시야창의 밀집도를 높이는 광학 구조를 설계 및 구현하였다.

그림 7그림 6에서 설명한 프로토타입을 응용한 다시점 볼 렌즈 디스플레이를 시뮬레이션한 결과이다. 해당 시뮬레이션에서 광학 모듈은 관찰자에게 3차원 컨텐츠를 제공하기 위해 프로젝션 렌즈 간 4.9도의 각도를 갖도록 배열되었다. 적정 시청 거리에서 관찰자의 양안에 제공하여야 하는 시야창 간의 간격은 약 9.8도이므로, 4.9도 간격으로 배치된 시야창이 양안 사이에 총 3개 형성된다. 그림 7(b)는 적정 시청 거리에서 각 모듈이 형성한 시야창의 크기를 보여준다. 여기에서 각각의 색은 서로 다른 시야창을 의미하며, 각 시야창 사이+의 간격은 약 26 mm를 가지는 것을 알 수 있다.

그림 7.

구형으로 광학 모듈 어레이가 배치된 (a) 광학 구조 및 (b) 다시점 볼 렌즈 디스플레이로부터 형성되는 시청 영역의 스팟 다이어그램Fig. 7. (a) Optical layout and (b) spot diagram of five optical modules at viewing zones of the multi-view ball-lens display

그림 8(a)는 실제로 제작한 다시점 볼 렌즈 디스플레이의 시뮬레이션 레이아웃을 보여주고 있다. 볼 렌즈를 중심으로 모듈에 해당하는 SLM 및 프로젝션 렌즈를 이상적으로 동일 거리에 배치해야 하지만 오목한 형상을 가지는 상용 커브드 디스플레이가 존재하지 않는 제약이 있다. 따라서 평면 디스플레이에 적용하였을 때 생기는 공차에 둔감하도록 프로젝션 렌즈의 위치를 조정, 배치하였다. 그림 8(b)에서 보듯이 해당 다시점 볼 렌즈 디스플레이의 인접 시야창 간의 각도 간격은 4.9도이다. 광학 모듈은 세로 방향으로 3개, 가로 방향으로는 6개 또는 7개로 총 19개를 어레이 형태로 배치하였다. 따라서 다시점 볼 렌즈 디스플레이의 수평 시야각은 29.4도, 수직 시야각은 8.5도이다. 그림 8(c)는 다시점 볼 렌즈 디스플레이의 볼 렌즈를 제외한 모듈 부분의 분해도를 보여주고 있다. 광학 모듈 어레이는 SLM, 렌즈 어레이 홀더, 그리고 프로젝션 렌즈 어레이로 구성된다. 렌즈 어레이 홀더는 상단에 렌즈를 알맞은 곳에 위치시키기 위한 목적으로 사용된다. 또한, 하부는 경통 구조를 가지므로 서로 다른 프로젝션 렌즈에 해당하는 SLM의 정보가 누화되는 것을 방지한다. 프로젝션 렌즈 어레이를 이루는 프로젝션 렌즈는 서로 겹치지 않으면서 최대한 밀집할 수 있도록 육각형으로 절삭한 렌즈를 벌집 모양으로 배치하였다.

그림 8.

단일 평면 SLM을 사용한 다시점 볼 렌즈 디스플레이의 (a) 광학 구조, (b) 음영 모델, 및 (c) 광학 모듈 어레이의 분해 구조Fig. 8. (a) Optical layout and (b) shaded model of the multi-view ball-lens display, and (c) a decomposition structure of optical module array


Ⅴ. 실험 결과

본 논문에서는 볼 렌즈 내부 결상 이미지의 상면 만곡 수차를 보상한 프로젝션 렌즈는 소형 모듈화하고 어레이로 구성하여 넓은 시야 부피를 가지는 다시점 디스플레이를 구현하였다. 그림 9는 구현된 볼 렌즈 기반 완전 시차 다시점 디스플레이를 보여준다. SLM의 해상도는 2,560 × 1,440인 평면 디스플레이고, 패널의 크기는 333 × 223 mm2로 221 ppi의 해상도를 가지고 있다. 실험에 사용된 볼 렌즈의 지름은 200 mm이고 디스플레이 앞단에는 렌즈 어레이 홀더가 위치하여 볼 렌즈와 중심이 동일한 반지름이 300 mm인 구면에 프로젝션 어레이가 위치하도록 만들어 준다. 프로젝션 렌즈 어레이의 각 렌즈는 지름이 25.4 mm이며 유효 초점거리는 63.5 mm이다. 렌즈들은 서로 간의 최소화된 간격을 갖도록 정육각형 모양으로 가공되었으며, 벌집 모양의 배치로 기존의 사각 격자 모양보다 조밀히 배치될 수 있다. SLM에서 각 렌즈 어레이의 시점에 맞는 기초 영상을 재생하고, 재생된 영상은 프로젝션 렌즈 어레이를 통해 볼 렌즈의 중심에 투사된다. SLM과 광학계는 수직축 스테이지에 의해 30도의 각도를 가지며 중심축은 볼 렌즈의 중앙을 향하도록 정렬되었다. 시청자는 설계한 광학계를 통해 30도의 중심 각도를 기준으로 200 mm의 시청 거리에서 수직 8.5도, 수평 29.4도의 시야각 내에서 3차원 입체영상을 감상할 수 있다.

그림 9.

광학 모듈 어레이가 적용된 다시점 볼 렌즈 디스플레이Fig. 9. Experimental setup of the multi-view ball-lens display with optical module array

그림 10(a)는 상면 만곡 수차를 확인하기 위한 기초 영상이다. 해당 수차의 영향으로 가장자리가 흐려지는 정도를 표현하기 위해 그리드 패턴으로 실험을 진행하였다. 그림 10(b)는 보정을 위한 추가적인 렌즈 없이 볼 렌즈를 통해 결상된 영상이며, 그림 10(c)는 프로젝션 렌즈를 추가하여 상면 만곡을 보정한 결과이다. 그림 10(b)는 중앙 부분은 초점이 잘 맞지만, 가장자리로 갈수록 상이 흐려지는 것을 관찰할 수 있다. 그림 10(c)에서는 가장자리 또한 초점이 맞아 선명한 그리드 패턴을 관찰할 수 있다.

그림 10.

(a) 원본 영상, (b) 상면 만곡이 보상되기 전의 영상, (c) 상면 만곡이 보상된 후의 영상Fig. 10. (a) Original image, the images (b) before and (c) after compensation of field curvature

그림 11은 SLM이 생성하는 기초 영상을 보여준다. 구현한 시스템에서 시점이 관찰자의 양안과 미간에 대응되도록 시점 간의 각도를 선정하였고, 인접한 기초 영상이 이루는 시점 간의 각도는 4.9도이다. 기초 영상이 벌집 모양으로 배치되어 있으므로 정중앙의 기초 영상을 기준으로 좌안과 우안에 해당하는 컨텐츠는 각도 9.8도를 이루며 두 시점이 형성된다. 그리고 기초 영상의 첫 줄과 다음 줄 사이의 간격은 4.25도이다. 사용자가 눈의 위치를 이동하여 다른 각도의 시점을 보는 경우 하나의 시야창에서 다른 시야창으로 이동하는 중간에 어느 시야창에도 속하지 않는 어두운 지역이 존재한다. 이러한 문제를 줄이기 위해서는 프로젝션 렌즈 어레이의 밀집도를 늘려야 한다. 즉, 하나의 렌즈는 사용자 눈동자보다 충분히 큰 영역을 차지하여야 하고, 인접한 렌즈 사이 간격은 최대한 작아져야 한다. 이를 위해 육각 형태로 렌즈를 절삭하였고, 각 렌즈 간격은 4.9도이다. 그림 12는 카메라를 이용하여 볼 렌즈 안에 결상된 이미지를 촬영한 사진이다. 기초 영상이 투사되면서 180도 회전하므로 상하좌우가 반전된 사진이 찍히며 왜곡 없이 또렷하게 결상되는 것을 알 수 있다. 볼 렌즈 내부 중앙에 결상된 이미지를 사용자가 디스플레이의 시야창을 통해 볼 렌즈 지름의 약 0.65배 크기의 선명한 영상을 시청할 수 있으므로, 볼 렌즈의 구면 수차를 극복하여 넓은 시야 부피를 제공하는 360도 완전 시차 디스플레이의 실현 가능성을 실험적으로 확인하였다. 다만, 절삭된 렌즈를 통해 SLM 이미지의 상면 만곡이 보정된 것을 확인하였지만, 그로 인한 렌즈의 개구가 감소하여 사용자가 눈을 약간 움직여도 시야창을 벗어나는 문제가 발생하여 향후 이를 개선할 계획이다.

그림 11.

SLM에 표시되는 기초 영상Fig. 11. Elemental images on the SLM

그림 12.

제안된 디스플레이의 볼 렌즈 중심으로부터 각도별로 촬영된 영상 (a) (85.3deg, 82.7deg), (b) (85.3deg, 97.3deg), (c) (90.0deg, 75.3deg), (d) (90.0deg, 90.0deg), (e) (90.0deg, 104.7deg), (f) (94.7deg, 82.7deg), and (g) (94.7deg, 97.3deg)Fig. 12. Captured images with the camera angles of (a) (85.3deg, 82.7deg), (b) (85.3deg, 97.3deg), (c) (90.0deg, 75.3deg), (d) (90.0deg, 90.0deg), (e) (90.0deg, 104.7deg), (f) (94.7deg, 82.7deg), and (g) (94.7deg, 97.3deg)


Ⅵ. 결 론

본 논문에서는 구 대칭성을 가지는 볼 렌즈를 적용하여 시청 영역을 360도로 확장하여 완전 시차를 제공하는 다시점 디스플레이를 설계 및 구현하였다. 이 시스템은 공간분할 방식으로 다수의 프로젝션 렌즈를 배치하여 고속 동작하는 소자에 의한 플리커링 문제가 없는 장점이 있다. 볼 렌즈는 구면 곡률을 가지기 때문에 볼 렌즈 내부에 형성되는 3차원 컨텐츠가 넓은 시야 부피를 가지는 경우 심각한 상면 만곡 수차가 발생하는 문제가 있다. 본 논문에서는 이러한 수차를 보상하는 프로젝션 소형 모듈 광학계를 설계하였고, 프로젝션 렌즈를 어레이로 구성할 수 있도록 소형 모듈 형태로 설계하였다. 광학 모듈을 통해 볼 렌즈 내부 중앙에 이미지가 결상되고, 사용자는 디스플레이의 시야창을 통해 볼 렌즈 지름의 약 0.65배 크기의 선명한 영상을 시청할 수 있다. 구면 수차로 인하여 구현이 어렵다고 여겨지는 볼 렌즈를 이용하여 넓은 시야 부피를 제공하는 360도 완전 시차 디스플레이의 실현 가능성을 실험적으로 확인하였다. 향후 각각의 시야창의 크기와 인접 시야창 간의 거리에 따라 사용자의 시청 거리에 따른 3차원 컨텐츠 인지 특성을 분석할 계획이다.

Notes

This work was supported by Institute of Information & communi- cations Technology Planning & Evaluation (IITP) grant funded by the Korea government (MSIT) (No. 2020-0-00914, Development of hologram printing downsizing technology based on holographic optical element (HOE)).

References

  • Hong, J., Kim, Y., Choi, H.-J., Hahn, J., Park, J.-H., Kim, H., Min, S.-W., Chen, N., Lee, B., Three-dimensional display technologies of recent interest: principles, status, and issues, Appl. Opt., (2011), 50(34), pH87-H115. [https://doi.org/10.1364/AO.50.000H87]
  • Banks, M. S., Hoffman, D. M., Kim, J., Wetzstein, G., 3D Display, Annu. Rev. Vis. Sci., (2016), 2, p397-435. [https://doi.org/10.1146/annurev-vision-082114-035800]
  • Dodgson, N. A., Autostereoscopic 3D display, Computer, (2005), 38(8), p31-36. [https://doi.org/10.1109/MC.2005.252]
  • McAllister, D., Hornak, J.P., Encyclopedia of Imaging Science and Technology, Wiley, US, (2002), 2, p1327-1344, Stereo & 3D display technologies, display technology. [https://doi.org/10.1002/0471443395.img093]
  • Zhao, W.-X., Wang, Q.-H., Wang, A.-H., Li, D.-H., Autostereoscopic display based on two-layer lenticular lenses, Opt. Lett., (2010), 35(24), p4127-4129. [https://doi.org/10.1364/OL.35.004127]
  • Kim, H., Hahn, J., Choi, H-J., Numerical investigation on the viewing angle of a lenticular three-dimensional display with a triplet lens array, Appl. Opt., (2011), 50(11), p1534-1540. [https://doi.org/10.1364/AO.50.001534]
  • Deng, H., Chen, C., He, M. Y., Li, J. J., Wang, Q. H., Zhang, H. L., High-resolution augmented reality 3D display with use of a lenticular lens array holographic optical element, J. Opt. Soc. Am., (2019), 36(4), p588-593. [https://doi.org/10.1364/JOSAA.36.000588]
  • Kim, Y., Hong, K., Lee, B., Recent researches based on integral imaging display method, 3D Research, (2010), 1(1), p17-27. [https://doi.org/10.1007/3DRes.01(2010)2]
  • Hua, H., Javidi, B., A 3D integral imaging optical see-through head-mounted display, Opt. Express, (2014), 22(11), p13484-13491. [https://doi.org/10.1364/OE.22.013484]
  • Xia, X., Zheng, Z., Liu, X., Li, H., Yan, C., Omnidirectional-view three-dimensional display system based on cylindrical selective-diffusing screen, Appl. Opt., (2010), 49(26), p4915-4920. [https://doi.org/10.1364/AO.49.004915]
  • Yendo, T., Fujii, T., Tanimoto, M., Tehrani, M. P., The Seelinder: Cylindrical 3D display viewable from 360 degrees, J. Vis. Commun. Image Represent, (2010), 21(5-6), p586-594. [https://doi.org/10.1016/j.jvcir.2009.10.004]
  • Choi, G., Jeon, H., Kim, H., Hahn, J., Horizontal-parallax-only light-field display with cylindrical symmetry, Proc. SPIE, (2018), 10556, p16-21.
  • Heo, D., Lim, S., Lee, G., Choi, G., Hahn, J., Full-Parallax Multiview Generation with High-Speed Wide-Angle Dual-Axis Scanning Optics, Appl. Sci., (2022), 12(9), p4651. [https://doi.org/10.3390/app12094615]

이 건 희

- 2017년 ~ 현재 : 경북대학교 전자공학부 학사과정

- 주관심분야 : 3차원 디스플레이, 홀로그래피, 토모그래피

허 대 락

- 2019년 : 경북대학교 전자전기공학부(석사)

- 2019년 ~ 현재 : 경북대학교 전자전기공학부 박사과정

- 주관심분야 : 3차원 디스플레이, 광학 시스템 설계

박 정 혁

- 2017년 ~ 현재 : 경북대학교 전자공학부 학사과정

- 주관심분야 : 메타버스, 3차원 디스플레이

정 민 우

- 2020년 : 경북대학교 전자전기공학부(석사)

- 2021년 ~ 현재 : 경북대학교 전자전기공학부 박사과정

- 주관심분야 : 홀로그래피, 3차원 광변조

한 준 구

- 1997년 : 서울대학교 물리학과(학사)

- 1999년 : 서울대학교 물리학과(석사)

- 2009년 : 서울대학교 전기공학부(박사)

- 1999년 ~ 2004년 : LG전선 전선연구소, 주임 연구원

- 2009년 ~ 2011년 : 미 Duke 대학교, 박사 후 연구원

- 2011년 ~ 현재 : 경북대학교 전자공학부 교수

- 주관심분야 : 메타버스, 홀로그래피, 토모그래피

그림 1.

그림 1.
광학 모듈 어레이를 이용한 다시점 볼 렌즈 디스플레이의 개략도Fig. 1. Schematic of the multi-view ball-lens display using optical module array

그림 2.

그림 2.
구형으로 배치된 광학 모듈 어레이와 볼 렌즈 내부에 형성된 뷰 볼륨Fig. 2. View volume in a ball lens with a spherically arranged optical module array

그림 3.

그림 3.
볼 렌즈에 의해 형성된 시야창의 개략도Fig. 3. Schematic of the generated viewing window by a ball lens

그림 4.

그림 4.
이상적인 프로젝션 렌즈에 의해 형성된 볼 렌즈 내부 이미지의 상면 만곡Fig. 4. Field curvature of the image surface inside of a ball lens with an ideal projection lens

그림 5.

그림 5.
(a) 큰 상면 만곡을 갖는 제안된 프로젝션 렌즈 및 (b) 제안된 프로젝션 렌즈를 적용하여 상면 만곡이 보상된 볼 렌즈 내부의 이미지 면Fig. 5. (a) The proposed projection lens with curved image surface and (b) the compensated flat image plane inside of the ball lens with the proposed projection lens

그림 6.

그림 6.
(a) 양안시차 볼 렌즈 디스플레이와 (b) 왼쪽 시점 및 (c) 오른쪽 시점Fig. 6. (a) Binocular ball-lens display, captured images of (b) the left view and (c) the right view

그림 7.

그림 7.
구형으로 광학 모듈 어레이가 배치된 (a) 광학 구조 및 (b) 다시점 볼 렌즈 디스플레이로부터 형성되는 시청 영역의 스팟 다이어그램Fig. 7. (a) Optical layout and (b) spot diagram of five optical modules at viewing zones of the multi-view ball-lens display

그림 8.

그림 8.
단일 평면 SLM을 사용한 다시점 볼 렌즈 디스플레이의 (a) 광학 구조, (b) 음영 모델, 및 (c) 광학 모듈 어레이의 분해 구조Fig. 8. (a) Optical layout and (b) shaded model of the multi-view ball-lens display, and (c) a decomposition structure of optical module array

그림 9.

그림 9.
광학 모듈 어레이가 적용된 다시점 볼 렌즈 디스플레이Fig. 9. Experimental setup of the multi-view ball-lens display with optical module array

그림 10.

그림 10.
(a) 원본 영상, (b) 상면 만곡이 보상되기 전의 영상, (c) 상면 만곡이 보상된 후의 영상Fig. 10. (a) Original image, the images (b) before and (c) after compensation of field curvature

그림 11.

그림 11.
SLM에 표시되는 기초 영상Fig. 11. Elemental images on the SLM

그림 12.

그림 12.
제안된 디스플레이의 볼 렌즈 중심으로부터 각도별로 촬영된 영상 (a) (85.3deg, 82.7deg), (b) (85.3deg, 97.3deg), (c) (90.0deg, 75.3deg), (d) (90.0deg, 90.0deg), (e) (90.0deg, 104.7deg), (f) (94.7deg, 82.7deg), and (g) (94.7deg, 97.3deg)Fig. 12. Captured images with the camera angles of (a) (85.3deg, 82.7deg), (b) (85.3deg, 97.3deg), (c) (90.0deg, 75.3deg), (d) (90.0deg, 90.0deg), (e) (90.0deg, 104.7deg), (f) (94.7deg, 82.7deg), and (g) (94.7deg, 97.3deg)