DHM을 위한 간섭무늬 압축 방법과 위상 압축 방법의 성능 비교
; Hyunmin Banb)
; Heeyeon Koob)
; SeungMi Choib)
; Kwan-Jung Ohc) ; Yongjun Limc) ; Hui Yong Kimb), ‡
Copyright © 2023, The Korean Institute of Broadcast and Media Engineers
This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.
초록
디지털 홀로그래피 현미경을 통해 획득한 간섭무늬는 시료의 두께 정보를 포함하고 있다. 하지만 데이터의 용량이 크다는 단점이 존재한다. 따라서 간섭무늬가 담고 있는 시료의 두께 정보 손상을 최소화하면서 데이터 크기를 줄일 수 있는 압축 방법이 요구된다. 본 논문은 위상 압축 방법을 제시하여 JPEG Pleno Holography에서 사용되는 간섭무늬 압축 방법보다 위상 압축 방법이 더 효율적임을 실험을 통해 확인했다. RMSE와 BD-Rate 그리고 PSNR을 사용하여 평가한 결과 위상 압축 방법이 간섭무늬 압축 방법보다 최고 92.39% 향상된 성능을 보였다. 또한 다양한 조건 아래에서 실험을 진행하여 조건 별 압축 성능을 비교분석 했다. 간섭무늬 압축 방법의 경우 시료의 두께를 계산하기 위한 위상 정보뿐 아니라 다른 정보들도 포함하고 있음에 반해, 위상 압축 방법은 간섭무늬에서 불필요한 정보들을 제거 후 위상에 대한 정보만을 압축하는 방식이기 때문에 더 높은 성능을 보이는 것으로 판단 된다.
Abstract
The fringe pattern obtained through a DHM (Digital Holographic Microscopy) contains the thickness information of the sample. However, there is a disadvantage that the data capacity is large. Therefore, a compression method that can reduce the data size while minimizing damage to the thickness information of the sample contained in the fringe pattern is required. This paper presents the phase compression method and confirmed through experiments that the phase compression method is more efficient that the fringe pattern compression method used in JPEG Pleno Holography. As a result of evaluation using RMSE, BD-Rate and PSNR the phase compression method showed up to 92.39% improvement in performance than the fringe pattern compression method. In addition, experiment were conducted under various conditions to compare and analyze the compression performance for each condition. In the case of the fringe pattern compression method, it includes not only the phase information for calculating the thickness of the sample but also other information, whereas the phase compression method compresses only the phase information after removing unnecessary information from the fringe pattern. It is judged to have high performance.
Keywords:
JPEG Pleno Holography Metrology, DHM, Hologram, CompressionⅠ. 서 론
디지털 홀로그래피 현미경(Digital Holographic Microscopy, DHM)이란 시료에서 나온 빛의 파면(light wave front)을 기록하는 현미경을 뜻한다[2]. DHM은 빔 스플리터(Beam splitter)를 사용하여 레이저를 두 개로 나눈다. 이때, 시료를 통과한 빛을 물체광(Object beam)이라 하며 물체를 통과하지 않은 빛을 참조광(Reference beam)이라 한다. 물체광과 참조광이 만나면 간섭현상(Interference)이 발생한다. 간섭현상에 의해 간섭무늬(Fringe Pattern)가 발생하게 되고, 이 간섭무늬를 홀로그램이라 한다. DHM은 CCD 카메라 센서를 활용해 간섭무늬를 이미지로 저장한다.
디지털 홀로그래피 현미경Fig. 1. DHM (Digital Holographic Microscopy)[1]
DHM을 통해 획득한 간섭무늬는 시료가 반사형이면 두께 정보, 시료가 투과형이면 굴절률(refractive index) 정보를 가지고 있다. 왜냐하면 간섭무늬는 빛의 위상(Phase) 정보를 담고 있으며, 시료의 두께에 따라 시료를 통과한 빛의 위상이 달라지기 때문이다. 따라서 간섭무늬를 통해 빛의 위상 정보를 분석하면 시료의 두께 정보를 알 수 있다. 하지만 간섭무늬는 이미지 형태로 저장되므로 간섭무늬를 저장한 이미지에서 곧바로 시료의 두께 정보를 알 수 없다. 따라서 Phase Retrieval 과정을 통해 간섭무늬 이미지로부터 위상을 계산한다. 이때, Phase Retrieval에 의해 계산된 위상은 [-π, π] 사이의 주기성을 가진다. Phase Unwrapping 과정을 통해 주기성을 가지는 위상에서 주기성을 없애고 본래 위상으로 복원한다. 최종적으로 복원된 위상을 통해 시료의 두께를 계산할 수 있다.
DHM으로 획득한 Fringe Pattern 예시Fig. 2. Example of Fringe Pattern acquired with DHM
하지만 DHM을 통해 획득한 간섭무늬는 데이터의 용량이 크다는 단점이 존재한다. 따라서 간섭무늬가 담고 있는 시료의 두께 정보에 대한 손상을 최소화하면서 데이터 용량을 줄일 수 있는 압축 방법이 요구된다. 압축 방법으로써 JPEG Pleno Holography는 간섭무늬 압축 방법을 사용한다. 간섭무늬 압축 방법은 간섭무늬에 별도의 조작을 가하지 않고 직접 압축하는 방법이다. [그림 3]의 Path A(검은색 화살표)는 압축 성능 비교를 위한 Ground Truth를 생성하는 과정이다. 간섭무늬에 별도의 조작을 가하지 않고 Phase Retrieval과 Phase Unwrapping 과정을 거쳐 두께 정보를 획득한다. [그림 3]의 Path B(파란색 화살표)가 간섭무늬 압축 방법을 표현한 것이다. 본 논문은 간섭무늬 압축 방법과 다른 위상 압축 방법을 제시한다. 간섭무늬에 Phase Retrieval 과정을 거치면 [-π, π] 사이의 주기성을 가지는 위상을 얻을 수 있다. 위상 압축 방법은 Phase Retrieval 과정을 통해 획득한 주기성을 가지는 위상을 압축하는 방법이다. [그림 3]의 Path C(초록색 화살표)가 위상 압축 방법을 표현한 것이다.
두께 정보 추출을 위한 프로세스Fig. 3. Process for extracting thickness information
본 논문은 JPEG Pleno Holography가 사용하는 간섭무늬 압축 방법보다 더 효율적인 압축 방법인 위상 압축 방법을 제시하고자 한다. 따라서 간섭무늬 압축 방법과 본 논문이 제안하는 위상 압축 방법을 비교하여 위상 압축 방법이 더 효율적임을 RMSE와 BD-Rate 그리고 PSNR을 통해 확인했다. 실험 결과 위상 압축 방법이 간섭무늬 압축 방법보다 최고 92.39% 향상된 성능을 보였다.
Ⅱ. JPEG Pleno Holography Metrology
1. JPEG Pleno Holography Metrology 표준화 동향
JPEG Pleno Holography는 현재 복소 홀로그램과 이진 홀로그램과 같이 이미징 목적의 홀로그램 압축에 대한 표준 기술을 개발 중이다. 또한 ES(Exploration Study)를 통해 홀로그래픽 메트롤로지 데이터 압축에 대해서도 함께 다루고 있다. 홀로그래픽 메트롤로지는 간섭무늬를 다루며 위상을 추출해서 위상 펼침 기술을 통해 평가를 하므로 이미징 홀로그램과 평가 절차와 방법을 달리하고 있다[7].
JPEG Pleno Holography Metrology(이하 JPEG Pleno Metrology)에서 사용하고 있는 데이터는 2가지 종류로써 아래와 같다. WUT 데이터는 얇은 홀로그램으로써 두께가 얇은 시료를 사용하여 DHM으로 기록한 홀로그램이다. 반면에 Maynooth 데이터는 두꺼운 홀로그램으로써 두께가 두꺼운 시료를 사용하여 DHM으로 기록한 홀로그램이다[8].
WUT 데이터셋Table 1. WUT Dataset
JPEG Pleno Metrology는 간섭무늬를 압축하는 압축 코덱으로써 HEVC(High Efficiency Video Coding)를 사용한다. HEVC는 2013년 4월에 발표된 MPEG-H Part.2 규격이다. 2003년 H.264 발표 이후 10년 만의 후속 코덱으로 H.265라고도 불린다. 본 논문에서는 압축 코덱으로써 HEVC뿐만 아니라 VVC(Versatile Video Coding)를 추가로 사용하였다. VVC는 JVET(Joint Video Exploration Team)에서 만든 차세대 비디오 코덱으로, H.265의 후속 코덱이다. HEVC보다 2배 이상의 효율을 목표로 개발되었다.
Maynooth 데이터셋Table 2. Maynooth Dataset
2. JPEG Pleno Metrology 사용 기술 1 - Phase Retrieval의 원리
홀로그램은 물체광과 참조광의 간섭현상을 이용하여 기록된다. 물체광과 참조광이 평행한 상태에서 기록된 홀로그램을 On-axis 홀로그램, 물체광과 참조광이 일정한 각도를 가지며 기록된 홀로그램을 Off-axis 홀로그램이라 한다. 기록된 홀로그램에 참조광과 동일한 빛을 조사시켜 이미지를 만드는 것을 복원이라 한다. 이때 사용된 빛을 복원광 이라 부른다. 복원과정에서 True-Image, Twin-Image 그리고 DC 값이 발생한다. 하지만 복원을 통해 얻고자 하는 값은 True-Image뿐이다. Phase Retrieval은 Twin-Image와 DC 값을 제거하여 True-Image만 남기는 과정이다. 입력값은 실수로 표현된 홀로그램 이미지이며 출력값은 복소수 값이다. True-Image를 추출하는 과정에서 입력값의 크기보다 출력값의 크기가 감소한다. Off-axis 홀로그램의 경우 True-Image와 Twin-Image는 DC 값을 기준으로 주파수 영역에서 서로 대칭적으로 나타나는 특성이 있다. 이때, DHM을 통해 획득한 홀로그램은 Off-axis 홀로그램이다. 따라서 Phase Retrieval 과정에서 True-Image와 Twin- Image의 대칭성을 활용하여 Twin-Image와 DC 값을 제거하고 True-Image 성분만을 추출한다. 최종적으로 True-Image 성분에서 위상만을 분리하면 시료의 두께 정보를 얻을 수 있다.
3. JPEG Pleno Metrology 사용 기술 2 - Phase Unwrapping Algorithm
Phase Retrieval 과정을 통해 획득한 위상은 시료의 두께 정보를 포함하고 있다. 하지만 위상은 2π 주기성을 갖는다. 따라서 Phase Retrieval을 통해 획득된 위상은 [-π, π] 사이의 값으로 표현되어 있다. 시료의 정확한 두께 정보를 얻기 위해서는 위상을 [-π, π] 사이의 값이 아닌 위상의 주기성을 없앤 본래의 값으로 표현해야 한다. 이러한 과정을 Phase Unwrapping 과정이라 하며 JPEG Pleno Metrology에서는 PUMA와 DCT-Based 방법 두 가지를 사용한다. PUMA와 DCT-Based Algorithm 모두 이웃한 픽셀 간의 위상 차이를 줄이는 방식으로 loss가 설계되어 있다. 두 알고리즘의 차이점은 loss 함수 정의와 최적화하는 방법이 다르다는 것이다. PUMA는 Max-flow/Min-cut 알고리즘을 사용하며 DCT-Based Algorithm은 최소제곱근사법과 2D-DCT를 사용한다.
[-π, π] 사이의 주기성을 가지며 DHM을 통해 획득한 위상을 Ψ, 주기성이 없는 본래 위상을 ϕ라 하자. 위상은 2π 주기성을 가지므로 Ψ와 ϕ의 관계를 (1)번 식으로 표현할 수 있다.
이때, 위상값을 가지는 이웃한 두 픽셀의 수평 방향 위상 차이를
, 수직 방향 위상 차이를
라 정의하자. i,j는 M×N 크기의 2D 이미지의 index이다.
(1)번과 (2)번 정의에서 (3)번 정의를 유도할 수 있다.
PUMA의 loss는 E(k | Ψ) 로서 에너지로 불린다. 에너지는 (1)번 식의 정수 k값을 구하기 위해 정의된 loss이다. 정수 k값을 통해 Ψ에서 본래 위상인 ϕ를 계산할 수 있다. 좌변의 E(k | Ψ)에 따르면 정수 k는 오직 현재 알고 있는 위상인 Ψ에만 영향을 받는 변수이다. 또한 에너지는 이웃한 두 픽셀간 위상차가 작을수록 크기가 감소하도록 정의되어 있다. PUMA는 Max-flow/Min-cut 알고리즘을 사용하여 이웃한 두 픽셀 간 위상차가 감소하는 방향으로 k 값을 결정한다.
[-π, π] 사이의 주기성을 가지며 DHM을 통해 획득한 위상을 Ψ, 주기성이 없는 본래 위상을 ϕ라 하자. 위상은 2π 주기성을 가지므로 Ψ와 ϕ 의 관계를 (5)번 식으로 표현할 수 있다.
i,j는 M × N크기의 2D 이미지의 index이다.
W는 wrapping 연산자로써 위상값을 [-π, π] 범위로 제약하는 역할을 한다.
은 위상값을 가지는 이웃한 두 픽셀 간의 수평 방향 위상 차이,
는 이웃한 두 픽셀 간의 수직 방향 위상 차이를 뜻한다.
DCT-Based Algorithm의 loss는 (8)번 식과 같다. 이웃한 두 픽셀의 본래 위상 차이((ϕi+1,j−ϕi,j, (ϕi,j+1 −ϕi,j))와 DHM을 통해 획득한 위상 차이(
,
)의 차이를 최소화한다. DCT-Based Algorithm은 최소제곱근사법과 2D- DCT를 활용하여 loss의 값이 최소가 되도록 계산한다.
Ⅲ. 압축 방법 비교
1. Ground Truth
RMSE 계산의 기준점이 되는 Ground Truth를 계산하는 과정이다. 간섭무늬로부터 시료의 두께 정보를 얻는 과정이 압축 코덱을 거치지 않고 진행된다.
Ground Truth 계산법Fig. 4. Method of calculating Ground Truth
2. 간섭무늬 압축 방법
간섭무늬 압축 방법은 JPEG Pleno Metrology에서 사용하는 방법이다. DHM을 통해 획득한 간섭무늬를 직접 압축 코덱에 압축하는 방식이다. 간섭무늬를 압축 코덱에 입력값으로 넣어 출력값으로 복원된 간섭무늬를 얻는다. 그 후 복원된 간섭무늬에 Phase Retrieval과 Phase Unwrapping 과정을 거쳐 두께 정보를 획득한다. 획득한 두께 정보를 Ground Truth와 비교하여 RMSE를 계산한다. 이때, WUT 데이터와 Maynooth 데이터는 서로 다른 전처리와 후처리 과정을 거친다. 왜냐하면 압축 코덱의 입력값은 그 크기가 8의 배수여야만 하기 때문이다. WUT 데이터의 크기는 2464×2056, Maynooth 데이터의 크기는 1024×1024로써 데이터의 크기가 서로 다르다. 따라서 데이터의 종류에 따라 서로 다른 전처리와 후처리 과정이 요구된다. 압축 코덱의 입력값을 8의 배수로 맞추기 위해 Phase Retrieval 내에 존재하는 윈도우 마스크 해상도를 수정하는 방법도 생각해 볼 수 있다. 하지만 본 논문에서는 기존 JPEG의 구성요소를 변경하지 않고 압축 부분만을 변경하여 최대 이익을 얻는 것을 목표로 하였다. 따라서 JPEG Pleno Metrology reference software의 함수인 Phase Retrieval은 최대한 수정하지 않고 실험하기 위해 crop과 padding을 사용하였다.
간섭무늬 압축 방법 다이어그램Fig. 5. Fringe Pattern compression method diagram
WUT 데이터셋 간섭무늬 압축 방법Fig. 6. Fringe Pattern compression method of WUT dataset
WUT 데이터셋은 얇은 홀로그램으로써 모든 데이터에 대해 각각 holo와 ref 두 종류의 간섭무늬를 기록한다. 이때, holo는 DHM의 표본(sample) 위치에 시료를 올려놓은 상태에서 기록한 간섭무늬를 지칭하고, ref는 DHM의 표본 위치에 아무것도 올려놓지 않은 상태에서 기록한 간섭무늬를 지칭한다. 동일한 데이터에 대하여 holo와 ref 두 종류의 간섭무늬를 기록하는 이유는 WUT 데이터의 경우 시료의 두께가 얇아 외부 노이즈에 민감하기 때문이다. 따라서 시료가 있는 상태에서 측정한 위상과 시료가 없는 상태에서 측정한 위상의 차이를 구하여 더 정확하게 시료의 두께를 계산한다. [그림 7]부터 [그림 9]는 WUT 데이터셋 중 PMMA 데이터를 예시로 든 것이다. 코덱은 HEVC, Phase Unwrapping 방법으로 DCT-Based, 그리고 QP 21을 사용했다. [그림 7]의 경우 holo와 ref의 이미지에서 뚜렷한 차이점을 발견하기 어렵다. 하지만 [그림 8]의 경우 θholo의 중앙에는 시료가 보이지만 θref의 중앙에는 시료가 보이지 않는다. 이는 ref의 경우 간섭무늬를 기록할 때, DHM의 sample 위치에 아무것도 두지 않은 상태에서 기록했기 때문이다. θholo에서 θref를 나눈 θdiff에 Phase Unwrapping 과정을 거치면 최종적으로 시료의 두께 정보를 계산할 수 있다.
[그림 7]~[그림 9] 데이터의 크기 변화Table 3. [Fig 7]~[Fig 9] Data size change
[그림 7]~[그림 9] 설정값Table 4. [Fig 7]~[Fig 9] Config value
WUT-PMMA 데이터, holo(좌), ref(우)Fig. 7. WUT-PMMA data, holo(Left), ref(Right)
θholo(좌), θref(우)Fig. 8. θholo(Left), θref(Right)
θdiff(좌), 두께(우)Fig. 9. θdiff(Left), Thickness(Right)
Maynooth 데이터셋은 WUT 데이터셋과 달리 holo 간섭무늬만을 기록한다. 그 이유는 Maynooth 데이터셋의 경우 시료의 두께가 두껍기 때문에 외부 노이즈에 상대적으로 강하기 때문이다. [그림 11]은 Maynooth 데이터셋 중 MDCK_wild_000 데이터를 예시로 든 것이다. 코덱은 HEVC, Phase Unwrapping 방법으로 DCT-Based, 그리고 QP 21를 사용했다. θholo와 Thickness 이미지를 비교할 시 다른 점을 발견할 수 있다. 이는 Phase Unwrapping 과정에서 해당 부분에 오차가 발생했기 때문이다.
Maynooth 데이터셋 간섭무늬 압축 방법Fig. 10. Fringe Pattern compression method of Maynooth dataset
Maynooth-MDCK_wild_000 데이터 holo(좌), θholo(중), 두께(우)Fig. 11. Maynooth-MDCK_wild_000 data holo(Left), θholo(Middle), Thickness(Right)
[그림 11] 데이터의 크기 변화Table 5. [Fig 11] Data size change
[그림 11] 설정값Table 6. [Fig 11] Config value
3. 위상 압축 방법
위상 압축 방법은 본 논문이 제시하는 방법이다. DHM을 통해 데이터를 획득하는 최종 목적은 획득한 데이터에 대한 정확한 두께 측정이다. 이때, 최종 목적을 달성하기 위해 필요한 정보는 위상 정보이다. 간섭무늬 압축 방법의 경우 위상에 대한 정보뿐만 아니라 위상 이외의 정보들을 포함하고 있는 간섭무늬를 압축하는 방법이다. 따라서 정보 압축 시 비효율이 발생한다. 하지만 본 논문에서 제안하는 위상 압축 방법은 간섭무늬에서 불필요한 정보들을 제거 후 위상에 대한 정보만을 압축하는 방식이기 때문에 간섭무늬 압축 방법보다 더 높은 성능을 보일 수 있을 것이다. 간섭무늬에 Phase Retrieval 과정을 거치면 [-π, π] 주기성을 가지는 위상을 얻을 수 있다. Phase Retrieval을 통해 획득한 위상은 간섭무늬에 비해 크기가 작다. 위상 압축 방법은 간섭 무늬 압축 방법과 달리 주기성을 가지는 위상을 압축하는 방법이다. 압축 코덱에 주기성을 가지는 위상을 입력값으로 넣어 출력값으로 복원된 위상을 얻는다. 그 후 복원된 위상에 Phase Unwrapping 과정을 거쳐 두께 정보를 획득한다. 획득한 두께 정보를 Ground Truth와 비교하여 RMSE를 계산한다. 이때, WUT 데이터와 Maynooth 데이터는 서로 다른 전처리와 후처리 과정을 거친다. 왜냐하면 압축 코덱의 입력값은 그 크기가 8의 배수여야만 하기 때문이다. 간섭무늬의 크기가 2464×2056인 WUT 데이터에 Phase Retrieval 과정을 거치면 크기가 1972×1648인 위상을 얻을 수 있다. 또한 데이터의 크기가 1024×1024인 Maynooth 데이터에 Phase Retrieval 과정을 거치면 크기가 820×820인 위상을 얻을 수 있다. Phase Retrieval을 통해 획득한 위상의 크기가 데이터셋의 종류에 따라 다르므로 서로 다른 전처리와 후처리 과정이 요구된다.
간섭무늬 압축 방법과 달리 위상 압축 방법의 경우 holo 간섭무늬와 ref 간섭무늬의 위상을 Phase Retrieval을 사용하여 먼저 계산한다. 그 후 holo와 ref의 위상차에 해당하는 θdiff가 압축 코덱에 입력된다. θdiff를 계산하기 위해 Phase Retrieval 과정을 거치므로 θdiff의 크기는 holo와 ref의 크기보다 감소한다. 이때, 사용되는 압축 코덱들은 입력되는 이미지들의 크기가 8의 배수여야만 한다는 제한 조건이 있다. θdiff의 가로 크기인 1972은 8의 배수가 아니므로 θdiff의 가로를 crop 하여 8의 배수인 1968로 만든다. 두께 측정 대상인 시료가 이미지의 중앙에 있으므로 이미지의 가장자리에 대한 crop은 실험의 정확도에 영향을 미치지 않는다.
위상 압축 방법 다이어그램Fig. 12. Phase compression method diagram
WUT 데이터셋 위상 압축 방법Fig. 13. Phase compression method of WUT dataset
WUT-PMMA 데이터 holo(좌), ref(우)Fig. 14. WUT-PMMA data holo(Left), ref(Right)
θdiff(좌), (중앙), 두께(우)Fig. 15. θdiff(Left), (Middle), Thickness(Right)
[그림 14]~[그림 15] 데이터의 크기 변화Table 7. [Fig 14]~[Fig 15] Data size change
[그림 14]~[그림 15] 설정값Table 8. [Fig 14]~[Fig 15] Config value
Maynooth 데이터셋에 대한 위상 압축 방법과 간섭무늬 압축 방법의 가장 큰 차이점은 압축 코덱에 들어가는 입력값이다. 위상 압축 방법의 경우 holo에 Phase Retrieval 과정을 거친 θholo가 입력된다. 이때, θholo의 크기는 820×820이다. 압축 코덱의 입력값의 크기는 8의 배수여야만 하므로 θholo에 패딩을 하여 크기를 824×824로 조정한다. WUT 데이터셋과 달리 holo 간섭무늬에 crop이 아닌 padding을 하는 이유는 이미지의 전체 크기에서 시료가 차지하는 부분이 상대적으로 작기 때문이다. crop으로 인해 시료의 데이터가 손상되는 것을 막기 위해 crop 대신 padding을 선택했다. 압축 코덱의 출력값인
에 다시 crop을 적용하여 크기를 820×820 맞춘 후 Phase Unwrapping 과정을 거치면 최종적으로 두께 정보를 얻을 수 있다.
Maynooth 데이터셋 위상 압축 방법Fig. 16. Phase compression method of Maynooth dataset
Maynooth-MDCK_wild_000 데이터 holo(좌), (중), 두께(우)Fig. 17. Maynooth-MDCK_wild_000 data holo(Left), (Middle), Thickness(Right)
[그림 17] 데이터의 크기 변화Table 9. [Fig 17] Data size change
[그림 17] 설정값Table 10. [Fig 17] Config value
Ⅳ. 실 험
1. 개요
Maynooth 데이터셋과 WUT 데이터셋을 사용하여 JPEG Pleno Metrology에서 사용하는 간섭무늬 압축 방법 보다 본 논문이 제안하는 위상 압축 방법이 더 효율적임을 보이고자 한다. 실험 결과는 크게 WUT 데이터셋과 Maynooth 데이터셋 두 가지로 나눠서 제시된다. 왜냐하면 압축 코덱의 입력값은 그 크기가 8의 배수를 만족해야만 하는데, WUT와 Maynooth 데이터셋의 크기가 서로 다르므로 데이터의 종류에 따라 서로 다른 전처리와 후처리가 진행되기 때문이다. 각 데이터셋 별로 간섭무늬 압축 방법과 위상 압축 방법 성능 비교, Phase Unwrapping 방식에 따른 효율성 비교 그리고 HEVC와 VVC 코덱에 따른 효율성 비교를 그래프와 표를 통해 제시한다.
실험 셋팅Table 11. Experimental Settings
평가 척도로 RMSE(Root mean square error)[3]와 BD-Rate(Bjontegaard delta rate)[4] 그리고 PSNR(Peak Signal-to-noise ratio)[9]을 사용한다. RMSE란 추정값 또는 예측한 값과 실제 값의 차이를 다룰 때 주로 사용하는 방법이다. RMSE 값이 작을수록 추정값 또는 예측한 값이 실제 값과 유사하다는 것을 뜻한다. 즉, RMSE가 작을수록 더 좋은 성능을 의미한다. BD-Rate는 참조 코덱과 새로 개발한 코덱 사이의 성능평가를 수치로 표현하기 위해 고안된 방법이다. 일반적으로 새로 개발한 코덱의 성능 확인을 위해 객관적인 화질 평가를 사용하여 참조 코덱과 개발된 코덱의 성능 그래프를 그린다. 이때, 그래프를 통해서는 참조 코덱에 비해 개발된 코덱의 개선된 정도를 정확한 수치로 알기 어렵다. BD-Rate는 그래프에서 설정된 비교 구간 안의 성능향상 폭을 수치로 표현해준다. BD-Rate의 값이 음수이면 개발된 코덱이 참조 코덱보다 우수한 성능을 가짐을 뜻한다. 반대로 BD-Rate의 값이 양수이면 참조 코덱이 개발된 코덱보다 더 우수한 성능을 가짐을 의미한다. PSNR은 신호가 가질 수 있는 최대 전력에 대한 잡음의 전력을 나타낸 것이다. 일반적으로 영상의 품질을 객관적으로 측정하는데 사용되고 있는 평가항목 중 하나이다.
2. 실험 결과
[그림 18]은 WUT 데이터셋 5종류의 QP에 따른 RMSE의 평균값을 그래프로 표현한 것이다. 그래프의 x축은 bpp(Bit per pixel)로써 한 픽셀당 몇 비트가 사용되었는지 나타낸다. 또한 그래프의 y축은 QP에 따른 RMSE의 평균값을 나타낸다. 그래프를 해석할 때, bpp값이 동일하다면 RMSE 값이 낮을수록 좋은 성능을 나타내며 RMSE 값이 동일하다면 bpp 값이 작을수록 좋은 성능을 의미한다. 즉, 그래프가 왼쪽 아래로 그려질수록 성능이 좋음을 뜻한다. 그래프의 범례는 (홀로그램 원본 데이터 형식)_(압축 코덱 종류)_(Phase Unwrapping 방식) 순으로 구성되어 있다. 예를 들어, 빨간색 FringePattern_HEVC_DCT 범례의 경우 간섭무늬 압축 방법을 사용했으며, 압축 코덱으로는 HEVC 그리고 Phase Unwrapping 방식으로는 DCT-Based를 사용했다는 의미이다. 검은색 Threshold RMSE는 0.05로서 관련 표준화 그룹인 JPEG Pleno Metrology에서 설정한 값이다[7]. 즉, RMSE의 값이 0.05보다 작아야 유의미한 복원이다. 이때, 유의미한 복원이란 RMSE가 0.05보다 클 경우에는 오차가 커서 통상의 응용에서 활용하기에 부적절할 수 있다는 것을 의미한다. [그림 18]을 통해 WUT 데이터셋의 경우 모든 실험 조건에서 간섭무늬 압축 방법보다 위상 압축 방법이 더 효율적인 방법임을 알 수 있다. 또한 [그림 18]에서 알 수 있듯 WUT 데이터셋의 경우에는 실험에 사용한 8가지 조합 모두 threshold RMSE 이하에서 압축이 가능한 것으로 판단된다.
WUT 데이터셋 평균 RMSEFig. 18. WUT dataset average RMSE
[그림 19]는 [그림 18]을 압축 방법에 따라 분리한 것이다. [그림 19]의 (a) 그래프는 압축 코덱으로 HEVC 그리고 Phase Unwrapping 방법으로 DCT를 사용했을 때, 간섭무늬 압축 방법과 위상 압축 방법의 성능을 비교한 그래프이다. 그래프를 통해 위상 압축 방법이 간섭무늬 압축 방법보다 더 뛰어난 성능을 가짐을 확인할 수 있다. 또한 [표 12] (a) 항목에 따르면 83.87% 압축 효율 향상을 확인할 수 있다. [그림 19]의 (b) 그래프는 (a) 그래프에서 압축 코덱만을 VVC로 변경했을 때의 RMSE 성능평가 그래프이다. 그래프와 [표 12]의 (b) 항목에 따르면 위상 압축 방법이 92.39% 더 향상된 압축 효율을 가짐을 알 수 있다. [그림 19]의 (c) 그래프는 (a) 그래프에서 Phase Unwrapping 방법을 PUMA로 변경한 것이다. [표 12]의 (c) 항목에 따르면 82.75%의 성능향상이 있다. 마지막으로 [그림 19]의 (d) 그래프는 (a) 그래프에서 압축 코덱과 Phase Unwrapping 방법을 모두 변경한 것이다. [표 12]의 (d) 항목에 따르면 90.62%의 성능향상이 있다.
WUT 데이터셋 간섭무늬 압축 방법 vs 위상 압축 방법 압축 성능 비교Fig. 19. WUT dataset Fringe Pattern compression method vs Phase compression method comparison of compression performance
[그림 19] BD-Rate (Reference: Fringe Pattern, Test: Phase)Table 12. [Fig 19] BD-Rate (Reference: Fringe Pattern, Test: Phase)
[그림 20]과 [표 13]은 압축 방법과 사용한 압축 코덱의 종류는 일치하는 조건 아래에서 PUMA와 DCT-Based Phase Unwrapping 방식 중 어떤 Unwrapping 방식이 WUT 데이터셋에 적합한지 비교한 것이다. [그림 20]의 (a) 그래프와 [표 13]의 (a) 항목을 보면 WUT 데이터셋에 간섭무늬 압축 방법과 HEVC 압축 코덱을 사용하였을 시 13.78% PUMA 방식이 더 높은 효율을 가짐을 알 수 있다. [그림 20]의 (b) 그래프는 (a) 그래프에서 압축 방법을 간섭무늬 압축 방법에서 위상 압축 방법으로 교체한 것이다. [표 13] (b) 항목에 따르면 압축 방법이 변경되어도 PUMA 방식이 10.92% 더 높은 효율을 보였다. [그림 20]의 (c) 그래프는 (a) 그래프에서 압축 코덱을 VVC로 변경했을 때의 그래프이다. [표 13]의 (c) 항목을 보면 PUMA 방식이 DCT-Based 방식보다 9.89% 향상된 효율을 보인다. 끝으로 [그림 20]의 (d) 그래프는 (a) 그래프에서 압축 방식과 압축 코덱을 모두 변경한 그래프이다. [표 13]의 (d) 항목에 따르면 이전 실험 조건과는 달리 DCT-Based 방식이 PUMA 방식보다 12.01% 더 높은 효율을 보였다.
WUT 데이터셋 PUMA vs DCT-Based Phase Unwrapping 압축 성능 비교Fig. 20. WUT dataset PUMA vs DCT-Based Phase Unwrapping comparison of compression performance
[그림 20] BD-Rate (Reference: PUMA, Test: DCT-Based)Table 13. [Fig 20] BD-Rate (Reference: PUMA, Test: DCT-Based)
[그림 21]과 [표 14]는 위상 압축 방법에서 HEVC와 VVC 중 어떤 코덱이 압축에 더 효율적인지 비교한 그래프와 표이다. [그림 21]의 (a) 그래프와 [표 14]의 (a) 항목에 따르면 위상 압축 방법 그리고 PUMA Phase Unwrapping 방식을 사용했을 시, VVC 압축 코덱이 HEVC 압축 코덱에 비해 30.23% 향상된 성능을 보인다. [그림 21]의 (b) 그래프는 (a) 그래프에서 Phase Unwrapping 방식을 PUMA에서 DCT-Based로 변경한 그래프이다. [표 14]의 (b) 항목에 따르면 VVC 압축 코덱이 HEVC 압축 코덱에 비해 42.89% 더 효율적이다.
WUT 데이터셋 HEVC vs VVC codec 위상 압축 성능 비교Fig. 21. WUT dataset HEVC vs VVC codec Phase compression performance comparison
[그림 21] BD-Rate (Reference: HEVC, Test: VVC)Table 14. [Fig 21] BD-Rate (Reference: HEVC, Test: VVC)
앞 실험에서는 간섭무늬 압축 방법과 위상 압축 방법 모두 Phase Retrieval과 Phase Unwrapping 과정을 모두 거친 후 RMSE를 활용한 성능 비교를 진행하였다. 하지만 Phase Unwrapping 알고리즘 자체의 오차로 인해 성능 판단에 오차가 발생할 수 있다. 따라서 Phase Unwrapping 과정을 거치지 않은 값들에 대해서도 성능 판단을 진행하였다. [그림 4]에서 Phase Retrieval과 Phase Unwrapping 과정을 모두 거친 Fringe Pattern을 ground truth라 하였다. 이때, Fringe Pattern에 Phase Retrieval만을 거친 위상을 무압축 wrapped phase라 하자. 무압축 wrapped phase와 위상 압축 방법과 간섭무늬 압축 방법에서 phase unwrapping 적용 전의 복원 위상을 PSNR을 사용하여 성능 비교를 진행한 것이 [그림 22]이다. [그림 23]은 [그림 22]를 압축 코덱에 따라 분리한 것이다. [그림 23]의 (a) 그래프는 압축 코덱으로 HEVC를 사용한 조건에서 간섭무늬 압축 방법과 위상 압축 방법의 wrapped phase를 비교한 그래프이며 (b) 그래프는 압축 코덱으로 VVC를 사용한 그래프이다. [표 15]에 따르면 (a) 그래프의 경우 위상 압축 방법이 간섭무늬 압축 방법보다 97.46%의 성능향상이 있으며 (b) 그래프의 경우 98.01% 성능향상이 있음을 알 수 있다.
WUT 데이터셋 간섭무늬 압축 방법 vs 위상 압축 방법 wrapped phase 압축 성능 비교Fig. 22. WUT dataset Fringe Pattern compression method vs Phase compression method Comparison of wrapped phase compression performance
WUT 데이터셋 압축 코덱 종류에 따른 wrapped phase 압축 성능 비교Fig. 23. Comparison of wrapped phase compression performance according to WUT dataset compression codec types
[그림 23] BD-Rate (Reference: Fringe Pattern, Test: Phase)Table 15. [Fig 23] BD-Rate (Reference: Fringe Pattern, Test: Phase)
[그림 24]는 Maynooth 데이터셋 8종류의 QP에 따른 RMSE의 평균값을 그래프로 표현한 것이다. 그래프의 x축, y축 그리고 범례는 WUT 데이터셋의 그래프와 동일하다. [그림 24]를 통해 Maynooth 데이터셋도 모든 실험 조건에서 간섭무늬 압축 방법보다 위상 압축 방법이 더 효율적임을 알 수 있다. 한 가지 특이한 사항은 [그림 24]에서 알 수 있듯 Maynooth 데이터셋의 경우에는 간섭무늬 압축이 아닌 위상 압축을 적용하고 Unwrapping 방법으로 DCT를 사용한 경우에만 threshold RMSE 이하에서 다양한 압축율로 압축이 가능한 것으로 판단된다.
Maynooth 데이터셋 평균 RMSEFig. 24. Maynooth dataset average RMSE
[그림 25]는 [그림 24]를 압축 방법에 따라 분리한 것이다. [그림 25]의 (a) 그래프는 압축 코덱으로 HEVC 그리고 Phase Unwrapping 방법으로 DCT를 사용했을 때, 간섭무늬 압축 방법과 위상 압축 방법의 성능을 비교한 그래프이다. 그래프를 통해 위상 압축 방법이 간섭무늬 압축 방법보다 더 뛰어난 성능을 가짐을 확인할 수 있다. 또한 [표 16] (a) 항목에 따르면 29.58% 압축 효율 향상을 확인할 수 있다. [그림 25]의 (b) 그래프는 (a) 그래프에서 압축 코덱만을 VVC로 변경했을 때의 RMSE 성능평가 그래프이다. 그래프와 [표 16]의 (b) 항목에 따르면 위상 압축 방법이 71.77% 더 향상된 압축 효율을 가짐을 알 수 있다. [그림 25]의 (c) 그래프는 (a) 그래프에서 Phase Unwrapping 방법을 PUMA로 변경한 것이다. [표 16]의 (c) 항목에 따르면 4.84%의 성능향상이 있다. 마지막으로 [그림 25]의 (d) 그래프는 (a) 그래프에서 압축 코덱과 Phase Unwrapping 방법을 모두 변경한 것이다. [표 16]의 (d) 항목에 따르면 65.05%의 성능향상이 있다.
Maynooth 데이터셋 간섭무늬 압축 방법 vs 위상 압축 방법 압축 성능 비교Fig. 25. Maynooth dataset Fringe Pattern compression method vs Phase compression method comparison of compression performance
[그림 25] BD-Rate (Reference: Fringe Pattern, Test: Phase)Table 16. [Fig 25] BD-Rate (Reference: Fringe Pattern, Test: Phase)
[그림 26]과 [표 17]은 압축 방법과 사용한 압축 코덱의 종류는 일치하는 조건 아래에서 PUMA와 DCT-Based Phase Unwrapping 방식 중 어떤 Unwrapping 방식이 May-nooth 데이터셋에 적합한지 비교한 것이다. [그림 26]의 (a) 그래프와 [표 17]의 (a) 항목을 보면 Maynooth 데이터셋에 간섭무늬 압축 방법과 HEVC 압축 코덱을 사용하였을 시 50.98% DCT-Based 방식이 더 높은 효율을 가짐을 알 수 있다. [그림 26]의 (b) 그래프는 (a) 그래프에서 압축 방법을 간섭무늬 압축 방법에서 위상 압축 방법으로 교체한 것이다. [표 17] (b) 항목에 따르면 압축 방법이 변경되어도 DCT-Based 방식이 56.51% 더 높은 효율을 보였다. [그림 26]의 (c) 그래프는 (a) 그래프에서 압축 코덱을 VVC로 변경했을 때의 그래프이다. [표 17]의 (c) 항목을 보면 DCT-Based 방식이 PUMA 방식보다 52.41% 향상된 효율을 보인다. 끝으로 [그림 26]의 (d) 그래프는 (a) 그래프에서 압축 방식과 압축 코덱을 모두 변경한 그래프이다. [표 17]의 (d) 항목에 따르면 DCT-Based 방식이 68.27% 향상된 효율을 보인다. WUT 데이터셋과 달리 Maynooth 데이터셋은 모든 실험 조건에서 DCT-Based 방식이 PUMA 방식보다 높은 효율을 보였다.
Maynooth 데이터셋 PUMA vs DCT-Based Phase Unwrapping 압축 성능 비교Fig. 26. Maynooth dataset PUMA vs DCT-Based Phase Unwrapping comparison of compression performance
[그림 26] BD-Rate (Reference: PUMA, Test: DCT-Based)Table 17. [Fig 26] BD-Rate (Reference: PUMA, Test: DCT-Based)
[그림 27]과 [표 18]은 위상 압축 방법에서 HEVC와 VVC 중 어떤 코덱이 압축에 더 효율적인지 비교한 그래프와 표이다. [그림 27]의 (a) 그래프와 [표 18]의 (a) 항목에따르면 위상 압축 방법 그리고 PUMA Phase Unwrapping 방식을 사용했을 시, VVC 압축 코덱이 HEVC 압축 코덱에 비해 36.53% 향상된 성능을 보인다. [그림 27]의 (b) 그래프는 (a) 그래프에서 Phase Unwrapping 방식을 PUMA에서 DCT-Based로 변경한 그래프이다. [표 18]의 (b) 항목에 따르면 VVC 압축 코덱이 HEVC 압축 코덱에 비해 39.03% 더 효율적이다.
Maynooth 데이터셋 HEVC vs VVC codec 위상 압축 성능 비교Fig. 27. Maynooth dataset HEVC vs VVC codec Phase compression performance comparison
[그림 27] BD-Rate (Reference: HEVC, Test: VVC)Table 18. [Fig 27] BD-Rate (Reference: HEVC, Test: VVC)
[그림 4]에서 Phase Retrieval과 Phase Unwrapping 과정을 모두 거친 Fringe Pattern을 ground truth라 하였다. 이때, Fringe Pattern에 Phase Retrieval만을 거친 위상을 무압축 wrapped phase라 하자. 무압축 wrapped phase와 위상 압축 방법과 간섭무늬 압축 방법에서 phase unwrapping 적용 전의 복원 위상을 PSNR을 사용하여 성능 비교를 진행한 것이 [그림 28]이다. [그림 29]는 [그림 28]을 압축 코덱에 따라 분리한 것이다. [그림 29]의 (a) 그래프는 압축 코덱으로 HEVC를 사용한 조건에서 간섭무늬 압축 방법과 위상 압축 방법의 wrapped phase를 비교한 그래프이며 (b) 그래프는 압축 코덱으로 VVC를 사용한 그래프이다. [표 19]에 따르면 (a) 그래프의 경우 위상 압축 방법이 간섭무늬 압축 방법보다 94.65%의 성능향상이 있으며 (b) 그래프의 경우 96.50% 성능향상이 있음을 알 수 있다.
Maynooth 데이터셋 간섭무늬 압축 방법 vs 위상 압축 방법 wrapped phase 압축 성능 비교Fig. 28. Maynooth dataset Fringe Pattern compression method vs Phase compression method Comparison of wrapped phase compression performance
Maynooth 데이터셋 압축 코덱 종류에 따른 wrapped phase 압축 성능 비교Fig. 29. Comparison of wrapped phase compression performance according to Maynooth dataset compression codec types
[그림 29] BD-Rate (Reference: Fringe Pattern, Test: Phase)Table 19. [Fig 29] BD-Rate (Reference: Fringe Pattern, Test: Phase)
3. 결과 요약
상기 실험 결과들을 통해 다음과 같은 사실을 알 수 있었다. 간섭무늬 압축 방법과 위상 압축 방법의 성능을 비교한 결과, WUT와 Maynooth 데이터셋 모두에서 JPEG Pleno Metrology가 제시한 간섭무늬 압축 방법보다 본 논문이 제시한 위상 압축 방법의 효율이 월등히 높음을 확인할 수 있었다. 이러한 성능향상은 압축 코덱의 종류(HEVC/VVC) 및 Phase Unwrapping 방법(PUMA/DCT-Based)에 무관하게 일관되게 관측되었다. 데이터셋에 따른 PUMA와 DCT- Based Phase Unwrapping 알고리즘의 효율을 비교한 결과, WUT 데이터셋의 경우에는 Phase Unwrapping 방법으로 PUMA를 사용한 경우가 DCT-Based를 사용한 경우보다 전반적으로 좋은 결과를 얻을 수 있고, Maynooth 데이터셋의 경우에는 DCT-Based를 사용한 경우가 PUMA를 사용한 경우보다 월등히 좋은 결과를 얻을 수 있다. 위상 압축 방법에서 HEVC와 VVC 압축 코덱에 따른 압축 효율을 비교한 결과, WUT와 Maynooth 데이터셋 모두 위상 압축 방법에서 VVC 압축 코덱이 HEVC 압축 코덱보다 더 효율적임을 확인할 수 있다. 그러나 RMSE threshold 이하의 상황에서는 성능 차이가 크지 않아 두 코덱 중 어떤 코덱을 사용하여도 좋을 것으로 판단 된다.
Ⅴ. 결 론
RMSE와 BD-Rate 그리고 PSNR을 비교한 결과 WUT 데이터셋과 Maynooth 데이터셋 모두에서 본 논문이 제시한 위상 압축 방법이 간섭무늬 압축 방법보다 우수함을 확인할 수 있다. 위상 압축 방법을 통해 WUT 데이터셋은 최대 92.39%, Maynooth 데이터셋은 최대 71.77% BD-Rate 이익을 얻을 수 있음을 확인했다. 간섭무늬 압축 방법의 경우 시료의 두께를 계산하기 위한 위상 정보뿐 아니라 다른 정보들도 포함하고 있음에 반해, 위상 압축 방법은 간섭무늬에서 불필요한 정보들을 제거 후 위상에 대한 정보만을 압축하는 방식이기 때문에 더 높은 성능을 보이는 것으로 판단 된다. 위상 압축 방법에서 WUT와 Maynooth 데이터셋 모두 HEVC 압축 코덱보다 VVC 압축 코덱에서 더 높은 압축 효율을 얻을 수 있었다. 또한 실험 결과를 통해 데이터셋의 종류에 따라 효율적인 Phase Unwrapping 방법을 알 수 있었다. 두께가 얇은 홀로그램인 WUT 데이터셋의 경우 PUMA 방식이 효율적이었다. 하지만 두께가 두꺼운 홀로그램인 Maynooth 데이터셋의 경우 DCT-Based 방식이 효율적이었다. Phase Unwrapping 처리를 적용하지 않은 Wrapped phase 상태에서의 경우에도 WUT와 Maynooth 데이터셋 모두에서 위상 압축 방법이 간섭무늬 압축 방법 보다 더 우수함을 확인했다. 위상 압축 방법의 단점은 간섭무늬 자체를 압축하여 저장하지 않고 Phase Retrieval을 통해 계산된 위상만을 압축하여 저장하기 때문에 사후에 기존의 Phase Retrieval 방식보다 더 개선된 Phase Retrieval 방식이 개발되었을 경우라 할지라도 간섭무늬 자체가 저장되어 있지 않아 개선된 Phase Retrieval 방식을 적용할 수 없다는 것이다. 하지만 BD-Rate 이익의 크기를 고려해본다면 개선된 Phase Retrieval이 적용된 간섭무늬 압축 방법보다 현재 위상 압축 방법이 더 효율적이라고 생각된다. 추후 개선된 Phase Retrieval 방식이 개발되면 추가 실험을 통해 이를 보일 것이다. 또한 더 다양한 종류의 Metrology 데이터들을 획득하여 더 넓은 표본에 대한 실험을 통해 실험의 신뢰성을 올릴 수 있을 것이라 기대된다.
Notes
References
- Applied Optics Laboratory, https://eecs.gist.ac.kr/aolwebsite/sub03_01_03.do, accessed Nov. 11, 2022.
- JPEG (ISO/IEC JTC 1/SC 29/WG1 ITU-T SG16), Coding of Still Pictures, 86th Meeting Sydney, 18 24 January 2020, Australia.
- C3.ai, https://c3.ai/glossary/data-science/root-mean-square-error-rmse/, accessed Nov. 12, 2022.
- Shim, D.G., et al. , High Efficiency Video Coding Technology Understanding HEVC Standard Technology, Hongneung Press, Seoul, (2015), p21-25.
-
Bioucas-Dias, Jose M., Senior Member, IEEEValadao, Goncalo, Phase Unwrapping via Graph Cuts, IEEE TRANSACTIONS ON IMAGE PROCESSING, (2007, March), 16(3), p698-709, Senior Member, IEEE.
[https://doi.org/10.1109/TIP.2006.888351]
-
Ghiglia, Dennis C., Romero, Louis A., Robust two-dimensional weighted and unweighted phase unwrapping that uses fast transforms and iterative methods, J. Opt. Soc. Am. A, (1994, January), 11(1), p107-117.
[https://doi.org/10.1364/JOSAA.11.000107]
- JPEG (ISO/IEC JTC 1/SC 29/WG1 ITU-T SG16), Coding of Still Pictures, 93rd Meeting Online, 18-22 October 2021.
- JPEG Pleno Database, https://plenodb.jpeg.org/, accessed Nov. 30, 2022.
- Information and communication technology glossary, http://www.ktword.co.kr/test/view/view.php?nav=2&no=3446&sh=psnr, accessed Nov. 30, 2022.
김 영 민
- 2017년 ~ 현재 : 경희대학교 전자공학과 학사
- 주관심분야 : 영상처리, 인공지능, 디지털 홀로그램
반 현 민
- 2021년 8월 : 경희대학교 컴퓨터공학과 학사
- 2021년 8월 ~ 현재 : 경희대학교 컴퓨터공학부 석사
- 주관심분야 : 영상처리, 비디오 부호화, 딥러닝, 디지털 홀로그램
구 희 연
- 2018년 ~ 현재 : 경희대학교 컴퓨터공학부 학사
- 주관심분야 : 영상처리, 인공지능, 생체인식, 디지털 홀로그램
최 승 미
- 2022년 8월 : 경희대학교 컴퓨터공학과 학사
- 2022년 8월 ~ 현재 : 경희대학교 컴퓨터공학부 석사
- 주관심분야 : 영상처리, 인공지능, 디지털 홀로그램
오 관 정
- 2010년 : 광주과학기술원 정보통신공학과 박사
- 2010년 ~ 2013년 : 삼성전자 종합기술원 전문연구원
- 2013년 ~ 현재 : 한국전자통신연구원 통신미디어 연구소 선임연구원
- 주관심분야 : 홀로그래피, 2D/3D 영상 처리 및 압축, 이머시브 미디어, JPEG/MPEG 표준화
임 용 준
- 2010년 : 서울대학교 전기컴퓨터공학부 박사
- 2011년 ~ 2014년 : 삼성전자 메모리사업부 책임연구원
- 2014년 ~ 현재 : 한국전자통신연구원 통신미디어 연구소 선임/책임연구원
- 주관심분야 : 디지털 홀로그래픽 디스플레이, 홀로그래픽 마이크로스코피, 홀로그래픽 광학 소자, 근접장 광학, 플라즈모닉스, 메타물질
김 휘 용
- 1994년 8월 : KAIST 전기및전자공학과 공학사
- 1998년 2월 : KAIST 전기및전자공학과 공학석사
- 2004년 2월 : KAIST 전기및전자공학과 공학박사
- 2003년 8월 ~ 2005년 10월 : ㈜애드팍테크놀러지 멀티미디어팀 팀장
- 2005년 11월 ~ 2019년 8월 : 한국전자통신연구원(ETRI) 실감AV연구그룹 그룹장
- 2013년 9월 ~ 2014년 8월 : Univ. of Southern California (USC) Visiting Scholar
- 2019년 9월 ~ 2020년 2월 : 숙명여자대학교 전자공학전공 부교수
- 2020년 3월 ~ 현재 : 경희대학교 컴퓨터공학과 부교수
- 주관심분야 : 비디오 부호화, 딥러닝 영상처리, 디지털 홀로그램
