비정렬 열화상 이미지와 RGB 이미지에 대한 상호 참조 및 융합을 통한 듀얼 모달 깊이 추정

1. 단안 깊이 추정 연구

단안 깊이 추정은 하나의 이미지만을 통해서 깊이를 예측해야한다. 스테레오 깊이 추정과 같이 두 이미지의 상관성을 통해 깊이를 예측하지 않기 때문에 이미지에 대한 전반적인 이해가 중요하다. 이를 위해 일반적인 단안 깊이 추정 모델은 인코더와 디코더로 구성된다. 인코더를 통해 특징 맵을 추출한 이후 이미지 전체에 대한 이해를 포함하고 있는 특징 맵을 기반으로 디코더를 통해 깊이를 추정한다. 이후, 예측 깊이와 실제 깊이 사이의 손실 함수를 통해 모델을 학습한다.

단안 깊이 추정은 실용적인 응용(예: 자율 주행 차량 및 스마트폰 기반의 증강 현실)으로 인해 큰 관심을 받고 있다. 그러나 단안 깊이 추정은 단일 이미지에서 얻은 깊이의 스케일 불확정성 문제로 인해 무한히 많은 경우의 수가 존재할 수 있으므로 불안정한 해를 구하는 문제(ill-posed problem)로 간주된다.

Eigen^[3]은 손수 설계된 특징(예: 저수준 슈퍼픽셀 또는 윤곽선) 없이 단일 이미지에서 깊이를 예측하기 위해 깊은 컨볼루션 신경망을 훈련하는 개념을 처음 도입하였다. 이 연구는 전역적인 특징을 학습할 수 있는 다중 스케일 컨볼루션 신경망을 제안하여, 세밀한 깊이 맵을 예측하기 위한 개선 네트워크를 사용한다. 또한, 내재된 스케일 불확정성 문제를 해결하기 위해 스케일 불변 손실을 제안하였다.

Fu^[4]는 깊이 추정 문제를 이산화된 순서 회귀 문제로 재정의한 첫 번째 연구를 발표하였다. 그들은 회귀 훈련 손실 함수가 훈련 단계에서 느린 수렴과 흐릿한 깊이 추정 결과를 초래하기 때문에 이산화된 깊이 값을 사용하는 다중 클래스 분류 손실을 활용하였다. 또한, 매우 큰 깊이 값이 훈련에 미치는 과도한 영향을 해결하기 위해 간격 증가 이산화 방법을 제안하였다.

Ranftl^[5]는 깊이 추정 및 시멘틱 세그멘테이션과 같은 밀집 예측을 위한 인코더로 비전 트랜스포머를 사용하는 아키텍처를 소개하였다. 트랜스포머 기반의 인코더가 셀프 어텐션 메커니즘을 통해 일관된 특징을 추출하고, 큰 수용 영역을 가지고 있기 때문에 보다 전역적으로 일관된 깊이 맵을 예측할 수 있다. 또한, 트랜스포머 인코더와 컨볼루션 디코더를 결합하여 다중 스케일 특징 맵을 효과적으로 결합하였다.

Yuan^[6]는 인접한 깊이 값들 간의 상관 관계에 중점을 두고, 뉴럴 윈도우 완전 연결 조건부 랜덤 필드(CRF) 기반 깊이 디코더를 제안하였다. 계산 복잡성 문제로 인해 이전 연구들은 전체 그래프가 아닌 인접 그래프간의 CRF를 적용하여 완전 연결 CRF의 이점을 포기하였지만 해당 연구는 윈도우 기반 접근 방식을 채택하여 계산 복잡성 문제를 해결하는 동시에 완전 연결 CRF의 이점을 얻을 수 있었다.

깊이 추정 모델의 발전에도 불구하고, 앞서 언급한 모델들은 양호한 환경(충분한 조도, 맑은 날씨 등)에서 얻은 RGB 이미지가 존재해야 한다는 조건에 종속된다. 따라서 저녁이나 비 오는 날과 같은 악조건에서는 성능 저하가 심각하다는 한계가 있다.

2. 열화상 이미지를 사용한 깊이 추정 연구

열화상 카메라는 날씨와 조명 조건의 변화에 적게 영향을 받기 때문에 RGB 카메라에 비해 일관된 이미지 품질을 유지한다. 열화상 이미지의의 강건성은 날씨나 조명 조건에 강건한 깊이 추정 네트워크를 설계하는 데 주목을 끈다.

Kim^[7]은 RGB 스테레오 이미지와 열화상 이미지를 사용하는 자가 지도 멀티 모달리티 구조를 제안했다. 스테레오 RGB 이미지와 왼쪽 RGB 이미지에 정렬되어 있는 열화상 이미지를 가지고 있을 때에 열화상 이미지를 통해 추정한 깊이, 오른쪽 RGB 이미지와 카메라의 외부 파라미터를 기반으로 오른쪽 RGB 이미지를 워핑하여 왼쪽 RGB 이미지를 재구성한다. 재구성한 왼쪽 RGB 이미지와 실제 왼쪽 RGB 이미지에 손실함수를 적용하여 열화상 깊이 추정 모델을 학습하였다. 또한 다양한 조건을 포함하는 대규모 멀티스펙트럴 스테레오 데이터셋을 제공한다.

Lu^[8]는 RGB와 열화상 도메인 간의 변환을 위한 GAN과 열화상 이미지에서 깊이를 예측하는 컨볼루션 모델을 결합한 비지도 학습 모델을 제안했다. 학습 과정에서 스테레오 RGB 이미지와 단일 열화상 이미지가 모두 사용된다. 왼쪽 RGB 이미지는 GAN을 통해 열화상 이미지로 변환된 후, 실제 열화상 이미지에서 얻은 깊이 추정 결과를 기반으로 이미지를 워핑하여, 워핑된 열화상 이미지와 실제 열화상 이미지 간의 손실함수를 계산하며 학습을 진행한다.

Shin^[9]은 다양한 조건(예: 주간, 야간, 비)을 포함하는 대규모 멀티스펙트럴 스테레오(MS2) 데이터셋을 제공하며, 이 데이터셋은 스테레오 RGB, 스테레오 NIR, 스테레오 열화상, 스테레오 LiDAR 데이터를 포함한다. 또한 이들은 단일 모달리티와 스테레오 시나리오 모두에서 효과적으로 작동하는 열화상 깊이 추정 모델을 제안했으며, 단안 및 스테레오 설정에서 학습할 수 있는 지식을 코스트볼륨 방법을 통해 효과적으로 통합하였다.

1. 듀얼 모달리티 교차 융합 모듈

이전에서 설명한 바와 같이, 서로 다른 모달리티 이미지 간의 비정렬로 인해 서로 다른 위치에서의 특징들 간의 상관관계가 존재한다. 따라서 서로 다른 위치에 있는 상호보완적 특징을 추출하기 위해 트랜스포머의 어텐션 기반 서로 다른 모달리티 간의 상호 참조를 통해 상관관계를 효과적으로 융합하고자 한다. 그림 2는 듀얼 모달리티 교차 융합(Dual-Modality Cross Fusion, DMCF) 모듈의 구조를 나타낸다.

Fig. 2.

Architecture of a Dual-Modality Cross -Fusion (DMCF) Module

각 모달리티의 특징을 향상시키기 위해, GMFlow^[11] 구조내 특징 향상 레이어의 입력 구조를 개선하였다. 기존 특징 향상 레이어는 특징 입력을 직접적으로 사용하는 것에 비해, 제안된 DMCF 모듈은 특징 입력과 다운샘플된 입력 이미지를 concatenation 후에 convolution block을 통과시킨 결과를 입력으로 사용한다. 이렇게 GMFlow의 특징 향상 레이어 입력부 구조를 개선함으로써 깊이 영상의 구조적 정보를 더 효과적으로 추정할 수 있었다. 제안한 DMCF는 각 모달리티의 강점을 상호 보완적으로 활용하는 것을 목표로 한다. 입력 이미지 해상도의 1/4, 1/8, 1/16, 1/32 크기에 해당하는 네 가지 다른 스케일(s = 1/4, 1/8, 1/16, 1/32)에서 특징 $$ {\mathbf{F}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{ }}^{{\mathrm{*}}^{\left(s\right)}}$$, modal=‘thr’ or ‘rgb’을 추출한다. 이러한 특징들은 공간 구조를 유지하기 위해 각 모달리티의 다운샘플된 입력 이미지 $$ {\mathbf{I}}_{thr}^{\left(s\right)}\in {\mathrm{R}}^{sW\times sH\times 1}$$, $$ {\mathbf{I}}_{rgb}^{\left(s\right)}\in {\mathrm{R}}^{sW\times sH\times 3}$$와 연결된 후, ConvBlock(두 번의 합성곱과 배치 정규화)을 사용하여 채널 크기를 줄인다. 그림 2에서 ConvBlock의 출력은 $$ {\mathbf{F}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{ }}^{{\mathrm{*}}^{\left(s\right)}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{B}\mathrm{l}\mathrm{o}\mathrm{c}\mathrm{k}\left(\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left({\mathbf{F}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}}^{\left(s\right)},{\mathbf{I}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{ }}^{\left(s\right)}\right)\right)$$으로 표현되며, ‘concat’은 연결(concatenation)을, $$ {\mathbf{I}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{ }}^{\left(s\right)}$$은 평균 풀링을 통해 얻은 다운샘플된 이미지를 나타낸다. $$ {\mathbf{F}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}}^{\left(s\right)}$$은 스케일 s에서의 Swin Transformer Stage^[10] 출력 특징으로 attention weight를 계산할 때에만 상대적 위치 임베딩 정보를 고려하기 때문에 $$ {\mathbf{F}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}}^{\left(s\right)}$$는 공간적 위치 정보가 부족할 수 있어, 이를 보완하기 위해 [11]에서 설명한 방법을 따라 절대적 위치 임베딩 PE를 사용한다. 이 단계는 $$ {\tilde{\mathbf{F}}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{ }}^{\left(s\right)}={\mathbf{F}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{ }}^{\mathrm{*}\left(s\right)}+\mathrm{P}\mathrm{E}$$로 표현된다.

2. 교차 관계 블록

그림 2의 DMCF 모듈은 2개의 교차 관계(Cross Relation, CR) 블록을 포함하고 있다. 교차 관계 블록은 DMCF 모듈 내에서 듀얼 모달리티에 대한 상호 참조 및 융합 과정을 처리하기 위해 고안되었다. 각 CR 블록의 구조는 그림 3과 같다.

Fig. 3.

Architecture of Cross-Relation Block

그림 3에서 보듯이 CR 블록은 각 모달리티 내 셀프-어텐션과 듀얼 모달리티 간 크로스-어텐션으로 구성된다. 셀프-어텐션은 각 모달리티 내(Intra-Modality)에서의 고유 정보를 강화하며, 크로스-어텐션은 두 모달리티 간(Inter-Modality)의 정보 교환을 촉진하여 특징 간 상호 강화 효과를 유도한다. DMCF 모듈을 모든 스케일의 트랜스포머 단계로부터 출력된 특징에 대해 적용하면서도 메모리 사용량을 줄이기 위해 Swin Transformer^[10]의 윈도우 셀프-어텐션 방법을 차용하여 어텐션을 계산한다.

어텐션 기반 특징 향상 과정으로서, 스케일 s의 트랜스포머 단계의 출력인 $$ {\tilde{\mathbf{F}}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{ }}^{\left(s\right)}$$가 CR 블록의 입력이 된다. 각 모달리티에 대한 윈도우 셀프-어텐션 연산은 다음과 같이 계산된다:

여기서 Q,K,V∈R^M2xd는 모두 $$ {\tilde{\mathbf{F}}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{ }}^{\left(s\right)}$$로부터 계산된다. M과 d는 각각 윈도우 크기와 채널 차원의 개수를 나타낸다. W-SA 연산은 Q, K, V를 동일한 특징으로부터 가져오므로, 윈도우 내에서 셀프-상관된 특징들을 강화한다.

그림 3에서 윈도우 크로스-어텐션 연산은 다음과 같이 계산된다.

여기서 $$ \mathrm{W}-\mathrm{C}\mathrm{A}\left({\mathbf{G}}_{\mathrm{t}\mathrm{h}\mathrm{r}}^{\left(s\right)},{\mathbf{G}}_{\mathrm{r}\mathrm{g}\mathrm{b}}^{\left(s\right)}\right)$$와 $$ \mathrm{W}-\mathrm{C}\mathrm{A}\left({\mathbf{G}}_{\mathrm{r}\mathrm{g}\mathrm{b}}^{\left(s\right)},{\mathbf{G}}_{\mathrm{t}\mathrm{h}\mathrm{r}}^{\left(s\right)}\right)$$의 쿼리는 각각 Q_thr, Q_rgb∈R^M2xd이며 $$ Q_{\mathrm{t}\mathrm{h}\mathrm{r}}={\mathbf{W}}_{Q,s}^{\mathrm{t}\mathrm{h}\mathrm{r}}\cdot {\mathbf{G}}_{\mathrm{t}\mathrm{u}\mathrm{r}}^{\left(s\right)}$$와 $$ Q_{\mathrm{r}\mathrm{g}\mathrm{b}}={\mathbf{W}}_{Q,s}^{\mathrm{r}\mathrm{g}\mathrm{b}}\cdot {\mathbf{G}}_{\mathrm{r}\mathrm{g}\mathrm{b}}^{\left(s\right)}$$인 선형 변환($$ {\mathbb{R}}^{M^2\times C}⟶{\mathbb{R}}^{M^2\times d}$$)으로부터 계산되며, K_thr, K_rgb, V_thr, V_rgb∈R^M2xd는 각각 $$ K_{thr}^{\left(s\right)}=W_{K,s}^{thr}{G}_{thr}^{\left(s\right)}$$, $$ K_{rgb}^{\left(s\right)}=W_{K,s}^{rgb}{G}_{rgb}^{\left(s\right)}$$, $$ V_{thr}^{\left(s\right)}=W_{V,s}^{thr}{G}_{thr}^{\left(s\right)}$$, $$ V_{rgb}^{\left(s\right)}=W_{V,s}^{rgb}{G}_{rgb}^{\left(s\right)}$$으로부터 계산된다. W-CA는 타겟 특징인 $$ {\mathbf{G}}_{\mathrm{t}\mathrm{h}\mathrm{r}}^{\left(s\right)}\left(\mathrm{ }\mathrm{o}\mathrm{r}\mathrm{ }{\mathbf{G}}_{\mathrm{r}\mathrm{g}\mathrm{b}}^{\left(s\right)}\right)$$로부터 모든 $$ K_{\mathrm{t}\mathrm{h}\mathrm{r}}^{\left(s\right)}\left(\mathrm{o}\mathrm{r}\mathrm{ }{K}_{\mathrm{r}\mathrm{g}\mathrm{b}}^{\left(s\right)}\right)$$와 $$ V_{\mathrm{t}\mathrm{h}\mathrm{r}}^{\left(s\right)}\left(\mathrm{o}\mathrm{r}\mathrm{ }{V}_{\mathrm{r}\mathrm{g}\mathrm{b}}^{\left(s\right)}\right)$$를 계산하므로, 이는 CR 블록이 서로 다른 모달리티에서 관련된 특징을 추출할 수 있는 구조를 가지게 된다.

그림 3에서 시프트 윈도우 셀프-어텐션과 시프트 윈도우 크로스-어텐션 연산은 [10]의 방식과 동일하게 윈도우를 x, y 방향으로 $$ \frac{M}{2}$$만큼 이동시킨 이후 앞서 설명한 윈도우 셀프-어텐션과 윈도우 크로스-어텐션 연산과 동일한 방식으로 반복된다.

3. 다중 목적 학습 전략 (Multi-objective Training Strategy)

본 논문에서는 열화상 이미지 I_thr와 RGB 이미지 I_rgb에 대한 깊이 추정을 동시에 수행하는 다중 목적 훈련 전략을 사용한다. 두 모달리티의 결과값인 D_thr와 D_rgb에 동시에 손실 함수를 적용함으로써, DMCF 모듈이 두 모달리티의 학습 신호 모두로부터 학습이 진행된다. 또한, 특정 모달리티의 실제 깊이만을 사용하여 학습하는 경우에 인코더가 해당 모달리티로부터만 유의미한 특징을 추출하는 것에 편향(bias)될 수 있지만, 다중 목적 훈련을 적용하면 듀얼 모달리티 입력으로부터 의미 있는 특징 추출을 할 수 있다는 장점을 가지고 있다.

제안된 DMCF 모듈은 어텐션 기반 특징 향상 모듈이므로 모든 모달리티에서의 유의미한 특징 추출이 중요하다. 따라서, 본 논문에서는 DMCF 모듈의 상호 보완적 특징을 추출할 수 있는 잠재력을 최대한 활용하기 위해 다중 목표 학습을 적용한다.

4. 멀티 모달리티 학습을 위한 네트워크 구조

DMCF 모듈에서 특징 향상을 위해 사용한 어텐션 계산의 경우 쿼리(Q)와 키(K) 간의 상관관계를 통해 관련성 있는 정보를 강화할 수 있게 한다. 어텐션 계산에서 두 특징 간의 내적을 통해 상관성을 계산하기 때문에 쿼리와 키가 비슷한 특성을 가지고 있어야 유의미한 어텐션 값을 얻을 수 있다. 하지만, 크로스-어텐션을 계산할 때의 쿼리와 키는 서로 다른 모달리티의 특징으로부터 도출되기 때문에 어텐션 결과 값이 유의미한 상관 정보를 가지지 않을 수 있다. 이를 해결하기 위해 본 제안 방법에서는 그림 4에서 보듯이 공유 인코더를 사용하여 특징을 추출하였다. 공유 인코더를 사용하면 학습 과정이 안정화될 뿐만 아니라 성능 향상에도 기여한다. 또한, 공유 인코더를 통해 얻은 특징들을 DMCF 모듈에 입력하여 그 출력으로 얻은 특징들도 서로 유사한 특성을 가지게 되므로 공유 디코더를 사용하여 각 모달리티에서의 최종 깊이 예측을 하였다. 이러한 공유 인코더 및 디코더의 효과적 활용은 학습 과정에서 두 모달리티 정답으로부터의 학습을 가능하게 하여 성능 향상을 이끌어낸다. 인코딩 및 디코딩 단계에서 공유 요소를 포함하는 이 통합된 접근 방식은 더 나은 깊이 예측을 위해 모달리티 간 특징 유사성이 중요함을 강조한다.

Fig. 4.

Our proposed network architecture utilizing shared encoder and shared decoder

5. 손실 함수

단안 깊이 추정은 3D 공간이 2D 공간으로 투영될 때 손실되는 3D 정보를 재구성하는 어려운 작업을 포함하며, 이는 불안정한 해를 구하는 문제(ill-posed problem)로 간주된다. 즉, 동일한 2D 공간으로 투영될 수 있는 무한히 많은 경우가 존재한다. 실제 깊이와 예측된 깊이 간의 스케일 차이에 의해 손실 함수가 영향을 받는 문제를 해결하고자 [12]에서 제안된 Scale-Invariant Logarithmic (SILog) 손실함수를 활용한다. SILog 손실함수는 스케일 차이로 인해 손실 함수 값이 달라지기보다는, 스케일 불변 손실 함수를 통해 값 집합 간 상대적 깊이 값을 비교할 수 있도록 한다. SILog 손실 함수는 다음과 같다.

식에서 Δd_i는 $$ \log d_i^{\text{'}}-\log d_i^{*}$$를 나타내고$$ d_i^{\text{'}}$$, $$ d_i^{*}$$은 픽셀 i에서의 실제 깊이 값과 예측 깊이 값을 나타낸다. 또한, K는 유효한 깊이 값, 즉, LiDAR 센서를 통해 실제 깊이 값을 가지고 있는 픽셀 수를 나타낸다. 위 식에서 λ를 1로 설정했을 때 위의 손실함수가 완전히 스케일 불변해질 수 있지만 선행 연구^[6,12]에서 λ를 1보다 작게 설정하는 것이 더 좋은 학습 결과를 보여 [6]을 따라 λ를 0.85로 설정하여 학습을 진행하였다.

1. 구현 세부정보

제안된 DMCF-SIDE 네트워크는 인코더와 디코더로 구성된다. 정성적 및 정량적 비교를 위해 ImageNet 데이터셋으로 사전 학습된 Swin Transformer^[10]-Large 모델을 사용한다. 절제 연구(Ablation Study)에서는 학습 속도를 높이기 위해 동일하게 ImageNet으로 사전 학습된 Swin Transformer-Base 모델을 사용한다. 디코더는 Monodepth2 [13]에서 사용된 것과 동일하며, 인코더의 출력에서 스킵 연결을 사용한다. Swin Transformer는 원본 입력 이미지 해상도의 1/4, 1/8, 1/16, 1/32 스케일에서 특징을 출력한다. 이러한 출력의 채널 차원은 Base 모델의 경우 128, 256, 512, 1024이고, Large 모델의 경우 192, 384, 768, 1536이다. DMCF 모듈에서, 컨볼루션 블록은 채널 수를 절반으로 줄이며, 그 결과 Base 모델의 경우 64, 128, 256, 512, Large 모델의 경우 96, 192, 384, 768의 채널 수를 갖는다. 교차 관계 블록에서는, 1/4 및 1/8 스케일의 특징에 대해 4×4 윈도우, 1/16 및 1/32 스케일의 특징에 대해 2×2 윈도우로 특징을 분할한다. 초기 학습률과 최종 학습률은 각각 1×10^－4, 1×10^－5로 설정한다. Adam 옵티마이저를 사용하며, β₁과 β₂ 매개변수는 각각 0.9와 0.999로 설정된다. 학습에 사용된 깊이 값은 0미터에서 80미터까지이며, 평가 시에는 1×10^－3미터에서 80미터까지의 깊이 값을 사용한다.

2. 데이터셋

MS2 데이터셋^[9]을 학습 및 테스트에 사용한다. 해당 데이터셋은 다양한 환경 조건(예: 주간, 야간, 비)에서 RGB, 열화상, NIR 스테레오 이미지를 제공하는 실외 자율주행 데이터셋이다. 또한 LiDAR를 통해 얻은 실제 깊이(Ground Truth Depth)와 GPS 센서를 통해 측정된 카메라 위치 정보도 제공된다. 본 연구에서는 자동차 와이퍼로 인해 비가 오는 장면에서 RGB 이미지가 가려지는 것을 배제하기 위해, 학습 및 테스트 모두 맑은 날씨의 주간과 야간에 촬영된 이미지만 사용하였다. 이전 연구에서 학습, 검증, 테스트 목록이 사전에 존재하지 않았기 때문에 새로운 목록을 생성하였다. GPS 센서 데이터를 기반으로 정지된 장면을 데이터셋에서 필터링하여 특정 이미지가 학습에 과도한 영향을 미치는 것을 방지하였다. 데이터 분할은 44,352개의 학습 이미지, 2,240개의 검증 이미지, 그리고 1,000개의 테스트 이미지로 구성된다. 데이터 분할은 주간과 야간 이미지를 동일한 수로 유지한다. 이후의 모든 실험 결과는 이 데이터 분할을 사용하여 학습된 모델을 기반으로 한다.

3. 실험 결과 분석

표 1 및 2는 MS2 테스트셋에서 깊이 추정 네트워크의 성능을 열화상 및 RGB 이미지 각각에 정렬된 깊이에 대해 비교한 내용을 제시한다. 이전의 깊이 추정 연구들의 평가 방식에 따라, 4가지 오류 지표와 3가지 정확도 지표를 사용하여 결과를 평가한다. 오류 지표가 낮거나 정확도 지표가 높을수록 더 나은 결과를 나타낸다. NewCRF1^[6]은 RGB 또는열화상 단일 모달리티 입력만을 사용하여 학습된 모델을 나타낸다. NewCRF2는 공정한 정보 사용을 보장하기 위해 학습과 테스트 모두에서 열화상과 RGB 이미지를 결합하여 입력으로 사용한다.

Table 1.

Quantitative Comparison of depth estimation results aligned to thermal images of MS2 test split. RGB, THR: represent modality of input. Stereo: Whether the model utilized stereo inputs. The best performance in each block is highlighted in bold

Table 2.

Quantitative Comparison of depth estimation results aligned to RGB images of MS2 test split. RGB, THR: represent modality of input. The best performance in each block is highlighted in bold

3.1 열화상 이미지와 정렬된 깊이 추정 결과:

Shin et al.^[9]의 방법은 단안 및 스테레오 설정 모두에서 작동하도록 설계되고 학습되었기 때문에, 제안 방법을 이 두 가지 시나리오 모두와 비교하였다. 표 1에서 볼 수 있듯이, 제안된 네트워크는 모든 지표에서 다른 모든 방법의 성능을 능가한다. 스테레오 입력을 사용하는 Shin et al.^[9]의 방법이 두 번째로 좋은 성능을 보였으며, 이에 비해 제안 방법(DMCF-SIDE)은0 ‘abs_rel’ 지표에서 평균 6.6%의 향상을 달성한다. 특히, 낮과 밤 테스트셋에서 각각 7.5%와 5.6%의 향상을 확인하였다. 더 나은 조명 조건으로 인해RGB 이미지가 일반적으로 더 많은 유의미한 정보를 포함하는 낮 테스트셋에서 더 큰 성능 향상이 관찰된 것은, 제안 모델이 모달리티 간 상호 보완성을 효과적으로 활용했음을 의미한다.

그림 5는 제안된 모델을 NewCRF1^[6] 및 Shin et al.^[9](스테레오 설정)와 비교한 정성적 결과를 보여준다. 빨간색 상자로 강조된 영역에서 볼 수 있듯이, 다중 모달리티 입력을 활용한 제안 모델은 객체 구조를 더 잘 보존하고, 객체 내의 일관된 깊이 예측을 보여준다. 이는 제안 모델이 깊이 추정 정확도를 향상시키기 위해 다중 모달리티 정보를 활용하는 것의 효과를 잘 보여준다.

Fig. 5.

Qualitative comparison of depth estimation results aligned to thermal images of MS2 test split. In error map, blue represents low value and red represents large value

3.2 RGB 이미지와 정렬된 깊이 추정 결과:

RGB 이미지와 정렬된 결과는 열화상 이미지와 유사하게, 제안된 모델이 대부분의 지표에서 최고의 성능을 보인다. 그림 6은 제안 모델을 NewCRF1^[6]과 비교한 정성적 결과를 보여준다. 빨간색 상자로 강조된 영역에서 볼 수 있듯이, 열화상 이미지에서 얻은 추가 정보가 네트워크가 더 정확한 깊이를 예측하는 데 도움을 준다. 그림 6에서 RGB 입력만을 사용하는 NewCRF1이 객체의 가장자리를 정확하게 감지하는 데 어려움을 겪는 것을 확인할 수 있다.

Fig. 6.

Qualitative comparison of depth estimation results aligned to RGB images of MS2 test split. In error map, blue represents low value and red represents large value

1. 네트워크 구조 절제 연구

이 절제 연구는 공유 인코더와 디코더 구조의 효과를 확인하기 위해 설계되었다. 이를 위해, 제안된 모델 구조의 네 가지 변형과 비교하였다: (i) 두 개의 비공유 인코더와 하나의 공유 디코더(UE+SD), (ii) 두 개의 비공유 인코더와 두 개의 비공유 디코더(UE+UD), (iii) 하나의 공유 인코더와 두 개의 비공유 디코더(SE+UD), (iv) 하나의 공유 인코더와 하나의 공유 디코더(SE+SD, 제안된 모델).

표 3에서 볼 수 있듯이, RGB에 대해 평가할 때, 공유 인코더를 사용하는 경우, (a)를 기준으로 (d)에서 5%의 개선이 있었으며, (b)를 기준으로 (c)에서는 3.7%의 개선이 있었다. 디코더가 공유되거나 비공유되는 조건을 비교했을 때 차이는 1.1% 이내였다. 이러한 결과는 공유 인코더를 사용하여 다른 모달리티에서 유사한 특징을 추출하는 것이 중요함을 시사한다. 또한, 비공유 인코더와 함께 공유 디코더를 사용하는 경우 성능이 저하되었는데, 이는 서로 다른 특징들이 동일한 디코더를 통해 깊이로 매핑되어야 하기 때문인 것으로 추측하였다. 결과적으로 공유 인코더와 공유 디코더를 함께 사용하는 것이 가장 효과적임을 확인하였다.

Table 3.

Quantitative comparison of depth estimation results between network architecture variants, ‘Modal’ means where the depth estimation results are aligned to, the best performance in each blockis highlighted in bold

2. DMCF 모듈 입력 구조 절제 연구

이 절제 연구는 DMCF 모듈에서의 다운샘플된 입력 이미지와 특징의 concatenation 후에 convolution block을 통과시키는 것의 효과를 확인하기 위해 설계되었다. ‘concat’에 체크가 없는 모델은 제안 모델에서 다운샘플된 입력 이미지의 concatenation만 제외된 것이고 표 4에서 볼 수 있듯이 concatenation을 포함한 제안 모델이 대부분의 성능에서 가장 좋은 것을 확인할 수 있었다.

Table 4.

Quantitative comparison of depth estimation between proposed model and proposed model without ‘concatenation’ in DMCF Module.The best performance in each block is highlighted in bold