Journal Archive

[6]에서는 최초로 딥러닝을 활용하여 카메라 파라미터를 추정하였다. 이때 사용된 딥러닝 모델은 AlexNet으로, 전이학습 이용하여 초점 거리를 추정하였다. 전이학습이란 이미지넷에서 이미지를 분류하기 위해 개발된 모델을 다른 분야의 문제를 해결할 때 사용하는 방법을 말한다. 전이학습을 이용하여 카메라 파라미터를 추정하는 방법은 아래와 같다.

[11]에서는 Inception v3를 전이학습을 이용하여 파라미터를 추정한다. 전이학습 모델의 초기 파라미터는 이미지넷 데이터셋을 이용해 미리 학습된 파라미터를 사용한다. Inception v3는 그림 1의 구조를 가지고 있고 출력으로 8x8x2048 크기를 가지는 특징맵이 나온다. 이 특징맵을 분류 또는 회귀 알고리즘에 적용하여 초점거리와 왜곡 계수를 예측한다. 그림 1의 특징맵을 출력층과 fully connected layer로 연결하여 학습한다.

Fig. 1.  
Architecture of the Inception v3 model^[14]

예측하고자 하는 두 가지 파라미터(초점거리, 왜곡계수)들은 연속적인 값을 갖기 때문에 회귀 문제로 해결해야 한다. 이때 출력층 노드의 개수는 예측하고자 하는 파라미터의 개수만큼 설정한다. 회귀 방법에서는 초점거리와 왜곡계수를 예측하기 때문에, 출력 노드의 개수는 2개이다. 출력층의 노드 각각은 하나의 파라미터를 예측하며, 손실 함수로 MSE, MAE, Huber Loss 등을 이용하여 학습한다.

[11]에서는 초점 거리 및 왜곡 계수를 정확히 추정하는 딥러닝 모델을 찾기 위해, 여러 가지 모델을 생성하고 비교하였다. 초점 거리와 왜곡 계수를 하나의 특징맵에서 모두 추정하는 모델, 초점 거리와 왜곡 계수를 독립된 두 개의 특징맵을 이용하여 추정하는 모델, 초점 거리를 먼저 구하고 이를 추가 입력으로 하여 왜곡 계수를 추정하는 모델을 비교하였다. 이중 하나의 특징맵에서 초점 거리 및 왜곡 계수를 추정하는 딥러닝 모델이 가장 높은 성능을 보였다. 추가로 회귀 방법과 분류 방법 각각을 적용하여 실험한 결과, 분류 방법을 이용했을 때 더 높은 성능을 보이는 것을 확인했다.

회귀 문제를 분류 문제로 변형하기 위해서는 클래스를 정의할 필요가 있다. 예측하고자 하는 파라미터의 값을 클래스로 표현할 수 있다면 분류 문제로 해결하는 것이 가능하다. 이를 위해 파라미터의 범위가 한정되어 있어야한다. 그림 2와 같이 일정한 간격을 가지는 파라미터의 값들을 클래스로 만들고 분류 문제로 해결한다. 이때 출력층의 개수는 예측하고자 하는 파라미터의 개수와 같고, 출력층 각 노드의 개수는 클래스의 개수와 같다. 손실 함수로는 교차 엔트로피를 사용한다.

Fig. 2.  
Assignment of focal length and distortion coefficient classes

[11]에서는 그림 2와 같이 초점 거리는 50~500의 범위 내에 존재하도록 설정했는데, 이는 다양한 카메라 모델을 수용할 수 있기 때문이다. 초점 거리는 10 단위로 샘플링하여 총 46개의 클래스를 만들었다. 왜곡 계수 또한 다양한 카메라 모델을 수용하는 범위인 0~1.2으로 설정했다. 왜곡 계수는 0.02 단위로 샘플링하여 총 61개의 클래스를 만들었다.

Inception v3의 출력은 그림 1과 같이 8x8x2048의 크기를 가지는 특징맵이다. 이 특징맵을 flatten 한 히든 레이어와 출력층을 fully connected layer로 연결하여 학습을 진행한다. 초점 거리와 왜곡 계수를 구해야하므로 두 개의 fully connected layer가 존재하며 초점 거리를 예측하는 출력층 노드의 개수는 46개이며 왜곡 계수의 경우 61개이다. 활성화 함수로는 소프트맥스를 사용하는데, 활성화 함수를 거치고 나면 각 클래스를 예측할 확률을 나타내게 된다. N개의 클래스를 가지는 출력층의 각 노드가 나타내는 값을 L_i라고 할 때(i=1,2,...,N), 소프트맥스 활성화 함수를 통과한 값 S_i는 다음과 같다.

S_i는 모두 더했을 때 값이 1이 되기 때문에 확률 값으로 사용된다. 소프트 맥스 활성화 함수를 거쳐 확률로 표시된 값들을 손실 함수로 교차 엔트로피를 사용하여 실험한다. 교차 엔트로피는 실제 분포를 알지 못하는 상태에서, 모델링을 통해 예측 확률 분포를 구하여 실제 확률 분포를 예측하는 것이다. 딥러닝이 최종으로 도달하고자 하는 실제 확률 분포를 C_i라고 하자(i=1,2,...,N). 예측 확률 분포는 소프트맥스 활성화 함수를 거친 확률 값인 S_i이다. 식으로는 다음과 같다.

[12]에서는 기존의 이미지 분류 모델보다 파라미터 개수를 줄여 학습시간을 단축시킨 DenseNet-161을 전이학습을 이용하여 문제를 해결한다. 모델의 초기 파라미터 역시 이미지넷에서 미리 학습된 파라미터를 사용한다. [12]에서는 딥러닝을 이용하여 추정하기 어려운 파라미터들이 존재하며, 그 파라미터와 변환 및 역변환이 가능하면서 더욱 정확하게 추정할 수 있는 파라미터들을 제안하였다. 그중 초점 거리의 경우 딥러닝을 통해 단일 이미지에서 직접 구하기 어려운 파라미터이며, 초점 거리와 변환이 가능하며 단일 이미지에서 비교적 추정하기 쉬운 시야각(Field of View) 파라미터를 대신 구하여 초점 거리를 얻는 방법을 제안하였다. 시야각과 초점 거리는 식 (3)과 같은 관계를 가지기 때문에 시야각을 추정하면 초점 거리를 얻을 수 있다.

[11]에서는 초점 거리와 왜곡 계수를 추정하는 회귀 문제를 초점 거리와 왜곡 계수의 범위를 설정하여 샘플링하고 클래스로 할당하여 분류 문제로 변환하였다. 분류 문제이기 때문에 손실 함수로 교차 엔트로피를 사용한다. 교차 엔트로피는 두 변수들의 확률들의 차이를 의미하는데, 확률들 중 하나는 최종적으로 딥러닝 모델이 추정해야하는 확률인 C_i이다. 정답 클래스일 경우 1을, 정답 클래스가 아닐 경우 0을 부여한다.

다른 확률 하나는 딥러닝 모델이 예측하는 확률인 S_i이다. 식 (2)와 같이 학습은 두 확률의 차이가 줄어드는 방향으로 진행된다. 즉 딥러닝 학습 목표는 정답 클래스를 예측할 때, S_i가 1이 되도록 학습하고, 다른 클래스를 예측할 때는, S_i가 0이 되도록 학습하는 것이다. 이러한 분류 기반 학습 방법에서는 예측 값의 클래스만을 정확하게 예측하도록 학습된다. 이 과정에서는 예측 값과 실제 값의 차이를 줄이는 과정이 생략된 문제점이 존재한다. 즉, 분류 기반 예측 방법에서는 정답을 예측하지 못했을 때 실제 값과 예측 값이 얼마나 차이 나는지는 알 수 없다. 정답을 예측할 경우 오차가 발생하지 않지만 정답을 예측하지 못했을 때 오차가 발생한다. 하지만 초점 거리와 왜곡 계수를 구하는 것은 회귀 문제이기 때문에 딥러닝 모델의 최종 목표는 실제 값과 예측 값의 차이를 줄이는 것이다. 정답을 예측하지 못한 경우 오차가 작아지도록 학습할 필요가 있다. 이를 해결하기 위한 방법을 다음 장에서 설명한다.

딥러닝 네트워크 모델의 학습을 위해 초점 거리와 왜곡 계수를 알고 있는 많은 개수의 훈련 데이터들이 필요하다. 하지만 이런 정답을 알고 있는 데이터들은 실제로 얻기 어렵다. 이를 위해서, 인터넷 상에서 얻을 수 있는 파노라마 이미지로부터 2D 훈련 영상들을 추출하여 사용한다. 아래 내용은 파노라마 영상으로부터 2D 영상을 추출하는 과정을 설명한다.

그림 5의 (a)는 [15]에서 사용한 Unified Spherical Model을 나타내며 단일 왜곡 계수를 반영한 카메라 투영 모델이다. 이 모델을 사용할 경우 투영, 역투영이 자유롭기 때문에 파노라마 영상을 이용하여 2D 영상을 생성할 수 있다. 또한 왜곡 계수의 범위가 넓기 때문에 휴대폰뿐만 아니라 다양한 종류의 카메라에서 찍은 이미지도 접근이 가능한 장점이 있다.

Fig. 5.  
Unified Spherical Model and the notation

구에서 2D 이미지로 투영하기 위한 과정은 아래와 같다. 3차원 점 P_W를 단위 구로 위의 점 P_S로 정규화 시킨다. 그 후 투영 중심 O_C를 기준으로 단위 구 위의 점 P_S(X_S, Y_S, Z_S + ξ)를 Image plane의 점 p(x, y)으로 투영시킨다. p(x,y)는 식 (7)로 표현할 수 있다.

2D 영상을 구로 역투영하기 위한 과정은 다음과 같다. 그림 6은 그림 5의 Image plane 위의 점 p(x, y)를 Normalized plane 위의 점 p^=x^, y^로 정규화 시킨 것을 나타낸다. 그림 6에서 투영 중심 O_C와 단위 구 위의 점 P_S의 z축 좌표 차이를 w라 할 때 역투영된 점 P_S는 다음과 같다.

Fig. 6.  
Unified Spherical Model with normalized plane

Unified Spherical Model은 단위 구이므로 반지름이 1이다. 직각삼각형 OP_SP_S'의 세 변의 길이를 식으로 표현할 수 있기 때문에 피타고라스 정리를 이용하면 다음과 같이 w를 구할 수 있다.

따라서 파노라마 영상을 구로 역투영시키고, 초점 거리와 왜곡 계수를 아는 2D 영상으로 투영시키는 과정을 통해 이미지를 생성한다.

파노라마 이미지는 SUN360^[16]과 3D60^[17] 데이터셋에서 총 3만개를 얻었고 초점 거리와 왜곡 계수를 알고 있는 2D 이미지 20만개를 생성하였다.

총 데이터는 20만개이며 훈련 데이터는 16만개, 검증 데이터와 시험 데이터는 각각 2만개로 설정하였다. 네트워크 구조는 그림 1과 같이 Inception v3의 출력인 특징맵과 출력층을 fully connected layer로 연결하였다. 초점 거리 대신 시야각을 추정하며, 시야각은 46개의 클래스를 가지고 왜곡 계수는 61개의 클래스를 가진다. 제안한 손실 함수의 성능을 비교하기 위해 기존의 방법들을 이용하여 실험한 결과와 제안하는 손실 함수를 이용하여 실험한 결과를 비교한다. 추가로 분류 알고리즘을 이용하여 실험한 결과와 회귀 알고리즘을 이용하여 실험한 결과를 비교한다.

미니 배치는 64, 아담 옵티마이저를 사용한다. 학습율은 10^-4에서 에포크를 두 번 돌 때마다 1/10로 줄이는 방법을 사용하며 과적합을 방지하기 위해 조기 멈춤 알고리즘을 사용한다.

표 1은 시야각(초점 거리)과 왜곡 계수의 정답률을 나타낸다. 실험 결과를 보면 제안한 손실 함수를 이용했을 때 정답률이 상승하였지만, 시야각의 정답률은 50%, 왜곡 계수의 정답률이 30%대로 낮은 것을 볼 수 있다. 시야각과 왜곡 계수를 예측하는 것이 복잡한 일이기 때문에 높은 정답률을 보이기 힘들 것이라 예상하였다. 이를 보안하기 위해 실제 값과 예측 값의 오차가 줄어들도록 정답 클래스뿐만 아니라 정답 클래스와 인접한 클래스까지도 예측하도록 학습하는 새로운 손실 함수를 제안하였다. 또한 왜곡된 사진을 복원했을 때 정답 클래스와 인접한 클래스를 예측한 파라미터를 이용하여 복원한 것과 실제 파라미터 값을 이용하여 복원한 결과 거의 차이가 없었다. 따라서 오차가 가장 작은 정답 클래스와 인접한 클래스를 예측한 것도 정답으로 간주하였을 때의 결과를 확인한다.

정답 클래스와 인접한 클래스를 예측한 것까지 모두 정답으로 간주하면 표 2와 같이 높은 정답률을 보여준다. 시야각의 경우 기존 손실 함수로 학습할 경우 정답률이 95.59%이고 제안한 손실 함수로 학습했을 때 95.91%까지 상승하였다. 왜곡 계수의 경우 기존 손실 함수로 학습할 경우 정답률이 67.01%이고 제안한 손실 함수로 학습했을 때 68.48%까지 상승하였다.

왜곡 계수의 정답률이 시야각의 정답률 보다 낮게 나왔는데, 그 이유를 분석해보니 클래스의 수가 61개로 시야각의 클래스 수인 46개보다 많기 때문이다. 만약 왜곡 계수의 클래스 수를 시야각과 비슷하게 한다면 왜곡 계수 역시 더 높은 정답률을 보일 것으로 예상한다.

회귀 알고리즘을 사용할 경우 정답률을 측정하기 어렵기 때문에, 실제 값과 예측 값의 오차를 이용하여 성능을 비교한다. 시야각의 경우, 초점 거리를 구하는 것이 목표이기 때문에, 식 (3)을 이용하여 시야각을 초점 거리로 변환하여 오차를 구한다. 회귀 알고리즘을 사용한 결과로는 [11]논문에서 손실 함수를 MSE로 설정하여 실험을 하고, [12]논문에서 제안하는 방법으로 초점 거리와 단일 왜곡 계수만을 추정하는 모델을 만들어 추가 실험을 한다.

표 3은 초점 거리와 왜곡 계수의 실제 값과 예측 값의 평균 오차를 구한 것이다. 표3을 보면 회귀 알고리즘을 사용했을 때 평균 오차가 더 큰 것을 알 수 있다. 추가로 제안하는 방법으로 학습한 경우 평균 오차가 작은 것을 확인할 수 있다. 그 이유는 표 2에서 알 수 있듯이 교차 엔트로피를 사용하여 학습했을 때 분류 방법을 사용하여 학습을 진행했지만, 정답 클래스와 가까이 있는 클래스를 예측하도록 학습되었기 때문이다. 이는 회귀 알고리즘을 사용했을 때의 학습 목표와 비슷한데, 제안하는 손실 함수의 학습 목표와 방향이 같고, 실험 결과에서 알 수 있듯이 성능이 향상하는 것을 볼 수 있다.