촬영 환경 변화에 강인한 NetVLAD 제작 기술

1. Local Descriptor 추출

그림 2의 ‘CNN architecture’ 부분을 이용하여 local descriptor를 추출하는 과정을 설명한다. NetVLAD descriptor의 기반이 되는 local descriptor를 얻기 위해 NetVLAD descriptor를 구하고자 하는 Image를 CNN architecture에 넣어서 H × W × D 크기의 feature map을 얻는다. CNN architecture로는 주로 AlexNet^[9], VGG-16^[8], ResNet^[10] 등을 사용한다. 이렇게 얻은 feature map의 각 D차원 벡터들을 local descriptor라고 칭한다. 이미지 1장당 H × W = N개의 local descriptor를 얻게 되며, i번째 local descriptor를 x_i라고 한다.

Fig. 2.

NetVLAD Schematic

2. VLAD Descriptor 추출 방법

NetVLAD의 과정 및 원리를 파악하기 위해서는 먼저 VLAD에 대해 알아야 한다. 원래 VLAD descriptor는 SIFT descriptor를 사용했지만, NetVLAD에서는 SIFT descriptor 대신 1절에서 설명한 local descriptor x_i를 사용한다. 따라서, 이 절에서는 local descriptor x_i를 이용한 VLAD descriptor 계산 방법을 설명한다.

먼저, 비교하고자 하는 모든 이미지들에 대하여 1절에서 설명한 방법을 사용하여 local descriptor들을 구한다. 이렇게 얻은 모든 local descriptor에 대해 k-means clustering을 실행하여 K개의 cluster로 분류한다. 이제 VLAD descriptor를 얻고자 하는 하나의 이미지를 생각한다. 이 이미지 역시 H × W = N개의 D차원 local descriptor x_i를 가지고 있으며, 각 x_i들은 K개의 cluster에 각각 분류되어 있다. 각 k번째 cluster를 C_k라고 하고, k번째 cluster의 centroid를 c_k라고 한다. 이제 k번째 cluster C_k에서 ‘모든 각 C_k에 속하는 x_i’와 c_k간의 차이 벡터들을 구한다. 그리고 이 차이 벡터들을 모두 더하면 벡터 하나를 얻을 수 있고, x_i가 D차원이었으므로 이렇게 구한 벡터 역시 D차원의 크기를 가진다. 이를 모든 cluster에 대하여 반복하면 D차원의 벡터를 K개 얻을 수 있다. 이 K개의 벡터들을 일렬로 나열하여 만든 K × D 크기의 벡터를 VLAD descriptor라고 한다.

편의상 앞서 설명한 VLAD descriptor V_VLAD를 계산하는 과정을 하나의 식으로 나타내고자 한다. 이를 위해 a_k라는 변수를 도입한다. a_k(x_i)는 x_i가 k번째 cluster에 속했는지에 대한 여부를 반환하는 값으로, x_i가 k번째 cluster에 속해있으면 a_k(x_i) = 1이고 x_i가 k번째 cluster에 속해있지 않으면 a_k(x_i) = 0이다. a_k(x_i)를 이용하여 V_VLAD를 구하는 공식을 나타내면 다음과 같다.

이때, x_i(j)는 x_i의 j번째 원소값이며, c_k(j)는 c_k의 j번째 원소값을 의미한다.

3. NetVLAD Descriptor 추출

앞 절에서 설명한 VLAD descriptor의 추출 과정을 기반으로, 본 절에서는 NetVLAD descriptor 계산 방법을 설명한다. 그림 2의 ‘NetVLAD layer’에서 이 계산을 수행한다.

NetVLAD descriptor는 기존 VLAD descriptor 계산 방식을 Neural Net으로 구현하여 얻은 global descriptor이다. 따라서, 기본적으로 식 (1)을 따라서 계산해야 한다. 즉, VLAD descriptor 계산 과정을 Neural Net으로 구현하기 위해서는 식 (1)을 학습가능한 형태로 만들어야 한다. 특히, back propagation을 위해서는 식 (1)이 미분 가능해야 할 것이다. 하지만 식 (1)의 a_k(x_i)는 x_i가 k번째 cluster에 속해있는지에 대한 여부를 알려주는 변수로, 0 또는 1의 값을 가지는 불연속변수이므로 미분 불가능하다. 따라서 NetVLAD에서는 이러한 문제점을 해결하기 위해 a_k(x_i)를 연속으로 만들어 미분 가능한 형태로 변환하는 방법을 제안한다. 구별을 위해 이렇게 변환한 a_k(x_i)를 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$라고 한다. 0 또는 1 두 가지 값만 가지는 a_k(x_i)와는 달리, $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$는 0~1 사이의 연속된 값을 가지도록 한다. 기존에 x_i가 k번째 cluster에 속해있으면 a_k(x_i)가 1값을 가졌으므로, x_i가 k번째 cluster에 속해있을 가능성이 클수록 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$가 1에 가까운 값을 가지도록 설계한다. 반대로, x_i가 k번째 cluster에 속해있을 가능성이 작으면 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$가 0에 가까운 값을 가지도록 한다. x_i가 ‘k번째 cluster를 제외한 나머지 cluster들의 centroid들’보다 ‘k번째 cluster의 centroid’와 가까우면 x_i가 k번째 cluster에 속해있을 확률이 높다고 취급한다. 따라서, x_i와 각 cluster의 centroid들과의 거리를 기준으로 하는 softmax 함수를 사용한다.

x_i가 다른 centroid들에 비해 c_k와 가까우면, $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$가 1에 가까워지므로 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$는 x_i가 k번째 cluster에 속할 확률을 의미한다. 따라서, hard assignment를 의미하던 a_k(x_i)를 soft assignment 형태로 변환한 것이다. α는 hard한 정도를 나타내는 값으로, α가 커질수록 확률값이 더 급격하게 변한다.

식 (2)의 분자, 분모를 $$ e^{{-\alpha x_i‖}^2}$$로 나누고 $$ {2\alpha c}_k^T=w_k^T$$로, $$ -\alpha c_k^T{c}_k$$로 치환하여 정리하면, 다음과 같이 정리할 수 있다.

이때, w_k와 b_k를 convolution layer의 학습 가능한 파라미터로 설정함으로써, $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$를 학습할 수 있다.

이제 식 (1)의 a_k(x_i)를 미분 가능하고 학습 가능한 형태인 식 (3)의 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$로 대체하면, VLAD descriptor 계산식을 Neural Net으로 구현한 NetVLAD descriptor 계산식을 얻을 수 있다.

1절에서 설명한 CNN architecture로부터 얻은 각 local descriptor x_i들을 NetVLAD layer에 넣으면, NetVLAD layer에서 식 (4)를 계산하여 V_NetVLAD를 얻을 수 있다. V_NetVLAD는 V_VLAD와 마찬가지로 K × D 크기의 벡터이다.

4. Loss 함수

앞서 각 이미지마다 NetVLAD descriptor를 계산하는 방법을 설명하였다. 이제, 이렇게 만든 NetVLAD descriptor가 올바르게 만들어졌는지 평가함으로써 학습을 진행해야 한다. 학습을 진행하기 위해서는 ground truth를 제공하는 dataset이 필요하다. 모든 query와 database의 NetVLAD descriptor들을 생성하고 이를 이용하여 이미지들을 matching하는데, loss 함수를 설계하려면 matching 결과가 잘 이뤄졌는지를 판단할 수 있어야 한다. matching되는 이미지 쌍을 전부 표시하면 좋겠지만 수많은 이미지에 대하여 matching 정답을 전부 labeling 하기가 불가능하므로 다른 방법을 사용한다. NetVLAD에서는 이러한 문제를 해결하기 위해 GPS 정보를 사용한다. 학습을 위한 dataset의 모든 이미지들은 GPS 정보를 가지고 있는데, 만약 두 이미지의 GPS 거리가 멀리 떨어져 있으면 그 두 개의 이미지는 실제로 matching되는 이미지라고 보기 어려울 것이다. 반대로, GPS 거리가 가까우면 두 이미지는 실제로 matching되는 이미지일 가능성이 존재한다. 즉, query 이미지를 q라고 할 때, q와 GPS 거리가 많이 먼 database 이미지들은 절대로 q와 matching되지 않으므로 이 이미지들을 ‘definite negative’ 집단이라고 분류한다. 반대로, q와 GPS 거리가 가까운 database 이미지들은 matching될 가능성이 제법 있으므로 ‘potential positive’ 집단이라고 분류한다.

그림 3처럼 query 이미지 q로부터 10m 이내에서 찍힌 이미지들을 ‘potential positive’ 집단으로, q로부터 25m 바깥에서 찍힌 이미지들을 ‘definite negative’ 집단으로 분류한다. 편의를 위해 q의 각 i번째 potential positive 이미지들을 $$ \left\{p_i^q\right\}$$로, q의 각 j번째 definite negative 이미지들을 $$ \left\{n_j^q\right\}$$로 칭한다.

Fig. 3.

Classification of Database Images

이제, q와 $$ \left\{p_i^q\right\}$$들, $$ \left\{n_j^q\right\}$$들의 NetVLAD descriptor를 이용하여 loss 함수를 정의한다. 먼저, 편의상 두 NetVLAD descriptor간의 유클리디안 거리를 반환하는 함수를 정의한다. 이미지 I₁의 NetVLAD descriptor와 이미지 I₂의 NetVLAD descriptor 사이의 유클리디안 거리를 d(I₁, I₂)라고 한다. matching 여부를 판단하는 것은 NetVLAD descriptor 사이의 유클리디안 거리이므로, $$ \underset{i}{\mathrm{m}\mathrm{i}\mathrm{n}} d\left(q,p_i^q\right)$$가 각 $$ d\left(q,n_j^q\right)$$보다 작아지도록 유도하는 loss 함수를 설계한다. 즉, $$ \underset{i}{\mathrm{m}\mathrm{i}\mathrm{n}} d\left(q,p_i^q\right)$$가 $$ d\left(q,n_j^q\right)$$보다 충분히 작으면 loss = 0이 되도록 하고 $$ \underset{i}{\mathrm{m}\mathrm{i}\mathrm{n}} d\left(q,p_i^q\right)$$가 $$ d\left(q,n_j^q\right)$$보다 충분히 작지 않으면 loss가 증가하도록 한다. 따라서 loss 함수 L은 다음과 같다.

위 식 (5)에서 l(x)는

이다. 위 수식에서 $$ \underset{i}{\mathrm{m}\mathrm{i}\mathrm{n}} d^2\left(q,p_i^q\right)$$이 각 $$ d^2\left(q,n_j^q\right)$$보다 충분히(margin만큼) 작으면 L에 0이 더해지고, 그렇지 않으면 $$ \underset{i}{\mathrm{m}\mathrm{i}\mathrm{n}} d^2\left(q,p_i^q\right)+margin-d^2\left(q,n_j^q\right)$$만큼 L이 증가한다. 이 loss 함수를 사용함으로써 NetVLAD descriptor끼리 matching시에 definite negative 이미지들보다 potential positive 이미지들과 matching될 가능성을 높일 수 있다.

1. 제안 기술의 요약

기존 NetVLAD에서는 loss 함수(식 (5))를 구하는 과정에서 일반 유클리디안 거리를 계산하는 d(I₁, I₂) 함수를 사용하였다. 하지만 본 논문에서는 일반 유클리디안 거리 대신, VPR의 환경 변화를 고려한 새로운 거리 함수를 사용할 것을 제안한다.

Query 및 database의 이미지들은 촬영 시점 변화, 조명, 계절, 사람이나 자동차와 같이 움직이는 object 등의 환경 변화에 영향을 받는다. matching 되어야 하는 이미지들도 서로 촬영된 환경이 다르므로 NetVLAD descriptor가 완전히 같은 값을 가질 수는 없다. 특히, local descriptor x_i 중 환경 변화로부터 값이 크게 달라지는 local descriptor들이 존재하기 때문에 local descriptor x_i를 이용해 생성한 NetVLAD descriptor도 환경에 따라 값이 크게 달라질 수 있다. 본 논문에서는 환경 변화로 인하여 NetVLAD descriptor간의 matching이 잘못되는 경우를 간접적으로 줄이는 방법을 제안한다. 앞서 말한 ‘local descriptor x_i들 중 환경 변화로부터 값이 크게 달라지는 local descriptor들’을 편의상 outlier라고 칭한다. outlier들을 직접 추적하여 제거하면 가장 이상적이겠지만 실제로 이들을 추적하는 것은 상당히 어렵다. 따라서 outlier를 직접 추적하는 방법이 아니라 NetVLAD descriptor의 원소들 중에서 ‘outlier의 영향을 크게 받을 가능성이 큰 원소’들을 찾고, 이 원소들이 NetVLAD descriptor간의 matching에 영향을 적게 미치게 하여 간접적으로 outlier의 영향을 줄이는 방안을 제안한다. NetVLAD descriptor의 각 원소들은 ‘local descriptor x_i들을 clustering하여 얻은 각 cluster’들로부터 도출되므로, ‘outlier에 취약하다고 판단되는 cluster’로부터 도출된 원소에 해당하면 NetVLAD descriptor끼리 matching하는 과정에서 적은 영향을 주도록 한다. 이를 위해서 먼저 어떤 cluster가 outlier에 취약한지를 파악하고, outlier에 취약한 정도에 따라 matching 과정에서 해당 cluster에 가중치를 부여한다.

제안하는 방법을 간단히 나타내면 그림 4와 같다.

Fig. 4.

Flow Chart of Proposed Algorithm

모든 Query 이미지들과 모든 Database 이미지들의 총 개수를 M개라고 하자. 먼저, 모든 각 이미지들에 대하여 기존 방법처럼 NetVLAD descriptor를 만들어야 한다. 각 이미지마다 CNN architecture를 통과시켜 local descriptor x_i들을 생성한다. 그리고 이 모든 x_i들을 convolution layer에 넣어서 $$ w_k^T{x}_i+b_k$$를 계산한다. 이때, convolution layer는 1 × 1 × D차원의 kernel을 K개 가진다. 이렇게 구한 모든 $$ w_k^T{x}_i+b_k$$를 식 (3)에 넣어서 모든 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$를 계산한다. 이제 모든 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$를 식 (4)에 넣어서 해당 이미지의 NetVLAD descriptor V_NetVLAD(j, k)를 구한다. 앞서 설명했듯이, 이는 clustering과 VLAD descriptor 생성과정을 식 (3)과 식 (4)로 근사하여 Neural Net으로 구현한 과정이다. 이 과정을 모든 이미지에 대해 반복하면, 모든 각 이미지에 대한 NetVLAD descriptor를 얻게 된다. 기존 방법에서는 이 NetVLAD descriptor들로 식 (5)를 계산하여 Loss를 구하지만, 본 논문에서는 그 전에 cluster weight를 계산하고, 이를 이용한 새로운 Loss 함수를 계산함으로써 학습을 진행한다.

2. Cluster Weight 계산

본 논문에서는 ‘cluster의 원소 개수’를 기반으로 outlier에 취약한 정도를 추정한다. 원소의 개수가 적은 cluster로부터 계산된 잔차 벡터 합은 소수 outlier에 의해 비교적 영향을 크게 받기 때문이다. 그림 5를 보면, cluster (a)는 6개의 local descriptor x_i를 가지고 있고 cluster (b)는 2개의 local descriptor x_i를 가지고 있다. 식 (1)에 따르면, cluster (a)는 6개의 잔차 벡터들을 더하므로 outlier 잔차 벡터의 영향이 상대적으로 적을 것이다. 반대로, 2개의 잔차 벡터를 더해야 하는 cluster (b)는 outlier 잔차 벡터의 영향이 cluster (a)에 비하여 상당히 클 것이다.

Fig. 5.

Effect of Outlier on the Number of Cluster Elements Composed of xi

이때, 고려해야 할 것은 식 (1)을 식 (4)로 바꾸는 과정에서 hard assignment를 soft assignment 형태로 바꿨다는 점이다. 즉, cluster간의 경계가 명확한 hard clustering의 형태가 아니기 때문에 직접 원소의 개수를 세기는 어렵다. 따라서 원소의 개수를 직접세는 대신에 확률을 나타내는 식 (3)의 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$를 이용한다. 앞서 언급했듯이 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$는 x_i가 k번째 cluster에 속할 확률을 의미하므로, 각각의 cluster마다 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$의 누적합을 구하면 해당 cluster의 대략적인 원소의 개수를 파악할 수 있을 것이다. k번째 cluster 원소의 개수를 n_k라고 하면,

M은 모든 database와 query 이미지로부터 얻은 local descriptor의 총개수를 의미한다. 학습 과정에서 모든 database와 query 이미지의 NetVLAD descriptor를 구하는 과정에서 $$ \overline{a_k}\left({\mathit{x}}_{\mathit{i}}\right)$$를 계산하게 되므로 모든 database와 query 이미지의 local descriptor를 이용하여 각 n_k를 구할 수 있다.

이렇게 구한 n_k를 이용하여 matching에 사용할 각 cluster마다의 가중치 λ_k를 계산한다.

cluster weight λ_k를 사용하는 목적은 n_k가 많이 적은 cluster의 영향력을 줄이기 위한 것이므로, n_k가 많이 적지 않은 cluster에 대해서는 거의 1에 수렴하도록 지수함수를 사용하였다. β는 database 및 query 이미지의 개수에 따라 결정하는 파라미터이다.

3. Cluster Weight를 이용한 Matching

기존에는 NetVLAD descriptor끼리의 거리를 계산할 때 유클리디안 거리를 사용하였는데, 본 논문에서는 유클리디안 거리를 구할 때 앞서 계산한 cluster weight λ_k를 사용하는 방법을 제안한다. matching 여부를 알고자 하는 두 이미지를 I₁, I₂라고 하자. I₁와 I₂의 NetVLAD descriptor를 각각 V_NetVLAD1, V_NetVLAD2라고 하면 이 두 벡터는 식 (9), (10)과 같다.

따라서, 일반 유클리디안 거리 d(I₁, I₂)는 식 (11)과 같이 구할 수 있다.

하지만 식 (11)은 outlier에 취약한 cluster를 고려하지 않았으므로 이에 cluster weight λ_k를 적용한다. 거리를 계산하는 과정에서 각 k번째 cluster에 대한 비중을 조절하기 위해, k번째 cluster로부터 얻은 원소들끼리의 계산값에 λ_k를 곱해준다. 본 논문에서 제안하는 거리 함수를 d_weight(I₁, I₂)라고 하면, d_weight(I₁, I₂)는 식 (12)와 같다.

따라서, 식 (5)에서 d(I₁, I₂) (식 (11)) 대신 d_weight(I₁, I₂) (식 (12))를 사용한다.

1. 정량적 성능 평가

표 1, 표 2, 표 3은 각 testset에 대하여 기존 NetVLAD와 제안한 방법의 Recall을 정리한 것이다. 세 dataset 모두에서 Proposed Algorithm이 기존 NetVLAD보다 높은 Recall을 얻은 것을 확인할 수 있다.

Table 1.

Recall of the NetVLAD and the Proposed Algorithm on Pittsburgh30k-val dataset

Table 2.

Recall of the NetVLAD and the Proposed Algorithm on Pittsburgh30k-test dataset

Table 3.

Recall of the NetVLAD and the Proposed Algorithm on Pittsburgh250k-test dataset

여기서 Recall@A는 query 이미지와 matching될 후보 이미지 A개를 찾았을 때, 올바르게 matching 시켰는지에 대한 정답률을 의미한다. 예를 들어, Q개의 query 이미지에 대하여 Recall@5를 구한다고 가정한다. 하나의 query 이미지와 matching될 후보 이미지 5개 중에서 올바르게 matching되는 이미지가 있으면 정답, 5개 모두 잘못된 matching이면 오답으로 간주한다. 이렇게 Q개의 query 이미지에 대하여 정답률을 계산한 값이 Recall@5가 된다. 따라서 Recall@A는 0~1 사이의 값을 가지며, 높을수록 정답률이 높음을 의미한다.

2. 정성적 성능 평가

다음 그림 6은 Pittsburgh30k-val dataset에서 두 방법으로 수행된 VPR 결과 중 몇 가지를 나타낸 것이다.

Fig. 6.

Qualitative Results on Pittsburgh30k-val dataset

8개의 query 이미지에 대하여 기존 NetVLAD와 제안하는 방법으로 matching 시킨 이미지들을 각각 제시하였다. 초록색 테두리로 표시한 것은 올바르게 matching을 수행한 경우이며, 반대로 빨간색 테두리로 표시한 것은 잘못된 matching을 수행한 경우이다. 먼저, (a)를 보면, 두 방법 모두 query 이미지와 올바르게 matching되는 이미지를 찾았다. 반면 (b) ~ (g)를 보면 기존 NetVLAD는 잘못된 이미지를 찾았고, 제안하는 방법은 올바른 이미지를 찾은 것을 확인할 수 있다. (b)부터 자세히 살펴보면, query 이미지에 강한 햇빛이 있는 것을 확인할 수 있다. 이 때문에 기존 NetVLAD에서는 마찬가지로 강한 햇빛이 있는 사진을 찾았다. 실제 건물과 간판이 일치하지 않지만 강한 햇빛의 영향으로 인하여 잘못된 이미지를 matching시켰다. 제안하는 방법으로 찾은 이미지를 보면, 햇빛은 없지만 건물이 일치하는 사진을 찾았다. 즉, 탐색 과정에서 햇빛의 비중을 적게 두고 건물과 간판 등에 비중을 크게 두었기 때문에 올바른 matching을 수행하였다는 것을 알 수 있다. (c)에서 query 이미지를 보면 하늘이 맑고, 이에 따라 사진에 찍힌 건물들도 밝은색을 보인다. 기존 NetVLAD에서는 건물의 구도와 색상이 매우 유사한 사진을 찾아냈으나, query 이미지의 건물이 아닌 다른 건물을 찾았다. 반면에 제안하는 방법에서는 날씨가 흐리고, 건물색이 비교적 탁하게 나타났으나 query 이미지와 같은 장소를 올바르게 찾아내었다. 장소 및 건물은 같으나 햇빛이나 날씨 등의 환경 변화로 인해 잘못된 이미지를 찾은 기존 NetVLAD와는 달리, 제안하는 방법에서는 이러한 환경 변화에 더 강인하여 올바른 이미지를 찾은 것을 확인할 수 있다. (d)에서도 기존 NetVLAD는 잘못된 matching을 하였는데, 제안한 방법으로 찾은 올바르게 matching된 이미지와 query를 비교해보면 건물의 간판이 사라졌고 사람들이 지나가고 있는 것을 확인할 수 있다. (e)의 query에서 제법 큰 차가 건물을 가리고 있는데, 이 경우에도 제안하는 방법에서는 올바른 matching을 수행하였다. (f)나 (g) 역시 날씨가 조금 다르고 차와 사람들이 많이 촬영되었음에도 불구하고 제안한 방법에서 올바르게 matching한 것을 확인할 수 있다. 하지만 (h)에서는 기존 NetVLAD와 제안하는 방법에서 모두 잘못된 이미지를 찾았다. query 이미지와 두 방법에서 찾은 이미지들을 보면 모두 비슷한 패턴의 건물, 신호등이 있고 날씨 또한 비슷해 보인다. 제안하는 방법에서 환경 변화에는 더 강인해졌지만, 환경마저도 비슷한 상황에서 세밀하게 올바른 이미지를 찾는 능력은 아직 부족하다는 것을 확인할 수 있다.

그림 7의 그래프는 그림 6에서 (b)의 ‘query 이미지의 NetVLAD descriptor’와, ‘Proposed Algorithm이 찾은 정답 이미지의 NetVLAD descriptor’ 사이의 거리를 분석한 것이다. 이 실험에서는 K = 64로 설정하였고, 1번 cluster로부터 얻은 원소부터 64번 cluster로부터 얻은 원소에서의 거리를 막대 그래프로 표시하였다. 파란색과 주황색을 더한 거리값은 cluster weight를 적용하지 않고 기존의 거리함수인 식 (11)로 계산한 것이고, 파란색은 제안하는 방법의 거리함수인 식 (12)를 사용하여 계산한 것이다. (따라서 주황색은 두 방법으로 구한 거리값의 차이를 의미한다.) 식 (12)는 식 (11)에서 각 원소별 거리값에 0~1사이의 값을 가지는 cluster weight λ_k를 곱한 것이므로 기본적으로 거리값들이 전부 작아진다.

Fig. 7.

Additional Analysis of (b) of Qualitative Results

두 이미지는 matching되어야 하는 이미지이므로 거리값이 매우 낮아야 하지만, 시점·햇빛·조명·사람 등의 환경 변화가 존재하기 때문에 두 이미지의 NetVLAD descriptor간에는 차이가 존재한다. 이 거리값을 0으로 만드는 것은 불가능하므로 본 논문에서는 cluster 별로 weight를 부여하여 차이가 특히 큰 원소(환경의 영향을 크게 받는 원소)의 비중을 줄이고자 하였다. 그래프를 보면, 16개의 cluster(6번, 11번, 12번, 19번, 21번, 30번, 35번, 39번, 41번, 43번, 44번, 45번, 46번, 50번, 56번, 64번)들은 기존 거리값이 높았지만 cluster weight를 적용한 후에 거리값이 크게 줄어들었다. 반면 6개의 cluster(10번, 15번, 28번, 60번, 61번, 62번)들은 기존 거리값이 높았음에도 거리값이 줄어들지 않았다. cluster weight를 계산하는 과정에서 outlier들을 직접 골라내지는 못했기 때문에 이처럼 환경 변화의 영향을 받는 모든 cluster를 골라내기는 어렵다는 한계점이 존재한다. 하지만 제법 많은 수의 ‘차이값이 컸던 원소들’의 비중이 줄어든 것을 확인할 수 있고, 정량적 실험 결과에서 알 수 있듯이 전체적인 정확도가 개선되는 결과로 이어졌다.

3. 실험 결과에 대한 분석

정량적 결과를 보면 세 dataset 모두, 모든 Recall에 대하여 제안하는 방법이 더 성능이 좋은 것을 알 수 있다. 즉, VPR 작업에서 ‘제안하는 방법으로 생성된 global descriptor를 사용한 matching’이 ‘기존 NetVLAD descriptor를 사용한 matching’보다 정확하다는 것을 의미한다. 즉, 제안하는 방법이 기존 방법에 비해 ‘환경 변화로 인한 잘못된 matching’ 횟수가 감소하였음을 알 수 있다.

또한, 정성적 결과를 보면 그림 6의 (b) ~ (g)와 같이 기존 NetVLAD에서는 햇빛, 날씨, 사람 등의 환경 변화로 인하여 잘못된 이미지를 찾는 경우가 많은 것을 확인할 수 있다. 반면에 제안하는 방법에서는 이러한 환경 변화에 대하여 영향을 적게 받기 때문에 올바른 이미지들을 찾을 수 있었다. 하지만 간접적인 방법을 사용하기 때문에 환경의 영향을 제거하는 것에 한계가 있고, 그림 6의 (h)와 같이 환경마저도 비슷한 이미지들에 대하여 더욱 정밀한 matching을 수행하지는 못한다는 문제점이 있다.