Current Issue

2000년대 초반부터 딥러닝을 2차원 영상처리 분야에 적용하는 연구가 활발하게 수행되었음에도 불구하고, 3차원 좌표값의 집합으로 나타나는 포인트 클라우드에는 딥러닝을 적용하는 것이 어려웠다. 이는 포인트 클라우드가 2차원 비전 영상과 다르게 행의 순서가 바뀌어도 같은 데이터라는 특성인 순열 불변성(permutation invariance)을 가지기 때문이다. 따라서 순열 가변성(permutation equivariance)의 특성을 가지는 Convolutional Neural Network(CNN)를 포인트 클라우드에 적용하지 못하였고, 이에 2차원 영상과 유사한 구조를 가진 복셀에 딥러닝을 적용하는 연구가 여러 차례 등장하였다.

스탠포드 대학의 Charles R. Qi와 연구팀이 제안한 PointNet은 앞서 기술한 순열 불변성 문제를 해결하기 위하여 포인트 클라우드를 multi-layer perception(MLP)에 적용시키고, 포인트 클라우드의 모든 점들에 대해 max pooling을 적용하였다. 그러나 MLP는 2차원 영상에 적용되는 컨볼루션과 다르게 데이터의 지역적인 정보를 학습할 수 없는 문제가 있다. 이를 해결하기 위해 연구팀은 PointNet++를 추가로 제안하였는데^[7], 제안하는 방법은 k 최근접 이웃(k Nearest Neighbor; kNN), ball query와 같은 방법들을 포인트 클라우드에 적용함으로써 포인트 클라우드의 이웃한 점들을 군집시키고 이를 MLP에 적용시키는 것으로 기존 PointNet 대비 높은 성능을 달성하였다. PointNet++가 제안됨에 따라 본격적으로 포인트 클라우드 분할, 분류의 태스크를 다루는 딥러닝 기반 포인트 클라우드 처리 기법의 연구가 시작되었다. 또한, 현재까지도 이 논문에서 제안한 U-Net 구조의 네트워크와 포인트 클라우드 군집화 방법은 포인트 클라우드에 딥러닝을 사용할 때에 기저가 된다.

한편 최근 연구되고 있는 분야인 NLP(Natural Language Processing)는 트랜스포머가 제안되어 놀라운 발전을 이루었다. 해당 방법 중 셀프 어텐션은 각 데이터의 특성별로 적용되는 weight를 학습하기 때문에 각 데이터의 특징을 잘 학습할 수 있다. 이는 포인트 클라우드에도 적용되고 있다. 해당 방법은 그 우수성이 2차원 비전 영상에 적용되는 것으로 증명되었으며^[16], 3차원 포인트 클라우드에도 적용되었다^[17][18]. 본 논문에서도 포인트 클라우드 특성에 적합한 트랜스포머를 네트워크의 모듈로 사용하였다.

원시 포인트 클라우드는 위치값의 잡음, 공간적 밀집도의 불균일성, 객체의 일부분 누락 등의 여러 문제가 있다. 포인트 클라우드를 개선하는 방법은 이러한 문제들을 개별적으로 처리하는 것이다. 먼저, 위치값에 잡음이 있는 경우, 디노이징(denoising) 알고리즘을 사용하여 포인트 클라우드의 위치값을 보정한다. 이를 위해 딥러닝 네트워크는 포인트 클라우드의 각 점이 이동하는 벡터를 예측하도록 설계된다. 이때, 입력 포인트 클라우드와 출력 포인트 클라우드의 점 개수는 동일하다. 포인트 클라우드의 밀집도가 낮은 경우, 점의 개수를 늘려 고해상도의 포인트 클라우드로 변환하는 것이 필요하다. 그러나 점의 개수를 단순히 늘리면 잡음이 증폭되는 트레이드오프 문제가 발생한다. 따라서 밀집도를 높임과 동시에 잡음을 줄이는 초해상도(super-resolution)는 잡음 제거보다 더 어려운 작업이다.

마지막으로, 객체의 일부분이 누락된 경우는 앞서 언급한 두 가지 경우와는 다른 문제이다. 이 경우, 각 객체별로 누락된 부분을 파악하고 점을 생성하여 포인트 클라우드를 완성(completion)시키는 과정이 필요하다. 이 과정은 지도 학습의 일종으로, 포인트 클라우드에서 객체를 명확히 파악하지 못하거나 학습에 사용되지 않은 객체가 입력으로 들어왔을 때는 좋은 결과를 도출하지 못하는 단점이 있다. 본 논문에서는 포인트 클라우드의 밀집도를 높여 고해상도의 포인트 클라우드를 생성하는 동시에, 이로 인해 발생하는 위치값의 잡음을 정제하는 과정을 제안하고 있다.

딥러닝이 포인트 클라우드에 성공적으로 적용됨에 따라, 최적화 기법이 주를 이루었던 포인트 클라우드 표면 재구성 분야에도 딥러닝이 적용되었다. 그 중, 네트워크를 통해 3차원 표면 정보를 표현하는 암시적 신경 표현은 기존 방법 대비 개선된 성능을 보이며 현재까지도 활발하게 연구되고 있다^[19][20]. 이는 기존의 3차원 데이터를 획득하는 과정에서 이산화된 매쉬, 복셀, 포인트 클라우드와 다르게 임의의 토폴로지들에 대한 거리 또는 확률을 출력함으로써 암시적으로 3차원의 연속적인 데이터를 네트워크가 표현하게 하는 방법이다.

이를 제안한 방법 중 하나인 DeepSDF^[14]는 포인트 클라우드를 네트워크에 인코딩하여 특징 데이터로 변환한 후, 이 정보를 통하여 3차원 임의의 점들에 대해서 알지 못하는 정답 표면과의 거리를 예측한다. 그림 2는 입력 포인트 클라우드와 임의의 3차원 점을 시각화한 것으로, 적색 포인트 클라우드가 입력으로 들어오면 정답 표면으로부터의 거리가 출력되며, 이 거리의 오차를 바탕으로 학습된다. 학습이 완료되면, 추론 과정에서는 수만 개에서 수십만 개의 임의의 점을 3차원 공간 상에 위치시킨 후, 네트워크의 결과인 거리값이 0이 되는 점들이 정답 표면 상의 위치한 점이 된다. 이 점들을 사용해 marching cubes 알고리즘으로 메쉬로 변환하여 표면을 재구성한다.

Fig. 2. 
Point cloud(black) and random 3D points(red) as input to implicit neural representation

본 논문에서는 최근의 방법과 유사하게 이러한 개념을 사용한다^[21]. 먼저 입력 포인트 클라우드를 보간하여 고해상도 포인트 클라우드를 생성하고, 각 점에 대해 주어지지 않은 정답 표면으로부터의 거리를 예측함으로써, 네트워크가 암시적으로 정답 표면에 근접하게 위치한 고해상도 포인트 클라우드를 추출할 수 있도록 한다.

딥러닝을 포인트 클라우드에 적용하는 방법이 제안되었음에도 불구하고, 2D 영상에서의 딥러닝 방법과는 달리 포인트 클리우드 기반 딥러닝 방법은 제한적인 일부 모델의 정보만 학습할 수 있다는 한계가 있었다. PointNet++^[7]는 이러한 문제를 효과적으로 해결하기 위해 k 최근접 이웃(kNN)을 사용함으로써 포인트 클라우드를 하이퍼 파라미터 k의 수만큼 군집시키고, Multi Layer Perceptron(MLP)를 적용하는 방법을 제안하였다.

포인트 클라우드 표면 재구성은 촬영되어 이산화된 포인트 클라우드가 입력받아, 이를 바탕으로 연속적인 표면을 생성하는 것을 의한다. 기존 연구는 포인트 클라우드의 점의 개수를 늘리거나 잡음을 제거한 후에 표면을 재구성하였으나, DeepSDF^[14]는 임의의 토폴로지를 사용하는 것을 제안하였다. 해당 방법은 3차원에 임의의 랜덤한 점들을 생성하고, 각 점들에 대해서 알지 못하는 표면과의 거리를 예측하는 방식으로, 최근 연구들도 이러한 거리함수 기반의 방법들을 사용하고 있다. 본 논문에서는 이러한 방법을 기반으로 입력 포인트 클라우드에 대해 보간을 수행한 후, 각 점들에 대해서 거리를 예측하는 것을 제안한다.

저해상도 포인트 클라우드 XLR=xii=1N가 입력으로 주어진다고 가정하면, 여기서 N은 점의 개수이다. 주어진 X^LR은 잡음이 있으며, 3차원 공간을 충분히 채울 정도의 정보를 가지고 있지 않다. 이를 바탕으로 잡음을 줄인 고해상도 포린트 클라우드 YHR=yii=1rN를 생성하는 것이 포인트 클라우드 초해상도이다. 여기서 r은 초해상도 배율을 나타내며 y_i는 실제 데이터의 표면 위에 위치하는 점이다. 앞서 기술한 바와 같이 본 논문에서는 먼저 X^LR을 보간하여 점의 개수를 늘린 후, 각 점들에 대한 거리 DX∈RrN을 예측하는 거리함수 f_θ를 사용한다.

여기서 I_r(•)는 X^LR에 대해 r배 만큼 보간하는 함수를 의미한다.

그림 3에는 제안한 네트워크의 파이프라인이 나타나 있다. 여기서 보간 방법으로는 kNN을 사용하여 이웃점 x_k를 생성하고, x와 평균값에 해당하는 위치에 점을 생성한다. 그런 다음 가장 먼 점 샘플링(Farthest Point Sampling)을 사용하여 rN개의 점이 남도록 샘플링한다. 이렇게 보간된 점들은 잡음이 심하기 때문에 이를 정답 표면에 맞춰 위치값을 조정해야 한다. 이를 위해 초기 MLP를 통해 포인트 클라우드를 특징으로 변환한 후, 제안한 트랜스포머 모듈을 3번 반복하여 통과시키고, 마지막 MLP를 통해 ground truth(GT) point cloud로부터의 거리 값 D_x를 예측한다. 제안한 네트워크에서 각 레이어의 수는 실험적으로 결정된다.

Fig. 3. 
Proposed Network Module Pipeline

그림 4는 그림 3에서 사용된 제안한 포인트 트랜스포머 모듈이다. 먼저 kNN을 사용하여 계산된 오프셋 ϕ_x = x - x_k 과 kNN 인덱스를 통해 복제된 특징 F_x,k를 입력받는다. 기존 트랜스포머의 decoder에서 사용되는 attention 방법과 마찬가지로, cross attention을 통하여 입력 포인트 클라우드와 특징 간의 유사도를 계산하고 이를 특징에 적용하는 방법을 사용한다. 기존 포인트 클라우드 트랜스포머 방법과 유사하게, 제안한 방법으로는 positional encoding을 위해 오프셋에 MLP를 적용하고 이를 attention 행렬에 빼줌으로써 포인트 트랜스포머 모듈이 학습하는 과정에서 입력 포인트 클라우드의 위치 정보를 유지하였다. 마지막으로 attention 행렬과 value에 해당하는 특징과 곱하여 정보를 업데이트하고, 잔차 연결로 기울기 손실 문제를 해결했으며 학습에 안정성을 높였다.

Fig. 4. 
Proposed Point Transformer Module

손실 함수로는 네트워크를 통하여 예측된 거리 D_X와 실제 정답 포인트 클라우드 Y^HR 및 보간된 저해상도 포인트 클라우드 X^LR간 거리의 유사도를 사용한다. 유사도를 측정하는 매트릭은 l₁ loss를 사용하였다.

학습을 마치고 추론하는 과정에서 거리값은 스칼라 값이고, 입력 포인트 클라우드는 3차원 값을 가지므로 포인트 클라우드의 위치값을 변경할 수 없다. 이 문제는 추론 과정에서 D_X를 backward하여 각 좌표 값의 기울기를 계산함으로써 해결할 수 있다.

여기서 각 편미분 값은 x, y, z로 나눠지며 이를 보간된 입력 포인트 클라우드의 각 좌표에 대해서 빼줌으로써 고해상도 포인트 클라우드를 예측한다.

그림 5는 제안한 딥러닝 모델의 정성적 실험 결과를 기존 방법들과 비교한 것이다. (a) 입력된 저해상도 포인트 클라우드는 2,048개의 점을 가지며, (b)-(g) 고해상도 포인트 클라우드는 8,192개의 점을 포함하여 3D 공간에서 데이터를 표현하기에 충분한 밀도를 제공한다. 딥러닝 기반 포인트 클라우드 개선 기법의 결과인 (c)-(g)는 (b)와 유사할수록 더 좋은 결과로 평가된다. 제안한 방법은 기존 방법보다 국소적으로 점의 개수가 적은 지역에서도 포인트 클라우드의 표면을 더욱 정확하게 예측함을 보여준다.

Fig. 5. 
Qualitative results

3D 상의 거리를 계산하기 위해 CD, HD 그리고 P2F 방법을 사용하였다. 이 세 가지 방법은 최근 포인트 클라우드 개선 기법 연구에서 정량적 평가에 주로 사용된다. 일반적인 2차원 이미지와 달리, 포인트 클라우드는 순열 불변성과 격자 구조가 없는 특징을 가진다. CD는 두 포인트 클라우드 셋에서 가장 가까운 점 간의 거리를 계산하여 유사도를 측정한다. HD는 두 포인트 클라우드 데이터 간 가장 먼 거리를 계산하여 집합의 밀집도를 측정하는 일반적인 지표다. 마지막으로, P2F는 GT 메쉬 데이터와 예측한 포인트 클라우드 간의 거리를 나타낸다. 세 지표 모두 낮은 값일수록 높은 성능을 나타낸다.

표 1은 기존 방법과 제안한 방법을 비교한 정량적 실험 결과를 보여준다. 제안한 방법은 CD와 HD 값에서 가장 우수한 성능을 보인다. 그러나 P2F에서는 낮은 성능을 보이는데, 이는 포인트 클라우드 보간 방법에서 샘플링된 저해상도 포인트 클라우드에 따라 성능이 크게 변동하는 문제 때문이다.