2D 객체 검출 정보와 대칭 지식을 통한 강인한 3D 객체 검출

1. LiDAR 포인트 기반 3D 객체 검출 모델

LiDAR 포인트 기반의 3D 객체 검출은 깊이(depth) 정보를 포함할 수 있는 LiDAR 센서의 장점으로 인해 최근에도 활발히 연구되고 있다. 대표적인 모델 중 하나인 PV-RCNN^[1]은 3D voxel CNN(Convolutional Neural Network)과 PointNet^[6]의 장점을 결합하여 포인트 클라우드 특징을 효과적으로 학습하고 이를 통해 정밀한 3D 객체 검출을 달성한다. Voxel R-CNN^[2]은 3D 객체 검출을 위해 효과적인 복셀(voxel) 기반의 R-CNN 프레임워크를 제안한다. 이러한 연구들은 LiDAR 포인트 클라우드만을 활용하여 3D 공간에서의 객체 인식 능력을 극대화하는데 기여하고 있다.

2. 멀티모달 정보 기반 3D 객체 검출 모델

이러한 LiDAR 기반의 연구에도 불구하고, 여전히 LiDAR 센서의 한계인 포인트가 희소하다는 문제로 인해 한계가 존재한다. 따라서 MVP^[7]는 LiDAR 포인트뿐만 아니라 RGB 기반 가상 포인트를 추가하여 효과적으로 학습할 수 있도록 제안되었다. 이 방식은 RGB 정보를 활용해 LiDAR 포인트 주변에 가상 포인트를 생성함으로써, LiDAR 포인트의 희소성 문제를 해결하였다. 그러나 가상 포인트를 그대로 활용할 경우, 생성 과정에서 발생한 다량의 노이즈가 검출에 악영향을 미칠 수 있다. 이를 해결하기 위해, VirConv^[4]는 2D로 투영된 포인트가 3D 공간보다 노이즈를 잘 구별할 수 있다는 주장을 기반하여 3D와 2D 공간에서 포인트를 학습할 수 있는 통합 네트워크를 제안하였고, 이를 통해 기존 검출기보다 우수한 검출 능력을 보였다. 그러나 VirConv 역시 LiDAR와 가상 포인트에 포함된 정보에만 의존해야 하며, 센서의 특성상 얻지 못한 정보들은 모델이 예측하는 데 어려움을 주어 강력한 검출에 한계가 있다. 따라서 본 연구에서는 이러한 LiDAR의 한계를 극복하고, 효과적으로 학습할 수 있는 방법을 제안한다.

1. 2D 객체 검출 정보와 대칭 지식을 통한 객체 기반 가상의 대칭 포인트 생성

제안하는 3D 객체 검출 네트워크의 주요 목적은 LiDAR 센서의 한계로 인해 손실되었던 객체의 가려진 정보를 활용하여 객체의 영역과 실제 3D 특성을 더욱 강조하여 학습할 수 있도록 하는 것이다. 이를 위해서는, 정확한 객체 검출과 함께 검출된 객체 정보에 대칭 특성을 지식으로 활용할 수 있는 과정이 필요하다. 더욱 정확한 객체 검출을 위해, 우리는 RGB 이미지를 활용한 2D 객체 검출 단계에서 비용 효율적이며 높은 정확도를 보이는 Deformable DETR^[8]을 도입한다. 이를 통해 2D 이미지에서 객체의 관심 영역을 나타내는 2D Bounding-box를 추출하고, LiDAR 포인트 클라우드에서 해당 객체가 위치한 포인트만을 선별할 수 있다. 특히, 주요 관심 대상인 차량은 어떤 위치나 방향에서도 좌우 대칭성을 유지하기 때문에, 이 특성을 활용하여 추출된 객체 포인트를 기반으로 가려진 영역에 가상 포인트를 생성할 수 있다. 이 과정은 객체 영역에 해당하는 포인트를 추출하는 단계와 추출된 포인트로부터 대칭 지식을 활용해 객체 기반 가상의 대칭 포인트를 생성하는 단계인 크게 두 단계로 구성된다.

LiDAR와 같은 포인트 클라우드는 3D LiDAR 좌표계에서 미터 단위로 표시되는 반면, RGB 이미지에서 얻어지는 검출 정보는 픽셀 단위로 표현된다. 이 두 정보를 통합하여 다루기 위해서는 좌표계를 변환하는 과정이 필요하다. 2D 객체 검출 기반 3D 객체 검출 네트워크^[9]는 포인트를 이미지 좌표계로 변환하고, 이를 2D 객체 검출 정보에 투영한다. 이 과정에서 생성된 2D 객체 검출 정보에 대응하는 포인트는 객체 기반 포인트(object guided point)로 정의되며, 이를 P^2D로 표기한다. 이러한 포인트들은 2D 공간 내에 존재하게 되며, 3D에서 2D로 변환하는 과정에서 남는 깊이 정보는 깊이 은행(depth bank)에 저장된다. 이후 이 깊이 정보는 2D 공간의 객체 기반 포인트를 다시 3D 공간인 LiDAR 좌표로 변환하는 데 활용된다. 이를 통해 우리는 객체에 해당하는 영역의 포인트 정보를 나타내는 3D 공간 상의 객체 기반 포인트(P^3D)를 얻을 수 있다.

앞서 3D 공간 상의 객체 기반 포인트 P^3D를 추출하였지만, 해당 포인트는 LiDAR 센서의 한계로 인해 객체의 가려진 영역이나 포인트의 희소성 문제를 완전히 해결하지는 못한다. 이를 극복하기 위해, 우리는 각 객체에 대한 포인트 클라우드에 대칭 지식을 적용하는 방법을 제안한다. 먼저, 검출된 각 객체에 대해 포인트들을 클러스터링하여, 해당 객체 내부에서 실제로 객체에 속하는 포인트($$ P_{object }^{3D}$$)와 노이즈에 해당하는 포인트($$ P_{noise }^{3D}$$)를 구분한다. 이를 위해 k-means 클러스터링 기법을 도입하여 객체 기반 포인트를 효과적으로 분할하고, 객체 클러스터에서 객체의 중심 좌표(p_center)를 추출한다. 이 중심 좌표 p_center를 기반으로 대칭 지식을 포인트 클라우드에 적용하여, 가상의 대칭 포인트 $$ \widehat{P}$$를 생성한다. 생성된 가상 포인트는 기존에 LiDAR 센서로는 탐지되지 않았던 객체의 가려진 영역을 보완하는 데 사용되며, 객체의 전체적인 형태에 대한 정보를 추가적으로 학습에 활용할 수 있게 된다.

2. 2D 객체 검출 정보와 대칭 지식을 통한 강인한 3D 객체 검출 네트워크

제안하는 3D 객체 검출 네트워크는 2D 객체 검출 정보와 대칭 지식을 활용하여, 기존의 포인트 클라우드와 객체 기반 가상의 대칭 포인트를 결합해 대칭 지식을 네트워크에 효과적으로 전달하는 것이 핵심이다. 이를 위해, 네트워크 구조는 기존의 포인트와 가상의 대칭 포인트를 모두 학습할 수 있는 teacher-student 네트워크 구조가 제안되었으며, 그림 2에서 확인할 수 있다. 먼저, student 네트워크는 사전 학습되지 않은 검출 네트워크로써 가상의 대칭 포인트에서 3D Bounding-box($$ P_{bbox}^s$$)와 class 정보를 예측하며, 3D 객체 검출^[2-3]에서 주로 사용되는 L_OD를 통해 학습하게 된다. L_OD는 아래와 같이 표기된다:

여기서 L_reg와 L_cls는 regression loss와 classification loss를 의미한다.

다음으로 teacher 네트워크는 사전 학습된 네트워크로써 기존의 포인트 클라우드 정보에서 3D Bounding-box($$ P_{bbox}^t$$)를 예측하게 된다. 앞서 student 네트워크에서 학습된 대칭 지식은 EMA(exponential moving average) 기법을 통해 teacher 네트워크에 전달되어 기존 검출 네트워크의 지식을 잃지 않고, 대칭 지식을 추가할 수 있다. 하지만 기존의 포인트와 가상의 대칭 포인트를 통한 학습 지식 간에는 차이가 존재하며, 우리는 이러한 차이를 모델이 이해하고 대칭 지식을 안정적으로 전달하기 위해 학습 정도를 조절할 수 있는 대칭 지식 가이드 손실(symmetry knowledge guide loss) L_skg를 제안하며, 아래와 같이 계산된다:

마지막으로, 제안하는 2D 객체 검출 정보와 대칭 지식을 통한 강인한 3D 객체 검출 네트워크는 두 손실을 더해서 학습되며, 아래와 같이 정의된다:

이를 통해 제안하는 네트워크는 학습 단계에서 teacher 모델의 부족한 지식을 지속적으로 파악하고 보완할 수 있으며, 기존의 지식에 대칭 지식을 통합하여 놓치고 있던 객체의 부족한 정보를 보완한다. 이는 객체의 일부 단면만을 사용하는 것이 아니라 온전한 정보를 네트워크에 전달할 수 있도록 하여, 강인한 3D 객체 검출을 실현할 수 있다.

1. KITTI 데이터셋

KITTI 데이터셋^[5]은 3D 객체 검출 연구에서 가장 널리 사용되며, 이미지뿐만 아니라 LiDAR 및 카메라 정보까지 제공한다. 본 논문에서는 기존 연구^[1-4]에 따라 7,481개의 학습 데이터와 3,769개의 검증 데이터를 통해 성능을 비교한다.

성능 평가를 위해서 우리는 3D average precision(AP)를 채택한다. 3D AP는 Precision-Recall 곡선 아래의 면적을 계산한 값으로, 기존 연구^[1-4]에 따라 40 Recall에 대한 3D AP (R40)와 bird-eye view에 대한 BEV AP (R40)을 사용하며, 자동차 객체에 대해 IoU 임계값 0.7에 대해 성능 평가를 진행한다. 우리는 객체의 크기와 가려짐 정도에 따라 세 가지 난이도(‘Easy’, ‘Moderate’, ‘Hard’)로 나눠서 비교를 진행한다. ‘Easy’ 난이도는 객체가 온전히 이미지 내부에 있고 가려지지 않은 상태, ‘Moderate’ 난이도는 객체가 일부 가려지거나 이미지 경계를 넘어간 상태, ‘Hard’ 난이도는 객체가 심하게 가려지거나 절반 이상이 이미지 경계를 벗어난 상태를 나타낸다. 제안하는 네트워크는 Adam 옵티마이저를 사용하여 60 epoch에 걸쳐 배치 크기 2의 단일 RTX 4090 GPU에서 훈련한다. 우리는 0.01의 학습률을 사용하며, OpenPCDet toolbox^[10]를 활용하여 실험을 진행한다. 논문의 모든 실험 결과는 같은 환경에서 진행되었으며, 모두 KITTI 검증 데이터에서 진행된다.

2. KITTI 검증 데이터셋에서의 결과

본 논문에서는 KITTI의 검증 데이터셋에서의 차량 3D AP와 BEV AP 결과를 통해 성능 비교를 진행한다. 실험은 우리의 네트워크의 기반인 VirConv^[4] 모델 중 포인트 클라우드 정보만을 활용한 가장 기본 모델인 VirConv-L을 기준으로 진행하였다. 표 1에서 우리가 제안하는 방법의 경우 3D뿐만 아니라 BEV에서 모두 향상된 성능을 보이며, 특히 “Easy” 난이도에서 3D AP가 2.27%, “Hard” 난이도에서 BEV AP 2.04% 증가하였다. 이는 우리의 대칭 지식을 활용할 수 있는 네트워크가 기존의 LiDAR 포인트의 부족한 정보를 보충하며, 강인한 검출에 효과적으로 동작하고 있음을 보여준다.

Table 1.

Detection results on KITTI validation dataset

3. 객체 기반 가상의 대칭 포인트의 효과성

우리는 입력 포인트 정보의 변화에 따라 차량 3D AP 검출 성능 비교 실험을 진행하였다. 표 2에서 볼 수 있듯이, 대칭 지식이 포함되지 않은 단순한 객체 기반 포인트를 사용한 경우, 기존 포인트 클라우드를 활용한 검출보다 성능이 저하되었다. 반면, 우리가 제안하는 객체 기반 가상의 대칭 포인트만 활용한 경우, 모든 난이도에서 기존 방법보다 검출 성능이 향상되었다. 이를 통해 객체의 대칭 지식을 활용한 가상의 포인트가 LiDAR 센서의 한계를 극복하는데 효과적임을 확인할 수 있었으며, 가상의 포인트만 활용하는 것보다 우리가 제안하는 지식 증류 기법을 통한 학습 네트워크가 기존 검출기에서의 부족한 지식을 보완하며, 새로운 지식을 통한 효과적인 학습하여 더욱 강인한 3D 객체 검출 성능을 발휘할 수 있음을 보여준다.

Table 2.

Car 3D AP detection results based on point information

4. 제안하는 3D 객체 검출 네트워크의 효과성

우리는 지식 증류 기법에 따라 차량 3D AP 검출 성능 비교 실험도 진행하였다. 표 3에서 GT를 통한 학습 방법은 teacher와 student 모델 모두 고정(freeze)시키지 않은 상태로 GT와 학습하는 방식으로, 서로 가중치를 공유하여 업데이트된다. 이러한 방식은 기존의 포인트 클라우드와 대칭 포인트와 같이 서로 다른 정보를 모두 구별 없이 동일하게 학습하여 부족한 지식을 제대로 보완하지 못하고 오히려 난이도가 올라갈수록 검출에 악영향을 주게 된다. 하지만 EMA와 대칭 지식 가이드 손실 함수를 통한 학습은 기존의 지식에서 부족한 부분을 보완하며, 대칭 지식을 효과적으로 전달하여 모든 난이도에서 강인한 검출을 달성할 수 있음을 보여준다.

Table 3.

Car 3D AP detection results based on knowledge distillation

5. 객체 기반 가상의 대칭 포인트 시각화

그림 3은 제안하는 객체 기반 가상의 대칭 포인트의 시각화한 결과를 보여준다. 기존의 LiDAR 센서로 취득된 포인트와 비교했을 때, 제안하는 방법은 객체의 가려진 부분에 대해 실제 차량의 대칭성을 반영한 가상의 포인트를 생성함을 확인할 수 있다. 이러한 대칭 포인트는 성능뿐만 아니라 시각화 측면에서도, 기존의 LiDAR 센서와 비교해 볼 때 차량의 대칭 특성을 보다 세밀하게 반영하고 있다는 것을 보여준다.

Fig. 3.

Object guided virtual symmetry points visualization

추가로, 제안하는 객체 기반 가상의 대칭 포인트는 객체의 방향이나 위치와 무관하게 객체의 대칭 특성을 반영하여 생성된다는 것을 확인할 수 있다. 예시로, 그림 3에서 보여지는 차량은 LiDAR 센서의 위치 대비 정면에 존재하지 않지만, 온전한 대칭 포인트를 생성하는 것을 확인할 수 있다. 이는 제안하는 가상 포인트를 생성하는 과정이 3D 공간에서 진행되며, 노이즈를 구별할 수 있는 클러스터링 기법과 중심 좌표 기반의 포인트 생성 기술이 효과적으로 작동함을 보여준다.