깊이 추정 기반 데이터 정제를 통한 인물 검출 성능 향상

Ⅰ. 서 론

객체 탐지(Object Detection)는 컴퓨터 비전의 핵심 분야 중 하나로서 자율주행, 감시 시스템, 증강 현실 등 다양한 응용 분야에서 사용되며, 그 목적은 이미지 속 객체를 정확하게 식별하고, 그 객체의 위치를 추정하는 것이다. 그러나 이러한 목표를 달성하는 과정에서 어려움이 존재하며, 그 중에서도 가림 현상(Occlusion)은 객체 탐지에서 가장 큰 문제로 꼽힌다.

가림 현상은 하나의 객체가 다른 객체에 의해 부분적으로 또는 완전히 가려지는 현상을 의미하며, 이는 객체 탐지 모델이 가려진 객체를 올바르게 인식하지 못하게 하거나, 잘못된 위치와 크기의 경계 상자(Bounding Box)를 생성하게 만드는 주요 원인이 된다. 특히 가림 현상이 발생할 경우, 가려진 객체의 특징이 충분히 표현되지 않아 탐지 성능이 크게 저하될 수 있다. 이로 인해 뒤에 위치한 객체의 경계 상자가 오히려 앞에 있는 객체의 정보를 많이 포함하게 되고, 이는 탐지 결과의 신뢰도를 크게 저하시킬 수 있다. 예를 들어, 사람이 다른 사람이나 물체에 의해 가려진 경우, 모델은 뒤에 있는 사람을 일부만 인식하거나, 앞에 있는 사람의 일부를 뒤에 있는 사람의 경계 상자에 포함시키는 오류를 범할 수 있다. 이러한 오류는 객체 탐지의 정확도와 정밀도를 크게 저하시킨다.

가림 현상 문제를 해결하기 위해 다양한 접근법들이 제안되어 왔다. 첫 번째로, 부분 기반 모델(Part-based Model)은 객체를 여러 부분으로 나누어 각 부분을 독립적으로 탐지한 후 이를 결합하여 전체 객체를 재구성한다. 이를 통해 일부가 가려져 있어도 나머지 부분을 통해 객체를 탐지할 수 있다. 두 번째로 다중 스케일 피라미드(Multiscale Pyramid) 방식은 다양한 크기와 스케일로 특징을 추출하여 가림 현상에 덜 민감한 탐지를 가능하게 한다. 이 방법은 작은 크기의 객체나 부분적으로 가려진 객체를 탐지하는 데 유리하다. 데이터 증강 기법도 자주 활용되며, 가림 현상을 인위적으로 추가하여 모델이 다양한 가림 현상 상황에 대응할 수 있도록 한다.

최근에는 합성곱 신경망(CNN) 기반 객체 탐지 모델이 발전하면서 여러 계층 특징 맵을 결합하여 강인한 객체 탐지를 가능하게 하였으며, 어텐션 메커니즘(Attention Mechanism)을 활용해 가림 현상이 덜한 영역에 더 높은 가중치를 부여하는 방식도 제안되었다. 그러나 이러한 접근법들조차도 여전히 뒤에 있는 객체의 경계 상자가 앞의 객체 정보를 과도하게 포함하는 문제를 완전히 해결하지는 못했다.

이에 본 연구에서는 가림 현상이 발생하는 상황에서 깊이 추정 모델을 활용한 깊이 맵(Depth Map) 계산을 통해 앞의 객체와 뒤의 객체를 효과적으로 구분하고 앞의 객체 데이터를 보존하는 데이터세트 정제 방식을 제안하고자 한다. 제안하는 방법은 가림 현상이 있는 상황에서 앞에 있는 객체를 탐지함으로써 객체 검출에서의 mAP(mean Average Precision) 성능을 향상시켰으며 이를 통해 본 연구는 객체 탐지에서 가림 현상 문제를 해결하는 데 기여하고자 한다.

Ⅱ. 관련 연구

2. 단안 깊이 추정

단안 깊이 추정(Monocular Depth Estimation)은 단일 이미지에서 깊이 정보를 추정하는 기술로, 초기에는 주로 기하학적 모델이나 규칙 기반 접근법에 의존하였다. 그러나 딥러닝의 발전과 함께 이 기술도 큰 변화를 겪었다. 2014년 딥러닝을 활용한 최초의 단안 깊이 추정 모델이 제안되었으며^[4], 단일 이미지에서 다중 스케일의 깊이 정보를 예측하는 방식을 도입하였다. 이 연구는 심층 신경망을 통해 넓은 범위의 깊이 정보를 효과적으로 추정할 수 있음을 보여주었으며, 단안 깊이 추정의 기초를 다진 중요한 연구로 평가받고 있다. 이후 DCNF-FCSP^[5] 모델은 조건부 무작위 필드(Conditional Random Fields, CRFs)를 딥러닝과 결합하여 이미지의 구조적 정보를 유지하면서도 깊이를 더 세밀하게 예측할 수 있는 모델이다. 이러한 접근은 딥러닝 기반 예측의 정확도를 높이는 데 크게 기여하였다.

또한, 2020년 발표된 MiDaS(Mixed Depth Scales)^[6] 모델이 있다. MiDaS는 다양한 깊이 데이터세트에서 학습된 모델로, 여러 해상도와 다양한 장면에서도 안정적인 성능을 발휘할 수 있다. 이 모델은 특히 일반화 성능이 뛰어나, 다양한 응용 환경에서 깊이 정보를 일관되게 예측할 수 있다. MiDaS의 핵심은 다양한 데이터세트를 통해 학습함으로써 특정 환경이나 데이터세트에 치우치지 않는 깊이 추정 능력을 갖추었다는 것이다. 이러한 강점 덕분에 MiDaS는 다양한 응용 분야에서 널리 사용되고 있다.

최근에는 Marigold^[7]라는 모델이 등장하여 깊이 추정의 새로운 접근법을 제시하였다. Marigold는 Stable Diffusion 기반의 모델을 활용하여 깊이를 추정하는 방법으로, 이미지에서 깊이를 추정하는 작업을 조건부 디퓨전 과제로 재구성한다. 이 모델은 트랜스포머가 아닌, 대규모 이미지 생성 모델(Stable Diffusion)의 잠재 공간에서 학습을 수행하며, 이를 통해 깊이 정보를 효과적으로 추출한다. Marigold는 다양한 조건에서 깊이 추정 성능을 크게 향상시켰으며, 특히 훈련 데이터로 사용되지 않은 실제 이미지에서도 우수한 성능을 발휘한다. 또한, 제로샷(Zero-Shot) 전이 학습을 통해 다양한 데이터세트에서 SOTA(State-of-the-Art) 성능을 기록하였다. 본 연구에서는 제로샷 성능이 뛰어난 Marigold 모델을 사용하여 객체의 깊이를 추정하였다(그림 1).

Fig. 1.

Depth estimation using Marigold

Ⅲ. 깊이 추정 기반 데이터 정제 방법

깊이 추정 기반 데이터 정제 방법에 대한 순서도는 그림 2에서 확인할 수 있다. 먼저, 깊이 추정 모델을 사용하여 이미지의 깊이 맵(Depth map)을 추출한다. 이 과정에서 깊이 추정 모델은 각 픽셀에 깊이 정보를 포함한 이미지를 생성한다. 이후, 각 객체의 경계 상자에 대해 IoU(Intersection over Union)를 계산하고 임곗값 이상의 경계 상자들을 찾는다. 이렇게 찾아낸 경계 상자들에 대해서는 추출된 깊이 지도에서 해당 상자의 관심 영역(ROI, Region Of Interest)을 추출한다(그림 3).

Fig. 2.

Data refinement process

Fig. 3.

Extracting bounding boxes with IoU exceeding the threshold for each object

추출한 관심 영역에서 더 앞쪽에 위치한 경계 상자를 보존하는 것이 주된 목적이다. 가림 현상이 발생하는 경우, 뒤의 객체의 경계 상자는 앞의 객체 정보를 더 많이 포함하여 검출 시 오차가 커지게 된다. 따라서 검출 오차를 최소화하기 위해 IoU 임곗값 이상 겹치는 경계 상자에 대해 깊이 맵을 기반으로 가장 앞의 경계 상자만 남기고 뒤 경계 상자를 제거하는 방식으로 데이터 정제를 수행한다. 이를 통해 검출 오차가 큰 뒤의 경계 상자를 데이터세트에서 배제함으로써 객체 검출율을 향상시킨다. Marigold 모델을 통과한 깊이 맵을 보면, 화면에서 앞쪽에 있는 객체일수록 픽셀 값이 0에 가깝게 나타나고, 반대로 배경에 속하는 부분일수록 픽셀 값이 1에 가깝게 나타난다. 이러한 특성을 활용하여, 객체가 겹쳐 있는 상황에서도 어느 객체가 더 앞에 위치해 있는지를 판별할 수 있고 객체 간의 깊이 관계를 명확하게 구분할 수 있다.

또한, 배경의 영향을 최소화하고 객체의 픽셀 값만을 비교하기 위해 배경 부분의 픽셀 값을 제외하여 객체 간 깊이 비교에서 고려하지 않았다. 이를 위해, 각 ROI 내에서 픽셀 값의 분포를 분석한 후, 상위 3사분위(Q3) 이상의 픽셀 값을 None으로 설정하여 배제하였다. 그런 다음, 각 ROI의 평균 픽셀 값을 계산하고, 이 값이 더 작은 ROI를 앞에 있는 객체의 경계 상자로 판단하여 추출하였다. 이 방법을 통해 특정 임곗값 이상 겹치는 객체들 중에서 가장 앞에 있는 객체를 효과적으로 식별하고 추출할 수 있었다(그림 5).

Fig. 4.

Foreground bounding boxes (left) and background bounding boxes (right)

Fig. 5.

Bounding boxes of an image after data refinement using depth estimation

그림 6은 가림 현상이 발생한 다른 이미지에 대해서 데이터 정제를 수행한 예제이다. 제안한 방식으로 구한 ROI 내의 픽셀 값을 비교했을 때 더 작은 픽셀 값을 가진 ROI가 앞에 있는 객체의 ROI로 식별할 수 있다(그림 7, 8).

Fig. 6.

Bounding boxes before refinement (left) and bounding boxes after refinement (right)

Fig. 7.

Comparison of the average values of the extracted ROI's depth maps (left: 0.395, right: 0.435)

Fig. 8.

Comparison of the average values of the extracted ROI's depth maps (left: 0. 279, right: 0. 312)

제안한 방식은 이전 연구^[10]에서 소규모 데이터세트인 KBS 뮤직뱅크 이미지를 대상으로 실험을 진행한 결과, 뮤직뱅크 무대 이미지에서 인물 검출 성능이 향상됨을 확인하였다. 본 논문에서는 더 큰 규모의 데이터세트인 Crowd-Human과 DanceTrack에 적용하여 실험을 진행하였으며, 이를 통해 대규모 공공 데이터에서의 검출 성능 향상을 입증하고, 제안한 방식의 일반성을 확고히 하고자 한다.

Ⅳ. 실험

3. 검출 성능(mAP)

객체 탐지 분야에서 일반적으로 사용하는 mAP를 평가 지표로 사용한다. 세분화된 성능 확인을 위해 각각 IoU 임곗값이 50%(mAP@50)와 75%(mAP@75)일 때의 검출 성능을 평가하고 객체 크기에 따라 mAP@m, mAP@L로 나눈다. 비정제 데이터세트와 비교했을 때 본 논문에서 제안한 깊이 추정 기반 정제 데이터로 학습한 경우에서 mAP에서 더 높은 성능을 보이는 것을 확인할 수 있다(표 1). 이는 겹치는 객체의 적합한 경계 상자를 찾는 것이 객체 검출 성능 향상에 영향을 미친다는 것을 의미한다.

Table 1.

Comparison of performance between unrefined and depth estimation refined datasets

가장 앞쪽의 객체만 검출하면 나머지 객체에 대한 인물 검출 손실 여부에 대한 우려가 있었으나, 실험 결과 제안한 방법은 Dancetrack 데이터세트에서는 기존의 비정제 데이터를 사용한 방식에 비해 mAP에서 0.711에서 0.736까지 인물 검출 성능이 향상되었다. 특히 중간 크기 객체에 대한 객체 검출 성능인 mAP_m이 크게 향상되었다. Crowd-Human 데이터세트에서는 mAP에서 0.526에서 0.557까지 성능 향상을 이뤘으며 모든 mAP 지표에서 성능이 향상되었다. 추가로 YOLO 모델을 사용하여 인물 검출을 해보았을 때, 가림 현상이 일어나는 경우 앞에 있는 객체에 경계 상자가 그려지는데 이는 뒷 객체의 경계 상자가 잘못된 정보 혹은 중복된 정보를 가지고 있는 것으로 판단된다(그림 9).

Fig. 9.

Bounding boxes of the original data (left), bounding boxes of the refined data (center), and bounding boxes of the data detected by YOLO (right)

4. 결과 사진

CrowdHuman 데이터세트에 대해 다양한 크기의 객체에 대해 과하게 겹친 상황에서 가장 앞의 경계 상자를 잘 검출해내는 것을 확인할 수 있고(그림 10), DanceTrack 데이터세트에 대해서도 정면에서 봤을 때와 위에서 봤을 때 모두 과하게 겹친 상황에서 가장 앞의 경계 상자만 잘 검출해내는 것을 알 수 있다(그림 11).

Fig. 10.

Detection results on the unrefined dataset (left) and refined dataset (right) in CrowdHuman Dataset

Fig. 11.

Detection results on the unrefined dataset (left) and refined dataset (right) in DanceTrack Dataset

Ⅴ. 결 론

본 논문에서는 이전 연구에서 수행했던 깊이 추정을 통해 뮤직뱅크 이미지 데이터세트를 정제하고, 이를 이용해 학습한 객체 검출 모델의 검출 성능을 향상시켰던 것을 공공 데이터에도 적용하여 인물 검출 성능을 향상시킴을 보임으로써 우리의 데이터 정제 방법의 일반성을 입증하였다. 깊이 추정 모델을 활용하여 겹치는 경계 상자 중 가장 앞의 상자를 보존하여 가림 현상으로 인한 객체 검출 성능 하락 문제를 해결할 수 있었다.

실험 결과, 제안한 방법은 비정제 데이터세트로 학습한 것에 비해 DanceTrack에서 mAP를 0.711에서 0.736으로 성능 향상을 보였으며, CrowdHuman에서는 mAP를 0.526에서 0.557까지 성능 향상을 보였다. 특히 중간 크기 객체의 검출 성능이 가장 크게 향상되었으며, 이러한 데이터 정제 방식이 다양한 데이터세트에 대해 검출 성능을 향상시킴을 기대한다.

Acknowledgments

이 논문의 연구 결과 중 일부는 한국방송·미디어공학회 2024년 하계학술대회에서 발표한 바 있음.

본 연구는 문화체육관광부 및 한국콘텐츠진흥원의 2024년도 문화체육관광 연구개발사업으로 수행되었음(연구개발과제명: 공연 콘텐츠의 고해상도(8K/16K) 서비스를 위한 AI 기반 영상확장 및 서비스 기술개발, 연구개발과제번호: RS-2024-00395886, 기여율: 100%)

References

• Redmon, Joseph, et al. “You only look once: Unified, real-time object detection.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. [https://doi.org/10.1109/cvpr.2016.91]
• Carion, Nicolas, et al. “End-to-end object detection with transformers.” European conference on computer vision. Cham: Springer International Publishing, 2020. [https://doi.org/10.1007/978-3-030-58452-8_13]
• Zong, Zhuofan, Guanglu Song, and Yu Liu. “Detrs with collaborative hybrid assignments training.” Proceedings of the IEEE/CVF international conference on computer vision. 2023. [https://doi.org/10.1109/iccv51070.2023.00621]
• Eigen, David, Christian Puhrsch, and Rob Fergus. “Depth map prediction from a single image using a multi-scale deep network.” Advances in neural information processing systems 27 (2014).
• Liu, Fayao, et al. “Learning depth from single monocular images using deep convolutional neural fields.” IEEE transactions on pattern analysis and machine intelligence 38.10 (2015): 2024-2039. [https://doi.org/10.1109/tpami.2015.2505283]
• Ranftl, René, et al. “Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer.” IEEE transactions on pattern analysis and machine intelligence 44.3 (2020): 1623-1637. [https://doi.org/10.1109/tpami.2020.3019967]
• Ke, Bingxin, et al. “Repurposing diffusion-based image generators for monocular depth estimation.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024. [https://doi.org/10.1109/CVPR52733.2024.00907]
• Sun, Peize, et al. “Dancetrack: Multi-object tracking in uniform appearance and diverse motion.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. [https://doi.org/10.1109/cvpr52688.2022.02032]
• Shao, Shuai, et al. “CrowdHuman: A benchmark for detecting human in a crowd.” arXiv preprint arXiv:1805.00123,  (2018).
• J. Song, Y. Ra, B. Park, H. Choi, M. Hong, “Improving K-POP Fancam Person Detection Performance via Diffusion Model-Based Depth Estimation” 2024 The Korean Institute of Broadcast and Media Engineers Summer Conference, Jeju, Korea, pp. 313-316, 2024.
• Chen, Kai, et al. “MMDetection: Open mmlab detection toolbox and benchmark.” arXiv preprint arXiv:1906.07155,  (2019).