다중 객체 추적과 객체 재식별 기반 키프레임 추출 기술

1. 키프레임 추출 방법

키프레임 추출 연구는 초기에 인접 프레임 간 픽셀 차이나 색상 히스토그램 변화를 기준으로 샷 경계(shot boundary)를 탐지하는 방식에서 출발하였다. 이러한 저수준(low-level) 특징 기반 접근은 구현이 단순하다는 장점이 있으나, 영상 내 객체의 의미적 변화를 반영하지 못한다는 근본적 한계가 존재한다. 이를 보완하기 위하여 텍스처, 엣지, 구조적 유사도 등 다수의 시각 특징을 융합하고 군집화(clustering) 기법을 결합하는 방향으로 기술들이 제안되어 왔다. Kaur는 색상, 텍스처, 엣지, 구조적 유사도 네 가지 특징을 융합하고 Fuzzy-C Means 클러스터링을 결합함으로써 단일 특징 대비 견고한 성능을 보고하였다^[1]. 그러나 K-means, DBSCAN 등 군집화 기반 방법은 프레임 간 시간적 순서 정보가 소실되고 클러스터 수 결정이 어려워 영상 특성에 따른 성능 편차가 크다는 문제가 잔존하였다. 광학 흐름(optical flow) 기반 방법 또한 카메라 자체의 움직임과 객체의 움직임을 구분하지 못하여 카메라 이동이 빈번한 영상에서 신뢰성이 저하되었다. Truong 등은 비디오 추상화 분야의 광범위한 문헌 고찰을 통해, 저수준 특징에만 의존하는 방법론으로는 영상 내 의미적 내용 변화를 충분히 표현하기 어려우며 객체 수준의 고수준(high-level) 정보를 활용하는 접근 필요성을 제안하였다^[14].

2. 딥러닝 기반 객체 탐지

객체 탐지는 키프레임 추출 파이프라인의 첫 번째 단계로서, 각 프레임에서 객체의 위치, 클래스, 신뢰도 정보를 제공하는 핵심 모듈이다. 딥러닝 기반 탐지 연구는 초기에 R-CNN 계열의 2단계(two-stage) 검출 방법이 주도하였으며, Ren 등이 제안한 Faster R-CNN은 Region Proposal Network(RPN)를 도입하여 정확도를 크게 향상시켰다^[7]. 그러나 2단계 검출 방법은 영역 제안과 분류를 순차적으로 수행하는 구조상 실시간 처리에 적합하지 않다는 한계가 지적되었다. 이를 극복하기 위하여 Redmon 등은 전체 이미지를 단일 신경망으로 처리하는 1단계(one-stage) 탐지기 YOLO를 제안하였으며, 이후 YOLOX 등 후속 연구를 거쳐 실시간 처리와 정확도의 균형을 지속적으로 개선하였다^[8,12]. 가장 최근 모델인 YOLOv26은 분포 초점 손실(Distribution Focal Loss, DFL) 제거와 종단간(end-to-end) NMS 비사용 추론 구조를 도입하고, 소형 객체 인식 레이블 할당(STAL) 및 MuSGD 옵티마이저를 채택하여 엣지 및 저전력 장치에서의 탐지 효율과 정확도를 동시에 향상시켰다^[2]. 한편 Zhao 등이 제안한 RT-DETR은 Transformer 기반 탐지기로서 DETR 계열의 느린 수렴 문제를 해결하고 YOLO 수준의 처리 속도에서 높은 탐지 정확도를 달성하였다^[24]. 본 연구에서는 탐지 성능과 처리 속도에 대한 부분을 고려하여 YOLOv26을 기본 탐지 모델로 파이프라인을 구성하였다.

3. 다중 객체 추적(Multi-Object Tracking)

다중 객체 추적(MOT)은 연속된 프레임에서 동일 객체에 일관된 추적 ID(Track ID)를 부여하는 기술로, 키프레임 추출 파이프라인에서 프레임 간 객체 구성 변화를 추적하는 핵심 기반을 제공한다. 다중 객체 추적(MOT) 연구는 초기에 위치 정보만을 활용하는 방식에서 출발하였다. Bewley 등이 제안한 SORT는 칼만 필터(Kalman Filter)로 객체 위치를 예측하고 헝가리안(Hungarian) 알고리즘으로 탐지 결과를 연결하는 간결한 구조로 빠른 처리 속도를 달성하였으나, 외관 정보를 전혀 활용하지 않아 가림(occlusion)이나 교차 상황에서 ID 스위칭이 빈번히 발생하는 한계가 있었다^[6]. 이를 보완하기 위하여 Wojke 등은 DeepSORT를 제안하여 재식별(Re-ID) 기반 외관 특징 벡터를 추적에 통합함으로써 ID 스위칭 문제를 상당 부분 완화하였다^[5]. 이후 Zhang 등은 ByteTrack을 제안하여, 높은 신뢰도 탐지 결과뿐 아니라 낮은 신뢰도 탐지 결과까지 2단계로 활용하는 BYTE 연관(association) 전략을 도입함으로써 가림(occlusion) 상황에서 미매칭 트랙의 복구 능력을 크게 향상시켰다^[4]. 또한 Aharon 등은 BoTSORT를 제안하여, ByteTrack에 카메라 모션 보상(camera motion compensation, CMC)을 칼만 필터(Kalman Filter) 예측 단계에 통합하고 재식별(Re-ID) 외관 특징을 결합함으로써 카메라 이동 환경에서도 강건한 추적 성능을 달성하였다^[20]. 그러나 BoTSORT를 포함한 현재의 추적기들은 가림(occlusion) 이후 탐지가 재개될 때 동일 객체에 새로운 ID를 할당하는 ID 재할당 문제를 근본적으로 해결하지 못하고 있다. 본 연구에서는 BoTSORT를 기본 추적기로 채택하고, 이러한 ID 재할당 문제를 후처리 단계에서 Crop Histogram 기반 복원을 통해 보완하는 방식을 채택하였다.

4. 객체 재식별(Re-Identification)

객체 재식별(Re-ID)은 서로 다른 시점이나 촬영 환경에서 취득된 동일 객체를 인식하는 기술로, 다중 객체 추적에서 발생하는 ID 단절 문제를 보완하는 수단으로 활발히 연구되어 왔다. 초기 재식별(Re-ID) 연구는 색상 히스토그램, LBP(Local Binary Pattern) 등 수작업으로 설계된 특징(hand-crafted feature)에 의존하였으나, 조명 변화와 자세 변동에 취약한 한계가 있었다. 이후 딥러닝 기반 metric learning 방법이 도입되어, 삼중 손실(triplet loss) 및 대조 손실(contrastive loss)을 활용한 임베딩 학습이 재식별(Re-ID) 성능을 크게 향상시켰다. 이 과정에서 Zheng 등의 Market-1501 등 대규모 공개 벤치마크가 구축되어 공정한 성능 비교가 가능해졌으며, Luo 등은 강력한 학습 기준선(baseline)과 배치 정규화 기법으로 성능을 추가로 개선하였다^[13,9]. 이러한 발전을 바탕으로 Zhou 등은 다중 스케일 특징을 통합적으로 학습하는 경량 구조의 OSNet(Omni-Scale Network)을 제안하여, 512차원 임베딩 벡터를 기반으로 코사인 유사도 매칭을 수행하고 Market-1501 등의 벤치마크에서 높은 성능을 달성하였고, 본 연구에서도 OSNet 모델을 기반으로 객체 재식별에 사용하였다^[3].

5. 시각적 중복 제거(Visual Redundancy Elimination)

이미지 중복 검출은 초기에 픽셀 단위 비교(MSE) 또는 SSIM(Structural Similarity Index) 기반 방법이 주로 활용되었다. 이러한 방법은 높은 정밀도를 제공하지만 O(W×H)의 연산 비용이 요구되어 대용량 프레임 집합에 대한 실시간 처리에는 적합하지 않다는 한계가 있었다. 이를 해결하기 위하여 Perceptual Hashing 기법이 제안되었으며, 이미지의 구조적 특징을 짧은 고정 길이 비트열로 인코딩함으로써 해시 간 해밍 거리(Hamming distance) 비교만으로 O(1) 시간 복잡도의 유사도 판별을 가능하게 하였다. 초기에 제안된 aHash(Average Hash)는 이미지를 축소한 후 전체 픽셀의 평균값을 기준으로 0/1 비트를 결정하는 단순한 방식으로, 구현이 용이하지만 전체적인 밝기 변화에 민감하여 조명 변동이 있는 환경에서 신뢰성이 저하되는 문제가 있었다. 이를 보완하기 위하여 dHash(Difference Hash)가 제안되었으며, 인접 픽셀 간의 상대적 밝기 차이(좌→우)를 비트로 인코딩함으로써 전체적인 조명 변화에 강건하고 이미지의 구조적 패턴을 효과적으로 포착하는 것으로 알려져 있다. 64bit 고정 길이 해시를 사용하므로 SSIM 대비 수십~수백 배 빠른 연산 속도를 제공하며, 본 연구에서는 이러한 장점을 바탕으로 dHash를 채택하여 Enhanced Primary Selection 출력 프레임 집합 내의 구조적 중복을 효율적으로 제거하였다.

6. 단안 깊이 추정

단안 깊이 추정(monocular depth estimation)은 단일 2D 영상으로부터 각 픽셀의 깊이 값을 예측하는 기술로, 키프레임의 공간적 구조 정보를 함께 제공함으로써 후속 3차원 재구성 등 후속 응용(downstream task)의 입력 품질을 향상시키기 위해 활용된다^[11,18,19]. 초기에는 LiDAR나 스테레오 카메라 등 별도의 하드웨어 장치에 의존하는 방식이 주를 이루었으나, 범용적 적용에 한계가 있었다. 이후 CNN 기반 단안 깊이 추정 방법이 제안되어 단일 이미지만으로 깊이 예측이 가능해졌으며, Ranftl 등은 DPT(Dense Prediction Transformer)를 제안하여 Vision Transformer를 밀집 예측(dense prediction)에 적용함으로써 세밀하고 일관된 깊이 맵 생성 성능을 향상시켰다^[15]. 또한 Ranftl 등은 MiDaS를 통해 다양한 데이터셋을 혼합 학습하는 방식으로 특정 도메인에 의존하지 않는 범용적인 깊이 추정 성능을 달성하였다^[16]. 최근에는 Yang 등이 Depth Anything을 제안하여 대규모 비지도 사전학습을 통해 다양한 환경에서 범용적인 깊이 추정 성능을 달성하고 있다^[17]. 본 연구에서는 선별된 키프레임에 DPT를 적용하여 깊이 맵을 추출하고, Otsu 임계화를 통해 객체 바운딩 박스 영역 내 전경과 배경을 자동으로 분리한 뒤 전경 픽셀의 깊이 통계를 산출함으로써, 2D 프레임과 함께 각 객체의 공간적 깊이 정보를 제공하는 확장된 출력을 생성하였다.

1. 시스템 개요

제안하는 다중 객체 추적 기반 키프레임 추출 파이프라인의 전체 구조는 그림 1에 나타나 있다. 파이프라인은 크게 비디오 프레임 입력, 객체 탐지 및 추적, 중복 제거 및 재식별, 그리고 최종 키프레임 선택 및 객체별 3D 깊이(Depth) 정보 추출의 단계로 구성된다. 이를 위한 구체적인 단계별 수행 절차 및 수식적 전개는 알고리즘 1에 상세히 기술되어 있다.

Fig. 1.

Overall architecture of the proposed multi-object tracking-based keyframe extraction pipeline

Algorithm 1.

Multi-Object Tracking-Based Keyframe Extraction Pipeline

제안 시스템은 그림 1과 알고리즘 1에서와 같이, RT-DETR 또는 YOLOv26과 같은 탐지 모델과 OSNet, DPT 모델을 로딩하여 초기화한다. 이후 입력된 비디오 시퀀스에 대하여 ‘Enhanced Primary Selection’을 수행한다. 이 단계에서는 모든 프레임을 대상으로 객체를 탐지 및 추적하고, Crop Histogram 기반 추적 ID(Track ID) 복원으로 단절된 ID를 재연결한다. 동시에 Hybrid Continuity Score를 계산하여 프레임 그룹의 경계를 판단하고, 각 그룹 내에서 탐지 품질이 가장 높은 프레임을 대표로 선별한다. 이어서 선별된 대표 프레임들에 대해 다단계 중복 제거를 수행한다. 먼저 Perceptual Hashing(dHash)을 적용하여 구조적으로 유사한 프레임을 빠르게 걸러내고, 바타차야(Bhattacharyya) 거리 기반의 이중 히스토그램 필터링(Profile Tracking)을 통해 시각적 중복을 추가로 제거한다.

이후 OSNet 모델을 활용하여 ‘Duplicate Scene Grouping(Re-ID)’ 단계에 해당하는 객체 재식별을 수행하는데, 서로 다른 Track ID를 가진 동일 객체를 하나의 전역 ID(Global ID)로 통합하며, 의미론적 중복 프레임을 배제한다. 다음으로 ‘Pairwise Subset Selection’ 단계에서는 k-조합 탐욕 알고리즘을 적용하여, 영상 내 등장하는 다양한 객체 조합을 최대한 포괄할 수 있는 핵심 키프레임을 최종적으로 선택한다.

마지막으로 2차 히스토그램 필터링을 거친 최종 키프레임 집합에 대하여, DPT 기반 단안 깊이 추정 모듈(Image-to-3D)을 적용한다. 이를 통해 각 키프레임 내 객체들의 3D 위치(Depth) 정보를 추출(Box Depth Estimation)함으로써, 알고리즘 1의 최종 출력물인 키프레임 집합과 객체별 깊이 통계 정보를 도출하며 파이프라인을 마무리한다.

2. 객체 탐지 및 다중 객체 추적

각 프레임 f_t에 RT-DETR 또는 YOLOv26을 적용하여 객체 집합 D_t = {d₁, d₂, ..., d_n}을 탐지한다. 각 탐지 d_i는 바운딩 박스 b_i = (x1, y1, x2, y2), 클래스 레이블 c_i, 신뢰도 s_i를 포함한다. 탐지 결과는 BoTSORT 추적기에 입력되어 프레임 간 일관된 추적 ID(Track ID)가 할당된다. 추적 안정성을 높이기 위해 모든 프레임을 프레임 스킵 없이 탐지 및 추적에 활용한다. 프레임을 건너뛸 경우 트래커 입장에서 객체가 여러 프레임 분의 거리를 갑작스럽게 이동한 것으로 인식되어 IoU 매칭이 실패하고 새로운 ID가 할당된다. 전 프레임 처리는 탐지 횟수를 늘리지만, ID 연속성 개선으로 불필요한 그룹 생성이 줄어들어 후속 단계에 전달되는 대표 프레임 수가 감소하므로 전체적인 처리 효율을 유지하도록 하였다.

2.1 Box profile 기반 추적 ID(Track ID) 유지

모든 프레임을 처리하더라도 가림(occlusion), 빠른 움직임, 탐지 누락, ID 교환(ID swap) 등의 상황에서 트래커가 동일 객체에 새로운 ID를 부여하는 문제는 근본적으로 발생한다. 특히, 단일 직전 프레임과의 비교만으로는 가림 현상이 2프레임 이상 지속되는 경우 추적 ID 복원이 불가능한 한계가 존재한다. 이를 해결하기 위해, 최근 일정 개수의 프레임을 슬라이딩 윈도우 버퍼로 유지하고, 버퍼 내 각 프레임의 탐지 경계 상자(Detection Bounding Box) 영역에 대한 밝기(Brightness) 및 채도(Saturation) 결합 히스토그램을 현재 프레임과 비교하는 방식을 제안한다. 제안하는 크롭(Crop) 히스토그램 산출 방식은 식 (1)과 같다.

$\[ h_{\text{crop}}=\alpha \cdot h_{\text{bright}}+\left(1-\alpha \right)\cdot h_{\text{sat}}, \text{where} \alpha \in \left[\mathrm{0,1}\right] \left(\text{default} \alpha =0.5\right) \]$

(1)

식 (1)에서 크롭 영역의 결합 히스토그램은 밝기 히스토그램과 채도 히스토그램의 가중합으로 정의되며, 이때 사용되는 가중치는 0.5를 기본값으로 설정한다. 이렇게 산출된 히스토그램을 바탕으로 단절된 추적 ID를 매칭하는 과정은 식 (2)로 정의된다.

(2)

식 (2)는 현재 프레임에 존재하는 특정 객체의 추적 ID를 복원하기 위해, 버퍼에 저장된 이전 과거 프레임들의 객체들 중 클래스가 동일하고 바타차야(Bhattacharyya) 거리가 사전에 정의된 허용 임계값보다 작은 후보군을 찾는 과정을 나타낸다. 복수의 매칭 후보가 존재할 경우, 히스토그램 거리가 가장 짧은 쌍부터 탐욕(Greedy) 방식으로 1:1 매칭을 수행하며, 시간적으로 가장 가까운 프레임부터 순차 탐색하여 오매칭 위험을 최소화한다. 이러한 일련의 추적 ID 복원 과정은 그림 2에 상세히 나타나 있다. 그림 2에서 볼 수 있듯이, Frame 40에서 ID_1로 추적되던 객체가 Frame 65에서 기둥에 의해 완전히 가려진(Occlusion) 후 Frame 80에서 다시 등장하면, 기존 트래커는 이를 새로운 객체인 ID_51로 오인하게 된다. 하지만 제안하는 방법을 통해 Frame 40과 Frame 80의 객체 영역 Histogram Profiling을 비교하여 두 객체의 외형적 유사성을 확인하고, 최종적으로 Frame 80의 객체 ID를 ID_1로 복원(Tracking ID Update)함으로써 추적의 연속성을 강건하게 유지할 수 있다.

Fig. 2.

Sliding window buffer-based Track ID restoration via crop histogram matching

3. Enhanced Primary Selection

객체 탐지 및 추적 단계를 거친 후, 비디오의 중복성을 줄이고 핵심 프레임을 선별하기 위해 Enhanced Primary Selection 과정을 수행한다. 이 과정은 그림 3에 나타난 바와 같이, 하이브리드 연속성 점수(Hybrid Continuity Score)를 기반으로 프레임 그룹의 경계를 판단하고 각 그룹에서 품질이 가장 높은 최적의 프레임을 선별하는 단계로 구성된다.

Fig. 3.

Frame group boundary detection and best-quality frame selection based on Hybrid Continuity Score

4. Perceptual Hashing 기반 중복 제거

Enhanced Primary Selection 단계에서 선택된 대표 프레임들 사이의 구조적 중복을 빠르게 걸러내기 위해, 본 연구에서는 dHash(Difference Hash) 기반의 지각적 해싱(Perceptual Hashing) 기법을 적용한다. dHash 연산을 위해 먼저 원본 이미지를 가로 N+1, 세로 N의 크기로 축소한 후 회색조(Grayscale) 이미지로 변환한다. 이후 식 (5)와 같이 인접한 픽셀 간의 밝기 차이를 연속적으로 비교하여 이진화된 비트(Bit) 값을 생성한다.

식 (5)의 I (x, y)는 축소된 회색조 이미지의 특정 좌표에 위치한 픽셀의 밝기 값을 의미한다. 가로 방향으로 인접한 두 픽셀을 비교하여 오른쪽 픽셀의 밝기가 왼쪽 픽셀보다 클 경우 1을, 그렇지 않을 경우 0을 할당한다. 본 연구에서는 기준 해시 크기 N을 8로 설정하였으며, 이에 따라 9x8 해상도로 축소된 이미지로부터 프레임당 총 64비트의 이진 해시 벡터가 생성된다. 이렇게 생성된 두 프레임 간의 해시 벡터를 비교하여 구조적 유사도를 판별하는 과정은 식 (6)과 같다.

식 (6)은 두 프레임의 해시 벡터 사이에서 서로 값이 일치하지 않는 비트의 총 개수를 합산하여 해밍 거리(Hamming distance)를 산출하는 수식이다. 계산된 해밍 거리가 사전에 정의된 허용 임계값(본 연구에서는 10으로 설정) 이하일 경우, 두 프레임은 시각적 구조가 매우 유사한 중복 장면으로 판정된다. 중복으로 판정된 프레임 쌍에 대해서는 프레임 내에 탐지된 객체의 수가 더 많은 쪽을 정보량이 풍부한 프레임으로 간주하여 우선적으로 유지하고, 상대적으로 객체 수가 적은 프레임을 최종 제거한다. 이러한 일련의 dHash 기반 구조적 중복 제거 알고리즘의 세부 동작 과정은 그림 4에 상세히 나타나 있다. 그림 4에서 볼 수 있듯이, 9x8 해상도로 극소형화된 이미지에서 추출된 비트 행렬을 비교하는 방식은 영상의 전반적인 조명 변화나 국소적 노이즈에 강건하게 대응하면서도 프레임의 핵심적인 공간적 구조 패턴을 효과적으로 포착한다. 이를 통해 연산량이 큰 후속 재식별(Re-ID) 단계로 데이터가 전달되기 전에, 불필요한 시각적 중복 프레임들을 초고속으로 걸러내는 핵심 역할을 수행한다.

Fig. 4.

Structural deduplication process via dHash-based perceptual hashing

5. 히스토그램 기반 프레임 필터링(Profile Tracking)

Perceptual Hashing을 통한 구조적 중복 제거 이후에도 미세한 시각적 유사성을 띠는 중복 프레임들이 잔존할 수 있다. 이를 효과적으로 필터링하기 위해, 본 연구에서는 프레임의 밝기(Brightness)와 채도(Saturation) 정보를 결합한 히스토그램 프로파일링(Profile Tracking) 기법을 적용한다. 제안하는 결합 히스토그램 산출 수식은 식 (7)과 같다.

식 (7)에서 특정 프레임의 결합 히스토그램은 해당 프레임의 밝기 히스토그램과 채도 히스토그램에 각각의 가중치를 곱하여 합산한 결과로 정의된다. 두 가중치의 합은 1이 되도록 설정하며, 본 연구에서는 두 특성을 동등한 비율로 결합하였다. 이렇게 산출된 결합 히스토그램을 바탕으로 두 프레임 간의 시각적 분포 유사도를 정량적으로 측정하기 위해 식 (8)과 같이 바타차야(Bhattacharyya) 거리를 산출한다.

식 (8)은 두 히스토그램 벡터 간의 바타차야 거리를 계산하는 수식으로, 계산된 거리가 짧을수록 두 프레임의 시각적 분포가 매우 유사함을 의미한다. 파이프라인은 사전에 정의된 크기의 양방향 슬라이딩 윈도우 내에서 인접한 프레임 쌍들을 탐색하며, 산출된 바타차야 거리가 허용 임계값보다 작은 유사 프레임 쌍을 식별한다. 유사 프레임 쌍이 발견될 경우, 두 프레임에 포함된 추적 ID 집합 간의 부분집합(포함) 관계를 검사하여 상대적으로 적은 객체 정보를 담고 있는 프레임을 최종적으로 제거한다. 이러한 히스토그램 기반의 시각적 필터링 원리와 그 효과는 그림 5에 상세히 나타나 있다. 그림 5의 왼쪽 그래프에서 볼 수 있듯이, 시간적으로 인접하여 시각적으로 거의 동일한 두 프레임은 밝기 및 채도 히스토그램 분포가 거의 완벽하게 겹쳐지며 매우 짧은 바타차야 거리를 산출한다. 반면, 오른쪽 그래프와 같이 장면이 전환되거나 객체의 큰 움직임이 발생하여 시각적 차이가 명확한 두 프레임은 히스토그램의 형태가 확연히 어긋나게 분포함을 확인할 수 있다. 시스템은 이러한 정량적 분포 차이를 바탕으로 윈도우 내에 존재하는 불필요한 시각적 중복 프레임을 효과적으로 걸러낸다.

Fig. 5.

Histogram comparison between similar and dissimilar frames in profile tracking

6. 객체 재식별(Re-Identification)

객체 재식별을 수행하기 위해 본 연구에서는 OSNet 모델을 활용한다. 선별된 각 키프레임 내에서 탐지된 개별 객체 영역(Detection crop)으로부터 512차원의 임베딩 벡터를 추출하며, 동일한 클래스(Class)에 속하는 객체 쌍에 대하여 코사인 유사도(Cosine similarity)를 계산한다. 이 과정은 식 (9)와 같이 정의된다^[3].

식 (9)를 통해 산출된 코사인 유사도를 활용하여, 제안하는 파이프라인은 그림 6과 같이 크게 두 단계의 객체 재식별 후처리를 수행한다. 첫째는 가림 현상 등으로 인해 단절되었던 추적 ID를 하나로 통합하는 전역 ID(Global ID) 할당 과정이며, 둘째는 프레임 간 객체 구성의 일치도를 평가하여 의미론적 중복 프레임을 제거하는 과정이다. 각 과정의 구체적인 동작 방식은 이어지는 소절에 기술되어 있다.

Fig. 6.

Global ID assignment via OSNet Re-ID and object composition-based frame deduplication

7. 탐욕적 키프레임 선택(Greedy Coverage Selection)

최종 키프레임 선택은 영상 내에 등장하는 다양한 객체들의 상호작용 및 구성 패턴을 최대한 많이 포함하기 위한 최대 커버리지 문제(Maximum coverage problem)로 정의된다. 이를 위해 먼저 객체 재식별(Re-ID) 단계를 거쳐 통합된 전역 ID를 바탕으로, 각 프레임 내 존재하는 객체들의 k-조합(k-combination) 집합을 추출한다. 구체적인 조합 집합 추출 방식은 식 (10)과 같다.

식 (10)에서 특정 프레임의 조합 집합은 해당 프레임에 포함된 전체 객체 집합 내에서 서로 다른 두 객체(k=2)로 구성될 수 있는 모든 쌍(Pair)들의 모음을 의미한다. 본 연구에서는 단일 객체나 세 개 이상의 조합보다, 두 객체 간의 관계가 영상의 주요 장면을 구성하는 핵심 단위라고 판단하여 k를 2로 설정하였다. 이렇게 추출된 객체 조합들을 바탕으로, 기존에 선택된 키프레임들이 커버하지 못한 새로운 조합을 가장 많이 포함하고 있는 프레임을 반복적으로 우선 선별하는 탐욕적(Greedy) 알고리즘을 적용한다. 이와 관련된 전체적인 키프레임 선택 동작 절차는 알고리즘 2에 상세히 기술되어 있다.

Algorithm 2.

Greedy Keyframe Selection via k-Combinations

알고리즘 2에서 설명된 바와 같이 매 반복마다 최대의 정보 이득을 주는 프레임을 선택하는 탐욕적 접근법은 하위 모듈러(Submodular) 함수 최대화 문제의 전형적인 특성을 가진다. 따라서 이 방식은 다항 시간 내에 효율적으로 해를 도출하면서도, 글로벌 최적해 대비 최소 (1 - 1/e), 즉 약 63.2% 이상의 근사비(Approximation ratio)를 수학적으로 보장하는 장점이 있다^[25].

8. 프레임 선별 후처리 및 깊이 정보 추출

탐욕적 키프레임 선택 이후, 최종 선별된 키프레임 집합 내에 잔존할 수 있는 미세한 시각적 중복을 배제하기 위해 2차 히스토그램 필터링(Post-Greedy Profile Tracking)을 수행한다. 이 과정은 앞선 1차 필터링 단계와 동일하게 바타차야(Bhattacharyya) 거리 기반의 양방향 슬라이딩 윈도우 방식을 사용하지만, 1차 필터링 시점보다 훨씬 더 엄격한 수준의 거리 허용 임계값을 적용함으로써 최종 결과물의 시각적 다양성을 극대화한다.

중복 제거가 완전히 마무리된 최종 키프레임 집합에 대해서는, 그림 7에 나타난 바와 같이 DPT(Dense Prediction Transformer) 단안 깊이 추정 모델을 적용하여 각 프레임의 공간적 깊이(Depth) 맵을 추가로 추출한다^[15]. 추출된 깊이 맵은 2D 이미지 내 각 픽셀의 상대적 카메라 거리를 정량적인 수치로 나타낸다. 제안하는 시스템은 단순히 프레임 전체의 깊이를 구하는 것에 그치지 않고, 탐지된 각 객체의 바운딩 박스 내부 영역에 대해 Otsu 임계화 기법을 적용하여 객체에 해당하는 전경(Foreground)과 배경(Background) 픽셀을 자동적이고 정밀하게 분리한다.

Fig. 7.

Monocular depth estimation via DPT and foreground segmentation using Otsu thresholding

그림 7의 하단 분포도에서 볼 수 있듯이, 임계값을 기준으로 분리된 전경 픽셀들만을 대상으로 깊이 값의 평균, 표준편차 및 주요 백분위수(25/50/75 백분위)를 산출한다. 이를 통해 기존 2D 기반 키프레임이 가지는 공간 정보의 부재를 극복하고, 각 등장 객체의 3차원적 위치 정보를 포함하는 고품질의 최종 메타데이터를 완성한다.

1. 실험 설정

본 연구의 실험은 NVIDIA RTX 4070 Ti GPU와 Intel Core i7 프로세서가 탑재된 하드웨어 환경에서 수행되었다. 소프트웨어 구현에는 Python 3.10, PyTorch 2.0 및 Ultralytics 프레임워크를 사용하였으며, 객체 탐지 모델로는 YOLOv26을 채택하였다. 제안하는 파이프라인의 성능 평가를 위한 데이터셋으로는 비디오 요약 분야의 대표적인 공개 벤치마크인 TVSum을 활용하였다^[21]. 표 1은 본 실험에 사용된 TVSum 데이터셋의 세부 통계를 나타낸다.

Table 1.

Statistics of the experimental dataset

TVSum 데이터셋은 뉴스, 하우투(how-to), 다큐멘터리, 브이로그, 1인칭 시점 등 10개 카테고리의 유튜브 비디오 50편으로 구성되어 있다. 해당 비디오들은 평균 약 250초의 길이를 가지며, 일상적 객체의 빈번한 등·퇴장, 동적 카메라 움직임, 다양한 조명 변화 및 가림 현상(occlusion)을 포함한다. 이러한 영상의 복잡성은 다중 객체 추적(MOT) 과정에서 필연적으로 발생하는 ID 단절 문제와 재식별(Re-ID) 파이프라인의 연산 병목 현상을 검증하기 위한 극한 테스트 환경(stress test)을 제공하므로, 제안 알고리즘의 강건성 및 범용성 검증에 적합하다. 다만, TVSum 데이터셋이 기본 제공하는 크라우드소싱 기반 정답(ground truth, GT) 데이터를 본 연구의 평가 지표로 직접 활용하는 데에는 두 가지 근본적 한계가 존재한다. 첫째, 태스크 정의의 불일치(task mismatch) 문제이다. 기존 TVSum의 GT는 시청자가 주관적으로 느끼는 ‘흥미도’를 기준으로 산정되어 일반적 비디오 요약을 목적으로 설계되었다. 반면, 본 연구의 핵심 목표는 시청 흥미도가 아닌 영상 내 객체 구성의 물리적 변화(신규 객체 등장, 기존 객체 퇴장, 명확한 장면 전환 등)를 대표하는 키프레임의 객관적 선별에 있으므로, 측정 대상 및 평가 기준이 본질적으로 상이하다. 둘째, 주관성에 기인한 평가자 간 편차 문제이다. 선행 연구^[22]에 따르면, TVSum은 비디오 수가 제한적이어서 특정 토픽에 대한 편향(topic bias)이 발생하기 쉬우며, 요약의 본질적 주관성으로 인해 평가자 간 점수를 단순 평균하여 단일 GT로 활용하는 방식은 신뢰성 있는 일반화 평가를 저해한다는 지적이 제기된 바 있다^[23]. 이러한 한계를 극복하기 위해 본 연구에서는 TVSum의 원본 비디오 50편 전체를 활용하여 데이터의 다양성을 유지하되, 본 연구의 태스크 정의에 부합하는 새로운 GT를 독립적으로 구축하였다. GT 구축 과정은 복수의 평가자가 각 비디오를 독립적으로 시청하며 (1) 신규 객체의 등장, (2) 기존 객체의 퇴장으로 인한 객체 구성 변화, (3) 장면 전환에 해당하는 프레임을 식별한 후, 다수결 합의(majority voting)를 통해 최종 키프레임을 확정하였다.

그림 8은 TVSum 비디오 ‘37rzWOQsNIw’(Making Sandwich, 191초)를 대상으로 기존 TVSum GT와 본 연구에서 구축한 GT의 차이를 시각적으로 비교하였다. 그림 8 상단의 시간축 그래프에서, 빨간색 막대 그래프는 TVSum 원본 GT의 20명 평균 흥미도 점수 분포를 나타내며, 빨간 삼각형(▲)은 해당 점수에 기반하여 Knapsack 알고리즘(예산 15%)으로 선택된 TVSum GT 키프레임 14개의 위치를, 파란 수직선은 본 연구의 제안 GT 키프레임 18개의 위치를 각각 나타낸다. TVSum GT 키프레임은 0~6초 구간에 3개, 16~22초 구간에 3개, 62~80초 구간에 7개가 집중되어, 전체 14개 중 13개(93%)가 영상 전반부 80초 이내에 밀집되어 있다. 반면, 80~191초에 해당하는 후반부 58%의 구간에는 단 1개의 키프레임만이 배치되었다.

Fig. 8.

Comparison between original TVSum GT and proposed GT(Video: 37rzWOQsNIw, 191s)

이에 반해 제안 GT 키프레임은 0.4초부터 180.1초까지 전체 영상에 걸쳐 평균 10.6초 간격으로 균일하게 분포하고 있다. 그림 8 하단의 프레임 비교에서 TVSum GT가 선택한 프레임들은 샌드위치의 클로즈업 장면(#7~#13, 62~80초)이 반복적으로 나타나며, 영상 후반부에 등장하는 야외 장면 및 객체 변화를 포착하지 못한다. 반면, 제안 GT의 프레임들은 가게 외관(#1), 매장 내부 진열대(#2~#3), 샌드위치 재료 및 제작 과정(#4~#5), 포장(#6), 야외 이동(#7~#9), 비둘기 등 새로운 객체의 등장(#11~#14), 최종 식사 장면(#17~#18)에 이르기까지 영상 내 객체 구성의 변화를 빠짐없이 포착하고 있다. 이는 제안 GT가 특정 하이라이트 구간에 편중되지 않고 영상 전체의 의미론적 변화를 균형 있게 반영함을 정성적으로 입증한다.

제안 파이프라인의 성능 검증을 위한 정량적 평가 지표로는 정밀도(Precision), 재현율(Recall), F1-score를 채택하였다. 모델이 추출한 키프레임과 GT 간의 시간적 매칭 허용 오차는 ±15프레임(30fps 기준 약 0.5초)으로 설정하였다. 또한, 처리 효율성의 다각적 검증을 위해 선별 프레임 수, 객체 재식별(Re-ID) 소요 시간, 전체 파이프라인 처리 시간을 함께 측정하였다. 각 지표의 산출 수식은 식 (11)과 같다.

식 (11)에서 i는 개별 비디오를 나타내며, TP_i, FP_i, FN_i는 각각 i번째 비디오에서의 진양성(True Positive), 위양성(False Positive), 위음성(False Negative) 키프레임 수이다. 비디오 길이 편차에 의한 편향을 방지하기 위해, 본 연구에서는 각 비디오별로 Precision, Recall, F1-score를 개별 산출한 후 전체 N편에 대해 평균을 취하는 Macro-average 방식을 채택하였으며, 이는 식 (12)와 같다.

따라서 표 2에 보고된 F1-score(0.7077)는 전체 Precision (0.8103)과 Recall(0.6520)의 직접 조화평균(0.7225)과 다를 수 있으며, 이는 개별 비디오 단위로 F1을 먼저 계산한 후 평균하는 Macro-average 특성에 의한 정상적인 차이이다.

Table 2.

Quantitative performance comparison(averaged over 50 TVSum videos)

성능 비교를 위한 대조군으로는 일정 시간 간격으로 프레임을 기계적으로 추출하는 균일 샘플링(Uniform Sampling, interval=5s 및 15s) 방식, 기존 추적 모델의 단순 결합 구성인 YOLO+BoTSORT+Re-ID 기반 파이프라인, 그리고 이에 탐욕적 선택 알고리즘을 추가한 구성(YOLO+BoTSORT+Re-ID+Greedy)을 설정하여 제안 방법과의 비교 평가를 수행하였다.

2. 정량적 결과

제안 방법과 비교 방법들의 정량적 성능(Precision, Recall, F1-score) 및 처리 효율(선별 프레임 수, 연산 시간)은 표 2와 표 3에서 볼 수 있고, 모든 결과는 TVSum 데이터셋 전체 50편의 평균값으로 계산하여 비교하였다.

Table 3.

Processing efficiency comparison(averaged over 50 TVSum videos)

제안 방법의 유효성을 검증하기 위해, 먼저 기계적 추출 방식인 균일 샘플링(Uniform Sampling)과의 비교 실험을 수행하였다. 균일 샘플링은 영상의 전체 길이와 무관하게 5초(interval=5s) 및 15초(interval=15s)의 고정 시간 간격으로 프레임을 추출하는 방식으로, 두 설정 모두 F1-score 0.15 수준의 저조한 성능을 나타내었다. 이러한 결과는 고정 간격 샘플링이 지정 구간 사이에 발생하는 객체의 등·퇴장 및 장면 전환 등 의미론적(semantic) 변화를 포착하지 못해 재현율(Recall)이 낮아지는 한편, 정적 구간이 장시간 지속될 경우 동일 장면의 중복 추출로 인해 정밀도(Precision) 역시 저하되는 구조적 한계에 기인한다.

YOLO 검출기와 BoTSORT 추적기, OSNet 기반 재식별(Re-ID)을 단순 결합한 추적 기반 파이프라인(YOLO+BoTSORT+Re-ID)은 0.8380의 높은 재현율을 달성하였으나, 정밀도는 0.0652에 그쳤다. 이는 추적기 고유의 한계로 인한 추적 ID(Track ID) 단절 현상에 주로 기인한다. 가림(occlusion) 및 객체 간 교차 상황에서 동일 객체에 신규 ID가 반복적으로 할당됨에 따라, 실제로는 동일한 장면임에도 객체 구성이 변경된 것으로 오인되어 불필요한 프레임 그룹이 다수 생성되었다. 그 결과, 영상당 평균 803.94장의 프레임이 추출되어 오탐(false positive)이 현저히 증가하였다. 탐욕적 선택 알고리즘을 추가한 구성(YOLO+BoTSORT+Re-ID+Greedy)에서는 선별 프레임 수가 227.52장으로 감소하고 정밀도가 0.1653으로 소폭 개선되었으나, 입력 프레임 후보군 자체에 이미 ID 단절 오류가 내재되어 있어 근본적인 성능 개선에는 한계가 존재하였다.

이에 반해 제안 방법은 정밀도 0.8103, 재현율 0.6520, F1-score 0.7077을 달성하여, 비교군 최고 성능(0.2450) 대비 약 2.88배의 향상을 보였다. 이러한 성능 개선은 제안 파이프라인 전반에 걸쳐 유기적으로 통합된 다단계 중복 제거 및 보정 메커니즘에 기인한다. 구체적으로, 전처리 단계에서 Crop Histogram 기반 슬라이딩 윈도우 매칭을 통해 가림 현상으로 단절된 객체 ID를 선제적으로 복구하고, 하이브리드 연속성 점수(Hybrid Continuity Score)를 도입하여 불안정한 ID 변화에도 강건한 프레임 그룹 유지가 가능하도록 설계하였다. 후처리 단계에서는 dHash 및 바타차야(Bhattacharyya) 거리 기반의 이중 시각 필터링을 적용하여 구조적·색상 기반 중복을 효과적으로 제거함으로써, 오탐을 대폭 억제하고 영상의 핵심 내용을 대표하는 진양성(true positive) 프레임을 선별할 수 있었다.

표 3에 제시된 처리 효율 비교 결과는 제안 방법이 정확도 향상뿐만 아니라 연산 효율 측면에서도 기존 방식의 병목(bottleneck) 현상을 효과적으로 완화하였음을 보여준다. 객체 재식별(Re-ID) 단계의 처리 시간을 구체적으로 분석하면, 기존 방식에서는 약 800여 장에 달하는 후보 프레임 전체를 고연산량의 OSNet 모델에 입력한 후 코사인 유사도 기반의 행렬 연산을 수행하므로, 평균 74.88초의 상당한 연산 지연이 발생하였다. 반면, 제안 파이프라인에서는 연산 부담이 상대적으로 낮은 dHash 및 히스토그램 기반 필터링 모듈을 Re-ID 단계 이전에 전진 배치하여, Re-ID 모델에 입력되는 후보 프레임 수를 영상당 평균 26.84장 수준으로 대폭 축소하였다. 그 결과, Re-ID 처리 시간이 1.48초로 약 50배 단축되었으며, 전체 시스템의 총 처리 시간 역시 187.92초에서 121.44초로 약 35% 감소하여 성능 향상과 연산 효율성을 동시에 확보하였다.

3. 추가 비교 실험(Ablation Study)

제안 파이프라인을 구성하는 각 모듈의 개별 기여도를 정량적으로 검증하기 위해 표 4와 같이 구성 요소를 순차적으로 추가하는 절제 실험을 수행하였다. 실험 구성 (a) Baseline은 프레임 건너뛰기 간격(frame_skip)을 5로 설정하고, 추적 ID 집합의 완전 일치 여부만을 기준으로 그룹을 분리하며, 각 그룹 내 시간적 중앙 프레임을 기계적으로 선택하는 기본 구성에 해당한다. 단, 탐욕적(greedy) k-조합 기반 키프레임 선택 알고리즘은 모든 실험 구성에 공통으로 포함되어 있다.

Table 4.

Ablation study results(averaged over 50 TVSum videos)

표 4의 수치 변화를 분석한 결과, 파이프라인 각 단계의 역할과 인과관계가 명확히 확인된다. 우선, (a) Baseline에서 프레임 스킵을 제거한 (b) +All-Frames 구성을 적용한 경우, 탐지 누락이 방지되어 재현율이 0.488에서 0.713으로 현저히 상승하였다. 그러나 기존 추적기 고유의 ID 단절 문제로 인해 동일 장면이 다수의 그룹으로 과도하게 분할되면서, 선별 프레임 수가 96.54장에서 227.3장으로 급증하고 정밀도는 0.237에서 0.167로 하락하는 상충 관계(trade-off)가 관찰되었다. 이러한 과분할 문제는 (c) Crop Hist. 모듈 및 (d) Hybrid CS의 순차적 추가를 통해 해소되었다. 시각적 히스토그램 기반의 단절 ID 복구와 다중 지표를 결합한 소프트 그룹핑이 적용됨에 따라, 후보 프레임 수가 227.3장에서 20.34장으로 대폭 감소하여 불필요한 프레임 분할이 효과적으로 억제되었다. 성능 지표상 가장 현저한 개선은 (e) Best-Quality 모듈 추가 단계에서 나타났다. 이는 그룹의 시간적 중앙 프레임을 일률적으로 선택하던 기존 방식에서 탈피하여, 그룹 내 탐지 객체 수 및 신뢰도가 가장 높은 고품질 프레임을 대표 프레임으로 선정하도록 변경한 결과이다. 이를 통해 모션 블러 또는 가림 현상이 심한 저품질 프레임이 배제되면서 정밀도가 0.325에서 0.783으로 급격히 향상되었다. 이후 (f) dHash 및 (g) Profile Tracking을 순차적으로 적용하여 미세한 조명 변화와 구조적·시각적 중복을 추가로 제거함으로써 정밀도를 0.810까지 향상시켰다.

최종적으로 (h) Post-filter 단계를 거쳐 선별 프레임 수를 26.84장으로 최적화하는 동시에, 전체 실험 구성 중 최고 수준의 F1-score(0.708)를 달성하였다. 이러한 결과는 본 연구에서 제안하는 다단계 모듈들이 단순한 프레임 수 감소에 그치지 않고 상호 보완적으로 작용하여, 키프레임의 대표성과 처리 효율 간 최적의 균형점을 확보하고 있음을 실증적으로 입증한다.

상기 정량적 성능 향상은 실제 추출된 키프레임의 시각적 분석을 통해서도 확인된다. 그림 9에는 제안 방법이 다양한 비디오 시퀀스로부터 핵심 장면을 선별하는 과정의 추출 결과 예시가 제시되어 있다. 선별된 키프레임 집합을 관찰한 결과, 영상 내 등장하는 다양한 객체 조합 및 장면 구성을 포괄하면서도 시각적으로 유사한 중복 프레임은 효과적으로 배제되어 있음을 확인할 수 있다. 특히 신규 객체의 최초 등장 시점 또는 기존 객체의 퇴장으로 인해 전체 장면의 맥락이 전환되는 시점이 핵심 프레임으로 정확히 포착되었다. 이는 제안 파이프라인이 단순한 픽셀 수준의 화면 변화가 아닌, 고수준의 의미론적 객체 구성 변화를 충실히 반영하여 영상 요약을 생성함을 정성적으로 검증한다.

Fig. 9.

Example of final keyframes extracted by the proposed pipeline