Current Issue

컴퓨터 비전 분야에서 딥러닝 기술이 널리 쓰임에 따라, 기계 시각 작업을 위한 영상의 소비량이 크게 증가했다. 이에 따라 기계의 시간 작업을 위한 영상 압축 기술의 필요성 커졌다. 하지만, 기계가 영상을 소비하는 형태는 사람이 영상을 소비하는 형태와 차이가 존재한다. 기계는 사람과 달리 원본 영상에서 중요한 특징을 추출한 특징맵을 사용하여 시각 작업을 수행하는데, 이러한 영상의 소비 방법의 차이로 기계 시각 작업을 최적화하기 위해서 새로운 압축 방법을 모색해야 한다. 이에 따라, 기계 시각 작업에 최적화된 영상 압축 기술에 대한 연구의 필요성을 느낀 ISO(International Standard Organization)에서 기계 시각 작업에 최적화된 특징맵 압축 기술을 연구하기 위해서 MPEG(ISO/IEC JTC1/SC 29)에서 VCM(Video Coding for Machines) 그룹을 창설했다^[1].

VCM 그룹은 상용 영상압축 코덱인 HEVC(High Efficiency Video Coding)^[2]나 VVC(Versatile Video Coding)^[3] 대비 우수한 특징맵 압축 효율을 갖는 압축 기술을 연구하기 위해 2023년 4월 CfP(Call for Proposal) 문서를 발행했고^[1], 23년 10월 144th 회의에서 CE(Core Experiment)1에서 한밭대학교와 China Telecom이 제안한 기고^[4,5]를 바탕으로 표준 테스트 모델인 FCTM-v1을, 145th 회의에서 경희대학교가 제안한 기고^[6]를 바탕으로 FCTM-v2를 만들었다.

기계 시각 작업을 위한 특징맵을 압축하는 작업과 사람이 소비하기 위한 영상을 압축하는 작업에는 두 가지 큰 차이가 있다. 먼저, 사람이 소비하는 영상은 밝기를 표현하는 단일 채널이나 색 정보를 포함하는 3채널로 표현되는 저차원 영상이지만, 기계 인지 작업을 위한 특징맵은 대체로 100채널이 이상의 다채널 영상을 압축해야 한다^[1]. 또한, 사람이 소비하는 영상은 한 프레임이 한 장의 영상으로 구성되지만, 기계를 시각 작업을 위한 특징맵은 한 프레임이 여러 레이어의 특징맵으로 이루어진 다계층 구조를 가질 수 있어 다 계층의 특징맵을 효율적으로 압축할 수 있어야 한다^[1]. 기존에도 기계 시각 작업을 위한 다 계층 구조의 특징맵을 압축하기 위해 여러 가지 연구들이 있었다^{[4,5,6,7,8,9,10,11,12]}. 먼저 특징맵을 효과적으로 압축하기 위해서, 특징맵을 공간적으로 보다 작은 크기로 줄일 필요가 있다. 특징맵의 공간적 크기를 줄이는 방법으로, 주성분 분석과 같은 알고리즘을 사용하는 방법^[10,11,12]과 인공신경망을 사용하는 방법^[4,5,6,9]으로 나눌 수 있다. 이 중에서 인공신경망을 사용하는 연구들은 다계층 특징맵을 병렬적으로 또는 순차적으로 융합하여 단일 계층의 특징맵을 생성하고, 이 단일 계층의 특징맵을 오토인코더 구조를 통해 공간적으로 보다 작은 크기의 특징맵으로 압축한다^{[4,5,6,7,8,9]}. 앞선 과정을 통해 압축된 특징맵을 송신하기 위해 비트열로 변환하는 방법으로, 단순 피쳐맵 정보를 송신하는 방법^[7]과 인공신경망 기반의 엔트로피 모델을 이용하는 방법^[9], 상용 코덱을 이용하는 방법이 있다^[4,5,6,8]. MPEG FCM CE1은 상용 코덱을 이용하여 비트열로 변환하는 방법을 연구하고 있는데, MPEG 145th 회의에서 경희대학교가 제안한 기고^[6]가 FCM CE1에 채택되어 표준 테스트 모델인 FCTM-v2^[14]가 만들어졌다.

압축된 특징맵을 비트스트림으로 변환하는 과정에서 인공신경망 기반의 엔트로피 모델을 이용하는 방법^[9]과, VVC^[3]와같은 상용 코덱을 이용하는 방법^[4,5,6]은 동영상 압축에 대응하는 방법에서 큰 차이를 갖는다. 효율적인 동영상 압축을 위해서 프레임 간 중복성을 이용해야 하는데, 인공신경망 기반의 엔트로피 모델은 프레임 간 중복성을 이용하기 위해서 별도의 신경망 모듈이 필요하다. 하지만, VVC^[3]와 같은 상용 코덱은 이미 잘 만들어진 동영상 압축 기술을 구비하고 있기에 별도의 모듈 없이 효과적으로 동영상을 압축할 수 있다^[4,5,6].

MPEG 145th 회의에서 표준 테스트 모델로 정해진 FCTM-v2는 인공신경망을 이용한 효과적인 다계층 특징맵 융합 및 복원 기술과 상용 코덱의 뛰어난 동영상 압축 기술 덕에 여러 기계 시각 작업 특징맵 대하여 우수한 압축 성능을 달성했다.

하지만, FCTM-v2은 느린 인코딩과 디코딩 속도를 갖는다는 한계가 있기에, 이러한 한계를 극복하기 위해서 인코딩과 디코딩 속도를 높일 수 있는 기술이 필요하다. 반면에, MPEG 145th 회의에서 기고된 시간적 재 표본화 기술^[11]은 압축 대상이 되는 프레임의 수를 절반으로 줄여, 높은 수준의 인코딩과 디코딩 속도의 향상을 보였다. 하지만, 시간적 재 표본화 기술^[11]이 적용된 기고^[16,17]에서는 FCTM-v2가 아닌, 다른 압축 모델을 사용하기에 FCTM-v2에서의 성능이 검증되지 못했다는 한계가 존재한다.

본 논문에서는 높은 압축 성능을 보여준 FCTM-v2의 압축 파이프라인에, [그림 1]과 같이 MPEG 145th 회의에서 기고된 시간적 재 표본화^[15] 기술을 추가하여 인코딩과 디코딩 시간을 획기적으로 줄이고 추가적인 압축성능의 향상을 달성했다. 시간적 재 표본화 기술은 기존 압축 파이프라인의 전처리 및 후처리로 시간적 표본화와 시간적 보간을 수행한다. 먼저 시간적 표본화 절차에서는 인코더 단에서, 입력 다계층 특징맵의 프레임을 일정 주기로 표본화하는데, 본 논문의 경우 표본화 주기를 2로 설정하여 두 프레임 당 한 프레임을 표본화 하였다. 인코더 직전 단에서 표본화가 진행된 후, 기존 압축 파이프라인을 거쳐 디코더 단에서 표본화된 상태의 복원된 특징맵 동영상을 획득하게 된다. 이렇게 획득한 특징맵 동영상에 시간적 보간을 적용하여 표본화 과정에서 버려진 특징맵 영상을 복원한다.

Fig. 1. 
Structure of temporal resampling in FCTM-v2

본 논문에서는 시간적 재 표본화 기술^[15]을 표준 테스트 모델인 FCTM-v2에 적용 및 성능을 측정하여, 시간적 재 표본화 기술이 기계 인지 작업 성능 감소 대비 높은 비트율 저감으로 전체적인 압축 성능 향상이 있음을 보인다. SFU 데이터셋에서는 발생 비트량에 따른 객체 탐지 성능의 BD-rate가, 클래스 A/B 에서 –18.40%, 클래스 C에서 –12.61%, 클래스 D에서 –24.56%의 BD-rate 이득이 있었고, TVD와 HiEve 데이터셋에서 발생 비트레이트에 따른 객체 추적 성능의 BD-rate가, TVD에서 –12.42%, HiEve (1080p)에서 –21.64%, HiEve (720p)에서 –5.08%의 BD- rate 이득이 있었다. 연산복잡도 측면에서는 인코딩 과정에서, SFU는 –47.75%에서 –49.95%, TVD는 –43.53%에서 –49.23%, HiEve에서는 –50.27%에서 –58.29%의 절반에 가까운 압축 시간 감소를 보였다. 디코딩 과정에서는 SFU가 –45.63%에서 –47.42%, TVD에서 –25.94%에서 –29.57%, HiEve에서 –31.90%에서 –31.95%로 큰 폭의 연산량 감소가 있었다.

우리는 MPEG 145th 회의에서 정의된 CTTC 환경에서 정의된 동영상 데이터셋, SFU와 TVD, HiEve에 대해 FCTM-v2^[14]에 시간적 재 표본화 기술^[15]을 적용하여 실험했다.

Fig. 6. 
Comparison of compression compression performance between FCTM-v2 and FCTM-v2 with temporal resampling, by dataset

FCTM-v2에 시간적 재 표본화 기술을 적용한 성능을 CTTC 환경에 맞춰, FCTM-v2와 성능 비교를 실시했다. CTTC에 정의된 목표 성능인 PP (Performance Point) 범위^[13]를 가급적 맞추기 위해서, 시간적 재 표본화를 적용한 모델에서 SFU와 HiEve의 VVC 설정 QP를 일부 수정하여 성능을 측정했다, 결과적으로, 동영상 데이터셋인 SFU와 TVD, HiEve에대해서 시간적 재 표본화 기술은 유의미한 BD-rate 성능 향상을 달성했다.

시간적 재 표본화 기술^[15]은 특징맵 압축 과정에서 압축 대상이 되는 프레임의 수를 절반으로 줄여 연산 복잡도를 크게 줄임과 동시에, 압축 성능의 향상을 보였다. [그림 7]은 특징맵 추출 및 복원 시간에 대한 인코딩 및 디코딩 시간의 비를 나타내고, 이를 데이터셋 별로 평균을 취한 결과를 표기한 것이다. 시간적 재 표본화를 적용하면, 적용 하지 않았을 때와 비교해 인코딩 과정 연산시간이 적게는 –43.53%(TVD-03)에서 많게는 –58.29%(HiEve-1080p)까지 감소하는 등 절반 가까운 연산량 절감을 보였다. 디코딩 때는 적게는 –25.94%(TVD-01)에서 많게는 –47.42(SFU Class B)까지 감소하는 등 디코딩 과정에서도 유의미한 연산량 절감을 보였다.

Fig. 7. 
Graph comparing encoding/decoding time between FCTM-v2 and FCTM-v2 with temporal resampling applied, by dataset

본 논문에서는 현재 FCM의 표준 테스트 모델인 FCTM-v2^[14]에 대해서 시간적 재 표본화 기술^[15]의 유효성을 보였다. 시간적 재 표본화 기술은 기존 압축 파이프라인 전후 단에서 특징맵을 표본화⦁보간을 하여, 압축 대상이 되는 특징맵의 프레임 빈도를 조절한다. 시간적 재 표본화 기술은 CTTC에 정의되어 있는 모든 비디오 데이터셋에 대해서 BD-rate 감소 및 압축 파이프라인의 작업 시간이 감소함을 보였다.

본 논문의 시간적 재 표본화 기술은 적은 기계 시각 작업 성능 감소로 큰 비트량 감소를 통해, 압축 성능을 향상시켜 BD-rate를 감소시켰다. 향후 연구 과제로, 추가적 성능향상을 위해 시간적 고해상화 과정에서 삼선형 보간이 아닌 더 효율적인 보간 방법을 탐색할 필요가 있다, 또, 본 논문에서는 시간적 재 표본화 비율을 2로 설정하여 두 프레임당 한 프레임을 표본화하는데, 더 효과적인 시간적 재 표본화 빈도를 탐색한다면, 추가적 성능 향상을 기대할 수 있을 것이다.