Current Issue

영상 데이터는 오랫동안 방송, 스트리밍, 저장 매체와 같은 시청자 중심의 콘텐츠 소비 환경에서 활용되어 왔으며, 이를 지원하기 위해 AVC/H.264^[1], HEVC/H.265^[2], VVC/H.266^[3] 등 다양한 비디오 코딩 표준이 개발되어 왔다. 이들 표준은 제한된 대역폭에서도 높은 시각적 품질을 제공하는 것을 목표로 하여, 주로 사람이 시청하는 것을 전제로 설계되었다. 이에 따라, 비디오 코딩 기술의 발전은 화질 개선, 압축 효율 향상, 그리고 오류 복원력을 높이는 방향으로 지속적으로 이루어지고 있다.

그러나 최근 인공지능 기술과 프로세서, 메모리 등 컴퓨팅 하드웨어 기술의 급격한 발전으로 인해, 영상 데이터를 사람이 아닌 기계가 분석하는 시대가 도래하였다. 특히, 자율 주행 차량, 스마트 시티, 원격 감시, 산업용 로봇 등 다양한 응용 분야에서 고해상도 영상 데이터를 기반으로 한 실시간 인식, 추적, 분석 작업이 요구되면서, 기존 사람 중심의 비디오 코딩 방식으로는 효율적인 처리가 어려워졌다. 사람을 위한 시각적 품질을 유지하는 것은 기계 학습 모델이 주로 활용하는 객체의 윤곽, 움직임, 특징점 등의 시맨틱(semantic) 정보뿐만 아니라 시각적 세부 묘사까지 포함되기 때문에, 정보 전달 측면에서는 불필요하게 방대한 데이터가 포함된다. 이러한 과도한 데이터량은 저장 및 처리 과정에서 높은 연산 자원을 요구하고, 네트워크 전송 시에도 대역폭이 비효율적으로 소모되어 실시간 데이터 처리 지연과 시스템 전체의 응답 속도 저하를 초래한다^[5][6].

이러한 한계는 기계 학습 기반 시스템의 요구에 맞춘 새로운 비디오 코딩 패러다임의 필요성을 촉진시켰다. 이에 따라 기존과 다른 새로운 연구 방향과 접근 방식이 필요하여 등장한 것이 VCM(Video Coding for Machines)이다. VCM은 전통적인 화질 중심의 부호화 방식에서 벗어나, 객체 검출, 추적, 장면 분석 등 기계 학습 모델이 요구하는 시맨틱 정보를 효율적으로 보존하면서 전체 비트스트림(bitstream)의 크기를 줄이는 것을 목표로 한다^[5][7]. 이를 통해 VCM은 데이터 전송 지연을 최소화하고, 실시간 처리 및 대규모 데이터 환경에서도 높은 확장성을 제공한다. 현재 VCM은 MPEG(Moving Picture Experts Group) 산하 ISO/IEC JTC 1/SC 29/WG 4에서 표준화가 활발히 이루어지고 있다^[7].

VCM 표준에서 정의하는 현재의 비트스트림 구조는 V3C(Versatile Video Coding-based 3D Visual Content Coding)^[4] 기반의 계층적 설계로, VCM Unit, VCM NAL Sample Stream, VCM NAL Unit으로 구성된다. 이러한 구조는 유연성과 모듈성을 제공하지만, 계층마다 헤더가 중복으로 존재하여 비트스트림 오버헤드(overhead)가 증가하고, 파서(parser) 설계 복잡성과 관리 부담을 초래한다^[5].

본 논문에서는 이러한 문제를 해결하기 위한 하나의 방안으로 Sample Unit과 NAL Unit으로 단일화된 새로운 비트스트림 구조를 제안한다. 제안하는 구조는 중복된 헤더를 제거하여 비트스트림의 효율성을 높이고, 파싱 과정을 단순화함으로써 기계 중심의 비디오 전송 및 처리 성능을 향상시킬 수 있다. 이를 통해 VCM의 실용성을 높이고, 기계 학습 기반 시스템에서의 활용 가능성을 확대하는 데 기여하고자 한다.

다양한 기계 기반 응용 분야에서 영상 데이터의 수요가 급격히 증가하면서, 효율적인 비디오 코딩 기술이 요구되고 있다. 특히, 기계 학습 기반 시스템에서는 시각적 품질보다는 객체 인식, 추적, 분석 등 시맨틱 정보를 효과적으로 전달하는 것이 중요하다. 이러한 요구사항들을 충족하기 위해 등장한 것이 VCM(Video Coding for Machines) 기술이며, 국제 표준화 기구인 MPEG을 중심으로 관련 표준화가 진행되고 있다. 본 장에서는 2025년 1월에 열린 149차 MPEG 회의에서 논의된 내용을 기반으로 VCM 기술의 기본 개념을 설명하고, VCM 인코더(encoder) 및 디코더(decoder)의 동작 원리를 포함하는 VCM process를 중심으로 시간적 리샘플링(Temporal Resampling), 공간적 리샘플링(Spatial Resampling), 관심 영역 기반 프로세싱(RoI- based processing), 비트 심도 절감 처리(Bit Truncation), 내부 코덱(Inner Codec) 등 주요 처리 단계를 설명한다. 마지막으로 현재 VCM 표준에서 정의하는 비트스트림 구조를 설명하고자 한다^[10].

2. VCM 비트스트림 구조

VCM 비트스트림 구조는 MPEG V3C(Versatile Video Coding-based 3D Visual Content Coding) 비트스트림 구조와 유사하게 설계되어 있으며, 계층적 구조를 통해 유연성과 확장성을 제공한다. VCM 비트스트림은 그림 1과 같이 크게 VCM Unit, Sample Stream, 그리고 VCM NAL Unit의 세 가지 주요 계층으로 구성된다.

Fig. 1. 
VCM bitstream structure

VCM Unit: 전체 비트스트림의 최상위 계층으로, 비디오 부호화에 필요한 초기화 정보, 복원 데이터, 그리고 인코딩 된 비디오 데이터를 포함한다. VCM Unit 내에는 VCM parameter set unit, restoration data units, coded video data units로 세분화되어 있다.

• • VCM Parameter Set Unit: 비디오 코덱의 유형과 프로파일 등 복원 및 디코딩 과정에서 필요한 주요 초기화 파라미터 정보를 포함한다.
• • Restoration Data Units: 복원 데이터와 관련된 정보를 포함하며, 해당 Unit의 하위 계층에는 실제 복원 데이터를 보다 효율적으로 처리하기 위한 Restoration Sub-Stream Unit이 존재한다.
• • Restoration Sub-Stream Unit: 복원 데이터의 메타 정보와 함께, 복원 과정에서 필요한 각 Sample Stream NAL Unit으로 분할된 데이터를 전달한다. 해당 구조는 복원 데이터를 계층적으로 관리하여 디코딩 효율성을 높이고, 복원 프로세스의 확장성과 유연성을 제공한다.
• • Coded Video Data Units: inner codec으로 인코딩 된 원본 비디오 데이터가 포함된다. 이때, VCM Parameter Set Unit에서 지정된 코덱이 사용된다.

VCM Unit은 이러한 구조를 통해 복원 데이터와 원본 비디오 데이터를 효율적으로 함께 관리하고, 다양한 코덱 옵션을 지원할 수 있도록 설계되어 있다.

Sample Stream: Restoration Sub-Stream Unit 내에서 실제 복원 데이터를 전달하는 단위로, 효율적인 파싱과 전송을 위한 NAL Unit 단위의 Stream 구조이다.

• • Sample Stream은 여러 개의 Sample Stream NAL Unit으로 구성된다.
• • 각 Sample Stream NAL unit은 실제 복원 데이터를 포함하며, 이 데이터를 전달하기 위해 NAL Unit의 크기 정보와 복원 데이터의 payload를 포함한다.
• • 이를 통해 디코더는 비트스트림 내에서 정확히 NAL Unit을 식별하고 효율적으로 파싱할 수 있다.

Sample Stream 구조는 복원 데이터의 전송 및 파싱 효율성을 높이고, 필요한 경우 스트림 내에서 동적으로 확장하거나 축소할 수 있도록 유연성을 제공한다.

VCM NAL Unit: Sample Stream 내에서 복원 데이터를 실제로 전달하는 단위로, 각 복원 단계별로 세부적인 정보를 포함한다. VCM NAL Unit은 다음과 같은 세부 구조를 가진다.

• • Sequence Restoration Data: 시퀀스 레벨 복원 정보를 포함.
• • Picture Restoration Data: 프레임 단위의 복원 정보.
• • Supplemental Enhancement Information: 추가적인 보조 정보를 제공.
• • End of Sample Stream: Sample Stream의 종료를 나타내는 마커.

VCM NAL Unit은 복원 과정에 필요한 정보를 계층적으로 포함하여 디코더가 효율적으로 복원 데이터를 처리할 수 있도록 한다.

현재 VCM 비트스트림 구조는 V3C 기반의 계층적 설계를 적용하여 유연성과 확장성을 제공하고 있으며, 복원 데이터와 원본 비디오 데이터를 효율적으로 전송할 수 있도록 설계되어 있다. 그러나, VCM Unit과 NAL Unit 계층 모두에 헤더가 존재하는 구조로 인해 비트스트림 내 오버헤드가 발생할 수 있으며, 이로 인해 파서 설계의 복잡성 증가 및 데이터 전송 효율성 측면에서 개선 여지가 존재한다.

본 논문에서는 VCM 비트스트림의 효율성을 더욱 향상시키기 위한 방안으로 새로운 비트스트림 구조를 제안하고자 한다. 제안하는 구조에서는 기존 구조에서 사용되었던 VCM Unit 계층을 제거하고, VCM Sample Unit과 VCM NAL Unit으로 단순화된 구조로 재구성하였다. 이를 통해 비트스트림 구성과 파싱의 복잡성을 줄일 수 있다. 또한, VCM process별로 Sequence-Level과 Picture-Level 데이터를 명확히 구분하여 중복된 데이터 전송을 방지하고, 필요에 따라 선택적으로 전송할 수 있도록 설계하였다. 여기서 Sequence-Level 데이터는 입력 영상의 전체 시퀀스에 적용되는 공통적인 파라미터를 의미하고, Picture-Level 데이터는 각 프레임 단위로 적용되는 개별적인 파라미터를 의미한다. 제안하는 VCM 비트스트림 구조를 시각적으로 표현하면 그림 2와 같다^[12].

Fig. 2. 
Suggested VCM bitstream structure

그림 2에서 제안하는 비트스트림 구조는 VCM 프로세스별로 생성된 NAL unit이 VCM Sample Unit 형태로 구성되어 있음을 보여준다. 제안하는 VCM 비트스트림은 VCM Sample Unit과 VCM NAL Unit의 두 가지 주요 구성 요소로 이루어진다.

• • VCM Sample Unit: 각 NAL Unit의 길이 정보와 NAL Unit를 포함하여, 디코더가 비트스트림 내에서 빠르게 NAL Unit을 정확히 식별하고 파싱할 수 있도록 한다.
• • VCM NAL Unit: 헤더(header)와 페이로드(payload)로 구성되며, 헤더는 NAL Unit의 타입과 식별 정보를 제공하고, 페이로드는 복원 데이터 또는 파라미터 정보를 담는다. 헤더 내에는 표 1과 같이 각 프로세스 와 기능에 따라 정의된 VCM NAL Unit Type이 존재한다.

표 1에서 제시된 각 NAL Unit들은 다음과 같은 역할을 수행한다:

• • ICVD_NUT(Initialization Codec Video Data): VCM 디코딩 프로세스 시작 이전에 내부 코덱(HEVC, VVC 등)의 동작을 위한 초기 설정 정보를 포함하는 NAL Unit이다. 예를 들면 코덱 프로파일, 해상도, 프레임 속도 등 VCM 레벨에서 사전에 코덱에 필요한 파라미터 값들을 전달해주는 역할을 한다.
• • VVD_NUT(VCM Video Data): VCM 비트스트림 내에서 실제 압축된 영상 데이터를 전달하는 VCL NAL Unit으로, 내부 코덱을 통해 인코딩된 비디오 데이터를 포함한다. 해당 NAL Unit의 페이로드(payload)에는 내부 코덱에서 정의한 NAL Unit들을 포함하고 있다.
• • EOB_NUT(End of Bitstream): VCM 비트스트림의 종료를 명시하는 NAL Unit으로, 디코더는 해당 NAL Unit을 통해 파싱 종료 여부를 판단하며, 잔여 데이터를 무시하거나 안전하게 스트림 종료 처리를 할 수 있다.
• • VSPS_NUT/VPPS_NUT: 비디오 전처리에 대한 공통 설정 또는 특정 프레임 파라미터들을 포함하고 있다. VSPS_NUT의 경우 영상 전체에 적용되는 파라미터(해상도, 샘플 포맷 등)를 정의하고 있으나, VPPS_NUT은 현재 정의되어 있지 않다.
• • TSPS_NUT/TPPS_NUT: 시간적 리샘플링 과정에 필요한 파라미터들을 포함한다.
• • SSPS_NUT/SPPS_NUT: 공간적 리샘플링 과정에 필요한 파라미터들을 포함한다.
• • RSPS_NUT/RPPS_NUT: 관심 영역 처리와 관련된 파라미터들을 포함한다.
• • BSPS_NUT/BPPS_NUT: 비트 심도 절감 처리에 필요한 파라미터들을 포함한다.

이때, 전체 시퀀스에 동일하게 적용되는 파라미터들은 각 프로세스별로 정의된 시퀀스 파라미터 세트(Sequence Parameter Set) NAL Unit에 포함되어 있으며, 프레임별로 적용해야 하는 파라미터들을 픽처 파라미터 세트(Picture Parameter Set) NAL Unit에 포함된다. 각 NAL Unit은 VCL(Video Coding Layer)과 non-VCL(Non-Video Coding Layer)로 구분되는데, VCL은 실제 영상의 픽셀 데이터와 압축된 영상 데이터를 포함하는 계층을 의미하며, non-VCL은 비디오 데이터를 디코딩하기 위한 메타 데이터 및 파라미터 정보를 제공하는 계층을 의미한다.

제안한 VCM 비트스트림 구조는 VCM 내의 각 프로세스와 향후 기능 확장을 효율적으로 지원하기 위해 다양한 NAL Unit Type이 세분화되어 있으며, 각 프로세스에 필요한 시퀀스 레벨 및 픽처 파라미터들은 별도의 NAL Unit으로 독립적으로 관리된다. 디코더는 이러한 정보를 기반으로 효율적으로 복원 작업을 수행할 수 있다.

이러한 구조는 기존의 V3C 기반의 계층 구조와 다르게 단일 계층으로 구성되어 있어 파서의 복잡도를 감소시키고, 각 NAL Unit만의 헤더를 유지함으로써 중복된 헤더 구조로 인한 비트스트림 크기 증가 문제를 해결할 수 있다. 또한, 새로운 기능이 추가되더라도 기존 구조를 변경하지 않고 NAL Unit Type만 추가하여 확장할 수 있어 높은 유연성과 호환성을 제공한다.

본 4장에서는 제안한 VCM 비트스트림 구조가 실제 VCM 프로세스에서 어떻게 구성되고 동작하는지 설명하고, 이를 기반으로 다양한 시나리오를 제시한다. 제안한 VCM 비트스트림 구조를 실제 VCM 프로세스에 적용하면 그림 3과 같이 인코더와 디코더 단계로 표현할 수 있다. 인코더 단계에서는 시간적 리샘플링, 공간적 리샘플링, 관심 영역 기반 프로세싱, 비트 심도 절감 처리, 내부 인코더의 각 프로세스를 거친 후, VCM NAL 패키징 단계에서 프로세스별로 생성된 NAL unit들이 VCM 비트스트림으로 구성된다. 각 NAL unit은 각 프로세스의 시퀀스 및 픽처 레벨의 파라미터를 독립적으로 포함하여 디코더에서 개별적으로 처리할 수 있도록 한다. 디코더 단계에서는 VCM NAL 파싱을 통해 전달된 각 NAL unit을 파싱한 후 내부 디코더를 거쳐 복원 데이터가 생성된다. 이후 각 프로세스의 역순으로 데이터를 처리하여 원본에 가깝게 복원된 비디오 데이터를 얻는다.

Fig. 3. 
VCM process with new VCM bitstream

제안한 구조는 다양한 시나리오에 따라 효율적으로 운용될 수 있으며, 구체적으로 초기화 패킷(Initialization Packet), 단일 프로세스 적용 사례, 두 가지 이상의 프로세스 적용 사례로 나누어 설명한다.

1. 초기화 패킷

초기화 패킷은 비디오 데이터를 본격적으로 전송하기 전에 디코더가 비디오 코덱과 관련된 필수 초기화 정보를 제공받을 수 있도록 설계된 구조이다. 그림 4는 초기화 패킷 구조를 나타내며, ICVD_NUT(Initialization Codec Video Data) 타입의 NAL Unit을 통해 내부 코덱 초기화 데이터가 전달된다. 초기화 패킷을 통해 디코더는 이후 전송되는 비디오 데이터를 정확히 디코딩할 준비를 마치게 된다.

Fig. 4. 
Initialization VCM Bitstream Configuration

2. 단일 VCM 프로세스

단일 VCM 프로세스가 적용된 경우는 특정 하나의 프로세스(시간적 리샘플링, 공간적 리샘플링, 관심 영역 기반 프로세싱, 비트 심도 절감 처리 등)만 수행하여 비트스트림을 구성하는 시나리오를 의미한다. 그림 5에서는 시간적 리샘플링만 수행된 사례를 예시로 보여준다. 이 경우 비트스트림은 ICVD_NUT 초기화 패킷과 시간적 리샘플링을 위한 TSPS_NUT(Temporal Sequence Parameter Set) 및 TPPS_NUT(Temporal Picture Parameter Set)으로 구성된다. 이 시나리오는 단순한 VCM 환경에서 매우 효율적으로 작동할 수 있으며, 최소한의 파라미터 세트로 비트스트림을 구성함으로써 전송 효율성을 극대화할 수 있다.

Fig. 5. 
Bitstream Configuration for a Single VCM Process (Temporal)

3. 둘 이상의 VCM 프로세스

VCM 환경에서는 다양한 프로세스를 조합하여 비디오 데이터를 처리할 수 있다. 이러한 복합적 시나리오의 예시는 그림 6을 통해 표현되며, 각각 두 가지 이상의 프로세스가 함께 동작하는 상황을 나타낸다.

Fig. 6. 
Bitstream Configuration for Multiple VCM Processes

그림 6은 전체 프로세스가 적용된 사례이다. 이 경우 비트스트림은 초기화 패킷(ICVD_NUT)부터 모든 프로세스에 해당하는 시퀀스 및 픽처 레벨의 NAL들과 내부 코덱을 위한 관련 파라미터로 구성된다. 이를 통해 디코더는 시간적 리샘플링 처리 후 압축된 비디오 데이터를 효율적으로 복원할 수 있다.

이러한 다양한 시나리오를 통해 제안된 VCM 비트스트림 구조는 기존의 V3C 기반 구조 대비 구조적 단순성과 계층 축소에 따른 파싱 효율 향상, 중복 헤더 제거에 따른 전송 오버헤드 절감이라는 측면에서 효율성을 갖춘 것을 확인할 수 있다. 예를 들어, 단일 프로세스 시나리오에서는 필수적인 최소한의 NAL Unit만 포함하여 전송 용량을 절감할 수 있으며, 복합 프로세스 시나리오에서도 각 프로세스에 대응하는 NAL Unit이 독립적으로 관리되기 때문에 디코더는 필요한 프로세스만 선택적으로 파싱할 수 있다.

또한, NAL Unit 단위의 독립적 구성 방식은 추후 새로운 프로세스가 추가되는 경우에도 기존 구조를 수정하지 않고 새로운 NAL Unit Type을 정의하여 손쉽게 확장할 수 있다는 점에서 유연성을 확보한다. 이러한 구조적 유연성은 실제 MPEG 회의에서 논의 중인 150차 버전에서의 적용 가능성을 뒷받침할 수 있으며, 향후 다양한 실험 환경 및 네트워크 조건에서의 전송 실험을 통해 전송률, 파싱 속도, 복원 정확도 등의 수치 기반 평가로도 구조의 우수성을 입증할 수 있을 것이다.

본 논문에서는 기계를 위한 비디오 부호화를 보다 효율적이고 유연하게 처리하기 위한 새로운 VCM 비트스트림 구조를 제안하였다. 기존 구조의 중복된 헤더 오버헤드를 제거하고 VCM Unit 계층을 생략함으로써 Sample Unit과 NAL Unit으로 구성된 간결한 2계층 구조로 재구성하였다. 이를 통해 비트스트림의 효율성을 높이고 파싱 복잡성을 낮출 수 있었다.

제안한 구조는 프로세스별 독립적인 시퀀스 및 픽처 레벨 파라미터 구성을 통해 데이터 전송과 복원을 효율적으로 수행할 수 있게 한다. 다양한 시나리오를 통해 단일 프로세스와 복합적 프로세스 환경에서도 유연하고 효과적인 비디오 데이터 처리가 가능함을 입증하였다. 또한 향후 추가적인 프로세스가 필요할 경우에도 기존 구조의 변경 없이 간단히 NAL Unit Type만 추가하여 확장할 수 있는 유연성을 확보하였다.

상기 2장과 3장에서 논의된 내용을 기반으로, 향후 MPEG 150차 회의에서는 더욱 발전된 형태의 VCM 비트스트림이 도출될 것으로 기대된다. 향후 연구로는 새로운 프로세스가 VCM에 추가될 경우, 이에 따라 새롭게 구성되는 NAL Unit을 정의하고, 해당 NAL의 syntax와 semantics를 정의하여 구현할 예정이다. 또한, MMT 또는 DASH와 같은 전송 표준을 적용하여 실제 전송 환경에서 더욱 최적화된 비트스트림 구조와 시나리오를 도출하는 연구를 진행할 계획이다. 이에 따라 제안한 비트스트림 구조는 향후 VCM 기반의 다양한 응용 환경에서 높은 성능과 확장성을 제공할 것으로 기대된다.