Past Issue

ISO/IEC MPEG(Moving Picture Experts Group)과 ITU-T VCEG(Video Coding Experts Group)의 공동 협력팀인 JVET(Joint Video Experts Team)은 2020년 최신 비디오 부호화 국제표준인 VVC(Versatile Video Coding)^[1] 표준화를 완료하였다. 이후 보다 높은 압축 성능을 가지는 새로운 비디오 부호화 표준의 후보 기술들을 탐색하기 위해 AHG(Ad-Hoc Group)^[2]를 구성하고 기술 탐색실험(EE: Exploration Experiment)^[3]을 진행하고 있으며, 탐색모델 소프트웨어인 ECM(Enhanced Compression Model)을 통해 탐색기술에 대한 성능검증과 채택된 기술을 통합하여 관리하고 있다^[4].

현재 ECM은 크게 VVC 표준 기술을 개선하는 기술, VVC 표준화 과정에서 채택되지 않은 기술, 새롭게 제안되는 기술들을 포함하고 있다. ECM은 화면내 예측 부호화 성능향상을 위한 기술로 현재블록 주변의 복원된 영역인 템플릿(template)을 사용하여 디코더에서 인코더와 동일한 동작을 수행함으로써 시그널링(signaling)을 줄이면서 예측 모드를 유도하거나 예측블록으로 사용하는 기술인 DIMD(Decoder-side Intra Mode Derivation), TIMD(Template- based Intra Mode Derivation), IntraTMP(Intra Template Matching Prediction) 등의 기술을 포함하고 있다^[5].

본 논문은 2장에서 ECM-10.0의 화면내 예측 부호화 모드와 TIMD에 대해 설명한다. TIMD는 예측된 템플릿과 현재 템플릿의 비용이 가장 작은 화면내 예측모드를 현재블록의 화면내 예측모드로 사용한다. 한편, 템플릿이 한쪽 방향만 사용가능 할 때, 적절한 화면내 예측모드를 유도하는데 한계점을 가질 수 있다. 3장에서 보다 적절한 화면내 예측 모드 유도를 위한 템플릿 간의 비용 계산 과정에서 라인별 가중치를 적용하는 방법을 제안하고 4장에서 제안기법에 대한 실험결과 및 성능분석을 제시한다. 마지막으로 5장에서 결론을 맺는다.

ECM의 TIMD는 현재블록의 크기에 따라 좌측, 상단의 템플릿 크기가 식 (1)에 따라 결정된다. 그림 2와 같이 SATD 비용 계산은 두 템플릿 간의 차이를 계산하고 현재블록의 크기에 따른 커널을 설정하여 Hadamard 변환을 적용하고 절댓값의 합을 계산하는 과정을 가진다. 한편, 식 (1)에 따라 템플릿의 크기는 최대 4로 결정되며 이로 인해 TIMD의 SATD 계산 시 변환 커널의 크기는 앞서 표 1과 같이 2×2, 4×4, 4×8, 8×4의 크기만을 사용한다. TIMD는 비용 계산 시 상단과 좌측의 템플릿은 현재블록의 참조라인 좌상단(corner) 템플릿은 사용하지 않는다.

Fig. 2. 
Process of SATD calculation

TIMD는 디코더에서 같은 동작을 수행하여 화면내 예측모드를 유도하여 비트량을 절감하는 기술이다. 본 논문의 제안하는 방법은 템플릿 크기와 상관없이 템플릿에 라인별 가중치를 적용하여 예측 성능이 보다 우수한 예측 모드를 유도할 수 있도록 하며, TIMD의 선택 비율을 높여 압축률 향상이 가능하다^[13]. 그림 2와 같이 라인별 가중치를 적용하기 위해 SATD 비용 계산 과정 중 샘플값의 차이를 계산하는 첫 번째 단계 이후에 라인별로 구한 차이값에 가중치를 적용한다. 가중치를 적용하여 해당 라인에 패널티 값을 크게 설정하여 SATD 비용이 가장 작은 모드를 유도할 때, 현재블록에 가장 적절한 화면내 예측 모드를 유도할 수 있다. 이때, 그림 3과 같이 TIMD_WEIGHT를 정의하여 사용하고 두 가지 방법으로 가중치를 적용할 수 있다. 즉, 그림 3-(a)와 같이 템플릿 라인이 현재블록과 가까울 때 더 큰 값의 가중치를 설정하거나 반대로 그림 3-(b)와 같이 참조샘플 라인과 가까운 템플릿 라인에 더 큰 가중치를 적용하여 비용 계산을 할 수 있다. 또한 그림 3-(c)와 같이 작은 현재블록에 대해서는 라인별 가중치를 적용하거나 적용하지 않을 수 있다.

Fig. 3. 
Example of applying weights in the proposed method: (a) Higher weight on template lines closer to the current block, (b): Higher weight on template lines closer to the reference sample lines, (c): Weight applied when the template size is 2

제안방법은 템플릿 샘플의 위치에 따라 가중치를 적용한다. 표 1에 표시된 커널 크기인 4×8, 8×4의 변환 커널은 현재블록의 크기에 따라 템플릿 샘플의 위치를 알 수 있는 반면, 2×2와 4×4의 정사각형 변환 커널 크기는 템플릿의 위치 정보를 유추할 수 없다. 따라서 라인별 가중치를 적용하기 위해 이러한 정사각형의 커널 크기가 설정될 때 템플릿의 위치 정보를 포함하도록 설계한다.

본 논문에서 제시한 라인별 가중치 기반의 TIMD의 성능검증을 위해 제안기법을 ECM-10.0에 구현하고 All Intra(AI) 모드에서 부호화 성능을 확인하였다. JVET CTC(Common Test Conditions)^[14]의 B, C, D, E 클래스의 시퀀스를 사용하였다. 앞서 3장에서 언급한 것과 같이 라인별 가중치의 적용은 두 가지 경우로 나뉜다. 두 가지 경우에 대한 성능 경향성 파악을 위하여 5가지의 가중치 세트 {[2, 1, 1, 1], [1, 1, 1, 2], [1, 2, 2, 3], [1, 1, 2, 2], [2, 2, 2, 3]}를 구성하고 1 프레임에 대한 성능을 표 2와 같이 확인하였다.

세트 1과 2의 결과를 통해 현재블록에 가까운 템플릿에 많은 가중치를 적용하였을 때 부호화 성능이 개선되는 경향성을 보였다. 이 결과를 바탕으로 추가적인 3가지의 가중치 세트를 구성하여 성능을 확인하였고, 세트 2의 가중치 실험에서 각 채널에 대해 -0.02%, 0.11%, -0.45%의 부호화 효율을 확인하였다.

표 3과 표 4는 가중치 세트 2 {[1, 1, 1, 2]}에 대한 1초 길이 영상의 실험결과 및 TIMD 선택 비율을 나타낸 것이다. 템플릿 크기가 2인 작은 블록에 대해서 [1, 1]의 가중치로 동일한 가중치가 적용된다. 실험결과 Y, Cb, Cr 채널에서 -0.03%, 0.06% -0.09%의 BD-rate이득과 1%의 부호화 시간(EncT) 증가를 확인하였다. 제안방법의 TIMD 선택 비율은 평균적으로 변화가 없으며 D, E 클래스의 영상에서는 선택 비율이 증가한 것을 확인하였다. 특히 E 클래스에서 약 0.1%의 선택 비율 증가와 -0.04%, -0.28%, -0.41%의 BD-rate 비트율 절감을 확인하였다.

본 논문에서는 ECM의 TIMD 화면내 예측 모드의 성능개선을 위하여 예측 모드 탐색을 위한 SATD 기반의 예측 비용 계산에서 템플릿의 참조샘플 라인별 가중치를 적용하는 방법을 제안하였다. 즉, 가중치를 적용하는 두 가지 방법에 대한 부호화 성능의 경향성에 대한 실험결과를 바탕으로 현재블록에 가까운 라인에 큰 가중치를 적용하여 예측 성능이 개선된 화면내 예측 모드를 유도할 수 있음을 확인하였다. 실험결과 제안기법은 ECM-10.0 대비 약 1%의 인코딩 복잡도 증가로 휘도성분에서 0.03%의 BD-rate 부호화 이득이 있음을 확인하였다. 또한, 화면내 예측에서 TIMD의 선택 비율을 높임으로서 추가적인 비트율 절감을 얻을 수 있을 것으로 기대된다.