VVC 기반 위상 홀로그램 압축을 위한 디블록킹 필터 및 샘플 적응적 오프셋 개선

클리핑은 사전에 정의된 범위를 벗어나는 신호 값을 제한하여 오버플로를 방지한다. 하드 클리핑은 신호 범위를 벗어나는 값을 경계값으로 잘라내며, 위상 신호에서는 정보 손실을 유발할 수 있다. 일반적으로 동영상 압축 표준에서 범위 [0, 2π]에 대한 클리핑 연산은 식 (1)로 정의됨에 반해, 원형클리핑은 주기성을 고려하여 식 (2)와 같이 정의된다. 예를 들어 2.2π는 하드 클리핑 시 2π로 잘리지만, 원형클리핑 시 0.2π로 매핑되어 위상 주기성을 보존한다.

신호 간의 차이를 계산할 때도 위상의 주기성을 고려할 수 있다. 두 신호 x₁, x₂의 차이는 일반적으로 식 (3)과 같이 선형적으로 정의됨에 반해, 최소원형차이는 주기 2π에서 식 (4)와 같이 정의된다. 원형 도메인에서 두 신호의 차이는 <그림 2>에 보인 바와 같이 항상 두 가지로 발생하는데, 최소원형차이는 이중 더 짧은 거리에 해당하는 차이를 계산하게 된다. 이를 이용하면 신호가 선형 상에서 어디에 위치하는지에 상관없이 일관적인 차이를 계산할 수 있으며 차이값의 유효 범위가 기존 [-2π, 2π)에서 [-π, π)로 제한된다^[1]. 이러한 위상 신호의 차이 기반으로 위상 홀로그램 전용 MSE(Mean square error)와 PSNR(peak signal-to-noise ratio) 평가를 재정의할 수 있으며^[6], 본 연구의 객관적 화질 평가 메트릭으로 사용하였다.

Fig. 2.

Example of calculation of SCD

디블록킹 필터는 블록 경계 왜곡을 완화하기 위한 필터링 방법으로^[7], 경계 강도(boundary strength, bS)와 국소 변화량을 기준으로 필터링 여부 및 필터링 강도(strong/weak)를 결정하여 경계 부분에 대한 보정을 수행한다.

VVC의 DBF는 영상 내의 모든 수직 경계를 먼저 처리한 후, 그 결과값을 입력으로 사용하여 모든 수평 경계를 처리한다. 각 방향에 대해서는 휘도(Luma) 성분에 대해 먼저 처리한 후 색차(Chroma) 성분에 대해 처리한다. 처리 단위는 CTB(Coding Tree Block) 내부의 각 코딩 유닛(CU) 및 코딩 블록(CB) 단위로 수행되며, 휘도의 경우 4 × 4, 색차의 경우 8 × 8 크기의 샘플 그리드 경계에서 적용된다^[8]. DBF의 수행 과정은 <그림 3-(a)>와 같이, 필터를 적용할 경계를 구분하고, 경계 양쪽에서 참조 가능한 최대 길이(maxFilterLength)를 결정하는 블록 경계 유도 단계, 각 경계의 위치마다 경계 강도(bS)를 결정하는 필터 강도 계산 단계, β, t_c 등 필터 동작 방식 결정에 이용되는 임계값을 결정하는 단계, 경계 근처의 픽셀을 입력으로 필터링 여부 및 필터링 강도를 결정하는 단계, 앞서 결정한 방식에 따라 필터링을 수행하는 단계로 이루어져 있다.

Fig. 3.

Schematic diagram of (a) DBF process (b) SAO process

SAO는 링잉 아티팩트를 완화하기 위한 필터링 방법으로, CTU 단위로 샘플을 여러 카테고리로 분류한 뒤, 카테고리별 오프셋을 추정하여 복원 신호의 평균적 편향을 보정한다^[7]. SAO는 CTU 내 픽셀의 특징에 따라 에지 오프셋(Edge Offset, EO)과 밴드 오프셋(Band Offset, BO)으로 오프셋 적용 방식이 나눠진다. EO는 CTU별로 클래스(수평, 수직, 135°, 45°)가 결정되며, CTU 내를 순회하며 픽셀과 인접 픽셀값의 관계, 에지패턴(edgeIdx)에 따라 오프셋을 적용한다. BO는 비트 깊이를 32개의 밴드 구간으로 분할했을 때, RDO에 따라 결정되는 연속된 4개의 밴드에 대해 일괄적으로 오프셋을 적용한다.

SAO의 수행 과정은 <그림 3-(b)>와 같이, SAO의 적용 위치를 결정하는 단계, 각 클래스에 대해 복원 신호와 원본 신호의 차이(에러)를 기반으로 EO의 오프셋 후보를 계산하는 단계, 밴드 구간별 픽셀의 개수 및 에러를 기반으로 BO의 오프셋 후보를 계산하는 단계, RDO를 통한 SAO 유형 결정 단계, 결정된 방식으로 오프셋을 적용하는 단계로 이루어져 있다.

동영상 압축 코덱에서 라플라시안은 주로 인접 샘플들 간의 2차 차분을 통해 국소 곡률을 측정하는 연산으로 사용된다. DBF와 SAO의 EO는 이러한 원리를 활용하여 경계 및 에지 유형을 분류한다. 즉, DBF에서는 라플라시안을 이용하여 필터 적용 여부 및 강도를 결정하며, SAO의 EO에서는 라플라시안의 차분 구조를 이용해 edgeIdx를 분류한다. VVC에서 사용되는 라플라시안(Δ)은 식 (5)에 보인 바와 같이, 인접한 위치(x_-1 및 x₊₁)의 샘플 값과 중심 위치(x₀)의 샘플 값의 가중합으로 계산되며, 이는 식 (7)과 같이 중심 위치와의 각 차이들의 합으로 나타낼 수 있다.

하지만, 위상 신호의 경우 실제로는 인접 샘플들이 동일한 상대적 구조를 가지고 있더라도 중심 샘플 값의 절대적 위치에 따라 서로 다른 라플라시안 값을 생성할 수 있다. 따라서 위상의 주기성을 고려한 라플라시안은 동일한 상대적 위상 관계를 가지는 세 샘플에 대해 일관된 결과를 보장해야 하는 ‘이동 불변성(shift-invariance)’을 가져야 한다.

논문에서 제안하는 P-LAP는 식 (8)과 같다. 이 식은 차이 척도 d를 SCD $$ \tilde{d}$$로 치환한 것으로, 중심 샘플과 인접 샘플에 대해 이동 불변성을 만족하게 된다. <그림 4>의 예시에 보인 바와 같이 기존 Laplacian은 이동 불변성을 만족하지 못하나 제안된 P-LAP은 샘플들의 위치가 시프팅 되더라도 항상 동일한 Laplacian 값을 결정할 수 있음을 알 수 있다. 즉, P-LAP은 기존 Laplacian 구조를 유지하면서, 이를 구성하는 차분을 위상 공간에서 일관되게 계산 가능하다.

Fig. 4.

Example of P-LAP and shift-invariance

Ⅱ장 1.2절에서 언급한 바와 같이, SCD 기반 차이는 선형 차이에 비해 유효 범위가 [-2π, 2π)에서 [-π, π)로 축소되므로, DBF 필터 on/off 및 강도 결정에 사용되는 임계값(β, t_c 등)을 재조정 할 필요가 있다. 따라서 본 논문은 이러한 임계값을 식 (9)와 같이 1 이상의 값으로 나누어 스케일링하여 위상 신호에 맞게 재조정한다. 일반적으로 SCD 적용 시 차이 범위가 절반 수준으로 감소하므로 n≈2가 자연스러운 선택이지만, 실제 구현에서는 비트 깊이, 콘텐츠 특성, 코덱 설정에 따라 n을 선택할 수 있다. 제안 기술은 DBF의 임계값 결정 단계에서 n=2를 선택하였으며, 위상 신호 환경에서 더 합리적인 필터 판단이 수행되도록 한다.

P-DBF는 VVC DBF의 (i) 필터링 수행 여부 결정, (ⅱ) 필터링 방법 결정(strong/weak), (ⅲ) 필터링 수행 및 범위 제한 단계에서 [1]에서 제안된 SCD와 CC 외에도 본 논문에서 제안한 P-LAP 및 P-THR을 적용한다. P-DBF의 임계값 결정은 2.2절에서 설명하였다.

2.3.1 필터링 수행 여부 결정 과정 개선

DBF는 식 (10)과 같이 블록 경계 주변 샘플 p와 q의 변화량을 이용해 블록 내 라플라시안 Δ의 절대값$$ \left(dp\left(n\right),dq\left(n\right)\right)$$을 계산하고, 임계값 β와 비교하여 필터 적용 여부를 결정한다. P-DBF에서는 라플라시안 Δ의 계산을 본 논문에서 제안한 P-LAP로 치환하여 $$ \widetilde{dp}\left(n\right), \widetilde{dq}\left(n\right)$$을 다음과 같이 계산한다(여기서 n은 행/열 인덱스).

P-DBF에서는 이렇게 계산된 변화량 $$ \widetilde{dpq}\left(n\right)$$을 P-THR을 통해 재조정한 임계값 $$ \tilde{\beta }$$(식 (9))와 비교하여 필터 적용 여부(on/off)를 결정한다. 구체적으로 식 (13)을 만족해야 한다.

2.3.2 strong/weak 결정: 주기성 기반 블록 간 변화량 개선

필터가 적용되는 경우, DBF는 strong/weak 여부를 추가 조건으로 결정한다. P-DBF는 블록 간 차이(예: |p0−q0|) 또한 $$ \left|\tilde{d}\left(p_0,q_0\right)\right|$$ 형태로 치환하여 위상 신호를 위한 변화량을 계산한다. strong 필터 조건 및 weak 필터 조건의 구조는 표준과 동일하게 유지하되, 내부 차이 계산과 임계값만 각각 SCD와 P-THR 기반으로 수정한다. 식 (14), 식 (15)는 각각 P-DBF의 strong 필터의 조건과 weak 필터의 조건이다.

2.3.3 필터링 수행 및 클리핑 개선

Weak filtering에서 보정값 $$ \tilde{\Delta }$$, $$ {\tilde{\Delta }}_p$$, $$ \tilde{\Delta }q$$는 주변 샘플 차이를 기반으로 계산한다. P-DBF는 이를 계산할 때 식 (16)과 같이 이 계산에서도 차이 척도를 SCD $$ \tilde{d}$$로 사용하여 보정값을 산출한다. 또한 이러한 보정값은 과도한 보정을 방지하기 위해 식 (17)과 같이 임계값 $$ \widetilde{t_c}$$를 이용한 $$ Clip3\left(-{\tilde{t}}_c,{\tilde{t}}_c,\cdot \right)$$와 같은 제한을 거친 뒤 적용되며, 최종 출력은 원형클리핑($$ \widetilde{Clip}$$)을 통해 유효 범위를 유지한다.

VVC의 EO에서는 식 (18)과 같이 현재 복원 샘플 $$ \widehat{s}\left(x_0\right)$$의 두 인접 복원 샘플 $$ \widehat{s}\left(x_{-1}\right)$$와 $$ \widehat{s}\left(x_{+1}\right)$$ 간의 차이의 부호(sign)를 통해 $$ e\left(x_0\right)$$를 계산하고, 식 (20)으로 에지패턴(edgeIdx)을 판별한다. EdgeIdx가 1이거나 4일 경우는 각각 국소 최소(local minima)와 국소 최대(local maxima)에 해당되며, 2이거나 3일 경우에는 완만하다가 기울기의 전환이 발생하는 에지(edge)에 해당되며, 0일 경우에는 국소 단조(local monotonic)로 간주되어 EO가 적용되지 않는다^[7]. P-EO에서는 식 (18)이 아닌 식 (19)처럼 두 인접 신호 간 차이를 SCD로 계산하여 edgeIdx를 분류한다.

EO는 원본 샘플과 복원 샘플 간 차이의 평균을 이용하여 초기 후보 오프셋을 계산한다. P-EO에서도 후보 오프셋 h₀는 에지패턴 p에 해당하는 샘플 위치들의 집합 K(p)에 대해 식 (21)과 같이 원본 샘플 s(k)와 복원 샘플 $$ \widehat{s}\left(k\right)$$ 간의 SCD 평균으로 정의된다. 여기서 $$ K\left(p\right)=\left\{k|edgeIdx\left(k\right)=p\right\}$$, |K(p)|는 K(p)의 크기이다. 이렇게 정의된 h₀(p)는 RDO 과정에서 초기 오프셋으로 이용된다.

P-EO는 EO 적용 전후 왜곡을 SCD 기반 제곱 오차로 정의하고, 오프셋 적용 후 값은 원형클리핑을 통해 범위를 제한한다. EO 적용 전후 왜곡과 비용 변화는 다음과 같이 정의된다.

P-EO는 Δj를 최소화하는 오프셋 적용 여부, 클래스, 최종 오프셋 h_final 등을 선택한다. 이때 R은 CABAC 등의 산술코딩으로 결정되는 비트량이며, λ는 코덱 설정에 의해 결정된다.

최종 결정된 클래스와 오프셋에 따라 복원 픽셀 $$ p^{\prime }\left(k\right)$$는 다음과 같이 계산되며, 원형클리핑을 적용한다.

본 실험에서는 SAO의 초기 오프셋의 분포를 비교해 보고, 실제로 초기 오프셋이 어떻게 설정되는지 확인해 본다. <그림 10>과 <그림 11>은 각각 위상의 주기성을 고려한 P-LAP 적용 전후에 대해, 인코더 내부에서 생성된 SAO 초기 오프셋의 분포를 전체 시퀀스와 모든 QP에 대해 집계한 히스토그램을 나타낸다. 먼저 <그림 10>의 경우, 오프셋 분포가 큰 값 영역까지 넓게 퍼져 있으며, 특히 최대 클리핑 구간 근처에서 높은 빈도가 관찰된다. 이는 초기 오프셋이 실제 신호 변화량보다 과도하게 추정되는 경우가 존재함을 의미하며, 결과적으로 불필요한 필터링 보정이 발생할 가능성을 시사한다.

Fig. 10.

Histogram of offsets per CTU of the entire sequence before applying P-LAP in the encoder

Fig. 11.

Histogram of offsets per CTU of the entire sequence after applying P-LAP in the encoder

반면 <그림 11>에서는 위상의 주기성을 고려한 P-LAP을 적용한 이후, 오프셋 분포가 전반적으로 작은 값 영역으로 이동하며 분포 폭 또한 감소하는 경향을 확인할 수 있다. 특히 큰 오프셋 값의 발생 빈도가 감소하고 중간 이하의 값에 분포가 집중되는 모습을 보이며, 이는 클래스별 보정치가 보다 안정적으로 추정됨을 의미한다. 평균 오프셋 값 또한 감소하는 경향을 보이며, 이러한 결과는 기존 에지패턴 분류가 위상 신호의 주기성을 충분히 반영하지 못할 경우, 실제로는 필터링이 필요하지 않은 영역에서도 과도한 오프셋이 설정될 수 있음을 보여준다.

본 실험에서는 <표 3>에서 P-EO의 BD-rate 개선 폭이 P-DBF에 비해 크게 나타나는 원인을 분석한다. (i) VVC (VTM21.2) (표준 DBF 및 SAO 적용), (ⅱ) VVC ext^[5] + P-EO, (ⅲ) VVC ext^[5] + P-DBF, (ⅳ) Proposed(P-EO + P-DBF)의 네 가지 구성에 대한, ETRI-database의 7개 시퀀스 × 4 QP 조건의 전체 프레임(총 924 프레임)에 대해 휘도 채널의 필터 적용 통계를 측정하였다. <표 4>는 각 필터의 적용 대상 영역 비율(addr.), 실제 픽셀값 변경 비율(chg.), 그리고 적용 대상 영역 중 실제로 픽셀값이 변경된 비율인 필터 실효율(eff.)을 정리한 것이다. addr.은 각 필터가 보정 대상으로 삼는 영역이 전체 휘도 픽셀에서 차지하는 비율이며, DBF의 경우 boundary strength 판정 대상인 블록 경계 픽셀, SAO의 경우 오프셋 보정이 활성화된 CTU 영역(merge 및 skip 제외)에 해당한다. chg.는 필터 적용 전후로 실제 픽셀값이 변경된 휘도 픽셀의 전체 대비 비율이며, eff.는 addr. 대비 chg.의 비율로서 적용 대상 영역 중 실질적으로 보정이 이루어진 정도를 나타낸다.

Table 4.

Comparison of addressable area and filter efficiency between DBF and SAO (luma)

VVC (VTM21.2) 기준 DBF의 적용 대상 영역은 전체 휘도 픽셀의 20.79%인 반면, SAO는 80.48%로 약 3.9배에 달한다. 실제 변경 비율도 SAO 31.17% 대 DBF 1.84%, 실효율도 SAO 38.73% 대 DBF 8.87%로, 모든 지표에서 SAO가 DBF를 크게 상회한다. 제안 모델에서도 P-EO 실효율 22.24% 대 P-DBF 4.57%로 동일한 경향이 유지된다. 이는 P-DBF가 P-EO에 비해 BD-rate 개선에 제한적으로 기여하는 것이 블록 경계에만 작용하는 DBF의 적용 범위 한계 때문임을 보여준다.