동적 메쉬 기반 비디오의 텍스쳐 맵 부호화를 위한 율 제어 방법

1. V-DMC의 동적 메쉬 압축 방법

V-DMC는 정점의 좌표와 정점 간 연결 관계가 시간에 따라 변화할 수 있는 동적 메쉬를 효율적으로 압축하기 위해 그림 1의 구조를 기반으로 동적 메쉬를 압축한다. 메쉬 압축 과정의 주요 특징으로는, 메쉬의 점진적인 전송 및 복원을 지원하기 위하여 메쉬를 다수 개의 해상도 단계로 분리하여 압축하며, 각각의 시간적 변화를 효율적으로 압축하기 위하여 시간적으로 앞서 복원된 메쉬를 참조하여 압축한다. 또한 인코더는 메쉬의 압축률과 품질 간 균형을 유연하게 조절하기 위한 손실 압축을 수행할 수 있다. 메쉬를 손실 압축할 경우 복원된 메쉬의 표면 구조가 원본 메쉬와 달라질 수 있기 때문에, 텍스쳐 맵 등 메쉬의 추가 속성 정보를 압축할 때에는 복원된 메쉬에 대응되는 속성 정보를 원본 속성 정보로부터 생성하여 압축한다.

Fig. 1.

Block diagram of V-DMC encoder and decoder

V-DMC의 인코더가 메쉬를 압축하는 구체적인 과정은 다음과 같이 수행된다. 먼저 메쉬를 저해상도 메쉬와 해상도를 단계적으로 향상시킬 수 있는 고주파 성분으로 분리한다. 저해상도 메쉬는 원본 메쉬의 정점 수를 감소시키고 감소된 정점 간 연결관계를 생성함으로써 도출된다. 단순화 과정에서 손실된 고주파 성분은 저해상도 메쉬의 표면을 균등하게 세분화하여 도출된 정점과 원본 정점 간 좌표의 차이로 보상되며 V-DMC에서는 이를 변위 벡터라고 부른다. 고주파 성분을 도출하는 과정은 재귀적으로 수행되어 해상도를 점진적으로 향상시킬 수 있는 고주파 성분이 단계적으로 도출된다. 인코더에서 목표하는 압축률 및 품질의 균형에 따라서 원본 메쉬의 단순화 정도와 세분화 단계를 결정할 수 있다.

전처리 단계에서 도출된 저해상도 메쉬와 변위 벡터는 각각 다음 과정으로 압축된다. 저해상도 메쉬는 정적 부호화 방법과 시간적 참조 부호화 방법 중 한 가지 방법으로 무손실 압축된다. 현재 압축하고자 하는 저해상도 메쉬가 시간적으로 직전에 압축된 저해상도 메쉬와 정점 간 연결 관계가 유사하다고 판단될 경우 시간적 참조 부호화 방법을 수행하고, 반대의 경우에는 정적 부호화 방법을 수행한다. 정적 부호화 방법은 MPEG EdgeBreaker^[21], Google DRACO^[22]와 같은 기존에 정적 메쉬를 효율적으로 부호화 하는 기술을 이용한다. 시간적 참조 부호화 방법은 시간적으로 직전에 압축되어 복원된 저해상도 메쉬와 정점 단위 움직임 벡터만을 압축하며 정점 간 연결 정보는 이전 저해상도 메쉬의 연결정보를 그대로 사용한다.

변위 벡터는 세분화된 메쉬의 정점 당 존재하며 저해상도 메쉬의 정점 대비 상대적으로 조밀하게 존재하고 공간적 중복성을 갖는다. 이러한 특징에 기반하여 변위 벡터에 선형 웨이블릿 기반의 리프팅 변환을 수행하여 저주파 성분과 고주파 성분으로 분해하고 주파수 대역별 차등적 양자화를 수행하고, 2D 이미지로 패킹하여 기존 비디오 코덱을 이용하여 압축한다. 비디오 코덱 내부의 시간적 예측 방법을 통해서 시간적으로 인접한 메쉬의 변위 벡터 간 시간적 중복성을 효과적으로 제거할 수 있다. 변위 벡터의 압축률 및 화질의 균형 조절을 위해 비디오 코덱 외부 또는 내부의 양자화 단계에서 양자화 파라미터 값을 조정할 수 있다. 디코더에서는 저해상도 메쉬 복원 및 세분화하고, 변위 벡터를 복원하여 세분화된 각 정점에 합산하는 과정을 통해 메쉬를 복원한다.

메쉬의 손실 압축 과정에서 메쉬의 단순화, 정점 좌표 양자화, 변위 벡터 양자화를 원인으로 복원된 메쉬에는 원본 메쉬 대비 왜곡이 존재할 수 있다. 따라서 메쉬의 추가적인 색상 정보인 텍스쳐 맵을 압축하는 과정에서, 복원된 메쉬의 표면에 대응되는 색상을 도출하여 텍스쳐 맵을 재생성하는 과정이 선행된다. 텍스쳐 맵을 재생성하는 과정으로, 먼저 원본 메쉬 표면의 샘플링된 위치에 대응되는 색상 값을 원본 텍스쳐 맵으로부터 도출한다. 복원된 메쉬 표면의 각 샘플링된 위치의 색상 값을, 원본 메쉬 표면의 샘플링된 정점들 중 공간적으로 가까운 정점들의 색상 값을 이용하여 예측하고 UVatlas^[23] 방법을 이용하여 다시 텍스쳐 맵으로 패킹한다. UVatlas는 주어진 해상도의 텍스쳐 맵에 메쉬 표면의 색상 값을 투영하는 과정에서 발생할 수 있는 손실을 최소화하도록 메쉬 표면을 분할하여 패킹한다. 텍스쳐 맵의 압축률 및 화질의 균형을 조절하기 위해서는, 텍스쳐 맵을 재생성하는 과정에서의 텍스쳐 맵 해상도를 조정하거나 비디오 코덱 내부의 양자화 파라미터를 조정할 수 있다.

2. 영상 압축을 위한 R-λ 모델 기반의 율 제어 방법

전통적인 영상 압축 기술은 일반적으로 자연 영상을 효율적으로 압축하기 위한 목적으로 연구되었으며 뛰어난 압축 효율성을 바탕으로 점차 활용 범위가 확장되고 있다. 최근에는 동적 메쉬의 압축뿐만 아니라 포인트 클라우드 기반 비디오, 뉴럴 네트워크의 임의의 레이어의 출력 정보 등의 다양한 종류의 데이터를 비디오 기반으로 압축하는 방법에서 전통적인 비디오 코덱이 활용되고 있으며, 각각의 데이터 압축에서 요구되는 압축 효율을 충족하는 데 중요한 역할을 하고 있다^[24,25].

율 제어 기술은 제한된 대역폭의 저장 매체나 네트워크 환경을 고려해야 하는 다양한 멀티미디어 응용에서 필수적으로 요구되는 핵심 기능으로 영상 압축 기술과 함께 발전해왔다. 영상 율 제어 방법은 영상의 비트를 결정하는 주요 요소를 무엇으로 간주하는지에 따라 대표적으로 R-Q 모델 기반 방법^[26], R-ρ 모델 기반 방법^[27], R-λ 모델 기반 방법^[20]으로 분류할 수 있다. 각 방법은 양자화 파라미터, 잔차 신호가 변환 및 양자화된 계수의 값, 비트율과 왜곡의 중요도 비율을 의미하는 λ를 영상의 비트를 결정하는 주요 요소로 간주한다. 그 중 가장 높은 성능을 보이는 R-λ 모델 기반의 방법에 관련하여 다양한 방향으로 연구가 진행되어왔으며^{[20,28,29,30]}, HEVC 표준의 참조 소프트웨어^[31] 또한 R-λ 모델 기반의 율 제어 방법을 채택하였다. 본 절에서는 먼저 영상의 압축 원리와 율-왜곡 최적화 개념을 설명하고 이어서 R-λ 모델 기반의 율 제어 방법을 설명한다.

2.1 영상 압축 원리와 율-왜곡 최적화

영상 압축 방법은 시공간적 중복성 제거와 인지 화질 관점에서 중요도가 낮은 정보의 감축에 기초한다. 일반적으로 영상에서 장면이 변화함에 따른 픽셀 값의 변화는 공간적으로 가까운 픽셀들끼리 유사하며, 한 픽쳐 내에서도 공간적으로 가까운 픽셀들끼리 픽셀 값이 유사하다는 특성이 존재한다. 따라서 픽쳐를 블록 단위로 분할하여 예측, 변환, 양자화, 산술 코딩의 순서로 압축을 수행한다. 먼저 블록 단위로 시공간적 예측을 수행하여 신호의 중복성을 제거하여 잔차 신호만을 남긴다. 예측에 대한 잔차 신호에 대하여 인지적 시각 특성을 고려하여 주파수별 차등적 손실을 주 위하여 주파수 변환 도메인에서 양자화를 수행한다. 양자화는 압축률과 왜곡을 결정하는 주요 단계이며 양자화 세기를 의미하는 양자화 파라미터의 값을 인코더에서 지정할 수 있다. 이후 양자화된 계수 값에 산술 부호화를 수행하여 비트스트림이 생성된다.

영상 압축의 효율과 처리 지연 간의 균형을 조절하기 위해 영상 내 프레임간 참조 제약을 여러 수준으로 두고자 All Intra (AI), Low Delay (LD), Random Access (RA) 환경이 지정되었다. AI 환경은 영상 내 모든 픽쳐를 독립적으로 압축하여 임의 접근성이 높지만 압축 효율은 상대적으로 낮다. LD와 RA 환경은 앞서 코딩된 픽쳐를 참조하여 일반 영상에서 AI 환경 대비 훨씬 높은 압축 효율을 보인다. LD 환경에서는 압축 효율을 높이면서 낮은 지연을 유지하기 위해 시간적으로 앞선 픽쳐만을 참조할 수 있다. RA 환경에서는 디스플레이 순서와 압축 순서를 달리하여 시간적으로 이후 픽쳐도 참조가 가능하여 세 가지 환경 중에서 가장 압축 효율이 높다.

앞서 설명한 손실 압축 과정을 통해 발생하는 화질 왜곡과 비트율은 서로 반비례 관계이기 때문에 주어진 영상에 대하여 압축률을 높일수록 화질 왜곡 또한 증가한다^[32]. 인코더에서는 가능한 모든 파라미터 조합에 대하여 비트율과 왜곡을 계산하고, 동일한 비트율일 경우에는 더 작은 왜곡을 도출하는 파라미터 조합을 선택한다. 따라서 영상의 율-왜곡 관계는 각 비트율에서 최소 왜곡인 경우들에 의해 정의되고 수식 1로 표현된다^[33]. 수식 1의 D는 왜곡을, R는 비트율을 의미하며, C와 K는 각 영상의 압축 성능을 의미한다.

$\[ D\left(R\right)=C{R}^{-K} \]$

(1)

인코더에서는 영상의 율-왜곡 관계에 따라 선택 가능한 비트율과 왜곡 조합들 중에서 한 가지 조합을 선택하기 위하여 비트율과 왜곡 간 중요도 차이를 고려한다. 따라서 영상 인코딩은 비트율과 왜곡 간 중요도 차이를 반영한 비용 함수의 값이 최소가 되는 코딩 파라미터 조합을 결정하는 과정으로 정의되고 수식 2로 표현된다^[32]. 수식 2의 D는 영상에 손실 압축을 수행할 때 발생하는 화질의 왜곡을 의미하며, R은 영상을 압축한 후 비트율을 의미한다. 반비례 관계인 왜곡과 비트율을 종합적으로 고려하였을 때의 비용인 (D+λR)을 손실 함수라고 하고, $$ \widehat{\theta }$$는 손실 함수의 값이 최소가 되도록 하는 인코딩 파라미터 조합이다. λ는 왜곡 대비 비트율의 중요도를 의미하며 왜곡과 비트량 간 균형을 조절하는 역할이다. λ 값에 따라 임의 영상의 율-왜곡 관계에서 가능한 한 조합의 율, 왜곡이 결정되며, λ의 값이 증가할수록 왜곡보다 비트율이 증가함에 따라서 손실 함수 값에 미치는 영향이 커지기 때문에 낮은 비트율로 압축된다. 그림 2는 영상에서 λ와 비트율의 일반적인 반비례 관계를 시각화한다.

$\[ \hat{\theta }=arg\underset{\theta }{ \text{min}}\left(D+\lambda R\right) \]$

(2)

Fig 2.

Rate and distortion according to λ

수식 1이 나타내는 율-왜곡 관계식은 λ와 비트율의 반비례 관계를 나타내는 수식 3으로 정리될 수 있다. 수식 3의 α와 β는 수식 1의 C와 K로부터 도출되며 해당 영상의 율-왜곡 특성을 의미한다. 비트율과 λ의 관계는 R-λ 모델 기반의 율-왜곡 제어 기술의 핵심적인 개념으로, 비트 할당과 비트율 제어 단계 모두에서 사용된다.

$\[ \lambda =-\frac{\Delta D}{\Delta R}=CK{R}^{-K-1}=\alpha R^{\beta } \]$

(3)

λ 값에 의해 제어되는 비트량은 영상의 픽셀 값 잔차 신호에서 발생한 비트량과 영상 분할, 예측, 변환, 양자화 등의 각 압축 단계에서 전송되는 모든 파라미터에서 발생한 비트량을 포함한다. 영상의 전체 비트량을 구성하는 요소 중 잔차 신호는 가장 큰 비중을 차지하며, 잔차 신호의 비트량을 결정짓는 주요 요소는 양자화 단계의 양자화 파라미터이다. 따라서 각 λ 값에 대하여 최소의 비용을 달성하는 QP값은 비례 관계이며 [34]는 λ와 QP의 관계를 수식 4로 모델링 하였다.

$\[ QP=4.3281\times \text{ln}\lambda +14.4329 \]$

(4)

2.2 R-λ 모델 기반의 율 제어 수행 과정

R-λ 모델 기반 율 제어 방법은 영상의 R-λ 관계를 예측하여 영상을 목표하는 비트율로 압축하기 위한 λ 값을 결정한다. 이 과정에서 영상 평균 왜곡을 최소화하기 위하여 영상을 구성하는 각 세부 단위마다 최적화된 λ 값을 도출하며 이는 수식 5로 표현된다. 율 제어 기능은 크게 비트 할당 단계와 비트율 제어 단계로 구성된다. 비트 할당 단계는 평균 화질 최대화 관점에서 비트 사용을 최적화하기 위하여 영상의 총 할당 비트를 GOP, 픽쳐, CTU 등으로 계층적 분배를 수행한다. 비트율 제어 단계는 비트 할당 단계에서 결정된 비트율로 압축되기 위한 비용 함수의 λ 값 결정을 수행한다.

$\[ \hat{\lambda }=arg\underset{\lambda }{ \text{min}}\left(\sum _{i=1}^M{d}_i\right) s.t.\sum _{i=1}^M{r}_i\le R \]$

(5)

비트 할당 단계는 영상의 계층적인 인코딩 순서에 따라서 현재 인코딩하고자 하는 단위의 목표 비트를 상위 계층의 목표 비트로부터 할당한다. 먼저 한 GOP의 목표 비트량은 영상의 목표 비트량에서 분배된다. 인코더에서는 AI, LD, RA 중 참조 구조를 선택하고 GOP마다 참조 구조가 반복된다. 이에 따라 GOP 간 압축 성능을 동일하게 가정하고 GOP 내 픽쳐 개수에 비례하게 각 GOP의 비트를 최초 할당한다. 이후 각 GOP의 인코딩을 시작하기 이전에, 수식 6을 통해 이전 GOP까지 발생한 비트 달성 오차의 일부를 보상하여 GOP의 최종 목표 비트를 도출한다. 수식 6의 AvgBit_Pic은 시퀀스 수준의 목표 비트를 시퀀스의 총 픽쳐 개수로 나눈 픽쳐의 평균 목표 비트량을 의미하고, PicNum_Coded와 ActualBit_Coded는 현재까지 인코딩이 수행된 픽쳐의 개수와 실제 발생 비트의 총 합을 의미하며, PicNum_GOP[i]는 GOP 내 픽쳐의 개수를 의미한다.

$\[ {\mathit{T}\mathit{a}\mathit{r}\mathit{g}\mathit{e}\mathit{t}\mathit{B}\mathit{i}\mathit{t}}_{\mathit{G}\mathit{O}\mathit{P}\left[\mathit{i}\right]}=\left({\mathit{A}\mathit{v}\mathit{g}\mathit{B}\mathit{i}\mathit{t}}_{\mathit{P}\mathit{i}\mathit{c}}+\frac{{\mathit{A}\mathit{v}\mathit{g}\mathit{B}\mathit{i}\mathit{t}}_{\mathit{P}\mathit{i}\mathit{c}}\times {\mathit{P}\mathit{i}\mathit{c}\mathit{N}\mathit{u}\mathit{m}}_{\mathit{C}\mathit{o}\mathit{d}\mathit{e}\mathit{d}}-{\mathit{A}\mathit{c}\mathit{t}\mathit{u}\mathit{a}\mathit{l}\mathit{B}\mathit{i}\mathit{t}}_{\mathit{C}\mathit{o}\mathit{d}\mathit{e}\mathit{d}}}{\mathit{S}\mathit{W}}\right)\times {\mathit{P}\mathit{i}\mathit{c}\mathit{N}\mathit{u}\mathit{m}}_{\mathit{G}\mathit{O}\mathit{P}\left[\mathit{i}\right]} \]$

(6)

픽쳐 레벨의 비트 분배 단계에서는 GOP 내 픽쳐 참조 구조에 따라 GOP 평균 화질이 최대화될 수 있도록 각 픽쳐에 비트를 차등적으로 분배한다. 시간적으로 연속되는 자연 영상에서 참조 구조 내 각 픽쳐의 참조 여건은 픽쳐의 압축 성능에 영상을 미치는 주된 요소이며, 다른 픽쳐들에 의해 참조되는 횟수는 GOP 전체 성능에 미치는 영향력을 결정한다. 따라서 두 요소를 기준으로 각 픽쳐에 할당할 목표 비트량을 결정한다. 이 때, 픽쳐의 율-왜곡 특성과 GOP 평균 화질에 미치는 영향력이 고려된 비트 수준이 참조 구조별로 각 픽쳐에 대하여 정의되어 있으며, 동일한 비트 수준의 픽쳐는 동일한 비율의 목표 비트량을 할당 받는다. 픽쳐의 비트 수준은 LD와 RA 각각에 대하여 GOP 크기별로 정의되어 있으며, 그림 3의 (a)와 (b)는 LD-P 환경에서 GOP 크기가 4, 8인 경우를, 그림 3의 (c)는 RA 환경에서 GOP 크기가 8이고 인트라 픽쳐의 간격이 16인 경우를 나타낸다. GOP의 참조 구조에 무관하게 인트라 프레임은 가장 높은 비트 수준인 0 값이 부여된다. LD-P 참조 환경에서는 각 픽쳐의 인코딩 과정에서 발생한 왜곡은 이후 픽쳐들의 참조에 의해 순차적으로 전파된다. 이러한 순차적인 참조 구조에서 압축 왜곡 전파에 의한 평균 성능 저하를 최소화하기 위하여, GOP 크기가 4 픽쳐로 작을 때는 GOP 주기 마다 비트 수준을 상대적으로 높게 설정한다. 계층적인 참조 구조를 갖는 RA 환경에서는 시간적 계층이 낮을수록 이후 픽쳐들에 의해 참조되는 횟수가 많기 때문에 높은 비트 수준을 설정한다.

Fig. 3.

Bit level of picture according to size and structure of GOP

위 과정을 통해 각 픽쳐에 설정된 비트 수준에 따라서, GOP 내 각 픽쳐의 초기 목표 비트와 초기 λ 값을 R-λ 모델을 이용하여 수식 7과 수식 8을 통해 계산한다. 초기 목표 비트와 초기 λ 값은 수식 8의 최적화 과정을 통해 결정되며, 수식 7을 통해 예상되는 각 픽쳐의 비트량 합이 GOP 목표 비트에 가장 근접하도록 하는 λ 값과 그 때 수식 7을 통해 도출된 비트량으로 결정된다. 수식 7에서 PicLevel[j]는 j번째 픽쳐의 비트 수준을, InitTargetBit_Pic[j]는 j번째 픽쳐의 초기 목표 비트를, ($$ {\hat{\lambda }}_{GOP\left[i\right]}\times \lambda {Ratio}_{PicLevel\left[j\right]}$$)는 비트 수준별 초기 λ 값을 의미한다. λRatio_PicLevel[j]는 GOP 평균 화질에 미치는 영향력에 기반하여 각 비트 수준에 미리 정의된 가중치 값이고, $$ {\hat{\lambda }}_{GOP\left[i\right]}$$는 최적화 과정을 통해 결정되는 각 픽쳐의 공통 λ 값을 의미한다. α_PicLevel[j]와 β_PicLevel[j]는 이전 GOP에서 비트 수준별로 적응적으로 업데이트된 픽쳐 수준의 R-λ 모델 파라미터 값이며, 각 비트 수준의 예상되는 율-왜곡 성능을 의미한다.

$\[ {InitTargetBit}_{PicLevel\left[j\right]}={\left(\frac{{\hat{\lambda }}_{GOP\left[i\right]}\times \lambda {Ratio}_{PicLevel\left[j\right]}}{{\alpha }_{PicLevel\left[j\right]}}\right)}^{\frac{1}{{\beta }_{PicLevel\left[j\right]}}}\times {PixelNum}_{Piclevel\left[j\right]} \]$

(7)

$\[ {\hat{\lambda }}_{GOP\left[i\right]}=\text{arg}\underset{{\lambda }_{GOP\left[i\right]}}{\text{min}}abs\left({TargetBit}_{GOP\left[i\right]}-\sum _{j=0}^{GOPsize-1}{InitTargetBit}_{Pic\left[j\right]}\right) \]$

(8)

$\[ {TargetBit}_{Pic\left[j\right]}={BitLeft}_{GOP\left[i\right]}\times \frac{{InitTargetBit}_{PicLevel\left[j\right]}}{{InitTargetBitSum}_{Pic\left[j:{PicNum}_{GOP\left[i\right]}-1\right]}} \]$

(9)

$\[ {InitTargetBit}_{CTU\left[k\right]}={\left(\frac{{\lambda }_{Pic\left[j\right]}}{{\alpha }_{Piclevel\left[j\right]CTU\left[k\right]}}\right)}^{\frac{1}{{\beta }_{Piclevel\left[j\right]cTU\left[k\right]}}}\times {PixelNum}_{CTU\left[k\right]} \]$

(10)

$\[ {TargetBit}_{CTU\left[k\right]}={TargetBit}_{pic\left[j\right]}\times \left(\frac{{InitTargetBit}_{CTU\left[k\right]}}{{InitTargetBitSum}_{CTU\left[k:CTUNu{m}_{Pic\left[j\right]-1}\right]}}\right)-\frac{\left({allocatedBitsLeft}_{Pic\left[j\right]}-{BitsLeft}_{Pic\left[j\right]}\right)}{SW} \]$

(11)

수식 9는 GOP 내 픽쳐 단위의 목표 비트를 최종적으로 결정하는 과정을 나타낸다. 현재 압축하고자 하는 픽쳐보다 앞서 압축된 픽쳐들에서 발생한 목표 비트에 대한 오차의 누적치를 일부 현재 픽쳐의 목표 비트에 반영하기 위하여, GOP의 남은 비트인 BitLeft_GOP[i] 중에서 수식 7을 통해 도출한 초기 목표 비트량인 InitTargetBit_PicLevel[j]에 해당되는 비율로 최종 목표 비트가 결정된다.

GOP의 목표 비트를 각 픽쳐로 분배하는 과정과 동일한 목적과 원리로, 각 픽쳐의 목표 비트를 픽쳐 내 각 CTU로 분배한다. 각 CTU의 초기 목표 비트는 R-λ 모델을 이용하여 수식 10의 과정으로 도출되며, 초기 λ 값은 픽쳐의 목표 비트율로부터 도출된 λ 값을 사용한다. 수식 10의 InitTargetBit_CTU[k], λ_Pic[j], PixelNum_CTU[k]는 각각 픽쳐 내 k번째 CTU의 초기 목표 비트량, 초기 λ 값, 픽셀 개수를 의미한다. k번째 CTU의 예측된 율-왜곡 성능을 의미하는 파라미터 α_{Piclevel[j]CTU[k]}, β_{Piclevel[j]CTU[k]}는 현재 픽쳐와 비트 수준이 같으면서 직전에 압축된 픽쳐의 k번째 CTU에서 업데이트된 파라미터를 참조한다. 이전 CTU까지 압축을 수행하여 누적된 비트 오차를 남은 CTU들의 최종 목표 비트를 도출하는 과정에 반영하여 수식 11을 통해 각 CTU의 최종 목표 비트가 도출된다. 수식 11의 TargetBit_pic[j]는 현재 CTU가 포함된 픽쳐의 목표 비트를, InitTargetBit_CTU[k]는 현재 CTU에 할당된 초기 비트 값을, InitTargetBitSum_{CTU[k:CTUNumPic[j]-1]}는 현재 픽쳐에서 남은 CTU의 초기 비트 값의 합산 값을, allocatedBitsLeft_Pic[j]와 BitsLeft_Pic[j]는 현재 CTU를 압축하는 시점에서 당초 계획했던 픽쳐 수준의 잔여 비트와 실제 잔여 비트를, SW는 비트 에러 보상률을 조정하기 위한 파라미터를 의미한다.

계층적 비트 할당의 최종 단인 CTU를 할당된 목표 비트로 압축하기 위한 인코딩 파라미터 λ와 QP 값을 예측하는 과정을 수행하며 이를 비트율 제어라고 한다. 먼저 수식 12를 통해서 R-λ 모델을 사용하여 CTU 목표 비트율에 대응되는 λ 값을 예측한다. 수식 12의 α_CTU[k], β_CTU[k]는 수식 10의 α_{Piclevel[j]CTU[k]}, β_{Piclevel[j]CTU[k]}와 동일하며, 이전 픽쳐로부터 예상한 현재 CTU의 율-왜곡 성능을 나타낸다. 도출된 λ 값으로부터 양자화 과정에서 사용할 QP 값을 수식 4를 통해서 도출한다.

$\[ {\lambda }_{CTU\left[k\right]}={{\alpha }_{CTU\left[k\right]}\times TargetBp{p}_{CTU\left[k\right]}}^{{\beta }_{CTU\left[k\right]}} \]$

(12)

비트율 제어 단계에서 도출한 λ와 QP를 이용하여 각 CTU와 픽쳐의 인코딩을 수행한 후, 각 CTU와 픽쳐에서 발생한 실제 비트와 왜곡을 이용하여 R-λ 모델 파라미터를 업데이트 한다. 수식 13과 14는 비트 수준별로 픽쳐 수준의 R-λ 모델 파라미터를 업데이트하는 과정을 나타낸다. 수식 15와 16은 비트 수준별로 CTU 수준의 R-λ 모델 파라미터를 업데이트하는 과정이다. 수식 13~16에서 λ, ActualBits, ActualDistortion은 각각 현재 인코딩이 완료된 픽쳐 또는 CTU의 인코딩 과정에서 사용된 λ의 값과 실제로 발생한 비트와 왜곡의 값을 의미한다.

$\[ \begin{array}{c}{\alpha }_{Piclevel\left[j\right]}\hfill \\ ={\lambda }_{Pic\left[j\right]}\times {{ActualBits}_{Pic\left[j\right]}}^{1+\frac{{\lambda }_{Pic\left[j\right]}\times {ActualBits}_{Pic\left[j\right]}}{{ActualDistortion}_{Pic\left[j\right]}}}\hfill \end{array} \]$

(13)

$\[ {\beta }_{Piclevel\left[j\right]}=-\frac{{\lambda }_{Pic\left[j\right]}\times {ActualBits}_{Pic\left[j\right]}}{{ActualDistortion}_{Pic\left[j\right]}}-1 \]$

(14)

$\[ \begin{array}{c}{\alpha }_{Piclevel\left[j\right]CTU\left[k\right]}\hfill \\ ={\lambda }_{CTU\left[k\right]}\times {ActualBit}_{CTU\left[k\right]}{}^{1+\frac{{\lambda }_{CTU\left[k\right]}\times {ActualBit}_{CTU\left[k\right]}}{{ActualDistortion}_{CTU\left[k\right]}}}\hfill \end{array} \]$

(15)

$\[ {\beta }_{Piclevel\left[j\right]CTU\left[k\right]}=-\frac{{\lambda }_{CTU\left[k\right]}\times {ActualBit}_{CTU\left[k\right]}}{{ActualDistortion}_{CTU\left[k\right]}}-1 \]$

(16)

HEVC는 앞서 설명한 블록 단위의 시공간적 중복성 제거 기반의 압축 과정을 통해 텍스쳐 맵을 전반적으로 효과적으로 압축한다. 하지만 텍스쳐 맵의 재생성 과정에서 메쉬 표면 세그먼트가 투영되는 2D 공간상의 위치가 시간적으로 달라질 수 있음에 따라 시간적 불연속이 발생할 수 있으며, 시간적 불연속이 발생한 영역에서는 시간적 예측이 효과적으로 동작하지 못하여 상대적으로 율-왜곡 성능이 낮다. 따라서 시간적 연속성이 존재하는 영역과 동일한 화질로 압축되기 위해 상대적으로 더 높은 비트가 필요하다. HEVC의 기존 율 제어 기술은 이러한 텍스쳐 맵이 갖는 율-왜곡 성능의 변동에 대한 고려를 하지 못하기 때문에, 텍스쳐 맵을 정해진 비트로 압축하는 과정에서 효율적인 비트 할당과 정확한 비트율 제어를 수행하지 못하는 한계가 존재한다.

1. 텍스쳐 맵과 복원된 메쉬의 시간적 연속성 관계

텍스쳐 맵의 시간적 연속성은 메쉬의 표면 구조를 기준으로 텍스쳐 맵 상에 색상 정보를 투영할 위치를 결정하는 과정에서 결정된다. 인코더에 입력된 텍스쳐 맵은 함께 입력된 원본 메쉬에 대응되기 때문에, 손실 압축을 통한 왜곡이 존재하는 메쉬 표면에 대응되는 색상 정보로 변경하여 압축을 수행한다. 이 때 텍스쳐 맵 재생성 과정에 따라서, 복원된 메쉬 표면의 색상을 UVatlas 알고리즘을 이용하여 텍스쳐 맵으로 패킹한다. 패킹 과정에서 색상 정보의 손실이 최소화되도록 메쉬의 표면을 다수 개의 세그먼트로 분할하여 이미지로 투영하기 때문에, 3D 공간에서 색상 정보가 갖는 시공간적 연속성이 텍스쳐 맵 도메인에서 유지되지 않을 수 있다. 결론적으로 각 색상 정보가 패킹되는 픽셀 위치는 메쉬 표면의 구조에 의존적으로 결정되며, 두 메쉬 프레임의 복원된 메쉬 표면의 구조가 유사할수록 패킹된 텍스쳐 맵에서 유사도 또한 높다.

두 메쉬 프레임의 복원된 메쉬의 표면 구조 유사도는 저해상도 메쉬의 표면 구조 유사도와 유관하며, 이는 저해상도 메쉬를 세분화하고 고주파 성분을 더하는 과정을 통해 복원된 메쉬가 도출되기 때문이다. 두 메쉬 프레임의 저해상도 메쉬의 표면 구조 유사도는 저해상도 메쉬의 시간적 예측 수행 여부를 지표로 판단이 가능하다. 저해상도 메쉬를 압축하는 단계에서, 저해상도 메쉬의 표면 구조가 이전 프레임과 일정 수준 이상 유사할 경우에 시간적 예측이 선택되기 때문이다. 그림 5는 저해상도 메쉬의 압축 과정에서 정적 예측이 수행된 경우와 화면 간 예측이 수행된 각각의 경우에, 메쉬에 대응되는 텍스쳐 맵의 직전 프레임과의 유사도를 비교한다. 그림 5의 T번째 메쉬는 저해상도 메쉬에 정적 예측이 수행된 경우로, T번째와 T-1번째 텍스쳐 맵의 유사도가 적은 것을 보인다. 반면 그림 5의 T+1번째 메쉬는 저해상도 메쉬의 압축 과정에서 T번째 저해상도 메쉬를 참조한 경우로, 결과적으로 T+1번째와 T번째의 텍스쳐 맵의 유사도가 일정 수준 이상으로 높은 것을 보인다.

Fig. 5.

Comparison of texture map similarity and the structural similarity of the reconstructed mesh surface

저해상도 메쉬가 시간적 예측을 수행한, 인접한 텍스쳐 맵의 유사도가 일정수준 이상으로 높은 경우에, 메쉬 정점 단위의 움직임 복잡도에 따라 텍스쳐 맵 유사도의 세부적인 수준이 결정된다. 이는 정점 단위의 움직임이 복잡할수록 메쉬의 표면 구조에 차이가 증가하며 텍스쳐 맵 패킹 결과에 변화가 커진다. 메쉬 정점 단위의 움직임 복잡도는 저해상도 메쉬의 시간적 예측에 따른 모션 비트율을 지표로 판단할 수 있다. 그림 6은 저해상도 메쉬의 모션 비트율이 상대적으로 큰 경우와 작은 경우에, 각 경우에서 텍스쳐 맵과 직전 텍스쳐 맵 간 유사도를 비교한다. 그림 6의 (a)는 상대적으로 모션 비트율이 큰 경우를, 그림 6의 (b)는 상대적으로 모션 비트율이 작은 경우를 나타낸다. 두 경우 모두 텍스쳐 맵이 직전 텍스쳐 맵과 유사도가 일정 수준 이상 높지만, 세부적으로는 저해상도 메쉬의 모션 비트율이 낮은 (b)가 (a)보다 직전 텍스쳐 맵과의 유사도가 세부적으로 더 높은 것을 보인다.

Fig 6.

Temporal continuity strength of the texture map depending on the vertex motion

2. 제안하는 텍스쳐 맵 율 제어 방법

제안하는 텍스쳐 맵 율 제어 방법의 전체적인 수행 과정으로 먼저 픽쳐와 CTU 순서로 계층적인 목표 비트 할당을 수행하며, 비트 할당의 가장 하위 단위인 CTU의 목표 비트를 달성하기 위한 λ와 QP 값을 도출하여 인코딩을 수행한다. 제안하는 픽쳐 단위의 목표 비트 할당 방법은 그림 7의 과정으로 크게 네 단계로 수행된다. 첫 번째 단계는 텍스쳐 맵 인코더에 입력된 텍스쳐 맵 시퀀스에 대하여 픽쳐 단위로 직전 프레임과의 시간적 연속성의 유무를 판단하는 과정을 수행한다. 시간적 연속성 유무 판단을 낮은 복잡도로 수행하기 위하여 텍스쳐 맵에 대응되는 메쉬를 압축하는 과정에서 결정된 저해상도 메쉬의 압축 모드를 지표로서 사용한다. 두 번째 단계는 픽쳐의 시간적 연속성의 유무에 무관하게 일정한 화질로 압축될 수 있는 비트량의 예상치를 시퀀스 수준의 비트율에 따라서 통계적으로 도출된 평균치에 기반하여 도출한다. 세 번째 단계에서는 시간적 연속성이 존재하는 픽쳐에 한해서 시간적 연속 정도에 따라서 비트량의 예상치를 조정한다. 픽쳐의 시간적 연속 정도를 낮은 복잡도의 방법으로 도출하기 위하여, 픽쳐에 대응되는 저해상도 메쉬의 모션 비트량과의 반비례 관계를 이용하여 도출하였다. 마지막 단계는 각 픽쳐의 최종적인 목표 비트를 도출하며, 시퀀스 수준의 가용 비트를 각 픽쳐의예상 비트량에 비례하게 할당한다. 제안하는 픽쳐 단위의 목표 비트 할당 방법의 각 단계의 자세한 수행 과정을 다음과 같이 설명한다.

Fig. 7.

Proposed target bits allocation methods at the picture level

픽쳐 단위 시간적 연속성 판단 단계에서는 각 픽쳐의 시간적 연속성 유무를 판단함으로써 율-왜곡 성능의 수준을 두 가지 수준으로 구분한다. 픽쳐의 시간적 연속성 유무를 저복잡도로 판단하기 위한 방법으로서, 대응되는 저해상도 메쉬가 시간적 예측 방법을 이용하여 압축된 경우에 텍스쳐 맵에 시간적 연속성이 존재한다고 판단한다. 저해상도 메쉬를 압축하는 과정에서 시간적 예측 방법이 선택된 경우는 저해상도 메쉬의 표면 구조에 일정 수준 이상의 시간적 연속성이 존재함을 의미하며, 따라서 복원된 메쉬의 표면 구조 또한 일정 수준 이상의 시간적 연속성이 존재함을 의미한다. 색상 정보가 텍스쳐 맵에 투영되는 위치는 복원된 메쉬 표면의 구조에 따라서 결정되기 때문에, 결과적으로 복원된 메쉬 표면 구조에 시간적 연속성이 존재한다고 판단되는 경우 텍스쳐 맵 또한 시간적 연속성이 존재함으로 판단한다. 시간적 연속성이 존재하지 않는 픽쳐는 P-픽쳐 일지라도 화면 간 예측의 성능이 높지 못하여 인트라 예측 픽쳐와 유사 화질에서 유사한 발생 비트량을 보이기 때문에, 시간적 연속성이 존재하지 않는 P-픽쳐와 I-픽쳐는 율-왜곡 성능이 유사할 것으로 간주된다.

시간적 연속성에 따른 목표 비트 도출을 위한 첫 번째 단계로, 각 픽쳐에 시간적 연속성 유무에 따라서 두 가지 비트 수준으로 목표 비트를 할당하며, 기존 R-λ 모델 기반 율 제어 방법과는 다르게 시퀀스 비트율에 따라 실험적으로 추정한 각 비트 수준의 평균 비트를 이용한다. 기존 R-λ 모델 기반 율 제어 방법은 참조 픽쳐 유무에 따라 각 픽쳐의 비트 수준을 결정하며, 픽쳐가 시간 축에서 점진적으로 변화함을 가정하기 때문에 동일 비트 수준이 정의된 픽쳐들 간 율-왜곡 성능이 거의 동일할 것으로 가정한다. 따라서 앞선 GOP에서 픽쳐의 R-λ 모델 파라미터를 비트 수준별로 참조하여 현재 GOP 내 픽쳐들의 목표 비트를 R-λ 모델을 통해 예측한다. 텍스쳐 맵의 경우 제안하는 픽쳐 분류 절차에 따라 시간적 연속성이 존재함으로 판단된 픽쳐들 간에도 연속 정도의 차이가 존재하며 이에 따른 율-왜곡 성능의 차이가 발생한다. 텍스쳐 맵의 시간적 연속 정도의 차이가 큰 폭으로 존재하는 이유로, 복원된 메쉬의 표면 구조가 시간적으로 변화함에 따라서 발생하는 텍스쳐 맵에서의 시간적 변화가 픽쳐 내 대부분의 영역에서 발생하기 때문이다. GOP 단위로 비트 수준별 R-λ 모델 파라미터를 직전 GOP로부터 예측하는 기존 방법은 텍스쳐 맵에 대해서는 R-λ 모델 파라미터 예측 성능이 감소할 수 있다.

시간적 연속 강도에 따라 변하는 텍스쳐 맵의 율-왜곡 성능에 강인한 픽쳐 단위 비트 할당을 수행하기 위하여, 시간적 연속성이 존재하지 않는 픽쳐와 시간적 연속성 존재하는 픽쳐가 동일한 화질로 압축되기 위해 필요한 평균적인 비트를 실험적으로 추정하여 픽쳐 단위 목표 비트를 결정하는 과정에서 사용한다. 일반적인 영상의 율-왜곡 특성에 따르면, 시퀀스 수준의 비트율이 증가할수록 율-왜곡 성능이 서로 다른 두 픽쳐가 동일한 화질로 압축되기 위해 필요한 비트 간 상대적인 차이가 감소하며, 제안하는 방법은 이를 가정하여 시퀀스 비트율에 따라 시간적 연속성이 존재하는 픽쳐와 존재하지 않는 픽쳐가 동일한 화질로 압축될 수 있는 각각의 평균적인 비트를 실험적으로 도출하였다. 사전에 실험 영상들에 대하여 양자화 파라미터를 임의의 값으로 고정하고 압축을 수행하는 과정을 여러 수준의 양자화 파라미터에 대하여 수행함으로써 시퀀스 수준의 다양한 비트율에 대한 압축을 수행하였으며, 이 때 양자화 파라미터를 고정할 경우 각 픽쳐가 유사한 화질로 압축됨을 가정하였다. 실험을 통해 관측된 결과를 바탕으로, 시퀀스 수준의 비트율과 픽쳐의 시간적 연속성 존재 유무에 따라 평균적으로 발생한 비트의 관계를 수식 18로 정의하였으며, 수식 18을 통해 도출되는 평균 비트 값은 절대 값이 아닌 비트 수준 간 상대적인 값으로 도출된다. 수식 18의 bpp_seq는 시퀀스 수준의 목표 비트율을, BitLevel[j]는 j번째 픽쳐의 비트 수준을 의미한다. BitLevel[j]이 1인 경우는 시간적 연속성이 존재하는 픽쳐이며, 평균 비트의 상대적인 값이 1로 도출된다. BitLevel[j]이 0인 경우는 시간적 연속성이 존재하지 않는 픽쳐이며, 상대적인 평균 비트는 시퀀스 수준의 목표 비트율에 반비례하게 도출된다. 시퀀스 수준의 목표 비트율과 상대적인 평균 비트 간 반비례 관계를 나타내는 파라미터는, 텍스쳐 맵에 대응되는 저해상도 메쉬의 움직임 복잡도를 의미하는 모션 정보 비트량인 M_AVG가 일정 수준 미만인 경우와 일정 수준 이상인 경우에 대하여 각각 실험적으로 도출되었다.

앞서 도출된 시간적 연속 유무에 따른 비트 기대치의 상대적인 값은 비트 수준별로 평균 비트를 기반으로 도출되었다. 따라서 시간적 연속성이 존재하는 비트 수준 1의 픽쳐의 경우, 시간적 연속 강도와 픽쳐의 율-왜곡 성능이 비례함을 반영해주기 위해서, 수식 17을 통해 연속의 강도에 비례하게 목표 비트의 상대적 값을 감소시킨다. 수식 17의 RTargerBit_BitLevel[j](bpp_seq)는 수식 18을 통해 도출한 시간적 연속 유무에 따른 비트 기대치의 상대적인 값이며, ContinuityWeight_[j]는 시간적 연속 강도에 따른 가중치를 의미한다. 각 픽쳐의 시간적 연속 강도는 대응되는 저해상도 메쉬를 압축하여 발생한 모션 비트량을 지표로 판단하여, 이는 메쉬 표면의 변화 정도와 텍스쳐 맵의 시간적 연속성의 반비례 관계에 기반하여 저복잡도로 텍스쳐 맵의 시간적 연속성을 판단하기 위함이다. 수식 19는 상대적 목표 비트의 값을 증감하기 위한 가중치를 도출하는 과정을 나타낸다. 수식 19의 InterLRMeshBit_j는 j번째 픽쳐에 대응되는 저해상도 메쉬의 압축 과정에서 발생한 모션 비트량을 의미하고, InterLRMeshAvgBit는 메쉬 정점의 움직임 복잡도가 평균인 경우에 대응되는 평균 모션 비트량을 의미하고, IntraRMeshBit는 시간적 연속성이 없는 픽쳐에 대응되는 저해상도 메쉬의 평균 비트량을 의미한다. 수식 18을 통해 도출된 상대적인 목표 비트는 시간적 연속 강도가 평균적인 InterLRMeshAvgBit 값일 경우에 해당되기 때문에, 현재 픽쳐의 시간적 연속 강도에 대응되는 목표 비트로 조정하기 위한 가중치를 도출하기 위하여 현재 저해상도 메쉬의 모션 비트량인 InterLRMeshBit_j과 평균적인 모션 비트량인 InterLRMeshAvgBit과의 차이의 상대적인 값을 수식 19를 통해 도출한다.

결과적으로 각 픽쳐의 목표 비트는 수식 21을 통해 도출되며, 수식 17~19를 통해 도출된 각 픽쳐의 상대적 목표 비트의 비율만큼을 시퀀스에 남은 비트로부터 할당 받는다. 수식 21의 RTargetBit_BitLevel[j]는 j번째 픽쳐의 상대적 목표 비트이고, 수식 20을 통해 도출되는 RTargetBitSum_seq는 j번째 픽쳐를 포함하여 영상 내 압축하지 않은 남은 픽쳐들의 상대적 목표 비트의 합을 의미하고, BitLeft_Seq는 영상 수준에서 남은 비트를 의미한다. 제안하는 픽쳐 수준의 비트 할당 방법을 수행함으로써, 영상 내 픽쳐들은 시간적 연속성의 유무 및 연속 강도의 세밀한 차이에 무관하게 주어진 시퀀스 수준의 비트 조건하에 유사한 화질로 압축될 수 있다.

제안하는 CTU 수준의 목표 비트 할당 방법은 기존 R-λ 모델 기반 율 제어 방법과 같이 R-λ 모델을 이용하여 픽쳐 내 각 CTU에 대하여 픽쳐 목표 비트율로부터 도출된 람다 값을 사용하여 압축할 경우 예상되는 비트를 목표 비트로 지정한다. 기존 R-λ 모델 기반 율 제어 방법은 픽쳐 간의 시간적 연속성을 전제로 직전에 압축된 동일 비트 수준의 픽쳐에서 동일한 위치의 CTU의 R-λ 모델 파라미터를 참조하는 반면, 텍스쳐 맵의 경우에는 픽쳐의 시간적 연속성이 가변적이기 때문에 동일 위치 CTU 간 율-왜곡 성능이 유사함을 가정할 수 없다. 텍스쳐 맵이 생성되는 과정에서 기하 정보의 시간적 변화에 따라서 메쉬 표면의 색상 정보가 투영되는 텍스쳐 맵 상의 위치가 시간에 따라 달라진다. 이에 따라 임의 위치의 CTU에서 시간에 따른 픽셀 값의 변화와 시공간적 연속성에 변화가 발생하여 인코딩 과정에서의 CTU의 블록 단위 예측 성능이 시간적에 따라 변할 수 있다. CTU의 예측 성능은 율-왜곡 성능에 핵심적인 영향을 미치는 요인으로, 제안하는 방법은 각 CTU에 대하여 예측 성능이 유사할 것으로 예상되는 CTU를 직전에 압축된 동일 비트 수준의 픽쳐에서 탐색하여 해당 CTU의 R-λ 모델 파라미터를 참조하여 CTU 단위의 율 제어를 수행한다.

그림 8은 제안하는 CTU 단위의 R-λ 모델 파라미터 예측을 통한 CTU 수준의 율 제어의 수행 과정을 나타낸다. 메쉬 표면의 색상이 투영되지 않은 CTU는 비트 할당 과정에서 제외한다. 그림 8에서 나타내는 절차의 순서대로 제안하는 CTU 단위의 율 제어 과정은 각 CTU에 대하여 기존의 R-λ 모델 기반의 율 제어 방법과 동일하게 R-λ 모델에 기반하여 목표 비트 도출과 λ 및 QP 값 도출을 수행하며, 보다 정확한 R-λ 모델 파라미터를 예측하기 위하여 제안하는 R-λ 모델 파라미터 예측 방법을 선행한다.

Fig. 8.

CTU-level rate control process with the proposed R-λ model parameter prediction method

그림 8의 제안하는 R-λ 모델 파라미터 예측 방법은 각 CTU의 예측 성능이 유사할 것으로 예상되는 CTU를 메쉬 객체에서 동일한 표면의 색상이 투영된 경우로 가정한다. 텍스쳐 맵은 메쉬 표면의 색상 정보를 고해상도로 표현하기 위해, 예를 들어 사람 모델 객체의 경우 HD 해상도에서 4K 해상도에 이르는 범위를 갖는다. 텍스쳐 맵을 기존의 2D 비디오 코덱으로 압축하는 과정에서, 본 논문에서는 64ⅹ64 픽셀 크기의 CTU를 고려하며 한 CTU 안에 색상 정보가 투영된 메쉬 표면의 면적이 메쉬 객체의 전체 면적에서 차지하는 비율이 매우 작다. 따라서 서로 다른 픽쳐의 임의의 두 CTU에 색상 정보가 투영된 메쉬 표면이 한 객체 내에서 상대적으로 유사한 위치의 표면일수록, 각 CTU의 픽셀 값의 시공간적 연속 특성이 서로 유사할 확률이 높으며 이에 따라 예측 성능 또한 유사할 확률이 높다고 가정한다.

제안하는 R-λ 모델 파라미터 예측 방법의 첫 번째 단계로 각 CTU에 대하여 텍스쳐 맵 변환 과정에서 해당 CTU에투영된 메쉬 표면 조각의 중심 좌표를 도출한다. 텍스쳐 맵을 변환하는 과정에서, 메쉬 표면에서 샘플링된 포인트마다 색상정보가 텍스쳐 맵으로 투영된 픽셀 좌표를 갖으며 이를 UV 좌표라고 부른다. 각 CTU에 대해, 메쉬 표면에서 샘플링된 포인트의 UV 좌표가 해당 CTU의 영역 내에 속하는 경우 이들 포인트의 평균 좌표를 도출하며 해당 과정은 수식 22로 표현된다. 수식 22의 CTU_m은 픽쳐 내 임의의 CTU를 의미하며, (x_p, y_p, z_p)는 메쉬의 표면에서 샘플링된 총 n개의 포인트 중 임의의 p를 인덱스로 갖는 포인트의 3차원 상의 좌표를 의미하고 (u_p, v_p)는 인덱스가 p인 포인트의 UV 좌표를 의미한다. 따라서 수식 22는, n개의 포인트 중에서 UV 좌표가 CTU의 영역 내에 포함되는 경우의 포인트들의 3차원 상의 좌표를 평균내는 과정을 나타낸다.

제안하는 R-λ 모델 파라미터 예측 방법의 두 번째 단계로 각 CTU에 대하여 해당 CTU에 투영된 표면과 의미적으로 동일한 표면이 투영된 참조 CTU를 이전에 압축된 시간적 연속 유무가 동일한 픽쳐에서 탐색한다. 의미적으로 동일한 표면을 저복잡도로 탐색하기 위하여, 현재 CTU와 참조 CTU에 투영된 메쉬 표면의 중심 좌표 간 거리가 최소가 되는 참조 CTU를 선택하며 해당 과정은 수식 23으로 표현된다. 수식 23의 SurfaceCentroid_CTUcurr와 SurfaceCentroid_CTUm는 각각 현재 CTU와 참조를 위한 후보 CTU에 대하여 수식 22를 통해 도출된 투영된 평면의 중심 좌표이며, 중심 좌표 간 차이가 가장 작은 후보 CTU를 선택하는 과정을 나타낸다.

그림 9의 (a)와 (b)는 각각 임의의 픽쳐에 시간적 연속성이 존재하지 않는 경우와 존재하는 경우에, 픽쳐 내 임의의 CTU가 투영된 메쉬 표면 간 최소 거리를 갖는 CTU와 유사한 시공간적 연속성을 갖음을 나타낸다. 예시의 텍스쳐 맵의 해상도는 2048ⅹ2048 픽셀이고 CTU의 크기는 64ⅹ64 픽셀이다. 그림 9에서 CTU^T는 현재 프레임 내 임의의 CTU이며, Rλ_pred_CTU^T-2는 CTU^T의 R-λ 모델 파라미터를 예측하기 위해 선택된 CTU이다. col_CTUs^T-1과 col_CTU^T-3은 각각 CTU^T와 Rλ_pred_CTU^T-2의 블록 단위 압축과정에서 시간적으로 참조할 수 있는 동일 위치 CTU이며, neigt_CTUs^T와 neigt_CTUs^T-2는 각각 CTU^T와 Rλ_pred_CTU^T-2의 인접한 복원 영역을 나타낸다.

Fig. 9.

Comparison of Spatiotemporal Redundancy of Two CTUs with the Minimum Distance of the Projected Mesh Surface

시간적 연속성의 경우, 픽쳐의 시간적 연속성이 존재할 때는 CTU와 R-λ 모델 파라미터 참조 CTU 각각의 참조 프레임에서 동일 위치의 CTU와의 시간적 연속성이 모두 강함을 보이며, 픽쳐의 시간적 연속성이 존재하지 않는 경우에는 두 CTU 모두 시간적 연속성이 약하게 존재하여 시간적 연속 정도가 유사하다고 판단할 수 있다.

CTU 수준의 목표 비트 할당이 완료되면 목표 비트에 따른 CTU의 λ와 QP 값을 각각 수식 12와 수식 4를 통해 도출한 후 인코딩을 수행한다. 수식 12를 이용하여 목표 비트율로부터 λ 값을 도출하는 과정에서 사용하는 R-λ 모델 파라미터는 해당 CTU의 목표 비트 결정 과정에서 참조한 CTU의 R-λ 모델 파라미터를 동일하게 사용한다. 메쉬 표면의 색상 정보가 투영되지 않아서 비트가 할당되지 않은 CTU의 경우에는, 해당 CTU의 λ 값은 고정된 최대 값으로 설정된다. 각 CTU와 픽쳐의 인코딩을 마치면 해당되는 비트 수준의 CTU와 픽쳐 레벨의 R-λ 모델 파라미터를 업데이트한다.

1. 실험 환경 및 조건

본 논문의 제안하는 율 제어 방법은 TMM v8.0을 기반으로 구현하였으며, 기존 방법과의 성능 비교를 위하여 TMM v8.0의 텍스쳐 맵 인코더인 HM v16.21^[31]의 기존 율 제어 방법과 성능을 비교하였다. 제안하는 방법과 기존 방법의 성능을 동일한 실험 환경에서 비교하고자 다음과 같이 공통의 실험 환경을 구성하였다. 성능 측정을 위한 실험 시퀀스로 TMM v8.0의 공통 실험 조건 (Common Test Condition, CTC)^[36]에서 지정한 8 가지의 시퀀스를 사용하였으며, 표 1은 각 시퀀스에 대하여 CTC에 정의된 다섯 가지 비트율 구간인 R1~R5에서 텍스쳐 맵의 원본 해상도, 재생성 후 해상도와 양자화 파라미터를 나타낸다. 양자화 파라미터를 제외한 텍스쳐 맵의 인코딩 파라미터와 메쉬의 인코딩 파라미터를 CTC에 따라 설정하였으며, 텍스쳐 맵의 양자화 파라미터는 각 율 제어 과정에서 결정된다. 제안하는 방법과 기존 방법의 텍스쳐 맵 인코더의 시퀀스 수준 목표 비트율을 동일하게 설정하고자, 각 시퀀스와 각 비트율 구간 R1~R5에 대하여 CTC를 따라 압축했을 때 발생하는 텍스쳐 맵의 비트율을 텍스쳐 맵 인코더의 시퀀스 수준의 목표 비트율로 설정하였다. 표 2는 시퀀스와 비트율 구간별로 설정한, 텍스쳐 맵 인코더의 시퀀스 수준 목표 비트율을 나타낸다. 메쉬와 텍스쳐 맵의 시간적 예측 구조로 LD 환경을 지정하였으며 GOP 크기와 인트라 픽쳐 간격을 각각 32 픽쳐로 설정하였다.

Table 1.

Test sequences defined in the common test condition of TMM v8.0

Table 2.

Target bitrate for each sequence and each bitrate range

2. 목표 비트 달성 정확도 평가

본 절에서는 제안하는 율 제어 방법의 목표 비트 달성 오차율을 시퀀스와 픽쳐 수준에서 평가한 결과를 제시한다. 목표 비트 달성 오차율은 인코딩 대상의 율-왜곡 성능을 적절하게 예측하여 목표 비트율로 압축할 수 있는 λ의 값을 얼마나 정확하게 예측했는지를 평가하는 지표이다. 표 3과 표 4는 각각 제안하는 방법과 기존 방법의 목표 비트 달성 오차율을 시퀀스 단위와 픽쳐 단위에서 측정한 결과를 제시한다. 시퀀스 수준의 에러율과 픽쳐 수준의 평균 에러율을 각각 수식 24와 25를 통해 계산하였다. 수식 24의 TargetBit_Seq와 ActualBit_Seq는 각각 시퀀스 수준의 목표 비트와 실제 발생 비트를 의미하며, 수식 25의 RTargetBit_BitLevel[j]와 ActualBit_Pic[i]는 각각 i번째 픽쳐의 목표 비트와 실제 발생 비트를 의미한다. 제안하는 방법은 시퀀스 수준과 픽쳐 수준에서 각각 1% 내외, 4% 이내의 에러율을 보인다. 기존 방법은 Soldier, Levi, Mitch, Thomas 시퀀스에 대하여 시퀀스 수준과 픽쳐 수준에서 모두 상대적으로 높은 에러율을 보인다. 전체 8개의 시퀀스 중에서 해당 4개의 시퀀스는 R1~R5의 모든 비트율 구간에서 기본 기하 정보의 화면 간 예측을 수행 비율이 약 30% 이상으로, 텍스쳐 맵의 시간적 연속성의 변화가 빈번한 특징을 갖는다. 그 중 Thomas와 Mitch 시퀀스는 기본 기하 정보의 화면 간 예측 수행 여부가 시간 축에서 가장 빈번하게 변하는 특징을 갖는다. 기존 율 제어 방법은 텍스쳐 맵 인코더에서 모든 P-픽쳐를 한 종류의 비트 수준으로 간주하여 R-λ 모델 파라미터를 공유하기 때문에, 이와 같이 율-왜곡 성능에 큰 차이가 존재하는 픽쳐가 번갈아 등장하는 빈도가 높을수록 목표 비트 달성 오차율이 증가하게 된다. 그림 10은 Levi 시퀀스의 R1을 예시로 제안하는 방법과 기존 방법의 픽쳐 단위 비트 오차 발생의 양상을 보여준다. 그림 10의 실험 결과를 도출하기 위하여 제안하는 방법과 기존 방법에 동일하게 텍스쳐 맵의 시퀀스 수준의 목표 비트를 14,857,845 비트로 설정하여 율 제어를 수행하였다. 율 제어 과정에서 이전 각 GOP와 픽쳐에서 발생한 비트 에러는 다음 각 GOP와 픽쳐의 목표 비트를 설정하는 단계에서 일부 값만 보상되기 때문에, 픽쳐 단위로 실제 할당된 비트의 합은 시퀀스 단위의 당초 목표 비트와 차이가 존재할 수 있다. 기존 방법에서 픽쳐 단위로 할당된 비트의 총 합과 실제로 소비한 비트는 각각 15,110,062 비트와 15,009,848 비트이다. 제안하는 방법은 픽쳐 단위로 할당된 비트의 총 합이 14,698,105 비트이며 실제로 소비한 비트는 총 14,861,752 비트로, 제안하는 방법이 기존 방법 대비 시퀀스 수준의 당초 목표 비트를 정확하게 달성하였음을 보인다. 그림 10의 결과에서 픽쳐 단위 시간적 연속 특성이 서로 다른 POC 0~32 구간과 POC 85~101 구간에 대하여 제안하는 방법과 기존 방법의 비트 달성 성능을 다음과 같이 분석하였다. POC 0~32 구간은 시간적 연속성이 존재하는 15장의 픽쳐와 시간적 연속성이 존재하지 않는 18장의 픽쳐가 교차하여 등장하는 구간이다. 따라서 해당 구간 내 픽쳐들의 율-왜곡 성능의 편차가 큰 픽쳐가 빈번하게 교차하여 등장하는 구간으로, 각 픽쳐의 율-왜곡 성능을 의미하는 R-λ 모델 파라미터 α의 표준 편차는 약 1.66이다. 기존 방법은 현재 픽쳐의 R-λ 모델 파라미터를 예측하기 위하여 항상 직전 픽쳐의 R-λ 모델 파라미터를 참조하기 때문에 POC 0~32 구간의 경우 R-λ 모델 파라미터의 예측 정확도가 현저히 낮아지며 이는 비트 달성 오차율이 크게 나타나는 원인이다. 반면 제안하는 방법은 현재 픽쳐의 R-λ 모델 파라미터를 예측하는 과정에서 이전에 압축된 픽쳐들 중 현재 픽쳐와 시간적 연속 유무가 동일한 픽쳐의 R-λ 모델 파라미터를 참조하기 때문에, 시간적 연속성의 변동이 큰 구간에서도 R-λ 모델 파라미터를 기존 방법 대비 정확하게 예측할 수 있음을 보인다. POC 85~101 구간은 시간적 연속성이 유사한 픽쳐가 연속적으로 등장하는 구간으로, 각 픽쳐의 율-왜곡 성능을 의미하는 R-λ 모델 파라미터 α의 표준 편차가 약 0.01인 구간이다. 해당 구간에서는 연속되는 픽쳐들의 R-λ 모델 파라미터가 서로 일정 수준 이상으로 유사하기 때문에, 기존 방법 또한 낮은 비트 달성 오차율을 보인다.

Table 3.

Sequence-level bit error rate of the proposed method and the existing method

Table 4.

Picture-level bit error rate of the proposed method and the existing method

Fig. 10.

Comparison of picture-level bit error between the proposed method and the existing method under the R1 condition of the Levi sequence

3. 압축 효율 및 객관적 화질 일관성 평가

제안하는 방법의 압축 효율을 평가하기 위하여 기존 율 제어 방법과 비교하여 3D 정점의 복원된 색상 정보와 렌더링된 2D 이미지의 색상 정보에 대하여 Bjøntegaard-Delta rate (BD-rate)^[37,38]를 측정하였다. BD-rate는 동일한 화질에서 기존 방법 대비 제안하는 방법의 비트 변화율을 의미한다. 제안하는 방법과 기존 방법 모두 시퀀스 수준의 목표 비트 대비 평균 1% 내외의 유사한 비트로 압축되었으므로, 제시된 BD-rate 결과는 제안하는 방법의 효율적인 비트 사용을 통한 화질 향상의 의미를 포함한다. 표 5는 제안하는 율 제어 방법을 TMM v8.0 텍스쳐 맵 인코더의 기존 율 제어 방법과 비교하여 3D 정점의 복원된 색상 정보와 렌더링된 2D 이미지의 색상 정보에 대한 BD-rate 성능을 나타낸다. 제안하는 방법은 기존 방법과 비교하여 3D 정점의 복원된 휘도 성분과 렌더링된 2D 이미지의 휘도 성분에 대하여 각각 12.3%와 8.7%의 BD-rate 향상을 달성한다. 제안하는 방법은 텍스쳐 맵의 시간적 연속성이 가변적이라는 특성에 따라서 시간적 참조 구조에 종속적인 비트 할당을 수행하지 않고 텍스쳐 맵의 시간적 연속성에 따라 차등적인 비트 할당을 수행함으로써 영상 평균 화질의 향상을 달성하였다.

Table 5.

BD-rate for the reconstructed geometry and color of 3D points and rendered 2D images

표 6은 제안하는 방법과 기존 방법의 객관적 화질의 시간적 일관성을 비교하고자 3D 정점과 렌더링된 2D 이미지의 각 휘도 성분의 픽쳐 단위 Peak Signal-to-Noise Ratio (PSNR)의 표준 편차를 수식 26과 27을 통해 계산하여 제시한다. 수식 26의 3DPointPSNR_Pic[i]는 i번째 픽쳐에서 복원된 3D 정점의 색상 정보에 대하여 원본 3D 정점의 색상 정보를 비교하여 계산된 PSNR을 의미하며, Avg3PointPSNR_Pic는 시퀀스 내 모든 픽쳐의 3DPointPSNR_Pic[i] 값의 평균 값을 의미한다. 수식 27의 ImagePSNR_Pic[i]는 i번째 픽쳐에서 복원된 3D 정점의 색상 정보를 특정 다수 개의 시점의 평면으로 투영한 이미지 도메인에서, 복원된 색상 정보와 원본 색상 정보를 비교하여 계산된 PSNR을 의미한다.

Table 6.

Comparison of standard deviation of PSNR between the proposed and the existing method

표 6에 제시된 결과를 통해 제안하는 방법이 기존 방법보다 픽쳐 단위 PSNR의 낮은 표준 편차를 달성하였음을 확인할 수 있으며, 제안하는 방법이 텍스쳐 맵의 가변적인 율-왜곡 성능에 따라 일관된 객관적 화질로 압축될 수 있도록 적절한 비트를 할당하였음을 의미한다. 그림 11은 제안하는 방법이 기존 방법 대비 높은 객관적 화질 일관성을 달성함을 시각적으로 나타내고자 하며, Soldier 시퀀스의 R2 조건에서 측정한 픽쳐 단위 PSNR을 시간에 따른 그래프로 나타낸다. 그림 12와 그림 13은 그림 11에서 PSNR 결과를 제시한 총 300장의 픽쳐들 중, 각각 113~117번째 픽쳐 구간과 126~130번째 픽쳐 구간에 대하여 복원된 색상 정보를 렌더링하여 제안하는 방법의 시공간적 화질 변동이 기존 방법 대비 상대적으로 안정적임을 보인다. 그림 12와 그림 13의 (a)는 기존 방법의 결과를, (b)는 제안하는 방법의 결과를 나타낸다. 그림 12는 제안하는 방법의 객관적 화질이 기존 방법보다 높은 구간을 나타내며, 그림 13은 반대로 기존 방법이 제안하는 방법보다 객관적 화질이 높은 구간을 나타낸다. 그림 12에서 POC 113의 텍스쳐 맵은 시간적 연속성이 존재하지 않으며 POC 114~117의 텍스쳐 맵은 시간적 연속성이 존재하는 경우이다. 제안하는 방법은 POC 113의 텍스쳐 맵에 더 많은 비트를 할당하여 주/객관적 화질의 일관성을 달성하였고, 기존 방법은 POC 113~117의 텍스쳐 맵에 균일한 비트를 할당하여 POC 113의 텍스쳐 맵에서 심한 화질 저하가 발생하였으며, POC 114의 텍스쳐 맵은 직전 픽쳐로부터의 R-λ 모델 파라미터 예측 성능이 낮기 때문에 화질 저하가 발생하였다. POC 113~114의 텍스쳐 맵에서 발생한 화질 저하는 이후 텍스쳐 맵들의 압축 성능 저하에도 영향 미치는 경향을 확인할 수 있다. 그림 13은 기존 방법이 제안하는 방법보다 실제 발생 비트 및 객관적 화질이 높음에도 불구하고, 기존 방법 대비 제안하는 방법의 주관적 화질 저하가 적게 발생하였음을 나타낸다. 이는 제안하는 CTU 단위의 R-λ 모델 파라미터 예측 방법을 통해서 한 픽쳐 내에서 CTU 단위로 효율적인 비트 할당이 수행되었음을 나타낸다.

Fig. 11.

Comparison of PSNR variation of the reconstructed luminance component of 3D points between the proposed method and the existing method under the R2 condition of the Soldier sequence

Fig. 12.

Visualization for comparing the consistency of image quality between the proposed method and the existing method under the R2 condition of Soldier sequence

Fig. 13.

Visualization for comparing the consistency of image quality between the proposed method and the existing method under the R2 condition of Soldier sequence (POC 126~130)

4. 제안하는 방법의 연산량 분석

본 절에서는 제안하는 픽쳐 수준의 목표 비트 할당 방법과 CTU의 R-λ 모델 파라미터 예측 방법을 수행하는 과정에서 요구되는 연산량을 분석한다. 제안하는 픽쳐 수준의 목표 비트 할당을 수행하는 과정은 시간적 연속성 유무와 시퀀스 수준의 비트율에 따른 목표 비트량의 상대적인 값을 도출하는 과정, 시간적 연속 정도에 따라서 목표 비트량의 상대적인 값을 조정하는 과정, 절대적인 목표 비트량을 계산하는 과정으로 이루어지며, 메쉬를 압축하는 과정에서 도출된 정보를 활용하여 총 O(1)의 낮은 연산량을 요구한다. 먼저 각 픽쳐마다 수행되는 시간적 연속 유무를 판단하는 과정은 픽쳐마다 대응되는 저해상도 메쉬의 화면간 예측 수행 여부를 1회 판단하는 연산량을 요구한다. 시퀀스 비트율에 따른 픽쳐 목표 비트량의 상대적인 값을 도출하는 과정 또한, 각 픽쳐의 시간적 연속 유무에 따라 정의된 비선형 수식을 1회 계산한다. 시간적 연속 정도와 시간적 연속 정도에 따른 목표 비트량의 상대적인 값을 조정하는 과정은 각각 선형 방정식을 통해 계산된다. 마지막 과정으로, 도출된 각 픽쳐의 목표 비트량의 상대적인 값에 해당하는 비율만큼을 시퀀스 수준에서 남은 비트량으로부터 선형 방정식을 통해 절대적인 수치의 목표 비트를 할당 받는다. 기존의 픽쳐 수준의 목표 비트 할당 방법은 R-λ 관계식을 통해 도출된 각 픽쳐의 예상 비트량의 합이 시퀀스 총 가용 비트량에 근접하도록 GOP 수준의 λ 값을 조정해가며 반복적 기법을 통해 비트를 할당한다. 따라서 반복 횟수만큼 픽쳐마다 예상 비트량을 R-λ 관계식을 통해 계산해야 되지만, 제안하는 픽쳐 수준의 목표 비트 할당 방법은 해당 과정을 수행하지 않기 때문에 제안하는 픽쳐 수준의 방법을 수행함으로써 전체 인코딩 수행 시간에 유의미한 변동이 발생하지 않을 것으로 예상된다.

제안하는 CTU 수준의 R-λ 모델 파라미터 예측 방법은 CTU마다 투영된 표면의 중심 좌표를 계산하는 과정과 중심 좌표 간 거리가 최소가 되는 CTU를 탐색하는 절차로 이루어지며, 기존의 율 제어 방법 대비 추가적인 연산량을 요구한다. 픽쳐 내 모든 CTU에 대하여 각 CTU에 투영된 표면의 중심 좌표를 계산하는 과정에서, 먼저 메쉬 객체의 전체 표면에서 샘플링된 n개의 포인트들에 대하여 UV 좌표를 CTU 영역 크기로 나누어서 해당 포인트가 투영되는 CTU를 찾는 과정이 수행하며 이는 한 픽쳐 당 O(n)의 계산 복잡도를 갖는다. 그리고 픽쳐 내 m개의 CTU에 대하여 각 CTU에 투영된 포인트들의 3차원 공간상의 평균 좌표를 계산하며 이는 픽쳐 당 O(m)의 계산 복잡도를 갖는다. 픽쳐 내 각 CTU에 대하여 투영된 표면 간 최소 거리를 갖는 참조 CTU를 탐색하는 과정은, 참조 프레임에서 색상 정보가 한 픽셀 이상 존재하는 모든 CTU에 대하여 거리 비교를 수행하기 때문에 CTU마다 최대 O(m)의 계산 복잡도를 갖으며 한 픽쳐 당 최대 O(M²)의 계산 복잡도를 갖는다.