RAHT 노드 보간 기법을 통한 G-PCC 화면 간 속성값 예측 활성화와 압축 성능 향상

1. Region Adaptive Hierarchical Transform(RAHT)

RAHT는 Haar 변환을 바탕으로 3차원 포인트 클라우드를 계층화하면서 하나의 저주파 계수(Direct Current, DC)와 다수의 고주파 계수(Alternating Current, AC)로 변환하는 기술이다. RAHT 계층화 과정은 옥트리 분할과 유사한 방법으로 공간을 분할함으로써 진행된다. 하지만 옥트리 부호화에서는 각 노드가 8개의 서브 공간을 1비트의 점유 정보로 표현하여 총 8비트의 정보로 표현한다면, RAHT 트리의 노드는 8개의 서브 공간의 DC 계수와 각 공간에 속한 점들의 수로 표현된다. 자세히 설명하자면, 포인트 클라우드 공간 자체를 표현하는 루트 노드가 2^M×2^M×2^M차원으로 정의될 때, 깊이 d에 속한 임의의 노드가 표현하는 공간은 2^M－(d+1)×2^M－(d+1)×2^M－(d+1)으로 정의된 8개의 하위 공간이 결합하여 2^M－d×2^M－d×2^M－d의 규격으로 정의된다. 이때 각 하위 공간으로 정의되는 서브 노드들이 지닌 DC 계수와 각 공간 내부의 점들의 수가 RAHT 노드의 정보를 표현하게 되고 이들을 바탕으로 수식 (1)을 통하여 3D Haar 변환을 진행한다^[4].

수식 (1)에서는 임의의 RAHT 노드에서 8개의 서브 노드 중 임의의 축 방향(x, y, z 축)으로 인접한 i, j번째 노드들로 계산된 DC 계수와 AC 계수를 정의한다. w_i, w_j는 i, j번째 서브 노드의 공간에 속한 점들의 수이며 가중치(Weight)로 정의된다. 수식 (1)의 w를 통하여 RAHT는 2D 이미지와 같이 제한된 격자 내에 모든 데이터가 존재하는 경우뿐만 아니라 점유/비점유 공간이 동시에 존재하는 포인트 클라우드 격자에서도 적용될 수 있다.

마지막으로 수식 (1)의 연산을 x, y, z 축 방향에 대해서 모두 적용한 임의의 RAHT 노드는 하나의 DC 계수와 최대 7개의 AC 계수를 갖게 된다. 이후 DC 계수는 다음 상위 계층의 변환을 위하여 부모 노드로 계승되며 AC 계수들은 엔트로피 부호화(Entropy Coding)^[15]된다.

2. RAHT 화면 간 예측

RAHT의 결과물 중 압축 대상은 하나의 DC 계수와 다수의 AC 계수들이다. 따라서 RAHT 화면 간 예측은 대상 포인트 클라우드의 RAHT 트리에 속한 임의의 노드로부터 출력되는 AC 계수들과 최종 DC 계수의 값을 참조 RAHT 트리로부터 예측하여 잔차(Residual)를 줄이는 것을 목표로 한다. 현재 G-PCC에서 RAHT를 활용한 AC 계수의 화면 간 예측은 움직임 추정 없이 서로 다른 포인트 클라우드 프레임의 RAHT 트리 구조상 같은 깊이, 같은 기하 정보를 갖는 RAHT 노드가 존재할 때만 예측을 진행한다. 그림 1은 기존 G-PCC의 RAHT 화면 간 예측 수행의 이해를 돕기 위한 자료이다.

Fig. 1.

Example of RAHT inter frame prediction

그림 1은 부호화 대상 포인트 클라우드의 RAHT 트리와 참조 RAHT 트리가 주어졌을 때, DC 계수와 AC 계수의 예측 과정을 묘사하고 있다. 잔차 DC 계수 DC_res는 참조 트리의 루트 노드가 가진 DC 계수 DC_ref와 대상 트리의 루트 노드가 가진 DC 계수 DC_tar과의 차이로 정의된다. 잔차 AC 계수 AC_res의 경우, 같은 깊이 l에 속한 RAHT 노드 중 모턴 코드(Morton Code)^[16]가 같을 경우 참조 AC 계수 AC_ref와 대상 AC 계수 AC_tar과의 차이로 정의된다.

하지만 LiDAR 콘텐츠는 프레임마다 RAHT 트리의 형태가 시간 축에 따라 크게 달라진다. 왜냐하면 LiDAR 센서 기반 자율주행 콘텐츠는 물체와 센서와의 거리, 차량의 속도, 센서의 프레임률(Frame rate)에 따라 연속된 프레임 내 존재하는 같은 물체일지라도 표현하는 점들의 수와 위치적 특성이 일정하지 않기 때문이다. 이러한 LiDAR 콘텐츠의 특성으로 인하여 프레임 간 두 노드가 동일한 위치를 공유할 때만 수행되는 기존 화면 간 예측 방법은 낮은 예측 수행률을 가지며 화면 간 중복성을 온전히 제거하기 어렵다. 이를 극복하는 방안으로 기존 2D 영상 압축에서 사용해왔던 움직임 벡터(Motion Vector)를 활용한 화면 간 예측 방법을 적용할 수도 있지만, 앞서 언급한 LiDAR 콘텐츠의 특성에 의하여 움직임 벡터들의 분포가 다소 불규칙하고 그 수가 방대하여 효과적인 압축을 기대하기 어렵다. 이에 본 논문에서는 움직임 벡터와 같은 부가적인 정보 사용 없이 현 화면 간 예측 방법에 부합하지 않았던 노드들에 대한 예측 수행을 가능하게 하면서 최적의 화면 간 중복도를 소거하기 위한 RAHT 참조 노드 보간 방안을 소개한다.

1. 참조 RAHT 부모 노드 보간 단계

본 기술은 부호화 대상 포인트 클라우드의 공간에 속한 대상 RAHT 노드와 동일한 위치의 참조 RAHT 노드의 서브 노드들의 DC 계수 보간을 목표로 한다. 제안 기술의 첫 번째 단계로서, RAHT 서브 노드들을 포함하는 부모 노드의 DC 계수를 보간하는 예시를 그림 4에서 보여주고 있다. 그림 4의 2×2×2 규격의 RAHT 노드는 현재 G-PCC에서 부호화 중인 계층보다 한 단계 상위에 존재하는 부모 RAHT 노드들이며, 이웃 부모 RAHT 노드들의 DC 계수를 활용하여 현재 보간될 위치에 DC 계수를 생성하는 모습을 묘사하고 있다. 이때 수식 (2)는 보간 대상 노드 c와 그 위치 c_morton에서 해당 DC 계수를 보간하기 위해 사용되는 이웃 RAHT 노드들의 정의를 나타낸다. 참고로 c_morton은 현재 부호화 대상 RAHT 노드의 부모 노드 위치와 같다.

Fig. 4.

Example of first stage in RAHT Node Interpolation Method for Enabling G-PCC Inter-Frame Attribute Prediction

보간 시 사용되는 참조 노드 집합 N은 참조 RAHT 트리 RT_ref에 속한 참조 노드 n으로 구성되며, n은 수식 (2)에서 보여지는 바와 같이 c_morton와 모턴 거리로 상수 만큼 떨어진 범위 내에 정의된다. 이때 ϵ은 사전에 지정되는 임의의 상수이며 모턴 거리란 모턴 코드 값의 차이를 말한다. 수식 (2)에 따라 ϵ은 RAHT 트리 내 임의의 계층에서 RAHT 노드가 하나만 존재하는 경우를 제외한 모든 상황에서 적어도 하나 이상의 원소를 갖는다. 이에 위의 수식을 활용하여 LiDAR 콘텐츠와 같이 점들의 분포가 드문 경우에도 낮은 복잡도로 보간 시 사용될 이웃 노드들을 찾아낼 수 있다.

이어 N에 속한 모든 참조 노드 n을 활용하여 보간 대상 RAHT 노드 c의 DC 계수를 수식 (3)과 같이 계산한다.

수식 (3)에서 확인할 수 있듯이, CDC는 수식 (2)에서 정의한 참조 노드 n들의 DC 계수의 가중합으로 정의되며 D는 두 개의 매개변수 RAHT 노드의 모턴 코드를 입력받아 이를 3차원 좌표로 변환하여 유클리드 거리를 계산하는 함수다. 따라서 가중치 ζ(a)은 a에 가변적이며 N에 속한 모든 참조 노드들과 c와의 거리의 역수합과 a와 c의 거리의 역수의 비율로 정의된다. 이는 본 논문의 제안 기술이 LiDAR 콘텐츠의 RAHT 트리에 속한 임의의 노드와 주변 노드의 반사율에 대한 상관관계가 거리에 반비례하다는 가정을 바탕으로 설계되었음을 의미한다.

2. 참조 RAHT 자식 노드 보간 단계

제안 기술의 두 번째 단계로서, 참조 RAHT 자식 노드 보간 단계는 수식 (3)을 바탕으로 보간된 부모 노드의 DC 계수를 활용하여 부모 노드 내부의 1×1×1 차원으로 정의되는 서브 노드(혹은 자식 노드)들의 DC 계수를 계산하기 위해서 각 서브 노드의 점유 정보와 가중치들을 정의하고 서브 노드들의 DC 계수를 보간한다. 본 제안 기술에서 각 서브 노드의 점유 정보는 부호화 대상 RAHT 노드의 서브 노드들의 점유 정보와 동일하게 사용한다. RAHT는 수식 (1)을 바탕으로 x, y, z 축에 인접한 서브 노드들을 바탕으로 DC 계수와 AC 계수를 순차적으로 계산하는데, 이 순서가 모든 RAHT 노드에 대하여 동일하다. 이에 점유 패턴이 같은 임의의 두 RAHT 노드의 AC 계수 발생 시점은 동일하기 때문에 예측 후 수행되는 Haar 도메인 상의 차분 연산이 두 노드 모두 계수가 존재하는 구간에서만 적용된다. 이러한 사실을 바탕으로 동일한 점유 패턴을 보간 노드에 적용하는 방안은 예측 과정의 차분 연산에서 불필요한 잔차 발생을 방지할 수 있음을 알 수 있다.

이어서 보간 대상 노드의 가중치들은 부호화 대상 노드의 가중치들과 동일하게 사용하였다. 이에 대한 이유는 그림 5를 통하여 설명할 수 있다. 그림 5에서는 LiDAR 콘텐츠별 임의의 RAHT 노드의 가중치들과 속성값들의 상관도를 RAHT 계층별로 분석한 결과를 보여주고 있으며, 이때 속성값들은 리프 노드일 경우 원본 반사율에 해당하며 그 외의 계층에 속한 노드일 경우 자식 노드들이 속한 계층에서 계산된 DC 계수들에 해당한다. 2×2×2 규격으로 정의된 RAHT 노드에 속한 1×1×1 규격의 서브 노드들의 가중치와 속성값은 동일한 스캐닝(Scanning) 방식으로 1차원 정렬되었으며 각각 0~1 사이의 값들로 정규화가 된 후 피어슨 상관계수(Pearson Correlation) 측정이 진행되었다. 그림 5에서 확인할 수 있듯이, 콘텐츠 모두 리프 노드에 가까워질수록(혹은 낮은 level일수록) 두 요소 간의 상관관계는 더욱 강해지는 것을 확인할 수 있으며, 루트 노드에 가까운 계층일수록(혹은 높은 level일수록) 가중치와 속성값 패턴의 상관도가 불규칙하지만, 여전히 높은 상관도가 존재하는 것을 알 수 있다. 따라서 본 제안 기술에서 보간된 RAHT 노드의 서브 노드의 DC 계수들은 그림 5에서 확인한 사실을 바탕으로 수식 (4)를 통하여 보간한다.

Fig. 5.

The average correlation coefficient between the weights and attribute values of random RAHT node in each RAHT layer per LiDAR content group (a) Result of Qnxadas (b) Result of Ford (c) Result of InnovizQC

수식 (4)에서는 보간한 RAHT 노드의 서브 노드 c^sub의 DC 계수 $$ c_{DC}^{sub}$$를 정의하며 기호 ≫는 뒤따르는 수치만큼 하위 비트를 시프팅(Shifting)하는 연산자로써 사용되었다. 노드 s는 부호화 대상 RAHT 트리 RT_tar에 속하며 자신의 모턴 위치의 하위 3비트를 제외한 나머지 비트들은 보간 대상 모턴 위치 c_morton과 같다. 이는 기하적으로 s보다 한 단계 상위 계층에 존재하는 c가 정의하는 공간에 노드 s가 포함되는 것을 의미한다. 이러한 사실을 바탕으로 수식 (4)는 앞선 수식 (3)을 통하여 보간한 c_DC를 활용하여 서브 노드들의 DC 계수를 계산하는 과정을 보여주며, S에 속한 임의의 s의 가중치 _sweight와 모든 s의 가중치의 합으로 나눈 비율을 활용하여 $$ c_{DC}^{sub}$$를 계산한다. 이와 같은 계산 과정은 아래 그림 6과 같다.

Fig. 6.

Example of child node interpolation using Formula (4) based on interpolated RAHT parent node DC coefficients

3. 아웃라이어 처리

앞서 설명한 RAHT 노드 보간 기법을 통한 G-PCC 화면 간 속성값 예측 활성화 기술은 수식 (3)과 같이 RAHT 노드 간 거리에 따른 DC 계수의 상관도를 기반으로 설계되었기 때문에 이러한 관계성이 유의미한 범위에만 적용할 수 있다. 직관적으로, 리프 노드에 가까운 계층일수록 센서로부터 수집된 데이터에 근접하기 때문에 연속 신호 혹은 미분 가능한 신호로 수렴한다는 것을 알 수 있으며 이로부터 깊은 계층일수록 이웃 간 DC 계수의 유사도가 높을 것을 유추할 수 있다. 그림 7은 이에 대한 사실적 근거를 묘사하며 RAHT 트리의 깊이에 따라 이웃 노드 간의 DC 계수 MSE (Mean Square Error)가 달라짐을 보여준다. 이때 MSE는 정규화된 값으로 각 콘텐츠의 계층마다 계산된 MSE 중 최대 MSE를 1로 변환하고 나머지 값들을 정규화한 값이다. 얕은 깊이일수록 RAHT 노드와 이웃 노드 간의 DC 계수의 유사도가 떨어지는 추세를 확인할 수 있지만 계층이 깊어질수록, 즉 원본 포인트 클라우드의 차원과 유사해질수록, 앞서 언급한 직관과 같이 이웃 간 DC 계수 MSE가 크게 줄어드는 경향을 확인할 수 있다. 이러한 사실을 바탕으로, 본 제안 기술이 이웃 노드 간 DC MSE가 가장 적은 최하위 계층(리프 노드 계층)부터 특정 상위 계층까지만 적용될 수 있도록 기술 적용 시작 깊이 정보를 알리기 위한 상수 α를 설정한다. 사용자 정의 상수이자 0~1 사이의 실수값을 갖는 α는 시그널링(Signalling)을 통해 부/복호화기에서 같은 값으로 사용되며 부호화 대상 RAHT 트리의 최대 깊이에 α를 곱해 시작 깊이 정보를 계산하여 제안 기술의 적용 범위를 제한한다.

Fig. 7.

DC MSE between an arbitrary node and its neighbors per RAHT depth

4. RAHT 노드 보간 기법을 통한 G-PCC 화면 간 속성값 예측 활성화 기술 최종 구조

그림 8은 G-PCC 내부에서 동작하는 제안 기술의 순서도를 묘사한다. 본 순서도는 기존 RAHT 화면 간 예측을 기반으로 제안 기술을 적용할 수 있도록 재설계되었으며 제안 기술과 관련된 부분은 모두 붉은 테두리로 표시하였다. 순서도에 등장하는 tar_pos는 부호화 대상 RAHT 노드의 모턴 코드, ref_pos는 참조 대상 RAHT 노드의 모턴 코드, tar_weights는 부호화 대상 RAHT 노드의 가중치 정보들을 나타낸다. 또한 Ⅲ-3절에서 진행한 실험 결과를 바탕으로, 이웃 노드 간의 DC 계수의 오차가 적은 계층에서만 본 기술이 적용될 수 있도록 α를 통하여 깊이를 제한하며 window_size는 수식 (2)의 ϵ을 의미한다.

Fig. 8.

Flowchart of proposed method

그 외로 대상 부호화 노드와 같은 위치에 있는 참조 노드가 존재할 시 기존 화면 간 예측이 진행되는 점은 G-PCC 기존 방법과 같으며, 존재하지 않는 경우 전체 깊이(depth_total)에 α를 곱한 값과 현재 RAHT 트리 깊이의 비교 결과에 따라 제안 기술, 화면 내 예측(Intra-Prediction) 부호화 방법 혹은 어떠한 예측도 진행하지 않는 예측 없음(Null-Prediction) 부호화 방법의 수행 여부가 결정된다.

1. 실험 데이터셋 및 구성 환경

본 실험에 사용된 데이터셋은 G-PCC Common Test Condition(CTC)^[17]에 정의된 모든 동적 LiDAR 콘텐츠들이며, Ford_01_q1mm, Ford_02_q1mm, Ford_03_q1mm 각 1,500프레임과 BlackBerry Ltd와 QNX Software System Ltd에서 2018년도에 MPEG에 제공한 qnxadas-junction-approach 74프레임, qnxadas junction exit 74프레임, qnxadas motorway join 500프레임, qnxadas navigating bends 300프레임과 InnovizQC1, InnovizQC2, InnovizQC3^[18] 각 300프레임으로 구성된다. 더불어 G-PCC의 CTC 콘텐츠가 아닌 Cognata 회사의 무료 시뮬레이션 LiDAR 데이터셋인 LiDAR-velodyneHDL64E 콘텐츠 250프레임을 사용하여 추가적인 실험을 수행하였다. 실험에서 사용된 G-PCC Test Model은 TMC13v26.0rc-2^[19][20]이고 기하 정보와 속성 정보 모두 손실 압축을 수행하는 C2 실험 환경 아래에서 수행되었으며, 기하 정보 압축은 옥트리 부호화 기법을 적용하였고 속성 정보 압축으로 RAHT를 적용하였다.

2. 실험 결과 및 분석

표 1은 본 제안 기술의 ϵ에 따른 부/복호화기의 시간 복잡도 분석을 위하여 각 콘텐츠에 대해서 ϵ=1일 때의 부/복호화기 복잡도 대비 ϵ=2,3,4일 때의 복잡도 비율의 평균 백분율을 나타낸다. 표 1에서 확인할 수 있듯이 부호화기에서는 ϵ이 1 증가할수록 약 20%의 시간 복잡도 증가율을 보였으며 복호화기에서는 약 10%의 시간 복잡도 증가율을 보였다. 또한 표 1에서 나타나지 않았지만, 압축 성능에 영향을 줄 만한 복원 PSNR 향상 혹은 비트스트림 크기 감소는 관측되지 않았다. 따라서 본 논문에서는 가장 낮은 복잡도에서 제안 기술이 수행될 수 있도록 ϵ을 1로 설정하였다.

Table 1.

Time complexity comparison of proposed method for ϵ

Ⅲ-3절의 계층별 이웃 DC 계수들의 MSE 특성과 α를 0.25, 0.5, 0.75로 나누어 실험한 결과를 바탕으로 qnxadas-junction-exit 콘텐츠에 대하여 0.75, LiDAR-velodyne HDL64E 콘텐츠에 대해서는 0.25, 그 외의 다른 콘텐츠들은 0.5로 적용하였다.

성능 평가 방법으로 압축 분야 성능 평가 방법으로 사용되는 Bjontegaard Delta-Rate^[22]를 적용하였으며, 표 2에서 볼 수 있듯이, 다수의 콘텐츠에 대해서 이득이 발생하였다. qnxadas junction approach, qnxadas junction exit, qnxadas motorway join, qnxadas navigating bends, InnovizQC1, InnovizQC2 콘텐츠에 대해서는 속성 BD-Rate(End-to-End BD-AttrRate[%]) 0.1% 이상의 이득이 발생하였고, 그중 2개의 콘텐츠에 대해서 전체 BD-Rate(End-to-End BD-TotalRate[%])에서도 이득이 관측되었다. Ford 1, 2, 3의 경우 적은 수치의 영향이 관측되었으며, 구체적으로는 Ford 1, 3 콘텐츠에서 각각 0.0003%, 0.0004%의 속성 BD-Rate 손실이 발견되었고, Ford 2 콘텐츠의 경우 0.0002%의 이득이 관측되었다. 또한 InnovizQC3는 각각 0.0002%, 0.0001%의 속성 BD-Rate 이득이 발생하였고 최종 평균 속성 BD-Rate로 0.1%의 비약적인 이득이 관측되었다.

Table 2.

Performance evaluation of proposed method

표 3은 시뮬레이션을 통하여 획득한 LiDAR-velodyne HDL64E 콘텐츠에 관한 결과를 보여준다. 표 3에서 나타나듯이, 속성 BD-Rate와 전체 BD-Rate에서 각각 0.5%, 0.2%의 압축 이득이 발생한 것을 확인할 수 있으며 실제 LiDAR 센서로 촬영한 콘텐츠보다 더 높은 압축 이득이 관측되었다. 이는 이웃 RAHT 노드의 DC 계수 간 거리에 따른 상관도를 바탕으로 보간되는 본 제안 기술의 특성상 LiDAR 콘텐츠가 지닌 노이즈(Noise)에 직접적인 영향을 받기 때문에 노이즈의 영향이 적은 시뮬레이션 데이터셋에서 더 큰 압축 성능 향상이 발생한 것으로 추측된다.

Table 3.

Performance results on Cognata’s LiDAR-velodyneHDL64E dataset obtained through simulation

추가로 본 제안 기술의 화면 간 예측률 활성화 정도를 파악하기 위하여, 그림 9에서는 제안 기술과 기존 기술의 화면 간 예측률 비교를 보여준다. 그림을 통하여 확인할 수 있듯이, 제안 기술은 기존 기술보다 평균 47.96% 더 많은 예측률을 보이며 Ford 3 콘텐츠에서 70.67%의 최대 예측률 증가를 관측하였다.

Fig. 9.

Comparison of inter-prediction ratio between anchor and proposed