Past Issue

최근 3D 데이터의 획득 및 표현 기술이 발전함에 따라 AR/VR 등 사용자가 초실감 미디어 콘텐츠를 소비할 수 있는 서비스가 많이 증가하였다. 이러한 초실감 미디어 콘텐츠를 표현하기 위한 데이터형은 여럿 존재하는데, 3차원상의 점의 위치를 정밀하게 표현할 수 있다는 장점으로 인해 점의 집합으로 표현되는 3D 포인트 클라우드 데이터에 관심이 주목되고 있다^[1]. 그러나 3D 포인트 클라우드는 3차원 위치 정보와 속성(색상 등) 정보를 모두 포함하기 때문에, 기존 2D 비디오에 비해 데이터 크기가 막대하여 전송 및 소비에 어려움을 겪고 있다^[2]. 이에 따라 3차원 포인트 클라우드의 효율적 전송 및 활용을 위해 국제 표준화 기구인 ISO/IEC 산하 MPEG(Moving Pictures Expert Group)의 WG(Working Group)7에서 포인트 클라우드의 압축에 관한 연구가 활발히 진행 중이다^[3]. MPEG의 포인트 클라우드 압축 기술은 압축 방식에 따라 G-PCC(Geometry-based Point Cloud Compression), V-PCC(Video-based Point Cloud Compression) 등으로 명명되어 연구가 진행 중이며, 그중 최근 큰 관심을 받는 기술은 뉴럴네트워크를 활용한 AI-PCC(AI-based PCC)이다^[4]. AI-PCC는 뉴럴네트워크가 동반된 모든 포인트 클라우드 압축 기술을 일컬으며, 현재 표준화 준비 단계에 있다. AI-PCC 기술 대부분은 2D 영상 압축 분야에서 큰 성공을 거둔 VAE(Variational Auto Encoder)^[5]의 개념을 3D에 적용한 접근법을 활용하며, 기존 MPEG의 PCC 기술들과 비교하여 월등히 높은 압축 및 복원 성능을 낸다는 특징이 있다.

그러나 AI-PCC 기술은 전통적인 PCC 기술들과 비교하여 많은 양의 CP(Codecistic Parameter)가 발생한다는 단점이 존재한다. 전통적인 PCC 기술은 양자화 파라미터(Quantization Parameter)라는 CP를 활용하여 압축률과 복원 품질 간의 트레이드오프(Trade-off)를 조절하며^[6], 이러한 양자화 파라미터는 그 크기가 매우 작아 비트스트림의 크기에 미치는 영향이 미미하다. 그에 반해 AI-PCC 기술은 학습된 뉴럴네트워크(코덱)의 내부 파라미터(가중치, 편향 등)를 CP로 활용하여 포인트 클라우드의 압축률 및 복원 품질을 조절한다. 이는 곧 뉴럴네트워크 자체가 포인트 클라우드 복원에 필요한 정보임을 뜻하는데, 압축된 포인트 클라우드 비트스트림의 수백 배 크기를 웃도는 AI-PCC 뉴럴네트워크의 크기를 감안한다면^[7] 상당히 많은 양의 CP가 동반되어야 함을 알 수 있다. 즉, AI-PCC 기술은 기존 방식에 비해 입력 포인트 클라우드를 매우 효율적으로 압축할 수 있지만, 요구되는 CP의 크기가 너무 커서 전송 페이로드에 영향을 끼치기에 스트리밍 환경에서 활용하기에는 부적절하다는 한계가 있다. 이러한 한계를 극복하고자 본 논문에서는 IASF(ICNN-based AI-PCC Streaming Framework)를 제안한다. IASF는 AI-PCC 뉴럴네트워크 간의 잔차 파라미터를 구한 후 이를 INNC(Incremental Neural Network Coding) 기반으로 압축하여 CP의 크기를 줄임으로써, 더욱 효율적인 AI-PCC 기반 스트리밍을 지원하는 프레임워크이다.

본 논문의 구성은 다음과 같다. 2장에서는 본 논문의 기반이 되는 배경 기술 및 관련 연구에 대한 설명을 제공하며, 3장에서는 본 논문이 제안하는 INNC 기반 AI-PCC 스트리밍 프레임워크의 구조 및 작동 원리에 대해 자세히 설명한다. 4장에서는 제안 기술을 활용한 실험 결과를 통해 기술의 성능을 검증하며, 5장에서는 본 논문에 대한 결론을 맺는다.

2장에서 기술된 배경 기술을 기반으로, 본 장에서는 INNC 기반 NNP_Residual 압축을 활용한 AI-PCC 스트리밍 프레임워크를 설명한다. 서론과 2장에서 언급했듯 AI-PCC 기술의 활용에는 많은 양의 CP 생성이 뒤따르며, 이러한 CP는 압축된 포인트 클라우드 비트스트림보다 크기가 훨씬 크다라는 것을 확인하였다. 따라서 포인트 클라우드 콘텐츠의 전송 및 소비를 지원하는 스트리밍 환경에서 AI-PCC 기술을 사용하기 위해 본 논문은 서버가 단말에게 NNP가 아닌 NNP_Residual을 전송하여 CP의 크기를 줄이는 스트리밍 프레임워크인 IASF(INNC-based AI-PCC Streaming Framework)를 제안하며, IASF를 통해 더욱 효율적인 AI-PCC 기반 스트리밍을 지원하고자 한다.

본 논문에서 제안하는 IASF는 [그림 5] 및 [그림 6]과 같은 서버 및 단말로 구성되어 있다. 서버단의 기능을 NNP_Base 전송 과정과 NNP_Residual 전송 과정으로 나누어 각각 3.1.1절 및 3.1.2절에서 설명하며, 단말의 NNP_Base 수신 과정과 NNP_Residual 수신 과정은 각각 3.2.1절과 3.2.2절에서 서술한다.

1. Server

IASF의 서버는 [그림 5]와 같이, 입력 NNP_n의 n 값에 따라 전송 방법에 차이를 두며, 여기서의 n은 NNP가 업데이트된 횟수이다. 서버가 단말에 최초로 전송하는 NNP인 NNP_Base(NNP₀)는 주황색의 NNC Encoder로 입력되며, 자세한 전송 과정은 3.1.1절에서 설명한다. 또한 업데이트가 존재하는 NNP_Updated은 녹색의 INNC Encoder로 입력되며, 3.1.2절에서 자세히 설명한다.

Fig. 5. 
Architecture for server side of IASF

1.1 NNP_Base transmission

NNP_Base를 전송할 시 IASF의 동작 흐름은 다음과 같다. IASF의 입력 데이터는 NNP이며, 최초 NNP는 NNP_Base라고 칭한다. 서버가 단말에게 최초로 NNP를 전송하는 경우에는 단말이 사전에 소지한 NNP가 없기에, NNP_Base는 원본 NNP를 압축하는 NNC(edition 1) 부호화 모듈(NNC Encoder)을 통해 압축되어야 한다. 해당 모듈에서 NNP_Base는 B_NNC(NNC Bitstream)로 압축된 후 두개의 모듈에 입력되는데, NNC 복호화 모듈(NNC Decoder)과 멀티플렉싱 모듈(MUX)이 그에 해당한다.

먼저, NNC 복호화 모듈에 입력되는 B_NNC는 해당 모듈에서 복호화 되어 NNP'_Base로 복원된다. 여기서 NNP'_Base는 손실 압축기인 NNC 부ㆍ복호화기를 거쳤기 때문에 NNP_Base와 비교하여 왜곡이 존재하는 상태이다. 이러한 NNP'_Base는 NNP의 저장공간인 NNP 버퍼 모듈(NNP Buffer)에 저장된다. NNP'_Base가 저장되는 이유는 이후에 서버단에서 NNP의 업데이트가 발생할 경우, 그에 대한 NNP_Residual의 계산에 이용되기 때문이다. 이러한 NNP'_Base는 NNP 버퍼 모듈에 입력됨과 동시에 포인트 클라우드 압축 모듈인 AI-PCC 모듈에 입력된다. AI-PCC 모듈에서는 NNP'_Base를 기반으로 AI-PCC 뉴럴네트워크가 완성되며, 이를 통해 입력 포인트 클라우드인 PC_in을 압축하는 작업이 진행된다. 이에 따라 PC_in은 AI-PCC 모듈에서 포인트 클라우드 비트스트림인 B_PC로 압축되며, 이러한 B_PC는 MUX 모듈로 입력된다. MUX 모듈에는 NNC 부호화 모듈을 통해 압축된 B_NNC와 B_PC가 함께 입력되며, 두개의 비트스트림 모두 단말에게 전송되어야 하기에 MUX 모듈은 B_NNC와 B_PC를 멀티플렉싱하여 B_MUX를 생성한다. 결과적으로 B_MUX는 NNP'_Base의 정보와 PC_in의 정보를 모두 담고 있으며, 이는 서버에서 단말로 전송되는 최종 비트스트림이다.

1.2 NNP_Residual transmission

단일 프레임이 아닌 다중 프레임의 포인트 클라우드 시퀀스를 전송하는 상황에서는, 서버가 PC_in 프레임을 압축할 때에 이전 프레임 압축에 활용한 NNP를 동일하게 사용하지 않을 수 있다. 이는 PC_in의 특성이 크게 바뀌거나 단말이 네트워크 상황에 따라 다른 크기의 비트스트림을 요구할 때에, 2장에서 언급한 AI-PCC 기술의 특성상 다른 방식으로 학습된 새로운 NNP를 통해 기존 NNP를 대체하기 때문이다. IASF는 이러한 경우에 잔차 파라미터인 NNP_Residual을 사용하며, 본 절에서는 NNP_Residual을 전송할 시 IASF의 동작 흐름을 기술한다.

[그림 5]의 구조도에서 입력되는 NNP_n은 NNP 버퍼 모듈에 저장되어있던 NNP'_n+1과 뺄셈 연산이 수행되어 NNP_Residual이 생성되는데, 여기서 NNP_n+1이 아닌 왜곡이 존재하는 NNP'_n-1를 활용하는 이유는 단말 또한 왜곡된 NNP'_n-1을 소지하고 있기 때문이다. 뺄셈 연산을 통해 획득된 NNP_Residual은 0의 분포 비율이 높은 잔차 파라미터이기에 잔차 파라미터 압축에 최적화된 INNC 부호화 모듈(INNC Encoder)에 입력되어 B_INNC로 압축된다.

B_INNC는 3.1.1절에서 설명한 B_NNC와 유사하게 두가지의 모듈로 동시에 입력되는데, 첫번째는 INNC 복호화 모듈(INNC Decoder)이며, 다른 하나의 모듈은 MUX 모듈이다. MUX 모듈 입력 시 B_NNC와 달리 B_INNC는 논리 회로 중 AND 게이트를 통과하게 된다. 해당 AND 게이트는 업데이트 플래그(Update Flag)와 B_INNC를 입력 값으로 받는데, 업데이트 플래그는 NNP의 업데이트 존재 유무를 나타내는 플래그이다. 업데이트 플래그가 0이라면, AND 게이트를 통해 B_INNC는 MUX 모듈로 전달되지 않게 되며, 플래그가 1일 경우(n>0)에는 MUX 모듈로 전달된다.

INNC 복호화 모듈로 입력된 B_INNC는 NNP'_Residual과 같이 왜곡이 있는 형태로 출력되며, 이는 NNP 버퍼에 이미 존재했던 NNP'_n-1과 덧셈 연산을 거친다. 덧셈 연산을 통해 NNP'_n이 생성되며, 이러한 NNP'_n은 3.1.1절과 동일하게 PCC 모듈과 NNP 버퍼 모듈에 각각 입력된다. NNP 버퍼 모듈에 입력된 NNP'_n은 추후 업데이트될 NNP_n+1과의 뺄셈 연산을 위해 NNP 버퍼에 저장되고, PCC 모듈에 입력된 NNP'_n은 PC_in에 대한 포인트 클라우드 압축에 활용된다. PCC 모듈에서 출력된 B_PC는 사전에 생성된 B_INNC와 함께 MUX 모듈에 입력되며, MUX 모듈은 최종적으로 B_MUX를 생성하여 이를 단말에게 전송한다. 단, 업데이트 플래그가 0인 경우에는 B_INNC가 MUX 모듈에 입력되지 않기에 이때의 B_MUX는 B_PC와 NNP의 업데이트가 없음을 알리는 업데이트 플래그의 정보만을 담게 된다.

2. Client

[그림 6]에서 확인할 수 있듯이 단말 단에서의 B_MUX 수신 과정은 서버단의 전송 과정의 역순과 유사하다. 입력된 B_MUX는 디멀티플렉싱 모듈(De-MUX)을 통해 B_PC와 NNP 정보를 담은 비트스트림으로 분리되며, B_PC는 AI-PCC 복호화 모듈(AI-PCC Decoder)에 입력된다. NNP 정보를 담은 비트스트림은 B_NNC 혹은 B_INNC에 해당하는데, 두 비트스트림 모두 헤더(Header)에 Flag_NNC 정보가 존재한다. Flag_NNC가 0일 경우에는 비트스트림이 NNC 부호화 모듈을 통해 압축된 B_NNC이며, 반대로 1일 경우에는 INNC 부호화 모듈을 통해 압축된 B_INNC임을 의미한다. 이러한 Flag_NNC 정보는 디멀티플렉싱 모듈에서 미리 파악하여Flag_NNC가 0일 경우 주황색 스위치로 B_NNC를 입력하며, Flag_NNC가 1일 경우에 녹색 스위치로 입력한다. 주황색 스위치로 입력된 B_NNC의 처리 과정은 3.2.1절에서, 녹색 스위치로 입력된 B_INNC의 처리 과정은 3.2.2절에서 설명한다.

Fig. 6. 
Architecture for client side of IASF

2.1 B_NNC reception

B_NNC를 수신한 경우에 단말은 먼저 NNC 복호화 모듈(NNC Decoder)을 통해 B_NNC를 복호화한다. 서버단에서 NNC 부호화 모듈을 통해 압축된 NNP는 NNP_Base가 유일하므로, NNC 복호화 모듈의 출력 데이터는 NNP'_Base이다([그림 6]에는 NNC 복호화 모듈의 출력 데이터를 NNP'_n으로 나타냈으며, 이때의 NNP'_n은 NNP'₀이다). 3.1.1절에서도 언급을 했듯, NNC 코덱은 데이터 손실을 동반하기에 단말이 획득하는 NNP'_Base는 서버단에 처음 입력된 NNP_Base와 비교하여 데이터의 왜곡이 존재한다. 이러한 NNP'_Base는 NNP 버퍼 모듈(NNP Buffer)과 AI-PCC 복호화 모듈(AI-PCC Decoder)에 입력된다. NNP 버퍼에 저장되는 이유는 추후 수신하게 될 NNP'_Residual과의 덧셈 연산을 통해 NNP'₁을 생성하기 위함이며, AI-PCC 복호화 모듈에 입력되는 이유는 AI-PCC 뉴럴네트워크의 NNP로써 활용하기 위함이다. NNP'_Base로 채워진 AI-PCC 뉴럴네트워크는 AI-PCC 복호화 모듈에 입력된 B_PC를 복호화하는 데에 활용되며, 최종적으로 AI-PCC 복호화 모듈로부터 복원 포인트 클라우드인 PC_rec이 출력된다.

2.2 B_INNC reception

단말이 B_INNC를 수신한 경우에는 이를 INNC 복호화 모듈(INNC Decoder)로 입력하며, INNC 복호화 모듈은 입력 받은 B_INNC를 복호화하여 NNP'_Residual을 출력한다. 이와 같은 NNP'_Residual은 NNP 버퍼 모듈에 이미 저장된 NNP'_n+1과의 덧셈 연산을 통해 NNP'_n의 복원에 기여한다. 복원된 NNP'_n는 두가지 모듈에 입력되는데, NNP 버퍼 모듈과 AI-PCC 복호화 모듈이 이들에 해당한다. 3.2.1절의 NNP'_Base와 마찬가지로 NNP'_n 또한 NNP 버퍼에 저장되며, 이는 추후 입력될 NNP'_Residual과의 덧셈을 통해 NNP'_n+1을 생성하기 위함이다. AI-PCC 복호화 모듈에 입력된 NNP'_n은 모듈 내 AI-PCC 뉴럴네트워크의 기존 NNP(NNP'_n-1)을 대체(업데이트)하며, 이를 통해 업데이트된 AI-PCC 뉴럴네트워크는 De-MUX 모듈로부터 출력된B_PC를 복호화하는 작업을 진행하며, 최종적인 AI-PCC 복호화 모듈의 출력 데이터는 PC_rec이다.

3장에서는 2장에서 설명한 INNC 부호화기를 기반으로 잔차 파라미터를 압축하여 더욱 효율적인 AI-PCC 스트리밍을 가능케 하는 ISAF라는 프레임워크를 제안하였다. 본 장에서는 3장에서 설명한 본 논문의 ISAF를 구현하여 이에 대한 결과를 확인 및 검증한다. 설계한 프레임워크는 Ubuntu 20.04 환경에서 Python 언어를 사용하여 구현하였다.

실험은 [그림 5]와 [그림 6]의 프레임워크를 따랐으며, AI-PCC 기술로는 GRASP-Net을 활용하였다. NN_Base를 GRASP-Net R04(Rate 4)로 설정하고 NN_Updated은 GRASP-Net R05(압축된 포인트 클라우드의 비트스트림이 가장 크지만, 가장 고품질의 포인트 클라우드 복원을 지원하는 뉴럴네트워크)로 설정하였다. 여기서 GRASP-Net R04와 R05는 동일 뉴럴네트워크 형태를 가지고 있으며, NNP만이 다르기에 서로 간의 NNP_Residual 획득이 가능하다. ISAF의 성능 평가를 위해 앵커(Anchor)는 GRASP-Net R05의 NNP를 NNC 부호화기를 통해 압축한 결과로 설정하였다. 추가적으로, 성능 평가의 참고를 위해 NNP 압축을 거치지 않은 원본 GRASP-Net R01부터 R05까지의 결과 또한 그래프에 삽입하였다. 압축 대상으로 활용한 포인트 클라우드는 MPEG CTC^[16]에서 활용되는 8i의 “Long-dress”, “Soldier”, “Loot”, 그리고 “Red and Black” 시퀀스의 각 첫 번째 프레임이다.

현재 GRASP-Net 기술은 포인트 클라우드의 위치 정보의 압축만을 지원하기 때문에, 포인트 클라우드의 복원 품질 평가 또한 MPEG WG7에서 활용하는 위치 정보의 평가 지표인 D1 PSNR(Point-to-Point PSNR)과 D2 PSNR(Point-to-Plane PSNR)을 활용하였으며, 그 결과는 [그림 7]과 같다. PSNR 값들은 그래프의 Y축을 나타낸다. X축에 해당하는 값은 CP와 B_PC의 합의 크기에 해당하는데, 여기서 CP는 기술 별로 다르게 표현된다. ISAF의 경우 CP는 B_INNC이며 이에 따라 X축은 B_MUX의 크기와 동일하다. 앵커(Anchor)의 CP 크기는 GRASP-Net R05의 NNP를 NNC 부호화기를 통해 압축한 B_NNC의 크기이며, 이는 3.1.1절에서 NNP_Base를 압축하는 과정과 동일하게 구현하였다. 각각의 압축에 활용한 양자화 파라미터(QP)는 [표 2]에서 확인할 수 있다. NNC 및 INNC에서 활용되는 QP는 전부 음수이며, 절대값이 클수록 데이터 손실이 적다. 추가적으로, 참고용으로 삽입한 원본 GRASP-Net R01~R05의 경우에는 CP를 아무런 압축 과정을 거치지 않은 NNP의 크기(뉴럴네트워크 파이토치 파일(.pth)의 원본 크기)로 상정하였다.

Fig. 7. 
Experimental results for IASF implementation

[그림 7]을 통해 제안 기술을 활용할 시 압축을 거치지 않는 CP 전송 방법과 비교하면 전송 시 요구되는 CP의 데이터 크기가 현저히 줄어드는 것을 확인할 수 있으며, NNC 표준 부호화기를 기반으로 압축된 CP 전송과 비교하여도 필요 데이터 크기가 적다는 것을 알 수 있다. 그러나 높은 압축률을 달성하지만 복원 포인트 클라우드의 PSNR이 낮다는 한계 또한 [그림 7]을 통해 확인할 수 있다.

[그림 8]은 [그림 7]에서 각 그래프의 PSNR이 가장 높은 지점을 기준으로 그에 따른 복원 포인트 클라우드의 렌더링 결과를 나타낸 것이며, 이와 함께 CP의 크기와 D1 PSNR 결과를 확인할 수 있다. [그림 8]를 통해 객관적인 지표인 D1 PSNR 외에도 주관적인 평가를 할 수 있으며, 주관적 평가에서도 INNC 기술을 활용한 경우에 왜곡이 더욱 심하게 발생함을 확인할 수 있다. 이는 INNC 부호화기가 SBTQ 등 압축 효율을 극대화하기 위한 기술을 사용하기 때문이다. 그러나 IASF를 통해 NNP_Residual의 압축을 활용할 경우에 전송하는 CP의 크기(B_INNC)는 무손실 NNP와 비교하여 약 0.3%에 달하며, B_NNC와 비교하여도 1.3%에 달하기에 왜곡이 발생하는 정도에 비해 얻는 압축 효율이 매우 크다. 또한, [그림 8]에서 확인할 수 있듯 INNC 기반 압축을 통해 발생한 왜곡은 전체적인 형태가 일그러지는 것이 아닌, 점 간의 거리가 멀어져 밀도가 낮아지는 방향으로 발생한다. 이러한 형태의 왜곡은 단말 단에서 인터폴레이션(Interpolation) 등의 후처리 기술을 활용하여 점 사이의 빈 공간을 메워 줌으로써 해결할 수 있을 것으로 사료된다.

Fig. 8. 
Reconstructed point cloud rendering results for subjective evaluation

본 논문에서는 AI-PCC 기술을 스트리밍 환경에서 사용할 경우에 한계가 되는 큰 크기의 CP를 극복하기 위해, NNP가 아닌 NNP_Residual을 압축하여 전송할 수 있는 프레임워크인 IASF(INNC-based AI-PCC Streaming Framework)를 제안하였다. 이와 같은 IASF는 NNP 간의 잔차 파라미터인 NNP_Residual을 최초로 활용했다는 점에서 의의가 있으며, NNP_Residual에 대한 압축 효율을 최대화하기 위해 최첨단 기술인 INNC 부호화기를 최초로 스트리밍 환경에 적용했다는 점에서도 그 의의를 찾을 수 있다.

IASF는 NNP_Base를 전송하는 단계와 NNP_Residual를 전송하는 두 단계로 나뉜다. 최초로 활용되는 NNP인 NNP_Base는 NNC 부호화기를 기반으로 압축되어 B_PC와 함께 B_MUX로써 단말에게 전송되며, 단말은 B_MUX를 수신하여 NNP'_Base를 복원한 뒤 이를 통해 PC_rec을 복원한다. 이후 NNP의 업데이트가 발생하는 경우 서버는 NNP_n와 NNP'_n-1 간의 NNP_Residual을 생성하며, NNP_Residual은 INNC 부호화기를 통해 B_INNC로 압축된다. B_INNC는 B_NNC와 동일하게 B_PC와 멀티플렉싱되어 단말에게 전송되며, 단말은 NNP'_Residual을 복원한 뒤 이를 NNP'_n-1에 더하여 NNP'_n을 완성시키며, NNP'_n을 통해 PC_rec을 복원한다. 이러한 제안기술을 검증하기 위해 본 논문은 GRASP-Net을 활용하여 IASF를 구현하였고 4장에서 실험 결과를 검증하였다.

4장에서 검증된 바와 같이, IASF를 통해 NNP_Residual을 활용할 경우 기존 방식 대비 약 1.3%에 달하는 적은 양의 CP가 발생하였다. 따라서 IASF는 기존 방식 대비 효율적인 AI-PCC 기반 스트리밍을 지원한다고 할 수 있다. 특히, IASF는 한번의 NNP 업데이트만을 가정한 4장에서의 실험과 달리 여러 번의 NNP 업데이트가 존재하는 경우에 더욱 큰 효율을 낼 수 있다는 점을 감안하면 AI-PCC 기반 스트리밍 프레임워크로서 매우 적합하다고 할 수 있다. 그러나 제안 기술은 CP의 압축에 대해 높은 압축률을 달성하였으나, 포인트 클라우드의 복원 품질은 개선될 필요가 있음이 확인되었다. 이러한 제한 사항은 인터폴레이션 (Interpolation) 등의 후처리 기능을 추후 연구에 추가함으로써 극복할 수 있을 것으로 사료된다.