영상·이미지 압축 환경에서 3D Gaussian Splatting 렌더링 품질 향상을 위한 압축 데이터셋 및 탐지-디노이징 프레임워크

Ⅰ. 서 론

최근 컴퓨터비전 분야에서는 3D 장면을 효율적으로 재구성하고, 이를 실시간으로 렌더링하는 기술에 대한 연구가 활발히 진행되고 있다. 특히 가상현실(VR), 증강현실(AR), 디지털 트윈(Digital Twin) 등의 분야에서 고품질 3D 재구성 기술에 대한 수요가 급증하고 있다. 이러한 배경 속에서 Neural Radiance Fields (NeRF)^[1]는 암시적 신경망 표현을 통해 사실적인 3D 장면 재구성을 가능하게 하며 큰 주목을 받았다. 그러나 NeRF는 픽셀 단위의 ray marching을 수행해야 하므로 학습 및 렌더링 속도가 느려 실시간 응용에 제약이 있다. 이러한 한계를 극복하기 위해 제안된 3D Gaussian Splatting (3DGS)^[2]은 장면을 Gaussian splat으로 표현하여 NeRF 대비 학습 속도와 렌더링 효율을 획기적으로 향상시켰으며, 실시간 3D 콘텐츠 생성 분야에서 새로운 가능성을 제시하고 있다.

그러나 대부분의 3DGS 관련 연구^[3-5]는 무손실 포맷의 이미지를 사용한 이상적인 조건에서 수행되었다. 반면 실제 환경에서는 저장 공간 및 네트워크 대역폭의 제약으로 인해 JPEG^[6], HEVC^[7] 등과 같은 손실 압축 방식이 광범위하게 사용된다. 특히 모바일 기기에서의 3D 콘텐츠 스트리밍, 클라우드 기반 렌더링 서비스 등의 시나리오에서는 압축이 필수적이다. 그럼에도 불구하고, 손실 압축이 3DGS의 렌더링 품질에 미치는 영향에 대한 체계적인 연구는 충분히 이루어지지 않았다.

따라서 본 연구에서는 먼저 JPEG과 HEVC 코덱을 활용하여 다양한 압축률의 데이터셋을 구성하고, 압축 조건의 변화가 3DGS 렌더링 품질에 미치는 영향을 체계적으로 분석하였다. 분석 결과, 두 코덱 모두에서 압축률이 증가함에 따라 렌더링 품질이 저하되는 것을 확인하였다. 이러한 품질 저하를 완화하기 위해 디노이징 기법의 적용을 고려할 수 있으나, 실험 결과 코덱의 압축 방식에 따라 디노이징 효과가 상이하게 나타났다. JPEG은 Intra-frame 기반으로 각 프레임을 독립적으로 압축하므로 모든 압축 구간에서 디노이징이 렌더링 품질 향상에 기여하였다. 반면 HEVC는 Inter-frame 예측을 활용하여 시간적 중복성을 제거하는 방식으로, 고품질 구간에서는 디노이징이 오히려 렌더링 품질을 저하시키는 현상이 관찰되었다. 이에 본 논문에서는 코덱 특성에 따른 차별화된 디노이징 전략을 제안한다. JPEG에는 일괄 디노이징을 적용하고, HEVC에는 품질 탐지 기반 조건부 디노이징을 적용하여 각 코덱 환경에서 3DGS 렌더링 품질이 향상됨을 실험적으로 검증하였다.

Ⅱ. 본 론

1. 전체 파이프라인 개요

본 연구의 전체 파이프라인은 그림 1과 같다. 입력 영상·이미지는 코덱 유형(JPEG 또는 HEVC)에 따라 상이한 처리 경로를 거친다. JPEG의 경우 모든 압축 구간에서 디노이징이 렌더링 품질 향상에 기여하므로 일괄적으로 디노이징을 적용한다. 반면 HEVC의 경우 고품질 구간에서 디노이징이 오히려 품질을 저하시키는 현상이 관찰되어, 품질 탐지 모듈을 통해 품질 점수를 산출한 후 임계값 미만인 경우에만 선택적으로 디노이징을 적용한다. 이후 처리된 영상·이미지를 3DGS의 입력으로 사용하여 렌더링을 수행한다. 이러한 코덱별 차별화된 디노이징 전략은 고품질 입력에 대한 과보정 문제를 방지하면서 저품질 입력의 렌더링 품질을 향상시킨다.

Fig. 1.

Overall Experimental Pipeline: (a) HEVC-based compression + 3DGS rendering (b) JPEG-based compression + 3DGS rendering. Image credit: Tetromino, Wikimedia Commons, CC BY 3.0

Ⅲ. 실험

2. 압축에 따른 3DGS 렌더링 품질 분석

표 1은 JPEG QF별 압축 품질과 렌더링 품질을 보여준다. 압축률이 높아질수록 렌더링 품질 저하 폭이 비선형적으로 증가하는 경향이 관찰되었다. 특히 QF 30 이하의 고압축 구간에서는 PSNR 및 SSIM 감소율이 급격히 커지는 것을 확인하였다. 그림 3은 QF별 렌더링 결과를 시각적으로 비교한다.

Table 1.

Comparison of JPEG Compression Results and 3DGS Rendering Quality Across Compression Levels

표 2는 HEVC QP별 압축 품질과 렌더링 품질을 보여준다. HEVC는 JPEG 대비 상대적으로 완만한 품질 저하를 보였으나, 일부 장면에서는 QP 값에 따른 PSNR 수치가 역전되는 현상이 관찰되었다. 예를 들어 bicycle 장면의 QP 32의 렌더링 PSNR이 14.56로, QP 42의 16.74보다 오히려 낮았다. SfM 단계 분석 결과, QP 32에서 평균 재투영 오차과, QP 32에서 평균 재투영 오차가 1.037 px로 급격히 증가한 것이 원인으로 확인되었다(QP 27: 0.703 px, QP 37: 0.853 px). 또한 일부 장면의 QP 37 이상 고압축 조건에서는 SfM 추정 자체가 실패하여 3DGS 실험을 수행할 수 없었다. 그림 2는 장면별 압축률에 따른 렌더링 PSNR 변화를RD curve 형태로 보여주며, 이러한 비선형적 품질 저하와 역전 현상을 시각적으로 확인할 수 있다.

Table 2.

Comparison of HEVC Compression Results and 3DGS Rendering Quality Across Compression Levels

Fig. 2.

Rendering PSNR Variation by Compression Level per Scene: (a) JPEG (b) HEVC

Fig. 3.

Variation of 3DGS Rendering Quality with JPEG Compression Levels for the Garden Scene

유사한 압축 품질(PSNR) 조건에서 JPEG과 HEVC의 렌더링 성능을 비교한 결과, JPEG 기반 입력이 HEVC 기반 입력보다 일관되게 더 높은 렌더링 PSNR을 보였다. 이는 두 코덱의 압축 방식 차이에서 기인한다. JPEG은 프레임을 독립적으로 압축하는 Intra-frame 방식으로 프레임 간 정보가 서로 영향을 주지 않는다. 반면 HEVC 랜덤 액세스 모드는 Inter-frame 예측을 활용하여 프레임 간 중복 정보를 제거하는데, 이 과정에서 발생한 예측 오차가 누적되어 시간적 왜곡이 나타날 수 있다. 표 3은 코덱별 압축 및 렌더링 파일 크기를 비교하며, HEVC 기반 렌더링 결과가 더 작은 파일 크기를 보이는 것은 시간적 일관성 저해로 인해 3DGS가 저복잡도의 표현을 생성하기 때문으로 해석된다.

Table 3.

Average file size of the codec-compressed datasets and the corresponding 3DGS-rendered datasets

3. 제안 프레임워크 성능 분석

JPEG은 모든 압축 구간에서 디노이징이 렌더링 품질 향상에 기여하므로 일괄 디노이징을 적용하였다. 반면 HEVC는 고품질 구간에서의 과보정 문제를 방지하기 위해 품질 탐지 기반 조건부 디노이징을 적용하였다.

2.3절에서 설명한 HEVC 품질 탐지 모듈의 Normal 클래스 분류 성능을 평가한 결과, Precision 95.53%, Recall 87.49%, F1 Score 91.33%를 달성하였다. 높은 Precision은 고품질로 판단된 입력이 실제로 고품질일 가능성이 높음을 의미하며, 불필요한 디노이징 적용을 효과적으로 방지할 수 있다.

표 4는 코덱별 디노이징 적용 결과를 보여준다. JPEG의 경우 FBCNN^[11]을 전 구간에 일괄 적용한 결과, 렌더링 PSNR이 평균 0.36 dB 향상되었다. 그림 4는 JPEG 디노이징 전후의 렌더링 결과를 시각적으로 비교한다. HEVC의 경우 저품질로 판단된 입력(QP 42)에만 STDF^[12]를 적용한 결과, 렌더링 PSNR이 0.79 dB 향상되었다. 반면 고품질 HEVC 입력(QP ≤ 37)에 디노이징을 적용할 경우 오히려 렌더링 품질이 저하되었다. 그림 5는 이러한 현상을 시각적으로 보여준다.

Table 4.

Rendering Quality Comparison Before and After Denoising

Fig. 4.

Comparison of 3DGS rendering quality before and after JPEG denoising

Fig. 5.

Degradation of 3DGS rendering quality when denoising is applied to high-quality HEVC inputs

Ⅳ. 결 론

본 연구에서는 손실 압축 환경에서 3DGS 렌더링 품질 저하 문제를 분석하고, 이를 완화하기 위한 코덱별 차별화된 디노이징 전략을 제안하였다. JPEG 및 HEVC 코덱의 랜덤 엑세스 모드, 두 가지 대표적인 손실 압축 코덱을 적용하여 다양한 압축 조건에서 3DGS 성능을 비교한 결과, JPEG은 압축률 증가 시 품질 저하가 비선형적으로 나타난 반면, HEVC는 비교적 점진적인 품질 저하를 보였다. 또한 유사한 PSNR 조건에서 JPEG 기반 입력이 HEVC보다 렌더링 품질이 높았다. 디노이징 기법 적용 시 코덱 특성에 따라 효과가 상이하게 나타났다. JPEG은 모든 압축 구간에서 디노이징이 효과적이었으나, HEVC는 고품질 구간에서 오히려 성능이 저하되었다. 이에 본 연구에서는 JPEG에는 FBCNN 일괄 디노이징을, HEVC에는 DenseNet121 기반 품질 탐지 후 STDF 조건부 디노이징을 적용하였다. 실험 결과, JPEG에서 평균 PSNR 0.36 dB, HEVC 저품질 구간에서 0.79 dB의 렌더링 품질 향상을 달성하였다. 본 연구의 결과는 3DGS 기반 3D 콘텐츠 제작 및 스트리밍 환경에서 코덱 선택, 압축률 설정, 그리고 전처리 전략 수립에 실질적인 지침을 제공할 수 있으며, 특히 실시간 렌더링 및 대규모 데이터셋 처리 환경에서 압축 효율과 시각적 품질 간의 균형을 고려한 품질 관리 전략 수립에 기여할 수 있다.

Acknowledgments

This research was supported by the Regional Innovation System & Education(RISE) Glocal 30 program through the Daegu RISE Center, funded by the Ministry of Education(MOE) and the Daegu, Republic of Korea.(2025-RISE-03-001)․

References

• B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng, “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), pp. 500–509, Jun. 2020. [https://doi.org/10.1007/978-3-030-58452-8_24]
• B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis, “3D Gaussian Splatting for Real-Time Radiance Field Rendering,” ACM Trans. Graph, vol. 42, no. 4, pp. 112, Jul. 2023. [https://doi.org/10.1145/3592433]
• G. Wu, T. Yi, J. Fang, L. Xie, X. Zhang, W. Wei, W. Liu, Q. Tian, and X. Wang, “4D Gaussian Splatting for Real-Time Dynamic Scene Rendering,” in Proc. CVPR, pp. 20310–20320, 2024. [https://doi.org/10.1109/CVPR52733.2024.01920]
• J. C. Lee, D. Rho, X. Sun, J. H. Ko, and E. Park, “Compact 3D Gaussian Representation for Radiance Field,” in Proc. CVPR, pp. 21719–21728, Seattle, United States, Jun. 2024. [https://doi.org/10.1109/CVPR52733.2024.02052]
• Y. Liu, H. Guan, C. Luo, L. Fan, N. Wang, J. Peng, and Z. Zhang, “CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians,” in Proc. ECCV, pp. 265–282, Oct. 2024. [https://doi.org/10.1007/978-3-031-72640-8_15]
• G. K. Wallace, “The JPEG still picture compression standard,” Commun. ACM, vol. 34, no. 4, pp. 30–44, Apr. 1991. [https://doi.org/10.1145/103085.103089]
• G. J. Sullivan, J. Ohm, W. J. Han, and T. Wiegand, “Overview of the High Efficiency Video Coding (HEVC) Standard,” IEEE Trans. Circuits Syst. Video Technol., vol. 22, no. 12, pp. 1649–1668, Dec. 2012. [https://doi.org/10.1109/TCSVT.2012.2221191]
• J. T. Barron, B. Mildenhall, D. Verbin, P. P. Srinivasan, and P. Hedman, “Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), pp. 5470–5479, Jun. 2022. [https://doi.org/10.1109/CVPR52688.2022.00539]
• J. L. Schönberger and J.-M. Frahm, “Structure-from-Motion Revisited,” in Proc. CVPR, pp. 4104–4113, Jun. 2016. [https://doi.org/10.1109/CVPR.2016.445]
• G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, “Densely Connected Convolutional Networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), pp. 4700–4708, 2017. [https://doi.org/10.1109/CVPR.2017.243]
• J. Jiang, K. Zhang, and R. Timofte, “Towards Flexible Blind JPEG Artifacts Removal,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), pp. 4997–5006, 2021. [https://doi.org/10.1109/ICCV48922.2021.00495]
• J. Deng, L. Wang, S. Pu, and C. Zhuo, “Spatio-Temporal Deformable Convolution for Compressed Video Quality Enhancement,” in Proc. AAAI Conf. Artif. Intell., vol. 34, no. 07, pp. 10696–10703, 2020. https://ojs.aaai.org/index.php/AAAI/article/view/6697 [https://doi.org/10.1609/aaai.v34i07.6697]
• L. Lin, M. Wang, J. Yang, K. Zhang, and T. Zhao, “Toward Efficient Video Compression Artifact Detection and Removal: A Benchmark Dataset,” IEEE Trans. Multimedia, 2024. [https://doi.org/10.1109/TMM.2024.3414549]