동적 이미지 합성을 위한 4D Gaussian Splatting 기법 비교 및 연구 동향

1. 3D Gaussian Splatting^[1]

3D Gaussian Splatting^[1]은 다양한 위치, 불투명도, 색깔, 회전, 크기 등의 파라미터를 가지는 타원체인 3D Gaussian을 활용하여 3D 구조를 표현하는 방법론이다. 3D Gaussian Splatting^[1] 알고리즘의 전체 흐름도는 그림 1과 같다. 구체적으로, 먼저 COLMAP과 같은 Structure from Motion (SfM) 기법을 통해 initial point cloud를 추정하고, point cloud의 좌표에 3D Gaussian의 중심을 위치하도록 초기화시킨다. 그 다음, 3D Gaussian들을 입력으로 받은 camera pose를 이용하여 이미지 평면으로 2D projection 시킨다. 이후 빠른 rasterization을 위해 이미지를 타일화 시키고, 각각의 타일에 대해 다음과 같은 rasterization 과정을 진행한다. 먼저, 각 3D Gaussian의 깊이 정보를 바탕으로 키 값을 부여하여 이미지 평면에서 가까운 3D Gaussian부터 정렬을 시킨다. 다음으로, 정렬된 Gaussian들을 배경 이미지와 차례로 알파 블렌딩을 수행한다. 위 과정을 마치고 나면 3D Gaussian을 통해 랜더링 된 2D 이미지가 생성되며, 이를 ground truth 이미지와 비교하여 손실(Loss)과 그레디언트를 얻고, 역전파를 통해 3D Gaussian을 학습시킨다. 또한 적응적 밀도 조절을 통해 Gaussian의 학습이 어려운 영역에 Gaussian을 복제하거나 제거함으로써 장면을 잘 표현하지 못하는 부분을 보완한다. 이러한 학습 과정을 여러 다각도 이미지에 대해 반복하여 최적화하면, 최종적으로 3D 장면에 대해 중심 위치를 x로 가지는 아래와 같은 Gaussian으로 표현 가능하다.

Fig. 1.

Overall Framework of 3D Gaussian Splatting[1]

여기서 중심위치 χ는 Gaussian의 mean을 의미하며 Σ는 Gaussian의 covariance marix를 의미한다.

3D Gaussian Splatting은 빠른 학습 속도를 보이고 실시간 랜더링을 가능하게 하여 괄목할 만한 성능을 이끌어냈지만, 그 결과가 정적인 장면에 국한되는 한계점을 가진다. 최근에는 이러한 한계점을 개선하기 위해 시간에 따른 변화 정도를 표현할 수 있는 deformation 기반의 방법들이 활발히 연구되고 있다. 본 논문에서는 3D Gaussian Splatting을 개선하고 발전시킨 모델 중, 정적 장면 합성에만 국한되지 않고 동적 장면에 대한 합성이 가능하도록 하는 모델들에 대해 분석하고, 그 동향에 대해서 살펴보고자 한다. 먼저 3D Gaussian의 중심 위치와 시간을 입력으로 받아 deformation을 예측하는 Deformable 3D Gaussian^[2]에 대해 알아보고자 한다. 다음으로 4차원의 deformation 정보를 2차원 plane 기반 tensor decomposition으로 표현하는 4D-GS^[3] 그리고 control point를 도입해 회전과 변형을 구하고, 이를 통해 Gaussian의 움직임을 효율적으로 표현한 SC-GS^[4]에 대해 살펴보고자 한다. 마지막으로 Gaussian의 각 파라미터를 시간에 대한 파라미터로 표현하여 동적 장면을 표현한 Spacetime Gaussian^[5]에 대해서 알아보고자 한다.

2. Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction^[2]

Deformable 3D Gaussian^[2]은 3D Gaussian Splatting과 달리 Gaussian의 시간에 따른 변화를 예측하여 동적 장면을 합성하는 것이 목표로 하며, 전체적인 구조는 그림 2와 같다. 구체적으로, MLP를 통해 deformation을 학습하는 것으로 이루어지며, 시간 t와 3D Gaussians의 중심 위치 x를 입력으로 받아 Gaussian의 위치, 회전, 크기에 대한 변화량 δ_χ, δ_r, δ_s을 출력한다. 이후 출력된 변화량을 3D Gaussians에 더해 시간에 따른 장면을 합성할 수 있다. 위치, 회전, 크기에 대한 변형을 계산하는 Deform Network에 대한 수식은 다음과 같다:

Fig. 2.

Network architecture of Deformable 3D Gaussians[2]

여기서 sg(ㆍ)는 stop-gradient operation, γ(ㆍ)는 positional encoding, F_θ(ㆍ)는 deformation field를 의미하며. δ_χ, δ_r, δ_s는 각각 위치, 회전, 크기에 대한 변화량을 의미한다.

3. 4D-GS: 4D Gaussian Splatting for Real-time Dynamic Scene Rendering^[3]

4D-GS^[3]는 그림 3과 같이 Deformable 3D Gaussian^[2]의 동일한 구조에 학습 시간을 단축시키기 위해 4차원 정보를 2차원 정보로 변환시키는 hexplane을 encoder에 추가하고 lightweight MLP로 변경했다. 구체적으로, input으로 3D Gaussains의 위치와 시간 t를 받아 Spatial-Temporal Structure Encoder의 hexplane을 통해 4D informtaion을 2D informtaion으로 처리하고 이를 MLP를 통과시켜 feature로 인코딩한다. 이후 Multi-head Gaussian Deformation Decoder의 MLP에 feature를 input으로 넣고 처리하여 position, rotation, scaling의 deformation을 예측한다. 학습 과정은 coarse-to-fine으로 분리되어 coarse 단계에서는 3D Gaussians만 학습하고 fine 단계에서 Deformation Network를 함께 학습한다. Deformation Network에서 예측된 deformation을 Gaussians에 더해 동적 장면을 표현하고 그에 대한 구체적인 수식은 다음과 같다:

Fig. 3.

Network architecture of 4D-GS[3]

여기서 χ, r, s는 각각 Gaussian의 position, rotation, scaling을 의미하며 Δ_χ, Δ_r, Δ_s는 각각 이들의 deformation을 의미한다.

4. SC-GS: Sparse-Controlled Gaussain Splatting for Editable Dynamic Scenes^[4]

SC-GS^[4]는 Gaussian보다 훨씬 적은 수의 대표 control point를 도입하여 이들의 deformation을 예측하고 이를 바탕으로 보간을 진행하여 전체 Gaussian의 deformation을 예측하는 특징을 가지고 있다. 구체적으로, 그림 4와 같이 먼저 전체 Gaussians의 수보다 훨씬 적은 수의 제어점을 도입하고 각 제어점의 위치 및 회전과 이동의 변화를 MLP를 통해 예측한다. 다음으로 Linear Blend Skinning을 사용해 앞서 구해진 control point들의 deformation을 보간하여 Gaussian motion field를 도출한다. 구체적으로 control point들을 통해 개별 Gaussian의 속성들의 deformation을 구하는 방법을 살펴보겠다.

Fig. 4.

Network architecture of SC-GS[4]

시간 t에서의 Gaussian j의 회전을 나타내는 쿼터니언 $$ q_j^t$$는 다음과 같다:

여기서 $$ q_j^t$$는 시간 t에서의 j 번째 Gaussian의 회전을 나타내는 쿼터니언이다. 이를 구하기 위해서 Gaussian j의 원래 회전을 나타내는 q_j와 $$ \sum _{k\in N_j}{w}_{jk}{r}_k^t$$의 쿼터니언 곱을 계산하는데 이때, N_j개 인접한 제어점들의 집합을 상대로 제어 포인트별 각 Gaussian의 보간 가중치w_jk와 제어점 k에서의 회전 변화를 나타내는 쿼터니언 $$ r_k^t$$을 곱하여 제어점 k에서의 회전을 보간한다.

Gaussian j의 중심 위치를 나타내는 $$ {\mu }_j^t$$는 다음과 같다:

여기서 제어점의 영향을 나타내는 보간 가중치 w_jk, 제어점 k의 회전 변환을 나타내는 행렬 $$ R_k^t$$, 제어점 k의 위치를 나타내는 p_k, 제어점 k의 시간 t에서의 이동 변환을 나타내는$$ T_k^t$$를 이용하여 이를 표현한다.

또한 더 나은 동적 장면 합성을 위해 As Rigid As Possible(ARAP) Loss를 도입하여 인접한 제어점들의 모션이 일관되도록 유도한다. 마지막으로 적응형 밀도 조절 전략을 사용하여 복잡한 모션을 모델링하는 영역에 더 많은 제어점을 추가하고 단순한 모션을 모델링하는 영역에서는 불필요한 제어점을 제거한다. 이때 제어점의 영향력이 적거나 Gaussian의 모션에 충분히 기여하지 못하는 경우 해당 제어점을 삭제하고 Gaussian이 높은 gradient 값을 가지는 경우 복제하여 새로운 제어점을 추가한다. 이 과정을 통해 복잡한 모션을 더 잘 반영할 수 있도록 제어점의 분포를 최적화하고 인접한 제어점의 모션이 일관되도록 유도하여 모션의 품질을 향상시킨다.

5. Spacetime Gaussian: Feature Splatting for Real-Time Dynamic View Synthesis

Spacetime Gaussian^[5]은 4D 동적 장면을 표현하기 위해 3D Gaussian에 다항식과 Gaussian 분포를 이용해 모델링한 파라미터들을 제안한다. Spacetime Gaussian^[5]의 네트워크 구조는 그림 5와 같다. 구체적으로 영상 내에서 나타나거나 사라지는 장면 콘텐츠를 효과적으로 모델링하기 위해 불투명도는 1D Gaussian으로 모델링하고, 위치와 회전은 다항식 형태로 모델링한다. 또한 기존에 사용되었던 구면 조화 함수 대신 특징 벡터를 사용하여 색상을 더 간결하고 효율적으로 표현하는 방법을 제안한다.

Fig. 5.

Network architecture of Spacetime Gaussian[5]

투명도를 시간에 따른 파라미터로 표현한 것은 다음과 같다:

여기서 시간과는 무관한 기본 투명도 $$ {\sigma }_i^s$$, Gaussian이 가장 잘 보이는 시점을 나타내는 $$ {\mu }_i^{\tau }$$, Gaussian이 높은 투명도를 유지하는 시간의 범위를 나타내는 $$ s_i^T$$를 이용한 1D Gaussian으로 시간에 따른 투명도를 표현한다.

시간 t에서 공간적 위치를 의미하는 μ_i(t)를 표현하는 수식은 다음과 같다:

여기서 μ_i(t)는 학습 중에 최적화되는 다항식 계수 b_i,k, Gaussian이 시간적으로 가장 잘 보이는 시점을 나타내는 $$ {\mu }_i^{\tau }$$를 이용하여 다항식 함수로 표현한다.

시간 t에서 회전을 의미하는 q_i(t)를 표현하는 수식은 다음과 같다:

여기서 q_i(t)는 학습 중에 최적화되는 다항식 계수 c_i,k, Gaussian이 시간적으로 가장 잘보이는 시점을 나타내는 $$ {\mu }_i^{\tau }$$를 이용하여 다항식 함수로 표현한다.

각 알고리즘의 요소 별 특징을 정리하면 표 1과 같다.

Table 1.

Summary of the element-specific features of the Deformable-3DGS[2], 4D-GS[3], SC-GS[4], and Spacetime[5]

1. 정량 평가

표 2, 표 3을 보면 PSNR과 SSIM^[6] 지표에서 Spacetime^[5]이 가장 높은 성능을 보여주어 동적 장면 복원에 대해 합성 품질과 구조적 유사성이 가장 뛰어남을 알 수 있다. 이는 시간적 불투명도와 모션을 파라미터화하여 다항식 형태로 나타내는 방법론이 시간에 따른 변위 정보를 MLP를 통해 학습하는 deformation 기반의 방법론보다 동적 장면에 대한 복원력이 뛰어남을 나타낸다. 또한 M-PSNR 지표에서도 높은 점수를 보여주어 동적 영역과 정적 영역 시간적 일관성이 뛰어남을 확인할 수 있다. 반면, PSNR 점수가 가장 낮은 SC-GS^[4]가 M-PSNR에서 가장 높은 것을 확인할 수 있다. 이는 전체 Gaussian들의 변형을 개별적으로 예측하는 다른 deformation 기반의 모델들에 비해 특정 제어점을 통해 동적 영역을 표현하는 방법론이 정적인 영역을 훼손하지 않고 일관성을 높여주는 것을 나타낸다. 또한 3DGS^[1]는 다른 알고리즘에 비해 모든 지표에서 성능이 떨어졌는데, 이는 frame 별로 Gaussian을 독립적으로 학습하는 방법론보다 canonical Gaussian에 시간에 따른 deformation 값을 예측하는 방법론이 일관성 및 동적 장면을 복원하는 성능이 뛰어남을 나타낸다.

Table 2.

Quantitative results of 3DGS[1], Deformable-3DGS[2], 4D-GS[3], SC-GS[4], and Spacetime[5] on Neural 3D Video dataset[8]

Table 3.

Quantitative results of 3DGS[1], Deformable-3DGS[2], 4D-GS[3], SC-GS[4], and Spacetime[5] on ETRI dataset

표 4는 위 실험 결과를 바탕으로 각 모델의 특징 및 장단점을 합성 품질(Quality), 시간적 일관성(Temporal consistency), 학습 시간(Training time), 프레임 레이트(FPS)로 비교 정리한 것이다. 먼저, Deformable-3DGS^[2]는 추가적인 MLP를 통해 동적 영역에 대한 표현력을 강화하여 시간적 일관성을 유지하지만, 학습 시간이 오래 걸리는 단점이 있다. 반면, 4D-GS^[3]는 Deformable-3DGS^[2]보다 Light-weight MLP로 교체함으로써 학습 시간을 단축시켰으나, 성능 차이를 Hexplane이 완전히 보완하지 못해 시간적 일관성이 저하되었다. 이로 인해 그림 6에서 볼 수 있듯이, 랜더링된 이미지에 흐릿해지는 아티팩트가 발생한다. 한편, SC-GS^[4]는 제어점의 deformation만을 학습함으로써 정적 영역에서의 잘못된 모션 추정을 방지하여 시간적 일관성이 높지만, 학습 시간이 오래 걸린다는 단점이 있다. 마지막으로, Spacetime^[5]은 Deformation Network 기반 알고리즘들에 비해 빠른 학습 시간과 가장 높은 프레임 레이트를 보여준다. 또한, 시간에 따른 특성을 추가하여 변형을 학습하는 방법론이 동적 및 정적 영역 모두에서 뛰어난 시간적 일관성을 유지하며, 특징 벡터를 이용해 색상을 표현함으로써 높은 퀄리티의 이미지를 합성이 가능하다.

Table 4.

Comparison of advantages and disadvantages of each model

Fig. 6.

Qualitative results of 3DGS, 4D-GS[3], Deformable-3DGS[2], SC-GS[4], and Spacetime[5] on Neural 3D Video dataset[8]

2. 정성 평가

그림 6은 각 알고리즘의 성능을 비교한 결과를 보여준다. 먼저 Cut_roasted_beef와 Flame_steak 데이터에서, 4D-GS^[3] 알고리즘은 객체들의 움직임을 세밀하게 추정하지 못하여 동적 영역의 복원력이 떨어졌고, 남자의 얼굴 영역에서 아티팩트가 발생하여 시공간적 일관성이 부족함을 확인할 수 있었다. Deformable-3DGS^[2]는 4D-GS^[3]보다 동적 영역의 모션을 더 잘 표현하였으나, 역시 동적 영역에 아티팩트가 발생하였고, 강아지의 몸통 부분이 사라져 시간적 일관성이 저하된 것을 확인할 수 있었다. SC-GS^[4]의 경우, 집게와 불과 같은 복잡한 모션을 세밀하게 추정하지 못하여 동적 영역의 복원력이 낮았다. Spacetime^[5]은 전반적으로 잘 복원되었지만, 정적 영역에서 모션이 잘못 학습되어 아티팩트가 발생했다. 마지막으로 Coffee_martini 데이터에서 Deformable-3DGS^[2]와 SC-GS^[4]는 모션을 정확히 추정하여 시간적 일관성은 높았으나, 배경 영역의 Gaussian 자체를 제대로 복원하지 못해 정적 영역에서의 복원에 실패했다. Spacetime^[5]은 동적 및 정적 영역 모두에서 전반적으로 높은 성능을 보여주었으나, 정적 영역에서 아티팩트로 인해 깜빡거림(flicker) 현상이 발생한 것을 확인할 수 있었다.

그림 7은 각 알고리즘의 성능을 비교한 결과를 보여준다. 먼저 S01t01와 S01t08 데이터에서, 4D-GS^[3] 알고리즘은 객체들의 움직임을 세밀하게 추정하지 못하여 동적 영역의 복원력이 떨어져 손이 사라지고 손에 든 물체가 없어지는 등의 결과를 보였고, 남자의 어깨 영역에서 아티팩트가 발생하여 시공간적 일관성이 부족함을 확인할 수 있었다. Deformable-3DGS^[2]는 4D-GS^[3]보다 동적 영역의 모션을 더 잘 표현하였으나, 역시 동적 영역에 아티팩트가 발생하였다. SC-GS^[4]의 경우, 모션이 큰 S01t01 데이터의 몸쪽이 합성되지 않아 동적 영역의 복원력이 매우 낮았고 마찬가지로 S01t08 데이터에서도 모션이 큰 부분이 blur하게 표현되는 등 동적 영역 표현에 문제를 가졌다. Spacetime^[5]은 전반적으로 잘 복원되었지만, 정적 영역에서 모션이 잘못 학습되어 아티팩트가 발생했다.

Fig. 7.

Qualitative results of 3DGS, 4D-GS[3], Deformable-3DGS[2], SC-GS[4], and Spacetime[5] on ETRI dataset

결론적으로, Spacetime^[5]이 동적 및 정적 영역에서 가장 우수한 성능을 보였다. 이 알고리즘은 다른 Deformation 기반 알고리즘에 비해 복잡한 모션을 더 잘 학습하고, 정적 영역의 복원력이 뛰어났다. SC-GS^[4]는 정적 영역의 일관성에서는 가장 높은 성능을 보였으나, 정적 영역 자체의 복원력은 떨어졌고, 모션이 복잡한 데이터에 취약한 것으로 나타났다. 이는 전체 Gaussian의 모션을 학습하지 않고, 제어점들의 변위 정보를 보간하는 방식으로 표현하기 때문에 모션이 흔들리거나 번지는 현상이 발생했다. Deformable-3DGS^[2]와 4D-GS^[3]는 모션 영역이 커질수록 표현력이 떨어져 시간적 일관성을 유지하지 못하였으며 정적 영역의 복원력도 저하되는 결과를 보였다.