단일 RGB 영상으로부터 Normal-to-3DMM 회귀를 통한 3차원 얼굴 복원

1. 3차원 얼굴 복원을 위한 회귀 기반 방법

회귀 기반 3차원 얼굴 복원 방법은 입력 영상으로부터 3DMM 파라미터를 직접 예측하도록 신경망을 학습하는 방식이다. 이러한 접근은 반복적인 최적화 과정을 필요로 하지 않으므로 매우 빠른 추론 속도를 제공하며, 실시간 응용이 요구되는 증강현실 및 가상현실 환경에서 널리 활용되고 있다. 대표적인 회귀 기반 방법으로는 PRNet^[3], 3DDFAv2^[4], DECA^[5], TokenFace^[6] 등이 있으며, 단일 RGB 영상만을 이용하여 얼굴 기하를 효과적으로 복원할 수 있음을 보였다. 그러나 회귀 기반 방법은 입력 RGB 영상과 고차원의 3DMM 파라미터 공간 간의 복잡한 비선형 매핑을 학습해야 하므로 대규모 학습 데이터에 대한 의존성이 높고, 픽셀 단위의 명시적인 기하학적 제약이 부족하여 정밀한 표면 기하 복원에는 취약한 경향을 보인다.

2. 3차원 얼굴 복원을 위한 최적화 기반 방법

최적화 기반 3차원 얼굴 복원 방법은 포토메트릭 오차, 랜드마크 오차, 기하학적 정합 오차 등 명시적으로 정의된 비용 함수들을 최소화함으로써 3DMM 파라미터를 추정하는 방식이다. 이러한 접근은 분석-합성(analysis-by-synthesis) 구조에 기반하여 높은 해석 가능성과 기하학적 제어 가능성을 제공한다. FlowFace^[1]는 광학 흐름(optical flow)을 활용하여 프레임 간 기하학적 일관성을 에너지 항으로 모델링하고, 이를 기반으로 비디오 시퀀스 전반에 대해 3DMM 파라미터를 반복적으로 최적화하는 방법을 제안하였으며, VHAP^[2] 역시 다중 프레임 공동 최적화를 통해 높은 기하학적 정확도와 시간적 일관성을 달성하였다. 그러나 이러한 최적화 기반 방법들은 반복적인 에너지 최소화 과정으로 인해 계산 비용이 크고, 입력 프레임 수가 증가할수록 추론 속도가 저하되어 실시간 응용에 적용하기에는 한계를 가진다.

3. 3차원 얼굴 복원을 위한 하이브리드 방법

하이브리드 방법은 회귀 기반 예측과 최적화 기반 정제를 결합하여 두 접근 방식의 장점을 동시에 활용하고자 하는 방법이다. 일반적으로 딥러닝 기반 회귀 모델을 통해 얼굴 기하에 대한 초기 추정을 수행한 후, 명시적인 기하학적 제약을 포함한 비용 함수의 최적화를 통해 복원 결과를 정제한다. Pixel3DMM^[7]은 이러한 하이브리드 접근의 대표적인 사례로, 단일 RGB 영상으로부터 픽셀 단위의 표면 노말 맵과 UV 맵을 예측하고 이를 기반으로 3DMM 파라미터를 최적화함으로써 높은 복원 정확도를 달성하였다. 그러나 반복적인 최적화 과정을 필수적으로 포함하므로 계산 비용이 크며, 정확도와 계산 효율성 간의 상충 관계로 인해 추론 속도 측면에서 여전히 개선의 여지가 남아 있다.

1. 제안 방법의 개요

제안하는 방법은 입력 단일 RGB 영상에 기존의 off-the-shelf 모델을 적용하여 2.5차원의 중간 기하 정보를 획득한 후 이를 기반으로 FLAME 파라미터를 회귀하는 두 단계 구조를 가진다.

첫 번째 단계에서는 한 사람의 얼굴을 포함하는 입력 RGB 영상 $$ I\in {\mathbb{R}}^{256\times 256\times 3}$$에 Pixel3DMM^[7]과 FaRL^[11]을 적용하여 노말 맵 $$ N\in {\mathbb{R}}^{256\times 256\times 3}$$과 분할 마스크(segmentation mask) $$ S\in {\left\{\mathrm{0,1}\right\}}^{256\times 256\times K}$$를 획득한다. 여기서 K는 분할 영역의 클래스 수이다.

두 번째 단계에서는 제안하는 N2FNet이 앞서 획득된 노말 맵 N과 분할 마스크 S로부터 FLAME 파라미터 $$ \mathrm{\Omega }=\left\{\beta ,\theta ,\psi ,\gamma \right\}$$와 카메라 파라미터 $$ C=\left\{R,t\right\}$$를 추정한다. FLAME 파라미터 $$ \beta \in {\mathbb{R}}^{300}$$, $$ \theta \in {\mathbb{R}}^6$$, $$ \psi \in {\mathbb{R}}^{100}$$, $$ \gamma \in {\mathbb{R}}^2$$는 각각 얼굴의 형상(shape), 턱 관절의 회전(jaw rotation), 표정(expression), 그리고 눈꺼풀의 개폐 상태를 나타낸다. 이러한 파라미터는 미분 가능한 FLAME 디코더에 입력되어 5,023개의 정점들로 구성된 메쉬 $$ M\in {\mathbb{R}}^{5023\times 3}$$가 출력된다. 카메라의 외부 파라미터 $$ R\in \mathrm{S}\mathrm{O}\left(3\right)$$과 $$ t\in {\mathbb{R}}^3$$는 각각 얼굴의 3차원 회전과 평행이동(translation)을 나타낸다. 내부 파라미터인 초점거리(focal length) $$ f\in \mathbb{R}$$와 주점(principal point) $$ c\in {\mathbb{R}}^2$$는 사전에 주어졌다고 가정한다. 본 연구에서는 카메라 파라미터에 대한 정확한 추정을 목표로 하지 않는다. 카메라 파라미터는 복원된 메쉬가 입력 얼굴 영상에 잘 정렬되게끔 하는 역할만을 수행한다. 제안하는 방법의 개요는 그림 1에 제시되어 있다.

Fig. 1.

Overview of the proposed 3D face reconstruction method

2. N2FNet

N2FNet은 먼저 입력 분할 마스크에서 얼굴 영역만을 선택하여 이진 얼굴 마스크 $$ S_{\text{face}}\in {\left\{\mathrm{0,1}\right\}}^{256\times 256}$$를 구성한 후 이에 기반하여 얼굴 영역 노말 맵 $$ N_{\text{face}}\in {\mathbb{R}}^{256\times 256\times 3}$$을 계산한다:

여기서 ⊙는 원소별 곱(element-wise multiplication)을 나타낸다. 얼굴 영역 노말 맵 $$ N_{\text{face}}$$은 DINOv3^[12] 백본을 통해 패치 토큰 시퀀스 $$ T\in {\mathbb{R}}^{N\times d}$$로 변환된다. 여기서 N과 d는 각각 토큰 개수와 차원을 나타낸다. 패치 토큰 시퀀스는 FLAME 모듈과 카메라 모듈에 입력되어 FLAME 파라미터와 카메라 파라미터가 출력된다.

FLAME 모듈에서는 T가 트랜스포머 $$ {Block}_{\text{F}}\left(\cdot \right)$$를 통과한 후 풀링되어 전역 특징 $$ f_{\mathrm{F}}\in {\mathbb{R}}^d$$으로 변환된다. 여기서 $$ {Block}_{\mathrm{F}}\left(\cdot \right)$$는 d의 입출력 차원을 가지는 단일 레이어로 구성된 트랜스포머 인코더^[13]로서 다중 헤드 셀프 어텐션(multi-head self-attention)과, GELU^[16] 활성화 함수를 사용하는 순전파 신경망(feed-forward network; FFN)으로 구성된다. 이어서 다층 퍼셉트론(multi-layer perceptron; MLP) $$ g_{\mathrm{F}}\left(\cdot \right)$$에 의해 FLAME 파라미터 Ω가 추정된다:

카메라 모듈은 FLAME 모듈과 동일한 구조를 가진다. 패치 토큰 시퀀스 T는 트랜스포머 $$ {Block}_{\text{C}}\left(\cdot \right)$$를 통과한 후 풀링되어 전역 특징 $$ f_{\mathrm{C}}\in {\mathbb{R}}^d$$로 변환된다. 이어서 MLP $$ g_{\mathrm{C}}\left(\cdot \right)$$에 의해 카메라 파라미터 C가 추정된다:

FLAME 모듈에 의해 획득된 FLAME 파라미터 Ω는 FLAME 디코더에 입력되어 얼굴 메쉬 $$ M\in {\mathbb{R}}^{5023\times 3}$$이 출력된다. 이는 카메라 모듈에 의해 획득된 카메라 파라미터 C, 초점거리 f, 주점 c에 기반해 렌더링 되어 노말 맵 $$ N_{\text{face}}$$과 얼굴 분할 맵 $$ S_{\text{face}}$$가 얻어진다. 또한 메쉬를 구성하는 정점들 중 선택된 68개의 3차원 랜드마크 $$ {lmk}_{3D}\in {\mathbb{R}}^{68\times 3}$$ 역시 스크린 좌표계 위로 투영되어 2차원 랜드마크 $$ {lmk}_{2D}\in {\mathbb{R}}^{68\times 2}$$가 얻어진다. 노말 맵, 얼굴 분할 맵, 그리고 2차원 랜드마크는 N2FNet의 학습을 위한 손실 함수를 위해 사용된다. N2FNet의 자세한 구조는 그림 2에 제시되어 있다.

Fig. 2.

Details of the N2FNet architecture

3. 학습 방법

제안하는 N2FNet의 학습을 위한 손실 함수는 다음과 같다. 먼저 FLAME 모듈에서 추정된 FLAME 파라미터 Ω와 그 참값 $$ {\mathrm{\Omega }}^{\mathrm{*}}=\left\{{\beta }^{\mathrm{*}},{\theta }^{\mathrm{*}},{\psi }^{\mathrm{*}},{\gamma }^{\mathrm{*}}\right\}$$에 대한 L2 차이로 정의되는 파라미터 손실이다:

다음은 노말 맵 $$ N_{\text{face}}$$, 얼굴 분할 맵 $$ S_{\text{face}}$$, 그리고 2차원 랜드마크 $$ lm{k}_{2D}$$와 그에 대응하는 참값 $$ N_{\text{face}}^{\mathrm{*}}$$, $$ S_{\text{face}}^{\mathrm{*}}$$, $$ lm{k}_{2\mathrm{D}}^{\mathrm{*}}$$ 사이의 코사인 거리(cosine distance) 및 L2 차이로 정의되는 렌더링 손실이다:

여기서 $$ d_{cos}\left(\mathit{x},\mathit{y}\right)=1-\frac{{\mathit{x}}^{\top }\mathit{y}}{‖\mathit{x}‖‖\mathit{y}‖}$$는 코사인 거리를 의미한다.

본 연구에서는 안정적인 학습을 위해 두 단계 학습 방식을 사용한다. 첫 번째 단계에서는 백본과 FLAME 모듈만을 학습하여 입력 노말 맵으로부터 형상, 표정, 자세 정보를 안정적으로 회귀하도록 한다. 두 번째 단계에서는 백본과 FLAME 모듈을 고정하고, 카메라 모듈을 학습한다. 첫 번째 단계와 두 번째 단계에서는 각각 파라미터 손실과 렌더링 손실이 사용된다. 이러한 두 단계 학습 방식은 그림 3에 제시되어 있다.

Fig. 3.

Two-stage training strategy for N2FNet

4. 합성 데이터셋 생성 방법

본 연구에서는 N2FNet의 학습을 위해 FLAME 파라미터에 대한 샘플링과 렌더링 과정을 통해 합성 데이터셋을 구축하였다. 먼저 FLAME 파라미터 $$ {\mathrm{\Omega }}^{\mathrm{*}}=\left\{{\beta }^{\mathrm{*}},{\theta }^{\mathrm{*}},{\psi }^{\mathrm{*}},{\gamma }^{\mathrm{*}}\right\}$$, 카메라 파라미터 $$ C_{\text{orig}}^{\mathrm{*}}=\left\{R_{\text{orig}}^{\mathrm{*}},t_{\text{orig}}^{\mathrm{*}}\right\}$$, 초점거리 $$ f_{\text{orig}}^{\mathrm{*}}$$, 그리고 주점 $$ c_{\text{orig}}^{\mathrm{*}}$$를 가우시안 분포에 기반하여 샘플링한다. 샘플링된 $$ {\mathrm{\Omega }}^{\mathrm{*}}$$를 FLAME 디코더에 입력하여 메쉬 $$ M^{\mathrm{*}}$$를 획득한 후 3차원 랜드마크 $$ lm{k}_{2\mathrm{D}}^{\text{orig}}$$를 얻는다. 샘플링된 $$ C_{\text{orig}}^{\mathrm{*}}$$, $$ f_{\text{orig}}^{\mathrm{*}}$$, 그리고 $$ c_{\text{orig}}^{\mathrm{*}}$$를 사용해 $$ lm{k}_{3\mathrm{D}}^{\text{orig}}$$를 스크린 좌표계로 투영하여 2차원 랜드마크 $$ lm{k}_{2\mathrm{D}}^{\text{orig}}$$를 얻는다. DECA^[5]의 전처리 방법을 따라 투영된 랜드마크 $$ lm{k}_{2\mathrm{D}}^{\text{orig}}$$의 최소/최대 좌표를 이용해 얼굴 바운딩 박스(bounding box) $$ b=\left(x_0,y_0,w,h\right)$$를 정의한다. 정사각형 얼굴 영역을 크롭(crop)하기 위해 패딩(padding) 계수 α를 도입하여, 바운딩 박스의 한 변 길이를 $$ side=\text{max}\left(w,h\right)\cdot \alpha $$로 정의한다. 얼굴 정렬(face alignment)을 통해 크롭된 정사각형 얼굴 영상에 대응하는 카메라 파라미터 $$ C^{\mathrm{*}}=\left\{R^{\mathrm{*}},t^{\mathrm{*}}\right\}$$, 초점거리 $$ f^{\mathrm{*}}$$, 그리고 주점 $$ c^{\mathrm{*}}$$는 다음과 같이 획득된다:

여기서 $$ S_{\text{orig}}$$는 투영 및 바운딩 박스 계산이 이루어지는 원본 영상의 해상도이며, $$ S_{\text{out}}$$은 N2FNet의 입력 영상 해상도(=256)를 의미한다. 샘플링된 FLAME 파라미터 $$ {\mathrm{\Omega }}^{\mathrm{*}}$$, 카메라 파라미터 $$ C^{\mathrm{*}}$$, 초점거리 $$ f^{\mathrm{*}}$$, 그리고 주점 $$ c^{\mathrm{*}}$$에 FLAME 디코더와 렌더러를 적용해 노말 맵 $$ N^{\mathrm{*}}$$, 얼굴 분할 맵 $$ S^{\mathrm{*}}$$, 2차원 랜드마크 $$ lm{k}_{2\mathrm{D}}^{\mathrm{*}}$$를 얻을 수 있다.

1. 구현 세부사항

N2FNet의 백본으로 ImageNet-1K 데이터셋^[14]과 대규모 웹 데이터 LVD-1689M^[12]에 의해 사전 학습된 DINOv3-ViT-L/16^[12]을 사용하였다. 이 백본은 d = 1,024 차원의 패치 임베딩을 출력한다. FLAME 및 카메라 모듈의 트랜스포머 인코더에서 다중 헤드의 개수와 FFN의 은닉층(hidden layer) 차원은 각각 16과 4 × d = 4,096으로 설정된다.

합성 데이터셋 생성 과정에서 FLAME 파라미터 $$ {\mathrm{\Omega }}^{\mathrm{*}}$$에 대한 분포는 $$ {\beta }^{\mathrm{*}}\sim \mathcal{N}\left(0,{0.8}^2\right)$$, $$ {\theta }_x^{\mathrm{*}}\sim \mathcal{N}\left(0,{\left({15}^{\circ }\right)}^2\right)$$, $$ {\theta }_{y,z}^{\mathrm{*}}\sim \mathcal{N}\left(0,{\left(5^{\circ }\right)}^2\right)$$, $$ {\psi }^{\mathrm{*}}\sim \mathcal{N}\left(0,{0.5}^2\right)$$, $$ {\gamma }^{\mathrm{*}}\sim \mathcal{N}\left(0,{0.3}^2\right)$$으로 설정된다. 여기서 얼굴의 형상($$ {\beta }^{\mathrm{*}}$$), 표정($$ {\psi }^{\mathrm{*}}$$), 눈꺼풀의 개폐 상태($$ {\gamma }^{\mathrm{*}}$$)는 실제 사람의 얼굴과 유사한 형태를 유지하면서도 적절한 다양성을 확보할 수 있도록 실험을 통해 결정되었다. 턱관절의 회전($$ {\theta }^{\mathrm{*}}$$)은 해부학적 범위를 준수하되, 학습의 강건성을 고려하여 설정하였다. 카메라 파라미터 $$ C_{\text{orig}}^{\mathrm{*}}$$의 회전 $$ R_{\text{orig}}^{\mathrm{*}}$$을 결정하는 오일러 각 $$ {\varphi }^{\mathrm{*}}$$는 $$ {\varphi }_x^{\mathrm{*}}\sim \mathcal{N}\left(0,{\left({15}^{\circ }\right)}^2\right)$$, $$ {\varphi }_y^{\mathrm{*}}\sim \mathcal{N}\left(0,{\left({20}^{\circ }\right)}^2\right)$$, $$ {\varphi }_z^{\mathrm{*}}\sim \mathcal{N}\left(0,{\left({10}^{\circ }\right)}^2\right)$$로 설정되며, 평행이동 $$ t_{\text{orig}}^{\mathrm{*}}$$은 $$ t_{x,y}^{\mathrm{*}}\sim \mathcal{N}\left(0,{0.02}^2\right)$$, $$ t_z^{\mathrm{*}}\sim \mathcal{N}\left(1.0,{0.2}^2\right)$$의 분포로 설정된다. 여기서 $$ t_{\text{orig}}^{\mathrm{*}}$$의 단위는 m이다.

파라미터 손실 함수 $$ L_{\text{param}}$$에 대한 λ는 $$ {\lambda }_{\beta }=10$$, $$ {\lambda }_{\theta }=10$$, $$ {\mathrm{\lambda }}_{\psi }=100$$, $$ {\mathrm{\lambda }}_Y=10$$으로 설정되었다. 렌더링 손실 함수 $$ L_{\text{render}}$$에 대한 λ는 $$ {\lambda }_{N_{\text{face}}}=1$$, $$ {\lambda }_{S_{\text{face}}}=10$$으로 설정된다. $$ {\lambda }_{lm{k}_{2D}}$$는 합성 데이터셋 학습에서는 100, 실제 데이터셋 학습에서는 10000으로 설정되었다. 이는 실험을 통해 경험적으로 결정된 값이다.

손실 함수의 최소화를 위해 Adam 옵티마이저^[15]를 사용하였으며, 배치 크기는 16으로 설정하였다. 학습의 첫 번째 단계에서는 백본과 FLAME 모듈의 학습률(learning rate)을 각각 1e-6과 1e-3으로 설정하였다. 다만 입력 노말 맵에 대한 백본의 적응도를 높이기 위해 백본에서 가장 앞 단에 위치한 2차원 합성곱 계층(2D convolutional layer)의 학습률은 백본 내 다른 부분보다 상대적으로 큰 1e-3으로 설정하였다. 두 번째 단계에서 카메라 모듈의 학습률은 1e-4로 설정하였다. 학습률 스케줄링을 위해 선형 웜업(linear warmup)이 포함된 코사인 어닐링(cosine annealing) 방식^[16]을 채택하였다. 학습은 NVIDIA RTX 4090 GPU 1개에서 총 200K 스텝 동안 진행되었다. 학습 과정에서 일정 주기마다 검증 데이터셋에 대한 평가를 수행하여 최고의 성능을 보이는 모델 가중치를 선택하여 최종 평가에 사용하였다. 추론 속도에 대한 평가는 단일 NVIDIA RTX 3090 GPU에서 수행되었다.

2. 데이터셋

본 연구에서는 N2FNet의 학습을 위해 III.4절에서 제안된 합성 데이터셋을 사용하였다. 학습 반복(iteration) 마다 샘플링을 통해 새로운 데이터셋을 생성하여 모델의 일반화 성능을 향상시키고자 하였다. 합성 데이터셋 생성을 위한 FLAME 디코더와 렌더러는 Pixel3DMM^[7]의 구현을 따른다.

하지만 합성 데이터셋에 포함된 노말 맵과 실제 영상에서 추출된 노말 맵 사이에는 텍스처 디테일이나 머리카락과 같은 도메인 차이가 존재한다. 이러한 도메인 차이를 해소하기 위해 실제(real) 데이터셋을 활용한 추가적인 미세 조정(fine-tuning)을 수행한다. 이러한 미세 조정 과정에서도 III.3절에서의 두 단계 학습 방식을 사용한다.

첫 번째 단계에서는 백본 및 FLAME 모듈의 미세 조정을 위해 고해상도 얼굴 데이터셋인 CelebA-HQ^[17]를 활용하였다. 해당 데이터셋은 참값 FLAME 파라미터를 포함하지 않으므로 최적화 기반의 state-of-the-art(SOTA) 방법인 Pixel3DMM을 통해 추정된 FLAME 파라미터를 파라미터 손실을 위한 의사 참값(pseudo-GT)으로 사용하였다.

두 번째 단계에서는 카메라 모듈의 미세 조정을 위해 다양한 자세와 표정을 가진 실환경(in-the-wild) 영상들로 구성된 300W^[18]를 활용하였다. Pixel3DMM과 FaRL을 통해 얻어진 노말 맵과 얼굴 마스크를 렌더링 손실을 위한 의사 참값으로 사용하였다. 또한 해당 데이터셋에 포함된 2차원 랜드마크는 렌더링 손실을 위한 참값으로 사용하였다.

제안하는 방법의 평가에는 Multiface^[10] 데이터셋이 사용되었다. 이는 여러 카메라 시점에서 다양한 표정을 짓는 13명의 휴먼 객체가 특정 문장을 말하는 동작이 촬영된 다시점 얼굴 시퀀스로 구성되어 있다. 본 논문의 평가 벤치마크 구성을 위해 FlowFace^[1]를 참고하였는데, 공식 코드의 부재로 인해 해당 논문에 명시된 절차를 참고하여 10명의 휴먼 객체에 대한 평가 벤치마크를 직접 재구축하여 사용하였다.

3. 평가 지표

평가 지표로는 CD(chamfer distance), MNE(mean normal error), CR(completeness rate), NME(normalized mean error), FPS(frame per second)를 사용하였다. CD의 계산은 Now 벤치마크^[19]에서 제안된 방식을 따른다. 즉, 복원된 얼굴 메쉬와 참값 메쉬 사이의 강체 정렬을 수행한 후, 정렬된 두 메쉬 간의 평균 점-대-점(vertex-to-vertex) 거리가 계산된다. 이는 카메라 파라미터의 영향이 배제된 FLAME 파라미터 추정의 정확도를 나타낸다. MNE와 CR의 계산은 [20]을 따른다. MNE는 참값 메쉬의 각 정점과 이에 대응되는 복원된 메쉬 표면 상의 가장 가까운 점 사이의 법선 벡터 차이의 평균으로 정의된다. 이는 단순한 좌표 거리 오차(CD)로는 포착하기 어려운 피부의 곡률 등 표면 복원의 품질을 나타낸다. CR은 참값 메쉬의 전체 정점 중 복원된 메쉬와의 거리가 특정 임계값(2mm) 이내인 점들의 비율(%)로 정의되며, 형상이 누락 없이 얼마나 완전하게 복원되었는지를 나타낸다. NME는 카메라 파라미터 추정 및 2차원 랜드마크 정렬의 정확성을 평가하기 위해 사용된다. 이는 복원된 3차원 얼굴 랜드마크를 영상 평면에 투영한 좌표와 2차원 참값 랜드마크 좌표 사이의 유클리드 거리를 계산한 뒤, [18]의 기준에 따라 양 눈 사이의 거리로 나누어 정규화한 값이다. 마지막으로 FPS는 초당 복원된 얼굴 영상의 개수로 정의되며 모델의 추론 속도를 나타낸다.

4. 절제 실험

표 1은 각각 Ⅲ.3과 Ⅳ.2에서 제안된 두 단계 학습 방법과 실제 데이터 기반 미세 조정의 효과를 보여준다. 얼굴 영역(face)에 대한 전체적인 복원 성능(CD) 관점에서, 제안하는 두 단계 학습 방법(+two-stage training)은 백본, FLAME 모듈, 카메라 모듈을 동시에 학습하는 방법(baseline)보다 더 나은 결과(1.19mm)를 보여준다. 이는 카메라 파라미터를 함께 추론하도록 하는 것이 FLAME 파라미터 추정 성능 향상에 기여하지 못함을 의미한다. 또한 실제 데이터셋 기반의 미세 조정(+fine-tuning on real data) 역시 얼굴 복원 성능의 추가적인 향상(1.18mm)을 가져온다. 이러한 결과는 2차원 랜드마크 추정 성능(NME)에서도 관찰된다. 특별히 실제 데이터 기반 미세 조정이 6.64에서 5.50으로 성능을 약 17.2% 개선하였다. FLAME 복원 성능(CD)의 개선 폭이 상대적으로 제한적인 이유는, 실제 데이터 기반 미세 조정에서 사용되는 FLAME 파라미터 감독 신호가 기존 추정 결과에 기반한 간접적인 형태이기 때문으로 해석될 수 있다. 반면 투영 기반 지표인 NME는 정렬 정확도의 향상에 직접적인 영향을 받기 때문에 상대적으로 더 큰 성능 개선이 관찰된다. 이는 앞선 FLAME 복원과 달리 정확한 카메라 파라미터 복원을 위해서는 실제 데이터를 학습에 활용하는 것이 필요함을 보여준다.

Table 1.

Ablation results on the Multiface and 300W datasets

그림 4는 합성 데이터셋만으로 학습된 모델(w/o fine-tuning)과, 실제 데이터셋으로 미세 조정을 수행한 모델(Ours)의 정성 결과를 함께 보여준다. 좌측부터 입력 영상, 입력 노말 맵, 합성 데이터셋 만으로 학습된 모델이 복원한 노말 맵과 2차원 랜드마크, 실제 데이터셋으로 미세 조정을 수행한 모델이 복원한 노말 맵과 2차원 랜드마크이다. 2차원 랜드마크의 경우 초록색과 빨간색은 각각 참값과 예측 값을 의미한다. 시각화 결과, 머리카락에 의해 얼굴의 일부가 가려진 경우(2행)와 가려짐이 적은 일반적인 경우(1, 3행) 모두 정렬 오차가 감소하였다. 결론적으로, 실제 데이터셋에 대한 미세 조정을 통해 합성 데이터와 실제 데이터 간의 도메인 차이를 줄여 전반적인 정렬 성능이 향상되었고, 머리카락과 같은 국소적 가려짐에 대해서도 강건성이 확보되었음을 알 수 있다.

Fig. 4.

Qualitative results of fine-tuning ablation on real data

표 2는 제안하는 N2FNet의 입력 구성에 따른 복원 성능(CD)을 비교한 절제 실험 결과이다. UV 맵과 노말 맵을 둘 다 사용하는 경우(UV + normal)는 그 둘을 먼저 동일한 범위(-1,1)로 정규화 한 후 채널 단위로 단순 결합(concatenation)하였다. 실험 결과, 제안하는 방법에서 채택한 노말 맵 단독 입력(normal (ours))의 경우 1.18mm의 가장 낮은 오차를 보였다. 이러한 결과는 UV 맵에서 FLAME 파라미터로의 매핑이 제안하는 N2FNet에서의 normal-to-FLAME 매핑에 비해 상대적으로 학습하기 어렵기 때문으로 생각된다.

Table 2.

Ablation results with UV map and normal map inputs on the Multiface dataset

5. 기존 방법과의 정량적 비교

우리는 제안 방법을 얼굴 영상으로부터 직접 3DMM 파라미터를 회귀하는 방식인 DECA^[5], EMOCA^[21], SMIRK^[22]와, 영상으로부터 2.5차원 기하 정보를 추출한 후 이를 이용해 3DMM 파라미터를 최적화하는 Pixel3DMM^[7]과 정량적으로 비교하였다. Multiface 데이터셋에 대한 평가 결과는 표 3에 제시된다.

Table 3.

Quantitative comparison with existing methods on the Multiface dataset

표 3의 결과에 따르면, 최적화 기반 방법인 Pixel3DMM은 CD, MNE, CR 측면에서 가장 우수한 성능을 보이며 높은 기하학적 정확도를 달성하였다. 그러나 FPS가 0.27에 불과하여 추론 속도는 가장 느린 것으로 나타났다. 반면 회귀 기반 방법인 DECA, EMOCA, SMIRK는 빠른 추론 속도를 보이지만, 기하학적 복원 정확도는 상대적으로 낮은 성능을 보였다. 제안 방법은 Pixel3DMM과 비교할 때 CD(4.42%), MNE(3.52%), CR(2.38%) 측면에서 성능이 소폭 감소하였으나, FPS는 2,378% 향상되어 추론 속도 측면에서 큰 개선을 달성하였다. 또한 회귀 기반 방법 중 가장 우수한 성능을 보인 SMIRK와 비교하면, CD(11.94%), MNE(10.98%), CR(6.60%) 측면에서 뚜렷한 정확도 향상을 보였으나 FPS는 93.60% 감소하여 추론 속도는 상대적으로 낮았다. 추가적으로, 분할 맵을 사용하지 않는 설정(Ours w/o seg)과 비교할 경우 제안 방법은 CD(2.48%)와 MNE(11.65%) 측면에서 복원 정확도가 향상되었으나, FPS는 32.28% 감소하여 추론 속도는 다소 저하되는 경향을 보였다.

6. 정성 결과

그림 5는 Multiface 데이터셋에서의 정성적 비교 결과를 보여준다. 왼쪽부터 입력 영상, 노말 맵, DECA, EMOCA, SMIRK, Pixel3DMM, 제안 방법의 복원된 FLAME 메쉬 및 컬러맵, 그리고 참값 메쉬를 순서대로 나타낸다. 컬러맵은 CD 오차를 시각화한 것으로, 빨간색에 가까울수록 오차가 크고 파란색에 가까울수록 오차가 작음을 의미한다. 정성적 비교 결과, DECA, EMOCA, SMIRK와 같은 회귀 기반 방법들은 전반적으로 입술, 광대 등 얼굴 형상의 세부적인 디테일이 일부 손실되는 경향을 보였다. 특히 DECA는 극단적인 표정(1행: 볼에 바람을 불어 넣는 표정, 2행: 입을 양 옆으로 크게 당겨 웃는 표정, 4행: 입술을 내미는 표정)을 충분히 복원하지 못하는 모습을 보인다. EMOCA는 DECA 대비 표정 표현 능력이 향상되었으나, 1행과 4행에서 볼 팽창과 입술 돌출을 완전히 재현하지 못한다. SMIRK는 극단적인 표정에 대해 DECA 및 EMOCA보다 전반적으로 정확한 복원 성능을 보이지만, 3행에서 부정확한 복원이 관찰되며 1행의 볼 팽창 역시 충분히 복원하지 못한다. Pixel3DMM은 최적화 기반 접근을 통해 전반적으로 안정적인 복원 성능을 보인다. 제안하는 방법 또한 안정적인 복원 성능을 보이며, 입술 윤곽, 얼굴 골격, 표정과 같은 세밀한 구조를 충실히 복원하는 모습을 확인할 수 있다. 제안하는 방법은 회귀 방법임에도 불구하고, 최적화 기반인 Pixel3DMM과 비교했을 때 정성적으로 유사한 수준의 복원 성능을 보인다.

Fig. 5.

Qualitative results on the Multiface dataset

그림 6은 CelebA-HQ 데이터셋에서의 정성적 비교 결과를 보여준다. 왼쪽부터 입력 영상, 입력 노말 맵, DECA, EMOCA, SMIRK, Pixel3DMM, 그리고 제안 방법의 복원된 FLAME 메쉬를 순서대로 나타낸다. 정성적 결과를 통해 제안 방법이 기존 방법들과 마찬가지로 실제 환경(in the wild) 데이터셋에서도 안정적으로 동작함을 확인할 수 있다. 세부적으로, DECA는 1행과 3행에서 나타나는 활짝 웃는 표정을 충분히 복원하지 못하는 경향을 보인다. EMOCA는 DECA 대비 1행과 3행의 웃는 표정을 비교적 잘 재현하지만, 2행의 자연스러운 입 벌림 표현은 정확히 복원하지 못한다. SMIRK는 DECA와 EMOCA보다 전반적으로 우수한 표정 복원 성능을 보이나, 3행의 웃는 표정에서 볼의 부풀어 오름과 얼굴 골격이 부정확하게 복원되는 문제가 관찰된다. Pixe3DMM은 전반적으로 충실히 복원하지만, 2행에서 왼쪽 눈꺼풀에 대해 복원이 실패한 모습을 보인다. 반면 제안하는 방법은 광대와 같은 얼굴 골격, 표정과 같은 세밀한 구조를 충실히 복원하는 것을 볼 수 있다.

Fig. 6.

Qualitative results on the CelebA-HQ dataset