3D 얼굴 외형 디지타이징 시스템 최적화를 위한 디지털 트윈 파이프라인 연구

Ⅰ. 서 론

컴퓨터 그래픽스와 시각효과 기술의 발전은 가상과 현실의 경계를 허무는 디지털휴먼을 제작 가능하게 한다. 디지털휴먼은 영화, 게임, 엔터테인먼트 등과 같이 다양한 산업에서 활용된다. 각각의 산업에서 디지털휴먼 활용은 관객과 상호작용을 통해 콘텐츠에 대한 높은 몰입감을 끌어내며, 가상과 실제 세계를 통합하는 공간을 만들어낸다^[1]. 특히 엔터테인먼트 산업에서 디지털휴먼을 통해 가상과 실제 경계를 허무는 사례들이 빈번하다. 우선 해외 ‘Brud’ 사에서 제작한 디지털휴먼 ‘Lil Miquela’를 살펴보면, SNS에서 자신의 생활을 공유하고 대중들과 소통하며 인플루언서 역할을 하고 있다. 국내에서는 메타버스 걸그룹인 ‘Aespa’를 시작으로, 넷마블 가상 걸그룹 ‘Mave’까지 대중들과 사회적 관계를 구축하며 대중들의 삶에 영향을 미치고 있다. ‘이머전 리서치’(Emergen Research)에 따르면 디지털휴먼 아바타 시장 규모는 2021년부터 연평균 36.4% 성장해 2030년에는 약 5,275억 달러에 이를 것으로 예측된다^[2]. 또한 2025년에는 디지털휴먼 인플루언서 비율이 인간의 비율을 넘어설 것으로 예측된다. 이는 디지털휴먼이 인플루언서 역할과 더불어 상업적 측면에서도 긍정적인 효과를 불러오는 것을 알 수 있다.

위에서 전술한 바와 같이 디지털휴먼이 블록버스터 영화, 트리플A 게임, 엔터테인먼트 산업 등에서 광범위하게 활용됨에 따라 디지털휴먼 수요가 높아지고 있다. 사실적인 디지털휴먼 제작에 있어 얼굴 외형은 사람을 식별하고 감정 전달에 중요한 역할을 한다. 이에 얼굴 외형, 피부 주름, 색과 같은 표면의 세부적 표현은 사실적인 디지털휴먼 표현에서 큰 비중을 차지한다. 따라서 VFX 스튜디오에서는 디지털휴먼 제작과 3D 얼굴 외형 디지타이징 파이프라인 연구를 확대하고 있다. VFX 스튜디오의 페이셜 디지타이징 파이프라인은 주로 포토그래메트리 방법론을 통해 페이셜 스캔 데이터를 취득한다. 포토그래메트리 방법론은 이미지를 분석하여 공간 및 물체의 정보를 얻어 3D 모델을 제작할 수 있는 방법론을 말한다^[3]. 초기 얼굴 외형 디지타이징 파이프라인은 ‘Debevec’이 개발한 ‘Lightstage’ 시스템으로 다수의 카메라를 통해 이미지를 취득하고 얼굴의 반사율을 캡처하여 사실적인 얼굴 외형을 제작 가능하게 되었다^[4]. 이후 ‘Alexander’는 ‘Lightstage’ 시스템과 페이셜 마커를 활용하여 고해상도의 얼굴 외형 스캔 데이터를 취득했다^[5]. 이에 디지털휴먼 얼굴 외형을 생성하는 데 있어 ‘Lightstage’ 시스템은 불쾌한 골짜기^[6]를 극복할 수 있는 계기를 마련하였다. 그러나 해당 시스템은 얼굴 스캔 데이터 취득 시간, 시스템 구축 비용, 전문인력 필요하다는 한계점이 존재한다. 따라서 최근 3D 얼굴 외형 디지타이징 시스템의 R&D 동향은 디지타이징 시스템 구축 비용을 줄이며 더 사실적인 디지털휴먼 얼굴 외형을 생성하는 것을 목표로 한다. 디지타이징 시스템 구성을 살펴보면 카메라, 조명, 렌즈 그리고 카메라 리그가 존재하며, 각각의 값과 형태에 따라 취득되는 이미지가 달라진다. 이러한 변수는 생성되는 얼굴 외형의 지오메트리에 영향을 미치고, VFX 스튜디오에서는 다양한 변수 실험을 통한 최적화 값을 도출해 얼굴 외형을 생성한다. 또한 시스템 구축 비용절감을 위해 카메라 및 조명 개수를 줄이고 디지타이징된 얼굴 외형 품질을 유지하고자 한다. 대표적으로 ‘Disney’ 스튜디오에서는 ‘Lightstage’보다 적은 카메라, 교차 편광, 평행 편광을 활용하여 미세한 피부 표면의 스캔 데이터를 획득하는 얼굴 외형 디지타이징 시스템을 제안했다^[7]. 또한 ‘Azinovic’은 스마트 폰과 편광 포일으로 시스템을 구축해 비용절감과 사실적인 디지털휴먼 얼굴 외형을 디지타이징하는 파이프라인을 제안했다^[8].

이처럼 3D 얼굴 외형 디지타이징 파이프라인 연구동향을 살펴보면, 디지타이징 시스템 구축 비용절감과 더불어 사실적인 디지털휴먼 얼굴 외형 생성에 중점을 두는 것을 알 수 있다. 그러나 기존 디지타이징 시스템 R&D 파이프라인은 시스템 구축 비용절감과 사실적인 디지털휴먼 얼굴 외형을 생성하는 데 한계점이 존재한다. 기존 R&D 파이프라인은 디지타이징 시스템에서 얼굴을 캡처해 이미지를 취득한 후 3D 얼굴 외형을 생성한다. 이후 생성된 3D 얼굴 외형을 기존 얼굴과 비교해 시스템의 카메라 위치, 렌즈 초점거리 등과 같은 질적변수를 수정하는 파이프라인이다. 그러나 기존 파이프라인은 질적변수를 노동집약적 방식의 수정으로 질적변수 최적화에 있어 시간비용이 소모된다. 또한 디지타이징 시스템을 통해 도출된 결과물과 사람 얼굴을 비교하는 정성적 방법으로 시스템 질적변수를 수정한다. 마지막으로 R&D 과정에서 구축된 디지타이징 시스템 자체에 결함이 있다면, 구축된 시스템은 활용할 수 없으며 이는 소규모의 VFX 스튜디오에서는 감당하기 어려운 비용이 된다. 따라서 본 연구에서는 기존 파이프라인의 한계점을 극복하고자 디지털 트윈을 활용한 3D 얼굴 외형 디지타이징 R&D 파이프라인을 제안한다. 제안된 파이프라인은 물리적공간의 디지타이징 시스템 특성을 반영한 가상공간의 디지털 트윈 환경 디지타이징 시스템으로 구성한다. 이후 구성된 가상공간에서의 시뮬레이션을 통해 디지타이징 중 발생되는 문제를 예측 및 해결하고 물리적공간에 적용한다. 제안된 파이프라인은 가상공간에서 시뮬레이션을 진행하여 기존 파이프라인 대비 시스템 수정에 있어 노동집약적 방식에서 탈피할 수 있다. 또한 방대한 시뮬레이션 데이터를 통해 디지타이징 과정에서 발생한 문제를 예측하기 가능하다는 장점이 있다. 더 나아가 기존 파이프라인의 경우 정성적평가 방법으로 질적변수를 수정하지만, 제안된 파이프라인은 가상공간 시스템에서 정량적평가를 통해 질적변수를 수정해 최적화한다. 이에 본 연구에서는 디지털 트윈으로 구성된 가상공간 시스템에서 시뮬레이션을 통한 생성된 얼굴 외형 데이터의 정량적 분석으로 디지타이징 시스템을 최적화하는 데 중점을 둔다. 따라서 제안된 디지털 트윈 기반 파이프라인은 더 사실적인 디지털휴먼 얼굴 외형 생성과 시스템 구축 비용절감 효과를 기대한다. 현재 디지털 트윈 방법론을 통해 제조업, 건축, 교육 등 다양한 산업에서는 데이터 생산 효율성을 높이며 파이프라인 개선을 하고 있다. 그러나 물리적공간을 가상공간으로 제작하는 VFX 산업에서의 디지털 트윈 도입은 미비한 상황이다. 따라서 본 연구에서 제안한 디지털 트윈 디지타이징 파이프라인을 통해 VFX 산업에서 디지털 트윈 도입 및 정립하는 데 도움을 줄 수 있으며, 이를 통해 전반적인 VFX 산업의 질적 향상을 기대한다.

Ⅱ. 연구 방법 및 범위

본 연구는 물리적공간의 디지타이징 시스템을 반영한 가상공간의 디지털 트윈 환경 디지타이징 시스템으로 구성해 디지털휴먼 얼굴 외형 디지타이징 시스템 파이프라인을 제안하는 연구이다. 이에 디지털 트윈 환경구성과 생성된 디지털휴먼 얼굴 외형의 정량적평가를 통해 디지타이징 질적변수를 통제 및 조절하고, 사실적인 얼굴 외형을 생성한다. 따라서 본 연구의 연구방법 및 범위는 디지털 트윈 디지타이징 파이프라인 구성을 위한 문헌연구, 디지털 트윈 환경 구성 방법 및 제안된 파이프라인을 통해 생성된 디지털휴먼 얼굴 외형 결과 그리고 결론으로 구성된다. 첫 번째, 문헌연구에서는 얼굴 외형 디지타이징 시스템 선행연구 및 방법론과 디지털 트윈에 대해서 알아본다. 구체적으로 디지타이징 시스템에서는 수동조명(Passive Illumination), 능동조명(Active Illumination) 방법론에 따라 선행연구를 고찰한다. 디지털 트윈 문헌연구에서는 디지털 트윈 개념, 디지털 트윈 특성, 디지털 트윈 산업동향에 대해 알아본다. 두 번째, 디지털 트윈 환경 구성은 전반적인 디지털 트윈 디지타이징 파이프라인에 대해 설명하며, 구성된 파이프라인이 어떠한 디지털 트윈 특성을 반영했는지 기술한다. 세 번째, 결과는 제안된 파이프라인에서 디지타이징 시스템 질적변수에 따른 디지털휴먼 얼굴 외형의 정량적 평가를 하며, 최적화된 디지타이징 시스템에서 생성된 디지털휴먼 얼굴 외형을 제시한다. 마지막으로 결론에서는 구성된 디지털 트윈 파이프라인에 대한 기대효과와 한계점을 논의하며, 더 나아가 VFX 산업에서의 디지털 트윈 파이프라인 도입을 제안한다.

Ⅲ. 이론적 배경

2. 디지털 트윈

디지털 트윈은 2003년 ‘Grieves’의 제품 수명주기 관리에서 처음으로 개념이 등장하며 시작된다^[19]. 디지털 트윈 초기 개념은 충분히 구체적이진 않았지만, 물리적 제품, 가상 제품, 연결이라는 세 가지 키워드로 제품 관점에서의 좁은 의미로 사용된다. 이후 2012년 ‘NASA’가 디지털 트윈의 개념을 재검토하여 디지털 트윈 상태를 실시간 센서 데이터를 통한 물리적인 모델을 정밀한 시뮬레이션의 개념으로 정의하며 더 많은 연구가 진행된다^[20]. 실제로 [그림 1]을 살펴보면, 2012년 이전 ‘NASA’에서 디지털 트윈 개념을 재검토한 후 디지털 트윈에 대한 연구가 활발하게 진행된 것을 알 수 있다. 이후 선행연구자들의 디지털 트윈에 대한 견해를 살펴보면, ‘Gabor’, ‘Weyer’는 디지털 트윈은 기존 시스템에서 수집된 전문적인 지식과 실제 데이터를 기반으로 구축된 시뮬레이션으로 기존에 정의된 시뮬레이션보다 더욱 정밀한 시뮬레이션을 구현하는 것으로 정의한다^[21][22]. 반면, ‘Qi’, ‘Tao’는 디지털 트윈을 시뮬레이션보다 물리적공간과 가상공간의 연결로 정의한다^[23][24][25]. 이처럼 디지털 트윈의 정의는 선행연구자들마다 다르지만, 최근 디지털 트윈은 다양한 산업에서 활용됨에 따라서 산업 분야에서 다음과 같이 정의되고 있다. 디지털 트윈은 물리적공간의 특성을 반영한 가상공간을 의미하며, 물리적공간에서 수집한 데이터를 토대로 가상공간에서의 시뮬레이션을 통해 문제를 예측하고 분석하여 도출된 최적화 방안을 물리적공간에 다시 적용하는 방법론이라고 볼 수 있다^[26]. 디지털 트윈 과정은 물리적공간을 반영한 모델을 구현하는 것으로 생성, 전달, 통합, 분석, 이해, 실행 6단계에 걸쳐서 진행된다^[27]. 우선 생성은 물리적공간의 데이터를 수집하기 위해 데이터를 측정할 수 있는 센서를 설치하는 과정이다. 전달은 물리적공간의 데이터를 가상공간으로 데이터를 전송해 주는 단계이다. 다음은 통합, 분석, 이해는 전송된 데이터를 전처리해 최적화하고, 실시간으로 처리된 데이터를 기반으로 시뮬레이션을 통해 데이터를 분석하여 위험요소 및 파이프라인 문제점을 파악하고 해결하는 과정이라고 볼 수 있다. 마지막으로 실행은 가상공간에서 분석된 결과를 바탕으로 해결 방안을 물리적공간에 적용하는 단계이다. 이러한 과정을 살펴보면, 디지털 트윈은 단순한 시뮬레이션이 아닌 물리적공간과 가상공간의 상호작용을 통해 문제점을 개선하고 적용하는 것임을 알 수 있다. 따라서 디지털 트윈은 상호작용을 하는 기술 구현 정도에 따라서 [표 1]과 같이 총 5단계로 나누어 분류할 수 있다. 1단계의 경우 상호작용 없이 단순히 물리적공간을 가상공간에 구현해 놓은 것을 말한다. 2단계는 물리적공간과 가상공간 간의 데이터 전송이 이루어지며, 상호작용 부분에서는 직접 물리적공간에 적용하거나 부분 자동화된 단계를 말한다. 3단계는 가상공간에서 발생한 문제를 해결하고 물리적공간에 적용할 수 있으며, 4단계는 가상공간과 물리적공간이 실시간으로 상호작용을 통해 문제를 해결 및 적용을 하는 단계라고 할 수 있다. 마지막 5단계의 경우 자동화된 상호작용으로 물리적공간과 다수의 디지털 트윈 모델이 상호작용하는 단계이다.

Fig. 1.

Development trend of the DT research[28]

Table 1.

Digital Twin model definition

산업에서 디지털 트윈을 활용하는 동향을 살펴보면, 초기에는 제조업에서 주로 사용되었지만, IOT기술의 발전, 인공지능, 빅 데이터 분석이 가능해짐에 따라 건축, 교통, 헬스케어, 메타버스 등 다양한 산업 분야에서 활용된다. 각 산업에서 디지털 트윈을 선도적으로 활용한 사례를 살펴보면, ‘General Electric’(이하 GE)이 디지털 트윈을 활용해 풍력 발전소 개발, 운영 및 유지보수한 것을 볼 수 있다. 해당 사례에서 ‘GE’는 풍력 발전소 개발에 기존 방법론을 대비 디지털 트윈 방법론 대비 효율성을 약 20%를 증가시켰다. 또한 ‘GE’는 헬스케어 산업에서도 디지털 트윈을 적용하고 있으며, 병원 내 병상 위치, 동선, 작업 배분을 최적화하는 것을 목표로 삼고 있다. 다음은 ‘Tesla’로 자동차 생산 라인을 디지털 트윈 방법론을 통해 생산 효율성을 극대화한다. ‘Tesla’는 자동차 생산에 앞서, 가상공간에서 생산 과정을 재현함으로 차량 종류에 따른 생산 속도, 파이프라인 등을 미리 점검하여 공장 투자 비용과 소요 시간을 단축시킨다. 또한 디지털 트윈 방법론을 통해 생산공정 파이프라인의 문제점을 예측하고 무인수송장치와 생산 설비의 업데이트를 통해 즉각적으로 해결 가능하여 높은 단계 수준의 디지털 트윈을 구성하고 있다. 마지막으로 건축 산업을 살펴보면, 디지털 트윈 기술은 기업 단위를 넘어 국가가 도시를 계획할 때에도 활용된다. 그 예로, 싱가포르의 ‘가상 싱가포르’ 프로젝트는 전국을 디지털 트윈으로 제작하여 실시간으로 도시정보를 가시화하는 것을 진행한다. 이는 디지털 트윈을 활용해 도시공사의 효율과 물류 및 사람의 이동, 대중교통의 최적화 등 다양한 효과를 얻을 수 있다. 이처럼 방대한 시뮬레이션 데이터를 통해 최적화 방안을 도출할 수 있는 디지털 트윈 방법론은 물리적공간을 구성하는 데 있어 비용 절감과 사전에 문제 예측하여 방지할 수 있다.

Ⅳ. 디지털 트윈 환경 구성

해당 장에서는 3D 얼굴 외형 디지타이징 시스템 구성을 디지털 트윈으로 구성하는 과정에 대해 기술한다. 전반적인 디지털 트윈 파이프라인 이해와 구성된 디지타이징 시스템 환경에서 어떠한 요소로 디지털 트윈 특성을 반영하였는지 설명한다. 반영된 디지털 트윈 특성은 ‘가상공간이 물리적공간 특성을 얼마나 충실하게 반영하는가?’, ‘물리적공간과 가상공간의 상호작용이 가능한가?’, ‘상호작용이 실시간으로 이루어지는가?’, ‘구성된 디지털 트윈 모델이 또 다른 디지털 트윈 모델과 결합을 통해 확장할 수 있는가?로 4가지가 있다.

1. 디지털 트윈 기반 3D 얼굴 외형 디지타이징 파이프라인

본 연구에서 제안하는 디지털 트윈 기반 3D 얼굴 외형 디지타이징 파이프라인은 [그림 2]와 같다. 디지털 트윈 파이프라인 시작은 가상공간에서 시작되며, 크게 가상공간의 디지타이징 시스템과 물리적공간의 디지타이징 시스템으로 나뉘게 된다. 우선 가상공간 디지타이징 구성을 살펴보면, 정량적 평가를 위해 기 제작된 디지털휴먼 얼굴 외형을 활용해 3D 재구성 과정을 거치게 된다. 기존 파이프라인의 경우 생성된 디지털휴먼 얼굴 외형과 비교할 3D 모델이 존재하지 않아 생성된 지오메트리를 정성적 평가를 통해 질적변수를 수정하는 한계가 있었다. 하지만, 제안된 파이프라인의 경우 가상공간에서 이미 제작된 디지털휴먼 얼굴을 Ground Truth(이하 GT)로 활용하여 생성된 얼굴 외형의 지오메트리에 대해 정량적 평가를 할 수 있다. 정량적 평가는 이미 제작된 디지털휴먼 얼굴과 가상공간의 시스템을 통해 생성된 얼굴 외형 비교를 통해 이루어지며, 평가 방법은 Chamfer Loss를 활용한다. Chamfer Loss는 서로 다른 포인트 클라우드 2개의 차이를 측정하는 평가 지표로써 포인트 클라우드가 얼마나 유사한지 나타낸다. 이를 통해 가상공간의 디지타이징 시스템 질적변수인 카메라 위치, 렌즈 초점거리, 조명 등을 조절 및 제어하는 과정을 거치게 된다. 이후 최적화된 가상공간 디지타이징 시스템 질적변수를 물리적공간의 디지타이징 시스템에 적용하게 된다. 디지털 트윈은 위에서 언급한 것처럼 단순히 가상공간에서 시뮬레이션하는 것이 아닌 최적화된 결괏값을 물리적 공간에 적용하는 것으로, 제안된 디지털 트윈 파이프라인 역시 상호작용을 통해 디지털 트윈 특성을 반영하는 것을 알 수 있다. 또한 해당 파이프라인은 기존 파이프라인 대비 가상공간에서 방대한 시뮬레이션 데이터를 통해 사실적인 디지털휴먼 얼굴 외형 생성을 위한 질적변수를 수정할 수 있다. 이는 기존 파이프라인에서 보이던 노동집약적 방식을 탈피하는 것으로 질적변수를 최적화하는 데 있어 시간 비용이 감소한다.

Fig. 2.

Proposed Digital Twin 3D Human Facial Digitizing System R&D Pipeline

2. 디지털 트윈 기반 3D 얼굴 외형 디지타이징 시스템 환경 구성

디지털 트윈 기반 3D 얼굴 외형 디지타이징 시스템 환경 구성은 [표 2]의 디지털 트윈 환경 구성 특성에 기반해 기술한다. 디지털 트윈 환경 구성에 관해 설명하면, 첫 번째 ‘디지털 트윈 모델이 물리적공간 특성을 반영하여 구성되었는가?’ 이며 충실도와 관련이 있다. 두 번째는 ‘가상공간과 물리적공간이 상호작용할 수 있는가?’ 로 상호작용에 대한 부분이다. 세 번째는 ‘디지타이징 프로세스와 상호작용이 실시간으로 동작할 수 있는가?’ 이며, 실시간으로 설명할 수 있다. 마지막으로 ‘구성된 디지털 트윈 모델이 다른 디지털 트윈 모델과 융합하여 물리적공간의 모델과 상호작용할 수 있는가?’ 이며, 이는 디지털 트윈 모델의 확장성을 말한다.

Table 2.

Digital Twin Environment Characteristics

위에서 언급한 디지털 트윈 환경 특성에 따라 제안된 디지털 트윈 파이프라인을 설명한다. 우선, 충실도 특성에 대해서는 물리적공간의 특성을 얼마나 반영하는가를 살펴볼 수 있다. 따라서 물리적공간의 디지타이징 시스템은 카메라 ISO, 셔터속도, 조리개, 카메라 위치, 카메라 리그, 렌즈 초점거리, 조명 노출로 특성을 설명할 수 있다. 구성된 물리적-가상공간의 디지타이징 시스템은 [그림 3]과 같다. 물리적공간의 얼굴 외형 디지타이징 시스템은 카메라 20대, 조명 15대로 구성되며, 가상공간의 디지타이징 시스템에서 동일한 카메라, 조명 개수로 구성했다. 가상공간의 디지타이징 시스템은 실시간 엔진인 ‘Unity’를 통해 구성하였으며, 이에 실제크기를 측정해 실시간 엔진에서 활용하는 스케일 요소에 맞게 적용하였다. 또한 조명 밝기, 편광은 실시간 엔진에서 활용하는 Lumen 단위로 변환하였고, Raytracing(이하 RT)을 통해 물리적-가상공간의 노출을 동일하게 구성했다. 가상공간의 디지타이징 시스템이 적절하게 구성되었는지 확인을 위해 마커를 활용해 각 카메라에 촬영되는 이미지를 비교하여 검증하였다. 따라서 20대 카메라에 F에서 Y까지 번호 부여를 하였고, 검증 결과는 [그림 3]와 같다. 물리적-가상공간에 부여된 번호의 카메라 이미지를 비교한 결과 마커의 위치가 동일하게 위치된 것을 알 수 있으며, 이에 구성된 디지타이징 시스템의 카메라 위치, 카메라 리그가 동일하게 구성된 것을 알 수 있다.

Fig. 3.

3D Facial digitizing system configuration and verification in physical-virtual space

다음은 물리적-가상공간의 상호작용으로, 이를 위해서 가상공간의 데이터를 물리적공간 시스템에 적용할 수 있는 장치가 필요하다. 따라서 본 연구에서는 PTZ 카메라 헤드를 커스터마이징을 통해 상호작용을 가능하게 한다. 상호작용 파이프라인은 [그림 4]와 같으며, 실시간 엔진에서 시리얼 포트 통신을 통해 PTZ 카메라 헤드 범위를 패닝 -180도에서 180도, 틸트를 -45도에서 45도로 제어 가능하다. 총 20대 PTZ 카메라 헤드를 제어할 수 있으며, 신호 분배기를 통해 데이터가 전달된다.

Fig. 4.

Interaction pipeline in physical-virtual space

디지털 트윈은 상호작용이 실시간으로 이루어지는지 중요하다. 따라서 제안된 파이프라인의 실시간 상호작용을 살펴보면, 실시간 엔진에서의 UI 인터페이스를 통해 상호작용을 한다. [그림 5]의 실시간 엔진 상호작용 인터페이스를 살펴보면, 사용자는 상단에 가상공간의 디지타이징 시스템 구성을 볼 수 있으며 하단에 각각의 카메라를 통해 보이는 이미지를 통해 세부 정보를 확인할 수 있다. 보이는 이미지를 눌러 미리 할당된 버튼을 통해 카메라의 위치, 렌즈 초점거리를 제어할 수 있으며, 변경된 값들은 시리얼 통신으로 PTZ 카메라 헤드로 데이터가 전달된다. 제어가능한 질적변수는 카메라의 위치는 패닝, 틸트 값을 제어하며, 렌즈 초점거리는 24mm, 35mm, 45mm, 60mm, 90mm로 구성된다. 또한 디지타이징 프로세스 버튼을 누르면, 캡처된 이미지 20장을 활용해 3D 재구성을 하며 생성된 디지타이징 얼굴 외형과 GT 유사도를 비교하고 구성한 질적변수를 수정한다. 이를 통해 제안된 파이프라인은 문제를 즉각적으로 해결 및 예측할 수 있으며, 효율적으로 파이프라인 관리가 된다는 것을 의미한다.

Fig. 5.

Real-time engine interaction interface UI

마지막으로 디지털 트윈 확장성은 기존 디지털 트윈 시스템의 성능 혹은 기능을 손상하지 않고, 다른 디지털 트윈 모델과 결합을 할 수 있다는 것을 말한다. 이는 디지털 트윈 환경 구성이 일시적으로 활용되는 것이 아닌 지속해 활용될 수 있음을 말한다. 따라서 디지털 트윈 모델을 결합할 경우 데이터양 및 복잡성이 기하급수적으로 증가하여, 성능저하 없이 상호작용을 통해 문제점 해결이 가능하다면 또 다른 산업에 활용될 가능성이 있다. 이에 제안된 파이프라인은 확장성은 실시간 엔진을 바탕으로 구성되고 있어, 또 다른 디지털 트윈 모델과 융합할 수 있다. 예로, 모바일 디바이스를 활용한 얼굴 추적 기술을 융합하여 4D 볼류메트릭 캡처 디지털 트윈 모델로 확장할 수 있다.

Ⅴ. 결 과

해당 장에서는 구성된 디지털 트윈 디지타이징 시스템의 질적변수에 따라 생성된 디지타이징 얼굴 외형의 결과물과 GT와 비교하여 최적화된 질적변수 값을 도출한다. 우선, 질적변수 실험은 2가지로, 이미지 노출과 이미지 크기에 영향을 줄 수 있는 변수로 나누어 실험한다. 이미지 노출에 영향을 줄 수 있는 변수는 카메라 ISO, 조리개, 셔터속도, 조명 노출 등으로 구분할 수 있고, 이미지 크기에 영향을 주는 변수는 렌즈 초점거리에 분류할 수 있다. 따라서 실험에 활용된 질적변수 조건은 [표 3]과 같다. 이미지 노출에 영향 줄 수 있는 질적변수는 주로 조명상태를 편광, 기본, 후면조명 조건으로 분류하여 실험하였다. 이미지 크기에 영향을 주는 질적변수는 렌즈 초점거리로 24mm, 35mm, 45mm, 60mm, 90mm, 60mm와 90mm 조건으로 총 6개를 실험하였다.

Table 3.

Qualitative parameter settings in digital twin digitizing system

우선, 이미지 노출에 영향을 주는 질적변수 조절에 따른 실험결과를 살펴보면 [그림 6]과 같이 디지타이징된 얼굴 외형이 나타나는 것을 볼 수 있다. 각각의 질적변수 조절로 생성된 얼굴 외형과 GT를 비교해 보면, 어떠한 질적변수 조건이 더 좋은 결과물인지 평가하기 어려우며 이는 기존 파이프라인 정성적 평가의 한계점이라고 볼 수 있다. 하지만 제안된 파이프라인은 가상공간에서 기 제작된 디지털휴먼 얼굴 외형을 GT로 설정하여 생성된 얼굴 외형을 정량적 평가를 통해 더 나은 질적변수 조건을 알 수 있다. 정량적 평가는 Chamfer Loss를 통해 GT와 생성된 얼굴 외형 간의 유사도를 비교하며, 결과 값은 [표 4]와 같다. 결과 값은 편광과 후면 조명 조건을 통해 도출된 결과물이 GT와 가장 유사한 값이 나왔으며, 해당 조건들은 기존 선행연구에서 사실적인 디지털휴먼 외형을 생성하기 위해 실험했던 조건과 동일함을 알 수 있었다. 또한 교차 편광 이외에도 후면 조명을 통해서 이미지의 외곽선을 더 부각해 줄 경우 GT와 유사한 얼굴 외형을 생성하는 것을 알 수 있었다. [표 4]에서 보여지는 GT-Side 비교는 정성적 평가를 나타낸 것으로, 두 이미지를 겹쳐 차이를 나타낸 결과물로, 검은색일수록 이미지 차이가 없으며 흰색일수록 이미지 차이가 크게 나는 것을 표현한다. 정성적 비교 역시 Chamfer Loss 값이 낮은 순으로 이미지 차이가 덜 나는 것을 알 수 있다.

Fig. 6.

Digitizing result according to image exposure qualitative parameter

Table 4.

Qualitative parameter settings in digital twin digitizing system

다음은 이미지 크기에 영향을 주는 질적변수 설정에 따른 결과이다. [그림 7]은 질적변수 설정에 따른 결과물을 나타내며, 순서대로 GT, 24mm, 35mm, 45mm, 60mm, 90mm, 60+90mm의 렌즈 초점거리 값이다. 해당 질적변수에 따른 결과물 역시 정성적 평가로 어떠한 결과물이 더 나은지 평가하는데 한계가 있다. 실제로 각각의 변수에 따라서 생성된 결과물은 얼굴 외형, 눈, 코, 입의 위치가 미세하게 다르게 생성된다. 눈, 코, 입, 얼굴 외형은 사람의 인상에 가장 큰 영향을 미치는 요소로 이에 GT와 가장 유사한 얼굴 외형을 선택해야 한다. 정량적인 유사도 평가 결과는 [표 5]로, 45mm와 60mm+90mm를 섞어서 촬영한 결과물이 GT와 가장 유사한 결과물을 생성했다. 반면, 24mm, 90mm, 35mm에서 가장 낮은 유사도를 보였는데, 이는 광각 렌즈 또는 망원 렌즈를 통해 이미지가 왜곡되어 얼굴 외형이 왜곡되어 생성된 것을 알 수 있다. 또한 60mm+90mm를 섞어 촬영하였을 때 더 나은 결과물을 보이는 것에는 예상치 못한 결과물이었다. 이는 90mm 초점거리 렌즈를 눈, 코, 귀와 같은 영역을 클로즈업을 위해 부분적으로 활용하였는데, 부분 클로즈업을 통해 좀 더 세부적으로 표현된 것을 알 수 있다.

Fig. 7.

Digitizing result according to image exposure qualitative parameter

Table 5.

Qualitative parameter settings in digital twin digitizing system

이처럼 질적변수 설정에 대한 결과를 보면, 노출 변수를 통한 지오메트리 데이터 취득은 편광 필터와 후면 광을 통한 이미지 데이터를 취득할 때 가장 좋은 결과물을 보여줬다. 하지만 기존 파이프라인에서는 후면 광을 통한 데이터 획득과 편광 필터를 통한 데이터 획득에 대한 차이를 정성적평가를 통해 명확하게 알 수 없었다. 이와 달리 제안된 파이프라인에서는 가상공간 GT를 활용한 Champer Loss로 지오메트리 유사도 평가가 가능해 두 조건이 얼마나 차이가 나는지 알 수 있다. 또한 이미지 크기 변수 설정에서 살펴보면, 기존 선행연구와 VFX 스튜디오에서는 왜곡을 방지고자 동일한 렌즈 초점거리를 통해 데이터를 취득하고 있다. 그러나 45mm와 60+90mm를 혼용해 촬영된 결과물이 가장 높은 유사도를 보이며, 렌즈를 혼용할 수 있는 가능성을 보이고 있다. 이는 기존 파이프라인에서 정성적평가 방법을 통한 데이터 비교로 단일 렌즈와 혼용된 렌즈 설정 차이를 정확하게 알 수 없었지만, 제안된 파이프라인에서는 정량적 평가를 통해 비교가 가능한다. 또한 다양한 렌즈 초점거리 조합을 할 경우 그 만큼 구축 비용이 추가로 들지만, 제안된 파이프라인은 가상공간 안에서 실험을 통해 결과 값을 도출하여 구축 비용을 절감할 수 있다.

Ⅵ. 결 론

본 연구에서는 디지털 트윈을 활용한 3D 얼굴 외형 디지타이징 최적화 파이프라인을 제안한다. 일반적으로 기존 3D 얼굴 외형 디지타이징 파이프라인은 위에서 언급한 것처럼 노동집약적 방식과 생성된 디지털휴먼 얼굴 외형을 정성적 평가를 통해 디지타이징 시스템 질적변수를 수정하는 방식으로 디지털휴먼 얼굴 외형 생성 R&D에 한계점을 지니고 있다. 하지만 제안된 파이프라인은 디지털 트윈을 활용한 가상공간에서 방대한 시뮬레이션과 정량적 평가를 통해 질적변수를 수정하고 최적화가 가능하다. 이에 노동집약적 방식에서 탈피할 수 있으며, 가상공간과 물리적공간의 상호작용을 통해 최적화된 질적변수를 즉각적으로 수정할 수 있다. 또한 구성된 시스템을 통해 이미지 노출에 영향을 주는 변수, 이미지 크기에 영향을 주는 변수를 실험한 결과로는 정성적 평가로 파악하기 어려운 유의미한 결과를 얻을 수 있었다. 이에 디지털 트윈을 활용한 파이프라인은 정량적 분석을 통한 더 사실적인 디지털휴먼 얼굴 외형 생성과 시스템 구성에 있어 비용절감 효과를 볼 수 있다. 다만, 아직까지 제안된 파이프라인은 언급된 디지털 트윈 단계 중 완전 자동화 단계에는 미치지 못하는 상황이며, 추후 연구로 Chamfer Loss를 활용한 강화학습 파이프라인 도입을 통해 디지털 트윈 수준을 더 높일 필요가 있다.

Acknowledgments

본 연구는 문화체육관광부 및 한국콘텐츠진흥원의 2021년. 문화콘텐츠 R&D 전문인력 양성(문화기술선도 대학원) 사업으로 수행되었음(과제명: 버추얼 프로덕션 기반 콘텐츠 제작 기술 R&D 전문인력 양성, 과제번호: R2021040044 기여율: 100%)

This research was supported by Culture Technology R&D Program through the Korea Creative Content Agency grant funded by Ministry of Culture, Sports and Tourism in 2021 (Project Name: A Specialist Training of Content R&D based on Virtual Production, Project Number: R2021040044, Contribution Rate: 100%).

References

• M. Krueger, Artificial Reality 2, Addison Wesley, Boston, 1991.
• Digital Human Avatar Market By Product, By Industry Vertical, and By Region Forecast to 2030, https://www.emergenresearch.com/industry-report/digital-human-avatar-market, (accessed Jan, 2022).
• W. Linder, Digital Photogrammetry: Theory and Applications, Spring Science & Bussiness Media, 2013.
• P. Debevec, T. Hawkins, C. Tchou, H. P. Kuiker, W. Sarokin and M. Sagar, “Acquiring the reflectance field of a human face,” In Proceedings of the 27th annual conference on Computer graphics and interactive techniques, pp145-156, July 2000. [https://doi.org/10.1145/344779.344855]
• O. Alexander, M. Rogers, W. Lambeth, M. Chiang and P. Debevec, “The Digital Emily Project: Photoreal Facial Modeling and Animation,” In ACM Siggraph 2009 courses, pp.1-15, August 2009 [https://doi.org/10.1145/1667239.1667251]
• M. Mori, “The Uncanny Valley,” Energy, Vol. 7, No.4, pp.33-35, 1970.
• J. Rivere, P. Gotardo, D. Bradley, A. Ghosh and T. Beeler, “Single-Shot High Quality Facial Geometry and Skin Appearance Capture,” ACM Transactions on Graphics, Vol. 39, No. 81, pp.1-12, 2020. [https://doi.org/10.1145/3386569.3392464]
• D. Azinovic, O. Maury, C. Henry, M. Nießner and J. Thies, “High-Res Facial Appearance Capture from Polarized Smartphone Images,” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), pp. 16836-16846, 2023. [https://doi.org/10.1109/CVPR52729.2023.01615]
• T. Weyrich, W. Matusik, H. Pfister, B. Bickel, C. Donner, C. Tu, J. McAndless, J. Lee, A. Ngan, H. W. Jensen, M. Gross, “Analysis of Human Faces using a Measurement-based Skin Reflectance Model,” ACM Transaction on Graphics, Vol. 25, No. 3, pp. 1013-1024, July 2006. [https://doi.org/10.1145/1141911.1141987]
• W. C. Ma, T. Hawkins, P. Peers, C. F. Chabert, M. Weiss and P. Debevec, “Rapid Acquisition of Specular and Diffuse Normal Maps from Polarized Spherical Graident Illumination,” EGSR’07 Proceedings of the 18th Eurographics conference on Rendering Techniques, pp. 183-194, June 2007.
• A. Ghosh, T. Hawkins, P. Peers, S. Frederiksen and P. Debevec, “Practical Modeling and Acquisition of Layered Facial Reflectance,” ACM Transactions on Graphics, Vol. 27, No. 193, pp. 1-10, December 2008. [https://doi.org/10.1145/1409060.1409092]
• A. Ghosh, G. Fyffe, B. Tunwattanapong, J. Busch, X. Yu and P. Debevec, “Multiview Face Capture using Polarized Spherical Gradient Illumination,” ACM Transactions on Graphics, Vol. 30, No. 6, pp. 1-10, 2011. [https://doi.org/10.1145/2070781.2024163]
• G. Fyffe, P. Graham, B. Tunwattanapong, A. Ghosh and P. Debevec, “Near-Instant Capture of High-Resolution Facial Geometry and Reflectance,” In Computer Graphics Forum, Vol. 35, No. 2, pp. 353-363, 2016. [https://doi.org/10.1111/cgf.12837]
• T. Beeler, B. Bickel, P. Beardsley, B. Sumner and M. Gross, “High-Quality Single-Shot Capture Facial Geometry,” ACM Transactions on Graphics, Vol. 29, No. 4, pp. 1-9, 2010. [https://doi.org/10.1145/1778765.1778777]
• D. Bradley, W. Heidrich, T. Popa and A. Sheffer, “High Resolution Passive Facial Performance Capture,” ACM Transaction on Graphics, Vol. 29, No. 4, pp. 1-10, 2010 [https://doi.org/10.1145/1778765.1778778]
• G. Fyffe, A. Jones, O. Alexander, R. Ichikari and P. Debevec, “Driving High-Resolution Facial Scans with Video Performance Capture,” ACM Transactions on Graphics, Vol. 34, No. 1, pp. 1-14, 2014. [https://doi.org/10.1145/2638549]
• P. Gotardo, J. Riviere, D. Bradley, A. Ghosh and T. Beeler, “Practical Dynamic Facial Appearance Modeling and Acquisition,” ACM Transactions on Graphics, Vol. 37, No. 6, pp. 1-13, 2018. [https://doi.org/10.1145/3272127.3275073]
• J. Riviere, P. Gotardo, D. Bradley, A. Ghosh and T. Beeler, “Single-Shot High-Quality Facial Geometry and Skin Appearance Capture,” ACM Transactions on Graphics, Vol. 39, No. 81, pp. 1-12, 2020. [https://doi.org/10.1145/3386569.3392464]
• M. Grieves, “Digital Twin: Manufacturing Excellence through Virtual Factory Replication”, White paper, pp.1-7, 2014.
• E. Glaessgen and D. Stargel, “Digital Twin Paradigm for Future NASA and US Air Force Vehicles,” In 53rd AIAA/ASME/ASCE/AHS/ASC structures, structural dynamics and materials conference, pp. 1818, 2012. [https://doi.org/10.2514/6.2012-1818]
• T. Gabor, L. Belzner, M. Kiermeiere, M. T. Beck and A. Neitz, “A Simulation-based Architecture for Smart Cyber-Physical Systems,” In 2016 IEEE International Conference on Autonomic Computing (ICAC), pp. 374-379, 2016 [https://doi.org/10.1109/ICAC.2016.29]
• S. Weyer, T. Meyer, M. Ohmer, D. Gorecky and D. Zuhlke, “Future Modeling and Simulation of CPS-based Factories: An Example from the Automotive Industry,” IFAC Papers Online, Vol. 39, No. 31, pp. 97-102, 2016. [https://doi.org/10.1016/j.ifacol.2016.12.168]
• Q. L. Qi and F. Tao, “Digital Twin and Big Data Towards Smart Manufacturing and Industry 4.0: 360 Degree Comparison”, IEEE, pp. 3585-3593, 2018. [https://doi.org/10.1109/ACCESS.2018.2793265]
• F. Tao, M. Zhang, J. Cheng and Q. Qi, “Digital Twin Workshop: A New Paradigm for Future Workshop,” Computer Integrated Manufacturing Systems, Vol. 23, No. 1, pp. 1-9, 2017.
• F. Tao, W. Liu, J. Liu, J. Liu, X. Liu and T. Qu, “Digital Twin and its Potential Application Exploration,” Computer Intergrated Manufacturing Systems, Vol. 24, No. 1, pp. 1-18, 2018.
• ETRI, Digital Twin Technical Report, Jan., 2021. [https://doi.org/ 10.22648/ETRI.2021.B.000004]
• W. Kim, Investigation on Statistical Model Calibration and Updating of Physics and Data-driven Modeling for Hybrid Digital Twin, Ph.D’s Thesis of Seoul National University, Korea, Seoul. 2022.
• F. Tao, H. Zhang, A. Liu and A. Y. Nee, “Digital Twin in Industry: State-of-the-art,” IEEE Transactions on Industrial Informatics, Vol. 15, No.4, pp.2405-2415, 2018. [https://doi.org/10.1109/TII.2018.2873186]