소규모 범용 LED 스크린 기반 XR 시스템의 실시간 고품질 XR 콘텐츠 제작을 위한 품질 개선 방법

Ⅰ. 서 론

방송에서 XR(Extended Reality, 확장현실) 스튜디오는 기존의 크로마키 합성 기반의 블루/그린 스튜디오와 달리 LED 스크린 기반의 스튜디오로써 실감나는 실사 배경과 함께 배우와 배경을 마치 실제 현장에서 합성하듯 사전시각화 할 수 있어 최근 각광받는 실시간 가상현실 제작 환경이다^[1]. XR 스튜디오에서는 LED 마커를 활용하여 더 빠른 카메라 보정이 가능하며, LED 벽 자체에서의 조명역할로 자연광 합성이 가능하고, 코로나로 인해 현장에 접근 불가능한 사회적 거리두기 시에도 촬영현장 재연을 통해 로케이션 제작 비용을 절감하면서 반복 제작 가능한 장점이 있다^[2][3]. 최종 합성영상을 얻기 위해서 주로 가상환경의 그래픽 일부가 직접 LED 스크린 영역에 표출되고 LED 스크린이 없는 외곽은 AR(Augmented Reality) 그래픽으로 확장시켜 두 가지 영상이 합성된 결과물을 만들어낸다. LED 스크린이 클 경우 LED 스크린 안에 카메라가 위치하여 InCameraVFX^[4]처럼 AR로 확장할 필요 없이 제작되기도 한다. 그러나 대형 LED 기반 XR 시스템의 경우 초기 구축비용이 크며 LED 제조사 특성에 따라 LED 품질 및 가격차이가 큰 것도 구축을 어렵게 하는 요인이 되고 있다^[5]. 이러한 구축의 어려움으로 인해 상대적으로 저렴하게 구축된 소규모 범용 LED 기반의 XR 제작 환경에서는 보조 조명으로 인한 LED 스크린의 빛 반영 문제와 LED 경계에서 확장 AR 그래픽, 컬러 등의 이질감 및 물리적인 LED의 특성 변화 및 차이에 따른 이질감 등 다양한 XR 콘텐츠 품질 저하 문제들^[6]이 발생할 수 있다.

첫 번째 보조 조명 간섭 문제이다. 일반적으로 XR에서 LED 스크린을 사용하는 주요 목적은 후반작업 없이 사전에 조명을 인물에 반영시키기 위한 후면/전면/측면 조명 역할로써 LED 빛이 인물에 잘 묻어나길 기대한다^[7]. 그러나 소규모 LED만으로 인물에 LED의 빛이 반영되는 조명을 주기 어렵다. 인물 조명 역할을 위해 LED와 인물이 너무 가까워질 경우 모아레(Moire) 문제^[8]가 발생하게 되며, LED 밝기(nits)를 높일 경우에는 LED를 바라보는 카메라의 과 노출로 콘텐츠 품질이 떨어질 수 있다. 이러한 이유로 인물을 위한 보조 조명을 필수적으로 사용해야 한다. 이때도 그래픽의 조명 변화가 급격히 이루어지면서 보조 조명의 밝기 변화가 그래픽 조명 변화와 동기가 맞지 않을 경우에 보조 조명 빛이 LED에 반영되어 두 영역(LED 내부와 확장 AR) 간의 이질감으로 인해 심각한 콘텐츠 품질 저하가 발생할 수 있다. 최근 수년 전부터 영상 산업의 고도화를 위해서 DMX(Digital Multiplex) 콘솔 기반의 사전시각화가 영화, 예능에 도입 필요성이 대두되고 있다. 제작을 위한 예산과 스튜디오 장치 규모가 커졌기 때문도 있지만 고품질 영상 제작을 위한 사전 준비의 중요성이 점점 더 요구되고 있기 때문이다^[9]. 보통 방송 공연 제작에서는 숙련된 조명 기술자들이 거의 정확한 타이밍에 재생 스타트할 수 있으나, 고품질 영상을 위한 영화와 드라마에서의 그린 스크린 기반의 가상 환경에서 조명변화 작업은 주로 후반작업으로 수행되어 별도의 비용과 시간이 소요된다^[10]. 컷이 긴 급격한 조명 변화를 프레임 단위로 기술자가 수동으로 정확히 맞추기에도 한계가 있다. 이런 이유로 보조 조명 변화를 그래픽 조명 변화에 맞춰 사전에 디자인하고 DMX 콘솔에 저장시킨 뒤 동기화시켜 그래픽 조명과 보조 조명을 재생시킬 수 있다면 문제점이 개선될 수 있을 것이다. 둘째로는 LED 경계와 확장 AR 그래픽이 만나는 경계면에서의 이질감 역시 주요 문제이다. 일반적으로 이 문제를 해결하기 위해 상용 XR 합성 장치에서는 사전에 LED 디스플레이와 확장 AR 그래픽 간 컬러 캘리브레이션을 수행하여 두 영역 간의 일종의 카메라에서 바라보는 LED 스크린에 대한 LUT(Look Up Table) 정보를 추출하여 어느 정도는 자동으로 색을 맞추어 줄 수 있는 방법을 제공한다^[11]. 그러나 범용의 저가형 LED 소자의 특성에 따라서는 완벽한 색보정 정보가 추출되지 않을 수 있으며, 결국 사람의 눈을 통해서 경계 이질감을 최소화하기 위한 1/1000단위의 미세 조정을 필요로 한다. 색보정 결과의 이질감은 미세한 차이로 자동/수동으로 대략 맞출 수 있으나, 경계면에서 더욱 두드러지는 특성으로 경계면을 자연스럽게 블랜딩^[12]시키는 것이 매우 중요하다. 셋째로는 물리적인 LED 소자 특성이다. 디스플레이의 소자들은 시간이 지나면서 패널 별로 색이 달라질 수 있다. 즉, 화이트를 기대했는데 미묘한 패널 소자 간 특성 차이로 명도/채도 차이가 날 수 있다. 보통 LED 패널의 제조일이 다를 경우 시간이 지날수록 톤 차이가 커질 수 있으며 이런 품질의 LED에서는 단일 컬러의 톤 표출 차이가 매우 두드러져 보일 수 있어 이 역시 XR 콘텐츠 품질 저하의 주요한 원인이 된다. 바닥 LED는 일반적으로 사용되는 옆면 LED와 다른 소자 특성으로 인하여 바닥 LED와 옆면 LED 스크린 간 또는 확장 AR 그래픽 간의 컬러 톤 차이가 발생될 수 있다^[12][13]. 이런 물리적인 문제가 큰 LED 패널 부분은 하드웨어 문제가 해결되지 않는 이상 해결이 어렵다. 따라서 일반적인 VR 스튜디오에서 사용되는 방법인 3D 그래픽 디자인으로 어색함을 보완하거나, 전경의 AR 그래픽으로 자연스럽게 가리거나^[14], 실제 장식을 무대에 설치하여 어색한 LED 부분을 가려야 한다. 이밖에도 일반적으로 실시간 렌더링 시에 프레임 드롭, 합성 시에 LED와 확장 AR 간 딜레이, 카메라 추적 문제, 색보정과 동기화 문제 역시 XR 콘텐츠 품질에 중요한 영향을 미칠 수 있으나^[15], XR 합성 장치 및 카메라 추적 장치의 각 제조사가 제공하는 방법대로 캘리브레이션 작업을 사전에 잘 셋업해 둔다면 거의 변경 없이 XR 제작 작업에만 집중할 수 있다^[16][17].

본 논문에서는 복잡한 수학적인 계산 없이 사전 디자인된 조명 제어 장치와 XR 합성 장치 간의 가상 조명 동기화 모듈 개발과 가상 환경에서 제작 시 자주 사용되는 마스킹과 AR 합성 기술을 통해서 소규모 범용 LED 스크린을 사용한 XR 제작 시에 발생되는 품질 저하 문제를 제작 현장에서 실시간으로 빠르게 개선시킬 수 있음을 각 실험 결과를 통해서 확인할 수 있다. 본 논문의 내용은 다음과 같다. Ⅱ. 관련 연구에서는 콘텐츠 품질에 영향을 줄 수 있는 XR 시스템의 요소기술 및 해결방안과 본 논문에서 개선하고자 하는 LED 스크린의 품질 저하 문제 사례를 설명하고, 보조 조명 동기화 연동/마스킹/AR을 통한 품질 개선 방법론을 설명한다. Ⅲ. 본론에서는 시스템 구축, 디스가이즈/언리얼기반/조명콘솔 동기화 모듈 개발 내용, LED 마스킹 방법, 경계부 디자인과 AR 합성을 통한 품질 개선 절차를 설명하고, Ⅳ. 시스템 결과 분석에서는 합성 전후의 결과를 비교 설명한다. 마지막으로 Ⅴ. 결론에서는 결과와 의미를 요약하고 향후 개선을 위한 연구 방향으로 결론을 맺고자 한다.

Ⅱ. 관련 연구

1. 품질에 영향을 줄 수 있는 XR 시스템 장치 및 요소기술, 해결방안

XR 제작에 쓰이는 LED 스크린을 선택할 시 LED 제조사^[2][13]들이 밝히고 있는 높은 색역, 높은 밝기(보조 조명 최소화), 고품질 디스플레이 성능(하드웨어 성능/제조일 차이), 리플효과(모아레 문제), 스캔라인(장치 동기화 문제), 소자 색상차(휘도 색상차 문제), 프레임 속도 등에 대한 기술적인 사항을 고려해야 하며, 이런 사항은 LED 스크린과 XR 합성 장치, 카메라와의 정확한 색보정 과정에 필요하다. 이 과정은 각 장치마다 다소 차이가 있을 수 있으며 본 논문에서는 기본적으로 Disguise사의 합성 장비(Gx2C)를 채택하였으며 합성 장치에서 제공하는 색보정 과정을 기본으로 하였다^[11].

상용 XR 시스템^[18]에서 품질에 영향을 줄 수 있는 요소들을 표 1에 정리하였다. 표에서는 각 장치 및 요소기술 역할을 설명하고 문제점 및 개선방안을 정리하였으며 본 논문에서 설명하고자 하는 개선방안을 표시하였다.

Table 1.

Devices and Elements Affecting XR Quality Description, Problem, Resolution, and Improvement Goals

2. LED 스크린의 품질 저하 문제 사례

그림 1은 XR 제작 시 그래픽 조명 밝기와 DMX 콘솔을 통한 보조 조명 장치 간 조명 디자인 및 동기가 맞지 않을 경우 조명 변화에 동기 되지 못하고 빛이 반영되어 콘텐츠 품질이 저하되는 문제점을 보여준다.

Fig. 1.

Example of LED light reflection issues in XR production when lighting settings are not synchronized with graphic lighting brightness, (a) daytime and (b) nighttime before lighting integration

그림 2는 LED 스크린의 물리적인 소자의 특성에 따른 LED 품질 영향을 보여준다. 품질이 낮은 범용 LED의 경우 특히 카메라가 바라보는 중심으로부터 멀어질수록 LED의 소자 특성으로 LED 혹은 GREEN 톤이 두드러져 보이곤 한다. 그림 2 (a)는 LED의 소자 타입에 따라, 특히 GOB 타입처럼 반투명으로 두껍게 코팅된 바닥 LED의 경우 월LED 반사의 영향을 받는다. 또, 그림 2 (b)에서 처럼 LED 패널의 RGB 소자의 배치 배열도 카메라가 보는 위치에 따라 색이 틀어질 수 있음을 보여준다. 그림 2 (c)처럼 보통 XR 합성 장치에서 지원하는 컬러 캘리브레이션을 적용하면 대략적으로 색을 맞출 수 있지만 완벽하지 않다. 그림 2 (d)처럼 단일한 컬러 톤에서 확인해 보면 그 명암비가 확연히 다름을 쉽게 확인해 볼 수 있다. 이처럼 물리적으로 문제가 있는 LED 패널의 경우는 컬러 캘리브레이션을 해보고, 타일의 LED 디스플레이 별 특성 보정이 필요할 수 있다^[21].

Fig. 2.

Problems with using physical universal LED screens, (a) GOB time molding impact, (b) LED device characteristics impact, (c) LED panel mis-calibration, (d) LED characteristics with different manufacturing dates

3. LED 경계면 품질개선 방법론

그림 3은 조명 연동을 통한 품질 개선을 설명하기 위한 전/후 XR 콘텐츠 개념도를 보여준다. 그래픽 LED 스크린의 가상 조명과 실제 조명의 변화가 동기화 동작(재생/멈춤/스크러빙)되도록 하기 위해서, 그림 4처럼 실제 조명 제어장치인 DMX 컨트롤러와 XR 합성 장비와 언리얼 기반의 가상 조명을 디자인한 렌더링 장비 간 조명 동기화 모듈 개발을 구상하였다. 세 장치 간 동기화는 미디어 타임코드(Media TimeCode)와 프레임을 동기화시킴으로써 연동 가능하였다. 디스가이즈 장치와 조명 콘솔 간에는 MIDI 케이블 연결과 IP 기반의 ArtNet으로 연결되어 디스가이즈의 타임라인 상의 미디어 타임코드는 조명 콘솔로 전달되며, 미디어 타임코드를 통해 조명 콘솔에 디자인된 실 조명의 큐잉 리스트의 재생 시간 위치를 제어할 수 있다. 디스가이즈 장치와 언리얼 간에는 렌더스트림(RenderStream, 디스가이즈 장비에서 사용하는 IP기반 스트리밍 정보, 비디오/카메라정보/언리얼과 통신하는 변수 정보 전달가능함)을 통해서 언리얼에서 정의된 float/int/bool 등의 값들을 서로 통신할 수 있다. 사전에 셋팅된 조명 정보를 언리얼의 레벨 시퀀스(Level Sequence, 언리얼에서 사용하는 타임라인, 키 프레임 단위의 그래픽 에니메이션 도구임)를 통해서 애니메이션 그래픽 조명으로 디자인하여 저장하였다. 그리고 실제 보조 조명은 일반적인 DMX 케이블 유선 조명 연결 방식대로 조명 콘솔과 실 조명들을 연결한다.

Fig. 3.

Conceptual before-and-after illustration of anticipated lighting-connected XR content enhancements

Fig. 4.

Conceptual illustration of the interface between lighting devices/Lighting Console/Display/Unreal Graphics devices and synchronizing frames with MediaTimecode

이처럼 본 시스템에서 보여주는 조명 연동을 위해서 필요한 핵심 장비는 미디어 합성 장치라고 할 수 있다. 언리얼 가상 조명과 DMX 조명 콘솔을 동시에 제어 가능한 미디어 합성 장비가 필요하다. 이런 장비를 통해서 시스템 구축 시에 미디어 타임코드와 프레임으로 동시에 제어 가능한 장비를 선택하여야 한다.

이렇게 실감 조명을 연동하였더라도 LED 스크린과 확장 AR의 경계에서 이질감이 보일 수 있다. 이러한 문제는 이미지 합성 방법인 블랜딩 마스크나 3D 오브젝트 합성 방법인 AR 합성을 통해서 개선할 수 있다. E. Baek은 가우시안 블러 기반의 알파 블랜딩 마스킹 기법을 통해서 자연스러운 이미지 합성이 가능함을 보여주었다^[22]. 또, 방송에서 AR은 주로 실제 사람 앞에 오는 모든 것을 AR로 사용되며^[23] 사람 앞에 전경 정보나 특별히 가리고자 하는 영역을 AR 오브젝트로 가리며 배치함으로써 쉽게 물리적인 LED 결함을 가리며 제작 현장에서 즉각적으로 품질을 개선할 수 있다. 다음 장에서 관련 시스템 구축 및 방안을 자세히 설명한다.

Ⅲ. XR 콘텐츠 제작 실험을 위한 시스템 구축 및 품질 개선 방안

1. 조명 연동 XR 콘텐츠 제작 실험 위한 시스템 구축

우리가 구축한 XR 시스템 구성은 그림 5와 같다. 그림에서와 같이 XR은 LED와 확장 AR과 AR 오브젝트의 합성으로 하나의 XR 장면이 만들어진다. 점선은 XR 시스템 기본 장치 구성을 보여주며, 보라색 경계는 LED를 포함한 구성을 보여준다. 빨간 선은 본 논문에서 조명환경 연동 실험을 위한 조명과 DMX 콘솔 장치들을 보여주고 있다.

Fig. 5.

Lighting Synchronization XR System Configuration

표 2는 본 논문의 실험을 위해 준비한 장비 품목별 세부 모델을 보여준다. 본 시스템에서 실감 조명 디자인된 결과를 저장하기 위해서 DMX 조명 콘솔 장치를 사용하였으며, 우리의 목표는 소규모 범용 LED 스크린 환경에서도 실 조명 반영에 대한 LED 스크린에 반영되는 조명 빛으로 인한 LED 이질감을 줄이고 실 조명 연동 후의 인물의 조명 반영 역시 자연스럽게 하고자 하였다.

Table 2.

XR Configure system devices

인물에 반영되는 LED 및 보조 조명의 조명 효과를 더욱 극대화하기 위해서 소규모지만 LED 스크린 배치를 그림 6처럼 ‘ㄷ’ 모양으로 몰입감 있게 배치하였다. LED 면이 많을수록 빛에 대한 LED 반영 면적이 넓어지고, 관련 연구에서 언급된 문제로서 LED 배치 모양에 따라 조명이 반사되는 LED 면이 카메라에 비춰질 때 LED 소자의 컬러 특성을 더 고려해야 하는 등의 복잡성을 줄이기 위해서 그리고 향후 보여줄 블랜딩 마스크 작업 시에는 좀 더 쉬운 제작이 가능하도록 그림 7처럼 면의 수를 줄여 두 면으로 구축하여 실험하였다.

Fig. 6.

Setting up the Lighting Synchronization XR Experiment

Fig. 7.

LED screen built for masking and AR synthesis experiments

2. 디스가이즈 셋업/언리얼 조명 콘솔 동기화 모듈 개발/DMX 기반 조명 디자인/언리얼 실험 콘텐츠 개발

미디어 합성 장치는 IP 렌더스트림 프로토콜을 통해서 언리얼 렌더링 머신과 데이터 통신이 가능하다. 우리는 그림 8과 같이 미디어 합성 장치와 언리얼 간 프레임 동기화 모듈을 개발하였다. 미디어 합성 장치의 타임라인 UI에서 언리얼의 레벨 시퀀스를 프레임 단위로 재생/스크러빙 할 수 있는 블루프린트(BluePrint) 모듈을 개발하였다. 이렇게 함으로서 미디어 합성 장치는 타임라인 상에서 미디어 타임코드와 프레임 간에 동기화 되어, 실 조명과 언리얼 레벨 시퀀스의 가상 조명 위치를 프레임 단위로 정확하게 동기화 운영이 가능하다.

Fig. 8.

Developing a frame synchronization module between Unreal and Disguise devices

그림 9는 DMX 기반의 보조 조명들의 실감 조명 디자인 작업 현장 및 조명 연동을 위한 실험용으로 개발한 언리얼 콘텐츠를 보여준다. 앞에서 프레임 동기화 개념도에서 보여주었듯이, DMX 제어를 위한 미디어 타임코드와 언리얼 프레임이 동기화 제어(재생/멈춤)되었다면, 미디어 합성 장치의 타임라인을 재생하면서 합성된 XR 출력 영상을 보면서 세밀한 감성 조명을 디자인할 수 있게 된다. 디자인된 조명값들은 사전에 DMX 컨트롤러 장치의 조명 콘솔 큐리스트에 저장된다. 따라서 보조 조명 반영을 줄여 좋은 품질의 XR 콘텐츠를 얻기 위해서는 숙련된 조명감독의 세밀한 실감 조명 디자인 작업을 필요로 한다.

Fig. 9.

DMX-based realistic lighting design workspace (left), Unreal content for experimenting with lighting integration (right)

그림 10은 실감 조명 연동 실험을 위해서 개발된 그래픽의 조명이 급격하게 변동되는 언리얼 기반의 한국형 XR 콘텐츠를 보여준다. 골목길에서 낮에서 밤으로 밝기가 30초 동안 바뀌는 가상 조명을 설정하였다. 밤으로 바뀐 뒤에는 담의 집 창문과 가로등 불빛이 켜지며 잠시 뒤에 전봇대가 넘어져 자동차와 전봇대가 파손되며 불꽃이 튀는 조명을 설치하였다. 이런 가상 조명의 변화에 맞추어 실제 배우 인물에 조명이 반영되도록 조명 콘솔을 통해 실 조명 변화 값들을 시간 순서로 저장하였다.

Fig. 10.

Developed experimental XR content for lighting change integration

3. LED 마스킹 방법

앞에서 언급된 LED의 물리적 소자 특성으로 문제가 있는 LED 스크린의 경우 이러한 부분이 XR에서는 특히 주변부와 LED 경계에서 가장 큰 이질감을 만들어 XR 콘텐츠의 품질을 저하시키는 직접적인 원인이 된다. 따라서 그림 11과 같이 옆면 월에 쓰이는 마스크와 바닥용 마스크를 제작하였다. 마스크 모양은 무대에 서는 사람의 위치나 동선에 따라 크기나 모양을 달리하여 미리 준비하면 제작 현장의 상황에 맞추어 쉽게 다양한 조합으로 대응할 수 있다.

Fig. 11.

Example masking images based on Gaussian Blur (for bottom/side)

4. AR 합성 방법

증강 현실(AR)은 가상 플랫폼에서 현실 세계의 오브젝트를 향상시켜 몰입감있는 환경을 조성하는 기술이다. AR은 보통 VR이나 실 환경에서 그래픽 정보를 증강하여 그래픽 품질이나 정보를 증강시켜 보여준다. XR 환경에서도 AR이 효과적으로 합성이 이뤄진다면 더 자연스러운 영상을 만들 수 있다^[24]. XR 제작 현장에서 어떤 방법을 사용했는데도 물리적으로나 영상 처리로 해결이 되지 않는 부분은 보이지 않게 하거나 가리는 것이 최선일 수도 있다. 그림 13에서 보여주는 것과 같이 자동차 AR 에셋을 전경으로 합성되도록 배치한다면, 더 실제 같은 장면을 만들 수 있고 LED 라인의 이질감 있는 경계를 가릴 수 있어서 더 품질 좋은 XR 콘텐츠를 만들어 낼 수 있다.

Fig. 12.

AR compositing experiment, before and after

Fig. 13.

Improved XR content results (a) before and (b) after synchronizing real and virtual lighting (from day to night)

Ⅳ. 결과 분석

그림 13은 조명 변화가 급격하게 이뤄지는 주요 지점으로서 밤에서 낮으로 바뀌는 시점, 창문의 불이 켜지는 시점, 전봇대가 넘어져 스파크가 발생하는 시점에 대해서 조명 디자인과 동기화가 되지 않았을 때(왼쪽)와 되었을 때(오른쪽)의 결과를 보여준다. 동기화 모듈이 적용된 오른쪽 결과 이미지에서 보는 바와 같이 DMX 콘솔 기반으로 사전에 그래픽의 시퀀스에 따라 디자인된 조명의 큐 리스트를 미디어 타임코드와 동기화 모듈을 통한 언리얼의 시퀀스 프레임과 연동시켰을 경우, 특히 밤이 되어 창문의 불빛이 켜졌을 순간이나 뒤의 전봇대가 넘어질 때 튀는 스파크 순간 그리고 자동차의 전조등이 깜박이는 순간 같은 급격한 빛의 변화들에도 LED 면의 조명의 반영이 심하지 않고 자연스러우며 조명의 인물 반영도 더 자연스러운 결과물을 만들어 낼 수 있음을 알 수 있다. 만약, 이런 그래픽 조명들과 서브 실 조명간의 동기가 맞지 않거나 조명 디자인이 되어 있지 않다면 수동으로 실시간 빛을 조정하여 동기 맞추어 완벽한 컷을 제작하기는 매우 어렵다. 또 배우가 실수할 경우 반복적으로 재생하더라도 잘 동기화된 조명환경 칼라 톤의 변화는 없기 때문에, 제작 현장에서의 촬영은 배우의 재 연기에만 집중할 수 있게 된다. 따라서 이런 장점으로 그림 13에서 보는 바와 같이 개발된 조명 연동 모듈 운영과 실감 조명 디자인이 적용되지 않았을 때와 비교해서 실감 조명 디자인된 동기화 조명 후에 결과에서 더 좋은 품질의 XR 콘텐츠 결과를 얻을 수 있음을 알 수 있다.

그림 14는 마스크 블랜딩 처리 결과를 보여준다. 그림 14 (a)와 (b)는 각각 미디어 합성장비에 경계 블랜딩 처리를 위해 마스크 처리 전후 결과를 보여주고 있다. 주로 연기자는 LED 스크린의 중심에서 연기를 하므로 연기자를 중심으로 다양한 모양의 마스크를 선택적으로 활용할 필요가 있다. 이처럼 블랜딩 마스킹을 적용시킬 경우 특히 LED의 모서리나 경계주변의 품질이 낮은 LED 영역이 확장된 AR 그래픽과 자연스럽게 마스크 블랜딩 합성되어 품질이 낮은 LED의 영역이 가려짐으로 해서 결과적으로 합성 결과가 크게 개선됨을 알 수 있다.

Fig. 14.

Before and after setting up the blending mask image, and the result (a) before and (b) after applying it

그림 15는 AR 합성 전과 후의 합성 결과를 보여준다. 그림 15 왼쪽 그림에서 보는 바와 같이 AR 합성 전에는 자동차와 쓰레기 쪽의 바닥 LED와 월 LED의 경계의 라인이 두드러져 보이는데, 오른쪽 그림에서 보는 바와 같이 자동차와 쓰레기 에셋을 AR 에셋으로 합성시킨 뒤에는 LED 라인이 두드러져 보였던 영역이 자연스럽게 가려져 XR 콘텐츠의 품질이 개선됨을 알 수 있다.

Fig. 15.

Poor quality before AR compositing (left) and improved after AR compositing (right - AR car and trash assets)

Ⅴ. 결 론

본 논문에서는 소규모의 범용 LED 스크린을 사용하여 XR 콘텐츠를 제작할 경우 보조 조명과 LED 품질에 의해서 경계부에 대해서 이질감이 크게 발생하여 품질 저하를 일으키는 것을 극복하기 위한 방법을 제안하였다. 실험 결과 가상 조명과 실조명의 자연스러운 연동을 통해서 개선할 수 있었고, 품질이 떨어지는 LED 영역에 마스크를 씌워서 개선할 수 있으며, 조명 동기화 방법이나 마스크 블랜딩과 같은 이미지 처리로도 부족한 LED 내부나 특정 부위는 AR 그래픽을 사용하여 품질 저하 영역을 강제적으로 가리는 방법으로 XR 콘텐츠 품질을 개선할 수 있음을 알 수 있었다.

이와 같은 방법을 사용할 경우 장점은 다음과 같다. 소규모에서도 특히 조명에 신경을 쓸 수 있다면 비싼 LED 환경이나 대형 환경이 아니더라도 적절한 비용과 규모에서 XR 콘텐츠 품질을 향상할 수 있을 것이다. 또 이렇게 제작 현장에서 사전에 실시간으로 화질이 개선된다면 재촬영에 대한 부담도 줄일 수 있고 추가적으로 필요한 영상 오점 보정을 위한 후반작업의 시간과 비용을 줄일 수 있을 것이다.

그러나 본 연구는 소규모 XR 제작 환경에서는 카메라와 배우와 LED 간의 거리가 매우 협소할 경우 카메라에 비춰지는 LED 소자 패턴 특성에 대한 모아레 문제처럼 개선하기 어려운 다른 문제점들이 있을 수 있다. 이때는 실시간 사전 시각화 외에도 전통적인 후반작업을 도입하는 것도 필요할 수 있다.

향후 연구에서는 생성형 AI 기술이 눈부시게 발전하고 있는 지금, 후반작업으로 모아레와 같은 문제를 해결하기 위해 Stable Diffusion의 Inpainting/Denosing 기술^[25]처럼 오점이 있는 특정영역을 선택하고 제거 후 AI 기술로 생성 및 개선하는 등의 기술을 이용한다면 XR 콘텐츠 품질을 더욱 향상시킬 수 있을 것으로 기대된다.

Acknowledgments

본 실험의 조명 구축 및 조명디자인은 KBS TV기술국 정상렬/허준/이경일 조명감독님, 에이즈조명 협조로 진행되었음.

본 연구는 문화체육관광부 한국콘텐츠진흥원 국책과제 인공지능을 활용한 영상 콘텐츠 리마스터링 편집 플랫폼 개발사업으로 수행되었음.(RS-2023-00266509)

이 논문의 연구 결과 중 일부는 한국방송·미디어공학회 2024년 하계학술대회에서 발표한 바 있음.

References

• Rigard, Why is Virtual Production LED Wall Better than Green Screen, https://rigardled.com/why-is-virtual-production-led-wall-better-than-green-screen/
• Bibilled, Virtual Production LED Wall for XR Stages, https://www.bibiled.com/virtual-production-led-wall-for-xr-stages/,July2022, .
• Variety, How Virtual Production Is Helping to Cut Costs and Reduce Carbon Footprint, https://variety.com/2022/artisans/news/virtual-production-small-budget-1235236717/,April2022, .
• Unreal, In-Camera VFX Quick Start, https://dev.epicgames.com/documentation/en-us/unreal-engine/in-camera-vfx-quick-start-for-unreal-engine
• 3D Scan Studios, How much does Virtual Production cost?, https://www.linkedin.com/pulse/how-much-does-virtual-production-cost-beings,April2021, .
• XR system configurations, features, and trends in use for immersive media creation, https://www.kca.kr/Media_Issue_Trend/vol52/sub02_01.html
• Sunghee Park, A Case Study on the Processes of Lighting Design : With Reference to the Play <A Strange Journey>, Master’s Thesis of Sangmyung university, Art convergence technology, Seoul, Korea, 2013, Retrieved from https://www.riss.kr/link?id=T13152052
• DoHee Cho, “LED Pattern Removal Techniques for Controlling Screen Moiré Phenomenon in Virtual Production,” Journal of the moving image technology associon of korea, vol.1, no.40, pp. 5-16, 2022.
• Y. Kim,“Commercialization of DMX Lighting for the Development of Korean Film Industry,” Journal of the moving image technology associon of korea, vol.1, no.31, pp. 129-144. January 2019. [https://doi.org/10.34269/mitak.2019.1.31.007]
• J.Jung, Reconstructing light environment with studio lights, Master’s Thesis of Chung-ang university, Seoul, Korea, 2015, Retrieved from https://dcollection.cau.ac.kr/srch/srchDetail/000000121560
• Diguise, Colour calibration, https://help.disguise.one/workflows/xr/colour-calibration
• Disguise, Blending and masking outputs, https://help.disguise.one/designer/stage-setup/projector-simulation/blending-masking-outputs
• ROE, What is Virtual Production XR and LED for Film?, https://www.roevisual.com/en/knowledge-and-support/faq-overview-page/what-is-virtual-production-xr-and-led-for-film
• A. Rauschnabel, “What is XR? Towards a Framework for Augmented and Virtual Reality.” Computers in Human Behavior, Volume 133, August 2022. [https://doi.org/10.1016/j.chb.2022.107289]
• Leder, SMD LED Display VS COB LED Display VS GOB LED Display, https://www.cnleder.com/?news_4/294.html,June2024, .
• Seeder, Technical Basis of XR Virtual Production, https://www.seeder.com/news/236-en.html, , (May 2023).
• StagePrecision, Camera Tracking, http://manual.stageprecision.com/stage.precision.beta/en/topic/camera-tracking
• Disguise, xR Workflow Overview, https://help.disguise.one/workflows/xr/xr-overview
• J. Choi, “Principles and technology trends in camera calibration,” Institute of Control Robotics and Systems, Vol.28, No.2, p29-35, June 2022.
• Bibiled, 2 Minutes To Understand The Relationship Between The Resolution And Moiré Of LED Gisplays, https://www.bibiled.com/2-minutes-to-understand-the-relationship-between-the-resolution-and-moire-of-led-gisplays/, , (June 2024).
• D. Lee, “A camera-based color calibration of tiled display systems under various illumination environments,” Journal of Information Display, Volume 18, 2017. [https://doi.org/10.1080/15980316.2017.1291454]
• E. Baek, Y. Ho, “Gaussian Alpha Blending for Natural Image Synthesys,” Proceedings of KISM Spring Conference, Korean Institude of smart media, pp. 138-391, 2015.
• H. Cho, “Vizrt Engine-Based Virtual Reality Graphics Algorithm A Study on the Basic Practical Training Method,” The International Promotion Agency of Culture Technology Vol.5, Issue 3, pp.197-202, August 2019.
• K. Yang, H. Cho, “Development of natural transition synthesis and control UI technology of AR and VR for efficient XR production.” Proceeding of Korea Association of Broadcasting and Media Engineering 2022 Summer Conference. Jeju, Korea, p114-117, June 2022.
• L. Andreas, “RePaint: Inpainting using Denoising Diffusion Probabilistic Models”, EEE/CVF Conference on Computer Vision and Pattern Recognition, June 2022.