Xsens와 Live Link를 활용한 라이브 XR 퍼포먼스 구현 사례 분석

1. 디지털 퍼포먼스와 분산적 수행 구조

디지털 퍼포먼스 연구는 컴퓨터 기술이 공연예술에 도입된 이후, 수행의 조건이 어떻게 변화했는지를 지속적으로 논의해 왔다. Dixon은 디지털 퍼포먼스를 컴퓨터 기술과 라이브 수행이 결합된 예술 형식으로 설명하며, 디지털 기술이 신체, 이미지, 공간, 시간, 관객 경험의 관계를 새롭게 구성한다고 보았다^[1]. 이러한 관점에서 중요한 것은 기술의 시각적 효과나 장비의 새로움 자체가 아니라, 기술이 수행의 구조 안에서 어떤 관계를 만들어내는가이다. 즉 디지털 기술은 공연 외부에서 장면을 보조하는 수단에 머무르지 않고, 공연이 조직되고 지각되는 조건 자체를 재구성한다.

디지털 문화 속 공연을 다루는 논의에서도 신체는 더 이상 물리적 무대 위에 단일하게 존재하는 대상으로만 이해되지 않는다. Causey는 디지털 문화 속 공연이 시뮬레이션, 가상환경, 매체화된 신체의 문제와 밀접하게 연결되어 있음을 논의하였다^[2]. 이 관점에서 공연자의 신체는 영상, 데이터, 인터페이스, 가상공간을 통해 복수의 층위로 분산되며, 수행은 물리적 신체와 매체적 환경이 결합되는 방식 속에서 발생한다. Salter 역시 기술과 공연의 관계를 단순한 도구 사용의 문제가 아니라, 역사적으로 서로 얽혀 온 수행 조건의 문제로 설명한다^[3]. 이러한 논의는 라이브 XR 퍼포먼스에서 기술 시스템을 공연의 부수적 장치가 아니라 수행의 일부로 분석해야 함을 뒷받침한다.

이 관점에서 실시간 모션캡처 기반 라이브 XR 퍼포먼스는 한 명의 공연자만으로 완결되는 수행 형식이 아니다. 공연자의 신체 움직임, 모션캡처 장비, 데이터 스트리밍, 게임 엔진, 리타게팅, 오퍼레이터의 현장 조작, 스크린 출력, 관객 반응이 하나의 연결된 구조 안에서 작동한다. 따라서 이 공연에서 수행의 중심은 물리적 배우나 디지털 캐릭터 중 하나로 환원되기 어렵다. 오히려 수행은 인간 수행자와 기술 시스템, 현장 운영 인력이 함께 만들어내는 분산적 구조 속에서 발생한다. 본 연구는 이러한 관점을 바탕으로 라이브 XR 퍼포먼스를 개별 장비의 조합이 아니라, 신체, 데이터, 인터페이스, 관객 경험이 실시간으로 결합되는 수행적 관계망으로 이해한다.

2. 매개된 신체와 디지털 캐릭터의 수행적 설득력

디지털 퍼포먼스에서 신체는 사라지는 것이 아니라 다른 방식으로 매개된다. 특히 모션캡처 기반 공연에서 공연자의 신체는 관객에게 직접 제시되기보다 데이터화된 움직임을 통해 디지털 캐릭터의 행위로 나타난다. 이 과정에서 신체는 단순히 이미지로 재현되는 것이 아니라, 센서, 소프트웨어, 엔진, 캐릭터 골격 구조를 통과하며 실시간으로 번역된다. Kozel은 기술 매개적 퍼포먼스에서 기술이 신체를 대체하는 것이 아니라 신체 경험의 양식을 변화시키는 조건으로 작동한다고 논의한다^[10]. 이러한 관점은 모션캡처 기반 라이브 XR 퍼포먼스에서 공연자의 신체와 디지털 캐릭터의 관계를 이해하는 데 유용하다.

라이브 XR 퍼포먼스에서 디지털 캐릭터가 관객에게 설득력 있게 받아들여지기 위해서는 단순히 캐릭터 모델이 존재하는 것만으로 충분하지 않다. 공연자의 움직임이 캐릭터의 골격 구조에 자연스럽게 대응해야 하며, 움직임의 시간적 지연이나 신체 비율의 어긋남이 최소화되어야 한다. 이때 리타게팅은 기술적 변환 과정인 동시에 공연적 설득력을 형성하는 조건이 된다. 본 연구에서 말하는 디지털 캐릭터의 수행적 설득력은 캐릭터가 독립적 주체처럼 보인다는 의미가 아니라, 공연자의 신체 움직임이 캐릭터의 움직임으로 전환될 때 관절 왜곡이 최소화되고, 동작의 방향과 속도, 반응 타이밍이 비교적 자연스럽게 유지되며, 물리적 신체와 디지털 캐릭터 사이의 연결이 관객 앞에서 크게 붕괴되지 않는 상태를 의미한다. 따라서 리타게팅의 안정성은 단순한 기술적 정확도가 아니라, 매개된 신체가 공연적 행위로 성립하기 위한 조건으로 이해된다.

다만 이때 디지털 캐릭터를 독립적 주체로 단정하는 것은 신중할 필요가 있다. 디지털 캐릭터의 수행성은 캐릭터 자체에서 발생한다기보다, 공연자의 신체 입력, 모션 데이터의 안정성, 엔진 내부 처리, 오퍼레이터의 조작, 관객의 반응이 결합되는 과정에서 구성된다. 따라서 본 연구에서 디지털 캐릭터의 수행적 의미는 자율적 주체성의 문제라기보다, 기술적으로 매개된 신체가 관객 앞에서 어떻게 설득력 있는 행위로 나타나는가의 문제로 다룬다. 이 점에서 리타게팅은 단순한 데이터 호환 절차가 아니라, 공연자의 신체가 디지털 캐릭터의 움직임으로 전환되어 현재적 행위에 가까운 형식으로 제시되기 위한 핵심 조건이다.

3. 라이브니스와 현장 상호작용

라이브니스는 공연 연구에서 핵심적인 개념이지만, 디지털 매체 환경에서는 물리적 현존만으로 설명되기 어렵다. Auslander는 라이브니스가 매체와 대립되는 순수한 현장성이 아니라, 매체화된 문화 속에서 역사적·기술적으로 구성되는 조건이라고 보았다^[8]. 이 관점에서 어떤 사건이 라이브로 경험되는지는 공연자와 관객이 같은 장소에 있는가의 문제에만 달려 있지 않다. 오히려 그 사건이 현재 발생하고 있으며, 관객의 반응이나 참여에 의해 변화할 수 있는 것으로 구성되는지가 중요하다.

이 논의는 실시간 모션캡처 기반 라이브 XR 퍼포먼스의 핵심 조건과 직접 연결된다. 이 공연에서 관객은 공연자의 물리적 신체를 직접 보는 대신, 대형 스크린 속 디지털 캐릭터의 움직임과 반응을 중심으로 공연을 경험한다. 따라서 라이브니스는 배우의 신체가 눈앞에 보인다는 사실에서만 형성되지 않는다. 관객의 요청, 사회자의 발화, 오퍼레이터의 조작, 디지털 캐릭터의 반응이 시간적으로 연결되어 있다는 감각 속에서 구성된다. 관객의 요청이 공연 장면의 변화와 시간적으로 연결될 때, 디지털 캐릭터의 행위는 녹화된 영상보다 현재 진행 중인 공연 사건에 가까운 것으로 해석될 수 있다.

따라서 라이브 XR 퍼포먼스의 현장성은 물리적 동일 공간의 문제를 넘어선다. 그것은 실시간 데이터 흐름과 현장 상호작용이 결합되면서 만들어지는 매개된 라이브니스의 문제이다. 이때 오퍼레이터의 역할은 단순한 기술 보조가 아니라, 관객 반응과 디지털 캐릭터의 행동을 연결하는 수행적 매개의 일부가 된다. 본 연구는 이러한 관점에서 현장 상호작용 구조를 라이브 XR 퍼포먼스의 부가 기능이 아니라, 공연의 라이브니스를 구성하는 핵심 조건으로 분석한다.

4. 재매개와 매체적 공연 공간

라이브 XR 퍼포먼스에서 스크린과 게임 엔진 기반 장면은 전통적 무대를 단순히 대체하는 장치가 아니다. Bolter와 Grusin의 재매개 이론에 따르면, 새로운 디지털 매체는 기존 매체를 완전히 폐기하는 것이 아니라 기존 매체의 형식과 경험 방식을 흡수하고 변형하면서 자신의 고유한 위치를 형성한다^[9]. 이러한 관점은 라이브 XR 퍼포먼스에서 스크린, 디지털 캐릭터, 가상 무대가 기존 공연의 현장성과 무대성을 어떻게 다시 조직하는지 설명하는 데 유용하다.

상호매체성 연구에서도 디지털 문화 속 공연은 전통적 라이브니스, 미디어 인터페이스, 네트워크적 조건을 결합하면서 공연의 시간과 공간을 재구성하는 것으로 논의되어 왔다^[11]. 이 관점에서 라이브 XR 퍼포먼스의 스크린은 단순한 영상 출력 장치가 아니라, 신체적 수행과 디지털 장면이 만나는 매체적 공연 공간으로 이해될 수 있다. 관객은 물리적 배우의 신체와 스크린 속 캐릭터를 완전히 분리된 두 대상으로 보기보다, 하나의 수행이 서로 다른 층위에서 동시에 발생하는 것으로 경험한다.

따라서 라이브 XR 퍼포먼스에서 공연 공간은 물리적 무대와 디지털 화면 중 하나로 환원되지 않는다. 공연은 공연자의 신체가 위치한 물리적 공간, 데이터가 처리되는 엔진 내부의 가상공간, 관객이 바라보는 스크린 공간, 그리고 관객 반응이 반영되는 현장 공간이 서로 연결되면서 발생한다. 이처럼 재매개된 공연 공간은 라이브 XR 퍼포먼스를 단순한 무대 영상 확장이나 기술 시연이 아니라, 매체적 조건 속에서 새롭게 구성되는 공연 형식으로 이해하게 한다.

본 연구는 이상의 논의를 바탕으로 사례 분석을 진행한다. 즉 Xsens와 Live Link를 활용한 라이브 XR 퍼포먼스의 기술 구성은 첫째, 분산적 수행 구조의 관점에서, 둘째, 매개된 신체와 디지털 캐릭터의 수행적 설득력의 관점에서, 셋째, 매개된 라이브니스의 관점에서, 넷째, 재매개된 공연 공간의 관점에서 분석될 것이다.

1. 사례 개요

본 연구가 분석 대상으로 삼는 사례는 Xsens 모션캡처 시스템과 Unreal Engine의 Live Link를 연동하여 구현된 라이브 XR 퍼포먼스이다. 해당 퍼포먼스는 2024년부터 2025년까지 대구·경북 지역의 콘텐츠 및 ICT 관련 공개 행사에서 동일한 기술 구조를 바탕으로 반복 운영되었다. 주요 운영 사례로는 대구 엑스코에서 개최된 대구콘텐츠페어(DCCF), 경북메타콘텐츠페스티벌, 경산 실내체육관에서 진행된 경북 ICT 체험 페스타 등이 있다. 이들 행사는 게임, 애니메이션, 캐릭터, VR/AR, ICT 체험형 콘텐츠를 대중에게 선보이는 성격을 지녔으며, 행사별 관객 규모는 약 1,000명에서 2,000명 전후였다. 따라서 본 사례는 전문 공연장보다 전시·체험형 문화 콘텐츠 행사 환경에서 작동한 라이브 XR 퍼포먼스라는 점에서 특징적이다.

이 공연의 기본 구조는 공연자의 신체 움직임을 실시간으로 캡처하여 디지털 캐릭터의 동작으로 변환하고, 이를 가상 배경 및 시각효과와 결합한 뒤 현장 대형 스크린에 출력하는 방식으로 이루어진다. 본 사례에서 공연의 주요 시각적 표면은 물리적 무대 위의 공연자보다 대형 스크린에 나타나는 디지털 캐릭터의 움직임과 반응에 놓여 있었다. 공연자는 관객 전면에 직접 노출되기보다 모션 입력을 수행하는 위치에 배치되었고, 사회자와 오퍼레이터는 관객의 요청을 공연 흐름 안으로 연결하는 역할을 담당하였다. 이 점에서 본 사례는 단순한 모션캡처 시연이 아니라, 신체 입력, 실시간 엔진 처리, 스크린 출력, 현장 상호작용이 결합된 공개형 XR 퍼포먼스로 볼 수 있다.

공연자는 Xsens 슈트를 착용한 상태에서 전신 움직임을 수행하며, 해당 움직임은 MVN Animate를 통해 3차원 스켈레톤 데이터로 변환된 후 Unreal Engine으로 스트리밍된다^[4][5][6]. 엔진 내부에서는 Live Link 기반 데이터 수신과 IK Rig, IK Retargeter를 통한 골격 매핑이 이루어지며, 최종적으로 디지털 캐릭터가 가상 장면 안에서 움직이는 형태로 관객에게 제시된다^[6][7]. 이 과정에서 공연자의 신체는 관객에게 직접 제시되는 대상이라기보다, 디지털 캐릭터의 움직임을 생성하는 실시간 입력으로 기능한다.

이 사례의 중요한 특징은 공연이 단순한 모션 데이터의 실시간 시각화에 그치지 않았다는 점이다. 공연 중 사회자의 발화와 관객의 요청에 따라 오퍼레이터가 별도의 인터페이스를 통해 디지털 캐릭터의 반응 동작을 실행하였고, 본 사례의 운영 구조는 관객의 요청이 캐릭터의 행동으로 이어지는 것처럼 경험될 수 있는 조건을 형성하였다. 따라서 이 공연은 공연자, 오퍼레이터, 사회자, 관객, 그리고 실시간 데이터 처리 시스템이 함께 작동하는 구조적 특성을 가진다.

이 공연의 기술적 흐름은 공연자의 신체 움직임이 데이터화되고, 엔진 내부 처리를 거쳐 스크린 속 디지털 캐릭터로 출력되는 파이프라인으로 구성된다. 이러한 흐름은 그림 1에 요약되어 있다.

Fig. 1.

Technical Pipeline of Live XR Performance

2. 기술 파이프라인과 시스템 구성 요소

그림 1에서 볼 수 있듯이, 이 공연의 기술 파이프라인은 크게 데이터 획득, 데이터 전송, 엔진 내부 처리, 스크린 출력의 단계로 구성된다. 각 단계는 독립적으로 작동하는 것이 아니라, 공연자의 신체 움직임이 디지털 캐릭터의 움직임으로 전환되어 관객에게 제시되기까지 연속적인 흐름을 이룬다.

첫째, 데이터 획득 단계에서 공연자는 Xsens 슈트를 착용하고 전신 움직임을 수행한다. Xsens 시스템은 공연자의 움직임을 추적하고, MVN Animate는 이를 3차원 스켈레톤 데이터로 변환한다^[4]. 이 단계에서 중요한 것은 단순히 움직임을 기록하는 것이 아니라, 공연 상황에서 사용할 수 있을 정도로 안정적인 실시간 데이터를 확보하는 것이다. 착용 상태, 센서 안정성, 캘리브레이션이 불안정할 경우 이후 단계에서 움직임 왜곡이나 데이터 손실이 발생할 수 있다.

둘째, 데이터 전송 단계에서는 MVN Animate에서 생성된 모션 데이터가 Live Link를 통해 Unreal Engine으로 전달된다^[5][6]. Live Link는 외부 소스의 데이터를 Unreal Engine 내부로 실시간 연동하는 기능을 수행하며, 이 공연에서는 공연자의 움직임이 엔진 내부의 디지털 캐릭터와 연결되는 핵심 통로로 기능하였다. 따라서 이 단계의 안정성은 공연 전체의 실시간성과 직접적으로 연결된다. 데이터 전송이 지연되거나 동기화가 어긋날 경우, 관객은 캐릭터의 움직임을 현재 진행 중인 수행이 아니라 지연된 화면 반응으로 인식할 수 있다.

셋째, 엔진 내부 처리 단계에서는 수신된 모션 데이터가 IK Rig와 IK Retargeter를 통해 디지털 캐릭터의 골격 구조에 맞게 재구성된다^[7]. 이 과정은 공연자의 신체 비율과 디지털 캐릭터의 골격 구조 사이의 차이를 조정하는 단계이다. 리타게팅이 불안정할 경우 캐릭터의 관절이 어긋나거나 동작이 부자연스럽게 보일 수 있으며, 이는 곧바로 관객 경험에 영향을 미친다. 반대로 리타게팅이 안정적으로 작동하면 공연자의 움직임은 디지털 캐릭터의 움직임으로 자연스럽게 전환된다.

넷째, 출력 단계에서는 리타게팅된 디지털 캐릭터가 가상 배경 및 시각효과와 결합되어 대형 스크린으로 제시된다. 관객은 이 스크린을 통해 공연의 주요 장면을 지각한다. 이때 스크린은 단순한 영상 출력 장치가 아니라, 공연자의 신체 움직임과 엔진 내부 처리가 관객 앞에서 가시화되는 주요 수행 표면이 된다. 각 구성 요소의 역할과 공연 상 기능은 표 1과 같다.

Table 1.

System Components of Live XR Performance

표 1에서 확인할 수 있듯이, 이 공연은 인간 주체와 기술 요소가 병렬적으로 배치된 구조가 아니라 상호 의존적인 수행 시스템으로 작동한다. 공연자의 움직임이 정확하게 캡처되더라도 엔진 내부 리타게팅이 불안정하면 디지털 캐릭터의 움직임은 설득력을 잃을 수 있다. 반대로 기술 파이프라인이 안정적으로 작동하더라도 오퍼레이터의 반응 타이밍이 어긋나면 관객은 이를 즉각적인 상호작용으로 받아들이기 어렵다. 따라서 이 사례의 구조를 이해하기 위해서는 개별 요소보다 요소 간 연결과 흐름에 주목할 필요가 있다.

3. 운영 주체와 상호작용 구조

그러나 실제 공연은 기술 파이프라인만으로 완결되지 않는다. 공연자의 움직임이 Xsens, MVN Animate, Live Link, Unreal Engine을 거쳐 디지털 캐릭터의 동작으로 출력되더라도, 관객이 이를 라이브 공연으로 경험하기 위해서는 현장 운영 구조가 함께 작동해야 한다. 본 사례에서 현장 상호작용은 관객의 요청, 사회자의 진행, 오퍼레이터의 반응 실행, 디지털 캐릭터의 동작이 연결되는 방식으로 구성되었다. 이러한 운영 구조는 그림 2와 같다.

Fig. 2.

Interaction Structure of Live XR Performance

그림 2에서 나타나듯이, 공연자는 신체 움직임을 통해 디지털 캐릭터의 기본 동작을 생성한다. 이 움직임은 모션캡처 시스템과 Unreal Engine 기반 파이프라인을 거쳐 스크린 속 캐릭터의 움직임으로 나타난다. 관객은 대형 스크린을 통해 캐릭터의 동작과 반응을 보고, 사회자는 관객의 요청을 공연 흐름 안으로 끌어들인다. 오퍼레이터는 사회자의 발화와 관객의 요청을 참조하여 준비된 반응 동작을 선택하고 실행한다.

이 구조에서 오퍼레이터는 단순한 기술 보조자가 아니라, 관객 반응과 디지털 캐릭터의 행동을 연결하는 현장 조정자로 기능한다. 사회자 역시 공연의 외부 진행자에 머물지 않고, 관객의 요청을 정리하고 상호작용의 타이밍을 조율하는 매개적 역할을 수행한다. 따라서 디지털 캐릭터의 반응은 자동화된 시스템에 의해 단독으로 생성되는 것이 아니라, 공연자, 사회자, 오퍼레이터, 관객, 기술 시스템이 함께 만들어내는 결과로 이해할 수 있다.

이러한 상호작용 구조는 본 사례가 단순한 모션캡처 시연과 구별되는 지점이다. 모션캡처 시연이 신체 움직임의 실시간 변환을 보여주는 데 초점을 둔다면, 본 사례는 관객의 요청이 사회자와 오퍼레이터를 거쳐 캐릭터의 반응으로 이어지는 과정을 포함한다. 즉 본 사례는 이미 완성된 영상을 일방적으로 상영하는 구조가 아니라, 관객의 요청이나 반응이 사회자와 오퍼레이터를 거쳐 공연 전개에 반영될 수 있는 구조를 형성하였다. 이 점에서 현장 상호작용 구조는 이후 분석할 매개된 라이브니스의 중요한 전제 조건이 된다.

4. 공연 운영 방식과 실시간 조건

이 사례에서 공연은 기술적으로 자동 실행되는 시스템이 아니라, 사전 준비와 현장 운영이 결합된 실시간 수행 체계로 운영되었다. 공연 전 단계에서는 캐릭터와 가상 무대의 최적화, Xsens 장비 캘리브레이션, MVN Animate와 Unreal Engine 간 연결 점검, Live Link 수신 상태 확인, IK 리타게팅 안정성 테스트, 오퍼레이터 반응 동작의 사전 준비가 반복적으로 수행되었다^[4][5][6][7]. 이러한 준비 과정은 실시간 공연에서 발생할 수 있는 지연, 동작 왜곡, 프레임 저하를 줄이고, 공연자의 움직임이 디지털 캐릭터의 움직임으로 안정적으로 전환되도록 하기 위한 조건이었다.

현장 운영 단계에서는 공연자, 사회자, 오퍼레이터가 긴밀한 타이밍 조율을 유지해야 했다. 공연자는 지속적으로 신체 움직임을 생성하고, 사회자는 관객의 주의를 조직하며 참여를 유도한다. 오퍼레이터는 사회자의 발화와 관객 요청을 참조하여 적절한 반응 동작을 선택하고 실행한다. 이때 중요한 것은 개별 장비의 성능만이 아니라 각 주체와 시스템이 하나의 공연 흐름 안에서 얼마나 안정적으로 연결되는가이다. 동일한 반응 동작이라도 실행 시점이 늦어지면 관객은 이를 즉각적인 응답으로 받아들이기 어렵고, 반대로 적절한 시점에 실행될 경우 디지털 캐릭터의 반응은 현장 사건의 일부로 지각된다.

또한 이 사례는 후반 편집이 가능한 영상 콘텐츠와 달리, 공연 중 발생하는 오류가 즉시 관객 경험에 반영된다는 점에서 높은 실시간성을 지닌다. 캐릭터나 배경 데이터가 과도하게 무거울 경우 렌더링 지연이 발생할 수 있고, 네트워크 연결이 불안정할 경우 모션 데이터 전달이 끊기거나 왜곡될 수 있다. 오퍼레이터의 반응 동작이 부정확하거나 사회자와의 조율이 어긋나면 상호작용 구조 자체가 약화될 수 있다. 따라서 본 사례는 모션캡처 기술을 단순히 무대에 도입한 사례라기보다, 실시간 데이터 흐름과 팀 기반 운영이 함께 조율되는 수행 환경으로 이해할 필요가 있다.

이상과 같이 본 사례는 공연자 신체의 디지털 전환, 실시간 엔진 처리, 스크린 기반 출력, 현장 상호작용이라는 네 가지 층위가 결합된 구조를 가진다. 3장에서 정리한 기술적·운영적 구조는 다음 장에서 논의할 분산적 수행 구조, 매개된 신체, 매개된 라이브니스, 재매개된 공연 공간의 분석을 위한 구체적 토대가 된다.

1. 분산적 수행 구조와 시스템 기반 수행

본 사례에서 공연은 단일한 인간 수행자에게만 귀속되지 않는다. 공연자의 신체 움직임은 Xsens 슈트를 통해 캡처되고, MVN Animate와 Live Link를 거쳐 Unreal Engine 내부로 전달된다. 이후 수신된 모션 데이터는 IK Rig와 IK Retargeter를 통해 디지털 캐릭터의 골격 구조에 맞게 재구성되고, 최종적으로 대형 스크린에 출력된다^[4][5][6][7]. 이 과정에서 수행은 공연자의 신체, 모션캡처 장비, 소프트웨어, 게임 엔진, 오퍼레이터, 사회자, 관객이 결합된 구조 안에서 발생한다.

따라서 이 공연에서 수행의 중심은 물리적 배우 한 명이나 디지털 캐릭터 하나로 환원되기 어렵다. 공연자는 움직임의 출발점을 제공하지만, 그 움직임이 관객 앞에서 공연 사건으로 나타나기 위해서는 데이터 전송, 리타게팅, 렌더링, 오퍼레이팅, 스크린 출력이 동시에 작동해야 한다. 이는 디지털 퍼포먼스가 신체와 기술, 이미지와 인터페이스의 관계 속에서 구성된다는 논의와 연결된다^[1][2][3]. 본 사례의 수행성은 인간 수행자와 기술 시스템이 분리된 상태에서 각각 작동한 결과라기보다, 이들이 하나의 공연 흐름 안에서 상호 의존적으로 연결되며 형성된 분산적 수행 구조로 이해할 수 있다.

그림 3은 공연자의 신체가 이 공연의 출발점임을 보여준다. 그러나 이 신체는 관객에게 직접 제시되는 최종 표면이라기보다, 디지털 캐릭터의 움직임을 생성하는 실시간 입력으로 기능한다. 이 점에서 공연자의 몸은 사라진 것이 아니라, 센서와 소프트웨어, 엔진을 통과하며 데이터화되고 매개된 방식으로 공연 안에 존재한다^[10]. 따라서 본 사례에서 신체는 무대 위에 단일하게 현존하는 대상이 아니라, 디지털 캐릭터, 스크린, 오퍼레이팅 구조와 결합하여 수행을 발생시키는 입력적·매개적 신체로 작동한다.

Fig. 3.

Performer Wearing the Xsens Suit and Digital Character

2. 리타게팅과 디지털 캐릭터의 수행적 설득력

실시간 모션캡처 기반 라이브 XR 퍼포먼스에서 리타게팅은 단순한 기술 변환 과정이 아니다. 공연자의 신체 비율과 디지털 캐릭터의 골격 구조는 동일하지 않기 때문에, 수신된 모션 데이터는 캐릭터의 관절 구조와 움직임 범위에 맞게 재구성되어야 한다. 이 과정이 안정적으로 작동할 때 디지털 캐릭터의 움직임은 어색한 그래픽 효과가 아니라, 현재 수행 중인 신체의 행위에 가까운 방식으로 제시될 수 있다.

본 사례에서 IK Rig와 IK Retargeter는 공연자의 움직임을 디지털 캐릭터의 신체 구조에 맞게 변환하는 핵심 단계로 기능하였다^[7]. 리타게팅이 불안정하면 관절이 어긋나거나, 손과 팔의 움직임이 신체 비율에 맞지 않게 변형되거나, 공연자의 동작과 화면 속 반응 사이의 연결감이 약화될 수 있다. 이러한 오류는 캐릭터의 움직임을 현재적 수행으로 보기 어렵게 만들며, 관객의 주의를 공연 장면보다 기술적 결함으로 이동시킬 위험이 있다. 반대로 리타게팅이 자연스럽게 작동하면 디지털 캐릭터는 사전에 제작된 영상이나 독립된 그래픽 객체가 아니라, 공연자의 움직임과 연결된 현재적 행위에 가까운 방식으로 제시된다. 이 점에서 리타게팅은 디지털 캐릭터에 독립적 주체성을 부여하는 기술이라기보다, 인간 수행자의 신체 움직임이 기술적 매개를 거쳐 관객 앞에서 설득력 있는 행위로 나타나게 하는 조건이다.

이러한 수행적 설득력은 기술적 정확성과 미학적 지각이 분리되지 않는다는 점을 보여준다. 관객이 디지털 캐릭터를 공연의 일부로 받아들이는 조건은 캐릭터 디자인의 완성도만이 아니라, 움직임의 타이밍, 관절의 자연스러움, 지연 없는 반응, 화면 속 존재감이 함께 조율될 때 형성된다. 기술 매개적 퍼포먼스에서 신체는 사라지는 것이 아니라 다른 방식으로 경험된다는 논의처럼^[10], 본 사례에서도 공연자의 신체는 디지털 캐릭터의 움직임을 통해 관객에게 다시 나타난다. 따라서 리타게팅은 데이터 호환의 문제가 아니라, 매개된 신체가 공연적으로 성립하기 위한 핵심 조건이다.

3. 현장 상호작용과 매개된 라이브니스

본 사례의 라이브니스는 공연자의 물리적 신체가 관객 앞에 직접 노출되는 방식으로만 형성되지 않았다. Aus- lander의 관점에서 라이브니스는 매체와 대립되는 순수한 현장성이 아니라, 매체 환경 속에서 현재적이고 반응 가능한 사건으로 인식되는 조건과 관련된다^[8]. 이 관점에서 본 연구는 사회자의 발화, 관객의 요청, 오퍼레이터의 실행, 디지털 캐릭터의 반응이 시간적으로 연결되는 과정을 본 사례의 매개된 라이브니스가 형성되는 조건으로 해석하였다.

즉 본 사례에서 중요한 것은 공연자의 신체가 직접 보였는가보다, 관객의 요청이 사회자와 오퍼레이터를 거쳐 화면 속 캐릭터의 반응으로 이어지는 시간적 연결이다. 이 과정은 관객에게 사전 제작 영상의 재생이 아니라 현재 진행 중인 사건에 가까운 형식을 제공하며, 라이브니스는 요청, 중계, 조작, 반응이 거의 같은 시간대에 접속되는 매개적 구조를 통해 구성된다.

이 공연에서 오퍼레이터는 단순한 기술 보조자가 아니다. 오퍼레이터는 관객 요청과 디지털 캐릭터의 반응 사이를 연결하는 현장 매개자로 기능한다. 사회자가 관객의 요청을 받아 공연 흐름 안에 배치하면, 오퍼레이터는 준비된 인터페이스를 통해 적절한 반응 동작을 실행한다. 이 구조는 관객의 요청과 디지털 캐릭터의 행동이 시간적으로 연결되어 보이는 장면을 형성한다. 이 시간적 연결감이 녹화 영상이나 사전 제작된 애니메이션과 구별되는 라이브니스의 핵심 조건이다.

그림 4는 이 공연의 상호작용이 자동화된 시스템만으로 이루어지는 것이 아니라, 현장 판단과 조작을 포함한 운영 구조 속에서 성립한다는 점을 보여준다. 관객의 반응은 직접적으로 캐릭터를 제어하는 것이 아니라, 사회자와 오퍼레이터를 거쳐 공연 장면에 반영된다. 따라서 본 사례의 라이브니스는 기술적 실시간성만으로 형성되는 것이 아니라, 인간적 판단, 운영 타이밍, 시스템 반응이 결합된 매개된 라이브니스라고 할 수 있다.

Fig. 4.

Real-time Operating Setup for Audience Interaction

특히 본 사례에서 관객과 디지털 캐릭터 사이의 상호작용은 직접적 제어라기보다, 인간 진행자와 오퍼레이터가 개입하는 매개된 상호작용이었다. 이 점은 본 사례의 한계이자 특징이다. 관객 참여가 완전한 인터랙티브 시스템으로 구현된 것은 아니지만, 관객 요청, 사회자 진행, 오퍼레이터 실행, 캐릭터 반응이 현장에서 시간적으로 접속되면서 공연의 현재성을 구성하였다.

4. 스크린과 재매개된 공연 공간

본 사례에서 대형 스크린은 단순한 출력 장치가 아니다. 공연자의 신체는 물리적 공간에 존재하지만, 관객이 지각하는 주요 사건은 스크린 속 디지털 캐릭터와 가상 배경 안에서 발생한다. 따라서 스크린은 무대의 보조 배경이 아니라, 공연이 관객에게 나타나는 주된 매체적 공간으로 기능한다.

Bolter와 Grusin의 재매개 개념에 따르면, 새로운 매체는 기존 매체를 폐기하는 것이 아니라 기존 형식을 흡수하고 변형하면서 새로운 경험 구조를 만든다^[9]. 이 관점에서 본 사례의 스크린은 전통적 무대를 대체했다기보다, 무대성을 디지털 이미지 공간 안에서 다시 조직한 장치로 볼 수 있다. 이 구조에서 물리적 배우와 디지털 캐릭터는 완전히 분리된 두 대상이라기보다, 하나의 수행이 신체, 데이터, 이미지, 스크린의 층위를 거쳐 나타나는 관계로 제시된다.

이러한 구조는 상호매체성의 관점에서도 설명될 수 있다. 디지털 문화 속 공연은 물리적 무대, 미디어 인터페이스, 네트워크적 조건, 관객 경험이 결합되면서 공연의 시간과 공간을 재구성한다^[11]. 본 사례에서도 공연 공간은 공연자의 신체가 위치한 물리적 공간, 모션 데이터가 처리되는 엔진 내부의 가상공간, 관객이 바라보는 스크린 공간, 관객 반응이 발생하는 현장 공간이 서로 연결되면서 형성된다. 이때 스크린은 단순히 완성된 이미지를 보여주는 장치가 아니라, 디지털 캐릭터의 움직임과 관객의 반응이 만나는 공연적 접점이 된다.

그림 5는 관객이 실제로 마주한 공연의 주된 표면이 대형 스크린이었음을 보여준다. 이 장면에서 관객은 엔진 내부의 기술 처리 과정을 직접 보는 것이 아니라, 스크린에 나타난 디지털 캐릭터의 움직임과 반응을 통해 공연을 경험한다. 따라서 본 사례의 공연 공간은 물리적 무대와 디지털 화면 중 하나로 환원되지 않고, 신체, 데이터, 엔진, 스크린, 관객석이 결합된 재매개된 공간으로 이해할 수 있다.

Fig. 5.

Large-screen Performance Scene Perceived by the Audience

5. 기술적 위험과 실시간 수행의 조건

실시간 XR 퍼포먼스의 수행성은 기술 시스템의 안정성에 크게 의존한다. 데이터 전송 지연, 센서 오류, 네트워크 불안정, 리타게팅 왜곡, 렌더링 부하, 오퍼레이터 반응 지연은 모두 공연의 흐름을 즉각적으로 흔들 수 있다. 영상 콘텐츠와 달리 라이브 퍼포먼스에서는 이러한 오류를 사후 편집으로 수정할 수 없기 때문에, 기술적 위험은 공연 외부의 문제가 아니라 수행 조건의 일부가 된다.

본 사례에서 캐릭터와 배경의 최적화, Live Link 연결 점검, 리타게팅 검증, 오퍼레이터의 동작 준비는 모두 이러한 위험을 줄이기 위한 과정이었다^[4][5][6][7]. 그러나 이 과정은 단순히 기술 오류를 예방하기 위한 절차에 그치지 않는다. 시스템이 불안정할 수 있다는 가능성, 그리고 그 불안정성이 관객 앞에서 즉각적으로 드러날 수 있다는 조건 자체가 이 공연을 사전 제작 영상과 구별되게 한다. 다시 말해 라이브 XR 퍼포먼스의 현재성은 기술이 완전히 사라진 것처럼 안정적으로 작동할 때만이 아니라, 기술적 위험을 현장에서 조율하고 통제하는 운영 과정 속에서 형성된다.

따라서 본 사례에서 기술적 위험은 라이브니스의 반대편에 있는 결함이 아니다. 오히려 그것은 실시간 XR 퍼포먼스가 실제 현장에서 수행되는 방식, 즉 신체 입력, 데이터 처리, 엔진 렌더링, 오퍼레이팅, 관객 반응이 매 순간 조율되어야 한다는 조건을 드러낸다. 이 점에서 본 사례는 실시간 모션캡처 기술을 활용한 시각효과 중심의 공연이라기보다, 기술 시스템의 안정성과 현장 운영의 타이밍이 함께 구성하는 분산적 수행 형식으로 이해할 수 있다.