AI Agent 기반 공연 영상 제작을 위한 Human-AI Collaborative Production Framework 연구

Ⅰ. 서 론

최근, 공연 예술 산업은 ‘현장감(Liveness)’이 도전받는 상황에서, 온라인 스트리밍(Online Streaming)과 디지털 아카이브(Digital Archive)를 활용하려는 움직임이 확대되고 있다. 이에 따라 공연 예술가와 제작 주체 모두에게 라이브 작업과 디지털 기술의 결합 방식을 새롭게 모색하는 상황이 나타나고 있다^[1].

이러한 산업적 패러다임 변화와 병행하여, 공연 예술 산업 현장에서는 몰입형 확장현실(Extended Reality 이하 XR)과 가상현실(Virtual Reality)에서 생성형 AI 기술의 적용이 구체화되고 있다^[2]. 첫째, 확장현실 기반 공연 시스템은 오디오 생성·영상 생성·이벤트 스케줄링·파라미터 매핑을 하나의 모듈형 구조의 통합 설계의 가능성을 제시하고 있다^[2]. 둘째, 가상현실 기반 공연 시스템은 실시간 렌더링 엔진과 가상 공연장(Virtual Venue)을 결합하여 물리적 무대의 제약 없이 공연 공간 자체를 디지털로 재구성하는 방향으로 발전하고 있다. 가상현실 콘서트 환경에 대한 실증연구는 관객의 실재감(Presence)과 사회적 실재감(Social Presence)이 가상 공연장의 시각적 사실성 및 상호작용 설계에 유의미하게 좌우됨이 입증된 바 있다^[3]. 또한, 뇌파(EEG) 신호로 관객의 반응을 실시간으로 피드백하여 가상 무대 연출에 반영하는 다중 사용자 가상현실 콘서트 시스템이 설계·검증된 바 있다^[4]. 즉, 가상현실 공연은 배경 합성 수준을 넘어섰다. 관객 반응을 실시간으로 받아 무대에통합하는 양방향 구조로 옮겨가고 있다. 이와 같은 기술 발전의 흐름 위에서, 최근에는 생성형 AI(Generative AI)와 자율적으로 계획을 수립하고 실행하는 AI 에이전트(AI Agent)가 공연 예술 산업에 결합되기 시작하였다. 생성형 AI가 스크린 산업을 넘어 라이브 퍼포먼스 산업 영역에 집중되어 있다는 것이다^[5]. 즉, 실시간·비가역적 공연 환경에서 AI 에이전트를 접목하려는 시도가 다각도로 이루어지고 있다.

공연 예술 산업에서 공연 연출가, 음악감독과 XR 감독 등 다양한 인간 창작 주체가 AI 에이전트와 실제로 어떠한 협업 구조와 권한 배분 하에서 작업해야 하는지를 규명하는 통합적 프레임워크 연구는 상대적으로 충분하지 않다. 이 협업 구조가 충분히 정립되지 않은 상태에서 기술 도입만 앞서가면, 그 비용은 실무 현장의 시행착오 비용으로 직결될 공산이 농후하다. 이에 본 연구는 공연 영상 제작이라는 구체적 산업 맥락 속에서 AI 에이전트와 인간 창작자 간의 협업 구조를 이론화하고, 이를 실무에 적용 가능한 프레임워크를 제시하고자 한다.

본 연구의 목적은 AI 에이전트가 결합된 공연 영상 제작 환경에서 인간 창작자와 AI 에이전트 간의 협업 구조를 이론적으로 규명하고, 이를 기반으로 HAI-CPF(Human-AI Collaborative Production Framework)를 제안하는 데 있다. 이를 위해 다음과 같은 연구 문제를 설정한다.

첫째, 공연 영상 제작 프로세스의 각 단계에서 AI 에이전트는 어떠한 기능적 역할(자동화·협업·조정)을 수행할 수 있는가?

둘째, 인간 창작자와 AI 에이전트 간의 협업은 이론적으로 어떠한 구조(HITL/HOTL)로 설계되어야 하는가?

셋째, 공연 영상의 예술적 완성도와 실시간성을 동시에 담보하기 위한 프로덕션 거버넌스(Production Governance)는 어떻게 재구성되어야 하는가?

이상의 연구 목적과 연구 문제에 따라 본 논문은 다음과 같이 구성된다. Ⅱ장에서는 AI 기반 공연 영상 제작환경과 인간-AI 협업에 관한 선행연구를 바탕으로 공연 영상 제작 프로세스, HITL/HOTL 협업 구조, 프로덕션 거버넌스와 창의적 의사결정에 관한 논의를 살펴본다. 이를 바탕으로 ​공연 영상 제작에서 인간과 AI의 역할 및 의사결정 관계를 정리하고, HAI-CPF의 이론적 도출 근거를 제시한다. Ⅲ장에서는 이를 검증하기 위한 질적 다중사례연구의 설계와 자료수집·분석 방법을 제시한다. Ⅳ장에서는 5명의 전문가 심층 인터뷰를 앵커 사례로 하여 프로세스의 순환적 재구조화, 3계층 권한 위임, 검증 내재화라는 HAI-CPF의 세 가지 구성 전략을 도출하고, 이를 학술적·실무적 시사점과 함께 논의한다. Ⅴ장에서는 연구를 요약하고 정책적 시사점과 연구의 한계 및 향후 연구방향을 제시하며 논문을 맺는다.

Ⅱ. 이론적 배경 및 선행 연구 분석

AI 에이전트는 단발적 과업을 수행하는 기존 AI 도구와 다르다. 능동적 계획 수립, 맥락 기억, 외부 도구 활용, 환경 피드백을 바탕으로 자율적 행동 적응 능력을 갖춘 시스템이기 때문이다^[6]. 즉, 단순 기능을 수행하는 소프트웨어가 아니라, 복수의 작업을 독립적으로 계획하고 조정하는 ‘협업 주체(Agent)’로 개념화된다는 점에서 기존의 XR·가상 제작(Virtual Production) 제어 도구들과 차별화된다. 이러한 자율적 주체성에 기반한 AI 기술 패러다임을 ‘에이전틱 AI(Agentic AI)’라 명명한다.¹⁾

그러나 해당 정의는 공연 영상 제작 현장의 특수성을 충분히 반영하는 데 한계를 지닌다. 무대(물리 공간)와 XR(가상 공간)이 실시간으로 상호작용하고, 카메라·음향·조명이 복합적으로 얽혀 있기 때문이다. 이러한 환경에 AI 에이전트를 적용하려면 시각·언어·행동 데이터를 통합적으로 처리하는 멀티모달 AI(Multimodal AI)의 결합이 필수적이다. 멀티모달 기반 AI 에이전트는 물리적·가상적 환경 모두에서 다각적인 입출력 데이터를 실시간으로 인지하고 작동할 수 있다^[7]. 이는 다감각적 요소를 동시에 제어해야 하는 공연 제작 AI의 요건과 정확히 부합한다.

결과적으로 에이전틱(Agentic) 요소는 시스템이 자율적으로 판단·행동할 수 있는 ‘주체성의 범위’를 규정한다. 반면 멀티모달(Multimodal) 요소는 그 주체성이 다룰 수 있는 복합 데이터(시각, 음향, 공간 정보 등)의 ‘인지·표현 역량’을 규정한다. 두 속성의 융합은 AI 에이전트의 정의를 공연 영상 제작이라는 구체적 도메인 맥락에 맞게 고도화하는 이론적 기반이 된다. 이러한 AI 에이전트가 공연 제작 현장에 다수 투입되면 새로운 기술적 요구가 발생한다. 음향 보정, 조명 큐 생성, XR 배경 합성을 각각 담당하는 에이전트가 독립적으로 작동할 때, 그 산출물을 하나의 일관된 무대 연출로 통합·조정하는 상위 메커니즘이 필요해지기 때문이다. 이를 ‘AI 오케스트레이션(AI Orchestration)’이라 한다. 특화된 역할을 부여받은 다수의 에이전트를 중앙 조정자(Orchestrator)가 과업 분배·역할 의존성 관리·결과 통합의 방식으로 조율하는 구조를 의미한다^[8]. 이는 공연 제작에서 무대·조명·카메라·XR이라는 이질적 하위 시스템을 통합하는 오케스트레이션 설계의 이론적 타당성을 뒷받침한다.

세 요소는 서로 다른 층위에서 AI 에이전트를 구성한다. 에이전틱 AI가 자율적 판단과 실행을, 멀티모달 AI가 시각·음향·공간 정보의 통합 처리를 담당한다면, 오케스트레이션은 이 둘의 산출물을 여러 에이전트와 제작 시스템 사이에서 조율하는 역할을 한다. 이렇게 보면 공연 제작에서 세 요소는 독립된 기술이라기보다, 하나의 제작 환경을 구성하는 상호 연계된 기능으로 볼 수 있다.

다만 해당 명제는 AI의 기능적 한계 범위를 규정하는 수준에 머문다. 그 상한이 실제 제작 현장의 어느 지점에서 작동하는지는 별도로 규명해야 할 것이다.

이를 규명하기 위해 공연 영상 제작 프로세스를 장르와 무관하게 일반화하면, 공연 기획, 연출, 무대, 조명, 음향, 카메라, XR/버추얼 프로덕션, 실시간 송출, 후반 제작의 9단계로 구성된다. 이 9단계는 앞서 규정한 AI 기능이 적용되는 구체적 작업 단위(Unit of Analysis)를 제공한다.

몰입형 극장에서는 AR 기반 스마트 자막이 청각장애인 및 다국어 관객의 접근성 향상에 활용되는 등 XR/버추얼 프로덕션 단계에서도 AI 활용이 확산되고 있다^[9]. 이러한 경험적 사례는 AI 기능의 이론적 범주와 실제 현장 적용 양상을 연결하는 근거를 제공한다.

그러나 AI가 9단계 전 과정에 기능적으로 개입할 수 있다는 사실이 그 개입의 전면적 허용을 정당화하지는 않는다. 특히 수정이 가능한 사전제작 단계와 되돌릴 수 없는 실시간 송출 단계 사이에는, 인간 개입의 수준에 분명한 차등이 요구되기 때문이다.

이 지점에서 HITL(Human-in-the-Loop) 개념이 이론적 자원으로 요청된다. HITL은 자동화된 의사결정의 핵심 지점에 인간의 판단을 전략적으로 배치하는 설계 원칙으로 정의된다. 최근 실증연구는 이러한 배치의 핵심 주제로 AI 거버넌스와 인간 권한, 반복적 개선, AI 시스템의 생애주기 및 운영 제약, 인간-AI 팀 협업의 네 가지를 도출하였다^[10]. 이와 대비되는 HOTL(Human-on-the-Loop)은 AI가 실행을 주도하고 인간은 감독자로서 필요시에만 개입하는 구조로 구분된다.

Sapkota 등(2025)은 신뢰가 중요한 고위험 도메인에서 메타 추론(Metareasoning)과 모듈성(modularity)의 원리가 아키텍처 설계의 핵심 요소임을 강조한다^[11]. 이 원리를 적용하면, 사전제작 단계의 시안 생성-검토 관문(Gate)에서는 HITL을, 되돌릴 수 없는 실황 단계에서는 극히 제한된 AI 개입만을 허용하는 이원적 설계가 성립한다. 그러나 이 설계는 인간 개입의 ‘위치’를 규정할 뿐이다. 그 위치를 누가 결정하고, 오류 발생 시 누가 책임을 지는가라는 조직적·정책적 질문에는 답하지 못한다.

이러한 한계는 거버넌스 차원의 이론적 보완을 요구한다. 미디어 거버넌스 논의는 전통적으로 콘텐츠의 내용적 정확성·공정성·저작권을 다루는 편집적 거버넌스(Editorial Governance)를 중심으로 이루어져 왔다. 그러나 Pierson 등(2023)은 뉴스 제작 전 과정의 AI 활용 사례를 검토하여, AI가 결합된 미디어 거버넌스를 자동화된 데이터 처리, 콘텐츠 생성, 콘텐츠 모더레이션, 커뮤니케이션의 네 축으로 유형화하였다^[12]. 이는 앞서 도출한 이원적 개입 경계가 콘텐츠 내용이 아니라 제작 공정 자체를 규율하는 프로덕션 거버넌스 차원으로 확장되어야 함을 시사한다. 그러나 AI 거버넌스 프레임워크 다수는 ‘누가, 무엇을, 언제, 어떻게’ 거버넌스를 수행하는가라는 네 가지 질문에 충분히 답하지 못한다는 한계가 체계적 문헌 검토를 통해 지적된 바 있다^[13]. 조직 내 단계별 주체 식별이 불충분하다는 것이다. 이 한계는 앞서 설계한 이원적 HITL 경계에도 그대로 적용된다. 개입의 위치는 도출되었으나, 결정과 책임의 주체는 규명되지 않는다.

이러한 공백은 배우 디렉팅, 감정선 조율, 예술적 완성도에 대한 최종 판단과 같은 창의적 의사결정(Creative Decision-making) 영역에서 더 크게 드러난다. 40개 소셜미디어 플랫폼을 대상으로 한 AI 생성 콘텐츠 거버넌스 분석에 따르면, 창작·지식공유 중심 플랫폼일수록 콘텐츠 조정뿐 아니라 소유권·수익화 문제까지 함께 다루는 경향이 있다^[14]. 이는 창작 산업의 AI 거버넌스가 개입 위치의 지정을 넘어, 권한·소유·책임의 배분까지 포괄해야 함을 뒷받침한다. 본 장의 논의를 관통하는 질문은 결국 하나로 좁혀진다. 첫째, AI 에이전트의 기능적 특성(에이전틱·멀티모달·오케스트레이션)은 AI가 ‘무엇을 할 수 있는가’라는 기능적 상한을 규정한다. 둘째, 공연 영상 제작 프로세스의 일반화는 그 기능이 적용되는 ‘작업 단위’를 제공한다. 셋째, HITL/HOTL의 설계 원리는 인공지능 개입의 허용 범위를 구체적으로 규정한다. 넷째, 프로덕션 거버넌스와 창의적 의사결정 이론은 이러한 허용 경계를 정당화하는 주체를 명확히 입증한다. 이 네 층위는 독립적으로 병존하지 않고, 서로 상호 전제와 보완이라는 긴밀한 연쇄 구조 속에서 맥락을 같이한다. 이러한 이론적 연쇄는 AI 자동화 영역(Automation Layer), Human-AI 협업 영역(Collaborative Layer), 인간 창작 영역(Creative Governance Layer)으로 구성되는 3계층 협업 모델의 근거가 된다. 이를 시간적 구조로 확장하면, 인간-AI 협업형 제작 프레임워크 HAI-CPF를 도출하는 이론적 정당화로 이어진다.

Ⅲ. 연구 방법

본 연구는 질적 다중사례연구(Qualitative Multiple Case Study)를 기본 연구설계로 채택하고, 전문가 심층 인터뷰를 통해 자료를 수집하였다. Yin(2018)은 사례연구를 현상과 맥락의 경계가 명확하지 않은 실제 상황에서 특정 현상을 구체적으로 살펴보는 데 적합한 연구 방법으로 정의한다^[15]. 단일사례연구와 달리 다중사례연구는 복수의 사례를 통해 문헌적 복제(Literal Replication)와 이론적 복제(Theoretical Replication)의 논리를 적용할 수 있으며, 사례 간 반복적으로 나타나는 패턴을 확인하는 데 유용하다^[15]. 이에 따라 수집된 자료는 주제별로 정리한 후 사례 간 비교를 통해 공통적으로 나타나는 패턴과 차이를 살펴보았다^[16]. 이러한 분석은 개별 사례의 특수성보다 인간-AI 협업 과정에서 반복적으로 나타나는 구조적 특징을 파악하는데 목적을 두었다.

이에 따라 복수의 공연 유형을 교차 비교함으로써 장르별 특수성과 공연 영상 제작 전반에 공통되는 구조적 패턴을 분리해 낼 수 있다는 방법론적 이점을 기대할 수 있다. 본 연구의 분석 단위(Unit of Analysis)는 개별 공연 장르가 아니라, K-POP 음악방송·대형 뮤지컬·국립극장 대형 공연 등 대형·라이브 미디어형 공연 제작 경험을 보유한 개별 전문가이다. 대상은 목적 표집(Purposive Sampling)을 통해 선정되었으며, AI 에이전트 도입의 영향이 가장 선명하게 드러나는 대형·라이브 미디어형 공연 제작 경력자를 우선했다. 이는 최대 변이 표집(Maximum Variation Sampling) 전략을 적용한 결과이다. 즉, 시각적 완성도와 기술적 역동성이 극대화되어 AI 에이전트 도입에 따른 파급 효과를 가장 집약적으로 관찰할 수 있는 사례를 표집하는 선정 논리에 근거한다^[17]. 인터뷰 대상은 표 1과 같이 공연 연출가, 공연 PD, 영상 감독, XR 기반 기술 감독, 음악감독으로 구성하며, 역할군별 1인 내외, 총 5명을 목표로 한다.

Table 1.

List of in-depth expert interview positioning2)

Guest, Bunce & Johnson(2006)의 실증연구는 60건의 인터뷰 데이터셋을 분석한 결과, 메타 주제(Meta Theme)의 기초 요소는 6건의 인터뷰 시점부터 이미 나타나기 시작하였고, 코드 포화는 첫 12건의 인터뷰 내에서 달성되었음을 보고하였다^[18]. 이 기준에 비추어 볼 때 본 연구의 5인 표본은 포화의 하한선(6건)에도 미치지 못하는 규모이다. 따라서 본 연구는 처음부터 완전한 주제 포화를 목표로 하지 않았으며, 핵심 정보제공자(Key Informant)의 심층적 통찰을 통해 향후 본조사(10인 이상)에서 검증할 잠정적 명제를 도출하는 예비적·탐색적 단계로 설계되었다.

반구조화 인터뷰(Semi-structured Interview) 녹취록은 전사 후 연구참여자 확인(Member Checking) 절차를 거쳐 분석에 활용함으로써 해석의 신뢰성(Trustworthiness)을 확보한다^[19].

수집된 인터뷰 자료는 Braun & Clarke(2006)가 제시한 6단계 절차인 자료 친숙화, 초기 코드 생성, 주제 탐색, 주제 검토, 주제 정의, 결과 서술에 따라 주제 분석(Thematic Analysis)을 1차로 적용하여 범주를 도출한다^[20]. 초기 코드는 인터뷰 발화 단위로 개방 코딩(Open Coding)하였으며, 두 명 이상의 참여자에게서 공통적으로 확인된 코드는 2차 주제(Second-Order Theme)로, 단일 참여자에게서만 확인된 코드는 잠정적 개념으로 구분하여 표 2의 수렴 정도(Convergence, n/5) 산출 기준으로 삼았다. 이후 개별 사례(전문가) 간 응답을 체계적으로 대조하는 교차사례분석(Cross-case Analysis)을 통해, 직무·역할 군에 따른 인식의 공통점과 차이점을 구분한다^[16][21]. 최종적으로는 귀납적으로 도출된 개념과 선행 이론을 반복적으로 대조하는 이론적 정교화(Theoretical Refinement) 절차를 거쳐, 이를 프레임워크 개발(Framework Development) 단계로 수렴한다^[21][22].

Table 2.

Layer-specific tasks confirmed by both anchor cases

Ⅳ. 사례 분석 결과 및 HAI-CPF의 구성 전략의 도출

2. HAI-CPF의 구성 전략

5명의 인터뷰 자료를 교차하여 살펴본 결과, HAI-CPF를 구성하는 핵심적인 특징은 세 가지로 정리되었다. 프로세스의 순환적 재구조화, 3계층 권한 위임, 검증 내재화이다. 이 세 전략 가운데 3계층 권한 위임은 RQ1에서 제시한 자동화·협업·조정의 기능을 실제 제작 과정의 권한 구조로 구체화한다. Layer 1은 AI 자동화, Layer 2는 인간-AI 협업을 중심으로 구성되며, 세 계층을 연결하는 오케스트레이션 원리는 각 단계의 역할과 의사결정을 조정한다. RQ1은 AI가 수행할 수 있는 기능의 범위를 묻는다. 이에 비해 순환적 재구조화 전략은 그러한 기능이 제작 과정의 어느 지점에서 작동하며, 다른 제작 활동과 어떻게 연결되는지를 설명한다. 이에 따라 자동화는 사전제작 단계에서 초안 생성과 반복 작업을 중심으로, 협업은 리허설 단계에서 AI 생성 결과에 대한 인간 제작자의 검토·수정과 공동 의사결정을 중심으로, 조정은 리허설·생방송·사후 평가를 포괄하는 전체 제작 주기에서 인간과 AI의 역할과 산출물을 연계·관리하는 방식으로 작동한다. 특히 사후 평가의 결과가 후속 제작의 초안 생성과 수정에 다시 반영되면서, 각 제작 단계는 독립적으로 종료되는 것이 아니라 다음 단계의 의사결정과 다시 연결된다.

첫째, 공연 영상 제작 프로세스의 순환적 재구조화이다. 전문가 인터뷰의 1차 코딩에서 도출된 첫 번째 핵심 주제는 이것이다. 공연 영상 제작 공정이 순차 구조에서 벗어나고 있다. 생성·검토·수정·실행·평가의 결과가 상호 환류하는 순환적 구조로 옮겨가고 있다. 전문가들은 제작 단계를 서로 분리된 공정으로 보지 않았다. 앞 단계에서 나온 결과가 다음 단계의 판단과 수정에 영향을 주고, 수정된 결과가 다시 후속 제작에 활용된다는 설명이 반복해서 나타났다. 따라서 AI 기반 공연 영상 제작에서 중요한 변화는 개별 작업의 자동화 자체보다 제작 단계 사이의 연결 방식에 있다. 검토와 수정, 평가가 다음 제작에 다시 반영되면서 제작 과정이 반복적으로 갱신되는 구조가 형성된다. 이러한 인식은 두 직군의 발언에서 구체적으로 확인된다(공연 연출가, 공연 PD). 한 발언은 이를 “각 단계가 완전히 분리되어 순차적으로 진행되기보다는 상호 피드백을 주고받는 반복적이고 동시적인 협업 구조로 운영된다”고 표현하였으며, 다른 발언은 공연 영상 제작 자체를 “공연 기획과 영상 연출이 동시에 설계되는 통합 제작 프로세스”로 규정하였다.

다만 배포 이후 단계의 세분화 정도에서는 인식 차이가 확인되었다. 검수·배포를 별도 단계로 분리해 서술한 경우와, 아카이빙 및 2차 콘텐츠 제작을 후반 제작에 통합된 하나의 흐름으로 서술한 경우로 나뉘었다(공연 연출가, 공연 PD). 전문가 간 의견의 일치와 차이는 기존 9단계 선형 모델의 보완 필요성을 시사하는 핵심 근거로 해석된다. 이러한 재구조화 요구는 워크플로우 전체의 방향에서도 확인된다. 재구조화 제안은 두 갈래로 나타났다(공연 연출가, 음악감독). 하나는 크리에이티브 연출을 기획 단계와 통합해 워크플로우 최전방으로 이동시키고, AI 제작과 인간 리뷰의 관계를 연출 기준 충족까지 반복되는 순환 구조로 재설정하는 안이었다. 다른 하나는 예술가 리뷰와 AI 보조 제작의 반복 구조에 더해, 관객 피드백이 다음 제작으로 환류되는 구조를 제안하는 안이었다. 두 제안이 겨냥하는 순환의 시간 스케일 또한 서로 달랐다. 하나는 워크플로우 초반부(기획-제작 단계)의 국지적 순환에, 다른 하나는 워크플로우 종료 이후(평가-피드백)의 전체 주기적 순환에 초점을 두었다.

이 두 시간 스케일의 순환 구조를 하나의 전략으로 결합하면, 창의적 방향 설정의 최전방 배치와 AI 생성-인간 검토의 양방향 순환, 그리고 사후 평가의 다음 제작으로의 환류라는 그림 1-(b)의 순환형 구조가 도출된다.

Fig. 1.

Comparison of the Draft Model and the Interview-Derived Integrated Model (HAI-CPF)

둘째, 3계층 권한 위임 전략이다. Layer 1로 수렴하는 2차 주제는 “AI가 단독으로 실행하고 인간이 결과만 확인하는, 경계가 뚜렷한 자동화 영역”이라 명명할 수 있다. 반복적·규칙 기반 과업은 전문가들 사이에서 높은 자동화 가능 영역으로 일관되게 인식되었으며, 자막 생성, 다국어 번역, 노이즈 제거, 음량 보정, 하이라이트 추출이 그 대표적 사례로 확인되었다. 이는 HAI-CPF의 자동화 계층이 독립적 기능 단위로 설계될 수 있음을 시사한다.

다만 원칙 수준의 합의는 5명 전원에게서 확인된 반면, 구체적 항목별 수렴 정도는 표 2에 제시된 바와 같이 항목에 따라 차이를 보였다. 이는 Layer 1의 세부 업무 구성이 전문가 개인의 실무 경험에 따라 상이하게 인식되고 있음을 시사한다.

아울러 당초 완전 자동화 영역으로 상정했던 카메라 컷 추천과 조명 프리셋 생성은, 전문가 모두 인간의 승인이 필요한 영역으로 재위치 시켰다. Layer 2의 2차 주제는 “AI가 대안을 확장하고 인간이 예술적 적합성을 기준으로 선택·승인하는 반복적 협업”으로 종합된다.

협업의 최적 지점(사전제작·리허설)에 대해서는 직무를 초월한 일치가 확인되었으나, 그 지점을 개념화하는 언어는 직무별로 상이하였다. 음악감독은 이를 예술적 판단의 언어로 서술하였다. “AI는 다양한 제작 안을 생성하고 시뮬레이션하며, 인간은 그중 공연의 철학과 감정에 가장 적합한 결과를 선택하고 수정하는 방식이 효과적”이라는 표현이 그것이다. 반면 공연 PD는 절차적·기술적 언어로 서술하였다. “AI가 여러 대안을 제시하고 인간이 검토·수정·승인하는 HITL 구조”라는 표현이 이에 해당한다. 같은 협업 지점을 두고도 예술 연출, 제작 관리, 영상 기술 등 서로 다른 언어로 개념화하고 있었다. Layer 2가 특정 직군의 어휘에 갇히지 않는 중립적 인터페이스로 설계되어야 하는 이유가 바로 여기에 있다.

Layer 3에서는 두 가지 권한이 구분되었다. 하나는 해석·감정·카메라 판단과 같이 창작 결과에 직접 영향을 미치는 권한이고, 다른 하나는 승인·중지·책임과 관련된 거버넌스 권한이다. 해석·감정·카메라 판단이라는 창작의 핵심 영역에서는 직군에 관계없이 인간 판단의 필요성이 강하게 확인되었다. 감정선·템포·카메라 시선·해석 방향에 대한 인간 판단의 필요성은 정확한 수렴을 보였다(공연 연출가, 음악감독). 이러한 수렴은 비상통제·최종 편집 및 배포 권한·저작권 검토·오케스트레이터로의 역할 전환으로 자연스럽게 확장되었다. 주목할 점은 Layer 1·2에서 관찰된 세부 항목 수준의 편차가 Layer 3에서는 나타나지 않았다는 것이다. 전문가들은 자동화·협업 영역의 구체적 업무 배분에는 실무 경험에 따라 유동적으로 판단하는 반면, 인간의 배타적 권한 경계에 대해서는 직무와 무관하게 견고하고 일치된 인식을 공유하고 있었다. 이러한 비대칭적 수렴 양상을 분석한 결과(표 2 참조), 권한 배분은 하위 단계에서 상위 단계로 이행할수록 한층 명확하고 엄격하게 위임되어야 함을 시사하는 것으로 해석된다. 이 점에서 본 연구가 시도하는 프로덕션 거버넌스의 재구성은 인간 권한의 우위를 확보하는 것만이 목적은 아니다. AI가 수행할 수 있는 업무의 범위, 인간의 개입 및 승인 지점, 실시간 중지·전환 권한, 그리고 사후 책임 추적을 하나의 연계된 의사결정 체계로 설계하는 데 그 핵심이 있다. 즉, HAI-CPF의 거버넌스는 ‘누가 무엇을 수행하는가’뿐 아니라 ‘누가 승인하고, 언제 개입하며, 오류 발생 시 누가 통제하고 책임지는가’를 함께 규정하는 권한·승인·위험·책임의 통합 구조로 재구성된다.

Ⅴ. 결 론

본 연구는 AI 에이전트가 결합된 공연 영상 제작 환경에서 인간 창작자와 AI 간의 협업 구조를 이론적으로 규명하고, 이를 기반으로 HAI-CPF를 제안하는 것을 목적으로 하였다. 이를 위해 에이전틱 AI·멀티모달 AI·AI 오케스트레이션이라는 기능적 상한(Ⅰ~Ⅱ장)을 이론적 토대로 삼고, 10년 이상 경력의 공연 연출가·PD·음악감독 등 5명을 앵커 사례로 한 심층 인터뷰(Ⅳ장)를 통해 이를 탐색적으로 검토하였다. 실무 전문가 심층 인터뷰를 종합한 결과, 본 연구는 프로세스의 순환적 재구조화, 3계층 권한 위임, 그리고 검증 내재화라는 세 가지 핵심 전략을 도출해냈다. 이 전략들은 서로 맞물리며 하나의 순환형 HAI-CPF를 이룰 수 있는 것으로 해석되었다. 다만 프레임워크의 실제 유효성은 본 연구의 제한된 전문가 표본만으로 확정할 수 없다. 즉, 후속 전문가 표집과 실제 제작 환경에서의 적용 및 검증을 통한 정교화가 요구된다. 이는 초안의 선형 7단계 모델이 갖던 한계, 검증 절차와 제작 흐름의 분리, 되돌아가는 경로의 부재를 개념적으로 극복하는 탐색적 성과이며 학술적·실무적 시사점은 Ⅳ장에서 구성 전략별로 상술한 바와 같다. 다만 이러한 3계층 권한 위임과 검증 내재화 전략은 정책적 차원의 후속 논의를 요구한다. 특히 Layer 3에서 확인된 비상통제권 및 최종 편집·배포 권한의 소재는 방송 사고 발생 시 책임소재 규명의 법적 근거로 이어져야 하며, AI가 개입한 창작 결과물에 대한 저작권 귀속 기준과 AI 활용 사실의 AI 표시제와 같은 시청자 고지 방안 역시 제도적으로 정비될 필요가 있다. 아울러 본 연구는 5명의 앵커 사례를 바탕으로 잠정적인 명제를 제시한 탐색적 연구라는 한계가 있다. 아직 10인 규모 본조사를 통한 검증이 이루어지지 않았고, K-POP·뮤지컬 등 대형·라이브 미디어형 장르에 편중되어 소극장·예술성 중심형 장르로의 일반화 가능성 역시 검증되지 않았다는 한계를 지닌다. 향후 연구에서는 본조사를 통해 세 가지 구성 전략의 타당성을 재검증하고, HAI-CPF를 실제 제작 현장에 시범 적용하는 공학적 구현 연구로 확장하는 한편, 장르 간 비교와 더불어 위에서 제기한 정책적 쟁점에 대한 구체적 제도 설계 연구가 병행될 필요가 있다.

Acknowledgments

본 과제(결과물)는 교육부와 경기도의 재원으로 지원을 받아 수행된 경기지역 혁신중심대학 지원사업(경기 RISE)의 연구 결과입니다.

References

• M. Chatzichristodoulou, K. Brown, N. Hunt, P. Kuling, and T. Sant, “Covid-19: Theatre Goes Digital – Provocations,” International Journal of Performance Arts and Digital Media, Vol.18, No.1, pp.1–6, Apr. 2022. [https://doi.org/10.1080/14794713.2022.2040095]
• G. Santini, “A Case Study in XR Live Performance,” in Extended Reality. XR Salento 2024, L. T. De Paolis, P. Arpaia, and M. Sacco, Eds., Lecture Notes in Computer Science, Vol.15029, pp.286–300, Springer, Cham, 2024. [https://doi.org/10.1007/978-3-031-71710-9_22]
• K. E. Onderdijk, L. Bouckaert, E. Van Dyck, and P.-J. Maes, “Concert Experiences in Virtual Reality Environments,” Virtual Reality, Vol.27, No.3, pp.2383–2396, Sept. 2023. [https://doi.org/10.1007/s10055-023-00814-y]
• A. Muñoz-González, S. Kobayashi, and R. Horie, “A Multiplayer VR Live Concert With Information Exchange Through Feedback Modulated by EEG Signals,” IEEE Transactions on Human-Machine Systems, Vol.52, No.2, pp.248–255, Apr. 2022. [https://doi.org/10.1109/THMS.2021.3134555]
• J. Huang, G. Hitchen, and S. Dogan, “Generative AI in the Screen and Live Performance Industries: A Conceptual Framework and Prospects for Future Research,” Convergence: The International Journal of Research into New Media Technologies, Vol.31, No.6, pp.1971–2005, 2025. [https://doi.org/10.1177/13548565251383409]
• M. Abou Ali, F. Dornaika, and J. Charafeddine, “Agentic AI: A Comprehensive Survey of Architectures, Applications, and Future Directions,” Artificial Intelligence Review, Vol.59, No.11, 2026. [https://doi.org/10.1007/s10462-025-11422-4]
• Z. Durante et al., “Agent AI: Surveying the Horizons of Multimodal Interaction,” arXiv preprint arXiv:2401.03568, , 2024. [https://doi.org/10.48550/arXiv.2401.03568]
• R. Sapkota, K. I. Roumeliotis, and M. Karkee, “AI Agents vs. Agentic AI: A Conceptual Taxonomy, Applications and Challenges,” arXiv preprint arXiv:2505.10468, , 2025. [https://doi.org/10.48550/arXiv.2505.10468]
• I. Viola et al., “Enhancing the Audience Experience for VR and AR Theatre with AI-generated Subtitles,” Proceedings of the 2025 31st ACM Symposium on Virtual Reality Software and Technology (VRST ’25), Article 71, pp.1–11, Dec. 2025. [https://doi.org/10.1145/3756884.3766057]
• P. Suksakul et al., “Exploring Human-in-the-Loop Themes in AI Application Development: An Empirical Thematic Analysis,” arXiv preprint arXiv:2603.05510, , 2026. [https://doi.org/10.48550/arXiv.2603.05510]
• R. Sapkota, M. Karkee, and N. D. Tselikas, “Agentic AI with Orchestrator-Agent Trust: A Modular Visual Classification Framework with Trust-Aware Orchestration and RAG-based Reasoning,” arXiv preprint arXiv:2507.10571, , 2025. [https://doi.org/10.48550/arXiv.2507.10571]
• J. Pierson et al., “Governing Artificial Intelligence in the Media and Communications Sector,” Internet Policy Review, Vol.12, No.1, pp.1–28, 2023. [https://doi.org/10.14763/2023.1.1683]
• A. Batool, D. Zowghi, and M. Bano, “AI Governance: A Systematic Literature Review,” AI and Ethics, Vol.5, pp.3265–3279, 2025. [https://doi.org/10.1007/s43681-024-00653-w]
• L. Gao et al., “Governance of AI-Generated Content: A Case Study on Social Media Platforms,” Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI ’26), pp.1–12, 2026. [https://doi.org/10.1145/3772318.3790415]
• R. K. Yin, Case Study Research and Applications: Design and Methods, 6th ed., SAGE Publications, Thousand Oaks, CA, 2018. Retrieved from https://us.sagepub.com/en-us/nam/case-study-research-and-applications/book250150, (accessed May. 12, 2026).
• R. E. Stake, Multiple Case Study Analysis, Guilford Press, New York, 2006. Retrieved from https://www.guilford.com/books/Multiple-Case-Study-Analysis/Robert-Stake/9781593852481, (accessed July. 13, 2026).
• L. A. Palinkas, S. M. Horwitz, C. A. Green, J. P. Wisdom, N. Duan, and K. Hoagwood, “Purposeful Sampling for Qualitative Data Collection and Analysis in Mixed Method Implementation Research,” Administration and Policy in Mental Health and Mental Health Services Research, Vol.42, No.5, pp.533–544, 2015. [https://doi.org/10.1007/s10488-013-0528-y]
• G. Guest, A. Bunce, and L. Johnson, “How Many Interviews Are Enough? An Experiment with Data Saturation and Variability,” Field Methods, Vol.18, No.1, pp.59–82, 2006. [https://doi.org/10.1177/1525822X05279903]
• L. Birt, S. Scott, D. Cavers, C. Campbell, and F. Walter, “Member Checking: A Tool to Enhance Trustworthiness or Merely a Nod to Validation?” Qualitative Health Research, Vol.26, No.13, pp.1802–1811, 2016. [https://doi.org/10.1177/1049732316654870]
• V. Braun and V. Clarke, “Using Thematic Analysis in Psychology,” Qualitative Research in Psychology, Vol.3, No.2, pp.77–101, 2006. [https://doi.org/10.1191/1478088706qp063oa]
• K. M. Eisenhardt, “Building Theories from Case Study Research,” Academy of Management Review, Vol.14, No.4, pp.532–550, Oct. 1989. [https://doi.org/10.5465/amr.1989.4308385]
• D. A. Gioia, K. G. Corley, and A. L. Hamilton, “Seeking Qualitative Rigor in Inductive Research: Notes on the Gioia Methodology,” Organizational Research Methods, Vol.16, No.1, pp.15–31, 2013. [https://doi.org/10.1177/1094428112452151]
• L. Mercedes, “How ABBA Voyage Was Made,” Ingenia, Issue 100, Sept. 2024. Retrieved from https://www.ingenia.org.uk/articles/how-abba-voyage-was-made/, (accessed Aug. 12, 2026).
• K. Draughorne, “AI Rapper FN Meka Dropped by Capitol Records Following Backlash Over Racial Stereotypes,” Los Angeles Times, Aug. 23, 2022. Retrieved from https://www.latimes.com/entertainment-arts/music/story/2022-08-23/fn-meka-ai-rapper-dropped-capitol-records, (accessed Aug. 12, 2026).