Journal Archive

시각 언어(Visual Language)를 활용한 소통 방식은 영화, 텔레비전 그리고 뉴미디어 기술의 발전과 함께 엔터테인먼트 산업에 매우 강력하고 효과적인 방법으로 영향력을 행사해 왔다. 미국 로체스터 대학교 디이엔 호프(Diane S. Hope) 교수는 시각 커뮤니케이션의 핵심적 개념으로 첫째는 시각 지각(Visual Perception), 둘째는 시각적 수사학(Visual Rhetoric), 셋째는 상징적 의미(Symbolic Meaning)를 구조화하는 기술로 구분한 바 있다^[11]. 이와 같이 시각적 요소에 대한 연구는 디지털 영상 처리 기술이 발전함에 따라 많은 연구가 이루어졌지만, 방송 프로그램에서 개인의 기억, 의미작용 그리고 소통 방식의 연관성에 관한 연구는 거의 이루어지지 않았다^[12]. Fox TV의 ‘Alter Ego’ 제작 기술진에 따르면, 버추얼 휴먼은 새로운 페르소나로서의 상징적 의미를 가지지만, 방송된 실제 방송 프로그램에서의 의미 작용과 관객들과의 소통은 명백히 제한적이었다.³⁾ 이러한 맥락에서 데이비드 버든(David Burden)의 논지에 의하면 “버추얼 휴먼은 인간이라는 환영(Illusion)을 심어 주기 위해 설계되었으며 지속적으로 진화하고 있는 코드(Code)와 데이터(Data)이다.”라고 주장한 바 있다^[13]. 이러한 기술적인 가변성(Variability)으로 인하여 버추얼 휴먼은 출연 가수와 시청자들과의 상호작용을 촉진하며 다양한 시청 경험을 제공할 잠재적인 가능성도 지니고 있다.

특히, 방송 프로그램에 출연한 가수와 버추얼 휴먼의 상호작용을 위한 실시간 렌더링 기술, 모션 캡처 기술의 상호 운용성(Interoperability)과 안정성(Stability)은 시청자들과의 소통 방식에도 긍정적인 영향을 주는 중요한 기술적 요소로 분석된다. 시청자들의 댓글도 프로그램 진행에 대한 피드백을 제공하며 다른 시청자들의 참여를 독려하고 감성을 공유하며 팬덤의 진화를 견인하고 있다^[14]. “디지털 알고리즘에 의해 합성된 영상은 인간의 감성과도 밀접하게 상호작용하고 있다.”라고 역설한 레프 마노비치(Lev Manovich)의 논의에서도 이러한 기술적 특성을 반영하고 있다^[15].

한편, AI 기술의 발전으로 딥페이크(Deep fake) 기술은 K-POP 아이돌 그룹에 대한 시청자들의 긍정적·부정적 인식에 영향을 미치고 있다^[16][17]. 특히, 방송 프로그램에서 버추얼 휴먼은 여전히 시청자들의 소름 끼치는 불편한 심리인 언캐니 밸리(Uncanny Valley)⁴⁾를 유발하고 있음을 시사하고 있다. 더불어 버추얼 휴먼과 상호작용하는 출연진들의 진정성도 음악 방송의 완성도를 위해 극복해야 할 해결과제가 되고 있다.

불확실한 미래를 살아가는 기성세대 시청자들은 고인이 된 가수 김광석, 김현식, 유재하, 신해철에 대한 딥러닝(Deep Learning) 기술 기반 음성 인식·복원·합성으로 재탄생한 음악 방송 프로그램임에도 불구하고 그 시절 함께 했던 기억을 떠올리며 감동과 위로를 받고 있다. 이러한 작가와 소비자의 관계(제작자와 시청자의 관계)에서 총체적인 의미작용으로서의 내러티브⁵⁾를 강조한 롤랑 바르트에 이어 폴 리쾨르(Paul Ricoeur)는 개인이 어떻게 시간을 구성하고 경험하는지에 관해 개인의 정체성, 시간과 내러티브의 상호작용성을 주목했다^[18]. 제임스 올니(James Olney)의 저서 ‘기억과 내러티브’는 우리 삶의 기억이 내러티브를 형성하는 데 어떻게 중요한 역할을 하는지 일깨워 주고 있다^[19]. 이러한 논거는 개인의 자아와 정체성을 형성하는데 개인의 기억과 내러티브가 밀접한 관련이 있음을 뒷받침하고 있다. 인류는 다른 인종, 종교, 지적 수준이 다른 사람들을 수용하고 평등을 위해 지속적으로 노력해 왔지만, 다양한 사람들이 갖는 다른 정체성을 이해하기 어렵다는 것이 가장 큰 장벽으로 여겨진다. 라발(La Valle)에 따르면 “가상현실(Virtual Reality)환경에서 ‘1인칭 시점’은 사람들이 다른 사람의 상황에 대해 공감(Empathy)하도록 하는 강력한 도구이다^[20].”라고 역설한 바 있다. 즉, 작품의 저자, 버추얼 휴먼의 제작자와 시청자의 공유되는 관점은 특정한 세계관을 형성하는 데 영향을 미친다. 이처럼 방송 프로그램에서 허구적 시간으로 표현된 공감의 내러티브는 개인의 체험된 시간들을 통해 존재의 의미를 반영하며 시청자와 상호작용하고 있음을 함의하고 있다. 따라서, 방송 프로그램에서 몰입도 향상을 위해 버추얼 휴먼의 친밀감과 호감도를 높이는 것도 중요하며 공감의 내러티브를 위한 노력도 절실히 요구되고 있다.

MBN의 ‘아바타 싱어’, TV조선의 ‘아바 드림’, 그리고 카카오페이지의 ‘소녀 리버스’ 등 대부분의 프로그램은 ‘음악 경쟁쇼’의 포맷(Format)을 구성하고 있다. 즉, TVING의 ‘얼라이브’를 제외한 3편 모두 ‘음악 경쟁 쇼’ 형식의 시리즈이다. 여기서, 버추얼 휴먼의 역할은 프로그램별마다 다음과 같이 실제 가수들의 욕망을 대리 실현하는 아바타이다. 첫째, ‘아바타 싱어’의 경우, 대한민국 최고의 싱어 10팀이 아바타로 변신하고 서로의 정체를 숨긴 채 아바타의 무대로 승부하는 내러티브를 구성하고 있다. 둘째, ‘아바 드림’은 꿈을 이루고자 하는 실제 가수를 ‘드리머’로 설정하고 그의 아바타를 ‘꿈의 요정’으로 설정하여 경쟁과 탈락의 내러티브이다. 셋째, ‘소녀 리버스’ 역시 현직 아이돌 30인이 모션 캡처(Motion Capture)를 착용하고 최종 5명의 버추얼 아이돌로 선택받기 위한 경쟁의 내러티브로 구성되어 있다.

표 1은 음악 예능 쇼의 포맷과 내러티브 분석을 나타낸 것이다.

‘아바타 싱어’ 역시 총 10팀의 버추얼 휴먼이 회당 6~8명이 등장해 경연을 펼치는데 출연자의 정체가 미스터리로 남기 때문에 프로그램의 핵심 내러티브는 ‘버추얼 휴먼’의 본체를 추측하는데 집중되어 있다. 이러한 내러티브 전략은 오히려 버추얼 휴먼의 기술적 약점인 언캐니 밸리를 부각시킬 수 있다.

‘아바 드림’의 경우 ‘아바타 싱어’와 유사한 경쟁 포맷을 기본으로 하고 있지만 죽은 고인에 대한 기억과 향수(Nostalgia)를 강조하는 ‘얼라이브’의 비경쟁적 내러티브가 혼용되어 있다. 이러한 특성은 “기억은 단순한 사실적 기억을 넘어 자신의 인생 이야기를 창의적인 방식으로 구성하고 적용하는데 통찰력을 제공한다”⁶⁾라고 밝힌 제임스 올리의 주장과도 맞닿아 있다.

이러한 연구 결과는 ‘버추얼 휴먼’에 대한 호감도와 세계관을 미리 확보할 수 있다면 현재의 외형과 움직임에서의 불완전성을 보완할 수 있다는 가능성을 의미한다. 관객은 같은 세계관을 공유하는 참가자들의 반응과 내러티브에 집중하는 경향이 있기 때문이다. 특히, 리버스 사례에서 ‘세계관’ 활용은 ‘아바타 싱어’와 ‘아바 드림’과 비교하여 독특한 세계관을 공유하고 30명의 내러티브를 통해 다양한 영역으로 확장될 수 있다.

일반 예능방송에서 시청자와의 연결성(Connectivity)은 단순히 시청률과 화제성을 높이기 위해 부수적으로 다루어져 왔다. 본 사례 연구와 같이 ‘버추얼 휴먼’을 주인공으로 다루는 방송 프로그램에서는 콘텐츠 내적 세계관의 확립과 시청자와의 상호작용을 위해 연결성이 필수적인 요소로 다루어지고 있다. 이러한 맥락에서 미디어와 시청자 혹은 참여자와의 상호작용과 연결성은 XR(eXtended Reality) 같은 뉴미디어에서도 매우 중요한 연구주제로 다뤄지고 있다^[21]. 먀오(Miao)의 연구에서도 ‘버추얼 휴먼’의 다양한 행위에 관한 소비자들의 감정 변화와 반응이 플랫폼 디자인과 기술 구현 과정에서 더 중요한 요소로 인식되고 있다^[22].

표 1과 표 2의 사례로 제시된 프로그램 대부분이 ‘경쟁 음악쇼’의 포맷을 취하는 특성을 가지고 있으며, 기존 성공한 예능 포맷에 의존하는 경향이 있다. 즉, ‘경쟁 음악쇼’의 포맷은 단순한 음악 경연이 아닌, 기존 경쟁 요소에 블라인드(Blind) 장치를 결합하고 적절한 난이도로 쇼의 재미와 서스펜스(Suspense)를 강화시킨 형식이다.

심리학자 칙센트미하이의 저서인 ‘흐름’에 따르면 시청자가 심리적으로 흥미를 느낄 수 있는 ‘몰입 채널(Flow Channel)’ 영역에 머물러 있는지 혹은 이탈했는지가 중요한 변수가 될 수 있다^[23]. 실제 스튜디오에서의 실시간 구현에 한계를 보인 ‘아바타 싱어’와 ‘아바 드림’은 ‘미스터리 음악쇼’라는 높은 난이도의 ‘경쟁’ 요소와 결합되어, ‘몰입 채널’에서 벗어나게 되는 결과를 초래하고 있다. 실제 관객들의 댓글 반응도 자연스러운 ‘몰입’보다는 무대 위에 이질적으로 존재하는 ‘버추얼 휴먼’의 특징을 반영하고 있다.

음악 예능 쇼의 난이도를 결정짓는 경쟁의 운영방식에서는 ‘얼라이브’를 제외한 3편 모두 토너먼트(Tournament)와 라운드(Round)제를 혼용한 ‘선택과 탈락’의 서바이벌식 게임이 선택되었다. 이러한 운영방식의 선택 기준은 각 음악 예능 쇼가 출연자의 수와 결합되면서 복잡한 양상으로 나타날 수 있기 때문이다.

버추얼 휴먼 중심의 ‘음악 예능 쇼’ 에서 ‘시각적’ 요소는 ‘포맷’, ‘내러티브’와 함께 핵심 요소라고 할 수 있다. 실제로 제작비의 상당 부분이 이 기술 과제를 해결하기 위해 투입되고 있다. 칙센트미하이의 논점에서도 인간의 오감(五感) 가운데, 몰입의 기술로 가장 활발하게 논의되고 있는 분야가 시각 기술 분야이며 다른 감각에 비해 즉각적으로 반응할 수 있는 감각으로 간주 된다. 버추얼 휴먼의 시각적 몰입도를 높이기 위해 아래 표 3에서와 같이 실사형 캐릭터, 반실사 혹은 비실사적 캐릭터 등 다양한 시각 효과(VFX : Visual Effect)가 적용되었다. 가령, ‘아바타 싱어’와 ‘아바 드림’은 반실사 3D 버추얼 휴먼이, ‘소녀 리버스’의 경우 주요 타겟 시청층인 10, 20대를 고려하여 친숙한 느낌의 2D 애니메이션 캐릭터가 구현되었다. 몰입을 위한 프로그램별 세부적인 기술적 특징분석 결과는 다음과 같다.

첫째, ‘아바타 싱어’와 ‘아바 드림’은 본체와 ‘버추얼 휴먼’ 사이의 유사성이 높은데, 모션 캡처 기술을 통해 몸의 움직임을 구현하기 때문에 체형과 몸짓에서는 유사성을 보인다.

둘째, 목소리(Voice)를 분석한 4개의 프로그램 모두 유사성을 보이지만, ‘버추얼 휴먼’의 외모만으로는 본체를 유추하기 어려우므로 목소리의 주파수 변환은 적용되지 않았다. 라운드별 선곡의 경우 기존 가수의 주 장르를 탈피해서 부캐로서 자유로운 장르에 도전하거나 발성법을 변화시키는 시도가 있었다.

셋째, ‘얼라이브’의 경우 3D 실사 이미지, 딥페이크 및 AI 기술을 융합하여 안타깝게도 고인이 된 가수를 재현함으로써 100%에 가까운 유사성을 보이는 특징이 있다.

여기서, AI 기술로 소환된 가수에 관한 기억의 내러티브가 핵심요소이므로 ‘버추얼 휴먼’의 정교성, 친밀감, 혹은 기술의 불완전성에도 불구하고 시청자들은 비교적 긍정적인 평가를 보인다. 한편, ‘얼라이브’를 제외한 대부분 쇼에서 ‘버추얼 휴먼’의 얼굴, 헤어와 의상 등은 본래 가수와 차별화를 시도하기 위해 다소 과장된 모습을 보인다. 특히, ‘아바타 싱어’의 경우 MBC 미스터리 음악 쇼 ‘복면가왕’과 유사하게 ‘추리를 위한 블라인드 장치’로써 ‘버추얼 휴먼’의 얼굴, 헤어, 의상, 그리고 과장된 액션 등이 과도하게 활용되었다.

시청자의 몰입을 높이는 기술의 특징 분석 결과 ‘버추얼 휴먼’의 친밀성을 느끼는 극사실적(Photorealistic) 표현 기술 같은 실시간 컴퓨터 그래픽 기술의 고도화가 요구된다^[24]. 칙센트미하이의 ‘몰입 채널’ 이론에 따르면 최적의 몰입 채널에 머무를 수 있도록 유지하는 것이 매우 중요하기 때문이다. 이러한 조절이 실패할 경우, 시청자들은 다소 지루함을 느끼거나 너무 복잡해서 흥미를 느끼지 못할 수 있다. 아래 그림 1은 ‘몰입 채널’ 이론을 적용한 ‘버추얼 휴먼’이 출현하는 음악 예능 쇼의 몰입 정도를 분석한 것이다.

Fig. 1. 
Analysis of Immersion in Music Broadcasting Show using 'flow channel'

첫째, ‘얼라이브’의 경우 무대 위에서 AI, XR 기술과 결합된 버추얼 휴먼이 실시간 공연을 하는 프로그램 형식은 다른 쇼의 포맷과 유사하다. 관객들의 감정을 촉진하기 위해 고인이 된 추억의 가수를 무대 위에 소환하는 향수와 비극의 내러티브 측면에서는 쇼의 몰입도가 상대적으로 높다. 특히, 경쟁과 미스터리의 내러티브는 오락성보다는 감정 공감을 강조하기 위해 최대한 배제된다. 따라서, 도전의 Y축이 낮고 연결성의 X축이 높은 ‘얼라이브’는 다소 지루한 상태에 해당한다. 둘째, ‘아바타 싱어’는 버추얼 휴먼이 실시간으로 재현되는 과정에서 친밀도와 연결성은 낮지만, 경쟁과 미스터리의 도전 정도는 높은 ‘불안’ 상태에 있다. 셋째, ‘아바 드림’ 역시 ‘아바타 싱어’에 비교하여 추억의 가수를 소환한 측면에서 ‘얼라이브’와 유사하며 친밀도와 연결성은 다소 상승했다. 하지만 ‘아바 드림’ 은 여전히 경쟁과 미스터리의 도전단계는 높아 여전히 불안한 상태에 있다. 넷째, ‘소녀 리버스’의 경우 2D 애니메이션 캐릭터를 활용하여 차별화된 시각 효과를 이끌어 몰입도를 높였으며, 독특한 세계관과 내러티브 전개를 통해 연결성을 높였다. 여기서, 4개 프로그램 중 경쟁과 미스터리 도전 과제가 비교적 높은 ‘소녀 리버스’가 유일하게 ‘몰입 채널’ 영역 안에 안착한 것으로 나타났다. 특히, ‘소녀 리버스’는 녹화 현황을 SNS로 연결하고 실시간 반응을 유도함으로써 MZ 시청자들의 관심과 몰입도를 높이는 효과를 가져왔다.

첫째, 시청자의 몰입도를 높일 수 있는 전략으로 ‘버추얼 휴먼’에 관한 ‘감정 표현 기술’을 활용한 ‘공감의 내러티브’를 완성하는 것이다⁷⁾. 즉, ‘버추얼 휴먼’이 예능 쇼에서 주요 캐릭터로 등장할 때, 시청자들은 이러한 상황을 자연스럽게 몰입할 수 있도록 ‘버추얼 휴먼’에 관한 내러티브가 충분히 제시되어야 할 것이다. 가령, ‘얼라이브’나 ‘아바 드림’에서 전설적인 가수 귀환이나 현존 가수와의 협업 무대가 성공적인 반응을 얻은 것은 이러한 내러티브의 일환으로 볼 수 있다. 이는 내러티브의 일관성과 극적 요소가 충분히 갖춰져 있음을 의미한다.

둘째, ‘버추얼 휴먼’의 존재 이유를 강조하며 인간의 한계를 뛰어넘는 ‘능력’을 강조하는 것이다. 기존의 기획성 다큐멘터리에서 인간과 AI의 대결을 통해 바둑, 골프, 음악, 미술 등 다양한 분야에서 인간의 지능과 신체적 능력, 예술적 영역에서의 다양한 도전과 실험이 다뤄졌다.

셋째, 기존 예능 문법을 벗어나 ‘미스터리 경쟁 음악 쇼’와 같은 게임 방식의 새로운 세계를 창조하는 창의적인 내러티브를 구성하는 것이다⁸⁾. 이러한 접근은 카카오스토리에서 제작한 ‘이 세계 아이돌’과 이에 연결된 ‘소녀 리버스’와 같은 사례를 통해 확인할 수 있다.

첫째, 버추얼 휴먼과 버추얼 프로덕션(Virtual Production)의 시너지를 높이기 위한 제작 기술의 고도화가 필요하다. 언리얼 엔진(Unreal Engine)과 유니티(Unity) 등 실시간 엔진⁹⁾과 LED Wall을 활용한 버추얼 프로덕션은 시공간을 넘나드는 장면 연출이 가능하므로, 다양한 공간을 실시간으로 구현할 수 있다.

둘째, 제작 기술의 한계를 극복하기 위해 생성형 AI 기술을 활용할 수 있다. 이 기술은 상상 속의 장면을 생성하고 배경을 합성할 수 있으며, 고인 배우의 목소리를 활용하여 새로운 곡을 녹음할 수도 있다^[25].

셋째, ‘버추얼 휴먼’의 기획, 라이브 연출 과정에서 치밀한 제작 워크플로우를 구성해야 할 것이다¹⁰⁾. 이러한 워크플로우는 기획, 사전 시각화, 캐릭터 디자인, 연출, 실시간 모션 캡처, 생성형 AI 등의 기술을 최적으로 결합하여 시각적 몰입도를 유지하고 결과물의 질을 높일 수 있다.

첫째, XR 스튜디오에서 실제 인물과 ‘버추얼 휴먼’이 한 프레임에서 공존할 때 시각 효과와 모션의 부자연스러운 이질감을 없애는 것이다. 가령, 유명 가수의 ‘아바타’인데 동시에 ‘본캐’의 정체를 숨겨야 한다는 모순은 ‘버추얼 휴먼’의 정체성을 모호하게 만들고 시청자와의 소통을 저해할 수 있다¹¹⁾.

둘째, 프로그램의 내적인 호감도와 친근감을 높이기 위한 방송 포맷이 요구되고 있다. 시청자와 정서적 연결이 부재한 가운데 시청자들은 그들을 매력적인 존재로 인식하기 어렵기 때문이다.

셋째, 무대 퍼포먼스 외에 ‘버추얼 휴먼’의 일상적인 삶이나 새로운 음악적 도전 등 무대 뒤 활동을 통해 캐릭터의 독창적인 세계관과 매력을 창조해야 할 것이다. 즉, 시청자들의 버추얼 휴먼에 대한 동일시(Identification)와 감정이입을 촉진하기 위해 참여 가수와 ‘버추얼 휴먼’간의 역동적인 상호작용이 필요하다. 이러한 접근은 현실 세계와 가상 세계 사이의 새로운 세계관의 확장과 궤를 같이하고 있다.