가상 객체를 통한 음악 합성 기반의 인터랙티브 VR 돌탑 체험 연구

1. 인터랙티브 VR 돌탑 체험 콘텐츠 개념

본 연구는 VR 확산 초기 단계에서 일반인들이 쉽게 VR을 접할 수 있는 콘텐츠 소재를 위해 일상생활에서 쉽게 발견할 수 있으며, 자연스러운 행동을 유발하는 ‘돌탑 비보’를 소재로 한다. ‘돌탑 비보’는 일상 소재이자 우리나라 전통의 민속문화로 일상 소재이지만 의미가 담겨 있어 다양한 세대가 함께 참여하고 공감할 수 있다. 연구의 주요 콘텐츠 요소인 비보(裨補)는 자연을 인위적으로 가다듬는 방법 중 하나로 특히 ‘돌탑 비보’는 지리적 결함을 보완하고 돌을 쌓는 행위에는 염원과 소망의 의미가 담겨 있다^[9]. 비보적 의미의 돌탑 쌓기는 주로 노년 세대에서 이루어지며, 개인 혹은 인류애적 염원을 담고 있다^[10]. 노년 세대는 주로 고행을 행하거나 소원을 비는 수행적 역할을 하며, 한국의 절과 유명 산에는 수많은 돌탑이 쌓여 있는 것을 볼 수 있다.

Fig. 1.

Entering Bibo's Island, searching for stones, stacking stones, and so on

이러한 비보의 의미를 담은 인터랙티브 VR 돌탑 체험 콘텐츠를 통해 아동 및 청소년 세대와 노년 세대가 돌탑을 쌓는 과정으로 아동 및 청소년 세대는 노년 세대의 전통 민속문화인 돌탑의 의미를 체험하고, 노년 세대는 음악 요소를 융합한 VR 체험을 통해 새로운 실감형 콘텐츠를 향유를 할 수 있음으로 다양한 세대가 보편적으로 향유할 수 있는 콘텐츠로써의 역할이 가능할 것으로 보인다.

‘돌탑 비보’를 바탕으로 한 인터랙티브 VR 돌탑 체험 콘텐츠는 가상공간과 함께 직관적인 인터랙션을 통해 이루어진다. 가상현실 환경에서 사용자들은 돌을 찾기 및 줍기, 돌탑 쌓기 과정을 통해 돌탑을 완성하게 된다. 또한 현실 공간의 돌탑을 쌓는 경험과 비교해서 VR에서는 더욱 몰입하고 실감나는 경험을 할 수 있도록 VR 돌의 시각적 측면과 함께 청각적 요소를 위해 돌과 돌탑에 음악 요소가 융합된다.

돌탑 체험 콘텐츠의 예제 시나리오는 다음과 같다. 먼저 가상의 공간 ‘비보(裨補)의 섬’으로 입장하는 단계로 시작한다. 입장 단계에서는 시작의 의미로 비보의 섬에서 수행해야 할 임무를 부여받는다. 임무는 여러 가지가 가능한데, 예를 들면 정해진 형태의 돌탑을 시간 내에 쌓아 염원을 배에 태워 보내야 하거나, 사운드 요소가 융합된 돌을 자유롭게 쌓는 등의 임무를 들 수 있다. 돌을 찾기 위해 몸을 굽히거나 제스처를 취하면 돌에서 흘러나오는 음악 요소와 돌 객체의 색 유무, 돌의 크기를 통해 사용자는 음악 요소에 적절한 돌을 쌓을 수 있다. 마지막 단계로 돌탑을 완성하면 바다로 띄워 보내는 과정을 통해 체험을 종료하게 된다.

2. 음악 요소 합성과 직관적 상호작용 기반 인터랙티브 VR 체험 콘텐츠 설계

음악 요소의 합성에 있어서 돌 객체에 입혀진 소리의 원리는 음악의 기본 박자를 이루는 타악기(Percussion) 레이어가 돌탑의 주춧돌 역할을 하며, 가장 큰 돌 모양으로 구성되어있다. 차례로 화성(Harmony) 레이어, 선율(Melody) 레이어, 마지막으로 사운드 효과(Sound FX) 레이어를 쌓아 음악 요소를 합성할 수 있다.

그림 2와 같이 타악기 레이어(P돌_보라색)는 드럼 세트의 소리를 담고 있으며, 화성 레이어(H돌_노란색)는 스트링(관현악)을 이루고 있다. 또한 선율 레이어(M돌_분홍색)는 같은 음을 가진 높낮이가 다른 유니즌(Unison)으로 구성하여 아리랑의 주선율을 연주한다. 마지막으로 사운드 효과(S돌_하늘색)는 전체적인 음악 요소를 조화롭게 하는 역할을 한다. 이와 같은 음악 합성의 원리는 소리 합성의 방법으로 벽돌을 중첩시켜 집을 짓는 듯 소리를 쌓는 ‘부가 합성(Additive synthesis)’ 개념과도 유사하며^[11], 음악의 원리에서 악기 레이어가 수직적으로 쌓이는 악보의 형태와도 유사한 모양을 갖는다. 각 레이어가 갖는 음악적 특성과 소리의 크기에 따라 돌의 모양은 크거나 작아지는 형태를 갖으며 각각의 요소에 맞는 색깔을 가지고 있다.

Fig. 2.

Conceptual diagram of music convergence VR Immersive content design

음악 요소를 담고 있는 VR 돌 객체는 사용자들이 손이나 컨트롤러를 통해 집어서 이동시킬 수 있으며 돌을 가까이 가져오거나, 주변에 있으면 각각의 요소에 대한 소리를 들을 수 있다. 돌탑을 쌓는 공간은 가상공간에서 중심 영역이며, 사용자들이 돌을 이동시켜 쌓아나갈 수 있다. 자연스러운 상호작용은 손과 컨트롤러로 가능한데, 손은 아무런 장치 없이 직접 가상 객체를 잡고 이동시킬 수 있는 반면 컨트롤러는 Raycast를 통해 객체를 잡고 이동시킬 수 있다.

돌탑 VR 환경에서의 음악 합성을 위한 상호작용은 컨트롤러와 핸드 인터랙션을 사용하여 가상 객체인 돌을 쌓는 행동을 통해 음악을 생성한다. 사용자는 각 음악 요소에 대한 이해를 통해 돌의 크기와 색깔 등으로 음악을 직관적으로 완성할 수 있다. VR 환경에서는 음악이 현실 공간과 비슷한 음악적 효과를 나타내며, 음악 요소가 담긴 돌 오브젝트가 사용자와 가까워지면 크게 들리고 멀어지면 작게 들리는 효과가 나타난다. 이는 Unity의 Audio Source의 거리 함수를 사용하여 3D 공간음향을 통해 구현하였다. VR 환경에서 공간 기반 3D 음향을 활용하여 소리의 음량으로 오브젝트의 거리를 파악하고 돌 오브젝트를 찾아낼 수 있다.

1. 콘텐츠 구현

음악 합성 기반의 인터랙티브 VR 돌탑 체험 콘텐츠를 위해 Oculus Quest2를 이용하였으며, 그래픽 엔진으로 Unity 2022.3.2.f1과 Oculus Intergration SDK를 활용하였다. 돌탑 쌓기가 가능하도록 다양한 VR 돌 객체를 제작하였는데, 각각의 돌은 음악요소 중 한가지를 가지고 있으며 그에 따른 색과 크기를 갖도록 구성하였다. 또한, 돌탑을 수직으로 쌓을 수 있도록 Box Collider, Mesh Collider와 Gravity의 물리 효과를 적용하였다.

돌의 크기는 음악 요소의 특성에 맞춰 설정되었다. 낮고 묵직한 소리를 가진 타악기와 베이스는 높은 중력 효과와 큰 크기로 설계해 무겁게 느껴지도록 하였으며, 반면에 높고 가벼운 소리를 가진 선율 악기는 낮은 중력 효과와 작은 크기로 설정해 가볍게 느껴지도록 구성하였다. 이와 같은 기준으로 설계된 돌은 총 5가지의 유형으로 이루어져 있으며, 사용자는 다양한 크기의 돌을 골라 쌓게 된다. 이에 5가지 유형의 음악 요소를 가진 돌을 차례로 쌓아 돌탑을 완성할 수 있다. 이는 음악 요소가 모두 합성된 하나의 곡의 완성을 의미하기도 한다.

VR 체험자는 콘텐츠의 개념인 비보의 이름을 딴 가상의 ‘비보(裨補)의 섬’에서 컨트롤러를 통한 음악 돌탑 유형과 핸드 인터랙션을 통한 사운드 돌탑 유형으로 두 가지 유형의 VR 콘텐츠를 경험할 수 있도록 구성하였다. 각 유형의 공간은 3m의 원을 벗어나지 않게 하여 각 유형의 체험에 있어 각자의 영역이 겹치지 않게 구성하였다. 구현 단계에서 컨트롤러와 핸드 인터랙션을 같은 음악 요소를 입혀 진행할 예정이었지만, 핸드 인터랙션에서 음악 재생 시 하드웨어의 한계로 테이프처럼 늘어지는 현상이 발생하였다. 그러므로 충분한 소리 품질을 보장되도록 핸드 인터랙션에서는 짧은 길이로 이루어진 새소리, 숲소리, 물 흐르는 소리 등 자연의 소리를 편집 후 루프로 재생하여 각각의 돌에 입혀질 오디오 파일을 제작하였다. 따라서 제안한 돌탑 인터랙티브 VR 콘텐츠는 상호작용 방식에 따라서 다음과 같은 형태로 구현하였다.

첫 번째 유형인 아리랑의 음악 요소를 활용한 음악 돌탑 유형에서는 컨트롤러 기반 상호작용을 통해 돌을 쌓는다. 아리랑 음악을 이루는 각 파트별 음악 요소가 입혀진 돌 객체를 가상공간 내의 돌탑 완성 예시 사진을 참고하여 돌탑을 쌓는 동시에 아리랑 음악을 완성할 수 있도록 유도한다. 두 번째 사운드 돌탑 유형의 핸드 기반의 인터랙션을 이용하여 음악과 섬 주변의 바닷소리, 새소리, 바람 소리, 심장박동 소리 등의 자연에 기반한 사운드 요소를 적용하였다. 두 유형 모두 소리가 입혀진 객체는 거리에 따른 공간음향을 경험할 수 있으며, 색을 통해 소리의 유무를 구분할 수 있다. 가상의 비보의 섬에 입장하기, 비보의 섬에 흩어진 돌 찾기, 사운드 요소를 들으며 돌 쌓기, 시간 안에 돌탑을 완성하고, 바다로 보내는 과정을 통해 체험이 가능하다.

Fig. 3.

Stacking stones using a controller (left) stacking stones using hand interaction (right)

Fig. 4.

Image of the implemented VR music synthesized stone tower content

사용자는 각각의 유형의 콘텐츠에서 비보의 섬에 입장하고, 음악요소가 입혀진 색깔이 있는 돌을 움직임에 따라 청각적으로 느끼며 찾을 수 있다. 돌탑을 만드는 행위는 콘텐츠의 시작이자 끝을 의미하며, 가상환경에서의 돌은 실제 돌보다 비교적 규칙적인 다각형의 3D 객체로 표현하였다.

Table 3.

Content Type Classification

실제 돌을 쌓는 과정에 비해 사용자는 규칙적인 다각형의 돌을 통해 돌을 쌓는 행위에 있어서 좀 더 용이하게 돌을 쌓을 수 있으며, 음악을 완성할 수 있다.

2. 평가

제안한 음악 합성 기반의 인터랙티브 VR 체험 콘텐츠에 대한 파일럿 검증을 위해 2023년 9월 4일부터 9월 23일까지 3주간 광주광역시 소재의 ○○미술관에서의 공개 전시를 통해 사용자 관찰과 만족도로 평가하였다. 컨트롤러 기반의 VR 시스템과 핸드 인터랙션 기반의 VR 시스템을 구성하여 전시하였으며, 전시장 특성을 고려해 관람객들도 과정을 미리 알 수 있도록 VR 체험자의 화면을 큰 디스플레이를 통해 공유하였다. 이후 사용자 평가를 위해 전시장을 방문하는 사용자 중 20명을 대상으로 관찰과 설문을 진행하였다. 미술관이라는 장소의 특성상, 미술 전시와 문화 향유에 관심이 많은 20대의 참여자가 12명으로 가장 많았으며^[12], 10대 이하는 1명, 60대 이상의 참여자는 2명으로 집계되었다. 설문은 리커드 5점 척도(1점 = 전혀 그렇지 않다, 5점 = 매우 그렇다)를 기반으로, 표 4와 같이 각각 7개의 문항을 ‘콘텐츠 이해도’, ‘신체 움직임’, ‘상호작용’, ‘사운드’, ‘개체인지’, ‘보편적 향유’, ‘만족도’로 진행하였다.

Table 4.

Survey on the VR Stone Stacking Experience

먼저 제안한 인터렉티브 VR 체험 콘텐츠에 참여한 방문자들을 관찰한 결과 이들은 일상속에서 돌을 쌓는 행위가 이미 체화되어 VR 기반 돌탑 비보 체험에 주저하지 않음을 알 수 있었다. 그러나 VR의 컨트롤러 이용 측면에서 세대별로 적응에서 차이가 있었는데, 20대의 대부분은 컨트롤러와 손을 모두 잘 이용하는 반면 30/40/50대는 컨트롤러를 어색해하고 손을 이용하려는 경향을 보였다. 핸드 인터랙션 유형은 나이가 많은 60대도 금방 적응하여 콘텐츠에 참여할 수 있었다. 게임 컨트롤러가 익숙하지 않은 20대에서도 VR 콘트롤러 사용이 어려운 현상이 일어나거나 60대에서도 게임 경험에 익숙한 사용자는 잘 적응하는 모습을 보였다. 전시구성에 있어 설치된 VR 체험 공유 화면은 각 유형의 체험에 대한 진행 상황을 파악하고 공유 할 수 있어 직접 HMD를 착용하지 않은 관람객도 간접적으로 함께 콘텐츠를 즐길 수 있음을 알 수 있었다.

핸드 인터랙션을 이용하는 경우 컨트롤러 사용자와 비교하였을 때, 바닥에 떨어져 있는 돌의 소리를 가까이 듣기 위해 허리를 굽히거나 눕는 모습을 보이기도 하였다. 이는 좀 더 직관적인 조작법에 의한 것으로 버튼으로 조작하는 컨트롤러에 비해 핸드 인터랙션은 현실 세계와 같이 상호작용에 있어 익숙하고 자연스러운 행동으로 나타남을 알 수 있었다. 또한 돌 주변에 가면 소리가 나고, 손으로 가까이 대면 돌에서 나는 소리가 더욱 크게 들리므로 여러 유형의 돌을 소리를 듣고 다시 선택하는 과정을 반복함으로써 돌탑을 완성해 가는 모습을 보였다. 표 5와 같이 유형별로 돌을 찾고 쌓는 과정 속 다른 목표와 행동이 유발되었는데, 컨트롤러를 활용한 유형에서는 각 음악 요소의 합성과 조합을 통한 아리랑 음악 완성을 목적으로 게임과 같은 오락과 흥미 위주의 목표지향적인 행동을 보였다. 반면 핸드 인터랙션을 활용한 유형에서는 사용자가 가상공간의 입체 음향에 대한 호기심과 탐색을 중심으로 한 자유로운 행동을 보이는 특징을 보임을 알 수 있었다.

Table 5.

Types of Processes and Features

체험 및 관찰 이후 방문자를 대상으로 설문을 진행한 결과는 다음과 같다. 그림 5의 설문조사 결과는 가상현실 환경에서 돌탑 쌓기 환경과 방법을 이해하는 것(Content Understanding)에 있어 컨트롤러의 수치가 4.5로 핸드 인터랙션보다 높게 나타났으며, 가상현실 공간에서 신체 이동(Physical Movement)과 움직임이 자연스러운가에 대한 설문에 대해서도 컨트롤러가 높게 나타났다. 가상현실 공간에서의 상호작용(Interaction)의 편리성에 관해서도 컨트롤러가 조금 더 높은 수치를 보였다. 돌 객체와 연계된 소리의 유용성(Sound)에 있어서도 컨트롤러의 수치가 높게 나타났다. 객체인지(Object Recognition)에 있어 가상현실·환경에서 구현된 음악 합성 돌탑과 사운드 돌탑의 돌탑 객체는 비슷한 배치로 구현되어 같은 만족도를 보였다. 다양한 세대가 함께 향유(Universal Enjoyment)하며 가족과 친구 등과 함께 이용할 수 있는 콘텐츠인가 하는 설문에는 매우 근소한 차이로 컨트롤러의 수치가 높게 나타났다. 음악 합성 기반의 인터랙티브 VR 체험 콘텐츠에 대한 전체적인 콘텐츠 만족도(Satisfaction)에 있어서는 컨트롤러의 수치가 유의미하게 높게 나타났다. 이는 음악 요소의 합성 과정을 통해 타악기, 화성, 선율, 사운드 효과의 레이어가 층층이 쌓여 음악을 형성하는 방식으로 각 돌을 쌓음으로써 음악적 요소를 다감각적으로 체험하고, 음악 완성에 대한 성취감과 재미 요소가 영향을 미쳤을 것으로 해석된다.

Fig. 5.

Bar Graphs for Survey Results

설문 결과에 있어서 객체 인지를 제외한 모든 항목에서 컨트롤러의 만족도가 높게 나타났으며, 관찰 결과 음악 합성 기반의 인터랙티브 VR 체험 콘텐츠에서 컨트롤러와 핸드 인터랙션의 사용 방식 차이는 돌을 찾고 쌓는 과정에서 서로 다른 목표와 행동 패턴을 유발함을 알 수 있었다. 컨트롤러를 사용하는 경우, 게임처럼 오락적이고 흥미 위주의 목표를 추구하며 음원 악기의 합성과 조합을 통해 음악을 완성하려는 행동을 보였다. 반면 핸드 인터랙션을 활용한 경우 가상공간의 입체 음향을 탐색하고자 하는 호기심과 자유로운 행동이 주로 나타났다. 이러한 방식은 사용자로 하여금 더 자연스럽고 직관적으로 콘텐츠에 몰입하게 한다는 점을 보여준다.

하지만 가상현실 체험 중 일부 사용자가 시각적 자극과 신체 움직임으로 인한 ‘사이버 멀미’를 경험하는 문제도 있었다. 이러한 사이버 멀미는 시각 정보와 신체 감각 간의 불일치로 인해 발생하며, 특히 빠른 화면 전환이나 불규칙한 움직임이 있는 VR 콘텐츠에서 더 빈번하게 나타난다^[13].

본 콘텐츠에서도 사용자가 돌을 찾는 과정에서 이러한 사이버 멀미를 경험할 가능성이 있다. 예를 들어, 가상환경에서 사용자가 특정 위치를 탐색하거나 움직임을 통해 상호작용하는 동안, 시각적 자극이 실제 신체 움직임과 정확히 일치하지 않을 때 사용자는 불쾌감을 느낄 수 있다. 이는 콘텐츠의 몰입감을 저해하고 사용자의 체험을 부정적으로 영향을 줄 수 있다. 이러한 문제를 해결하려면 사용자 중심의 인터페이스 디자인이 필수적이다. 모든 사용자가 직관적으로 조작하고 이해할 수 있는 환경을 조성하고, 사용자 테스트를 통해 인터페이스의 직관성과 사용 편의성을 지속적으로 점검하고 개선이 필요하다.