뇌파 기반 XR 미디어 인터랙션 AI 평가 모델 개발

Ⅰ. 서 론

확장현실(eXtended Reality, XR)은 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 개념을 포괄하는 양방향 실감형 콘텐츠 기술 및 서비스를 지칭한다^[1]. 이러한 XR은 가상세계와 현실세계가 융합된 3차원 가상공간으로 정의된다는 점에서, 미래 메타버스(Metaverse) 플랫폼으로서 혼용되어 사용되기도 한다. 메타버스 시장 개화를 위해 마이크로소프트, 메타, 유니티와 같은 글로벌 기업이 모인 메타버스 표준 포럼(Metaverse Standards Forum)이 2022년 출범하였다. 국내에서도 기관, 협회, 기업이 모인 메타버스 얼라이언스와 ‘메타버스 신산업 선도전략’이 발표되는 등 메타버스 시장이 미래 산업으로 대두되고 있다. 최근 XR 메타버스는 AI 기술과 융합되어 빠르게 진화하고 있으며, 미래의 시각화 산업 도메인으로 크게 각광받고 있다. 이에 따라 글로벌 ICT 기업들도 XR 기술에 많은 투자를 해오고 있으며, XR 기능을 제공하는 Meta Quest 3, Apple Vision Pro, CES 2024에서 공개된 Afference Phantom 등 다양한 XR 인터랙션 디바이스들이 출시되고 있다. 이러한 XR 인터랙션 디바이스를 활용하여, 메타버스 공간에서 사용자가 가상 아바타를 통하여 다양한 가치를 경험하고, 타인과 소통하기 위한 다양한 XR 인터랙션 기술들이 개발되고 있다.

최근 뉴노멀 시대와 AI 공간컴퓨팅 신산업전략 변화로 인해, XR 인터랙션의 실생활 활용 사례도 증가하고 있다. Kim^[2]은 중학생을 대상으로 하는 XR 기반 화재 대피 훈련 시뮬레이션을 개발하였다. 해당 화재 대피 훈련 콘텐츠는 Unity 3D 엔진 기반으로 HoloLens 2(Microsoft Inc., Redmond, WA)에 최적화되어 구현되었으며, 대화형 디지털 콘텐츠를 활성화하는 교육 활성화 카드와 소화기 등의 물리적 훈련 콘텐츠로 구성되었다. Dong^[3]은 학습 집중도 향상을 위해 게이미피케이션(Gamification)을 융합한 XR 교육 시스템을 제안하였다. Sugimoto^[4]는 XR, AI, 메타버스 기술을 융합하여 홀로그래픽 영상 유도 수술을 지원하는 웹 기반 시스템을 개발하였다. 해당 시스템은 이미 많은 기관에서 수술 전후 컨퍼런스, 수술 계획, 수술 기록 등에 활용되고 있으며, 여러 명의 사용자가 헤드셋을 착용하고 병리, 절제 범위, 각 방향에서의 박리층에 대한 정보를 공유할 수 있도록 설계되었다. Shin^[5]은 가상 전시 환경을 제공하기 위한 웹 기반 XR 플랫폼을 개발하였다. 제안된 XR 플랫폼은 Oculus Quest 2과 HoloLens 2 디바이스에 최적화되어 구현되었으며, 여러 명의 사용자가 서로 다른 공간에서 동일한 전시에 참여하고 실시간으로 경험을 공유할 수 있도록 개발되었다.

그러나, 이러한 XR 인터랙션 기술 활용 사례의 증가에도 불구하고, 인터랙션 관련 디바이스 및 플랫폼 기술 분야에 연구개발이 집중되고 있어, XR 인터랙션 기술의 Ex-post 사용자 경험과 감성 차원에 대한 연구는 미비한 실정이다. 기존 감성 차원 분석과 관련한 연구들은 놀람, 분노, 행복, 두려움과 같은 특정 제한된 감성에 대하여 감성 모델을 도출하는 개별 감성 접근법(Discrete approach)^[6-8]과 감성 상태를 2차원 혹은 3차원 공간상의 축으로 표현하여 연속적인 감성 모델을 도출하는 차원 접근법(Dimensional approach)^[9,10]으로 크게 구분될 수 있다^[11]. Song^[6]은 개별 감성 접근 이론을 기반으로 실험참가자들에게 7가지 감성 요소(neutral, joy, funny, anger, fear, disgust, sadness)와 관련된 영상들을 시청하게 하고 기계학습 모델을 통해 서로 다른 감성 요소 간 생체신호 분포의 차이점을 설명하였다. Li^[7]는 운전자의 안면 표정 영상에 대한 주관평가를 통해 7가지 감성 요소(neutral, happiness, surprise, anger, fear, disgust, sadness)로 구성된 대표 감성 요소들을 정의하였다. Cha^[8]는 스마트폰 사용자들이 온라인에 게시한 카메라 이미지 품질 평가 리뷰들을 텍스트 마이닝 기법을 통하여 추출하였고, 요인분석을 통하여 스마트폰 카메라 이미지의 품질을 표현하는 4개의 대표 감성 요소(strong, soft, vivid, trendy)를 추출하였다. 감성 차원 접근 이론을 기반으로 하는 연구들도 수행되어 왔다. Lee^[9]는 음악을 청취하는 상황에서의 실제 감성과 사용자가 희망하는 감성을 평가하고 분석하여, 음악 청취자의 감성적 방향성에 대한 적합성을 평가하였다. Mun^[10]은 모바일 디바이스 사용 환경에서의 감성을 시나리오 기법으로 수집한 후 Circumplex model을 기반으로 모바일 사용자 감성을 모델링하였다.

그러나, 이러한 기존 연구들은 TV 및 PC와 같은 전통적인 서비스 플랫폼 환경을 기반으로 수행되었기 때문에, XR 환경에서 사용자가 경험할 수 있는 입체적인 실재감과 인터랙션 경험을 평가하기 어려운 한계가 존재한다. 또한, XR 인터랙션 환경에서는 사용자 감성의 종류뿐만 아니라 강도도 변화할 수 있다^[12]. 따라서 개별 감성 접근법에 비하여 감성변화의 연속성을 상대적으로 더 고려할 수 있는 차원 접근법이 서로 다른 세부 감성 간의 미묘한 차이, 강도 및 유사성을 추정하기에 보다 적합하다^[7]. 정서가(Valence) 및 각성도(Arousal)로 이루어진 2차원 러셀 모델뿐만 아니라, PAD(Pleasure, Arousal, Dominance), PANAS(Positive Emotion and Negative Emotion Schedule) 등 다양한 감성을 표현할 수 있는 차원 접근법이 발표되었지만, XR 인터랙션 특성을 반영한 감성 차원 모델링 연구는 거의 이루어지지 않은 실정이다.

한편, 사람의 생체신호 데이터를 활용하여 사람의 감성을 인식하는 분야의 연구도 일부 진행되어 왔다. Chen^[13]은 불안 장애 진단을 위하여 뇌파(Electroencephalogram, EEG) 데이터를 활용하여 불안 감성 상태의 다양한 수준을 분류할 수 있는 바이오피드백 기술을 제안하였다. Son^[14]은 6개의 감성 요소로 구성된 시청각 영상을 시청한 사용자를 대상으로, 뇌파 데이터 기반 기계학습 모델을 활용하여 긍/부정, 안정/각성에 대한 감성 분류를 수행하였다. Chen^[15]은 차량이 서로 다른 속도로 장애물을 향해 질주하는 시나리오를 기반으로, 뇌파 데이터를 활용하여 부정 감성(Anxiety)을 평가하였다. 그러나, XR 인터랙션 환경의 사용자 감성을 추론하기 위하여, 주관적 데이터와 뇌 전체 영역에 대한 뇌활동 변화를 융합 관점에서 모델링한 XR 감성차원 연구는 미비한 실정이다.

XR 인터랙션 환경에서 사용자의 다이나믹한 감성을 추론하고 예측하기 위해서는, XR 환경에 적합한 감성 차원 연구가 선행되어야 한다. 따라서, 본 연구는 XR 사용자 감성 차원 모델과 뇌파 데이터를 활용한 사용자 감성 예측 모델을 함께 제공할 수 있는 프로토콜을 제안하고자 하였다. 먼저 XR 인터랙션 환경에 적합한 감성 차원 모델을 도출하기 위하여, 주관적 경험 관점의 XR 사용자 데이터 분석을 수행하였다. 또한, 뇌파 데이터를 동시에 활용하여 XR 인터랙션 환경의 사용자 감성을 보다 객관적으로 분석하고 예측할 수 있는 기계학습 모델링을 수행하였다. 특히, 사용자 경험 주관평가는 데이터 수집의 용이성이 존재하지만, Ex-post 데이터로서 사용자의 인터랙션 경험과 설문 평가 사이의 시간 간극, 인지능력 차이, 과거 경험 등 외부 요인의 영향으로 편향된 결과가 나타날 수 있다^[16]. 반면, 뇌파 데이터는 사용자의 감성을 보다 객관적으로 평가하여 기억의 간극을 보완할 수 있지만^[17], 뇌 영역별로 의미하는 바가 크게 달라 대뇌피질 전 영역에 대한 패턴 변화를 고려하여 분석하는 것이 중요하다. 따라서, 본 연구는 주관평가 데이터와 뇌 전체 영역에 대한 데이터를 모두 포함하여 XR 사용자 감성을 모델링하고자 하였다.

본 논문의 구성은 다음과 같다. 제 2장(Ⅱ. XR 감성어휘 텍스트마이닝)은 사용자 경험 주관평가를 적합하게 설계하기 위하여, XR 인터랙션 및 메타버스와 관련된 다양한 SNS(Social Network Service) 플랫폼에서 XR 인터랙션 관련 대표 감성 어휘를 텍스트 마이닝 기법으로 수집하고 분석한 과정을 설명한다. 제 3장(Ⅲ. XR 인터랙션 사용자 경험에 대한 주관평가 및 감성 차원 모델 도출)에서는 이전 장에서 도출된 대표 감성 어휘를 기반으로 XR 사용자 주관평가를 수행한 과정을 설명한다. 또한, 수집된 사용자 주관평가 데이터에 대하여 클러스터링 알고리즘 기반의 요인분석을 통해 정의된 XR 사용자 감성 차원을 설명한다. 마지막 단계로, 제 4장(Ⅳ. EEG 데이터 기반의 XR 사용자 감성 평가 모델 개발)에서는 EEG 데이터 기반의 자동화 기계학습(Automated Machine Learning, AutoML)을 통한 XR 인터랙션 환경의 AI 사용자 감성 평가과정을 기술한다.

Ⅱ. XR 감성어휘 텍스트마이닝

텍스트 마이닝은 비정형 텍스트를 정형화하여 의미 있는 정보의 패턴을 발견하고 추출할 수 있는 기법이다. 텍스트 마이닝은 대규모 데이터를 효과적으로 수집할 수 있어, 사용성 개선을 위한 방법으로 활용되어 왔다^[18-19]. Jung^[18]은 배달 플랫폼의 사용자 서비스 이슈에 대한 리뷰를 추출하기 위해 텍스트 마이닝 기법과 시계열 이상 탐지 모형(ARIMA)을 사용하였다. Shin^[19]은 웹툰 애플리케이션의 사용성 개선을 위해, 사용자 리뷰를 TF-IDF(Term Frequency-Inverse Document Frequency), LDA 토픽 모델링 등의 텍스트 마이닝으로 분석하였다. 텍스트 마이닝을 위해서는 정보를 수집하고자 하는 매체 선정이 필수적이다. 기존에는 뉴스나 SNS와 같이 한정적인 매체에서 데이터가 수집되었으나, 최근에는 바이브 컴퍼니 사에서 개발한 빅데이터 분석 플랫폼인 썸트렌드(Sometrend)와 같은 빅데이터 수집 서비스 모델이 활용되고 있다^[20].

본 연구에서는 XR 사용자들의 감성과 인식을 파악하기 위해 다양한 매체에서 수집한 리뷰를 분석하였다. XR 환경에 적합한 감성 어휘 추출을 위해 Metaverse, XR, VR, AR 등의 키워드와 관련된 데이터를 수집하였다. Steam에서는 VR 전용 콘텐츠에 대한 리뷰를, YouTube와 Twitter에서는 시각적인 측면에서의 사용자 경험 및 리뷰를 수집하였다. Sometrend를 활용하여 최근 트랜드와 관련된 긍ㆍ부정 어휘를 추가 수집하였다. KosentenceBERT을 활용하여 수집된 리뷰들을 크롤링 한 결과, Steam에서는 61,497개의 리뷰를, YouTube와 Twitter에서는 469개의 리뷰를, Sometrend에서는 141개의 긍ㆍ부정 어휘를 추출하였다. 데이터 전처리를 위해 R Studio(Version 4.2.0)를 활용하여, 한글이 아닌 기호나 공백 등 불필요한 요소를 제거한 후 빈도 분석을 통해 사용자 리뷰에서 빈도가 높은 상위 단어 434개를 추출하였다. 추출된 단어 중 명사를 제외한 후, 동일한 의미를 가지거나 중복되는 어휘들을 제거하여 최종적으로 352개의 핵심 감성 어휘를 선별하였다.

선별된 감성 어휘는 XR 사용자 인터랙션 경험에 대한 주관평가 항목으로 사용되었다. 기존의 감성 평가를 위한 설문 연구는 주로 구글(Google)에서 제공되는 URL을 사용하거나 5점 또는 7점 리커트 척도로 구성된 설문지를 활용하였다^[21]. 본 연구에서는 HoloLens 2를 통해 제공된 XR 서비스를 체험하는 도중 유발될 수 있는 사용자의 감성을 세밀하게 평가하기 위해 100점 척도를 사용하였다. 또한, XR 체험 후 HoloLens 2 관련 이미지 및 시나리오를 주관 평가지와 함께 제공하여, 콘텐츠 경험에 대한 기억이 최대한 유지되도록 하였다. 응답의 모호성을 방지하고 데이터를 정량화하기 위해 다음과 같은 기준(매우 관련없다(1점), 다소 관련없다(25점), 보통이다(50점), 다소 관련있다(75점), 매우 관련있다(100점))을 설정하였다(그림 1).

Fig. 1.

Subjective questionnaire for evaluating user experiences underlying XR interaction

Ⅲ. XR 사용자 인터랙션 경험에 대한 주관평가 및 감성 차원 모델 도출

2. 실험환경 및 절차

실험참가자는 혼합현실 디바이스 HoloLens 2를 착용한 후, XR의 공간적 인터랙션 특성이 반영된 콘텐츠를 체험하였다. 첫 번째 콘텐츠 Kippy’s Escape(Microsoft Corporation, Redmond, WA, USA)는 XR 환경에서 오브젝트와 다양한 인터랙션이 이루어지며, 두 번째 콘텐츠인 Graffiti 3D(Microsoft Corporation, Redmond, WA, USA)는 가상현실과 현실 세계가 융합된 공간에서 자유로운 그림을 그리며 혼합현실 환경을 경험할 수 있다(그림 2). 실험참가자는 두 콘텐츠를 각각 5분 동안 랜덤한 순서로 체험한 후 주관평가를 수행하였다.

Fig. 2.

XR content used to evaluate subjective experience

3. 데이터 분석 결과

주관평가로부터 수집된 데이터를 기반으로 XR 인터랙션 환경을 위한 감성 차원 모델을 구축하고자 하였다. 전통적인 감성 차원 요인분석 기법으로는 Bartlett 검정과 KMO(Kaiser-Meyer-Olkin) 검정이 있으며, 이를 활용하여 감성 어휘 간의 상관관계 유무에 대한 가설 검정을 통해 공통적인 영향력을 포함하는 공통인자를 찾아낼 수 있다. 그러나, 가설 검정 기반의 전통적인 요인분석 기법은 충분한 표본의 수가 설계되어야 하며, 일반적으로 설문 문항 수의 10배 이상의 표본의 수가 필요하다^[22]. 본 실험의 프로토콜은 352개의 문항으로 이론적으로 3,520명의 실험참가자가 필요하다. 따라서, 고차원 문항이 포함된 평가환경을 고려하여 전통적인 요인분석을 적용하지 않고, 고차원 감성 어휘 데이터의 분포를 효과적으로 학습할 수 있는 클러스터링 접근법을 적용하였다.

먼저, 감성 차원 모델을 정의하기 위해 클러스터링 기반의 탐색적 요인분석을 통해 352개의 감성 어휘 간의 유사성을 분석하였다. 3가지 클러스터링 기법(K-means, Mclust 및 DBSCAN)을 사용하여 352개의 감성 어휘 간의 탐색적 요인분석을 수행하였다. K-means 클러스터링 방법론은 관측값들의 구심성 가정하에 각 군집의 모양이 구 형태로 Convex 할 때 적합하게 군집 분포를 학습할 수 있다. Mclust 방법론은 다변량 가우시안 모델에 기초한 모델 기반 군집 모형으로 개별 관측치가 k개의 다변량 가우시안 분포 중 하나로부터 발생하였다고 가정하여 분포를 학습한다. DBSCAN 방법론은 데이터 간의 밀도 차이를 바탕으로 서로 다른 군집을 구분한다.

본 연구는 2차원 공간에서의 최적 군집 개수(k)를 결정하기 위하여 k∈[2,8] 범위에 대한 K-means 및 Mclust 클러스터링 분류 결과를 PCA(Principal Component Analysis)를 통하여 2차원 공간상에 매핑하여 분석하였다. 분석 결과, 5개 이상의 군집이 생성되었을 때, 상위 군집 내에 완전히 속하는 종속 군집이 생성되어 최적 군집 개수 k를 4로 결정하였다(그림 3). 또한, Elbow method에 따른 최적 군집 개수 결정 방법에 따라 K-means 클러스터링의 Total within-cluster sum of squares(군집내 총분산합) 통계량을 분석한 결과, 군집의 개수가 4개 이상일 때 해당 통계량의 감소 추세가 미세하여 4개 군집을 최적 파라미터로 판단할 수 있었다(그림 4). DBSCAN 방법론도 마찬가지로 군집 반경 파라미터인 epsilon∈[100, 200] 범위와 고정된 군집 내 최소관측치 파라미터 MinPts=5를 설정하여 최적 군집을 탐색하였다. 탐색 결과, Epsilon 값이 150 이상일 경우 종속 군집 생성이 관측되어 최적 파라미터로서 Epsilon 값을 149로 결정하였다.

Fig. 3.

Distribution of different clusters from 3 clustering algorithms by increasing number of clusters

Fig. 4.

Evaluation of K-means clustering according to different k values

3가지 클러스터링 기법의 군집 결과를 비교하였을 때, K-means 클러스터링, Mclust 및 DBSCAN 방법론 모두 유사한 군집이 형성됨을 관측할 수 있었다. 이는 감성 어휘 간의 구심성 가정이 성립함을 의미하며, 4개의 군집을 대표하는 중심 어휘는 각각 Active, Assisting, Fearful, Difficult로 해석되었다. 표 1은 K-means 클러스터링 알고리즘(k=4)에 의한 군집 별 크기, 감성 어휘 리스트 및 군집 별 대표 감성을 보여준다. 또한, 감성 군집들은 2차원 감성 차원 모델을 기반으로 설명할 수 있었으며, 긍정/부정을 나타내는 정서가 축과 저몰입/고몰입을 의미하는 실재감(Presence) 축을 기반으로 4개의 군집들을 분류할 수 있었다(그림 5). 즉, 차원모델의 해석 관점에서 Active 관련 군집은 긍정(Positive)과 고몰입(High presence), Assisting 관련 군집은 긍정(Positive)과 저몰입(Low presence), Fearful 관련 군집은 부정(Negative)과 고몰입(High presence), Difficult 관련 군집은 부정(Negative)과 저몰입(Low presence) 상태로 설명할 수 있었다.

Table 1.

Representative adjectives of affect determined by K-means clustering(k=4)

Fig. 5.

Two-dimensional affect model of user experience on XR interaction

결론적으로, 총 50명의 실험참가자에 대한 주관평가를 통하여 XR 인터랙션 환경에 적합한 총 352개 감성 어휘를 표현할 수 있는 정서가/실재감 축 감성 차원 모델을 도출할 수 있었다. 그러나, 전술한 바와 같이 사용자의 주관평가 데이터는 인터랙션 경험과 설문 평가 사이의 시간 간극, 인지능력 차이, 과거 경험 등 여러 내·외적 요인에 의하여 편향될 수 있다. 또한, 긍정과 부정에 대한 다른 축의 감성이 공존할 수 있다^[23]. 반면, 전통적인 Ex-post 감성 차원 모델은 2-3차원 공간의 독립적인 점들을 표현하여, 동시 감성뿐만 아니라 실시간 감성을 표현하는데 제약이 존재한다. 이러한 한계를 보완하기 위해서는 XR 콘텐츠 실험참가자의 뇌파 데이터를 함께 측정하여, 사용자 감성을 정량적으로 분석하는 것이 필요하다. 뇌파 데이터는 사용자의 심리적 상태와 집중력, 몰입감 등의 경험적 감성을 사용자의 왜곡된 의도 없이 객관적으로 측정할 수 있는 중요한 요소로 활용되어 왔다^[24]. 따라서, 다음 장에서는 XR 환경에서의 사용자 경험을 보다 정확하고 객관적으로 평가하기 위하여, XR 콘텐츠를 통해 안정 상태와 저몰입/고몰입 감성 상태를 유도한 후 뇌파 데이터를 기반으로 사용자의 감성 상태를 분류하는 과정을 기술한다.

Ⅳ. EEG 데이터 기반의 XR 사용자 감성 평가 모델 개발

2. 실험환경 및 절차

실험참가자는 HoloLens 2를 착용하였으며, 제공된 XR 콘텐츠에 대한 태스크 집중력을 높이기 위해, 검정색 바탕 위에 콘텐츠를 디스플레이 하였다. 또한, XR 콘텐츠를 경험하는 동안 사용자의 뇌파 신호를 측정하기 위하여 Biosemi 사의 64채널 뇌파 센서 캡(Biosemi., Amsterdam, Netherlands)과 HoloLens 2를 착용하게 하였다. 먼저 안정 상태를 유도하기 위해 HoloLens 2를 착용한 상태로 검정색 배경을 5분간 단순 응시하도록 하였다. 저몰입/고몰입에 대한 감성 상태를 유도하기 위해 코로나 환자의 증상을 단계별로 나타내는 HoloPatient: COVID-19(Microsoft Corporation, Redmond, WA, USA) 콘텐츠를 선정하였으며, 약 5분간 해당 콘텐츠를 경험하게 하였다. 콘텐츠 속성 분석을 통하여, 초기 단계에서는 새로운 콘텐츠 경험으로 인한 고몰입 상태가 콘텐츠의 후반부에는 반복된 내용으로 사용자가 다소 지루해지고 익숙해지면서 저몰입 상태가 나타날 것으로 가정하였다. 실험 전, Biosemi 사의 Actiview recording software(Biosemi., Amsterdam, Netherlands)를 통해 생체신호 측정 안정성을 확인하였다(그림 6).

Fig. 6.

Experimental protocol of EEG measurement used in this study

4. 데이터 분석 결과

3개 감성 상태(안정, 저몰입, 고몰입)에 대한 배경뇌파 데이터 기반의 감성 분류 기계학습을 위하여 대표적인 AutoML 라이브러리 중 하나인 H2O AutoML을 사용하였다. H2O AutoML은 Bayesian optimization 및 Genetic algorithm과 같은 기존 자동화 하이퍼파라미터 튜닝 알고리즘에 비하여, 더 좋은 성능을 낼 수 있는 Fast Random Search와 Stacked Ensembles의 융합 알고리즘을 기반으로 하이퍼파라미터 튜닝을 수행한다. 다양한 기계학습 모델의 성능 비교를 위하여 최대 모델 수는 20개로 설정하였고, 소수의 실험참가자 수로 인한 과적합을 최소화하기 위하여 5-fold Cross Validation을 수행하였다.

표 2는 추출된 배경뇌파 특징 데이터를 이용한 H2O AutoML의 3-level 감성 분류 결과를 보여주며, 학습 결과 StackedEnsemble(AllModels) 모델이 평균오차 0.083(즉, 정확도 91.7%)으로 가장 높은 성능을 보여주었다. StackedEnsemble(AllModels) 모델은 총 18개 모델(12개의 DNN(Deep Neural Network) 모델, 1개의 XRT(eXtremely Randomized Trees) 모델, 4개의 GBM(Gradient Boosting Machine) 모델 및 1개의 DRF(Distributed Random Forest) 모델)의 예측값을 GLM(Generalized Linear Model) 모델을 통해 재학습하여 도출된 메타 모델이다. 추가적으로 개별 모델 중 가장 높은 성능을 보여준 DNN_model1에 대하여 변수 중요도 분석을 수행하였다(그림 7). Relative Band Power 특징에 대하여 Relative Beta Power(RB), Relative Low Beta Power(RLB) 및 Relative Mid Beta Power(RMB) 특징이 상위 5개 중요 변수에 포함되어 상대적으로 중요도가 높음을 관측하였다. 임상적으로, 집중, 인지작용 및 의사결정 관련 배경뇌파 분포는 Low-Mid Beta 파형의 주파수 범위를 특징으로 나타난다^[26]. Tian^[27]의 연구에서도, 2D-VR에서 3D-VR 환경으로 변화하는 더 높은 실재감을 사용자에게 제공하였을 때, Low-Mid Beta 파형에서 상대 파워의 유의한 증가가 보고되었다. 이를 기반으로, 높은 실재감을 제공하는 XR 콘텐츠에서의 시인지 복합 작용이 Low-Mid Beta 상대 파워의 유의한 증가와 밀접한 연관이 있다고 판단할 수 있다. 시인지 복합작용, 선택적 주의 및 고차원적 인지활동과 직접적인 관련이 있는 Fp₂(전두엽), F₈(전두엽), AF₈(전두엽), TP₈(측두-두정엽) 뇌파 채널이 상위 5개 중요 변수에 포함되었다. Fp₂, F₈ 및 AF₈ 채널은 집중, 주의 및 의사결정과 밀접한 연관이 있는 대뇌피질의 활동을 반영하는 부분으로 집중도 평가 및 주의력 결핍 평가 실험의 주된 인덱스로 사용되어왔다^[28]. 우측두엽 부분인 TP₈ 채널은 감성처리와 직접적인 연관이 있으며, 4개의 감성(neutral, happiness, fear, sadness) 분류에도 중요한 인덱스로 활용될 수 있음이 규명되었다^[29]. 따라서, 본 XR 인터랙션 환경에서 유발된 특정 뇌파 채널의 파워 변화는 안정/저몰입/고몰입에 따른 감성변화와도 연관이 있다고 해석할 수 있다.

Table 2.

Results of emotion classification in XR interaction by EEG-based AutoML modeling(GBM=Gradient Boosting Machine, DRF=Distributed Random Forest, DNN=Deep Neural Networks, XRT=Extremely Randomized Tree)

Fig. 7.

Importance analysis of features regarding the trained DNN model

그러나 기계학습 모형의 블랙박스 특성으로 인하여 감성 변화 논리에 대한 보다 구체적이고 정략적인 해석의 어려움이 존재한다. 예를 들어, 특정 관측치에 대하여 고몰입으로 예측이 될 때, RB 파워가 얼마나 증가하면 저몰입 또는 고몰입으로 판단이 되는지에 대한 설명력의 부재가 존재한다. 따라서, 본 연구는 안정/저몰입/고몰입에 대한 배경뇌파의 주파수 대역별 Relative band power 분포 차이를 비교하기 위하여, EEG Topographic Map 시각화 분석을 수행하였다(그림 8, 9). EEG Topographic Map은 주로 특정 내·외인성 자극에 반응하는 뇌전체 영역의 변화를 세밀하게 분석할 때 사용된다. 시각화 분석 결과, 안정 상태에서 상대적으로 높은 상대 RA 파워가 관측되었으며, RB 및 RLB 파워는 상대적으로 낮은 값이 관측되었다. 반면, 저/고몰입 상태에선 상대적으로 낮은 RA 파워와 높은 RB 및 RLB 파워가 관측되었다. 이는 안정 상태에서의 Alpha 파형의 발현과 선택적 집중 상태에서 Beta 및 Low Beta 파형이 발현되는 특징적인 배경뇌파 파형 변화가 XR 인터랙션 환경에서도 동일하게 나타남을 의미한다. 또한, 저몰입에서 고몰입으로 갈수록 Beta 파워(RB, RLB, RMB 및 RHB)와 Beta/Alpha비율(RAB, RALB, RAMB 및 RAHB)의 미세한 증가 추세가 관측되었다. 이는 고몰입 감성 상태가 집중력 증가와 연관되어 Beta 파워가 증가하는 기전과 일치한다. 결론적으로, Relative band power 기반의 정량적 배경뇌파 특징을 기반으로, XR 인터랙션 환경의 선택적 주의와 감성변화 패턴을 높은 정확도로 분류하고 이와 연관된 뇌신경학적 기전을 매핑할 수 있었다.

Fig. 8.

EEG topographic map of different relative band powers as a function of affective flow

Fig. 9.

EEG topographic map of alpha and beta power ratios as a function of affective flow

Ⅴ. 고찰

XR 인터랙션 기술의 실재감과 몰입감은 사용자 경험과 감성에 큰 영향을 받는다. 기존에는 컴퓨터 그래픽 기술, HMD(Head Mounted Display) 오감 자극 입출력 장치, 네트워크 통신 기술 등과 같은 디바이스 및 센싱 기술의 품질 향상을 위한 하드웨어/소프트웨어 관점의 연구^[30,31]에 집중되어 왔다. 또한, 사용자 경험 관점의 연구에서는 주로 설문조사 기반의 주관적 평가를 통하여 패널 위치 설정, 레이저 기능 및 배경 패널 개선 등과 같은 사용자 경험 개선 요소^[32]들이 도출되어왔다. 그러나, 이러한 주관적 평가 방법은 실시간으로 변화하는 사용자 경험과 감성을 정량적으로 측정하기에 한계가 존재한다. 본 연구는 XR 미디어 인터랙션 환경에서 유발되는 감성경험을 배경뇌파 변화로 모델링하여, 특정 XR 인터페이스 및 환경이 사용자의 선택적 주의, 인지, 감성경험에 미치는 영향을 정량적으로 분석할 수 있는 머신러닝 모델링 방법론을 제안하였다. 즉, XR 인터랙션 환경에서 유발되는 감성경험을 실시간 뇌파 데이터로 정량화하여, XR 인터랙션의 최적 파라미터를 디자인할 수 있는 프로토콜을 제안하고자 하였다. XR 인터랙션 환경의 감성차원을 모델링하고 XR 인터랙션 상황하에서의 배경뇌파 변화를 정량적으로 분석하여, XR 사용자의 감성경험 제고에 기여하고자 하였다. XR 콘텐츠에 대한 주관평가 단계에서는 정서가/실재감 축의 의미 있는 XR 2차원 감성 차원 모델을 규명하였다. 352개 감성 어휘들은 4개의 군집으로 분류되었으며, 개별 군집이 감성 차원 모델의 각각의 사분면(제 1사분면: Positive/High presence, 제 2사분면: Negative/High presence, 제 3사분면: Negative/Low presence, 제 4사분면: Positive/Low presence)에 투영될 수 있었다.

뇌파 머신러닝 모델링 부분에서는 XR 사용자의 동적 감성변화를 실재적 몰입감 정도에 따라 성공적으로 분류할 수 있었다. 64채널 뇌파 기반의 객관적 감성 평가를 기반으로 XR 인터랙션 환경에서의 안정, 저몰입 및 고몰입 감성 상태를 높은 정확도로 분류할 수 있었다. 본 연구는 XR 인터랙션 환경에서의 동적 사용자 감성을 차원 모델로 규명했다는 점에서 의미가 있다. 또한, 제안된 프로토콜과 머신러닝 모델링 접근법을 활용하여, XR 콘텐츠 및 인터랙션 파라미터 최적화 기반의 AI 뉴로바이오피드백 시스템 고도화가 가능하다. XR-AI 뉴로바이오피드백 시스템은 XR 인터랙션 경험을 실시간으로 모니터링하여, 사용자의 부정적 경험은 최소화하고 실재적 몰입감을 최대화할 수 있는 Human-centered S/W, H/W 및 미디어 콘텐츠 기술 개발에 폭 넓게 활용될 수 있다.

기존 감성 차원연구는 단순 2D 콘텐츠 시청이나 제한적인 모바일 디바이스 사용환경에 한정되어 동적 감성 변화를 추정하기에 한계가 존재한다. Chai^[33]는 스마트폰 앱을 사용하는 동안의 사용자 경험을 설문조사 기반의 주관적 평가와 제한적 배경뇌파 변화(Frontal alpha asymmetry)로 분석하였다. 단순한 스마트폰 앱 인터페이스의 정적 환경으로 인해, 의미있는 정서가 차원의 감성 분류 결과를 도출하지 못하였다. Shin^[34]은 2D/3D TV 시청에 대하여 시청 시간별 사용 불편도 평가를 수행하였으며, 사용자의 불편도 주관평가와 32채널 뇌파 데이터 분석을 함께 수행하였다. 뇌파 데이터 분석 결과, 3D TV를 3시간 동안 시청하였을 때 전두엽 피질의 서파 활동이 증가하였고, 2D TV의 경우 후두 두정엽 피질의 속파 활동이 증가하였다. 그러나, 기존에 수많은 연구가 수행된 2D/3D 시각피로 평가라는 점에서 동적인 XR 인터랙션 경험을 반영하기에는 한계가 존재한다. 본 연구는 정적 태스크와 동적 태스크를 모두 수반하는 XR 인터랙션 환경에서 사용자의 감성을 주관적 및 객관적으로 모델링할 수 있는 정량적 프로토콜을 제안하였다는 점에서, 기존 연구와 차별화되는 독창성이 있다. 특히, XR 콘텐츠 속성에 따라, 실재적 몰입감이 감소하는 현상을 특정 뇌파 채널에서 패턴화할 수 있다는 점에서, Human-centered XR 콘텐츠 및 미디어 인터랙션 고도화를 위한 토대로 활용될 수 있다.

다만, 본 연구는 신뢰성 있는 뇌파 데이터 수집 환경의 한계로 하기의 제한점이 존재한다. XR 인터랙션 콘텐츠 경험 중 Hololens 2와 뇌파 센서의 동시 착용으로 인한 물리적 제약으로 인해 실험참가자의 고정된 자세에서 최소한의 움직임(Hand interaction)만으로 제어하였다. 고가의 다채널 뇌파 측정 장비의 한계상 움직임에 의한 신호간섭 노이즈가 발생할 수 있어 XR 환경과의 자연스러운 인터랙션에 제약이 존재하였다. 이는 차세대 미디어 공간 컴퓨팅 환경의 경험과는 다소 차이가 있을 수 있음을 시사한다. 향후 동적 움직임에 의한 제약사항을 해결하기 위하여, 뉴로모픽-전자피부와 같은 웨어러블 뇌파 측정 장비를 활용한 후속 실험의 필요성이 존재한다. 전자피부는 신체에 부착되어 신체와 자연스럽게 통합되는 생체신호 센싱 센서로 독립적인 뉴로모픽 AI 컴퓨팅 기술과 융합될 경우, XR 환경의 인터랙션에도 제약을 최소화할 수 있다^[35]. 뉴로모픽 반도체는 기존 센싱 데이터 처리를 위해 사용되는 데스크톱을 대체할 수 있는 초소형 H/W이며, 두 가지 기술이 융합된 뉴로모픽-전자피부는 동적 태스크가 포함된 XR 인터랙션에서 사용자 경험의 한계를 혁신적으로 개선할 수 있다. 또한, 기계학습 모델의 과적합 가능성을 최소화하고 모델의 신뢰성 향상을 위해 다양한 XR 인터랙션 콘텐츠 환경에서의 검증이 필요하다.

XR 인터랙션 환경에서 뇌파 데이터를 이용한 객관적 사용자 감성 예측은 현재까지 개척되지 않은 분야였다. 더불어 XR 인터랙션 환경에서는 다양한 사용자 감성이 공존할 수 있어 동시 감성 예측의 난제가 존재한다. 이러한 한계점을 해결하기 위해서는 다양한 XR 콘텐츠 및 인터페이스 개발뿐만 아니라, 특정 XR 인터랙션이 유발하는 감성에 대한 정의와 실시간 데이터 레이블링 작업이 필수적으로 선행되어야 한다. 특히, 본 실험에서는 실험참가자가 5분간 XR 환경과 상호작용함에 따라 실재감 차원의 감성이 고몰입 상태에서 저몰입 상태로 변화가 발생하는 것을 배경뇌파 데이터를 통하여 관측하였다. 이를 통하여 XR 인터랙션 환경에서 사용자의 감성이 실시간으로 변화한다는 것을 실험적으로 규명하였다. 그러나, 실시간 감성에 대한 레이블링 작업은 높은 인적 및 시간적 비용이 소요되어 연구 활성화를 가로막는 대표적인 요인 중의 하나이다. 따라서 XR 인터랙션 환경의 사용자 감성 연구 활성화를 위하여 표준화된 XR 인터랙션 감성 콘텐츠 개발과 감성 레이블링을 포함한 메타 데이터 공유 플랫폼 구성 논의가 필요하다. 사용자의 감성을 더욱 정밀하게 분석하기 위해서 뇌파뿐만 아니라 심전도(Electrocardiogram, ECG), 안전도(Electrooculogram, EOG), 근전도(Electromyogram, EMG), 광혈류반응(Functional near-infrared spectroscopy, fNIRS) 등의 중추신경계-말초신경계의 연결성에 대한 후속 연구도 이루어져야 한다.

Ⅵ. 결론 및 향후 계획

본 연구에서는 XR 인터랙션 환경에서 발생할 수 있는 사용자 경험과 감성을 주관적 및 객관적으로 분석할 수 있는 평가 프로토콜을 제안하였다. 제안된 프로토콜은 Human-centered XR 콘텐츠 및 인터페이스 개발이나 고도화시에 참고할 수 있는 유용한 가이드라인으로 폭 넓게 활용될 수 있을 것이다. 향후 뇌파뿐만 아니라 EOG 및 EMG와 같은 다양한 생체신호 데이터를 융합하여, XR 환경의 동적 감성경험 정량화를 위한 XR-Human AI 프로토콜 고도화를 수행할 예정이다. XR-Human AI 프로토콜 고도화를 통하여 실시간으로 XR 사용자의 고차원 감성 모델링이 가능해진다면, 차세대 XR 교육, 문화, 게임, 미디어 콘텐츠 및 의료 산업 분야에서 다양한 가치를 창출할 수 있을 것으로 기대된다.

Acknowledgments

This work was partly supported by the National Research Foundation of Korea (NRF) grant funded by the Korea government (MSIT) (No. NRF-2022R1C1C1010458, Cross Bio-Sensing System for the Future XR Interface, 50%), and Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education (No. RS-2023-00247958, Development of XR Cross-modal Neural Interface with Adaptive Artificial Intelligence, 50%).

References

• G. T. Lee, “Trends in eXtended Reality (XR) Convergence Technology,” The Journal of The Korean Institute of Communication Sciences, Vol.37, No.10, pp.17-22, 2020.
• D. Kim, Y. Tak, H. Xiang, S. Park, and J. Ryu, “Design of XR application for the Simulation-based Learning,” In Society for Information Technology & Teacher Education International Conference, pp.1186-1191, 2023.
• X. Dong, T. H. Walcott, Y. Li, M. Pan, Y. Gao, and A. Dong, “A New Approach to XR Education: Student-Centred Learning and Gamification in Electric Power Training,” In 2024 ASU International Conference in Emerging Technologies for Sustainability and Intelligent Systems (ICETSIS), IEEE, pp.1877-1882, 2024. [https://doi.org/10.1109/ICETSIS61505.2024.10459690]
• M. Sugimoto, and T. Sueyoshi, “Development of Holoeyes Holographic Image-Guided Surgery and Telemedicine System: Clinical Benefits of Extended Reality (Virtual Reality, Augmented Reality, Mixed Reality), The Metaverse, and Artificial Intelligence in Surgery with a Systematic Review,” Medical Research Archives, Vol.11, No.7.1, July 2023. [https://doi.org/10.18103/mra.v11i7.1.4045]
• C. Shin, S. Oh, and H. Jeong, “Extended Reality Platform for Metaverse Exhibition,” Journal of Web Engineering, Vol.22, No.7, pp.1055-1073, October 2023. [https://doi.org/10.13052/jwe1540-9589.2275]
• T. Song, W. Zheng, C. Lu, Y. Zong, X. Zhang, and Z. Cui, “MPED: A multi-modal physiological emotion database for discrete emotion recognition,” IEEE Access, Vol.7, pp.12177-12191, January 2019. [https://doi.org/10.1109/ACCESS.2019.2891579]
• W. Li, G. Zeng, J. Zhang, Y. Xu, Y. Xing, R. Zhou, G. Guo, Y. Shen, D. Cao, and F. Y. Wang, “Cogemonet: A cognitive-feature-augmented driver emotion recognition model for smart cockpit,” IEEE Transactions on Computational Social Systems, Vol.9, No.3, pp.667-678, June 2022. [https://doi.org/10.1109/TCSS.2021.3127935]
• M. C. Cha, C. R. Lim, J. M. Sim, D. Y. Kim, and Y. G. Ji, “A Study on Sensibility Evaluation for Smartphone Camera Photography Based on Text Mining,” Proceedings of 2021 Fall Conference of ESK, pp.154-154, 2021.
• S. H. Lee, and J. H. Lee, “Evaluating the Emotion-based Music Recommendation Model according to the Listening Contexts:Focus on Spotify Service,” Journal of Digital Contents Society, Vol.21, No.7, pp.1301-1309, July 2020. [https://doi.org/10.9728/dcs.2020.21.7.1301]
• S. Mun, M. C. Whang, Y. W. Kim, J. H. Kim, J. U. Park, and B. H. Jo, “A new affective model for mobile services,” Journal of the Korean Society of Ergonomics, Vol.2010, No.5, pp.214-218, 2010.
• G. Tu, J. Wen, H. Liu, S. Chen, L. Zheng, and D. Jiang, “Exploration meets exploitation: Multitask learning for emotion recognition based on discrete and dimensional models,” Knowledge-Based Systems, Vol.235, pp.107598, January 2022. [https://doi.org/10.1016/j.knosys.2021.107598]
• S. Rokhsaritalemi, A. Sadeghi-Niaraki, and S. M. Choi, “Exploring Emotion Analysis using Artificial Intelligence, Geospatial Information Systems, and Extended Reality for Urban Services,” IEEE Access, Vol.11, pp. 92478-92495, August 2023. [https://doi.org/10.1109/ACCESS.2023.3307639]
• C. Chen, X. Yu, A. N. Belkacem, L. Lu, P. Li, Z. Zhang, X. Wang, W. Tan, Q. Gao, D. Shin, C. Wang, S. Sha, X. Zhao, and D. Ming, “EEG-based anxious states classification using affective BCI-based closed neurofeedback system,” Journal of medical and biological engineering, Vol.41, pp.155-164, February 2021. [https://doi.org/10.1007/s40846-020-00596-7]
• G. Son, W. Lee, J. Lee, and M. Ki, “Machine Learning based Human emotion state classification using EEG signals,” The Journal of KING Computing, Vol.18, No.1, pp.37-46, February 2022. [https://doi.org/10.23019/kingpc.18.1.202202.004]
• J. Chen, X. Lin, W. Ma, Y. Wang, and W. Tang, “EEG-based emotion recognition for road accidents in a simulated driving environment,” Biomedical Signal Processing and Control, Vol.87, pp.105411, January 2024. [https://doi.org/10.1016/j.bspc.2023.105411]
• S. Mun, “Overview of Understanding and Quantifying Cognitive Load,” Journal of the Ergonomics Society of Korea, Vol.37, No.3, pp.337-346, June 2018. [https://doi.org/10.5143/JESK.2018.37.3.337]
• C. Conrad, and A. Newman, “Measuring mind wandering during online lectures assessed with EEG,” Frontiers in Human Neuroscience, Vol.15, pp.697532. August 2021. [https://doi.org/10.3389/fnhum.2021.697532]
• J. H. Jung, H. I. Chung, and Z. K. Lee, “An Analysis of Mobile Food Delivery App 'Baemin' by Using Text Mining and ARIMA Model,” Journal of Digital Contents Society, Vol.22, No.9, pp.291-299, February 2021. [https://doi.org/10.9728/dcs.2021.22.2.291]
• H. Shin, and J. Choi, “Analysis of User Reviews for Webtoon Applications Using Text Mining,” The Journal of the Convergence on Culture Technology (JCCT), Vol.8, No.4, pp.457-468. July 2022. https://www.earticle.net/Article/A415607
• S. Hwang, and M. C. Lee, “Analysis of the Value Change of Virtual Influencers as Seen in the Press and Social Media Using Text Mining,” Korean Association of AD&PR, Vol.23, No.4, pp.265-299, October 2021. [https://doi.org/10.16914/kjapr.2021.23.4.265]
• Y. A. Shin, and J. Ha, “The Influence of Emotional Dissonance on Player Satisfaction and Dropout Intention of College Taekwondo Demonstration Players,” The Korean Journal of Sport, Vol.21, No.4, pp.699-709, December 2023. [https://doi.org/10.46669/kss.2023.21.4.060]
• R. Ho, “Handbook of univariate and multivariate data analysis and interpretation with SPSS,” Chapman and Hall/CRC, pp.424, March 2006. [https://doi.org/10.1201/9781420011111]
• J. T. Larsen, and J. D. Green, “Evidence for mixed feelings of happiness and sadness from brief moments in time,” Cognition and emotion, Vol.27, No.8, pp.1469-1477, May 2013. [https://doi.org/10.1080/02699931.2013.790782]
• Y. Wang, Q. Huang, Z. Xie, M. Wang, and W. Bao, “Evaluation on game concentration with multi-scale fuzzy entropy based on EEG signals,” Entertainment Computing, Vol.46, pp.100570, May 2023. [https://doi.org/10.1016/j.entcom.2023.100570]
• O. Almanza-Conejo, D. L. Almanza-Djeda, J. L. Contreras-Hernandez, and M. A. Ibarra-Manzano, “Emotion recognition in EEG signals using the continuous wavelet transform and CNNs,” Neural Computing and Applications, Vol.35, pp.1409-1422, September 2022. [https://doi.org/10.1007/s00521-022-07843-9]
• R. A. Ramadan, S. Refat, M. A. Elshahed, and R. A. Ali, “Basics of brain computer interface,” Brain-Computer Interfaces: Current Trends and Applications, pp.31-50, January 2014. [https://doi.org/10.1007/978-3-319-10978-7_2]
• F. Tian, M. Hua, W. Zhang, Y. Li, and X. Yang, “Emotional arousal in 2D versus 3D virtual reality environments,” PloS one, Vol.16, No.9, pp.e0256211, September 2021. [https://doi.org/10.1371/journal.pone.0256211]
• S. C. Hyun, and D. Kim, “Common Practices in Clinical Electroencephalography,” Korean Journal of Clinical Laboratory Science, Vol.53, No.4, pp.296-308, December 2021. [https://doi.org/10.15324/kjcls.2021.53.4.296]
• F. I. Mouri, C. E. Valderrama, and S. G. Camorlinga, “Identifying relevant asymmetry features of EEG for emotion processing,” Frontiers in Psychology, Vol.14, pp.1217178, August 2023. [https://doi.org/10.3389/fpsyg.2023.1217178]
• P. Panarese, A. Baiocchi, and S. Colonnese, "The extended reality quality riddle: a technological and sociological survey," In 2023 International Symposium on Image and Signal Processing and Analysis (ISPA), IEEE, pp.1-6, October 2023. [https://doi.org/10.1109/ISPA58351.2023.10279378]
• J. H. Lee, “VR System Environment Technologies and User Input Elements,” Journal of the Korean Society of Design Culture, Vol.24, No.2, pp.585-596, June 2018. [https://doi.org/10.18208/ksdc.2018.24.2.585]
• J. W. Jo, J. H. Bae, H. B. You, and S. H. Bak, “Content Design Research to Improve Motion Sickness in Extended Reality (XR),” Journal of Digital Contents Society, Vol.25, No.1, pp.49-55, January 2024. [https://doi.org/10.9728/dcs.2024.25.1.49]
• J. Chai, Y. Ge, Y. Liu, W. Li, L. Zhou, L. Yao, and X. Sun, “Application of frontal EEG asymmetry to user experience research,” In Engineering Psychology and Cognitive Ergonomics: 11th International Conference, EPCE 2014, Proceedings 11, pp.234-243, 2014. [https://doi.org/10.1007/978-3-319-07515-0_24]
• C. Shin, J. Lee, H. K. Yoon, K. W. Park, C. Han, and Y. H. Ko, “Impact of 2D and 3D display watching on EEG power spectra: A standardized low-resolution tomography (sLORETA) study,” Signal Processing: Image Communication, Vol.93, pp.116151, April 2021. [https://doi.org/10.1016/j.image.2021.116151]
• D. Tan, and B. Xu, “Advanced Interfacial Design for Electronic Skins with Customizable Functionalities and Wearability,” Advanced Functional Materials, Vol.33, No.49, pp.2306793, September 2023. [https://doi.org/10.1002/adfm.202306793]