상황인지 기반 사회적 촉매(Social Catalyst)형 AI 컴패니언 시스템 아키텍처 설계 및 최적 LLM 엔진 선정을 위한 비교 연구

1. 행위자-네트워크 이론 (Actor-Network Theory, ANT)^[8]

행위자-네트워크 이론(ANT)은 인간과 비인간(기술, 사물 등)을 대칭적인 ‘행위자(Actor)’로 간주하며, 이들이 형성하는 네트워크 내 상호작용을 통해 현실이 구성된다고 본다^[8]. 본 연구는 이러한 ANT 관점을 바탕으로 사회적 촉매형 AI 컴패니언을 단순한 수동적 도구가 아닌, 공동 시청이라는 사회적 네트워크에 참여하여 상호작용의 양상을 변화시키는 능동적 행위자로 설정하였다. 이는 제안하는 아키텍처 내 ‘Persona Orchestrator’를 통해 구체화된다. 즉, AI는 사용자의 명시적 명령 없이도 VLM(Vision Language Model)을 통해 시각적 맥락을 파악하고 주체적인 발화를 수행함으로써, 단절되었던 인간 간의 관계망을 재구성하고 대화 빈도를 높이는 기술적 허브 역할을 수행하도록 설계되었다.

2. 사회적 실재감 (Social Presence) 이론^[9]

사회적 실재감은 미디어를 통한 상호작용 시 상대방이 실제적인 존재로 느껴지는 심리적 정도를 의미한다^[9]. 본 연구에서는 이를 확장하여 AI가 인간 간 상호작용의 양상을 변화시키는 ‘사회적 촉매제(Social Catalyst)’ 개념을 도입하였다. 여기서 사회적 촉매제란 단순히 상호작용의 양적 증가만을 의미하는 것이 아니라, 대화 유도와 공감 표현, 적절한 개입 타이밍 등 상호작용을 촉진할 수 있는 시스템적 특성들의 집합으로 정의된다. 이를 위해 본 연구는 AI의 개입이 그룹의 사회적 실재감을 높이도록 ‘Emotion Companion’ 페르소나를 설계하였으며, 특히 인간의 대화 흐름을 방해하지 않으면서 개입 효과를 극대화하기 위해 TRP(Turn-taking Resistance Point) 예측 모델을 도입하였다. 이는 AI가 최적의 시점에 개입함으로써 시청자들이 공유된 경험에 더 몰입하게 하고, AI의 발화가 인간 간 공감대의 기폭제가 되도록 유도하는 공학적 근거가 된다.

3. 시너제틱 상호작용 (Synergetic Interaction)^[8]

시너제틱 상호작용은 AI와 인간의 결합이 개별 능력의 합을 넘어서는 새로운 가치를 창출함을 의미한다^[8]. 본 연구는 VLM을 통한 객관적 장면 분석 데이터와 LLM의 창의적 발화 생성 능력을 결합한 ‘Hybrid Intelligence’ 구조를 통해 이를 구현하였다. 제안된 시스템은 단순한 영상 기술(Description)을 넘어, 장면의 미세한 맥락을 분석하여 참여자들에게 개방형 질문(Open-ended Question)을 던짐으로써 인간의 내러티브를 능동적으로 이끌어 낸다. 이러한 구조는 AI를 단순한 보조 도구에서 벗어나 인간의 감상 경험을 확장하고 심화시키는 ‘협력적 파트너’로 기능하게 하며, 본 연구의 학술적 독창성을 확보하는 핵심 요소로 작용한다.

1. 사회적 촉매형 AI 컴패니언 시스템 설계 및 아키텍처

1.1 시스템 아키텍처 구성 및 데이터 흐름

제안하는 시스템은 공동 시청 환경에서 발생하는 다중 모달 데이터를 실시간으로 처리하여 페르소나에 적합한 사회적 개입을 수행하도록 설계되었다. 제안하는 사회적 촉매형 AI 컴패니언의 전체적인 개념도는 [그림 2]와 같다. 이를 위해 Skantze(2021)의 순번 교대(Turn-taking) 이론^[10]을 바탕으로, 대화의 흐름을 방해하지 않는 최적의 개입 지점인 발화 전환 가능 지점(TRP)을 실시간으로 감지하는 메커니즘을 아키텍처의 핵심 모듈로 설정하였다.

Fig. 2.

Conceptual Diagram of AI Companions as Social Catalyst

전체적인 데이터 흐름과 기술 스택은 [그림 3]에 제시된 바와 같이 크게 4단계의 공학적 과정을 거쳐 수행된다. 첫째, 입력 및 전달 계층에서는 클라이언트의 OTT 디바이스 SDK를 통해 수집된 사용자의 음성 및 비언어적 사회 신호가 API Gateway를 거쳐 시스템으로 전달된다. 둘째, 백엔드 서비스 계층은 Docker 환경에서 운용되는 FastAPI 기반의 마이크로서비스들로 구성된다. 특히 Media Context Service는 OTT 서버로부터 실시간 스트림을 수신한 뒤 RabbitMQ 메시지 큐를 통해 이벤트를 발행(Publish)함으로써, 대량의 미디어 데이터를 지연 없이 분산 처리할 수 있는 구조를 갖추었다. 셋째, 시스템의 중추인 AI 모델 서빙 계층에서는 Persona Orchestrator가 전체적인 서비스 워크플로우를 제어한다. 이는 gRPC 통신을 통해 NVIDIA Triton Inference Server에 배치된 Whisper (STT), StyleTTS2(TTS) 등의 모델을 호출하며, 상황별 최적의 LLM 엔진으로 동적 라우팅을 수행하는 역할을 담당한다. 마지막으로 비동기 처리 및 캐싱 계층에서는 RabbitMQ를 통한 비동기 이벤트 처리와 Redis를 활용한 데이터 캐싱을 통해 시스템의 반응성과 운영 효율성을 극대화하였다.

Fig. 3.

Detailed System Architecture of AI Companions as Social Catalyst Agents

1.2 개입 프로세스: 수동적 및 능동적 흐름

설계된 아키텍처 내에서 시스템은 [그림 4]와 같이 수동적 흐름(Passive Flow)과 능동적 흐름(Active Flow)의 이원화된 트랙으로 동작한다. 수동적 개입(Passive Intervention)은 사용자의 음성 질의(USER VOICE QUERY)를 수집하여 ASR 및 해석 과정을 거친다. 해석된 결과는 질의 관리 레이어를 통해 안전성 길목인 Intervention Gateways로 진입하는 동시에, 사용자 컨텍스트(USER ID/CONTEXT)를 기반으로 Golden Dataset Invocation을 트리거한다. 여기서 추출된 미디어 기술자 및 감정 정보는 컨텍스트 피드(Context Feed) 형태로 Response Plan Generation에 다이렉트로 주입되어 맥락적 일치성을 보장한다. 능동적 개입(Active Intervention)은 영상 스트림(VIDEO STREAM)을 VLM ANALYZER로 상시 분석하여 사용자의 비언어적 사회 신호를 추출한다. 개입 판단 로직(INTERVENTION DECISION LOGIC)을 통해 맥락적 타당성과 턴테이킹 시그널을 계산하며, 개입이 확정(Yes)되면 대화 흐름을 방해하지 않는 최적의 타이밍에 Response Plan Generation으로 개입 신호를 송신한다^[10]. 최종 사후 검증(Post-Intervention) 단계에서는 생성된 답변 계획을 LLM-based Refinement로 정제하여 페르소나를 투영한다. 이후 사용자에게 배포(USER DELIVERY)되기 직전, RPI EVALUATION 노드를 통해 지능적 정확성(Accuracy)과 시스템 지연 시간(Latency)을 최종 검증함으로써 서비스의 신뢰성을 확보한다.

Fig. 4.

Service Flowchart of AI Companions as Social Catalyst

2. 개입 타이밍 모델 (‘언제’ 말할 것인가?)

자연스러운 상호작용을 위해 AI의 개입은 대화의 흐름을 방해하지 않는 범위 내에서 이루어져야 한다. 이를 위해 본 연구는 단순히 대화의 공백(Silence)을 감지하는 차원을 넘어, 인간의 턴 교대 신호(Turn-taking cues)를 종합적으로 분석하여 최적의 개입 시점인 발화 전환 가능 지점(TRP)을 예측하는 모델을 제안한다. 여기서 TRP는 화자의 발화가 종료되거나 대화 흐름상 제3자의 개입이 허용되는 ‘전환 적정 지점’으로 정의되며, 본 모델은 다음과 같은 4단계의 정교한 과정을 통해 개발되었다^[10].

첫째, 데이터 수집 및 레이블링 단계에서는 실제 그룹의 공동 시청 상황을 녹화하여 전용 데이터셋을 구축하였다. 이후 HCI 전문가가 영상 분석을 통해 대화 개입이 적절한 시점을 확률적 개념(예: 개입 적절 확률 0.9)으로 수동 레이블링하여 학습 데이터를 확보하였다. 둘째, 다중 모달 특징 추출 단계에서는 단순 음성 공백 외에 언어적, 운율적, 시각적 신호를 통합적으로 분석한다. 언어적 측면에서는 문장의 문법적 완결성과 “음...”, “어...”와 같은 채움 말의 등장 여부를 파악하며, 운율적으로는 발화 말단의 억양 변화와 목소리 강도 및 높낮이를 분석한다. 시각적으로는 시선 교환, 고개 끄덕임, 특정 장면에 대한 표정 변화 등을 추출하여 다각적인 턴 교대 신호를 포착한다. 셋째, 연속적 예측 모델 학습 단계에서는 추출된 다중 모달 특징을 LSTM 또는 Transformer 기반 모델에 입력하여, 향후 1~3초 내에 턴 전환이 발생할 확률을 실시간으로 예측하도록 학습시켰다. 마지막으로, 최종 개입 결정 및 빈도 제어 단계에서는 모델이 산출한 TRP 확률이 사전에 설정된 임계값(예: 0.8)을 초과하고 AI가 제공할 유효 정보가 존재할 때 개입을 실행한다. 특히 과도한 개입으로 인한 사용자 경험 저해를 방지하기 위해, 최소 개입 간격(예: 5분)이나 최대 개입 횟수(예: 4회)와 같은 빈도 제어 규칙을 시스템에 적용하였다^[3].

본 시스템은 화자의 음성 활동 감지(VAD)와 문법적 완결성, 미디어 콘텐츠의 화제 전환 여부를 실시간으로 분석하여 TRP 확률값을 산출하며, 이는 시계열 기반의 연속적 예측을 통해 인간 대화의 자연스러운 리듬을 모사하도록 설계되었다. 다만 본 연구의 목적은 TRP 예측 모델 자체의 독립적인 성능 평가보다는, 예측된 타이밍 정보가 각 LLM 엔진의 발화 생성 품질 및 상호작용 특성에 미치는 영향을 분석하는 데 있다. 따라서 본 실험은 TRP 모델의 정확도 자체보다 해당 정보를 활용한 발화 생성 결과의 적절성을 중심으로 설계되었다.

3. 발화 생성 및 페르소나 모델 (‘무엇을’ 말할 것인가?)

발화 생성 모델은 사용자 선택 페르소나별 목표와 스타일을 반영하며, 세부 구조는 [그림 5]와 같다. 본 모델은 가치 체계 기반 페르소나 로직^[11]과 역할 수행 기술^[12][13]을 프리엠블 및 퓨샷 기법으로 구현하여 대화 일관성을 확보하였다. 또한 응용프로그램 인터페이스(API; Application Programming Interface) 도구와 검색 증강 생성(RAG) 기술로 답변 정확도를 제고하였다. 특히, 인간의 선호도에 부합하도록 모델을 정렬하는 직접 선호도 최적화(DPO; Direct Preference Optimization) 기법의 원리를 차용하여, 스포일러 금지 및 사용자 비판 금지 등의 공통 정렬 규칙을 적용함으로써 발화의 안정성과 품질을 도모하였다^[14].

Fig. 5.

Structure of AI Companions as Social Catalyst

본 연구에서는 사회적 촉매제로서의 역할을 수행하기 위해 정보 제공자(Fact-Checker), 토론 촉진자(Debate Facilitator), 감정 공유 대상(Emotion Companion)의 세 가지 페르소나를 정의하였다. 각 페르소나는 고유의 프리엠블을 통해 행동 지침이 설정되며, 구체적인 입출력 예시인 퓨샷 데이터를 통해 발화 스타일이 제어된다. [표 1]은 각 페르소나별 상세 프롬프트 설계 사양을 나타낸다.

Table 1.

Prompt Design Specifications and Few-shot Examples by Persona

Table 2.

Detailed Specifications of the LLM Engines Used in the Experiment (2026.01)

또한, 모든 페르소나에는 스포일러 금지, 단정적 어조 금지, 사용자 평가 금지 등 공통된 ‘금지 조항’을 적용하여 발화의 안정성과 품질을 확보한다.

4. 실험 설계 및 방법

본 절에서는 제안한 시스템 아키텍처 내에서 페르소나 에이전트의 성능을 검증하고, 실시간 미디어 시청 환경에 가장 적합한 최적(Optimum)의 엔진 조합을 도출하기 위한 평가 체계를 기술한다. 본 실험은 제안된 시스템이 사회적 상호작용을 직접적으로 향상시키는지를 검증하기 위한 것이 아니라, 그러한 상호작용을 촉진하기 위해 요구되는 발화 품질, 페르소나 일관성, 개입 타이밍 등의 기술적 조건을 평가하기 위해 설계되었다.

4.2 정성적 평가 체계 및 세부 루브릭

본 연구에서 채택한 평가 지표는 시스템의 직접적인 사회적 효과를 측정하기에 앞서, 상호작용을 촉진하는 데 필요한 핵심 특성을 반영하는 대리 지표(Proxy indicator)로 활용된다. 이는 대화 시스템의 정성적 품질이 사용자의 사회적 현존감과 상호작용 의지에 직결된다는 선행 연구^[9],[10]의 이론적 고찰에 근거한다. 평가의 객관성을 확보하기 위해 모든 생성 답변은 모델 정보를 식별할 수 없도록 익명화(Blind Test) 처리하였으며, 심사 피드백을 반영하여 평가 기준의 모호성을 제거하고자 대화 시스템 평가 표준 방법론^[10] 및 페르소나 기반 발화 생성 프레임워크^[11]를 참고하여 각 척도별 7점 리커트(Likert) 루브릭을 구체화하였다. 상세한 평가 항목과 점수별 기준은 [표 3]과 같다.

Table 3.

Qualitative Evaluation Metrics and Scoring Rubrics

본 정성 평가는 단일 평가자에 의해 수행된 탐색적 분석(Pilot Study) 수준으로 수행되어 한계가 있다. 본 연구의 목적은 사회적 효과의 확정적 입증보다는, 하이브리드 아키텍처 구현을 위한 시스템적 조건과 기술적 가능성을 공학적으로 타당화하는 데 의의가 있다. 향후 연구에서 3인 이상의 독립 평가자를 확보하여 일치도(IRR; Inter-Rater Reliability)를 검증할 예정이다.

1. 실험 환경 및 골든 데이터셋 구성

본 실험을 위해 드라마, 예능, 다큐멘터리 등 다양한 장르의 영상 콘텐츠에서 추출한 9개의 시나리오를 바탕으로 ‘TRP 골든 데이터셋(Golden Dataset)’을 구축하였다. 각 시나리오는 연구자가 직접 레이블링한 JSON 형식의 기준 데이터를 포함하며, 여기에는 미디어 맥락 정보, 사용자의 음성 질의 및 감정 상태, 그리고 최적의 개입 시점인 ‘center_point’가 정교하게 태깅되어 있다. 특히 하나의 시나리오 내에서도 복수의 발화 구간과 개입 후보 시점을 포함하도록 설계하여, 단일 맥락 내에서 발생하는 다양한 TRP 시퀀스를 동적으로 평가할 수 있도록 구성하였다.

상황인지 능력에 따른 발화 품질의 차이를 분석하기 위해, 본 연구는 텍스트 맥락 정보만을 제공하는 방식(Text-only)과 영상의 시각적 맥락을 통합하는 방식(Video-multimodal)을 대조하여 실험을 진행하였다. Video-multimodal 입력의 경우, 연산 효율성을 고려하여 원본 영상을 직접 처리하는 대신 OpenCV를 활용해 추출된 핵심 프레임(Key Frame) 이미지 시퀀스를 활용하였다. 구체적으로 초당 1~2개의 프레임을 추출하여 시간적 순서가 유지된 이미지 시퀀스를 각 LLM 엔진에 전달함으로써, 모델이 장면의 흐름과 사용자의 비언어적 사회 신호를 기반으로 최적의 발화를 생성하도록 유도하였다.

실험은 앞서 기술한 하드웨어 환경(NVIDIA RTX 4060 등)에서 수행되었으며, 로컬 시스템은 다중 모달 특징 추출과 실시간 데이터 로깅을 전담하였다. 모든 모델은 공식 API를 통해 동일한 파라미터 조건에서 호출되었으며, 네트워크 왕복 시간(RTT)을 포함한 API 응답 지연 시간을 정밀하게 측정하여 전체 시스템의 실시간 반응성을 검증하였다.

2. 실험 절차 및 세부 조건

본 연구는 다중 모달 정보가 시스템의 반응성 및 개입 정밀도에 미치는 영향을 분석하기 위해 4단계의 검증 프로세스를 설계하였다. 각 단계는 개별 컴포넌트의 성능부터 통합 시스템의 효용성까지 순차적으로 검증하며, 특히 입력 데이터의 복잡도 변화에 따른 사회적 상호작용의 질적 차이를 분석하는 데 중점을 두었다^[15].

첫 번째 단계인 텍스트 기반 페르소나 준수도 실험(Text-only)에서는 시각 정보의 간섭을 배제하고 JSON 데이터셋에 정의된 대화 로그와 페르소나 프롬프트만을 입력하여 모델의 언어적 일관성을 평가한다. 두 번째 단계인 다중 모달 기반 상황인지 지능 실험(Video-multimodal)에서는 대화 로그와 핵심 프레임(Key Frame) 이미지 시퀀스를 동시에 제공함으로써, 시각적 맥락이 투영된 모델의 발화 생성 양상을 분석한다. 세 번째 단계인 입력 모드별 비교 분석(Comparative Analysis)에서는 동일 시나리오 하의 두 실험 결과를 대조하여, 영상 정보의 결합이 상황인지 지능 향상과 발화 품질 제고에 미치는 영향을 정량적으로 고찰한다. 마지막으로 개입 타이밍 정밀도 및 시스템 효율성 실험(TRP Analysis)에서는 3.2절에서 설계한 시계열 기반 TRP 예측 모델이 도출한 최적 개입 시점(sec) 정보를 시스템 아키텍처 내에서 활용하여 발화를 생성한다. 이 단계에서는 시계열 모델이 포착한 비언어적 신호(타이밍)가 실제 골든 데이터셋의 기준점과 얼마나 부합하는지 오차를 측정하고, 해당 타이밍에 생성된 LLM의 발화가 맥락적으로 적절한지를 종합적으로 판별한다. 이러한 다단계 검증 체계는 본 시스템이 기술적 정확도와 사회적 촉매제로서의 효용성을 동시에 확보하고 있음을 입증하는 공학적 근거가 된다.

3. 전문가 기반 정성적 품질 평가 결과

본 연구에서 제안한 시스템의 실질적인 대화 품질을 검증하기 위해, 앞서 수립한 루브릭을 바탕으로 7점 리커트 척도 평가를 실시하였다. 각 엔진별 상세 평가 결과는 [표 4]와 같으며, 이를 방사형 그래프로 시각화하여 엔진별 특화 영역을 분석한 결과는 [그림 6]에 제시하였다.

Table 4.

Final Evaluation Sheet for Qualitative Assessment

Fig. 6.

Visualization of Functional Specialization and Trade-offs by Major LLM Engines Based on 5 Key Conversation Quality Metrics

4. [실험 1] 텍스트 기반 상호작용 성능 분석 (Text-Only)

시각 정보가 배제된 환경에서 모델 본연의 페르소나 투영 능력을 측정한 결과는 [표 5]와 같으며, 전반적으로 모든 엔진이 상향 평준화된 성능을 나타냈다. 분석의 일관성을 위해 모든 수치는 1.00 만점의 계수로 환산하여 비교하였으며, 본 단계에서는 발화 품질 분석에 집중하기 위해 응답 지연 시간(Latency)은 측정 대상에서 제외하였다.

Table 5.

Comparison of Performance Metrics by Model in Text-Only Mode

상세 분석 결과, GPT-5.1과 Claude-4.5는 페르소나 준수도(Adherence)에서 각각 0.96을 기록하며 텍스트 지시문에 대한 탁월한 이해도를 증명하였다. 특히 Sonar-Pro는 0.96의 높은 준수율과 함께 실험군 중 가장 긴 평균 발화 길이(636.48자)를 기록하였는데, 이는 사회적 상호작용을 풍부하게 유도해야 하는 ‘사회적 촉매제’로서의 높은 잠재력을 시사한다.

언어적 완성도 측면에서는 Llama-4의 성과가 두드러졌다. Llama-4는 페르소나 준수도 면에서는 상대적으로 낮은 수치(0.81)를 보였으나, METEOR 지표에서 0.15로 가장 높은 성적을 거두었다. 이는 모델이 정답 스크립트를 단순히 복제하기보다는, 페르소나의 목적에 맞게 자신만의 언어로 문장을 유연하게 재구성하는 능력이 뛰어남을 의미한다. 반면 Grok-4는 의미적 유사도(Similarity, 0.62)와 METEOR (0.13) 모두에서 고른 성적을 내며 텍스트 맥락 파악과 언어 생성의 균형을 유지하고 있음을 확인하였다.

5. [실험 2] 영상 맥락 통합 인지 성능 분석 (Video-Multimodal)

본 실험에서는 4.1절에서 구성한 네이티브 멀티모달 입력 환경을 기반으로, 각 모델이 영상의 시각적 맥락을 어느 정도 정확하게 인지하고 발화에 반영하는지를 평가하였다.

실험 결과, [표 6]에 제시된 바와 같이 모델별 상황인지 능력과 발화 품질에서 유의미한 성능 차이가 관찰되었다. 먼저 다중 모달 정보를 통합 처리하는 상황인지 지능 측면에서는 Llama-4(0.49)와 Gemini-3(0.40)가 유사도(Similarity) 지표에서 상위권을 차지하였다. 특히 Gemini-3는 복잡한 시각 정보를 답변 내 맥락으로 변환하는 능력이 우수하였으며, 이는 텍스트 가이드가 배제된 순수 이미지 추론 조건임을 고려할 때 매우 유의미한 결과로 판단된다.

Table 6.

Comparison of Performance Metrics by Model in Multimodal Mode

시각 정보 주입에 따른 페르소나 유지력의 변화를 분석한 결과, Sonar-Pro(0.78)가 준수도(Adherence) 면에서 가장 우수한 방어력을 보였다. 주목할 점은 대부분의 모델이 텍스트 전용 모드 대비 준수도가 크게 하락하였다는 점인데, 이는 복잡한 시각 데이터를 처리하는 과정에서 발생하는 모델의 연산 부하가 페르소나 유지라는 제약 조건을 상대적으로 약화시키는 요소로 작용했음을 시사한다.

Fig. 7.

Comparison of Persona Adherence and Language Quality Metrics Across LLMs

6. [실험 3] 입력 모드에 따른 인지 부하 비교 분석 (Comparative Analysis)

텍스트 전용(Text-only) 모드와 다중 모달(Video-multimodal) 모드의 결과를 대조 분석한 결과, 시각 정보의 주입이 모델의 페르소나 유지 능력에 미치는 정량적 영향이 확인되었다.

한편, 맥락 인지 지능의 실질적 정밀도를 나타내는 TRP 예측 성능을 분석한 결과, Gemini-3는 MAE(129.16s)와 성공률(7.14%)에서 실험군 중 가장 우수한 성적을 거두며 상대 성능 지수(RPI) 100점을 기록하였다. 비록 성공률의 절대 수치는 낮게 나타났으나, 이는 본 실험에서 설정한 정답 윈도우(Window)가 ±2.5초로 매우 엄격했다는 점에 기인한다. 본 연구는 이러한 낮은 성공률을 모델의 단순한 결함으로 간주하기보다, 실시간 미디어 상호작용 환경에서 발생하는 ‘타이밍의 불확실성’이라는 공학적 난제로 정의한다. 따라서 본 논문에서는 이러한 기술적 한계를 보완하고 시스템 가용성을 확보하기 위해, Ⅳ.9절에서 제안하는 ‘상황 맞춤형 엔진 스위칭 전략’의 필요성을 역설하고자 한다.

7. [실험 4] 개입 타이밍 정밀도 및 시스템 효율성 분석 (TRP Analysis)

본 연구의 핵심 메커니즘인 개입 타이밍(TRP) 예측 지능과 이에 따른 시스템 운영 효율성을 공학적 오차 지표 및 상대 성능 지수(RPI)를 통해 종합적으로 분석하였다. 본 실험에서는 Ⅲ.2절에서 상술한 시계열 기반 TRP 예측 모델로부터 도출된 타이밍 정보를 시스템이 수신하였을 때, 각 LLM 엔진이 해당 시점의 맥락을 얼마나 정밀하게 함축하여 발화를 생성하는지에 초점을 맞추었다. 실험 결과는 [표 7]과 같으며, 모델별 개입 정밀도와 운영 효율성에서 뚜렷한 성능 차이가 관찰되었다.

Fig. 8.

Comparison of Situational Awareness Intelligence and Persona Adherence Across LLMs

Table 7.

Integrated Comparison of TRP Intervention Precision and System Efficiency

먼저 상황인지 지능 측면에서 Gemini-3는 평균 절대 오차(MAE) 129.16초를 기록하며 실험군 중 가장 낮은 오차율을 보였으며, 인간의 인지 한계 범위인 ±2.5초 이내 개입 성공률(Success Rate)에서도 7.14%로 1위를 차지하여 RPI 기준 최고점(100점)을 획득하였다. 이는 영상의 비언어적 맥락을 파악하여 최적의 개입 시점을 판별하는 지능적 측면에서 Gemini-3가 가장 완성도 높은 성능을 보유하고 있음을 시사한다. [그림 9]는 이러한 모델별 TRP 정밀도와 지연 시간의 관계를 시각적으로 나타낸다.

Fig. 9.

Comparison of TRP Intervention Precision (MAE‧Success Rate) and Average Latency Across LLMs

반면 시스템 효율성 및 반응성 측면에서는 Llama-4의 성과가 두드러졌다. Llama-4는 평균 지연 시간(Avg Latency) 3.41초를 기록하여 실시간 미디어 시청 환경에 가장 적합한 반응성을 증명하였다. 특히 Llama-4는 정확도 점수가 상대적으로 낮음에도 불구하고 성공률(5.26%) 면에서는 Gemini-3에 이어 2위를 차지함으로써, 즉각적이면서도 결정적인 타이밍을 포착하는 효율적인 엔진으로서의 가능성을 확인하였다.

실험 결과 전반에서 지능(Accuracy)과 속도(Latency) 사이의 뚜렷한 상충 관계(Trade-off)가 관찰되었다. 일례로 Sonar-Pro는 성공률 0%를 기록하며 개입 시점 예측에서 낮은 신뢰도를 보였다. [그림 10]의 시각화 결과는 단일 엔진만으로는 지능, 페르소나 유지력, 실시간성이라는 세 가지 가치를 동시에 충족하기 어렵다는 기술적 한계를 여실히 보여준다. 본 연구는 이러한 분석을 바탕으로 단일 엔진의 한계를 극복하기 위한 다중 엔진 스위칭 전략의 필요성을 제안하고자 한다.

Fig. 10.

Visualization of the Triangular Trade-off Between Situational Awareness, Persona, and Real-time Performance Based on Relative Performance Index (RPI) by LLM

8. 상호작용의 정성적 특징 분석 및 아키텍처 제안

본 절에서는 정량적 지표 외에 각 모델이 생성한 발화의 정성적 특징을 분석하여, 시스템이 의도한 ‘사회적 촉매제’로서의 기능적 적합성을 검토하였다.

9. 종합 평가 및 하이브리드 지능형 아키텍처 제안

본 연구의 모든 실험 결과를 종합한 결과, 단일 LLM 엔진만으로는 ‘정교한 타이밍’, ‘빠른 응답 속도’, ‘일관된 페르소나’라는 세 가지 핵심 가치를 동시에 완벽히 충족하기 어렵다는 결론에 도달하였다. 이에 본 연구는 각 LLM의 강점을 상황별로 분배하는 하이브리드 지능형 아키텍처를 최적의 대안으로 제안한다.

제안된 아키텍처는 엔진 스위칭 전략을 기반으로 한다. 구체적으로 TRP 타이밍 예측과 상황인지가 중요한 단계에서는 Gemini-3를 활용하고, 사회적 존재감과 대화 품질 유지가 중요한 구간에서는 GPT-5.1을, 실시간 반응성이 최우선인 구간에서는 Llama-4를 우선적으로 배치한다. 이러한 다중 엔진 전략은 단일 모델의 한계를 극복하고 사회적 촉매제로서 시스템의 성능을 극대화할 수 있는 공학적 해법이 된다. 본 연구는 대화 유발 능력과 개입 타이밍 등 기술적 메커니즘을 중심으로 설계적 타당성을 분석하였으며, 향후 연구에서는 사용자 기반 실험을 통해 실제 상호작용의 변화를 정량적으로 검증할 계획이다.

1. 종합 분석 및 인사이트

본 연구는 정성적 페르소나 준수도와 정량적 TRP 측정 결과를 교차 분석하여 각 LLM의 공학적 특이점을 식별하였다. 분석 결과, ‘정밀한 상황인지’, ‘일관된 페르소나 유지’, 그리고 ‘실시간 응답성’ 사이에는 뚜렷한 삼각 상충 관계(Trilemma)가 존재하는 경향이 관찰되었다. 이는 기존의 단일 모달리티 기반 대화형 AI 연구^[1][3]에서 제안된 ‘추론 성능과 사용자 경험 간의 반비례 관계’가 다자간 멀티모달 환경에서도 동일하게 작용함을 보여줌과 동시에, 상황인지라는 변수가 더해질 때 그 상충 관계가 더욱 심화됨을 시사한다. [표 7]에서 알 수 있듯이, 본 연구는 성능(MAE)과 안정성(Stability Score)의 상관관계를 분석하였으며, 각 모델이 지능과 반응성 사이에서 상반된 성능 궤적을 보이는 경향이 나타났다. 특히, 상대 성능 지수(RPI) 분석 과정에서 나타난 TRP 예측 성능(MAE 129.16초, Success Rate 7.14%)은 절대적인 정확도 기준에서 높은 수준이라고 보기는 어려우나, 기존의 텍스트 가이드 기반 타이밍 추론 연구^[10]들이 실제 영상 환경에서 겪는 ‘인지적 격차(Cognitive Gap)’를 정량적으로 확인했다는 점에서 학술적 차별성을 갖는다. 따라서 본 연구는 TRP 예측 정확도 자체를 입증하기보다는, 이러한 불확실한 타이밍 정보를 발화 생성 시스템과 결합하여 활용할 수 있는 구조적 가능성^[7]을 검증하는 데 초점을 둔다. 이러한 결과는 기존의 범용 LLM 연구들이 주장하는 ‘역할 수행(Role-playing)’ 모델^[12][13]의 한계를 드러낸다. 구체적으로 살펴보면, Gemini-3는 상황인지 지능 측면에서 가장 높은 RPI를 보였으나 실시간성에서는 낮은 점수를 기록했다. 반면, Llama-4는 반응성 지표에서 최고점을 기록했으나 타이밍 정밀도와 페르소나 일관성은 낮게 나타났다. 이러한 모델별 성능 편차는 다자간 상호작용 중재를 위한 AI 에이전트 설계 시, 단일 엔진에 의존하기보다 본 연구가 제안한 ‘상황 맞춤형 엔진 스위칭 전략’이 학술적·실무적^[8][9]으로 더 타당한 대안임을 뒷받침하는 근거가 된다. 또한, 영상 정보 주입 시 페르소나 준수도가 약 31.5% 하락하는 ‘인지 부하(Cognitive Load)’ 현상을 발견함으로써 복합 모달리티 환경에서 단일 엔진이 겪는 지능적 임계치를 정량적으로 확인하였다. 이는 인간의 사회적 상호작용 시 나타나는 사회적 현존감(Social Presence) 측정 지표^[15]를 AI 모델의 멀티모달 추론 과정에 투영하여 재확인한 것으로, 향후 에이전트 설계 시 모달리티 간 간섭을 최소화하고 사회적 지능을 고도화하는 아키텍처 연구^[6]의 필요성을 시사한다. 결론적으로 이러한 RPI 기반의 종합 평가는 향후 미디어 AI 에이전트 개발 시, 서비스의 주 목적(정보 전달, 감성 교감, 실시간 반응)에 따라 최적의 엔진을 동적으로 최적화하는 전략적 설계가 필수적임을 시사한다.

2. 결론 및 공학적 기여

본 연구는 AI를 인간 간 상호작용을 유도하는 ‘사회적 촉매제’로 기능하게 하기 위한 시스템 아키텍처를 제안하고, 그 기술적 타당성을 검증한 선행 연구(Pilot Study)로서 최적 LLM 선정을 위한 다각도 평가 프레임워크를 수행하였다. 실험 결과, 제안된 시스템이 공동 시청 환경에서 사용자 간 소통을 촉진하는 커뮤니케이션 매개자(Mediator)로 기능할 수 있는 가능성을 보였다^[5]. 본 연구의 주요 공학적 기여도는 다음과 같다.

첫째, 공동 시청 상황의 복합적인 다중 모달 정보를 처리하여 능동적으로 개입 시점을 결정하는 상황인지 기반 아키텍처를 설계하고 구현하였다. 둘째, OpenCV 기반 프레임 추출 및 네이티브 멀티모달 입력 방식을 도입하여, MAE, Success Rate, RPI 등 공학적 지표를 도입하여 주요 LLM 엔진의 적합성을 객관적으로 검증하였다. 특히, 정밀 판단과 발화 생성을 분리하는 ‘하이브리드 지능형 아키텍처’가 성능 극대화의 핵심임을 도출하였다.

이러한 결과는 단일 엔진의 한계를 극복하기 위해 본 연구가 제시한 ‘상황 맞춤형 엔진 스위칭 전략’이 지능형 에이전트 설계의 필수적 패러다임임을 시사한다. 즉, 복합적인 미디어 환경에서는 상황인지, 페르소나 유지, 실시간성이라는 각기 다른 요구사항에 최적화된 엔진을 동적으로 선택하고 조합하는 구조적 최적화가 시스템 완성도의 핵심임을 공학적으로 확인하였다. 본 연구는 사회적 효과 자체를 검증한 연구가 아니라, 해당 효과를 가능하게 하는 시스템적 조건을 공학적으로 구조화하고 분석했다는 점에서 의의를 가진다.

3. 향후 연구 방향

본 연구는 시스템 아키텍처의 기술적 구현 가능성 검증에 집중하였으나, 실제 시청 환경에서의 사용자 심리 및 상호작용의 질적 변화를 실증적으로 분석하는 데에는 한계가 있었다. 이를 보완하기 위한 향후 연구 방향은 다음과 같다. 첫째, 본 연구에서 도출된 최적 아키텍처 기반의 프로토타입을 활용하여 실제 공동 시청자 그룹을 대상으로 한 심층 인터뷰 및 행동 분석을 수행하고자 한다. 특히, 탐색적 분석에 그쳤던 정성적 평가의 객관성을 확보하기 위해 외부 전문가 그룹을 통한 다자간 평가 및 평가자 간 일치도(ICC 등) 확보를 필수 과제로 진행할 예정이다. 둘째, AI 개입의 모달별(시각, 음성 등) 기여도를 정교화하여 ‘사회적 촉매’로서의 사용자 경험(UX)을 극대화할 수 있는 인터랙션 가이드라인을 제시하고자 한다. 이 과정에서 사용자 주관적 평가 지표(인지 피로도 등)와 부적절 발화 비율과 같은 안전성 지표를 추가 도입하여 시스템의 신뢰성을 입체적으로 검증할 것이다. 셋째, 본 연구는 통제된 시나리오 기반 데이터셋을 활용하여 수행되었으며, 개인 식별이 가능한 실제 사용자 데이터는 포함하지 않았다. 향후 실제 사용자 데이터를 수집·활용하는 실증 연구에서는 소속 기관의 IRB 승인 및 참여자 사전 동의 절차를 엄격히 준수하여 데이터 윤리 및 보안성을 강화할 예정이다.