AI 동작 인식 기반 XR 상지 재활 시스템 설계
Copyright © 2026 Korean Institute of Broadcast and Media Engineers. All rights reserved.
“This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.”
초록
본 연구는 AI 동작 인식과 햅틱 인터랙션을 결합한 XR 상지 재활 시스템 설계를 제안한다. 시스템은 손가락별 압력 센서와 IMU를 탑재한 햅틱 디바이스, AI 및 규칙 기반 판정을 결합한 수행 분석 모듈, 게임형 XR 콘텐츠 및 클라우드 기반 기록 관리 구조로 구성된다. IMU 시계열 데이터는 1D-CNN과 LSTM을 결합한 모델을 통해 분석하고, 손가락 압력은 임계값과 유지 시간을 기준으로 판정하였다. 분석된 수행 정보는 오렌지 짜기, 드럼 치기, 무지개 그리기, 슈퍼맨 자세 및 아령 들기의 다섯 가지 재활 콘텐츠에서 시각, 청각 및 촉각 피드백을 생성하는 데 활용된다. AI 모델을 모바일 기기에서 온디바이스 방식으로 수행하여 사용자 입력과 콘텐츠 반응을 실시간으로 연계하였다. 본 연구는 센서 입력, AI 동작 인식 및 다중감각 피드백을 통합한 XR 상지 재활 시스템의 구조와 기술적 실현 가능성을 제시한다.
Abstract
This study proposes the design of an extended reality (XR) upper-limb rehabilitation system that integrates AI-based motion recognition and haptic interaction. The proposed system consists of a haptic device equipped with finger-specific pressure sensors and an inertial measurement unit (IMU), a performance analysis module combining AI-based analysis with rule-based decisions, game-based XR content, and a cloud-based record management structure. IMU time-series data are analyzed using a model that combines a one-dimensional convolutional neural network (1D-CNN) with long short-term memory (LSTM), while finger pressure is evaluated based on predefined thresholds and holding times. The resulting performance information is used to generate visual, auditory, and haptic feedback in five rehabilitation scenarios: orange squeezing, drum playing, rainbow drawing, the Superman pose, and dumbbell lifting. AI inference is performed locally on a mobile device, enabling real-time linkage between user input and content responses. This study presents the architecture and technical feasibility of an XR upper-limb rehabilitation system integrating sensor input, AI motion recognition, and multisensory feedback.
Keywords:
Artificial Intelligence, Extended Reality, Haptic Interaction, Motion Recognition, RehabilitationⅠ. 서 론
세계적으로 고령화가 가속화됨에 따라 뇌졸중과 파킨슨병을 비롯한 신경계 질환과 다양한 근골격계 질환으로 인한 운동 및 기능 저하가 증가하고 있다[1]. 특히 상지 기능의 저하는 식사, 옷 입기, 물건 잡기와 같은 일상생활 동작에 직접적인 영향을 미치며, 사용자의 자립성과 삶의 질을 낮출 수 있다. 상지 기능 회복을 위해서는 지속적이고 반복적인 재활 운동이 중요하지만, 병원 및 전문 기관 중심의 재활은 시간과 공간의 제약, 치료 비용 및 훈련 지속성의 한계를 가진다. 따라서 전문적인 재활 치료를 보완하면서 사용자가 일상생활 환경에서도 지속적으로 수행할 수 있는 재활 콘텐츠와 상호작용 기술이 필요하다.
최근 디지털 헬스케어 기술의 발전과 함께 게임형 콘텐츠, 확장현실(Extended Reality, XR), 햅틱 인터랙션 및 인공지능(Artificial Intelligence, AI)을 활용한 재활 연구가 활발히 이루어지고 있다. XR은 사용자의 움직임을 가상 객체 및 환경과 연결하여 반복 운동을 목표 지향적이고 몰입적인 경험으로 전환할 수 있으며, 햅틱 인터랙션은 시각과 청각 중심의 피드백에 촉각과 힘 감각을 추가한다. 또한 AI 동작 인식을 활용하면 센서로 수집한 데이터를 분석하여 사용자의 수행 상태를 콘텐츠 반응과 연결할 수 있다. 그러나, 기존 연구는 XR 기반 반복 훈련, 단일 센서를 활용한 동작 측정 또는 개별적인 피드백 제공에 초점을 두는 경우가 많았다. 이러한 요소를 하나의 데이터 흐름으로 통합하고, 사용자 수행 결과를 XR 콘텐츠의 다중감각 반응과 실시간으로 연계하는 연구는 상대적으로 제한적이다.
본 연구에서는 AI 동작 인식과 햅틱 인터랙션을 결합한 XR 상지 재활 시스템을 설계하고 구현하였다. 휴대용 햅틱 디바이스에서 수집한 손가락별 압력과 IMU 데이터는 각각 규칙 기반 판정과 AI 모델을 통해 처리된다. 분석 결과는 파지력, 관절 가동 범위, 움직임 궤적, 자세 유지 및 반복 운동을 주요 수행 요소로 설정하여 오렌지 짜기, 드럼 치기, 무지개 그리기, 슈퍼맨 자세 및 아령 들기의 다섯 가지 XR 콘텐츠에 반영하였다. 센서 입력, 수행 분석, 게임형 콘텐츠 및 클라우드 기록 관리를 하나의 모바일 환경으로 통합하고, 사용자 수행 정보에 따라 다중감각 피드백을 제공하는 설계 구조를 제시하였다. 연구 범위는 사용자의 사용성이나 임상적 재활 효과를 검증하는 것이 아닌 제안한 구조의 기술적 실현 가능성을 확인하는 데 있다.
본 논문의 구성은 다음과 같다. 2장에서는 디지털 재활, XR 및 햅틱 인터랙션, 센서 및 AI 동작 인식에 관한 선행 연구를 검토하고 기존 접근과의 차이를 분석한다. 3장에서는 전체 아키텍처, 햅틱 인터페이스 및 상지 동작 분석 과정을 설명한다. 4장에서는 공통 설계 원리와 다섯 가지 콘텐츠의 구현 방법을 제시한다. 5장에서는 시스템 통합 구현 결과와 기술적 성능을 평가하고, 6장에서는 연구 결과와 향후 연구 방향을 논의한다.
Ⅱ. 관련 연구
가정 기반 재활 기술은 이동이나 의료서비스 이용에 제약이 있는 사용자의 재활 접근성을 높이고, 의료기관 밖에서도 지속적인 훈련을 지원하는 방법으로 연구되고 있다. Chen et al.은 가정 기반 재활 기술이 기존 재활 서비스에 대한 접근이 어려운 환자의 치료 환경을 보완할 수 있다고 제시하였다[2]. Cramer et al.은 뇌졸중 환자를 대상으로 한 가정 기반 재활이 기존 외래 재활과 유사한 수준의 기능적 향상을 제공할 가능성을 확인하였다[3]. 가정에서 수행되는 재활은 사용자의 자발적인 참여와 반복 수행이 중요하므로 점수, 단계, 보상 및 도전 요소를 활용한 게임화가 적용되고 있다. 게임형 재활은 운동 동기와 순응도를 높이는 데 활용될 수 있으며[4], 만성 뇌졸중 환자를 대상으로 한 WeReha 연구에서도 높은 순응도가 나타났다[5]. 다만, 게임 요소의 적용만으로 사용자의 움직임과 수행 상태를 정량적으로 해석하기는 어려우므로, 센서 기반 분석 결과를 콘텐츠 반응에 반영하는 구조가 필요하다.
확장현실 기술은 사용자의 움직임을 가상 객체 및 환경과 연계하여 반복적인 재활 운동을 목표 지향적이고 몰입적인 과제로 전환하는 데 활용되고 있다. Kim et al.은 가상현실 기반 상지 재활의 기술적 구성과 임상 적용 가능성을 검토하였으며[6], 몰입형 VR이 반복 훈련과 사용자 참여에 도움이 되는 가능성을 확인하였다[7]. XR을 활용한 재활이 상지 운동 기능과 일상생활 수행과 삶의 질 향상에 미치는 효과가 보고되었다[8,9]. 이러한 연구는 XR이 반복적인 상지 운동을 목표 지향적이고 몰입적인 훈련으로 구성하는 데 활용될 수 있음을 보여준다.
햅틱 기술은 시각과 청각 중심의 XR 상호작용에 진동과 힘 감각을 추가하여 사용자가 가상 객체를 더욱 직접적으로 조작할 수 있게 한다. 시각, 청각 및 촉각 정보를 결합한 몰입형 인터페이스는 사용자 행동과 가상환경의 반응 사이의 연결성을 높이는 설계 요소로 활용되고 있다[10]. Jiang et al.은 햅틱 피드백이 다발성 경화증 환자의 파지력 조절과 물체 조작 수행을 향상시키는 데 활용될 수 있음을 제시하였다[11]. 이러한 결과는 XR 상지 재활 콘텐츠에서 사용자의 힘과 움직임에 대응하는 촉각 및 힘 피드백이 수행 상태를 직관적으로 전달하고 동작 조절을 지원하는 데 활용될 수 있음을 보여준다.
사용자의 운동 수행을 정량적으로 측정하기 위해 IMU와 같은 웨어러블 센서도 활용되고 있다. IMU는 가속도, 각속도 및 방향 정보를 이용하여 움직임과 자세 변화를 측정하며, 관절 가동 범위와 운동 패턴을 분석하기 위한 데이터로 활용될 수 있다[12]. Seo et al.은 손목에 부착한 IMU를 이용하여 뇌졸중 환자가 가정에서 수행한 상지 과제의 움직임 품질을 분류함으로써 웨어러블 센서 기반 원격 모니터링의 가능성을 제시하였다[13]. 최근 연구에서는 IMU를 포함한 다양한 센서와 AI 분석을 결합하여 동작 유형, 수행 품질 및 운동 상태를 자동으로 분석하려는 접근이 확대되고 있다[14,15]. 이러한 연구는 웨어러블 센서와 AI 분석이 사용자의 움직임과 수행 상태를 정량적으로 측정하고 관리하는 데 활용될 수 있음을 보여준다.
선행 연구는 XR 기반 훈련, 햅틱 피드백, IMU와 AI 기반 수행 분석의 가능성을 각각 제시해 왔다. 그러나 손가락별 압력과 IMU 움직임 정보를 함께 수집하고, 데이터 특성에 따라 분석한 결과를 XR 콘텐츠의 다중감각 반응과 연계하는 통합적 설계는 상대적으로 제한적이다. 이에 본 연구는 Bstick에서 수집한 손가락별 압력과 IMU 데이터를 각각 규칙 기반 판정과 AI 동작 인식으로 처리하고, 분석 결과를 시각, 청각 및 촉각 피드백에 반영하는 상지 재활 시스템을 제안한다.
Ⅲ. 시스템 설계 및 구조
1. 시스템 아키텍처
본 연구에서는 휴대형 햅틱 디바이스인 Bstick과 모바일 애플리케이션 및 클라우드 서비스를 연계한 XR 상지 재활 시스템을 설계하였다. 그림 1과 같이 제안한 시스템은 센서 입력과 햅틱 출력을 담당하는 Bstick, 데이터 획득과 수행 분석 및 XR 콘텐츠 실행을 담당하는 모바일 애플리케이션, 사용자 인증과 수행 기록 관리를 담당하는 클라우드 서비스로 구성된다. 실시간 센서 처리와 AI 추론 및 콘텐츠 제어는 모바일 기기에서 수행하며, 클라우드 서비스는 운동 세션에서 생성된 주요 수행 결과를 저장하고 관리한다.
Architecture and data flow
Bstick은 손가락별 압력 센서와 IMU를 통해 사용자의 파지력과 상지 움직임을 측정하며, 수집된 데이터는 BLE 5.0을 통해 모바일 애플리케이션의 BstickBridge로 전달된다 [16]. BstickBridge는 디바이스 통신과 센서 데이터 수신 및 햅틱 제어를 담당하는 공통 인터페이스로, 하드웨어 제어와 콘텐츠 로직을 분리한다. 수신된 데이터 중 IMU 시계열 데이터는 전처리 과정을 거쳐 AI 동작 인식 모델에서 분석하고, 손가락 압력 데이터는 설정된 임계값과 유지 시간을 기준으로 규칙 기반 판정을 수행한다.
분석 결과는 사용자의 동작 유형과 수행 상태 및 과제 성공 여부를 나타내는 수행 정보로 변환되어 XR 콘텐츠에 전달된다. 콘텐츠는 수행 정보에 따라 가상 객체의 상태와 시각 및 청각 효과를 변경하고, BstickBridge를 통해 진동과 힘 피드백 명령을 디바이스로 전송한다. 운동 세션이 종료되면 주요 수행 결과를 클라우드에 저장한다. 이에 따라 제안한 시스템은 센서 입력, 수행 분석, 콘텐츠 반응, 다중감각 피드백 및 기록 관리가 하나의 데이터 흐름으로 연계되도록 구성하였다.
2. Bstick 햅틱 인터페이스
Bstick은 손가락별 압력과 디바이스의 움직임을 측정하고 촉각 및 힘 피드백을 제공하는 휴대형 햅틱 인터페이스이다[16]. 장갑처럼 착용하는 방식이 아니라 사용자가 손으로 쥐는 형태로 설계되었으며, 각 손가락이 접촉하는 위치에 압력 센서를 배치하여 다섯 손가락의 압력을 개별적으로 측정한다. 내부의 IMU는 사용자가 쥔 Bstick의 가속도, 각속도 및 방향 변화를 측정하며, 수집된 정보는 상지 동작을 분석하기 위한 입력 데이터로 활용된다.
Bstick은 사용자에게 수행 결과를 전달하기 위해 진동과 힘 피드백 기능을 제공한다. 진동 피드백은 과제 성공 여부와 콘텐츠 내 이벤트를 촉각적으로 전달하는 데 사용한다. 힘 피드백은 가상 객체의 특성과 사용자의 입력 상태에 따라 액추에이터의 움직임을 제어하는 방식으로 구현하였다. 이에 따라 가상 객체를 잡거나 압축하는 과정에서 사용자의 손가락 압력과 콘텐츠 상태에 대응하는 햅틱 반응을 제공한다. Bstick은 센서 데이터를 획득하는 입력 장치인 동시에 콘텐츠의 분석 결과를 사용자에게 전달하는 출력 장치로 기능한다.
Bstick과 모바일 기기 간 통신에는 BLE 5.0과 Generic Attribute Profile(GATT)을 적용하였다. 손가락 압력과 IMU 데이터 및 햅틱 제어 명령은 구조화된 패킷으로 송수신하며, 전송 데이터의 오류를 확인하기 위해 체크섬을 사용하였다. Unity 기반의 BstickBridge는 비동기 방식의 디바이스 탐색과 이벤트 기반 데이터 수신을 지원하고, 콘텐츠에서 센서 데이터와 햅틱 출력 기능을 사용할 수 있는 공통 인터페이스를 제공한다. 이를 통해 디바이스 통신과 콘텐츠 로직을 분리하고, 각 재활 콘텐츠에서 동일한 입력 및 피드백 구조를 사용할 수 있도록 구성하였다.
3. AI 기반 상지 동작 분석
제안한 시스템은 센서 데이터의 특성에 따라 AI 동작 인식과 규칙 기반 판정을 구분하여 적용한다. 시간적 변화와 연속적인 움직임 패턴을 포함하는 IMU 데이터는 AI 모델을 통해 분석하고, 명확한 기준값으로 판단할 수 있는 손가락 압력 데이터는 임계값과 유지 시간을 이용하여 판정한다. 두 분석 결과는 콘텐츠에서 사용할 수 있는 수행 정보로 변환되어 과제 진행과 다중감각 피드백을 제어하는 데 활용된다.
IMU 기반 동작 분석을 위해 Bstick으로부터 3축 가속도, 3축 각속도 및 쿼터니언 기반 방향 정보를 수집한다. 원시 데이터에 포함된 센서의 미세한 흔들림과 고주파 잡음을 완화하기 위해 저역통과 필터를 적용하고, 쿼터니언 기반 방향 정보는 오일러 각으로 변환한 후 시간에 따른 변화량을 계산한다. 최종적으로 3축 가속도, 3축 각속도 및 3축 오일러 각 변화량으로 구성된 9개의 특징 채널을 AI 모델의 입력으로 사용하였다. 사용자별 동작 수행 시간과 속도의 차이를 보정하기 위해 선형 보간법으로 시계열 데이터의 길이를 표준화하고, 연속적인 데이터를 중첩 구간으로 분할하는 슬라이딩 윈도 기법을 적용하였다.
동작 인식 모델은 1차원 합성곱 신경망(1D Convolutional Neural Network, 1D-CNN)과 장단기 기억(Long Short-Term Memory, LSTM)을 결합한 구조로 설계하였다[17]. 1D-CNN은 다중 채널 시계열 데이터에서 짧은 구간의 움직임 특징을 추출하고, LSTM은 추출된 특징의 시간적 순서와 연속적인 변화 패턴을 분석한다. 이를 통해 사용자의 동작 유형과 수행 상태를 분류하고 목표 동작의 수행 여부를 판정하도록 구성하였다. 모델 학습에는 그룹 정규화와 드롭아웃을 적용하고 Adam 최적화 알고리즘을 사용하였다. 학습된 모델은 Open Neural Network Exchange(ONNX) 형식으로 변환하고 Unity Sentis를 이용하여 모바일 기기에서 온디바이스 방식으로 실행하였다.
손가락 압력 데이터는 콘텐츠별로 설정된 목표 압력과 유지 시간을 기준으로 규칙 기반 판정을 수행한다. 측정된 압력이 임계값에 도달하고 설정된 시간 동안 유지되면 해당 수행 조건을 충족한 것으로 처리한다. AI 모델의 동작 인식 결과와 압력 기반 판정 결과는 과제 성공 여부, 반복 횟수 및 수행 상태와 같은 콘텐츠 제어 정보로 변환된다. 콘텐츠는 이 정보를 바탕으로 가상 객체의 변화와 시각 및 청각 효과를 생성하고, Bstick을 통해 진동과 힘 피드백을 제공한다.
Ⅳ. 콘텐츠 설계 및 구현
1. 콘텐츠 설계 원리 및 공통 인터페이스
본 연구의 XR 상지 재활 콘텐츠는 반복적인 상지 운동을 가상 객체와 상호작용하는 목표 지향적 과제로 전환하고, 사용자의 수행 정보를 콘텐츠 반응과 연결하도록 설계하였다. 콘텐츠마다 운동 목표와 수행 조건은 다르게 설정하되, 사용자가 과제를 이해하고 수행 결과를 확인하는 과정은 일관되게 제공하도록 네 가지 공통 설계 원리를 적용하였다.
첫째, 반복 운동을 시작, 진행 및 완료 조건이 구분된 목표 지향적 과제로 구성하였다. 사용자가 현재 단계와 목표 달성 정도를 확인할 수 있도록 수행 안내와 진행 정보를 함께 제공하였다. 둘째, 센서 입력과 수행 분석 결과를 시각, 청각 및 촉각 피드백으로 표현하였다. 가상 객체의 변화와 화면 효과는 수행 상태를 시각화하고, 음향과 Bstick의 진동 및 힘 피드백은 과제 진행과 결과를 전달하도록 구성하였다. 셋째, 점수, 반복 횟수, 진행률, 단계 완료 효과 및 보상 애니메이션 등의 게임화 요소를 적용하였다. 넷째, 과제의 수행 여부를 판단할 수 있도록 콘텐츠별 수행 조건을 정량화하였다. 목표 압력, 유지 시간, 운동 범위, 자세 유지 시간 등을 판정 기준으로 설정하고, 조건 충족 여부에 따라 과제의 진행과 피드백을 결정하도록 구성하였다.
이러한 공통 원리를 구현하기 위해 인터페이스는 운동 목표와 수행 방법을 제시하는 안내 영역, 가상 객체와 상호작용하는 과제 수행 영역, 점수와 진행 상태를 제공하는 상태 표시 영역 및 수행 결과를 전달하는 피드백 영역으로 구성하였다. 운동 시작 전에는 음성 안내와 애니메이션을 통해 수행 절차를 안내하고, 운동 중에는 가상 객체의 반응과 상태 정보를 통해 과제 진행 상황을 확인할 수 있도록 하였다. 각 콘텐츠에는 동일한 인터페이스 흐름을 적용하되, 운동 목표에 따라 가상 과제와 수행 조건 및 피드백 방식을 다르게 구성하였다.
2. 사용자 수행 정보와 콘텐츠 반응 구조
사용자의 손가락 압력과 움직임 정보는 AI 동작 인식과 규칙 기반 판정을 거쳐 콘텐츠 제어에 필요한 수행 정보로 변환된다. 수행 정보에는 손가락 압력과 Bstick의 방향 변화, 동작 및 수행 상태, 목표 조건의 충족 여부 등이 포함된다. 각 콘텐츠는 운동 목표에 필요한 수행 정보를 선택하여 과제의 진행 상태와 피드백을 결정하도록 구성하였다.
분석된 수행 정보는 콘텐츠 반영 방식에 따라 연속적 반응, 이벤트 반응 및 누적 결과로 구분하였다. 연속적 반응은 압력의 크기, 움직임의 변화 및 자세의 안정성과 같이 수행 과정에서 지속적으로 변하는 정보를 가상 객체의 형태와 움직임 및 피드백 강도에 반영하는 방식이다. 이벤트 반응은 목표 동작이 인식되거나 설정된 수행 조건이 충족되었을 때 과제 성공, 반복 횟수 증가, 음향 및 햅틱 효과와 같은 콘텐츠 반응을 발생시키는 방식이다. 누적 결과는 반복적인 수행에서 발생한 정보를 점수, 반복 횟수 및 진행률로 변환하여 사용자의 목표 달성 정도를 표시하는 방식이다.
각 콘텐츠는 운동 목표와 상호작용 방식에 따라 세 가지 반응 유형을 선택적으로 결합하였다. 연속적으로 변화하는 수행 정보는 가상 객체와 화면 상태에 반영하고, 특정 조건의 충족 여부는 과제 진행과 시각·청각·촉각 피드백을 발생시키는 기준으로 사용하였다. 또한 이벤트의 발생 횟수와 수행 결과를 누적하여 전체 운동 과정의 진행 상태를 표시하도록 구성하였다. 이러한 구조를 통해 사용자 입력, 수행 분석, 콘텐츠 반응 및 재수행이 반복적으로 연결되는 상호작용 흐름을 구성하였다. 사용자는 콘텐츠의 반응을 통해 현재 수행 상태와 결과를 확인하고, 다음 동작을 반복하거나 조절할 수 있도록 하였다.
3. 시나리오별 콘텐츠 설계 및 구현
상지 재활의 주요 운동 요소를 반영하여 표 1과 같이 오렌지 짜기, 드럼 치기, 무지개 그리기, 슈퍼맨 자세 및 아령 들기의 다섯 가지 콘텐츠를 구현하였다. 각 시나리오는 파지 압력과 힘 조절, 상지 움직임의 범위와 궤적, 자세 유지 및 반복 운동을 목표 지향적 과제로 구성하였다. 손가락별 압력과 IMU 기반 움직임 정보는 콘텐츠별 수행 조건에 따라 분석하고, 그 결과를 가상 객체의 변화와 시각·청각·촉각 피드백 및 게임화 요소에 반영하였다.
Exercise elements, performance criteria, and feedback for the upper-limb rehabilitation scenarios
콘텐츠의 운동 목표와 동작 구성 및 목표 각도 범위는 상지 기능, 관절 가동 범위 및 운동 재활 원리를 다룬 재활 전문 서적을 참고하여 설정하였다[18,19]. 참고한 동작과 각도 범위는 Bstick을 이용한 콘텐츠의 수행 조건으로 적용하였다. 다만 Bstick의 IMU에서 산출한 각도는 디바이스의 방향과 상대적인 움직임 변화를 나타내므로, 해부학적 관절 각도를 직접 측정한 값과는 구분된다.
오렌지 짜기 시나리오는 손가락으로 물체를 쥐고 압력을 조절하는 동작을 반복하도록 설계하였다. 파지 동작은 물체를 들거나 문을 열고 식기를 조작하는 등의 일상생활 동작과 관련된 상지 기능이다. 그림 2와 같이 화면에 가상의 오렌지를 제시하고, 사용자가 Bstick을 쥐는 압력에 따라 오렌지의 형태가 변하고 주스가 분출되도록 구성하였다. 손가락별 압력 센서에서 측정된 값은 오렌지의 변형 정도에 연속적으로 반영하여 사용자가 압력의 변화를 시각적으로 확인할 수 있도록 하였다.
Orange squeezing scenario
과제 수행에는 IMU 기반 AI 동작 인식과 손가락 압력에 대한 규칙 기반 판정을 함께 적용하였다. AI 동작 인식 결과를 이용하여 과제 수행 중의 움직임 상태를 확인하고, 손가락별 압력은 설정된 목표 압력과 유지 시간을 기준으로 판정하였다. 측정된 압력이 목표값에 도달한 상태로 일정 시간 유지되면 수행 조건을 충족한 것으로 처리하고, 두 분석 결과를 과제의 진행과 성공 여부를 결정하는 데 활용하였다. 압력의 크기에 따라 오렌지의 변형 정도와 주스 분출량 및 액체 음향이 연속적으로 변화하도록 구성하고, 과제 완료 시에는 시각·청각·햅틱 피드백을 제공하였다. 게임화 요소로는 수행 결과를 0점에서 100점 사이의 점수로 표시하고, 난도에 따라 목표 압력과 유지 시간을 다르게 설정하였다.
드럼 치기 시나리오는 어깨의 수평 내·외전과 반복적인 상지 움직임을 리듬형 과제로 구성하였다. 그림 3과 같이 화면 전방에 가상 드럼을 배치하고, 사용자가 Bstick을 쥔 상태에서 팔을 움직여 드럼을 타격하도록 설계하였다. 반복적인 팔 움직임을 드럼 타격과 연결하여 상지 움직임의 범위와 동작 타이밍을 함께 수행하도록 하였다.
Drum playing scenario
IMU에서 수집된 움직임 정보는 AI 동작 인식을 통해 분석하고, 인식 결과와 목표 동작 범위 및 타이밍을 결합하여 타격 여부를 판정하였다. 어깨 수평 내·외전의 동작 범위를 70°~110°로 설정하였다. 시스템에서는 이를 Bstick의 방향과 상대적인 움직임을 판단하기 위한 수행 조건으로 적용하고, 목표 범위와 타격 시점을 충족한 동작을 유효한 타격으로 처리하였다. 유효한 타격이 인식되면 드럼 음향과 파티클 효과 및 햅틱 피드백을 제공하여 수행 결과를 전달하였다. 게임화 요소로는 리듬에 따른 타이밍 판정과 점수를 적용하고, 난도가 증가함에 따라 리듬 패턴과 타격 순서가 달라지도록 구성하였다.
무지개 그리기 시나리오는 어깨 벌림과 상지 움직임의 궤적 조절 및 운동 협응을 목표로 구성하였다. 그림 4와 같이 화면에 무지개 형태의 목표 경로를 제시하고, 사용자가 Bstick을 쥔 팔을 머리 위 방향으로 움직이며 경로를 따라가도록 설계하였다. IMU의 방향 변화에 기반하여 생성된 수행 경로를 목표 경로와 함께 표시함으로써 사용자가 현재 움직임과 경로 이탈 정도를 확인할 수 있도록 하였다.
Rainbow drawing scenario
IMU에서 수집된 움직임 정보는 AI 동작 인식을 통해 분석하고, 인식 결과와 목표 경로의 일치 정도 및 움직임의 안정성을 이용하여 수행 상태를 판정하였다. 어깨 벌림의 동작 범위를 150°~180°로 설정하였다. 시스템에서는 Bstick의 방향 변화를 기준으로 목표 경로와 수행 경로의 차이, 움직임의 변동 및 급격한 방향 변화를 분석하고, 목표 경로를 크게 벗어나거나 움직임의 변동이 증가하면 교정 피드백을 제공하였다. 목표 경로와 수행 경로를 중첩하여 표시하고, 경로 일치도와 움직임의 안정성을 진행률과 점수에 반영하였다. 게임화 요소로는 경로 정확도 점수와 진행률을 제시하고, 경로 이탈이 적고 안정적인 움직임을 수행하면 보너스 점수를 제공하도록 구성하였다.
슈퍼맨 자세 시나리오는 어깨 관절 폄 동작을 기반으로 상지 자세 유지와 움직임의 안정성을 훈련하는 과제로 구성하였다. 그림 5와 같이 사용자가 Bstick을 쥔 팔을 일정한 방향으로 뻗어 자세를 유지하면, 화면에서 하늘과 구름으로 구성된 비행 장면이 진행되도록 설계하였다. 정적인 자세 유지 동작을 비행 장면과 연결하여 사용자가 자신의 수행 상태를 콘텐츠의 진행을 통해 확인할 수 있도록 하였다.
Superman pose scenario
IMU에서 수집된 움직임 정보는 AI 동작 인식을 통해 분석하고, 목표 자세의 인식 결과와 유지 시간 및 움직임의 변동을 이용하여 수행 상태를 판정하였다. 어깨 관절 폄의 동작 범위를 25°~65°로 설정하였다. 시스템에서는 이를 Bstick의 방향과 상대적인 움직임을 판단하는 수행 조건으로 적용하고, 사용자가 목표 범위 안에서 자세를 유지하면 비행이 지속되도록 구성하였다. 자세가 안정적으로 유지되고 움직임의 변동이 감소할수록 비행 속도와 거리가 증가하도록 하였으며, 목표 범위를 벗어나거나 움직임의 변동이 증가하면 비행 속도를 낮추고 교정 안내를 제공하였다. 게임화 요소로는 비행 거리와 속도 및 자세 유지 상태를 표시하여 과제의 진행과 목표 달성 정도를 확인할 수 있도록 하였다.
아령 들기 시나리오는 팔꿈치 관절의 굽힘과 폄 동작을 반복적으로 수행하는 과제로 구성하였다. 그림 6과 같이 화면에 가상의 아령과 동작을 안내하는 캐릭터를 제시하고, 사용자가 Bstick을 쥔 상태에서 팔꿈치 굽힘과 폄 동작을 반복하도록 설계하였다. 안내 캐릭터의 움직임을 통해 목표 동작과 수행 순서를 제시하고, 사용자의 반복 수행 결과를 콘텐츠의 진행 상태에 반영하였다.
Dumbbell lifting scenario
IMU에서 수집된 움직임 정보는 AI 동작 인식을 통해 분석하고, 굽힘과 폄 동작의 인식 결과와 목표 동작 범위를 이용하여 동작 완료 여부를 판정하였다. 팔꿈치 굽힘과 폄의 동작 목표 범위를 150°~180°로 설정하였다. 시스템에서는 이를 Bstick의 방향과 상대적인 움직임을 판단하는 수행 조건으로 적용하고, 목표 동작과 범위 조건을 충족한 경우에만 유효한 반복 수행으로 처리하였다. 유효한 동작이 인식되면 반복 횟수와 진행 상태를 화면에 표시하고, 설정된 목표 횟수에 도달하면 다음 단계로 진행하도록 구성하였다. 게임화 요소로는 반복 횟수, 진행 상태 바, 단계 완료 효과 및 캐릭터의 근육이 성장하는 보상 애니메이션을 적용하였다.
Ⅴ. 시스템 구현 및 성능 평가
1. 시스템 구현 및 통합
제안한 XR 상지 재활 시스템은 Unity 2022.3 LTS를 기반으로 모바일 환경에서 실행되도록 구현하였으며, 3D 콘텐츠의 렌더링에는 Universal Render Pipeline(URP)을 적용하였다. Bstick과 모바일 기기 간 통신에는 BLE 5.0을 사용하고, 센서 데이터 수신과 햅틱 출력 제어는 Unity 기반의 BstickBridge를 통해 수행하였다. 1D-CNN과 LSTM을 결합한 동작 인식 모델은 ONNX 형식으로 변환한 후 Unity Sentis를 이용하여 모바일 기기에서 온디바이스 방식으로 실행하였다. 손가락 압력 값은 모바일 애플리케이션에서 임계값과 유지 시간을 기준으로 처리하도록 구현하였다.
애플리케이션을 실행하면 Bstick의 연결 상태를 확인하고 수행할 콘텐츠와 난도 또는 운동 조건을 선택한다. 운동 시작 전에는 안내 화면과 애니메이션을 통해 목표 동작과 수행 절차를 제시한다. 운동 중에는 Bstick의 손가락별 압력과 IMU 데이터가 지속적으로 수집되며, IMU 데이터에 대한 AI 동작 인식 결과와 압력 값에 대한 규칙 기반 판정 결과를 이용하여 콘텐츠의 진행 상태를 제어한다. 분석 결과는 가상 객체의 변화, 시각 효과, 음향, 점수와 진행 정보 및 Bstick의 진동과 힘 피드백으로 제공된다.
운동 세션이 종료되면 운동 시간, 점수, 목표 동작 범위와 자세 유지 관련 정보, 반복 횟수 및 과제 수행 결과를 JSON 형식으로 구성하여 클라우드 서버에 저장한다. 모바일 기기에서는 센서 처리, AI 동작 인식 및 콘텐츠 상호작용을 수행하고, 클라우드에서는 사용자별 운동 세션과 누적 수행 기록을 관리하도록 구성하였다.
모바일 환경의 자원 사용량을 줄이기 위해 3D 객체의 폴리곤 수를 조정하고 텍스처 매핑을 활용하였다. 애니메이션은 Unity Animator의 상태 기반 제어를 적용하고, 현재 장면에서 사용하지 않는 객체와 애니메이션 계층을 비활성화하였다. 또한 배경음, 효과음 및 음성 안내를 분리하여 각 시나리오에 필요한 음향 자원만 선택적으로 재생하도록 구성하였다.
2. 기술적 성능 평가
제안한 시스템이 모바일 환경에서 센서 입력 처리, AI 기반 동작 분석 및 XR 콘텐츠와 다중감각 피드백을 통합하여 지속적으로 실행할 수 있는지를 확인하기 위해 기술적 성능을 평가하였다. Galaxy S21을 기준 기기로 사용하여 프레임 성능, 메모리 사용량 및 배터리 소모량을 중심으로 수행하였다. 센서 데이터 수신과 처리, 온디바이스 AI 동작 분석, 3D 콘텐츠 렌더링, 애니메이션, 음향 및 햅틱 피드백이 함께 실행되는 조건에서 300초 동안의 평균 FPS를 계산하였으며, 콘텐츠에 따라 동일한 절차를 5회 반복하여 평균 70 FPS 이상의 성능이 측정되었다. 메모리 사용량은 다섯 가지 콘텐츠 시나리오와 실시간 센서 처리, AI 기반 동작 분석, 애니메이션 및 오디오 기능이 포함된 통합 실행 환경에서 평균 약 800MB, 최대 약 1.2GB로 측정되었다. 배터리 소모량은 콘텐츠를 30분간 연속 실행한 조건에서 약 15%로 나타났다. 다만 메모리 및 배터리 사용량은 모바일 기기의 하드웨어 사양, 운영체제 상태, 화면 밝기, BLE 통신 환경 및 실행 콘텐츠에 따라 달라질 수 있다.
모바일 환경에서의 자원 사용량을 줄이기 위해 콘텐츠 자산에 대한 최적화도 수행하였다. 오렌지, 드럼 및 아령 등의 주요 3D 객체는 폴리곤 수를 줄이고 텍스처 매핑을 활용하여 시각적 표현을 보완하였다. 애니메이션은 Unity Animator 기반의 상태 제어를 적용하고, 현재 장면에서 사용하지 않는 객체와 애니메이션 계층을 비활성화하여 불필요한 연산을 줄였다. 또한 배경음, 효과음 및 음성 안내를 독립적으로 관리하여 각 시나리오에서 필요한 음향 자원만 선택적으로 재생하도록 구성하였다. 평가 결과, 제안한 시스템은 기준 모바일 기기에서 실시간 센서 입력, 온디바이스 AI 기반 동작 분석, XR 콘텐츠 렌더링 및 다중감각 피드백을 통합하여 실행할 수 있음을 확인하였다. 다만 본 평가는 특정 모바일 기기와 실행 조건을 대상으로 한 기술적 성능 평가이므로, 다양한 하드웨어 환경에서의 성능을 일반화하기 위해서는 추가적인 검증이 필요하다.
Ⅵ. 결 론
본 연구에서는 AI 동작 인식을 기반으로 사용자의 상지 움직임을 분석하고, 그 결과를 XR 콘텐츠의 실시간 반응과 연결하는 상지 재활 시스템을 설계하였다. 제안한 시스템은 손가락별 압력 센서와 IMU를 탑재한 Bstick, AI 및 규칙 기반 수행 분석, 게임형 XR 콘텐츠, 다중감각 피드백 및 클라우드 기반 기록 관리 구조로 구성하였다. IMU 시계열 데이터는 1D-CNN과 LSTM을 결합한 모델로 분석하고, 손가락 압력은 임계값과 유지 시간을 기준으로 판정하였다. 분석 결과는 오렌지 짜기, 드럼 치기, 무지개 그리기, 슈퍼맨 자세 및 아령 들기 콘텐츠의 시각·청각·촉각 피드백과 과제 진행에 반영하였다.
사용자의 센서 입력, AI 동작 인식, 수행 조건 판정 및 콘텐츠 반응을 하나의 순환적 상호작용 구조로 통합하였다. 콘텐츠는 목표 지향적 과제, 다중감각 피드백, 게임화 요소 및 정량화된 수행 조건이라는 공통 설계 원리에 따라 구성하였다. 이를 통해 사용자가 정해진 운동을 일방적으로 수행하는 방식에서 벗어나, 자신의 움직임과 힘에 따른 콘텐츠 반응을 확인하며 과제를 반복하거나 조절할 수 있도록 하였다.
본 연구는 임상적 유효성 검증이 아닌 XR 상지 재활 시스템의 설계 구조와 기술적 실현 가능성을 제시하는 데 목적을 두었으며, 실제 사용자를 대상으로 사용성과 재활 효과를 검증하지 않았다는 한계가 있다. 향후 연구에서는 재활 전문가의 검토를 바탕으로 사용자별 수행 조건을 구체화하고, 일반 사용자와 상지 기능 저하 사용자를 대상으로 과제 이해도, 사용성, 피드백의 적절성 및 임상적 효과를 평가할 필요가 있다. 또한 축적된 수행 정보를 활용하여 사용자의 운동 능력과 수행 변화에 따라 난이도와 피드백을 조절하는 적응형 XR 재활 시스템으로 확장하고자 한다.
Acknowledgments
이 논문은 2025~2026년도 국립창원대학교 자율연구과제 연구비 지원으로 수행된 연구결과임.
References
- World Health Organization, World Health Statistics 2023: Monitoring Health for the SDGs, Sustainable Development Goals, World Health Organization, Geneva, Switzerland, 2023.
-
Y. Chen, K. T. Abel, J. T. Janecek, Y. Chen, K. Zheng, and S. C. Cramer, “Home-based Technologies for Stroke Rehabilitation: A Systematic Review,” International Journal of Medical Informatics, Vol.123, pp.11-22, March 2019.
[https://doi.org/10.1016/j.ijmedinf.2018.12.001]
-
S. C. Cramer, L. Dodakian, V. Le, J. See, R. Augsburger, A. McKenzie, R. J. Zhou, N. L. Chiu, J. Heckhausen, J. M. Cassidy, W. Scacchi, M. T. Smith, A. M. Barrett, J. Knutson, D. Edwards, D. Putrino, K. Agrawal, K. Ngo, E. J. Roth, and S. Janis, “Efficacy of home-based telerehabilitation vs in-clinic therapy for adults after stroke: A randomized clinical trial,” JAMA Neurology, Vol.76, No.9, pp.1079-1087, September 2019.
[https://doi.org/10.1001/jamaneurol.2019.1604]
-
F. M. Alfieri, C. da S. Dias, N. C. de Oliveira, and L. R. Battistella, “Gamification in Musculoskeletal Rehabilitation,” Current Reviews in Musculoskeletal Medicine, Vol.15, No.6, pp.629-636, December 2022.
[https://doi.org/10.1007/s12178-022-09797-w]
-
R. G. Bellomo, T. Paolucci, A. Saggino, L. Pezzi, A. Bramanti, V. Cimino, M. Tommasi, and R. Saggini, “The WeReha Project for an Innovative Home-Based Exercise Training in Chronic Stroke Patients: A Clinical Study,” Journal of Central Nervous System Disease, Vol.12, pp.1-12, 2020.
[https://doi.org/10.1177/1179573520979866]
-
W. S. Kim, S. Cho, J. Ku, Y. Kim, K. Lee, H. J. Hwang, and N. J. Paik, “Clinical Application of Virtual Reality for Upper Limb Motor Rehabilitation in Stroke: Review of Technologies and Clinical Evidence,” Journal of Clinical Medicine, Vol.9, No.10, 3369, October 2020.
[https://doi.org/10.3390/jcm9103369]
-
M. Ceradini, E. Losanno, S. Micera, A. Bandini, and S. Orlandi, “Immersive VR for upper-extremity rehabilitation in patients with neurological disorders: A scoping review,” Journal of NeuroEngineering and Rehabilitation, Vol.21, 75, May 2024.
[https://doi.org/10.1186/s12984-024-01367-0]
-
S. C. Leong, Y. M. Tang, F. M. Toh, and K. N. K. Fong, “Examining the effectiveness of virtual, augmented, and mixed reality (VAMR) therapy for upper limb recovery and activities of daily living in stroke patients: A systematic review and meta-analysis,” Journal of NeuroEngineering and Rehabilitation, Vol.19, 93, August 2022.
[https://doi.org/10.1186/s12984-022-01071-x]
-
D. D. Olana, T. G. Abessa, D. Lamba, L. T. Triccas, and B. Bonnechère, “Effect of virtual reality-based upper limb training on activity of daily living and quality of life among stroke survivors: A systematic review and meta-analysis,” Journal of NeuroEngineering and Rehabilitation, Vol.22, 92, April 2025.
[https://doi.org/10.1186/s12984-025-01603-1]
-
N. Chenais and A. Görgen, “Immersive interfaces for clinical applications: Current status and future perspective,” Frontiers in Neurorobotics, Vol.18, 1362444, November 2024.
[https://doi.org/10.3389/fnbot.2024.1362444]
-
L. Jiang, M. R. Cutkosky, J. Ruutiainen, and R. Raisamo, “Using haptic feedback to improve grasp force control in multiple sclerosis patients,” IEEE Transactions on Robotics, Vol.25, No.3, pp.593-601, June 2009.
[https://doi.org/10.1109/TRO.2009.2019789]
-
M. Al-Amri, K. Nicholas, K. Button, V. Sparkes, L. Sheeran, and J. L. Davies, “Inertial measurement units for clinical movement analysis: Reliability and concurrent validity,” Sensors, Vol.18, No.3, 719, March 2018.
[https://doi.org/10.3390/s18030719]
-
N. J. Seo, K. Coupland, C. Finetto, and G. Scronce, “Wearable sensor to monitor quality of upper limb task practice for stroke survivors at home,” Sensors, Vol.24, No.2, 554, January 2024.
[https://doi.org/10.3390/s24020554]
-
P. Lobo, P. Morais, P. Murray, and J. L. Vilaça, “Trends and innovations in wearable technology for motor rehabilitation, prediction, and monitoring: A comprehensive review,” Sensors, Vol.24, No.24, 7973, December 2024.
[https://doi.org/10.3390/s24247973]
-
I. Senadheera, P. Hettiarachchi, B. Haslam, R. Nawaratne, J. Sheehan, K. J. Lockwood, D. Alahakoon, and L. M. Carey, “AI applications in adult stroke recovery and rehabilitation: A scoping review using AI,” Sensors, Vol.24, No.20, 6585, October 2024.
[https://doi.org/10.3390/s24206585]
-
G. Ko and S. Nam, “Bstick: Handheld virtual reality haptic controller for hand rehabilitation,” Systems, Vol.10, No.3, 54, 2022.
[https://doi.org/10.3390/systems10030054]
-
S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Computation, Vol.9, No.8, pp.1735-1780, November 1997.
[https://doi.org/10.1162/neco.1997.9.8.1735]
- Korean Academy of Rehabilitation Medicine, Rehabilitation Medicine, Koonja Publishing Inc., Seoul, Republic of Korea, 2020.
- S. Y. Cho, H. S. Kang, G. Kim, I. B. Park, and J. S. Son, Introduction to Exercise Rehabilitation: Principles, Daekyung Books, Seoul, Republic of Korea, 2016.
- 2012년 : 중앙대학교 첨단영상대학원 영상공학 공학박사
- 2017년 ~ 2019년 : 서울미디어대학원대학교 뉴미디어학부 조교수
- 2019년 ~ 현재 : 창원대학교 메타융합콘텐츠학부 부교수
- ORCID : https://orcid.org/0000-0003-4634-9948
- 주관심분야 : 확장현실, 메타버스, 게임, 디지털 휴먼, 햅틱 인터랙션, 인터랙티브 아트 등
- 2022년 : 호서대학교 벤처대학원 융합공학 공학박사
- 2014년 ~ 현재 : 플레이스비 주식회사 대표이사
- ORCID : https://orcid.org/0000-0001-7674-0206
- 주관심분야 : 확장현실, 메타버스, 기능성게임, 햅틱 인터랙션, XR-AI 인터랙티브 서비스 등