Journal of Broadcast Engineering
[ Special Paper ]
JOURNAL OF BROADCAST ENGINEERING - Vol. 29, No. 5, pp.634-643
ISSN: 1226-7953 (Print) 2287-9137 (Online)
Print publication date 30 Sep 2024
Received 27 Aug 2024 Revised 10 Sep 2024 Accepted 11 Sep 2024
DOI: https://doi.org/10.5909/JBE.2024.29.5.634

확장현실을 활용한 가상훈련 산업별 동향과 사례 연구

윤종태a), b) ; 정민아b) ; 이영호b),
a)초당대학교 항공정비과
b)국립목포대학교 컴퓨터공학과
Industrial trends and Cases study of Virtual Training Using Extended Reality
Jongtae Yoona), b) ; Min A Jeongb) ; Youngho Leeb),
a)Dept. Aircraft Maintenance, Chodang University
b)Dept. Computer Engineering, Mokpo National University

Correspondence to: 이영호(Youngho Lee) E-mail: youngho.lee@gmail.com Tel: +82-61-450-2440

Copyright © 2024 Korean Institute of Broadcast and Media Engineers. All rights reserved.
“This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.”

초록

가상훈련은 가상·증강·혼합·확장현실을 사용하여 가상의 환경을 실제의 환경처럼 인식시키는 훈련으로, 모든 산업분야에서 다양한 방법으로 활용되고 있다. 4차산업혁명으로 국가에서는 가상훈련을 초등·중등·고등교육의 학습과 기계·건축분야의 제작 및 유지보수 그리고 의학분야의 교육·훈련에 적극적으로 활용하여 몰입감·상호작용·안전성·경제적 효율성을 제고하고 있다. 본 논문에서는 가상·증강·혼합·확장현실과 같은 디지털 기술로 교육·훈련 시스템을 개발한 사례를 살펴보고, 긍정적인 영향, 활용 목적, 구성을 요약 정리하여, 효과적인 교육 도구로서의 가능성을 탐구하고자 한다.

Abstract

Virtual training is a training that recognizes the virtual environment as if it were a real environment using the Virtual· Augmented·Mixed·Extended Reality is used in various industries in various ways. As the industry 4.0, the country is actively using virtual training for learning elementary·secondary·higher education, production and maintenance in machinery·architecture, and education·training in medicine to improve immersion, interaction, safety and economic efficiency. In this paper, we will look at cases of developing education and training systems with digital technologies such as Virtual·Augmented·Mixed·Extended Reality, summarize positive influences, purpose of use, and composition, and explore their potential as effective educational tools.

Keywords:

Virtual training, Virtual reality, Augmented reality, eXtended reality, Head-mounted display

Ⅰ. 서 론

1. 연구 배경 및 필요성

최근 디지털 기술의 발달로 교육과 훈련 방식에 혁신적인 변화가 일어나고 있다. 특히 가상현실(VR), 증강현실(AR), 혼합현실(MR), 확장현실(XR)과 같은 기술은 교육의 질을 향상하고, 학습자의 이해도와 실행력을 높이는 데 이바지할 수 있는 강력한 도구로 자리매김하고 있다[1]. 이러한 기술들은 학습자가 직접 체험하고 상호작용할 수 있는 환경을 제공함으로써 학습 효과를 극대화할 수 있다. 앞으로 인공지능 기술과 결합하여 학습자의 학습 상태를 분석하고, 맞춤형 학습 콘텐츠를 제공하는 등 학습자 중심의 교육 방식을 실현할 수 있을 것이다.

가상훈련은 가상현실(VR), 증강현실(AR), 혼합현실(MR) 또는 확장현실(XR) 기술을 사용하여 실제 훈련 환경과 유사한 몰입형 훈련 환경을 제공함으로써 학생이 실시간 상호작용 사용자 인터페이스를 통해 훈련을 수행하는 방법이다[2]. 가상훈련은 사고 위험이 크고 교육에 필요한 시설 비용이 많이 들며, 반복하기 어려운 훈련을 안전하게 재현할 수 있게 해준다. 예를 들어 화재 대피 훈련, 항공기 정비훈련, 중장비 훈련 등의 훈련 도중 학생의 사고 위험이 있으며, 장비를 사용하기 위해 대형 시설이 필요하며, 에너지 소모가 크고 환경 오염이 우려되는 훈련은 가상훈련을 통해 안전하고 탄소 배출 없이 실시할 수 있다. 가상훈련을 몰입형 가상현실(VR)을 제공할 수도 있기 때문에 훈련 도중 겪을 수 있는 공포, 놀람 등의 감정을 체험하고, 이를 통해 실제 상황에서의 대처 능력을 향상할 수 있다. 이러한 학습 환경은 단순한 시청각 자료를 넘어 학습자의 참여를 유도하고, 실습으로 이론을 실제로 적용해 볼 수 있는 기회를 제공하여 학습 효과를 극대화할 수 있다. 또한, 가상훈련은 비동기적으로 교사와 학생을 연결할 수 있다. 전통문화 기술을 디지털로 기록해 두었다가 가상 환경에서 재현하여 반복적으로 학습과 전수의 기회를 제공할 수도 있다. 또 다른 예로 전통춤, 자수 등 전통문화의 기술을 디지털 기술로 보전하고 가상훈련으로 재현하여 많은 사람이 장소와 시간을 초월하여 익힐 수 있도록 할 수도 있을 것이다.

물론 가상훈련이 실제 훈련을 뛰어넘는 학습성과가 있다고는 할 수 없다. 하지만, 가상훈련은 실제 훈련할 때 발생하는 비용 절감, 훈련 준비 시간 감축, 환경에 미치는 부정적 영향 감소 등 다양한 문제를 줄이는데 도움이 된다. 확장현실(XR) 기술을 활용한 교육·훈련은 실제 상황을 최대한 정교하게 디지털 기술로 재현하고, 학습자가 다양한 상황을 체험할 수 있도록 하여 학습 효과를 극대화한다. 예를 들어, 가상훈련으로 화재 진압 훈련을 할 경우, 사실적으로 만들어진 집에 화재를 발생시켜 진행하는 훈련보다 현실감이 떨어질 것이다. 하지만, 가상훈련은 진짜 집을 태우지 않아 훈련자가 다칠 위험이 없고, 일회성이 아닌 반복적으로 여러 번 훈련할 수 있으며, 그래픽에서 집의 구조와 재난 상황을 시나리오에 따라 수정할 수 있으며, 무엇보다도 물질을 태우지 않아 환경 오염에서 벗어난다. 또한 최근에는 인구 감소와 노령화로 인해 숙련된 전문 인력이 부족해지고, 그들의 기술이 신규 종사자에게 제대로 전수되지 않는 문제도 발생하고 있다. 이러한 문제를 해결하기 위해서도 가상훈련이 필요하다.

본 논문에서는 확장현실(XR) 기술로 가상훈련 시스템을 개발한 사례를 살펴보고, 이러한 시스템이 교육에 미치는 긍정적 영향을 파악하여, 효과적인 교육 도구로서의 가능성을 탐구하고자 한다. 이를 위해 국내외에 발행된 가상훈련 관련 최근 5년 이내에 발행된 논문 9건을 수집하여 조사하였다.

2. 질적 메타 연구 방법론

질적 연구는 관심 있는 분야의 사회현상에 대한 구성원들이 가지는 동기나 신념, 가치, 상황 등을 그들의 맥락과 시간 속에서 이해하고 분석하되 수량적이지 않은 방법에 의존하는 연구이다[3]. 그리고 현상 같은 경우에는 질적 측면이 핵심적인 요소이기에 양적 분석과는 다른 방법인 질적 연구방법을 사용해야 더 유용하다는 것이다[4].

질적 연구방법은 연구자의 고유한 시선을 기반으로 연구가 진행되는데 연구문제와 수집된 자료들의 의미를 찾아 각 자료들이 가지고 있는 차이를 알아차릴 수 있는 능력이 필요하다. 그리고 질적 사례연구는 특정한 상황에서 단일 사례가 갖는 특수성과 복잡성을 포함하는 행위에 대해 이해하고 분석하기 위한 연구라고 정의했다[5].

본 연구는 확장현실(XR) 기술을 활용한 가상훈련을 사례 연구로 가상훈련의 효과를 있는 그대로 이해하고 복잡한 상호작용 등을 모색할 수 있게 접근하여 다양한 환경과 이슈들을 분석하도록 사례연구방법으로 연구하였다.


Ⅱ. 선행 연구 분석 및 이론적 논거

가상훈련은 가상현실(VR), 증강현실(AR), 확장현실(XR) 기술을 사용하여 실제 환경과 유사한 모의실험(simulation) 환경을 제공함으로써 훈련을 수행하는 방법이다[5]. 1990년대에 미국 항공기 제작사 보잉의 연구원이었던 톰 코델(Tom Caudell)은 복잡한 비행기 전선 조립을 위한 기술을 개발하면서 증강현실(AR)이라는 단어를 처음 사용하였다[6][7]. 비행기는 많은 부품과 전선이 연결되어 만들어지는데, 훈련받은 전문가라도 모든 기계장치를 연결하는 순서를 외우고 있을 수 없다. 물론 두꺼운 책으로 제작된 설명서를 한 장씩 찾아볼 수도 있지만, 시간과 비용을 절약하기 위해 확장현실(XR) 기술을 사용한 것이다. 이 연구는 가상훈련의 초기 형태로, 이후 다양한 산업분야에 적용되었다.

가상훈련은 항공사뿐만 아니라 자동차 산업에서도 활발히 이용되었다. 독일의 메르세데스-벤츠는 자동차 엔진의 유지보수 및 수리 작업을 위해 증강현실(AR) 훈련시스템을 개발하였다[8]. 이 시스템은 카메라 영상을 기반으로 장비의 3차원 위치를 파악하기 위해 마커 기반 추적기술을 사용하였다. 훈련생은 HMD를 착용하고 마커 위에 보여지는 텍스트 및 그림으로 표현된 유지보수 방법을 실시간 그래픽으로 볼 수 있었다. 또 다른 예로 트럭 조종석의 퓨즈와 릴레이를 수동으로 교체하는 작업을 지원하기 위한 증강현실(AR) 시스템도 개발되었다[8]. 이 시스템에서는 작업을 진행하는 작업대 위의 천장에 카메라를 설치하고, 그 카메라는 컴퓨터에 연결하였다. 훈련생은 모니터를 통해 카메라 영상을 실시간으로 보면서, 작업대에 놓인 장치를 어떻게 해야 하는지 볼 수 있었다.

최근에 가상훈련은 가상현실(VR), 증강현실(AR), 혼합현실(MR), 확장현실(XR) 등을 활용하여 현실과 유사한 환경을 재현함으로써 학습자들이 다양한 상황을 체험하며 훈련할 수 있도록 더욱 발전하였다. 의료분야에서는 수술 시뮬레이션을 통해 의사들이 실습할 수 있게 하고, 군사 분야에서는 전투 시나리오를 재현하여 병사들의 훈련에 사용되고 있다. 교육 분야에서도 학생들이 실제 현장에 가기 전에 가상 환경에서 경험을 쌓을 수 있도록 돕고 있다.

가상훈련은 안전하며, 비용을 절감하고, 시간을 절약하며, 환경을 보호하는 장점이 있다. 특히, 과거와 달리 새롭게 해결해야 하는 인구 감소와 노령화로 인한 숙련된 전문 인력 부족과 기술 전수 문제, 환경문제 등을 해결하는 데 중요한 역할을 한다. 예를 들어, 가상훈련을 통해 신입 외국인 직원들이 빠르게 숙련될 수 있으며, 이는 기업의 생산성 향상으로 이어진다. 또한, 가상훈련은 물리적인 자원을 덜 필요로 하므로 환경보호에도 이바지한다.

가상훈련은 인류가 새롭게 해결해야 할 문제를 해결하는데 도움이 될 것이다. 앞으로 가상훈련 기술이 더욱 발전하여 다양한 산업분야에서 널리 사용될 것이다. 그러나 고비용의 초기 설치비용, 기술적 복잡성, 사용자 경험의 한계 등 여러 문제가 아직 남아 있다. 이러한 문제들을 해결하기 위한 연구와 개발이 지속해서 이루어져야 할 것이다.


Ⅲ. 가상훈련 사례

본 논문에서는 국·내외에서 발행된 가상현실(VR), 증강현실(AR), 혼합현실(MR), 확장현실(XR)의 사용에 대한 선행연구의 분석을 실시하기 위해 학술연구정보서비스(RISS), 학술콘텐츠플랫폼(DBpia), 한국학술정보(KISS)에서 최근 5년 이내에 발행된 논문을 검색하여 수집하였다. 가상현실(VR), 증강현실(AR), 혼합현실(MR) 교육·훈련으로 학습효과를 연구한 9개 논문(VR-3건, AR-5건, MR-1건)을 분석하였다.

경상국립대 연구팀은 CAVE 시스템을 구축하고 이를 대학의 인테리어 코디네이션 수업에 활용하였다[9]. CAVE (cave automatic virtual environment)는 1992년 국제학술대회인 SIGGRAPH에서 최초로 공개된 3차원 몰입형 가상현실(VR) 시스템이다[10]. 초기의 CAVE는 반투명 스크린으로 정육면체의 방을 만들고, 빔프로젝터로 영상을 후면 투사하여 완전 몰입형 환경을 만들었다. 특히 빔프로젝터를 이용한 수동 3차원 디스플레이와 3차원 사용자 입력장치를 사용하는 것이 특징이다. 2023년 3월부터 6월 사이에 15주 동안 강의실 및 VR 콘텐츠디자인연구실에서 진행하였다(그림 1). 기존 수업에서는 2차원 이미지로 디자인의 결과물을 확인하였다면, CAVE를 이용하여 3차원 몰입형 가상현실(VR)에서 결과물을 확인하고 평가 결과를 받아 볼 수 있었다. 입체적인 3D 시뮬레이션 공간 디자인 결과물과 융복합적인 매개체의 활용으로 건축 및 실내디자인 분야의 디자인 수업의 효율성을 향상했다. 또한 실시간으로 공간 디자인 결과물을 입체적으로 확인하고, 반복되어 소요되는 작업 요소를 단축, 의사소통 과정의 효율성을 높여 디자인 프로세스를 개선할 수 있었다.

Fig. 1.

An interior class using a Multi-Faceted Cave System Based on virtual reality[9]

미국의 MIT에서는 제조업 분야에서 기계 가공 기술을 훈련하기 위한 시스템을 개발하였다[11]. 기존의 기계 가공 훈련은 학습성과가 뛰어나지만, 사람의 실수로 사고가 발생하여 기기가 고장나거나 사람이 다칠 수도 있다. 이 논문에서는 인간-컴퓨터 상호작용(human-coumpter interaction, HCI) 학습 시스템 설계를 위한 개방형(학습자 주도형) 프레임워크와 제조 분야에서 심리 운동 기술을 학습하기 위한 XR 도구 설계에 중점을 두고, 3축 밀링 머신을 사용한 드릴링 기술 연습에 특화된 가상훈련 시뮬레이션을 제시하였다. 이 논문에서 말하는 개방형 프레임워크는 그림 2에서처럼 학생이 정해진 경로만 따라서 훈련을 수행하는 것이 아니라, 현실 세계의 업무처럼 다양한 과업을 수행할 수 있도록 하는 것이다. 예를 들어 사용자의 작업 순서가 정해지지 않고 사용자 판단에 따라 수행할 수 있다. 이 시스템은 Meta Quest 2 VR 헤드셋과 Unity3D를 이용하여 개발되었다.

Fig. 2.

An open-ended VR system for training machining skills[11]

항공기 정비는 항공기의 신뢰성을 높이고 성능을 유지하는 데 필요한 과정이다. 항공기 정비 기술자를 교육하기 위해서는 오랜 시간과 비싼 기자재와 시설을 사용해야 한다. 전통적인 훈련 방법은 많은 실습을 하기보다 이론 수업에 치중하고 꼭 필요한 실습만 교육하게 된다. 따라서 가상훈련 기술을 이용하여 학생들에게 충분한 교육을 제공하는 시도가 이루어지고 있다. 스페인의 Universitat Jaume I에 있는 신영상기술연구소(Institute of New Imaging Technologies)에서는 항공기 정비 교육을 위한 몰입형 가상현실(VR) 시스템을 제작하였다[12]. 이 시스템의 목적은 학생들이 착륙 후 및 이륙 전의 주요 항공기 정비 작업을 연습할 수 있게 하는 것이다. 이 시스템의 특징은 학생의 동기 부여를 위해 게임화 요소를 적용하는 Octalysis 프레임워크를 사용하는 것이다. 예를 들어 학생이 특정 작업을 완료하면 그 보상으로 미니어처 항공기를 수집할 수 있게 하거나 작업 진행 상황을 그림 3과 같이 시각적으로 보여주는 진행 막대를 보여주는 것이다. 이 가상훈현 시스템은 Oculus Quest 2와 Unity3D를 이용하여 개발되었다.

Fig. 3.

Immersive Virtual-Reality System for Aircraft Maintenance Education[12]

현재 대부분의 방사선 관련 안전사고 교육은 간단한 이론 위주의 수업으로 구성되어 있다. 교육을 시행하는 기관은 한국원자력아카데미, 한국방사선진흥협회, 한국원자력 안전재단으로 한정되어 있어 시간과 장소의 한계로 교육 여건이 힘든 상황이다. 이러한 이유로 대구 보건대학교에서는 혼합현실(MX)기반 방사선 안전교육 시뮬레이터 플랫폼을 개발하였다[13]. 이 가상훈련 시스템은 의료분야에서 일어난 방사선 안전사고와 예상되는 사고를 토대로 시나리오를 작성하였다. 또한 혼합현실 착용형 디스플레이 장비인 마이크로소프트의 홀로랜즈2[14]를 사용하였다. 그리고 개발 완성도 평가를 위해 방사선과 재학생 20명에게 적용한 후 설문조사를 실시하였다. 사용자는 공간과 시간 제약 없이 교육이 가능하며, 현장 교육 없이도 현실적 교육이 가능하며, 현실 기반의 3D 이미지를 통해 이미지 간 상호작용이 가능하여 자율 학습이 가능하였고 HMD(head-mounted display)를 통해 표현된 가상 공간에서의 학습은 교육을 더욱 즐겁게 만들고 집중력을 증가시킬 것으로 기대되어 교육의 효율성을 높일 수 있었다.

보건 의료분야에서 반드시 학습해야 할 핵심수기술은 순서와 절차가 복잡하여 반복적인 암기와 훈련이 필요하다. 또한 단시간에 모든 기술을 습득하기 어려우며, 담당 교수자가 모든 학생의 실습 수행 과정을 정확히 확인하기 어렵다. 국립목포대학교 컴퓨터공학과와 간호학과는 이러한 문제를 해결하기 위한 시도로 스마트 글래스를 이용한 핵심수기술 자가학습 훈련이 연구되었다[15]. 이 연구에서 사용된 스마트 글래스는 Vuzix Blade이다[16]. 이 스마트 글래스는 오른쪽 눈에만 디스플레이가 있는 단안식이며, 안경다리에 터치패드와 마이크가 장착되어 있어 손과 음성인식으로 제어할 수 있는 장치이다. 훈련에 참여한 학생들은 핵심수기술을 암기하며 연습이 필요할 때 이 스마트 글래스를 착용하고 훈련을 시작한다. 스마트 글래스에는 핵심수기술 절차에 대한 이미지가 순차적으로 제시되어 학습자는 이를 따라 실습을 진행할 수 있다. 학생들은 스마트 글래스를 착용하였기 때문에 양손이 자유로우며, 시선이 참고자료와 실습환경과 분리되지 않아 집중할 수 있다는 장점이 있다.

또한 삼육대학교에서는 핵심수기술 중 하나인 투약실습교육을 스마트 글래스를 이용한 교육 콘텐츠로 개발하여 교육에 적용하고 그 효과를 검증하였다[17]. 이 연구에서는 국내 제조 업체인 PANECEA의 스마트 글래스인 GTM-200 모델을 선택하였다[18]. 이 장비는 실리콘(Full-HD resolution) 패널 탑재로 자연스럽고 고화질 영상을 최대 320인치의 대화면이 눈 앞에 펼쳐지는 효과를 볼 수 있다. 렌즈 양쪽 모서리에서 영상이 투사되어 화면을 보여주는 방식으로 3D와 증강현실(AR)을 구현할 수 있으며, 투명한 글라스의 렌즈 하단 부분을 통해 사물을 동시에 보면서 실습이 가능한 장점이 있어서 사용되었다. 2022년 3월부터 6월 사이에 간호학과에 재학중인 1-2학년 간호대학생을 대상으로 연구되었다. 간호대학생 중 실험군(스마트 글래스) 37명과 대조군(태블릿 PC교육) 36명을 대상으로 투약실습교육의 콘텐츠를 보여 실습을 수행하게 하였다. 실험결과 스마트 글래스를 이용한 투약실습 교육은 간호대학생의 임상수행능력, 자기효능감, 교육만족도를 높이는 효과가 있음을 보여주었다.

동신대학교 간호학과는 증강현실(AR) 기술을 활용하여 외상환자에 대한 교육을 시행하고, 증강현실(AR)을 활용한 학습 방법이 대상자의 학업성취도, 자기주도적 학습능력 및 문제해결 능력에 미치는 효과를 확인하고자 하였다[19]. 2019년 6월부터 8월까지 G시에 소재한 간호학과 4학년 94명이 주 1회 2시간씩 10주 동안 증강현실(AR)을 활용하여 제작한 학습프로그램을 적용하였다. 증강현실(AR)을 활용한 교육이 학생들의 동등성 대조군 전후 설계를 이용한 결과 증강현실(AR)을 활용한 학습을 적용한 실험군은 측정변수 모두에서 통계적으로 유의하게 상승하였으나, 대조군은 문제해결 능력의 하부영역 2개에서만 통계적으로 유의하게 증가하였다. 증강현실(AR)을 활용한 학습이 외상환자 평가(assessment)교육에서 학생들의 학업성취도와 자기주도적 학습능력 및 문제해결 능력을 높이는 데 효과가 있음을 확인하였다.

원자들이 서로 결합하여 분자를 형성할 때, 2차원 평면적인 구조를 가질 수도 있지만 복잡한 3차원 구조를 이루기도 한다. 서울대학교 연구팀은 학생들이 화학 결합 학습에 어려움을 겪지 않도록 증강현실(AR) 앱을 개발하였다[20][21]. 이 학습 도구는 그림 4와 같이 총 29개의 원소 카드와 모바일 장치 앱으로 구성되었다. 29개의 원소 카드로 조합할 수 있는 분자의 개수는 CH4, CH2F2, CH3CHOO 등 85개의 조합이 가능하였다. 선생님과 학생을 대상으로 사용성 평가를 진행한 결과, 앱 사용에 대한 인지된 즐거움이 사용 태도에 긍정적 영향을 주었다. 또한 기초 학력 미달 학생의 비율이 증가하고 있는 현시점을 타계하고, 학습 동기와 학습 몰입감의 향상을 통해 학습에 대한 즐거움을 본질적으로 회복하는 데 도움이 될 수 있다는 분석결과를 내놓았다. 그리고 이 연구에 사용된 증강현실(AR)의 소프트웨어 개발 키트(software development kit, SDK)로는 범용적인 화학결합의 증강현실(AR) 애플리케이션 구축을 위해 안드로이드 운영체제(Android OS)에도 적용이 가능하고 안정적인 ARCore를 선택했다.

Fig. 4.

Mobile Augmented Reality Application for Learning Chemical Bonding[21]

소방분야에서도 증강현실(AR)을 활용한 가상훈련 연구가 진행되고 있다. ‘AR 기반한 소방관 헬멧의 디자인연구’, ‘VR 기법을 활용한 엘리베이터 피난 성능평가에 관한 연구’, ‘소방공무원 심신안정을 위한 가상현실(VR) 콘텐츠 적합성 평가’ 등 다양한 연구가 진행되고 있으며, 소방안전관리자의 훈련을 위한 가상훈련도 개발되었다[22,23,24,25]. 소방안전관리자는 모든 소방대상물에 선임되어 있으며 건축물의 소방시설 유지관리 및 화재 초기대응을 담당하고 있어 화재 발생 시 소방대가 화재현장에 도착하기 전까지 소방시설 조작을 통한 작동확인 및 조치 해야 하는 의무가 있다. 관련 법에 의해 소방안전관리자는 2년에 1회 이상의 실무 교육을 받아야 하지만, 충분한 실습 기회가 있다고 보기 어렵다. 이를 보완하기 위해 가상훈련 시스템을 개발하여 손쉽게 훈련받을 수 있는 시스템이 필요하다.

호서대학교 연구팀은 이러한 문제를 해결하기 위해 증강현실(AR) 기술을 이용한 가상훈련 시스템을 개발하였다. 초기 화재 상황 중 가장 핵심적인 역할을 하는 자동화재탐지설비의 P형 수신기와 R형 수신기를 중점으로 증강현실(AR)을 개발하고자 하였다. 소방안전관리자들에게 제공하는 교재를 바탕으로 작동원리 및 점검 방법의 순서를 설정하였으며 평가는 한국소방안전원의 실제 평가절차를 반영하여 설계하였으며 증강현실(AR) 교육·훈련시스템을 통해 교육생의 설비조작능력의 여부를 판단하고 평가 중간단계에서 기본적인 이론 문제들을 추가로 삽입하여 이론에 대한 교육을 다시 한번 확인할 수 있도록 설정하였다. 이를 증강현실(AR)로 구현하여 소방안전관리자에게 현실적인 점검 방법 및 실습 기회를 제공하였다. 결과로 설비 동작에 따른 시퀀스를 설계한 후 증강현실(AR) 교육·훈련시스템을 구현하여 실질적인 점검 능력 향상에 도움이 될 것이라고 판단하였다.

항공기 정비 현장에서 방대한 양의 설명서를 참조해야 하는 어려움이 있다. 항공 정비 분야에서는 신규 정비사들의 기술 진입 장벽이 높아 숙련된 인력을 양성하기 힘들다. 이러한 문제를 해소하기 위해 한국폴리텍대학 항공MRO과에서는 증강현실(AR) 기반의 항공기 정비훈련 장치를 개발하였다[26][27]. 항공기의 기체, 엔진, 장비의 성능평가를 위한 Unity3D 개발 플랫폼을 사용하여 구현하였다. 2019년 9월 경북에 있는 G전문대 학생들을 각 20명씩 4그룹으로 대상을 나누어 한 달 동안 학습에 활용되었다. 결과는 사용 전후의 분석 데이터를 비교하여 학습향상의 효과를 확인 결과, 기체에서는 10.6분의 시간 절감, 엔진에서는 11분의 시간 절감, 장비에서는 40분의 시간을 절감하였다.

문화 교육 콘텐츠부분에서는 테크노 디자인전문대학원에서 몰입형 기술을 통해 학습 능률성과 유희성을 향상하고, 글로벌 네트워크를 활용하여 내용을 소통, 공유하도록 하는 목적으로 교육콘텐츠의 개발에 착수하였다. 2022년 한글교육 콘텐츠인 ‘하하하 한글’의 테마 선정부터 내용, 디자인, 기술 구현까지의 일련의 과정과 특징을 도출하고, 프로젝트 수행사례를 통해 앞으로의 개발과 디자인에 활용할 수 있도록 하였다. 결과로 교재의 내용과 디자인 그리고 AR기술의 효과적인 적용이 양질의 교육콘텐츠를 구성하는 필수조건임을 알 수 있었다.

Fig. 5.

Augmented Reality(AR) based Immersive Educational Content Design and Implementation[28]


Ⅳ. 사례분석

각 사례를 보면, 가상현실(VR), 증강현실(AR), 확장현실(XR) 등의 디스플레이 형태를 가상훈련의 시나리오에 따라 적절히 선택한 것으로 보인다. 예를 들어 건축디자인의 경우 공간에 들어가 느껴보는 것이 중요하므로 몰입형 가상현실(VR) 기술이 적용되었고, 항공정비의 경우 설명서가 필요하므로 증강현실(AR) 기술이 적용되었다. 가상훈련의 응용분야는 지식 전달을 위한 내용은 없고, 훈련생이 동작을 따라해 보는 실습에 적용되었다. 본 논문에서 다룬 사례를 표 1에 요약 정리하였다.

Summary of virtual training cases


Ⅴ. 결 론

본 논문은 확장현실(XR) 기술이 교육과 훈련에 미치는 긍정적인 영향을 종합적으로 분석하였다. 분석 결과, 확장현실(XR) 기술을 활용한 교육은 학습자에게 몰입감과 상호작용을 제공하며, 위험하거나 비용이 많이 드는 훈련을 안전하고 경제적으로 실시할 수 있는 장점이 있다는 것을 확인했다. 또한, 학습자 맞춤형 교육이 가능하여 교육 비용 절감, 시간 절약, 안전성 증대 등의 효과가 있었다. 하지만 이러한 기술의 효과적인 도입을 위해서는 기술인프라 확충, 양질의 교육 콘텐츠 개발, 정책적 지원, 산학 협력, 그리고 인공지능(AI) 기술을 활용한 맞춤형 교육과 평가 시스템 구축이 필요하다.

앞으로 더 많은 연구와 사례 분석을 통해 이러한 기술이 교육 현장에서 더욱 효과적으로 활용되기를 기대한다. 각 논문에서 가상훈련을 이용한 교육의 학습성과에 대해 실험을 통해 증명하려는 시도가 있었으며, 가상훈련이 실제 현장훈련을 뛰어넘을 수는 없지만, 여러 가지 다른 장점이 있어서 사용된다는 것을 생각해 볼 수 있었다. 이후에는 학습성과와 교육 대상에 맞춰 시나리오와 가상훈련 시스템을 설계하는 절차에 관한 연구를 수행할 계획이다.

Acknowledgments

This research was supported by “Regional Innovation Strategy(RIS)” through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(MOE)(2021RIS-002).

References

  • Abich, J., Parker, J., Murphy, J.S. et al. A review of the evidence for training effectiveness with virtual reality technology. Virtual Reality 25, 919–933 (2021). [https://doi.org/10.1007/s10055-020-00498-8]
  • Lee, K. Augmented Reality in Education and Training. TECHTRENDS TECH TRENDS 56, 13–21 (2012). [https://doi.org/10.1007/s11528-012-0559-3]
  • Kim, Mee Sook, “On the mixed method research from the perspective of a qualitative researcher” Korean journal of sociology of education, Vol.16 No.3, 43-64, 2006. UCI : G704-001276.2006.16.3.005
  • Nam-In Lee, “Phenomenology and Qualitative Research Method”, Korean Society For Phenomenology, Vol.24 No.-, 2005. UCI : G704-001226.2005..24.003
  • Stake, R. E. “The art of case study research.” Thousand Oaks, CA: Sage. 1995
  • Caudell, Thomas P; Mizell, David W (1992). Augmented reality: An application of heads-up display technology to manual manufacturing processes (PDF). System Sciences, 1992. Proceedings of the Twenty-Fifth Hawaii International Conference on. Presence: Teleoperators and Virtual Environments. Vol. 2. IEEE. pp. 659–669. [https://doi.org/10.1109/HICSS.1992.183317]
  • D. Mizell, “Boeing’s Wire Bundle Assembly Project,” Fundamentals of Wearable Computers and Augmented Reality, W. Barfield and T. Caudell, eds., Lawrence Erlbaum and Assoc., 2001, pp. 447-467. [https://doi.org/10.1201/9780585383590]
  • Regenbrecht, H., Baratoff, G., & Wilke, W. (2005). Augmented Reality Projects in the Automotive and Aerospace Industries. IEEE Computer Graphics and Applications, 25(6), 48-56. [https://doi.org/10.1109/MCG.2005.124]
  • Lee, Yu Na, Choi, Don Chool, Choi, Gil Dong, “A Case Study Using a Multi-Faceted Cave System Based on Virtual Reality - Focused on the Interior Coordination Class at the G University -”, THE KOREAN SOCIETY OF SCIENCE & ART Vol.41(5), 2023, [https://doi.org/10.17548/ksaf.2023.12.30.353]
  • Cruz-Neira, Carolina; Sandin, Daniel J.; DeFanti, Thomas A.; Kenyon, Robert V.; Hart, John C. (1 June 1992). "The CAVE: Audio Visual Experience Automatic Virtual Environment". Commun. ACM. 35 (6): 64–72. ISSN 0001-0782. S2CID 19283900. [https://doi.org/10.1145/129888.129892]
  • Kachina Studer, Hing Lie, Zhen Zhao, Ben Thomson, Dishita G Turakhia, and John Liu. 2024. An Open-ended System in Virtual Reality for Training Machining Skills. In Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems (CHI EA '24). Association for Computing Machinery, New York, NY, USA, Article 392, 1–5. [https://doi.org/10.1145/3613905.3648666]
  • Gómez-Cambronero, Á, Miralles, I, Tonda, A, Remolar, I, “Immersive Virtual-Reality System for Aircraft Maintenance Education: A Case Study”, Appl. Sci. 2023, 13, 5043p, [https://doi.org/10.3390/app13085043]
  • Park Hyong-Hu・Shim Jae-Goo・Kwon Soon-Mu, “Mixed Reality Based Radiation Safety Education Simulator Platform Development: Focused on Medical Field”, Journal of Radiological Science and Technology, 44(2), 123-131. [https://doi.org/10.17946/JRST.2021.44.2.123]
  • Ungureanu, Dorin, Federica Bogo, S. Galliani, Pooja Sama, Xin Duan, Casey Meekhof, Jan Stühmer, Thomas Joseph Cashman, Bugra Tekin, Johannes L. Schönberger, Pawel Olszta and Marc Pollefeys. “HoloLens 2 Research Mode as a Tool for Computer Vision Research.” ArXiv abs/2008.11239 (2020): n. pag. [https://doi.org/10.48550/arXiv.2008.11239]
  • SK. Kim, Y. Lee, H. Yoon and J. Choi. “Adaptation of Extended Reality Smart Glasses for Core Nursing Skill Training Among Undergraduate Nursing Students: Usability and Feasibility Study,” J Med Internet Res Vol.23, No.3, pp.e24313, 2021. [https://doi.org/10.2196/24313]
  • Vuzix.(access date: 2024.07.27.) https://www.vuzix.com/products/vuzix-blade-smart-glasses-upgraded
  • Kim, Mi-Seon, “Effectiveness and Adaptation of Augmented Reality – Based Medication Practice Education for Nursing Students: focused on intra-dermal injection skills.”, The Graduate School of Sahmyook University, February. 2023
  • GTM-200 website. (access date: 2024.07.27.) http://www.panacea-korea.com/product/GTM/gtm-200
  • Sumi Kim and Jeongmin Park. “Effects of AR on Academic Success, Self Directed Learning Skill and Problem Solving in Education on Trauma Assessment.” The Journal of Humanities and Social science, vol. 13, no. 1, pp. 2151-2166, 2022. [https://doi.org/10.22143/HSS21.13.1.152]
  • Young-Eun Jeon. “Development and Application of Mobile Augmented Reality Application for Learning Chemical Bonding” The Graduate School Seoul National University, 2023.
  • Seokjin Shin. “Exploring Effective Environments for Using Tools in Small Group Science Learning with Manipulative Augmented Reality.” The Graduate School Seoul National University, 2023.
  • B. H. Whang, “Research on Fire Helmet Design Based on AR Technology”, Master's Thesis, The Graduate School of Sangmyung University (2021).
  • S. H. Ro, S. W. Yoon and D. H. Rie, “Study for Using Techniques Performance Evaluation of the Elevatir Evacuation”, Fire Science and Engineering, Vol. 25, No. 1, pp. 13-18 (2011). https://koreascience.kr/article/JAKO201116637923761.page
  • T. H. Park, J. H. Lee and S. Y. Kim, “Assessing the Suitability of Virtual Reality Content for Stress Reduction among Firefighters”, Fire Science and Engineering, Vol. 34, No. 6, pp. 154-162 (2020). [https://doi.org/10.7731/KIFSE.46534fdb]
  • Yoo-Jeong Choi, Si-Kuk Kim, “Development of an Education and Training System Based on Augmented Reality to Improve the Firefighting Facility Maintenance Ability of Fire Safety Managers”, The Korean Institute of Fire Science & Engineering, February 28, 2024. [https://doi.org/10.7731/KIFSE.577c1ce7]
  • Sun-Kyu Kim “Study of Application for Aircraft Maintenance Education Using Augmented Reality-based Mobile Device” The Korean Society of Disaster Information, Seoul, Korea, 2022. https://koreascience.kr/article/CFKO202235643218033.page
  • In-Hyuck, Park. “Implementation of aircraft maintenance training support contents.” Graduate School of Technology & Convergence Kong ju National University, Gong Ju, Korea, 2020.
  • Min, Jae yoon. “Augmented Reality(AR) based Immersive Educational Content Design and Implementation.”, The Graduate School of Techno Design Kookmin University, Seoul, Korea, August 2023.
윤 종 태

- 2010년 : 한국항공대학교 항공시스템과 (공학사)

- 2020년 : 인하대학교 교육대학원 (교육학석사)

- 2023년 ~ 현재 : 목포대학교 컴퓨터공학과 (박사과정)

- 2023년 ~ 현재 : 초당대학교 항공정비학과 교수

- ORCID : https://orcid.org/0009-0007-2761-4191

- 주관심분야 : 항공정비, 가상훈련, 확장현실

정 민 아

- 1992년 : 전남대학교 전산통계학과 (이학사)

- 1994년 : 전남대학교 전산학과 (이학석사)

- 2002년 : 전남대학교 전산학과 (이학박사)

- 2005년 ~ 현재 : 목포대학교 컴퓨터공학과 교수

- 주관심분야 : 데이터베이스, 데이터마이닝, 머신러닝. 빅데이터

이 영 호

- 1999년 : 한국과학기술원 수학과 (이학사)

- 2001년 : 광주과학기술원 정보통신공학과 (공학석사)

- 2008년 : 광주과학기술원 정보통신공학과 (공학박사)

- 2009년 ~ 현재 : 목포대학교 컴퓨터공학과 교수

- ORCID : https://orcid.org/0000-0002-7341-6619

- 주관심분야 : 증강현실, 가상현실, 원격협업, HCI, 확장현실

Fig. 1.

Fig. 1.
An interior class using a Multi-Faceted Cave System Based on virtual reality[9]

Fig. 2.

Fig. 2.
An open-ended VR system for training machining skills[11]

Fig. 3.

Fig. 3.
Immersive Virtual-Reality System for Aircraft Maintenance Education[12]

Fig. 4.

Fig. 4.
Mobile Augmented Reality Application for Learning Chemical Bonding[21]

Fig. 5.

Fig. 5.
Augmented Reality(AR) based Immersive Educational Content Design and Implementation[28]

Table 1.

Summary of virtual training cases

Case Technology Application Field Purpose Key Features Results
CAVE System[9] VR University Interior Design Class Provide immersive 3D simulation space CAVE system, 3D simulation, real-time evaluation Improved class efficiency and design process
Machine Tool Training[11] VR Manufacturing Machine Tool Training Prevent accidents and learn psychomotor skills Open framework, Meta Quest 2, Unity3D Enhanced practical job performance
Aircraft Maintenance[12] VR Aircraft Maintenance Training Practice key aircraft maintenance tasks Octalysis framework, Oculus Quest 2, Unity3D Increased motivation, gamification elements applied
Radiation Safety Training[13] MR Radiation Safety Training Train for radiation safety incident response HoloLens2, mixed reality scenario Improved training efficiency and focus
Nursing Training[15][17][19] AR Core Nursing Skills Training Self-study of core nursing skills Vuzix Blade, GTM-200, smart glasses Enhanced clinical performance, self-efficacy, and training satisfaction
AR Chemistry Bonding Learning App[20][21] AR Chemistry Bonding Learning Provide chemistry bonding learning tools Element cards, mobile app, ARCore Increased learning motivation and immersion
Fire Safety Manager Virtual Training[22-25] AR Fire Safety Management Training Train for initial fire situation response Augmented reality education and training system Improved inspection skills and practice opportunities
Aircraft Maintenance Training[26,28] AR Aircraft Maintenance Problem-solving with reference manuals Unity 3D, AR-based training device Reduced learning time, enhanced learning effectiveness
Design and Implementation of Immersive Educational Content using AR[28] AR Educational content design Provide korea language learning tools E.book, Mondly app Increased learning motivation and immersion