디지털 트윈 기술을 이용한 스마트팜 프레임워크 시각화 기술 개발에 관한 연구

Ⅰ. 서 론

농산업은 과거부터 현재까지도 중요한 분야로 자리매김하고 있다. 과거 1차원적이던 농산업의 관리 기술 방식은 현재 ICT(Information and Communications Technologies) 기술을 접목해 시간과 공간의 제약 없이 작물을 관리하는 스마트팜 기술로 발전하였다. 스마트팜 기술은 농장의 생육 정보와 환경 정보의 시계열 데이터를 주기적으로 수집하고, 이를 시각화하여 작물이나 외부 환경 등을 관리하는 프레임워크를 제공한다. 결과적으로 농작물을 최적의 상태로 관리할 수 있게 하며, 생산량 증대 및 직접적인 노동 시간의 감소를 통해 농산업의 환경을 개선할 수 있게 한다.

이러한 특징에 따라 스마트팜 프레임워크의 중요성은 매우 높으며, 사용자에게 간편하고 효율적인 작물 관리 수단을 제공해야 한다. 이에 따라 많은 스마트팜 기술은 작물 관리를 위해 다양한 센서를 통해 작물의 생육 정보와 환경 정보들을 최대한 수집하고 데이터화하는 작업이 필수적이다. 하지만 작물 자체의 병이나 해충으로 인한 피해 등의 외부 요인들은 데이터 수집에 어려움을 준다. 특히 실내 농장의 경우 데이터로 수집하기 어려운 외부 요인을 통제할 수 있지만, 실외 농장인 경우 외부 요인을 통제하기 어렵다.

본 논문에서는 이러한 외부 요인으로 인한 병해 방지 및 농장 관리 방법으로 디지털 트윈 기술을 통한 프레임워크 내 농작물의 시각화 기술을 제안한다. 실험은 실제 파프리카 농장의 정보를 기반으로 진행하며, 파프리카의 이미지 데이터를 디지털 트윈 모델링에 활용하고, 생육 정보 및 환경 정보는 도표와 차트로 시각화하여 생육 상황 및 생산량 예측에 사용한다.

제안하는 디지털트윈 프레임워크는 수집된 디지털 트윈 데이터를 활용해 Blender를 통한 3D 렌더링과 함께 작물의 예측 성장 및 질병 상황에 대한 시뮬레이션 결과를 제공한다. 이를 통해 프레임워크를 이용하는 사용자가 실제 농장의 작물들에 대한 변화를 시각적으로 알 수 있도록 하여 작물의 원활한 성장을 도울 수 있도록 한다.

본 논문의 구성은 2장에서 스마트팜 프레임워크에 이용한 기술들의 동향에 대해서 소개한다. 3장에서는 디지털 트윈 구축 과정에 대해서 소개한다. 4장으로 스마트팜 프레임워크를 구축한 기술들에 대한 과정을 소개하며, 마지막으로 스마트팜 프레임워크의 결과물에 관해서 이야기하며 결론을 맺는다. 최종적으로 스마트팜 프레임워크 내에서 파프리카 3D 모델링 데이터의 활용법들을 제안하며, 이를 통해 앞으로 스마트팜 프레임워크 내에서 이용할 수 있는 다양한 시각화 기술의 발전을 기대한다.

Ⅱ. 스마트팜 시각화 프레임워크 아키텍처 및 배경 기술

프레임워크의 정의는 소프트웨어 개발에서 미리 만들어진 구조나 도구의 집합으로, 애플리케이션을 빠르고 효율적으로 개발할 수 있도록 지원하는 것을 의미한다. 프레임워크는 라이브러리^[1], API 및 코드 구성을 위한 규칙 등을 제공하여 일반적인 프로그래밍 작업을 더욱 쉽게 수행할 수 있도록 한다. 여러 프레임워크 중 인기 있는 프레임워크들은 각 특성이 있으며, 대표적으로 이용되는 프레임워크는 Django^[2], Ruby on Rails^[3], React^[4], Vue^[5] 등이 있다.

1. 프레임워크 아키텍처

본 논문에서는 실제 생육 중인 파프리카의 일별 데이터(생육 정보, 환경 정보)를 활용한 시각화 프레임워크를 개발할 목적으로 그림1과 같이 아키텍처를 설계하였다. 클라이언트가 보는 화면은 Next.js^[6]를 통해 구성하였으며, 데이터베이스는 MariaDB^[7]를 이용하였다. 최종적인 스마트팜 프레임워크 배포는 AWS(Amazon Web Service)를 이용하도록 설계하였다.

Fig. 1.

Digital twin system structure

3. Blender

Blender^[8]는 3D 컴퓨터 그래픽 제작 소프트웨어로 GPL 라이선스 기반의 오픈 소스 프로그램이다. 제품 디자인, 게임 모델링, VFX 아트, 애니메이션, 피규어 아트, 건축 등의 다양한 분야에서 사용할 수 있다. 특징으로는 특유의 가벼움, 인터넷 커뮤니티들의 지식 데이터베이스, 효율적인 단축키, 안정성, 쉬운 UX가 있다.

위와 같은 장점들로 인해 본 논문에서는 디지털 트윈 모델 작업을 Blender로 진행하였다. 실제 촬영한 파프리카 사진을 기반으로 3D 모델링 작업을 거쳤으며, Blender에서 자체적으로 제공하는 Geometry Node 기능을 이용하여 생육 정보 및 환경 정보 기반의 시뮬레이션 작업을 진행하였다. 이렇게 제작된 3D 메쉬 모델은 glTF파일로 변환한 뒤, 웹 라이브러리인 Three.js를 통해 스마트팜 프레임워크에서 이용하였다.

Fig. 2.

Digital twin expression architecture with Blender

Ⅲ. 디지털 트윈 모델링

Blender에서 디지털 트윈을 위한 3D 모델링 제작은 실제 파프리카 이미지 데이터 기반으로 진행하였으며, 실제 파프리카 데이터는 전라북도 소재의 파프리카 농장에서 2021년 7월부터 생육 및 환경 정보들을 수집하였다. 생육 정보는 여러 대의 카메라를 다각도에 설치해 촬영하고 실측하여 표1과 같이 데이터들을 취득하였으며, 환경 정보 수집을 위한 센서 데이터 정보는 다양한 센서를 파프리카 농장에 설치해 측정되는 센서 데이터값을 5분 간격으로 서버에 동기화하여 표2와 같이 취득하였다. 현재까지 약 2년 이상 수집한 데이터들을 기반으로 MariaDB 기반의 데이터베이스를 구축하였다.

Table 1.

Growth information measured at the time of image acquisition

Table 2.

Types of sensor data for collecting environmental information on paprika farms

파프리카 농장에서 취득한 생육 정보를 기반으로 실제 3D 모델링을 한 후 디지털 트윈으로 표출하기 위해 Blender 내의 Geometry Node 기능을 이용한다.

이 방식을 이용할 경우 기존의 모델링 방식인 객체를 만들고 수정하는 방식과 더불어 기하학 방식을 따라 모델링을 진행하게 된다. 즉, 하나의 3D 모델로부터 Blender의 메쉬 편집 기능을 통해 수치를 변경함으로써 다양한 모델을 만들어 낼 수 있다는 장점이 있다. 이는 작물의 생장 변화 중 잎이 자라는 경우나, 잎의 높이가 높아지는 경우, 열매가 커지는 경우, 전체적으로 성장한 경우 등 작물의 생육 정보를 표현하기에 알맞은 모델링 방식이다.

따라서 전반적인 3D 모델링 작업 방식은 취득한 실측 생육 정보를 기반으로 Geometry Node 기능을 이용해 다양한 식물의 생장 표현이 가능한 파프리카 모델링을 진행하였다. 먼저 파프리카의 잎, 줄기, 열매 등 실측한 수치를 기반으로 모델링이 되도록 크기와 비율을 맞추었다. 그리고 실측값의 변화에 따라 3D 모델의 변형이 가능하도록 Blender 내의 Python 스크립트 기능을 이용하여 입력값에 따른 3D 모델의 세부 크기 조절을 자동화하였다. 이를 통해 실제 파프리카의 생장 정보를 더욱 정밀하게 표현할 수 있다.

Fig. 3.

3D Modeling with Blender

모델링 작업 이후 취득한 환경 정보를 기반으로 일어날 수 있는 생육 정보의 변화 시뮬레이션들을 생성하였다. 본 논문에서는 환경 정보를 통해 발생할 수 있는 10가지 이상의 상황을 가정하여 시뮬레이션들을 생성하였다. 표 3은 환경 정보 변화에 따른 작물 생장 결과 시뮬레이션을 나타낸다. 온도가 기존 관측치보다 높거나 습도가 평소보다 습할 경우 등의 간단한 상황부터 과 생장, 흰가루병과 같은 특정한 병해 상황에 대해 가정하여 시뮬레이션들을 생성하였으며 그림 4와 같이 작업하였다.

Table 3.

Growth of crops simulations result according to changes in environmental information

Fig. 4.

Simulation on crops when growth and environmental information change

구체적으로는 환경 정보가 바뀔 때 작물의 줄기, 잎, 열매 부분에 적용되어 변화가 이루어지도록 각 환경 정보마다 구간들을 설정하였다. 예를 들어 환경 정보 중 하나인 온도가 높아져 작물이 시들기 시작하는 시뮬레이션에서는 온도가 20~25°C, 25~30°C, 30~35°C와 같은 구간들을 지정했다. 이후 작물을 줄기, 잎, 열매로 세분화하여 나눈 뒤, 작물이 시드는 속도 구간을 개별로 조절하여 실제로 관측되는 작물이 시드는 상황에 맞추어 만들었다. 최종적으로 해당 모델들은 glTF 파일 형식으로 저장한 뒤, 진행 중인 스마트팜 프레임워크 내에서 Three.js를 통해 시각적으로 보여줄 수 있도록 구성하였다.

Fig. 5.

Segmentation expression by step in crop-specific situation

Ⅳ. 스마트팜 시각화 프레임워크 개발

2. 프레임워크 시각화 라이브러리 구성

많은 웹 시각화 라이브러리들이 있으나 본 논문에서 프레임워크를 구축하기 위해 이용한 라이브러리는 크게 D3.JS, Chat.js, Three.js, Apache Superset이 있다. 이 중 Apache superset를 통해 환경 정보를 다양한 웹 시각화 차트들로 표현했으며, 이를 스마트팜 프레임워크의 메인 대시보드로 구성했다. 해당 라이브러리는 시각적이고 직관적으로 설계된 오픈 소스 데이터 탐색 및 시각화 플랫폼으로, 여러 가지 DBMS를 지원하고 데이터베이스에 연동이 쉬우며, 데이터 엑세스에 대해 세밀한 관리를 하는 장점들을 가져 데이터베이스에 신경을 써서 시각화 표출해야 하는 상황에 알맞은 라이브러리이다.

Fig. 6.

Visualization of paprika environmental information using Apache Superset Dashboard

메인 대시보드는 기간별로 환경 정보를 표시할 수 있도록 구성하였다. 데이터베이스에 저장된 데이터들을 시각화할 때 사람이 직접 관여해서 조절할 수 있는 환경 정보들 위주로 표시하였으며, 값이 자주 변화하지 않은 환경 정보들은 대시보드 가장 밑 부분에서 표출하며 별도의 알람 표시를 제작하여 평균 측정값을 벗어난 이상 측정값이 관측될 경우 사용자에게 정보를 제공하도록 개발하였다.

스마트팜 프레임워크 내에서 디지털 트윈을 표출할 수 있도록 별도의 페이지를 개발하였다. 해당 페이지에서는 Blender에서 제작한 3D 메쉬 모델은 Three.js 라이브러리를 통해 glTF 형식으로 웹상에서 표출하게 된다. 이를 통해 프레임워크 내에 크게 세 가지 기능들을 활용할 수 있게 추가하였다.

첫 번째 기능은 페이지 내에서 특정 날짜를 선택해 해당 날짜의 작물 생장 변화 예측 모델을 시각적으로 볼 수 있는 시각화 기능이다. 제공하는 기능은 그림 7과 같이 구현하였다. 선택한 날짜 이전의 생장부터 이후의 예측되는 생장까지의 전주기 과정을 3차원 모델로 시각화하여 제공한다. 이 과정에서 제공하는 3차원 모델은 3장의 모델링 제작 과정에서 실측 기반으로 제작한 여러 3차원 메쉬 모델을 이용하며, 수집한 여러 파프리카의 생장 및 환경 데이터를 기반으로 예측하여 제공한다.

Fig. 7.

Example of digital twin model for forecasting growth by date interval

두 번째로는 현재 데이터 기반 작물의 생장을 확인할 수 있는 모델 데이터 제공 기능이다. 위 기능은 그림 8과 같이 제공하고 있다. 배경의 경우 작물이 자라는 실제 환경을 배경으로 구성하였으며, 실제 작물은 가운데에 표시하도록 한다. 이를 통해 사용자는 원격으로도 현재 작물의 생장이 어떻게 이루어지고 있는지 예측 메쉬 모델링을 통해 확인할 수 있게 구성하였다. 이를 통해 현재 제공되는 작물 메쉬 모델링에 이상이 발견된 경우, 메인 대시보드로 이동하여 어떤 정보에 이상이 있는지 확인할 수 있게 한다.

Fig. 8.

Example of current crop growth in digital twin models

마지막 기능으로는 그림 9와 같이 작물의 환경 정보를 3D 시각화 차트를 통해 나타낸다. 해당 차트는 3D로 구성하여 사용자가 스마트팜 프레임워크 내에서 다양한 각도에서 환경 정보를 한눈에 보기 편하게 제공한다. 또한 사용자가 3D 시각화 차트의 특정 데이터 구간 선택 시 해당 데이터 구간의 날짜를 확인하고, 해당 날짜의 예측 메쉬 모델을 제공하는 기능으로 구성하였다. 이를 통하여 이상 데이터 관측 시 어떤 날에 이상 데이터가 관측되었으며, 해당한 날짜에 예측 메쉬 모델과 어떠한 병해 상황이 나타날 수 있었는지를 같이 제공한다. 이 기능을 통해 사용자는 과거의 병해 발생 가능성이 있던 데이터들을 파악하고, 이후 작물 병해 상황을 미연에 방지할 수 있도록 돕게 한다.

Fig. 9.

3D visualization charts to display digital twin models when selecting specific interval data

또한 스마트팜 프레임워크의 사용자 접근성 향상을 위한 작업을 진행하였다. glTF 형식의 파일을 로드 속도와 관련하여 사용자 경험을 높이기 위한 기술 세부 개선을 진행하였다. 해당 파일이 고해상도일수록, Geometry Node 작업이 많은 디지털 트윈 모델일수록 로드 속도가 느려지는 점은, Meshopt Compression을 진행해 로드 속도를 올리는 방향성으로 개발하였다. 해당 과정에서 이용한 Meshoptimizer는 3D 메쉬 모델링 파일의 크기를 줄이고, GPU 캐시를 활용하기 좋게 만들어 런타임 성능을 증가시키는 데 도움을 준다. 그리고 진행 중인 디지털 트윈 모델에서 애니메이션을 이용하는데, 애니메이션 파일들이 포함된 경우에도 데이터를 압축시켜 줄 수 있게 한다. 이러한 장점을 이용하여 기존 메쉬 모델을 압축시킨 결과, 기존 용량에 비해 90% 이상의 압축률을 보여 로드 속도 개선에 큰 영향을 주었다. 하지만 디지털 트윈이라는 목표에 맞게 고해상도의 예측 메쉬 모델 관찰자적인 부분도 필요하다고 판단되어, 사용자가 지정한 날짜의 예측 메쉬 모델 렌더링 부분에서만 고해상도로 표출하게 진행하였다.

3. 프레임워크 VR 포맷 파일 제공

Blender에서 생성한 디지털 트윈을 위한 메쉬 모델 파일은 웹 브라우저뿐만 아니라, VR 콘텐츠로써 이용할 수 있는 시각화 기술로 제공한다. 먼저 Blender에서 생성한 최종 메쉬 모델링 파일을 Unity로 옮겨서 VR 파일로 추출하는 것인데, Hololens 2와 Oculus Quest 2에서 이용할 수 있게 추출하여 제공한다. 현재로서는 메쉬 모델 파일 자체와 심플한 장면 안에서 메쉬 모델 파일 넣은 화면을 제공하는 기능으로 구현하였다. 해당 몰입형 시각화로서 기능을 통해 작물의 성장을 구간별 데이터별로 지켜보는 스마트팜 체험 시스템으로 제공하는 기능이다.

Fig. 10.

Observing paprika growth with immersive visualization through VR

Ⅴ. 개발 결과 및 고찰

본 논문은 생육 정보 및 환경 정보를 통한 디지털 트윈 시각화 기술을 통해 스마트팜 프레임워크를 구축하였다. 스마트팜 프레임워크 개발을 위해 실험에 이용할 대표적인 작물로 파프리카를 선정하였으며, 생장 정보 및 환경 정보를 취득하여 개발을 진행하였다. 5분 주기로 업데이트되는 방대한 데이터를 사용자에게 몰입적으로 가시화될 수 있도록 다양한 시각화 방법을 적용한 프레임워크를 구축하였다. 메인 웹 프레임워크는 Next.js를 이용하였으며 클라이언트에서 생육 정보와 환경 정보를 디지털 트윈으로 표출할 수 있도록 개발하였다. 개발언어는 자바스크립트를 이용해 메인 웹 프레임워크를 구축하였고, Blender에서 3D 모델의 편집이 가능하도록 python을 이용하였다. 데이터베이스는 MariaDB를 로컬 환경에서 개발 시에 관리 도구로 DBeaver를 통해 테스트 환경을 이용했다.

Fig. 11.

Digital twin crop modeling display page

최종적으로 배포 환경 테스트는 AWS의 EC2 모델을 이용하였고, Ubuntu 20.04버전으로 배포하여 클라이언트로 접속해 프레임워크 테스트를 진행했다. 로컬 개발 환경에서 동작하던 프레임워크 내의 시각화 기술들이 배포 시 좋은 사용자 경험을 줄 수 있는지, 동작에서 문제가 생기지 않는지 등 여러 요소를 점검했고 로컬 환경에서 실험하던 결과대로 동작하였다.

본 논문에서는 작물의 시계열 데이터 기반의 차트 및 도표를 통한 시각화 기술 외에도, 디지털 트윈 모델을 통해 작물의 시계열 데이터 변화 추이를 더욱 시각적으로 제공할 수 있는 기술을 개발하였다. 또한 기존의 시각화 기술과 융합하여 특정한 부분에서 시각화 또한 진행하였다. 위의 연구 결과들이 앞으로 비가시성 시계열 데이터들을 활용할 때 참고할 수 있는 새로운 시각화 방법들의 길을 제시했다고 판단된다.

Ⅵ. 결 론

본 논문은 스마트팜 시각화 프레임워크에서 생육 정보 및 환경 정보와 같은 비가시성 시계열 데이터를 여러 시각화 기술로 접목하였다. 접근성이 좋은 웹 프레임워크로 구축함과 동시에 고안한 여러 시각화 기술들을 하나의 플랫폼 내에서 보여줄 수 있다는 것은 통합적인 스마트팜 프레임워크 기술 구현 측면에서 의의가 있다고 생각한다. 또한 스마트팜에서 취득하는 시계열 데이터들을 여러 시각화 기술 방면으로 활용 가능하다는 기술적인 가능성을 보여주었다고 판단된다. 이를 통해 스마트팜 프레임워크의 사용자 접근성을 높이고, 병해 발생 상황을 예측하고 제공하여 사용자가 어떤 환경 정보가 영향을 미치는지 쉽게 파악할 수 있도록 도와서 병해를 방지할 수 있게 한다.

Acknowledgments

이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No.2021-0-00751, 0.5mm 급 이하 초정밀 가시 비가시 정보 표출을 위한 다차원 시각화 디지털 트윈 프레임워크 기술개발)

References

• Library, https://purdueglobal.libanswers.com/faq/149110, (accessed Aug. 03, 2018).
• Django, https://www.djangoproject.com, (accessed Aug. 03, 2005).
• Ruby on Rails, https://rubyonrails.org, (accessed April. 24, 2004).
• React, https://ko.legacy.reactjs.org/, (accessed May. 29, 2013).
• Vue, https://vuejs.org/, (accessed February. 05, 2014).
• Next.js, https://nextjs.org/, (accessed October. 25, 2016).
• MariaDB, https://mariadb.org/, (accessed October. 29, 2019).
• blender, https://www.blender.org/, (accessed January. 2, 1994).
• glTF, https://www.khronos.org/gltf/, (accessed October. 19, 2015).
• Kunying Li and Yu Ding, “The Design and Research of Front-End Framework for Microservice Environment”, In Institute of Electrical and Electronics Engineers(IEEE), 2020 [https://doi.org/10.1109/CIBDA50819.2020.00036]
• Elahe Najafi and Ahmad Barrani “KASRA Framework: A Service Oriented Enterprise Architecture Framework (SOEAF)” In Institute of Electrical and Electronics Engineers(IEEE), 2010 [https://doi.org/10.1109/SERVICES.2010.41]
• S.Yasodha and S.S.Dhenakaran “An ontology-based framework for Semantic Web Content Mining” In Institute of Electrical and Electronics Engineers(IEEE), 2014 [https://doi.org/10.1109/ICCCI.2014.6921722]
• Thomas Hardjono and David L. Shrier. “TRUSTED DATA: A New Framework for Identity and Data Sharing” In Institute of Electrical and Electronics Engineers(IEEE), 2019 [https://doi.org/10.7551/mitpress/12439.001.0001]
• G. S. Martínez, S. Sierla, T. Karhela and V. Vyatkin, "Automatic Generation of a Simulation-Based Digital Twin of an Industrial Process Plant," In Institute of Electrical and Electronics Engineers(IEEE), pp. 3084-3089, 2018
• Ben Mildenhall and Pratul P. Srinivasan.“NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis” In Proceedings of the European Conference on Computer Vision (ECCV), 2020. [https://doi.org/10.48550/arXiv.2003.08934]
• Patrick M. J. Dubois; Zhao Han, “An Interactive Circular Visual Analytic Tool for Visualization of Web Data” In Institute of Electrical and Electronics Engineers(IEEE), 2016 [https://doi.org/10.1109/WI.2016.0127]