Past Issue

농산업은 과거부터 현재까지도 중요한 분야로 자리매김하고 있다. 과거 1차원적이던 농산업의 관리 기술 방식은 현재 ICT(Information and Communications Technologies) 기술을 접목해 시간과 공간의 제약 없이 작물을 관리하는 스마트팜 기술로 발전하였다. 스마트팜 기술은 농장의 생육 정보와 환경 정보의 시계열 데이터를 주기적으로 수집하고, 이를 시각화하여 작물이나 외부 환경 등을 관리하는 프레임워크를 제공한다. 결과적으로 농작물을 최적의 상태로 관리할 수 있게 하며, 생산량 증대 및 직접적인 노동 시간의 감소를 통해 농산업의 환경을 개선할 수 있게 한다.

이러한 특징에 따라 스마트팜 프레임워크의 중요성은 매우 높으며, 사용자에게 간편하고 효율적인 작물 관리 수단을 제공해야 한다. 이에 따라 많은 스마트팜 기술은 작물 관리를 위해 다양한 센서를 통해 작물의 생육 정보와 환경 정보들을 최대한 수집하고 데이터화하는 작업이 필수적이다. 하지만 작물 자체의 병이나 해충으로 인한 피해 등의 외부 요인들은 데이터 수집에 어려움을 준다. 특히 실내 농장의 경우 데이터로 수집하기 어려운 외부 요인을 통제할 수 있지만, 실외 농장인 경우 외부 요인을 통제하기 어렵다.

본 논문에서는 이러한 외부 요인으로 인한 병해 방지 및 농장 관리 방법으로 디지털 트윈 기술을 통한 프레임워크 내 농작물의 시각화 기술을 제안한다. 실험은 실제 파프리카 농장의 정보를 기반으로 진행하며, 파프리카의 이미지 데이터를 디지털 트윈 모델링에 활용하고, 생육 정보 및 환경 정보는 도표와 차트로 시각화하여 생육 상황 및 생산량 예측에 사용한다.

제안하는 디지털트윈 프레임워크는 수집된 디지털 트윈 데이터를 활용해 Blender를 통한 3D 렌더링과 함께 작물의 예측 성장 및 질병 상황에 대한 시뮬레이션 결과를 제공한다. 이를 통해 프레임워크를 이용하는 사용자가 실제 농장의 작물들에 대한 변화를 시각적으로 알 수 있도록 하여 작물의 원활한 성장을 도울 수 있도록 한다.

본 논문의 구성은 2장에서 스마트팜 프레임워크에 이용한 기술들의 동향에 대해서 소개한다. 3장에서는 디지털 트윈 구축 과정에 대해서 소개한다. 4장으로 스마트팜 프레임워크를 구축한 기술들에 대한 과정을 소개하며, 마지막으로 스마트팜 프레임워크의 결과물에 관해서 이야기하며 결론을 맺는다. 최종적으로 스마트팜 프레임워크 내에서 파프리카 3D 모델링 데이터의 활용법들을 제안하며, 이를 통해 앞으로 스마트팜 프레임워크 내에서 이용할 수 있는 다양한 시각화 기술의 발전을 기대한다.

프레임워크의 정의는 소프트웨어 개발에서 미리 만들어진 구조나 도구의 집합으로, 애플리케이션을 빠르고 효율적으로 개발할 수 있도록 지원하는 것을 의미한다. 프레임워크는 라이브러리^[1], API 및 코드 구성을 위한 규칙 등을 제공하여 일반적인 프로그래밍 작업을 더욱 쉽게 수행할 수 있도록 한다. 여러 프레임워크 중 인기 있는 프레임워크들은 각 특성이 있으며, 대표적으로 이용되는 프레임워크는 Django^[2], Ruby on Rails^[3], React^[4], Vue^[5] 등이 있다.

1. 프레임워크 아키텍처

본 논문에서는 실제 생육 중인 파프리카의 일별 데이터(생육 정보, 환경 정보)를 활용한 시각화 프레임워크를 개발할 목적으로 그림1과 같이 아키텍처를 설계하였다. 클라이언트가 보는 화면은 Next.js^[6]를 통해 구성하였으며, 데이터베이스는 MariaDB^[7]를 이용하였다. 최종적인 스마트팜 프레임워크 배포는 AWS(Amazon Web Service)를 이용하도록 설계하였다.

Fig. 1. 
Digital twin system structure

3. Blender

Blender^[8]는 3D 컴퓨터 그래픽 제작 소프트웨어로 GPL 라이선스 기반의 오픈 소스 프로그램이다. 제품 디자인, 게임 모델링, VFX 아트, 애니메이션, 피규어 아트, 건축 등의 다양한 분야에서 사용할 수 있다. 특징으로는 특유의 가벼움, 인터넷 커뮤니티들의 지식 데이터베이스, 효율적인 단축키, 안정성, 쉬운 UX가 있다.

위와 같은 장점들로 인해 본 논문에서는 디지털 트윈 모델 작업을 Blender로 진행하였다. 실제 촬영한 파프리카 사진을 기반으로 3D 모델링 작업을 거쳤으며, Blender에서 자체적으로 제공하는 Geometry Node 기능을 이용하여 생육 정보 및 환경 정보 기반의 시뮬레이션 작업을 진행하였다. 이렇게 제작된 3D 메쉬 모델은 glTF파일로 변환한 뒤, 웹 라이브러리인 Three.js를 통해 스마트팜 프레임워크에서 이용하였다.

Fig. 2. 
Digital twin expression architecture with Blender

Blender에서 디지털 트윈을 위한 3D 모델링 제작은 실제 파프리카 이미지 데이터 기반으로 진행하였으며, 실제 파프리카 데이터는 전라북도 소재의 파프리카 농장에서 2021년 7월부터 생육 및 환경 정보들을 수집하였다. 생육 정보는 여러 대의 카메라를 다각도에 설치해 촬영하고 실측하여 표1과 같이 데이터들을 취득하였으며, 환경 정보 수집을 위한 센서 데이터 정보는 다양한 센서를 파프리카 농장에 설치해 측정되는 센서 데이터값을 5분 간격으로 서버에 동기화하여 표2와 같이 취득하였다. 현재까지 약 2년 이상 수집한 데이터들을 기반으로 MariaDB 기반의 데이터베이스를 구축하였다.

파프리카 농장에서 취득한 생육 정보를 기반으로 실제 3D 모델링을 한 후 디지털 트윈으로 표출하기 위해 Blender 내의 Geometry Node 기능을 이용한다.

이 방식을 이용할 경우 기존의 모델링 방식인 객체를 만들고 수정하는 방식과 더불어 기하학 방식을 따라 모델링을 진행하게 된다. 즉, 하나의 3D 모델로부터 Blender의 메쉬 편집 기능을 통해 수치를 변경함으로써 다양한 모델을 만들어 낼 수 있다는 장점이 있다. 이는 작물의 생장 변화 중 잎이 자라는 경우나, 잎의 높이가 높아지는 경우, 열매가 커지는 경우, 전체적으로 성장한 경우 등 작물의 생육 정보를 표현하기에 알맞은 모델링 방식이다.

따라서 전반적인 3D 모델링 작업 방식은 취득한 실측 생육 정보를 기반으로 Geometry Node 기능을 이용해 다양한 식물의 생장 표현이 가능한 파프리카 모델링을 진행하였다. 먼저 파프리카의 잎, 줄기, 열매 등 실측한 수치를 기반으로 모델링이 되도록 크기와 비율을 맞추었다. 그리고 실측값의 변화에 따라 3D 모델의 변형이 가능하도록 Blender 내의 Python 스크립트 기능을 이용하여 입력값에 따른 3D 모델의 세부 크기 조절을 자동화하였다. 이를 통해 실제 파프리카의 생장 정보를 더욱 정밀하게 표현할 수 있다.

Fig. 3. 
3D Modeling with Blender

모델링 작업 이후 취득한 환경 정보를 기반으로 일어날 수 있는 생육 정보의 변화 시뮬레이션들을 생성하였다. 본 논문에서는 환경 정보를 통해 발생할 수 있는 10가지 이상의 상황을 가정하여 시뮬레이션들을 생성하였다. 표 3은 환경 정보 변화에 따른 작물 생장 결과 시뮬레이션을 나타낸다. 온도가 기존 관측치보다 높거나 습도가 평소보다 습할 경우 등의 간단한 상황부터 과 생장, 흰가루병과 같은 특정한 병해 상황에 대해 가정하여 시뮬레이션들을 생성하였으며 그림 4와 같이 작업하였다.

Fig. 4. 
Simulation on crops when growth and environmental information change

구체적으로는 환경 정보가 바뀔 때 작물의 줄기, 잎, 열매 부분에 적용되어 변화가 이루어지도록 각 환경 정보마다 구간들을 설정하였다. 예를 들어 환경 정보 중 하나인 온도가 높아져 작물이 시들기 시작하는 시뮬레이션에서는 온도가 20~25°C, 25~30°C, 30~35°C와 같은 구간들을 지정했다. 이후 작물을 줄기, 잎, 열매로 세분화하여 나눈 뒤, 작물이 시드는 속도 구간을 개별로 조절하여 실제로 관측되는 작물이 시드는 상황에 맞추어 만들었다. 최종적으로 해당 모델들은 glTF 파일 형식으로 저장한 뒤, 진행 중인 스마트팜 프레임워크 내에서 Three.js를 통해 시각적으로 보여줄 수 있도록 구성하였다.

Fig. 5. 
Segmentation expression by step in crop-specific situation

본 논문은 생육 정보 및 환경 정보를 통한 디지털 트윈 시각화 기술을 통해 스마트팜 프레임워크를 구축하였다. 스마트팜 프레임워크 개발을 위해 실험에 이용할 대표적인 작물로 파프리카를 선정하였으며, 생장 정보 및 환경 정보를 취득하여 개발을 진행하였다. 5분 주기로 업데이트되는 방대한 데이터를 사용자에게 몰입적으로 가시화될 수 있도록 다양한 시각화 방법을 적용한 프레임워크를 구축하였다. 메인 웹 프레임워크는 Next.js를 이용하였으며 클라이언트에서 생육 정보와 환경 정보를 디지털 트윈으로 표출할 수 있도록 개발하였다. 개발언어는 자바스크립트를 이용해 메인 웹 프레임워크를 구축하였고, Blender에서 3D 모델의 편집이 가능하도록 python을 이용하였다. 데이터베이스는 MariaDB를 로컬 환경에서 개발 시에 관리 도구로 DBeaver를 통해 테스트 환경을 이용했다.

Fig. 11. 
Digital twin crop modeling display page

최종적으로 배포 환경 테스트는 AWS의 EC2 모델을 이용하였고, Ubuntu 20.04버전으로 배포하여 클라이언트로 접속해 프레임워크 테스트를 진행했다. 로컬 개발 환경에서 동작하던 프레임워크 내의 시각화 기술들이 배포 시 좋은 사용자 경험을 줄 수 있는지, 동작에서 문제가 생기지 않는지 등 여러 요소를 점검했고 로컬 환경에서 실험하던 결과대로 동작하였다.

본 논문에서는 작물의 시계열 데이터 기반의 차트 및 도표를 통한 시각화 기술 외에도, 디지털 트윈 모델을 통해 작물의 시계열 데이터 변화 추이를 더욱 시각적으로 제공할 수 있는 기술을 개발하였다. 또한 기존의 시각화 기술과 융합하여 특정한 부분에서 시각화 또한 진행하였다. 위의 연구 결과들이 앞으로 비가시성 시계열 데이터들을 활용할 때 참고할 수 있는 새로운 시각화 방법들의 길을 제시했다고 판단된다.

본 논문은 스마트팜 시각화 프레임워크에서 생육 정보 및 환경 정보와 같은 비가시성 시계열 데이터를 여러 시각화 기술로 접목하였다. 접근성이 좋은 웹 프레임워크로 구축함과 동시에 고안한 여러 시각화 기술들을 하나의 플랫폼 내에서 보여줄 수 있다는 것은 통합적인 스마트팜 프레임워크 기술 구현 측면에서 의의가 있다고 생각한다. 또한 스마트팜에서 취득하는 시계열 데이터들을 여러 시각화 기술 방면으로 활용 가능하다는 기술적인 가능성을 보여주었다고 판단된다. 이를 통해 스마트팜 프레임워크의 사용자 접근성을 높이고, 병해 발생 상황을 예측하고 제공하여 사용자가 어떤 환경 정보가 영향을 미치는지 쉽게 파악할 수 있도록 도와서 병해를 방지할 수 있게 한다.