내용을 한눈에 보기:단기간에 밭에 있는 모든 작물의 생장 조건을 파악하고 예측할 수 있다면 최적의 수확 날짜를 설정하고, 비표준 크기의 작물 수를 줄이고, 수입 손실을 최소화할 수 있을 것입니다. 이에 대응해 도쿄대와 지바대 연구진은 AI+드론 솔루션을 제안했습니다.

키워드:농업 드론 원격 감지 영상

저자 | 리바오주

편집자 | 산양, 쉐차이

봄에는 밭을 갈고, 여름에는 김을 뽑고, 가을에는 수확하고, 겨울에는 저장하는데, 이 네 가지 일을 제때에 해야 오곡이 고갈되지 않고 백성에게 식량이 남는다.

오랜 세월 동안 사람들은 수년간 전수된 경험에 따라 열심히 일해 왔고, 일반적인 성숙 주기에 따라 작물을 수확해 왔습니다. 그러나 재배 조건이 다르기 때문에 수확 시 작물의 품질, 크기, 성숙도에 필연적으로 약간의 차이가 발생합니다. 획일적인 기계 수확은 판매나 소비 기준에 맞지 않는 작물을 대량으로 낭비하게 되어 결과적으로 수익이 감소하게 됩니다. 그래서,수확 날짜는 기준을 충족하지 못하는 작물의 비율과 농부의 최종 총 수입에 중요한 영향을 미칩니다.

드론이 들판 위를 날면서, 사람들은 드론 항공 사진 데이터를 기반으로 최적의 수확 날짜를 예측하는 방법을 탐구하기 시작했습니다.도쿄대학교와 지바대학교의 연구진은 드론을 이용해 식물 표현형 데이터를 수집하는 체계적인 프로세스를 개발했습니다.드론 원격 감지 및 이미지 분석을 바탕으로 브로콜리 머리 하나하나의 크기를 예측하고, 이 데이터를 온도 기반 성장 모델에 입력하여 최적 수확 날짜를 예측합니다.

2년간의 현장 적용 실험 결과, 이 시스템은 브로콜리 머리 크기를 높은 정확도로 추정하고 관련 데이터를 기반으로 최적 수확 날짜를 성공적으로 예측했습니다. 이를 통해 농업 손실을 줄이고 수익을 늘릴 수 있었습니다. 현재 관련 결과는 "Plant Phenomics"에 게재되었습니다.

본 결과는 "Plant Phenomics"에 게재되었습니다.

논문 링크:

https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4

01 성장 모델 + 가격 데이터:이익 예측 모델을 생성하는 6단계

브로콜리를 예로 들어, 연구팀은 드론을 사용하여 브로콜리 성장 기간 동안 다양한 시간대에 모든 브로콜리 머리의 머리 크기 정보(기하학적 특징)를 얻었습니다. 그런 다음 그들은 머리 크기와 온도 데이터 사이에서 간단한 성장 모델을 확립하고, 시장 조사를 통해 얻은 가격 데이터와 결합하여 최적 수확 날짜에 대한 이익 예측 모델을 확립했습니다.

이 방법은 주로 6가지 핵심 단계로 구성됩니다.

1단계: 드론 비행으로 원본 이미지 얻기

* 실험 시간:2020-2021

* 실험 장소:일본 도쿄 지속 가능한 농업 및 생태계 서비스 연구소(ISAS) 실험 농장

* 항공 사진 장비:DJI 매빅 2 Pro 및 DJI 팬텀 4 RTK

* 이미지 데이터 :224GB(2020) + 72GB(2021)

DJI 팬텀 4 RTK, 이미지 출처: DJI 공식 홈페이지 

2단계: 항공 이미지 전처리(사진측량)

연구진은 전문적인 드론 이미지 처리 소프트웨어인 Pix4DMapper Pro를 사용하여 드론으로 촬영한 이미지를 측정하고 3D 재구성을 통해 이미지 데이터를 사전 처리했습니다. 기본 소프트웨어 매개변수를 사용하여디지털 정사영상(DOM)과 디지털 표면 모델(DSM)이 생성되었습니다.

3D 재구성에 사용된 컴퓨터 구성은 다음과 같습니다.

인텔 i9-7980XE CPU 2.6GHz, 64GB RAM, NVIDIA GeForce GTX 1080Ti GPU 2개

3단계: 묘목 감지

검출 알고리즘: YOLO v5, NMS 알고리즘

참고: NMS 알고리즘 전체 이름 비최대 억제, 비최대 억제 알고리즘

묘목 단계에서 연구진은 YOLO v5를 사용하여 브로콜리 머리의 위치를 감지하고 NMS 알고리즘을 사용하여 버퍼 영역 내에서 반복된 감지 결과를 병합했습니다.

경계 상자의 중심점을 브로콜리의 위치로 간주하고, 탐지 결과를 오픈 소스 지리 정보 시스템인 Quantum GIS에서 수동으로 확인하고 조정하여 탐지가 누락되거나 중복되지 않도록 했습니다.

브로콜리 모종 테스트 워크플로

4단계: 머리 분할

세분화 모델: BiSeNet v2

브로콜리 머리 자르는 과정

실험 중 딥러닝 데이터 주석 및 처리 작업 부하를 줄이고 일부 토양 및 잡초의 영향을 제거하기 위해,연구자들은 시계열 데이터 융합을 가이드로 사용했습니다.가공 영역을 줄이고, 브로콜리 머리 분할에는 묘목 주변의 정사각형 영역(약 100×100픽셀, 브로콜리 머리보다 약간 큼)만 사용했습니다.

또한,연구자들은 또한 데이터 주석 작업량을 줄이기 위해 대화형 주석을 사용했습니다.

참고: 대화형 주석은 지능형 알고리즘 기반 방법을 사용하여 주석 샘플을 선택하여 딥 러닝 모델 성능을 극대화하고 주석 비용을 줄이는 것을 말합니다.

연구자들은 오픈소스 이미지 주석 도구인 LabelMe를 사용했습니다.세분화 모델은 수동으로 레이블이 지정된 소량의 초기 학습 데이터를 기반으로 학습됩니다. 그런 다음 이미지를 무작위로 선택하여 분할 결과에 적용했습니다. 분할 결과는 Python 스크립트를 사용하여 LabelMe JSON 형식으로 변환되었고, 새로운 교육 데이터의 레이블은 수동으로 조정되었습니다.

이 과정은 분할 결과를 조정할 필요가 없을 때까지 반복됩니다.

5단계: 브로콜리 머리 크기를 예측하기 위한 성장 모델 생성(크기 계산)

예측 모델: 시간 경과에 따른 브로콜리 머리 길이(HD)를 예측하는 데 사용되는 비선형 회귀 모델 

T는 일일 평균 기온의 합이며, 하한은 0°C, 상한은 20°C입니다.

a, b, c는 결정될 매개변수입니다.

6단계: 이익 예측 모델 생성

시장 가격 조사를 바탕으로 성장 모델과 결합하여 이익 예측 모델이 생성됩니다.

02 2년간의 현장 실험 결과, 분할 모델이 우수한 성능을 보였습니다.

훈련 데이터를 준비할 때, 우리는 녹색 브로콜리 식물과 갈색 흙 사이의 명확한 차이를 고려합니다.연구자들은 대표적인 섹터 2개만을 훈련 이미지로 선택했습니다.

2020 브로콜리 모종 위치 감지 예시(AF) 

대화형 주석을 통한 머리 분할 인스턴스(GI)

연구진은 초기 데이터 학습을 위해 2020년의 항공 사진을 무작위로 선택하고 위의 GI 그림에서 볼 수 있듯이 가능한 한 간단하게 브로콜리 머리 5개에 주석을 달고, 이러한 주석으로 BiSeNet 모델(v0)을 학습시켰습니다.

그런 다음 v0 모델을 각 항공 조사에서 무작위로 선택한 이미지에 적용했고, 연구자들은 분석 결과를 수동으로 조정하여 v1 모델의 새로운 훈련 데이터로 저장했습니다. 이 단계는 모델이 더 나은 분할 결과를 얻을 때까지 반복적으로 반복되며, 이로써 v2 모델이 형성됩니다.

4번의 반복 후, 모델 성능이 크게 향상되어 중간 IoU(Intersection over Union)가 88.33 %에 도달했습니다.

또한 연구진은 드론을 이용한 HD 측정의 정확성을 검증하기 위해 현장 수동 측정 데이터와 결과를 비교했습니다.

드론 측정 데이터와 수동 현장 측정 데이터 비교

결과는 브로콜리 머리 크기 데이터의 전반적인 분포가 두 가지 사이에서 거의 동일했으며 결정 계수 R²≥0.57임을 보여주었습니다.전반적으로, UAV 기반 측정을 통해 밭 전체에 걸친 브로콜리의 고화질 분포를 정확하게 파악할 수 있었습니다.

03 비선형 회귀 모델을 기반으로 최적 수확일 예측

연구자들은 꽃 머리의 직경(HD)이 약 3~3.5cm일 때 드론 기반 측정을 시작했습니다.

첫 번째 비행에 대한 정규화된 온도 T(0)을 얻기 위해(HD는 약 9.5cm), 연구자들은 아래 그림과 같이 HD 데이터에서 T(0)을 계산하기 위해 이전 모델을 역전시켰습니다. 그런 다음 일일 기온과 그 이후의 날들(i)에 대한 (Ti)를 계산하고 마지막으로 모델을 회귀시킵니다.

연구자들은 이 모델을 바탕으로 시간에 따라 변화하는 T를 사용하여 첫 번째 항공 조사 이후 브로콜리 머리 크기를 계산했습니다.

브로콜리 머리 크기 예측 모델을 위한 데이터 처리 그림

모든 수치는 단지 예시일 뿐 실제 결과가 아닙니다.

A: 다양한 날짜에 현장에서 측정한 직경입니다. 밝은 색상을 시작 날짜로 사용하였고, 브로콜리 머리의 크기는 약 3-3.5cm였습니다. T는 일일 평균 기온의 합계입니다. ΔTi는 전체 온도 편차입니다.

B: C에 나타난 회귀 분석에 사용하기 위해 이전 표를 2열 표로 재구성합니다.

D: 이전 회귀 모델은 HD에서 T를 초기화하는 데 사용됩니다. 이후 날짜의 T에 편차 ΔTi를 더한 값입니다.

E: T에서 HD까지의 회귀 예측 모델에 이전 데이터를 사용합니다.

수입은 드론으로 예측한 꽃 머리 직경(HD)을 사용하여 계산되었으며, 각 날짜에 크기 기준당 개체 수를 세었습니다.

마지막으로, 각 수확 날짜에 대한 총 수익은 각 크기 등급에 대한 수량과 배송 가격을 곱하여 계산했습니다.가장 높은 수입이 발생하는 날짜가 최적의 수확 날짜로 선택됩니다.

04 수확일의 미세한 차이는 야채 농가의 수익에 엄청난 차이를 가져올 수 있습니다.

연구팀은 초기화 및 예측 모델을 기반으로 수확 기간 동안 모든 브로콜리 크기의 분포를 계산한 다음, 모든 날짜에 대한 비표준 크기 브로콜리의 비율과 총 수익을 계산했습니다.

2020년 실험에서는 5월 23일이 최적의 수확 날짜였으며, 비표준 크기의 브로콜리 비율이 최소화되고 총 수익이 최대화되는 날짜였습니다. 2021년 실험에서는 5월 17일이 최적의 수확 날짜로 확인되었습니다.

동시에 연구자들은 최적 날짜로부터 수확 시기가 1일만 벗어나도 상당한 수입 손실이 발생할 수 있다는 사실을 발견했습니다. 즉, 3.7%가 20.4%로 감소하는 것입니다.

2020년과 2021년 시험에서 예측된 HD 분포, 비표준 크기 브로콜리의 비율 및 총 수익, 주황색과 노란색이 최적 수확 날짜입니다.

또한 이 연구에서는비표준 크기 브로콜리의 비율과 총 수익은 수확 날짜에 따라 급격하게 바뀌었습니다.예를 들어, 최적 수확일보다 1일 일찍 또는 늦게 수확하면 비표준 크기의 브로콜리 양이 약 5% 증가하고 총 수익은 약 20% 감소하지만, 최적 수확일보다 2일 늦게 수확하면 비표준 크기의 브로콜리 양이 약 15% 증가하고 총 수익은 약 40% 감소합니다.

05 지능형 기술은 기존 노동 모델을 개혁합니다

"음식은 국민의 첫 번째 필수품이며, 농업은 식량의 원천입니다." 농업이 인간 사회에 미치는 중요성은 굳이 설명할 필요가 없습니다. 동시에, 사회 및 경제 발전의 중요한 기둥인 농업은 지능형 업그레이드에 가장 먼저 참여하는 산업 중 하나이기도 합니다.다양한 농경지 감지 시스템, 지능형 관개 장비, 무인 수확 장비가 밭에서 열심히 일하기 시작했습니다.

농업에 드론을 적용하는 데 주력하던 중, 5G, 머신비전, 빅데이터 등 기술이 꾸준히 발전하면서 일반 국민의 가정에도 드론이 들어오고 있습니다.

초기에 드론은 주로 식물 보호 작업에 사용되었으며, 비료와 살충제를 효율적이고 균일하게 살포함으로써 인력과 시간 비용을 크게 절감할 수 있었습니다. 이후 항공 사진 기술이 더욱 발전하고 비용이 낮아지면서 농업 분야에서 더 많은 활용이 가능해졌습니다. 드론 기반 농지 검사 및 작물 성장 시각화와 같은 응용 분야가 새로운 농업의 하이라이트가 되었습니다.

그것은 예측 가능하다AI 관련 기술이 지속적으로 구현됨에 따라 더욱 진보된 결과가 실험실을 벗어나 농장으로 옮겨가면서 "땅을 향하고 다시 하늘을 향하는" 작업 모드가 개선될 것입니다.

참조 링크:

[1]https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4