内容の概要:圃場内のすべての作物の成長状況を短期的に判断して予測できれば、最適な収穫日を設定でき、規格外の大きさの作物の数を減らし、収入の損失を最小限に抑えることができます。この点に関して、東京大学と千葉大学の研究者がAI + ドローンソリューションを提供しました。

キーワード:農業用 UAV リモート センシング画像

著者 | 李宝珠

編集者 | 三陽、雪彩

春に耕して夏に働き、秋に収穫して冬に貯蔵するこの4つがすべて旬であるため、穀物は枯渇せず、人々は十分に食べることができます。

人々は長い間、受け継がれてきた経験に基づいて懸命に栽培し、普遍的な成熟サイクルに従って作物を収穫してきましたが、生育条件の違いにより、品質や大きさ、成熟度にはどうしても差が生じます。統一された機械化された収穫により、販売または消費の基準を満たさない作物の多くが廃棄され、利益が減少します。それで、収穫日は、基準を満たさない作物の割合、そして最終的には農家の総収入にとって重要です。

ドローンが畑に飛来するにつれ、人々はドローンの航空画像データに基づいて最良の収穫日を予測することも検討し始めています。東京大学と千葉大学の研究者らは、ドローンを使用して植物の表現型データを収集する体系的なプロセスを開発しました。ドローンのリモートセンシングと画像分析に基づいて、各ブロッコリーの頭のサイズが予測され、そのデータが温度に基づく成長モデルに入力されて、最適な収穫日が予測されます。

2 年間の野外適用実験を経て、このシステムはブロッコリーの頭のサイズを正確に推定し、関連データに基づいて最適な収穫日を予測することに成功しました。これにより、農業損失を削減し、利益を増やすことができます。現在、関連する成果は「Plant Phenomics」に掲載されています。

この成果は「Plant Phenomics」に掲載されました

論文リンク:

https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4

01 成長モデル＋価格データ:利益予測モデルを生成するための 6 つのステップ

ブロッコリーを例に挙げると、研究チームはドローンを使用して、ブロッコリーの成長期のさまざまな段階ですべてのブロッコリーの頭のサイズ情報（幾何学的特徴）を取得し、その後、頭のサイズと温度データの間の単純な成長モデルを確立しました。それを市場調査を通じて得られた価格データと組み合わせて、最良の収穫日の利益予測モデルを確立します。

この方法には主に 6 つの主要なステップが含まれています

ステップ 1: ドローン飛行によるオリジナル画像の取得

※実験時間：2020-2021

※実験場所：持続可能な農業生態系サービス研究所 (ISAS) 実験農場、東京、日本

※空撮機材：DJI Mavic 2 Pro および DJI Phantom 4 RTK

※画像データ：224 GB (2020) + 72 GB (2021)

DJI Phantom 4 RTK、出典: DJI 公式ウェブサイト 

ステップ 2: 航空画像の前処理 (写真測量)

研究者らは、プロ仕様のドローン画像処理ソフトウェア Pix4DMapper Pro を使用して、ドローンで撮影した画像を測定し、3D 再構成を通じて画像データを前処理しました。デフォルトのソフトウェアパラメータを使用すると、デジタル オルソマップ (DOM) とデジタル サーフェス モデル (DSM) が生成されました。

3D再構成に使用するコンピュータ構成は次のとおりです。

Intel i9-7980XE CPU 2.6GHz、64GB RAM、2 NVIDIA GeForce GTX 1080Ti GPU

ステップ3：ブロッコリー苗位置検出（苗検出）

検出アルゴリズム：YOLO v5、NMSアルゴリズム

注: NMS アルゴリズムの完全名 非最大抑制、非最大抑制アルゴリズム

苗の段階で、研究者らはブロッコリーの頭の位置検出にYOLO v5を使用し、NMSアルゴリズムを使用してバッファ領域内の重複した検出結果をマージしました。

次に、境界ボックスの中心点がブロッコリーの位置とみなされ、検出結果はオープンソースの地理情報システム Quantum GIS で手動で確認および調整され、検出漏れや重複がないことが保証されます。

ブロッコリー苗の試験ワークフロー

ステップ 4: ブロッコリーの頭部セグメンテーション (頭部セグメンテーション)

セグメンテーション モデル: BiSeNet v2

ブロッコリーの頭割りワークフロー

実験中、ディープラーニングデータのアノテーションと処理の負荷を軽減し、一部の土壌や雑草の影響を排除するために、研究者らは時系列データフュージョンをガイドとして使用し、処理領域が縮小され、苗の周囲の正方形の領域 (約 100 × 100 ピクセル、ブロッコリーの頭よりわずかに大きい) のみがブロッコリーの頭のセグメンテーションに使用されました。

また、研究者は、データ注釈の作業負荷を軽減するために対話型注釈も使用します。

注: インタラクティブなアノテーションとは、インテリジェントなアルゴリズムベースの方法を使用してラベル付きサンプルを選択し、深層学習モデルのパフォーマンスを最大化し、ラベル付けのコストを削減することを指します。

研究者は、オープンソースの画像注釈ツールである LabelMe を使用しました。少量の初期トレーニング データに手動でラベルが付けられ、それに応じてセグメンテーション モデルがトレーニングされます。次に、画像がランダムに選択されてセグメンテーション結果に適用され、Python スクリプトを使用してこれらの結果を LabelMe JSON 形式に変換し、新しいトレーニング データのラベルを手動で調整しました。

セグメンテーションの結果に調整が必要なくなるまで、このプロセスを繰り返します。

ステップ 5: ブロッコリーの頭のサイズを予測するための成長モデルを生成する (サイズ計算)

予測モデル: ブロッコリーの頭長 (HD) を経時的に予測するために使用される非線形回帰モデル 

Tは1日の平均気温の合計で、下限は0℃、上限は20℃です。

a 、 b および c は決定されるパラメータです

ステップ 6: 利益予測モデルの生成

市場価格調査に基づいて、成長モデルと組み合わせて、利益予測モデルが生成されます。

02 2 年間にわたるフィールド実験により、セグメンテーション モデルは優れたパフォーマンスを発揮しました

トレーニング データを準備するときは、緑色のブロッコリー植物と茶色の土壌の間の明らかな違いを考慮に入れてください。研究者らは、トレーニング画像として代表的な 2 つのセクターのみを選択しました。

2020年のブロッコリー苗位置検出例（AF） 

インタラクティブ アノテーション (GI) による頭部セグメンテーションのインスタンス

開始データ トレーニングとして、研究者らは 2020 年の航空画像の 1 つをランダムに選択し、上記の GI に示すように、ブロッコリーの約 5 つの頭にできるだけ簡単に注釈を付け、これらの注釈を使用して BiSeNet モデル (v0) をトレーニングしました。

その後、各航空調査からランダムに選択された画像に v0 モデルが適用され、研究者は分析結果を手動で調整し、v1 モデルの新しいトレーニング データとして保存しました。このステップは、モデルがより良いセグメンテーション結果を達成するまで繰り返し繰り返され、v2 モデルが形成されます。

4 回の反復後、モデルのパフォーマンスは大幅に向上し、88.33 % の中間 IoU (Intersection over Union) に達しました。

さらに、ドローンによる HD 測定の精度を検証するために、研究者らはその結果を現場での手動測定データと比較しました。

ドローン計測データと現場手動計測データの比較

結果は、ブロッコリーの頭サイズデータの全体的な分布が 2 つ間でほぼ同じであり、決定係数 R2≧0.57 であることを示しました。全体として、UAV ベースの測定により、農地全体にわたるブロッコリー HD の分布を正確に特徴付けることができました。

03 非線形回帰モデルに基づく収穫適日の予測

頭花の直径 (HD) が約 3 ～ 3.5 cm になったとき、研究者らはドローンによる測定を開始しました。

以下の図に示すように、最初の飛行 (HD は約 9.5 cm) の正規化温度 T(0) を取得するために、研究者らは以前のモデルを逆にして HD データから T(0) を計算しました。その後、その後の日 (i) の毎日の気温合計 (Ti) が計算され、最後にモデルが回帰されます。

このモデルに基づいて、研究者らは時間の関数として T を使用して、最初の航空調査後のブロッコリーの頭のサイズを計算しました。

ブロッコリー頭サイズ予測モデルのデータ処理図

すべての数値は単なる例であり、実際の結果ではありません

A：さまざまな日付の現場での測定直径。明るい色が開始日として使用され、ブロッコリーの頭のサイズは約3〜3.5 cmです。 T は毎日の平均気温の合計です。 ΔTi は合計温度偏差です。

B: C に示す回帰分析用に、前の表を 2 つの表に再構成します。

D: 前の回帰モデルを使用して HD から T を初期化します。 T にその後の日数の偏差 ΔTi を加えたもの。

E: T から HD までの回帰予測モデルに以前のデータを使用します。

UAV が予測した頭花直径 (HD) を使用して収入を計算し、日付ごとおよびサイズ標準ごとの個体数をカウントしました。

最後に、各サイズクラスの数量と出荷価格を乗算して、各収穫日の総収益を計算しました。最も収益の高い日が最適な収穫日として選択されます。

04 収穫日のわずかな違いが野菜農家の利益に大きく影響します。

研究チームは、初期化および予測モデルに基づいて、収穫期間中のすべてのブロッコリーのサイズの分布を計算し、次に標準サイズ以外のブロッコリーの割合とすべての日付の総収益を計算しました。

2020年の実験では、5月23日が最適な収穫日、つまり規格外の大きさのブロッコリーの割合が最小限に抑えられ、総収益が最大になる日だった。 2021年の試験では、5月17日が最適な収穫日と判断された。

同時に、研究者らは、収穫時期が最適日から 1 日ずれると、3.7% から 20.4% に減少し、かなりの収益損失が生じる可能性があることを発見しました。

2020 年と 2021 年の試験における HD 分布の予測、および規格外サイズのブロッコリーの割合と総収益。オレンジ色で最高の収穫日が表示されます。

さらに、この研究は次のことを示しています規格外サイズのブロッコリーの割合と総収益は収穫日によって急速に変化した。例えば、収穫適日より1日前後すると定形外ブロッコリーの数が約5％増加し、総収益が約20％減少しますが、収穫適日より2日遅いと収量が増加します。規格外のブロッコリーの量は約15％増加し、全体の利益は約40％減少します。

05 インテリジェントテクノロジーが伝統的な労働パターンに革命を起こす

「食糧は人々の第一の必需品であり、農業は食糧の源であると同時に、社会経済発展の重要な柱であることは改めて説明する必要はありません。」は、スマート アップグレードに取り組んだ最初の業界の 1 つでもあります。さまざまな農地検出システム、スマート灌漑設備、無人収穫設備が畑で活躍し始めています。

農業分野でのドローンの応用に焦点を当て、5G、マシンビジョン、ビッグデータなどの技術の継続的な発展に伴い、一般の人々の家庭にもドローンが飛来しています。

当初、ドローンは主に植物の保護作業を担当していましたが、より効率的かつ均一な施肥と農薬散布により、人的コストと時間コストが大幅に節約されました。それ以来、航空写真技術はより成熟し、コストも低下したため、ドローンによる農地検査や作物の成長の可視化などのアプリケーションが、新しい農業の注目を集めるようになりました。

それは予見可能ですが、AI 関連技術が深化して実装され続けるにつれて、より高度な成果が実験室から農地に送られ、「黄土に面して空に戻る」作業モデルが改善されるでしょう。

参考リンク:

[1]https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4