図面 (/)

技術 神経回路網の学習による作物と雑草を識別する装置及び方法

出願人 全北大学 産学協力団
発明者 キムヒョンソクパクドンソンアディカリシャムヤンヒチャンキムヨンジンヤンチャンジュ
出願日 2018年10月29日 (2年3ヶ月経過) 出願番号 2020-512648
公開日 2020年10月8日 (4ヶ月経過) 公開番号 2020-529686
状態 特許登録済
技術分野 学習型計算機 イメージ分析 植物の栽培
主要キーワード レーザセンサー 熱映像 区別性 機械視覚システム グラフィック化 変形構造 機械視覚 学習データセット
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題・解決手段

作物熱を抽出するCED神経回路網は、作物の映像の入力を受け、入力映像の作物熱に該当する位置にグラフィック線を表示した学習目標映像を学習させることで、作物映像から作物熱を抽出する技術を自ら構築するようにし、作物‐雑草識別用CED神経回路網は、近接撮影した作物の映像の入力を受け、入力映像の作物或は雑草に該当する位置に作物或は雑草の種類ごとに異なる種類(カラー・形状)のシンボルを置いて表示した学習目標映像を学習させることで、作物と雑草とを識別できる技術を自ら構築可能にする。本発明を介して得られた作物熱位置情報及び熱像の雑草位置情報を除草機転送し、除草機が当該位置に除草器具を送って除草を実行できるようにする。

概要

背景

環境にやさしい農作物栽培において、最も労働力が必要な農作業の一つが除草作業である。除草が効果的に行われないと、農作物の成長に致命的な被害を与え得るので、農夫は農作物の生長期間の間に常に除草作業に気を抜けられなくなる。従って、除草作業の自動化は農夫にとってはのようで、このための研究が為されて来た。

Zhangら(1995)は、小麦発見される雑草を見分けられる基準を、カラー形体質感の三つの側面から分析及び提示している。Woebbeckeら(1995a)は、映像から雑草と背景の分離するためのカラー分析を行っている。特に、修正カラー、2g−r−b、緑色クロマ座標(Chromatic coordinate)が周囲環境から雑草を効果的に見分けられることを示している。Tianら(1997)は、露地で小さいトマトと雑草の位置を把握できる機械視覚システムを開発して試験している。韓国国内でもこの分野の研究を行っていて、チョ・ソインら(1999)は、スベリヒユメヒシバアカザを対象雑草とし、これらの幾何学的特徴を抽出し、露地から雑草を検出できる可能性を示す研究を行っている。しかし、このような植物のカラー、形体、質感のspectrumを介した違いなどによる雑草認識方法規則に基づいているので、多様に変化した環境、模様などに適応することができず、実用化には不十分である。

様々な環境においても適用可能な雑草認識技術が必要であるが、最近、Deep Learning神経回路網の技術の発展に伴い、これを用いた雑草認識への試みがある。Ciccoら(Dec 2016、CVPR)は、グラフィックツールを用いて生成したデータセットをDeep Learning神経回路網の一つであるSegNet(CoRR2015)上で学習させて雑草と作物を区別するようにしている。さらに、Potenaら(Feb 2017)の作物と雑草との区別(Classification)のためにDeep Learning神経回路網の技術を用いることで、従来のアルゴリズム的方法に比べると分類の正確性を大きく向上させている。これらの方法では雑草全体の形状を個別的に抽出することを目標としているので、まばらに分布した雑草には適用可能であるが、多くの草と作物が混ざっている環境では植物が互いに重なっていて区別性が無くなるので実用化するのが難しい。他のアプローチとして近距離作物の位置を機械式接触センサーを用いて認識する方法(KR10−2013−0115057)も提示されているが、小さいに対しては適用するのが難しく、この問題を解決するために小さい苗にも適用可能にレーザセンサー触覚を用いる方法{KR10—2009—0113990}も開発されているが、風に揺らぐ小さい苗の位置が正確でないので、近距離のみに有効であると言うデメリットがある。

概要

作物熱を抽出するCED神経回路網は、作物の映像の入力を受け、入力映像の作物熱に該当する位置にグラフィック線を表示した学習目標映像を学習させることで、作物映像から作物熱を抽出する技術を自ら構築するようにし、作物‐雑草識別用CED神経回路網は、近接撮影した作物の映像の入力を受け、入力映像の作物或は雑草に該当する位置に作物或は雑草の種類ごとに異なる種類(カラー・形状)のシンボルを置いて表示した学習目標映像を学習させることで、作物と雑草とを識別できる技術を自ら構築可能にする。本発明を介して得られた作物熱位置情報及び熱像の雑草位置情報を除草機転送し、除草機が当該位置に除草器具を送って除草を実行できるようにする。

目的

本発明は上記に鑑みてなされたものであり、本発明は、人工知能技術を用いて作物の映像から作物熱を抽出する技術と作物と雑草とを識別する技術を開発し、除草作業をする位置まで指定可能な技術の学習を介して自ら構築できるようにする技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

たんぼやでの作物栽培のための除草のため、農作物の熱を神経回路網の学習によって認識することで、前記熱から外れている植物をすべて雑草と見なして除草できるようにする工程と、前記熱とその周囲に残留する雑草に対し、もう一つの神経回路網の学習を介して作物と分離識別する工程で構成されたことを特徴とする神経回路網の学習による作物と雑草を識別する方法。

請求項2

前記農作物の熱認識工程と作物と雑草との識別工程で用いる神経回路網は、複数のコンボリューション(convolution)層で構成され、徐々に減少するエンコーダー(encoder)部分と再び徐々に増加するデコーダー(decoder)部分が結合した構造のCED神経回路網を有することを特徴とする、請求項1に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項3

前記CED神経回路網には、エンコーダー(encoder)部分の各層の出力がデコーダー(decoder)部分の同一の層の入力として合算されるCED神経回路網である、ユーネット(Unet)構造と呼ばれる変形された構造のCED神経回路網も用いられることを特徴とする、請求項2に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項4

前記CED神経回路網には、ユーネット(Unet)構造と呼ばれるCED神経回路網を基本構造とし、各層を飛びわたる接続を追加的に有するデンスネット(DensNet)と呼ばれる変形された構造のCED神経回路網も用いられることを特徴とする、請求項3に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項5

前記農作物の熱認識方法は、農作物の映像が前記CED神経回路網への入力として認可された際に、前記CED神経回路網は入力として認可された農作物映像のうち作物熱に該当する位置が前記CED神経回路網の出力段グラフィック線で描かれて表示されるように前記CED神経回路網を反復的に学習させ、他の複数の作物熱映像に対しても同一の方法で学習させることで、任意のテスト農作物映像が印加された際に、その農作物の熱に該当する位置がグラフィック線で描かれて表示されるようにすることを特徴とする、請求項1に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項6

作物が稲で雑草が稗草である場合、これらを区別する方法は、稲のの場合複数のもみ種を合わせて芽生えさせるので、苗の根元は複数の稲が束ねられて密集しているのに対し、稗草は個別に散らばって芽生えるので株の根元部分の密集度が低いことを用いて、株の根元部分の密集度の視覚的差を用いて区別し、稲と稗草とを識別することを特徴とする、請求項1に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項7

根元の密集度の視覚的差を用いて稲と稗草とを区別するための学習目標映像データは、入力映像の稲と稗草の根元部分に該当するところに互いに異なるカラーや形状のシンボルで表示することで、稲と稗草とを区別させる稲と稗草の識別のための学習目標映像を作成することを特徴とする、請求項6に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項8

作物熱認識用神経回路網の学習に必要なデータベースは、除草機追従しようとする方向で撮影した作物の映像を入力映像とし、前記入力映像でのそれぞれの作物熱に該当する位置にグラフィック線で作成した映像を学習目標映像とし、前記入力映像・学習目標映像が一つのセットで構成された学習データセットを大量で用意した作物熱学習用データベースを備えることを特徴とする、請求項5に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項9

作物・雑草識別用神経回路網に必要な学習データベースは、作物熱上で作物と雑草が共に含まれた、作物と雑草の形状が明確に区別できるように近接撮影した映像を神経回路網の入力映像とし、それぞれの入力映像での作物と雑草に該当する位置にこれらを区別できるように異なる形状またはカラーのシンボルを用いた映像を作成して学習目標映像とし、前記入力映像・学習目標映像を一つのセットとする学習データセットを大量で備えた作物・雑草識別学習用データベースを作成することを特徴とする、請求項6に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項10

作物・雑草識別用神経回路網に必要な学習データベースで学習目標映像の作成は、初期に空(blank)映像または入力映像をコピーした映像の上にそれぞれの客体を区別できるように様々なカラーを用いた線、図形、またはシンボルでグラフィック化して作成することを特徴とする、請求項9に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項11

作物・雑草識別用神経回路網に必要な学習データベースで学習目標映像の作成の際にそれぞれのシンボルの位置と大きさは、入力映像を基準として決定し、シンボル領域内に客体間の区別性が大きい特徴が可能な限り多く含まれるようにシンボル中心点の位置と大きさを決定して学習目標映像に表示することを特徴とする、請求項9に記載の神経回路網の学習による作物と雑草を識別する方法。

請求項12

請求項5または請求項8に記載の方法で作成した作物熱位置のグラフィック表示映像で作成した作物映像・作物熱映像データベース220と、前記映像データベース220を用いて請求項1ないし請求項4のうち何れか一項に記載の方法で学習する作物熱認識用CED神経回路網230と、請求項6、請求項7、及び請求項9ないし請求項11のうち何れか一項に記載の方法で作成した作物・雑草種類及び位置のシンボル表示映像で作成した作物映像・作物種類位置映像データベース250と、前記映像データベース250を用いて請求項1ないし請求項4のうち何れか一項に記載の方法で学習する作物と雑草の種類及び位置認識用CED神経回路網260と、作物・雑草映像をリアルタイムで撮影し、前記CED神経回路網230、260に入力として印加するカメラ280と、前記CED神経回路網をソフトウェアとして構成して実行させ、CED神経回路網の結果を分析し、分析した結果を用いて外部の除草機の自律除草作業に必要な制御信号を生成し、生成した制御信号を前記除草機に提供するCPU100と、前記CPUを補助し、CED神経回路網を高速で実行させるGPU110を含むことを特徴とする、神経回路網の学習による作物と雑草を識別する装置。

請求項13

請求項12項に記載の学習されたCED神経回路網のパラメーターは作物映像・作物熱映像データベース220と作物映像・作物の種類及び位置映像データベース250から抽出した作物熱の認識及び作物・雑草識別に必要な情報を含み、装置の小型化のために前記データベースを除去し、カメラ280と、作物熱認識用CED神経回路網230と、雑草の識別及び位置認識用CED神経回路網260と、CPU100と、GPU110のみで除草機の制御システムを構成することを特徴とする、請求項12に記載の神経回路網の学習による作物と雑草を識別する装置。

技術分野

0001

本発明は、神経回路網映像認識分野に属する技術で、CED神経回路網を用いて作物の熱を認識し、熱以外の植物をすべて雑草と見なして一括除去するようにし、熱とその周囲に残留する少数の雑草に対してはもう一つのCED神経回路網の学習によって精密に識別し、除草可能にすることを特徴とする雑草識別方法に関する。

背景技術

0002

環境にやさしい農作物栽培において、最も労働力が必要な農作業の一つが除草作業である。除草が効果的に行われないと、農作物の成長に致命的な被害を与え得るので、農夫は農作物の生長期間の間に常に除草作業に気を抜けられなくなる。従って、除草作業の自動化は農夫にとってはのようで、このための研究が為されて来た。

0003

Zhangら(1995)は、小麦発見される雑草を見分けられる基準を、カラー形体質感の三つの側面から分析及び提示している。Woebbeckeら(1995a)は、映像から雑草と背景の分離するためのカラー分析を行っている。特に、修正カラー、2g−r−b、緑色クロマ座標(Chromatic coordinate)が周囲環境から雑草を効果的に見分けられることを示している。Tianら(1997)は、露地で小さいトマトと雑草の位置を把握できる機械視覚システムを開発して試験している。韓国国内でもこの分野の研究を行っていて、チョ・ソインら(1999)は、スベリヒユメヒシバアカザを対象雑草とし、これらの幾何学的特徴を抽出し、露地から雑草を検出できる可能性を示す研究を行っている。しかし、このような植物のカラー、形体、質感のspectrumを介した違いなどによる雑草認識方法規則に基づいているので、多様に変化した環境、模様などに適応することができず、実用化には不十分である。

0004

0005

様々な環境においても適用可能な雑草認識技術が必要であるが、最近、Deep Learning神経回路網の技術の発展に伴い、これを用いた雑草認識への試みがある。Ciccoら(Dec 2016、CVPR)は、グラフィックツールを用いて生成したデータセットをDeep Learning神経回路網の一つであるSegNet(CoRR2015)上で学習させて雑草と作物を区別するようにしている。さらに、Potenaら(Feb 2017)の作物と雑草との区別(Classification)のためにDeep Learning神経回路網の技術を用いることで、従来のアルゴリズム的方法に比べると分類の正確性を大きく向上させている。これらの方法では雑草全体の形状を個別的に抽出することを目標としているので、まばらに分布した雑草には適用可能であるが、多くの草と作物が混ざっている環境では植物が互いに重なっていて区別性が無くなるので実用化するのが難しい。他のアプローチとして近距離作物の位置を機械式接触センサーを用いて認識する方法(KR10−2013−0115057)も提示されているが、小さいに対しては適用するのが難しく、この問題を解決するために小さい苗にも適用可能にレーザセンサー触覚を用いる方法{KR10—2009—0113990}も開発されているが、風に揺らぐ小さい苗の位置が正確でないので、近距離のみに有効であると言うデメリットがある。

0006

0007

0008

Zhang、N. and C.Chaisattapagon、1995、Effective criteria for weed identifying in wheat fieldsusing machine vision、Transactions of the ASAE38(3):965−974。

0009

Woebbecke、D.M.、G.E.Meyer、K.Von Bargen and D.A.Mortensen、1995a、Shape features for identifying young weedsusing image analysis、Transactions of the ASAW38(1):271−281。

0010

Tian、L.、D.C.Slaughter and R.F.Norris、1997、Outdoor field vision identification of tomato seedlings for automated weed control、Transactions of the ASAE40(6):1761−1768。

0011

チョ・ソンイン、リ・デソン、ベ・ヨンミン、1999、機械視覚を用いた雑草の識別、韓国農業機械学会誌第24巻 第1号、59−66

0012

aurilio DiCicco、Ciro Potena、Giorgio Grisetti and Alberto Pretto、2016、Automatic Model Based Dataset Generation for Fast and Accurate Crop and WeedsDetection、CVPR、arXiv:1612.03019v1 [cs.CV]9、Dec 2016C。

先行技術

0013

iro Potena、Daniele Nardi、and Alberto Pretto、2017、Fast and Accurate Crop and Weed identification with Summarized Train Sets for Precision Agriculture、Intelligent Autonomous Systems、vol 14、105−121、Feb 2017。

発明が解決しようとする課題

0014

本発明は上記に鑑みてなされたものであり、本発明は、人工知能技術を用いて作物の映像から作物熱を抽出する技術と作物と雑草とを識別する技術を開発し、除草作業をする位置まで指定可能な技術の学習を介して自ら構築できるようにする技術を提供することを目的とする。

課題を解決するための手段

0015

本発明の少なくとも一つの実施例においては、前記目的を達成するために、Convolutional Encoder−decoder(CED)神経回路網の技術を用いて作物の熱を抽出し、除草機が熱と熱の間の植物を雑草と見なして除去するようにし、作物熱上に存在する少数の雑草に対しては追加的なCED神経回路網を用いて作物から雑草を識別して除去する。

0016

このためのシステム構造は、作物の熱の抽出のために用いるCED神経回路網と、作物と雑草との識別に用いるCED神経回路網とで構成される。前記CED神経回路網は、入力段から出力段までの間に複数の段で構成され、中間段に行くほど括れた構造を有し、格段にコンボリューション演算を行うCED神経回路網で構成される。CED神経回路網には、図1のように基本構造から変形された様々な構造があり、これらの間に性能と特徴の差はあるものの、どのような変形構造のCED神経回路網も本発明の目的である作物の熱抽出と作物と雑草との識別に使用可能である。

0017

CED神経回路網に上記のように作物の熱を抽出させるために、作物の映像をCED神経回路網の入力映像とし、入力映像での作物の熱の位置をグラフィックで描いて表示した線の映像を学習目標映像とする学習データセットを大量で備え、

0018

前記学習データセットをCED神経回路網が繰り返して学習することで、作物の映像から作物熱を抽出する技術を自ら習得できるようにする。

0019

さらに、作物・雑草識別CED神経回路網のために、個別の作物と雑草の形状が識別可能である程度に近接撮影した映像を入力映像とし、入力されて映像に作物または雑草の位置に互いに異なる形状或はカラーのシンボルを表示した映像を学習目標映像とする学習データセットを大量に用意し、

0020

前記学習データセットを繰り返して学習することで、CED神経回路網がたんぼ・畑の映像から作物と雑草とを識別し、その位置まで指定する技術を神経回路網の学習を介して自ら習得できるようにする。

発明の効果

0021

本発明は、作物熱の抽出と作物・雑草を識別する目標を達成するために、従来の映像処理技術によるアルゴリズムに頼らずに、出力映像として現れることを期待する映像を直接グラフィックで作成して学習させる。従って、狙いの映像認識結果を得るために要求される技術をCED神経回路網が学習を介して自ら構築できるようにする新しい技術開発方法を開発できる効果がある。さらに、この技術を用いて作物の熱を認識し、作物・雑草を識別することで、除草機が精密で自動に除草できるようにする効果がある。

図面の簡単な説明

0022

図1は、本発明に用いるConvolutional Encoder−decoder神経回路網の構造であり、

0023

(A)作物(稲)の熱認識に用いるConvolutional Encoder−decoder神経回路網の構造

0024

(B)作物(稲)と雑草(稗草)との識別及び位置認識に用いるConvolutional Encoder−decoder神経回路網の構造

0025

(C)Unet(skip)CED神経回路網、(D)Dense CED神経回路網及びDensNetブロックを本発明に使用可能な変形されたCED神経回路網の構造

0026

図2は、除草のための作物熱と作物・雑草識別及び位置検出システムの構造であり、

0027

図3は、作物熱の抽出のためのCED神経回路網の学習データの一部の例示であり、

0028

図4は、学習された作物熱抽出用のCED神経回路網のテスト結果の例示であり、

0029

図5は、苗と稗草とを区別するためのCED神経回路網の学習データの一つの例示であり、図6は、学習された作物・稗草識別用のCED神経回路網のテスト結果の例示である。

0030

0031

100:CPU

0032

110:GPU

0033

200:作物・雑草識別システム

0034

210:作物熱の位置のグラフィック表示映像制作

0035

220:作物映像‐作物熱映像データベース

0036

230:作物熱認識用CED神経回路網

0037

240:作物‐雑草位置のシンボル表示映像制作

0038

250:作物映像‐作物種類位置映像データベース

0039

260:作物と雑草の識別及び位置認識用CED神経回路網

0040

280:カメラ

0041

290:除草機

実施例

0042

以下の本発明の実施形態のうち、正確性は図1(A)、(B)で提示するCED神経回路網より図1(C)のユーネット(Unet)を用いたCED神経回路網と図1(D)のデンスネット(DensNet)を用いたCED神経回路網が優れていて、ユーネットを用いたCED神経回路網よりデンスネットを用いたCED神経回路網が多少優れている。しかし、デンスネットを用いたCED神経回路網の場合、ユーネットを用いたCED神経回路網より必要なパラメーター(parameter)が多く、適切なハイパー・パラメーター(hyper−parameter)の選択も難しいというデメリットがある。さらに、デンスネットを用いたCED神経回路網は動作速度がユーネットを用いたCED神経回路網より遅いというデメリットがある。

0043

従って、正確性、実現性、及び経済性をすべて考慮した最善の実施形態はユーネットを用いたCED神経回路網を含む形態である。

0044

本発明で用いたConvolutional Encoder−decoder(CED)神経回路網は、図1に示すように、入力段から出力段までの間に複数の段で構成され、そのサイズが徐々に減少して増加する構造を有する神経回路網である。前半部の徐々に減少する部分をエンコーダー(encoder)部分と言い、後半部の徐々に増加する部分をデコーダー(decoder)部分と言う。図1の(A)と(B)は、本発明で作物熱の認識と作物熱上の雑草の検出にそれぞれ用いたCED神経回路網の構造であるが、両方を交換して用いても良い。さらに、図1の(C)に示すように、エンコーダー部分の各層の出力がデコーダー部分の同一の層の入力にスキップ(skip)して合算されるCED神経回路網、即ち、ユーネット(Unet)またはスキップ(skip)構造と呼ばれる変形された構造のCED神経回路網も用いることができ、図1の(D)に示すように、ユーネット(Unet)構造の各層をわたって接続を有するDensNetと呼ばれる変形されたCED神経回路網構造も用いることが可能である。さらに、CED神経回路網に基づいて変形された神経回路網を用いても良い。この場合、それぞれの構造毎に異なる数の層、異なる数のフィルターを用いて本発明を実現することが可能であり、本発明の目的を達成することが可能である。

0045

本発明は、上述のConvolutional Encoder−decoder(CED)神経回路網の技術を用いて作物の熱を認識する作物熱認識工程と、作物熱上に存在する少数の雑草に対して追加的なCED神経回路網を用いて作物から雑草を識別する作物・雑草識別工程で構成される。このためのハードウェアは、図2に示すように、作物の熱を認識する工程で用いられるCED神経回路網230と作物から雑草を識別する工程で用いられるCED神経回路網260の二つの神経回路網で構成される。

0046

それぞれのCED神経回路網には入力映像と共に出力として得ようとする出力を学習データベース(220、250)化して印加することで、CED神経回路網に実行すべき任務を提示し、神経回路網は学習を介してその任務を実行する技術を習得する。

0047

このために、まず作物映像を大量で獲得し、それぞれの作物映像に対する作物熱位置のグラフィック表示映像(210)と作物・雑草位置のシンボル表示映像(240)を大量で制作し、作物映像・作物熱映像データベース220と作物映像・作物と雑草の種類及び位置映像データベース250を構成してコンピューターハードディスク装置に格納する。前記作物映像・作物熱映像データベース220と作物映像・作物と雑草の種類及び位置映像データベース250は、それぞれ作物熱認識用CED神経回路網230と作物と雑草の識別及び位置認識用CED神経回路網260によって学習する。学習された神経回路網は、予め設計された神経回路網の構造に対する各接続パラメーター値のデータの形態を有する。以下、作物熱認識用CED神経回路網230と作物と雑草の識別及び位置認識用CED神経回路網260の学習過程に関して詳細に説明する。

0048

0049

作物熱認識のための学習

0050

CED神経回路網に作物熱を認識する技術を開発させるためには、その例となる学習データを映像の形態で多様に大規模で用意する。図3は、作物のうち苗(稲)の場合を例示したもので、左側の映像のような入力映像が認可された場合、CED神経回路網に右側の映像のような作物の熱映像を抽出して提示するように任務を与える例である。より具体的に、学習目標映像は図3の左側の映像のように、苗の各列に該当する位置に沿って図3の右側の映像のようにグラフィックによる線を表示提示する。即ち、左側の映像の上に右側の映像を重ね合わせると、右側の映像の各線は左側の映像での作物熱の中央に位置する学習目標映像を作成する。但し、除草機が作物熱に沿って除草作業を行う際には正面の作物熱に沿って行きながら作業を行うので、学習目標映像の作成時に正面の線に重点を置いて描き、左右両側に向く熱は省略しても良い。さらに、図3の(D)に示すように途中で苗が無くなっている位置まで延長線を引くことで、神経回路網が延長線を引く技術を習得できるようにする。

0051

このような学習データが準備できたら、これに対する学習の際により多様な形態の学習のために、用意された映像を対象に様々な角度での回転、拡大及び回転、縮小及び回転、左右上下移動などと手法(augmentation手法)を介してより多くの数の学習データを追加生成して神経回路網を学習させる。このときに用いる学習は、神経回路網の学習に一般的に用いられるbackpropagation学習方法を用いてエラーが所定の閾値以下になるまでの反復学習である。

0052

図4は、作物熱を認識するために学習されたCED神経回路網をテストした結果の例示であり、左側の入力映像をCED神経回路網に印加すると、その出力として中央の映像が得られる。この出力映像上の線が入力映像の作物熱の位置を正確に指定しているか否かを確認するために、このCED神経回路網の出力画像を入力映像に重ね合わせた映像が図4の右側の映像である、図4で示すように、CED神経回路網の出力の線の位置が入力映像の作物熱の位置を正確に指定していることが分かる。

0053

0054

個別作物と雑草との識別学習

0055

本発明では、作物と雑草との識別も上記のConvolutional Encoder−decoder(CED)と類似した構造の神経回路網を使用している。学習データは、学習目標映像で作物の根元部分を第1種類のシンボルで表示し、雑草の根元部分に第2種類のシンボルで表示した映像を作成して神経回路網がこれを学習するようにする。この根元部分にシンボルを表示する場合、この部分を除草機系によって破砕されるようにすれば、効果的な除草が可能になる。

0056

図5の左側の映像は神経回路網の入力として用いた稲と稗草の映像であり、右側の映像は学習目標映像で、左側の映像で稲の根元部分に該当するところにグレー円形シンボルで表示し、稗草の根元部分に該当するところに黒の円形シンボルで表示した映像の例である。稲の苗と稗草とを識別するためのCED神経回路網の学習データは、左側の映像のような映像を大量で撮影して入力映像として用意し、それぞれの入力映像に対して右側の映像のような学習目標映像を作成する。ここでは学習目標映像は、空(blank)映像に苗や稗草の根元部分の位置にグレーと黒の円形シンボルで表示した映像を作成した例を示しているが、入力映像上に上記のシンボルを重ね合わせて表示しても良い。さらに、表示するシンボルの色や形状も他の色や形状を選択可能である。このような方法で学習データセットを構成し、backpropagation学習方法を用いてエラーが所定の閾値以下になるまで繰り返し学習させる。図6は、作物熱認識用CED神経回路網のテスト結果の一部の例である。図6の左側の映像は入力テスト映像で学習データに含まれてない映像である。図6の中央の映像は神経回路網の出力映像であり、右側の映像は入力映像と出力映像を重ね合わせた映像である。出力映像及び重ね合わせ映像でグレーの円形シンボルは稲の位置を表し、黒の円形シンボルは稗草の位置を表す。これらの映像で示すように、苗と稗草の位置を正確に認識して表示していることが分かる。但し、稲が互いに重なって根元部分が見えない場合は稲を識別できないが、これは根元の形状を基準に識別するように学習させたからである。しかし、形状を確実に確認できる大きさと位置の稗草はほとんど識別されて検出されることが分かる。

0057

このように認識された結果映像は除草ロボットに送られ、苗と稗草の実際の位置を見つけて除草可能になる。

0058

0059

除草システムの頭脳としての役割

0060

本発明を除草システムの頭脳として活用するためには、カメラ280を介して映像をリアルタイムで獲得し、獲得した映像を作物熱認識用CED神経回路網230と作物と雑草の識別及び位置認識用CED神経回路網260に同時に印加して高速に処理する。このような情報の流れを制御して神経回路網をソフトウェア的に構成して実行するためにCPU100を用いる。さらに、CPU100は、神経回路網の出力を後処理し、分析し、その結果を用いて外部の除草機の自律運転に必要な制御信号を生成する。この過程でCED神経回路網を構成してその動作を実行させるためには高速の信号処理が必要であり、このためにGPU110が補助装置として用いられる。

0061

0062

除草機制御システムの構成

0063

学習されたCED神経回路網のパラメーターにはすでに作物映像・作物熱映像データベース220と作物映像・作物種類及び位置映像データベース250から抽出した作物熱認識及び作物・雑草識別に必要な情報が含まれているので、装置の小型化のためにデータベースを除去し、カメラ280と、作物熱認識用CED神経回路網230と、雑草の識別及び位置認識用CED神経回路網260と、CPU100と、GPU110のみで簡単に除草機制御システム300を構成することができる。

0064

上記のように構成された除草機制御システムが除草機290に適切な除草作業命令を送るためには、まずカメラ280を介して映像リアルタイムで獲得し、獲得した映像を作物熱認識用CED神経回路網230と作物と雑草の識別及び位置認識用CED神経回路網260に同時に印加して高速で処理する。このような情報の流れを制御して神経回路網をソフトウェア的に構成して実行するためにCPU100を用いる。さらに、CPU100は、神経回路網の出力を後処理し、分析し、その結果を用いて外部の除草機290の自律除草作業に必要な制御信号を生成する。この過程でCED神経回路網を構成してその動作を実行させるためには高速の信号処理が必要であり、このためにGPU110が補助装置として用いられる。

0065

農業において土壌の養分と太陽エネルギーを奪って農作物の生育を妨害する雑草の除去は必要不可欠である。特に、最近の国際的趨勢である環境にやさしい農作物栽培では農薬などの化学製品を使用しないので、除草作業により多くの労働力が必要な状況である。よって、本発明は、農作物の栽培において農夫の労働力の大部分を占める除草作業の自動化と機械化を通じて農作物栽培の効率化と除草作業のための作業員雇用費用などの生産費用を節減できるようにするためのもので、除草作業が必要な農作物の栽培にはその産業上の利用可能性が大きい。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ