図面 (/)

技術 作業機及びその制御方法

出願人 国立大学法人鹿児島大学株式会社日本計器鹿児島製作所松元機工株式会社鹿児島県
発明者 鹿嶋雅之竹之内博司今西浩二深水裕信渡邊睦佐藤公則加藤正明里中一富徳田明彦飯牟禮啓介
出願日 2015年4月30日 (5年1ヶ月経過) 出願番号 2015-093151
公開日 2016年12月15日 (3年6ヶ月経過) 公開番号 2016-208871
状態 特許登録済
技術分野 農業機械一般(3)操向 収穫機本体(5)(特定作物用)
主要キーワード 感知板 角度算出ステップ 存在確率分布 採取機構 キャタピラー 各回転角度 平面射影変換 走行機構
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年12月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

作物が植えられている破壊することなく、自動走行制御を行える仕組みを提供する。

解決手段

撮影部110において、作業機100の進行方向に撮影方向が設定された状態で、作物が植えられている畝と畝間に位置する通路とを含む耕作地200の領域を斜め上方から撮影して、当該領域の原画像を得る。そして、画像処理部140において、撮影部110で得られた原画像の画像処理を行うことにより、畝に対する作業機100の進行方向における角度や、作業機100における畝の中心位置からの位置ズレ量を算出する。

概要

背景

従来から、例えば作物として茶樹が植えられているが列状に形成された耕作地を畝に沿って走行する作業機が提案されている(例えば、下記の特許文献1参照)。

具体的に、下記の特許文献1には、茶畝の側面に対する感知板接触圧力を当該感知板に設けられた圧力センサで測定して、茶畝の両側面における接触圧力が均等になるように自動走行制御を行う技術が記載されている。

概要

作物が植えられている畝を破壊することなく、自動走行制御を行える仕組みを提供する。撮影部110において、作業機100の進行方向に撮影方向が設定された状態で、作物が植えられている畝と畝間に位置する通路とを含む耕作地200の領域を斜め上方から撮影して、当該領域の原画像を得る。そして、画像処理部140において、撮影部110で得られた原画像の画像処理を行うことにより、畝に対する作業機100の進行方向における角度や、作業機100における畝の中心位置からの位置ズレ量を算出する。

目的

本発明は、このような問題点に鑑みてなされたものであり、作物が植えられている畝を破壊することなく、自動走行制御を行える仕組みを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

作物が植えられているが列状に形成された耕作地を前記畝に沿って走行する作業機であって、当該作業機の進行方向に撮影方向が設定された状態で、隣接する前記畝の間の通路と前記畝とを含む前記耕作地の領域を斜め上方から撮影して、当該領域の原画像を得る撮影手段と、二値化閾値を用いて前記原画像を二値化処理して二値画像を生成する二値化処理手段と、前記二値画像を平面射影変換処理して平面射影変換二値画像を生成する平面射影変換処理手段と、前記平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、前記複数の回転角度における各回転角度に応じた複数の回転画像を生成する画像回転処理手段と、前記複数の回転画像における各回転画像について、水平方向の各位置における、当該水平方向に直交する垂直方向画素のうちの前記二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく前記通路の存在確率分布を取得する存在確率分布取得手段と、前記複数の回転画像のうち、前記通路の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出する最適回転画像抽出手段と、前記最適回転画像における前記回転角度に基づいて、前記畝に対する当該作業機の進行方向における角度を算出する角度算出手段とを有することを特徴とする作業機。

請求項2

前記撮影手段は、当該作業機の進行方向を撮影可能な、当該作業機の前部の上部に配置されており、前記原画像には、少なくとも2つの前記通路が描かれており、前記最適回転画像における前記水平方向の中心位置と、前記最適回転画像における前記2つの通路が存在する位置と、当該作業機に対する前記撮影手段の位置とに基づいて、当該作業機における前記畝の中心位置からの位置ズレ量を算出する位置ズレ量算出手段を更に有することを特徴とする請求項1に記載の作業機。

請求項3

前記二値化処理手段は、前記原画像の縦方向については前記二値化閾値未満の領域を膨張し、前記原画像の横方向については前記二値化閾値未満の領域を収縮する形態学フィルタリングを行って、前記二値画像を生成することを特徴とする請求項1または2に記載の作業機。

請求項4

作物が植えられている畝が列状に形成された耕作地を前記畝に沿って走行する作業機であって、当該作業機の進行方向を撮影可能な、当該作業機の前部の上部に配置され、当該作業機の進行方向に撮影方向が設定された状態で、隣接する前記畝の間の通路を少なくとも2つと前記畝とを含む前記耕作地の領域を斜め上方から撮影して、当該領域の原画像を得る撮影手段と、二値化閾値を用いて前記原画像を二値化処理して二値画像を生成する二値化処理手段と、前記二値画像を平面射影変換処理して平面射影変換二値画像を生成する平面射影変換処理手段と、前記平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、前記複数の回転角度における各回転角度に応じた複数の回転画像を生成する画像回転処理手段と、前記複数の回転画像における各回転画像について、水平方向の各位置における、当該水平方向に直交する垂直方向の画素のうちの前記二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく前記通路の存在確率分布を取得する存在確率分布取得手段と、前記複数の回転画像のうち、前記通路の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出する最適回転画像抽出手段と、前記最適回転画像における前記水平方向の中心位置と、前記最適回転画像における前記2つの通路が存在する位置と、当該作業機に対する前記撮影手段の位置とに基づいて、当該作業機における前記畝の中心位置からの位置ズレ量を算出する位置ズレ量算出手段とを有することを特徴とする作業機。

請求項5

前記最適回転画像における前記回転角度に基づいて、前記畝に対する当該作業機の進行方向における角度を算出する角度算出手段を更に有することを特徴とする請求項4に記載の作業機。

請求項6

前記二値化処理手段は、前記原画像の縦方向については前記二値化閾値未満の領域を膨張し、前記原画像の横方向については前記二値化閾値未満の領域を収縮する形態学的フィルタリングを行って、前記二値画像を生成することを特徴とする請求項4または5に記載の作業機。

請求項7

作物が植えられている畝が列状に形成された耕作地を前記畝に沿って走行する作業機の制御方法であって、前記作業機の進行方向に撮影方向が設定された状態で、隣接する前記畝の間の通路と前記畝とを含む前記耕作地の領域を斜め上方から撮影手段で撮影して、当該領域の原画像を得る撮影ステップと、二値化閾値を用いて前記原画像を二値化処理して二値画像を生成する二値化処理ステップと、前記二値画像を平面射影変換処理して平面射影変換二値画像を生成する平面射影変換処理ステップと、前記平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、前記複数の回転角度における各回転角度に応じた複数の回転画像を生成する画像回転処理ステップと、前記複数の回転画像における各回転画像について、水平方向の各位置における、当該水平方向に直交する垂直方向の画素のうちの前記二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく前記通路の存在確率分布を取得する存在確率分布取得ステップと、前記複数の回転画像のうち、前記通路の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出する最適回転画像抽出ステップと、前記最適回転画像における前記回転角度に基づいて、前記畝に対する前記作業機の進行方向における角度を算出する角度算出ステップとを有することを特徴とする作業機の制御方法。

請求項8

作物が植えられている畝が列状に形成された耕作地を前記畝に沿って走行する作業機の制御方法であって、前記作業機の進行方向を撮影可能な、当該作業機の前部の上部に配置された撮影手段を用いて、前記作業機の進行方向に撮影方向が設定された状態で、隣接する前記畝の間の通路を少なくとも2つと前記畝とを含む前記耕作地の領域を斜め上方から撮影して、当該領域の原画像を得る撮影ステップと、二値化閾値を用いて前記原画像を二値化処理して二値画像を生成する二値化処理ステップと、前記二値画像を平面射影変換処理して平面射影変換二値画像を生成する平面射影変換処理ステップと、前記平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、前記複数の回転角度における各回転角度に応じた複数の回転画像を生成する画像回転処理ステップと、前記複数の回転画像における各回転画像について、水平方向の各位置における、当該水平方向に直交する垂直方向の画素のうちの前記二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく前記通路の存在確率分布を取得する存在確率分布取得ステップと、前記複数の回転画像のうち、前記通路の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出する最適回転画像抽出ステップと、前記最適回転画像における前記水平方向の中心位置と、前記最適回転画像における前記2つの通路が存在する位置と、当該作業機に対する前記撮影手段の位置とに基づいて、前記作業機における前記畝の中心位置からの位置ズレ量を算出する位置ズレ量算出ステップとを有することを特徴とする作業機の制御方法。

技術分野

0001

本発明は、作物が植えられているが列状に形成された耕作地を畝に沿って走行する作業機及びその制御方法に関するものである。

背景技術

0002

従来から、例えば作物として茶樹が植えられている畝が列状に形成された耕作地を畝に沿って走行する作業機が提案されている(例えば、下記の特許文献1参照)。

0003

具体的に、下記の特許文献1には、茶畝の側面に対する感知板接触圧力を当該感知板に設けられた圧力センサで測定して、茶畝の両側面における接触圧力が均等になるように自動走行制御を行う技術が記載されている。

先行技術

0004

特開2011−234623号公報

発明が解決しようとする課題

0005

しかしながら、特許文献1の技術では、自動走行制御を行うために茶畝の側面に対して感知板を接触させる必要があるため、茶畝(具体的には茶畝の側面)が破壊されてしまうという懸念があった。

0006

本発明は、このような問題点に鑑みてなされたものであり、作物が植えられている畝を破壊することなく、自動走行制御を行える仕組みを提供することを目的とする。

課題を解決するための手段

0007

本発明の作業機は、作物が植えられている畝が列状に形成された耕作地を前記畝に沿って走行する作業機であって、当該作業機の進行方向に撮影方向が設定された状態で、隣接する前記畝の間の通路と前記畝とを含む前記耕作地の領域を斜め上方から撮影して、当該領域の原画像を得る撮影手段と、二値化閾値を用いて前記原画像を二値化処理して二値画像を生成する二値化処理手段と、前記二値画像を平面射影変換処理して平面射影変換二値画像を生成する平面射影変換処理手段と、前記平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、前記複数の回転角度における各回転角度に応じた複数の回転画像を生成する画像回転処理手段と、前記複数の回転画像における各回転画像について、水平方向の各位置における、当該水平方向に直交する垂直方向画素のうちの前記二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく前記通路の存在確率分布を取得する存在確率分布取得手段と、前記複数の回転画像のうち、前記通路の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出する最適回転画像抽出手段と、前記最適回転画像における前記回転角度に基づいて、前記畝に対する当該作業機の進行方向における角度を算出する角度算出手段とを有する。
本発明の作業機における他の態様は、作物が植えられている畝が列状に形成された耕作地を前記畝に沿って走行する作業機であって、当該作業機の進行方向を撮影可能な、当該作業機の前部の上部に配置され、当該作業機の進行方向に撮影方向が設定された状態で、隣接する前記畝の間の通路を少なくとも2つと前記畝とを含む前記耕作地の領域を斜め上方から撮影して、当該領域の原画像を得る撮影手段と、二値化閾値を用いて前記原画像を二値化処理して二値画像を生成する二値化処理手段と、前記二値画像を平面射影変換処理して平面射影変換二値画像を生成する平面射影変換処理手段と、前記平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、前記複数の回転角度における各回転角度に応じた複数の回転画像を生成する画像回転処理手段と、前記複数の回転画像における各回転画像について、水平方向の各位置における、当該水平方向に直交する垂直方向の画素のうちの前記二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく前記通路の存在確率分布を取得する存在確率分布取得手段と、前記複数の回転画像のうち、前記通路の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出する最適回転画像抽出手段と、前記最適回転画像における前記水平方向の中心位置と、前記最適回転画像における前記2つの通路が存在する位置と、当該作業機に対する前記撮影手段の位置とに基づいて、当該作業機における前記畝の中心位置からの位置ズレ量を算出する位置ズレ量算出手段とを有する。
また、本発明は、上述した作業機の制御方法を含む。

発明の効果

0008

本発明によれば、作物が植えられている畝を破壊することなく、自動走行制御を行うことが可能となる。

図面の簡単な説明

0009

本発明の実施形態に係る作業機が耕作地を走行する様子を模式的に示す図である。
本発明の実施形態に係る作業機の機能構成の一例を示す図である。
図2画像処理部により得られる各種の画像の一例を示す図である。
本発明の実施形態を示し、図2の二値化処理部で行う形態学フィルタリングの一例を説明するための図である。
本発明の実施形態を示し、図2の存在確率分布取得部で取得された、或る回転画像における通路の存在確率分布の一例を示す図である。
本発明の実施形態を示し、図2の位置ズレ量算出部による位置ズレ量算出処理を説明するための図である。
本発明の実施形態を示し、図2の表示部による画面表示の一例を示す図である。
本発明の実施形態に係る作業機の制御方法における処理手順の一例を示すフローチャートである。

実施例

0010

以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。なお、以下に示す本発明の実施形態では、作物として茶樹が植えられている畝(茶畝)が列状に形成された耕作地を当該畝に沿って走行する作業機を想定した例について説明を行うが、本発明においてはこの形態に限定されるものではない。作物として茶樹以外の作物(例えば、さつまネギキャベツ等の作物)が植えられている畝が列状に形成された耕作地を当該畝に沿って走行する作業機も、本発明に適用可能である。

0011

図1は、本発明の実施形態に係る作業機100が耕作地200を走行する様子を模式的に示す図である。具体的に、図1(a)は、作業機100及び耕作地200をその上方から見た図である。また、図1(b)は、作業機100及び耕作地200をその側方から見た図である。

0012

図1(a)に示すように、耕作地200は、作物(本実施形態では茶樹とする)が植えられている畝(本実施形態では茶畝とする)210が列状に形成されている。また、隣接する畝210と畝210との間には、作業機100の走行機構キャタピラー或いはタイヤ等)が通過するための通路220が形成されている。

0013

作業機100は、耕作地200を畝210に沿って走行する。この作業機100には、図1(a)及び図1(b)に示すように、作業機100の進行方向101に撮影方向が設定された状態で、畝210と通路220とを含む耕作地200の領域を斜め上方から撮影して、当該領域の原画像を得る撮影部110が設けられている。この際、本実施形態においては、撮影部110は、図1(a)に示すように、作業機100の進行方向101に直交する当該作業機100の直交方向102の中心位置に配置されている。なお、本発明においては、撮影部110は、作業機100の直交方向102の中心位置に必ずしも配置されている必要はなく、例えば、作業機100の進行方向101を撮影可能な、当該作業機100の前部の上部に配置されている形態であってもよい。

0014

また、本実施形態においては、撮影部110は、少なくとも2つの通路220が含まれるように耕作地200の領域を斜め上方から撮影する。このため、得られる原画像には、少なくとも2つの通路220が描かれていることになる。

0015

図2は、本発明の実施形態に係る作業機100の機能構成の一例を示す図である。図2において、図1に示す構成と同様の構成については同じ符号を付している。

0016

作業機100は、図2に示すように、撮影部110、情報入力部120、制御部130、画像処理部140、走行機構150、作物採取機構160、及び、表示部170を有して構成されている。

0017

撮影部110は、制御部130の制御に基づいて、図1を用いて上述したように、作業機100の進行方向101に撮影方向が設定された状態で、畝210と通路220とを含む耕作地200の領域を斜め上方から撮影して、当該領域の原画像を得る。

0018

情報入力部120は、制御部130に対して各種の情報を入力する。例えば、情報入力部120は、作業者操作入力を行うためのスイッチやボタン、更には、作業機100が外部装置通信を行う場合には当該外部装置と通信を行うための通信インタフェースを含み構成されている。

0019

制御部130は、情報入力部120から入力された情報等に従って、作業機100における動作を統括的に制御する。

0020

画像処理部140は、制御部130の制御に基づいて、撮影部110で得られた原画像の画像処理を行う。この画像処理部140は、図2に示すように、原画像取得部141、二値化処理部142、平面射影変換処理部143、画像回転処理部144、存在確率分布取得部145、最適回転画像抽出部146、角度算出部147、及び、位置ズレ量算出部148を有して構成されている。

0021

図3は、図2の画像処理部140により得られる各種の画像の一例を示す図である。

0022

原画像取得部141は、撮影部110で得られた原画像を取得する処理を行う。ここでは、原画像取得部141は、図3(a)に示す原画像を取得するものとする。この図3(a)に示す原画像には、複数の畝210及び複数の通路220が描かれている。

0023

二値化処理部142は、二値化閾値を用いて、原画像取得部141で取得した原画像を二値化処理して、二値画像を生成する。ここで、本実施形態においては、二値化処理部142は、原画像の二値化処理を行う際に、原画像の各画素のうち、単に二値化閾値未満の画素における画素値を0とする処理を行う態様を適用することも可能であるが、以下に図4を用いて説明する態様を適用することも可能である。

0024

図4は、本発明の実施形態を示し、図2の二値化処理部142で行う形態学的フィルタリングの一例を説明するための図である。
具体的に、本発明の実施形態に適用可能な態様としては、二値化処理部142は、図3(a)に示す原画像の縦方向302については二値化閾値未満の領域を膨張し、図3(a)に示す原画像の横方向301については二値化閾値未満の領域を収縮する形態学的フィルタリングを行う。この態様を図4(a)及び図4(b)を用いて説明する。

0025

まず、図4(a)を用いて、図3(a)に示す原画像の縦方向302の処理について説明する。図4(a)には、二値画像における画素値を決定する対象となる対象画素401と、その対象画素401に対して原画像の縦方向302において近傍に位置する近傍画素402が示されている。具体的に、図4(a)には、対象画素401に対して上下1画素の近傍画素402が示されている。この場合、二値化処理部142は、例えば、図4(a)において、近傍画素402のうち、少なくとも1つの画素が二値化閾値未満の画素(画素値が0の画素)である場合には、対象画素401を二値化閾値未満の画素(画素値が0の画素)とし、二値化閾値未満の領域を膨張する処理を行う。なお、ここでは、近傍画素402として対象画素401の上下1画素を設定する例について説明を行ったが、本発明においては、この形態に限定されるものではない。例えば、二値化処理部142は、近傍画素402として対象画素401の上下n画素(nは2以上の自然数)を設定し、2n個の近傍画素402のうち、少なくともN(Nは、1≦N≦2n−1)個以上の画素が二値化閾値未満の画素(画素値が0の画素)である場合には、対象画素401を二値化閾値未満の画素(画素値が0の画素)とし、二値化閾値未満の領域を膨張する処理を行う形態も、本発明に適用可能である。

0026

次に、図4(b)を用いて、図3(a)に示す原画像の横方向301の処理について説明する。図4(b)には、二値画像における画素値を決定する対象となる対象画素401と、その対象画素401に対して原画像の横方向301において近傍に位置する近傍画素402が示されている。具体的に、図4(b)には、対象画素401に対して左右1画素の近傍画素402が示されている。この場合、二値化処理部142は、例えば、図4(b)において、近傍画素402のうち、少なくとも1つの画素が二値化閾値以上の画素(画素値が1の画素)である場合には、対象画素401を二値化閾値以上の画素(画素値が1の画素)とし、二値化閾値未満の領域を収縮する処理を行う。なお、ここでは、近傍画素402として対象画素401の左右1画素を設定する例について説明を行ったが、本発明においては、この形態に限定されるものではない。例えば、二値化処理部142は、近傍画素402として対象画素401の左右m画素(mは2以上の自然数)を設定し、2m個の近傍画素402のうち、少なくともM(Mは、1≦M≦2n−1)個以上の画素が二値化閾値以上の画素(画素値が1の画素)である場合には、対象画素401を二値化閾値以上の画素(画素値が1の画素)とし、二値化閾値未満の領域を収縮する処理を行う形態も、本発明に適用可能である。

0027

さらに、本実施形態においては、例えば二値化処理部142は、原画像の二値化処理を行う前に、原画像に対してガウシアンフィルタ等の平滑化フィルタによるフィルタリングを行う。このフィルタリングにより、原画像のノイズ成分を低減させることができる。

0028

図3(b)は、二値化処理部142において、図3(a)に示す原画像を二値化処理して生成された二値画像を示す図である。この図3(b)に示す二値画像では、二値化閾値未満の画素(画素値が0の画素)を白色で示し、二値化閾値以上の画素(画素値が1の画素)を黒色で示している。この図3(b)において、白色で示された部分が通路220に相当すると考えられる部分である。この図3(b)に示す二値画像を生成する際に、図4を用いて上述した形態学的フィルタリングを行うことにより、原画像の縦方向302については当該縦方向302に略沿って描かれている通路220をより強調することができ、また、原画像の横方向301については通路220以外の茶樹の影等のノイズを除去することができ、その結果、二値画像において通路220の抽出精度を向上させることが可能となる。

0029

ここで、再び、図2の説明に戻る。
平面射影変換処理部143は、二値化処理部142で生成された二値画像を平面射影変換処理して、平面射影変換二値画像を生成する。具体的に、平面射影変換処理部143は、原画像として撮影された耕作地200の領域を上から見た視点で、二値化処理部142で生成された二値画像を平面射影変換処理して、平面射影変換二値画像を生成する。図3(c)は、平面射影変換処理部143において、図3(b)に示す二値画像を平面射影変換処理して生成された平面射影変換二値画像を示す図である。

0030

画像回転処理部144は、平面射影変換処理部143で生成された平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、当該複数の回転角度における各回転角度に応じた複数の回転画像を生成する。図3(d)は、画像回転処理部144において、図3(c)に示す平面射影変換二値画像を画像回転処理して生成された複数の回転画像を示す図である。この図3(d)には、一例として、回転角度が0度から+90度(本実施形態では時計回りを+の回転角度としている)までの各回転角度における回転画像が示されている。

0031

存在確率分布取得部145は、画像回転処理部144で生成された複数の回転画像における各回転画像について、水平方向の各位置における、当該水平方向に直交する垂直方向の画素のうちの二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく通路220の存在確率分布を取得する。

0032

図5は、本発明の実施形態を示し、図2の存在確率分布取得部145で取得された、或る回転画像における通路220の存在確率分布の一例を示す図である。図5において、横軸の水平方向の各位置は、図3(d)に示す水平方向303の各位置を示す。また、図5において、縦軸画素数は、図3(d)に示す水平方向303の各位置における、当該水平方向303に直交する図3(d)に示す垂直方向304の画素のうちの二値化閾値未満の画素(図3(d)の白色で示された画素値が0の画素)の数を示す。そして、存在確率分布取得部145は、画像回転処理部144で生成された各回転画像ごとに、図5に示すような通路220の存在確率分布を取得する。

0033

ここで、再び、図2の説明に戻る。
最適回転画像抽出部146は、画像回転処理部144で生成された複数の回転画像のうち、存在確率分布取得部145で取得された通路220の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出する。具体的に、最適回転画像抽出部146は、画像回転処理部144で生成された複数の回転画像のうち、図5に示す通路220の存在確率分布における最大値501が最も大きい回転画像を最適回転画像として抽出する。

0034

角度算出部147は、最適回転画像抽出部146で抽出された最適回転画像における回転角度に基づいて、畝210に対する作業機100の進行方向101における角度を算出する。

0035

位置ズレ量算出部148は、本実施形態においては、撮影部110が作業機100の直交方向102の中心位置に配置されているため、最適回転画像抽出部146で抽出された最適回転画像における水平方向303の中心位置と、当該最適回転画像における2つの通路220が存在する位置とに基づいて、作業機100における畝210の中心位置からの位置ズレ量を算出する。なお、本発明においては、上述したように、撮影部110は、作業機100の直交方向102の中心位置に必ずしも配置されている必要はなく、例えば、作業機100の進行方向101を撮影可能な、当該作業機100の前部の上部に配置されている形態も適用可能であるため、この形態の場合には、位置ズレ量算出部148は、最適回転画像抽出部146で抽出された最適回転画像における水平方向303の中心位置と、当該最適回転画像における2つの通路220が存在する位置と、作業機100に対する撮影部110の位置とに基づいて、作業機100における畝210の中心位置からの位置ズレ量を算出する形態を採る。

0036

図6は、本発明の実施形態を示し、図2の位置ズレ量算出部148による位置ズレ量算出処理を説明するための図である。図6には、最適回転画像抽出部146で抽出された最適回転画像600とともに、当該最適回転画像600上に、存在確率分布取得部145で取得された通路220の存在確率分布602が斜線領域で示されている。また、図6には、最適回転画像600における水平方向(303)の中心位置601と、最適回転画像600における2つの通路(220)が存在する位置603及び604が示されている。

0037

ここで、図6に示すように、最適回転画像600において、通路220が存在する位置603と通路220が存在する位置604との間の画素数が290ピクセル(290画素)であるものとする。また、図6に示すように、最適回転画像600において、通路220が存在する位置603と水平方向の中心位置601との間の画素数が105ピクセル(105画素)であり、また、通路220が存在する位置604と水平方向の中心位置601との間の画素数が185ピクセル(185画素)であるものとする。そして、通路220が存在する位置603と通路220が存在する位置604との間の領域に畝210が存在すると考えられるため、図6に示すように、最適回転画像600における水平方向の中心位置601は、当該畝210が存在する領域の水平方向の中心位置に対して、40ピクセル(40画素)だけ左にずれていることになる。この際、本実施形態においては、上述したように、撮影部110は、作業機100の直交方向102の中心位置に配置されているため、作業機100の直交方向102の中心位置は、最適回転画像600における水平方向の中心位置601と同様と見なすことができる。そして、例えば、耕作地200において、1画素当たり、180/290(cm)であるとすると、作業機100における畝210の中心位置からの位置ズレ量は、40×180/290≒25cmと算出することができる。この際、右方向の位置ズレを+方向とすると、作業機100における畝210の中心位置からの位置ズレ量は、−25cmと算出されることになる。

0038

ここで、再び、図2の説明に戻る。
走行機構150は、制御部130の制御に基づいて、作業機100を耕作地200の畝210に沿って走行させるための機構である。この走行機構150は、キャタピラー或いはタイヤ等を含み構成されている。例えば、制御部130は、位置ズレ量算出部148で算出された畝210に対する作業機100の進行方向101における角度と、位置ズレ量算出部148で算出された作業機100における畝210の中心位置からの位置ズレ量とが共に小さくなるように、走行機構150による走行を制御する。

0039

作物採取機構160は、制御部130の制御に基づいて、耕作地200の畝210に植えられている作物を作業機100で採取するための機構である。

0040

表示部170は、位置ズレ量算出部148で算出された畝210に対する作業機100の進行方向101における角度と、位置ズレ量算出部148で算出された作業機100における畝210の中心位置からの位置ズレ量の情報を表示する。この際、表示部170は、これらの情報とともに、原画像取得部141で取得された原画像を表示するようにしてもよい。そして、作業者は、表示部170に表示された情報等を見ることにより、現在の作業機100の畝210に対する走行状況を把握することができる。

0041

図7は、本発明の実施形態を示し、図2の表示部170による画面表示の一例を示す図である。図7において、表示部170の画像表示領域710には、原画像取得部141で取得した原画像が表示されている。また、図7において、表示部170の情報表示領域720には、走行状態情報721、角度情報722、及び、位置ズレ量情報723が表示されている。具体的に、走行状態情報721には、走行中である旨の情報が表示されている。また、角度情報722には、畝210に対する作業機100の進行方向101における角度が−4度(反時計回りに4度)である旨の情報が表示されている。また、位置ズレ量情報723には、作業機100における畝210の中心位置からの位置ズレ量が−25cmである(左方向に25cmだけ位置ズレしている)旨の情報が表示されている。

0042

次に、本発明の実施形態に係る作業機100の制御方法における処理手順について説明する。図8は、本発明の実施形態に係る作業機100の制御方法における処理手順の一例を示すフローチャートである。この図8に示すフローチャートの説明においては、図2に示す作業機100の各機能構成を用いて説明を行う。

0043

なお、図8に示すフローチャートの処理の開始時点においては、既に、走行機構150による作業機100の走行、及び、作物採取機構160による畝210に植えられている作物の採取が行われているものとする。

0044

まず、ステップS101において、撮影部110は、制御部130の制御に基づいて、図1を用いて上述したように、作業機100の進行方向101に撮影方向が設定された状態で、畝210と通路220とを含む耕作地200の領域を斜め上方から撮影して、当該領域の原画像を得る。ここでは、例えば、図3(a)に示す原画像を得る。その後、原画像取得部141は、撮影部110で得られた原画像を取得する処理を行う。

0045

続いて、ステップS102において、二値化処理部142は、二値化閾値を用いて、ステップS101で取得した原画像を二値化処理して、二値画像を生成する。この二値化処理の際、本実施形態においては、図4を用いて説明した形態学的フィルタリングを行うことが好適である。ここでは、例えば、図3(b)に示す二値画像を生成する。また、本実施形態においては、例えば二値化処理部142は、原画像の二値化処理を行う前に、原画像に対してガウシアンフィルタ等の平滑化フィルタによるフィルタリングを行うことが好適である。

0046

続いて、ステップS103において、平面射影変換処理部143は、ステップS102で生成された二値画像を平面射影変換処理して、平面射影変換二値画像を生成する。具体的に、平面射影変換処理部143は、原画像として撮影された耕作地200の領域を上から見た視点で、ステップS102で生成されたで生成された二値画像を平面射影変換処理して、平面射影変換二値画像を生成する。ここでは、例えば、図3(c)に示す平面射影変換二値画像を生成する。

0047

続いて、ステップS104において、画像回転処理部144は、ステップS103で生成された平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、当該複数の回転角度における各回転角度に応じた複数の回転画像を生成する。ここでは、例えば、図3(d)に示すような複数の回転画像を生成する。

0048

続いて、ステップS105において、存在確率分布取得部145は、ステップS104で生成された複数の回転画像における各回転画像について、水平方向の各位置における、当該水平方向に直交する垂直方向の画素のうちの二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく通路220の存在確率分布を取得する。具体的に、例えば、存在確率分布取得部145は、ステップS104で生成された各回転画像ごとに、図5を用いて説明した通路220の存在確率分布を取得する。

0049

続いて、ステップS106において、最適回転画像抽出部146は、ステップS104で生成された複数の回転画像のうち、ステップS105で取得された通路220の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出する。具体的に、最適回転画像抽出部146は、ステップS104で生成された複数の回転画像のうち、図5に示す通路220の存在確率分布における最大値501が最も大きい回転画像を最適回転画像として抽出する。

0050

続いて、ステップS107において、角度算出部147は、ステップS106で抽出された最適回転画像における回転角度に基づいて、畝210に対する作業機100の進行方向101における角度を算出する。

0051

続いて、ステップS108において、位置ズレ量算出部148は、ステップS106で抽出された最適回転画像における水平方向303の中心位置(図6の601)と、当該最適回転画像における2つの通路220が存在する位置(図6の603及び604)とに基づいて、作業機100における畝210の中心位置からの位置ズレ量を算出する。このステップS108の詳細な処理例は、図6を用いて説明したとおりである。

0052

続いて、ステップS109において、表示部170は、制御部130の制御に基づいて、ステップS107で算出された畝210に対する作業機100の進行方向101における角度と、ステップS108で算出された作業機100における畝210の中心位置からの位置ズレ量の情報を表示する。この際、表示部170は、これらの情報とともに、ステップS101で取得された原画像を表示するようにしてもよい。この表示例は、図7を用いて説明したとおりである。そして、作業者は、表示部170に表示された情報等を見ることにより、現在の作業機100の畝210に対する走行状況を把握することができる。

0053

続いて、ステップS110において、制御部130は、ステップS107で算出された畝210に対する作業機100の進行方向101における角度と、ステップS108で算出された作業機100における畝210の中心位置からの位置ズレ量とに基づいて、走行機構150による走行制御(自動走行制御)を行う。具体的に、制御部130は、ステップS107で算出された畝210に対する作業機100の進行方向101における角度と、ステップS108で算出された作業機100における畝210の中心位置からの位置ズレ量とが共に小さくなるように、走行機構150による走行制御を行う。

0054

なお、図8に示すフローチャートの処理例では、ステップS107で算出された畝210に対する作業機100の進行方向101における角度と、ステップS108で算出された作業機100における畝210の中心位置からの位置ズレ量とが共に小さくなるように、走行機構150による走行制御を行うようにしているが、本発明(本実施形態)においてはこの態様に限定されるものではない。例えば、ステップS107で算出された畝210に対する作業機100の進行方向101における角度のみが小さくなるように、走行機構150による走行制御を行う態様も本発明(本実施形態)に含まれる。さらに、例えば、ステップS108で算出された作業機100における畝210の中心位置からの位置ズレ量のみが小さくなるように、走行機構150による走行制御を行う態様も本発明(本実施形態)に含まれる。即ち、本発明(本実施形態)においては、ステップS107で算出された畝210に対する作業機100の進行方向101における角度と、ステップS108で算出された作業機100における畝210の中心位置からの位置ズレ量とのいずれか一方が小さくなるように、走行機構150による走行制御を行う態様も含まれる。

0055

以上の走行制御により、作業機100の進行方向101を畝列に対して高精度に追従させることができ、作物採取機構160による作物の採取を効率的に行うことができる。なお、ステップS107で算出された畝210に対する作業機100の進行方向101における角度と、ステップS108で算出された作業機100における畝210の中心位置からの位置ズレ量とのいずれか一方が小さくなるように、走行機構150による走行制御を行う態様よりも、ステップS107で算出された畝210に対する作業機100の進行方向101における角度と、ステップS108で算出された作業機100における畝210の中心位置からの位置ズレ量とが共に小さくなるように、走行機構150による走行制御を行う態様の方が、作業機100の進行方向101を畝列に対してより高精度に追従させることができ、作物採取機構160による作物の採取をより効率的に行うことができる。

0056

続いて、ステップS111において、制御部130は、情報入力部120からの情報に基づいて、作業機100の自動走行制御を終了するか否かを判断する。この判断の結果、作業機100の自動走行制御を終了しない(即ち、自動走行制御を継続する)場合には(S111/NO)、ステップS101に戻り、ステップS101以降の処理を再度行う。

0057

一方、ステップS111の判断の結果、作業機100の自動走行制御を終了する場合には(S111/YES)、図8に示すフローチャートの処理を終了する。

0058

なお、上述した説明では特に言及していないが、最適回転画像の抽出を行う場合に、複数段階(例えば2段階)の処理に分けることも、本実施形態においては好適である。以下、最適回転画像の抽出を2段階の処理に分ける態様について説明を行う。
まず、第1段階では、ステップS104における複数の回転画像の生成の際に、例えば回転角度を10度刻みで−90度から+90度までの回転画像を生成する。そして、ステップS105において10度刻みの各回転画像における通路220の存在確率分布を取得し、次いで、ステップS106において通路220の存在確率分布における最大値が最も大きい回転画像を第1の回転画像として抽出する。
続いて、第2段階では、再度のステップS104における複数の回転画像の生成の際に、第1の回転画像に対して例えば回転角度を1度刻みで±5度の範囲の回転画像を生成する。そして、ステップS105において1度刻みの各回転画像における通路220の存在確率分布を取得し、次いで、ステップS106において通路220の存在確率分布における最大値が最も大きい回転画像を第2の回転画像として抽出する。そして、この第2の回転画像を最適回転画像とし、ステップS107以降の処理を行う。

0059

以上説明したように、本発明の実施形態に係る作業機100では、撮影部110において、作業機100の進行方向101に撮影方向が設定された状態で、畝210と通路220とを含む耕作地200の領域を斜め上方から撮影して、当該領域の原画像を得るようにしている。そして、本発明の実施形態に係る作業機100では、二値化処理部142において、二値化閾値を用いて原画像を二値化処理して二値画像を生成し、平面射影変換処理部143において、二値画像を平面射影変換処理して平面射影変換二値画像を生成するようにしている。そして、本発明の実施形態に係る作業機100では、画像回転処理部144において、平面射影変換二値画像を複数の回転角度で回転させる画像回転処理を行って、複数の回転角度における各回転角度に応じた複数の回転画像を生成するようにしている。そして、本発明の実施形態に係る作業機100では、存在確率分布取得部145において、複数の回転画像における各回転画像について、水平方向303の各位置における、当該水平方向303に直交する垂直方向304の画素のうちの二値化閾値未満の画素の数を算出し、当該二値化閾値未満の画素の数に基づく通路220の存在確率分布を取得し、最適回転画像抽出部146において、画像回転処理部144で生成された複数の回転画像のうち、存在確率分布取得部145で取得された通路220の存在確率分布における最大値が最も大きい回転画像を最適回転画像として抽出するようにしている。そして、本発明の実施形態に係る作業機100では、角度算出部147において、最適回転画像における回転角度に基づいて、畝210に対する作業機100の進行方向101における角度を算出するようにしている。さらに、本発明の実施形態に係る作業機100では、位置ズレ量算出部148において、最適回転画像における水平方向303の中心位置と、当該最適回転画像における2つの通路220が存在する位置とに基づいて、作業機100における畝210の中心位置からの位置ズレ量を算出するようにしている。
かかる構成によれば、撮影部110において得られた原画像を画像処理することにより、畝210に対する作業機100の進行方向101における角度や、作業機100における畝210の中心位置からの位置ズレ量を算出するため、作物が植えられている畝210の側面等に接触することなく、当該角度や当該位置ズレ量を算出することができる。これにより、作物が植えられている畝を破壊することなく、自動走行制御を行うことが可能となる。

0060

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

0061

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

0062

100:作業機、110:撮影部、120:情報入力部、130:制御部、140:画像処理部、141:原画像取得部、142:二値化処理部、143:平面射影変換処理部、144:画像回転処理部、145:存在確率分布取得部、146:最適回転画像抽出部、147:角度算出部、148:位置ズレ量算出部、150:走行機構、160:作物採取機構、170:表示部、200:耕作地

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 井関農機株式会社の「 作業車両」が 公開されました。( 2020/04/09)

    【課題】苗箱の苗を苗タンクに自動的に補充可能にすること。【解決手段】苗取り出し装置(26)が走行車体(2)の外部に置かれている苗箱(41)から苗(42)を取り出しつつ、取り出した苗(42)を案内装置(... 詳細

  • 株式会社トプコンの「 農業情報処理装置、農業情報処理方法および農業情報処理用プログラム」が 公開されました。( 2020/04/09)

    【課題】圃場の分割位置を簡便に決めることができる技術の提供をする。【解決手段】圃場を分割するラインの設定を行う圃場分筆装置100であって、異動しながら農作業を行う作業機の被作業対象となる領域の幅をLu... 詳細

  • 株式会社クボタの「 作業車両」が 公開されました。( 2020/04/09)

    【課題】様々な場所でも適正に車体を安定して走行させることができる作業車両を提供する。【解決手段】車体の操舵を行うステアリングハンドル30を有する操舵装置11と、車体の位置である車体位置を検出可能な測位... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ