図面 (/)

技術 画像認識装置

出願人 矢崎総業株式会社
発明者 市原督之加藤久貴川口泰典
出願日 2015年11月24日 (4年2ヶ月経過) 出願番号 2015-228897
公開日 2017年6月1日 (2年8ヶ月経過) 公開番号 2017-097607
状態 特許登録済
技術分野 画像処理 デジタル計算機のユーザインターフェイス イメージ分析
主要キーワード 計測寸法 参照形状 参照距離 定数テーブル 挙動パターン 特定位 寸法計測値 HUDユニット
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

ジェスチャーを検出する場合に、TOF(Time Of Flight)カメラにおける距離検出誤差の影響を低減して操作検出精度を向上する画像認識装置を提供する。

解決手段

ステアリングホイールなどの固定物の位置を基準として、事前登録した距離参照値Lrefと、認識した固定物までの距離計測値L1とに基づいて比率R1を算出し、TOFカメラから挙動検出対象の手までの距離計測値L2を補正する。補正後の距離計測値L21を挙動検出空間と比較することにより、挙動検出の可否識別する。または所定形状と相似形の固定物を認識して、事前に登録した寸法参照値と寸法計測値とに基づき比率を算出する。挙動検出空間の外側で運転者の意図しないジェスチャーを誤認識するのを防止する。

概要

背景

例えば、車両上に搭載された様々な車載機器運転者が操作する場合には、通常は、各々の車載機器を操作するために様々な箇所に設けられた専用のボタンを操作する必要がある。しかし、操作の度に目的のボタンが存在する位置を探して、その位置に指を位置合わせしなければならないので、この操作のために運転者は視線を前方から一時的にずらしたり、自分の手や指の動きに格別な注意払う必要があり、安全運転の妨げになる。

そこで、従来より運転者のボタン操作を不要にするための技術が開発されている。例えば、車両の室内に設けられたカメラによって運転者の挙動画像認識し、所定の挙動を検出すると、その挙動に応じて車両に搭載された装置が動作する操作入力装置が知られている(特許文献1)。

概要

ジェスチャーを検出する場合に、TOF(Time Of Flight)カメラにおける距離検出誤差の影響を低減して操作検出精度を向上する画像認識装置を提供する。ステアリングホイールなどの固定物の位置を基準として、事前登録した距離参照値Lrefと、認識した固定物までの距離計測値L1とに基づいて比率R1を算出し、TOFカメラから挙動検出対象の手までの距離計測値L2を補正する。補正後の距離計測値L21を挙動検出空間と比較することにより、挙動検出の可否識別する。または所定形状と相似形の固定物を認識して、事前に登録した寸法参照値と寸法計測値とに基づき比率を算出する。挙動検出空間の外側で運転者の意しないジェスチャーを誤認識するのを防止する。

目的

本発明は、上述した事情に鑑みてなされたものであり、その目的は、距離検出誤差の影響を低減して操作検出精度を向上することが可能な画像認識装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮影対象の3次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置であって、前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象までの第1の計測距離と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離との比率を算出し、人間の挙動を認識する空間として定められた挙動検出空間を特定するパラメータまたは前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第2の計測距離を、前記比率に基づく補正量により補正する、画像認識装置。

請求項2

前記比率は、前記特定の撮影対象における所定の箇所までの計測距離と、前記距離画像センサから前記特定の撮影対象における所定の箇所までの距離を事前に実測して得られた参照距離との比率である、請求項1に記載の画像認識装置。

請求項3

前記比率は、認識される前記特定の撮影対象の少なくとも一部の形状が事前に定めた参照形状とほぼ一致する場合に、前記特定の撮影対象における当該一部の寸法を事前に実測して得られた参照寸法と、前記距離画像センサが認識した該当部位の計測寸法との比率に基づき算出される、請求項1に記載の画像認識装置。

技術分野

0001

本発明は、撮影対象の3次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置に関する。

背景技術

0002

例えば、車両上に搭載された様々な車載機器運転者が操作する場合には、通常は、各々の車載機器を操作するために様々な箇所に設けられた専用のボタンを操作する必要がある。しかし、操作の度に目的のボタンが存在する位置を探して、その位置に指を位置合わせしなければならないので、この操作のために運転者は視線を前方から一時的にずらしたり、自分の手や指の動きに格別な注意払う必要があり、安全運転の妨げになる。

0003

そこで、従来より運転者のボタン操作を不要にするための技術が開発されている。例えば、車両の室内に設けられたカメラによって運転者の挙動を画像認識し、所定の挙動を検出すると、その挙動に応じて車両に搭載された装置が動作する操作入力装置が知られている(特許文献1)。

先行技術

0004

特開2013−218391号公報

発明が解決しようとする課題

0005

特許文献1のようにカメラで撮影した画像を認識して人間の挙動を検出する場合に、一般的なカメラでは二次元画像しか撮影できないので、奥行き方向の位置や挙動を検出することができず、操作パターンジェスチャー)の自由度を上げることができないし、検出が不要な時に挙動を検出してしまう可能性もある。

0006

近年では、撮影対象の3次元認識が可能なTOF(Time Of Flight)距離画像センサ(以下、TOFカメラと称する)が市販されている。また、TOFカメラの他にも、撮影対象の3次元認識が可能なカメラが存在する。TOFカメラは、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出できるので、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。

0007

しかしながら、TOFカメラが計測する距離には誤差が発生することがある。特に、高温の環境下においては光源からの照射角度が温度により変化して誤差が増大する傾向がある。したがって、温度変化の激しい車室内などにTOFカメラを設置する場合にはTOFカメラが計測する距離の誤差の影響が懸念される。

0008

特許文献1のような操作入力装置においては、事前に定めた特定の3次元空間(以下、挙動検出空間と称する)でのみ運転者の挙動を検出し、車載機器の動作に反映することが想定される。例えば、通常の運転状態のように、運転者の手がステアリングホイールハンドル)の近傍にある状況でのみ、運転者の手や指の挙動に応じて車載機器を操作するように制御すれば、運転者が無意識に手を動かしたような状況では車載機器が作動することはなくなる。

0009

しかし、TOFカメラが計測する距離の誤差が大きくなると、挙動検出空間が、拡大、縮小、または変位してしまう。その結果、挙動検出空間の外側に運転者の手が存在する場合であっても、無意識のうちに行われる手の挙動に反応し、車載機器が動作してしまう可能性がある。つまり、運転者が意図していない操作が勝手に行われてしまう。このような誤動作は、運転者の想定外の動作であるため運転者の思考混乱を招き運転に支障を来す可能性がある。

0010

本発明は、上述した事情に鑑みてなされたものであり、その目的は、距離検出誤差の影響を低減して操作検出精度を向上することが可能な画像認識装置を提供することにある。

課題を解決するための手段

0011

前述した目的を達成するために、本発明に係る画像認識装置は、下記(1)〜(3)を特徴としている。
(1)撮影対象の3次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置であって、
前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象までの第1の計測距離と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離との比率を算出し、
人間の挙動を認識する空間として定められた挙動検出空間を特定するパラメータまたは前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第2の計測距離を、前記比率に基づく補正量により補正する、
画像認識装置。

0012

上記(1)の構成の画像認識装置によれば、前記距離画像センサの計測距離を前記比率を用いて補正するので、計測誤差の増大を抑制できる。したがって、前記挙動検出空間の位置精度を高めることができ、運転者が必要とする時だけ挙動を検出できる。

0013

(2) 前記比率は、前記特定の撮影対象における所定の箇所までの計測距離と、前記距離画像センサから前記特定の撮影対象における所定の箇所までの距離を事前に実測して得られた参照距離との比率である、
前記(1)に記載の画像認識装置。

0014

上記(2)の構成の画像認識装置によれば、前記比率の精度を高めることができる。例えば、前記特定の撮影対象をステアリングホイールとし、前記所定の箇所を前記ステアリングホイール上に設けられた特定の目印とすることにより、計測位置の特定が容易になる。

0015

(3) 前記比率は、認識される前記特定の撮影対象の少なくとも一部の形状が事前に定めた参照形状とほぼ一致する場合に、前記特定の撮影対象における当該一部の寸法を事前に実測して得られた参照寸法と、前記距離画像センサが認識した該当部位の計測寸法との比率に基づき算出される、
前記(1)に記載の画像認識装置。

0016

上記(3)の構成の画像認識装置によれば、前記距離画像センサにおける奥行き方向の距離計測精度が比較的低い場合であっても、横方向または縦方向の計測寸法を利用して前記比率を算出できるので、精度を向上することができる。

発明の効果

0017

本発明の画像認識装置によれば、距離検出誤差の影響により挙動検出空間が変動するのを抑制し、運転者の意図しない誤動作を防止することが可能になる。

0018

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態(以下、「実施形態」という。)を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図面の簡単な説明

0019

図1は、本発明の実施形態における画像認識装置の主要な動作例(1)を示すフローチャートである。
図2は、本発明の画像認識装置を含む車載システムの構成例を示すブロック図である。
図3は、車両の室内における運転席近傍の主要な構成要素の配置例を示す正面図である。
図4は、運転席着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例(1)を示す側面図である。
図5は、図4の一部分を拡大した状態を示す部分拡大側面図である。
図6(A)および図6(B)は、それぞれステアリングホイール上で運転者がジェスチャーの操作を行う場合の手とステアリングホイールとの位置関係の例を示す正面図である。
図7は、本発明の実施形態における画像認識装置の主要な動作例(2)を示すフローチャートである。
図8は、運転席に着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例(2)を示す側面図である。
図9は、図8の一部分を拡大した状態を示す部分拡大側面図である。

実施例

0020

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

0021

<各実施形態に共通の説明>
<画像認識装置を使用する環境の具体例>
<車室内の構成例>
車両の室内における運転席近傍の主要な構成要素の配置例を図3に示す。本発明の画像認識装置は、例えば図3に示したような車両に搭載した状態で使用される。

0022

図3に示すように車両の室内には、運転席シート34および助手席シート35が設けてあり、運転席シート34の前方にステアリングホイール31が配置されている。また、前方のダッシュボード33の中央付近には矩形表示画面を有するディスプレイユニット32が設置されている。このディスプレイユニット32は、カーナビゲーション装置カーオーディオ装置の表示部として利用することができる。

0023

また、ディスプレイユニット32を使用しない表示装置として、ヘッドアップディスプレイ(HUD)の本体がダッシュボード33の下方に格納されている。このヘッドアップディスプレイを使用する際には、表示光反射する透明なコンバイナ反射板)がダッシュボード33の内側から上昇してダッシュボード33上に現れ、運転者が視認できる位置に位置決めされる。

0024

運転席シート34の左前方の運転者が操作可能な位置に、可動構造操作レバー36が配置されている。この操作レバー36は、車両のトランスミッション変速モード切り替えるために利用される。

0025

また、ステアリングホイール31よりも少し前方のダッシュボード33上にTOFカメラ21が固定した状態で設置されている。このTOFカメラ21は、撮影対象の3次元認識が可能なTOF(Time Of Flight)距離画像センサである。すなわち、TOFカメラ21は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。

0026

図3に示したTOFカメラ21は、ステアリングホイール31と対向する位置に設置してあり、ステアリングホイール31の全体と、ステアリングホイール31を操作する運転者の手との両方が同時に映る範囲を撮影できるように撮影方向および画角を事前に調整してある。

0027

<車載システムの構成例>
本発明の実施形態における画像認識装置10を含む車載システムの構成例を図2に示す。図2の車載システムは、図3に示した車両に搭載されている。

0028

図2に示す画像認識装置10は、運転者の所定のジェスチャー、すなわち身振り手振りのような挙動から車載機器に対する操作の指示を自動的に認識し、該当する車載機器を制御することができる。

0029

実際には、TOFカメラ21により運転者の手および指やステアリングホイール31を撮影し、この撮影により得られる三次元画像から、手や指の挙動をジェスチャーとして認識する。したがって、運転者は特別なボタン等を操作しなくてもジェスチャーにより車載機器を操作することができる。そのため、運転者が車載機器を操作する際に、目的のボタンを探したり、操作のためにステアリングホイール31から手を離したりする必要がなくなり、安全運転の向上に役立つ機能を提供できる。

0030

但し、本実施形態では、画像認識装置10が手や指の挙動を検出するのは、手や指が事前に定めた挙動検出空間(後述する)の内側に存在する場合のみに限定してある。これにより、例えば運転者が無意識のうちに動かした手の動きを特定のジェスチャーとして誤認識するのを防止し、車載機器が想定外の動作をするのを避けることができる。

0031

図2に示すように、TOFカメラ21は光源部21aおよび受光部21bを備えている。光源部21aは、パルス状の光を撮影対象物照射することができる。受光部21bは、CMOSなどで構成される二次元イメージセンサを備えている。また、受光部21bが検出した二次元画像を構成する画素毎に、光源部21aの光が手などの撮影対象物にあたり受光部21bに戻るまでの時間(Time Of Flight)に応じた距離情報を検出する回路がTOFカメラ21に内蔵されている。したがって、TOFカメラ21は三次元画像を撮影できる。

0032

TOFカメラ21が撮影した三次元画像の情報は、画像認識装置10の入力に印加される。図2に示すように、画像認識装置10は画像認識処理部11およびジェスチャー監視制御部12を備えている。

0033

画像認識処理部11は、TOFカメラ21から出力される画像情報に対する情報処理高速で実行し、事前に登録した特定形状パターンを認識したり、認識したパターンの三次元座標上の位置、寸法、色、動き、形状変化などを計測する機能を有している。

0034

ジェスチャー監視制御部12は、運転者の手が事前に定めた挙動検出空間の内側に存在するか否かを識別する。また、運転者の手が事前に定めた挙動検出空間の内側に存在する場合には、画像認識処理部11の認識結果に基づき運転者の手や指の挙動を監視して、事前に登録したジェスチャーのパターンと一致するか否かを識別する。特定のジェスチャーと一致する挙動を検知した場合には、事前に定めた制御を実施する。

0035

上位ECU(電子制御ユニット)22は、ステアリングホイール31の位置や姿勢を表す情報や、車両のイグニッションオンオフを示す情報などをジェスチャー監視制御部12に与えることができる。

0036

図2に示した車載システムにおいては、画像認識装置10の出力にHUDユニット23、カーナビゲーション装置24、およびカーオーディオ装置26が接続されている。画像認識装置10は、運転者のジェスチャーに基づいて、HUDユニット23、カーナビゲーション装置24、およびカーオーディオ装置26のそれぞれを制御することができる。

0037

例えば、特定のジェスチャーによりHUDユニット23の動作を起動する時には、HUDユニット23に含まれる図示しない透明なコンバイナが、図3に示したダッシュボード33の下方から上昇してダッシュボード33上に現れ、運転者が視認可能な状態になる。その状態で、HUDユニット23から投射された表示光がコンバイナで反射され、運転者の目の位置で視認可能な虚像結像される。また、特定のジェスチャーによりHUDユニット23の動作を終了する時には、前記コンバイナが下降してダッシュボード33の下方に収納される。

0038

また、カーナビゲーション装置24を操作するための様々なボタンや、カーオーディオ装置26を操作するための様々なボタンと同様の機能を、画像認識装置10が認識可能な各種のジェスチャーに割り当てることが可能である。

0039

<挙動検出空間の説明>
運転席に着座した運転者およびその近傍を車両右側から視た状態における主要な構成要素の配置例(1)を図4に示す。また、図4の一部分を拡大した状態を図5に示す。

0040

通常の運転状態においては、図4に示すように、運転者30が運転席シート34上に着座した状態で、運転者30が右手RHおよび左手LH)をステアリングホイール31に沿わせた状態でステアリングホイール31の回動角度を調整し、車両の進行方向の変更を行っている。

0041

TOFカメラ21は、図4の例では、ダッシュボード33上に配置されており、ステアリングホイール31および運転者30の手の両方が含まれる撮影範囲25Aの内側を撮影できるように調整されている。この撮影範囲25Aの中には、図5に示す挙動検出空間SP1およびSP2も含まれている。

0042

挙動検出空間SP1およびSP2のそれぞれは、位置、形状、および大きさが事前に決定された直方体形状の三次元空間であり、画像認識装置10にジェスチャーの検出が許可された空間を意味している。すなわち、運転者30の手や指が挙動検出空間SP1およびSP2のいずれか1つの内側に存在する場合に限り、画像認識装置10は手や指を認識してその挙動を監視し、登録されたジェスチャーと一致するか否かを識別する。

0043

図5に示した例では、挙動検出空間SP1は、ステアリングホイール31の頂部と隣接する上方の位置に配置してある。また、挙動検出空間SP2は、ステアリングホイール31よりもダッシュボード33に近い位置にステアリングホイール31と隣接する状態で配置してある。なお、挙動検出空間の数や各挙動検出空間を配置する位置については必要に応じて変更できる。但し、運転者30が意識的に行うジェスチャー以外の手の挙動を誤検出することがないように、各挙動検出空間は適切に定めておく必要がある。

0044

<ジェスチャーの具体例>
ステアリングホイール31上で運転者30がジェスチャーの操作を行う場合の手とステアリングホイールとの位置関係の具体例を図6(A)および図6(B)にそれぞれ示す。

0045

例えば、HUDユニット23の動作を起動するためのジェスチャーの操作を行う場合には、運転者30は左手LHおよび右手RHを図6(A)に示すようにステアリングホイール31に触れた状態のまま、左手LHを下から上に向かってなぞるように移動する。また、この時の左手LHおよび右手RHの位置は、例えば図5に示した挙動検出空間SP1およびSP2のいずれかの領域内に位置するように合わせる。この操作をTOFカメラ21の撮影した画像に基づき画像認識装置10が特定のジェスチャーとして認識し、画像認識装置10はHUDユニット23に起動のための制御信号を送る。

0046

また、HUDユニット23の動作を終了するためのジェスチャーの操作を行う場合には、運転者30は左手LHおよび右手RHを図6(B)に示すようにステアリングホイール31に触れた状態のまま、左手LHを上から下に向かってなぞるように移動する。また、この時の左手LHおよび右手RHの位置は、例えば図5に示した挙動検出空間SP1およびSP2のいずれかの領域内に位置するように合わせる。この操作をTOFカメラ21の撮影した画像に基づき画像認識装置10が特定のジェスチャーとして認識し、画像認識装置10はHUDユニット23に動作終了のための制御信号を送る。

0047

なお、通常の運転操作とジェスチャーとの区別を容易にするために、図6(A)、図6(B)よりももっと複雑な操作を行うようにしてもよい。例えば、特定の指の曲げ伸ばし等により特別な手の形状を表現したり、なぞる操作を複数回繰り返すようなジェスチャーパターンを採用してもよい。

0048

<計測誤差の説明>
図2に示した画像認識装置10は、TOFカメラ21の撮影により得られる三次元画像を認識するので、認識対象の手の位置が事前に定めた挙動検出空間SP1、SP2の範囲内に存在するか否かを識別できる。

0049

しかし、TOFカメラ21から認識対象までの計測距離に比較的大きな誤差が発生する場合がある。実際には、高温の環境下で、光源部21aからの光の照射角度が大きく変動するため、計測距離に誤差が発生する。車両においては、車室内の環境温度が大きく変動する可能性があるため、TOFカメラ21の計測誤差は無視できない程度に大きくなる。

0050

TOFカメラ21の計測した距離に大きな誤差が発生すると、三次元画像に基づいて認識される認識対象の手の位置が実際の位置に対して大きくずれてしまう。そして、実際の手の位置が挙動検出空間SP1、SP2の範囲外にある時であっても、画像認識装置10が手の挙動に反応してジェスチャーを検出する可能性がある。つまり、運転者がジェスチャーを行う意図がない状況で画像認識装置10がジェスチャーを誤検出してしまうので、HUDユニット23等の車載機器が運転者の想定外の動作を行うことになる。このような誤動作を防止するために、後述するように画像認識装置10は三次元画像に基づいて認識される認識対象の位置を自動的に補正する機能を搭載している。

0051

<画像認識装置10の動作>
<第1実施形態>
処理手順概要
本発明の実施形態における画像認識装置10の主要な動作例(1)を図1に示す。すなわち、図2に示した画像認識装置10のジェスチャー監視制御部12に内蔵されるコンピュータ(図示せず)または画像認識処理部11が、図1に示した手順に従って運転者のジェスチャーに対応するための制御を実施する。

0052

図1に示した手順には、TOFカメラ21の出力する三次元画像に基づいて認識される認識対象の手の位置を補正するための処理が含まれている。具体的には、ステアリングホイール31の位置を基準として、認識された手の位置を補正する。

0053

ステアリングホイール31は、基本的には車体に固定されているので、TOFカメラ21からステアリングホイール31上の特定位置までの距離は既知として扱うことができる。そこで、この距離を事前に実測して距離参照値Lrefとして画像認識装置10上の定数テーブルTB1に登録しておく。

0054

但し、実際の車両においてステアリングホイール31はティルト角度操舵軸の長さを変更するための姿勢調整機能を搭載している場合が多く、TOFカメラ21からステアリングホイール31上の特定位置までの距離も可変である。そこで、ステアリングホイール31の複数の姿勢のそれぞれの状態で実測した複数の距離参照値Lrefを定数テーブルTB1に登録しておき、ステアリングホイール31の実際の姿勢に応じて最適な距離参照値Lrefを選択的に使用する。

0055

TOFカメラ21が撮影した三次元画像に基づいて認識されるステアリングホイール31上の特定位置の三次元座標に基づいて、TOFカメラ21から前記特定位置までの距離計測値L1を算出できる。ここで、計測誤差が発生していると、距離参照値Lrefと距離計測値L1との間に差異が現れる。そこで、これらの比率R1を算出し、これを距離の誤差を補正するための補正係数として使用する。
R1=L1/Lref ・・・(1)

0056

つまり、TOFカメラ21の位置からこれが撮影した三次元画像に基づいて認識される監視対象の手の位置までの距離計測値L2は、TOFカメラ21の特性により生じる距離の計測誤差を含んでいるので、この計測誤差を減らすために前記比率R1を用いて距離計測値L2を補正する。

0057

補正後の距離計測値L21を用いて、監視対象の手の位置と挙動検出空間SP1、SP2の各範囲の閾値とを比較することにより、手の位置が各挙動検出空間の範囲内か否かを正しく識別できる。

0058

<処理手順の詳細>
車両のイグニッションオンになると、ジェスチャー監視制御部12が実行する処理は図1のステップS11からS12に進む。ステップS12では、ジェスチャー監視制御部12は上位ECU22から取得可能な情報に基づき、ステアリングホイール31のティルト角度(高さの違いに相当)などの姿勢情報を取得する。

0059

次のステップS13では、ジェスチャー監視制御部12は、S12で取得した姿勢の情報をパラメータとして、これに対応付けられた1つの距離参照値Lrefを定数テーブルTB1から取得する。つまり、TOFカメラ21の位置から固定されたステアリングホイール31上の特定位置までの実際の距離を表す値を距離参照値Lrefとして取得する。

0060

次のステップS14で、ジェスチャー監視制御部12はTOFカメラ21が撮影を開始するように制御する。この後で、TOFカメラ21の撮影により得られる三次元画像のデータが画像のフレーム毎に順次に画像認識処理部11およびジェスチャー監視制御部12に入力される。

0061

ステップS15では、画像認識処理部11が入力される三次元画像のデータを処理して所定の画像認識を実行する。すなわち、入力された三次元画像から抽出される様々な特徴量と、事前に登録してあるステアリングホイール31の形状、手の形状、指の形状などの参照データとを比較することにより、ステアリングホイール31、手、指などのそれぞれの認識対象物を認識する。

0062

ステップS16では、ジェスチャー監視制御部12は、S15における画像認識処理部11の認識結果に基づき、基準位置として事前に定めたステアリングホイール31上の特定位置の位置座標を特定し、TOFカメラ21から前記特定位置までの距離計測値L1を算出する。なお、前記「特定位置」については、例えば突起などの特別な形状、着色やマークなどの特徴的な目印を利用することにより容易に特定できる。

0063

ステップS17では、ジェスチャー監視制御部12は、S13で取得した距離参照値LrefとS16で算出した距離計測値L1とに基づき、前記第(1)式の比率R1を算出する。

0064

例えば、TOFカメラ21からステアリングホイール31までの実際の距離が30cmである場合には、距離参照値Lrefが30cmになる。また、画像認識により得られた距離計測値L1が50cmの場合には、距離参照値Lrefと異なるので誤差が含まれていることになる。そこで、比率R1(50/30)を補正値として利用すれば、距離計測値L1と距離参照値Lrefの誤差がなくなるように補正することができる。

0065

ステップS18では、ジェスチャー監視制御部12は、画像認識処理部11の認識結果に基づき、手の位置座標を取得し、TOFカメラ21の位置から手の位置までの奥行き方向の距離を表す距離計測値L2を算出する。

0066

ステップS19では、ジェスチャー監視制御部12は、S18で取得した手の位置までの距離計測値L2をS17で得た比率R1を用いて補正し、補正後の距離計測値L21を取得する。
L21=L2/R1 ・・・(2)

0067

ステップS20では、ジェスチャー監視制御部12は、補正後の距離計測値L21を含む運転者の手の位置の三次元座標を、前記挙動検出空間SP1、SP2の各々の範囲を特定する閾値と比較して、手が各々の挙動検出空間の範囲内か否かを識別する。

0068

ここで、手の位置が挙動検出空間の範囲外であれば、S20からS15に戻るので、手の挙動は検出しない。一方、手の位置が挙動検出空間の範囲内であれば、S20からS21に進む。

0069

ステップS21では、ジェスチャー監視制御部12は、画像認識処理部11の画像認識結果に基づき、運転者の手や指の挙動を監視する。そして、検出した手や指の挙動パターンを事前に登録してあるジェスチャーの基準パターンと対比して、これらが一致するか否かをS22で識別する。

0070

S21における監視の結果、ジェスチャー監視制御部12が登録済みのジェスチャーを検出した場合には、S22からS23に進む。そして、該当するジェスチャーに対応付けられた制御を実行するように、ジェスチャー監視制御部12がS23で車載機器に対して制御信号を出力する。

0071

例えば、図6(A)に示したジェスチャーを検出した場合は、ジェスチャー監視制御部12がHUDユニット23に対して動作を起動するための信号を出力する。また、図6(B)に示したジェスチャーを検出した場合は、ジェスチャー監視制御部12がHUDユニット23に対して動作を終了するための信号を出力する。

0072

<第2実施形態>
<処理手順の概要>
本発明の実施形態における画像認識装置10の主要な動作例(2)を図7に示す。図7に示した動作は、図1に示した動作の変形例である。図7において、図1と同一のステップには同一の番号を付けて示してある。

0073

図7に示した手順には、TOFカメラ21の出力する三次元画像に基づいて認識される認識対象の手の位置を補正するための処理が含まれている。具体的には、ステアリングホイール31の寸法(大きさ)を基準として、補正用の比率R2を算出し、認識された手の位置を補正する。

0074

ステアリングホイール31は、基本的には車体に固定されているので、TOFカメラ21からステアリングホイール31上の特定位置までの距離は既知として扱うことができる。また、ステアリングホイール31の全体の形状やその一部分の形状も既知であり、ステアリングホイール31の各部の寸法も既知である。

0075

そこで、ステアリングホイール31の全体やその一部分またはその近傍の所定部位の形状のデータを画像認識装置10上に事前に登録しておく。また、TOFカメラ21から視たステアリングホイール31の特定部位の寸法を、事前に実測して寸法参照値Drefとして画像認識装置10上の定数テーブルTB1に登録しておく。図7に示した例では、寸法参照値Drefがステアリングホイール31の内径である場合を想定しているが、外径寸法や他の部位の寸法に置き換えることもできる。

0076

但し、実際の車両においてステアリングホイール31はティルト角度や操舵軸の長さを変更するための姿勢調整機能を搭載している場合が多く、TOFカメラ21からステアリングホイール31上の特定位置までの距離も可変である。そこで、ステアリングホイール31の複数の姿勢のそれぞれの状態で実測した複数の寸法参照値Drefを定数テーブルTB1に登録しておき、ステアリングホイール31の実際の姿勢に応じて最適な寸法参照値Drefを選択的に使用する。

0077

一方、TOFカメラ21が撮影した三次元画像に基づいて認識されるステアリングホイール31上の特定部位の座標間距離に基づいて、前記寸法参照値Drefに対応する寸法計測値D1を算出できる。

0078

ここで、計測誤差が発生していると、寸法参照値Drefと寸法計測値D1との間に差異が現れる。そこで、これらの比率R2を算出し、これを距離の誤差を補正するための補正係数として使用する。
R2=D1/Dref ・・・(3)

0079

例えば、TOFカメラ21の位置からこれが撮影した三次元画像に基づいて認識される監視対象の手の位置までの距離計測値L2は、TOFカメラ21の特性により生じる距離の計測誤差を含んでいるが、この計測誤差を減らすために前記比率R2を用いて距離計測値L2を補正することができる。

0080

補正後の距離計測値L21を用いて、監視対象の手の位置と挙動検出空間SP1、SP2の各範囲の閾値とを比較することにより、手の位置が各挙動検出空間の範囲内か否かを正しく識別できる。

0081

<処理手順の詳細>
車両のイグニッションがオンになると、ジェスチャー監視制御部12が実行する処理は図7のステップS11からS12に進む。ステップS12では、ジェスチャー監視制御部12は上位ECU22から取得可能な情報に基づき、ステアリングホイール31のティルト角度(高さの違いに相当)などの姿勢情報を取得する。

0082

次のステップS13Bでは、ジェスチャー監視制御部12は、S12で取得した姿勢の情報をパラメータとして、これに対応付けられた1つの寸法参照値Drefを定数テーブルTB1から取得する。つまり、TOFカメラ21から視たステアリングホイール31上の特定部位の寸法の基準値を、寸法参照値Drefとして取得する。

0083

次のステップS14で、ジェスチャー監視制御部12はTOFカメラ21が撮影を開始するように制御する。この後で、TOFカメラ21の撮影により得られる三次元画像のデータが画像のフレーム毎に順次に画像認識処理部11およびジェスチャー監視制御部12に入力される。

0084

ステップS15では、画像認識処理部11が入力される三次元画像のデータを処理して所定の画像認識を実行する。すなわち、入力された三次元画像から抽出される様々な特徴量と、事前に登録してあるステアリングホイール31の形状、手の形状、指の形状などの参照データとを比較することにより、ステアリングホイール31、手、指などのそれぞれの認識対象物を認識する。ここで、距離の違いや測定誤差等に起因して各パターンの大きさが変化する可能性があるが、大きさが異なるパターンであっても形状が相似形であれば同一の物体として認識する。

0085

ステップS16Bでは、ジェスチャー監視制御部12は、S15における画像認識処理部11の認識結果に基づき、ステアリングホイール31の全体またはその一部分の特定部位を認識し、その寸法を寸法計測値D1として算出する。なお、前記「特定部位」については、事前に登録した特別な形状と相似形である部位を画像から抽出することにより特定できる。

0086

ステップS17Bでは、ジェスチャー監視制御部12は、S13Bで取得した寸法参照値DrefとS16Bで算出した寸法計測値D1とに基づき、前記第(3)式の比率R2を算出する。

0087

ステップS18では、ジェスチャー監視制御部12は、画像認識処理部11の認識結果に基づき、手の位置座標を取得し、TOFカメラ21の位置から手の位置までの奥行き方向の距離を表す距離計測値L2を算出する。

0088

ステップS19Bでは、ジェスチャー監視制御部12は、S18で取得した手の位置までの距離計測値L2をS17Bで得た比率R2を用いて補正し、補正後の距離計測値L21を取得する。
L21=L2/R2 ・・・(4)

0089

図7において、ステップS20以降の処理については図1と同一であるのでこれらの説明は省略する。

0090

<変形例の説明>
運転席に着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例(2)を図8に示す。また、図8の一部分を拡大した状態を図9に示す。

0091

前述の第1実施形態および第2実施形態では、距離を補正するための基準の物体として位置が固定されたステアリングホイール31を利用しているがそれ以外の物体を基準にして補正を行うこともできる。

0092

例えば、図8および図9に示した例では、撮影方向を下方に向けたTOFカメラ21が車室内の上部に固定してあり、手(LH、RH)と操作レバー36とが同時に撮影できるように撮影範囲25Bを事前に調整してある。

0093

ここで、操作レバー36の位置は変化しないので、TOFカメラ21から操作レバー36までの距離を前述の距離参照値Lrefと同様の定数として定数テーブルTB1に登録しておき、比率R1を算出するための基準値として利用できる。

0094

また、図9に示した例では、操作レバー36の上方に隣接する位置に挙動検出空間SP3を割り当てる場合を想定している。したがって、例えば運転者30が手の一部分を操作レバー36に近づけるような特別な挙動を行った場合に、これを登録されたジェスチャーとして画像認識装置10が認識し、HUDユニット23などを制御することができる。

0095

<上記以外の変形の可能性>

0096

前述の第1実施形態の動作および第2実施形態においては、補正後の手の位置が挙動検出空間(SP1〜SP3)の内側か否かを識別しているが、ジェスチャーの誤検出を防止する目的だけであれば、認識した手の位置を補正する代わりに、挙動検出空間を決定するパラメータ(空間の大きさや座標を計算する際に用いる係数)を修正してもよい。

0097

<画像認識装置10の利点>
上述の画像認識装置10においては、車体に固定された位置に存在するステアリングホイール31あるいは操作レバー36のような挙動検出対象以外の撮影対象を利用して補正用の比率R1、R2を取得し、TOFカメラ21の撮影した三次元画像に基づいて認識した撮影対象までの距離(L2)などを比率R1、R2を用いて補正している。したがって、TOFカメラ21の計測する距離に大きな誤差が発生する場合であっても、位置検出精度が高くなり、挙動検出対象の手が挙動検出空間の外側に存在する時に、運転者の意図しない手の挙動をジェスチャーとして誤認識するのを防止できる。

0098

ここで、上述した本発明に係る画像認識装置10の実施形態の特徴をそれぞれ以下[1]〜[3]に簡潔に纏めて列記する。
[1]撮影対象の3次元認識が可能な距離画像センサ(TOFカメラ21)から入力される信号に基づいて人間の挙動を認識する画像認識装置(10)であって、
前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象(ステアリングホイール31や操作レバー36)までの第1の計測距離(距離計測値L1)と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離(距離参照値Lref)との比率(R1)を算出し、
人間の挙動を認識する空間として定められた挙動検出空間(SP1、SP2、SP3)を特定するパラメータまたは前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第2の計測距離(距離計測値L2)を、前記比率に基づく補正量により補正する(S19)、
画像認識装置。

0099

[2] 前記比率(R1)は、前記特定の撮影対象における所定の箇所までの計測距離(距離計測値L1)と、前記距離画像センサから前記特定の撮影対象における所定の箇所までの距離を事前に実測して得られた参照距離(距離参照値Lref)との比率である(S17)、
上記[1]に記載の画像認識装置。

0100

[3] 前記比率(R2)は、認識される前記特定の撮影対象の少なくとも一部の形状が事前に定めた参照形状とほぼ一致する場合に、前記特定の撮影対象における当該一部の寸法を事前に実測して得られた参照寸法(寸法参照値Dref)と、前記距離画像センサが認識した該当部位の計測寸法(寸法計測値D1)との比率に基づき算出される(S17B)、
上記[1]に記載の画像認識装置。

0101

10画像認識装置
11画像認識処理部
12ジェスチャー監視制御部
21TOFカメラ
21a光源部
21b受光部
22 上位ECU
23HUDユニット
24カーナビゲーション装置
25A,25B撮影範囲
26カーオーディオ装置
30運転者
31ステアリングホイール
32ディスプレイユニット
33ダッシュボード
34運転席シート
35助手席シート
36操作レバー
LH左手
RH右手
TB1定数テーブル
Lref 距離参照値
L1,L2距離計測値
Dref 寸法参照値
D1寸法計測値
R1,R2比率
SP1,SP2,SP3挙動検出空間

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社トヨタシステムズの「 動体検出装置」が 公開されました。( 2019/09/19)

    【課題】 カメラ視野が変化している場合であってもそのカメラによって撮影された画像上の動体が映る領域を特定することが可能であり且つその動体の画像上の移動に伴う動体周辺の領域が変化している場合であっても... 詳細

  • 新菱冷熱工業株式会社の「 計測機配置位置決定装置、計測機配置位置決定方法およびプログラム」が 公開されました。( 2019/09/19)

    【課題】計測機配置位置を決定する処理時間を短くし、また、広い範囲の計測が可能な、より少ない個数の計測機配置位置を決定する。【解決手段】計測機配置位置決定装置は、SfMにより生成された被計測物等のベース... 詳細

  • 株式会社マーケットヴィジョンの「 画像認識システム」が 公開されました。( 2019/09/19)

    【課題】 画像情報に写っている商品などの対象物の識別情報の特定を精度よく行うための画像認識システムを提供することを目的とする。【解決手段】 商品を陳列した陳列棚を複数の角度から撮影した画像情報... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ