図面 (/)

この項目の情報は公開日時点(2014年5月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

操作意図予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置を提供する。

解決手段

操作体の動作を撮影し、連続的な撮影画像を出力する撮像手段と、撮影画像に基づいて制御信号を出力する制御手段と、処理結果を表示させる表示手段と、を備える操作装置の操作方法であって、撮影画像に含まれる前回撮影画像との変化領域を連続的に抽出するステップST2と、変化領域によって操作体の重心を連続的に算出し、前記重心を中心とし、複数の領域に分割するステップST3と、重心と、この重心よりも一回前に算出された重心と、を比較して操作体の動作方向推定し、表示手段と操作体との位置関係に基づき、複数の領域にそれぞれの重みを設定するステップST4と、重心が移動した領域の重みを積算した積算値を算出し、積算値に基づいて操作体の動作の予測を行うステップST5と、を有し、これらのステップを繰り返し実行する。

概要

背景

車両を運転する際に、エアコンディショナ装置カーナビゲーション装置等、車載装置がますます増加し、運転者が車載装置に対して行う操作の内容も複雑になっている。操作者の意図する制御を行うためには、車載装置の操作面を注視しなければならなかった。そのため、運転者が車載装置を操作することによる運転不注意、さらには交通事故を誘発する恐れがあった。

近年、電子機器の操作では、表示画面での操作者の手の動きセンサが検知しながら、操作内容を設定する手法がとられている。例えば静電容量型座標入力センサであれば、静電パッドと操作者の指との間の静電容量の変化から、表示画面のどの位置に指があるのかを検知することができ、文字入力の認識やフリック操作も可能となっている。車載装置においても、静電容量型座標入力センサが表示画面に搭載され、表示画面が操作面を兼ねるようになってきている。

従来、車両内カメラを搭載して乗員の動作や状況を認識し、車載装置の制御を行う、という技術があった。特許文献1に記載の操作者判別装置は、車載装置の操作者が運転者か非運転者判別し、運転者が操作していると判別された場合は運転者に適したように、非運転者が操作していると判別された場合は非運転者に適したように、車載装置を制御することができる。

図10は、特許文献1の操作者判別装置における赤外線カメラ200の設置場所の説明図である。図11は、従来の操作者判別装置におけるフローチャートである。図10に示すように、運転席231及び助手席232の間で座席前方に配置された表示操作部215に対して、運転者221及び助手席着座者222のいずれかの手が操作を行っているかを認識するための赤外線カメラ200を車両の略中心線上に配置している。操作者判別装置を用いた車載装置は、この赤外線カメラ200の画像データを処理する画像処理部を備え、図11に示す手順で、撮影画像から抽出された操作者の手の重心が車両左右中心線250のどちら側にあるかによって操作者を判別している。

概要

操作意を予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置を提供する。操作体の動作を撮影し、連続的な撮影画像を出力する撮像手段と、撮影画像に基づいて制御信号を出力する制御手段と、処理結果を表示させる表示手段と、を備える操作装置の操作方法であって、撮影画像に含まれる前回撮影画像との変化領域を連続的に抽出するステップST2と、変化領域によって操作体の重心を連続的に算出し、前記重心を中心とし、複数の領域に分割するステップST3と、重心と、この重心よりも一回前に算出された重心と、を比較して操作体の動作方向推定し、表示手段と操作体との位置関係に基づき、複数の領域にそれぞれの重みを設定するステップST4と、重心が移動した領域の重みを積算した積算値を算出し、積算値に基づいて操作体の動作の予測を行うステップST5と、を有し、これらのステップを繰り返し実行する。

目的

本発明は、操作意図を予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

操作体の動作を撮影し、連続的な撮影画像を出力する撮像手段と、前記撮影画像を画像処理するとともに、前記撮影画像の処理結果に基づいて制御信号を出力する制御手段と、前記制御信号に基づいた処理結果を表示させる表示画面が配置された表示手段と、を備える操作装置操作方法であって、前記制御手段では、前記撮影画像と前記撮影画像以前に撮影された前回撮影画像とを連続的に比較し、(a)前記撮影画像に含まれる前回撮影画像との変化領域を連続的に抽出するステップと、(b)前記変化領域から前記操作体を検知するとともに、この操作体の重心を連続的に算出し、前記重心を中心とし、複数の領域に分割するステップと、(c)前記重心と、前記重心よりも一回前に算出された重心と、を比較して前記操作体の動作方向推定し、前記表示手段と前記操作体との位置関係に基づき、前記複数の領域にそれぞれの重みを設定するステップと、(d)前記重心が移動した領域の前記重みを積算した積算値を算出し、前記積算値に基づいて前記操作体の動作の予測を行うステップと、を有し、これらのステップを繰り返し実行することを特徴とする操作方法。

請求項2

前記撮影画像は、前記表示画面に対する垂線と前記垂線に直交する直交軸とがなす平面を、平面視するように撮影した画像であることを特徴とする請求項1に記載の操作方法。

請求項3

前記表示画面には複数の操作部が表示され、前記重みはそれぞれの前記複数の操作部に対して設定されることを特徴とする請求項2に記載の操作方法。

請求項4

前記表示画面から前記重心が離れる方向の重みはマイナス成分であることを特徴とする請求項2又は請求項3のいずれかに記載の操作方法。

請求項5

前記操作体と前記表示画面との距離、及び、前記積算値に基づき、前記表示画面に表示される操作対象が段階的に切り換わることを特徴とする請求項2乃至請求項4のいずれかに記載の操作方法。

請求項6

操作体の動作を撮影し、撮影画像を出力する撮像手段と、前記撮影画像に基づいて制御信号を出力する制御手段と、前記制御信号に基づいた処理結果を表示させる表示画面が配置された表示手段と、を備える操作装置であって、前記制御手段は、請求項1乃至請求項5のいずれかに記載の操作方法を用いて、前記操作体の動作を予測する画像情報処理部と、前記操作体の動作の予測に基づく制御信号を出力する制御信号出力部と、を有することを特徴とする操作装置。

請求項7

前記撮像手段は、前記操作体及び前記表示画面の上側に配置され、且つ、撮影範囲が下向きに配置されることを特徴とする請求項6に記載の操作装置。

技術分野

0001

本発明は、操作意図予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置に関する。

背景技術

0002

車両を運転する際に、エアコンディショナ装置カーナビゲーション装置等、車載装置がますます増加し、運転者が車載装置に対して行う操作の内容も複雑になっている。操作者の意図する制御を行うためには、車載装置の操作面を注視しなければならなかった。そのため、運転者が車載装置を操作することによる運転不注意、さらには交通事故を誘発する恐れがあった。

0003

近年、電子機器の操作では、表示画面での操作者の手の動きセンサが検知しながら、操作内容を設定する手法がとられている。例えば静電容量型座標入力センサであれば、静電パッドと操作者の指との間の静電容量の変化から、表示画面のどの位置に指があるのかを検知することができ、文字入力の認識やフリック操作も可能となっている。車載装置においても、静電容量型座標入力センサが表示画面に搭載され、表示画面が操作面を兼ねるようになってきている。

0004

従来、車両内カメラを搭載して乗員の動作や状況を認識し、車載装置の制御を行う、という技術があった。特許文献1に記載の操作者判別装置は、車載装置の操作者が運転者か非運転者判別し、運転者が操作していると判別された場合は運転者に適したように、非運転者が操作していると判別された場合は非運転者に適したように、車載装置を制御することができる。

0005

図10は、特許文献1の操作者判別装置における赤外線カメラ200の設置場所の説明図である。図11は、従来の操作者判別装置におけるフローチャートである。図10に示すように、運転席231及び助手席232の間で座席前方に配置された表示操作部215に対して、運転者221及び助手席着座者222のいずれかの手が操作を行っているかを認識するための赤外線カメラ200を車両の略中心線上に配置している。操作者判別装置を用いた車載装置は、この赤外線カメラ200の画像データを処理する画像処理部を備え、図11に示す手順で、撮影画像から抽出された操作者の手の重心が車両左右中心線250のどちら側にあるかによって操作者を判別している。

先行技術

0006

特開2004−067031号公報

発明が解決しようとする課題

0007

しかしながら、この操作者判別装置は、表示操作部方向に伸びた手であれば認識してしまうものであり、操作者の操作意図とは無関係に、操作者の着席方向だけを判別するものである。また、例えば操作者が運転者であると判別された場合に、運転者に適したように操作内容に制限を加える、という制御を行うもので、操作者の操作意図に応じた制御を行うものではなかった。そのため、操作性の向上としては十分でなかった。

0008

本発明は、操作意図を予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置を提供することを目的とする。

課題を解決するための手段

0009

本発明の操作方法は、操作体の動作を撮影し、連続的な撮影画像を出力する撮像手段と、前記撮影画像を画像処理するとともに、前記撮影画像の処理結果に基づいて制御信号を出力する制御手段と、前記制御信号に基づいた処理結果を表示させる表示画面が配置された表示手段と、を備える操作装置の操作方法であって、前記制御手段では、前記撮影画像と前記撮影画像以前に撮影された前回撮影画像とを連続的に比較し、
(a)前記撮影画像に含まれる前回撮影画像との変化領域を連続的に抽出するステップと、
(b)前記変化領域から前記操作体を検知するとともに、この操作体の重心を連続的に算出し、前記重心を中心とし、複数の領域に分割するステップと、
(c)前記重心と、前記重心よりも一回前に算出された重心と、を比較して前記操作体の動作方向推定し、前記表示手段と前記操作体との位置関係に基づき、前記複数の領域にそれぞれの重みを設定するステップと、
(d)前記重心が移動した領域の前記重みを積算した積算値を算出し、前記積算値に基づいて前記操作体の動作の予測を行うステップと、
を有し、これらのステップを繰り返し実行することを特徴とする。

0010

この操作方法によれば、撮影画像と前回撮影画像との変化領域を連続的に抽出するので、動作している操作体を認識できる。さらに、認識された操作体の重心を算出して、重心の移動から、操作体の動作中に操作者の操作意図を予測できる。このため、予測した意図に応じた素早い制御を可能とし、操作性を向上させることができる。

0011

本発明の操作方法において、前記撮影画像は、前記表示画面に対する垂線と前記垂線に直交する直交軸とがなす平面を、平面視するように撮影した画像であることを特徴とする。こうすれば、画像処理によって、表示画面と操作体との位置関係を平面視できることから、表示画面に向けての操作体の移動を容易に把握できる。このため、操作性の向上に繋がる。

0012

本発明の操作方法において、前記表示画面には複数の操作部が表示され、前記重みはそれぞれの前記複数の操作部に対して設定されることを特徴とする。こうすれば、表示画面に表示されている操作部の中から、どの操作部を操作者が操作しようとしているのかを予測することができる。このため、操作性の向上に繋がる。

0013

本発明の操作方法において、前記表示画面から前記重心が離れる方向の重みはマイナス成分であることを特徴とする。こうすれば、予測された動作が継続されているか、別の動作に変更されているか、を積算値によって簡単に推定できる。これにより、操作意図を予測して、制御をより適確に行うことができる。

0014

本発明の操作方法において、前記操作体と前記表示画面との距離、及び、前記積算値に基づき、前記表示画面に表示される操作対象が段階的に切り換わることを特徴とする。こうすれば、予測された操作意図に応じて操作画面が切り換わることによって、操作性の向上を可能とする。例えば、操作者の意図する車載装置の制御を、できるだけ少ない操作で導ける。

0015

本発明の操作装置は、操作体の動作を撮影し、撮影画像を出力する撮像手段と、前記撮影画像に基づいて制御信号を出力する制御手段と、前記制御信号に基づいた処理結果を表示させる表示画面が配置された表示手段と、を備える操作装置であって、前記制御手段は、上記いずれかの操作方法を用いて、前記操作体の動作を予測する画像情報処理部と、前記操作体の動作の予測に基づく制御信号を出力する制御信号出力部と、を有することを特徴とする。

0016

撮影画像に基づいて制御信号を出力する制御手段が、前記操作体の動作を予測する画像情報処理部と、前記操作体の動作の予測に基づく制御信号を出力する制御信号出力部と、を有しているので、撮影画像から操作体の動作を予測して制御信号を出力する。こうすれば、撮影画像に基づいて、操作体の動作中に予測した意図に応じた素早い制御を適確に行うことが可能であり、操作性を向上させることができる。

0017

本発明の操作装置において、前記撮像手段は、前記操作体及び前記表示画面の上側に配置され、且つ、撮影範囲が下向きに配置されることを特徴とする。こうすれば、撮像手段からの俯瞰により、表示画面と操作体との位置関係を平面視できることから、撮影画像に基づいて、表示画面に向けての操作体の移動を容易に把握できる。このため、素早い制御を適確に行うことが可能であり、操作性を向上させることができる。

発明の効果

0018

本発明によれば、撮影画像と前回撮影画像との変化領域を連続的に抽出するので、動作している操作体を認識できる。さらに、認識された操作体の重心を算出して、重心の移動から操作体の動作の予測を行うので、操作体の動作中に操作者の操作意図を予測した表示画面に切り換えることができる。したがって、操作意図を予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置を提供することができる。

図面の簡単な説明

0019

本発明の実施形態における操作装置の構成を示すブロック図である。
撮像手段及び表示手段のレイアウトを示す説明図である。
表示手段と操作者との位置関係を示す説明図である。
操作装置の動作手順を示すフローチャート図である。
撮影画像の具体例を示す説明図であり、(a)は撮影画像、(b)は前回撮影画像、(c)は撮影画像と前回撮影画像との変化領域を示す模式図である。
図5から推定された操作体の重心を中心に複数の領域に分割された具体例を示す模式図である。
操作装置の表示画面に表示される操作部の具体例を示す説明図である。
図7の操作部のひとつが予測された具体例を示す説明図である。
図8の操作部のひとつが予測された具体例を示す説明図である。
従来の操作者判別装置における赤外線カメラ200の設置場所の説明図である。
従来の操作者判別装置におけるフローチャートである。

実施例

0020

以下に本発明の実施形態における操作装置1について、図面を参照しながら詳細に説明する。本発明の実施形態における操作装置1及び操作方法は車載装置の制御に適用される。

0021

図1は、本発明の実施形態における操作装置1を示す概略構成図である。図1に示すように、本実施形態の操作装置1は、連続的な撮影画像を出力する撮像手段10と、撮像手段10の撮影画像に基づいて制御信号を出力する制御手段20と、制御手段20の制御信号に基づいた処理結果を表示させる表示手段30と、を備えている。制御手段20には、撮像手段10から出力された撮影画像を画像処理する画像情報処理部21と、制御信号を出力する制御信号出力部22と、それらの信号処理に必要な記憶部25と、を有している。表示手段30に配置された表示画面31は、静電容量型座標入力センサが搭載されていて、車載装置の装置制御部50を操作するための入力用ソフトキーを兼ねている。

0022

撮像手段10は、例えばVGAと呼ばれる画素数撮像素子を備えた小型カメラであり、1秒間に30枚の画像を撮影し、撮影画像をデジタル画像データとして出力する。制御手段20は、制御プログラムに基づきデータ処理をおこなうマイクロプロセッサ等で構成され、撮像手段10が出力した撮影画像を一時的に記憶し、制御信号を出力するために必要な画像処理を行う。この画像処理では、撮影画像と当該撮影画像以前に撮影された前回撮影画像とを連続的に比較し、画像処理結果に応じた制御信号を表示手段30へ出力する。

0023

表示手段30の表示画面31に表示された入力用ソフトキーに操作者の指が触れると、搭載された静電容量型座標入力センサによって、触った画面位置に表示されていたソフトキーに対応した操作が、操作対象である車載装置に対して実行される。例えば、車載装置がカーエアコンの場合では、コンプレッサ内外気取り入れ切り換え手段、送風機等の各ユニット電気配線が接続された装置制御部50がエンジンルーム内に搭載されており、表示手段30と装置制御部50との間も電気配線で接続されている。この場合、操作装置1はカーエアコンの操作ユニットである。

0024

同様に、カーナビゲーションオーディオにおいても、車載装置と表示手段30とを分離して、電気配線で接続することができる。こうすれば、例えば、カーエアコンとオーディオの操作をひとつの表示手段30から行うことが可能である。例えば、表示画面31に表示される画面内容を切り換えて、カーエアコン制御用画面モードでカーエアコンを設定し、次にオーディオ制御用の画面モードにして、音楽を選択したり音量を調整したりする操作が可能になる。表示手段30はオーディオの本体と分離せずに本体前面に取り付けられたものであっても良いが、例えばカーエアコン制御の表示手段30としても使用するのである。この場合、操作装置1は、単独の車載装置の操作ユニットでなく、複数の操作ユニットの一部分が複合化された操作専用の複合装置マルチコントローラ)であり、装置制御部50を含まない。

0025

図2は、撮像手段10及び表示手段30のレイアウトを示す説明図であり、車両に配置された撮像手段10及び表示手段30を、車両の側面方向から見たレイアウトを示している。図3は、表示手段30と操作者との位置関係を示す説明図であり、表示手段30と操作者との位置関係を、車両の天井方向から下向きに見た俯瞰図として示している。図2及び図3に示すように、撮像手段10が、表示手段30と運転席及び助手席との間を下向きに撮影するように、車両の天井面に配置されている。図3には、撮像手段10で撮影される撮影範囲F1を示している。

0026

図4は、操作装置1の動作手順を示すフローチャート図である。

0027

エンジンキーの操作等により、操作装置1が起動すると、撮像手段10が連続的な撮影を開始する。ステップST1で、撮影された画像がグレースケール画像データとして取得され、一時的に記憶される。ステップST2では、取得された撮影画像と撮影画像以前に撮影された前回の撮影画像との比較によって、撮影画像に含まれる前回撮影画像との変化領域を抽出する。この比較処理は2枚目の撮影画像から実行される。

0028

図5は、撮影画像の具体例を示す説明図であり、(a)は撮影画像、(b)は前回撮影画像、(c)は撮影画像に含まれる前回撮影画像との変化領域を示す模式図である。ここでは、説明を簡単にするために、グレースケールでなく、背景を黒に、物体を白に、2値化された単純図形を示している。図5(b)の前回撮影画像に対して、図5(a)の撮影画像は図形A1の領域だけが異なる。したがって、撮影画像に含まれる前回撮影画像との変化領域が、図5(c)に示すように抽出される。図5(c)では、変化していない画像領域を白で、変化領域を黒で示した。また、変化していない画像領域に撮影されていた図形の輪郭を二点破線で示した。

0029

この変化領域は、撮影範囲F1での操作者の手の動きに相当している。本明細書において、この画像処理によって抽出された変化領域から推定される操作者の手や指のことを、操作体と呼ぶ。抽出された変化領域の情報から、その大きさや撮影範囲F1内での相対位置を参照して、操作体であるかどうかを推定する。

0030

図4に示すステップST3では、推定された操作体に対して、その重心を算出し、撮影範囲F1内の一部を、その重心位置を中心にする複数のブロック(領域)に分割する。ステップST4では、この重心と、当該重心以前に連続的に算出された前回の重心と、を比較して操作体の重心の動作方向を推定し、表示手段30と操作体との位置関係に基づき、分割したブロック(領域)に重み付けをおこなう。

0031

これらのステップを、撮影画像の具体例によって説明する。図5(c)の変化領域から、図5(a)の図形A1が操作体であることが推定される。続いて、操作体の重心を算出し、重心の位置座標が記憶される。次に、この重心を中心とする9つのブロックに撮影範囲F1内の一部座標が分割される。図6は、図5から推定された操作体(図形A1)の重心Gを中心に、撮影範囲F1が9つのブロック(領域)に分割された具体例を示す模式図である。9つのブロックの中心ブロックに重心Gが位置する。また、表示手段30は、図6のX1側に位置している。表示手段30の操作部と操作体の重心Gとの位置関係から、図6に示すように、中心ブロックのY1側及びY2側のブロックの重みを「0」に設定する。ここで、操作部とは、表示手段30に配置された表示画面31に表示された入力用ソフトキーのことであり、単独の入力キーの場合だけでなく、テンキー等の一群の入力キーの場合を含む。重心Gの中央ブロックも重みは「0」である。これに対し、X1側の1列のブロックは正、X2側の1列のブロックは負に、それぞれの重みが設定される。このとき、操作体の重心Gから表示手段30の操作部に向かう方向にあたるブロックの重みを「2」、逆の方向を「−2」として、他のブロックは「1」、「−1」とする。分割したブロック(領域)の重みはそれぞれの複数の操作部に対して個別に設定される。つまり、分割したブロックの重みは、操作対象である操作部の数に応じて複数設定されるものである。操作部がX1側のY1方向にあるときは、図6のように重みが設定される。

0032

この分割されたブロック(領域)と重み付けの範囲は、撮影範囲F1内の一部、すなわち、直後の撮影で操作体の重心Gが位置すると予想される現在位置付近だけ行えばよい。

0033

次に、図4に示すステップST5及びステップST6が行われる。このステップST5及びステップST6は3回目の撮影画像から実行される。ステップST4までを複数回繰り返すことによって、ステップST5で重心Gが移動したブロック(領域)の重みを積算できる。重心が移動した領域の重みを積算した積算値を算出し、重心Gの移動方向が同じときは、積算値が大きく増加していく。一方、重心Gが移動しなくなると積算値が変化しなくなる。また、移動方向が変化すると、積算値が増減するので、操作体の動作を積算値で知ることができる。したがって、積算値に基づいて操作体の動作の予測を行うことができる。例えば、積算値が大きく増加したときは、引き続き同じ方向に操作体が動作すると予測できる。その場合、ステップST6では、表示手段30に操作体が近づいた場合、予測された動作で操作される操作内容に応じて、操作後に切り換わる表示画面31に、実際の操作が実行される前に切り換える処理が実行される。

0034

ステップST6での表示画面31に表示される操作対象の切り換えについて、具体例を用いて説明する。図7は、操作装置1の表示画面31に表示される操作部の具体例を示す説明図である。図8は、図7の操作部のひとつが予測された具体例を示す説明図である。図9は、図8の操作部のひとつが予測された具体例を示す説明図である。

0035

図7では、表示画面31のY1側にオーディオ操作画面が、表示画面31のY2側にカーナビゲーション操作画面が、表示されている。積算値から予測された操作対象がオーディオであり、図8では、オーディオが選択されて、操作対象のオーディオ操作に切り換わった画面が表示される。さらに、図8のY2側の音量操作が予測されると、図9のように、音量が選択されて、操作対象の音量操作に切り換わった画面が表示される。このようにして、操作体と表示画面31との距離、及び、積算値に基づき、表示画面31に表示される操作対象が段階的に切り換わるようにする。

0036

図7図9に示した事例では、表示画面31には複数の操作部が表示され、前述したように、分割したブロックの重みは、操作対象である操作部の数に応じて複数設定される。こうすれば、表示画面31に表示されている操作部の中から、どの操作部を操作者が操作しようとしているのかを予測することができる。

0037

前述したように、表示画面31から重心が離れる方向の重みはマイナス成分である。こうすれば、予測された動作が継続されているか、別の動作に変更されているか、を積算値によって簡単に推定できる。また、操作体と表示画面31との距離、及び、積算値に基づき、表示画面31に表示される操作対象が段階的に切り換わるようにする。表示手段30と操作体との位置が、図3に示す撮影範囲F1のX1−X2方向の中央付近から表示手段30側にあり、さらに接近していると判断されたときに表示画面31の画面を切り換える。例えば、撮影範囲F1のX1−X2方向の距離が500mm〜600mmとすれば、250mm〜300mmより近づいているときに切り換わるようにする。こうすれば、予測された操作意図に応じて操作画面が切り換わることによって、操作性の向上を可能とする。例えば、操作者の意図する車載装置の制御を、できるだけ少ない操作で導ける。

0038

図7図9に示した事例では、画面の操作部が拡大されるように操作対象の切り換えが行われているので、車両の運転者が操作面を注視しないで、かつ、できるだけ少ない操作で、操作意図に応じた制御を行うことが可能である。すなわち、この事例では操作対象を予測して切り換えていくことで、運転者の操作を楽にすることができる。

0039

なお、この事例では、運転者にとって必要な操作画面であったが、助手席側の操作者は表示画面31を直視して細かい操作を行うことが可能なので、助手席側の操作者にとっては必要のない画面である。このような助手席側の操作者では必要のない画面を表示させたくない場合、運転席側と助手席側の識別によって、操作対象の切り換えを変更すればよい。こうすれば、助手席側の操作者にとって最適な制御を実行させることも可能である。また、車両の停止信号を受信するようにして、車両が停止している状態であれば、運転者の操作においても、助手席側の操作者と同じ画面になるように設定することも可能である。

0040

また、画面の操作部を拡大していく画面において、初期の画面に詳細な操作画面を表示させておいて、操作体が近づくにつれて、予測される操作対象の表示を大きくすることもできる。こうすれば、初期の画面で操作者が操作しようとした操作対象が画面内で同じ位置に留まり、しかも画面に近づくほど大きく表示されるので、操作面を注視しなくてもよくなり、運転者が操作する場合であっても適確に操作することができる。

0041

前述した操作方法によれば、撮像手段10によって取得された撮影画像に基づいて、表示画面31に向けての操作体の移動を容易に把握できる。このため、操作体の動作中に操作者の操作意図を予測して素早い制御を適確に行うことが可能であり、操作性を向上させることができる。

0042

本実施形態の操作方法を用いた操作装置1において、撮像手段10が、表示手段30と運転席及び助手席との間を下向きに撮影するように、車両の天井面に配置されている。表示画面31は、運転席又は助手席に着座した操作者が見やすい方向、すなわち、図2及び図3のX2方向が垂線方向となるように配置されている。撮影画像は、表示画面31に対する垂線とこの垂線に直交する直交軸とがなす平面を、平面視するように撮影した画像である。そのため、天井面に配置された撮像手段10からの俯瞰により、表示画面31と操作体との位置関係を平面視できる。この場合、図3に示すように撮影範囲F1はX1−X2方向とY1−Y2方向とのなす平面である。Z1−Z2方向の操作体の動作は抽出できないので、複数の操作部はY1−Y2方向に並べるように表示される。

0043

撮像手段10は、車両の床面側に配置されていてもよい。すなわち、図2において、Z2側に配置され、Z1方向を上向きに撮影することも可能である。この場合の画像処理はほとんど同じである。しかしながら、車両の床面側に配置された撮像手段10を覆うように物体が置かれてしまう懸念があり、その心配がない天井面側に配置するほうが好ましい。

0044

一方、X1−X2方向とZ1−Z2方向とのなす平面を撮影範囲とするように、横向きに配置された撮像手段を使用することも考えられる。この場合、操作体が確実に撮影できる場所に撮像手段を設置しなければならない。さらに、この方向で撮影する場合は、運転者と助手席の搭乗者とを撮影範囲内の画像位置で単純に区別できない。

0045

どの配置においても、表示画面31と操作体との位置関係を平面視できる方向の制約があるので、撮像手段10の撮影方向に応じて、操作部を設定する必要がある。この制約を回避したい場合は、車両の天井面に配置された撮像手段10に加えて、横向きに配置された撮像手段を付加して、2台の撮像手段を使用すればよい。

0046

本実施形態では、表示画面31に表示された入力用ソフトキーに操作者の指が触れる静電容量型座標入力センサを用いているが、他の接触式入力手段を用いてもよい。例えば、抵抗型座標入力センサや光学式センサであってもよい。

0047

また、静電容量型近接センサ等の非接触式センサを使用すると、画面に触れることなく制御することが可能である。さらに、撮像手段10で撮影された撮影画像のみで制御をおこなうようにしてもよい。これらの非接触制御手段にすれば、接触式での課題である耐久性についての心配がなくなる。

0048

撮像手段10は、携帯電話等の内蔵カメラを利用して構成してもよい。例えば、天井面に撮像手段10を収納するホルダを設けておき、車両に搭乗した運転者が所持している携帯電話をホルダに収納すれば、制御手段20に接続されるシステムとすればよい。特に、無線通信が可能な携帯電話等であれば、制御手段20に接続する配線が不要であり、簡単に取り外しすることが可能である。

0049

本実施形態のステップST1では、撮影された画像がグレースケール画像データとして取得するとしたが、カラー画像を使用して、例えば人の肌の色であれば手であることを素早く認識させることも可能である。グレースケール画像を用いる場合は、画像のデータ量が少ないので、画像処理能力を低くできる。したがって、制御手段20の低コスト化が容易になる。

0050

また、撮像手段10として赤外線検知可能なカメラを用いることで、暗所でも容易に操作体の動作を認識させることが可能になる。

0051

本実施形態のステップST3では、推定された操作体に対して、その重心を算出し、撮影範囲F1内の一部を、その重心位置を中心にする複数のブロック(領域)に分割する。このとき、グレースケール画像を用いて、グレースケールの変化が大きいところや小さいところで重み付けを変えて、重心を算出することが好ましい。こうすれば、解像度が低い画像であっても重心の算出精度を向上させることが可能である。したがって、撮像手段10の低コスト化が容易になる。さらに、重心位置を中心にする複数のブロック(領域)のみを対象とすることで、撮影範囲全体マッピングする必要がないので、記憶データ量が少なくて済む。したがって、制御手段20の低コスト化が容易になる。

0052

本実施形態のステップST5では、重心Gが移動したブロック(領域)の重みを積算した積算値を算出し、積算値が増減することから、積算値に基づいて操作体の動作の予測を行う。積算値を用いた予測アルゴリズムとすることで、複雑な論理プログラムを必要とせずに、操作体の動作の予測が可能になった。したがって、制御手段20の低コスト化が容易になる。

0053

本実施形態においては、図3に示すように撮影範囲F1は、X1−X2方向とY1−Y2方向とのなす平面である。Z1−Z2方向の操作体の動作は抽出できないので、複数の操作部はY1−Y2方向に並べるように表示している。しかしながら、Z1−Z2方向への操作体の動作を、操作体の面積変化によって認識させることも可能である。また、前述したように横向きに配置された撮像手段を付加して、Y1−Y2方向を認識させることが可能である。これらの場合には、複数の操作部をZ1−Z2方向に並べることもできる。

0054

本発明の操作方法及びそれを用いた操作装置は、車載装置の制御に適用できるほか、医療用診断装置介護用機器の制御に利用できる。

0055

1操作装置
10撮像手段
20 制御手段
21画像情報処理部
22制御信号出力部
25 記憶部
30 表示手段
31表示画面
50装置制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 楽天株式会社の「 情報処理装置、情報処理方法、及びプログラム」が 公開されました。( 2020/04/09)

    【課題】ウェブページ等の表示において、コンテンツウインドウに表示されるコンテンツ情報の視認性を損なうことのないようにポップアップウインドウを表示させる。【解決手段】ネットワークシステムの配信サーバ2は... 詳細

  • テルモ株式会社の「 電子システム」が 公開されました。( 2020/04/09)

    【課題】利用者が、利用者のいる場所から離れた実在する場所にいるかのような体験ができる医療システムを提供する。【解決手段】電子システム100は、所定の第1現実空間において視覚により認識される第1現実空間... 詳細

  • キヤノン株式会社の「 情報処理装置、制御方法およびプログラム」が 公開されました。( 2020/04/09)

    【課題】複数の通知方法の制御を連動可能とする情報処理装置を提供する。【解決手段】特定の通知方法の実行可否に関する設定情報を取得し、取得された設定情報に基づいて、特定の通知方法の実行可否に連動するように... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ