図面 (/)

技術 情報処理装置、検出方法、制御プログラム、記録媒体

出願人 シャープ株式会社
発明者 山田浩史
出願日 2018年8月6日 (1年10ヶ月経過) 出願番号 2018-147953
公開日 2020年2月13日 (4ヶ月経過) 公開番号 2020-025170
状態 未査定
技術分野 イメージ分析 マニプレータ 表示による位置入力 スタジオ装置 デジタル計算機のユーザインターフェイス
主要キーワード キャタビラ 動作パターン毎 動力発生機 傾き判定 制御コマ 工学研究センター 向き調整 人体寸法
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年2月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

ジェスチャ操作検出精度を向上させる。

解決手段

情報処理装置(1)は、操作者がジェスチャ操作を行うとき、操作者の体の所定の部位が動作する領域を推定し、操作者の体の所定の部位が動作する領域が撮像可能であり、かつ所定の部位を所定の解像度以上にて撮像可能な位置にカメラ(31)が移動するように移動機構(35)を制御し、カメラ(31)によって撮像された所定の部位の動作に基づいてジェスチャ操作を検出する。

概要

背景

カメラ操作者が行うジェスチャ操作撮像し、このジェスチャ操作に応じてロボットを動作させるさまざまな技術が開発されている。

例えば、特許文献1に開示されているロボットシステムでは、操作者を撮像した撮像情報に基づいて操作者のジェスチャを検出し、検出したジェスチャに関連付けられたロボット制御コマンドを特定し、該ロボット制御コマンドを操作者へ通知する通知画像を表示部に表示する。

概要

ジェスチャ操作の検出精度を向上させる。情報処理装置(1)は、操作者がジェスチャ操作を行うとき、操作者の体の所定の部位が動作する領域を推定し、操作者の体の所定の部位が動作する領域が撮像可能であり、かつ所定の部位を所定の解像度以上にて撮像可能な位置にカメラ(31)が移動するように移動機構(35)を制御し、カメラ(31)によって撮像された所定の部位の動作に基づいてジェスチャ操作を検出する。

目的

本発明の一態様は、ジェスチャ操作の検出精度を向上させることができる情報処理装置および検出方法などを実現することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

操作者によるジェスチャ操作を検出する情報処理装置であって、前記操作者を撮像する少なくとも1つの撮像装置と、少なくとも1つの移動機構と、少なくとも1つの制御装置と、を備え、前記制御装置は、前記操作者が前記ジェスチャ操作を行うとき、前記操作者の体の所定の部位が動作する対象領域を推定し、前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動するように前記移動機構を制御し、前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出することを特徴とする情報処理装置。

請求項2

前記撮像装置は、パンチルト、およびズーム機能を有しており、前記制御装置は、前記撮像装置によって撮像された複数の操作者のうち、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に存在する操作者のジェスチャ操作を検出することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記撮像装置が撮像する撮像方向を、前記操作者の体の傾きに応じて調整する向き調整部をさらに備え、前記制御装置は、前記対象領域が撮像可能であり、かつ前記所定の部位の動作を前記所定の解像度以上にて撮像可能な前記撮像方向となるように前記向き調整部を制御することを特徴とする請求項1または2に記載の情報処理装置。

請求項4

前記制御装置は、前記操作者の頭部および胴部の中心を通る体軸と、前記撮像装置の撮像方向とのなす角度が所定の範囲内となるように前記向き調整部を制御することを特徴とする請求項3に記載の情報処理装置。

請求項5

撮像装置によって撮像された操作者のジェスチャ操作を検出する検出方法であって、前記操作者が前記ジェスチャ操作を行うとき、前記操作者の体の所定の部位が動作する対象領域を推定する推定工程と、前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動する移動工程と、前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する検出工程と、を含むことを特徴とする検出方法。

請求項6

請求項1に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、上記制御装置としてコンピュータを機能させるための制御プログラム。

請求項7

請求項6に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体

技術分野

0001

本発明は、情報処理装置および検出方法に関する。

背景技術

0002

カメラ操作者が行うジェスチャ操作撮像し、このジェスチャ操作に応じてロボットを動作させるさまざまな技術が開発されている。

0003

例えば、特許文献1に開示されているロボットシステムでは、操作者を撮像した撮像情報に基づいて操作者のジェスチャを検出し、検出したジェスチャに関連付けられたロボット制御コマンドを特定し、該ロボット制御コマンドを操作者へ通知する通知画像を表示部に表示する。

先行技術

0004

特開2014−104527号公報

発明が解決しようとする課題

0005

特許文献1に記載のロボットシステムでは、撮像された操作者の動きに基づいてジェスチャ操作に関連付けられたコマンドを特定する。しかし、操作者がカメラに近接しすぎていたり、離れすぎていたりする場合、操作者のジェスチャ操作を適切に撮像できず、ジェスチャ操作を精度良く検出できない、という問題が発生する。

0006

本発明の一態様は、ジェスチャ操作の検出精度を向上させることができる情報処理装置および検出方法などを実現することを目的とする。

課題を解決するための手段

0007

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、操作者によるジェスチャ操作を検出する情報処理装置であって、前記操作者を撮像する少なくとも1つの撮像装置と、少なくとも1つの移動機構と、少なくとも1つの制御装置と、を備え、前記制御装置は、前記操作者が前記ジェスチャ操作を行うとき、前記操作者の体の所定の部位が動作する対象領域を推定し、前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動するように前記移動機構を制御し、前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する。

0008

また、上記の課題を解決するために、本発明の一態様に係る検出方法は、撮像装置によって撮像された操作者のジェスチャ操作を検出する検出方法であって、前記操作者が前記ジェスチャ操作を行うとき、前記操作者の体の所定の部位が動作する対象領域を推定する推定工程と、前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動する移動工程と、前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する検出工程と、を含む。

発明の効果

0009

本発明の一態様によれば、操作者のジェスチャ操作の検出精度を向上させることができる。

図面の簡単な説明

0010

本発明の実施形態1に係る情報処理装置の概略構成の一例を示すブロック図である。
情報処理装置が操作者のジェスチャ操作を検出する動作の一例について説明する概念図である。
情報処理装置のハードウェア構成の一例を示すブロック図である。
情報処理装置が操作者のジェスチャ操作を検出する処理の流れの一例を示すフローチャートである。
情報処理装置が操作者のジェスチャ操作を検出するために移動する例を説明する図である。
ジェスチャ操作を検出するための対象領域の一例を説明する図である。
本発明の実施形態2に係る情報処理装置の概略構成の一例を示すブロック図である。
情報処理装置の処理の流れの一例を示すフローチャートである。
情報処理装置の動作の一例を説明する図である。
情報処理装置の動作の他の一例を説明する図である。
情報処理装置の処理の流れの一例を示すフローチャートである。
情報処理装置の動作の一例を説明する図である。

実施例

0011

〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。

0012

(情報処理装置1によるジェスチャ操作の検出)
情報処理装置1は、操作者Pを撮像する少なくとも1つのカメラ31(撮像装置)と、少なくとも1つの移動機構35と、少なくとも1つの制御部10(制御装置)と、を備えている(図1参照)。情報処理装置1は、カメラ31によって操作者Pの動作を撮像するために好適な位置まで自律的に移動し、操作者Pのジェスチャ操作を検出する機能を有する。

0013

情報処理装置1は、これらに限定されるものではないが、例えば、(1)タイヤキャタビラ、および/または歩行用の脚などを移動機構35として備える自律走行あるいは自立歩行可能なロボット、(2)プロペラなどを移動機構35として備える自律飛行可能なロボット、および(3)スクリューなどを移動機構35として備える自律航行可能なロボット、などであってもよい。あるいは、情報処理装置1は、上記(1)〜(3)に記載の移動機構35のうちの複数を備えるロボットであってもよい。

0014

まず、ジェスチャ操作の検出方法について図2を用いて説明する。図2は、情報処理装置1が操作者Pのジェスチャ操作を検出する動作の一例について説明する概念図である。

0015

カメラ31を搭載した情報処理装置1は、カメラ31によって操作者Pを撮像する。しかし、カメラ31と操作者Pとの間の距離が近すぎる場合、カメラ31が撮像する領域R1には、操作者Pの体の所定の部位(例えば、手P1)が動作する領域(以下、対象領域と記す)の一部しか含まれない。なお、以下では、所定の部位が操作者Pの手P1である場合を例に挙げて説明するが、これに限定されない。例えば、所定の部位は、操作者Pの脚、および顔(例えば、目および口など)などであってもよい。

0016

領域R1の大きさは、カメラ31の画角と、カメラ31と操作者Pとの間の距離とに依存する。すなわち、カメラ31と操作者Pとがより近づけば領域R1は小さくなり、カメラ31と操作者Pとがより離れれば領域R1は大きくなる。他方、カメラ31が操作者Pから適切な距離より遠くに離れてしまうと、カメラ31によって撮像される領域R1の解像度が低下する。領域R1の解像度が所定の解像度より低下すると、ジェスチャ操作において所定の部位を動かすことよって行われるジェスチャ操作を精度良く検出することができない。

0017

そこで、情報処理装置1は、図2に示すように、操作者Pによるジェスチャ操作を検出するための撮像を行うために、操作者Pの手P1が動作する対象領域R2を推定し、カメラ31によって対象領域R2が撮像可能であり、かつ操作者Pの手P1を所定の解像度以上にて撮像可能な位置へと自律的に移動する。ジェスチャ操作毎に操作者Pの手P1の動きは異なる。それゆえ、所定の解像度は、操作者Pの手P1の動きを判別可能な解像度であればよい。

0018

図2では、操作者Pに近い位置に存在していた情報処理装置1が、操作者Pから遠ざかる方向に自律的に移動し、操作者Pによるジェスチャ操作を着実に検出する場合を例に挙げて説明した。反対に、情報処理装置1が操作者Pから遠く離れた位置に存在する場合であっても同様である。すなわち、情報処理装置1が操作者Pから遠く離れた位置に存在する場合、情報処理装置1は、操作者Pに近づく方向に自律的に移動し、操作者のジェスチャ操作を検出する。

0019

操作者Pによるジェスチャ操作を検出した情報処理装置1は、検出したジェスチャ操作に関連付けられた制御コマンドを特定する。なお、情報処理装置1は、特定したコマンドに従って情報処理装置1自身が動作する構成であってもよいし、特定した制御コマンドを、情報処理装置1とは別の作業機器に送信する構成であってもよい。

0020

このように、情報処理装置1は、自装置と操作者Pとの間の距離が、操作者のジェスチャ操作を検出するために適切な距離範囲内となる位置へ自律的に移動して操作者を撮像する。これにより、情報処理装置1は、操作者Pのジェスチャ操作を精度良く検出することができる。

0021

(情報処理装置1の構成)
次に、情報処理装置1の構成について、図1および図3を用いて説明する。図1は、情報処理装置1の概略構成の一例を示すブロック図である。図3は、情報処理装置1のハードウェア構成の一例を示すブロック図である。

0022

情報処理装置1は、情報処理装置1の各部を統括して制御する制御部10、情報処理装置1が使用する各種データを記憶する記憶部20を備えている。また、情報処理装置1は、さらに、カメラ31、測距センサ32、移動機構制御部33、および移動機構35を備えている。

0023

<カメラ31>
カメラ31は、情報処理装置1に搭載され、情報処理装置1の周囲を撮像可能なカメラである。より具体的には、カメラ31は、デジタルカメラまたはデジタルビデオである。なお、カメラ31は、焦点距離が固定のレンズを備えていてもよいし、倍率可変のレンズ(例えば、ズームレンズ)を備えていてもよい。カメラ31は、パンチルトズーム機能を有している、いわゆるPTZカメラであってもよい。

0024

情報処理装置1は、自身が回転することによってカメラ31の向きを変更する構成であってもよいし、カメラ31の向きを調整するための向き調整部(図示せず)をさらに備える構成であってもよい。

0025

<測距センサ32>
測距センサ32は、測距対象物(例えば、操作者Pなど)と情報処理装置1との間の距離を測定するためのセンサである。測距センサ32は、例えば、赤外線などを利用するレーザセンサであってもよい。

0026

なお、情報処理装置1は、例えば、カメラ31によって撮像された撮像画像に基づいて、カメラ31と操作者Pとの間の距離を推定する構成であってもよく、この場合、測距センサ32を備える必要は無い。より具体的には、情報処理装置1は、カメラ制御部11がカメラ31の焦点を調節する機能を利用して、制御部10がカメラ31から撮像された操作者Pまでの距離を推定する構成であってもよい。図1および図3は、測距センサ32を備える情報処理装置1の構成例を示している。

0027

<記憶部20>
図1の記憶部20は、図3のROM201に対応している。図3のROMは、情報処理装置1が備える各部の操作を制御するための動作プログラムを記憶している。一方、図3のRAM202は、情報処理装置1の動作に利用される撮像画像などのデータを一時的に格納するためのワーキングメモリである。

0028

図1の記憶部20は、カメラ仕様21、およびジェスチャ操作リスト22を備えている。

0029

カメラ仕様21は、カメラ31の画角、および解像度などの性能に関する情報を記憶している。なお、カメラ31が交換可能である場合、カメラ仕様21は、情報処理装置1が搭載し得るすべてのカメラ31の性能に関する情報を記憶しており、制御部10が情報処理装置1に実装されているカメラ31の性能に関する情報を取得する構成であってもよい。

0030

ジェスチャ操作リスト22は、情報処理装置1が検出対象とするジェスチャ操作に関連付けられた制御コマンドに関するリストである。より具体的には、ジェスチャ操作リスト22は、操作者Pの手P1の動作パターンと、動作パターン毎に関連付けられた制御コマンドとの対応関係を規定するリストである。

0031

<制御部10>
図1の制御部10は、図3のCPU100に対応している。

0032

制御部10は、カメラ制御部11、対象検出部12、領域推定部13、位置判定部14、および操作検出部15を備えている。

0033

カメラ制御部11は、カメラ31による撮像開始撮影時の焦点調節露光調節、および撮像停止などを制御する。また、カメラ制御部11は、カメラ31の撮像方向を制御して、操作者Pを捜索するために周囲を撮像するようカメラ31を制御する。さらに、カメラ制御部11は、カメラ31によって撮像された撮像画像のデータを取得する。

0034

対象検出部12は、公知の画像認識技術を適用して、カメラ制御部11が取得した撮像画像に、操作者Pの体の少なくとも一部が写っているか否かを確認する。操作者Pが写っている場合、対象検出部12は、撮像画像中の操作者Pに対応する領域を抽出する。操作者Pが写っていない場合、対象検出部12は、カメラ31によって周囲の撮像を継続させるようカメラ制御部11に指示する。

0035

領域推定部13は、対象検出部12によって抽出された操作者Pに対応する領域に基づいて、操作者Pがジェスチャ操作を行うとき、操作者Pの手P1が動作する対象領域R2を推定する。なお、領域推定部13は、抽出された操作者Pに対応する領域に基づいて、操作者Pの体の中心軸L(図6参照)を決定し、操作者Pの体の傾きを推定してもよい。領域推定部13が、対象領域R2を推定する方法については、後に説明する。

0036

位置判定部14は、測距センサ32によって測定された、カメラ31と操作者Pとの間の距離が、操作者Pのジェスチャ操作を検出するために適した距離範囲内か否かを判定する。すなわち、現在、操作者Pのジェスチャ操作を検出するために適した位置にカメラ31が存在するか否かを判定する。操作者Pのジェスチャ操作を検出するために適した位置とは、カメラ31によって対象領域R2が撮像可能であり、かつ操作者Pの手P1を所定の解像度以上にて撮像可能な位置である。操作者Pのジェスチャ操作を検出するために適した、カメラ31と操作者Pとの間の距離範囲は、対象領域R2の大きさ、カメラ31の解像度、およびカメラ31の画角に基づいて算出される。

0037

現在、操作者Pのジェスチャ操作を検出するために適した位置にカメラ31が存在している場合、位置判定部14は、カメラ31によって操作者Pの手P1の動作の撮像をさせるようカメラ制御部11に指示する。一方、現在、操作者Pのジェスチャ操作を検出するために適した位置にカメラ31が存在していない場合、位置判定部14は、移動機構制御部33に対して、移動機構35によって適した位置まで移動するよう指示する。

0038

操作検出部15は、操作者Pのジェスチャ操作を検出するために適した位置にて撮像された操作者Pの手P1の動作を検出し、検出した動作がジェスチャ操作リスト22に含まれているか否かを確認する。検出した動作がジェスチャ操作リスト22に含まれている場合、操作検出部15は、ジェスチャ操作リスト22に基づいて、検出した手P1の動作に関連付けられている制御コマンドを決定する。なお、操作検出部15は、ジェスチャ操作を検出するときに、カメラ制御部11に対して、カメラ31のレンズの倍率変更を指示して、ジェスチャ操作を行っている操作者Pの手P1を撮像するように指示してもよい。

0039

<移動機構制御部33>
移動機構制御部33は、移動機構35の起動/停止などを制御する集積回路ICチップ)等に形成された論理回路である。なお、図1および図3に示す構成に限定されず、制御部10(図3のCPU100)が移動機構制御部33の機能を備え、移動機構35の起動/停止などの制御をソフトウェアであるプログラム命令によって実現する構成であってもよい。

0040

<移動機構35>
移動機構35は、情報処理装置1を移動させるための移動手段であり、タイヤ、キャタビラ、歩行用の脚、プロペラ、スクリューなど、およびこれらを動かすための1または複数の、任意の動力発生機を含んでいる。図1には、例示的に、第1モーター351、第2モーター352、第3モーター353、・・・を含む移動機構35を示している。

0041

通信部36>
通信部36は、情報処理装置1と別の作業機器(図示せず)などとの間のデータ送受信を行うためのものである。例えば、操作検出部15によって決定された制御コマンドは、通信部36を介して別の作業機器に送信される。

0042

なお、図1に示す情報処理装置1は、情報処理装置1が検出したジェスチャ操作に関連付けられた制御コマンドを、通信部36を介して別の作業機器に送信する構成例を示している。しかし、これに限定されない、例えば、情報処理装置1が検出したジェスチャ操作に関連付けられた制御コマンドに応じて所定の処理を実行する処理実行部(図示せず)を備えていてもよい。

0043

(情報処理装置1の処理の流れ)
続いて、情報処理装置1の処理の流れについて、図4および図5を用いて説明する。図4は、情報処理装置1が操作者Pのジェスチャ操作を検出する処理の流れの一例を示すフローチャートであり、図5は、情報処理装置1が操作者Pのジェスチャ操作を検出するために移動する例を説明する図である。なお、図5では、固定の画角Aを有するカメラ31を搭載した情報処理装置1を例に挙げて示している。

0044

まず、カメラ制御部11は、カメラ31によって自装置の周囲の撮像を開始する(ステップS1)。次に、対象検出部12は、公知の画像認識技術を適用して、周囲を撮像した撮像画像に、操作者Pの体の少なくとも一部が写っているか否かを確認する。図5の(a)に示すように、操作者Pが写っている場合(すなわち、カメラ31によって撮像される領域R1に操作者Pの方らの一部が含まれる場合)(ステップS2にてYES)、対象検出部12は、撮像画像中の操作者Pに対応する領域を抽出する。操作者Pが写っていない場合、あるいは、撮像画像中の操作者Pに対応する領域を抽出できない場合(ステップS2にてNO)、ステップS1に戻り、カメラ制御部11は、カメラ31によって周囲の撮像と操作者Pの捜索とを継続する。

0045

次に、領域推定部13は、操作者Pがジェスチャ操作を行うとき、操作者Pの手P1またはP2が動作する対象領域R2を推定する(ステップS3:推定工程)。

0046

位置判定部14は、測距センサ32によって測定された、カメラ31と操作者Pとの間の距離を取得し(ステップS4)、現在のカメラ31と操作者Pとの間の距離が、対象領域R2を撮像するために適した距離範囲内か否かを判定する(ステップS5)。図5の(a)には、カメラ31と操作者Pとの間の距離d1が、対象領域R2を撮像するために適した距離よりも短いため、操作者Pの手P1およびP2が撮像できていない場合を例示している。

0047

現在のカメラ31と操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内ではない場合、位置判定部14は、移動機構制御部33に対して、移動機構35によって適した位置まで移動するよう指示する。これにより、情報処理装置1は移動して、カメラ31と操作者Pとの間の距離を調整し(ステップS6:移動工程)、ステップS4に戻り、カメラ31と操作者Pとの間の距離を確認する。図5の(b)は、距離を調整した結果、現在のカメラ31と操作者Pとの間の距離d2が、対象領域R2を撮像するために適した距離範囲内になり、操作者Pの手P1および手P2の動作が撮像可能となっている様子を示している。

0048

なお、操作者Pが移動した場合、ステップS6の後に測定されたカメラ31と操作者Pとの間の距離が未だジェスチャ操作を検出するために適した距離範囲内ではない場合があり得る。このような場合においても、情報処理装置1は、移動する操作者Pに追従して移動して、操作者Pのジェスチャ操作を検出することができる。

0049

一方、現在のカメラ31と操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内である場合(ステップS5にてYES)、位置判定部14は、カメラ31によって操作者Pの手P1の動作の撮像をさせるようカメラ制御部11に指示する(ステップS7)。

0050

次に、操作検出部15は、ステップS7にて撮像された操作者Pのジェスチャ操作を検出する(ステップS8:検出工程)。

0051

情報処理装置1は、カメラ31と操作者Pとの間の距離が、操作者Pのジェスチャ操作を検出するために適切な距離範囲内となる距離となる位置へ自律的に移動するため、操作者Pのジェスチャ操作を精度良く検出することができる。

0052

<対象領域R2の推定方法
ここでは、対象領域R2の推定方法について、図6を用いて説明する。図6は、ジェスチャ操作を検出するための対象領域R2の一例を説明する図である。なお、図6では、ジェスチャ操作において動作する所定の部位が操作者Pの手P1およびP2である場合を例に挙げて説明するが、これに限定されない。例えば、操作者Pの片方の手(例えばP1)であってもよいし、操作者の顔、および脚などであってもよい。すなわち、推定される対象領域R2は、情報処理装置1の検出対象となるジェスチャ操作において、動作する部位に応じて適宜変更され得る。

0053

領域推定部13は、対象領域R2を一般的な体形の統計データに基づいて推定する。体型の統計データとしては、例えば、(一般社団法人)人間生活工学研究センターから発行されている「日本人人体寸法データベース」などが適用され得る。この「日本人の人体寸法データベース」には、一般的な日本人の肩幅、手の長さ、上腕長、頭幅などの統計データが含まれている。

0054

領域推定部13は、対象検出部12によって抽出された操作者Pが撮像された領域における、中心軸Lを決定する。また、領域推定部13は、日本人の人体寸法データベースの頭幅または肩幅のデータと、上腕長のデータとの比率に基づいて、操作者Pが両腕を横方向に広げた場合に手P1およびP2が届く範囲を推定する。

0055

このように、「日本人の人体寸法データベース」などのデータベースを参照すれば、領域推定部13は、操作者Pの中心軸Lから左右に距離mだけ離れた位置までを含む対象領域R2を推定することができる。

0056

なお、この方法で推定される対象領域R2はあくまでも一般的な日本人の人体寸法に基づいているため、操作者Pの上腕長が一般的な日本人より長い場合、推定された対象領域R2では手P1およびP2の先が撮像されない虞がある。そこで、領域推定部13は、手P1およびbP2が動作する領域の上下および左右の幅を一定割合(例えば、5〜10%)拡大させた領域を、対象領域R2として推定することが望ましい。

0057

〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

0058

操作者Pの姿勢立位、または座位であるとは限らず、壁などにもたれかかっていて傾いた姿勢(体軸L3が重力方向に平行ではない姿勢)であったり、臥位であったりすることも考えられる。情報処理装置1aは、操作者Pの体軸L3が重力に平行な方向から傾いている場合であっても、操作者Pのジェスチャ操作を精度良く検出することが可能である。

0059

(情報処理装置1aの構成)
情報処理装置1aの構成について、図7を用いて説明する。図7は、情報処理装置1aの概略構成の一例を示すブロック図である。情報処理装置1aは、カメラ31の撮像方向を制御する機構である向き調整部39、およびカメラ31の傾きなどを監視するためのジャイロセンサ37、加速度センサ38を備えている。また、情報処理装置1aは、位置判定部14の代わりに位置・傾き判定部14aを備える点で、情報処理装置1と異なっている。

0060

向き調整部39は、カメラ31の撮像方向を調整するための機構である。向き調整部39はカメラ制御部11によって制御される。向き調整部39を作動させることにより、カメラ31の撮像方向を水平方向および垂直方向に調整することができる。例えば、向き調整部39によって、カメラ31の撮像方向を操作者Pの片方の手P1の方へ水平方向に調整したり、臥位の操作者Pに向けるためにカメラ31の撮像方向を下方に調整したりすることが可能である。向き調整部39は、カメラ31を、撮像方向L1を回転軸として回転させる機構を含んでいてもよい。

0061

位置・傾き判定部14aは、測距センサ32によって測定された、カメラ31と操作者Pとの間の距離が、操作者Pのジェスチャ操作を検出するために適した距離範囲内か否かを判定する。また、位置・傾き判定部14aは、領域推定部13によって推定された操作者Pの体軸L3の傾きを検出し、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内(例えば、60°〜120°)か否かを判定する。なお、体軸L3とは、操作者Pの頭部および胴部の中心を通る軸を意図している。

0062

操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内である場合、位置・傾き判定部14aは、カメラ31によって操作者Pの動作または操作者Pの手P1の動作を撮像するように、カメラ制御部11に指示する。一方、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内ではない場合には、位置・傾き判定部14aは、カメラ制御部11に対して、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内となるようにカメラ31の向きを調整するよう指示する。

0063

なお、位置・傾き判定部14aによって操作者Pの体軸L3の傾きが検出された場合、位置・傾き判定部14aがカメラ制御部11に対して、操作者Pの体軸L3の傾きと同じ角度だけカメラ31を回転させるように指示する構成であってもよい。あるいは、位置・傾き判定部14aが操作検出部15に対して、操作者Pの体軸L3の傾きと同じ角度だけ撮像画像のデータを操作者Pの体軸L3の傾きと反対方向に回転・補正してジェスチャ操作を検出するように指示する構成であってもよい。

0064

このような構成をさらに備えることにより、情報処理装置1aは、体軸L3が重力に平行ではない姿勢の操作者Pによって行われるジェスチャ操作であっても、精度良く検出することが可能である。

0065

(情報処理装置1aの処理の流れ)
次に、情報処理装置1aの処理の流れについて、図8および図9を用いて説明する。図8は、情報処理装置1aが操作者Pのジェスチャ操作を検出する処理の流れの一例を示すフローチャートであり、図9は、情報処理装置1aが操作者Pのジェスチャ操作を検出するために移動する例を説明する図である。なお、ステップS1〜S5は、図4と同様であるため、その説明を繰り返さない。

0066

カメラ31と操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内ではない場合、位置判定部14は、移動機構制御部33に対して、移動機構35によって適した位置まで移動するよう指示する。これにより、情報処理装置1aは移動して、カメラ31と操作者Pとの間の距離を調整する(ステップS6:移動工程)。

0067

現在のカメラ31と操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内である場合(ステップS5にてYES)、位置・傾き判定部14aは、領域推定部13によって推定された操作者Pの体の傾きを確認し(ステップS61)、カメラ31の撮像方向がジェスチャ操作の検出に適した方向か否かを判定する(ステップS62)。

0068

カメラ31の撮像方向がジェスチャ操作の検出に適した方向ではない場合(ステップS62にてNO)、位置・傾き判定部14aは、カメラの向きを操作者Pの体の向きに合わせるようカメラ制御部11に指示する。カメラ制御部11が位置・傾き判定部14aからの指示に応じて、向き調整部39を制御し、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内となるようにカメラ31の向きを調整し(ステップS63)、ステップS61に戻る。なお、ジェスチャ操作において動作する所定の部位が片方の手P1のみである場合、領域推定部13は、手P1が動作する領域を対象領域R2として推定することも可能である。この場合、対象領域R2が撮像可能であり、かつ所定の解像度以上にて手P1が撮像可能なようにカメラ31の撮像方向を調整すればよい。

0069

一方、カメラ31の撮像方向がジェスチャ操作の検出に適した方向である場合(ステップS62にてYES)、位置・傾き判定部14aは、カメラ31によって操作者Pの手P1の動作の撮像をさせるようカメラ制御部11に指示する(ステップS7)。

0070

次に、操作検出部15は、ステップS7にて撮像された操作者Pのジェスチャ操作を検出する(ステップS8:検出工程)。

0071

図9の(a)には、カメラ31と傾いた姿勢の操作者Pとの間の距離d3が、対象領域R2を撮像するために適した距離範囲内よりも短いため、操作者Pの手P1およびP2が撮像できていない場合を例示している。この場合、情報処理装置1aは、操作者Pから遠ざかる方向に移動する。

0072

しかし、カメラ31と操作者Pとの間の距離が、対象領域R2を撮像するために適した距離範囲内である距離d4になったとしても、操作者Pの体軸L3が傾いているために、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度B1が所定の範囲内ではなく、手P1およびP2の動作によるジェスチャ操作が正しく検出できない可能性がある。そこで、情報処理装置1aは、図9の(b)に示すように、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内である角度C1となるように調整する。これにより、カメラ31によって対象領域R2が撮像可能であり、かつ所定の解像度以上にて手P1が撮像可能となる。図9の(b)に示す例では、情報処理装置1aは、カメラ31の撮像方向L1を、仰向け後方に傾いている姿勢の操作者Pを見下ろすように撮像できる向きに調整する。

0073

〔変形例〕
情報処理装置1aが空中または水中を自律移動する場合、情報処理装置1aは上方あるいは下方に存在する操作者Pのジェスチャ操作を検出することとなる。情報処理装置1aは、(1)カメラ31と操作者Pとの間の距離がジェスチャ操作を検出するために適した距離範囲内となるように移動し、(2)操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内となるようにカメラ31の向きを調整することができる。それゆえ、情報処理装置1aは、操作者Pのジェスチャ操作を精度良く検出することができる。このことについて、図10を用いて説明する。図10は、情報処理装置1aが操作者Pのジェスチャ操作を検出するために移動する他の例を説明する図である。

0074

図10の(a)では、情報処理装置1aのカメラ31と操作者Pとの間の距離d5は、操作者Pの手P1の動作を撮像するために適した距離範囲内であるものの、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度B2が所定の範囲内ではない。それゆえ、操作者Pの手P1の動作によるジェスチャ操作を精度良く検出することが困難である。

0075

そこで、情報処理装置1aは、図10の(b)に示すように、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内である角度C2となるように調整する。なお、この場合、情報処理装置1aは、カメラ31の撮像方向の調整に加え、飛行している高度を変更する構成であってもよい。これにより、カメラ31によって対象領域R2が撮像可能であり、かつ所定の解像度以上にて手P1が撮像可能となる。図10の(b)に示す例では、情報処理装置1aは、カメラ31の撮像方向L1を、操作者Pを見下ろすように撮像できる向きに調整するとともに、飛行高度を低くしている。なお、情報処理装置1aのカメラ31と操作者Pとの間の距離d6は、距離d5と同様、操作者Pの手P1の動作を撮像するために適した距離範囲内である。

0076

〔実施形態3〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

0077

(情報処理装置1、1aの処理の流れ)
情報処理装置1、1aは、複数の操作者Pのうちのある操作者Pのジェスチャ操作を検出する構成であってもよい。このような場合の情報処理装置1、1aの処理の流れについて、図11および図12を用いて説明する。図11は、情報処理装置1、1aの処理の流れの一例を示すフローチャートであり、図12は、情報処理装置1、1aの動作の一例を説明する図である。なお、ここでは、情報処理装置1、1aに搭載されたカメラ31が、パン、チルト、ズーム機能を有している、いわゆるPTZカメラである場合を例に挙げて説明する。

0078

まず、カメラ制御部11は、操作者をカメラ31によって自装置の周囲の撮像を開始する(ステップS101)。次に、対象検出部12は、公知の画像認識技術を適用して、周囲を撮像した撮像画像に、1人以上の操作者Pが写っているか否かを確認する。操作者Pが写っていない場合、あるいは、撮像画像中の操作者Pに対応する領域を抽出できない場合(ステップS102にてNO)、ステップS101に戻り、カメラ制御部11は、カメラ31によって周囲の撮像と操作者Pの捜索とを継続する。

0079

図12の(a)に示すように、操作者Pが写っている場合(ステップS102にてYES)、対象検出部12はカメラ制御部11に対して、カメラ31の画角をズームアウト画角に変更させるように指示する。カメラ制御部11は対象検出部12からの指示に応じて、操作者Pの周囲に存在する他の操作者Pも撮像されるようにカメラ31の画角を制御する。対象検出部12は、ズームアウト画角にて撮像された撮像画像に写っている各操作者Pに対応する領域を抽出する(ステップS103)。

0080

次に、領域推定部13は、各操作者Pがジェスチャ操作を行うとき、操作者Pの手P1またはP2が動作する対象領域R2を推定する(ステップS103A:推定工程)。

0081

位置判定部14は、測距センサ32によって測定された、カメラ31と各操作者Pとの間の距離を取得し(ステップS104)、現在のカメラ31と各操作者Pとの間の距離が、対象領域R2を撮像するために適した距離範囲内の操作者Pをジェスチャ操作の検出対象として設定する(ステップS105)。対象検出部12は、ジェスチャ操作の検出対象として設定された操作者Pがフレームアウトするか否かを随時確認する(ステップS106)。ジェスチャ操作の検出対象として設定された操作者Pがフレームアウトした場合(ステップ106にてNO)、情報処理装置1、1aは、当該操作者Pの移動に合わせて移動し、カメラ31の撮像方向を調整する。

0082

ジェスチャ操作の検出対象として設定された操作者Pがフレームアウトしない場合(ステップS106にてYES)、対象検出部12は、ジェスチャ操作の検出対象として設定された操作者Pが撮像画像中にまだ残存していることを確認する(ステップS108)。

0083

ジェスチャ操作の検出対象として設定された操作者Pがフレームアウトした場合(ステップS106にてNO)、情報処理装置1、1aは、該操作者Pに追従して移動し、撮像方向を調整する(ステップS107:移動工程)。

0084

ジェスチャ操作の検出対象として設定された操作者Pが残存している場合(ステップS108にてYES)、操作検出部15は、当該操作者Pのジェスチャ操作を検出する(ステップS109:検出工程)。一方、ジェスチャ操作の検出対象として設定された操作者Pが残存していない場合(ステップS108にてNO)、ステップS101に戻り、情報処理装置1、1aは、操作者Pの捜索をやり直す。

0085

このように、情報処理装置1、1aは、カメラ31によって撮像された複数の操作者Pのうち、対象領域R2が撮像可能であり、かつ手P1などの所定の部位を所定の解像度以上にて撮像可能な位置に存在する操作者Pのジェスチャ操作を検出する。これにより、複数の操作者Pのうちのある操作者Pのジェスチャ操作を効率よく検出することができる。

0086

〔ソフトウェアによる実現例〕
情報処理装置1、1aの制御ブロック(特に制御部10、10a)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。

0087

後者の場合、情報処理装置1、1aは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形媒体」、例えば、ROM(Read Only Memory)等の他、テープディスクカード半導体メモリプログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体通信ネットワーク放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

0088

本発明の各態様に係る情報処理装置1、1aは、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置1、1aが備える制御部10、10a(ソフトウェア要素)として動作させることにより情報処理装置1、1aをコンピュータにて実現させる情報処理装置1、1aの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

0089

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

0090

1、1a情報処理装置
10、10a 制御部(制御装置)
31カメラ(撮像装置)
35移動機構
39向き調整部
S3、103A推定工程
S6、107 移動工程
S8、109 検出工程

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社マイテックの「 スライド式扉装置」が 公開されました。( 2020/04/09)

    【課題】扉装置を大型化することなく、ロボットのアーム等を開閉領域に安全に通す。【解決手段】スライド式扉装置は、2本のフレーム部材と、奥行方向に並べて配置された複数の扉部材と、駆動装置と、伝達部と、を備... 詳細

  • 株式会社メビウスの「 錦鯉の個体識別方法」が 公開されました。( 2020/04/09)

    【課題】模様を判別基準としない錦鯉の個体識別方法を提供する。【解決手段】魚体の撮像(画像ファイル)の画像処理を行って、魚体平面視における頭部領域と鰭領域と胴体領域の頭部を上方とした場合の垂直方向及び水... 詳細

  • 株式会社トライフォース・マネジメントの「 力覚センサ」が 公開されました。( 2020/04/09)

    【課題】ロボットの安全性および信頼性を向上させるとともに、ロボットの見栄えを向上させる。【解決手段】ロボットに装着される力覚センサ1であって、検出対象となる力またはモーメントの作用を受ける受力体10と... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ