図面 (/)

技術 カラーリストバンドを用いた手指形状推定装置及び手指形状推定方法、並びにプログラム

出願人 国立大学法人筑波大学
発明者 玉城絵美星野聖
出願日 2007年10月20日 (13年3ヶ月経過) 出願番号 2007-297258
公開日 2009年5月14日 (11年9ヶ月経過) 公開番号 2009-104569
状態 未査定
技術分野 画像処理 イメージ分析
主要キーワード 回旋動作 手指形状 低次元化 手領域 局所パターン 形状検出処理 データベース構築処理 照合手法
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年5月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

手指カメラ撮影した画像から、その手指の前腕回旋を含んだ形状をより正確に検出できるようにする。

解決手段

手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋を含んだ手指の形状データとを記憶してデータベースを構成させる。そして、検出対象の手指を撮影して得た画像データから、カラーリストバンドの色データを検出し、その検出された色データを、データベースに記憶された色データと照合する。さらに、その照合でほぼ一致が検出された色データに基づいて、その色データに対応してデータベースに記憶された画像データを読み出し、その画像データで示される手指形状を、検出対象の手指の形状として判定する。

概要

背景

近年、仮想世界とその操作が広く開発されている。人間が仮想世界上で物体操作を行う際には、手による情報入力がある。推定した手指の形状に基づいて、仮想空間上の手の3次元CGモデルを人間の手と同様に動かすことにより、仮想物体を掴むことや自在に変形するなどの高度な作業が簡単に行える。この仮想上の手を操作する手法の一つとして、操作者の手をカメラ撮影して、そのカメラで撮影した手指の画像から手指形状を推定することが提案されている。
特許文献1には、本発明の発明者らが先に提案した、手指の画像から手指の形状を推定する手法についての記載がある。特許文献1に記載された手法では、手指を撮影した画像から、手指の輪郭を検出し、その輪郭から手指の形状を推定するようにしている。
特開2006−294018号公報

概要

手指をカメラで撮影した画像から、その手指の前腕回旋を含んだ形状をより正確に検出できるようにする。手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋を含んだ手指の形状データとを記憶してデータベースを構成させる。そして、検出対象の手指を撮影して得た画像データから、カラーリストバンドの色データを検出し、その検出された色データを、データベースに記憶された色データと照合する。さらに、その照合でほぼ一致が検出された色データに基づいて、その色データに対応してデータベースに記憶された画像データを読み出し、その画像データで示される手指形状を、検出対象の手指の形状として判定する。

目的

本発明はかかる点に鑑みてなされたものであり、腕および手首並びに手指をカメラで撮影した画像から、その腕および手首並びに手指の形状をより正確に推定できるようにすることを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

手首に装着したカラーリストバンドカメラ撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベースと、検出対象の手を撮影して得た画像データ中の前記カラーリストバンドの色データから前記データベースに記憶された前記前腕回旋角度データと照合する照合手段と、前記照合手段で検出された前記前腕回旋角度データに基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状とのデータベースによる手指形状推定する推定手段とを備えることを特徴とする手指形状推定装置

請求項2

請求項1記載の手指形状推定装置において、前記カラーリストバンドは、前腕回旋方向に向かって変化する色が描画されていることを特徴とする手指形状推定装置。

請求項3

請求項1記載の手指形状推定装置において、前記カラーリストバンドは、前腕回旋方向に向かってスペクトルカラーと同じく変化する色が描画されていることを特徴とする手指形状推定装置。

請求項4

請求項1記載の手指形状推定装置において、前記手指の画像と手指の形状とのデータベースは、手指の輪郭情報を記憶することを特徴とする手指形状推定装置。

請求項5

請求項3に記載の手指形状推定装置において、前記手指の形状データは、手指の関節角度データを記憶し、前記照合手段で照合された手指の輪郭情報に対応して前記データベースに記憶された関節角度データから、前記推定手段で手指の関節角度を推定することを特徴とする手指形状推定装置。

請求項6

請求項3に記載の手指形状推定装置において、前記手指の形状データは、3次元座標データを記憶し、前記照合手段で照合された手指の輪郭情報に対応して前記データベースに記憶された3次元座標データから、前記推定手段で手指の3次元座標データを推定することを特徴とする手指形状推定装置。

請求項7

手首に装着したカラーリストバンドをカメラで撮影したときのカラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベース構成処理と、検出対象の手を撮影して得た画像データ中のカラーリストバンドの色データから前記データベースに記憶された前腕回旋角度と照合する照合処理と、前記照合手法で検出された前腕回旋角度に基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状データベースによる手指形状の判定手段とを備えることを特徴とする手指形状推定方法

請求項8

コンピュータ装置実装して処理を実行させるプログラムにおいて、手首に装着したカラーリストバンドをカメラで撮影したときのカラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベース構成処理と、検出対象の手を撮影して得た画像データ中のカラーリストバンドの色データから前記データベースに記憶された前腕回旋角度と照合する照合処理と、前記照合手法で検出された前腕回旋角度に基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状データベースによる手指形状の推定処理とを備えることを特徴とするプログラム。

技術分野

0001

本発明は、たとえばロボットの腕および手首並びに手指の駆動、あるいは仮想の腕および手首並びに手指を操作するのに適した手指形状推定装置及び手指形状推定方法、並びにプログラムに関する。

背景技術

0002

近年、仮想世界とその操作が広く開発されている。人間が仮想世界上で物体操作を行う際には、手による情報入力がある。推定した手指の形状に基づいて、仮想空間上の手の3次元CGモデルを人間の手と同様に動かすことにより、仮想物体を掴むことや自在に変形するなどの高度な作業が簡単に行える。この仮想上の手を操作する手法の一つとして、操作者の手をカメラ撮影して、そのカメラで撮影した手指の画像から手指形状を推定することが提案されている。
特許文献1には、本発明の発明者らが先に提案した、手指の画像から手指の形状を推定する手法についての記載がある。特許文献1に記載された手法では、手指を撮影した画像から、手指の輪郭を検出し、その輪郭から手指の形状を推定するようにしている。
特開2006−294018号公報

発明が解決しようとする課題

0003

特許文献1に記載したように、手指を撮影した画像から、手指の輪郭を検出することで、手指の形状を推定することができるが、前腕回旋動作を伴った手指形状推定では、手指の各関節角度を、誤って推定してしまうことがあった。つまり、精度よく手指の形状推定を行うためには、手指の撮影位置や前腕回旋の角度は固定しなければならなかった。

0004

本発明はかかる点に鑑みてなされたものであり、腕および手首並びに手指をカメラで撮影した画像から、その腕および手首並びに手指の形状をより正確に推定できるようにすることを目的とする。

課題を解決するための手段

0005

本発明は、手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶してデータベースを構成させる。
また、前腕回旋角度データに対応した手指の画像と手指の形状とを記憶してデータベースを構成させる。
そして、検出対象の手指の撮影をして得た画像データから、前記カラーリストバンドの色データの色データを検出し、その検出された色データを、データベースに記憶された前腕回旋角度データと照合する。さらに、その前腕回旋角度データに基づいて、その前腕回旋角度データに対応してデータベースに記憶された手指の画像を読み出し、その手指の画像で示される手指の形状を、検出対象の手指の形状として判定するようにしたものである。

発明の効果

0006

本発明によるとカラーリストバンドを装着することにより、正確な前腕回旋を含んだ手指の形状の推定が可能となり、カラーリストバンドにより形状の推定のためのデータ探索領域が狭まるため、従来技術と比べ推定速度が10倍以上となる。

0007

この場合、撮影した画像から推定した手指の形状に基づいて、各種機器の高度な駆動と制御、並びに操作が可能となる。
例えば、推定した手指の形状を、ロボットハンド再現させる制御を行うことで、ロボットハンドの制御を、操作者の手指の動きから簡単かつ正確に行えるようになる。
また、撮影した画像から推定した手指の形状に基づいて、手の3次元CGモデルを動作させることが可能となる。手の3次元CGモデルに当たり判定などの機能を付加することにより、コンピュータ内の仮想世界で3次元の物体操作が行えるようになる。

0008

さらに、手指の形状推定の際に、装用者の撮影位置や前腕回旋運動拘束を与えなくて済む。従って、通常の人間が行っている運動を正しく計測することができる。

0009

カラーリストバンドに描画される色は、前腕回旋方向に向かってスペクトルカラーと同じく変化するため、カラーリストバンドの色のデータを表色系で数値化することができ、データベース構築が容易となる。
この場合、その色変化粒度が細かいほど前腕回旋の微弱な変化をより正確に推定することができる。

0010

手指の輪郭情報を用いることにより、データベースの規模縮小できる。
また、前腕回旋角度データに応じた手指の輪郭情報と手指の各関節角度とを併せて記憶し、前記データベースに記憶された手指の輪郭情報を照会に用いることにより、皺や色や手の陰影などの余計なデータの影響が少なくなり、手指の各関節角度の角度を正確に推定できるようになる。

0011

この場合、データベースとして、画像データに対応した手指の関節角度データまたは3次元座標データを記憶して、照会で一致が検出された前腕回旋角度データに応じた手指の輪郭情報と関節の角度データまたは3次元座標データから、手指の関節角度を推定することで、ロボットハンドや手指のCGを正確に駆動することが可能となる。

0012

また、データベースに記憶された手指の関節角度データあるいは3次元座標データは、手指の各関節にセンサを取り付けたいわゆるデータグローブ磁気センサなどを使用して、簡単にデータベース用の関節角度データあるいは3次元座標データを得ることが可能となる。

発明を実施するための最良の形態

0013

以下、本発明の一実施の形態を、添付図面を参照して説明する。
本実施の形態においては、カラーリストバンドを含む検出対象の腕および手首並びに手指をカラーカメラで撮影して、その撮影した画像から、前腕回旋角度と手指の形状や関節の角度を推定するものである。推定した前腕回旋角度と手指の形状や関節の角度は、ロボットハンドや手の3次元CGモデルなどの各種装置の制御に使用する。
カラースペクトルを描画したカラーリストバンドとカラーカメラを用いて、事前に、カラーリストバンドを手首に装着した状態で撮影される色と前腕回旋角度の対応付けを行う。その後、カラーリストバンドを手首に装着した状態をカラーカメラで撮影することにより前腕回旋角度の推定を行う。

0014

まず、図1を参照して装置のシステム構成を説明する。本実施の形態の装置は、図1に示すように、手指の形状などのデータを記憶したデータベース装置10と、そのデータベース装置10に記憶されたデータを参照しながら手指の形状を推定する手指推定装置20とで構成される。データベース装置10と手指推定装置20は、図1では別体の装置として構成させてあるが、一体化して構成してもよい。

0015

データベース装置10は、手指の様々な形状についてのデータを記憶する手段である。本例の場合には、ビデオカメラ31が撮影した画像データと、データグローブ40に取り付けられた各センサのデータとが供給される。ビデオカメラ31は、データベース用の手指の画像を撮影するものである。データグローブ40は、その画像を撮影する際に、手指に装着されたデータグローブである。
図2はデータグローブ40の一例を示したものであり、指の各関節に相当する箇所に、その関節が動いた角度を検出するセンサ41が配置してある。また、手首の動きを検出するために、の部分にもセンサ41が配置してある。以下の説明で手指の関節の動きと述べた場合には、この手首の動きも含まれる。センサ41は、たとえば歪みセンサを使用する。また、本例のデータグローブ40の上には、手の形状推定時と同じく、カラーリストバンド43を装着している。

0016

図1の説明に戻ると、ビデオカメラ31が撮影した画像データは、画像データ記憶手段11に供給されて、一旦記憶される。記憶された画像データは、画像特徴量抽出手段12に供給されて、画像中の手指の輪郭を抽出するための特徴量の抽出処理が行われる。特徴量の抽出処理については後述する。
カラーリストバンドの色データ抽出手段13では、画像中のカラーリストバンドの色データを抽出する処理を行う。カラーリストバンドの色データ抽出処理の詳細についても後述するが、簡単に述べるとデータグローブ40と同様に装着しているカラーリストバンド43の色データを抽出する。
画像特徴量抽出手段12で検出された特徴量のデータと、カラーリストバンドの色データ抽出手段13で検出された色データは、画像及び色データ対応動指令記憶手段14に供給して、データベース化して記憶させる。

0017

また、データグローブ40の各センサの出力を、サンプリング手段15で周期的にサンプリングし、そのサンプリングされたセンサ出力を、時系列関節角度データ記憶手段16に供給して、時系列の関節角度データとして記憶させる。記憶された時系列の関節角度データについても、画像及び色データ対応動作指令記憶手段14に供給して、データベース化して記憶させる。

0018

画像及び色データ対応動作指令記憶手段14でデータベース化する際には、カラーリストバンドの色データと、その際の手指の形状のデータと、その形状の際の手指の各関節の角度データとを、対応づけてデータベース化する。
この記憶手段14に記憶されたデータベースは、手指形状推定装置20からの指示で読み出される。

0019

次に、図1の手指形状推定装置と図5データベース構成を参照して、手指形状推定の流れを説明する。
手指形状推定装置20は、カラーカメラ32で撮影した手指の画像データから画像特徴量抽出手段24で画像特徴量が抽出され、手指の輪郭が抽出される。また、画像データ記憶手段23に記憶された画像データからカラーリストバンド色データ抽出手段25で色データが抽出される。
画像特徴量抽出手段24で抽出された特徴量のデータと、カラーリストバンド色データ抽出手段25で抽出された色のデータは、データ特定及び動作指令発生手段26に送られる。データ特定及び動作指令発生手段26では、供給された特徴量のデータと、カラーリストバンドの色データとから、データベース装置10に記憶されたデータベース上の類似したデータを検索し、最も近いデータに対応して記憶された前腕回旋角度を含んだ関節角度のデータをデータベースから読み出す。

0020

そして、データベースから読み出された関節角度のデータを、撮影した手指の各関節の角度として推定する。その推定された関節の角度のデータを、ロボットハンドの各関節の動作指令として生成させ、その動作指令をロボットハンドの駆動手段27に送り、対応した状態にロボットハンド50内の各関節のアクチュエータを駆動させる。
なお、図1の構成では、データベース構築用のビデオカメラ31と、実際に手指の形状を判別(推定)する際に使用するビデオカメラ32は、別のものを使用したが、同一のカメラを使用してもよい。また、各ビデオカメラ31,32は、例えば毎秒150フレーム程度の高速撮影が可能なものを使用するのが好ましいが、毎秒60フレーム程度の撮影を行う通常のビデオカメラを使用してもよい。

0021

図3は、本例の手指形状記憶手段20で推定した手指の形状に基づいて駆動されるロボットハンド50の一例を示したものである。
この図3に示すように、ロボットハンド50は、実際の手指の関節の位置に対応した位置に、関節用アクチュエータ52が配置されたものが、支持部材51で支持される構成としてある。支持部材51内にもアクチュエータ(図示せず)が設けてあり、手首を曲げた状態に対応して、支持部材51でロボットハンドを支持させる角度も調整できる構成としてある。各関節用アクチュエータ52が、データベースから読み出された各関節角度のデータで、対応した角度に設定されるように駆動される。

0022

次に、本実施の形態による手指判定処理のおおまかな流れを、図4図6フローチャートを参照して説明する。
まず、データベース装置でデータベースを構築させる処理の流れを、図4を参照して説明する。
データベースの構築時には、まず図2に示したデータグローブ40を装着した手指の画像を取り込み、その手指の画像から手指の形状とカラーリストバンドの色データを抽出し、さらにそのときのデータグローブ40のセンサ41の出力を関節の角度に変換して読み込む(ステップS101)。そして、その読み込んだ手指の形状とカラーリストバンドの色データと前腕回旋角度を含んだ関節の角度とを対応づけて、データベース化する(ステップS102)。その後、データベースの構築を続行するか否か判断して(ステップS103)、データベースの構築を続行する場合には、ステップS101に戻って、別の形状(即ち手指の関節の曲げ具合などが異なる形状)の手指を取り込ませる。このようにして、様々な手指の形状をデータベース化し、ステップS103でデータベースの構築が終了であると判断した場合に、このデータベース構築処理を終了する。

0023

次に、データベース装置のデータベース構成の例を、図5を参照して説明する。データベースはカラーリストバンドの色データと手指の形状データの2階層となる。
まず、カラーリストバンドの色データ61をカラースペクトル順に並べる。カラーリストバンドにはカラースペクトルの順に色が描画されているため、例えばHSV表色系などで表すと前腕回旋角度に比例した値となる。従って、データベース構成時にはカラースペクトル順に色データを並べるだけで、前腕回旋角度順に並べられる。
次に、その下の階層に手指の形状データ62が関節角度順並べられる。そして、各々の色データ61と手指の形状データ62に対応する前腕回旋角度を含んだ関節の角度データ63が出力データとして付属する。
つまり、図1のデータ特定及び動作指令発生手段26では、図5のデータ探索開始点60から探索を開始し、カラーリストバンドの色データ抽出手段25で得られた色データからデータベース内の色データ61の一つを特定し、画像特徴量抽出手段24で得られた手指の形状データからデータベース内の手指の形状データ62を特定し、それに付属する前腕回旋角度を含んだ関節の角度データ63から手指の関節動作指令を発生させる。

0024

図6のフローチャートは、検出対象者の手指を撮影して、形状を推定する処理の流れを示したものである。
手指の形状の推定処理としては、ビデオカメラ32により撮影された手指の画像データを取り込み(ステップS121)、手指とカラーリストバンドの背景画像からの切り出しを行う(ステップS122)。そして、手指画像を検出する(ステップS123)と共に、カラーリストバンドの色データの検出を行う(ステップS124)。
各データが検出されると、検出されたそれぞれデータに基づいて、データベースから最も類似度が高いデータを検索し、検索されたデータに対応した全ての関節の角度データを読み出す(ステップS125)。各関節のデータを読み出すと、その読み出した関節の角度に、ロボットハンド50の各関節用アクチュエータ52を対応した角度に設定させる指令を生成させる(ステップS126)。ここまでの処理が終了すると、ステップS121に戻って、画像の読み込みから繰り返し処理される。ステップS125で読み出した各関節の角度で示される形状が、推定された手指の形状に相当する。

0025

次に、各処理の詳細を、図7以降を参照して説明する。
まず、データベース構築時に、画像特徴量抽出手段12で行われる画像の特徴量を抽出する処理の詳細を、図7のフローチャートを参照して説明する。ここでは、画像データのノイズ除去処理を行い(ステップS11)、そのノイズ除去した画像データを2値化する(ステップS12)。2値化した画像データからは、手領域輪郭線を検出する(ステップS13)。この輪郭線の検出処理を行うために、画像データで示される全ての画素について、高次局所自己相関パターンを算出する(ステップS14)。
図8は、高次局所自己相関特徴を検出するための局所パターンの例を示したものである。この例では、縦3画素×横3画素の9画素のブロック単位で示してあり、パターンM1からパターンM25までの25種類のパターンに分類してあり、輪郭線が黒色で示した画素配列である場合に、該当する番号のパターンであると算出し、そのパターンの組み合わせで、手指の輪郭線を示すようにしてある。なお、輪郭情報の特徴量化は、輪郭情報の低次元化が目的であり、低次元化の手段は高次局所自己相関関数による特徴量化に限らない。
このようにして得た手指の輪郭線のデータを、データベースに登録させる。
なお、図7のフローチャートでは、画像からの手指の形状検出処理として、輪郭線の検出処理を行うようにしたが、例えば、画像中の手指の領域そのものを検出するようにしてもよい。例えば、画像中の手指の色の部分(データグローブの色の部分)を検出して、手指の輪郭ではなく、手指が存在する領域を検出するようにしてもよい。

図面の簡単な説明

0026

本発明の一実施の形態によるシステム構成例を示すブロック図である。本発明の一実施の形態によるデータベースの構築に利用するデータグローブの例を示す説明図である。本発明の一実施の形態により制御されるロボットハンドの例を示す斜視図である。本発明の一実施の形態によるデータベース構築処理の流れを示すフローチャートである。本発明の一実施の形態によるデータベースの構成の一例を示す図である。本発明の一実施の形態による手指判別処理の流れを示すフローチャートである。本発明の一実施の形態によるデータベース構築時の画像特徴量抽出処理例を示すフローチャートである。本発明の一実施の形態による高次局所自己相関特徴のための局所パターンの例を示す説明図である。

符号の説明

0027

10…データベース装置、11…画像データ記憶手段、12…画像特徴量抽出手段、13…カラーリストバンドの色データ抽出手段、14…画像及び色データ対応動作指令記憶手段、15…サンプリング手段、16…時系列関節角度データ記憶手段、20…手指形状記憶手段、23…画像データ記憶手段、24…画像特徴量抽出手段、25…カラーリストバンドの色データ抽出手段、26…データ特定及び動作指令発生手段、27…駆動手段、31,32…ビデオカメラ、40…データグローブ、41…角度センサ、50…ロボットハンド、51…支持部、52…関節用アクチュエータ、60…データ探索開始点、61…カラーリストバンドの色データ、62…手指の形状データ、63…前腕回旋角度を含んだ関節の角度データ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ