図面 (/)

技術 位置検出装置および位置検出方法

出願人 ソニー株式会社
発明者 暦本純一
出願日 2009年8月7日 (11年4ヶ月経過) 出願番号 2009-184721
公開日 2011年2月24日 (9年10ヶ月経過) 公開番号 2011-039673
状態 特許登録済
技術分野 表示による位置入力 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス
主要キーワード 各検出対象 赤外線発光装置 回路信号 所定領域毎 照射画像 三次元位置情報 基礎行列 エピポーラ幾何
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年2月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

空間内の検出対象三次元位置を安定して高精度に取得することが可能な位置検出装置を提供する。

解決手段

空間内の検出対象に対して1または2以上の種類の照射光により構成される光群である照射パターン200を照射する照射部101と、検出対象を撮像して画像を取得する撮像部104と、照射部101が照射パターン200を照射する照射タイミングに基づいて撮像部104の撮像タイミングを制御する撮像制御部103と、撮像部104により取得された画像に基づいて照射パターン200が照射されている検出対象の照射部分を抽出し、検出対象と照射パターン200との位置関係解析する解析部と、解析部により解析された検出対象と照射パターン200との位置関係に基づいて、照射パターン200が検出対象を照射するように、照射パターン200の照射位置を移動させる移動処理部とを備える。

概要

背景

機器の操作にジェスチャを用いる技術開発は従来から行われている。例えば、カメラを用いてジェスチャを認識する技術は歴史が古く、MITのPut−That−Thereシステム以来多くの研究開発が行われている。ジェスチャをより的確に認識するには、指先関節位置等の複数の特徴点の位置を、リアルタイムに高精度に検出することが要求されている。例えば、特許文献1、2には、ジェスチャするユーザの複数の特徴点を同時に認識して、多様な操作方法によるインタラクティブ入出力を可能とした技術が開示されている。また、ユーザが手にグローブやマーカ等を付けて、特徴点を認識し易くすることによって、より複雑な操作の認識を行おうとする事例も多い。

概要

空間内の検出対象三次元位置を安定して高精度に取得することが可能な位置検出装置を提供する。空間内の検出対象に対して1または2以上の種類の照射光により構成される光群である照射パターン200を照射する照射部101と、検出対象を撮像して画像を取得する撮像部104と、照射部101が照射パターン200を照射する照射タイミングに基づいて撮像部104の撮像タイミングを制御する撮像制御部103と、撮像部104により取得された画像に基づいて照射パターン200が照射されている検出対象の照射部分を抽出し、検出対象と照射パターン200との位置関係解析する解析部と、解析部により解析された検出対象と照射パターン200との位置関係に基づいて、照射パターン200が検出対象を照射するように、照射パターン200の照射位置を移動させる移動処理部とを備える。

目的

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

空間内の検出対象に対して、1または2以上の種類の照射光により構成される光群である照射パターン照射する照射部と、前記検出対象を撮像して画像を取得する撮像部と、前記照射部が前記照射パターンを照射する照射タイミングに基づいて、前記撮像部の撮像タイミングを制御する撮像制御部と、前記撮像部により取得された画像に基づいて、前記照射パターンが照射されている前記検出対象の照射部分を抽出し、前記検出対象と前記照射パターンとの位置関係解析する解析部と、前記解析部により解析された前記検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンが前記検出対象を照射するように、前記照射パターンの照射位置を移動させる移動処理部と、を備える、位置検出装置

請求項2

前記照射パターンは、異なるタイミングで照射される、少なくとも第1の照射パターンと第2の照射パターンとを含んでなり、前記撮像制御部は、前記第1の照射パターンおよび前記第2の照射パターンが照射される照射タイミングで前記撮像部に画像を取得させ、前記解析部は、前記第1の照射パターンが照射されたときに取得された第1の画像と前記第2の光が照射されたときに取得された第2の画像とを比較して、前記検出対象に対する前記第1の照射パターンおよび前記第2の照射パターンの照射位置をそれぞれ認識し、前記移動処理部は、前記検出対象に対する前記第1の照射パターンおよび前記第2の照射パターンの照射位置に基づいて、前記照射パターンの照射位置を移動させる、請求項1に記載の位置検出装置。

請求項3

前記照射パターンは、前記照射パターンの移動方向に隣接する第1の光層および第3の光層とからなる前記第1の照射パターンと、前記第1の光層および前記第3の光層との間に位置する第2の光層からなる前記第2の照射パターンとを含み、前記解析部は、前記検出対象に前記第1の光層および前記第2の光層が照射されているとき、前記照射パターンが前記検出対象を照射していると判定する、請求項2に記載の位置検出装置。

請求項4

前記移動処理部は、前記検出対象に前記第1の光層のみが照射されているとき、前記検出対象にさらに第2の光層が照射されるように前記照射パターンを移動させ、前記検出対象に前記第1の光層、前記第2の光層および前記第3の光層が照射されているとき、前記検出対象に前記第1の光層および第2の光層のみが照射されるように前記照射パターンを移動させる、請求項3に記載の位置検出装置。

請求項5

前記照射パターンは、前記照射パターンの移動方向に所定距離を有して隣接し、同一の照射タイミングで照射される第1の光層と第2の光層とからなり、前記撮像制御部は、前記照射パターンの照射タイミングで前記撮像部に画像を取得させ、前記解析部は、前記撮像部により取得された画像から、前記検出対象に対する前記第1の光層および前記第2の光層の照射位置をそれぞれ認識し、前記移動処理部は、前記検出対象に対する前記第1の光層および前記第2の光層の照射位置に基づいて、前記照射パターンの照射位置を移動させる、請求項1に記載の位置検出装置。

請求項6

前記解析部は、前記検出対象に前記第1の光層のみが照射されているとき、前記照射パターンが前記検出対象を照射していると判定する、請求項5に記載の位置検出装置。

請求項7

前記移動処理部は、前記検出対象に前記照射パターンが照射されていないとき、前記検出対象に第1の光層が照射されるように前記照射パターンを移動させ、前記検出対象に前記第1の光層および前記第2の光層が照射されているとき、前記検出対象に前記第1の光層のみが照射されるように前記照射パターンを移動させる、請求項6に記載の位置検出装置。

請求項8

前記解析部は、複数の前記検出対象について前記照射パターンとの位置関係を解析可能であり、前記移動処理部は、前記各検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンの照射位置を移動させる、請求項1に記載の位置検出装置。

請求項9

前記照射パターンは、平面の膜状に形成され、前記移動処理部は、前記空間内に含まれる複数の検出対象を含むように前記照射パターンを移動させる、請求項8に記載の位置検出装置。

請求項10

前記照射パターンは、前記空間内を区分して形成された所定領域毎に設けられ、前記移動処理部は、前記照射パターンが照射する前記領域内に含まれる検出対象を照射するように、前記照射パターンの照射位置をそれぞれ移動させる、請求項8に記載の位置検出装置。

請求項11

前記検出対象の位置を算出する位置算出部をさらに備え、前記位置算出部は、前記撮像部により取得された画像と前記照射部の視点による照射画像とに基づいて、前記空間における前記検出対象の三次元位置を算出する、請求項1に記載の位置検出装置。

請求項12

前記位置検出部は、エピポーラ幾何を用いて前記空間における前記検出対象の三次元位置を算出する、請求項11に記載の位置検出装置。

請求項13

空間内の検出対象に対して、1または2以上の種類の照射光により構成される光群である照射パターンを照射部から照射するステップと、前記照射部が前記照射パターンを照射する照射タイミングに基づいて、検出対象を撮像する撮像部の撮像タイミングを制御するステップと、前記撮像タイミングに基づいて、前記撮像部により画像を取得するステップと、前記撮像部により取得された画像に基づいて、前記照射パターンが照射されている前記検出対象の照射部分を抽出し、前記検出対象と前記照射パターンとの位置関係を解析するステップと、前記検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンが前記検出対象を照射するように、前記照射パターンの照射位置を移動させるステップと、を含む、位置検出方法

技術分野

0001

本発明は、位置検出装置および位置検出方法に関し、より詳細には、空間における検出対象の位置を検出する位置検出装置および位置検出方法に関する。

背景技術

0002

機器の操作にジェスチャを用いる技術開発は従来から行われている。例えば、カメラを用いてジェスチャを認識する技術は歴史が古く、MITのPut−That−Thereシステム以来多くの研究開発が行われている。ジェスチャをより的確に認識するには、指先関節位置等の複数の特徴点の位置を、リアルタイムに高精度に検出することが要求されている。例えば、特許文献1、2には、ジェスチャするユーザの複数の特徴点を同時に認識して、多様な操作方法によるインタラクティブ入出力を可能とした技術が開示されている。また、ユーザが手にグローブやマーカ等を付けて、特徴点を認識し易くすることによって、より複雑な操作の認識を行おうとする事例も多い。

先行技術

0003

特開平11−24839号公報
特開2009−43139号公報

発明が解決しようとする課題

0004

しかし、ジェスチャの認識をカメラにより行うものについては、指先での複雑な操作を的確に認識することが困難であったり、変動する照明環境で安定的に特徴点の動きを認識するのは困難であったりする等の課題が依然として存在する。また、ユーザの手にグローブやマーカ等を付けて、より複雑な操作の認識を行おうとする場合には、マーカ等の装着に準備時間を要する。このため、かかる認識方法は、日常生活での使用や不特定多数利用者の使用には適さないという問題がある。

0005

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、空間内の検出対象の三次元位置を安定して高精度に取得することが可能な、新規かつ改良された位置検出装置および位置検出方法を提供することにある。

課題を解決するための手段

0006

上記課題を解決するために、本発明のある観点によれば、空間内の検出対象に対して、1または2以上の種類の照射光により構成される光群である照射パターン照射する照射部と、検出対象を撮像して画像を取得する撮像部と、照射部が照射パターンを照射する照射タイミングに基づいて、撮像部の撮像タイミングを制御する撮像制御部と、撮像部により取得された画像に基づいて、照射パターンが照射されている検出対象の照射部分を抽出し、検出対象と照射パターンとの位置関係解析する解析部と、解析部により解析された検出対象と照射パターンとの位置関係に基づいて、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させる移動処理部と、を備える、位置検出装置が提供される。

0007

本発明によれば、撮像部により、照射パターンが照射されるタイミングで照射パターンが照射される空間を撮像して、画像を取得する。解析部は、取得した画像から、照射パターンが照射されている検出対象の照射部分を抽出して、検出対象と照射パターンとの位置関係を解析する。移動処理部は、検出対象と照射パターンとの位置関係から、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させる。このように、検出対象に対して常に照射パターンを照射することができ、検出対象の空間内における位置を高精度に安定して認識することができる。

0008

ここで、照射パターンは、異なるタイミングで照射される、少なくとも第1の照射パターンと第2の照射パターンとを含んでなるようにしてもよい。このとき、撮像制御部は、第1の照射パターンおよび第2の照射パターンが照射される照射タイミングで撮像部に画像を取得させ、解析部は、第1の照射パターンが照射されたときに取得された第1の画像と第2の光が照射されたときに取得された第2の画像とを比較して、検出対象に対する第1の照射パターンおよび第2の照射パターンの照射位置をそれぞれ認識し、移動処理部は、検出対象に対する第1の照射パターンおよび第2の照射パターンの照射位置に基づいて、照射パターンの照射位置を移動させるようにしてもよい。

0009

また、照射パターンは、照射パターンの移動方向に隣接する第1の光層および第3の光層とからなる第1の照射パターンと、第1の光層および第3の光層との間に位置する第2の光層からなる第2の照射パターンとを含むように構成してもよい。このとき、解析部は、検出対象に第1の光層および第2の光層が照射されているとき、照射パターンが検出対象を照射していると判定することもできる。

0010

さらに、移動処理部は、検出対象に第1の光層のみが照射されているとき、検出対象にさらに第2の光層が照射されるように照射パターンを移動させ、検出対象に第1の光層、第2の光層および第3の光層が照射されているとき、検出対象に第1の光層および第2の光層のみが照射されるように照射パターンを移動させるようにしてもよい。

0011

また、照射パターンは、照射パターンの移動方向に所定距離を有して隣接し、同一の照射タイミングで照射される第1の光層と第2の光層とからなるようにしてもよい。このとき、撮像制御部は、照射パターンの照射タイミングで撮像部に画像を取得させ、解析部は、撮像部により取得された画像から、検出対象に対する第1の光層および第2の光層の照射位置をそれぞれ認識し、移動処理部は、検出対象に対する第1の光層および第2の光層の照射位置に基づいて、照射パターンの照射位置を移動させるようにしてもよい。

0012

さらに、解析部は、検出対象に第1の光層のみが照射されているとき、照射パターンが検出対象を照射していると判定することもできる。このとき、移動処理部は、検出対象に照射パターンが照射されていないとき、検出対象に第1の光層が照射されるように照射パターンを移動させ、検出対象に第1の光層および第2の光層が照射されているとき、検出対象に第1の光層のみが照射されるように照射パターンを移動させるようにしてもよい。

0013

また、解析部は、複数の検出対象について照射パターンとの位置関係を解析可能であり、移動処理部は、各検出対象と照射パターンとの位置関係に基づいて、照射パターンの照射位置を移動させるようにしてもよい。

0014

照射パターンは、平面の膜状に形成され、移動処理部は、空間内に含まれる複数の検出対象を含むように照射パターンを移動させることもできる。あるいは、照射パターンは、空間内を区分して形成された所定領域毎に設けられ、移動処理部は、照射パターンが照射する領域内に含まれる検出対象を照射するように、照射パターンの照射位置をそれぞれ移動させるようにすることもできる。

0015

また、検出対象の位置を算出する位置算出部をさらに備えてもよい。このとき、位置算出部は、撮像部により取得された画像と照射部の視点による照射画像とに基づいて、空間における検出対象の三次元位置を算出することができる。位置検出部は、例えばエピポーラ幾何を用いて空間における検出対象の三次元位置を算出することができる。

0016

また、上記課題を解決するために、本発明の別の観点によれば、空間内の検出対象に対して、1または2以上の種類の照射光により構成される光群である照射パターンを照射部から照射するステップと、照射部が照射パターンを照射する照射タイミングに基づいて、検出対象を撮像する撮像部の撮像タイミングを制御するステップと、撮像タイミングに基づいて、撮像部により画像を取得するステップと、撮像部により取得された画像に基づいて、照射パターンが照射されている検出対象の照射部分を抽出し、検出対象と照射パターンとの位置関係を解析するステップと、検出対象と照射パターンとの位置関係に基づいて、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させるステップと、を含む、位置検出方法が提供される。

発明の効果

0017

以上説明したように本発明によれば、空間内の検出対象の三次元位置を安定して高精度に取得することが可能な、位置検出装置および位置検出方法を提供することができる。

図面の簡単な説明

0018

本発明の実施形態にかかる位置検出装置の一構成例を示す説明図である。
同実施形態にかかる位置検出装置の構成を示すブロック図である。
同実施形態にかかる位置検出装置による位置検出方法を示すフローチャートである。
照射部による照射タイミングの一例を示すグラフである。
照射部による照射タイミングの一例を示すグラフである。
撮像制御部による撮像タイミングの決定方法を説明するグラフである。
撮像部により撮像した2種類の照射パターンの画像を差分演算して生成される画像を示す説明図である。
照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。
撮像部の撮像した画像から取得された検出対象の位置を示す画像と、照射部から見た画像との関係を示す説明図である。
撮像部により取得された通常の画像と、検出対象のみを抽出した画像との関係を示す説明図である。
検出対象の位置の算出方法を示す説明図である。
1種類の光からなる照射パターンを用いたときの、照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。

実施例

0019

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0020

なお、説明は以下の順序で行うものとする。
1.位置検出装置の概要
2.位置検出装置の具体的構成例

0021

<1.位置検出装置の概要>
[位置検出装置の構成例]
まず、図1に基づいて、本発明の実施形態にかかる位置検出装置の構成例について説明する。なお、図1は、本実施形態にかかる位置検出装置の一構成例を示す説明図である。

0022

本実施形態にかかる位置検出装置は、照射部により照射された照射光の反射を、それに同期して撮影する撮像部を用いて認識して、空間内における検出対象の三次元位置を取得する装置である。このような位置検出装置は、例えば図1に示すように、照射部であるプロジェクター101と、照射光を検出する検出部であるPD(Photo Detector)102と、マイクロプロセッサ103と、画像を取得する撮像部であるカメラ104と、から構成することができる。

0023

プロジェクター101は、空間内に照射光を所定の照射パターン200で出力する。照射パターン200は、1または2以上の種類の照射光により構成される光群であって、空間内における検出対象の位置を特定するために用いられる。照射パターン200は、例えば、1または2以上の照射で1つの形状を形成する複数の膜状の光層から構成される。プロジェクター101は、例えばユーザの指先等の検出対象と照射パターン200との位置関係に基づいて、検出対象が常に照射パターン200により照射されるように、照射パターン200の照射位置を移動する。

0024

PD102は、プロジェクター101の出力する照射光を検出し、検出結果をマイクロプロセッサ103へ出力する。PD102は、プロジェクター101から照射される照射パターン200の照射タイミングを検出するために設けられている。マイクロプロセッサ103は、PD102の検出結果に基づいて照射パターン200の照射タイミングを認識して、カメラ104による画像の撮像タイミングを生成する。生成された撮像タイミングは、カメラ104へ出力される。カメラ104は、この撮像タイミングに基づいて、照射パターン200が出力される空間の画像を撮像する。

0025

撮像タイミングに基づいてカメラ104により撮像された画像を、情報処理部図2の符号150に対応)によって画像処理することにより、照射パターン200が照射されている検出対象の照射部分を認識することができる。これにより、検出対象と照射パターン200との位置関係を認識することができる。認識された検出対象と照射パターン200との位置関係から、検出対象が的確に照射されていないと判断された場合、プロジェクター101は、照射パターン200が所定の位置関係で検出対象を照射するように、照射パターン200の照射位置を移動させる。このようにして、所定の位置関係で照射パターン200が常に検出対象を照射するようにする。

0026

また、照射パターン200が照射されている検出対象の照射部分が認識されると、撮像された画像中における検出対象の位置を検出することができる。さらに、空間における照射パターン200の照射位置から、検出対象とカメラ104との距離を判定することができる。これにより、検出対象の空間中での三次元位置を求めることができる。ここで、照射パターン200は、上述したように、常に所定の位置関係で検出対象を照射するように移動される。本実施形態にかかる位置検出装置は、このような照射パターン200の照射位置を用いて検出対象の三次元位置を算出することにより、空間における検出対象の位置を安定して高精度に検出することができる。

0027

以下、図2および図3に基づいて、より具体的に本実施形態にかかる位置検出装置100の構成と、これを用いた検出対象の位置検出方法について説明していく。なお、図2は、本実施形態にかかる位置検出装置100の構成を示すブロック図である。図3は、本実施形態にかかる位置検出装置100による位置検出方法を示すフローチャートである。

0028

[位置検出装置の構成]
本実施形態にかかる位置検出装置100は、図2に示すように、照射部110と、検出部120と、撮像制御部130と、撮像部140と、情報処理部150とからなる。

0029

照射部110は、空間内における検出対象の位置を特定するために、照射光からなる照射パターン200を出力する。照射パターン200を構成する照射光は、可視光であっても不可視光であってもよい。照射パターン200は、検出対象の照射位置を特定することの可能なパターンに構成されており、照射光を照射する照射タイミングや、照射光の照射位置によって様々に構成することができる。このような照射パターン200を照射する照射部110には、例えば、図1に示したプロジェクター101や、赤外線発光装置等を用いることができる。照射部110は、後述する情報処理部150の指示に従って、検出対象に所定の照射光が照射されるように、照射パターン200を移動させる。

0030

検出部120は、照射部110による照射パターン200の照射タイミングを検出する。検出部120は、例えば、図1に示したように、照射部110より出力される照射光を直接検出するPD102等の受光素子を用いることができる。この場合、検出部120は、受光する照射光の強度に応じた電気信号を検出結果として出力する。あるいは、検出部120として照射パターン200を照射する照射タイミングを制御する照射部110内の制御回路を用いることもできる。この場合、制御回路の出力する、照射タイミングを示す回路信号を検出部120による検出結果として用いる。検出部120は、検出結果を撮像制御部130へ出力する。

0031

撮像制御部130は、検出部120の検出結果に基づいて、撮像部140の撮像タイミングを生成する。撮像制御部130は、検出部120の検出結果から、照射部110から出力された照射光の照射タイミングを認識することができる。本実施形態では、検出対象の位置を認識するために、照射パターン200が照射された時点での画像を用いる。このため、撮像制御部130は、検出部120の検出結果から照射パターン200が出力されたときの照射タイミングを認識し、当該照射タイミングに基づいて、撮像部140が画像を取得する撮像タイミングを生成する。撮像制御部130は、生成した撮像タイミングを撮像部140へ出力する。

0032

撮像部140は、撮像タイミングに基づいて、照射パターン200が照射されている空間の画像を撮像する。撮像制御部130により生成された撮像タイミングで撮像することにより、撮像部140は、所定の照射パターンが照射されている時点での画像を取得することができる。撮像部140は、撮像した画像を情報処理部150へ出力する。

0033

情報処理部150は、検出対象の位置を算出する機能部である。情報処理部150は、後述する検出方法を用いて、撮像部140により取得された画像に基づいて、照射パターン200が照射された検出対象の照射部分を検出する。これより、情報処理部150は、照射パターン200と検出対象との位置関係を解析することができる。情報処理部150は、解析された照射パターン200と検出対象との位置関係から、照射パターン200が所定の位置関係で検出対象を照射するように、照射パターン200を移動させる移動情報を生成し、照射部110へ出力する。照射部110は、情報処理部150から入力された移動情報に基づいて、照射パターン200の照射位置を変更する。このように、情報処理部150により算出された検出対象の位置は、次の時間における照射パターンの照射位置の決定に用いられる。

0034

また、情報処理部150は、照射部110から入力される照射パターン200の照射位置と、照射パターン200が照射された検出対象の照射部分の位置情報とに基づいて、空間における検出対象の三次元位置を算出する。なお、検出対象の三次元位置の算出方法は後述する。情報処理部150は、算出した検出対象の三次元位置を位置情報として、外部の機器に出力することができる。空間における検出対象の位置情報は、例えば、ユーザが行っているジェスチャの認識等に用いることができる。

0035

[位置検出方法の概略]
次に、図3に基づいて、本実施形態にかかる位置検出装置100による検出対象の位置検出方法の概略を説明する。

0036

本実施形態にかかる位置検出方法は、まず、照射部110により所定の照射パターン200を検出対象の存在する空間に対して照射する(ステップS100)。次いで、撮像部140により空間内の検出対象の画像を取得する(ステップS110)。このとき、撮像部140は、撮像制御部130により生成された撮像タイミングに基づいて、所定の照射パターン200の照射タイミングと同期して画像を取得する。

0037

さらに、情報処理部150は、撮像部140により撮像された画像を解析して、検出対象の位置を検知する(ステップS120)。情報処理部150は、撮像された画像から、照射パターン200が照射された検出対象の照射部分を認識する。これより、情報処理部150は、検出対象と照射パターン220との位置関係、すなわち、照射パターン200が検出対象にどのくらい照射されているかを検出することができる。

0038

その後、情報処理部150は、検出対象と照射パターン220との位置関係から、照射パターン200が所定の位置関係で検出対象を照射するように、照射パターン200の照射位置を移動させる移動情報を生成する(ステップS130)。情報処理部150は、生成した移動情報を照射部110へ出力する。照射部110は、入力された移動情報に基づいて照射パターン200の照射位置を移動し、照射パターン200と検出対象とが所定の位置で照射されるようにする。

0039

以上、本実施形態にかかる位置検出装置100による検出対象の位置検出方法について説明した。このように、照射部110から出力される照射パターン200が常に検出対象を所定の位置関係で照射するように、照射パターン200を移動させることにより、空間における検出対象の検出位置を高精度に検出することが可能となる。

0040

<2.位置検出装置の具体的構成例>
続いて、以下に、本実施形態にかかる位置検出装置100を用いた検出対象の位置検出方法について、具体例を示す。なお、以下の具体例では、照射パターン200が出力される空間にユーザが存在すると想定し、位置検出装置100による検出対象をユーザの指Fの指先とする。位置検出装置100は、照射パターン200の照射位置をユーザの指先に合わせるように、照射パターン200を移動させる。

0041

[第1の具体例:2色の光からなる照射パターンを用いた位置検出方法]
まず、第1の具体例として、図4A図10に基づいて、2色の光からなる照射パターン200を用いた位置検出方法について説明する。本例において、2色の光からなる照射パターン200とは、波長の異なる2つの可視光により構成された光のパターンをいう。以下では、照射パターン200の一例として、膜状の緑色(G)の光と赤色(R)の光とを、緑、赤、緑の順に3層に積層させた照射パターンを用いる。

0042

照射パターン200を可視光から構成することにより、ユーザは指先の検出されている位置を目視して確認することができる。これにより、ユーザは、指先が的確に検出されているか否かを視認することができ、また、指先を照射パターンに近接させたり離隔させたりするという動作も行うことも可能となる。このように、可視光を用いることにより、インタラクション性の高いユーザインタフェースを構成することもできる。

0043

なお、図4Aおよび図4Bは、照射部110による照射タイミングの一例を示すグラフである。図5は、撮像制御部130による撮像タイミングの決定方法を説明するグラフである。図6は、撮像部140により撮像した2種類の照射パターンの画像を差分演算して生成される画像を示す説明図である。図7は、照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。図8は、撮像部140の撮像した画像から取得された検出対象の位置を示す画像と、照射部110から見た画像との関係を示す説明図である。図9は、撮像部140により取得された通常の画像と、検出対象のみを抽出した画像との関係を示す説明図である。図10は、検出対象の位置の算出方法を示す説明図である。

0044

[検出対象の差分画像の生成]
まず、図4A図6に基づいて、検出対象である指先と照射パターン200との位置関係を検出するために用いる、照射パターン200が照射された指先の照射部分を撮像部140により取得した画像から抽出する差分画像を生成する処理について説明する。

0045

本例では、照射部110は、上述したように、緑色(G)の光と赤色(R)の光とを積層して構成された照射パターン200を空間に対して照射する。このとき、照射部110には、例えば、RGBの三原色を異なるタイミングで照射するDPLプロジェクターを用いることができる。DPLプロジェクターは、マイクロミラーアレイ高速に変動させてプロジェクター画像を作り出す装置である。このようなDPLプロジェクターを用いて、例えば図5に示す照射タイミングで、緑色(G)の光、青色(B)の光および赤色(R)の光を、高速に点滅するように、順に出力することができる。

0046

照射部110が照射光を出力する照射タイミングは機器により予め設定されている。例えば、照射部110は、図4Aおよび図4Bに示すタイミングで各光を照射している。各光はそれぞれ一定の間隔で照射されており、例えば緑色(G)の光は周期T(例えば、約8.3ms)で照射される。ここで、例えば緑色(G)の光を照射するタイミングを示すGreen信号を基準とすると、青色(B)の光は緑色(G)の光の照射から約T/2遅れて照射される。また、赤色(R)の光は緑色(G)の光の照射から約3/4T遅れて照射される。照射部110は、その内部に設けられている制御回路により出力されるこれらの信号に基づいて、RGBの光をそれぞれ出力する。

0047

照射部110は、マイクロミラーアレイの傾斜を変更して膜状の光を形成し、空間に向かって照射する。本例では、上述したように、2つの緑色の光層と1つの赤色の光層とを積層して形成される照射パターン200を用いて、検出対象である指先と照射パターン200との位置関係を認識する。このため、撮像部140は、照射パターン200のうち、緑色(G)の光が照射されている時点での画像と、赤色(R)の光が照射されている時点での画像とを取得する。撮像部140により画像を取得する撮像タイミングは、撮像制御部130により撮像トリガー信号として生成される。

0048

撮像制御部130は、照射部110の照射タイミングに基づいて、緑色(G)の光と赤色(R)の光とが照射されたタイミングで画像を取得する撮像トリガー信号を生成する。照射タイミングは、例えば、図1に示すようにPD102等の受光素子を用いて、照射光を直接検出することにより認識してもよい。この場合、照射時に画像が取得される照射光を検出する受光素子(本例では、緑色(G)の光を検出する受光素子と赤色(R)の光を検出する受光素子)を少なくとも空間内に備える。そして、撮像制御部130は、これらの受光素子のいずれかが光を検出したときにオンとなる撮像トリガー信号を生成する。あるいは、基準とする光を検出する受光素子を空間内に備え、当該受光素子の出力する電気信号に基づいて、撮像トリガー信号を生成さえることもできる。

0049

例えば、緑色(G)の光を基準として、緑色(G)の光を検出する受光素子を空間内に備える。このとき、受光素子の出力する電気信号(PD信号)は、図5に示すように、緑色(G)の光が照射されたタイミングで立ち上がる波形となる。一方、撮像制御部130は、照射部110から各光が照射される照射タイミングを取得して、緑色(G)の光が照射されてから赤色(R)の光が照射されるまでの遅延時間を得る。撮像制御部130は、受光素子の出力したPD信号の立ち上がりを検知すると、立ち上がり時点から遅延時間が経過したときに赤色(R)の光が照射されると推定する。これより、撮像制御部130は、緑色(G)の光が出力されたPD信号の立ち上がり時点と、当該時点から遅延時間が経過した時点とにおいて画像を取得する撮像トリガー信号を生成する。

0050

あるいは、撮像制御部130は、照射部110の内部に設けられた制御回路の出力する、照射タイミングを示す回路信号を検出部120の検出結果とすることもできる。このとき、回路信号から各光の照射タイミングを認識することができるので、撮像制御部130は、照射時に画像が取得される照射光の照射タイミングで撮像部130に画像を取得させる撮像トリガー信号を生成することができる。

0051

なお、図5に示す撮像トリガー信号は、RGBの光が2回照射されたときの、1回目の緑色(G)の光の照射タイミングをトリガー1(G)とし、2回目の赤色(R)の光の照射タイミングをトリガー2(R)として生成されていたが、かかる例に限定されない。撮像制御部130は、例えば、GBの光が1回照射されたときの、緑色(G)の光の照射タイミングをトリガー1(G)とし、赤色(R)の光の照射タイミングをトリガー2(R)とする撮像トリガー信号を生成してもよい。

0052

撮像部140は、撮像制御部130により生成された撮像トリガー信号に基づいて撮像すると、照射部110が緑色(G)の光を照射したときの画像と、赤色(R)の光を照射したときの画像とを取得することができる。そして、情報処理部150は、撮像部140により取得された画像から、照射パターン200を構成する緑色(G)の光および赤色(R)の光のいずれの色も照射されていない背景部分を消去して、照射パターン200が照射されている照射部分を取得する処理を行う。

0053

例えば、図6(a)に示すように、照射部110からユーザの手に緑色(G)および赤色(R)の光が格子状に配列された照射パターンが照射されているとする。このとき、情報処理部150は、撮像部140により撮像された連続する2つの画像に差分演算を施す。ここで、連続する2つの画像とは、図5のトリガー1(G)のタイミングで撮像された第1の画像とトリガー2(R)のタイミングで撮像された第2の画像とのように、撮像トリガー信号の連続するタイミングで撮像された1組の画像をいう。図6(a)の緑色(G)の光と赤色(R)の光とからなる格子状の照射パターンは、緑色(G)の光と赤色(R)の光とが時間差で高速に点滅して照射されている。

0054

情報処理部150は、緑色(G)の光の照射時に撮像された第1の画像から赤色(R)の光の照射時に撮像された第2の画像の差分をとることにより差分画像(G−R)を生成し、緑色(G)の光が照射されている照射部分を抽出することができる。すなわち、情報処理部150は、第1の画像の明度から第2の画像の明度を差分して差分値を算出し、差分値が正であれば差分値の示す明度で、差分値が0以下であれば黒で表わされる差分画像(G−R)を生成する。例えば、図6(a)の差分画像(G−R)は、図6(b)に示すようになる。なお、図6(b)および図6(c)では、便宜上、差分値が正である部分を白で表わし、差分値が0以下である部分を黒で表わしている。差分画像(G−R)より、差分値が正となる部分が緑色(G)の光が照射されている照射部分であることがわかる。

0055

同様に、情報処理部150は、赤色(R)の光の照射時に撮像された第2の画像から緑色(G)の光の照射時に撮像された第1の画像の差分をとることにより差分画像(R−G)を生成し、赤色(R)の光が照射されている照射部分を抽出することができる。すなわち、情報処理部150は、第2の画像の明度から第1の画像の明度を差分して差分値を算出し、差分値が正であれば差分値の示す明度で、差分値が0以下であれば黒で表わされる差分画像(R−G)を生成する。かかる処理を行うことにより、図6(c)に示す図6(a)の差分画像(R−G)を生成することができ、差分画像(R−G)より差分値が正となる部分が赤色(R)の光が照射されている照射部分であることがわかる。

0056

このように、情報処理部150は、緑色(G)の光のパターンが照射された画像と、赤色(R)の光のパターンが照射された画像とから、各パターンが照射されている照射部分を抽出する差分画像を生成することができる。差分画像では、照射パターンの照射部分が差分画像中に現れる一方、例えば背景等のように照射パターンが照射されていない部分は黒色となって表示されない。これより、情報処理部150は、差分画像に基づいて、照射パターンが照射された部分のみを抽出することができる。

0057

[検出対象の認識]
撮像部140により取得された画像から差分画像を生成し、所定の光が照射されている部分を抽出する上述の画像処理方法を用いて、本例では、図7に示すような、2色の光からなる照射パターン200を検出対象に照射することで検出対象の位置を認識する。本例の照射パターン200は、例えば2つの緑色(G)の光202、206と、これらの光202、206の間に配置された赤色(R)の光204とから構成される。照射パターン202は、図1に示すように、空間内に3つの膜状の光が空間に照射される。照射パターン200を構成する光層202、204、206は、検出対象である指先の移動方向(図7のy方向)に積層して配置される。

0058

撮像部140は、撮像制御部130により生成された、緑色(G)の光と赤色(R)の光とが照射された時点の画像を取得する撮像トリガー信号に基づき、画像を取得する。情報処理部150は、撮像部140の取得した画像のうち、連続する2つの画像から差分画像(G−R)および差分画像(R−G)を生成し、緑色(G)の光の照射部分および赤色(R)の光の照射部分を検知する。そして、情報処理装置150は、検知した2つの光の照射部分から、照射パターン200と検出対象である指先との位置関係を算出し、位置関係に応じて照射パターン200の照射位置を移動させる移動情報を生成する。

0059

照射パターン200と指先との位置関係は、指Fに照射パターン200がどのくらい照射されているか(指Fが照射パターン200にどのくらい触れているか)によって判定することができる。本例では、指Fがy方向に移動されることで変化する、指Fに触れる光層の数から、照射パターン200と指先との位置関係を判定する。

0060

3つの光層202、204、206と指Fとが接触する状況としては、以下の3つの状況を考え得る。まず、1つめの状況は、図7(a)右側に示すように、指Fが照射パターン200の緑色(G)の光である第1の光層202のみに触れており、検出対象である指先が赤色(R)の光である第2の光層204に触れていない場合である。このとき、生成された差分画像(G−R)には第1の光層202に触れている指Fの形状が現れるが、差分画像(R−G)には、指Fが赤色(R)の光に触れていないため、照射部分は現れない。結果として、図7(a)左側に示すように、第1の光層202に触れている指Fの形状のみが照射部分222として取得される。

0061

2つめの状況は、図7(b)右側に示すように、指Fが照射パターン200の第1の光層202および第2の光層204に触れている場合である。このとき、生成された差分画像(G−R)には第1の光層202に触れている指Fの形状が現れ、差分画像(R−G)には第2の光層204に触れている指Fの形状が現れる。結果として、図7(b)左側に示すように、第1の光層202および第2の光層204に接触している指Fの形状が照射部分222、224として取得される。

0062

そして、3つめの状況は、図7(c)右側に示すように、指Fが照射パターン200の第1の光層202、第2の光層204および第3の光層206に触れている場合である。このとき、生成された差分画像(G−R)には第1の光層202および第3の光層206に触れている指Fの形状が現れ、差分画像(R−G)には第2の光層204に触れている指Fの形状が現れる。結果として、図7(c)左側に示すように、第1の光層202、第2の光層204および第3の光層206に接触している指Fの形状が照射部分222、224、226として取得される。

0063

ここで、位置検出装置100は、検出対象の位置を正確に検出するため、指Fと照射パターン200との所定の位置関係を指先の三次元位置を取得する目標位置として設定する。そして、位置検出装置100は、指Fと照射パターン200との位置関係が常に目標位置となるように、照射パターン200を移動させる。本例では、目標位置を、図7(b)に示す状況と設定する。このとき、情報処理部150は、検出対象である指先は第2の光層204上にあるとみなし、指Fが第2の光層204と交差する部分を検出対象の位置として空間における三次元位置を算出する。このため、位置検出装置100は、照射パターン200の第2の光層204をより正確に指先に照射させる必要がある。

0064

情報処理部150は、照射パターン200と指先との位置関係が図7(b)に示す目標位置となるように、照射パターン200の照射位置を移動させる移動情報を生成する。まず、指Fと照射パターン200との位置関係が目標位置である図7(b)の状況となっている場合には、照射パターン200の第2の光層204が指先に的確に照射されていると判定される。この場合、情報処理部150は、照射パターン200を移動させず、現在の位置で継続して照射させる。

0065

次に、指Fと照射パターン200との位置関係が図7(a)の状況である場合には、指先は第2の光層204に触れていないため、図7(b)に示す目標位置とするために照射パターン200を手前側(y軸負方向側)へ移動させなければならない。そこで、情報処理部150は、照射パターン200を手前側に移動させる移動情報を生成して、照射部110へ出力する。

0066

一方、指Fと照射パターン200との位置関係が図7(c)の状況である場合には、指先は第2の光層204より奥側(y軸正方向側)にある第3の光層206に触れている。このため、図7(b)に示す目標位置とするためには、照射パターン200を奥側へ移動させなければならない。そこで、情報処理部150は、照射パターン200を奥側に移動させる移動情報を生成して、照射部110へ出力する。

0067

このように、情報処理部150は、照射パターン200と指先との位置関係を認識して、照射パターン200の第2の光層204が指先を照射するように、照射パターン200の照射位置を制御する。これにより、照射パターン200が常に指先を照射するようにすることができる。

0068

なお、検出対象である指先の位置を正確に、かつ素早く特定するため、照射パターン200の第2の光層204のy軸負方向に隣接する第1の光層202のy方向の厚みを、第2の光層204の厚みよりも大きくするようにしてもよい。これにより、指Fが第1の光層202に触れやすくなり、指先が照射パターン200に近接してきたことを素早く検出することができる。指先が第1の光層202に触れると、情報処理部150はこれを検知して、指先に第2の光層204が照射されるように照射パターン200を移動する移動情報を生成する。照射部110は、生成された移動情報に基づいて照射パターン200を移動して、指先と照射パターン200とが目標位置となるようにする。

0069

また、照射パターン200が同一の方向に移動され続ける場合、情報処理部150は、照射パターン200の移動速度を次第に大きくするように移動情報を生成してもよい。照射パターン200が同一方向に移動され続けるときは、指先と照射パターンとが離れている場合が多い。したがって、照射パターン200の移動速度を大きくすることより、より早く指先に照射パターン200の第2の光層204が照射されるようにすることができる。

0070

ここで、例えばジェスチャを行っている右手左手のように、位置検出装置100により複数の検出対象の位置を検出する場合には、各検出対象に対してそれぞれ照射パターン200を移動させる処理を行うようにしてもよい。例えば、図8(b)に示すように、右手RHおよび左手LHを照射パターン200が照射されている空間に置き、照射パターン200に触れさせたとする。なお、本例では最も奥側(紙面手前側、y軸正方向側)に位置する指Fについて照射パターン200との位置関係を検出する。最も奥側に位置する指Fは、例えば、画像から認識される手の形状から推定して決定することもでき、情報処理部150により生成される差分画像から抽出できる検出対象の照射部分の形状から決定することもできる。

0071

なお、図8(a)は、撮像部140により取得された画像から生成された差分画像であり、図8(b)は、照射部110を視点とした照射画像である。図8(a)中の線L1およびL2は、図8(b)中の線L1およびL2に対応する。

0072

まず、図8(b)に示す右手RHについてみると、図8(a)に示す差分画像の左側領域に2つの照射パターン200が照射されている照射部分222を認識することができる。これより、右手RHは、2本の指Fが照射パターン200に触れていることがわかる。このとき、図8(a)の差分画像に表れている照射部分222は、その形状から、第1の光層202を形成する緑色(G)の光が照射されている部分のみである。これより、情報処理部150は、最も奥側に位置する指Fが第1の光層202のみに接触している状況であると判定し、照射パターン200を手前側に移動させるように照射部110を制御する移動情報を生成する。

0073

一方、左手LHについては、図8(a)に示す差分画像の右側領域に4つの照射パターン200が照射されている照射部分222、224、226を認識することができる。これより、左手LHは、4本の指Fが照射パターン200に触れていることがわかる。このとき、図8(a)の差分画像に表れている照射部分222、224、226の形状から、4本の指Fのうち3本は第1の光層202、第2の光層204および第3の光層206のすべての光が照射されていることがわかる。なお、照射パターン200の移動情報を生成する段階では最も奥側に位置する指Fと照射パターン200との位置関係が分かればよく、具体的に最も奥側に位置する1本の指Fを特定しなくてもよい。情報処理部150は、最も奥側に位置する指Fが第1〜第3の光層202、204、206に接触している状況であると判定し、照射パターン200を奥側に移動させるように照射部110を制御する移動情報を生成する。

0074

上より、右手RHについては照射パターン200を手前側に移動させ、左手LHについては照射パターン200を奥側に移動させる移動情報が情報処理部150により生成される。照射部110は、生成された移動情報に基づいて、照射パターン200の傾きを変更し、照射パターン200の第2の光層204が各手の最も奥側に位置する指先に照射されるようにする。このようにして、位置検出装置100により複数の検出対象の位置を検出することが可能となる。

0075

なお、本例では、照射パターン200は、1つの平面からなる光の膜として形成されていたが、本発明はかかる例に限定されない。例えば、所定の領域毎に照射パターンを設けて、各照射パターンによって当該領域内に含まれる検出対象の位置をそれぞれ検出してもよく、あるいは、曲面状に形成してもよい。本例のように1つの平面からなる光の膜として照射パターン200を形成する場合、検出対象が多くなるにつれてすべての検出対象の位置を正確に検出することは困難となるが、照射パターン200の形状の変更や移動等の制御を容易に行うことができる。

0076

以上をまとめると図9(a)に示すように照射パターン200が照射されている空間の画像を撮像部140によって取得し、当該画像から図9(b)に示す差分画像を生成して検出対象の照射部分を抽出する。すなわち、図9(a)において照射パターン200の第1の光層202が照射されている部分は、図9(b)に示す差分画像では照射部分222として現れる。図9(a)において照射パターン200の第2の光層204が照射されている部分は、図9(b)に示す差分画像では照射部分224として現れる。図9(a)において照射パターン200の第3の光層206が照射されている部分は、図9(b)に示す差分画像では照射部分226として現れる。

0077

図9(b)の差分画像から、公知の画像処理技術、例えば二値化処理連結成分抽出処理等の技法を用いることにより、検出対象である指先の位置を独立して検知することができる。また、照射パターン200の照射位置より、指先と撮像部140との距離(すなわち、奥行方向の距離)を判定することが可能となる。したがって、指先の空間における三次元位置を算出することができる。そこで、図10に基づいて、検出対象の空間における三次元位置を算出する方法について説明する。

0078

[検出対象の三次元位置の算出方法]
図10(a)に撮像部140による撮像画像から生成された差分画像を示し、図10(b)に照射部110を視点とした照射画像を示す。ここで、撮像部140により撮像される画像は、空間における高さ方向(z方向)に対して直交する方向から空間をみたときの画像であり、照射部110を視点とした照射画像は、空間を高さ方向からみたときの画像である。本例では、照射部110と撮像部140との位置関係を、エピポーラ幾何として知られている方法によりキャリブレーションする。エピポーラ幾何を用いることにより、三次元空間において2つの視点から同一の1点を見たときの対応関係を取得することができる。

0079

まず、照射部110から空間に向かって照射される照射パターン200を撮像部140により撮像し、情報処理部150により撮像された画像から差分画像を生成する。上述した位置検出方法により、差分画像から照射パターン200が照射されている検出対象の照射部分を抽出して、検出対象の位置を特定することができる。次いで、情報処理部150は、照射部110を視点とした第1の座標系における点と、撮像部140を視点とした第2の座標系における点との対応付け複数点について行う。これにより、エピポーラ幾何における基礎行列(Fundamental Matrix)Fが算出される。このとき、第2の座標系の点Pc(Xc,Yc)と、これに対応する第1の座標系での点Pp(Xp,Yp)との間には、下記数式1の関係が成立する。

0080

・・・(数式1)

0081

なお、′は転置行列を示す。数式1は、撮像部140の撮像画像から生成された差分画像上の点は、照射画像上では対応する線上のいずれかの位置に存在し、逆に、照射画像上の点は、差分画像上では対応する線上のいずれかの位置に存在することを意味する。この線はエピポーラ線LEと称ばれる。この関係を用いて、図10(b)に示す照射画像上のエピポーラ線LEと、照射されている照射パターン(本例では第2の光層204)との交点を算出することにより、検出対象である指先の三次元位置を算出することができる。

0082

[第2の具体例:1種類の光からなる照射パターンを用いた位置検出方法]
次に、図11に基づいて、1種類の光からなる照射パターンを用いた検出対象の位置検出方法について説明する。なお、図11は、1種類の光からなる照射パターン210を用いたときの、照射パターン210および検出対象の位置関係と、それに基づく照射パターン210の移動方向を示す説明図である。

0083

本例では、1種類の光からなる照射パターン210により照射パターン210と検出対象との位置関係を把握する。このとき、照射パターン210は、図11に示すように、第1の光層212と、第2の光層214との2つの光層からなる。第1の光層212と第2の光層214とは、y方向に所定の距離を有して設けられる。各光層212、214は、同一種類の光からなるため、同時に照射される。本例のように、1種類の光からなる照射パターン210を用いることにより、その光が照射される照射タイミングで画像を撮像すればよく、位置検出装置100の構成を簡易にすることができる。

0084

照射パターン210と指先との位置関係は、第1の具体例と同様に、指Fに照射パターン210がどのくらい照射されているかによって判定することができる。本例では、以下の3つの状況から、照射パターン210と指先との位置関係を判定する。まず、1つめの状況として、図11(a)に示すように、指先が照射パターン210に触れていない場合がある。すなわち、照射パターン210は指先からみて奥側(y軸正方向側)に位置する場合である。2つめの状況は、図11(b)に示すように、指先が第1の光層212にのみ触れている場合である。そして、3つめの状況は、図11(c)に示すように、指先が第1の光層212および第2の光層214に触れている場合である。

0085

本例では、照射パターン210と指先との目標とする位置関係(目標位置関係)を、図11(b)に示す位置とする。このため、情報処理部150は、照射パターン210と指先との位置関係が図11(b)に示す目標位置となるように、照射パターン210の照射位置を移動させる移動情報を生成する。まず、指Fと照射パターン210との位置関係が目標位置である図11(b)の状況となっている場合には、照射パターン200の第1の光層212が指先に的確に照射されていると判定される。この場合、情報処理部150は、照射パターン210を移動させず、現在の位置で継続して照射させる。

0086

次に、指Fと照射パターン210との位置関係が図11(a)の状況である場合には、指先は第1の光層212に触れていないため、図11(b)に示す目標位置とするために照射パターン210を手前側(y軸負方向側)へ移動させなければならない。そこで、情報処理部150は、照射パターン210を手前側に移動させる移動情報を生成して、照射部110へ出力する。一方、指Fと照射パターン210との位置関係が図11(c)の状況である場合には、指先は第1の光層212より奥側にある第2の光層214に触れている。このため、図11(b)に示す目標位置とするためには、照射パターン210を奥側へ移動させなければならない。そこで、情報処理部150は、照射パターン210を奥側に移動させる移動情報を生成して、照射部110へ出力する。

0087

このように、情報処理部150は、照射パターン200と指先との位置関係を認識して、照射パターン210の第1の光層212が指先を照射するように、照射パターン210の照射位置を制御する。これにより、照射パターン210が常に指先を照射するようにすることができる。なお、第1の光層212と第2の光層214とは、近接させ過ぎると指先が第1の光層212および第2の光層214に触れ易くなり、第1の光層212のみに触れる状態とするのが困難になる。そうすると、照射パターン210の照射位置が安定せず、検出位置を不用意に変動させてしまうことになる。このため、第1の光層212と第2の光層214とは、例えば数ミリ程度の間隔を設けるのがよい。

0088

本例の方法により取得された検出対象の位置は、第1の具体例と同様に、検出対象の三次元空間における位置を検出するための情報として用いることができる。すなわち、撮像部140により撮像される画像と照射部110を視点とした照射画像とにおいて、エピポーラ幾何を適用することにより、検出対象の三次元空間での位置を取得することができる。

0089

以上、本発明の実施形態にかかる位置検出装置100とこれを用いた位置検出方法について説明した。本実施形態によれば、照射パターン200、210が照射される空間を、当該照射パターン照射パターン200、210が照射されるタイミングで撮像部140により撮像する。位置検出装置100の情報処理部150は、撮像された画像を解析して、検出対象が照射パターンに照射されている部分を特定し、検出対象と照射パターンとの位置関係を取得する。そして、情報処理部150は、その位置関係が目標とする目標位置関係となるように、照射パターン200、210の照射位置を移動する移動情報を生成する。照射部110は、生成された移動情報に基づいて、照射パターン200、210の照射位置を移動する。これにより、位置検出装置100は、空間内の検出対象の三次元位置を安定して高精度に取得することが可能となる。

0090

[検出対象の三次元位置情報の利用例]
このように取得された検出対象の三次元位置情報は、種々のジェスチャインタフェースに用いることか可能となる。例えば、指先を二次元あるは三次元のマウスポインタとして利用することができる。あるいは、複数の指先によるジェスチャを認識して、入力情報として用いることができる。例えば親指人差し指との間隔の調整により画像のスケールを制御したり、手全体を回転させて画像をスクロールさせたりすることができる。また、両手による操作、例えば両手で照射パターンを奥側に押したり手前に引いたりする等の操作で、三次元空間を前後に移動させることもできる。さらには、照射パターンの方向によって三次元ナビゲーションを行うことも可能となる。

0091

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

0092

例えば、上記実施形態では、照射パターンを照射する照射部110としてDLPプロジェクターを用いたが、本発明はかかる例に限定されない。例えば、複数本からなる線状の移動可能なレーザ光を出力する線レーザモジュールを用いてもよい。このような線レーザモジュールをモータ等で駆動制御して2自由度の角度変位を可能とすれば、線レーザの角度変位制御を行うことによって、上記実施形態と同等の処理が可能となる。

0093

100位置検出装置
110照射部
120 検出部
130撮像制御部
140撮像部
150情報処理部
200、210照射パターン
202、212 第1の光層
204、214 第2の光層
206 第3の光層

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • 威海火峰電脳有限公司の「 マウスパッドの固定と調節装置」が 公開されました。( 2020/10/29)

    【課題】本発明はマウスパッドの固定と調節装置を開示した。【解決手段】主体を含み、前記主体の中には巻き装置が設置され、前記主体の下側には固定装置が設置され、前記巻き装置の上側には切換装置が設置され、前記... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ