図面 (/)

技術 情報入力装置および情報入力方法

出願人 日本電気株式会社
発明者 京砂悟津田尋史奥村藤男
出願日 2017年10月20日 (2年6ヶ月経過) 出願番号 2018-547634
公開日 2019年9月19日 (7ヶ月経過) 公開番号 WO2018-079446
状態 不明
技術分野
  • -
主要キーワード 変位条件 ハイブリッド処理 略四角錐 禁止範囲 特定位 色マーカ 投射条件 掌紋認証
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことを可能とするために、撮像装置を制御することで生成された画像データに含まれる対象の特徴に基づいて投射範囲内に進入した対象を検出し、被投射体には入力を受け付け表示情報を被投射体上に表示させる投射光投射するように投射装置を制御するとともに、被投射体の上方領域指示体が進入したことを画像データに基づいて検出し、被投射体上に表示された表示情報と指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した指示内容を入力情報として送信するように通信装置を制御し、投射禁止体には投射光を投射しないように投射装置を制御する制御装置を備える制御装置とする。

概要

背景

近年、プロジェクタから投影したユーザインターフェース(以下、UI:User Interface)に対して直感的に情報入力できるシステム報告されている。その一例が、MIT(Massachusetts Institute of Technology)のSixthSenseやMicrosoft(登録商標)のOmniTouchである。SixthSenseやOmniTouchでは、被投射体投射されるバーチャルなUIに対して指で行われた入力操作カメラ深度センサによって認識する。例えば、SixthSenseやOmniTouchでは、指先に付けた色マーカをカメラで追跡してUI上の入力位置を検出する。

ところで、色マーカを日常的に指先に付け続けることは現実的でなく、何も装着していない指で入力操作を行うことが求められる。しかし、何も装着していない指先をカメラで追跡する場合、ほぼ同色である手の平と指とを正確に区別することは困難である。深度センサを用いれば、手の平と指とを至近距離判別することは可能であるが、少し距離が離れると判別が困難になり、実用的なインターフェースを実現することは難しい。

特許文献1には、ユーザの上肢に装着して使用され、直感的な操作により入力可能な装着型情報入力装置が開示されている。例えば、特許文献1の装置は、一方の手の手首に装着され、他方の手の指先が一方の手の平に接触したことや、手の平に接触した指先の位置や移動をセンサによって認識する。

特許文献2には、ユーザの体の特定部位が検出されたときに、特定の対象物に画像を投影するとともに、特定部位に情報入力用画像を投影する投影装置が開示されている。特許文献2の装置は、投影された情報入力用画像に対して行われた入力操作を深度センサによって取得する。

特許文献3には、プロジェクタから投影された映像情報に対して加えられた操作をカメラで認識する情報提示システムが開示されている。特許文献3のシステムは、情報提示媒体となるユーザの手の平に対してプロジェクタから映像データを投影する。特許文献3のシステムは、映像データの投影中に、カメラの撮像データを基に手の平の変位を検出する。そして、特許文献3のシステムは、検出された手の平の変位が予め設定した変位条件を満たすか否かを判定し、変位条件を満たすと判定された場合に検出された手の平の変位を投影中の映像データに反映させた映像データを生成する。そして、特許文献3のシステムは、投影中の映像データに代えて、生成した映像データをプロジェクタから手の平に投影させる。

概要

入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことを可能とするために、撮像装置を制御することで生成された画像データに含まれる対象の特徴に基づいて投射範囲内に進入した対象を検出し、被投射体には入力を受け付け表示情報を被投射体上に表示させる投射光を投射するように投射装置を制御するとともに、被投射体の上方領域指示体が進入したことを画像データに基づいて検出し、被投射体上に表示された表示情報と指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した指示内容を入力情報として送信するように通信装置を制御し、投射禁止体には投射光を投射しないように投射装置を制御する制御装置を備える制御装置とする。

目的

本発明の目的は、上述した課題を解決するために、入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことができる情報入力装置を提供する

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

投射範囲投射光投射する投射装置と、前記投射範囲を撮像して画像データを生成する撮像装置と、前記投射装置および前記撮像装置を制御する制御装置と、前記制御装置の制御に応じて外部と通信し合う通信装置とを備え、前記制御装置は、前記撮像装置を制御することで生成された前記画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて前記投射範囲内に進入した前記対象を検出し、前記被投射体には入力を受け付け表示情報を前記被投射体上に表示させる投射光を投射するように前記投射装置を制御するとともに、前記被投射体の上方領域指示体が進入したことを前記画像データに基づいて検出し、前記被投射体上に表示された前記表示情報と前記指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した前記指示内容を入力情報として外部に送信するように前記通信装置を制御し、前記投射禁止体には投射光を投射しないように前記投射装置を制御する、情報入力装置

請求項2

前記制御装置は、前記撮像装置に前記投射範囲を撮像させる制御をする撮像制御手段と、前記画像データから前記投射範囲に位置する前記被投射体および前記指示体を検出し、前記被投射体および前記指示体の検出状態に応じた指示信号を出力する検出手段と、前記検出手段からの前記指示信号に応じて、検出された前記被投射体上に投射座標系を設定し、前記被投射体の上方領域で検出された前記指示体に含まれる指示部の位置を示す指示座標を前記投射座標系において特定する座標設定手段と、前記座標設定手段によって設定された前記投射座標系および前記指示座標に基づいた前記表示情報を前記被投射体上に形成させるための投射光の投射条件を設定する投射条件設定手段と、前記投射条件設定手段によって設定された前記投射条件に基づいて前記投射装置を制御する投射制御手段と、前記座標設定手段によって特定された前記指示座標に基づいて指示内容を同定する指示内容同定手段と、前記検出手段からの前記指示信号に応じて前記指示内容同定手段によって同定された前記指示内容を前記通信装置に出力する出力手段とを有し、前記検出手段は、前記画像データを解析し、前記被投射体と前記指示体とを合わせた領域の面積が大きくなったことを検出した際に、前記被投射体の上方領域に前記指示体が進入したと判定する請求項1に記載の情報入力装置。

請求項3

前記検出手段は、前記画像データを解析し、前記被投射体の上方領域から前記指示体が外れた状態になった時点において、前記指示部による情報入力がなされたと判定し、前記指示部による前記指示内容を出力するように前記出力手段に指示し、前記出力手段は、前記検出手段からの指示に応じて、前記被投射体の上方領域から前記指示体が外れた状態になったことが検知された時点における前記指示内容を前記指示内容同定手段から取得し、取得した前記指示内容を前記通信装置に出力する請求項2に記載の情報入力装置。

請求項4

前記検出手段は、前記画像データを解析し、前記被投射体の上方領域において前記指示体が一定時間停止したことを検知した時点において、前記指示体による情報入力がなされたと判定し、前記指示体による前記指示内容を出力するように前記出力手段に指示し、前記出力手段は、前記検出手段からの指示に応じて、前記被投射体の上方領域において前記指示体が一定時間停止したことが検知された時点における前記指示内容を前記指示内容同定手段から取得し、取得した前記指示内容を前記通信装置に出力し、前記検出手段は、前記画像データを解析し、前記被投射体の上方領域から前記指示体が外れたことを検知した時点において、前記被投射体に投射する前記表示情報を切り替えるように前記投射制御手段に指示し、前記投射制御手段は、前記検出手段からの指示に応じて、前記被投射体の上方領域から前記指示体が外れたことが検知された時点において、前記被投射体に投射する前記表示情報を切り替えるように前記投射装置を制御する請求項2に記載の情報入力装置。

請求項5

前記検出手段は、前記画像データ中において前記被投射体を検出し、検出された前記被投射体に前記投射座標系を設定することを指示する第1の指示信号を前記座標設定手段に出力する被投射体検出手段と、前記被投射体の上方領域に前記指示体が位置する状態を検知し、前記指示体が一定時間停止したことを検知した際に前記指示体を抽出する指示を出力する進入検知手段と、前記進入検知手段の指示に応じて前記指示体を抽出し、抽出された前記指示体に含まれる前記指示部に前記指示座標を設定することを指示する第2の指示信号を前記座標設定手段に出力する指示体検出手段とを有し、前記座標設定手段は、前記撮像制御手段から前記画像データを取得し、前記第1の指示信号に応じて、前記被投射体に合わせて前記投射座標系を設定する投射座標系設定手段と、前記撮像制御手段から前記画像データを取得し、前記第2の指示信号に応じて、前記画像データを解析して前記投射座標系における前記指示部の前記指示座標を特定する指示座標特定手段とを有し、前記進入検知手段は、前記被投射体の上方領域から前記指示体が外れた状態を検知すると、前記被投射体によって選択されていた入力情報を出力することを指示する第3の指示信号を前記出力手段に出力する請求項2乃至4の何れか一項に記載の情報入力装置。

請求項6

前記座標設定手段は、前記被投射体上に前記指示体が位置する状態の複数の前記画像データ上における前記指示部による指示位置を学習させた機械学習データを記憶する位置特定情報記憶手段を有し、前記指示座標特定手段は、前記位置特定情報記憶手段に記憶された前記機械学習データを用いて、前記撮像装置によって生成された前記画像データにおける前記指示部の前記指示座標を特定し、前記指示内容同定手段は、前記指示内容が設定された位置座標のうち、特定された前記指示座標に最も近接する前記位置座標に設定された前記指示内容が選択されたものと同定する請求項5に記載の情報入力装置。

請求項7

前記投射装置は、光源と、前記制御装置の制御に応じて前記光源を駆動させる光源駆動手段と、前記光源からの出射光反射する表示部を含む位相変調型の空間光変調素子と、前記制御装置の制御に応じて前記被投射体に表示される前記表示情報を生成するためのパターンを前記空間光変調素子の表示部に表示させる変調素子駆動手段と、前記空間光変調素子で変調された変調光照射光として投射する投射光学系とを有する請求項1乃至6のいずれか一項に記載の情報入力装置。

請求項8

請求項1乃至7のいずれか一項に記載の情報入力装置と、前記通信装置に接続され、前記情報入力装置に入力される少なくとも一つの入力情報によって構成される情報を解析して認証情報としての成否を判定する認証装置とを備える認証システム

請求項9

前記認証装置は、前記被投射体に表示された前記表示情報上の特定位置と前記指示部との位置関係に基づいて判定した少なくとも一つの入力情報を解析して認証情報としての成否を判定する請求項8に記載の認証システム。

請求項10

投射範囲に投射光を投射する投射装置と、前記投射範囲を撮像して画像データを生成する撮像装置と、前記投射装置および前記撮像装置を制御する制御装置と、前記制御装置の制御に応じて外部と通信し合う通信装置とを備える情報入力装置を用いる情報入力方法であって、前記制御装置が、前記撮像装置を制御することで生成された前記画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて前記投射範囲内に進入した前記対象を検出し、前記被投射体には入力を受け付ける表示情報を前記被投射体上に表示させる投射光を投射するように前記投射装置を制御し、前記被投射体の上方領域に指示体が進入したことを前記画像データに基づいて検出し、前記被投射体上に表示された前記表示情報と前記指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した前記指示内容を入力情報として外部に送信するように前記通信装置を制御し、前記投射禁止体には投射光を投射しないように前記投射装置を制御する、情報入力方法。

技術分野

0001

本発明は、情報入力装置および情報入力方法に関する。特に、プロジェクタから投影したユーザインターフェースに対して行われた入力操作カメラ撮像することによって認識する情報入力装置および情報入力方法に関する。

背景技術

0002

近年、プロジェクタから投影したユーザインターフェース(以下、UI:User Interface)に対して直感的に情報入力できるシステム報告されている。その一例が、MIT(Massachusetts Institute of Technology)のSixthSenseやMicrosoft(登録商標)のOmniTouchである。SixthSenseやOmniTouchでは、被投射体投射されるバーチャルなUIに対して指で行われた入力操作をカメラや深度センサによって認識する。例えば、SixthSenseやOmniTouchでは、指先に付けた色マーカをカメラで追跡してUI上の入力位置を検出する。

0003

ところで、色マーカを日常的に指先に付け続けることは現実的でなく、何も装着していない指で入力操作を行うことが求められる。しかし、何も装着していない指先をカメラで追跡する場合、ほぼ同色である手の平と指とを正確に区別することは困難である。深度センサを用いれば、手の平と指とを至近距離判別することは可能であるが、少し距離が離れると判別が困難になり、実用的なインターフェースを実現することは難しい。

0004

特許文献1には、ユーザの上肢に装着して使用され、直感的な操作により入力可能な装着型情報入力装置が開示されている。例えば、特許文献1の装置は、一方の手の手首に装着され、他方の手の指先が一方の手の平に接触したことや、手の平に接触した指先の位置や移動をセンサによって認識する。

0005

特許文献2には、ユーザの体の特定部位が検出されたときに、特定の対象物に画像を投影するとともに、特定部位に情報入力用画像を投影する投影装置が開示されている。特許文献2の装置は、投影された情報入力用画像に対して行われた入力操作を深度センサによって取得する。

0006

特許文献3には、プロジェクタから投影された映像情報に対して加えられた操作をカメラで認識する情報提示システムが開示されている。特許文献3のシステムは、情報提示媒体となるユーザの手の平に対してプロジェクタから映像データを投影する。特許文献3のシステムは、映像データの投影中に、カメラの撮像データを基に手の平の変位を検出する。そして、特許文献3のシステムは、検出された手の平の変位が予め設定した変位条件を満たすか否かを判定し、変位条件を満たすと判定された場合に検出された手の平の変位を投影中の映像データに反映させた映像データを生成する。そして、特許文献3のシステムは、投影中の映像データに代えて、生成した映像データをプロジェクタから手の平に投影させる。

先行技術

0007

特開2015−121979号公報
特開2015−111772号公報
特開2009−151380号公報

発明が解決しようとする課題

0008

特許文献1の装置によれば、装置を装着することによって直感的な操作により入力可能となる。しかし、特許文献1の装置には、使用する際に上肢に装置を装着する必要があるため、入力処理が必要となる場面において装置を装着していない任意のユーザは入力処理を行うことができないという問題点があった。

0009

特許文献2の装置によれば、ユーザの体の特定部位が検出されたときに特定の対象物に画像を投影する投影部の存在を、ユーザが自然に認識できる。しかし、特許文献2の装置は、深度センサによって投射対象を検出することはできるが、投射範囲に投射禁止範囲が含まれている場合、投射禁止範囲に光を投射してしまう可能性があった。

0010

特許文献3の装置によれば、ユーザにとって直感的で分かりやすい操作が実現される。しかし、特許文献3の装置には、手の平の変位が予め設定した変位条件を満たさない場合に、映像データを手の平に投影できないという問題点があった。

0011

本発明の目的は、上述した課題を解決するために、入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことができる情報入力装置を提供することにある。

課題を解決するための手段

0012

本発明の情報入力装置は、投射範囲に投射光を投射する投射装置と、投射範囲を撮像して画像データを生成する撮像装置と、投射装置および撮像装置を制御する制御装置と、制御装置の制御に応じて外部と通信し合う通信装置とを備え、制御装置は、撮像装置を制御することで生成された画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて投射範囲内に進入した対象を検出し、被投射体には入力を受け付け表示情報を被投射体上に表示させる投射光を投射するように投射装置を制御するとともに、被投射体の上方領域指示体が進入したことを画像データに基づいて検出し、被投射体上に表示された表示情報と指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した指示内容を入力情報として外部に送信するように通信装置を制御し、投射禁止体には投射光を投射しないように投射装置を制御する。

0013

本発明の情報入力方法は、投射範囲に投射光を投射する投射装置と、投射範囲を撮像して画像データを生成する撮像装置と、投射装置および撮像装置を制御する制御装置と、制御装置の制御に応じて外部と通信し合う通信装置とを備える情報入力装置を用いる情報入力方法であって、制御装置が、撮像装置を制御することで生成された画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて投射範囲内に進入した対象を検出し、被投射体には入力を受け付ける表示情報を被投射体上に表示させる投射光を投射するように投射装置を制御し、被投射体の上方領域に指示体が進入したことを画像データに基づいて検出し、被投射体上に表示された表示情報と指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した指示内容を入力情報として外部に送信するように通信装置を制御し、投射禁止体には投射光を投射しないように投射装置を制御する。

発明の効果

0014

本発明によれば、入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことができる情報入力装置を提供することが可能になる。

図面の簡単な説明

0015

本発明の第1の実施形態に係る情報入力装置の構成を示すブロック図である。
本発明の第1の実施形態に係る情報入力装置の使用例を示す概念図である。
本発明の第1の実施形態に係る情報入力装置が備える制御装置の構成を示すブロック図である。
本発明の第1の実施形態に係る情報入力装置が備える制御装置の検出手段の構成を示すブロック図である。
本発明の第1の実施形態に係る情報入力装置によって被投射体の上方領域に指示体が位置する状態を検知する一例を示す概念図である。
本発明の第1の実施形態に係る情報入力装置によって被投射体の上方領域に指示体が位置する状態を検知する一例を示す概念図である。
本発明の第1の実施形態に係る情報入力装置によって被投射体上に位置する指示体に含まれる指示部を検知する一例を示す概念図である。
本発明の第1の実施形態に係る情報入力装置が備える制御装置の座標設定手段の構成を示すブロック図である。
本発明の第1の実施形態に係る情報入力装置によって被投射体上に設定される座標の一例を示す概念図である。
本発明の第1の実施形態に係る情報入力装置によって表示されたユーザインターフェースを用いた情報入力方法の一例を示す概念図である。
本発明の第1の実施形態に係る情報入力装置の動作を示すフローチャートである。
本発明の第1の実施形態に係る情報入力装置の投射条件設定処理を示すフローチャートである。
本発明の第1の実施形態に係る情報入力装置の指示位置特定処理を示すフローチャートである。
本発明の第1の実施形態に係る情報入力装置が備える撮像装置の構成を示す概念図である。
本発明の第1の実施形態に係る情報入力装置が備える投射装置の構成を示す概念図である。
本発明の第1の実施形態に係る情報入力装置が備える投射装置の光学系の構成を示す概念図である。
本発明の第1の実施形態に係る情報入力装置を装着する一例を示す概念図である。
本発明の第1の実施形態に係る情報入力装置によって表示されたユーザインターフェースを用いた情報入力方法の一例を示す概念図である。
本発明の第1の実施形態に係る情報入力装置によって表示されたユーザインターフェースを用いた情報入力方法の一例を示す概念図である。
本発明の第2の実施形態に係る情報入力装置によって表示されたユーザインターフェースを用いた情報入力方法の一例を示す概念図である。
本発明の第2の実施形態において被投射体上に位置する指示体の指示部を検出する一例を示す概念図である。
本発明の第2の実施形態に係る情報入力装置の指示位置特定処理を示すフローチャートである。
本発明の第2の実施形態に係る情報入力方法の一例を示す概念図である。
本発明の第2の実施形態に係る情報入力方法の一例を示す概念図である。
本発明の第3の実施形態に係る情報入力装置の座標設定手段の構成を示すブロック図である。
本発明の第3の実施形態に係る情報入力装置の指示位置特定処理を示すフローチャートである。
本発明の第3の実施形態に係る情報入力装置の指示位置特定処理の別の一例を示すフローチャートである。
本発明の第4の実施形態に係る認証システムの構成を示すブロック図である。
本発明の第4の実施形態に係る認証システムの認証装置の構成を示すブロック図である。
本発明の第4の実施形態に係る認証システムの適用例を示す概念図である。
本発明の第4の実施形態に係る情報入力装置の設置例を示す概念図である。
本発明の第4の実施形態に係る情報入力装置の適用例を示す概念図である。
本発明の第4の実施形態に係る情報入力装置の適用例を示す概念図である。
本発明の第4の実施形態に係る情報入力装置の適用例を示す概念図である。
本発明の各実施形態に係る制御装置を実現するハードウェアの一例を示す概念図である。

実施例

0016

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、以下の実施形態において、図面中ブロック間における矢印の向きは、信号の流れの一例を端的に示したものであり、信号の流れの方向を限定するものではない。

0017

(第1の実施形態)
〔構成〕
図1は、本実施形態に係る情報入力装置1の構成を示すブロック図である。情報入力装置1は、撮像装置10、投射装置20、制御装置30および通信装置40を備える。

0018

撮像装置10は、撮像機能を有するカメラである。投射装置20は、投射機能を有するプロジェクタである。制御装置30は、撮像装置10および投射装置20を制御する装置である。通信装置40は、有線通信無線通信によって、入力情報を外部に出力する通信機能を有する。

0019

図2は、本実施形態の情報入力装置1の典型的な利用シーンを示す概念図である。例えば、本実施形態の情報入力装置1は、セキュリティレベルの高い場所の入り口などにおいてパスワードなどの認証情報を入力するために使用される。図2は、認証対象者(以下、対象者)の上方に情報入力装置1を設置し、対象者の手の平(被投射体ともよぶ)にユーザインターフェース(以下、UI:User Interface)を表示させる例である。

0020

図2のように、情報入力装置1から投射される投射光の投射範囲は、情報入力装置1の投射部分を頂点とする略四角錐の内部の三次元空間である。そして、投射範囲に位置する物体の表面のうち、投射光が当たる面が被投射面となる。

0021

情報入力装置1は、対象者の手の平を含む範囲を撮像し、投射範囲内の被投射面を含む範囲の画像データを生成する。情報入力装置1は、生成した画像データを解析して手の平の位置を特定し、その手の平にUIを表示させるために投射光を投射する。情報入力装置1は、所定のタイミングで投射範囲内を検証したり、別のシステムから対象者が投射範囲内に入ったことをしめす通知を受けたりして、投射範囲内に対象者の手の平を検出できる。

0022

情報入力装置1は、認証対象者の手の平に表示されたUIに対して指(指示体ともよぶ)で行われた指示内容を特定し、特定した指示内容に対応する表示情報を手の平に表示させるための投射光を投射する。

0023

情報入力装置1は、認証対象者による入力操作を検知すると、指で選択されていた表示情報を入力情報として外部の認証システム等のシステムに出力する。

0024

〔制御装置〕
次に、情報入力装置1が備える制御装置30の詳細構成について図面を参照しながら説明する。

0025

図3は、制御装置30の構成を示すブロック図である。図3のように、制御装置30は、撮像制御手段31、投射制御手段32、検出手段33、座標設定手段34、投射条件設定手段35、投射条件記憶手段36、指示内容同定手段37、指示内容記憶手段38および出力手段39を有する。なお、図3において、ブロック間を接続する線が交差するところは、互いに接続されていない。

0026

撮像制御手段31は、撮像装置10を制御して投射範囲を撮像させ、投射範囲の画像データを取得する。撮像制御手段31は、取得した画像データを検出手段33に出力する。

0027

投射制御手段32は、投射条件設定手段35が設定した投射条件に応じて、投射範囲内に位置する被投射体に投射光を投射するように投射装置20を制御する。投射条件とは、取得したパターンを適切なタイミングで被投射体に投射するための制御条件である。

0028

検出手段33は、撮像制御手段31から投射範囲の画像データを取得し、取得した画像データから投射範囲における被投射体や指示体を検出する。検出手段33は、被投射体や指示体の検出状況に応じた種々の指示信号を座標設定手段34や出力手段39に出力する。

0029

検出手段33は、投射範囲内を撮像した画像データから被投射体を検出する。検出手段33は、画像データに被投射体を検出した場合、被投射体に合わせた座標系投射座標系)を設定することを指示する指示信号(投射座標系設定指示信号:第1の指示信号とも呼ぶ)を座標設定手段34に出力する。

0030

検出手段33は、被投射体の上方領域に指示体が位置する状態を検知する。検出手段33は、指示体の一部である指示部を抽出する。検出手段33は、抽出した指示部に座標を設定することを指示する信号(指示座標設定信号:第2の指示信号)を座標設定手段34に出力する。

0031

そして、検出手段33は、被投射体と指示体とが離れたことを検知すると、その時点において被投射体によって選択されていた入力情報を出力することを指示する入力情報出力指示信号(第3の指示信号)を出力手段39に出力する。

0032

すなわち、検出手段33は、画像データから投射範囲に位置する被投射体および指示体を検出し、被投射体および指示体の検出状態に応じた指示信号を出力する。

0033

座標設定手段34は、撮像制御手段31から画像データを取得し、検出手段33からの指示信号に応じて、画像データ内における被投射体や指示部に関する座標情報を設定する。座標設定手段34は、設定した座標情報を投射条件設定手段35または指示内容同定手段37に出力する。

0034

座標設定手段34は、投射座標系設定指示信号(第1の指示信号)を受信すると、被投射体に合わせて投射座標系を設定する。座標設定手段34は、設定した投射座標系データを投射条件設定手段35に出力する。

0035

また、座標設定手段34は、指示座標設定信号(第2の指示信号)を受信すると、投射座標系における指示部の位置座標(指示座標)を設定する。座標設定手段34は、指示座標データを指示内容同定手段37に出力する。

0036

投射条件設定手段35は、座標設定手段34または指示内容同定手段37から取得した情報に基づいて、投射装置20に投射条件を設定する。

0037

投射条件設定手段35は、座標設定手段34から投射座標系データを取得すると、取得した投射座標系データに合わせたUIなどの表示情報を被投射体上に表示させるための投射条件を投射装置20に設定する。投射条件設定手段35は、投射条件記憶手段36に記憶された投射条件を取得し、取得した投射条件を投射制御手段32に出力する。

0038

投射条件設定手段35は、被投射体に表示させる表示情報に対応するパターンを投射条件記憶手段36から取得する。例えば、投射装置20が位相変調型素子を用いる場合、表示情報に対応するパターンは位相分布である。

0039

投射条件設定手段35は、投射条件を生成し、生成した投射条件を投射制御手段32に出力する。投射条件は、後述の光源制御条件および画像制御条件を含む。

0040

投射条件設定手段35は、どのようなタイミングでどの程度の出力の光を投射装置20から出射させるかという光源制御条件を生成する。光源制御条件は、投射装置20に含まれる光源が光を出射するタイミングを制御するための条件であり、表示情報を表示させるタイミングを制御する条件に相当する。投射条件設定手段35は、生成した光源制御条件を投射制御手段32に出力する。

0041

また、投射条件設定手段35は、どのようなタイミングでどの表示情報を被投射体上に表示させるかという画像制御条件を生成する。画像制御条件は、投射装置20に含まれる画像生成素子(図示しない)を制御する条件に相当する。投射条件設定手段35は、生成した画像制御条件を投射制御手段32に出力する。

0042

例えば、投射装置20が位相変調型素子を含む場合、投射条件設定手段35は、どのようなタイミングでどのパターンを空間光変調素子の表示部に表示させるかという変調素子制御条件を画像制御条件として生成する。変調素子制御条件は、表示情報に対応するパターンを空間光変調素子の表示部に適切なタイミングで表示させるための条件である。空間光変調素子の表示部に表示情報に対応するパターンを表示させるタイミングは、光源制御条件に含まれる光源の駆動タイミングと同期される。

0043

投射条件記憶手段36は、投射制御手段32によって投射装置20を制御するための投射条件(光源制御条件および画像制御条件)を記憶する。

0044

投射条件記憶手段36は、UIや数字文字記号等の表示情報を被投射体上に適切なタイミングで表示させるための光源制御条件を記憶する。また、投射条件記憶手段36は、UIや数字、文字、記号等の表示情報を被投射体上に表示させるための画像制御条件を記憶する。例えば、投射装置20が位相変調型素子を用いる場合、投射条件記憶手段36は、表示情報に対応する位相分布を記憶する。

0045

指示内容同定手段37は、座標設定手段34から指示部の位置座標(指示座標)を取得する。指示内容同定手段37は、投射座標系の位置座標に関連付けられた項目を指示内容記憶手段38から取得する。指示内容同定手段37は、投射座標系の位置座標に関連付けられた項目と、指示座標とを対応させてUIにおける指示内容を同定する。すなわち、指示内容同定手段37は、指示内容が設定された位置座標のうち、特定した指示座標に最も近接する位置座標に設定された指示内容が選択されたものと同定する。

0046

指示内容同定手段37は、同定した指示内容を被投射体に形成させる投射条件を設定する指示を投射条件設定手段35に出す。

0047

指示内容記憶手段38は、投射座標系の位置座標に関連付けられた項目をまとめたテーブルやリストを記憶する。すなわち、指示内容記憶手段38は、被投射体上の少なくとも一つの位置座標に指示内容が関連付けられた情報を記憶する。

0048

出力手段39は、検出手段33から入力情報出力指示信号(第3の指示信号)を受信すると、その時点における指示内容を指示内容同定手段37から取得する。出力手段39は、取得した指示内容を入力情報として通信装置40に出力する。

0049

すなわち、制御装置30は、撮像装置10を制御することで生成された画像データに含まれる対象(被投射体および投射禁止体)の特徴に基づいて、投射範囲内に進入した対象を検出する。なお、対象とは、光を投射する対象である被投射体と、光を投射してはいけない投射禁止体とを含む。また、対象の特徴とは、対象の形状や色などである。例えば、制御装置30は、被投射体が手の平である場合、形状や色などの特徴に基づいて、被投射体である手の平を検出する。また、制御装置30は、投射禁止体が顔である場合、形状や色などの特徴に基づいて、投射禁止体である顔を検出する。そのため、本実施形態によれば、投射光を投射してはならない対象である投射禁止体に投光することを防止できる。

0050

制御装置30は、投射禁止体を検出すると、投射禁止体には光が投射されないように投射装置20を制御する。制御装置30は、被投射体を検出すると、入力を受け付ける表示情報を表示させる投射光を被投射体に投射するように投射装置20を制御する。また、制御装置30は、被投射体および投射禁止体を投射範囲に検出すると、投射禁止体には光が投射されず、被投射体に投射光を投射するように投射装置20を制御する。なお、制御装置30は、投射範囲に投射禁止体が検出された場合、被投射体の有無に関わらずに投射を止めるように投射装置20を制御してもよい。

0051

そして、制御装置30は、被投射体の上方領域に指示体が進入したことを画像データに基づいて検出する。制御装置30は、被投射体に表示された表示情報と指示体に含まれる指示部との位置関係に基づいて判定した入力情報を外部に送信するように通信装置40を制御する。

0052

ここで、制御装置30に含まれる検出手段33および座標設定手段34の内部構成について図面を参照しながら説明する。

0053

〔検出手段〕
図4は、制御装置30に含まれる検出手段33の内部構成を含むブロック図である。検出手段33は、被投射体検出手段331、進入検知手段332、指示体検出手段333を有する。

0054

被投射体検出手段331は、形状や色などの特徴を用いて画像データ上の被投射体を検出する。被投射体検出手段331は、投射範囲を撮像した画像データ中に被投射体を検出した場合、被投射体に座標系を設定することを指示する投射座標系設定指示信号(第1の指示信号)を座標設定手段34に出力する。例えば、被投射体検出手段331は、投射範囲内に位置する被投射体を形状や色で検出する。

0055

また、被投射体検出手段331は、形状や色などの特徴を用いて画像データ上の投射禁止体を検出する。被投射体検出手段331は、投射禁止体を検出すると、投射禁止体には投射座標系を設定しない指示を含む第1の指示信号を座標設定手段34に出力する。

0056

進入検知手段332は、被投射体と指示体との位置関係を検知する。具体的には、進入検知手段332は、被投射体の上方に指示体が進入して被投射体の上方領域に指示体が位置する状態になったことと、被投射体の上方領域に指示体が位置しない状態になったことを検知する。

0057

進入検知手段332は、被投射体の上方に指示体が進入し、被投射体の上方領域に指示体が位置する状態になったことを検知する。本実施形態においては、被投射体の上方領域に指示体が位置する状態になった時点を、指示体による入力が開始された時点とみなす。例えば、進入検知手段332は、被投射体として検出している対象物の面積が急激に増大したり、形状が急激に変化したりした場合に、被投射体の上方領域に指示体が位置する状態になったと検知する。進入検知手段332は、被投射体の上方領域に指示体が位置する状態になったこと検知すると、指示体を抽出する指示を指示体検出手段333に出す。また、本実施形態においては、被投射体上に指示体が接触して位置する状態を、被投射体の上方領域に指示体が位置する状態に含む。以下において、被投射体に表示された表示情報に指示体が重ならない場合は、被投射体の上方領域に指示体が位置する状態においては、被投射体と指示体とが接触しているとみなすこともある。

0058

指示体検出手段333は、進入検知手段332の指示に応じて、指示体を抽出する。指示体検出手段333は、抽出した指示体に含まれる指示部に座標を設定することを指示する指示座標設定信号(第2の指示信号)を座標設定手段34に出力する。

0059

また、進入検知手段332は、被投射体の上方から指示体が外れたことを検知すると、その時点において被投射体によって選択されていた入力情報を出力することを指示する入力情報出力指示信号(第3の指示信号)を出力手段39に出力する。本実施形態においては、被投射体の上方領域に指示体が位置しない状態になった時点で、被投射体と指示体とが離れたものとみなす。例えば、進入検知手段332は、被投射体と指示体とが接触している状態から、面積が急激に減少したり、形状が急激に変化したり、対象の数が増えたりした場合に、被投射体の上方領域に指示体が位置しない状態になったと検知する。

0060

図5および図6は、進入検知手段332が被投射体である手の平の上方領域に指示体である指が位置することを検知する一例を示す概念図である。

0061

図5は、情報入力が可能となったことを示す投射光が手の平に投射された状態(状態1)と、情報入力が可能となった手の平の上方領域に指が位置する状態(状態2)の画像の概念図である。図6は、図5の画像を二値化し、手の部分を白く示し、その他の部分を黒く示した図である。例えば、進入検知手段332は、人体部分の肌色を検出し、その肌色部分を白くし、その他の部分を黒くすることによって図6のようなデータを得る。

0062

図6の状態1と状態2とを比較すると、状態2では白い部分の面積が増大している。そのため、状態1でモニターしていた白い部分の面積が急激に増大したことから、手の平の上方領域に指が位置することを検出できる。反対に、白い部分の面積が減少したことから、手の平と指とが離れたことを検出できる。なお、図6においては面積の増減によって被投射体と指示体との位置関係を検知する例を挙げたが、白い部分の形状や数の変化を検知することによって被投射体と指示体との位置関係を検出してもよい。

0063

指示体検出手段333は、進入検知手段332の指示に応じて、指示体に含まれる指示部に座標を設定することを指示する指示座標設定信号(第2の指示信号)を座標設定手段34に出力する。例えば、指が指示体である場合、検出手段33は、指先や爪などを抽出する。実際にUIに入力を加える部分は指先の腹周辺である。検出手段33は、抽出された指先や爪などから推定される指の腹に相当する位置(指示部)の座標を設定するために、指示座標設定信号(第2の指示信号)を座標設定手段34に出力する。例えば、検出した爪を含む円の領域を設定し、その円の中心を指示部の位置であるとみなせる。

0064

図7は、手の平の上方領域に指が位置する状態を検出する一例を示す概念図である。図7は、手の平の上方領域に指が位置する状態で撮像された画像データ(画像1)と、その画像データ(画像1)にエッジ検出処理を加えたデータ(画像2)との概念図を示す。指先を含む画像データにエッジ検出処理を加えると、爪の部分のエッジ密度が増大する。そのため、他の部分よりもエッジ密度が大きい箇所を爪として検出すれば、その爪の位置から指先の腹の位置(指示部)を推定できる。なお、エッジ検出以外の方法で指示部の位置を特定してもよい。例えば、指先の形状や、指のしわなどを目安として指先を検出してもよい。

0065

〔座標設定手段〕
図8は、制御装置30に含まれる座標設定手段34の内部構成を含むブロック図である。座標設定手段34は、投射座標系設定手段341と、指示座標特定手段342とを有する。

0066

投射座標系設定手段341は、撮像制御手段31から画像データを取得し、検出手段33から投射座標系設定指示信号(第1の指示信号)を受信すると、被投射体に合わせて座標系(投射座標系)を設定する。また、投射座標系設定手段341は、投射禁止体には投射座標系を設定しない指示が第1の指示信号に含まれている場合、投射禁止体には光が投射されないように投射座標系を設定する。投射座標系設定手段341は、被投射体に設定した投射座標系データを投射条件設定手段35に出力する。

0067

指示座標特定手段342は、撮像制御手段31から画像データを取得する。指示座標特定手段342は、指示座標設定信号(第2の指示信号)を受信すると、画像データを解析し、被投射体に設定される投射座標系における指示部の位置座標(指示座標)を特定する。例えば、指が指示体である場合、座標設定手段34は、指先や爪などから推定される指先の腹に相当する位置(指示部)の座標を特定する。指示座標特定手段342は、特定した指示座標データを指示内容同定手段37に出力する。

0068

図9は、手の平を被投射体とした場合に設定される投射座標系の一例である。図9の例では、手の平のいずれかの箇所を基準として2次元座標系を設定する。なお、投射座標系は、手の平に合わせて設定されるが、設定された後は投射範囲を撮像した画像に固定される。

0069

例えば、投射座標系設定手段341は、手の小指側にx座標を設定し、そのx座標上の一点から親指方向に向けてy座標を設定する。そして、投射座標系設定手段341は、x軸上に指示座標(x0〜x10)を設定する。投射座標系設定手段341は、設定した投射座標系データを投射条件設定手段35に出力する。

0070

(動作)
次に、本実施形態に係る情報入力装置1の動作について図面を参照しながら説明する。まず、本実施形態の情報入力装置1の典型的な動作例について概念図を用いて説明する。図10は、本実施形態における情報入力方法の一例を示す概念図である。図10は、以下の入力手順を示す。

0071

(1)情報入力装置1は、被投射体(手の平)を検出し、検出された被投射体に入力準備ができたことを示す光を投射する。

0072

(2)情報入力装置1は、被投射体の上方領域に指示体(指)が位置する状態を検出し、指示体に含まれる指示部の指示座標に合わせた画像を形成する投射光を被投射体に投射する。

0073

(3)情報入力装置1は、被投射体上の指示部の位置が変化したことを検出し、指示部の位置に合わせた画像を形成する投射光を被投射体に投射する。

0074

(4)情報入力装置1は、被投射体の上方領域から指示体が外れた状態を検出し、指示部によって選択されていた情報を入力情報として出力する。

0075

次に、本実施形態の情報入力装置の動作についてフローチャートを用いて説明する。図11図13は、本実施形態の情報入力装置1の動作を示すフローチャートである。

0076

図11は、情報入力装置1の全体的な動作を示すフローチャートである。図11に関しては、情報入力装置1を動作主体として説明する。

0077

図11において、まず、情報入力装置1は、投射範囲内に位置する被投射体を検出する(ステップS11)。

0078

情報入力装置1は、被投射体に投射光を投射するための投射条件を設定する投射条件設定処理を実行する(ステップS12)。投射条件設定処理については、図12を用いて後ほど説明する。

0079

情報入力装置1は、情報入力が可能となったことを示す表示情報を被投射体上に形成する投射光を投射する(ステップS13)。

0080

情報入力装置1は、被投射体の上方領域に指示体が位置する状態を検出する(ステップS14)。

0081

ここで、情報入力装置1は、指示位置特定処理を実行する(ステップS15)。指示位置特定処理については、図13を用いて後ほど説明する。

0082

情報入力装置1は、指示体に含まれる指示部による指示位置に応じた表示情報を被投射体上に形成する投射光を投射する(ステップS16)。

0083

ここで、情報入力装置1は、被投射体と指示体が離れたか否かを判定する(ステップS17)。被投射体と指示体が離れていない場合(ステップS17でNo)、ステップS15に戻る。一方、被投射体と指示体が離れた場合(ステップS17でYes)、情報入力装置1は、指示体が離れるときの指示位置に対応する指示情報が入力されたものと判定する(ステップS18)。

0084

そして、情報入力装置1は、入力されたものと判定した指示情報を入力情報として出力する(ステップS19)。

0085

以上が、情報入力装置1の全体的な動作に関する説明である。

0086

〔投射条件設定処理〕
図12は、情報入力装置の投射条件設定処理に関する動作を示すフローチャートである。図12に関しては、情報入力装置1の構成要素を動作主体として説明する。

0087

図12において、まず、検出手段33は、投射範囲内において被投射体の形状や位置を検出する(ステップS121)。

0088

座標設定手段34は、検出された被投射体に合わせて投射座標系を設定する(ステップS122)。

0089

投射条件設定手段35は、被投射体上に設定される表示範囲に表示情報が形成される投射条件を投射制御手段32に出力する(ステップS123)。

0090

以上が、情報入力装置1の投射条件設定処理に関する説明である。

0091

〔指示位置特定処理〕
図13は、情報入力装置1の指示位置特定処理に関する動作を示すフローチャートである。図13に関しては、情報入力装置1の構成要素を動作主体として説明する。

0092

図13において、まず、検出手段33は、指示体を抽出する(ステップS151)。

0093

座標設定手段34は、指示部の位置座標(指示座標)を特定する(ステップS152)。

0094

投射条件設定手段35は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段32に出力する(ステップS153)。

0095

以上が、情報入力装置1の指示位置特定処理に関する説明である。

0096

〔撮像装置〕
次に、情報入力装置1の撮像装置10について図面を参照しながら説明する。図14は、撮像装置10の構成を示すブロック図である。撮像装置10は、撮像素子11、画像処理プロセッサ13、内部メモリ15およびデータ出力回路17を有する。撮像装置は、一般的なデジタルカメラの機能を含む。

0097

撮像素子11は、所定の撮像領域を撮像し、その撮像領域の撮像データを取得するための素子である。本実施形態においては、被投射体を含む範囲が撮像領域に設定される。

0098

撮像素子11は、半導体部品集積回路化された光電変換素子である。撮像素子11は、例えば、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)などの固体撮像素子によって実現できる。通常、撮像素子11は、可視領域の光を撮像する素子によって構成するが、赤外線紫外線X線ガンマ線電波マイクロ波などの電磁波を撮像・検波できる素子によって構成してもよい。

0099

画像処理プロセッサ13は、撮像素子11によって撮像された撮像データに対して、暗電流補正補間演算色空間変換ガンマ補正収差の補正、ノイズリダクション画像圧縮などの画像処理を実行して画像データに変換する集積回路である。なお、画像情報を加工せずに出力する場合は、画像処理プロセッサ13を省略してもよい。

0100

内部メモリ15は、画像処理プロセッサ13によって画像処理を行う際に処理しきれない画像情報や、処理済みの画像情報を一時的に格納する記憶素子である。なお、撮像素子11によって撮像された画像情報を内部メモリ15に一時的に記憶するように構成してもよい。内部メモリ15は、一般的なメモリによって構成すればよい。

0101

データ出力回路17は、画像処理プロセッサ13によって処理された画像データを制御装置30に出力する。

0102

〔投射装置〕
次に、投射装置20について図面を参照しながら説明する。図15は、情報入力装置1の投射装置20の構成を示すブロック図である。また、図16は、情報入力装置1に含まれる光学系の構成例を示す概念図である。

0103

図15のように、投射装置20は、光源21と、光源駆動電源22と、空間光変調素子23と、変調素子駆動手段24と、投射光学系25とを備える。なお、図15は概念的なものであり、各構成要素間の位置関係や、光の照射方向などを正確に表したものではない。

0104

光源21は、特定波長の光110を出射する。例えば、レーザ光源を光源21として用いることができる。光源21から出射される光110は、位相がそろったコヒーレントな光であることが好ましい。通常、光源21は、可視領域の光を出射するように構成する。なお、光源21は、赤外領域や紫外領域などの可視領域以外の光を出射するように構成してもよい。また、光源21は、発光ダイオード白熱電球放電管などのレーザ光源以外で構成してもよい。

0105

図16のように、光源21が出射した光110は、コリメータ210によってコヒーレントな光110となり、空間光変調素子23の表示部に入射される。例えば、複数の波長の光を出射するように光源21を構成すれば、光源21から出射する光の波長を変えることによって、表示情報の色を変更することができる。また、異なる波長の光を同時に出射するように光源21を構成すれば、複数の色によって構成される表示情報を表示させることができる。

0106

光源駆動電源22(光源駆動手段ともよぶ)は、制御装置30の制御に応じて光源21を駆動させて、光源21から光を出射させるための電源である。

0107

空間光変調素子23は、変調素子駆動手段24の制御に応じて、各表示領域に表示される表示情報を生成するためのパターンを自身の表示部に表示する。本実施形態においては、空間光変調素子23の表示部に所定のパターンが表示された状態で、その表示部に光110を照射する。空間光変調素子23は、入射される光110の反射光変調光130)を投射光学系25に向けて出射する。

0108

図16のように、本実施形態においては、空間光変調素子23の表示部に対して光110の入射角を非垂直にする。すなわち、本実施形態においては、光源21からの光110の出射軸を空間光変調素子23の表示部に対して斜めにする。空間光変調素子23の表示部に対して光110の出射軸を斜めに設定すれば、ビームスプリッタを用いなくても空間光変調素子23の表示部に光110を入射できるため、効率を向上させることができる。

0109

空間光変調素子23は、位相がそろったコヒーレントな光110の入射を受け、入射された光110の位相を変調する位相変調型の空間光変調素子によって実現できる。位相変調型の空間光変調素子23を用いた投射光学系からの出射光は、フォーカスフリーであるため、複数の投射距離に設定される表示領域に光を投射することになっても投射距離ごとに焦点を変える必要がない。なお、空間光変調素子23は、各表示領域に表示情報を表示できるのであれば位相変調型とは異なる方式の素子であってもよいが、フォーカスフリーを実現するためには位相変調型の素子である方が好ましい。

0110

位相変調型の空間光変調素子23の表示部には、各表示領域に表示させる表示情報の位相分布が表示される。この場合、空間光変調素子23の表示領域で反射された変調光130は、一種回折格子集合体を形成したような画像になり、回折格子で回折された光が集まるように表示情報が形成される。

0111

空間光変調素子23は、例えば、強誘電性液晶ホモジーニア液晶垂直配向液晶などを用いた空間光変調素子によって実現される。空間光変調素子23は、具体的には、LCOS(Liquid Crystal on Silicon)によって実現できる。また、空間光変調素子23は、例えば、MEMS(Micro Electro Mechanical System)によって実現してもよい。

0112

位相変調型の空間光変調素子23では、投射光を投射する表示領域を順次切り替えるように動作させることによってエネルギーを表示情報の部分に集中することができる。そのため、位相変調型の空間光変調素子23を用いれば、光源の出力が同じであれば、その他の方式のものよりも表示情報を明るく表示させることができる。

0113

変調素子駆動手段24は、制御装置30の制御に応じて、各表示領域に表示される表示情報を生成するためのパターンを空間光変調素子23の表示部に表示させる。変調素子駆動手段24は、空間光変調素子23の表示部に照射される光110の位相と、表示部で反射される変調光130の位相との差分を決定づけるパラメータが変化するように空間光変調素子23を駆動する。

0114

位相変調型の空間光変調素子23の表示部に照射される光110の位相と、表示部で反射される変調光130の位相との差分を決定づけるパラメータは、例えば、屈折率光路長などの光学的特性に関するパラメータである。例えば、変調素子駆動手段24は、空間光変調素子23の表示部に印加する電圧を変化させることによって、表示部の屈折率を変化させる。その結果、表示部に照射された光110は、表示部の屈折率に基づいて適宜回折される。すなわち、位相変調型の空間光変調素子23に照射された光110の位相分布は、表示部の光学的特性に応じて変調される。なお、変調素子駆動手段24による空間光変調素子23の駆動方法はここで挙げた限りではない。

0115

投射光学系25は、空間光変調素子23で変調された変調光130を照射光150として投射する。図16のように、投射光学系25は、フーリエ変換レンズ251、アパーチャ252および投射レンズ253を有する。空間光変調素子23で変調された変調光130は、投射光学系25によって照射光150として照射される。なお、各表示領域に表示情報を表示させることができれば、投射光学系25の構成要素のうちいずれかを省略して構成してもよい。

0116

フーリエ変換レンズ251は、空間光変調素子23の表示部で反射された変調光130を無限遠に投射した際に形成される像を、近傍の焦点に結像させるための光学レンズである。図16では、アパーチャ252の位置に焦点が形成されている。

0117

アパーチャ252は、フーリエ変換レンズ251によって集束された光に含まれる高次光を遮蔽し、表示領域を特定する機能を有する。アパーチャ252の開口部は、アパーチャ252の位置における表示領域の最外周よりも小さく開口され、アパーチャ252の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ252の開口部は、矩形状や円形状に形成される。アパーチャ252は、フーリエ変換レンズ251の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば焦点位置からずれていても構わない。

0118

投射レンズ253は、フーリエ変換レンズ251によって集束された光を拡大して投射する光学レンズである。投射レンズ253は、空間光変調素子23に入力された位相分布に対応する表示情報が各表示領域に表示されるように照射光150を投射する。

0119

単純な記号などの線画を投射する用途に情報入力装置1を用いる場合、投射光学系25から投射された照射光150は、各表示領域に均一に投射されるのではなく、表示情報を構成する文字や記号、枠などの部分に集中的に投射される。そのような場合、情報入力装置1によれば、光110の出射量を実質的に減らせるため、全体的な光出力を抑えることができる。すなわち、情報入力装置1は、小型かつ低電力な光源21で構成できるため、その光源21を駆動する光源駆動電源22を低出力にでき、全体的な消費電力を低減できる。

0120

上述のように、本実施形態の情報入力装置1は、全体的な消費電力を低減できるため、装置全体を小型化できる。図17は、本実施形態の情報入力装置1を携帯型に構成する例である。図17のように、情報入力装置1をなどに装着するウェアラブル型に構成すれば、どのような場面においても情報入力が可能となる。

0121

以上のように、本実施形態においては、表示情報が投影される被投射体(手の平)と、情報を指示する指示体(指)との位置関係から選択された情報を判定し、指示体が被投射体から離れることによって、選択された情報が入力されたことを判定する。一般に、手の平に表示されたボタンを指で押すような動作では、押したことを判定するために、手の平における指の位置と、手の平と指との距離とを知ることが必要であり、色の判定や距離の判定が非常に困難であった。本実施形態の手法によれば、手の平における指の位置と、手の平と指との距離とを容易に知ることができる。そのため、本実施形態によれば、色にも距離にも無関係に情報の選択と入力が可能となり、撮像装置と手との位置が離れていてもロバストな入力が可能となる。

0122

本実施形態の入力方法の特徴は、以下のようにまとめられる。

0123

(1)両手の接触をスイッチとする。

0124

一般に、手を認識する場合は、深度センサを用いるが、深度センサを用いない場合は色を用いる。しかし、UIを表示させる被投射体として手の平を使う場合、指示体である指と手の平とが同じ色なので指示位置を特定することが難しい。

0125

本実施形態では、手の平と指とが同じ色であることを利用して、手の平と指とが接触したり離れたりした際に、手の平と指とを合わせた領域の面積や形状が大幅に変化することをスイッチングの判定に用いる。

0126

(2)ポインティングする方の指の位置や数を認識して選択肢を選ぶ。

0127

本実施形態では、情報を入力する者がどのような認識を行っているかを知っているという前提で、被投射体である手の平の画像を解析することにより、指示体である指の位置や数の認識を容易に行える。

0128

(3)指の停止時間で選択したことを認識する。

0129

本実施形態では、両手が接触した状態で、全体が停止した時点における指の位置を解析し、選択された情報を決定する。

0130

また、本実施形態においては、投射範囲に投射禁止体が検出された場合、投射禁止体には光が当たらないように制御する。そのため、本実施形態によれば、入力情報を入力するユーザの顔などに光が投射されることがないので安全である。

0131

以上のように、本実施形態に係る情報入力装置によれば、入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことができる。

0132

本実施形態においては、画像データに基づいて、投射範囲に進入した被投射体を検出し、被投射体の上方領域に進入した指示体を検出する。そのため、本実施形態によれば、深度センサなどを用いない簡易な構成で、被投射体に投影された表示情報に対する指示体の位置を検出でき、ユーザが直感的な入力処理を行うことができるUIを実現できる。

0133

〔適用例〕
ここで、本実施形態の情報入力装置1の適用例についていくつか例を挙げて説明する。図18図19は、本実施形態の情報入力装置1に係る適用例の一例を示す概念図である。なお、図18図19の例は一例であって、本実施形態の範囲を限定するものではない。

0134

図18は、手の平に表示された情報を指で選択する例である。

0135

まず、情報入力装置1は、検出された手の平に選択項目(A、B、C)を表示させる(1)。情報入力装置1は、手の平と指との接触を検知すると、指の位置に対応する項目を円で囲って表示させる(2)。情報入力装置1は、指の移動に合わせて、円で囲われる項目を変更する(3)。情報入力装置1は、手の平と指とが離れると、その時点において選択されていた項目を入力情報として出力する(4)。

0136

図19は、手の平と接触する指の本数に意味を持たせる例である。

0137

例えば、入力項目が何ページにわたる場合、ページ内の検索と、ページを跨る検索とが必要となる。

0138

一本の指で接触している場合、ページ内でスクロールさせるように動作する(1)。二本の指で接触している場合、ページをめくるように動作する(2)。三本の指で接触した場合、直前に入力した情報をキャンセルすることを示す(3)。また、四本の指で接触した場合、直前にキャンセルした内容を再度入力しなおすことを示す(4)。

0139

図19の例では、指の本数に意味を持たせたが、例えば親指で手の平に触りつつ、別の指を手の平に触れさせたり離したりする動作に意味を持たせてもよい。

0140

(第2の実施形態)
次に、本発明の第2の実施形態に係る情報入力装置について図面を参照しながら説明する。本実施形態においては、被投射体に投影される表示情報と指示体とが重なった場合に指示体を検出しやすくする方法を示す。

0141

図20は、手の平に表示されたテンキーを選択する例である。図20の例では、指が手の平上で一定時間静止したことを選択のスイッチとする。

0142

まず、情報入力装置は、検出された手の平にテンキーを表示させる(状態1)。このとき、情報入力装置は、手の平上に表示された複数のキーを用いてキャリブレーションを実行する。例えば、情報入力装置は、被投射体に投射された表示情報を撮像した画像データをパターンマッチングなどの手法を用いて画像処理することによってキャリブレーションを実行する。図20の例において、情報入力装置は、被投射体に表示された表示情報(複数のキー)を含む投射範囲を撮像して得られた画像データを画像処理し、複数のキーのそれぞれの位置を画像データ上の座標に置き換える。

0143

情報入力装置は、手の平の上方領域に指が位置する状態を検知すると、指の動きを追う。そして、情報入力装置は、指が一定時間停止した時点で指の指示位置を検出する(状態2)。情報入力装置は、画像データ上において、指による指示位置(指示座標)を特定する。例えば、キーを選択するまでは、手の平の上方領域に指が位置している状態であっても、手の平に指が接触しているわけではない。そのため、本実施形態において、情報入力装置は、指の動きが一定時間停止した時点において指示位置を特定する。

0144

情報入力装置は、いずれかのキーを選択している状態で指が所定期間停止した時点において選択されていたキーの位置を認識し、キー操作が受け付けられたことを示す印を表示させる(状態3)。情報入力装置は、画像データ上において、指示部の指示位置(指示座標)から最も近い位置に配置されたキーが選択されたものと判定する。このとき、情報入力装置は、選択されたキーが入力されたものと判定する。第1の実施形態においては、手の平から指が離れた時点で入力が受け付けられた。それに対し、本実施形態においては、指によって選択されたキーが特定できた段階で入力を受け付ける。

0145

情報入力装置は、手の平の上方領域から指が外れると、次の入力を受け付けるために再びテンキーを手の平に表示させる(状態4)。手の平と指とを離すことは、第1の実施形態においては選択項目を入力するための動作であったが、本実施形態においては手の平に表示させる表示情報を切り替えるための動作である。すなわち、本実施形態においては、図11のフローチャートのステップS18は、「入力判定」ではなく、表示情報の「切替指示」である。

0146

図20の例では、手の平に表示されたテンキーのキーを指が指示しているとき(状態2)、表示情報と指の位置が重なった画像データが得られるため、指を検出しにくくなる。そのため、本実施形態においては、以下の図21のような手順によって指を検出しやすくする。

0147

図21は、表示情報と指の位置が重なってしまう際に、情報入力装置が指示体を検出する一例について説明するための概念図である。図21のように、情報入力装置は、手の平の上方領域に指示体が位置する状態で(状態2)、投射光の投射を一時停止して指先を検出し、指示部の指示する位置(指示位置)を特定する(状態2−3)。そして、情報入力装置1は、特定された指示位置が受け付けられたことを示す印を手の平に表示させる(状態3)。

0148

指を検出する際に投射光の投射を継続したままだと、投射光の影響で指先の位置が特定しにくくなる。本実施形態においては、指を検出する際に、状態2−3のように一時的に投射光を停止することによって指を検出しやすくする。

0149

〔指示位置特定処理〕
図22は、情報入力装置1の指示位置特定処理に関する動作を示すフローチャートである。図22においては、情報入力装置1の構成要素を動作主体として説明する。

0150

図22において、まず、検出手段33は、指示体が一定時間停止したことを検知する(ステップS261)。このとき、検出手段33は、投光を一時的に停止することを指示する停止指示信号を投射制御手段32に出力する。

0151

ここで、検出手段33は、投射制御手段32に投光を一時停止するように指示を出す(ステップS262)。

0152

検出手段33は、被投射体上の指示体を抽出する(ステップS263)。

0153

座標設定手段34は、指示部の位置座標(指示座標)を特定する(ステップS264)。

0154

投射条件設定手段35は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段32に出力する(ステップS265)。

0155

以上が、本実施形態の指示位置特定処理に関する説明である。本実施形態においては、指示体が一定時間停止していることを検知し、その時点において指示部が指示する位置(指示座標)に対応する表示情報が選択されたものとみなす。このとき、本実施形態においては、指示座標の位置に表示された表示情報に対応する入力情報が入力されたものとみなす。本実施形態によれば、被投射体に表示されたUIに指示体を直接触れさせることによって、より直感的な入力操作が実現できる。

0156

ここで、数字や文字ではなく、絵をUIとして用いる例を示す。図23および図24は、手の平に数字や文字ではなく、絵を表示させる例である。子供は、数字や絵文字順番は覚えられなくても、絵に含まれるパーツに触る順番なら覚えやすい。なお、以下の説明においては、紙面側見た際の左右の位置を示す。

0157

図23は、入力順番が正しい例である。まず、対象者は、第1の動物右耳に触る(1)。次に、対象者は、第2の動物のに触る(2)。次に、対象者は、第3の動物の左耳に触る(3)。図23のように1〜3の順番で入力されると、正解を示すハートマークが表示される(4)。

0158

図24は、入力順番が間違っている例である。まず、第1の動物の右耳を触る(1)。次に、第2の動物の右目を触る(2)。次に、第3の動物の右耳に触る(3)。図24のように1〜3の順番で入力されると、不正解を示す印が表示される(4)。なお、図24では、不正解を示す印として、禁止図記号を表示させる例を示している。

0159

本実施形態の手法を用いれば、図23および図24のように、UIとして表示された動物の一部に指で直接触れることによって入力しやすくなる。

0160

(第3の実施形態)
次に、本発明の第3の実施形態に係る情報入力装置について図面を参照しながら説明する。本実施形態の情報入力装置は、座標設定手段の構成が第1の実施形態と異なる。本実施形態の情報入力装置は、機械学習データを用いて指示位置を特定する。なお、本実施形態の構成のうち、第1の実施形態と同様の構成や動作については詳細な説明は省略する。

0161

(構成)
図25は、本実施形態の情報入力装置に含まれる座標設定手段34−3の構成を示すブロック図である。座標設定手段34−3は、投射座標系設定手段341と指示座標特定手段342に加えて、位置特定情報記憶手段343を有する。すなわち、座標設定手段34−3は、位置特定情報記憶手段343を含む点で、第1の実施形態の座標設定手段34と異なる。

0162

位置特定情報記憶手段343は、被投射体上に設定される投射座標系における指示部の指示座標を特定するための情報を記憶する。位置特定情報記憶手段343には、指示座標特定手段342が画像データから指示部による指示位置を特定する際に用いる機械学習データを記憶させておく。機械学習データは、被投射体の上に指示体が位置する画像データから指示部の指示位置を特定するためのアルゴリズムを含む。例えば、数千枚程度の画像データを事前に集めておき、それらの画像データ上で指示部による指示位置を予め設定しておく。例えば、手の平の上に位置する指の爪の真ん中あたりを指示位置に設定しておく。

0163

指示座標特定手段342は、位置特定情報記憶手段343に記憶された機械学習データを用いて指示部による指示位置を特定する。例えば、指示座標特定手段342は、機械学習データを用いて手の平の上に指が位置する画像データを解析すると、指先の爪のあたりを検出する。例えば、指示座標特定手段342は、検出した爪の位置に円を設定し、その円の中心に指示座標を設定する。

0164

指示内容同定手段37は、指示内容が設定された位置座標のうち、特定した指示座標に最も近接する位置座標に設定された指示内容が選択されたものと同定する。

0165

投射条件設定手段35は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段32に出力する。

0166

(動作)
ここで、本実施形態の情報入力装置の動作について図面を参照しながら説明する。図26は、本実施形態の情報入力装置の指示位置特定処理に関する流れを示すフローチャートである。本実施形態の情報入力装置の動作は、指示位置特定処理(図13)が第2の実施形態と異なる。

0167

図26において、まず、検出手段33は、指示体が一定時間停止したことを検知する(ステップS361)。このとき、検出手段33は、投光を一時的に停止することを指示する停止指示信号を投射制御手段32に出力する。

0168

投射制御手段32は、停止指示信号に応じて、一時的に投光を停止する(ステップS362)。

0169

撮像制御手段31は、投光が停止している状態で投射範囲を撮像する(ステップS363)。

0170

座標設定手段34ー3は、位置特定情報記憶手段343に記憶された機械学習データを用いて、画像データ上で指示部による指示位置を特定する(ステップS364)。

0171

座標設定手段34ー3は、指示部による指示位置から指示座標を設定する(ステップS365)。

0172

投射条件設定手段35は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段32に出力する(ステップS366)。

0173

以上が、本実施形態の情報入力装置の投射条件設定処理に関する説明である。

0174

ハイブリッド処理
ここで、本実施形態の情報入力装置に関する別の動作例について、図面を参照しながら説明する。図27は、機械学習データを用いた処理とエッジ検出処理とを併用したハイブリッド処理の一例を示すフローチャートである。

0175

図27において、まず、検出手段33は、指示体を検知する(ステップS461)。このとき、検出手段33は、一時的に投射を停止することを指示する停止指示信号を投射制御手段32に出力する。

0176

投射制御手段32は、停止指示信号に応じて、一時的に投光を停止する(ステップS462)。

0177

撮像制御手段31は、投光が停止している状態で投射範囲を撮像する(ステップS463)。

0178

座標設定手段34ー3は、位置特定情報記憶手段343に記憶された機械学習データを用いて、画像データ上で指示部による指示位置を特定する(ステップS464)。

0179

ここで、座標設定手段34ー3は、指示部による指示位置を特定できなかった場合(ステップS465でNo)、エッジ検出を用いて指示部による指示位置を検出する(ステップS466)。一方、座標設定手段34ー3が指示部による指示位置を特定できた場合(ステップS465でYes)、ステップS467に進む。

0180

座標設定手段34ー3は、指示部による指示位置から指示座標を設定する(ステップS467)。

0181

投射条件設定手段35は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段32に出力する(ステップS468)。

0182

以上が、本実施形態の情報入力装置の投射条件設定処理に関する説明である。

0183

以上のように、本実施形態においては、予め記憶しておいた機械学習データを用いて指示部の座標を特定する。そのため、本実施形態によれば、第2の実施形態と比べて指示部の検出精度を向上できる。

0184

(第4の実施形態)
次に、本発明の第4の実施形態に係る認証システムについて図面を参照しながら説明する。図28は、本実施形態の認証システム4の構成を示すブロック図である。図28のように、認証システム4は、情報入力装置1に認証装置50を追加した構成を有する。なお、認証システム4は、第1の実施形態の情報入力装置1ではなく、第2または第3の実施形態の情報入力装置を備えていてもよい。

0185

図29は、認証システム4の認証装置50の構成を示すブロック図である。図29のように、認証装置50は、入力手段51、判定手段52、認証情報記憶手段53、出力手段54を有する。

0186

入力手段51は、情報入力装置1の通信装置40に接続され、情報入力装置1への入力情報を取得する。入力手段51は、取得した入力情報を判定手段52に出力する。

0187

判定手段52は、入力手段51から入力情報を取得する。判定手段52は、認証に用いる全ての入力情報を取得した時点で認証情報記憶手段53を参照し、入力情報を解析する。判定手段52は、認証情報の解析結果に基づいて認証の成否を判定する。判定手段52は、判定結果を出力手段54に出力する。

0188

出力手段54は、判定手段52から取得した判定結果を認証結果に応じて動作する外部のシステムや装置に出力する。

0189

認証装置50は、ネットワークを経由して通信装置40に接続されるように構成してもよい。また、認証装置50の機能を外部のシステムや装置に負わせてもよい。

0190

外部のシステムや装置は、認証装置50の判定結果に基づいて、所定の処理を実行する。例えば、建物出入り口に設置された自動ドアなどの認証システムであれば、認証装置50からの認証結果に基づいて、ドア開閉可否が判定される。例えば、装置を使用する際の認証システムであれば、認証装置50からの認証結果に基づいて、装置の起動可否が判定される。例えば、現金自動預け払い機の認証システムであれば、認証装置50からの認証結果に基づいて、現金の払い出し可否が判定される。なお、上述の例は、本実施形態の認証システムの適用範囲を示す一例であって、本実施形態の認証システムの適用範囲を限定するものはない。

0191

例えば、図23図24の例では、認証装置50は、表示情報として手の平に表示させた動物の絵の特定位置と指示部との位置関係に基づいて、認証の成否を判定する。すなわち、認証装置50は、被投射体に表示された表示情報上の特定位置と指示部との位置関係に基づいて判定した入力情報を解析して認証情報としての成否を判定する。

0192

以上のように、本実施形態の認証システムは、情報入力装置に入力される少なくとも一つの入力情報によって構成される情報を解析して認証情報としての成否を判定する。本実施形態の認証システムによれば、認証情報の入力処理が必要となる場面において、任意のユーザが直感的な認証情報の入力処理を行うことができる。

0193

また、本実施形態の認証システムには、パターン認証を用いてもよい。本実施形態の認証システムは、情報入力装置に入力されるパターン情報を解析して認証情報としての成否を判定する。

0194

図30は、本実施形態の認証システムにパターン認証を用いる適用例である。図30の例は、指先の軌跡が星型のパターンを描く例である。図30の例では、1〜6のように動く指先を検知し、指先の軌跡が形成するパターンによって認証情報としての成否を判定する。認証情報の成否判定基準となるパターンは、認証装置50の認証情報記憶手段53に記憶させておけばよい。

0195

以上の適用例では、情報入力装置に入力される少なくとも一つの入力情報によって構成される情報を解析して認証情報としての成否を判定する。本適用例によれば、認証情報の入力処理が必要となる場面において、任意のユーザがより直感的な認証情報の入力処理を行うことができる。

0196

〔適用例〕
次に、本実施形態の認証システム4の適用例について図面を参照しながら説明する。なお、以下の適用例の図面においては、認証システム4に含まれる情報入力装置1のみを図示している。

0197

図31は、情報入力装置1を自動ドアの上方に設置する例である。情報入力装置1の投射範囲には、自動ドアの手前側と、自動ドア自体とが含まれる。

0198

図32は、自動ドアの方に向かってきた認証対象者が認証処理をする際の一連の動作をまとめた概念図である。なお、図32においては、情報入力装置1からの投射光を破線で示し、撮像範囲の目安を一点鎖線で示している。

0199

(1)認証システム4は、「WELCOME」という表示情報を表示させるための投射光を自動ドアに向けて投射する。認証対象者は、自動ドアに表示された表示情報「WELCOME」を視認する。

0200

(2)認証対象者が自動ドアの手前で手の平を上に向けて静止させると、認証システム4は、認証対象者の手の平を検出し、認証情報を入力するためのUIを手の平に表示するための投射光を投射する。認証対象者は、手の平に表示されたUIに認証情報を入力する。

0201

(3)認証システム4は、認証が成功した場合、認証されたことを示すための表示情報「PLASENTER」を表示させるための投射光を自動ドアに向けて投射する。認証対象者は、自動ドアに表示された「PLEASE ENTER」という表示情報を視認し、認証が成功したことを認識できる。

0202

(4)認証システム4は、自動ドアを開けるために、自動ドアの制御装置に対してドアを開くことを指示する信号を出力する。認証対象者は、開いた自動ドアから室内へ入場する。

0203

以上のように、本実施形態の認証システム4によれば、入力装置を携帯していない任意の認証対象者に対して認証処理を行うことができる。認証対象者は、キーボードやテンキーなどのハードウェアに直接触れることがない。そのため、本実施形態によれば、入力の痕跡をハードウェアに残すことなく、セキュリティ度の高い認証システムが実現される。

0204

顔認証との併用〕
図33は、図32とは別の適用例である。図33の適用例では、手の平に表示させたUIを用いた認証に加えて、顔認証を用いる。図33の適用例の情報入力装置1−2は、手の平を撮像する撮像装置10に加えて、認証対象者の顔を撮像するカメラを備える。なお、図33の適用例は、状態1以外は図32と同様であるため、詳細な説明は省略する。

0205

図33の適用例では、まず、認証対象者の顔認証を行う(1)。顔認証は、認証装置50に顔認証用データベース構築しておき、カメラによって撮像された顔をデータベースに格納された顔データと照合することによって行う。そして、手の平認証と顔認証とがともに成功した場合に、自動ドアを開けるように制御すればよい。なお、手の平認証と顔認証との順番は入れ替わっていてもよい。また、手の平認証と顔認証とのいずれかが成功した場合に自動ドアを開くようにしてもよい。

0206

図33の適用例によれば、手の平を用いた認証に加えて、顔認証によって認証対象者を識別するため、より高度なセキュリティを実現できる。

0207

バリアフリー認証〕
図34は、情報入力装置1から子供の手の平に表示情報を表示させる例である。

0208

大人と比べると、子供の手の平は小さい。また、大人と比べると、子供の手の平への投射距離は長くなる。そのため、一般的なプロジェクタを用いる場合、大人の手の平に表示させる表示情報を子供の手の平に投射すると、手の平から表示情報がはみ出してしまう。

0209

それに対し、本実施形態の認証システム4を用いれば、撮像装置10で撮像した画像データに基づいて、手の平の大きさに合わせた表示情報を形成できる。例えば、認証システム4は、初めに投射した表示情報が手の平からはみ出している場合、サイズの小さい投射画像を選択すればよい。そのため、大人の手の平に表示させる表示情報を子供の手の平に投射しても、手の平の中に表示情報を納められる。

0210

また、投射装置20から見ると、大人の手の平への距離と、子供の手の平への距離とは異なる。一般的なプロジェクタを用いる場合、プロジェクタと被投射体との距離が異なると、認証対象者の身長に合わせて、その都度焦点を合わせる必要がある。

0211

それに対し、本実施形態の認証システム4が備える投射装置20は、位相変調型の空間光変調素子を含むため、フォーカスフリーで画像を投射できる。そのため、認証対象者の身長に合わせて焦点を合わせる必要がない。すなわち、本実施形態の認証システム4によれば、バリアフリー認証が可能となる。

0212

また、本実施形態によれば、入力する位置や高さを任意に変更できるので、対象者の立つ位置や手の出し方などの特徴を個人認証の一部に設定することもできる。また、本実施形態によれば、指紋認証掌紋認証を用いる場合のように、指紋掌紋が入力装置等に残る可能性がないため、より安全な認証システムを構築できる。また、本実施形態によれば、手や指の形、手相なども個人認証の一部に用いてもよい。

0213

(ハードウェア)
ここで、本実施形態に係る情報入力装置の制御系統を実現するハードウェア構成について、図35コンピュータ90を一例として挙げて説明する。なお、図35のコンピュータ90は、各実施形態の投射システムを実現するための構成例であって、本発明の範囲を限定するものではない。

0214

図35のように、コンピュータ90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96を備える。図35においては、インターフェースをI/F(Interface)と略して表記している。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96は、バス99を介して互いにデータ授受可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93および入出力インターフェース95は、通信インターフェース96を介して、インターネットイントラネットなどのネットワークに接続される。コンピュータ90は、ネットワークを介して外部に接続され、投射する表示情報の位相分布などの情報を上位システムから取得したり、入力結果を外部に出力したりする。

0215

プロセッサ91は、補助記憶装置93等に格納されたプログラムを主記憶装置92に展開し、展開されたプログラムを実行する。本実施形態においては、コンピュータ90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態に係る制御装置が実行する演算処理制御処理を実行する。

0216

主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置92として構成・追加してもよい。

0217

補助記憶装置93は、表示情報の位相分布などのデータを記憶する手段である。補助記憶装置93は、ハードディスクフラッシュメモリなどのローカルディスクによって構成される。なお、表示情報の位相分布を主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。

0218

入出力インターフェース95は、コンピュータ90と周辺機器との接続規格に基づいて、コンピュータ90と周辺機器とを接続する装置である。通信インターフェース96は、規格仕様に基づいて、インターネットやイントラネットなどのネットワークに接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。

0219

コンピュータ90には、必要に応じて、キーボードやマウスタッチパネルなどの入力機器を接続できるように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ91と入力機器との間のデータ授受は、入出力インターフェース95に仲介させればよい。

0220

通信インターフェース96は、ネットワーク回線を通じて、外部のシステムや装置に接続される。

0221

また、コンピュータ90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介してコンピュータ90に接続すればよい。

0222

また、コンピュータ90には、必要に応じて、リーダライタを備え付けてもよい。リーダライタは、バス99に接続される。リーダライタは、プロセッサ91と図示しない記録媒体プログラム記録媒体)との間で、記録媒体からのデータ・プログラムの読み出し、コンピュータ90の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えばSD(Secure Digital)カードやUSB(Universal Serial Bus)メモリなどの半導体記録媒体などで実現できる。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体やその他の記録媒体によって実現してもよい。

0223

以上が、本発明の実施形態に係る情報入力装置を可能とするためのハードウェア構成の一例である。なお、図35のハードウェア構成は、本実施形態に係る情報入力装置を可能とするためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、本実施形態に係る情報入力装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、本発明の実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。

0224

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

0225

この出願は、2016年10月27日に出願された日本出願特願2016−210192を基礎とする優先権を主張し、その開示の全てをここに取り込む。

0226

本発明の情報入力装置は、認証情報以外の任意の情報入力に適用できる。本発明の情報入力装置は、例えば、小売店レストラン物流工場医療防衛消防警察などの業務支援に利用できる。

0227

1情報入力装置
4 認証システム
10撮像装置
11撮像素子
13画像処理プロセッサ
15内部メモリ
17データ出力回路
20投射装置
21光源
22光源駆動電源
23空間光変調素子
24変調素子駆動手段
25投射光学系
30制御装置
31撮像制御手段
32投射制御手段
33 検出手段
34座標設定手段
35投射条件設定手段
36 投射条件記憶手段
37指示内容同定手段
38 指示内容記憶手段
39 出力手段
40通信装置
50認証装置
51入力手段
52 判定手段
53認証情報記憶手段
54 出力手段
210コリメータ
251フーリエ変換レンズ
252アパーチャ
253投射レンズ
331被投射体検出手段
332進入検知手段
333指示体検出手段
341投射座標系設定手段
342指示座標特定手段
343位置特定情報記憶手段

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ