図面 (/)

技術 データ入力装置、データ入力方法、及びデータ入力プログラム

出願人 シャープ株式会社
発明者 紫村智哉若林保孝今井巧村山大輔岩内謙一
出願日 2016年6月30日 (1年2ヶ月経過) 出願番号 2016-130345
公開日 2016年10月27日 (10ヶ月経過) 公開番号 2016-186809
状態 未査定
技術分野 デジタル計算機のユーザインターフェイス 表示による位置入力
主要キーワード 操作終了信号 操作開始信号 ディジタルサイネージ 位置検出過程 本数情報 手位置情報 距離区分 位置検出手順

この技術の活用可能性のある市場・分野

関連する未来課題
重要な関連分野

この技術に関連する成長市場

関連メディア astavision

  • 音声認識・音声合成・ボーカロイド

    米国Apple社は、2011年、iPhone向け知能型音声認識サービスSiriを市場に試験投入して以…

  • 超小型モビリティ・パーソナルモビリティ

    軽自動車よりも更にコンパクトな電気自動車で、1人から2人程度の乗車定員のものを超小型モビリティと呼ば…

  • 生体情報デバイス・バイオセンサ

    「音楽を学習した人工知能は、人間を感動させることができるか?」をテーマに、クラブイベント「2045」…

後で読みたい技術情報を見つけたら、ブックマークしておきましょう!

ページの右上にあるブックマークボタンからこのページをブックマークできます。
あなたがブックマークした技術情報は、いつでもマイページのリストから閲覧することが出来ます。

この項目の情報は公開日時点(2016年10月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

操作方法習得度に関わらず快適に操作でき、誤動作の発生を抑制する。

解決手段

第1位置検出部は、撮像装置撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報を、第2位置検出部は、身体の一部とは異なる他の部分の位置を表す第2位置情報を取得する。ユーザ情報解析部は、第2位置情報に基づいてユーザを判別し、撮像装置が撮像した映像に表された判別されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、所定の基準位置から第2位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者判断する。制御部は、第1位置情報と第2位置情報が予め定めた関係にあるユーザについてユーザ情報に対応する処理を実行する。

背景

コンピュータゲーム機等の機器操作するためのユーザインタフェースとして様々な機器や手法が提案されている。特にゲーム機には、ユーザ動き検出モーションキャプチャ)し、ユーザの身体全体姿勢で機器を操作するものが提案されている。
例えば、特許文献1に記載のインターフェイス装置は、CCD(Charge Coupled Device)カメラ撮像した画像中の物体の形状、動きを認識し、認識した物体の形状や動きをディスプレイに表示する。ユーザがCCDカメラに向かって、例えば手振り等の動作を行うと、ユーザの動作が当該装置のディスプレイの表示画面上に表示される。このとき、ユーザは、表示画面上に表示された仮想スイッチ等を動作によって表示された矢印カーソルアイコンで選択できる。
特許文献2に記載の映像表示装置は、ユーザを識別し、ユーザの位置と動作を検出し、検出したユーザの位置と動作により、表示映像視聴対象であるユーザを判別し、ユーザに対応して映像を表示するアプリケーションを制御する。

概要

操作方法習得度に関わらず快適に操作でき、誤動作の発生を抑制する。第1位置検出部は、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報を、第2位置検出部は、身体の一部とは異なる他の部分の位置を表す第2位置情報を取得する。ユーザ情報解析部は、第2位置情報に基づいてユーザを判別し、撮像装置が撮像した映像に表された判別されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、所定の基準位置から第2位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者判断する。制御部は、第1位置情報と第2位置情報が予め定めた関係にあるユーザについてユーザ情報に対応する処理を実行する。

目的

即ち、操作に習熟していない操作者13であっても案内画像視聴することによって、目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像装置撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報取得する第1位置検出部と、前記身体の一部とは異なる他の部分の位置を表す第2位置情報を取得する第2位置検出部と、前記第2位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報検出するユーザ情報解析部と、前記第1位置情報と前記第2位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御部と、を備え、前記ユーザ情報解析部は、所定の基準位置から前記第2位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者判断することを特徴とするデータ入力装置

請求項2

前記ユーザ情報解析部は、所定の基準位置から前記操作者と判断したユーザの前記第2位置情報が示す位置までの距離が、前記所定の距離よりも大きくなった場合に、新たなユーザの操作入力受け付けることを特徴とする請求項1に記載のデータ入力装置。

請求項3

前記ユーザ情報解析部は、前記第2位置情報に基づいて操作検出領域を定め、前記ユーザが複数であるとき、前記第1位置情報が示す前記身体の一部の位置が前記操作検出領域の中心に最も近接するユーザを操作者と判断することを特徴とする請求項1または請求項2に記載のデータ入力装置。

請求項4

前記ユーザ情報解析部は、前記第2位置情報に基づいて操作検出領域を定め、前記第1位置情報が示す前記身体の一部の位置が前記操作検出領域の範囲外となった場合に、新たなユーザの操作入力を受け付けることを特徴とする請求項1から請求項3のいずれか一項に記載のデータ入力装置。

請求項5

前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部を備え、前記ユーザ情報解析部は、前記ユーザ情報の検出回数に基づき前記ユーザの習熟度を判断し、前記制御部は、前記習熟度が高いほど前記ユーザ情報の検出から前記案内画像を表示するまでの時間を短くすることを特徴とする請求項1から請求項4のいずれか一項に記載のデータ入力装置。

請求項6

前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部を備え、前記ユーザ情報解析部は、前記ユーザ情報の検出回数に基づき前記ユーザの習熟度を判断し、前記制御部は、前記習熟度が所定の習熟度よりも低い場合、前記案内画像を表示させ、前記習熟度が所定の習熟度よりも高い場合、前記案内画像を表示させないことを特徴とする請求項1から請求項5のいずれか一項に記載のデータ入力装置。

請求項7

前記制御部は、前記身体の一部の形状変化が所定の検出閾値よりも大きいとき、当該形状変化に基づく操作入力を受け付け、前記所定の基準位置から前記第2位置情報が示す位置までの距離が大きいほど、前記身体の一部の形状変化の検出閾値を大きくすることを特徴とする請求項1から請求項6のいずれか一項に記載のデータ入力装置。

請求項8

前記ユーザ情報解析部は、前記撮像装置が撮像した映像に基づき、前記ユーザの年齢層を表す特徴情報推定し、前記制御部は、前記身体の一部の形状の変化に基づく操作入力を受け付け、前記年齢層が高いほど、前記身体の一部の形状の検出時間間隔を長くすることを特徴とする請求項1から請求項7のいずれか一項に記載のデータ入力装置。

請求項9

前記ユーザ情報解析部は、前記撮像装置が撮像した映像に基づき、前記ユーザの年齢層を表す特徴情報を推定し、前記制御部は、前記身体の一部の形状の変化に基づく操作入力を受け付け、前記年齢層が低いほど、前記身体の一部の形状変化の検出閾値を小さくすることを特徴とする請求項1から請求項8のいずれか一項に記載のデータ入力装置。

請求項10

前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部と、身体の一部の形状を示す形状情報記憶した記憶部を備え、前記制御部は、前記記憶部から読み出した形状情報が示す形状と、前記第1位置情報が示す身体の一部の形状との照合に失敗した場合、前記案内画像を表示させることを特徴とする請求項1から請求項9のいずれか一項に記載のデータ入力装置。

請求項11

データ入力装置におけるデータ入力方法であって、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報を取得する第1位置検出過程と、前記身体の一部とは異なる他の部分の位置を表す第2位置情報を取得する第2位置検出過程と、前記第2位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析過程と、前記第1位置情報と前記第2位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御過程と、を有し、前記ユーザ情報解析過程は、所定の基準位置から前記第2位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者と判断することを特徴とするデータ入力方法。

請求項12

データ入力装置のコンピュータに、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報を取得する第1位置検出手順、前記身体の一部とは異なる他の部分の位置を表す第2位置情報を取得する第2位置検出手順、前記第2位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析手順、前記第1位置情報と前記第2位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御手順、を有し、前記ユーザ情報解析手順は、所定の基準位置から前記第2位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者と判断することを特徴とするデータ入力プログラム

技術分野

0001

本発明は、データ入力装置データ入力方法、及びデータ入力プログラムに関する。

背景技術

0002

コンピュータゲーム機等の機器操作するためのユーザインタフェースとして様々な機器や手法が提案されている。特にゲーム機には、ユーザ動き検出モーションキャプチャ)し、ユーザの身体全体姿勢で機器を操作するものが提案されている。
例えば、特許文献1に記載のインターフェイス装置は、CCD(Charge Coupled Device)カメラ撮像した画像中の物体の形状、動きを認識し、認識した物体の形状や動きをディスプレイに表示する。ユーザがCCDカメラに向かって、例えば手振り等の動作を行うと、ユーザの動作が当該装置のディスプレイの表示画面上に表示される。このとき、ユーザは、表示画面上に表示された仮想スイッチ等を動作によって表示された矢印カーソルアイコンで選択できる。
特許文献2に記載の映像表示装置は、ユーザを識別し、ユーザの位置と動作を検出し、検出したユーザの位置と動作により、表示映像視聴対象であるユーザを判別し、ユーザに対応して映像を表示するアプリケーションを制御する。

先行技術

0003

特開2004−78977号公報
特開2009−87026号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1に記載のインターフェイス装置では、ユーザがどのような動作を行って、どのような操作ができるのか直感的に認識できないということがある。例えば、入力操作確定する方法(例えば、マウスクリック等の操作入力代替となる動作)や表示された映像コンテンツ移動方法(例えば、マウスのドラッグ等の操作入力の代替となる動作)などの操作に対応した入力方法が、ユーザにとって容易ではないことがある。クリック操作に対応する入力操作を確定する方法については、例えば、ユーザが所定の時間よりも長い時間、手を静止させる方法がある。この場合、ユーザは、入力操作を確定するために、手の位置を固定させることを予め知っておく必要がある。また、所定の時間が長すぎると、ユーザが快適に操作を行うことができないことがある。

0005

また、特許文献2に記載の映像表示装置では、ユーザが動作した場合、その動作が操作入力を意図した動作か、他の目的を意図した動作かを判別することができないことがある。複数のユーザが当該映像表示装置に表示された映像を同時に視聴する場合、一方のユーザによる動作によって、他方のユーザが意図しない操作入力がなされることがある。また、複数のユーザが同時に動作して、当該映像表示装置が各々操作入力を受け付けると、相矛盾する操作入力に対する処理指示されることで誤動作原因になることがある。このことは、映像の視聴に支障をきたすことがある。

0006

本発明は、このような問題を鑑みてなされたもので、操作方法習得度に関わらず快適に操作でき、誤動作の発生を抑制する。

課題を解決するための手段

0007

(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報取得する第1位置検出部と、前記身体の一部とは異なる他の部分の位置を表す第2位置情報を取得する第2位置検出部と、前記第2位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析部と、前記第1位置情報と前記第2位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御部と、を備え、前記ユーザ情報解析部は、所定の基準位置から前記第2位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者判断することを特徴とするデータ入力装置である。

0008

(2)本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、所定の基準位置から前記操作者と判断したユーザの前記第2位置情報が示す位置までの距離が、前記所定の距離よりも大きくなった場合に、新たなユーザの操作入力を受け付けることを特徴とする。

0009

(3)本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、前記第2位置情報に基づいて操作検出領域を定め、前記ユーザが複数であるとき、前記第1位置情報が示す前記身体の一部の位置が前記操作検出領域の中心に最も近接するユーザを操作者と判断することを特徴とする。

0010

(4)本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、前記第2位置情報に基づいて操作検出領域を定め、前記第1位置情報が示す前記身体の一部の位置が前記操作検出領域の範囲外となった場合に、新たなユーザの操作入力を受け付けることを特徴とする。

0011

(5)本発明のその他の態様は、上述のデータ入力装置であって、前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部を備え、前記ユーザ情報解析部は、前記ユーザ情報の検出回数に基づき前記ユーザの習熟度を判断し、前記制御部は、前記習熟度が高いほど前記ユーザ情報の検出から前記案内画像を表示するまでの時間を短くすることを特徴とする。

0012

(6)本発明のその他の態様は、上述のデータ入力装置であって、前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部を備え、前記ユーザ情報解析部は、前記ユーザ情報の検出回数に基づき前記ユーザの習熟度を判断し、前記制御部は、前記習熟度が所定の習熟度よりも低い場合、前記案内画像を表示させ、前記習熟度が所定の習熟度よりも高い場合、前記案内画像を表示させないことを特徴とする。

0013

(7)本発明のその他の態様は、上述のデータ入力装置であって、前記制御部は、前記身体の一部の形状変化が所定の検出閾値よりも大きいとき、当該形状変化に基づく操作入力を受け付け、前記所定の基準位置から前記第2位置情報が示す位置までの距離が大きいほど、前記身体の一部の形状変化の検出閾値を大きくすることを特徴とする。

0014

(8)本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、前記撮像装置が撮像した映像に基づき、前記ユーザの年齢層を表す特徴情報推定し、前記制御部は、前記身体の一部の形状の変化に基づく操作入力を受け付け、前記年齢層が高いほど、前記身体の一部の形状の検出時間間隔を長くすることを特徴とする。

0015

(9)本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、前記撮像装置が撮像した映像に基づき、前記ユーザの年齢層を表す特徴情報を推定し、
前記制御部は、前記身体の一部の形状の変化に基づく操作入力を受け付け、前記年齢層が低いほど、前記身体の一部の形状変化の検出閾値を小さくすることを特徴とする。

0016

(10)本発明のその他の態様は、上述のデータ入力装置であって、前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部と、身体の一部の形状を示す形状情報記憶した記憶部を備え、前記制御部は、前記記憶部から読み出した形状情報が示す形状と、前記第1位置情報が示す身体の一部の形状との照合に失敗した場合、前記案内画像を表示させることを特徴とする。

0017

(11)本発明のその他の態様は、データ入力装置におけるデータ入力方法であって、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報を取得する第1位置検出過程と、前記身体の一部とは異なる他の部分の位置を表す第2位置情報を取得する第2位置検出過程と、前記第2位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析過程と、前記第1位置情報と前記第2位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御過程と、前記制御過程において実行される処理と前記身体の一部の形状との関係を表す案内画像を表示する表示過程と、を有し、前記ユーザ情報解析過程は、前記第2位置情報に基づいて操作開始検出領域を定め、前記ユーザが複数であるとき、前記第1位置情報が示す前記身体の一部の位置が前記操作開始検出領域の中心に最も近接するユーザを操作者と判断することを特徴とするデータ入力方法である。

0018

(12)本発明のその他の態様は、データ入力装置のコンピュータに、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報を取得する第1位置検出手順、前記身体の一部とは異なる他の部分の位置を表す第2位置情報を取得する第2位置検出手順、前記第2位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析手順、前記第1位置情報と前記第2位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御手順、前記制御手順において実行される処理と前記身体の一部の形状との関係を表す案内画像を表示する表示過程と、を有し、前記ユーザ情報解析手順は、前記第2位置情報に基づいて操作開始検出領域を定め、前記ユーザが複数であるとき、前記第1位置情報が示す前記身体の一部の位置が前記操作開始検出領域の中心に最も近接するユーザを操作者と判断することを特徴とするデータ入力プログラム。

発明の効果

0019

本発明によれば、操作方法の習得度に関わらず快適に操作でき、誤動作の発生を抑制する。

図面の簡単な説明

0020

本発明の実施形態に係る表示装置使用態様を表す概念図である。
ユーザと表示装置の位置関係を表す平面図である。
本実施形態に係る表示装置の構成を表すブロック図である。
左画像及び右画像の一例を表す概念図である。
画像ブロックの例を表す概念図である。
撮像面の位置関係を表す概念図である。
本実施形態に係るユーザ情報解析部の構成を表す概略図である。
操作開始検出範囲の一例を表す概念図である。
操作開始検出範囲のその他の例を表す概念図である。
案内画像の一例を表す概念図である。
本実施形態に係る制御部が処理を行うタイミングを表す概略図である。
本実施形態に係るデータ入力処理を表すフローチャートである。

実施例

0021

以下、図面を参照しながら本発明の実施形態について説明する。
図1は、本実施形態に係る表示装置10の使用態様を表す概念図である。
図1において、表示装置10は、映像を表示する装置、例えばテレビジョン受信機ディジタルサイネージ電子看板)装置、映像会議装置である。表示装置10は、正面下辺の中央部に撮像装置11を備え、正面の大部分を覆うように表示部12を備える。
撮像装置11は、手前方向の映像を撮像する、例えばステレオカメラである。撮像装置11は、例えば、左右方向に互いに離れた位置に映像を撮像する撮像部110a、110bを備える。撮像部110a、110bは、それぞれカメラユニットである。表示部12は、映像表示する、例えばディスプレイである。なお、表示装置10は、音声出力するスピーカ(図示せず)を備える。

0022

操作者13は、表示装置10を操作するユーザである。操作者13は、表示装置10の正面に対面し、所定の姿勢、例えば身体の手振り、身振りジェスチャ)をとる。表示装置10に内蔵されたユーザ情報解析部201(図3)は、撮像装置11が撮像した画像に表された操作者13の身体の一部がとる姿勢を表すユーザ情報を取得する。ユーザ情報には、例えば、指差しなどの手の形状・握り拳、その動かし方を表す情報が含まれる。表示装置10は、撮像装置11を介して取得したユーザ情報に対応した処理(機能、動作)を実行する。これにより、操作者13は、指差しなどの手の形状・握り拳、その動かし方により、表示装置10の処理を操作することができる。

0023

表示装置10には、自己の位置を基準とする予め設定された領域であって、操作者13による操作を受け付ける操作可能領域が予め設定されている。表示装置10には、操作可能領域として、例えば、表示装置10の中心部から操作者13の手の位置までの手前方向の距離である操作可能距離の上限(例えば、3m)が設定されている。但し、操作可能領域の左右方向は、例えば、撮像装置11の視野角の範囲内に設定されることができる。この場合には、左右方向の設定は不要である。表示装置10には、操作可能距離の上限よりも離れたユーザである操作不可者14による操作を受け付けない。操作を受け付けるユーザを判別する処理については、後で詳述する。

0024

図2は、ユーザと表示装置10の位置関係を表す平面図である。
図2において、上下は、それぞれ表示装置10の奥、手前の方向を表す。図2が示す操作者13、操作不可者14及び表示装置10の位置関係は同様である。ここで、図2では、操作者13は、表示装置10の正面であって、表示装置10からの距離が操作可能距離の上限よりも短い(近い)位置に所在している。これに対し、操作不可者14は、表示装置10の正面であって、表示装置10からの距離が操作可能距離の上限よりも長い(遠い)位置に所在している。

0025

上述のように操作可能距離(操作可能距離の上限)が設定されることにより、制御部22(図3)が、複数のユーザが同時に操作を行う機会や、操作以外の目的で操作又は操作と誤認される動作(例えば、路上近傍におかれたディジタルサイネージの場合における通行人による手振り)を表す画像が入力される機会を制限する。例えば公共の場に設置されたディジタルサイネージ装置のように、表示装置10が同時に複数のユーザに利用される場合でも映像を視聴するユーザが意図しない処理が回避される。

0026

図1に示す例は、撮像装置11が表示装置10の正面下辺に設置されている場合を示すが、これに限定されない。例えば、撮像装置11は、表示装置10の正面上辺に設置されていてもよいし、表示装置10から離れた位置に設置されていてもよい。
撮像装置11は、操作者13の顔面の高さ、特に、目の高さよりも高い位置に設置されていてもよい。そのために、撮像装置11の高さを、操作者13が所在する床面の高さと人間の平均身長を考慮して予め定めておく。その他、表示装置10が、例えば床面など比較的低い位置に設置される場合には、撮像装置11は、表示部12よりも高い位置に設置されていてもよい。
これにより、撮像装置11は、操作者13の顔面よりも高い位置から操作者13の身体を表す映像を撮像することができ、指差しなどの手の形状・握り拳、その動かし方によって操作者13の顔面が遮蔽されることを防止することができる。そのため、制御部22が、操作者13の顔面の画像を用いて行われる操作者の識別、顔面の位置の検出、操作の検出などの処理を安定して実行できる。これらの処理については後述する。

0027

〔表示装置の構成〕
次に本実施形態に係る表示装置10の構成について説明する。
図3は、本実施形態に係る表示装置10の構成を表すブロック図である。
表示装置10は、データ入力装置2a又は表示制御装置2bを含んで構成される。データ入力装置2aは、撮像装置11、画像処理装置20、情報DB21(Database、データベース)及び制御部22を含んで構成される。
撮像装置11は、撮像した映像を表す映像信号生成し、生成した映像信号を画像処理装置20に出力する。画像処理装置20は、撮像装置11から入力された映像信号に基づき判別した操作者を表す操作者情報の取得、操作者の身体の一部が所在する位置を表す第1空間情報の取得、操作者の身体の一部がとる形状を表すユーザ情報の取得を行う。画像処理装置20は、取得した操作者情報、第1空間情報及びユーザ情報を検出情報として表示制御装置2bに出力する。

0028

表示制御装置2bは、情報DB21、制御部22及び表示部12を含んで構成される。
情報DB21には、操作者13の映像を表す映像信号に基づく操作入力に応じて表示する表示情報が記憶されている。表示情報は、例えば、映像コンテンツ等を表す映像信号、ニュース等を表すテキスト情報ネットワークから受信したコンテンツを表すコンテンツ情報、案内画像(操作ガイド)を表す案内画像信号である。案内画像の詳細については後述する。

0029

制御部22は、画像処理装置20から入力された検出情報から第1空間情報とユーザ情報を抽出する。制御部22は、抽出した第1空間情報が表す操作者13の位置が予め定められた操作可能領域の範囲内である場合、抽出したユーザ情報に対応する処理を行う。ここで、制御部22は、例えば、第1空間情報が表す操作者13の距離が予め設定された操作可能距離の上限よりも小さいか否かを判断する。ユーザ情報に対応する処理とは、例えば、案内画像の表示、映像コンテンツの表示、ネットワークからの情報検索検索された情報に係る映像コンテンツ等やニュース等の保存、保存された情報の表示等、各種の映像表示に係る処理である。

0030

制御部22は、保存することが指示された情報を表示情報として情報DB21に記憶する。制御部22は、表示することが指示された表示情報を情報DB21から読み出し、読み出した表示情報を表す映像信号を表示部12に出力する。制御部22は、停止することが指示された表示情報の出力を停止する。
表示部12は、制御部22から入力された映像信号を映像として表示する。これにより、操作者13が行って操作によって選択された映像コンテンツやニュースに係る映像や、案内画像を表示する。
これにより、表示制御装置2bは、画像処理装置20から入力された検出情報に含まれるユーザ情報が表すコンテンツを選択する処理や、選択したコンテンツを表示する処理を実行する。

0031

次に、データ入力装置2aのより詳細な構成について説明する。
撮像装置11は、撮像部110a、110bを含んで構成される。撮像部110a、110bは、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置20に出力する。撮像部110aは、生成した映像信号をユーザ情報解析部201に出力する。撮像部110a、110bは、例えば、被写体から入射された光を集光するレンズを備えた光学系と、集光された光を電気信号変換する撮像素子を備えるカメラである。撮像部110a、110bが備える撮像素子は、例えば、CCD(Charge Coupled Device、)素子、CMOS(Complementary Metal Oxide Semiconductor)素子である。

0032

画像処理装置20は、距離算出部200、ユーザ情報解析部201を含んで構成される。
距離算出部200は、撮像部110a、110bから各々映像信号が入力される。距離算出部200は、各々入力された映像信号に基づいて撮像装置11から被写体(例えば、操作者13)までの距離を表す距離情報を、例えばステレオマッチング方式を用いて算出する。

0033

〔距離情報の算出〕
ここで、ステレオマッチング方式の一種であるブロックマッチング方式を用いた距離情報の算出方法について説明する。ステレオマッチング方式では、撮像部110a、110bが撮像した映像の視差値距離値として算出する。以下の説明では、撮像部110aが撮像した映像に含まれる画像であって、ある時点における画像を左画像と呼ぶ。撮像部110bが撮像した映像に含まれる画像であって、その時点における画像を右画像と呼ぶ。

0034

ステレオマッチング方式では、左画像の一部の領域である左画像ブロックと対応する領域である右画像ブロックを探索する。ここで左画像及び同時に撮像された右画像を例にとって説明する。
図4は、左画像及び右画像の一例を表す概念図である。
図4は、左側に左画像40を表し、右側に右画像41を表す。
距離算出部200は、左画像40において、注目画素を中心とする左画像ブロック(ウィンドウ)400を設定する。左画像ブロック400に含まれる左右方向に3個、上下方向に3個、計9個の四角形は、それぞれ画素を表す。図4における左画像40の右端から左画像ブロック400の右端までの水平方向の距離がL画素(L個の画素分の距離)である。Lは、1又は1よりも大きい整数である。

0035

距離算出部200は、右画像41において、左画像ブロック400と上下方向の座標同一であって、右画像41の右端からの距離がL+d2に右端をもつ右画像ブロック410を初期値として設定する。d2は、予め設定された整数値であり、視差値の最大値を表す。右画像ブロック410の大きさ及び形状は、左画像ブロック400と同一である。
距離算出部200は、左画像ブロック400と右画像ブロック410との間の指標値を算出する。距離算出部200は、右画像ブロック410の右端が右画像41の右端からの距離がL画素になるまで位置をずらし、それぞれずれた位置で指標値を算出する。距離算出部200は算出した指標値に基づいて左画像ブロック400と対応する位置にある右画像ブロック410を定める。指標値として、例えばSAD(Sum of Absolute Difference)値を用いる場合、SAD値最小となる位置にある右画像ブロック410を定める。この位置が左画像40における注目画素に対応する注目点である。注目点と注目画素の間の水平方向の座標の差分に対する絶対値が視差である。距離算出部200は、左画像40に含まれる各画素について実行し、撮像部110aが撮像した映像に含まれる画素毎の視差値を表す視差情報視差マップディスパリティマップともいう)を距離情報として生成する。視差は、撮像装置11から被写体までの距離が短いほど大きく、距離が長いほど小さくなる関係がある。距離算出部200は、生成した距離情報をユーザ情報解析部201に出力する。

0036

視差マップは、予め定めたビット数で表される整数値(例えば、8ビットの場合、最小値0−最大値255)で表された視差値を画素毎に有する、グレースケール化したビットマップ画像である。なお、距離算出部200は、視差は、撮像部110aと撮像部110bの間隔である基線長等のカメラパラメータに基づいて、撮像装置11から被写体までの被写空間における距離に変換し、変換した距離を表す距離情報を生成してもよい。従って、距離算出部200は、画素毎の視差値を表す距離情報の代わりに変換した距離をグレースケール化したビットマップ画像(デプスマップ)を距離情報として生成してもよい。
なお、撮像部110a、110bは、上下方向に異なる座標値に配置され、各々が撮像した画像を表す撮像画像を用いて視差を算出してもよい。その場合、距離算出部200は、撮像部110a、110bのいずれかが撮影した画像における画像ブロックを基準として、他方が撮影した画像における画像ブロックを上下方向にずらして対応する画像ブロックを探索すればよい。

0037

距離算出部200は、SAD値を算出する際、例えば、式(1)を用いる。

0038

0039

式(1)において、xiは、左画像ブロック400に含まれる、例えば緑色(G)の画素毎の画素値である。8は、1個の画像ブロックに含まれる画素数の一例である。画素値x0〜x8にそれぞれ対応する画素の配置は、図5の左側に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。xaiは、右画像ブロック410に含まれる画素毎の画素値である。画素値xa0〜xa8にそれぞれ対応する画素の配置は、図5の右側に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。

0040

指標値は、SAD値に限られない。左画像ブロック400に含まれる画素値と右画像ブロック410に含まれる画素値との相関を表すものであれば、他の指標値、例えばSSD(Sum of Squared Difference)値や、DP(Dynamic
Programming)値であってもよい。
左画像ブロック400、右画像ブロック410の大きさであるウィンドウサイズは、上述のように水平方向3画素×上下方向3画素に限られない。例えば、水平方向5画素×上下方向5画素、水平方向9画素×上下方向9画素のように上述よりも大きくてもよいし、水平方向4画素×上下方向4画素のように中心座標が注目点からずれた位置になってもよい。また、右画像ブロック410をずらす方向は、上述のように左側から右側に限られず、右側から左側であってもよい。左画像ブロック400、右画像ブロック410に含まれる画素は、緑色(G)の画素の信号値に限られず、他の色、例えば赤色(R)の画素の信号値であってもよいし、他の表色系に基づく画素の信号値や、それらの任意の組み合わせであってもよい。

0041

上述のブロックマッチング方式では、左画像40のある座標と右画像41の対応する座標が左右方向にずれており、上下方向にずれておらず、左画像40と右画像41のエピポーラ線が一致していると仮定していた。上述のように撮像部110a、110bの光軸が平行になるように配置していたのはエピポーラ(epipolar)線(補助線とも呼ばれる)を一致させるためである。エピポーラ線を一致させるために、距離算出部200が予め取得した撮像部110a、110bのカメラパラメータに基づいて、左画像40と右画像41の光軸が平行になるように撮像した画像信号座標変換する処理を行ってもよい。この座標変換を行う処理は、レクティフィケーション(rectification)、又は偏移修正と呼ばれる。距離算出部200は、この処理を行った後で距離情報を生成する。

0042

エピポーラ線とは、図6に示されるようにエピポーラ平面53と、2つの撮像部110a、110b各々が備える撮像面54、55が交わる線56、57である。エピポーラ平面53は、2つの撮像部110a、110b各々が備えるレンズの焦点50、51と、被写空間における特徴点52の3点を通る平面である。
撮像部110a、110bが、各々の光軸が平行になるように配置されている場合、エピポーラ線56、57は、左画像40、右画像41各々において上下方向の座標が同一の水平線になる。

0043

〔ユーザ情報の解析〕
次に、本実施形態に係るユーザ情報解析部201の構成について説明する。
図7は、本実施形態に係るユーザ情報解析部201の構成を表す概略図である。
ユーザ情報解析部201は、顔検出部30、目位置検出部31、手位置検出部32、手形状指先位置検出部33、注目位置検出部35、特徴情報解析部37、操作者判別部39、検出情報出力部41を備える。

0044

〔ユーザの顔の検出〕
顔検出部30は、撮像部110aから入力された映像信号が表す操作者の顔面の画像を表す領域を検出する。顔検出部30は、検出した顔面の領域における代表点(例えば、重心点)の2次元座標や、その領域の上端下端、左端、右端の2次元座標を表す2次元顔面領域情報を生成する。顔検出部30は、距離算出部200から入力された距離情報から、2次元顔領域情報が表す2次元座標の画素に係る距離値を抽出する。顔検出部30は、前述の2次元座標と対応する距離値を、被写空間における3次元座標に変換して、3次元顔面位置情報を生成する。
顔面の領域を検出するために、顔検出部30は、例えば予め設定した顔面の色彩(例えば、肌色)を表す色信号値の範囲にある画素を、入力された画像信号から抽出する。

0045

なお、顔検出部30は、予め人間の顔面を表す濃淡モノクロ)画像信号を記憶した記憶部を備えるようにしてもよい。そこで、顔検出部30は、記憶部から読み出した濃淡画像信号と入力された画像信号との相関値を複数の画素を含む画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックを顔面の領域と検出する。
その他、顔検出部30は、入力された画像信号に基づいて特徴量(例えば、Haar−Like特徴量)を算出し、算出した特徴量に基づいて予め定めた処理(例えば、Adaboostアルゴリズム)を行って顔面の領域を検出してもよい。顔検出部30が顔面の領域を検出する方法は、上述の方法に限られず、入力された画像信号から顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。
顔検出部30は、検出した顔面の画像を表す顔面画像信号を特徴情報解析部37と目位置検出部31に出力する。顔検出部30は、生成した3次元顔面位置情報及び2次元顔面領域情報を操作者判別部39に出力する。顔検出部30は、生成した3次元顔面位置情報を検出情報の一部として検出情報出力部41に出力する。

0046

〔目の位置の検出〕
目位置検出部31は、顔検出部30から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部31は、検出した目の領域の代表点(例えば、重心点)である2次元の目位置座標を算出する。目位置検出部31は、検出した目位置座標に所在する画素における距離値を、距離算出部200から入力された距離情報から抽出する。目位置検出部31は、算出した2次元の目位置座標と抽出した距離値の組を、被写空間における3次元の目位置座標に変換して3次元目位置情報を生成する。目位置検出部31は、算出した3次元の目位置座標を表す3次元目位置情報を注目位置検出部35および操作者判別部39に出力する。目位置検出部31は、検出した目の領域の画像を表す目領域信号、算出した2次元の目位置座標を表す2次元目位置情報を操作者判別部39に出力する。

0047

目位置検出部31が目の領域を検出するために、例えば、予め撮影された目のテンプレート画像を記憶させた記憶部を備えておく。目位置検出部31は、記憶部から目のテンプレート画像を読み出し、読み出したテンプレート画像と入力された顔面画像信号を照合するテンプレートマッチング法を用いてもよい。また、目位置検出部31は、入力された顔面画像信号が表す顔面の領域のうち、予め設定された顔面における目の位置関係(例えば、予め計測された顔面の領域と両眼の位置)を表す目位置情報を用いて目の領域を検出してもよい。また、目位置検出部31は、入力された顔面画像信号に基づいて特徴量(例えば、Haar−Like特徴量)を算出し、算出した特徴量に基づいて予め定めた判別処理(例えば、Adaboostアルゴリズム)を行って目の領域を検出してもよい。
目位置検出部31が目の領域を検出する方法は、上述の方法に限られず、顔面画像信号から目の領域を検出する方法であれば、いかなる方法を用いてもよい。
目位置検出部31は、検出する目の領域として、両目の重心点にかかわらず、左目右目の位置や、これら全てを表す目領域信号を出力するようにしてもよい。

0048

〔手の位置の検出〕
手位置検出部32は、撮像部110aから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を算出する。
手の画像を表す領域を検出するために、手位置検出部32は、例えば予め設定した手の表面の色彩(例えば、肌色)を表す色信号値の範囲にある画素を、入力された映像信号から抽出する。手位置検出部32は、手の位置として検出した手の画像を表す領域の代表点(例えば、重心点)の2次元座標値を算出する。手位置検出部32は、算出した座標値に対応する距離値を、距離算出部200から入力された距離情報から抽出し、算出した2次元座標値と対応する距離値の組を被写空間における3次元座標に変換して3次元手位置情報を生成する。手位置検出部32は、検出した手の領域の画像を表す手画像信号と、算出した代表点の2次元座標値を表す手位置情報を手形状・指先位置検出部33に出力する。
手位置検出部32は、当該手位置情報を操作者判別部39に出力する。
また、手の画像を表す領域を検出するために、手位置検出部32は、距離算出部200から入力された距離情報に基づいて、顔検出部30から入力された3次元顔面位置情報が表す3次元顔面位置を基準とした予め定めた奥行方向の開始点終了点で表される距離範囲内にある画像を撮像部110aから入力された映像信号から手の画像を表す領域として抽出してもよい。予め定めた距離範囲は、例えば3次元顔面位置より前方(表示装置10側)にある範囲である。これにより、操作者の前方または後方にいる別人の手を、操作者の手と認識することを防ぐことができる。

0049

〔手の形状と指先位置の検出〕
手形状・指先位置検出部33は、手位置検出部32から入力された手画像信号と手位置情報に基づいて手の形状を検出する。
手の形状を検出するために、手形状・指先位置検出部33は、手画像信号から、例えばエッジ抽出処理を行って手の輪郭部分を検出する。手形状・指先位置検出部33は、検出した輪郭部分のうち予め定めた範囲の曲率半径(例えば、6−12mm)をもつ突起部分を指の領域の画像として探索する。手形状・指先位置検出部33は、探索において手位置情報が表す代表点からの所定の半径探索領域に前述の突起部分の有無を判断し、順次半径を変更することで探索領域を同心円状に更新する。手形状・指先位置検出部33は、検出した指の領域に基づいて指の本数を計数する。手形状・指先位置検出部33は、検出した突起部分の頂点を各指の指先位置を表す2次元座標として検出する。手形状・指先位置検出部33は、定めた指先における2次元座標に所在する画素の距離値を距離算出部200から入力された距離情報から抽出する。手形状・指先位置検出部33は、抽出した距離値と指先における2次元座標の組を被写空間における3次元座標を表す3次元指先位置情報を生成する。手形状・指先位置検出部33は、生成した3次元指先位置情報を注目位置検出部35に出力する。手形状・指先位置検出部33は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における2次元座標を表す2次元指先位置情報を検出情報の一部として検出情報出力部41に出力する。

0050

〔注目位置の検出〕
注目位置検出部35は、目位置検出部31から入力された3次元目位置情報と手形状・指先位置検出部33から入力された3次元指先位置情報に基づいて操作者が注目する位置である注目位置を検出する。注目位置検出部35は、例えば、3次元目位置情報が表す目の位置と3次元指先位置情報が表す指先の位置を結ぶ直線が、表示装置10と交わる交点を注目位置として算出する。注目位置検出部35は、算出した交点(被写空間における3次元座標)を表示装置10が表す画像に対する2次元の画像座標系に変換して、変換した座標を表す注目位置情報を生成する。注目位置検出部35は、生成した注目位置情報を検出情報の一部として検出情報出力部41に出力する。

0051

〔特徴情報の解析〕
特徴情報解析部37は、顔検出部30から入力された顔面画像信号に基づきユーザの属性(例えば、年齢性別表情)を表す特徴情報を生成する。年齢を表す特徴情報(年齢情報)として、例えば具体的な年齢に限らず予め定めた年齢層(例えば、10代、20代、幼年、青少年、青壮年、後年)を表す情報であってもよい。性別を表す特徴情報(性別情報)は、男性又は女性を表す情報である。表情を表す特徴情報(表情情報)は、例えば笑っているかいないかを表す情報である。表情情報は、笑顔である度合いを表す笑顔度を含んでいてもよい。

0052

年齢情報や性別情報を生成するためには、特徴情報解析部37は、例えば、年齢が既知である人間の顔面の画像や性別が既知である人間の顔面の画像を表す顔面画像信号を記憶させた記憶部を備える。特徴情報解析部37は、検出した顔面の領域の画像と記憶部から読み出した顔面画像信号との間の指標値を算出し、算出した指標値に基づいて年齢情報又は性別情報を定める。例えば、指標値として類似度を算出し、類似度が最大となる年齢情報又は性別情報を定める方法を用いてもよい。その他、指標値としてGabor特徴量を算出し、SVM(Support Vector Machine、サポートベクターマシン)を用いて年齢情報又は性別情報を判別する方法を用いてもよい。

0053

表情情報を生成するためには、特徴情報解析部37は、例えば、笑っている人間の画像を表す画像情報の各構成部(例えば、目、口)の輪郭情報と該構成部の位置を表す位置情報を予め記憶した記憶部を備える。特徴情報解析部37は、検出した顔面の領域の画像から各構成部の輪郭情報と該構成部の位置情報を生成し、記憶部から読み出した輪郭情報と位置情報とをそれぞれ照合する。

0054

これにより特徴情報解析部37は、年齢、性別、又は表情を表す特徴情報を推定する。特徴情報を推定する方法は、上述に限らず、顔面を表す画像情報から年齢、性別又は表情を推定する方法であればよい。
特徴情報解析部37は、生成した特徴情報を検出情報の一部として検出情報出力部41に出力する。

0055

〔操作者の判別〕
次に、操作者の判別処理について説明する。
操作者判別部39は、顔検出部30から入力された3次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能距離の領域に所在するユーザを操作者として判別する(図1、2参照)。操作者判別部39は、例えば、3次元顔位置情報が表す距離が予め定めた操作可能距離の上限よりも、撮像装置11からの距離が短い位置に顔面が所在するユーザを操作者として判別する。これにより、顔検出部30が顔面を検出したユーザの中から操作者が判別される。他方、操作者判別部39は、予め定めた操作可能領域外に所在するユーザを操作不可者として判別する。

0056

操作者判別部39は、操作可能領域に所在するユーザの身体(例えば、手)の一部が、操作開始検出範囲に所在するか否か判断する。操作開始検出範囲は、操作可能領域に含まれ、操作可能領域よりも狭い定めた領域である。操作者判別部39は、顔検出部30から入力された2次元顔位置情報や目位置検出部31から入力された2次元目位置情報に基づいて操作開始検出範囲を定める。これにより操作者からの操作が開始されたことを検知するとともに、同時に複数名からの操作受け付けられることを回避し、操作者1名のみの操作が受け付けられるようにする。

0057

次に、操作開始検出範囲の一例について説明する。
図8は、操作開始検出範囲の一例を表す概念図である。
図8は、左側に操作者13の正面を表し、右側に操作者13の左側面を表す。操作開始検出領域133は、例えば、撮像装置11から入力された映像信号が表す操作者13の画像に含まれる左眼131−1及び右眼131−2を結ぶ両眼の高さを表す線分134を含む領域である。即ち、線分134と平行であって顔面132の上端に接する線分135と、線分134と平行であって顔面132の下端に接する線分136に挟まれる領域である。ここで、操作者判別部39は、顔検出部30から入力された2次元顔面領域情報と目位置検出部31から入力された2次元目位置情報に基づいて操作開始検出領域を算出する。

0058

図7戻り、操作者判別部39は、手位置検出部32から入力された手位置情報が表わす代表点が、操作開始検出領域の範囲内にある場合、その代表点に手を所在させ、その操作開始検出領域に顔面が所在するユーザを操作者13と判断する。その場合、操作者判別部39は、その操作者に係る検出情報に基づいて操作が開始されたことを表す操作開始信号を検出情報出力部41に出力する。即ち、操作者判別部39は、このように操作開始検出領域を定めることにより顔面と同じ高さに手を移動させたユーザを操作者13と判断する。
操作者判別部39は、手位置検出部32から入力された手位置情報が表わす代表点が、操作開始検出領域の範囲外に離れた場合、その代表点に手を所在させた操作者13は操作を終了したと判断する。その場合、操作者判別部39は、その操作者に係る検出情報に基づいて操作が終了されたことを表す操作終了信号を検出情報出力部41に出力する。即ち、操作者判別部39が、ある操作者13について操作開始信号を検出情報出力部41に出力してから、操作終了信号を出力されるまでの間は、表示装置10は、操作者13と判断されたユーザの手の形状に基づく操作入力を受け付ける。他のユーザについて手位置情報が表す代表点が操作開始検出領域の範囲内にあったとしても、その間、表示装置10は、他のユーザからの操作を受け付けない。

0059

操作者判別部39は、操作可能領域に所在する他のユーザの有無を確認し、他のユーザがいると判断された場合、上述のように、いると判断された他のユーザが操作者13か否かを判断する。なお、他のユーザが複数名いる場合には、操作者判別部39は、手位置情報が表わす代表点が操作開始検出領域の中心に最も近接する1名のユーザを操作者13として定める。これにより、表示装置10は、新たな1名の操作者13からのみの操作入力を受け付け、同時に2名のユーザからの操作入力を受け付けない。

0060

図8では、操作者は、底面に対して水平な姿勢(例えば、起立)を取っている。しかし、操作者は、このような姿勢を取るとは限らず、例えば、操作者は底面上に横たわることがある。このような場合にも、操作者判別部39は、上述のように操作開始検出範囲を定めて操作者13を判断することによって、操作者の姿勢によらず安定した判断が可能であり、誤検出を回避することができる。このことを次に説明する。

0061

図9は、操作開始検出範囲のその他の例を表す概念図である。
図9に示す例では、操作者13は、底面137の上を横たわっている。このとき、左眼131−1及び右眼131−2を結ぶ線分134と底面137となす角度θは、0°よりも90°に近い角度(例えば、20°)である。
この場合、操作者判別部39は、目位置検出部31から入力された2次元目位置情報に基づいて左眼131−1及び右眼131−2を結ぶ線分134を定める。操作者判別部39は、顔検出部30から入力された2次元顔面領域情報に基づいて顔面の上端に接し線分134に平行な線分135と顔面の下端に接し線分134に平行な線分136を定める。操作者判別部39は、線分135と線分136に挟まれる領域を操作開始検出領域133と定める。このように操作者判別部39は、操作者13の身体の一部である顔面の位置に基づいて操作開始検出領域133を定め、操作入力に係る身体の他部である手との位置関係に基づいて操作を受け付ける操作者を判別する。

0062

なお、上述では、操作者判別部39は、2次元目位置情報と2次元顔面領域情報に基づいて操作開始検出範囲を定める例について説明したが、本実施形態ではこれに限られない。操作者判別部39は、被写空間上の3次元座標を表す3次元目位置情報と3次元顔領域情報に基づいて操作開始検出範囲を定めてもよい。その場合、操作者判別部39は、3次元手位置情報が表す被写空間上の手位置が奥行方向の操作開始検出範囲(図8における操作開始検出開始位置(奥行方向)から開始される操作開始検出領域(奥行方向))にも含まれるか否かによって操作を受け付ける操作者か否かを判別するようにしてもよい。これにより、操作開始検出範囲と手位置との関係を、奥行方向の座標も考慮して誤検出を回避することができる。

0063

図7に戻り、検出情報出力部41には、顔検出部30、特徴情報解析部37及び操作者判別部から検出情報が入力される。検出情報出力部41は、操作者判別部39から操作開始信号が入力された場合、入力された操作開始信号に係る操作者の検出情報を制御部22に出力する。検出情報出力部41は、検出情報出力部41は、操作者判別部39から操作終了信号が入力された場合、入力された操作終了信号に係る操作者の検出情報の出力を終了する。
なお、ユーザ情報解析部201は、上述した方法や特徴量に限られず、入力された映像信号に基づいてユーザの特徴やユーザが指示する操作に係る情報を検出してもよい。

0064

〔案内画像の表示〕
制御部22は、情報DB21から案内画像信号を読み出し、読み出した案内画像信号を表示部12に出力する。表示部12は、制御部22から入力された案内画像信号に基づく案内画像を表示する。
案内画像とは、表示装置10が行う処理の種類毎に、手の形状を表す画像を含む画像である。即ち、案内画像は、表示されている手の形状のうちの一つを操作者が実行して、対応する処理を表示装置10に指示できることを表す。また、手の形状とは、静止した形状だけではなく時間経過に伴って変化する手の動作も含む。
制御部22が、案内画像信号を表示部12に出力する時期は、例えば、検出情報出力部41から検出情報が入力された時点である。この時期は、操作者13が操作開始検出領域(図8、9参照)内に手を挙げている時期に相当する。

0065

ここで、本実施形態に係る案内画像の一例について説明する。
図10は、案内画像の一例を表す概念図である。
図10において、長方形外枠は、表示部12の画面の表示領域を表す。表示部12の下方の破線で示された長方形は、案内画像80を表す。案内画像80は、4種類の処理の種類毎に手の形状又は動作を表す画像81−84を含む。画像81−84の真上には、それぞれ、対応する処理の内容を表す文字列が表示されている。例えば、画像81は、両手を広げて左右に往復して移動させることを表し、画像81の真上には「電源を切る」という電源断を表す文字列が表示されている。画像82は、両手の全ての指を握りながら上下に移動させることを表し、画像82の真上には「番組表を見る」という電子番組表EPG、Electronic Program Guide)を表示することを表す文字列が表示されている。画像83は、両手の人差し指中指を上方に立てて奥行方向に移動させることを表し、画像83の真上には「音を大きく」という音量を大きくすることを表す文字列が表されている。画像84は、両手の人差し指と中指を下方に立てて奥行方向に移動させることを表し、画像84の真上には「音を小さく」という音量を小さくすることを表す文字列が表されている。即ち、操作に習熟していない操作者13であっても案内画像を視聴することによって、目的とする操作を行なうためにとるべき手の形状および動作を把握することができる。
また、案内画像はこれに限定されたものではなく、手の形状および動作を視覚的に表す動画アニメーション)で構成された案内画像であってもよい。例えば、画像81では、両手を広げて左右に往復して移動する動画(アニメーション)で案内画像に表示してもよい。

0066

手形状認識による操作〕
制御部22は、検出情報出力部41から入力された検出情報から、3次元顔面位置情報、指画像信号、本数情報、2次元指先位置情報、注目位置情報、特徴情報を抽出する。手の形状を表す手形状情報は、抽出された情報のうち、指画像信号、本数情報、2次元指先位置を含んで構成される。手形状情報は、一時的又は静止した手の形状、即ち姿勢を表す情報であってもよいし、時間経過によって変化する手の形状、即ち動作を表す情報であってもよい。
制御部22は、予め操作対象となる処理の種別毎に手形状情報を対応付けられて記憶された記憶部を備える。制御部22は、記憶部から手形状情報を読み出し、読み出した手形状情報と入力された手形状情報を照合する。制御部22は、照合に成功した手形状情報に対応した処理を実行する。例えば、入力された手形状情報が、画像82に示されるように両手の全ての指を握りながら上下に移動させることを表す場合、制御部22は、番組表情報を情報DB21から読み出し、読み出した番組表情報を表示部12に出力する。
上述の手の形状は、図10に示したものに限られず、表示装置10の処理の種類に対する指示として特定できればよい。例えば、伸ばしている指の本数、手の方向、親指先端と人差し指の先端を接触させた形状であってもよい。また、本実施形態では、操作者の手の形状に限られず、身体の他の部分の形状を用いてもよい。

0067

〔案内画像の表示タイミングの制御〕
操作に習熟した操作者にとって、案内画像80が表示されてから操作を行うことが煩わしい場合がある。例えば、制御部22は、検出情報出力部41から検出情報が入力された時点で案内画像を表示しなくともよい。但し、制御部22は、記憶部から読み出した手形状情報と入力された手形状情報との照合に失敗した場合に、案内画像を表示する。これにより、操作者に対して照合に失敗した場合に所望の処理を行わせるための操作内容の確認を促すことができる。
また、制御部22は、操作者毎に異なったタイミングで案内画像を表示してもよい。例えば、初めて操作を行う操作者や、操作に不慣れな操作者に対して、I.案内画像を表示する場合(I.案内画像表示)がある。また、操作に習熟している操作者に対して、案内画像を表示せず当初から検出情報を受け付ける場合(II.直接操作)がある。

0068

次に、本実施形態に係る制御部22が処理を行うタイミングについて説明する。
図11は、本実施形態に係る制御部22が処理を行うタイミングを表す概略図である。
図11において、横軸時刻縦軸は、上から下へ順にI.案内画像表示、II.直接操作を表す。横軸の左端は、ともに制御部22が最初に検出情報が入力された時点を表す。
I.案内画像表示について、制御部22は、検出情報が最初に入力されてから予め定めた時間T1だけ経過するまでの間、案内画像信号の出力を待機する。制御部22は、時間T1が経過した時点において、案内画像信号を表示部12に出力する。制御部22は、検出情報出力部41から検出情報が入力されると、入力された検出情報に対応する処理を実行し、表示部12は、表示している案内画像を消去する。
II.直接操作について、制御部22は、検出情報が最初に入力されてから、検出情報出力部41からの検出情報を待ち受ける。制御部22は、検出情報出力部41から検出情報が入力されると、入力された検出情報に対応する処理を実行する。

0069

制御部22が、案内画像を表示するタイミングを区別するために、例えば、ユーザ情報解析部201は、ユーザ認識部を備え、操作者を認識し、認識した操作者毎の習熟度を判断してもよい。ここで、ユーザ認識部は、予め操作者毎に顔面画像信号を記憶させておいた記憶部を備え、顔検出部30から入力された顔面画像信号と照合がとれた操作者を認識する。制御部22は、認識された操作者による検出情報に対応する処理を実行すると、実行されたことを表す処理実行信号をユーザ認識部に出力する。ユーザ認識部は、制御部22から処理実行信号が入力された回数を累積し、累積した回数を表す回数情報を、検出情報出力部41を通じて制御部22に出力する。制御部22は、ユーザ認識部から入力された回数情報が表す回数が、予め設定された回数(例えば、30回)を越えない場合、当該操作者は習熟していないと判断し、案内画像を表示する。即ち、制御部22は、上述のI.案内画像に順じたタイミングで処理を行う。制御部22は、ユーザ認識部から入力された回数情報が表す回数が、予め設定された回数を越えた場合、当該操作者は習熟したと判断し、案内画像を表示しない。即ち、制御部22は、上述のII.直接操作に順じたタイミングで処理を行う。なお、本実施形態では、操作者の習熟度が高いほど、案内画像を表示するまでの時間T1が短くなるようにしてもよい。
これにより、操作に習熟した操作者による操作入力に対して、案内画像の表示が行われず、対応する処理が行われる。そのため、本実施形態に係る表示装置10では、操作の習熟の有無に関わらず快適に操作入力を行うことができる。

0070

情報DB21には、複数の種類の案内画像信号を、予め定めた距離区分と対応付けて記憶させておき、制御部22は抽出した3次元顔面距離情報が表す距離を含む距離区分に対応する案内画像信号を読み出すようにしてもよい。そして、制御部22は、制御読み出した案内画像信号を表示部12に出力し、表示部12は、制御部22から入力された案内画像信号が表す案内画像を表示する。例えば、表示装置10からの操作者13の距離が長い区分ほど、1つの案内画像に含まれる処理の種類の数を減少させ、各処理に対する操作を表す画面の面積(画素数)を増加した画像を表す案内画像信号を情報DB21に記憶させておく。また、処理内容を表示する文字を大きくした画像を表す案内画像信号を記憶させておいてもよい。このようにして、操作者13は、表示部12からの距離が長くなっても大きく表示された操作内容を明確に把握できるようになる。

0071

情報DB21には、複数の種類の案内画像信号を特徴情報と対応付けて記憶させておき、制御部22は抽出した特徴情報に対応する案内画像信号を読み出し、読み出した案内画像信号を表示部12に出力するようにしてもよい。例えば、操作者13の年齢層が高いほど、1つの案内画像に含まれる処理の種類の数を減少させ、各処理に対する操作を表す画面の面積(画素数)を増加した画像を表す案内画像信号を情報DB21に記憶させておく。また、処理内容を表示する文字を他の年齢層よりも大きくした画像を表す案内画像信号を記憶させておいてもよい。このようにして、年齢の高い操作者13でも、操作内容を明確に把握できるようになる。また、音量調整刻み幅を他の年齢層よりも大きくした画像を表す画像案内信号を情報DB21記憶させておき、制御部22は、その刻み幅に基づき音量調整に係る処理を行ってもよい。これにより、年齢の高い操作者13に対しては、他の年齢層よりも音量の調整量を大きくして便宜を図ることができる。

0072

例えば、操作者13の性別が女性の場合には、背景を赤色や色等の暖色系で表した案内画像信号や、アニメーション映画登場人物の表した案内画像信号を記憶させておいてもよい。このようにして、操作者13が女性であっても、親近感をもって表示装置10を操作できるようになる。
また、小児(例えば、10以下)である操作者13の年齢層に対して、処理内容を表示する文字をひらがなで表した案内画像信号や、アニメーション映画の登場人物の表した案内画像信号を記憶させておいてもよい。このようにして、操作者13が小児であっても、表示された操作内容を把握でき、親近感をもって表示装置10を操作できるようになる。
また、小児や高齢者(例えば、60歳以上)である操作者13の年齢層に対しては、処理内容を動画像で表す案内画像信号を記憶させておいてもよい。これにより、小児や高齢者でも操作方法を表示された動画を視聴して直感的に把握することができる。

0073

制御部22は、操作者13が意図しない微細な手の形状の変化を検出しないことで誤操作を回避している。そのために、制御部22は、一定時間間隔毎に予め定めた距離や位置の閾値よりも手の形状が変化した場合、その変化を検出したと判定し、その後、上述の手形状情報の照合を行う。ここで、制御部22は、抽出した3次元顔面距離情報が表す距離が長いほど、閾値を大きくする。これにより、表示装置10からの距離が長いほど、操作者13による手形状の変化を大きくしなければ、制御部22は、その変化を受け付けなくなる。ひいては、操作者13は、表示装置10からの距離が長いほど、手形状の変化をより大きくして操作入力することが促され、撮像装置11の解像度の影響を低減することができる。

0074

制御部22は、小児である操作者13の年齢層に対して、他の年齢層よりも手形状の変化を検出するための閾値を小さくしてもよい。これにより、手の大きさが十分発達していない小児であっても、表示装置10を快適に操作することができる。また、制御部22は、操作者13の年齢層が高いほど検出するための時間間隔を長くしてもよい。これにより、動作が緩慢な高齢者でも表示装置10を快適に操作することができる。
これにより、本実施形態では、操作者の特徴を表す特徴情報毎に案内画像の表示、その他の操作に係る処理を変更されるため、操作者の特徴に関わらず快適な操作を実現させることができる。

0075

処理フロー
次に、本実施形態に係るデータ入力処理について説明する。
図12は、本実施形態に係るデータ入力処理を表すフローチャートである。
ステップS900)撮像部110a、110bは、それぞれ映像を撮像し、撮像した映像信号を距離算出部200に出力する。撮像部110aは、映像信号をユーザ情報解析部201の顔検出部30、手位置検出部32に出力する。その後、ステップS901に進む。
(ステップS901)距離算出部200は、撮像部110a、110bから各々入力された映像信号に基づいて撮像装置11から操作者までの距離を、例えばステレオマッチング方式を用いて算出し、算出した距離情報を生成する。距離算出部200は、生成した距離情報をユーザ情報解析部201の顔検出部30、目位置検出部31、手位置検出部32、手形状・指先位置検出部33に出力する。その後、ステップS902に出力する。

0076

(ステップS902)顔検出部30は、撮像部110aから入力された映像信号が表す操作者の顔面の画像を表す領域を検出する。顔検出部30は、検出した顔面の領域に基づいて2次元顔面領域情報を生成する。顔検出部30は、距離算出部200から入力された距離情報から、2次元顔領域情報が表す2次元座標の画素に係る距離値を抽出する。顔検出部30は、前述の2次元座標と対応する距離値を、被写空間における3次元座標に変換して、3次元顔面位置情報を生成する。顔検出部30は、検出した顔面の画像を表す顔面画像信号を特徴情報解析部37と目位置検出部31に出力する。顔検出部30は、生成した3次元顔面位置情報及び2次元顔面領域情報を操作者判別部39に出力する。顔検出部30は、生成した3次元顔面位置情報を検出情報の一部として検出情報出力部41に出力する。

0077

目位置検出部31は、顔検出部30から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部31は、検出した目の領域に基づいて目位置座標を算出する。目位置検出部31は、検出した目位置座標に所在する画素における距離値を、距離算出部200から入力された距離情報から抽出する。目位置検出部31は、算出した2次元の目位置座標と抽出した距離値の組を、被写空間における3次元の目位置座標に変換して3次元目位置情報を生成する。目位置検出部31は、算出した3次元の目位置座標を表す3次元目位置情報を注目位置検出部35および操作者判別部39に出力する。目位置検出部31は、検出した目の領域の画像を表す目領域信号、算出した2次元の目位置座標を表す2次元目位置情報を操作者判別部39に出力する。その後、ステップS903に進む。

0078

(ステップS903)手位置検出部32は、撮像部110aから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を表す2次元座標値を算出する。手位置検出部32は、算出した座標値に対応する距離値を、距離算出部200から入力された距離情報から抽出し、算出した2次元座標値と対応する距離値の組を被写空間における3次元座標に変換して3次元手位置情報を生成する。手位置検出部32は、検出した手の領域の画像を表す手画像信号と、算出した代表点の2次元座標値を表す手位置情報を手形状・指先位置検出部33に出力する。手位置検出部32は、当該手位置情報を操作者判別部39に出力する。

0079

手形状・指先位置検出部33は、手位置検出部32から入力された手画像信号と手位置情報に基づいて手の形状を検出する。手形状・指先位置検出部33は、検出した手の形状に基づいて指の領域の画像を探索し、指の本数を計数する。手形状・指先位置検出部33は、各指の指先位置を表す2次元座標として検出し、検出した2次元座標に所在する画素の距離値を距離算出部200から入力された距離情報から抽出する。手形状・指先位置検出部33は、抽出した距離値と指先における2次元座標の組を被写空間における3次元座標を表す3次元指先位置情報を生成する。手形状・指先位置検出部33は、生成した3次元指先位置情報を注目位置検出部35に出力する。手形状・指先位置検出部33は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における2次元座標を表す2次元指先位置情報を検出情報の一部として検出情報出力部41に出力する。その後、ステップS904に進む。

0080

(ステップS904)操作者判別部39は、顔検出部30から入力された3次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能領域に所在するユーザを操作者として判別する。操作者判別部39は、顔検出部30から入力された2次元顔領域情報や目位置検出部31から入力された2次元目位置情報に基づいて操作開始検出範囲を定める。操作者判別部39は、操作可能領域に所在する操作者の手が、操作開始検出範囲に所在するか否か判断する。これにより操作者からの操作が開始されたことを検知する。操作が開始されたと判断された場合(ステップS904 Yes)、ステップS905に進む。操作が開始されていないと判断された場合(ステップS904 No)、ステップS900に進む。
なお、前述同様に、操作者判別部39は、被写空間上の3次元座標を表す3次元目位置情報と3次元顔領域情報に基づいて操作開始検出範囲を定めてもよい。その場合、操作者判別部39は、3次元手位置情報が表す被写空間上の手位置が奥行方向の操作開始検出範囲(図8における操作開始検出開始位置(奥行方向)から開始される操作開始検出領域(奥行方向))に含まれるか否かによって操作を受け付ける操作者か否かを判別するようにしてもよい。これにより、操作開始検出範囲と手位置との関係を、奥行方向の座標も考慮して誤検出を回避することができる。

0081

(ステップS905)制御部22は、検出情報出力部41から入力された検出情報から、操作者の手の形状を表す手形状情報として指画像信号、本数情報、2次元指先位置を抽出する。その後、ステップS906に進む。
(ステップS906)制御部22は、記憶部から手形状情報を読み出し、読み出した手形状情報と入力された手形状情報を照合する。制御部22は、読み出した手形状情報と入力された手形状情報との照合が成功した場合(ステップS906 Yes)、ステップS910に進む。制御部22は、読み出した手形状情報と入力された手形状情報との照合に失敗した場合(ステップS906 No)、ステップS907に進む。

0082

(ステップS907)制御部22は、案内画像出力待機時間(T1)を経過しているか否か判断する。案内画像出力待機時間(T1)を経過している場合(ステップS907 Yes)、ステップS908に進む。
制御部22は、案内画像出力待機時間(T1)を経過していない場合(ステップ907
No)、ステップS900に進む。
(ステップS908)制御部22は、予め定めた時間T1が経過した後、情報DB21から案内画像信号を読み出し、読み出した案内画像信号を表示部12に出力する。表示部12は、制御部22から入力された案内画像信号に基づく案内画像を表示する。その後、ステップS900に進む。

0083

(ステップS910)表示部12は、案内画像を表示している場合、案内画像を消去する。制御部22は、照合に成功した手形状情報に対応する処理を実行する。この処理とは、例えば、上述の表示装置10の機能に係る動作のいずれかである。また、その動作を行う際に表示する画像(例えば、ユーザインタフェースに関わる画面)を表す画像信号を情報DBから読み出し、読み出した画像信号を表示部12に出力する。その後、ステップS911に進む。

0084

(ステップS911)制御部22は、操作者による操作が終了したか否かを判断する。制御部22は、例えば、電源断を表す操作入力が入力された場合に操作が終了したと判断する。操作が終了していないと判断された場合(ステップS911 No)、ステップS900に進む。操作が終了したと判断された場合(ステップS911 Yes)、データ入力処理を終了する。

0085

なお、上述では、2台の撮像部110a、110bから各々入力された画像信号に基づいて操作者の身体までの距離を表す距離情報を取得する例をとって説明したが、本実施形態ではこれには限られない。例えば、撮像部110a、110bのいずれかを、その他の方式で被写体までの距離情報を取得する測距部に置き換え、測距部は取得した距離情報を、ユーザ情報解析部201に入力するようにしてもよい。
この測距部は、例えば、距離情報を取得する方式としてTOF(Time of Flight)法を用いる。TOF法では、光源として、例えば、LED(Light Emitting Diode、発光ダイオード)を用いて、光線放射してから被写体から反射した反射光を受信するまでの到達時間を計測する。到達時間の計測を、予め定めた分割された領域毎に行うことで、被写空間内の平面位置毎の距離情報を取得することができる。光源は、例えば、人間の眼に見えない赤外線を放射する赤外線発光ダイオードであるが、これには限られない。例えば、パルス照射することができるレーザ光源であってもよい。また、光線の振幅又は位相変調することができる位相変調器を備え、放射光と反射光の位相差に基づいて到達時間を算出してもよい。

0086

なお、上述では、制御部22がユーザ情報解析部から入力された検出情報として手形状情報に対応する種類の処理を行う例について説明したが、本実施形態ではこれには限られない。本実施形態では、身体の一部として手に限らず、他の部分、例えば腕、首、頭部、胴体部の形状を表す情報を含むユーザ情報を用いてもよい。また、当該ユーザ情報における形状とは、静止した形状に限らず、形状の時間変化である動作、姿勢を含んでいてもよい。当該ユーザ情報には、2次元の位置情報の代わりに3次元の位置情報を用いてもよい。

0087

このように、本実施形態によれば、撮像装置11が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第1位置情報を取得する。また、本実施形態によれば、第1位置情報に基づいてユーザを判別し、撮像装置11が撮像した映像に表されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、検出したユーザ情報に対応する処理を実行する。そのため、複数人の操作者が身体の形状を変化させて操作を試みても、同時に複数の操作に係る処理が衝突せずに快適な操作が可能になる。
また、本実施形態によれば、ユーザ情報に対応する処理を実行したタイミングによる、案内画像の表示の有無や、撮像装置が撮像した映像に基づきユーザの特徴を表す特徴情報を推定し、特徴情報によって表示態様が異なる案内画像を表示する。そのため、多様な特徴を有するユーザに対して快適な操作が可能になる。

0088

なお、上述した実施形態における表示装置10の一部、例えば、距離算出部200、顔検出部30、目位置検出部31、手位置検出部32、手形状・指先位置検出部33、注目位置検出部35、特徴情報解析部37、操作者判別部39、検出情報出力部41、及び制御部22をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムコンピュータ読み取り可能な記録媒体記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置10に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における表示装置10の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。表示装置10の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

0089

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

0090

10…表示装置、2a…データ入力装置、11…撮像装置、20…画像処理装置、200…距離算出部、201…ユーザ情報解析部、30…顔検出部、31…目位置検出部、32…手位置検出部、33…手形状・指先位置検出部、35…注目位置検出部、37…特徴情報解析部、39…操作者判別部、41…検出情報出力部、2b…表示制御装置、12…表示部、21…情報DB、22…制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する未来の課題

ページトップへ

おすすめの成長市場

関連メディア astavision

  • 人工筋肉・ソフトアクチュエータ

    人工筋肉とは、ゴムや導電性ポリマー、形状記憶合金、カーボン・ナノチューブなどで作られた伸縮性のアクチ…

  • MEMS・マイクロマシン・組込システム

    MEMS (Micro Electro Mechanical Systems:微小電気機械システム)…

  • がん医療

    国立がん研究センターの統計予測は、2015年の国内全がん罹患者数を982,100人、同死亡数を370…

ページトップへ

新着 最近公開された関連が強い技術

  • オリンパス株式会社の「医療用入力装置」が公開されました。(2017/08/03)

    【課題・解決手段】本発明に係る医療用入力装置は、指示信号の入力を受け付ける医療用入力装置であって、筐体をなす本体部と、本体部から一部が突出し、回転自在に設けられるトラックボールと、トラックボールが乗り ... 詳細

  • 株式会社ワコムの「手書きデータ描画方法及び手書きデータ描画装置」が公開されました。(2017/08/03)

    【課題】複数のページを含む汎用の紙媒体の各ページに書き込まれた筆跡を取得した後に、更に、適切に手書きデータをページごとに分類する。【解決手段】複数のページを有する紙媒体の各ページへのユーザによる筆記の ... 詳細

  • 株式会社コロプラの「ゲームプログラム」が公開されました。(2017/07/27)

    【課題】ゲームを進行しつつプレイヤ同士の会話を容易に行うようにする。【解決手段】複数のユーザによってネットワークを介して共有されるゲーム空間を構成するゲーム空間生成部と、タッチパネル15に、プレイヤキ ... 詳細

この技術と関連性が強い技術

この技術と関連性が強い人物

この技術と関連する未来の課題

関連する未来の課題一覧

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ