図面 (/)

技術 カメラ式マルチタッチ相互作用装置、システム及び方法

出願人 エプソンノルウェーリサーチアンドディベロップメントアクティーゼルスカブ
発明者 ニュルスタッド、トルモドネス,ハルヴァートダムハウ、ウイスティン
出願日 2011年11月22日 (9年0ヶ月経過) 出願番号 2013-539792
公開日 2014年7月17日 (6年4ヶ月経過) 公開番号 2014-517361
状態 特許登録済
技術分野 位置入力装置 表示による位置入力
主要キーワード 改造キット 作用対象物 タッチ感応式 三角法計算 光学的境界 形状制限 コンピュータ制御用 ペリスコープ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年7月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

コンピュータ画面対話式ホワイトボード、水平相互作用面ビデオウェブ会議システム文書カメラ背面投射スクリーンデジタル看板面テレビ画面又はゲーム装置などのコンピュータ座標面(12)の上方の高さの範囲内の相互作用体積(1)内で制御し相互作用して、例えば、指、手、足、他の対象物(例えば、ペンブラシ、ワイパ、及び更に特殊ツール)のなどの1つ又は複数の相互作用対象物(2)を使用して、ポインティングホバリング、選択、タッピングジェスチャ拡大縮小、描画、書込み及び消去を提供する装置、システム及び方法。装置と方法は、システム内で、全てのタイプのデータプロジェクタ(3)とその取付具スタンド(4)と共に使用されるか更にそれらに組み込まれ、またそのような相互作用表示システムを対話式にするためにフラットスクリーン(12)(LCD、プラズマ、OLED、背面投射スクリーンなど)と共に使用されてもよい。装置は、横方向位置(X,Y)を決定するためにきわめて短い距離又はより遠い距離から相互作用体積(1)をカバーして相互作用対象物(2)の姿勢を取得する単一のカメラ(5)からなる。

概要

背景

コンピュータとの人間相互作用に関する対象物カメラ式追跡、詳細には手と指の追跡
は、数十年間にわたって科学的、産業的及び商業的な関心を集めてきた。この計算集約
分野における業績報告は、非特許文献1と非特許文献2に示されている。報告された技
術の多くにおいて、オクルージョンの影響を低減しかつ追跡及びジェスチャ解釈頑強
するために、対象物が、1つ又は複数のカメラによって幾つかの異なる視点から観察され
る。

指タッチ及び指又は手ジェスチャ単一カメラで追跡するには、これらの対象物の影、
輪郭質感シルエット及び画像勾配のような特徴と、更に光沢表示面から反射されたミ
ラー画像とが抽出され利用されて、指又は手姿勢を計算しかつ例えば指タッチを実時間で
検出するための様々なモデルベース追跡システム更新される。

巧みな特徴抽出の例として、特許文献1は、側方光源によって照明された指からの影が
画面に触れているときは指によって最終的に不明瞭にされ、その結果、触れていないと
きは影が指に似て、一方、指が表面に触れているときには影が実質的に細くなってタッチ
を判定することができるという観察に基づく、単一カメラ撮像タッチスクリーンシステム
及び特徴抽出について述べている。しかしながら、独立クレームは、非特許文献3の20
05年から公表された科学論文によって予想される。

特許文献2、特許文献3、及び特許文献4は、主に、少なくとも2つのカメラ視点が座
標面の周囲に配置されて、対象物の座標三角測量法によって決定される指タッチ又はペ
ン用の対象物追跡システムについて述べている。

特許文献2は、単一カメラを使用することによりコンピュータモニタ画面の前でペン
び指タッチを検出し、1個又は幾つかの平面鏡から成るペリスコープ型光学システムによ
って、画面のすぐ前で体積を横方向に見る画面の2つの画像を記録して、ペン又は指の座
標と画面までの距離とを決定するシステムについて述べている。

特許文献3は、光を投射座標面に配置されているポインティング対象物の位置を決定
する光学デジタイザについて述べており、座標面の周囲に配置された検出器、好ましくは
1対の一次元イメージセンサが、座標面をカバーする視野を有し、コリメータが、検出器
の視野の高さを制限するように配置され、検出器が、座標面と実質的に平行なポインティ
ング対象物から投射される光の平行成分だけを受け取ることができ、遮蔽板が、投射され
た光以外のノイズ光が検出器の限定視野に入るのを防ぐために配置され、プロセッサが、
ポインティング対象物の位置を表わす座標を計算するために提供される。

特許文献4は、重なる視野を有し周辺に沿って典型的にはタッチ面の角に配置された少
なくとも2台のカメラを含み、ポインタの位置を三角測量によって検出し、ポインタタッ
チとタッチ面の上のポイントホバーを検出するカメラ式タッチシステムについて述べてい
る。

特許文献5と特許文献6は、主に、対象物から離れて配置されたカメラを使用し、また
カメラビュー内の1つ又は複数の平面鏡を使用して、対象物を様々な視点からまたカメラ
軸と実質的に垂直な方向から観察して、対象物の位置の検出を単純化する。

特許文献5は、書込面から離れた単一カメラと、前記書込面の方に傾けられ2つの各方
向X及びYに前記書込面の周囲に沿った2枚の平らな狭いミラーとを使用してポインティ
ング装置の代替視点を得て、書込面領域に沿った2つのミラー領域を取得し解析すること
によってX及びY座標を別々に得ることができる。

特許文献6は、試験物、即ち動物動きと関連付けられた挙動の三次元監視及び解
析システムについて述べている。このシステムは、試験対象動き挙動を解析できるよう
にするために、実カメラと少なくとも1台の仮想カメラとを含み、仮想カメラは、実カメ
ラの視野内で少なくとも1枚の平面鏡を使用し、取得されたカメラ画像の1つ又は複数の
領域内で解析することができる少なくとも1つの代替視点を表わすことによって実現され
る。

特許文献7では、関心領域内のポインタを検出する装置について述べられている。この
装置は、関心領域の第1の辺に沿って延在し光を関心領域の方に反射させる働きをする第
1の反射要素を含む。更に、この装置は、関心領域の第2の辺に沿って延在し光を関心領
域の方に反射させる働きをする第2の反射要素を含む。第2の辺は、第1の辺につなげら
れて装置の第1の角を定義する。第1の角の隣りには、第1と第2の反射要素の少なくと
も一方のほぼ平面内に非反射領域がある。少なくとも1つの撮像装置が、第1と第2の反
射要素からの反射を含む第1の関心領域の画像を取得して、関心領域内のポインタの位置
を決定することができる。

特許文献8では、ポイントインジケータ座標位置を検出する働きをする光学システム
が述べられている。光学システムは、上側面の近傍内の画像を対応する元の対象物に対し
成形することによって機能する。また、上側面の近傍内に配置された画像検出装置から
得られたピクチャ信号を処理する処理機構も含まれる。より詳細には、画像検出装置は、
読取り原点を含む画像取得領域を検出する。また、X方向反射鏡とY方向反射鏡も含まれ
る。ポイントインジケータ、例えば、書込みペンが、画像検出装置によって直接、またミ
ラーからの反射を介して検出され、その結果、光学システム内のポイントインジケータの
空間位置を決定するためのピクチャ信号が得られる。

更に、特許文献9では、入力された座標を正確に検出するための座標入力装置について
述べられる。装置は、座標入力領域の近くに配置された複数のセンサユニットを含み、セ
ンサユニットはそれぞれ、光放射を座標入力領域に投射する投射部分と、入射光センサ
ユニットで受け取る受光部分とを含む。装置は、また、座標入力領域の周囲に提供された
再帰的反射入射光を提供する複数の再帰的反射部分を含む。装置は、複数のセンサユニ
ットから得られた光遮蔽領域を含む光量分布に基づいて、ポインタのポインティング位置
の座標を計算することができる。複数のセンサユニットに関係する三次元光遮蔽検出領域
が、座標入力領域に対応する共通の三次元形状を有する。更に、三次元光遮蔽検出領域は
、ポインタの高さ方向の位置の変化が、複数のセンサユニットによって検出されたときの
光強度の変化率によって検出される三次元領域として定義される。

特許文献10では、情報のタッチ入力を可能にする大型画面タッチパネルシステムにつ
いて述べられている。このシステムは、動作中、画面の前側面から赤外線源によって照射
されるプラスチック材料画面を含む。動作において、人は、画面に触れて自分の手を揺ら
す。更に、システムのカメラが、ミラーを介して画面の後側を撮影して、コンピュータに
提供される写真データを生成する。写真データに基づいて、写真データを処理することに
よって、コンピュータが、人の手が赤外線を遮ることによりできる影領域を検出する。影
領域が、例えば手のサイズに対応する空間的拡がりを有するとき、画面に対する人の手の
空間位置の値を求めるために影領域の座標が決定される。

一般に、人間‐機械相互関係システムでは、ユーザの意図と命令が、正確に認識される
ことが重要である。座標面におけるXとYの精度は、重要な場合も重要でない場合もある
。これは、用途に依存する。したがって、指タッチシステムは、例えば図形的対象物を移
動させるか選択するか又はメニューにアクセスするためにほどほどの精度が必要な場合に
魅力的であり、一方、スタイラス又はペンは、例えばCADプログラムにおいて細かい記
述又は描画、又は全ての詳細及び対象物の操作など最高精度が必要なときに好ましい。し
たがって、指式システムでは、単一カメラからの二次元画像に基づいて指の座標を決定す
る特徴抽出及び頑強な発見的方法が十分なことがある。

しかしながら、あらゆるタイプの用途にとって、指又はペンタッチの検出と関連する高
い精度は、最も重要でないものであり、かつユーザがアプリケーションを制御できなくな
ることがあるので失敗してはならない。したがって、タッチ状態の高い一定の検出品質が
、座標面内の全ての位置で必要される。更に、検出方法は、指サイズ、皮膚の色、周囲光
状態、表示照明などの変化の影響を受けにくくなければならず、検出は高速でなければな
らない。したがって、座標分解能精度があまり高くない場合でも、高品質、高頑強性及び
高速な指/ペンタッチ検出を保証するように良好なユーザ相互作用が設計され、最良のシ
ステムは、対象物の物理的な高さを座標面全体にわたって一定のスケーリングで提供する
ことができ、これにより、座標面全体にわたって均一に、ユーザに依存する挙動又は遅延
犠牲にすることなく、タッチ状態とホバリング状態の両方が決定される。

姿勢の決定には、スケーリングは、あまり重要でない。単一画像内に観察される異なる
特徴間の距離の比率は、例えば、実際の対象物が、例えば真っ直ぐ親指と真っ直ぐな人
差し指を有し同時に他の指が隠された手であることを決定するには十分なことがある。手
が、の人の大きい手か子どもの小さい手か、又はカメラレンズに近いので大きいのか遠
いので小さいのかは重要ではない。相対的な動きと、画像間から決定できるような付随
る姿勢のタイプを追跡することによって、そのようなシーケンスを、コンピュータ、携帯
機器及び埋込みシステムユーザインタフェースにある程度まで組み込まれた手ジェスチ
コマンドと解釈することができる。

教育共同作業及び会議のためにペン、タッチ又はその両方(デュアルモードシステム
)を使用する相互作用システムには大きな関心がある。デュアルモードマルチタッチ及び
マルチペン入力用に作成されたオペレーティングシステムグラフィカルユーザインタ
ェースは、タッチとペンとマウス入力を区別し、したがって、デュアルモード入力装置
、マルチタッチ、マルチペン及びマウスの情報をコンピュータに同時に報告しなければな
らない。また、幾つかの新しい相互作用プラットフォームは、単純なペン又は指ジェスチ
ャ制御、及び/又は更には手ジェスチャ式相互作用を可能にする。

具体的には、通常の教室と大講堂の両方で教育の範囲内で使用される対話式タブレット
及びホワイトボードには大きな世界的関心がある。そのようなホワイトボードは、また、
会議室テレビ会議室、及び共同作業室にも入る。対話式ホワイトボードの座標面上の画
像は、ショートスロー又はロングスローデータプロジェクタから投射された投射画像とし
て生成されてもよく、LCDディスプレイプラズマディスプレイ、OLEディスプレ
イ又は背面投射システムのようなフラットスクリーンによって生成されてもよい。タッチ
及び/又はペン用の入力装置は、画質を低下させたり機器を消耗させたりすることなく全
てのタイプの表示技術と共に使用できることが重要である。更に、入力装置技術を様々な
スクリーンプロジェクタ及び表示ユニット低コストと低労力で容易に適応できること
が重要である。

新しい対話式ホワイトボードは、一般に、ショートスロープロジェクタ、即ち超広角
ンズが画面の上の短距離に配置されたプロジェクタを装備する。この解決によって、ユー
ザは、自分の目に入る光によってあまり悩まされず、画面に影を作りにくく、プロジェク
タをボードと一緒に壁に直接取り付けることができる。したがって、そのようなショート
スローシステムに理想的な用のペン及びタッチ入力装置は、取り付けを単純かつ頑強にす
るためには、壁プロジェクタに組み込まれるかその横に取り付けられるか、プロジェクタ
壁取り付け部に取り付けられなければならない。

講堂内では、きわめて長い対話式ホワイトボードと相互作用スペースが必要とされ、そ
のような相互作用面は、タッチ、ペン及びジェスチャ制御を提供しなければならない。大
判スクリーンでは、公衆注意引き付けるためにポインティングスティックレーザ
インタが必要とされることが多い。好ましい入力技術は、全てのそのような種々の要件
適合しなければならず、即ち、ポインティングスティック及びレーザをユーザ入力ツール
として受け入れ、また様々な表示形式許容し適応できなければならない。

また、フラットスクリーン技術は、タッチ及び/又はペン操作、単純なペン及び/又は
タッチジェスチャ相互作用、及び最終的に手ジェスチャ制御を必要とすることがある。フ
ラットスクリーンの上に配置されたタッチ感応膜は、ホバリング又は空中ジェスチャを検
出できない。フラットスクリーンの後ろの純粋な電磁気ピックアップシステムは、指タッ
チ又は指ジェスチャを検出できず、電磁気ペン操作しか検出できない。しかしながら、幾
つかのタイプの平面ディスプレイ技術、詳細にはOLEDディスプレイは、透明でよく、
画面を介したジェスチャ制御にカメラ技術を使用することができる。ホバリングとジェス
チャを含むデュアルモード入力システムが、引き続きますます重要になり、効率的で自然
なユーザインタフェースを提供する標準になると、容量膜抵抗膜又は電磁気ソリューシ
ョンの代わりに、光学式入力システムが、平面相互作用画面には好ましくなると思われる
。したがって、好ましい入力装置技術は、光学式でなければならず、従来のフラットスク
リーン(LCD、プラズマ、LED)と、OLEDや背面投射スクリーンなどの透明なフ
ラットスクリーンの両方に適合しなければならない。

入力装置は、日光室内照明、プロジェクタ又は表示スクリーンからの光などの光源
影響を受けにくくなければならない。更に、入力装置は、太陽光人工光リモート制御
装置、及び通信近赤外線ダイオードを使用する類似物からの近赤外線の影響を受けにく
くなければならない。

入力装置は、更に、高い座標更新率を示し、最良ユーザ経験のための低遅延を提供しな
ければならない。

入力装置は、好ましくは、既存のインフラストラクチュアに収まり、例えば、既に取り
付けられているペン式対話式ホワイトボードモデルを改良して、指タッチ及び手ジェスチ
ャ制御を可能にするか、取付け型プロジェクタ又はフラットスクリーンが既に装備された
会議室又は教室を改良して、入力装置自体の単純な取り付けによって対話式になるように
適応可能でなればならない。

幾つかのシナリオでは、入力技術は、書込面の相互作業フィードバックなしに、例えば
、従来の黒板上のチョークスポンジからのストロークを正確に取得し、コンピュータの
制御のために手ジェスチャを認識するか、ペンと紙の通常使用(×印で消された文字を含
む)とコンピュータ制御用の単純なジェスチャを取得するか、署名を含む用紙又は質問表
記入することによりユーザ情報を取得することによって使用することができ、同時に、
その結果がコンピュータに記憶され、ユーザと聴衆が参照するために、入力又は入力の一
部の解釈が、通常のコンピュータ画面又は接続されたディスプレイ若しくはプロジェクタ
によって示される。即ち、このタイプの設備が利用できないか必要とされる場合は、入力
装置は、独立に使用できるか表示技術からコスト的に分離されなければならない。

対話式ホワイトボードが、教育で伝統的なチョーク及び黒板に置き換わるのと同じよう
に、新しい相互作用スペースが、他の領域で出現している。マルチユーザ相互作用垂直及
び水平面が、共同作業室、制御室博物館及び展覧会に導入される。

対話式ゲストテーブルを含む対話式スペースは、客が、例えばコンピュータゲームを行
い、インターネット閲覧し、ニュース読むことにより楽しみを得るのと同様に、メニ
ューから選択し、注文し、支払うことができるようにするために、バー、カジノカフェ
及び店に設置されている。対話式スペースは、コンテンツ提供者からの所定のシーケンス
だけでなく、タッチ及びジェスチャ制御からのユーザ入力によって動的に変更することが
でき、それにより看板が更に臨機応変で、情報が多く、使い勝手がよくなるデジタルコン
テンツと共にフラットディスプレイ又はプロジェクタスクリーンを使用するデジタル看板
内で利用される。相互作用看板で使用されるタッチ及びジェスチャ制御用の入力装置は、
破壊に耐える厚い窓を介してうまく機能し、あらゆる種類の表面とフラットスクリーン上
で簡単な取り付けでうまく機能し、屋内及び屋外の公共及び商業地域に取り付けて使用す
るのに適する。

概要

コンピュータ画面、対話式ホワイトボード、水平相互作用面、ビデオウェブ会議システム文書カメラ、背面投射スクリーン、デジタル看板面テレビ画面又はゲーム装置などのコンピュータの座標面(12)の上方の高さの範囲内の相互作用体積(1)内で制御し相互作用して、例えば、指、手、足、他の対象物(例えば、ペン、ブラシ、ワイパ、及び更に特殊ツール)のなどの1つ又は複数の相互作用対象物(2)を使用して、ポインティング、ホバリング、選択、タッピング、ジェスチャ、拡大縮小、描画、書込み及び消去を提供する装置、システム及び方法。装置と方法は、システム内で、全てのタイプのデータプロジェクタ(3)とその取付具スタンド(4)と共に使用されるか更にそれらに組み込まれ、またそのような相互作用表示システムを対話式にするためにフラットスクリーン(12)(LCD、プラズマ、OLED、背面投射スクリーンなど)と共に使用されてもよい。装置は、横方向位置(X,Y)を決定するためにきわめて短い距離又はより遠い距離から相互作用体積(1)をカバーして相互作用対象物(2)の姿勢を取得する単一のカメラ(5)からなる。

目的

装置は、また、座標入力領域の周囲に提供された
、再帰的反射入射光を提供する

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

少なくとも1つの対象物(2)の位置又は姿勢又は両方を決定する装置において、前記対象物(2)が、相互作用面(12)及び前記相互作用面(12)の上方の高さ次元における特定の高さ範囲によって区切られた相互作用体積(1)内に全体的又は部分的に配置された装置であって、カメラ(5)と、1つ又は複数のミラー部分を含むミラー機構(7)と、前記カメラ(5)からの情報に基づいて少なくとも1つの対象物(2)の位置と姿勢又はこれらの両方を計算する計算装置とを含み、前記カメラ(5)が、前記カメラ(5)の視野内に前記体積(1)と前記ミラー機構(7)の両方を含むように配置され、前記ミラー機構(7)において、前記1つ又は複数のミラー部分が、前記相互作用面(12)の前記座標面に前記少なくとも1つの軸外し凹状実質放物面光学ミラー要素を含み、各軸外し実質放物面光学ミラー要素が、その焦点が前記カメラの入射ひとみにあり、その軸が前記表面(12)と平行になるように配置され、その結果、前記体積(1)のビューが、各実質放物面光学ミラー要素の高さ次元がその軸に沿って一定に拡大されるように作成され、その結果、前記計算装置によって、前記対象物(2)の位置及び/又は姿勢が、前記カメラ(5)からの単一ピクチャの情報に基づいて決定される装置。

請求項2

1台のカメラ(5)だけを含む、請求項1に記載の装置。

請求項3

少なくとも1つの第2の対象物が、前記カメラ(5)の視野内にあるが必ずしも前記体積(1)内になく、前記少なくとも1つの第2の対象物の前記姿勢が決定され、その結果、前記第2の対象物の前記姿勢が、追加情報を提供することがある、請求項1又は2に記載の装置。

請求項4

前記軸外し凹状実質放物面光学ミラー要素が、軸外し凹状実質放物面ミラー機能を提供するフレネルミラー要素を含む、請求項1〜3のいずれか一項に記載の装置。

請求項5

前記軸外し凹状実質放物面光学ミラー要素が、前記軸外し実質放物面ミラー機能を提供するために組み合わせで配置されたミラー要素とレンズ要素とを含む、請求項1〜3のいずれか一項に記載の装置。

請求項6

前記ミラー要素が、線形である、請求項5に記載の装置。

請求項7

前記レンズ要素が、フレネルレンズである、請求項5又は6に記載の装置。

請求項8

前記ミラー要素は、反射が、金属化プラスチック材料膜、金属化プラスチック射出成形部品全内反射、又は金属化と組み合わされた全内反射によって提供される反射面を有する、請求項1〜7のいずれか一項に記載の装置。

請求項9

前記ミラー要素が、所定の波長範囲内の光を選択的に遮断又は通過させ、例えば可視光の反射が低減された状態でミラー要素が近赤外線で機能することを可能にするプラスチック材料及び/又は特殊被覆層を含む、請求項1〜8のいずれか一項に記載の装置。

請求項10

少なくとも1つのミラー部分が、前記相互作用面(12)の周囲の外側に配置されるように適応された、請求項1〜9のいずれか一項に記載の装置。

請求項11

前記少なくとも1つのミラー要素が、前記相互作用面(2)の縁の外側に沿った直線状押縁内に配置された、請求項1〜10のいずれか一項に記載の装置。

請求項12

前記少なくとも1つのミラー要素が、壁又はテーブル取付け部に配置されるように適応された半円形状に分散された、請求項1〜9のいずれか一項に記載の装置。

請求項13

前記ミラー機構(7)が、複数のミラー部分を有し、前記ミラー部分が、前記対象物(2)の複数ビューを提供するように構成された、請求項1〜12のいずれか一項に記載の装置。

請求項14

前記ミラー要素が、陰影を少なくしミラー画素間のマッピング特性を強化するためにモザイク構造で配置された、請求項13に記載の装置。

請求項15

複数のカメラを含み、前記カメラが、前記少なくとも1つの対象物(2)の複数ビューを提供し、陰影ができるのを防ぐために前記カメラからの直接見通し線の領域内にあるように配置された、請求項1〜14のいずれか一項に記載の装置。

請求項16

前記少なくとも1台のカメラ(5)が、前記ミラー機構(7)の前記少なくとも一部分の前記ビューを拡大する二焦点レンズを有するように配置された、請求項1〜15のいずれか一項に記載の装置。

請求項17

前記少なくとも1台のカメラが、特定波長の光を遮るか通過させる少なくとも1つの光学フィルタを含み、その結果、望ましくない光が阻止されるが、前記照明の前記波長範囲内の光が通過される、請求項1〜16のいずれか一項に記載の装置。

請求項18

前記少なくとも1台のカメラが、異なる波長範囲の光を選択的に遮断又は通過させる少なくとも1つの選択可能な光学フィルタを含み、その結果、前記照明又は可視光と同じ波長を有する光が、遮断又は通過される、請求項1〜17のいずれか一項に記載の装置。

請求項19

前記相互作用体積(1)の少なくとも一部分を、可視光及び/又は近赤外線で、直接及び/又はミラー機構(7)を介して間接的に照明するように配置された照明機構(6)を含む、請求項1〜18のいずれか一項に記載の装置。

請求項20

前記照明機構(6)が、前記照明をオンオフしかつ/又は前記カメラ(5)の有効露出期間内にフラッシュを提供して前記1つ又は複数の対象物(2)の動きをとどめるように制御された、請求項19に記載の装置。

請求項21

前記照明機構(6)が、前記カメラ(5)の入射ひとみの近く、即ち前記軸外し実質放物面要素の焦点の近くなるように配置され、前記ミラー機構(7)によって間接的に照明し、その結果、前記照明が、光線が前記相互作用面(12)と実質的に平行な状態で前記相互作用体積(1)内で広げられる、請求項19又は20に記載の装置。

請求項22

前記相互作用体積(1)の照明に寄与するように配置された別個の第2のミラー機構を含み、それにより、観察用の前記ミラー機構(7)が、照明にあまり晒されず、それにより前記装置を使用して行われる測定の信号対雑音比が高まる、請求項19〜21のいずれか一項に記載の装置。

請求項23

前記相互作用体積(1)の照明に寄与するように配置された別個の第2の照明機構(17)を更に含み、それにより、前記装置を使用して行なわれる前記測定の信号対雑音比が高まる、請求項19〜21のいずれか一項に記載の装置。

請求項24

前記照明機構(6)が、直接照明とミラー機構(7)を介した間接照明とを提供する働きをし、前記直接と間接照明が、前記1つ又は複数の対象物(2)の検出を改善するように別々に制御される、請求項19〜23のいずれか一項に記載の装置。

請求項25

前記照明システム(6)が、例えばコンピュータからユーザへの相互作用フィードバックとして有色及び/又は点滅照明投射することによって前記対象物(2)の外観を変化させる働きをする、請求項19〜24のいずれか一項に記載の装置。

請求項26

前記カメラ(5)から観察したときに空間情報を提供するように適応された追加の湾曲又は平面鏡要素(16)を更に有する、請求項1〜25のいずれか一項に記載の装置。

請求項27

対象物の前記位置若しくは前記姿勢又はこの両方の探索を三角測量法によって可能にするために一定距離で配列された2つのミラー部分を有し、それにより、前記対象物の前記直接カメラビュー内において閉塞状態の場合にも前記位置若しくは姿勢又はその両方が決定される、請求項1〜26のいずれか一項に記載の装置。

請求項28

レンズ光学系が、直接ビューと、1つ又は複数の別個のセンサを利用することによっる前記軸外し実質放物面ミラー要素を介したビューとのために分離された、請求項1〜27のいずれか一項に記載の装置。

請求項29

表現面の近くで対象物の相互作用使用を提供するための相互作用システムであって、前記相互作用システムが、請求項1〜28のいずれか一項による位置及び/又は姿勢を決定する装置を含み、前記相互作用システムが、更に、前記表現面に画像を提示するように構成された表現装置を更に含む、相互作用システム。

請求項30

反射投影スクリーン(12)を含み、前記カメラ(5)、前記光源(6)、前記プロジェクタ(3)が、前記スクリーン(12)の前記相互作用体積(1)と同じ側に配置された、請求項29に記載の相互作用システム。

請求項31

半透明背面投射スクリーン(12)を含み、前記カメラ(5)、前記光源(6)、前記プロジェクタ(3)が、前記スクリーン(12)の前記相互作用体積(1)と反対側に配置された、請求項29に記載の相互作用システム。

請求項32

半透明フラットスクリーン(12)、例えばOLEDを含み、前記カメラ(5)、前記光源(6)が、前記スクリーン(12)の前記相互作用体積(1)と反対側に配置された、請求項29に記載の相互作用システム。

請求項33

前記相互作用面(12)が、壁、テーブル又は手持ち式装置に配置された、請求項29〜32のいずれか一項に記載の相互作用システム。

請求項34

前記相互作用システムが、前記プロジェクタ(3)の取付け手段(4)を含み、前記少なくとも1つのミラー機構(7)が、前記システムの様々な構成要素のほぼ最適な位置決めを容易にするように前記取付け手段(4)と関連して配置された、請求項29〜30のいずれか一項に記載の相互作用システム。

請求項35

少なくとも1つの対象物(2)の位置若しくは姿勢又はこの両方を決定する方法であって、前記対象物(2)が、相互作用面(12)と前記相互作用面(12)の上方の高さ次元の特定の高さ範囲とによって区切られた相互作用体積(1)内に全体的又は部分的に配置されており、前記相互作用面(12)の前記平面に少なくとも1つの軸外し凹状実質放物面光学ミラー要素を含むミラー機構(7)を使用して、前記相互作用体積内の近くの体積内で対象物から放射を反射させる工程であって、各軸外し実質放物面光学ミラー要素は、その焦点がカメラの入射ひとみにありその軸が表面(12)と平行になるように配置され、それにより、前記体積(1)のビューが、各実質放物面光学ミラー要素の前記高さ次元をその軸に沿って一定に拡大して作成される工程と、カメラ(5)の視野内に前記体積(1)と前記ミラー機構(7)の両方を含むように配置された前記カメラ(5)によって反射光を記録する工程と、前記カメラから計算手段に情報を送る工程と、特にカメラ(5)からの情報に基づいて少なくとも1つの対象物(2)の位置と姿勢又はその両方を計算する工程とを含む方法。

請求項36

請求項35により前記位置若しくは姿勢又はその両方を決定する方法を含む、正確なタッチ及びホバリング情報のために相互作用面の上方の高さ次元を較正し制御する方法であって、前記相互作用面に半透明三次元パターン試験対象を配置する工程と、前記相互作用面を円形領域内で1つずつ強調する工程と、前記試験対象を前記カメラによって、直接と前記ミラー機構を介して側面とから観察する工程と、前記試験対象のパターン識別する工程と、座標面の座標から相互作用面座標に較正しマッピングしかつ/又は前記高さ測定を較正する工程と、タッチとホバリングのしきい値を決定する工程とを含む方法。

請求項37

対象物を見つける方法であって、前記対象物が、指、表面までの距離、三次元座標、及びタッチ及びホバリング状態であり、請求項35による前記位置若しくは姿勢又はその両方を決定する方法を含み、標準画像収集及び特徴抽出を行なう工程と、前面ビューとミラー視点において前記指の先端が前記カメラの入射ひとみで作る立体角を見つける工程と、前記ミラーが放物面又は放物面近似モデルの場合に直接線モデルを使用することによって指の表面までの距離を見つける工程と、前記立体角と前記表面までの距離とに基づいて前記指の三次元座標を見つける工程と、表面までの距離をしきい値と比較することによって前記指のホバータッチ状態を見つける工程とを含む方法。

請求項38

請求項35により前記位置若しくは姿勢又はその両方を決定する方法を含む、相互作用体積内の対象物を追跡するための計算及び探索を高速化する方法であって、前記ミラー機構を含む前記部分画像内で画像の標準画像収集と特徴抽出を行なう工程と、前記対象物の表面までの距離と、前記相互作用体積(1)に沿った放物面鏡要素の有効観測角を見つける工程と、前記対象物(2)の可能な全ての(X−Y)位置を表す、前記三次元相互作用体積(1)内の直線を見つける工程と、前記カメラ画素アレイ内の対応する二次元軌跡を、例えばルックアップテーブルによって見つける工程と、特定の経路幅を有する軌跡エッジ検出器横断し、アレイ(x−y)位置における候補対象物を見つける工程と、詳細なエッジ検出又はテンプレートマッチングを行なって正確なアレイ位置を見つける工程と、Zが分かっているときに、対応するX−Y位置を見つける工程と、Χ、Y、Ζ並びにタッチ及びホバー情報の1つ又は複数をコンピュータに報告する工程とを含む方法。

技術分野

0001

本発明は、例えば、カメラ式入力装置可視光及び/又は赤外線照明とを利用して領域
/空間内の対象物を追跡し、例えばコンピュータとの人間相互作用に関して1本又は複数
本の指又はペンを追跡するカメラ式マルチタッチ対話式ステム関し、このシステムは、
領域内の二次元位置とその領域の表面の上方の高さとを決定して、実際の二次元入力座標
を提供し、また「非アクティブ」(追跡なし)や「ホバリング」(触れていないときの追
跡、「範囲内」と呼ばれることもある)などの実際の相互作用状態と「タッチ」とを厳密
に区別することを可能にする。また、本発明は、例えばペン及び指タッチ入力の両方を可
能にしまた幾つかの対象物に同時に対応することができるマルチモーダル入力装置及びイ
ンタフェース、例えば、マルチタッチコンピュータ入力装置に関する。更に、本発明は、
次元型入力装置を使用してジェスチャを入力し、それにより例えば手や指の人間姿勢
取得する方法に関し、これらのシーケンスは、三次元制御のためのジェスチャコマンド
び/又は位置及び向き入力として認識され得る。

背景技術

0002

コンピュータとの人間相互作用に関する対象物のカメラ式追跡、詳細には手と指の追跡
は、数十年間にわたって科学的、産業的及び商業的な関心を集めてきた。この計算集約
分野における業績報告は、非特許文献1と非特許文献2に示されている。報告された技
術の多くにおいて、オクルージョンの影響を低減しかつ追跡及びジェスチャ解釈頑強
するために、対象物が、1つ又は複数のカメラによって幾つかの異なる視点から観察され
る。

0003

指タッチ及び指又は手ジェスチャ単一カメラで追跡するには、これらの対象物の影、
輪郭質感シルエット及び画像勾配のような特徴と、更に光沢表示面から反射されたミ
ラー画像とが抽出され利用されて、指又は手姿勢を計算しかつ例えば指タッチを実時間で
検出するための様々なモデルベース追跡システム更新される。

0004

巧みな特徴抽出の例として、特許文献1は、側方光源によって照明された指からの影が
画面に触れているときは指によって最終的に不明瞭にされ、その結果、触れていないと
きは影が指に似て、一方、指が表面に触れているときには影が実質的に細くなってタッチ
を判定することができるという観察に基づく、単一カメラ撮像タッチスクリーンシステム
及び特徴抽出について述べている。しかしながら、独立クレームは、非特許文献3の20
05年から公表された科学論文によって予想される。

0005

特許文献2、特許文献3、及び特許文献4は、主に、少なくとも2つのカメラ視点が座
標面の周囲に配置されて、対象物の座標が三角測量法によって決定される指タッチ又はペ
ン用の対象物追跡システムについて述べている。

0006

特許文献2は、単一カメラを使用することによりコンピュータモニタ画面の前でペン及
び指タッチを検出し、1個又は幾つかの平面鏡から成るペリスコープ型光学システムによ
って、画面のすぐ前で体積を横方向に見る画面の2つの画像を記録して、ペン又は指の座
標と画面までの距離とを決定するシステムについて述べている。

0007

特許文献3は、光を投射座標面に配置されているポインティング対象物の位置を決定
する光学デジタイザについて述べており、座標面の周囲に配置された検出器、好ましくは
1対の一次元イメージセンサが、座標面をカバーする視野を有し、コリメータが、検出器
の視野の高さを制限するように配置され、検出器が、座標面と実質的に平行なポインティ
ング対象物から投射される光の平行成分だけを受け取ることができ、遮蔽板が、投射され
た光以外のノイズ光が検出器の限定視野に入るのを防ぐために配置され、プロセッサが、
ポインティング対象物の位置を表わす座標を計算するために提供される。

0008

特許文献4は、重なる視野を有し周辺に沿って典型的にはタッチ面の角に配置された少
なくとも2台のカメラを含み、ポインタの位置を三角測量によって検出し、ポインタタッ
チとタッチ面の上のポイントホバーを検出するカメラ式タッチシステムについて述べてい
る。

0009

特許文献5と特許文献6は、主に、対象物から離れて配置されたカメラを使用し、また
カメラビュー内の1つ又は複数の平面鏡を使用して、対象物を様々な視点からまたカメラ
軸と実質的に垂直な方向から観察して、対象物の位置の検出を単純化する。

0010

特許文献5は、書込面から離れた単一カメラと、前記書込面の方に傾けられ2つの各方
向X及びYに前記書込面の周囲に沿った2枚の平らな狭いミラーとを使用してポインティ
ング装置の代替視点を得て、書込面領域に沿った2つのミラー領域を取得し解析すること
によってX及びY座標を別々に得ることができる。

0011

特許文献6は、試験物、即ち動物動きと関連付けられた挙動の三次元監視及び解
析システムについて述べている。このシステムは、試験対象動き挙動を解析できるよう
にするために、実カメラと少なくとも1台の仮想カメラとを含み、仮想カメラは、実カメ
ラの視野内で少なくとも1枚の平面鏡を使用し、取得されたカメラ画像の1つ又は複数の
領域内で解析することができる少なくとも1つの代替視点を表わすことによって実現され
る。

0012

特許文献7では、関心領域内のポインタを検出する装置について述べられている。この
装置は、関心領域の第1の辺に沿って延在し光を関心領域の方に反射させる働きをする第
1の反射要素を含む。更に、この装置は、関心領域の第2の辺に沿って延在し光を関心領
域の方に反射させる働きをする第2の反射要素を含む。第2の辺は、第1の辺につなげら
れて装置の第1の角を定義する。第1の角の隣りには、第1と第2の反射要素の少なくと
も一方のほぼ平面内に非反射領域がある。少なくとも1つの撮像装置が、第1と第2の反
射要素からの反射を含む第1の関心領域の画像を取得して、関心領域内のポインタの位置
を決定することができる。

0013

特許文献8では、ポイントインジケータ座標位置を検出する働きをする光学システム
が述べられている。光学システムは、上側面の近傍内の画像を対応する元の対象物に対し
成形することによって機能する。また、上側面の近傍内に配置された画像検出装置から
得られたピクチャ信号を処理する処理機構も含まれる。より詳細には、画像検出装置は、
読取り原点を含む画像取得領域を検出する。また、X方向反射鏡とY方向反射鏡も含まれ
る。ポイントインジケータ、例えば、書込みペンが、画像検出装置によって直接、またミ
ラーからの反射を介して検出され、その結果、光学システム内のポイントインジケータの
空間位置を決定するためのピクチャ信号が得られる。

0014

更に、特許文献9では、入力された座標を正確に検出するための座標入力装置について
述べられる。装置は、座標入力領域の近くに配置された複数のセンサユニットを含み、セ
ンサユニットはそれぞれ、光放射を座標入力領域に投射する投射部分と、入射光センサ
ユニットで受け取る受光部分とを含む。装置は、また、座標入力領域の周囲に提供された
再帰的反射入射光を提供する複数の再帰的反射部分を含む。装置は、複数のセンサユニ
ットから得られた光遮蔽領域を含む光量分布に基づいて、ポインタのポインティング位置
の座標を計算することができる。複数のセンサユニットに関係する三次元光遮蔽検出領域
が、座標入力領域に対応する共通の三次元形状を有する。更に、三次元光遮蔽検出領域は
、ポインタの高さ方向の位置の変化が、複数のセンサユニットによって検出されたときの
光強度の変化率によって検出される三次元領域として定義される。

0015

特許文献10では、情報のタッチ入力を可能にする大型画面タッチパネルシステムにつ
いて述べられている。このシステムは、動作中、画面の前側面から赤外線源によって照射
されるプラスチック材料画面を含む。動作において、人は、画面に触れて自分の手を揺ら
す。更に、システムのカメラが、ミラーを介して画面の後側を撮影して、コンピュータに
提供される写真データを生成する。写真データに基づいて、写真データを処理することに
よって、コンピュータが、人の手が赤外線を遮ることによりできる影領域を検出する。影
領域が、例えば手のサイズに対応する空間的拡がりを有するとき、画面に対する人の手の
空間位置の値を求めるために影領域の座標が決定される。

0016

一般に、人間‐機械相互関係システムでは、ユーザの意図と命令が、正確に認識される
ことが重要である。座標面におけるXとYの精度は、重要な場合も重要でない場合もある
。これは、用途に依存する。したがって、指タッチシステムは、例えば図形的対象物を移
動させるか選択するか又はメニューにアクセスするためにほどほどの精度が必要な場合に
魅力的であり、一方、スタイラス又はペンは、例えばCADプログラムにおいて細かい記
述又は描画、又は全ての詳細及び対象物の操作など最高精度が必要なときに好ましい。し
たがって、指式システムでは、単一カメラからの二次元画像に基づいて指の座標を決定す
る特徴抽出及び頑強な発見的方法が十分なことがある。

0017

しかしながら、あらゆるタイプの用途にとって、指又はペンタッチの検出と関連する高
い精度は、最も重要でないものであり、かつユーザがアプリケーションを制御できなくな
ることがあるので失敗してはならない。したがって、タッチ状態の高い一定の検出品質が
、座標面内の全ての位置で必要される。更に、検出方法は、指サイズ、皮膚の色、周囲光
状態、表示照明などの変化の影響を受けにくくなければならず、検出は高速でなければな
らない。したがって、座標分解能精度があまり高くない場合でも、高品質、高頑強性及び
高速な指/ペンタッチ検出を保証するように良好なユーザ相互作用が設計され、最良のシ
ステムは、対象物の物理的な高さを座標面全体にわたって一定のスケーリングで提供する
ことができ、これにより、座標面全体にわたって均一に、ユーザに依存する挙動又は遅延
犠牲にすることなく、タッチ状態とホバリング状態の両方が決定される。

0018

姿勢の決定には、スケーリングは、あまり重要でない。単一画像内に観察される異なる
特徴間の距離の比率は、例えば、実際の対象物が、例えば真っ直ぐ親指と真っ直ぐな人
差し指を有し同時に他の指が隠された手であることを決定するには十分なことがある。手
が、の人の大きい手か子どもの小さい手か、又はカメラレンズに近いので大きいのか遠
いので小さいのかは重要ではない。相対的な動きと、画像間から決定できるような付随
る姿勢のタイプを追跡することによって、そのようなシーケンスを、コンピュータ、携帯
機器及び埋込みシステムユーザインタフェースにある程度まで組み込まれた手ジェスチ
コマンドと解釈することができる。

0019

教育共同作業及び会議のためにペン、タッチ又はその両方(デュアルモードシステム
)を使用する相互作用システムには大きな関心がある。デュアルモードマルチタッチ及び
マルチペン入力用に作成されたオペレーティングシステムグラフィカルユーザインタ
ェースは、タッチとペンとマウス入力を区別し、したがって、デュアルモード入力装置は
、マルチタッチ、マルチペン及びマウスの情報をコンピュータに同時に報告しなければな
らない。また、幾つかの新しい相互作用プラットフォームは、単純なペン又は指ジェスチ
ャ制御、及び/又は更には手ジェスチャ式相互作用を可能にする。

0020

具体的には、通常の教室と大講堂の両方で教育の範囲内で使用される対話式タブレット
及びホワイトボードには大きな世界的関心がある。そのようなホワイトボードは、また、
会議室テレビ会議室、及び共同作業室にも入る。対話式ホワイトボードの座標面上の画
像は、ショートスロー又はロングスローデータプロジェクタから投射された投射画像とし
て生成されてもよく、LCDディスプレイプラズマディスプレイ、OLEディスプレ
イ又は背面投射システムのようなフラットスクリーンによって生成されてもよい。タッチ
及び/又はペン用の入力装置は、画質を低下させたり機器を消耗させたりすることなく全
てのタイプの表示技術と共に使用できることが重要である。更に、入力装置技術を様々な
スクリーンプロジェクタ及び表示ユニット低コストと低労力で容易に適応できること
が重要である。

0021

新しい対話式ホワイトボードは、一般に、ショートスロープロジェクタ、即ち超広角
ンズが画面の上の短距離に配置されたプロジェクタを装備する。この解決によって、ユー
ザは、自分の目に入る光によってあまり悩まされず、画面に影を作りにくく、プロジェク
タをボードと一緒に壁に直接取り付けることができる。したがって、そのようなショート
スローシステムに理想的な用のペン及びタッチ入力装置は、取り付けを単純かつ頑強にす
るためには、壁プロジェクタに組み込まれるかその横に取り付けられるか、プロジェクタ
壁取り付け部に取り付けられなければならない。

0022

講堂内では、きわめて長い対話式ホワイトボードと相互作用スペースが必要とされ、そ
のような相互作用面は、タッチ、ペン及びジェスチャ制御を提供しなければならない。大
判スクリーンでは、公衆注意引き付けるためにポインティングスティックレーザ
インタが必要とされることが多い。好ましい入力技術は、全てのそのような種々の要件
適合しなければならず、即ち、ポインティングスティック及びレーザをユーザ入力ツール
として受け入れ、また様々な表示形式許容し適応できなければならない。

0023

また、フラットスクリーン技術は、タッチ及び/又はペン操作、単純なペン及び/又は
タッチジェスチャ相互作用、及び最終的に手ジェスチャ制御を必要とすることがある。フ
ラットスクリーンの上に配置されたタッチ感応膜は、ホバリング又は空中ジェスチャを検
出できない。フラットスクリーンの後ろの純粋な電磁気ピックアップシステムは、指タッ
チ又は指ジェスチャを検出できず、電磁気ペン操作しか検出できない。しかしながら、幾
つかのタイプの平面ディスプレイ技術、詳細にはOLEDディスプレイは、透明でよく、
画面を介したジェスチャ制御にカメラ技術を使用することができる。ホバリングとジェス
チャを含むデュアルモード入力システムが、引き続きますます重要になり、効率的で自然
なユーザインタフェースを提供する標準になると、容量膜抵抗膜又は電磁気ソリューシ
ョンの代わりに、光学式入力システムが、平面相互作用画面には好ましくなると思われる
。したがって、好ましい入力装置技術は、光学式でなければならず、従来のフラットスク
リーン(LCD、プラズマ、LED)と、OLEDや背面投射スクリーンなどの透明なフ
ラットスクリーンの両方に適合しなければならない。

0024

入力装置は、日光室内照明、プロジェクタ又は表示スクリーンからの光などの光源
影響を受けにくくなければならない。更に、入力装置は、太陽光人工光リモート制御
装置、及び通信近赤外線ダイオードを使用する類似物からの近赤外線の影響を受けにく
くなければならない。

0025

入力装置は、更に、高い座標更新率を示し、最良ユーザ経験のための低遅延を提供しな
ければならない。

0026

入力装置は、好ましくは、既存のインフラストラクチュアに収まり、例えば、既に取り
付けられているペン式対話式ホワイトボードモデルを改良して、指タッチ及び手ジェスチ
ャ制御を可能にするか、取付け型プロジェクタ又はフラットスクリーンが既に装備された
会議室又は教室を改良して、入力装置自体の単純な取り付けによって対話式になるように
適応可能でなればならない。

0027

幾つかのシナリオでは、入力技術は、書込面の相互作業フィードバックなしに、例えば
、従来の黒板上のチョークスポンジからのストロークを正確に取得し、コンピュータの
制御のために手ジェスチャを認識するか、ペンと紙の通常使用(×印で消された文字を含
む)とコンピュータ制御用の単純なジェスチャを取得するか、署名を含む用紙又は質問表
記入することによりユーザ情報を取得することによって使用することができ、同時に、
その結果がコンピュータに記憶され、ユーザと聴衆が参照するために、入力又は入力の一
部の解釈が、通常のコンピュータ画面又は接続されたディスプレイ若しくはプロジェクタ
によって示される。即ち、このタイプの設備が利用できないか必要とされる場合は、入力
装置は、独立に使用できるか表示技術からコスト的に分離されなければならない。

0028

対話式ホワイトボードが、教育で伝統的なチョーク及び黒板に置き換わるのと同じよう
に、新しい相互作用スペースが、他の領域で出現している。マルチユーザ相互作用垂直及
び水平面が、共同作業室、制御室博物館及び展覧会に導入される。

0029

対話式ゲストテーブルを含む対話式スペースは、客が、例えばコンピュータゲームを行
い、インターネット閲覧し、ニュース読むことにより楽しみを得るのと同様に、メニ
ューから選択し、注文し、支払うことができるようにするために、バー、カジノカフェ
及び店に設置されている。対話式スペースは、コンテンツ提供者からの所定のシーケンス
だけでなく、タッチ及びジェスチャ制御からのユーザ入力によって動的に変更することが
でき、それにより看板が更に臨機応変で、情報が多く、使い勝手がよくなるデジタルコン
テンツと共にフラットディスプレイ又はプロジェクタスクリーンを使用するデジタル看板
内で利用される。相互作用看板で使用されるタッチ及びジェスチャ制御用の入力装置は、
破壊に耐える厚い窓を介してうまく機能し、あらゆる種類の表面とフラットスクリーン上
で簡単な取り付けでうまく機能し、屋内及び屋外の公共及び商業地域に取り付けて使用す
るのに適する。

0030

US2010/0066675A1
WO9940562(A1)
US006100538A
US2010188370(A1)
JP63292222
US2008152192(A1)
国際PCT特許出願番号WO2005/034027(A1)(Smart Technologies Inc.)
日本特許出願番号JP63292222(A)(Mitsubishi Electric Corp.)
日本特許番号JP4484796(B2)(Canon KK)
日本特許番号JP4033802(B2)(Advanced Telecomm Research Institute)

先行技術

0031

PavlovicらのIEEE Trans. Pattern Analysis and Machine Intelligence, vol 19, No.7, pp.677-695, 1997
Zhouらの IEEE Int. Symposium on Mixed and Augmented Reality, pp.193-202,2008
Andrew D. Wilson (ACMProc. UIST 2005, pp 83-92)

課題を解決するための手段

0032

本発明は、人間−機械対話における入力装置のために、座標面内の対象物の位置を追跡
し、所定の高さ範囲内の座標面にある体積内のホバリング及び/又はタッチ状態を検出し
、かつ/又は対象物の姿勢を認識し、
可視光及び/又は近赤外線を使用して画像を取得するカメラと、
座標面に配置されたミラー機構と、
計算装置とを有する装置、システム及び方法に関し、
カメラの視野が、座標面及びその上の体積とミラー機構との両方を含み、
ミラー機構が、体積の高さ次元をその軸に沿って一定に拡大するために、座標面と平行な
軸とカメラの入射ひとみ焦点を有する少なくとも1つの軸外し(off-axis)凹状実質放
面要素を含み、それにより、計算装置が、単一画像に基づいて、対象物の座標、そのホ
バリング及び/又はタッチ状態、並びに/又は姿勢特性を計算することができ、及び/又
は計算装置が、一連の画像に基づいて、対象物の動き及び/又は対象物のジェスチャを計
算することができる。

0033

カメラは、CCD又はCMOS撮像チップ又は類似物、及び座標面、体積及びミラー機
構を収容するのに十分な大きさの視野と実際の撮像チップ分解能に適応された実際の波長
範囲に十分な光学撮像品質とを有するレンズ又は類似物を含む。

0034

本発明は、座標面の周囲の外側面に分散された1つ又は複数の軸外し実質放物面要素を
含む少なくとも1つのミラー機構を有する。それぞれのそのような軸外し実質放物面要素
は、その焦点がカメラ入射ひとみにあり、その軸が表面と平行である。各軸外し実質放物
面要素の特性は、対象物が体積の内側又は部分的に内側にあるときに対象物から発する、
面と平行な1組の平行光線を平行にすることである。この特性は、実際の高さ、即ち対象
物と面との距離の測定値が、この要素にとって一定の倍率/スケーリングを有し、またミ
ラー要素をカバーする画像領域局所的に解析することによってこの実際の高さを容易に
決定できることを保証する。ミラー機構は、更に、各放物面要素からの様々な組の平行光
線が、デッドスポットなしに座標面の上方の全体積をカバーしており、その結果、少なく
とも1つのミラー要素が、常に、対象物が体積内にあるときに対象物をカバーし、また計
算装置が対象物の実際の高さを決定することができ、それにより対象物のタッチ状態及び
/又はホバリング状態を決定するのに十分な数の画素でカメラの視点から観察可能になる
ように適応されなければならない。また、カメラはミラー機構をその周囲を犠牲にして拡
大する幾つかの標準又は適応された二焦点レンズ又は類似物を備えてもよく、それにより
カメラセンサ画素アレイにおけるミラー機構の撮像分解能が、正確な高さを決定するの
に十分な分解能レベルに高まる。

0035

軸外し実質放物面ミラー要素は、座標面の上方の対象物の高さを取得するように適応さ
れた面に分散されているが、これらの後者のミラーをカメラの視点から観察したときに、
軸外し実質放物面ミラー要素の更に外側に、シーン空間情報を提供するための追加の湾
曲又は平面鏡要素が配置されてもよい。

0036

例えば、プロジェクタの機械的形状、壁取付け具のサイズなどにより、カメラの入射
とみと面との間の直接見通し線障害物がある場合は、様々な軸外し実質放物面ミラー要
素の配置と向きに更に制限ができる。好ましい実施形態では、そのような障害物の外側の
軸外し実質放物面要素の1組の配置領域が位置合わせされ、次に各要素の配置が、この組
から選択され、デッドスポットや陰影なしに座標面の上に十分均一に光ビームを分散させ
るように面に沿って軸方向に割り当てられ、この結果得られるミラー機構の形状は、滑ら
かで、かつ/又は製造を容易にし、取り付けを容易にし、審美的外観を良くするように、
例えば壁取り付け機構及び/又はプロジェクタ形状に適応されなければならない。

0037

好ましい実施形態では、ミラー機構は、入力装置の壁又はテーブル取付け部のまわりに
半円形に分散された1組の軸外し実質放物面要素である。この半円半径が小さいほど、
得られる光学系の角度が広くなり、対象物の幅の画像が、対象物とミラー表面との間の距
離により依存するようになる。この半径が小さすぎる場合は、画像が幅方向縮小されす
ぎるが、高さ次元は、対象物からミラーまでの距離と関係なく一定の拡大倍率を有するの
で、ミラーから遠い距離での対象物の高さの測定が難しくなる。所定の画像及びレンズ分
解能、ミラー表面品質及びセンサ光収支、並びに取り付け及び座標面幾何学形状に関して
、適切な半径選択肢を見つけることができる。

0038

代替の好ましい実施形態において、軸外し実質放物面ミラー要素は、座標面の周縁の少
なくとも1つの周縁に沿った少なくとも1つの直線状押縁に配列される。これは、対象物
から発する光線のよい可観測性と分散を保証する有益な配置であり、製造と取付けを容易
にすることができ、その結果、審美的外観が良好になることがある。

0039

幾つかの代替の実施形態では、ミラー機構は、様々な位置と高さの対象物から出る平行
光線を収集するためにそれぞれ配置された小さい軸外し実質放物面セグメントモザイク
として形成されてもよいが、セグメントの方向、配置及び高さの構造化が、空間制限又は
形状制限されたミラー機構に最も効率的に座標面の上方の体積をカバーするか、所定の最
小オブジェクトサイズ検出範囲に最も効率的なミラー機構形状を見つけるように最適化さ
れてもよい。モザイク構造を利用することによって、より多くの設計最適化労力と画像復
号複雑さを犠牲にして、観察を最適にし、影を少なくし、ミラー対画素のマッピングを良
好にする機構を見つけることができる。

0040

ミラー機構は、フライス加工旋削打ち抜き、三次元レーザ彫刻研磨及び/又はE
DMなどの様々な製造技術によって金属に直接製造されてもよい。しかしながら、大量低
コスト生産に適切にするために、プラスチック材料の射出成形プラスチックに付着され
金属被覆を使用できることが好ましく、それにより、ミラー機構の重量も小さくなる。
より高品質で高精度の面には、様々な種類の金属化ガラス基板が使用されてもよい。より
少量でより低品質のミラーには、曲率半径が大きいとき、基材接着されたミラー状金属
化プラスチック材料膜の熱成形及び真空成形が適している。また、あらかじめ研磨された
薄板金の打ち抜きと成形を使用して、ミラーを本発明の幾つかの好ましい実施形態に十分
な品質で作成することができる。

0041

ミラー機構は、また、プラスチック材料やガラスなどの材料内の全反射を利用すること
によって製造されてもよい。

0042

ミラー機構は、また、プラスチック又はガラス材料内の全反射を、(全反射が起こる臨
界角より小さい角度の)ミラー機能を保護し拡張するための金属被覆と組み合わせ利用す
ることにより製造されてもよい。

0043

幾つかの好ましい実施形態では、全反射を利用したミラーは、フレネル状セグメントに
よって作成することができる。また、ミラー機構は、幾つかの好ましい実施形態では、軸
外し実質放物面関数に必要な曲率を提供するために、所定の角度の平面鏡セグメントと、
プラスチック材料レンズ又はプラスチック材料フレネルレンズとの組み合わせによって製
造されてもよい。

0044

幾つかの好ましい実施形態では、軸外し実質放物面関数は、太陽エネルギー用途に作製
されるものように、レンズ又はフレネルレンズによって実現することができる。

0045

幾つかの好ましい実施形態では、ミラー機構は、所定の波長範囲内の光を選択的に遮断
又は通過させるプラスチック及び/又は特殊被覆の層で覆われてもよい。この場合、押縁
又はケーシングは、例えば、可視光でユーザ及び聴衆が観察したときに一定の暗褐色で均
質に見え、被覆の後ろのミラーは、撮像カメラからの所定の波長範囲内の近赤外線で完全
に機能する。

0046

幾つかの実施形態では、対象物を照明するために、周囲光及び/又はディスプレイから
の光(即ち、それぞれプロジェクタ又はフラットスクリーンからの光)を使用することが
できる。

0047

幾つかの好ましい実施形態では、対象物を直接及び/又はミラー機構を介して間接的に
照明するための可視光及び/又は近赤外線の照明機構が含まれる。

0048

幾つかの好ましい実施形態では、照明機構は、様々な画像のために照明を選択的にオン
オフするために、オン/オフ制御スイッチによって制御されてもよい。

0049

幾つかの好ましい実施形態では、照明機構内の照明光源機構は、移動対象物と関連した
動きをとどめるために、カメラの有効露出期間内でフラッシュ点灯する。

0050

幾つかの好ましい実施形態では、照明機構は、カメラの入射ひとみの近く、即ち、放物
面要素の焦点の近くに配置されて、ミラー機構を介して対象物を照明し、したがって、座
標面に所定の高さの範囲内である体積内で光を拡散させ、光線は座標面と主に平行である

0051

幾つかの好ましい実施形態では、照明機構は、対象物を直接照明するためにカメラの入
ひとみの近くに配置される。

0052

幾つかの好ましい実施形態では、ミラー機構を介して対象物を照明しまた対象物を直接
照明するための共通の照明機構がある。

0053

幾つかの実施形態では、ミラー機構を介して対象物を照明しまた対象物を直接照明する
ための別個の照明機構がある。

0054

幾つかの実施形態では、照明と観察のための別個のミラー要素機構があり、その結果、
座標面の上の対象物の高さを観察するための機構内のミラーは、照明機構自体にあまり晒
されず、したがって、光学的界面の望ましくない反射が減少し、それにより測定の信号対
雑音比が高くなる。

0055

幾つかの実施形態では、ミラーを介して対象物を照明する照明機構のオンオフ制御と、
接対象物を照明する照明機構のオンオフ制御とが分離され、その結果、照明機構からの
対象物の照明は、対象物をより適切に検出するため、例えば、横向き照明によって対象物
のまわりの輪郭を提供するために、様々な画像で選択的にオンオフされてもよい。

0056

幾つかの実施形態では、照明機構は、また、可視光(例えば、オンオフ制御を有する多
色発光ダイオード)を含み、それにより、対象物(例えば、指)を、ミラー機構を介して
有色光(例えば、緑)で照明して、例えば特定のインク色が緑であることを発表者に伝え
ることができる。同じように、点滅する赤を、発表者の指に、聴衆などが観察可能できな
一種の警報として信号を送ることができる。

0057

幾つかの好ましい実施形態では、カメラは、望ましくない光(即ち、平面ディスプレイ
又はプロジェクタスクリーンからの光及び/又は周囲光)を遮り、同時に照明と同じ波長
範囲を有する光を通過させる光学フィルタを含む。

0058

幾つかの好ましい実施形態では、カメラは、異なる波長の光を選択的に遮るか透過させ
、したがって、例えば、幾つかの画像では、照明と同じ波長を有する光を透過させ、他の
画像では、例えば、可視光だけを透過させ、プロジェクタ又はフラットスクリーンからの
画像を取得することができる1つ又は複数の選択可能な光学フィルタを含む。

0059

幾つかの好ましい実施形態では、本発明は、発明WO2001 NO00369/US
7083100B2及び/又はWO2006135241A1/US200904019
5A1と組み合わされてもよく、これらの発明において、対象物は、対象物を正確に追跡
しかつ/又は識別しかつ/又は前述の発明による可観察パターンを変更できるボタンなど
のような様々なユーザ対話制御の状態を検出するための手段として、表面及び/又はその
本体の内側に所定の波長範囲内で直接若しくは軸外し実質放物面要素を介して観察可能か
つ/又はスクリーンに投射されたパターンを備える。また、対象物の表面への近接又は対
象物の様々な内部構成要素間の近接が、WO2005050130/US7339684
B2に記載されたような発明を光学接近検出器と組み合わせることによって観察されても
よい。そのような好ましい実施形態では、そのようなパターン及び/又は近接情報の観察
は、特に、本発明のミラー機構によって行うことができ、これにより、完全な座標面の上
のこの光学情報の一定の拡大が提供される。

0060

幾つかの更なる好ましい実施形態では、照明機構がカメラの入射ひとみの近くに配置さ
れたことを利用するために、前述のパターンは、少なくとも所定の波長範囲用で周知の逆
反射原理を適用することによって対象物上に作成され、その結果、対象物の逆反射特性
より、直接観察及び/又はミラー機構を介した高輝度の観察が保証される。

0061

本発明の幾つかの好ましい実施形態では、単純なコンピュータ式較正手順を使用して、
表示座標に対する座標面の正確なマッピングを見つけることができる。一般的な方法は、
ディスプレイ上の幾つかの箇所に十文字を示すことによって、較正手順をユーザ支援する
ことであるが、マッピング(即ち、変換行列)を見つけるために手動ペン又は指タッチを
必要とする。

0062

本発明の幾つかの好ましい実施形態では、コンピュータプログラムは、例えばWO20
01 NO00369/US7083100B2及び/又はWO2006135241
A1/US2009040195A1で対象物を識別し追跡するために使用されるパター
ンを有する画像をディスプレイ上に出力してもよく、この画像は、座標面を表示座標にマ
ピングする変換行列を見つけるためにカメラによって自動的に認識されてもよい。本発
明が、座標面の上の体積内に配置された対象物の2つの異なるビューを撮像するので、本
発明の幾つかの好ましい実施形態は、高さ次元にも較正及び制御プログラムを含み、すな
わち直接とミラーを介してそれぞれ観察することができる試験対象を含めることによって
正確なタッチとホバリングのしきい値を正確に調整する。半透明三次元パターン対象物は
、この較正手順の一部としてディスプレイによって照明されてもよい。説明の例として、
例えば表面に沿った幾つかの不透明バンドを有する半透明円筒状試験対象及び/又は体積
内の不透明対象物は、ディスプレイ上に、較正プログラムによって1つずつ円形領域内の
幾つかの強調場所に配置される。ディスプレイは、そのような小さい円形領域の上に配置
されたときに半透明試験対象を照明し、その結果、その対象物を、カメラが直接見ること
ができまた本発明によるミラー機構を介して見ることもできる。試験対象は、本発明によ
るカメラの2つのビュー内で観察できるように、様々な試験対象を識別し区別し、座標面
の座標から表示座標へのマッピングを較正し確立し、かつ/又は所定の設置におけるタッ
チ及びホバリング状態のしきい値の決定を含む高さ測定を較正又は制御するように寸法決
めされた不透明及び透明な細部を有することができる。

0063

幾つかの好ましい実施形態では、WO2001 NO00369/US7083100
B2に記載されたように、ミラー機構及び/又はプロジェクタ取付け具及び/又は画面取
工具及び/又は書込面は、シーン内で対象物を正確に位置決めするための光学パターン
を有してもよい。これは、取り付け及び較正手順を実質的に単純化し、較正を、手動較正
工程又は外部コンピュータプログラムなしに、入力装置の計算装置によって内部で行うこ
とができる。

0064

本発明の目的は、典型的には協力ディスプレイも含むが必ずしも含まなくてもよい人間
機械インタフェースにおいてユーザからのX及びY方向の位置情報、並びにタッチ及び
ホバーの情報(Z方向。ユーザ動作情報を表わす)を提供することである。

0065

更に、本発明の目的は、コンピュータや他の電子機器用ヒューマンインタフェース
置で利用される高度なマルチタッチ相互作用に使用されることである。正確なタッチ制御
、手姿勢及びユーザジェスチャを含むユーザの相互作用における細かい詳細は、直接観察
と軸外し実質放物面ミラー機構を介した観察との組み合わせによって取得することができ
る。フラッシュ照明を直接又はミラー機構を介して使用することによって、全ての動きを
とどめてカメラ画像のスミアリングを防ぐことができる。本発明の幾つかの好ましい実施
形態では、照明は、別個の光学系を備えてもよく、それにより、照明と観察が同じ光学系
によって同時に行われるときに伴う反射が除去され、したがって信号対雑音比が高められ
る。

0066

本発明の幾つかの更なる実施形態では、近赤外線照明光源が使用される。更に、カメラ
は、可視光などを遮り、近赤外線だけを透過する光学フィルタを有することができる。そ
のような実施形態では、本発明は、日光、室内照明、プロジェクタからの光、表示光など
の他の光源の影響を受けにくくなる。

0067

本発明の利点は、相互作用対象物の拡大が、所定のミラーセグメントの全ての距離に関
して一定であることである。これは、大きな表面にわたって画像処理が単純できわめて正
確なシステムになることを意味する。本発明の目的は、きわめて頑強で正確なタッチ及び
ホバー検出システムを作成することである。

0068

更に本発明の利点は、壁及びテーブル上の前面投射及び背面投射システムに組み込むこ
とができることであり、またそのようなシステムを対話式にするために本発明を新しい機
器に組み込むか既存の機器に改造することができる。

0069

更なる利点は、本発明をプロジェクタ壁取付け具又は画面取付け具(LCD、OLED
など)に取り付けるか組み込むことができることである。

0070

本発明の幾つかの代替の実施形態では、きわめて高度な相互作用スペースのために、二
焦点カメラレンズを使用することにより、ミラー機構のまわりの画像を拡大してより正確
なタッチ及び高さ情報を得るによって、分解能を高めることができる。あるいは、機器を
小型化し、コストを削減し、設置を単純化するために、レンズ光学系は、直接ビューと軸
外し実質放物面ミラー要素を介したビューとのために分離されてもよい。これは、相互接
続された高速シリアルリンクによって2つの別個センサからの1対の画像の十分な露出
期とストリーミングを提供し、次に2つの別個のビューに最適化されたレンズ光学系を使
用する低コストのCMOS画像センサ技術を利用し、次に計算装置によって1対の画像に
同じ計算を実行することによって達成することができる。本発明に関して述べた高速化方
式は、そのようなデュアルセンサ/レンズ構成にも適用される。

0071

本発明は、低コストのCCD又はCMOSカメラ技術と、製造が容易かつ低コストの近
赤外線LED及び光学素子と、実際の用途のためにプログラムし易い信号処理集積回路
利用することができる。したがって、本発明は、大量生産で実現しやすい。

0072

幾つかのシナリオでは、本発明は、また、例えば、手の姿勢を、カメラの視野内である
が必ずしも定義された相互作用体積内ではない第2の相互作用対象物として決定すること
ができ、少なくとも1つの第1の対象物の姿勢が決定され、その結果、第2の対象物の姿
勢が、コンピュータとの人間相互作用内の追加情報を提供することができる。

0073

対象物を軸外し実質放物面ミラー機構によって観察することに基づく方法は、ホバーレ
ベル情報と同義の相互作用面の上方の高さZを明示的に提供する。単に様々な軸外し実質
放物面ミラー要素を表わすカメラ画素の上で単純なエッジ検出を実行することによって、
相互作用対象物の存在と高さを決定することができる。ミラー要素の画像領域の実際の変
化を検出するために、例えば、参照画像減法、画像の絶対差の発見正規化、ボルブ検
アルゴリズム(blob detecting algorithm)又はテンプレートマッチング技術によって
候補対象物を見つけるために更に容易に処理することができる例えば2進表現を見つける
しきい値化(即ち、1つ又は複数のしきい値の比較)などの様々なる画像処理方法を使用
してもよい。候補対象物は、相互作用面に沿って見るミラービュー内と、直接ビュー(即
ち、相互作用面自体のビュー)内の両方にあってもよい。いわゆる対応問題(即ち、2つ
の異なる視点からの対応画像情報が識別される)は、一般にきわめて複雑な問題であり、
また立体画法的かつ人工的な立体視覚システムにおける重要な問題である。軸外し実質放
物面ミラーを利用することによって、高さ(Z)情報は、遠近法のひずみなしに、相互作
用体積内の対象物の(X,Y)位置の関数として明示的かつ線形的に表わされる。したが
って、本発明の対応問題は、一般的な場合と比べて複雑さが低減されるが、後述する方法
によって更に単純化することができる。

0074

軸外し実質放物面ミラー機構によって対象物を観察することに基づく方法は、既に述べ
たように、ホバーレベル情報を明確に提供する。この方法は、また、軸外し実質放物面ミ
ラー要素を介したビューが、特定方向の相互作用体積に沿った外観であるという特徴を利
用することによって、相互作用対象物をより早く見つけることを可能し、即ち、幾つかの
対象物位置を1つの単一ミラー要素又は1群のそのような要素にマッピングし、少ない画
素数を有するカメラで観察することができる。対象物を見つける初期の探索のために、ミ
ラー機構と関連した限られたカメラ画素領域の画像処理により、対象物の高さと対象物が
配置された方向とが容易に見つかる。軸外し実質放物面要素が半円形に分散された前述の
ミラー機構では、高さ(Z)と、対象物に対する方向を表すアジマス(AZ)角とを直接
求めることができ、相互作用体積内の候補対象物位置の軌跡を決定することができる。こ
の軌跡を、例えばルックアップテーブルによって画像センサアレイにおける軌跡に変換す
ることができ、次に、例えば、この軌跡に沿って実行されるエッジ検出アルゴリズムによ
って軌跡を調べて対象物の存在を探すことができる。この方法は、全相互作用面に関する
画像センサアレイにおける完全な二次元調査と比較して、画像内の対象物を高い計算高速
化で見つける効率的な探索方法を提供する。

0075

更に、2つ以上のミラーを利用することによって、対象物の直接画像が直接カメラビュ
ー内に閉じ込められたときでも、本発明と共に冗長方式を利用して対象物の位置とホバリ
ングレベルとタッチを見つけることができる。ユーザは、直接カメラビューから見たとき
に、相互作用セッション中のペン、指又は手を、例えばそのユーザの他方の手又は頭で意
図せずに隠すことがあり、一方、相互作用面に沿った2つのミラーが、対象物を追跡し、
その高さを決定し、そのタッチ及びホバー状態を見つけ、所定のベース長とミラーに見ら
れるような対象物のアジマス角度三角法によってその位置を計算することができる。

0076

画像間で決定できるような相対運動と付随する姿勢のタイプを追跡することによって、
そのようなシーケンスを手ジェスチャコマンドと解釈することができ、このコマンドは、
コンピュータ、携帯機器及び埋込みシステムのユーザインタフェースにある程度組み込ま
れている。

0077

本発明は、教育、共同作業及び会議に適したペン、タッチ又は両方(デュアルモードシ
ステム)を使用した相互作用システムを提供する。オペレーティングシステムとグラフ
カルユーザインタフェースは、デュアルモードマルチタッチ及びマルチペン入力用に作成
され、タッチとペンとマウス入力を識別することができる。相互作用対象物及びペンを、
光学パターン及び指や手などの他の対象物と組み合わせることによって、画像認識及びパ
ターンマッチングを使用して、これらの入力モードを区別し、種々の相互作用対象物から
コンピュータへのデュアルモード情報を、マルチタッチ、マルチペン及びマウス情報とし
て、コンピュータに同時に提供することができる。また、幾つかの新しい相互作用プラッ
トフォームは、単純なペン又は指ジェスチャ制御、及び/又は更には手ジェスチャ式相互
作用を可能にする。

0078

本発明は、教室、講堂、会議室、テレビ会議室、及び共同作業室内の対話式タブレット
及びホワイトボードにおいて利用することができる。本発明は、ショートスロー又はロン
グスローデータプロジェクタと共に、又はLCDディスプレイ、プラズマディスプレイ、
OLEDディスプレイ又は後面投写システムのようなフラットスクリーンと共に、画質を
低下させたり機器を消耗させたりすることなく使用することができる。本発明に基づく技
術は、様々な画面、プロジェクタ及び表示ユニットに、低いコストと労力で容易に採用さ
れ得る。

0079

本発明は、取り付けを単純かつ頑強にするために、一般に壁に取り付けられたショート
スローに理想的であり、その理由は、壁プロジェクタに組み込むかその側面に沿って取り
付けることができか、プロジェクタ壁取付け具に取り付けることができるからである。

0080

本発明は、また、きわめて長い対話式ホワイトボード及び相互作用スペースが、タッチ
、ペン及びジェスチャ制御を提供するために必要され、ポインティングスティック及びレ
ーザポインタと相互作用することもでき、また様々な表示形式を許容でき対応可能である
講堂内で利用することもできる。

0081

本発明は、また、フラットスクリーン技術と共に利用されて、姿勢及びジェスチャ制御
を含む相互作用を可能にすることができる。本発明は、CMOS画像センサ及び信号処理
の使用に基づくので、システムは、高い座標更新率を示し、また最良のユーザ経験を提供
する低遅延を提供することができる。

0082

本発明による相互作用システムは、例えば既存の取り付けられたペン式対話型ホワイト
ボードモデルを改造して指タッチ及び手ジェスチャ制御を可能にするか、既にプロジェク
タ又はフラットスクリーンを装備した会議室又は教室を改造して、入力装置自体の単純な
取り付けによって対話式になるように、既存のインフラストラクチュアに収容されるよう
に極めて容易に適応可能でよい。

0083

本発明による相互作用システムは、また、共同作業室と管理室、博物館及び展示会のマ
ルチユーザ相互作用垂直及び水平面、レストラン内の相互作用ゲストテーブル、並びに屋
内及び屋外公共及び商業領域内のデジタル看板で使用することもできる。

0084

本発明は、また、高度なユーザマルチタッチ相互作用を教育及び事業市場に提供する。
本発明は、小型及び中型ディスプレイ、並びに大きく幅広い学校及び講堂用ホワイトボー
ドに適切になる。

0085

本発明は、また、教育、相互作用看板用、及び博物館と展示会において、ディスプレイ
と共に又はディスプレイなしに使用されてもよい。

図面の簡単な説明

0086

本発明は、本明細書において、添付図面を参照して、単なる例として説明される。

0087

本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、ショートスロープロジェクタマウントのまわりに半円形に構成されている。
図1に示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、フラットスクリーン上に半円形状で構成されている。
図1Bに提供されたような構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、プロジェクタ表示領域の真上の直線状押縁に沿って構成されている。
図3に示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、平面ディスプレイ領域の真上の直線状押縁に沿って構成されている。
図3Bに示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えばショートスロープロジェクタシャーシ又は取付け具のような障害を回避して、表示領域の外側に配置されたカメラからの直接見通し線の領域内のミラー要素を配置するように構成されている。
図5に示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、プロジェクタとカメラ取付け具の近くのテーブル上に半円形状で構成されている。
図7に示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、カメラ取付け具とフラットスクリーンの近くのテーブル上に構成されている。
図7Bに示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、背面投射システムのプロジェクタ表示領域の真上の直線状押縁に沿って構成されている。
図9に示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、透明スクリーン(例えば、OLED)システムの表示領域の真上の直線状押縁に沿って構成されている。
図9Bで示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、テーブルに取り付けられた背面投射システムのプロジェクタ表示領域の上面の真上に直線状押縁に沿って構成されている。
図11に示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、テーブルに取り付けられた透明スクリーン(例えば、OLED)の表示領域の真上の直線状押縁に沿って構成されている。
図11Bに示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えばテーブルに取り付けられた背面投射システムのプロジェクタ表示領域の上面の上に円形状に沿って構成され、即ち障害物を回避するためにカメラからの直接見通し線の領域内であるが表示領域の外側の要素内に構成されている。
図13に示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えばテーブルに取り付けられた透明ディスプレイ(例えば、OLED)画面の上面の上に円形状に沿って構成され、即ち障害物を回避するためにカメラからの直接見通し線の領域内だが表示領域の外側にある要素内に構成されている。
図13Bに示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えば壁取り付け型背面投射システムのプロジェクタ表示領域の上面の上に円形状に沿って構成され、即ち障害物を回避するためにカメラからの直接見通し線の領域内にあるが表示領域の外側にある要素内に構成される。
図15に示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えば、壁に取り付けられた透明ディスプレイ(例えば、OLED)画面の上面の上に円形状に沿って構成され、即ち障害物を回避するためにカメラからの直接見通し線の領域内にあるが表示領域の外側にある要素内に構成される。
図15Bに示された構成の側面図である。
本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、手持ち式装置に取り付けられた透明スクリーン(例えば、OLED)の表示領域の真上の直線状押縁に沿って構成されている。
本発明の好ましい実施形態による幾つかの例示的構成の典型的なカメラ画像の説明図であり、軸外し実質放物面要素のミラー機構が、様々な異なる方法で構成されている。
放物面及び軸外しセグメントの説明図である。
軸外し凹状実質放物面要素の例示的構成の説明図である。
軸外し凹状実質放物面要素の例示的構成の説明図である。
軸外し凹状実質放物面要素の例示的構成の説明図である。
軸外し凹状実質放物面要素の幾つかの製造上の制限の説明図である。
軸外し凹状実質放物面要素の幾つかの製造上の制限の説明図である。
本発明の好ましい実施形態によるミラー要素の例示的構成の説明図である。
指から面までの距離、体積内の指の三次元座標、及び指のタッチとホバリング状態の探索を容易にする例示的な方法を示すフローチャートである。
対象物を探索する高速化方法を示すフローチャートである。
本発明の好ましい実施形態により、表示スクリーンに対するカメラの較正を容易にする例示的方法の説明図である。
追跡パターンを有するペン、局所化制御パターンを有するミラー、及び局所化制御パターンを有する座標面の例示的構成の説明図である。
座標面の1つ又は複数の縁に沿って小さい押縁又はリストを使用して撮像し測定するための制御された背景を提供する例示的構成の説明図である。
空間情報を提供するために、カメラの使用によって観察される座標面の更に外側の追加の湾曲又は平面鏡要素と組み合わされた、座標面における軸外し実質放物面要素のミラー機構の例示的構成の説明図である。
座標面に対する対象物の高さを観察するために、照明用の別個の装置と組み合わされた座標面の軸外し実質放物面要素のミラー機構の例示的構成の説明図である。
ディスプレイ、協力コンピュータ及び本発明による装置を含むシステムの概略図である。
本発明の好ましい実施形態による例示的構成の説明図であり、直接ビュー及びミラービューが、低製造コスト、小型化、及び単純セットアップのために各ビューを最適化する光学系を有する2つの協力する分離されたイメージセンサによって取得される。
相互作用体積にあるカメラと対象物Pが観察することができる軸外し実質放物面ミラー要素M1及びM2から成る2つのセクションのミラー機構の例示的構成の概略図である。

実施例

0088

本発明は、人間−機械相互関係のカメラ式コンピュータ入力装置用の装置、システム及
び方法に関する。更に、本発明は、また、そのようなシステムを実現しそのような方法を
実行するために装置に関する。

0089

本発明の少なくとも1つの実施形態を詳細に説明する前に、本発明が、その用途におい
て、以下の記述で説明し又は図面に示す構成要素の構造及び構成の詳細に限定されないこ
とを理解されたい。本発明は、他の実施形態よって実現されてもよく、様々な方法で実践
又は実施されてもよい。更に、本明細書で使用される表現と用語は、記述のためのもので
あり、制限と見なされるべきでないことを理解されたい。

0090

本発明による相互作用入力装置、システム及び方法の原理及び動作は、図面及びそれに
付随する説明を参照してよりよく理解され得る。

0091

最初に、相互作用装置及び相互作用システムの原理について述べる。その後で、幾つか
の好ましい実施形態の詳細な説明が、その詳細なシステム動作原理と共に説明される。

0092

相互作用装置と相互作用システムの原理は、斜視図と側面図から分かるような本発明の
好ましい実施形態のハードウェア構成を概略的に示す図1図2に示された例示的構成を
参照することによって説明される。この実施形態のハードウェア構成要素は、壁取付け具
4上のカメラ5及び光源6と共に配置されたショートスローデータプロジェクタ3である

0093

壁取付け具4の外観と実用的実施態様は、大きく異なってもよいが、その主な目的は、
ショートスロープロジェクタ3、カメラ5及び光源6の1つ又は複数を画面に対して適切
な距離で配置し、好ましくは表示ピクチャ12の上の壁11に取り付けることである。表
ピクチャ12は、また、座標面12を表わし、好ましくは投射、ペン操作及びタッチに
適した滑らかな白色面に投射され、平面ディスプレイを使用する場合、相互作用面12は
、ペンとタッチ操作に対して頑強になるように、必要に応じて保護のために典型的にはガ
ラス又はプラスチック材料の特別の透明材料で保護されたディスプレイ自体である。デー
タプロジェクタ3は、視野9を有し、相互作用体積1内に実線長方形で表わされたよう
な表示ピクチャ12を投射する働きをする。

0094

例えば、ユーザの指及び/又は手である対象物2は、座標面の上方の特定の高さによっ
て限定された相互作用体積1内のコンピュータ又は類似物と相互作用することができる。
相互作用体積1の外側に少なくとも1つの軸外し実質放物面要素のミラー機構7を含み、
ミラー機構7の軸は、座標面と平行であり、その放物面焦点がカメラの入射ひとみにあっ
て、その軸に沿って体積の高さ次元の一定拡大を提供する。

0095

カメラ5は、相互作用体積1とミラー機構7を含む視野8を有し、それにより、対象物
の座標と対象物のホバー高さを計算することができ、そのホバリング状態及び/又はタッ
チ状態及び/又は姿勢特性を、計算装置によって処理された単一画像に基づいて導出する
ことができ、かつ/又は更に対象物の動き及び/又は対象物のジェスチャを、計算装置に
よって処理された画像のシーケンスに基づいて計算することができ、計算装置は、典型的
には、必須ではないがカメラ5に埋め込まれる。カメラ5は、例えば様々な波長範囲の光
を選択的に遮って、例えば日光及びディスプレイからの光の影響を減らす光学フィルタを
有してもよい。カメラ5は、また、周囲を犠牲にしてミラー機構7を拡大し、それにより
カメラ5のセンサ画素アレイ内のミラー機構7の結像の分解能を高める二焦点レンズを備
えてもよい。

0096

計算装置は、例えば何らかのシリアルバス規格及び回路(USBなど)を使用するか無
通信プロトコル及び装置を使用することによって、座標及び他の相互作用データをコン
ピュータ転送する通信手段(例えば、マイクロコントローラ)を有する。

0097

光源6は、指向性があり切替え式でよく、したがって対象物2を直接又はミラー機構7
を介して照明し、その結果、横方向の位置決めとホバー高さをそれぞれ決定するのに最も
適切な照明を選択することができる。対象物の横方向の位置決めでは、相互作用体積1に
入るときに対象物を横から照明する座標面と平行な光線のほぼ一定の高度場が形成され、
したがってカメラ5から直接観察したときに対象物2の輪郭を提供するので、ミラー機構
7を介した照明が好ましことがある。これに対して、ホバー高さの決定では、直接照明の
方が魅力的なことがあり(ミラー機構7を介した照明より)、したがって、信号対雑音比
を最大にするために光源6とカメラ5の光経路を離し、更にミラー機構7を介して観察さ
れたときに対象物2の輪郭を提供する。幾つかの例示的構成では、側方照明は、実質的に
類似のミラー機構によって行われてもよく、ミラー機構は、側方照明と側方観察の組み合
わせの信号対雑音比が最良になるように、観察に最適化されるように適応されたミラー機
構7から離される。

0098

本発明による全ての例示的構成及び好ましい実施形態では、図を分かり易くするために
ここでは省略されているが、プロジェクタ3、カメラ5(計算装置と通信手段を含む)、
光源6、壁取付け具4、ミラー機構7、及び表示座標面12などのハードウェア構成要素
の1つ又は複数を収容することができる少なくとも1個の外部遮蔽板又はシャーシを含ん
でもよい。外部遮蔽板又はシャーシの目的は、例えば、相互作用システムを頑強にし、保
守不要にし、防塵にし、使い勝手をよくし、より安全にし、製造し易くし、取り付けを単
純にし、かつシステムを所定の設計原理及び要素にしたがって見栄えよくすることでよい

0099

図1図2を更に参照すると、軸外し実質放物面要素のミラー機構7は、この例示的構
成では、好ましくは壁11上、プロジェクタ取付け具4上、又は座標面及びディスプレイ
12上に延在する面上に取り付けられた座標面及びディスプレイ12の上に主に半円形曲
率で配置される。この好ましい実施形態では、ミラー機構7は、壁取付け具の一体部分で
もよく、完全な対話式ホワイトボードの一体部分でもよい。ミラー機構7は、また、既存
のホワイトボード又はショートスロープロジェクタ設備をタッチ感応式になるように改造
するための改造キットに含まれてもよい。

0100

図1B図2Bを参照すると、ここに示された構成は、プロジェクタ3とプロジェクタ
表示面12が、ディスプレイ12用のフラットスクリーン(LCD、プラズマ、OLED
、背面投射など)によって置き換えられる点を除き、図1図2に関して前述したものと
類似している。

0101

図1B図2Bを更に参照すると、ディスプレイ12なしの独立構成は、従来の黒板上
のチョークとスポンジからのストロークと指タッチとを正確に取得するために利用される
ことがあり、取得された結果は、コンピュータに記憶され、入力又は入力の何らかの解釈
が、ユーザ及び/又は聴衆の参考のために、通常のコンピュータ画面によって示されるか
、接続されたディスプレイ又はプロジェクタによって示される。

0102

図3図4を参照すると、ミラー機構7は、表示及び座標面12の1つの縁(好ましく
上縁)の外側の直線に沿って配置された軸外し実質放物面要素を含む。ミラー機構7の
物理的外観の違いを除き、図1図2に関して述べたものと同じ特性と機能を有する。

0103

図3B図4Bを参照すると、構成は、プロジェクタ3とプロジェクタ表示面12が、
ディスプレイ12用のフラットスクリーン(LCD、プラズマ、OLED、背面投射など
)によって置き換えられた点を除き、図3図4に関して前述したものと類似している。

0104

図5図6を参照すると、ミラー機構7は、例えばプロジェクタ3のシャーシ又は壁取
付け具4による障害を防ぐために、カメラ5からの直接見通し線の領域内に配置されかつ
表示及び座標面12の外側にある軸外し実質放物面要素を含む。ミラー機構7の物理的外
観の点を除き、図1図2に関して述べたものと同じ特性及び機能を含有する。幾つかの
構成では、プロジェクタ3とプロジェクタ表示面12は、ディスプレイ12用のフラット
スクリーン(LCD、プラズマ、OLED、背面投射など)によって置き換えられる。

0105

図7図8を参照すると、システムが壁上で垂直に使用するように取り付けられるので
はなく、テーブル面12上で水平に使用するように取り付けられている点を除き、図1
図2に関して述べたものと同じ特性及び機能を有する。

0106

図7B図8Bを参照すると、構成は、プロジェクタ3とプロジェクタ表示面12が、
ディスプレイ12用のフラットスクリーン(LCD、プラズマ、OLED、背面投射など
)によって置き換えられた点を除き、図7図8に関して前述したものと類似している。

0107

図9図10を参照すると、システムが半透明背面投射スクリーン12に適応されてお
り、従って、カメラ5、光源6、プロジェクタ3及び壁取付け具4が、壁11の後ろにあ
り、一方、直線状押縁に沿った軸外し実質放物面要素のミラー機構7が、表示及び座標面
12の上の特定の所定の高さにある相互作用体積1を観察するために壁上の投射スクリ
ン12より上に取り付けられている点を除き、図3図4に関して述べたものと同じ特性
及び機能を有する。

0108

図9B図10Bを参照すると、構成は、プロジェクタ3とプロジェクタ表示面12が
、ディスプレイ12用の半透明フラットスクリーン(OLEDなど)によって置き換えら
れている点を除き、図9図10に関して前述したものと類似している。

0109

図11図12を参照すると、システムが、壁上で垂直に使用するように取り付けられ
ておらず、テーブル面12上で水平に使用するように取り付けられている点を除いて、図
9と図10に関して述べたものと同じ特性と機能を有する。

0110

図11B図12Bを参照すると、構成は、プロジェクタ3とプロジェクタ表示面12
が、ディスプレイ12用の半透明フラットスクリーン(OLEDなど)と置き換えられて
いる点を除き、図11図12に関して前述したものと類似している。

0111

図13図14を参照すると、軸外し実質放物面要素のミラー機構7が、例えばテーブ
ル内に取り付けられた背面投射システムのプロジェクタ表示領域の上側の上に円形に沿っ
て構成されるか、障害物を回避するためにカメラからの直接見通し線の領域内にあるが表
示領域の外にある要素内に構成された点を除き、図11図12に関して述べたものと同
じ特性と機能を有する。

0112

図13B図14Bを参照すると、構成は、プロジェクタ3とプロジェクタ表示面12
が、ディスプレイ12用の半透明フラットスクリーン(OLEDなど)と置き換えられて
いる点を除き、図13図14に関して前述したものと類似している。

0113

図15図16を参照すると、軸外し実質放物面要素のミラー機構7が、例えばプロジ
ェクタ表示領域12の上部の側面に円形に沿って構成されるか、障害物を回避するために
カメラ5からの直接見通し線の領域の要素内でかつ表示領域12の外側に構成された点を
除き、図9図10に関して述べたものと同じ特性及び機能を有する。

0114

図15B図16Bを参照すると、構成は、プロジェクタ3とプロジェクタ表示面12
が、ディスプレイ12用の半透明フラットスクリーン(OLEDなど)と置き換えられた
点を除き、図15図16に関して前述したものと類似している。

0115

図17を参照すると、対話式システムが、手持ち式装置内に取り付けられるように適応
された点を除き、図9B図10B図11B及び図12Bで述べたものと同じ特性及び
機能を有する。

0116

図18を参照すると、本発明の好ましい実施形態による幾つかの例示的構成の代表画像
が示され、軸外し実質放物面要素のミラー機構7は、(a)図1図2図1B図2B
図7図8図7B図8Bのように円形に沿って、(b)図3図4図3B図4
Bのように座標面12の縁と平行な直線状押縁に沿って、(c)図5図6のように障害
物を回避するためにカメラ5からの直接見通し線の領域内の要素に沿って、(d)対象物
2の複数のビューを提供することがある座標面12の縁と平行な2個、3個又は4個の直
線状押縁に沿って、(e)何台かのカメラ5の視点によってカバーされたきわめて広い座
標面12の上側の縁と平行な直線状で長い押縁に沿って、(f)障害物を回避するために
カメラ5からの直接見通し線の領域内にあり対象物2の複数のビューを提供する1つ又は
複数の要素に沿って構成される。この構成は、また、展示会と博物館内の相互作用看板と
相互作用ポスターに適用でき、幾つかの相互作用領域又はアイランドは、例えばユーザが
対話することができる情報コンテンツを有する三次元構造を有する領域間に確立されても
よい。

0117

図19を参照すると、焦点(p/2)を有する放物面19は、次の式で表され

0118

0119

軸外し実質放物面要素(ハッチ領域の上と点線楕円形の中)の一例が示される。

0120

ここで、ディスプレイ12からx=510mm離れた入射ひとみと、R=150mmの
外径とH=50mmの高さとを有するカメラ5の放物面要素の半円形ミラー機構7の例示
的な数値が提供される(即ち、ミラー機構7を介して高さ50mmを有する相互作用体積
1を観察することができる)。焦点は、次の通りである。

0121

0122

外径からの距離R−r(ここでRは外径、rは実半径である)を、放物面要素表面の実
際の高さhの関数として、幾つかの高さh値に関して以下のように求めることができる。

0123

0124

図19Bを参照すると、上記の数値例に関連する例示的なミラー機構7が示され、ここ
で、軸外し凹状放物面要素は、150mmの外径を有する円の176°の扇形に構成され
る。ミラー機構7は、高さ0〜50mmであり、ユニットの全体の高さは、60mmであ
る。部品は、ABSプラスチックでモールド成形され、アルミニウムによって金属化され
酸化による劣化を防ぐために薄い高分子層によって保護されてもよい。あるいは、金属
化プラスチック材料のシートを部品に接着することができるが、そのときは正確な二重湾
曲面は形成できない。

0125

図19Cを参照すると、図19Bで述べ上の数値例と関連したような例示的なミラー機
構7の金属化プラスチック材料シートの形状が示される。

0126

図19Dを参照すると、図19A図19B及び図19Cに示されたような例示的なミ
ラー機構7の斜視図が示される。ミラー機構7は、座標面12上に延在する表面に直接配
置されるか、壁11又は壁取付け具4に同じ高さで取り付けられるように適応される。

0127

図19Eを参照すると、例示的なミラー機構7は、特定の事例における幾つかの製造上
の制限により、ミラー表面を単一曲面にしかできないように設計されてもよい。図19E
は、理想的な軸外し放物面関数とこの線形化軸外し放物面関数の異なる形状を示す。単一
曲面の傾斜は、高さ=0でほぼ適正になるように適応され、従って、次h=0における「
最終タッチ」の読み取りがかなり正確になる。理想的な放物面関数を有するミラー機構7
の場合は、座標面11の上方の対象物の高さのミラーを介した読み取りは、そのまま一次
関数になって相互作用体積1内の実際の(X,Y)位置に依存せず、一方、そのように製
造された非理想的な放物面関数を使用するミラー機構7の場合は、対象物の高さの読み取
りが、例えばルックアップテーブルによって実施された(X,Y)位置により誤差項によ
って修正されなければならない。

0128

図19Fを参照すると、幾つかの製造上の制限により、例えば、軸外し凹状理想放物面
形状に近似させるために、2つの単一湾曲面、即ち2つの線形部分を有するように制限さ
れた例示的なミラー機構7が設計される。図は、理想的な軸外し放物面関数と、2つの線
形部分を有する軸外し実質放物面関数との形状の違いを示す。これらの形状アーティフ
クトは、ゆがみ角が適正でないので、対象物の画像を歪ませる。一般に、例えば製造上の
制限により、様々な線形化され、セグメント化され、又は他の近似化された関数を利用し
て、例えば図19Aの理想的な軸外し凹状放物面関数に近づけることができ、そのような
得られた軸外し凹状実質放物面要素は、センサの有限画像解像度とカメラの所定のレンズ
品質に十分適応された所定のシステム要件に従った十分な精度で対象物を観察し対象物の
ホバー高さを決定するのに十分な画質を提供することができる。

0129

図20を参照すると、本発明の好ましい実施形態によるミラー要素の例示的構成は、(
a)小さい軸外し実質放物面ミラーセグメントのモザイクと、(b)基材に接着されたミ
ラー状金属化プラスチック材料膜と、(c)ガラス又はプラスチック材料内の全内反射
利用したミラーと、(d)ガラス又はプラスチック材料内の全内反射を利用し、全内反射
用の臨界角より小さい角度でミラー機能の保護と拡張のために金属化を使用するミラーと
、(e)カメラがスクリーン(前投影)の前にあるときに平面鏡と1つ又は複数のフレ
ルレンズを利用して軸外し実質放物面関数に必要な湾曲を提供するミラーと、(f)カメ
ラがスクリーン(背面投射又は「透過」透明フラットスクリーン、例えばOLED)の後
ろにあるときに、平面鏡と1つ又は複数のフレネルレンズを利用して軸外し実質放物面関
数に必要な湾曲を提供するミラーと、(g)(e)及び(f)と同じように軸外し実質放
物面関数のためのフレネル状セグメントを利用するミラーとを含む。

0130

図21Aを参照すると、フローチャートは、表面までの指の距離を求め、体積内の指の
三次元座標を求め、タッチ及びホバリング状態を検出することを容易にする例示的な方法
の説明図を提供する。軸外し実質放物面ミラー要素は、対象物を観察するための代替視点
を表わし、このミラー要素は、相互作用体積内の相互作用面の上方の対象物のホバーレベ
ル、即ち高さ、又は直角距離Zを明示的に表わす。図21Aに示されたような単純な画像
収集及び特徴抽出は、カメラ画像アレイの2つの関心領域内、即ち直接、即ち同義的には
前面の視点とミラー視点内の候補対象物位置を見つけることができる。各ビューで、候補
対象物がカメラの入射ひとみで作る立体角を見つけることができる。ミラービューにおい
て、相互作用面(12)の上方の高さZは、明示的に求められ、2つの異なる二次元ビュ
ーの2つの観察及び画像処理によって三次元空間内の1つ又は複数のポイントを照合する
ことと関連した対応問題が、実質的に単純化される。

0131

図21Bは、対象物を見つけるための高速化方法を示すフローチャートである。この例
では、ミラー機構7は、例えば図19B図19Dに示されたような半円形軸外し実質放
物面ミラー部分であり、代表的な画像18Aでは、対象物が、ミラーを介してと直接の両
方で見える。

0132

カメラは、相互作用体積(1)の座標系における直線軌跡を表わすミラーを介して、対
象物(2)の高さZとアジマス角度を観察することができる。三次元相互作用体積(1)
内のこの直線は、所定のZとアジマスの場合に対象物(2)が取り得る全ての(X−Y)
位置を表わす。この三次元軌跡は、例えばルックアップテーブルによって見つけることが
できるカメラ画素アレイ内の二次元軌跡にマッピングされたレンズのための座標変換によ
るものであり、この軌跡は、ミラーに最も近い端から始まり、エッジ検出器アルゴリズム
が候補対象物を見つけることができる画素数を有する特定のパス幅でよい。次に、詳細な
部分画素エッジ検出又はテンプレートマッチングを行って、画素位置(x−y)を、より
高い精度で求め、次に、例えばルックアップテーブルによる逆座標変換によって変換する
ことができ、表面体積座標内の高精度(X−Y)を有する候補対象物の座標が計算される
。最後に、この探索アルゴリズムの後で、前述のようにΧ、Y、Ζ及び姿勢情報を報告す
ることができる。

0133

次元画素アレイ内の全検索アルゴリズムをエッジ検出器アルゴリズムと比較すると、
計算上の複雑さは、相互作用体積(1)をカバーする当該のアレイのサイズに比例し、前
述のアルゴリズムは、それほど複雑でなく、アレイの対角線の長さに実質的に比例し、そ
の結果、高速化係数は、センサの分解能と関心領域により、実質的に100x〜1000
xの範囲でよい。

0134

図22を参照すると、本発明の好ましい実施形態による、表示スクリーンに対するカメ
ラの較正を容易にする例示的な方法が示され、ここで(a)は、表示スクリーン上に十文
字が示され、オペレータがペン又は指を使用して所定の順序で十文字にタッチする標準の
手動較正手法であり、(b)は、発明WO2001NO00369/US7083100
B2及び/又はWO2006135241A1/US2009040195A1を用いて
様々な較正点を識別する自動較正手法であり、これらの発明は、参照により本明細書に組
み込まれ、(c)は、最初に(b)のようなパターンを使用して様々な較正点を識別し、
次に、内部不透明又は反射材料を有する半透明シリンダをオペレータが所定の順序で配置
する所定の場所に、黒い背景上に1組の白い円板を示し、それによりタッチ検出の制限を
設定又は制御することができる半自動的較正手法である。

0135

図23を参照すると、本発明と一緒に使用される(a)追跡パターン13を有するペン
、(b)局所化制御パターン13を有するミラー、及び(c)局所化制御パターン13を
有する座標面の例示的構成が示される。パターンは、例えば、参照により本明細書に組み
込まれるWO2001NO00369/US7083100B2及び/又はWO2006
135241A1/US2009040195A1のような対象物の識別及び追跡に使用
されるパターンでよい。更に図23を参照すると、そのようなパターン及びパターン認識
を使用することによって、ペン入力を、人間の指のような他の相互作用入力装置と識別す
ることができ、その結果、本発明及び実際の参照発明が、デュアルモード入力システムを
容易に実現することができる。図23を更に参照すると、相互作用面とミラーがそのよう
なパターンを備えても、その結果、本発明を他の参照発明と共に利用することによって、
自動制御、較正及び自己調整セットアップを実現することができる。

0136

図24を参照すると、典型的には白、黒、又は実際の近赤外線波長範囲内の逆反射光
特性14を有する、座標面の1つ又は複数の縁に沿った小さい押縁又はリスト15を使用
することによって撮像と測定のための制御された背景を提供する例示的構成が示される。
この例では、押縁/リストは、座標面の下のペン15としても働く。

0137

図25を参照すると、座標面にある軸外し実質放物面要素のミラー機構の例示的構成は
、平面の上方の対象物の高さを検出するように適応されて示されており、軸外し実質放物
面ミラー要素の更に外側の追加の湾曲又は平面鏡要素16は、これらのミラーがカメラの
視点から観察されたときにシーンの空間情報を提供するように適応される。この例示的構
成は、ミラー16内の対象物2を観察することによって相互作用体積1の外側の対象物2
の姿勢とジェスチャも追跡し決定する能力を高めることができる。また、より高度な人間
−コンピュータ相互作用シナリオでは、直接ビューとミラー16内のビューを観察して新
しい相互作用イベント予測することによって、ユーザのジェスチャと挙動を解析するこ
とができる。対象物2の三次元位置及び姿勢も評価することができる。

0138

図26を参照すると、座標面における軸外し実質放物面要素のミラー機構の例示的構成
は、照明を提供する他の照明装置17と組み合わされて、座標面に対する対象物の高さを
観察するために示され、それにより、座標面の上方の対象物の高さを観察するためのミラ
ー機構7自体は、直接照明にあまり晒されず、したがって、光学的境界の望ましくない反
射が減少し、それにより測定の信号対雑音比が高くなる。

0139

図27を参照すると、ディスプレイ12、協力コンピュータ18と本発明による装置1
9、協力コンピュータとディスプレイ12間の通信手段20、及び協力コンピュータと本
発明による本装置19間の通信手段21を含むシステムが示される。通信手段20は、必
要に応じて、無線データリンク及び/又は直接ケーブル接続リンク及び/又は光変調リン
クとして実現される。

0140

図28を参照すると、本発明の好ましい実施形態による例示的構成が示され、直接ビュ
ー及びミラービューが、別個の光学系と共に、2つの協力する分離されたイメージセンサ
23及び24によってそれぞれ取得されて、各ビューが、例えば高速シリアルリンク22
によって接続された、低コストの小型化された単純な装置に最適化される。破線10は、
様々な構成要素の1つ又は複数が、シャーシ10によって取り囲まれることがあることを
示す。図26に示されたような離間された照光ユニット17が、そのようなシャーシ10
に含まれてもよい。しかしながら、構成要素は、分離され、既存のプロジェクタ設置を改
造して対話式にするか、例えばペン型対話式ホワイトボードをタッチ感応式に改造するモ
ジュール式でもよい。必要に応じて、2つの別個のビューに最適化され、計算装置によっ
て1対の画像に同じ計算を実行するレンズ光学系が使用される。本発明に関して図21B
に述べた高速化方式は、そのようなデュアルセンサ/レンズ構成のおいても同じ高速化が
適用される可能性がある。

0141

図29を参照すると、直接カメラビューにおいて閉塞状態(occlusion)の場合に相互
作用対象物(2)並びにタッチ及びホバリング状態を見つける冗長方式は、例えば、2つ
のミラー機構7(ミラーM1とミラーM2)に適用される図21Bで述べた高速化手順に
よって発想され、ミラーM1とM2間の距離は、示されたような基線Lである。図21B
の方法に対応して、ミラーM1を観察することによって対象物Pのアジマスαと高さZ1
を見つけ、ミラーM2を観察することによって対象物Pのアジマスβと高さZ2を見つけ
ることができ、三角測量法によって相互作用面12又は相互作用体積1内の対象物位置(
X−Y)を見つけことができる。

0142

2つのミラーM1及びM2は、距離Lで配置され、即ち基線がLである。次に、長さL
の基線から標的Pまでの距離dは、次の通りである。

0143

0144

また、距離dは、次のように表わすことができる。

0145

0146

X及びY座標は、単純な三角法計算によって単純に導出することができる。

0147

座標変換又はルックアップテーブルによって、対応するセンサ画像(x−y)位置を見
つけることができ、(x−y)位置の近傍内の画像に詳細な画像解析を局所的に行ってよ
り正確な位置を得ることができ、この位置は、座標変換又はルックアップテーブルによっ
て、相互作用面(12)又は相互作用体積(1)座標系における正確な(X−Y)位置に
変換することができる。

0148

前述の本発明の実施形態の修正は、添付の特許請求の範囲によって定義されたような本
発明の範囲を逸脱することなく可能である。「含む(including)」、「含む(comprisin
g)」、「内蔵する(incorporating)」、「から成る(consisting of)」、「有する(h
ave)」、「である(is)」などの表現は、本発明を説明し請求するために使用され、非
排他的に解釈されるものであり、即ち、明示的に記述されていない項目、構成要素又は要
素が存在することができる。また、単数の参照は、複数と関連すると解釈される。添付の
特許請求の範囲の括弧内に含まれる数字は、特許請求の範囲の理解を支援するものであり
、これらの請求項によって請求される内容を如何なる形でも限定するように解釈されるべ
きない。

0149

1相互作用体積
2対象物
5カメラ
7ミラー機構
12 相互作用面

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ