図面 (/)

技術 入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システム

出願人 セイコーエプソン株式会社
発明者 稲積満広
出願日 2006年2月16日 (15年0ヶ月経過) 出願番号 2006-039301
公開日 2007年8月30日 (13年5ヶ月経過) 公開番号 2007-219814
状態 特許登録済
技術分野 位置入力装置 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス イメージ分析
主要キーワード 設定経過 位置設定装置 時間差分画像 最遠点 実使用環境 基準位置情報 指示棒 情報入力システム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2007年8月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

操作者の指示する指示位置に対して適切な入力位置の設定を可能とするとともに指示操作を容易にする。

解決手段

画像表示装置1によって表示される表示領域の所定位置を操作者が指示手段で指示すると、指示手段による指示位置に対する入力位置を、撮像装置2により表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定装置4であって、撮像画像データから指示手段に対応する画像領域指示画像領域として取得する指示画像領域取得部41と、指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、最遠点に基づいて入力位置を設定する入力位置設定部42と、入力位置の設定に至る経過を操作者に示すための入力位置設定経過情報を生成して、入力位置設定経過情報を画像表示装置が表示すべき画像データに重畳する入力位置設定経過情報表示制御部43とを有する。

概要

背景

現在の情報機器におけるグラフィカルユーザインタフェースにおいて、操作者の指示する位置情報を取得することは極めて重要な要素である。このような目的を達成するには、たとえば、マウスタブレットなどの専用の入力手段を用いるのが一般的である。また、特別な入力手段としては、データグローブなどと呼ばれるものもある。しかし、これらのような入力手段は、使用環境などに制限を与える場合がある。

たとえば、マウスやタブレットなどは、その設置、動作のための場所を要求する。また、それらの動きと、入力される位置情報との対応は間接的である。つまり、画像に表示されるポインタなどを注視しながら、それとは別の場所にあるマウスや入力用ペンを移動させる必要がある。また、データグローブなどは、入力の都度、それを装着する必要があり、さらに、マウスやタブレットと同様、入力される位置情報と操作の対応関係は間接的である。

これらの入力手段のように、入力される位置情報と操作との対応が間接的である場合、入力には慣れが必要であり、不特定多数が使用する情報機器に使用することには問題がある。
タッチパネルは、これらに比較すると入力される位置情報と操作との対応が直接的である。これは操作が直感的であり、たとえば、不特定多数が使用する交通機関などの券売機金融機関などの出入金システムなどにおいて広く使用される。

しかし、タッチパネルにおいては、その入力範囲と等しい大きさのパネルが必要であり、大きな入力範囲を得ようとする場合はそれに対応するタッチパネルの作成そのものが困難となる場合もあり、また、非常に高コストになるという問題がある。

これらを解決する手段として、画像表示装置によって表示される表示領域上を撮像することによって得られた撮像画像データにより、操作者の手などを認識し、その認識結果に基づいて操作者の入力位置を検出して、入力位置情報などを取得しようとする技術がある(たとえば、特許文献1、特許文献2参照)。

特許文献1に開示された技術は、手の特徴を用いて入力画像の中から手の部分を判別し、それにより手の方向、形を認識するものである。また、特許文献2に開示された技術は、複数のカメラを用い、その中から最適なものを選択し、さらに手の動きを予測することにより、より高精度の手の方向、形を認識するものである。

特開平9−102046号公報
特開2000−331170号公報

概要

操作者の指示する指示位置に対して適切な入力位置の設定を可能とするとともに指示操作を容易にする。画像表示装置1によって表示される表示領域の所定位置を操作者が指示手段で指示すると、指示手段による指示位置に対する入力位置を、撮像装置2により表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定装置4であって、撮像画像データから指示手段に対応する画像領域指示画像領域として取得する指示画像領域取得部41と、指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、最遠点に基づいて入力位置を設定する入力位置設定部42と、入力位置の設定に至る経過を操作者に示すための入力位置設定経過情報を生成して、入力位置設定経過情報を画像表示装置が表示すべき画像データに重畳する入力位置設定経過情報表示制御部43とを有する。

目的

本発明は、操作者の行った指示操作に対する入力位置の設定を特別に用意された専用の入力手段などを用いることなく、適切に行うことを可能とするとともに、操作者の行った指示操作に対し、情報入力システム側がどのようにして入力位置の設定を行ったかを操作者が理解できるような可視的な表示を行うことで操作性に優れた入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システムを提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像表示装置によって表示される表示領域の所定位置操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定方法であって、前記撮像画像データから前記指示手段に対応する画像領域指示画像領域として取得する第1ステップと、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第2ステップと、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する第3ステップと、を有することを特徴とする入力位置設定方法。

請求項2

請求項1に記載の入力位置設定方法において、前記第1ステップは、前記画像表示装置で表示すべき表示画像データと前記表示領域を撮像して得られた撮像画像データとの差分画像を取得するステップと、前記表示領域の外周を走査し、前記表示領域の外周と接する前記差分画像があるか否かを判定し、前記表示領域の外周と接する前記差分画像が有る場合に、当該差分画像を前記指示画像領域とするステップと、を有することを特徴とする入力位置設定方法。

請求項3

請求項1に記載の入力位置設定方法において、前記第1ステップは、前記画像表示装置で表示すべき表示画像データと前記表示領域を撮像して得られた撮像画像データとの差分画像を取得するステップと、前記差分画像のうちの現時点で取得された差分画像と前記現時点よりも所定時間前に取得された差分画像との差分をとり、差分のあった画像領域から処理対象とすべき時間差分画像を取得するステップと、前記表示領域の外周を走査し、前記表示領域の外周と接する前記処理対象とすべき時間差分画像があるか否かを判定し、前記表示領域の外周と接する前記処理対象とすべき時間差分画像が有る場合に、当該処理対象とすべき時間差分画像を前記指示手段に対応する指示画像領域とするステップと、を有することを特徴とする入力位置設定方法。

請求項4

請求項1〜3のいずれかに記載の入力位置設定方法において、前記第2ステップは、前記指示画像領域の重心を求めるステップを有し、求められた前記重心を前記基準位置として前記最遠点を求めることを特徴とする入力位置設定方法。

請求項5

請求項4に記載の入力位置設定方法において、前記最遠点は、前記指示画像領域が接する前記表示領域の外周近傍に存在する点を除いて決定されることを特徴とする入力位置設定方法。

請求項6

請求項4または5に記載の入力位置設定方法において、前記重心を基準位置として前記最遠点を求める際、前記最遠点の特定ができない場合には、前記指示画像領域が接する前記表示領域の外周から前記最遠点を求めることを特徴とする入力位置設定方法。

請求項7

請求項1〜6のいずれかに記載の入力位置設定方法において、前記入力位置設定経過情報は、少なくとも、前記基準位置を示す情報、前記入力位置を示す情報、前記基準位置を示す情報と前記入力位置を示す情報との対応関係を示す情報であることを特徴とする入力位置設定方法。

請求項8

請求項1〜7のいずれかに記載の入力位置設定方法において、前記最遠点に基づいて設定された入力位置が前記表示領域の外側となる場合には、前記入力位置が前記表示領域の内側となるように前記最遠点を設定し直すことを特徴とする入力位置設定方法。

請求項9

画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定装置であって、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部と、を有することを特徴とする入力位置設定装置。

請求項10

画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定プログラムであって、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する第1ステップと、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第2ステップと、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する第3ステップと、を有することを特徴とする入力位置設定プログラム。

請求項11

画像表示装置と、前記画像表示装置によって表示される表示領域を撮像可能な撮像装置と、前記表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記撮像画像データに基づいて設定する入力位置設定装置とを有する情報入力システムであって、前記入力位置設定装置は、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部と、を有することを特徴とする情報入力システム。

技術分野

0001

本発明は、表示領域上で操作者の入力した位置を設定可能な入力位置設定方法入力位置設定方装置、入力位置設定プログラムおよび情報入力システムに関する。

背景技術

0002

現在の情報機器におけるグラフィカルユーザインタフェースにおいて、操作者の指示する位置情報を取得することは極めて重要な要素である。このような目的を達成するには、たとえば、マウスタブレットなどの専用の入力手段を用いるのが一般的である。また、特別な入力手段としては、データグローブなどと呼ばれるものもある。しかし、これらのような入力手段は、使用環境などに制限を与える場合がある。

0003

たとえば、マウスやタブレットなどは、その設置、動作のための場所を要求する。また、それらの動きと、入力される位置情報との対応は間接的である。つまり、画像に表示されるポインタなどを注視しながら、それとは別の場所にあるマウスや入力用ペンを移動させる必要がある。また、データグローブなどは、入力の都度、それを装着する必要があり、さらに、マウスやタブレットと同様、入力される位置情報と操作の対応関係は間接的である。

0004

これらの入力手段のように、入力される位置情報と操作との対応が間接的である場合、入力には慣れが必要であり、不特定多数が使用する情報機器に使用することには問題がある。
タッチパネルは、これらに比較すると入力される位置情報と操作との対応が直接的である。これは操作が直感的であり、たとえば、不特定多数が使用する交通機関などの券売機金融機関などの出入金システムなどにおいて広く使用される。

0005

しかし、タッチパネルにおいては、その入力範囲と等しい大きさのパネルが必要であり、大きな入力範囲を得ようとする場合はそれに対応するタッチパネルの作成そのものが困難となる場合もあり、また、非常に高コストになるという問題がある。

0006

これらを解決する手段として、画像表示装置によって表示される表示領域上を撮像することによって得られた撮像画像データにより、操作者の手などを認識し、その認識結果に基づいて操作者の入力位置を検出して、入力位置情報などを取得しようとする技術がある(たとえば、特許文献1、特許文献2参照)。

0007

特許文献1に開示された技術は、手の特徴を用いて入力画像の中から手の部分を判別し、それにより手の方向、形を認識するものである。また、特許文献2に開示された技術は、複数のカメラを用い、その中から最適なものを選択し、さらに手の動きを予測することにより、より高精度の手の方向、形を認識するものである。

0008

特開平9−102046号公報
特開2000−331170号公報

発明が解決しようとする課題

0009

前述の特許文献1および特許文献に開示された技術は、マウス、タブレット、データグローブといった特別に用意された専用の入力手段を必要としないという利便性があり、前述した従来の問題の幾つかを解決している。しかし、これらにも共通する幾つかの問題が残る。

0010

その1つは、手の認識を行う認識処理において誤認識は避けられないということである。実験室のような特別に用意された環境においては高い認識率が得られても、実使用環境においては種々の撹乱により認識率が低下するのは、認識技術一般の問題である。

0011

さらに問題であるのは、誤認識が発生した時に、その理由を操作者に理解させるための考慮がなされていないということである。操作者がそのシステムの内部を熟知している場合、システムの誤動作の理由は、多くの場合において即座に理解することが可能である。一方、操作者が不特定多数である場合には、操作者がその理由を理解することは不可能である。操作者の意図しない動作をするシステムは、非常に使い難いものとなる。

0012

また、特許文献1および特許文献2に開示された技術においては、この種の情報入力システムを複数の操作者が同時に使用するような場合が全く考慮されていない。これは実使用環境下では、誤動作の主要な原因となるものである。つまり、同時に1人の使用しか想定していない情報入力システムを、複数の操作者が同時使用しようとした場合などは、複数の操作者の行う指示操作を適切に認識することができず、誤動作を発生する可能性が高い。
しかし、多くの場合、不特定多数の使用者は、システムにそのような制限があることを理解しておらず、何故システムが正常に動作しないかを全く理解できない。

0013

また、たとえば、手の認識を行う認識装置などは、色や形を用いて手の部分の認識を行う。そこに、手と同じような形や色合いの物体があった場合、それを手と誤認識してしまう場合がある。しかし、不特定多数のユーザが、そのようなアルゴリズムを理解しているはずはなく、システムが何故誤った動作をするのかを理解することは不可能である。

0014

本発明は、操作者の行った指示操作に対する入力位置の設定を特別に用意された専用の入力手段などを用いることなく、適切に行うことを可能とするとともに、操作者の行った指示操作に対し、情報入力システム側がどのようにして入力位置の設定を行ったかを操作者が理解できるような可視的な表示を行うことで操作性に優れた入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システムを提供することを目的とする。

課題を解決するための手段

0015

(1)本発明の入力位置設定方法は、画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定方法であって、前記撮像画像データから前記指示手段に対応する画像領域指示画像領域として取得する第1ステップと、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第2ステップと、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する第3ステップとを有することを特徴とする。

0016

このように本発明の入力位置設定方法によれば、操作者の行った指示操作に対する入力位置の設定を特別に用意された専用の入力手段などを用いることなく、適切に行うことができる。また、本発明では、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳させて表示するようにしている。これにより、操作者はその表示を見ることにより、自身の行った指示操作に対し、情報入力システムが入力位置として、どの位置をどのようにして設定したのかといった入力位置の設定経過視覚的に知ることができる。したがって、情報入力システムがたとえば、操作者の意図しない位置を入力位置として設定したような場合にも、操作者は情報入力システムが何故誤動作したかということを理解しやすくなる。

0017

また、本発明は撮像画像データから前記指示手段(操作者の指や指示棒など)に対応する画像領域を指示画像領域として検出するようにしているので、それぞれの指示手段に対応する指示画像領域ごとに入力位置を設定することが可能である。これにより、同じ表示領域上で複数の操作者が指示操作することが可能となる。

0018

(2)前記(1)に記載の入力位置設定方法においては、前記画像表示装置で表示すべき表示画像データと前記表示領域を撮像して得られた撮像画像データとの差分画像を取得するステップと、前記表示領域の外周を走査し、前記表示領域の外周と接する前記差分画像があるか否かを判定し、前記表示領域の外周と接する前記差分画像が有る場合に、当該差分画像を前記指示画像領域とするステップとを有することが好ましい。

0019

このように、前記第1ステップが(2)に記載のステップを有することによって、指示手段に対応する画像領域を指示画像領域として適切に検出することができる。これにより、たとえば、表示領域上に置かれた指示手段以外の物体などが指示画像領域として検出されるのを防ぐことができる。

0020

(3)前記(1)に記載の入力位置設定方法においては、前記第1ステップは、前記画像表示装置で表示すべき表示画像データと前記表示領域を撮像して得られた撮像画像データとの差分画像を取得するステップと、前記差分画像のうちの現時点で取得された差分画像と前記現時点よりも所定時間前に取得された差分画像との差分をとり、差分のあった画像領域から処理対象とすべき時間差分画像を取得するステップと、前記表示領域の外周を走査し、前記表示領域の外周と接する前記処理対象とすべき時間差分画像があるか否かを判定し、前記表示領域の外周と接する前記処理対象とすべき時間差分画像が有る場合に、当該処理対象とすべき時間差分画像を前記指示手段に対応する指示画像領域とするステップとを有することもまた好ましい。

0021

このように、前記第1ステップが(3)に記載のステップを有することによって、前記(2)と同様、指示手段に対応する画像領域を指示画像領域として適切に検出することができる。また、(3)においては、差分画像の時間差分を検出する処理が含まれるので、表示領域の外周上に存在する物体であっても位置の変化すなわち動きのない物体は除外される。これにより、指示手段以外の物体が表示領域の外周上に存在していたとしても、それらの物体が指示手段に対応する指示画像領域として判断されることがなくなる。

0022

これは、操作者が指示手段(手や指示棒など)で指示操作を行う際には、それらの指示手段は位置の変化すなわち動きがあると考えられるからであり、このように、位置の変化すなわち動きのある差分画像から処理対象とすべき時間差分画像を取得し、取得された処理対象とすべき時間差分画像に対して指示画像領域であるか否かを判定するようにしている。これにより、指示手段に対応する画像領域のみを指示画像領域として検出することができ、表示領域上に置かれた指示手段以外の物体などが指示画像領域として検出されるのを防ぐことができる。

0023

(4)前記(1)〜(3)のいずれかに記載の入力位置設定方法においては、前記第2ステップは、前記指示画像領域の重心を求めるステップを有し、求められた前記重心を前記基準位置として前記最遠点を求めることが好ましい。

0024

これにより、指示手段に対応する指示画像領域の最遠点を適切に求めることができる。たとえば、指示手段が操作者の指であれば指の先端を、また、指示手段が指示棒であれば指示棒の先端を適切に求めることができる。このように、指示手段の先端が適切に求められることにより、入力位置を適切な位置に設定することができる。

0025

(5)前記(4)に記載の入力位置設定方法においては、前記最遠点は、前記指示画像領域が接する前記表示領域の外周近傍に存在する点を除いて決定されることが好ましい。
このように、基準位置としての重心からの最遠点を求める際、表示領域の外周近傍の指示画像領域を除外することにより、前述したように、たとえば、操作者の指などの指示手段の先端を最遠点として設定することができる。

0026

(6)前記(4)または(5)に記載の入力位置設定方法においては、前記重心を基準位置として前記最遠点を求める際、最遠点の特定ができない場合には、前記指示画像領域が接する前記表示領域の外周から前記最遠点を求めることもまた好ましい。

0027

これは、(4)または(5)において重心を前記基準位置として前記最遠点を求めようとしたときに、最遠点の特定がしにくいような場合(たとえば、最遠点となり得る候補が複数存在するような場合など)に対処するためである。このような場合は、前記指示画像領域が接する前記表示領域の外周から最遠点を求めることにより、最遠点の特定を容易にかつ適切に行える可能性が高くなる。

0028

(7)前記(1)〜(6)のいずれかに記載の入力位置設定方法においては、前記入力位置設定経過情報は、少なくとも、前記基準位置を示す情報、前記入力位置を示す情報、前記基準位置を示す情報と前記入力位置を示す情報との対応関係を示す情報であることが好ましい。

0029

このように、前記基準位置を示す情報、前記入力位置を示す情報および前記基準位置を示す情報と前記入力位置を示す情報との対応関係を示す情報をそれぞれ表示させることにより、操作者はその表示を見ることにより、自身の行った指示操作に対し、情報入力システムがどの位置を入力位置としてどのように判断したのかを視覚的に知ることができる。なお、前記基準位置を示す情報と前記入力位置を示す情報との対応関係を示す情報としては、たとえば、基準位置と入力位置とを結ぶ矢印などが一例として挙げられる。

0030

(8)前記(1)〜(7)のいずれかに記載の入力位置設定方法においては、前記最遠点に基づいて設定された入力位置が前記表示領域の外側となる場合には、前記入力位置が前記表示領域の内側となるように前記最遠点を設定し直すことが好ましい。
これにより、入力位置が表示領域の外側に設定されてしまうといった不都合を未然に防ぐことができる。

0031

(9)本発明の入力位置設定装置は、画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定装置であって、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部とを有することを特徴とする。

0032

本発明の入力位置設定装置においても、前記(1)に記載の入力位置設定方法と同様の効果を得ることができる。なお、本発明の入力位置設定装置においても、(2)〜(8)に記載の入力位置設定方法と同様の特徴を有することが好ましい。

0033

(10)本発明の入力位置設定プログラムは、画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定プログラムであって、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する第1ステップと、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第2ステップと、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する第3ステップとを有することを特徴とする。

0034

本発明の入力位置設定プログラムにおいても、前記(1)に記載の入力位置設定方法と同様の効果を得ることができる。なお、本発明の入力位置設定プログラムにおいても、(2)〜(8)に記載の入力位置設定方法と同様の特徴を有することが好ましい。

0035

(11)本発明の情報入力システムは、画像表示装置と、前記画像表示装置によって表示される表示領域を撮像可能な撮像装置と、前記表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記撮像画像データに基づいて設定する入力位置設定装置とを有する情報入力システムであって、前記入力位置設定装置は、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部とを有することを特徴とする。

0036

本発明の情報入力システムによれば、前記(1)の入力位置設定方法に記載の効果と同様の効果が得られ、操作者にとって使いやすい情報入力システムとすることができる。特に、入力位置設定経過情報を生成して、その入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳させて表示するようにしている。これにより、操作者はその表示を見ることにより、自身の行った指示操作に対し、情報入力システムが入力位置として、どの位置をどのようにして設定したのかといった入力位置の設定経過を視覚的に知ることができ、この種の情報入力システムに精通していない操作者にも使いやすい情報入力システムとすることができる。また、本発明の情報入力システムは同じ表示領域上で複数の操作者が指示操作することが可能であることも特徴の1つである。
なお、本発明の情報入力システムにおいても、(2)〜(8)に記載の入力位置設定方法と同様の特徴を有することが好ましい。

発明を実施するための最良の形態

0037

以下、本発明の実施形態について説明する。

0038

[実施形態1]
図1は実施形態1に係る情報入力システムの構成を示す図である。実施形態1に係る情報入力システムは、図1に示すように、プロジェクタなどの画像表示装置1と、この画像表示装置1によって表示された表示領域を撮像可能に設置された撮像装置2と、画像表示装置1によって表示すべき画像に対する画像データを取得する表示画像データ取得装置パーソナルコンピュータなど)3と、撮像装置2によって出力される撮像画像データに基づいて操作者が指示手段(操作者の手や指示棒など)で指示した指示位置に対する入力位置の設定を行う入力位置設定装置4とを有している。

0039

入力位置設定装置4は、撮像装置2からの撮像画像データに基づいて指示手段に対応する画像を指示画像領域として検出して出力する指示画像領域取得部41と、指示画像領域内に設定された基準位置(指示画像領域の重心とする)から最も遠い指示画像領域の輪郭上に存在する位置を最遠点として検出し、検出された最遠点に基づいて操作者の入力位置を設定する入力位置設定部42と、入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、その入力位置設定経過情報を画像表示装置1で表示すべき画像データに重畳する入力位置設定経過情報表示制御部43とを有している。

0040

指示画像領域取得部41は、撮像装置2からの撮像画像データと表示画像データ取得装置3から画像表示装置1に対して与えた表示画像データ(現時点で画像表示装置で表示すべき画像データ)との差分(差分画像という)を検出して2値化する差分画像取得部411と、2値化された差分画像に基づいて処理対象とすべき画像領域すなわち指示手段に対応する指示画像領域を検出する指示画像領域検出部412とを有している。

0041

入力位置設定部42は、指示画像領域検出部412で検出された指示画像領域の重心を基準位置として算出する基準位置算出部421と、指示画像領域内に設定された基準位置から最も遠い指示画像領域の輪郭上の点を最遠点として検出し、検出された最遠点に基づいて操作者の入力位置を算出する入力位置算出部422とを有している。

0042

入力位置設定経過情報表示制御部43は、基準位置算出部421で算出された基準位置を操作者に示すための可視的な情報(基準位置情報という)を生成する基準位置情報生成部431と、入力位置算出部422で算出された入力位置を操作者に示すための可視的な情報(入力位置情報という)を生成する入力位置情報生成部432と、基準位置情報と入力位置との対応関係を操作者に示すための可視的な情報(対応情報という)を生成する対応情報生成部433と、これら基準位置情報、入力位置情報、対応情報を画像表示装置1で表示すべき画像データに重畳させるデータ重畳部434とを有している。

0043

図2は実施形態1に係る情報入力システムにおける入力位置設定処理手順を説明するフローチャートである。以下、入力位置設定処理手順を図2のフローチャートに加えて図3および図4を参照しながら説明する。

0044

図2において、まず、表示領域を撮像して得られた撮像画像データに基づいて差分画像を取得し、その差分画像を2値化する(ステップS1)。このステップS1の処理は、画像表示装置1によって表示された表示領域を撮像装置2が撮像し、それによって得られた撮像画像データと表示画像データ取得部3から画像表示装置1に与えている表示画像データとの差分画像を差分画像取得部411が取得する処理である。

0045

図3は差分画像を2値化した例を示す図である。図3において、四角い枠11は画像表示装置1により表示された表示領域10の外周(以下、外周11という)を表している。なお、図3(a)には表示領域10内に存在する3つの物体に対応する2値化後の差分画像A,B,Cが示されている。

0046

図3において、差分画像Aは、ある操作者(第1操作者という)が画像表示装置1によって表示された表示領域10上の所定位置を自身の指先で指示しようとして手を表示領域10上に差し出した状態に対応する2値化画像である。また、差分画像Bは、第1操作者とは異なる他の操作者(第2操作者という)が表示領域10上の所定位置を指示手段としての指示棒で指示しようとして、当該指示棒を表示領域10上に差し出した状態に対応する2値化画像である。また、差分画像Cは、表示領域10内に置かれた指示手段以外の何らかの物体に対応する2値化画像である。

0047

図2に説明が戻って、ステップS1によって差分画像を2値化したあと、表示領域10の全周を走査したか否かを判定し(ステップS2)、表示領域10の全周を走査していなければ、走査していない表示領域10の外周11を走査し、外周11に接する部分の差分画像を取得する処理を行う(ステップS3)。

0048

ここで、表示領域10の全周を走査するというのは、図3(a)において、たとえば、表示領域10の外周11の位置P1を走査開始点として右方向(矢印a方向)へ外周11に沿って位置P2まで走査し、位置P2からは上方向(矢印b方向)へ外周11に沿って位置P3まで走査し、位置P3からは左方向(矢印c方向)へ外周11に沿って位置P4まで走査し、位置P4からは下方向(矢印d方向)へ外周11に沿って位置P1まで走査するといった処理である。

0049

そして、このような表示領域10の外周11の走査を行う際、外周11に接する部分の差分画像、すなわち、外周11に対応する線状の差分画像を取得する。たとえば、位置P1から外周11に沿って矢印a方向へ位置P2までの走査を行うと、図3(b)に示すように、外周11に対応する線状の差分画像A’が取得される。

0050

図2に説明が戻って、表示領域10の外周11を走査した結果、線状の差分画像が取得されると、取得した線状の差分画像に連続する差分画像(この場合、差分画像A’に連続する差分画像)の重心を求める(ステップS4)。

0051

ここで、「取得した線状の差分画像に連続する差分画像」というのは、たとえば、線状の差分画像A’を例にとれば、この差分画像A’に連続した差分画像は、図3における2値化された差分画像A全体の領域を指している。

0052

このように、表示領域10の外周11を走査した結果、線状の差分画像が取得された場合は、その線状の差分画像は、操作者が指示手段によって指示を行う際の指示手段(手や指示棒)に対応する画像領域の一部であると判断することができる。ここで、当該外周11に対応する線状の差分画像が取得された場合、その線状の差分画像に連続する差分画像は、指示手段に対応する画像領域であると判断できるので、その線状の差分画像に連続する差分画像のことを「指示画像領域」と呼ぶことにする。

0053

上述したように、表示領域10の外周11を位置P1から矢印a方向に走査した結果、差分画像Aに対応する指示画像領域(指示画像領域Aという)が取得されると、その指示画像領域Aの重心Gを求め、求められた重心Gを基準位置とする。この重心Gの求め方は、特に限定されるものではなく種々の方法によって求めることが可能である。

0054

指示画像領域Aにおいて求められた重心Gを図3(b)に示す。図3(b)において示される白十字マークが指示画像領域Aに求められた基準位置としての重心Gを示している。この重心Gを示す白十字マークは、基準位置情報生成部431によって生成され、画像表示装置1で表示すべき画像データに重畳されて画像表示装置1によって表示される。

0055

図2に説明が戻って、ステップS4によって指示画像領域Aの重心Gが求められると、次に、重心Gを中心とする幾つかの同心円を考え、これらの同心円と指示画像領域の輪郭とが接する点接点群)を取得する(ステップS5)。なお、同心円と差分画像の輪郭とが接する点というのは、同心円と差分領域が交わる点(交点)ではなく、あくまで接する点(接点)である。

0056

このステップS5の処理を図3(b)により説明する。図3(b)においては、2つの同心円R1,R2を考えた場合であり、指示画像領域Aにおいては、この場合、同心円R1と指示画像領域Aの輪郭との接点として、たとえばQ1点が取得される。また、同心円R2と差分画像Aの輪郭との接点として、たとえばQ2が取得される。

0057

図2に説明が戻って、ステップS5において、同心円と指示画像領域Aの輪郭との接点が求められると、求められた幾つかの接点の中に、表示領域10の外周11近傍の接点が含まれている場合には、それを除外する(ステップS6)。これは、同心円がたまたま表示領域10の外周11と指示画像領域とが接している部分(たとえば、図3(b)におけるq1,q2点など)を通る場合などであり、その場合にはそれらの接点は除外する。ただし、図3(b)に示される同心円R1,R2と指示画像領域Aの場合はそれに該当する接点は存在しない。

0058

次に、ステップS6で除外された接点以外の接点の中から、重心Gから最も遠い点(最遠点という)を選択する(ステップS7)。そして、重心Gから最遠点の方向で、当該最遠点から所定の距離の位置を求め、求められた位置を操作者の入力位置とする(ステップS8)。図3(b)において、最遠点として取得された接点Q2を白丸で示す。

0059

ステップS8の処理を図4により具体的に説明する。指示画像領域Aにおいては、前述の図3(b)において求められた幾つかの接点の中の最遠点として、この場合、接点Q2が選択される。したがって、図4に示すように、重心Gから最遠点である接点Q2を通る線分上の当該接点Q2から所定の距離の位置αを設定し、この位置αを第1操作者の入力位置αとする。

0060

図2に説明が戻って、ステップS8により、第1操作者の入力位置αが求められると、求められた入力位置αが表示領域10内か否かを判定し、表示領域10外である場合には、ステップS7に戻って、再び最遠点選択処理を行い、最遠点となり得る他の接点を最遠点として設定しなおして、ステップS8の処理を行う。

0061

また、求められた入力位置αが表示領域10内か否かを判定した結果、表示領域10内である場合には、ステップS2に戻り、走査し終わっていない外周があれば、その外周について走査を行う。

0062

なお、第1操作者に対する入力位置αが求められると、入力位置であることを示す入力位置情報(図4では黒丸としている)が表示される。この入力位置を示す入力位置情報は、入力位置情報生成部432によって生成され、画像表示装置1で表示すべき画像データに重畳されて画像表示装置1によって表示される。

0063

また、基準位置情報(白十字マークなど)と入力位置情報(黒丸など)との対応関係を示す対応情報として、たとえば、図4に示すように、基準位置から最遠点を通って入力位置を結ぶ線(矢印など)を表示させる。この対応情報は対応情報生成部433によって生成され、画像表示装置1で表示すべき画像データに重畳されて画像表示装置1によって表示される。

0064

このように、基準位置情報(白十字マークなど)の表示、入力位置情報(黒丸など)の表示とともに、これらの対応関係を示す対応情報(矢印など)を表示させる。これにより、操作者は、自身の行った指示操作に対し、情報入力システムが入力位置として、どの位置をどのようにして設定したのかといった入力位置の設定経過を視覚的に知ることができる。これにより、情報入力システムが、たとえば、操作者の意図しない位置を入力位置として設定したような場合にも、操作者は情報入力システムが何故誤動作したかということを理解しやすくなる。

0065

図5は情報システムがどの位置を入力点として設定したかということが操作者にとって把握しにくい例について説明する図である。前述の図3および図4の例では、情報システムがどの位置を入力点として設定したかということは、操作者が直感的に理解できるが、図5のように、操作者が手を広げて表示領域10内に差し出したような場合には、操作者は、情報入力システム側で設定された入力位置がどこであるかが直感的にはわかりにくい。

0066

このような場合も、図5に示すように、基準位置情報(白十字マークなど)の表示、入力位置情報(黒丸など)の表示とともに、これらの対応関係を示す対応情報(矢印など)を表示させる。これにより、操作者は、自身の行った指示操作に対する入力位置の設定を情報入力システム側がどのようにして設定したかを容易に理解することができる。
なお、基準位置情報および入力位置情報の表示と、これらの対応情報の表示だけではなく、最遠点を示す情報をも表示させるようにしてもよい。

0067

これまでの説明は、指示画像領域Aについての処理であったが、ステップS2において、走査の終了していない外周があると判断された場合は、さらに、表示領域10の外周11を走査し、次の差分画像の取得を行う。たとえば、図3(a)における位置P2から外周に沿って矢印b方向へ位置P3までの走査を行うと、今度は、図3(b)に示すように、外周11に接する線状の差分領域B’が取得される。そして、取得された線状の差分画像B’に連続する差分画像Bが指示画像領域(指示画像領域Bという)として取得され、この指示画像領域Bの重心Gを求める。

0068

以降、指示画像領域Aの場合と同様の処理を行う。すなわち、指示画像領域Bにおける基準位置としての重心Gを中心とする同心円R1,R2を考え、同心円R2と指示画像領域Bの輪郭との接点として、たとえば、Q3点が最遠点として取得されたとする。そして、図4に示すように、基準位置としての重心Gから最遠点である接点Q3(図4において白丸で示す)を通る線分上の当該接点Q3から所定の距離の位置βを設定し、この位置βを操作者(第2操作者という)の入力位置βとする。

0069

ここで、入力位置βは表示領域10内であれば、続いて、表示領域10の外周11に走査し、次の差分画像の取得を行う。すなわち、図3(a)における位置P3から外周に沿って矢印b方向へ位置P4、さらに、位置P4から位置P1までの走査を行うと、この場合、表示領域10の外周11に対応する差分画像の取得がなされない。そして、表示領域の全周を走査したと判定されると処理を終了する。

0070

なお、差分画像Cは外周に接している部分が存在しないので、処理対象から除外され、指示画像領域とはならない。このように、本発明では、2値化された差分画像において、その差分画像の輪郭が表示領域10の外周11に接しているものだけを指示手段に対応する画像領域すなわち指示画像領域とする。

0071

図6は指示画像領域として取得される画像と取得されない画像の例を示す図である。図5に示すように、画像表示装置1としてのプロジェクタから机上面12に画像を投写し、投写された画像を撮像装置2で撮像して、その撮像画像データから操作者の入力位置情報を求めるというような情報入力システムにおいて、第1操作者が机上面12に手13を差し出し、第2操作者が机上面12に指示棒14を差し出すような操作を行った場合、これらの手13や指示棒14は、表示領域10の外周11に接する部分が存在するので、指示画像領域として取得される。これに対して、表示領域10内に置かれた何らかの物体15は、表示領域10の外周11に接していないので、これは処理対象からは除外され、指示画像領域としては取得されない。

0072

ところで、ステップS8における最遠点から所定の距離を入力位置とする処理において、入力位置を設定する際の「最遠点から所定の距離」は、たとえば、その入力位置にポインタなどを表示する際、操作者から見て指示手段の先端の適切な位置にポインタが表示されるような距離を設定する。具体的には、たとえば、操作者が指先を動かしながらポインタを移動させて線を描くような操作を行う場合を例に取れば、操作者の指先とポインタがあたかも一体化して動くような感覚を操作者に与えることが好ましいので、それを考慮して「最遠接点から所定の距離」を設定することが好ましい。

0073

図7図2のフローチャートにおけるステップS7の処理(最遠点選択処理)を詳細に説明するフローチャートである。図7において、接点群の中から、重心からの距離が遠い接点、すなわち、最遠点となり得る接点(最遠点候補という)をすべて選択する(ステップS21)。そして、選択された最遠点候補が1つであるか否かを判定し(ステップS22)、1つであれば選択された最遠点候補を求めるべき最遠点として決定することができるので、処理を終了する。

0074

一方、選択された最遠点候補が1つでない場合は、選択された最遠点候補の中から、指示画像領域が接する表示領域10の外周11からの距離が最も遠い接点を求めるべき最遠点として選択する(ステップS23)。ここで、ステップS23により選択された接点が1つであるか否かを判定し(ステップS24)、1つであれば選択された接点(表示領域10の外周11からの距離が最も遠い接点)を求めるべき最遠点として決定することができるので、処理を終了する。

0075

なお、ステップS24において選択された接点が1つでない場合は、選択された接点の中から、指示画像領域が接する表示領域10の外周11から見て最も左側に位置する接点を求めるべき最遠点として選択する(ステップS25)。このステップS25の処理は、たとえば、右利きの操作者の場合、その操作者は右手人差し指を使って指示することが多いからである。

0076

以上説明したように、実施形態1によれば、操作者の行った指示操作に対する入力位置の設定を適切に行うことができる。また、操作者の行った指示操作に対する入力位置の設定を情報入力システム側がどのようにして設定したかを操作者が理解できるような情報、すなわち、入力位置設定経過情報の表示を行うようにしている。

0077

これにより、操作者はその入力位置設定経過情報の表示を見ることにより、自身の行った指示操作に対し、情報入力システムが入力位置として、どの位置をどのようにして設定したのかといった入力位置の設定経過を視覚的に知ることができる。したがって、情報入力システムがたとえば、操作者の意図しない位置を入力位置として設定したような場合にも、操作者は情報入力システムが何故誤動作したかということを理解しやすくなる。

0078

また、図3などからも明らかなように、本発明は撮像画像データから指示手段(操作者の指や指示棒など)に対応する画像領域を指示画像領域として検出するようにしているので、それぞれの指示手段に対応する指示画像領域ごとに入力位置を設定することが可能である。これにより、同じ表示領域上で複数の操作者が指示操作することが可能である。

0079

[実施形態2]
図8は実施形態2に係る情報入力システムの構成を示す図である。実施形態2に係る情報入力システムが、図1で示した実施形態1に係る情報入力システムと異なるのは、図8に示すように、指示画像領域取得部41の構成要素として、差分画像取得部411、指示画像領域検出部412の他に差分画像記憶部413と時間差分画像取得部414とが新たに加わる点であり、その他は図1と同じであるので、同一部分には同一符号が付されている。

0080

差分画像記憶部413は、差分画像取得部411で取得された差分画像(撮像画像データと表示画像データとの差分画像)を記憶する。すなわち、撮像装置2から出力される各フレームごとの撮像データと表示画像データとの差分画像データのうち、現フレームに対して、少なくとも1フレーム前の撮像画像データと表示画像データとの差分画像を記憶する。

0081

時間差分画像取得部414は、差分画像取得部411で取得された現フレームの撮像画像データと表示画像データとの差分画像と、差分画像記憶部413に記憶されているそれより前(たとえば1フレーム前)の差分画像との時間差分を検出する。

0082

この図8に示す構成からも明らかなように、実施形態2に係る情報入力システムは、差分画像取得部411で取得された差分画像の時間差分を検出する点が実施形態1に係る情報入力システムと異なる。なお、差分画像の時間差分を検出するのは、たとえば、図9に示すような状況に対応可能とするためである。

0083

図9は差分画像の時間差分を検出することが好ましい例を説明する図である。図9に示すように、表示領域10の外周11を横切るような位置に、指示手段(手や指示棒など)以外の何らかの物体が存在すると、前述の実施形態1に係る情報入力システムにおいては、指示手段以外の物体に対応する差分画像も指示画像領域とみなされてしまうこととなる。

0084

実施形態2に係る情報入力システムは、これに対処するものである。ちなみに、図9における差分画像Dは表示領域10上に置かれた定規に対応する差分画像であり、差分画像Eは同じく表示領域10上に置かれたコンパスに対応する差分画像であり、これらは動かずそのままの状態を保持するものとする。また、差分画像Aは操作者の指示操作によって矢印x方向、差分画像は矢印y方向に移動するものとする。

0085

実施形態2に係る情報入力システムでは、差分画像取得部411で取得された差分画像の位置の変化すなわち動きの有無を検出し、動きのあるものだけを指示手段に対応する画像領域すなわち指示画像領域とする。以下、実施形態2に係る情報入力システムを具体的に説明する。

0086

図10は実施形態2に係る情報入力システムにおける入力位置設定処理手順を説明するフローチャートである。図10に示すステップS31〜S41のうち、ステップS31は、実施形態1の説明で用いた図2のフローチャートのステップS1と同じ処理であり、ステップS33〜S41は実施形態1の説明で用いた図2のフローチャートのステップS2〜S10と同じ処理である。
すなわち、図10図2と異なるのは、差分画像を2値化する処理(ステップS31)のあとに時間差分画像取得処理(ステップS32)が加わる点である。したがって、実施形態2では、主に時間差分画像取得処理について説明を行う。

0087

図11図10におけるステップS32の時間差分画像取得処理を説明するフローチャートである。図11において、まず、現フレームの差分画像(現差分画像という)と差分画像記憶部413に記憶された差分画像(現差分画像に対して1フレーム前の差分画像であるとする)との差分をとり、それを時間差分画像とする(ステップS51)。

0088

ここで、ステップS51で取得された時間差分画像のすべての画像領域を処理したか否かを判定し(ステップS52)、すべての画像領域の処理が終了していなければ、取得されたすべての時間差分画像の中から、差分のあった画像領域を1つ選択する(ステップS53)。そして、差分のあった画像領域は、現差分画像に新たに現れた画像領域か否かを判定し(ステップS54)、新たに現れた画像領域であると判定された場合には、ステップS52に戻る。

0089

一方、ステップS54において、新たに現れた画像領域でないと判定された場合には、時間差分画像の中からステップS53にて選択された画像領域を削除して(ステップS55)、ステップS52に戻る。

0090

そして、ステップS51で取得された時間差分画像のすべての画像領域についての処理が終了したか否かの判定(ステップS52)の結果、すべての画像領域についての処理が終了していれば、現差分画像で差分画像記憶部413の内容を更新する(ステップS56)。

0091

図11のフローチャートに示すような処理を行うことにより、たとえば、図9の例では、位置の変化すなわち動きのない差分画像Dや差分画像Eは削除され、操作者の手に対応する差分画像Aと指示棒に対応する差分画像Bのみが時間差分画像として検出される。そして、さらに、差分画像Aと差分画像Bのうち、差分画像記憶部413に記憶されている差分画像には存在しない領域(現差分画像に新しく現れた領域)のみが処理対象とすべき時間差分画像として検出される。この様子を示したものが図12である。

0092

図12において、灰色で示す画像領域は差分画像記憶部413に記憶されている時刻t0における手に対応する差分画像A0および指示棒に対応する差分画像B0であるとする。ここで、図9で示したように、手と指示棒が矢印x,y方向にそれぞれ移動したあとの現差分画像(時刻t1において得られる現差分画像)と、差分画像記憶部413に記憶されている時刻t0における差分画像A0,B0とが時間差分画像取得部414に入力されると、図11のフローチャートで示したような処理によって、図12に示す黒色で示す画像領域A1,B1のみが得られる。

0093

このように、時間差分画像としてそれより前の差分画像(差分画像記憶部413に記憶されている差分画像)には存在しない画像領域(新しく現れた画像領域)が検出された場合には、その画像領域が処理対象とすべき時間差分画像として検出される。

0094

そして、当該処理対象とすべき時間差分画像に対し、その処理対象とすべき時間差分画像が指示手段に対応する画像領域、すなわち、指示画像領域であるか否かを判定する処理(図10におけるステップS33,S34)を行い、指示画像領域であると判定された場合は、基準位置としての重心を求める処理(図11のステップS35)以降の処理を行う。すなわち、処理対象とすべき時間差分画像(図12における黒色で示される画像領域A1)に対して、基準位置としての重心Gが求められる。なお、ステップS33以降の処理については実施形態1と同様に行うことができるのでここでは説明を省略する。

0095

なお、図12において、白十字マークは、処理対象とすべき時間差分画像(黒色で示される画像領域A,B)において求められた基準位置(重心G)であり、また、白丸で示すQ2,Q3は、処理対象とすべき時間差分画像(黒色で示される画像領域A,B)において求められた最遠点である。また、黒丸の位置α,βは、処理対象とすべき時間差分画像(黒色で示される画像領域A,B)に対して設定された入力位置である。

0096

実施形態1と同様、基準位置情報(白十字マークなど)の表示、入力位置情報(黒丸など)の表示とともに、これらの対応関係を示す対応情報(矢印など)の表示を行う。なお、基準位置、入力位置だけでなく最遠点の表示を行うようにしてもよいことは勿論である。

0097

また、操作者の手や指示棒は、時刻t1のあとさらに移動する可能性があるが、それぞれの時刻t2,t3,・・・における現差分画像と差分画像記憶部413に記憶されている差分画像との間で前述同様の処理を行う。なお、時刻t0,t1,・・・は、たとえば、撮像装置2で得られる撮像画像データのフレーム周期に同期した時間とすることができる。

0098

以上説明したように、実施形態2によれば、差分画像の時間差分を検出することにより、たとえば、図9に示すような状況、すなわち、表示領域10の外周11上に置かれた指示手段以外の物体までもが、指示手段として処理されてしまうといった問題を解消することができる。

0099

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施形態では、画像表示装置としてプロジェクタを用いた例が示されているが、画像表示装置はプロジェクタに限られるものではなく、たとえば、直視型のディスプレイ装置などであってもよい。

0100

また、前述の各実施形態において説明した入力位置設定処理をコンピュータに実行させるためのプログラとして入力位置設定プログラムを作成することが可能であり、また、作成した入力位置設定プログラムを各種の記録媒体に記録させておくことも可能である。したがって、本発明は、入力位置設定プログラムを記録した記録媒も含むものである。また、入力位置設定プログラムはネットワークから取得するようにしてもよい。

図面の簡単な説明

0101

実施形態1に係る情報入力システムの構成を示す図。
実施形態1に係る情報入力システムにおける入力位置設定処理手順を説明するフローチャート。
差分画像を2値化した例を示す図。
図3で示す2値化画像上で重心、最遠点、入力位置とそれらの対応関係などを示す図。
情報システムがどの位置を入力点として設定したかということが操作者にとって把握しにくい例について説明する図。
指示画像領域として取得される画像と取得されない画像の例を示す図。
図2のフローチャートにおけるステップS7の処理(最遠点選択処理)を詳細に説明するフローチャート。
実施形態2に係る情報入力システムの構成を示す図
差分画像の時間差分を検出することが好ましい例を説明する図。
実施形態2に係る情報入力システムにおける入力位置設定処理手順を説明するフローチャート。
図10におけるステップS32の時間差分画像取得処理を説明するフローチャート。
時間差分画像取得処理について説明する図。

符号の説明

0102

1・・・画像表示装置、2・・・撮像装置、3・・・表示画データ像取得装置、4・・・入力位置設定装置、10・・・表示領域、11・・・表示領域の外周、41・・・指示画像領域取得部、42・・・入力位置設定部、43・・・入力位置設定経過情報表示制御部、411・・・差分画像取得部、412・・・指示画像領域検出部、413・・・差分画像記憶部、414・・・時間差分画像取得部、421・・・基準位置算出部、422・・・入力位置算出部、431・・・基準位置情報生成部、432・・・対応情報生成部、433・・・入力位置情報生成部、434・・・データ重畳部、A,B,C・・・差分画像、G・・・重心、α、β・・・入力位置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ソニー株式会社の「 情報処理装置、情報処理方法および情報処理システム」が 公開されました。( 2020/12/17)

    【課題】コストを低減しつつ、入力装置を識別することが可能な技術が提供されることが望まれる。【解決手段】第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力さ... 詳細

  • ソニー株式会社の「 情報処理装置、情報処理方法及びプログラム」が 公開されました。( 2020/12/17)

    【課題】ユーザの意図するタイミングで所定の内容を表示させることが可能な、情報処理装置、情報処理方法及びプログラムを提案する。【解決手段】ユーザの視点に関する視点情報を取得する視点情報取得部と、ユーザと... 詳細

  • 株式会社日立国際電気の「 画像処理装置および画像処理方法」が 公開されました。( 2020/12/17)

    【課題・解決手段】特定オブジェクトを高速に検出・識別することが可能な技術を提供する。前景抽出部201が、入力画像の背景領域に対応する位置の画素値として0(背景領域を示す値)を設定し、入力画像の前景領域... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ