図面 (/)

技術 座標入力装置及び画像処理装置

出願人 株式会社リコー
発明者 浪江健史
出願日 2013年9月12日 (5年2ヶ月経過) 出願番号 2013-189773
公開日 2015年3月23日 (3年7ヶ月経過) 公開番号 2015-056064
状態 特許登録済
技術分野 位置入力装置 表示による位置入力
主要キーワード 外部保存装置 消去イベント スナップショット保存 扇形板 スナップショット画像 データ出力インタフェース 取り付け間隔 接近点
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年3月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

座標入力領域の2箇所に配置された受発光手段と再帰性反射手段との間の光路指示物体遮断されたとき、その指示物体の座標位置三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出できるようにする。

解決手段

座標入力領域43の上部両端に配置された受発光手段41−1,41−2から出射された光ビームL1〜Lmは、再帰性反射部材44で反射し、受発光手段41−1,41−2に戻る。不図示の電子ペンが座標入力領域43に接触し、光路が遮断されると、接触位置42が三角測量により算出される。光路が手などに遮られたり、複数の指示物体が座標入力領域43に接触したりしても、電子ペンが備える加速度センサ及び角速度センサの出力を用いることで、接触位置42を算出することができる。

概要

背景

液晶プラズマなどのフラットパネルプロジェクタを用いた40インチ〜80インチ程度のサイズの大型のディスプレイに、タッチパネルを搭載した、いわゆる「電子情報ボード製品が市販されている。

電子情報ボードにパーソナルコンピュータ(以下、PC)を接続することによって、PCの画面を大きく映すことができ、企業や行政機関会議におけるプレゼンテーション等や教育機関等で用いられている。

電子情報ボードに搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることで、画面を表示しているPCを操作する、「タッチパネルを介したPC操作機能」、が提供されている。

さらに、接続したPC上で動かす、電子黒板アプリケーションソフトウエアがこれらの機器一緒に提供されている。このアプリケーションソフトウエアは、黒板役割をする画面を提供し、その上に手書き文字などをタッチパネルを介して描く機能、このアプリケーションを提供するパソコンの画面を取り込んでその上に手書き文字などを重畳して描く機能など、「タッチパネルを介した手書機能」、が提供されている。

具体的な製品事例では、例えばシャープ(株)の「BIGPAD」(登録商標)、日立ソフトウェアエンジニアリング(株)の「スターボード」(登録商標)や、パイオニア(株)の「サイバーカンファレンス」(登録商標)、がある。

このような手書き機能を備えた電子情報ボードを利用すると、オフィス会議シーン等において、説明のための表示資料を操作しながら、適宜画面上に直接指事項等の書き込みを行い、さらに必要に応じて書き込みを含む画面内容を記録することができる。この結果、会議終了時に画面内容を振り返り、画面内容を再利用することで効率的に結論などをまとめることが期待できる。

このような電子情報ボードに対する指示物体の接触位置の入力が可能な装置として、特許文献1、2に記載された座標入力装置がある。これらの座標入力装置は、座標入力領域の2箇所に配置された受発光手段と、各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる再帰性反射手段と、を備えている。そして、各受発光手段から前記座標入力領域に同時に(特許文献2)又は順次に(特許文献1)出射され、前記再帰性反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、三角測量により前記指示物体が接触した座標入力領域上の位置(以下、座標位置)を算出するように構成されている。

しかしながら、特許文献1、2に記載された座標入力装置では、前記光路が手などに遮られることで、指示物体の座標位置を算出できなくなるという問題がある。また、複数の指示物体を用いると、それぞれの指示物体の座標位置を算出できなくなるという問題もある。

概要

座標入力領域の2箇所に配置された受発光手段と再帰性反射手段との間の光路が指示物体に遮断されたとき、その指示物体の座標位置を三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出できるようにする。座標入力領域43の上部両端に配置された受発光手段41−1,41−2から出射された光ビームL1〜Lmは、再帰性反射部材44で反射し、受発光手段41−1,41−2に戻る。不示の電子ペンが座標入力領域43に接触し、光路が遮断されると、接触位置42が三角測量により算出される。光路が手などに遮られたり、複数の指示物体が座標入力領域43に接触したりしても、電子ペンが備える加速度センサ及び角速度センサの出力を用いることで、接触位置42を算出することができる。

目的

このアプリケーションソフトウエアは、黒板の役割をする画面を提供し、その上に手書き文字などをタッチパネルを介して描く機能、このアプリケーションを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

座標入力領域の2箇所に配置された受発光手段と、各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる反射手段と、各受発光手段から前記座標入力領域に出射され、前記反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、前記指示物体が接触した座標位置を算出する第1の座標位置算出手段と、前記指示物体からの加速度検知信号及び角速度の検知信号を積算して、前記指示物体の移動量と移動方向を含む移動情報を算出する移動情報算出手段と、前記第1の座標位置算出手段により座標位置を算出できないとき、前記第1の座標位置算出手段により算出できたときの座標位置と、前記移動情報算出手段で算出された移動情報とから、前記指示物体の座標位置を算出する第2の座標位置算出手段と、を有する座標入力装置

請求項2

請求項1に記載された座標入力装置において、前記指示物体からの前記座標入力領域に接触したことを示す検知信号を受け取り、そのときに前記第1の座標位置算出手段により算出された座標位置を描画開始座標位置として記憶する描画開始座標位置記憶手段と、前記指示物体からの前記座標入力領域から離れたことを示す検知信号を受け取り、そのときに前記第1の座標位置算出手段により算出された座標位置を描画終了座標位置として記憶する描画終了座標位置記憶手段と、前記描画終了座標位置から次の描画開始座標位置までの差を基準にして、その間に前記移動情報算出手段で算出された移動情報を補正する第1の補正手段と、を有する座標入力装置。

請求項3

請求項1に記載された座標入力装置において、前記指示物体からの前記座標入力領域に接触したことを示す検知信号を受け取り、そのときに前記第1の座標位置算出手段により算出された座標位置を描画開始座標位置として記憶する描画開始座標位置記憶手段と、前記指示物体からの前記座標入力領域から離れたことを示す検知信号を受け取り、そのときに前記第1の座標位置算出手段により算出された座標位置を描画終了座標位置として記憶する描画終了座標位置記憶手段と、前記描画開始座標位置から前記描画終了座標位置までの差を基準にして、その間に前記移動情報算出手段で算出された移動情報を補正する第2の補正手段と、を有する座標入力装置。

請求項4

請求項1〜3のいずれかに記載された座標入力装置を備えた画像処理装置

技術分野

0001

本発明は、座標入力装置に関し、特にパーソナルコンピュータ等において情報を入力したり、選択したりするために、ペンなどの指示物体によって指示された位置を入力する座標入力装置及びそれを備えた画像処理装置に関する。

背景技術

0002

液晶プラズマなどのフラットパネルプロジェクタを用いた40インチ〜80インチ程度のサイズの大型のディスプレイに、タッチパネルを搭載した、いわゆる「電子情報ボード製品が市販されている。

0003

電子情報ボードにパーソナルコンピュータ(以下、PC)を接続することによって、PCの画面を大きく映すことができ、企業や行政機関会議におけるプレゼンテーション等や教育機関等で用いられている。

0004

電子情報ボードに搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることで、画面を表示しているPCを操作する、「タッチパネルを介したPC操作機能」、が提供されている。

0005

さらに、接続したPC上で動かす、電子黒板アプリケーションソフトウエアがこれらの機器一緒に提供されている。このアプリケーションソフトウエアは、黒板役割をする画面を提供し、その上に手書き文字などをタッチパネルを介して描く機能、このアプリケーションを提供するパソコンの画面を取り込んでその上に手書き文字などを重畳して描く機能など、「タッチパネルを介した手書機能」、が提供されている。

0006

具体的な製品事例では、例えばシャープ(株)の「BIGPAD」(登録商標)、日立ソフトウェアエンジニアリング(株)の「スターボード」(登録商標)や、パイオニア(株)の「サイバーカンファレンス」(登録商標)、がある。

0007

このような手書き機能を備えた電子情報ボードを利用すると、オフィス会議シーン等において、説明のための表示資料を操作しながら、適宜画面上に直接指事項等の書き込みを行い、さらに必要に応じて書き込みを含む画面内容を記録することができる。この結果、会議終了時に画面内容を振り返り、画面内容を再利用することで効率的に結論などをまとめることが期待できる。

0008

このような電子情報ボードに対する指示物体の接触位置の入力が可能な装置として、特許文献1、2に記載された座標入力装置がある。これらの座標入力装置は、座標入力領域の2箇所に配置された受発光手段と、各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる再帰性反射手段と、を備えている。そして、各受発光手段から前記座標入力領域に同時に(特許文献2)又は順次に(特許文献1)出射され、前記再帰性反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、三角測量により前記指示物体が接触した座標入力領域上の位置(以下、座標位置)を算出するように構成されている。

0009

しかしながら、特許文献1、2に記載された座標入力装置では、前記光路が手などに遮られることで、指示物体の座標位置を算出できなくなるという問題がある。また、複数の指示物体を用いると、それぞれの指示物体の座標位置を算出できなくなるという問題もある。

発明が解決しようとする課題

0010

本発明は、このような問題を解決するためになされたものであり、その目的は、座標入力領域の2箇所に配置された受発光手段と再帰性反射手段との間の光路が指示物体に遮断されたとき、その指示物体の座標位置を三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出できるようにすることである。

課題を解決するための手段

0011

本発明の座標入力装置は、座標入力領域の2箇所に配置された受発光手段と、各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる反射手段と、各受発光手段から前記座標入力領域に出射され、前記反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、前記指示物体が接触した座標位置を算出する第1の座標位置算出手段と、前記指示物体からの加速度検知信号及び角速度の検知信号を積算して、前記指示物体の移動量と移動方向を含む移動情報を算出する移動情報算出手段と、前記第1の座標位置算出手段により座標位置を算出できないとき、前記第1の座標位置算出手段により算出できたときの座標位置と、前記移動情報算出手段で算出された移動情報とから、前記指示物体の座標位置を算出する第2の座標位置算出手段と、を有する座標入力装置である。

発明の効果

0012

本発明によれば、座標入力領域の2箇所に配置された受発光手段と再帰性反射手段との間の光路が指示物体に遮断されたとき、その指示物体の座標位置を三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出することができる。

図面の簡単な説明

0013

本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第1の例を示す図である。
本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第2の例を示す図である。
図2に示す画像処理装置のハードウェア構成及び機能構成を示す図である。
本発明の実施形態の座標入力装置の概略構成を示す図である。
図4における受発光手段の内部構成を示す図である。
画像処理装置の表示部の表面に指示物体が接触してビームが遮断されたときの動作を説明するための図である。
三角測量の原理を基に座標位置を算出する方法を説明するための図である。
指示物体以外に手などが表示部の表面に接触している状態を示す図である。
2つの指示物体が表示部の表面に接触している状態を示す図である。
本発明の指示物体の実施形態としての電子ペンの構成を示す図である。
図9に示す電子ペンからの信号を用いた座標検出処理の一部を示すフローチャートである。
図9に示す電子ペンからの信号を用いた座標検出処理の残りの部分を示すフローチャートである。

実施例

0014

以下、本発明の実施形態について図面を用いて詳細に説明する。
<座標入力装置が実装された画像処理装置を含む画像処理システム>
図1は、本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第1の例を示す図である。

0015

画像処理システム100は、画像処理装置110と、ユーザPC130a,130bとを含んで構成されており、画像処理装置110とユーザPC130a,130bとは、それぞれケーブル124a,124bによって接続される。

0016

画像処理装置110は表示部112を備えており、ユーザPC130a,130bの表示画像を表示することができるとともに、ユーザが生成する描画画像表示可能な装置である。ユーザPC130a,130bは、画像処理装置110に表示すべき画像を提供する情報処理装置である。ユーザPC130a,130bは、画像信号を出力するインタフェースを備えており、ユーザPC130a,130bの表示画像を形成する画像信号を所定のレート(例えば毎秒30フレーム)で画像処理装置110に供給する。

0017

本実施形態では、ユーザPC130a,130bは、インタフェースとしてVGA出力端子(図示せず)を備えており、VGAケーブル等のケーブル124a,124bを介してVGA信号を画像処理装置110に送信することができる。他の実施形態では、ユーザPC130a,130bは、各種無線通信プロトコル準拠した無線通信により、表示画像を送信してもよい。

0018

この図に示す実施形態では、ユーザPC130a,130bとしてノート型PCを採用するが、他の実施形態では、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラデジタルカメラ等の画像フレームを供給可能な情報処理装置を採用することができる。また、図1に示す画像処理システム100では、2つのユーザPC130a,130bを採用するが、他の実施形態では、1つのユーザPC又は3つ以上のユーザPCを採用することもできる。

0019

図2は、本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第2の例を示す図である。この画像処理システム1000について、図1に示す画像処理システム100との相違点を中心に説明する。

0020

画像処理システム1000では、画像処理装置110と、画像処理装置1010と、ユーザPC130dとがネットワーク1014を介して接続される。ネットワーク1014は、LANやインターネットなどのネットワークであり、画像処理装置110,1010,及びユーザPC130dの間で、画像データ及びイベント等の種々のデータを通信する。

0021

画像処理装置1010は、ケーブル124cを介してユーザPC130cに接続されている。

0022

この図に示す実施形態では、画像処理装置110,1010及びユーザPC130dがネットワーク1014を介して接続されるが、他の実施形態では、これらの画像処理装置をネットワーク1014を介さずに、スター型等の接続形態直接接続してもよい。

0023

<画像処理装置のハードウェア構成及び機能構成>
図3は、図2に示す画像処理装置のハードウェア構成及び機能構成を示す図である。

0024

画像処理装置110は、画像入力インタフェース232を備えており、このインタフェースを介してユーザPC130a,130bと接続される。画像入力インタフェース232は、ユーザPC130a,130bの表示画像を形成する画像信号を受信するインタフェースである。

0025

本実施形態では、画像入力インタフェース232としてDVI(Digital Visual Interface)端子によって構成されるDVIコネクタを採用することができる。画像入力インタフェース232は、ユーザPC130a,130bからVGA(Video Graphics Array)ケーブル等のケーブル124を介してVGA信号を受信し、画像処理装置110が備える画像取得部206にVGA信号を供給する。

0026

他の実施形態では、VGAコネクタ、HDMI(登録商標)(High-Definition Multimedia Interface)コネクタ、Displayportコネクタ等を採用することができる。さらに他の実施形態では、画像入力インタフェース232は、Bluetooth(登録商標)やWiFi等の無線通信プロトコルに準拠した無線通信により、ユーザPC130a,130bから画像信号を受信してもよい。

0027

画像処理装置110は、プロセッサ200と、ROM202と、RAM204と、画像取得部206と、座標検出部224と、座標検知装置226と、表示部112を含んで構成される。

0028

プロセッサ200は、CPUやMPU等の処理演算装置であり、WINDOWS(登録商標)シリーズ、UNIX(登録商標)、LINUX(登録商標)、TRON、ITRON、μITRONなどのOSを動作させ、これらのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語記述された本実施形態のプログラムを実行する。

0029

ROM202は、BIOSやEFI等のブートプログラムなどが保存される不揮発性メモリである。RAM204は、DRAMやSRAM等の主記憶装置であり、本実施形態のプログラムを実行するための実行空間を提供する。

0030

プロセッサ200は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置(図示せず)から、プログラムを読み出し、RAM204に展開して実行する。

0031

プログラムには、プログラムモジュールであるイベント処理部210、アプリ画像生成部212、レイアウト管理部214、描画生成部216、合成部218、表示制御部220、スナップショット生成部222、スナップショット保存部236、スナップショット送信部238およびリポジトリ管理部228が含まれる。

0032

画像取得部206は、ユーザPC130a,130bから画像信号を取得する機能手段である。画像取得部206は、ユーザPC130a,130bから画像入力インタフェース232を介して画像信号を受信すると、当該画像信号を解析して、当該画像信号によって形成されるユーザPC130a,130bの表示画像である画像フレームの解像度や当該画像フレームの更新頻度などの画像情報導出し、アプリ画像生成部212に送信する。

0033

また、画像取得部206は、当該画像信号を使用してユーザPC130a,130bの表示画像である画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオRAM208にそれぞれ上書き保存する。

0034

アプリ画像生成部212は、表示部112に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、ユーザPC130a,130bの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウ、画像処理装置110の各種設定を行うためのボタンメニュー等を表示する表示ウィンドウ、ファイルビューアWebブラウザ等の表示ウィンドウなどが含まれる。アプリ画像生成部212は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。

0035

レイアウト管理部214は、アプリ画像生成部212が生成する表示ウィンドウにユーザPC130a,130bの表示画像を描画する機能手段である。レイアウト管理部214は、画像取得部206から画像情報を取得すると、ビデオRAM208に格納されている画像フレームを取得し、画像情報を使用して、画像フレームの大きさをアプリ画像生成部212が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。

0036

座標検知装置226は、描画装置240等の指示物体の接触を検知する機能手段である。本実施形態では、座標検知装置226として、赤外線遮断方式による座標入力装置を採用する。この座標入力装置では、表示部112の下側両端部に設置された2つの受発光装置が、表示部112に平行に複数の赤外線放射し、表示部112の周囲に設けられた再帰性反射手段によって同一光路上に反射する光を受光する。

0037

座標検知装置226は、指示物体によって遮断された2つの受発光装置が放射した赤外線の識別情報を座標検出部224に通知し、座標検出部224が、指示物体の接触位置である座標位置を特定する。

0038

他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検知手段を採用してもよい。

0039

座標検出部224は、表示部112に対する指示物体の接触位置である座標位置を算出すると共に、種々のイベントを発行する機能手段である。本実施形態では、座標検出部224は、座標検知装置226が通知する遮断された赤外線の識別情報を利用して、指示物体の座標位置を算出する。

0040

座標検出部224は、接触位置の座標位置と共に、種々のイベントをイベント処理部210に発行する。座標検出部224が発行するイベントには、物体の接触又は接近したことを通知するイベント(TOUCH)、物体が表示部112に接触又は接近した状態で接触点又は接近点が移動したことを通知するイベント(MOVE)、物体が表示部112から離れた(離間した)ことを通知するイベント(RELEASE)が含まれる。これらのイベントには、接触位置座標及び接近位置座標である座標位置情報が含まれる。

0041

描画装置240は、画像処理装置110の座標検知装置226に接触させて描画する装置である。描画装置240は、先端部に物体の接触を検知する接触検知手段を備えたペン形状をしており、当該接触検知手段が物体に接触すると、接触したことを示す接触信号を当該描画装置の識別情報と共に座標検出部224に送信する。

0042

また、描画装置240は、描画された描画オブジェクト消去する機能を持つ。描画モードから消去モード切り替えモード切替スイッチを側面や後端部に備えている。当該接触検知手段が消去モードで物体に接触すると、接触したことを示す信号と消去モードである信号を当該描画装置の識別情報と共に座標検出部224に送信する。描画装置240は、表示部112に表示されたメニューやボタン等のオブジェクトをユーザが選択することが可能である。

0043

例えば、ユーザが消去モード切替スイッチを押下した状態で、描画装置240を画像処理装置110の表示部112に接触させた場合には、描画装置240は、接触信号及び当該描画装置の識別情報と共に、消去モードを示すモード種別信号を送信する。ユーザが消去モード切替スイッチを押下していない状態で、描画装置240を画像処理装置110の表示部112に接触させた場合には、描画装置240は、接触信号および当該描画装置の識別情報を送信する。

0044

本実施形態では、座標検出部224は、座標検知装置226から赤外線の識別情報を受信すると、指示物体の接触位置である座標位置を算出し、次いで、描画装置240から接触信号を受信すると、各種イベントを発行する。このとき、座標検出部224は、モード種別を示す情報(以下、「モード種別情報」とする。)を当該イベントと共にイベント処理部210に通知する。

0045

本実施形態では、Bluetooth(登録商標)等の近距離無線通信によって各種信号を送信する。他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。

0046

イベント処理部210は、座標検出部224が発行するイベントを処理する機能手段である。イベント処理部210は、座標検出部224からイベントを受信すると、描画領域での描画指示イベントなのか、消去指示イベントなのか、または表示部112に表示された機能別のアイコンを選択する操作なのかを識別し、それぞれの機能を実施する。

0047

描画指示イベントとは、画像処理装置110に対して描画を指示するイベントである。消去指示イベントは、画像処理装置110に対して描画されたオブジェクトを消去するイベントである。描画指示イベント及び消去イベントは、描画装置240が表示部112に接触することに起因して発行される。

0048

選択通知イベントとは、表示部112に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。選択通知イベントは、描画装置240が表示部112に接触することに起因して発行される。イベント処理部210は、座標検出部224が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。

0049

本実施形態では、描画指示イベント及び選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する画像処理装置110の機能手段は、当該識別情報を参照して種々の処理を実行する。また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する画像処理装置110の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。

0050

描画生成部216は、ユーザが描画装置240を用いて描画した描画画像を生成する機能手段である。描画生成部216は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。描画生成部216は、当該座標位置を描画情報としてRAM204の描画情報の格納領域に保存する。

0051

合成部218は、種々の画像を合成する機能手段である。合成部218は、アプリ画像生成部212が画像を描画すべき画像レイヤ(以下、「アプリ画像レイヤ」とする。)と、レイアウト管理部214がユーザPC130a,130bの表示画像を描画すべき画像レイヤ(以下、「画像キャプチャレイヤ」とする。)と、描画生成部216が画像を描画すべき画像レイヤ(以下、「手書きレイヤ」とする。)とを合成する。

0052

表示制御部220は、表示部112を制御する機能手段である。表示制御部220は、合成部218が生成した合成画像を表示部112に表示させる。本実施形態では、合成部218は、表示制御部220を呼び出して合成画像を表示部112に表示させる。他の実施形態では、合成部218及び表示制御部220は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部112に表示させてもよい。

0053

スナップショット生成部222は、ユーザPC130a,130bの表示画像と描画生成部216が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。

0054

スナップショット生成部222は、表示部112に表示されたスナップショットの取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成する。スナップショット生成部222は、スナップショット画像を生成すると、リポジトリ管理部228に対しスナップショット画像を記憶装置230に保存させる。

0055

スナップショット保存部236は、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像をデータ出力インタフェース234を通じてUSBメモリ242等の外部保存装置にスナップショット画像を保存する機能手段である。

0056

スナップショット保存部236は、表示部112に表示されたスナップショットの保存を指示するスナップショット保存ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像を取得し、データ出力インタフェース234に接続された外部保存装置にスナップショット画像を出力する。

0057

スナップショット送信部238は、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像を通信制御部250を通じて画像処理装置外のサーバ(図示せず)等に送信する機能手段である。

0058

スナップショット送信部238は、表示部112に表示されたスナップショットの送信を指示するスナップショット送信ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像を取得し、通信制御部250にスナップショット画像を出力する。

0059

通信制御部250は、ネットワーク1014を介した画像処理装置間の通信を制御する機能手段である。通信制御部250は、認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベントなどの情報を、通信部252を介して通信する。通信部252は、ネットワーク1014とのネットワークインタフェースである。

0060

リポジトリ管理部228は、スナップショット画像を格納すべき記憶装置230を制御する機能手段である。リポジトリ管理部228は、上述したように、スナップショット生成部222の指示により、スナップショット画像を記憶装置230に保存する。また、リポジトリ管理部228は、スナップショット保存部236あるいはスナップショット送信部238の指示により、記憶装置230からスナップショット画像を取得し、データ出力インタフェース234あるいは通信制御部250に送信する。

0061

データ出力インタフェース234は、スナップショット画像を外部装置に出力する物理インタフェースである。本実施形態では、データ出力インタフェース234としてUSBソケットを採用することができる。

0062

<座標入力装置の概略構成>
図4は、本発明の実施形態の座標入力装置の概略構成を示す図である。この座標入力装置40は図3における座標検知装置226として搭載されている。

0063

座標入力装置40は、受発光手段41−1,41−2と、座標入力領域43と、再帰性反射部材44とから構成されている。座標入力領域43は四角形の形状であり、例えば電子的に文字や画像を表示するディスプレイ表面に電子ペンで書き込むタッチパネルなどが座標入力領域となる。受発光手段41−1,41−2は、座標入力領域43の上部の両端の2箇所に配置されている。本実施形態では、座標入力装置40は、画像処理装置110の表示部112の表面に形成されている。

0064

座標入力装置40は、座標入力領域43上を光学的に不透明な材質からなる指示物体の接触位置42を検知して、その位置情報である座標位置を座標検出部224に伝える装置である。なお、本実施形態では、指示物体は電子ペンからなる描画装置240であるが、指示棒や指の接触位置の座標位置を検知することもできる。

0065

座標入力領域43の上部両端には、受発光手段41−1,41−2が設けられている。上部左端の受発光手段41−1からは座標入力領域43に向けて、L1、L2、L3、...Lmの光ビームの束(プローブ光)が照射されている。実際には点光源61から拡がる、座標入力領域43の面に平行に進行する扇形板状の光波である。

0066

また、座標入力領域43の周辺部分には、反射手段としての再帰性反射部材44が再帰反射面を座標入力領域43の中央に向けて設けられている。再帰性反射部材44は、入射した光を、入射角度によらずに同じ方向に反射する特性をもった部材である。

0067

例えば、受発光手段41−1から発した扇形板状の光波の内、ある一つのビーム47に注目すると、ビーム47は再帰性反射部材44によって反射されて再び同じ光路を再帰反射光46として受発光手段41−1に向かって戻るように進行する。受発光手段41−1には、後述するように受光素子が設置されていて、プローブ光L1〜Lmのそれぞれに対して、その再帰光が受発光手段41−1に再帰したか否かを検出することができる。

0068

指示物体が接触位置42で接触した場合について考える。このときプローブ光45は接触位置42で指示物体に遮られて再帰性反射部材44には到達しない。従って、プローブ光45の再帰光は受発光手段41−1には到達せず、プローブ光45に対応する再帰光が受光されないことを検出することによって、プローブ光45の延長線(直線L)上に指示物体が挿入されたことを検出することができる。

0069

同様に上部右端に設置された受発光手段41−2からもプローブ光を照射し、プローブ光48に対応する再帰反射光が受光されないことを検出することによって、プローブ光48の延長線(直線R)上に指示物体が挿入されたことを検出することができる。直線L及び直線Rを求めることができれば、この交点の座標位置を演算により算出することにより、指示物体が接触した座標位置を得ることができる。

0070

<受発光手段の内部構成>
図5は、図4における受発光手段41−1,41−2の内部構成を示す図である。この図は、座標入力領域43の面に対して垂直な方向から見た図である。ここでは説明の便宜上、座標入力領域43の面に平行な2次元平面で説明する。

0071

受発光手段41−1,41−2は、点光源61、集光レンズ51及び受光素子50から構成されている。点光源61は光源から見て受光素子50と反対の方向に扇形に光を出射するものとする。点光源61から出射された扇形の光は、矢印53、58の方向、その他の方向に進行するビームの集合であると考える。矢印53方向に進行したビームは再帰性反射部材44で反射されて、再帰反射光54が集光レンズ51を通り、受光素子50上の位置57に到達する。

0072

また、進行方向58に沿って進行したビームは再帰性反射部材44によって反射されて、再帰反射光59が受光素子50上の位置56に到達する。このように点光源61から出射し、再帰性反射部材44で反射し、同じ経路を戻ってきた光は、集光レンズ51の作用によって、それぞれ受光素子50上のそれぞれ異なる位置56、57に到達する。

0073

従って、ある座標位置に指示物体が挿入され、ある光路のビームが遮断されると、そのビームに対応する受光素子50上の点に光が到達しなくなる。このことから、受光素子50上の光強度の分布を調べることによって、どの光路のビームが遮られたかを知ることができる。

0074

<遮断されたビームの検知>
図6は、表示部の表面に指示物体が接触してビームが遮断されたときの動作を説明するための図である。この図において、受光素子50は集光レンズ51の焦点面に設けられているものとする。

0075

点光源61から図6右方に向けて出射した光は、再帰性反射部材44によって反射されて同じ経路を戻ってくる。従って、点光源61の位置に再び集光する。集光レンズ51の中心は点光源位置と一致するように設けられている。再帰性反射部材44から戻った再帰光は、集光レンズ51の中心を通るので、レンズ後方受光素子側)に対称の経路で進行する。

0076

このとき、受光素子50上の光強度分布を調べると、指示物体が挿入されていなければ、受光素子50上の光強度分布はほぼ一定であるが、図示のように、光を遮る指示物体が挿入された場合、ここを通過するビームは遮られ、受光素子50上では位置Dnの位置に、光強度が弱い領域(暗点)が生じる。

0077

この位置Dnは、遮られたビームの出射/入射角θnと対応していて、Dnを検出することによりθnを算出することができる。
即ちθnはDnの関数として、
θn=arctan(Dn/f) …式〔1〕
と表すことができる。ただし、fは図示のように、集光レンズ51と受光素子50との間の距離で、集光レンズ51の焦点距離に該当する。

0078

<三角測量の原理に基づく座標の算出>
図7は、三角測量の原理を基に座標を算出する方法を説明するための図である。
ここで、図4の左上端の受発光手段41−1におけるθnをθnL、DnをDnLと置き換える。

0079

受発光手段41−1と座標入力領域43との幾何学的な相対位置関係の変換gにより、指示物体の接触位置42と座標入力領域43のx軸とのなす角θLは、式〔1〕
で求められるDnLの関数として、
θL=g(θnL) …式〔2〕
となる。
ただし、
θnL=arctan(DnL/f) …式〔3〕
である。

0080

同様に、図4の右上端の受発光手段41−2についても、上記した式のL記号をR記号に置き換えて、受発光手段41−2と座標入力領域43との幾何学的な相対位置関係の変換hにより、
θR=h(θnR) …式〔4〕
ただし、
θnR=arctan(DnR/f) …式〔5〕
である。

0081

図7に示すように、座標入力領域43において受発光手段41−1,41−2の取り付け間隔をwとし、座標入力領域43の左角を原点70とし、x、y座標を図7に示すように、x軸を横方向、y軸を縦方向にとる。

0082

この場合、座標入力領域43上の指示物体の接触位置42の座標位置(x,y)は、
x=wtanθR/(tanθL+tanθR) …式〔6〕
y=wtanθL・tanθR/(tanθL+tanθR) …式〔7〕
となり、式から〔3〕、〔5〕、〔6〕、〔7〕から、x、yは、DnL、DnRの関数として表すことができる。

0083

即ち、左右の受発光手段41−1,41−2の受光素子50上の暗点の位置DnL、DnRを検出し、受発光手段41−1,41−2の幾何学的配置を考慮することにより、指示物体60の接触位置42の座標位置を算出することができる。

0084

以上説明した座標位置算出方法は、三角測量の原理に基づくものであり、例えば特許文献1に記載されている。

0085

<指示物体の座標位置を算出できない場合>
図8は、指示物体以外に手などが表示部の表面に接触している状態を示す図であり、図9は、2つの指示物体が表示部の表面に接触している状態を示す図である。

0086

このように三角測量の原理に基づき、指示物体の座標位置を算出するが、図8に示すように、指示物体の接触位置42以外に手80などの遮蔽物が表示部112の表面に接触している場合、左上端の受発光手段41−1は接触位置42の座標位置を検出することができなくなってしまう。

0087

また、図9に示すように、2つの指示物体の接触位置がT1,T2の場合、三角測量の原理に基づき座標位置を算出すると、接触位置T1,T2を示す正しい座標位置でなく、接触位置D1,D2を示す誤った座標位置も算出されるため、正確な座標位置を検出できなくなる。

0088

そこで、本実施形態では、描画装置240として、加速度センサと、ジャイロなどの角速度センサを備えつつ、センサ情報及び動作の開始と終了を画像処理装置110に送信する機能を有する電子ペンを用いることで、図8図9に示す問題を解決する。

0089

<電子ペンの構成及び座標入力動作
図10は、本発明の指示物体の実施形態としての電子ペンの構成を示す図である。
図示のように、電子ペン300は、ペン先バネ302を介して接続された可動ペン先301の圧力を検知するペン先圧力センサ303と、ペンバネ308を介して接続された可動ペン尻307の圧力を検知するペン尻圧力センサ309とを備えている。

0090

また、電子ペン300は、電子ペン300の動きを検知するための加速度センサ305と、電子ペン300の姿勢を検知するための角速度センサ306を備えている。加速度センサ305及び角速度センサ306は信号処理回路304に設けられている。また、ペン先圧力センサ303の検知信号及びペン尻圧力センサ309の検知信号は信号処理回路304に入力される。

0091

信号処理回路304は、ペン先圧力センサ303、ペン尻圧力センサ309の圧力変化により、筆記、削除などの電子ペンの動作の開始と終了を示す信号を信号送信部310を通して画像処理装置110に送信する。また、加速度センサ305及び角速度センサ306の検知信号を信号送信部310を通して画像処理装置110に送信する。

0092

画像処理装置110は、これらの信号を受信することで、電子ペン300自体の姿勢及び位置を算出できるようになる。図示のように、加速度センサ305と角速度センサ306は、共に3次元(xyz)方向の加速度と角速度を検知するように配置される。加速度センサ305は、電子ペン300の3軸に生じる加速度を検知することで、電子ペン300の動きを検知し、角速度センサ306は電子ペン300の3軸に生じる角速度を検知することで、電子ペン300の姿勢を検知することができる。

0093

この3軸は、電子ペン300の持ち方や使い方により軸方向が変化する。そこで、角速度センサ306の検知信号を積分演算(積算)した電子ペン300の姿勢を加速度センサ305の検知信号に反映させて積分演算することで、電子ペン300の移動方向及び移動量を含む移動情報を算出することができる。そして、この移動情報から、座標入力領域43の2つの座標軸図7のx軸、y軸)方向の移動量を算出することができる。従って、積分演算を開始したときの座標位置が分かっていれば、加速度センサ305及び角速度センサ306からの検知信号の積分演算により、電子ペン300の座標位置を算出することができる。

0094

従って、電子ペン300が画像処理装置110の表示部112に接触している間は、この2種類のセンサの検知信号(以下、センサ情報)か、三角測量の原理に基づき算出された座標位置を用いることにより、画像処理装置110の表示部112の位置に対する電子ペン300の座標位置が算出できることとなる。

0095

しかし、電子ペン300で筆記していないときは、つまり電子ペン300が画像処理装置110の表示部112に接触していないときには、再度筆記を開始するまでに加速度センサ305と角速度センサ306のセンサ情報で積分演算した座標位置と実際の座標位置では、誤差が生じることとなる。

0096

また、筆記中においても、多少の誤差が生じる可能性がある。そこで、筆記終了時から再度筆記するまでの加速度センサ305と角速度センサ306の情報から算出した表示部112上の座標位置と、三角測量により算出された座標位置と、各々で算出した筆記終了時との座標位置の差の比較を行う。

0097

三角測量により算出された座標位置を正確な値(基準値)とし、その相違する割合から補正値を算出し、座標入力領域43の2つの座標軸(図7のx軸、y軸)方向の移動量と紐付けしたデータとして蓄積する。この蓄積していくデータから、2つの座標軸方向の移動量に合わせた補正値(補正値1とする)を算出していく。そして、図8のように遮蔽物が表示部112に表面にあるなどで、測定対象である電子ペン300がセンサから検出できず、三角測量から座標位置を算出できない場合に、加速度センサ305と角速度センサ306の情報から表示部112上の座標位置を算出する場合に、積分演算した座標位置に補正値1を用いて座標位置を算出することで、正確な座標位置を算出することができるようになる。

0098

また、筆記中においても誤差を減らすべく、同様に補正値(補正値2とする)を算出する。これら2種類の補正値は、平均化などの統計的な方法を用いることにより、より正確な値となっていくこととなり、図8のように遮蔽物が表示部112の表面にあり、三角測量から指示物体の座標位置を算出できない場合にでも、正確な座標位置に電子ペン300で描画することができるようになる。

0099

また、複数の電子ペンを用いる場合にも、三角測量以外に、加速度センサ305と角速度センサ306のセンサ情報を用いることにより、各電子ペンの表示部112上の座標位置を把握することができる。従って、図9のような場合でも、正確に描画や消去したりなどの操作をすることが可能になる。さらに、各々の電子ペンから発信する信号を区別したりするなどの方法を用いて判別できるようにし、その情報も別々に管理することにより、より正確に複数の電子ペンを使用して表示部112に対する描画や消去などの操作ができることになる。

0100

<電子ペンからの信号を用いた座標検出処理>
図11は、上述した電子ペン300からの信号を用いた座標検出処理の一部を示すフローチャートであり、図12は、その座標検出処理の残りの部分を示すフローチャートである。この座標検出処理は画像処理装置110内の座標検出部224が実行する。

0101

このフローは、電子ペン300から描画開始信号を受信したときにスタートする。描画開始信号は、電子ペン300が画像処理装置110の表示部112に接触したことをペン先圧力センサ303が検知したときに、信号送信部310から画像処理装置110に送信される。

0102

最初にフラグt及びフラグwを初期化する(ステップS1)。ここで、フラグtはフラグが立っている(t=1)場合は、描画終了前の座標位置検出が三角測量で行われたことを、フラグが立っていない(t=0)場合は、描画終了前の座標位置検出がセンサ情報で行われたことを表し、フラグwは電子ペン300で初めて描画を行う(W=0)か、2度目以降(W=0)かを表す。

0103

次に三角測量を行い(ステップS2)、三角測量ができたか否かを判断する(ステップS3)。ここでは、三角測量ができたものとし(ステップS3:可)、描画開始座標位置を算出して記憶する(ステップS4、S5)。ステップS4、S5は、座標検出部224内の第1の座標位置算出手段及び描画開始座標位置記憶手段により実行される。

0104

次にフラグtの値が0であるかを判断する(ステップS6)。最初はフラグtは0(初期値)であるから、ステップS11に進み、電子ペン300からのセンサ情報を初期化する。

0105

次に、電子ペン300の加速度センサ305からの情報に基づいて、電子ペン300が移動したか否かを判断する(ステップS12)。まず移動していない場合(ステップS12:無)について説明する。この場合、描画終了信号を監視し(ステップS23)、描画終了信号を検出したら(描画終了信号:有)、座標位置を記憶する(ステップS24)。ステップS24は、座標検出部224内の描画終了座標位置記憶手段により実行される。

0106

ここで、描画終了信号は、電子ペン300が画像処理装置110の表示部112から離れた(離間した)ことをペン先圧力センサ303が検知したときに、電子ペン300から画像処理装置1010に送信される。

0107

このように、電子ペン300が画像処理装置110の表示部112に接触したものの、移動することなく、離れた場合は、ステップS24で記憶した座標位置はステップS5で記憶した座標位置と同じになる。

0108

ステップS24で座標位置を記憶した後、フラグwを1にし(ステップS25)、センサ情報を初期化する(ステップS26)。

0109

次に、電子ペン300が移動したか否かを判断し(ステップS27)、移動しているときは(ステップS27:有)、センサ情報を積算した後(ステップS28)、描画開始信号の有無を判断する(ステップS29)。移動していないときは(ステップS27:無)、そのまま描画開始信号の有無を判断する(ステップS29)。ステップS28は、座標検出部224内の第2の座標位置算出手段により実行される。

0110

描画開始信号が無い場合は(ステップS29:無)、ステップS27に移行し、描画開始信号が有る場合は(ステップS29:有)、ステップS2に移行する。つまり、ステップS28により、電子ペン300が画像処理装置110の表示部112から離れている間の電子ペン300の座標入力領域43の2つの座標軸(図7のx軸、y軸)方向の移動量(以下、単に「移動量」という)、即ちステップS24で記憶した座標位置からの移動量を算出した後、ステップS2に移行する。

0111

次に、ステップS12で電子ペン300が移動していると判断した場合は(ステップS12:有)について説明する。この場合は、三角測量を行い(ステップS13)、三角測量ができたか否かを判断する(ステップS14)。ここでは、三角測量ができたものとし(ステップS14:可)、座標位置を記憶する(ステップS15)。

0112

次に、センサ情報より座標位置の移動量を算出する(ステップS16)。ステップS16により、ステップS11で初期化されてからの表示部112上の電子ペン300の移動情報が得られる。

0113

次に、三角測量による座標位置の移動量と、センサ情報から積算した座標位置の移動量から補正値2を算出して蓄積する(ステップS17)。

0114

ここで、三角測量による座標位置の移動量は、ステップS15で記憶した座標位置とステップS5で記憶した座標位置との差分である。センサ情報から積算した座標位置の移動量は、ステップS16で算出した値である。

0115

また、補正値2は、前述したとおり、両者の比較に基づいて生成した、センサ情報の積算値補正するための係数である。即ち、三角測量による座標位置の移動量を正確な値とし、センサ情報から積算した座標位置の移動量を正確な値に補正するための係数である。この補正値2は、電子ペン300の筆記中のセンサ情報の補正係数である。

0116

補正値2を記憶した後、フラグtを1に設定し(ステップS18)、描画処理を行い(ステップS19)、ステップS12に移行する。この描画処理により、ステップS5で記憶した描画開始座標位置からステップS15で記憶した座標位置までの電子ペン300の軌跡が表示部112に表示される。

0117

今度はステップS12で移動が有ると判断し(ステップS12:有)、三角測量ができなかったものとする(ステップS13→ステップS14:不可)。この場合、センサ情報に補正値2を適用し補正し、座標位置を算出し(ステップS19)、その座標位置を記憶する(ステップS20)。そして、フラグtを0に設定し(ステップS21)、描画処理を行い(ステップS22)、ステップS12に移行する。ステップS19は、座標検出部224内の第2の補正手段により実行される。

0118

次に、ステップS6でフラグtが1である場合について説明する。フラグtを1に設定するのはステップS18であるから、ステップS6でフラグtが1になるのは、ステップS18→S22→S12→S23〜S29→S2〜S5を経てS6に到達した場合である。

0119

次のステップS7では、センサ情報の積算値から座標位置の移動量を算出する。ここで、算出する移動量は、ステップS28で算出した値、つまり電子ペン300が表示部112から離れていた間の電子ペン300の移動量である。

0120

次に、三角測量による座標位置の移動量と、センサ情報から積算した座標位置の移動量から補正値1を算出して蓄積する(ステップS8)。ここで、三角測量による座標位置の移動量は、ステップS5で記憶した座標位置とステップS24で記憶した座標位置との差分である。センサ情報から積算した座標位置の移動量は、ステップS7で算出した値である。

0121

また、補正値1は、前述したとおり、両者の比較に基づいて生成した、センサ情報の積算値を補正するための係数である。即ち、三角測量による座標位置の移動量を正確な値とし、センサ情報から積算した座標位置の移動量を正確な値に補正するための係数である。この補正値1は、電子ペン300が表示部112に接触していないときのセンサ情報の積算値の補正係数である。補正値1を蓄積した後、センサ情報を初期化する(ステップS11)。

0122

ステップS3で測定できないと判断した場合は(ステップS3:不可)、フラグwが1か0かを判断し(ステップS9)、0の場合はステップS2に移行し、1の場合はステップS10に移行する。ステップS10では、センサ情報の積算値に補正値1を適用して座標位置を算出する。次に、その座標位置を記憶し(ステップS30)、センサ情報を初期化する(ステップS11)。ステップS10は、座標検出部224内の第1の補正手段により実行される。

0123

フラグwはステップS25で1に設定されるので、ステップS9でフラグwが1になるのは、ステップS25〜S29→S2→S3を通ってステップS9に到達した場合である。従って、ステップS10で算出される座標位置は、ステップS24で座標位置を記憶した後、電子ペン300が表示部112に接触していないときのセンサ情報の積算値を補正値1で補正した正確な座標である。

0124

以上説明したフローチャートの概略をまとめると以下のようになる。
筆記終了時から再度筆記するまでの加速度センサ305と角速度センサ306の情報から算出した表示部112上の座標の移動量(ステップS28にてセンサ情報を積算した結果を基に、ステップS7にて算出した座標位置)と、三角測量により算出された座標位置の移動量(ステップS2にて三角測量を行い、ステップS5にて算出した座標位置)と、ステップS15で算出してステップS24で記憶された、筆記終了時との座標位置の差の比較を行う。

0125

三角測量により算出された座標位置を正確な値とし、その相違する割合から補正値を算出し、座標入力領域43の2つの座標軸方向(x軸方向、y軸方向)の移動量(ステップS2にて三角測量を開始し、ステップS4にて開始位置を算出する)と紐付けしたデータとしてステップS8で蓄積する。

0126

即ち、例えば、筆記終了時にステップS24での座標位置を記憶した場合、次に筆記を開始するまでステップS28でセンサ情報を積算している。ステップS29にて筆記開始を検知した場合に、センサはステップS28で積算した値から、座標位置の移動量が(xs1、ys1)となった場合、三角測量で求めた移動量が(xt1,yt1)だとすると、x座標の補正値1はxt1÷xs1で求められ、y座標の補正値1はyt1÷ys1となる。

0127

この蓄積していくデータから、座標軸の移動量に合わせた補正値(補正値1)を算出していき、図8のように三角測量から座標位置を算出できず、加速度センサ305と角速度センサ306の情報から座標位置を算出する場合に、ステップS10にて、ステップS28で積分演算した移動量の情報に補正値1を用いて座標位置を算出する。即ち、補正値1×ステップS28で積算した移動量+ステップS24で記憶した座標位置とすることで、正確に座標位置を算出することができる。

0128

また、筆記中においても誤差を減らすべく、同様にステップS17にて、電子ペン300の移動中のS13の三角測量による移動量と、ステップS16のセンサ情報による移動量の異なる割合から,補正値2を算出する。

0129

このように、ステップS24で記憶した座標位置に、過去の蓄積したセンサ積算値から算出した移動量を三角測量で測量した移動量に近付ける補正値1で、ステップS28のセンサ積算値を補正して電子ペン300の座標位置を算出することで、筆記開始点を確定する。筆記中は、ステップS30又はステップS20で記憶した座標位置に、短い移動距離特化した補正値2で、ステップS19のセンサ積算値を補正して電子ペンの座標位置を算出することで、三角測量から算出できない場合にでも、正確な座標位置に電子ペンで描画することができるようになる。

0130

以上詳細に説明したように、本発明の実施形態の画像処理装置110によれば、下記(1)〜(4)の効果が得られる。
(1)電子ペン300以外に手などの遮蔽物が表示部112の表面に接触しているときでも、電子ペン300の表示部112上の座標位置を算出することができる。
(2)複数の電子ペン300が表示部112に接触しているときでも、各電子ペン300の表示部112上の座標位置を算出することができる。
(3)電子ペン300で筆記していないときのセンサ情報の積算値に基づく座標位置を補正することができる。
(4)電子ペン300で筆記しているときのセンサ情報の積算値に基づく座標位置を補正することができる。

0131

40…座標入力装置、41−1,41−2…受発光手段、43…座標入力領域、44…再帰性反射部材、110,1010…画像処理装置、112,1012…表示部、224…座標検出部、226…座標検知装置、240…描画装置、300…電子ペン、305…加速度センサ、306…角速度センサ。

先行技術

0132

特開平9−91094号公報
特許第4340302号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

新着 最近 公開された関連が強い 技術

  • 楽天株式会社の「 情報処理装置、情報処理方法、及びプログラム」が 公開されました。( 2018/10/04)

    【課題・解決手段】ユーザがオブジェクトを画面に向けることで画面上の入力位置を入力可能なユーザインタフェースにおける操作性を向上させる。情報処理装置(10)の実指示位置取得手段(102)は、画面に向けら... 詳細

  • 株式会社リコーの「 位置検出装置、画像表示装置及び画像表示システム」が 公開されました。( 2018/09/20)

    【課題・解決手段】複数の受光センサ、複数の照明光源、再帰反射板、制御装置などを有している。再帰反射板は表示面の周囲に配置され、複数の照明光源は、再帰反射板に向けて光を射出する。複数の受光センサは、再帰... 詳細

  • 富士通株式会社の「 電子機器」が 公開されました。( 2018/09/20)

    【課題・解決手段】良好な触感を提供できる電子機器を提供することを課題とする。電子機器は、操作面を有するトップパネルと、前記操作面に行われる操作入力の位置を検出する位置検出部と、前記トップパネルに取り付... 詳細

この 技術と関連性が強い 技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ