図面 (/)

技術 ディスプレイ装置、ポインティングデバイスおよび情報処理装置

出願人 三菱電機株式会社
発明者 島嵜睦西方茂樹
出願日 2018年9月6日 (2年3ヶ月経過) 出願番号 2018-167206
公開日 2020年3月19日 (9ヶ月経過) 公開番号 2020-042359
状態 未査定
技術分野 デジタル計算機のユーザインターフェイス 位置入力装置
主要キーワード ブルーレイディスクレコーダー 光入力装置 ブルーレイディスクプレーヤー 操作用画像データ スワイプ動作 点滅操作 GUI動作 被操作装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

光が照射したディスプレイ上の位置を視認できるようにするディスプレイ装置を提供する。

解決手段

ディスプレイ装置100は、映像データI/F2と、映像データに基づく映像を表示するディスプレイパネル3と、パネル3に照射された光の光量を所定の領域毎に検出する光センサ5と、検出された所定の領域毎の光量に基づいて、外部の光源装置から放射された光によって指し示されたパネル3上の位置を特定する検出情報処理部6と、映像データおよび特定された位置に基づいて、合成映像データを生成する画像処理装置7とを備える。画像処理装置7は、検出情報処理部6によって特定された位置に基づいてポインタ画像を表示するようにポインタ表示データを作成するポインタ表示作成部8と、映像データとポインタ表示データとを合成した合成映像データを生成する映像合成部9とを備える。

概要

背景

特許文献1は、所定の画像情報拡大表示する画面と、光線ポインタと、光線ポインタにより指示された該画面上の位置を検出する検出手段とを具備するディスプレイシステムを開示する。これにより、ディスプレイ上に拡大表示されたパソコンの画像情報に含まれるアイコンコマンドメニューに対して、あたかもカーソルマウスポインタによりパソコンを操作するかのように、光線ポインタで所望の位置を照射、指示することにより、画面操作を行うことが可能となる。

概要

光が照射したディスプレイ上の位置を視認できるようにするディスプレイ装置を提供する。ディスプレイ装置100は、映像データI/F2と、映像データに基づく映像を表示するディスプレイパネル3と、パネル3に照射された光の光量を所定の領域毎に検出する光センサ5と、検出された所定の領域毎の光量に基づいて、外部の光源装置から放射された光によって指し示されたパネル3上の位置を特定する検出情報処理部6と、映像データおよび特定された位置に基づいて、合成映像データを生成する画像処理装置7とを備える。画像処理装置7は、検出情報処理部6によって特定された位置に基づいてポインタ画像を表示するようにポインタ表示データを作成するポインタ表示作成部8と、映像データとポインタ表示データとを合成した合成映像データを生成する映像合成部9とを備える。

目的

本発明は、上記のような問題点を解決するためになされたものであり、レーザポインタ等から出射された光によって照射したディスプレイ上の位置を見やすく視認できるようにするディスプレイ装置を得ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像データを入力する映像データ入力部と、前記映像データに基づく映像を表示するディスプレイパネルと、前記ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、検出された所定の領域毎の光量に基づいて、外部の光源装置から放射された光によって指し示された前記ディスプレイパネル上の位置を特定する検出情報処理部と、前記映像データおよび特定された前記位置に基づいて、前記ディスプレイパネルに表示される映像を示す合成映像データを生成する画像処理装置とを備え、前記画像処理装置は、前記検出情報処理部によって特定された位置に基づいてポインタ画像を表示するようにポインタ表示データを作成するポインタ表示作成部と、前記映像データと前記ポインタ表示データとを合成した合成映像データを生成する映像合成部とを備えるディスプレイ装置

請求項2

前記検出情報処理部は、光によって指し示された前記ディスプレイパネル上の位置の軌跡を含む所定の入力操作を更に検出する、請求項1に記載のディスプレイ装置。

請求項3

前記光センサは、前記ディスプレイパネルに照射された光の光量を電圧信号に変換し、前記検出情報処理部は、前記所定の領域毎に特定された前記電圧信号が示す電圧値の中から、所定の閾値より高い電圧値を検索し、所定の閾値より高い電圧値があった場合、その中で最も高い電圧値を特定し、最も高い電圧値を示した前記所定の領域の位置を、前記外部の光源装置から放射された光によって指し示された前記ディスプレイパネル上の位置と特定する、請求項1または2に記載のディスプレイ装置。

請求項4

特定された前記位置と前記入力操作とに基づく信号を外部装置に出力する検出信号出力部を更に備え、前記映像データ入力部は、前記外部装置から、前記映像データと、前記外部装置を操作するための操作情報とを入力し、前記映像合成部は、前記映像データと前記ポインタ表示データと前記操作情報とを合成した合成映像データを生成し、前記ディスプレイパネルに表示された前記操作情報を示す操作用画像上で前記入力操作を行うことによって、前記外部装置を操作する、請求項2または3に記載のディスプレイ装置。

請求項5

前記外部の光源装置は、レーザ光を放射して前記ディスプレイパネルを指し示すためのレーザポインタである、請求項1〜4のいずれかに記載のディスプレイ装置。

請求項6

外部装置から映像データを入力する映像データ入力部と、前記映像データに基づく映像を表示するディスプレイパネルと、出射した光によって前記ディスプレイパネルを指し示すことに基づいて入力操作を行う入力装置と、前記ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、前記入力装置から出射された光によって指し示された前記ディスプレイパネル上の位置と軌跡とを含む所定の入力操作と、を特定する検出情報処理部と、特定された前記位置と前記入力操作とに基づく信号を前記外部装置に出力する検出信号出力部とを備え、前記入力操作による前記外部装置の操作を可能にするポインティングデバイス

請求項7

入力された映像データに基づいて映像を表示するディスプレイパネルと、出射した光によって前記ディスプレイパネルを指し示すことに基づいて入力操作を行う入力装置と、前記ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、前記入力装置から出射された光によって指し示された前記ディスプレイパネル上の位置と軌跡とを含む所定の入力操作と、を特定する検出情報処理部と、特定された前記位置と前記入力操作とに基づいて、前記映像データを生成して前記ディスプレイパネルに出力するとともに、所定の入力操作に対応する制御を行う制御部とを備えるディスプレイ一体型情報処理装置

技術分野

背景技術

0002

特許文献1は、所定の画像情報拡大表示する画面と、光線ポインタと、光線ポインタにより指示された該画面上の位置を検出する検出手段とを具備するディスプレイシステムを開示する。これにより、ディスプレイ上に拡大表示されたパソコンの画像情報に含まれるアイコンコマンドメニューに対して、あたかもカーソルマウスポインタによりパソコンを操作するかのように、光線ポインタで所望の位置を照射、指示することにより、画面操作を行うことが可能となる。

先行技術

0003

特開平9−222951号公報

発明が解決しようとする課題

0004

しかしながら、ディスプレイには、外光反射により映像が見づらくなることを防止するために、通常、表面に外光の反射を防止する手段が施される。例えば、ディスプレイに反射防止シートフィルム等が貼られる。したがって、市販のレーザポインタ等の投光器によってディスプレイ上を指し示しても、光の反射が妨げられるため、視聴者には指し示された位置を視認することが困難である。

0005

本発明は、上記のような問題点を解決するためになされたものであり、レーザポインタ等から出射された光によって照射したディスプレイ上の位置を見やすく視認できるようにするディスプレイ装置を得ることを目的とする。

課題を解決するための手段

0006

本発明の第1の態様は、映像データを入力する映像データ入力部と、映像データに基づく映像を表示するディスプレイパネルと、ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、検出された所定の領域毎の光量に基づいて、外部の光源装置から放射された光によって指し示されたディスプレイパネル上の位置を特定する検出情報処理部と、映像データおよび特定された位置に基づいて、ディスプレイパネルに表示される映像を示す合成映像データを生成する画像処理装置とを備えるディスプレイ装置を提供する。画像処理装置は、検出情報処理部によって特定された位置に基づいてポインタ画像を表示するようにポインタ表示データを作成するポインタ表示作成部と、映像データとポインタ表示データとを合成した合成映像データを生成する映像合成部とを備える。

0007

本発明の第2の態様は、外部装置から映像データを入力する映像データ入力部と、映像データに基づく映像を表示するディスプレイパネルと、出射した光によってディスプレイパネルを指し示すことに基づいて入力操作を行う入力装置と、ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、入力装置から出射された光によって指し示されたディスプレイパネル上の位置と軌跡とを含む所定の入力操作と、を特定する検出情報処理部と、特定された位置と入力操作とに基づく信号を外部装置に出力する検出信号出力部とを備え、入力操作による外部装置の操作を可能にするポインティングデバイスを提供する。

0008

本発明の第3の態様は、入力された映像データに基づいて映像を表示するディスプレイパネルと、出射した光によってディスプレイパネルを指し示すことに基づいて入力操作を行う入力装置と、ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、入力装置から出射された光によって指し示されたディスプレイパネル上の位置と軌跡とを含む所定の入力操作と、を特定する検出情報処理部と、特定された位置と入力操作とに基づいて、映像データを生成してディスプレイパネルに出力するとともに、所定の入力操作に対応する制御を行う制御部とを備えるディスプレイ一体型の情報処理装置を提供する。

発明の効果

0009

本発明により、レーザポインタ等から出射された光によって照射したディスプレイ上の位置を見やすく視認できるようにするディスプレイ装置を得ることができる。

図面の簡単な説明

0010

本発明の実施の形態1に係るディスプレイ装置の動作状況を示す図である。
本発明の実施の形態1に係るディスプレイ装置の構成を示すブロック図である。
本発明の実施の形態1に係るディスプレイ装置の検出情報処理部の構成例を示す図である。
本発明の実施の形態1に係るディスプレイ装置の動作を示すフローチャートである。
本発明の実施の形態2に係るディスプレイ装置の動作状況を示す図である。
本発明の実施の形態2に係るディスプレイ装置および外部装置の構成を示すブロック図である。
本発明の実施の形態2に係るディスプレイ装置および外部装置の動作の流れを示す図である。
本発明の実施の形態3に係るディスプレイ装置の構成および外部装置の構成を示すブロック図である。
本発明の実施の形態3に係るディスプレイ装置および外部装置の動作の流れを示す図である。
本発明の実施の形態3に係るディスプレイ装置の変形例の構成を示すブロック図である。

実施例

0011

以下、本発明の実施の形態について、図面を参照して説明する。各実施の形態において、同一の構成には同一の符号を付して、説明を省略する。

0012

実施の形態1.
図1は、本発明の実施の形態1に係るディスプレイ装置100の動作状況を示す図である。ディスプレイ装置100は、センサ付きディスプレイパネル3を備える。レーザポインタ1を用いて、センサ付きディスプレイパネル3にレーザ光を照射すると、レーザ光が照射された位置にポインタ画像11が表示される。これにより、視聴者は、レーザポインタ1からのレーザ光によって指し示された位置を見やすく視認することができる。

0013

図2は、ディスプレイ装置100の構成を示すブロック図である。ディスプレイ装置100は、センサ付きディスプレイパネル3に加えて、映像データインタフェース(I/F)2と、センサ付きディスプレイパネル3による検出情報を受け取る検出情報処理部6と、センサ付きディスプレイパネル3に表示される映像を示す映像データを生成する画像処理装置7とを更に備える。

0014

ディスプレイ装置100は、例えばゲートドライバまたは走査線駆動回路ソースドライバまたは映像線駆動回路等の、センサ付きディスプレイパネル3を駆動する駆動回路(図示せず)を更に備えている。

0015

映像データI/F2は、ディスプレイ装置100と周辺機器との間で映像信号通信を行う接続回路または接続モジュールである。映像データI/F2としては、VGADVIMHL、USB(Universal Serial Bus)、HDMI登録商標)、DLNA(登録商標)などの映像に関わる種々の規格に従ったインタフェースが用いられる。

0016

センサ付きディスプレイパネル3は、映像信号に基づく映像を表示する表示部4と、光センサ5とを備える。表示部4は、例えば液晶ディスプレイであり、液晶層と、液晶層を表裏から挟み込む裏側ガラス基板と表側ガラス基板と、表側ガラス基板の方向に裏側ガラス基板の裏側から光を入射するバックライトと、を含む公知の構造を有する。裏側ガラス基板には、表示画素電極データ信号線配向膜偏光板などが設けられている。表側ガラス基板には、RGBカラーフィルタ遮光膜対向電極、配向膜、偏光板などが設けられている。表示部4は、有機ELディスプレイ等の他のディスプレイ装置であってもよい。

0017

光センサ5は、例えば、表示部4の表示画素電極の全部または一部の上に取り付けられたフォトダイオードを備えるものであり、公知の構成(例えば、特開2011−048196参照)を有する。表示部4の表示画素の数と、検出位置の単位(以下、「センサ画素」という。)であるフォトダイオードの数とは、必ずしも一致しなくてもよい。光センサ5は、例えばレーザポインタ1から照射されたレーザ光の光量を電圧信号に変換して出力する。

0018

光センサ5の構成はこれに限定されず、フォトダイオードを追加的に設ける代わりに、表示部4を構成する薄膜トランジスタ(TFT)をフォトダイオードで置換して、表示用トランジスタ自身に表示機能光センサ機能とを併せ持たせる構成であってもよい。表示部4の表示画素電極の駆動と、光センサ5による外光の検出は、共通の配線によって行われるため、時分割で実行される。

0019

検出情報処理部6は、光センサ5から出力された電圧信号に基づいて、所定の光、例えばレーザポインタ1から照射されたレーザ光のセンサ付きディスプレイパネル3への入射の有無を検出し、入射があった場合、入射位置を示す座標データを出力するデバイスである。

0020

図3は、検出情報処理部6の構成例を示す図である。検出情報処理部6は、アンプ61と、A/Dコンバータ63と、メモリ64と、制御部67と、座標出力部68と、を備える。なお、検出情報処理部6は、電圧信号からノイズを除去するフィルタ62を更に備えてもよい。

0021

アンプ61は、光センサ5から出力された電圧信号を増幅する回路である。A/Dコンバータ63は、アナログ信号である電圧信号をディジタル信号へ変換する回路である。

0022

メモリ64は、種々の情報を記録する記録媒体である。メモリ64は、一時メモリ65と、不揮発メモリ66と、を含む。一時メモリ65は、例えば種々の情報を一時的に記憶するSRAM、DRAMなどの揮発性メモリで構成される。一時メモリ65は、光センサ5の全てのセンサ画素の電圧値を一時的に記憶する。

0023

不揮発メモリ66は、例えば、フラッシュメモリSSDなどの半導体メモリ装置ハードディスク等の磁気記憶装置、その他の記憶デバイス単独でまたはそれらを適宜組み合わせて実現される。不揮発メモリ66は、予め設定された特定の光量または電圧閾値および座標データなどの判定条件を記憶する。

0024

制御部67は、プログラムを実行することによって所定の機能を実現するCPUまたはMPUのような汎用プロセッサを含み、メモリ64に格納された制御プログラムを呼び出して実行することによって、各種の制御を実現する。具体的には、制御部67は、光センサ5の各センサ画素からの出力を順次切り替えて(スキャンして)アンプ61に入力する。制御部67は、例えば、A/Dコンバータ63から出力されたディジタル信号を、画像処理装置7が要求する受光情報に変換する。

0025

座標出力部68は、画像処理装置7に座標データを送信する回路である。制御部67は、判定条件を満たすセンサ画素の座標データを特定して、座標出力部68を介して画像処理装置7に出力する。座標出力部68は、上記のような回路に限定されず、制御部67に含まれる汎用プロセッサによって実現されてもよい。

0026

画像処理装置7は、ポインタ表示作成部8と、映像合成部9と、メモリ10と、を備える。メモリ10は、種々の情報を記録する記録媒体であり、例えば、半導体メモリ装置、磁気記憶装置、その他の記憶デバイス単独でまたはそれらを適宜組み合わせて実現される。

0027

ポインタ表示作成部8は、検出情報処理部6から出力された座標データが示す座標に基づいてポインタ画像11を表示するように、ポインタ表示データを作成する。ポインタ画像11は、例えば、矢印、カーソル、丸印および文字を含む種々の画像である。ポインタ画像11は、主に、レーザポインタ1からのレーザ光によって指し示された位置をユーザ、視聴者等にわかりやすく示すものである。ポインタ画像11を示す画像データは、例えば、予めメモリ10に格納される。

0028

映像合成部9は、ポインタ表示作成部8によって作成されたポインタ表示データが示す画像を、映像データI/F2を介して外部から入力された映像データが示す映像上に重畳させるように合成した映像を示す合成映像データを生成する。この合成映像データが画像処理装置7から出力され、合成映像データが示す映像は、センサ付きディスプレイパネル3の表示部4によって表示される。

0029

検出情報処理部6の制御部67、画像処理装置7のポインタ表示作成部8および映像合成部9のそれぞれは、プログラムを実行することによって所定の機能を実現するCPUまたはMPUのような汎用プロセッサを含む。制御部67、ポインタ表示作成部8および映像合成部9のそれぞれは、メモリ10に格納された制御プログラムを呼び出して実行することによって、各種の制御を実現する。制御部67、ポインタ表示作成部8および映像合成部9のそれぞれは、ハードウェアソフトウェア協働によって所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部67、ポインタ表示作成部8および映像合成部9のそれぞれは、CPU、MPU、GPU、FPGA、DSP、ASIC等、種々のプロセッサで実現することができる。

0030

次に、図2〜4を参照して、ディスプレイ装置100の動作について説明する。図4は、ディスプレイ装置100の動作を示すフローチャートである。

0031

まず、ユーザが、レーザポインタ1を用いてレーザ光をセンサ付きディスプレイパネル3に照射する(S100)。

0032

センサ付きディスプレイパネル3の光センサ5は、各センサ画素に照射された光の光量を電圧信号に変換して検出情報処理部6に出力する(S101)。すなわち、光センサ5は、ディスプレイパネル3に照射された光の光量を所定の領域毎に検出する。

0033

電圧信号の入力を受けた検出情報処理部6は、光量、すなわち電圧についての判定条件を満たすセンサ画素の座標を特定し、その座標データを画像処理装置7に出力する(S102)。

0034

具体的には、光センサ5の各センサ画素から出力されて検出情報処理部6に入力された電圧信号は、アンプ61、フィルタ62、A/Dコンバータ63および制御部67によって適切に処理されて、一時メモリ65に格納される。制御部67は、一時メモリ65に格納された全センサ画素の電圧値について、不揮発メモリ66に格納されている判定条件を用いて判定を行う。

0035

例えば、制御部67は、一時メモリ65に記憶された全てのセンサ画素の電圧値の中から、不揮発メモリ66に格納された電圧閾値より高い電圧値を検索する。電圧閾値より高い電圧値があった場合、その中から最も高い電圧値を検索する。そして、制御部67は、最も高い電圧値を検出したセンサ画素の座標データを座標出力部68を介して画像処理装置7に出力する。

0036

さらに、検出情報処理部6は、メモリ64の一時メモリ65に記憶された全てのセンサ画素の電圧値の中に電圧閾値より高い電圧値がなかった場合、電圧閾値より高い電圧値がなかったという情報、または、光センサ5が光を検出しなかったという情報を、座標出力部68を介して出力してもよい。

0037

次に、画像処理装置7のポインタ表示作成部8は、検出情報処理部6から出力された座標データが示す座標に基づいてポインタ画像11を表示するように、ポインタ表示データを作成する(S103)。ポインタ画像11は、例えば予めメモリ10に格納された画像データが示す画像である。

0038

次に、映像合成部9は、ポインタ表示作成部8によって作成されたポインタ表示データが示す画像を、映像データI/F2を介して外部から入力された映像データが示す映像の上に重畳させた映像を示す合成映像データを生成する(S104)。生成された合成映像データは、画像処理装置7からセンサ付きディスプレイパネル3へ出力される。センサ付きディスプレイパネル3の表示部4は、合成映像データが示す映像を表示する(S105)。

0039

以上のように、ディスプレイ装置100は、映像データを入力する映像データI/F2と、映像データに基づく映像を表示するセンサ付きディスプレイパネル3の表示部4と、センサ付きディスプレイパネル3に照射された光の光量を所定の領域毎に検出する光センサ5と、検出された所定の領域毎の光量に基づいて、レーザポインタ1から放射された光によって指し示されたセンサ付きディスプレイパネル3上の位置を特定する検出情報処理部6と、映像データおよび検出された位置に基づいて、センサ付きディスプレイパネル3の表示部4に表示される映像を示す合成映像データを生成する画像処理装置7とを備える。

0040

画像処理装置7は、検出情報処理部6によって検出された位置に基づいてポインタ画像11を表示するようにポインタ表示データを作成するポインタ表示作成部8と、映像データとポインタ表示データとを合成した合成映像データを生成する映像合成部9とを備える。

0041

合成映像データにはポインタ表示データが含まれるため、レーザポインタ1のレーザ光がセンサ付きディスプレイパネル3に照射されると、照射位置に、視聴者の目に見えないレーザ光自体の代わりに、ポインタ画像を表示することが可能となる。

0042

これにより、センサ付きディスプレイパネル3に、外光の反射を防止するシートやフィルムを貼る等、外光の反射により映像が見づらくなることを防止する処理がなされていても、視聴者に見えやすいポインタ画像を表示することができる。

0043

例えば、プレゼンテーションにおいて、発表者は、装置特有の入力装置ではなく、市販のレーザポインタ1を使用して、視聴者に見てもらいたい箇所を、視聴者に見えやすいポインタ画像によって、指し示すことができる。さらに、視聴者も、指摘したい位置を視聴者自身が持つレーザポインタ1で指し示すことができる。発表者と視聴者は、同時に指示を行うことができる。

0044

発表者と視聴者がレーザポインタ1によって同時に指示を行う場合、例えば発表者によって指し示された位置に赤色のポインタを配置し、視聴者によって指し示された位置に青色のポインタを配置することによって、両者の操作を識別することができるようにしてもよい。また、レーザポインタから照射されるレーザ光の色(波長)や投影形状によらず、指し示した箇所を矢印やマーク等の所望の形状で表示することができる。

0045

実施の形態2.
図5は、本発明の実施の形態2に係るディスプレイ装置200の動作状況を示す図である。図5では、ディスプレイ装置200のセンサ付きディスプレイパネル3に、外部装置220からの入力に基づく操作用画像210が示されている。

0046

外部装置220は、映像を出力する機器であって、ユーザによる操作入力受け付けるものである。外部装置220は、例えば、ブルーレイディスクプレーヤーブルーレイディスクレコーダーHDDレコーダーDVDプレーヤーDVDレコーダーテレビジョンカーナビゲーションシステムゲームプレーヤーセットトップボックス等の機器である。ディスプレイ装置200上に表示された操作用画像210に対して、レーザポインタ1から出射されたレーザ光を照射することによって、外部装置220を操作することができる。

0047

図6は、ディスプレイ装置200および外部装置220の構成を示すブロック図である。実施の形態1の構成に加えて、ディスプレイ装置200は、検出情報処理部6から出力された座標データを含む検出信号を外部に出力するための検出信号インタフェース(I/F)211を更に備える。検出信号I/F211から出力された検出信号は、外部装置220に入力される。

0048

検出信号I/F211は、無線または有線の通信手段を介して、ディスプレイ装置200と周辺機器との間でデータ通信を行う接続回路または接続モジュールである。ここで、通信手段とは、各装置間の距離の長短によらず、各装置間の信号またはデータの通信を可能とする通信回線または通信路を指す。検出信号I/F211は、検出情報処理部6から出力された座標データを含む検出信号を、例えばノートPC、デスクトップPC等の情報処理装置のポインティングデバイスとして用いられるマウスの出力と同形式のデータに変換する。検出信号I/F211としては、例えば、USB、Bluetooth(登録商標)等、種々のインタフェースが用いられる。検出信号I/F211としてUSBを採用する場合、検出信号I/F211にはUSB HIDクラスのプロトコル実装され、検出情報処理部6から出力された座標データを含む検出信号は、例えばマウスポインタ用の通信データに変換され、USB規格準拠したコネクタから出力される。

0049

外部装置220は、映像データと操作用画像データ操作情報)とを出力する。外部装置220から出力された映像データおよび操作用画像データは、ディスプレイ装置200の映像データI/F2を介して、画像処理装置7の映像合成部212に入力される。なお、外部装置220から出力された操作用画像データは、例えば、映像データI/F2を介さずに、操作用画像データの入力のための図示しない操作用画像データインタフェースを介して、画像処理装置7の映像合成部212に入力されてもよい。

0050

実施の形態1と異なり、画像処理装置7の映像合成部212には、ポインタ表示作成部8によって作成されたポインタ表示データ、および、映像データI/F2を介して外部から入力された映像データのみならず、外部装置220から入力された操作用画像データも入力される。映像合成部212は、ポインタ表示データが示す画像と、映像データが示す映像と、操作用画像データが示す画像と、を合成した映像を示す合成映像データを生成する。

0051

外部装置220は、検出信号入力部221と、制御部223と、映像データ生成部225と、記憶部226と、映像データ出力部227とを備える。

0052

検出信号入力部221は、ディスプレイ装置200の検出信号I/F211から出力された検出信号を入力する接続回路または接続モジュールである。検出信号入力部221としては、例えば、USB、Bluetooth(登録商標)等、種々のインタフェースが用いられる。

0053

映像データ生成部225は、例えば、ブルーレイディスク、DVD等のディスク再生するディスク装置、または、映像データを記憶したハードディスクなどの記憶装置である。あるいは、映像データ生成部225は、例えば、テレビ放送局から送信された電波を受信して映像データに変換するテレビ受像機であってもよい。

0054

外部装置220の制御部223は、プログラムを実行することによって所定の機能を実現するCPUまたはMPUのような汎用プロセッサを含み、記憶部226に格納された制御プログラムを呼び出して実行することによって、各種の制御を実現する。

0055

制御部223は、操作用画像210を示す操作用画像データを生成する操作用画像生成部224を含む。操作用画像生成部224は、ユーザが行った入力操作に応じて、例えば予め記憶部226に格納された画像データを読み出して出力する。

0056

また、制御部223は、検出信号入力部221に入力された検出信号を受け取り、検出信号に含まれる座標データに基づいて、ユーザがレーザポインタ1を用いて行った入力指示または操作の内容を各種の制御に反映させる。レーザポインタ1を用いた入力指示または操作の仕方については後述する。

0057

映像データ出力部227は、ディスプレイ装置200に操作用画像データおよび映像データを出力する接続回路または接続モジュールである。映像データ出力部227としては、VGA、DVI、MHL、USB、HDMI(登録商標)、DLNA(登録商標)などの映像に関わる種々の規格に従ったインタフェースが用いられる。

0058

次に、図5〜7を参照して、ディスプレイ装置200の動作について説明する。図7は、ディスプレイ装置200および外部装置220の動作の流れを示す図である。

0059

まず、外部装置220は、映像データ出力部227を介して、ディスプレイ装置200に操作用画像データおよび映像データを出力する(S201)。

0060

操作用画像データおよび映像データは、ディスプレイ装置200の映像データI/F2を介して、画像処理装置7の映像合成部212に入力される。映像合成部212は、ポインタ表示作成部8から受け取ったポインタ表示データが示す画像と、映像データが示す映像と、操作用画像データが示す画像と、を合成した映像を示す合成映像データを生成する(S202)。

0061

生成された合成映像データは、画像処理装置7から出力され、合成映像データが示す映像は、センサ付きディスプレイパネル3の表示部4によって表示される(S203)。したがって、ユーザは、図5に示すように、センサ付きディスプレイパネル3に表示された、操作用画像210およびポインタ画像11を含む映像を見ることができる。

0062

操作用画像210には、例えば外部装置220がテレビジョンの場合、図5に示すように、視聴するテレビ放送局を選択するためのチャネル選択タンが表示される。ユーザは、操作用画像210を見ながら、レーザポインタ1を使用してレーザ光を操作用画像210に照射して入力操作を行う(S204)。レーザポインタ1を使用した画面上の入力操作としては、例えば、チャネル選択ボタンの「4」に対応するテレビ放送局(4チャネル)を選択したい場合、ユーザは、レーザポインタ1を使用してレーザ光をチャネル選択ボタン「4」の位置に一定時間照射する。

0063

入力操作の他の例として、ユーザは、センサ付きディスプレイパネル3上に、予め設定された特定の座標にレーザ光を照射することによって、または、予め設定された光の軌跡を描くジェスチャを行うことによって、操作用画像210の表示と非表示とを切り替えてもよい。例えば、画面の左下から右上にレーザ光を動かせば操作用画像210を表示し、右上から左下に動かせば操作用画像210を非表示にする。また、例えば、レーザ光で画面上に「Z」を描けばDVDレコーダーの電源オフにし、「○」を描けば録画を開始する。

0064

入力操作の更なる他の例として、レーザポインタ1から照射されるレーザ光を所定の周期で点滅させることによって、選択操作を実行することが考えられる。例えば、チャネル選択ボタンの「4」に対応するテレビ放送局(4チャネル)を選択したい場合、ユーザは、レーザポインタ1を使用してレーザ光をチャネル選択ボタン「4」の位置に照射した上で、レーザ光を所定の周期で点滅させる。

0065

このような点滅操作をするために、レーザポインタ1の代わりに、専用のユーザインターフェース(UI)が用いられてもよい。例えば、専用UIには、レーザ光を照射する投光ボタンの他に、選択操作を実行するための選択ボタンが設けられる。ユーザが選択ボタンを押下すると、レーザ光が所定の周期で点滅する。

0066

あるいは、ユーザが専用UIの選択ボタンを押下した場合、点滅操作の代わりに、投光用のレーザ光とは波長の異なる選択用レーザ光が照射され、センサ付きディスプレイパネル3の光センサ5が選択用レーザ光を検知することにより、選択操作が実行されてもよい。

0067

センサ付きディスプレイパネル3の光センサ5は、各センサ画素に照射された光の光量を電圧信号に変換して検出情報処理部6に出力する(S205)。

0068

電圧信号の入力を受けた検出情報処理部6は、電圧についての判定条件を満たすセンサ画素の座標を特定し、その座標データを出力する(S206)。出力された座標データは、画像処理装置7のポインタ表示作成部8と、検出信号I/F211と、に送信される。

0069

検出情報処理部6から出力された座標データの入力を受けた画像処理装置7のポインタ表示作成部8は、座標データが示す座標に基づいてポインタ画像11を表示するように、ポインタ表示データを作成する(S207)。

0070

また、検出情報処理部6から検出信号I/F211を介して出力された座標データの入力を受けた外部装置220において、座標データが示す座標に応じた操作が実行される(S208)。前述の外部装置220がテレビジョンである例では、座標データが、操作用画像210のチャネル選択ボタン「4」上の座標を示している場合、制御部223は、4チャネルに対応するテレビ映像データを映像データ生成部225から取り出し、映像データ出力部227に出力する。

0071

次に、制御部223の操作用画像生成部224は、操作が実行された後の状況に応じた操作用画像210を示す操作用画像データを生成する(S209)。前述の外部装置220がテレビジョンである例では、操作用画像生成部224は、例えば、図5に示す操作用画像210のチャネル選択ボタン「4」を他のボタンと異なる色に着色した操作用画像データを生成し、ユーザにチャネル選択ボタン「4」が選択されたことを知らせてもよい。

0072

以上のステップS201〜S209が繰り返される。例えば、外部装置220は、ステップS208で選択されたチャネルに対応するテレビ映像データと、ステップS209で生成された操作用画像データと、をディスプレイ装置200に出力し(S201)、ディスプレイ装置200は、テレビ映像データが示す映像および操作用画像データが示す画像と、ステップS207で生成されたポインタ表示データが示す画像と、を合成した映像を示す合成映像データを生成する(S202)。

0073

なお、外部装置220は、ユーザがレーザポインタ1による入力操作(S204)を行わないため座標の入力(S206)を受けなかった場合、映像データと、現在の操作用画像データとを出力し続ける。外部装置220は、ユーザによる入力操作が一定時間行われなかった場合、操作用画像をディスプレイ装置200のセンサ付きディスプレイパネル3の表示部4に表示しないようにするために、例えば操作用画像データの出力を停止してもよい。

0074

以上のように、実施の形態2では、レーザ光の照射位置にポインタ画像を表示することが可能となることに加えて、センサ付きディスプレイパネル3に表示された操作用画像210に対してレーザ光を照射することによって、外部装置220を操作することができる。

0075

従来の外部装置は、通常、他の外部装置と異なる操作装置によって遠隔操作される。例えば、PCには1つのマウスが備えられ、テレビやDVDレコーダーには1つのリモコンが備えられ、ゲーム機には1つのコントローラまたはジョイスティックが備えられている。1台のディスプレイ装置に対して複数の外部装置が接続されている場合、外部装置毎に異なる操作装置を使い分ける必要があった。また、従来の外部装置は、操作装置によって遠隔操作可能であるが、通常、1つの外部装置に対して操作装置は1つしかないため、複数の視聴者が自分の場所から個別に外部装置を遠隔操作することはできなかった。本発明の実施の形態2に係るディスプレイ装置200は、上記のような問題点を解決することができるものである。

0076

すなわち、実施の形態2に係るディスプレイ装置200により、1台のディスプレイ装置200に対して複数の外部装置220が接続されている場合に、外部装置220毎に異なるリモコンを使い分ける必要がなく、複数の外部装置220を市販の1つのレーザポインタ1によって操作することができる。

0077

さらに、ディスプレイ装置200は、複数の視聴者が、市販のレーザポインタ1を持っていさえすれば、それぞれの視聴場所から個別に外部装置220を遠隔操作することができる。

0078

上記のように、実施の形態2では、ディスプレイ装置200のセンサ付きディスプレイパネル3に表示された操作用画像210に対してレーザ光を照射することによって、ポインタ表示を移動させるとともに、外部装置220を操作することができる。したがって、ディスプレイ装置200は、外部装置220にとってポインティングデバイスであるともいえる。あるいは、ディスプレイ装置200は、被操作装置である外部装置220を遠隔操作するリモコンのような遠隔操作装置であるともいえる。

0079

実施の形態3.
図8は、本発明の実施の形態3に係るディスプレイ装置300の構成および外部装置320の構成を示すブロック図である。外部装置320は、例えばパーソナルコンピュータ(PC)、タブレット端末スマートフォン等の情報処理装置である。

0080

ディスプレイ装置300は、映像データI/F2と、センサ付きディスプレイパネル3と、検出情報処理部6と、検出信号I/F211とを備える。

0081

実施の形態2と比較すると、ディスプレイ装置300には、画像処理装置が備えられていない。実施の形態3では、画像処理は、外部装置320内で行われる。例えば、図6に示す実施の形態2では画像処理装置7のポインタ表示作成部8が行うポインタ表示画像の作成は、実施の形態3では、例えばマウスポインタの画像の作成として、PC等の外部装置320内で行われる。

0082

検出情報処理部6は、所定の時間間隔でレーザ光の入射位置の座標データを検出し、レーザ光の入射位置の移動の方向および移動量(変位)を示すデータを出力する。あるいは、検出情報処理部6は、所定の時間間隔毎のレーザ光の入射位置の座標データのみを出力し、レーザ光の入射位置の移動の方向と移動量とは、外部装置320内で算出されてもよい。

0083

外部装置320は、検出信号入力部221と、制御部323と、映像データ生成部225と、記憶部326と、映像データ出力部227と、ネットワークインタフェース(I/F)328と、を備える。

0084

検出信号入力部221は、ディスプレイ装置200の検出信号I/F211から出力された検出信号を入力する接続回路または接続モジュールである。映像データ生成部225は、例えば、ブルーレイディスク、DVD等のディスクを再生するディスク装置、または、映像データを記憶したハードディスクなどの記憶装置である。映像データ出力部227は、ディスプレイ装置200に操作用画像データおよび映像データを出力する接続回路または接続モジュールである。

0085

制御部323は、外部装置320の動作全体の制御を司るコントローラである。制御部323は、プログラムを実行することによって所定の機能を実現する汎用プロセッサを含む。制御部323は、記憶部326に格納された制御プログラムを呼び出して実行することによって、外部装置320における各種の制御を実現する。制御部323は、ハードウェアとソフトウェアの協働によって所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部323は、CPU、MPU、GPU、FPGA、DSP、ASIC等、種々のプロセッサで実現することができる。

0086

記憶部326は、種々の情報を記録する媒体である。記憶部326は、具体的には、フラッシュメモリ、SSD等の半導体メモリ装置、ハードディスク等のディスク装置、その他の記憶デバイス単独でまたはそれらを適宜組み合わせて実現される。記憶部326には、制御部323が実行する制御プログラム、ポインタまたはカーソルを示すデータ等が格納される。

0087

ネットワークI/F328は、ネットワークを介してサーバ等の外部機器との有線または無線による通信接続を可能とするためのインタフェース回路または接続モジュールである。ネットワークI/F328は、Wi−Fi、IEEE802.2、IEEE802.3、3G、LTE等の規格にしたがい通信を行う。また、ネットワークI/F328には、インターネットの他、イントラネットエキストラネット、LAN、ISDN、VAN、CATV通信網仮想専用網電話回線網移動体通信網衛星通信網等が用いられてもよい。

0088

次に、図8および9を参照して、ディスプレイ装置300の動作について説明する。図9は、ディスプレイ装置300および外部装置320の動作の流れを示す図である。

0089

まず、外部装置320は、映像データ出力部227を介して、ディスプレイ装置300に映像データを出力する(S301)。映像データの入力を受けたディスプレイ装置300は、映像データが示す映像をセンサ付きディスプレイパネル3の表示部4に表示する(S302)。

0090

ユーザは、センサ付きディスプレイパネル3に表示された映像を見ながら、レーザポインタ1を使用してレーザ光をセンサ付きディスプレイパネル3に照射して入力操作を行う(S303)。入力操作は、レーザ光の移動操作、または、例えば予め設定された光の軌跡を描くジェスチャを行うことによって、マウスのボタンとホイールの機能を実行する操作である。

0091

センサ付きディスプレイパネル3の光センサ5は、各センサ画素に照射された光の光量を電圧信号に変換して検出情報処理部6に出力する(S304)。

0092

電圧信号の入力を受けた検出情報処理部6は、電圧についての判定条件を満たすセンサ画素の座標を特定する(S305)。検出情報処理部6は、特定された座標データが変化したか否かを判定する(S306)。検出情報処理部6は、所定の時間間隔でレーザ光の入射位置の座標データを検出しているため、前回時刻におけるレーザ光の入射位置の座標データと、その次の時刻におけるレーザ光の入射位置の座標データとの差(変位)があれば、特定された座標データが変化したといえる。

0093

特定された座標データに変化がない場合、ディスプレイ装置300の動作は、ステップS302に戻り、外部装置320から入力された映像データを表示する。

0094

特定された座標データに変化があった場合、ディスプレイ装置300の検出情報処理部6は、検出信号I/F211を介して、座標の変位を示すデータを外部装置320に出力する(S307)。

0095

出力された座標の変位を示すデータは、外部装置320の検出信号入力部221を介して、制御部323に入力される。制御部323は、入力された座標の変位を示すデータに基づき、ポインタ、カーソル等を移動させる(S308)。

0096

制御部323は、ポインタ、カーソル等の移動の軌跡、すなわちレーザ光の軌跡が、対応するコマンドを実行するために予め取り決めされた所定の軌跡(以下、「所定のジェスチャ」という。)に相当するか否かを判断する(S309)。所定のジェスチャが行われた場合、制御部323は、当該コマンドによって対応するプログラムを実行する(S310)。例えば、ユーザがレーザポインタ1のレーザ光を画面の左から右に移動させる等のスワイプ動作を行った場合、画面上にメニュー画像が表示され、または、現在表示されているメニュー画像とは異なるメニュー画像が表示される。あるいは、スワイプ動作が行われた場合、プログラムのモードが変更される。

0097

上記のように、実施の形態3では、ディスプレイ装置300のセンサ付きディスプレイパネル3にレーザ光を照射することによって、PC等の外部装置320内のマウスポインタまたはカーソルを移動させるとともに、クリック動作等を行って外部装置320を操作することができる。

0098

したがって、ディスプレイ装置300は、外部装置320に対して情報の入力や指示を行うポインティングデバイスであるともいえる。ポインティングデバイスとして機能するディスプレイ装置300は、以下のような従来のポインティングデバイスの問題点を解決するものである。

0099

すなわち、従来のポインティングデバイスのうち画面に直接触れて操作を行うもの、例えば、スタイラスペン、指等は、例えばプレゼンテーションの発表者が画面に直接触れて操作を行うことにより、発表者の身体が視聴者の視聴の妨げとなる。また、画面が大きい場合に操作が不便である。

0100

従来のポインティングデバイスのうち画面に直接触れる必要がないもの、例えば、マウスは、平らな台のような平面の上で操作する必要があり、スムーズに操作をすることができない。例えば、プレゼンテーションの発表者は、プレゼンテーションの途中で、マウスの操作のためにPCの場所まで移動し、PCに目線を落としたり、身をかがめてマウスを操作したりしなければならない。

0101

本発明の実施の形態3に係るポインティングデバイスとして機能するディスプレイ装置300は、センサ付きディスプレイパネル3にレーザ光を照射することによって、PC等の外部装置320内のマウスポインタまたはカーソルを移動させるとともに、クリック動作等を行って外部装置320を操作することができるものであり、上記のような従来のポインティングデバイスの問題点を解決することができる。

0102

さらに、従来のポインティングデバイスは、通常、PC等の外部装置320内のポインタを移動させる機能のみを有するものではなく、クリック機能、ホイール機能等を行うことができるボタン等の操作部を備える多機能性のデバイスであり、そのため高価なものであった。実施の形態3に係るポインティングデバイスとして機能するディスプレイ装置300は、従来のポインティングデバイスに比べて安価な市販のレーザポインタ1さえあれば、PC等の外部装置320内のGUI動作を、ジェスチャを行うことにより実行することができる。

0103

変形例.
図10は、本発明の実施の形態3に係るディスプレイ装置の変形例の構成を示すブロック図である。図10に示すディスプレイ装置350は、図8に示されたディスプレイ装置300と外部装置320とを一体化したものである。ディスプレイ装置350は、例えばパーソナルコンピュータ(PC)、タブレット端末、スマートフォン、カーナビゲーションシステム、ゲームプレーヤー等の情報処理装置のディスプレイとして本開示に係るセンサ付きディスプレイパネル3を備えた電子機器で構成できる。

0104

ユーザによるディスプレイ装置350への入力操作は、入力装置351を用いて行われる。入力装置351は、光を照射可能な光入力装置である。入力装置351は、例えば、先端部にLED等の発光部を備えたスタイラスペン、または、先端部に蓄光材料を塗布しまたは取り付けた指サック等である。また、入力装置351は、実施の形態1〜3と同様にレーザポインタであってもよい。

0105

1レーザポインタ、2映像データインタフェース(映像データ入力部)、3センサ付ディスプレイパネル、4 表示部、5光センサ、6検出情報処理部、7画像処理装置、8ポインタ表示作成部、9映像合成部、10メモリ、11ポインタ画像、61アンプ、62フィルタ、63 A/Dコンバータ、64 メモリ、65一時メモリ、66不揮発メモリ、67 制御部、68座標出力部、100、200ディスプレイ装置、210操作用画像、211検出信号インタフェース(検出信号出力部)、212 映像合成部、220 外部装置、221検出信号入力部、223 制御部、224 操作用画像生成部、225映像データ生成部、226 記憶部、227 映像データ出力部、300 ディスプレイ装置(ポインティングデバイス)、320 外部装置、323 制御部、326 記憶部、328ネットワークインタフェース、350 ディスプレイ装置(情報処理装置)、351入力装置。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • クリスタルメソッド株式会社の「 推定システム、及び推定装置」が 公開されました。( 2020/10/29)

    【課題】キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供する。【解決手段】仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボード... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ