図面 (/)

この項目の情報は公開日時点(2008年3月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

複数のディスプレイ装置が並んで構成される環境下で、あるディスプレイ装置に表示される興味を引く情報を見つけたときに、取り逃がすことなく、容易に記録することができるようにする。

解決手段

ディスプレイ装置は、視線検出装置からの視聴画面番号に基づく、ユーザの視聴画面の画面G2から自己の画面G3への変化があった時刻T1に、時刻T1おける画面G3の情報を、メモリメモリ画像#1として保存しておく。また、ディスプレイ装置は、ユーザにより実際にメモボタンが押下された時刻T2に、時刻T2における画面G3の情報をメモリ62にメモリ画像#2として保存するとともに、画面G3の出力画像に示されるように、チューナからの画像の出力であった画面G3を、メモリ画像#1の出力に切り替える。本発明は、アレイ状に配置される複数のディスプレイ装置からなるマルチディスプレイシステムに適用できる。

概要

背景

近年、個々のディスプレイ装置を同じ向きに左右または上下に並べて、これらのディスプレイ装置に、それぞれ個別の画像を表示させるだけでなく、全体として、1つの画像を拡大して表示させたり、所望の大きさで画像を分割して表示させたりするマルチディスプレイ装置の技術が利用されるようになってきた(特許文献1参照)。

このようなマルチディスプレイ装置において番組視聴を行う場合、ユーザは、視線を動かすことでザッピングを行う。すなわち、視線を動かすだけで多くの番組を見ることができるので、興味を引く情報が見つかりやすい。

なお、特許文献2には、ユーザの視線を検出し、表示手段に表示される複数の画像のうち、検出された視線に応じた画像に関する処理を制御する画像処理装置が提案されている。

ところで、通常のディスプレイ装置においては、メモ機能が付加されており、興味を引く情報が表示されたときに、リモートコントローラなどに設けられたメモボタンを押すことで、その情報をメモリに保存しておくことができる。特にズーム表示機能が付加されている場合には、小さくてよく見えなかった部分をメモ機能で保存しておき、後からズーム表示機能により拡大してじっくり見ることができるので、メモ機能の需要は高いと考えられる。

特開2004−289866号公報
特開2004−213486号公報

概要

複数のディスプレイ装置が並んで構成される環境下で、あるディスプレイ装置に表示される興味を引く情報を見つけたときに、取り逃がすことなく、容易に記録することができるようにする。ディスプレイ装置は、視線検出装置からの視聴画面番号に基づく、ユーザの視聴画面の画面G2から自己の画面G3への変化があった時刻T1に、時刻T1おける画面G3の情報を、メモリにメモリ画像#1として保存しておく。また、ディスプレイ装置は、ユーザにより実際にメモボタンが押下された時刻T2に、時刻T2における画面G3の情報をメモリ62にメモリ画像#2として保存するとともに、画面G3の出力画像に示されるように、チューナからの画像の出力であった画面G3を、メモリ画像#1の出力に切り替える。本発明は、アレイ状に配置される複数のディスプレイ装置からなるマルチディスプレイシステムに適用できる。

目的

効果

実績

技術文献被引用数
0件
牽制数
3件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムにおいて、前記複数の表示制御装置それぞれは、注目されている情報が表示されているか否かを判定する判定手段と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御する第1の記録制御手段と、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御する第2の記録制御手段と、前記表示手段への前記第1または第2の画像の表示を制御する表示制御手段とを備える表示制御システム。

請求項2

ユーザの視線を検出する視線検出装置をさらに有し、前記複数の表示制御装置それぞれの前記判定手段は、前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されているか否かを判定する請求項1に記載の表示制御システム。

請求項3

前記複数の表示制御装置それぞれの前記第1の記録制御手段は、前記判定手段により前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第1の画像の記録を制御する請求項2に記載の表示制御システム。

請求項4

前記複数の表示制御装置を制御するリモートコントローラをさらに有し、前記リモートコントローラは、ユーザの特定の音声を検出する音声検出手段を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定する請求項1に記載の表示制御システム。

請求項5

前記複数の表示制御装置それぞれの前記第1の記録制御手段は、前記判定手段により前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第1の画像の記録を制御する請求項4に記載の表示制御システム。

請求項6

前記複数の表示制御装置を制御するリモートコントローラをさらに有し、前記リモートコントローラは、ユーザの把持による加速度を検出する加速度検出手段を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記加速度検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定する請求項1に記載の表示制御システム。

請求項7

前記複数の表示制御装置それぞれの前記第1の記録制御手段は、前記判定手段により前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第1の画像の記録を制御する請求項6に記載の表示制御システム。

請求項8

前記複数の表示制御装置それぞれの前記第1の記録制御手段は、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第1の画像を始点とした動画像記録開始を制御し、前記第2の記録制御手段は、ユーザの記録操作に対応して、前記表示手段に表示されている前記第2の画像を終点として前記動画像の記録終了を制御し、前記表示制御手段は、前記表示手段への前記第1の画像を始点とし、前記第2の画像を終点とした前記動画像の表示を制御する請求項1に記載の表示制御システム。

請求項9

アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムの表示制御方法において、前記複数の表示制御装置それぞれの表示制御方法は、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御し、前記表示手段への前記第1または第2の画像の表示を制御するステップを含む表示制御方法。

請求項10

複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置において、入力される画像信号に対応する画像を表示する前記表示手段と、注目されている情報が表示されているか否かを判定する判定手段と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御する第1の記録制御手段と、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御する第2の記録制御手段と、前記表示手段への前記第1または第2の画像の表示を制御する表示制御手段とを備える表示制御装置。

請求項11

複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置の表示制御方法において、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御し、前記表示手段への前記第1または第2の画像の表示を制御するステップを含む表示制御方法。

請求項12

複数の表示制御装置からなる表示制御システムを構成する表示制御装置に、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する処理を行わせるプログラムであって、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御し、前記表示手段への前記第1または第2の画像の表示を制御するステップを含むプログラム。

技術分野

0001

本発明は、表示制御システムおよび方法、表示制御装置および方法、並びにプログラムに関し、特に、複数のディスプレイいずれかに表示されるユーザが興味を引く情報を容易に記録し、表示することができるようにした表示制御システムおよび方法、表示制御装置および方法、並びにプログラムに関する。

背景技術

0002

近年、個々のディスプレイ装置を同じ向きに左右または上下に並べて、これらのディスプレイ装置に、それぞれ個別の画像を表示させるだけでなく、全体として、1つの画像を拡大して表示させたり、所望の大きさで画像を分割して表示させたりするマルチディスプレイ装置の技術が利用されるようになってきた(特許文献1参照)。

0003

このようなマルチディスプレイ装置において番組視聴を行う場合、ユーザは、視線を動かすことでザッピングを行う。すなわち、視線を動かすだけで多くの番組を見ることができるので、興味を引く情報が見つかりやすい。

0004

なお、特許文献2には、ユーザの視線を検出し、表示手段に表示される複数の画像のうち、検出された視線に応じた画像に関する処理を制御する画像処理装置が提案されている。

0005

ところで、通常のディスプレイ装置においては、メモ機能が付加されており、興味を引く情報が表示されたときに、リモートコントローラなどに設けられたメモボタンを押すことで、その情報をメモリに保存しておくことができる。特にズーム表示機能が付加されている場合には、小さくてよく見えなかった部分をメモ機能で保存しておき、後からズーム表示機能により拡大してじっくり見ることができるので、メモ機能の需要は高いと考えられる。

0006

特開2004−289866号公報
特開2004−213486号公報

発明が解決しようとする課題

0007

しかしながら、上述したように、マルチディスプレイ装置においては、視線を動かすことでザッピングを行うので、図1に示されるように、ユーザは、視線を動かした瞬間に興味を引く情報を見つけることがある。

0008

図1の例においては、マルチディスプレイ装置を構成するディスプレイ装置に画像が表示されている例が示されている。図1のマルチディスプレイ装置は、9個のディスプレイ装置1−1乃至1−9の表示面がアレイ状に配置されて構成されている。なお、図1の例においては、説明の便宜上、ディスプレイ装置1−3のみにしか画像が表示されていないが、他のディスプレイ装置1−1,1−2,1−4乃至1−9にもそれぞれ異なる番組の画像が表示されている。

0009

例えば、ディスプレイ装置1−2に表示される画像から、ディスプレイ装置1−3に表示される画像に視線を移動させたユーザAは、ディスプレイ装置1−3に表示される画像に、興味を引く情報を見つける。すなわち、図1の例においては、ディスプレイ装置1−3には、野球試合を行っているピッチャーが表示されており、ユーザAは、ピッチャーの手のボール握り方に興味を持ったとする。

0010

そこで、ユーザAは、メモ機能を利用するため、リモートコントローラ2を操作しようとする。しかしながら、マルチディスプレイ装置においては、どのディスプレイ装置の画像に対してメモをするのかを選択してからではないとメモ機能を使えないなど、リモートコントローラ2の操作の手間が増えてしまったという理由や、ユーザAの動揺によりすぐに反応できないなどの理由で、ユーザAは、所望のタイミングで、メモ機能を利用することができず、欲しい情報を取り逃がしてしまうことがあった。

0011

なお、このような場合に、ハードディスクなどに過去何フレーム分かの画像を常に録画しておく方法も考えられるが、ハードディスクを操作して所望の情報を検索するには、多くの手間がかかり、また、常に多くの画像を録画することから、処理の負荷がかかるとともに、メモ機能によるメモリのコストよりも、録画するのに必要なハードディスクのコストがかかってしまっていた。

0012

本発明は、このような状況に鑑みてなされたものであり、複数のディスプレイ装置が並んで構成されるマルチディスプレイ装置に表示される興味を引く情報を見つけたときに、取り逃がすことなく、容易に記録することができるようにするものである。

課題を解決するための手段

0013

本発明の第1の側面の表示制御システムは、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムにおいて、前記複数の表示制御装置それぞれは、注目されている情報が表示されているか否かを判定する判定手段と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御する第1の記録制御手段と、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御する第2の記録制御手段と、前記表示手段への前記第1または第2の画像の表示を制御する表示制御手段とを備える。

0014

ユーザの視線を検出する視線検出装置をさらに有し、前記複数の表示制御装置それぞれの前記判定手段は、前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されているか否かを判定することができる。

0015

前記複数の表示制御装置それぞれの前記第1の記録制御手段は、前記判定手段により前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第1の画像の記録を制御することができる。

0016

前記複数の表示制御装置を制御するリモートコントローラをさらに有し、前記リモートコントローラは、ユーザの特定の音声を検出する音声検出手段を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定することができる。

0017

前記複数の表示制御装置それぞれの前記第1の記録制御手段は、前記判定手段により前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第1の画像の記録を制御することができる。

0018

前記複数の表示制御装置を制御するリモートコントローラをさらに有し、前記リモートコントローラは、ユーザの把持による加速度を検出する加速度検出手段を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記加速度検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定することができる。

0019

前記複数の表示制御装置それぞれの前記第1の記録制御手段は、前記判定手段により前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第1の画像の記録を制御することができる。

0020

前記複数の表示制御装置それぞれの前記第1の記録制御手段は、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第1の画像を始点とした動画像記録開始を制御し、前記第2の記録制御手段は、ユーザの記録操作に対応して、前記表示手段に表示されている前記第2の画像を終点として前記動画像の記録終了を制御し、前記表示制御手段は、前記表示手段への前記第1の画像を始点とし、前記第2の画像を終点とした前記動画像の表示を制御することができる。

0021

本発明の第1の側面の表示制御方法は、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムの表示制御方法において、前記複数の表示制御装置それぞれの表示制御方法は、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御し、前記表示手段への前記第1または第2の画像の表示を制御するステップを含む。

0022

本発明の第2の側面の表示制御装置は、複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置において、注目されている情報が表示されているか否かを判定する判定手段と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御する第1の記録制御手段と、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御する第2の記録制御手段と、前記表示手段への前記第1または第2の画像の表示を制御する表示制御手段とを備える。

0023

本発明の第2の側面の表示制御方法は、複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置の表示制御方法において、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御し、前記表示手段への前記第1または第2の画像の表示を制御するステップを含む。

0024

本発明の第2の側面のプログラムは、複数の表示制御装置からなる表示制御システムを構成する表示制御装置に、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する処理を行わせるプログラムであって、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御し、前記表示手段への前記第1または第2の画像の表示を制御するステップを含む。

0025

本発明の第1の側面においては、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置により、それぞれ、注目されている情報が表示されているか否かが判定され、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録が制御される。また、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録が制御される。そして、前記表示手段への前記第1または第2の画像の表示が制御される。

0026

本発明の第2の側面においては、注目されている情報が表示されているか否かが判定され、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録が制御される。また、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録が制御される。そして、前記表示手段への前記第1または第2の画像の表示が制御される。

発明の効果

0027

本発明の第1の側面によれば、複数のディスプレイ装置が並んで構成される環境下であっても、そのうちのディスプレイ装置に表示される興味を引く情報を見つけたときに、取り逃がすことなく、容易に記録することができる。

0028

本発明の第2の側面によれば、複数のディスプレイ装置が並んで構成される環境下であっても、そのうちのディスプレイ装置に表示される興味を引く情報を見つけたときに、少ないメモリ容量で、その情報の取り逃がしを抑制することができる。

発明を実施するための最良の形態

0029

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。したがって、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

0030

本発明の第1の側面の表示制御システムは、アレイ状に配置されている複数の表示手段のうち、対象の表示手段(例えば、図4のディスプレイ65)への画像の表示をそれぞれ制御する複数の表示制御装置(例えば、図2のディスプレイ装置31−1乃至31−9)からなる表示制御システム(例えば、図2マルチディスプレイシステム)において、前記複数の表示制御装置それぞれは、注目されている情報が表示されているか否かを判定する判定手段(例えば、図9のステップS31の処理を実行する図4の制御部66)と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御する第1の記録制御手段(例えば、図9のステップS34の処理を実行する図4の制御部66)と、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御する第2の記録制御手段(例えば、図10のステップS42の処理を実行する図4の制御部66)と、前記表示手段への前記第1または第2の画像の表示を制御する表示制御手段(例えば、図4出力選択部63)とを備える。

0031

ユーザの視線を検出する視線検出装置(例えば、図2の視線検出装置23)をさらに有し、前記複数の表示制御装置それぞれの前記判定手段は、前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されているか否かを判定することができる。

0032

前記複数の表示制御装置を制御するリモートコントローラ(例えば、図20のリモートコントローラ112)をさらに有し、前記リモートコントローラは、ユーザの特定の音声を検出する音声検出手段(例えば、図29イベント判定部152)を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定することができる。

0033

前記複数の表示制御装置を制御するリモートコントローラ(例えば、図20のリモートコントローラ112)をさらに有し、前記リモートコントローラは、ユーザの把持による加速度を検出する加速度検出手段(例えば、図22のイベント判定部123)を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記加速度検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定することができる。

0034

本発明の第1の側面の表示制御方法は、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムの表示制御方法において、前記複数の表示制御装置それぞれの表示制御方法は、注目されている情報が表示されているか否かを判定し(例えば、図9のステップS31)、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御し(例えば、図9のステップS34)、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御し(例えば、図10のステップS42)、前記表示手段への前記第1または第2の画像の表示を制御する(例えば、図10のステップS44)ステップを含む。

0035

本発明の第2の側面の表示制御装置は、複数の表示制御装置(例えば、図2のディスプレイ装置31−1乃至31−9)からなる表示制御システム(例えば、図2のマルチディスプレイシステム)を構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段(例えば、図4のディスプレイ65)への画像の表示を制御する表示制御装置(例えば、図2のディスプレイ装置31−1)において、注目されている情報が表示されているか否かを判定する判定手段(例えば、図9のステップS31の処理を実行する図4の制御部66)と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御する第1の記録制御手段(例えば、図9のステップS34の処理を実行する図4の制御部66)と、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御する第2の記録制御手段(例えば、図10のステップS42の処理を実行する図4の制御部66)と、前記表示手段への前記第1または第2の画像の表示を制御する表示制御手段(例えば、図4の出力選択部63)とを備える。

0036

本発明の第2の側面の表示制御方法またはプログラムは、複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置の表示制御方法またはプログラムにおいて、注目されている情報が表示されているか否かを判定し(例えば、図9のステップS31)、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第1の画像の記録を制御し(例えば、図9のステップS34)、ユーザの記録操作に対応して、前記表示手段に表示されている第2の画像の記録を制御し(例えば、図10のステップS42)、前記表示手段への前記第1または第2の画像の表示を制御する(例えば、図10のステップS44)ステップを含む。

0037

以下、図を参照して本発明の実施の形態について説明する。

0038

図2は、本発明を適用したマルチディスプレイシステム(システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない)の第1の実施の形態の構成を示す図である。

0039

図2において、マルチディスプレイシステムは、複数のディスプレイ装置31−1乃至31−9からなるマルチディスプレイ装置21、リモートコントローラ22、および視線検出装置23により構成されており、必要に応じて複数のディスプレイ装置を連携して動作させ、1枚の画像や複数の画像を様々な方法で表示させるシステムである。

0040

マルチディスプレイ装置21は、リモートコントローラ22からのコマンドに基づいて、例えば、それらの表示面が3行×3列のアレイ状(行列状)に配置される各ディスプレイ装置31−1乃至31−9にそれぞれ異なる番組の画像を表示したり、9台のディスプレイ装置31−1乃至31−9や、そのうち、少なくとも2台のディスプレイ装置で1つの拡大画像として番組を表示したりする。なお、ディスプレイ装置31−1乃至31−9について、それぞれ区別する必要がない場合、単にディスプレイ装置31と称するものとする。また、マルチディスプレイ装置21を構成するディスプレイ装置の台数は、何台であってもよく、ディスプレイ装置を、横方向に何列、縦方向に何段で配置するようにしてもよい。

0041

マルチディスプレイ装置21は、さらに、リモートコントローラ22より発せられるコマンドが光信号に変換された光を受光する受光部32を備えている。受光部32により受光された光に対応するコマンドは、各ディスプレイ装置31に供給される。

0042

ディスプレイ装置31は、個別にチューナおよびディスプレイを備えており、複数個集まってマルチディスプレイ装置21としての役割を果たすが、個々に、一般に使用される単独のテレビジョン受像機として機能することもできる。なお、図示は省略するが、ディスプレイ装置31−1乃至31−9は、有線または無線により、互いに(電気的に)接続されており、単独で動作することも、他のディスプレイ装置31と連携して動作することもできる。

0043

ディスプレイ装置31は、受光部32により受光されるリモートコントローラ22からのコマンドに対応して、ユーザ所望の番組の画像を個々に表示したり、複数のディスプレイ装置31で連携して、1つの番組の画像を1つの拡大画像として表示する。また、ディスプレイ装置31は、ズーム機能およびメモ機能を有しており、リモートコントローラ22からのズーム機能のコマンド(以下、ズームコマンドと称する)に対応して、表示されている画像をズーム表示したり、あるいは、リモートコントローラ22からのメモ機能のコマンド(以下、メモコマンドと称する)に対応して、表示されている画像を保存しておき、後で保存された画像を表示する。

0044

さらに、ディスプレイ装置31は、視線検出装置23からの視線検出結果データに基づいて、マルチディスプレイ装置21に表示される画像を見ているユーザの視線の切り替わりの有無を判定し、ユーザの視線の切り替わり先が自分に表示される画像であった場合に、現在表示されている画像を保存しておき、後で保存された画像を表示する。

0045

すなわち、ディスプレイ装置31においては、リモートコントローラ22からのコマンド、または、ユーザの視線の切り替わりに対応して、表示されている画像が一時保存される。

0046

リモートコントローラ22は、ユーザが操作する操作部を有しており、ユーザによる操作部の操作に対応したコマンドを生成し、生成したコマンドを所定の光信号として発光する。

0047

視線検出装置23は、マルチディスプレイ装置21に表示される画像を見るユーザの目や顔を撮像するカメラと、画像処理用コンピュータなどで構成され、カメラにより撮像されたユーザの目の画像信号画像処理することで、ユーザの視線がどのディスプレイ装置31に向いているのか、すなわち、ユーザがどのディスプレイ装置31に表示されている画像を見ているのかを推定する。そして、視線検出装置23は、ユーザが見ていると推定したディスプレイ装置31のID(Identification)番号を視聴画面番号に決定し、決定した視聴画面番号を、視線検出結果データとして、各ディスプレイ装置31に供給する。

0048

この視線検出装置23による視線の検出方法としては、特に限定されないが、例えば、赤外線反射画像を用いる方法や可視光の画像を用いる方法などが用いられる。また、視線検結果データは、視聴画面番号に限らず、検出された視線の座標値などを視線検結果データとして、各ディスプレイ装置31に供給してもよい。この場合、各ディスプレイ装置31において、その座標値を基に、視線の切り替わり判定などが行われる。

0049

なお、図2の例においては、ディスプレイ装置31がそれぞれチューナおよびディスプレイを有する例を記載したが、チューナおよびディスプレイは、それぞれ、ディスプレイ装置31の内部に備えられる必要はなく、マルチディスプレイ装置21内にまとめて9個のチューナを設けたり、ディスプレイ装置31とは別にディスプレイを設ける(すなわち、この場合、ディスプレイ装置は、表示制御装置として機能する)ように構成することもできる。

0050

図3は、図2のリモートコントローラの外観の構成例を示す図である。

0051

図3の例においては、リモートコントローラ22の前面には、メモボタン51、ズームボタン52、Fn1ボタン53、Fn2ボタン54、画面選択ボタン55−1乃至55−9、および操作スティック56が配置されている。

0052

メモボタン51は、画面選択ボタン55−1乃至55−9により選択されたディスプレイ装置31に表示される画像を、ディスプレイ装置31に記憶させるためのメモ機能に対応するボタンである。

0053

ズームボタン52は、画面選択ボタン55−1乃至55−9により選択されたディスプレイ装置31に表示される画像を、ズーム表示させるためのズーム機能に対応するボタンである。

0054

Fn1ボタン53は、画面選択ボタン55−1乃至55−9により選択されたディスプレイ装置31に、視線検出装置23の視線検出結果データに対応して記憶された画像を表示させるためのボタンである。Fn2ボタン54は、画面選択ボタン55−1乃至55−9により選択されたディスプレイ装置31に、メモコマンドに対応して記憶された画像を選択して、表示させるためのボタンである。

0055

画面選択ボタン55−1乃至55−9は、それぞれ、ディスプレイ装置31−1乃至31−9に表示される画像(画面)を選択するためのボタンである。なお、以下、画面選択ボタン55−1乃至55−9を特に区別する必要がない場合、単に画面選択ボタン55とも称する。例えば、複数のディスプレイ装置31で1つの拡大画像を表示している場合には、その拡大画像を表示している、いずれかのディスプレイ装置31を示す画面選択ボタン55を押下することで、その拡大画像が選択される。

0056

操作スティック56は、リモートコントローラ22の前面に突出するように設けられ、360度の各方向において、リモートコントローラ22の前面に対して傾斜させることができるように構成されており、画面選択ボタン55−1乃至55−9により選択されたディスプレイ装置31に対して、あるいは、マルチディスプレイ装置21に対して、操作スティック56の傾斜角度と方向に応じた指示を行うことができる。

0057

したがって、例えば、リモートコントローラ22においては、ユーザにより画面選択ボタン55のいずれかが押下されると、画面選択コマンドが生成され、各ディスプレイ装置31に対して送信される。これにより、押下された画面選択ボタン55に対応するディスプレイ装置31は、自分の画面を選択状態に設定し、他のディスプレイ装置31は、それまで選択状態であった場合には、その選択状態の設定を解除する。

0058

また、画面選択ボタン55の選択後、ユーザによりメモボタン51が押下されると、メモコマンドが生成され、送信される。画面選択ボタン55の選択後、ユーザによりズームボタン52が押下されると、ズームコマンドが生成され、送信される。画面選択ボタン55の選択後、ユーザによりFn1ボタン53またはFn2ボタン54が押下されると、メモリ画像選択コマンドが生成され、送信される。これらのコマンドは、ユーザの画面選択ボタン55の押下により、自分の画面が選択状態であることを認識しているディスプレイ装置31により受信され、実行される。

0059

なお、図3の例においては、図2のリモートコントローラ22における必要最低限なツールが示されており、電源ボタンや選局、あるいは音量を操作するツールの図示は省略されている。

0060

図4は、図2のディスプレイ装置の電気的な構成例を示す図である。なお、図4の例においては、音声信号の処理部についての図示は省略されている。

0061

図4のディスプレイ装置31は、チューナ61、メモリ62、出力選択部63、画像処理部64、ディスプレイ65、制御部66、および判定部67により構成されている。

0062

チューナ61は、図示せぬアンテナより受信される放送局からの放送信号を所定の方式で復調し、復調された信号のうちの画像信号をメモリ62および出力選択部63に出力する。すなわち、メモリ62には、出力選択部63および画像処理部64を介して、ディスプレイ51に出力される画像信号の画像が記憶される。なお、メモリ62および出力選択部63には、チューナ61からの画像信号だけでなく、例えば、外部の録画装置再生装置からの画像信号も入力される。

0063

メモリ62は、例えば、不揮発性メモリまたは揮発性メモリで構成され、制御部66の制御のもと、チューナ61から入力されて、ディスプレイ65に出力されている画像信号の画像を一時記憶する。例えば、メモリ62には、ユーザの視線の切り替わりタイミングに入力されて、ディスプレイ65に出力されている画像信号の画像が、メモリ画像#1として記憶され、メモコマンドの受信タイミングに入力されて、ディスプレイ65に出力されている画像信号の画像が、メモリ画像#2として記憶される。

0064

出力選択部63は、制御部66の制御のもと、チューナ61から入力される画像信号と、メモリ62に記憶されているメモリ画像の画像信号のいずれかを選択し、選択した画像信号を、画像処理部64に出力する。また、出力選択部63は、制御部66の制御のもと、メモリ62に記憶されているメモリ画像#1またはメモリ画像#2のいずれかを選択し、選択したメモリ画像の画像信号を読み出して、画像処理部64に出力する。

0065

画像処理部64は、出力選択部63からの画像信号に対して所定の画像処理を行う。なお、このとき、画像処理部64は、制御部66からの制御に応じて、画像ズーム処理も行う。画像処理が行われた画像信号は、ディスプレイ65に出力される。ディスプレイ65は、画像処理部64からの画像信号に対応する画像を表示する。すなわち、ディスプレイ65には、チューナ61からの画像信号またはメモリ62から読み出される画像信号に対応する画像を拡大して表示することも可能である。

0066

制御部66は、受光部32から、リモートコントローラ22のコマンドを受けると、コマンドに対応して、自己の画面の選択状態の変更、メモリ62に記憶されるメモリ画像#2の更新出力画像の選択、またはズームパラメータ等を制御する。

0067

すなわち、コマンドが自己の画面を選択する画面選択コマンドであった場合、制御部66は、自己の画面を選択状態に変更する。また、コマンドが他の画面を選択する画面選択コマンドであり、それまで自己の画面が選択状態であった場合、制御部66は、自己の画面の選択状態を解除する。

0068

コマンドがメモコマンドであった場合、制御部66は、メモコマンドの受信タイミングに、メモリ62に入力されて、ディスプレイ65に出力されている画像信号の画像で、メモリ62に記憶されるメモリ画像#2を更新し、さらに、メモリ62に記憶されているメモリ画像(メモリ画像#1またはメモリ画像#2)の画像信号を読み出すように、出力選択部63を制御する。また、コマンドがメモリ画像選択コマンドであった場合、制御部66は、コマンドに応じたメモリ画像の画像信号を読み出すように、出力選択部63を制御する。さらに、コマンドがズームコマンドであった場合、制御部66は、画像処理部64に、ズームパラメータを供給し、画像信号に対して、画像ズーム処理を行うように、画像処理部64を制御する。

0069

また、制御部66は、判定部67からのユーザの視線の切り替わりタイミングの通知に対応して、メモリ62に記憶されるメモリ画像#1の更新を制御する。すなわち、制御部66は、ユーザの視線の切り替わりタイミングに、メモリ62に入力されて、ディスプレイ65に出力されている画像信号の画像で、メモリ62に記憶されるメモリ画像#1を更新する。

0070

判定部67は、視線検出装置23からの視線検出結果データに基づいて、ユーザの視線の切り替わりを検出し、ユーザの視線の切り替わりタイミングの通知を制御部66に通知する。

0071

図5は、図2のリモートコントローラの電気的な構成例を示す図である。

0072

図5の例において、リモートコントローラ22は、操作部71、制御部72、フレーム生成部73、送信処理部74、および発光部75により構成されている。

0073

操作部71は、図3のメモボタン51、ズームボタン52、Fn1ボタン53、Fn2ボタン54、画面選択ボタン55、および操作スティック56などにより構成され、ユーザの操作に対応する操作信号を制御部72に入力する。制御部72は、操作部71を介して入力される操作信号に基づいて、ディスプレイ装置31により認識可能なコマンドを生成し、生成したコマンドをフレーム生成部73に出力する。

0074

フレーム生成部73は、制御部72からのコマンドを送信フレームとして生成し、送信処理部74に送信する。送信処理部74は、フレーム生成部73により生成された送信フレームを発光信号に変換し、発光部75を発光させる。

0075

次に、図6および図7を参照して、視線情報を用いて画像を記録する処理について説明する。

0076

図6の図中上には、時刻T1および時刻T2(時刻T1<時刻T2)におけるディスプレイ装置31−3に表示される画像(以下、単にディスプレイ装置31−3の画面とも称する)G3が示されている。

0077

図6の図中下に示されるように、ユーザAは、時刻T0(時刻T0<時刻T1)に、ディスプレイ装置31−1乃至31−9の画面G1乃至G9のうち、ディスプレイ装置31−2の画面G2を見ていたが、時刻T1において、ディスプレイ装置31−3の画面G3に視線を動かす。この画面G2から画面G3にユーザAの視線が切り替わった時刻T1の瞬間に、ユーザAは、画面G3に興味がある情報(以下、オブジェクトとも称する)が存在することに気づく

0078

ユーザAは、画面G3のオブジェクト(例えば、図6の場合、ピッチング中の投手振りかぶっているときのボールを握る手)を記録させるため、例えば、リモートコントローラ22の画面選択ボタン55−3を押下し、ディスプレイ装置31−3の画面G3を選択した上で、時刻T2において、メモボタン51を押下する。しかしながら、メモボタン51を押下した瞬間の時刻T2には、すでに、画面G3の情報は変化してしまっており、時刻T1の瞬間の画面G3のオブジェクトを記録できないことが多い。図6の例の場合、時刻T2の画面G3は、ピッチング中の投手がボールを投げる瞬間の画像となっている。

0079

そこで、ディスプレイ装置31−3は、図6に示されるように、ユーザAの視線が画面G3に切り替わった瞬間を、ユーザAがその画面G3をメモ(記録)したい瞬間であると予測して、ユーザの視線が切り替わった瞬間の画面G3(すなわち、時刻T1の画面G3)の画像を予め先にメモリ62に記録しておき、そして、そのメモリ62に記録した画像を、ユーザAにより実際にメモボタン51が押下された時刻T2に、画面G3として用いるようにする。

0080

図7を参照して具体的に説明する。図7の例においては、ディスプレイ装置31−1乃至31−9の画面G1乃至G9のうち、時刻T0におけるディスプレイ装置31−2の画面G2から、時刻T1におけるディスプレイ装置31−3の画面G3へのユーザAの視線の変化、時間の経過に沿ったユーザAの視聴画面、および、時間の経過に沿った画面G3の出力画像が示されている。

0081

すなわち、ディスプレイ装置31−3は、視線検出装置23からの視聴画面番号に基づく、ユーザAの視聴画面の画面G2から自己の画面G3への変化、すなわち、ユーザAの視線の画面G2から画面G3への変化があった時刻T1に、時刻T1おける画面G3の情報を、メモリ62にメモリ画像#1として保存しておき、ユーザAにより実際にメモボタン51が押下された時刻T2に、時刻T2における画面G3の情報をメモリ62にメモリ画像#2として保存する。

0082

また、時刻T2において、ディスプレイ装置31−3は、画面G3の出力画像に示されるように、チューナ61からの画像の出力であった画面G3を、メモリ画像#1の出力に切り替える。なお、このとき、予め設定しておくことで、画面G3を、メモリ画像#1の代わりにメモリ画像#2の出力に切り替えることも可能である。

0083

以上のように、ユーザAの視線を動かした瞬間を、ユーザAがメモしたい瞬間であると予測して、ユーザAの視線の切り替わりが検出されたときに表示される画像を記録するようにしたので、例えば、ユーザAがリモートコントローラ22の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。

0084

次に、図8フローチャートを参照して、ディスプレイ装置31による視線情報を用いて、画像を記録する処理を詳しく説明する。

0085

例えば、マルチディスプレイ装置21に電源が投入され、ディスプレイ装置31のチューナ61は、図示せぬアンテナより受信される放送局からの放送信号を所定の方式で復調し、復調された信号のうちの画像信号をメモリ62および出力選択部63に出力し、出力選択部63は、制御部66の制御のもと、チューナ61から入力される画像信号を選択し、選択した画像信号を、画像処理部64に出力している。画像処理部64は、出力選択部63からの画像信号に対して所定の画像処理を行い、画像信号をディスプレイ65に出力している。これに対応して、ディスプレイ65は、画像処理部64からの画像信号に対応する画像を表示している。

0086

ステップS11において、制御部66は、予め設定されているDIP(dual in-line package )スイッチなどを確認することで、自己のディスプレイ装置31のID番号を取得する。なお、ID番号の取得は、DIPスイッチに限らず、他のディスプレイ装置31と相互に通信し合うことで取得することも可能である。

0087

ユーザは、ディスプレイ装置31−1乃至31−9のいずれかのディスプレイ65に表示される画像(例えば、ディスプレイ装置31−3に表示される画像、すなわち、ディスプレイ装置31−3の画面G3)を見ている。

0088

視線検出装置23は、マルチディスプレイ装置21に表示される画像を見るユーザの目や顔を撮像し、撮像されたユーザの目の画像を画像処理することで、ユーザの視線がどのディスプレイ装置31に向いているのか、すなわち、ユーザがどのディスプレイ装置31の画面を見ているのかを推定し、ユーザが見ていると推定したディスプレイ装置31のID番号を視聴画面番号に決定し、決定した視聴画面番号を視線検出結果データとして、各ディスプレイ装置31に供給してくる。

0089

なお、視線は不安定であるので、何サンプルか連続して同じ画面を見ていたと判定されたときに、視聴画面番号が決定される。また、ユーザがどのディスプレイ装置31の画面も見ていないと推定された場合には、視聴画面番号(−1)が、視線検出結果データとして、各ディスプレイ装置31に供給される。例えば、視聴画面番号がいずれかのディスプレイ装置31のID番号から、−1に切り替わった場合には、どのディスプレイ装置31のメモリ62にも画像は保存されない。

0090

ステップS12において、判定部67は、視線検出装置23からの視線検出結果データを取得し、視線検出装置23からの視線検出結果データに基づいて、ユーザの視線の切り替わりを検出し、ユーザの視線の切り替わりタイミングの通知を制御部66に通知する。このとき、切り替わり先のID番号も制御部66に通知される。

0091

ステップS13において、制御部66は、メモリ制御処理を実行する。このメモリ制御処理を、図9のフローチャートを参照して説明する。

0092

ステップS31において、制御部66は、視線の切り替わりがあったか否かを判定する。判定部67から、ユーザの視線の切り替わりタイミングの通知があった場合、ステップS31において、視線の切り替わりがあったと判定され、処理は、ステップS32に進む。

0093

ステップS32において、制御部66は、判定部67からの切り替わり先のID番号の通知に基づいて、視線の切り替わり先は自分の画面であるか否かを判定する。判定部67からの切り替わり先のID番号と、図8のステップS11で取得されたディスプレイ装置31のID番号が一致する場合、ステップS32において、視線の切り替わりが自分の画面であると判定され、処理は、ステップS33に進む。

0094

ステップS33において、制御部66は、メモリ62がプロテクト状態であるか否かを判定し、メモリ62がプロテクト状態ではない、すなわち、メモリ62のプロテクト状態が解除されていると判定した場合、処理は、ステップS34に進む。

0095

例えば、ユーザAの視線を動かした瞬間を、ユーザAがメモしたい瞬間であると予測してメモリ62に記録された画像が、例えば、その画像のズーム操作時などに、ユーザAの視線が動くなど、ユーザAの意図しない反応によりその時の画像が再度メモリ62に記録されることで、上書きされてしまう恐れがある。

0096

ここで、ユーザによるメモボタン51を押下する操作は、その画像に対してメモを行いたいという明確な意思であると考えることができる。したがって、ディスプレイ装置31においては、ユーザのメモボタン51の操作があったら(すなわち、リモートコントローラ22よりメモコマンドが受信されたら)、メモリ62に保存された画像をプロテクト上書き禁止)状態に設定し(後述する図10のステップS43)、ユーザのリモートコントローラ22の操作が一定時間以上なかったら、メモリ62のプロテクト状態を解除する(図8のステップS22)ようにしている。

0097

したがって、メモリ62がプロテクト状態ではない場合、ステップS34において、制御部66は、メモリ62に入力されている画像信号の画像を、メモリ画像#1として保存する。すなわち、制御部66は、ユーザの視線の切り替わりタイミングに、メモリ62に入力されて、ディスプレイ65に出力されている画像信号の画像で、メモリ62に記憶されるメモリ画像#1を更新する。その後、処理は、図8のステップS13に戻り、ステップS14に進む。

0098

一方、ステップS31において視線の切り替わりがなかったと判定された場合、ステップS32において切り替わり先が自分の画面ではないと判定された場合、または、ステップS33においてメモリ62がプロテクト状態であると判定された場合も、処理は、図8のステップS13に戻り、ステップS14に進む。

0099

図8のステップS14において、制御部66は、リモートコントローラ22からのコマンドを受信したか否かを判定し、リモートコントローラ22からのコマンドを受信したと判定した場合、ステップS15において、コマンドが画面選択コマンドであるか否かを判定する。

0100

ステップS15において、コマンドが画面選択コマンドであると判定された場合、制御部66は、ステップS16において、画面選択コマンドに応じて、自分の画面の選択状態を変更する。例えば、制御部66は、自分のディスプレイ装置31の画面を選択する画面選択コマンドの場合、自分の画面の選択状態に変更し、他のディスプレイ装置31の画面を選択する画面選択コマンドの場合に、自分の画面が選択状態であったとき、その選択状態を解除する。その後、処理は、ステップS14に戻り、それ以降の処理を繰り返す。

0101

また、ステップS15において、コマンドが画面選択コマンドではないと判定された場合、処理は、ステップS16をスキップし、制御部66は、ステップS17において、自分の画面が選択状態であるか否かを判定する。ステップS17において、自分の画面が選択状態であると判定された場合、制御部66は、ステップS18において、カウンタの値をリセットする。

0102

ここで、制御部66は、自分のディスプレイ装置31に対して、ユーザからのコマンドが受信されないことを計測するための図示せぬカウンタを内蔵している。ステップS17において、自分の画面が選択状態である、すなわち、リモートコントローラ22からのコマンドが自分のディスプレイ装置31に対してのコマンドであると判定されたため、ステップS18においては、カウンタの値がリセットされる。

0103

ステップS19において、制御部66は、コマンドに応じた処理を実行する。このコマンドに応じた処理を、図10のフローチャートを参照して説明する。

0104

制御部66は、ステップS41において、コマンドがメモコマンドであるか否かを判定し、コマンドがメモコマンドであると判定した場合、ステップS42において、メモリ62に入力されている画像信号の画像を、メモリ画像#2として保存する。すなわち、制御部66は、メモコマンドの受信タイミングに、メモリ62に入力されて、ディスプレイ65に出力されている画像信号の画像で、メモリ62に記憶されるメモリ画像#2を更新する。その後、処理は、ステップS43に進む。

0105

ステップS43において、制御部66は、メモリ62をプロテクト状態に設定する。これにより、ユーザのリモートコントローラ22の操作が一定時間以上ないと判定されるまで、メモリ62に記憶されているメモリ画像#1およびメモリ画像#2の上書きが禁止される。

0106

ステップS44において、制御部66は、メモリ62に記憶されているメモリ画像#1の画像信号を読み出すように、出力選択部63の選択を制御する。すなわち、出力選択部63は、メモリ62に記憶されているメモリ画像#1を選択し、選択したメモリ画像の画像信号を読み出して、画像処理部64に出力する。画像処理部64により、画像処理が行われた画像信号は、ディスプレイ65に出力される。ディスプレイ65には、画像処理部64からの画像信号に対応するメモリ画像#1が表示される。

0107

なお、予め設定しておくことで、ステップS44においては、メモリ画像#2を表示させることもできる。

0108

一方、ステップS41において、コマンドがメモコマンドではないと判定された場合、処理は、ステップS42乃至S44をスキップし、ステップS45に進む。ステップS45において、制御部66は、コマンドがメモリ画像選択コマンドであるか否かを判定し、コマンドがメモリ画像選択コマンドであると判定した場合、ステップS46において、コマンドに応じたメモリ画像(メモリ画像#1またはメモリ画像#2)の画像信号を読み出すように、出力選択部63を制御する。

0109

すなわち、出力選択部63は、コマンドがFn1ボタン53の押下によるメモリ画像選択コマンドであった場合、メモリ62に記憶されているメモリ画像#1を選択し、選択したメモリ画像#1の画像信号を読み出して、画像処理部64に出力する。また、出力選択部63は、コマンドがFn2ボタン54の押下によるメモリ画像選択コマンドであった場合、メモリ62に記憶されているメモリ画像#2を選択し、選択したメモリ画像#2の画像信号を読み出して、画像処理部64に出力する。

0110

画像処理部64により、画像処理が行われた画像信号は、ディスプレイ65に出力される。ディスプレイ65には、画像処理部64からの画像信号に対応するメモリ画像#1またはメモリ画像#2が表示される。

0111

ステップS45において、コマンドがメモリ画像選択コマンドではないと判定された場合、処理は、ステップS46をスキップし、ステップS47に進む。ステップS47において、制御部66は、コマンドがズームコマンドであるか否かを判定し、コマンドがズームコマンドであると判定した場合、処理は、ステップS48に進む。

0112

ステップS48において、制御部66は、画像処理部64に、コマンドに応じたズームパラメータ(ズーム倍率ズーム範囲など)を送り、画像信号に対して、画像ズーム処理を行うように、画像処理部64を制御する。すなわち、画像処理部64は、出力選択部63からの画像信号に対して所定の画像処理を行うとともに、制御部66からのズームパラメータに基づいて、画像信号に対して、画像ズーム処理を行う。画像処理が行われた画像信号は、ディスプレイ65に出力され、ディスプレイ65には、ズームパラメータに基づいてズーム処理が行われた画像信号に対応する画像を表示する。

0113

ステップS47において、コマンドがズームコマンドではないと判定された場合、処理は、ステップS48をスキップし、図8のステップS19に戻り、その後、さらに、ステップS12に戻り、それ以降の処理が繰り返される。

0114

図8のステップS14において、リモートコントローラ22からのコマンドを受信していないと判定された場合、または、ステップS17において、自分の画面が選択状態ではないと判定された場合、処理は、ステップS20に進む。すなわち、自分のディスプレイ装置31に対してのコマンドが受信されていないので、制御部66は、ステップS20において、内蔵するカウンタの値をインクリメントする。

0115

ステップS21において、制御部66は、カウンタの値が予め設定されている閾値以上であるか否かを判定し、カウンタの値が予め設定されている閾値以上であると判定した場合、すなわち、自分のディスプレイ装置31に対して最後に受信されたコマンドから閾値以上時間が経過したので、ステップS22に進み、メモリ62のプロテクト状態を解除する。これにより、視線検出結果データまたはメモコマンドに対応してのメモリ62の書き込みが可能になる。

0116

ステップS21において、カウンタの値が閾値より少ないと判定された場合、処理は、ステップS22をスキップし、ステップS12に戻り、それ以降の処理が繰り返される。

0117

以上のように、ユーザの視線を動かした瞬間を、ユーザがメモしたい瞬間であると予測して、ユーザの視線の変化があったときに、視線の移動先に表示される画像を、メモリ62に記録するようにしたので、例えば、ユーザがリモートコントローラ22の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。

0118

また、メモコマンドを操作したときの操作対象(選択状態)のディスプレイ装置31に表示される画像も、視線の移動先に表示される画像とは別にメモリ62に記録するようにしたので、ユーザによるリモートコントローラ22の操作が確実だった場合の画像も取得することができる。

0119

さらに、メモコマンドによりメモリ62に記憶されたメモリ画像がある場合には、メモリ62をプロテクト状態とし、上書きされないようにしたので、リモートコントローラ22の操作時などに視線を移動させるなどユーザの意図しない反応によって、メモリ62に記憶されたメモリ画像が削除されることを抑制することができる。

0120

次に、図11のフローチャートを参照して、図8の処理に対応するリモートコントローラ22の処理について詳しく説明する。

0121

例えば、ユーザは、操作部71を構成する、図3のメモボタン51、ズームボタン52、Fn1ボタン53、Fn2ボタン54、画面選択ボタン55、または操作スティック56などを操作する。制御部72は、操作部71を介して入力される操作信号に基づいて、ディスプレイ装置31により認識可能なコマンドを生成し、生成したコマンドをフレーム生成部73に出力する。

0122

フレーム生成部73は、ステップS51において、コマンドが入力されるまで待機しており、コマンドが入力されたと判定した場合、ステップS52において、制御部72からのコマンドを送信フレームとして生成し、送信処理部74に送信する。送信処理部74は、ステップS53において、フレーム生成部73により生成された送信フレームを発光信号に変換し、発光部75を発光させる。これにより、ディスプレイ装置31の受光部32には、リモートコントローラ22からの光が受光され、受光部32からは、受光された光に対応するコマンドが各ディスプレイ装置31に送信される。

0123

図12は、図2のリモートコントローラの外観の他の構成例を示す図である。なお、図12においては、リモートコントローラ22の前面に、画面選択ボタン55−1乃至55−9が配置されていない点が図3のリモートコントローラ22と異なっており、メモボタン51、ズームボタン52、Fn1ボタン53、Fn2ボタン54、および操作スティック56が配置されている点が共通している。

0124

すなわち、図12のリモートコントローラ22の場合、画面選択ボタン55−1乃至55−9の代わりに、ユーザは、操作スティック56を縦方向、横方向、あるいは斜め方向に操作し、ディスプレイ装置31−1乃至31−9の各画面G1乃至画面G9に表示される画面選択を表すカーソルKを所望の画面に移動させることで、画面G1乃至G9のうちの1つの画面を選択することができる。

0125

図12の例においては、操作スティック56が図中右側に傾斜されることで、画面G4に表示されていたカーソルKが、画面G5(図中右側)に移動する例が示されている。

0126

以上のように、画面を選択するツールは、図3の画面選択ボタン55−1乃至55−9に限らず、図12の操作スティック56で構成するようにしてもよい。

0127

次に、図13を参照して、視線情報を用いて、静止画像ではなく、動画像を記録する処理について説明する。

0128

上記説明においては、ある画面から別の画面に視線を動かした瞬間にメモしたいオブジェクトを発見してしまうことが多いことに対応して、ユーザの視線を動かしたときと、メモボタンが操作されたときの2枚の画像を記録する場合を説明してきたが、ある画面から別の画面に視線を動かしたときではなく、視線を動かして画面を見ているうちにメモしたいオブジェクトが出現する場合もある。この場合、2枚の画像では、そのオブジェクトの記録を取り逃がしてしまうこともある。

0129

このような場合、メモリの容量が十分にあれば、ユーザの視線が切り替わったときではなく、切り替わったとき以降のメモボタンを操作する前までの区間を動画像として記録しておくことで、メモしたいオブジェクトを含む画像を取りこんでおくことができる。すなわち、この場合、ユーザの視線が切り替わった瞬間ではなく、切り替わった瞬間以降の所定の区間が、注目する情報が存在すると推定される区間であると予測して、その間の画像信号を動画像としてメモリに記録しておき、後から、リモートコントローラの操作で所望のフレームを選択するようにしている。

0130

図13の例においては、図7の例と同様に、ディスプレイ装置31−1乃至31−9の画面G1乃至G9のうち、時刻T0におけるディスプレイ装置31−2の画面G2から、時刻T1におけるディスプレイ装置31−3の画面G3へのユーザAの視線の変化、および時間の経過に沿ったユーザAの視聴画面が示されている。

0131

すなわち、ディスプレイ装置31−3は、視線検出装置23からの視聴画面番号に基づく、ユーザAの視聴画面の画面G2から自己の画面G3への変化、すなわち、ユーザAの視線の画面G2から画面G3への変化があった場合に、ユーザAの視線が画面G2から画面G3に変化した時刻T1を開始として、例えば、ユーザAにより実際にメモボタン51が押下された時刻T2までのWの時間の画面G3の情報を、動画像としてメモリ62に保存する。

0132

これにより、例えば、ユーザAの視線が画面G2から画面G3に変化した時刻T1からしばらくした時刻T12(時刻T1<時刻T12<時刻T2)における画面G3に、興味がある情報が存在することに気づいた場合にも、その動画像を後から見ることで、所望の情報を確認することができる。

0133

以上のように、ユーザAの視線を動かした瞬間から所定の区間を、ユーザAがメモしたい情報が存在する区間であると予測して、その区間に表示される動画像を記録するようにしたので、例えば、ユーザAがリモートコントローラ22の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。なお、この所定の区間は、設定することも可能であるが、メモリ残容量に応じた時間となる。

0134

次に、図14のフローチャートを参照して、図13の例の場合のディスプレイ装置31による視線情報を用いて、動画像を記録する処理を詳しく説明する。なお、図14の例においては、ステップS73およびステップS74の処理が異なるだけであり、その他のステップS71,S72,およびS75乃至S83の処理は、図8のステップS11,S12,およびS14乃至S22の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。

0135

ステップS71において、制御部66は、予め設定されているDIPスイッチなどを確認することで、自己のディスプレイ装置31のID番号を取得する。

0136

視線検出装置23は、マルチディスプレイ装置21に表示される画像を見るユーザの目や顔を撮像し、撮像されたユーザの目の画像を画像処理することで、ユーザの視線がどのディスプレイ装置31に向いているのか、すなわち、ユーザがどのディスプレイ装置31の画面を見ているのかを推定し、ユーザが見ていると推定したディスプレイ装置31のID番号を視聴画面番号に決定し、決定した視聴画面番号を視線検出結果データとして、各ディスプレイ装置31に供給してくる。

0137

ステップS72において、判定部67は、視線検出装置23からの視線検出結果データを取得し、視線検出装置23からの視線検出結果データに基づいて、ユーザの視線の切り替わりを検出し、ユーザの視線の切り替わりタイミングの通知を制御部66に通知する。このとき、切り替わり先のID番号も制御部66に通知される。

0138

ステップS73において、制御部66は、メモリ制御処理を実行する。このメモリ制御処理を、図15のフローチャートを参照して説明する。なお、図15の例においては、ステップS94の処理が異なるだけであり、その他のステップS91乃至S93の処理は、図9のステップS31乃至S33の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。

0139

ステップS91において、制御部66は、視線の切り替わりがあったか否かを判定する。判定部67から、ユーザの視線の切り替わりタイミングの通知があった場合、ステップS91において、視線の切り替わりがあったと判定され、処理は、ステップS92に進む。

0140

ステップS92において、制御部66は、判定部67からの切り替わり先のID番号の通知に基づいて、視線の切り替わり先は自分の画面であるか否かを判定する。判定部67からの切り替わり先のID番号と、図14のステップS71で取得されたディスプレイ装置31のID番号が一致する場合、ステップS92において、視線の切り替わりが自分の画面であると判定され、処理は、ステップS93に進む。

0141

ステップS93において、制御部66は、メモリ62がプロテクト状態であるか否かを判定し、メモリ62がプロテクト状態ではない、すなわち、メモリ62のプロテクト状態が解除されていると判定した場合、処理は、ステップS94に進む。

0142

ステップS94において、制御部66は、メモリ62に対するメモリ書き込みフラグをオンに設定する。すなわち、制御部66は、書き込み先ポインタを、メモリ62の画像記録用先頭アドレスに設定し、入力されている画像信号の記録を開始させる。その後、処理は、図14のステップS73に戻り、ステップS74に進む。

0143

一方、ステップS91において視線の切り替わりがなかったと判定された場合、ステップS92において切り替わり先が自分の画面ではないと判定された場合、または、ステップS93においてメモリ62のプロテクト状態であると判定された場合も、処理は、図14のステップS73に戻り、ステップS74に進む。

0144

図14のステップS74において、メモリ62は、ステップS73におけるメモリ制御に基づいて、メモリ書き込み処理を実行する。このメモリ書き込み処理を、図16のフローチャートを参照して説明する。

0145

ステップS101において、メモリ62は、メモリ書き込みフラグがオンであるか否かを判定し、メモリ書き込みフラグがオンであると判定した場合、処理は、ステップS102に進む。ステップS102において、メモリ62は、書き込む容量が残っているか否かを判定する。

0146

ステップS102において、書き込む容量が残っていると判定された場合、ステップS103において、メモリ62は、入力されている画像信号の記録を行う。これにより、図15のステップS94において記録開始が指示されてから、後述する図17のステップS112において記録終了が指示されるまでの画像信号がメモリ動画像として記録される。

0147

なお、メモリ書き込みフラグがオンである場合は、メモリがプロテクト状態ではない場合であるので、基本的に以前の動画像に上書きされるが、記録終了が指示されるまでの時間があまりにも長いとき、あるいは、メモコマンドが受信されず、記録終了が指示されないときなどには、書き込む容量がなくなってしまったところで動画像の記録は終了される。

0148

一方、ステップS101において、メモリ書き込みフラグがオフであると判定された場合、または、ステップS102において、書き込む容量が残っていないと判定された場合、処理は、ステップS103をスキップし、図14のステップS74に戻り、ステップS75に進む。すなわち、この場合、画像信号は記録されない。

0149

図14のステップS75において、制御部66は、リモートコントローラ22からのコマンドを受信したか否かを判定し、リモートコントローラ22からのコマンドを受信したか否かを判定した場合、ステップS76において、コマンドが画面選択コマンドであるか否かを判定する。

0150

ステップS76において、コマンドが画面選択コマンドであると判定された場合、制御部66は、ステップS77において、画面選択コマンドに応じて、自分の画面の選択状態を変更する。すなわち、自分のディスプレイ装置31の画面を選択する画面選択コマンドの場合、自分の画面の選択状態に変更し、他のディスプレイ装置31の画面を選択する画面選択コマンドの場合、自分の画面が選択状態であったとき、その選択状態を解除する。その後、処理は、ステップS75に戻り、それ以降の処理を繰り返す。

0151

また、ステップS76において、コマンドが画面選択コマンドではないと判定された場合、制御部66は、ステップS78において、自分の画面が選択状態であるか否かを判定する。ステップS78において、自分の画面が選択状態であると判定された場合、制御部66は、ステップS79において、カウンタの値をリセットする。

0152

ステップS80において、制御部66は、コマンドに応じた処理を実行する。このコマンドに応じた処理を、図17のフローチャートを参照して説明する。なお、図17ののステップS111,S113,S114,S116,およびS117の処理は、図10のステップS41,S43,S45,S47,およびS48の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。

0153

制御部66は、ステップS111において、コマンドがメモコマンドであるか否かを判定し、コマンドがメモコマンドであると判定した場合、ステップS112において、メモリ書き込みフラグをオフにする。すなわち、制御部66は、図15のステップS94において開始が指示されたメモリ62への記録を終了させる。

0154

ステップS113において、制御部66は、メモリ62をプロテクト状態に設定する。これにより、ユーザのリモートコントローラ22の操作が一定時間以上ないと判定されるまで、メモリ62の動画像の上書きが禁止される。なお、メモコマンドが受信されない場合に記録された動画像は、上書きが禁止されないので、次に視線の切り替えがあったときに上書きされる。

0155

一方、ステップS111において、コマンドがメモコマンドではないと判定された場合、処理は、ステップS112およびS113をスキップし、ステップS114に進む。ステップS114において、制御部66は、コマンドがメモリ画像選択コマンドであるか否かを判定し、コマンドがメモリ画像選択コマンドであると判定した場合、ステップS115において、メモリ動画像から、コマンドに応じたメモリ画像の画像信号を読み出すように、出力選択部63を制御する。

0156

すなわち、動画像を記録する場合のリモートコントローラ22の前面には、図18に示されるように、図3のメモボタン51、ズームボタン52、画面選択ボタン55−1乃至55−9、および操作スティック56が配置され、さらに、図3のFn1ボタン53およびFn2ボタン54の代わりに、メモリ動画像から所望のメモリ画像(フレーム)を選ぶための画像選択スライダ81が配置されている。

0157

すなわち、図18のリモートコントローラ22においては、画面選択ボタン55の選択後、ユーザにより画像選択スライダ81に設けられているつまみが左右どちらかに移動されると、画像選択スライダ81におけるそのつまみの位置に応じたメモリ動画像における位置のメモリ画像を選択するための画像選択コマンドが生成され、送信されている。

0158

したがって、出力選択部63は、画像選択スライダ81の移動によるメモリ画像選択コマンドであった場合、メモリ62に記憶されているメモリ動画像におけるコマンドに応じた位置のメモリ画像の画像信号を選択し、選択したメモリ画像の画像信号を読み出して、画像処理部64に出力する。

0159

画像処理部64により、画像処理が行われた画像信号は、ディスプレイ65に出力される。ディスプレイ65には、画像処理部64からの画像信号に対応するメモリ画像が表示される。

0160

ステップS114において、コマンドがメモリ画像選択コマンドではないと判定された場合、処理は、ステップS115をスキップし、ステップS116に進む。ステップS116において、制御部66は、コマンドがズームコマンドであるか否かを判定し、コマンドがズームコマンドであると判定した場合、処理は、ステップS117に進む。

0161

ステップS117において、制御部66は、画像処理部64に、コマンドに対応するズームパラメータ(ズーム倍率とズーム範囲など)を送り、画像信号に対して、画像ズーム処理を行うように、画像処理部64を制御する。すなわち、画像処理部64は、出力選択部63からの画像信号に対して所定の画像処理を行うとともに、制御部66からのズームパラメータに基づいて、画像信号に対して、画像ズーム処理を行う。画像処理が行われた画像信号は、ディスプレイ65に出力され、ディスプレイ65には、ズームパラメータに基づいてズーム処理が行われた画像信号に対応する画像を表示する。

0162

ステップS116において、コマンドがズームコマンドではないと判定された場合、処理は、ステップS117をスキップし、図14のステップS80に戻り、その後、さらに、ステップS72に戻り、それ以降の処理が繰り返される。

0163

図14のステップS75において、リモートコントローラ22からのコマンドを受信していないと判定された場合、または、ステップS78において、自分の画面が選択状態ではないと判定された場合、処理は、ステップS81に進む。すなわち、自分のディスプレイ装置31に対してのコマンドが受信されていないので、制御部66は、ステップS81において、内蔵するカウンタの値をインクリメントする。

0164

ステップS82において、制御部66は、カウンタの値が予め設定されている閾値以上であるか否かを判定し、カウンタの値が予め設定されている閾値以上であると判定した場合、すなわち、自分のディスプレイ装置31に対して最後に受信されたコマンドから閾値以上時間が経過したので、ステップS83に進み、メモリ62のプロテクト状態を解除する。これにより、視線検出結果データまたはメモコマンドに対応してのメモリ62の書き込みが可能になる。

0165

ステップS82において、カウンタの値が閾値より少ないと判定された場合、処理は、ステップS83をスキップし、ステップS72に戻り、それ以降の処理が繰り返される。

0166

以上のように、ユーザの視線を動かした瞬間から所定の区間を、ユーザがメモしたい情報が存在する区間であると予測して、ユーザの視線の変化があったときに、視線の移動先に表示される動画像を、メモリに記録するようにしたので、例えば、ユーザがリモートコントローラ22の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしをさらに抑制することができる。

0167

図19は、図18のリモートコントローラの外観の他の構成例を示す図である。なお、図19においては、リモートコントローラ22の前面に、画像選択スライダ81の代わりに、最初のフレームへのジャンプボタン91、1つ前のフレームに戻るボタン92、次のフレームに進むボタン93、および最後のフレームへのジャンプボタン94が配置されている点が、図18のリモートコントローラ22と異なっており、メモボタン51、ズームボタン52、および画面選択ボタン55−1乃至55−9が配置されている点が共通している。

0168

すなわち、図19のリモートコントローラ22においては、画面選択ボタン55の選択後、ユーザにより、最初のフレームへのジャンプボタン91、1つ前のフレームに戻るボタン92、次のフレームに進むボタン93、または最後のフレームへのジャンプボタン94を押下されると、メモリ動画像の所定のメモリ画像から、各ボタンに対応するメモリ画像(フレーム)を選択するための画像選択コマンドが生成され、送信される。

0169

例えば、ユーザにより次のフレームに進むボタン93が押下されると、出力選択部63は、メモリ62に記憶されているメモリ動画像の所定のメモリ画像の次のメモリ画像(フレーム)の画像信号を選択し、選択したメモリ画像の画像信号を読み出して、画像処理部64に出力する。これにより、ディスプレイ65には、画像処理部64からの画像信号に対応するメモリ画像が表示される。

0170

図20は、マルチディスプレイシステムの第2の実施の形態の構成を示す図である。なお、図20の例において、リモートコントローラ22がリモートコントローラ112に入れ替わっている点と、視線検出装置23が除かれている点が、図2のマルチディスプレイシステムと異なっており、複数のディスプレイ装置31−1乃至31−9からなるマルチディスプレイ装置21が備えられている点は、共通している。

0171

すなわち、図20のマルチディスプレイシステムにおいては、ディスプレイ装置31−1乃至31−9は、視線検出装置23からの視線検出結果データに基づくユーザの視線の切り替わりの代わりに、ユーザの操作によるリモートコントローラ112の動き(加速度の変化)があった場合に、それぞれ、現在表示されている画像を保存しておく。このリモートコントローラ112の動きの有無は、リモートコントローラ112からのイベント判定結果フラグが受光部32に受信され、各ディスプレイ装置31に供給されることにより判定される。

0172

リモートコントローラ112は、図3のリモートコントローラ22と同様に、図3のメモボタン51、ズームボタン52、Fn1ボタン53、Fn2ボタン54、画面選択ボタン55、および操作スティック56からなる操作部71の他、加速度センサ121(後述する図22)を有しており、図3を参照して上述したコマンドの他、加速度センサ121の出力値をAD (Analog to Digital)変換した結果から加速度の急激な変化を検出した場合、イベント判定結果フラグを生成し、生成したイベント判定結果フラグを所定の光信号として発光する。

0173

なお、リモートコントローラ112におけるイベント判定結果フラグの送信は、通常のコマンド送信に用いる赤外線で行われるが、無線LAN(Local Area Network)やBluetooth(登録商標)などを用いることもできる。ただし、指向性のある赤外線を用いて送信するほうがリモートコントローラ112をマルチディスプレイ置21の正面を向けていない状態での操作など、ノイズ要素となるイベント判定結果が受信されにくく、ロバストである。

0174

図21は、図20のディスプレイ装置の電気的な構成例を示す図である。なお、図21の例においては、判定部67が除かれた点が図4のディスプレイ装置と異なるだけであり、チューナ61、メモリ62、出力選択部63、画像処理部64、ディスプレイ65、および制御部66を備えている点は、共通している。

0175

すなわち、図21の制御部66は、受光部32を介して、リモートコントローラ112からのデータを受けると、そのデータがイベント判定結果フラグであるか否かを判定し、イベント判定結果フラグである場合、すなわち、リモートコントローラ112が加速度の急激な変化を検出した場合、メモリ62に記憶されるメモリ画像#1の更新を制御する。リモートコントローラ112からのデータがコマンドである場合、制御部66は、図4の場合と同様に、コマンドに対応して、メモリ62に記憶されるメモリ画像#2の更新や、出力画像の選択、またはズームパラメータ等を制御する。

0176

図22は、図21のリモートコントローラの電気的な構成例を示す図である。なお、図22のリモートコントローラ112においては、加速度センサ121、AD変換部122、およびイベント判定部123が追加された点が図5のリモートコントローラ22と異なるだけであり、操作部71、制御部72、フレーム生成部73、送信処理部74、および発光部75を備えている点は、共通している。すなわち、図20のマルチディスプレイシステムの場合、図2のマルチディスプレイシステムにおいてディスプレイ装置31側にあった判定部67が、イベント判定部123として、リモートコントローラ112に備えられている。

0177

図22の制御部72は、生成したコマンドをフレーム生成部73に出力するだけでなく、イベント判定部123からのイベント検出フラグの設定がオンである場合に、イベント判定結果フラグを生成し、それをフレーム生成部73に出力する。

0178

加速度センサ121は、例えば、ユーザのリモートコントローラ112の把持により生じるリモートコントローラ112の加速度を検知し、その加速度センサデータをAD変換部122に出力する。AD変換部122は、加速度センサ121からの出力値(加速度センサデータ)をAD変換し、AD変換された加速度センサデータを、イベント判定部123に出力する。

0179

イベント判定部123は、AD変換された加速度センサデータから加速度の急激な変化を検出した場合、イベント検出フラグをオンに設定し、オンに設定されたイベント検出フラグを制御部72に出力する。また、加速度の急激な変化が検出されない場合、イベント検出フラグはオフに設定され、オフに設定されたイベント検出フラグが制御部72に出力される。

0180

次に、図23および図24を参照して、イベント判定結果フラグを用いて、画像を記録する処理について説明する。

0181

図23の図中上には、時刻T1および時刻T2(時刻T1<時刻T2)におけるディスプレイ装置31−3に表示される画像(以下、単にディスプレイ装置31−3の画面とも称する)G3が示されている。

0182

図23の図中下に示されるように、ユーザAは、時刻T0(時刻T0<時刻T1)に、ディスプレイ装置31−1乃至31−9の画面G1乃至G9のうち、ディスプレイ装置31−2の画面G2を見ていたが、時刻T1において、ディスプレイ装置31−3の画面G3に視線を動かす。この画面G2から画面G3にユーザAの視線が切り替わった時刻T1の瞬間に、ユーザAは、画面G3に興味があるオブジェクト(例えば、図23の例の場合も、ピッチング中の投手が振りかぶっているときのボールを握る手)が存在することに気づく。

0183

興味があり、メモしたいオブジェクトに気づいたとき、ユーザAは、リモートコントローラ112を把持し、握っているリモートコントローラ112に対して何らかのアクション(指を動かそうとするなど)を起こそうとすることが多い。例えば、ユーザAは、ここで、画面G3のオブジェクトを記録させるため、例えば、画面G3に興味があるオブジェクトに気づいた時刻T1でリモートコントローラ112を把持し、前面に備えられた画面選択ボタン55−3を押下し、ディスプレイ装置31−3の画面G3を選択した上で、時刻T2でメモボタン51を押下する。しかしながら、図6を参照して上述したように、メモボタン51を押下した瞬間の時刻T2には、すでに、画面G3の情報は変化してしまっており、時刻T1の瞬間の画面G3のオブジェクトを記録できないことが多い。図23の例の場合も、時刻T2の画面G3は、ピッチング中の投手がボールを投げる瞬間の画像となっている。

0184

そこで、リモートコントローラ112の加速度センサ121でリモートコントローラ112本体の動きやユーザの指の動きを検出して、動きが検出された瞬間の画面G3(すなわち、時刻T1の画面G3)の画像を予め先にメモリ62に記録しておき、そして、ユーザAにより実際にメモボタン51が押下された時刻T2に、メモリ62に記録した画像を画面G3として用いるようにする。

0185

図24を参照して具体的に説明する。図24の例においては、リモートコントローラ112における時間の経過に沿った加速度センサデータ、および、時間の経過に沿った画面G3の出力画像が示されている。

0186

すなわち、ディスプレイ装置31−1乃至31−9は、リモートコントローラ112からのイベント検出フラグを監視しており、それに基づいて、リモートコントローラ112に加速度の急激な変化があった時刻T1における画面G1乃至G9の情報を、メモリ62にメモリ画像#1として保存しておく。なお、この場合、視線の切り替わりの場合と異なり、リモートコントローラ112における加速度の変化だけでは、ユーザAがどの画面を見ているかが分からないので、すべての画面G1乃至G9におけるそのときの画像が、各ディスプレイ装置31のメモリ62にメモリ画像#1として保存される。

0187

そして、ディスプレイ装置31−1は、ユーザAにより実際に画面G3に対して、メモボタン51が押下された時刻T2に、時刻T2における画面G3の情報をメモリ62にメモリ画像#2として保存し、さらに、画面G3の出力画像に示されるように、チューナ61からの画像の出力であった画面G3を、メモリ画像#1の出力に切り替える。なお、このときも、予め設定しておくことで、画面G3を、メモリ画像#1の代わりにメモリ画像#2の出力に切り替えることも可能である。

0188

以上のように、ユーザAがリモートコントローラ112を動かした瞬間を、ユーザAがメモしたい瞬間であると予測して、リモートコントローラ112に加速度の急激な変化があったときに表示される画像を記録するようにしたので、例えば、ユーザAがリモートコントローラ112の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。

0189

次に、図25のフローチャートを参照して、図20のリモートコントローラ112の処理について詳しく説明する。なお、図25のステップS154乃至S156の処理については、図11のステップS51乃至S53の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。

0190

加速度センサ121は、常にリモートコントローラ112の加速度を検知しており、その加速度センサデータをAD変換部122に出力している。

0191

ステップS151において、AD変換部122は、加速度センサ121からの加速度センサデータをAD変換し、AD変換された加速度センサデータを、イベント判定部123に出力する。

0192

ステップS152において、イベント判定部123は、イベント検出フラグ出力処理を実行する。このイベント検出フラグ出力処理を、図26のフローチャートを参照して説明する。

0193

ステップS171において、イベント判定部123は、AD変換部122からの加速度センサデータに基づいて、加速度の急激な変化を検出したか否かを判定し、加速度の急激な変化を検出したと判定した場合、処理は、ステップS172に進み、イベント判定部123は、イベント検出フラグをオンに設定する。

0194

また、ステップS171において、加速度の急激な変化を検出していないと判定された場合、処理は、ステップS173に進み、イベント判定部123は、イベント検出フラグをオフに設定する。

0195

ステップS174において、イベント判定部123は、オンまたはオフに設定されたイベント検出フラグを制御部72に出力し、処理は、図25のステップS152に戻り、ステップS153に進む。

0196

図25のステップS153において、制御部72は、イベント検出フラグがオンに設定されているか否かを判定し、オンに設定されていると判定した場合、処理は、ステップS154をスキップし、ステップS155に進む。なお、この場合、制御部72は、イベント検出フラグに基づいて、イベント判定結果フラグ(オンに設定されている)を生成し、生成したイベント判定結果フラグを、フレーム生成部73に出力する。ステップS153において、オンに設定されていないと判定した場合、処理は、ステップS154に進む。

0197

例えば、ユーザにより、図3のメモボタン51、ズームボタン52、Fn1ボタン53、Fn2ボタン54、画面選択ボタン55、および操作スティック56などで構成される操作部71が操作された場合、制御部72は、操作部71の操作に応じて、操作部71を介して入力される操作信号に基づいて、ディスプレイ装置31により認識可能なコマンドを生成し、生成したコマンドをフレーム生成部73に出力している。

0198

ステップS154において、フレーム生成部73は、コマンドが入力されたと判定した場合、処理は、ステップS155に進む。ステップS154において、コマンドが入力されていないと判定された場合、処理は、ステップS151に戻り、それ以降の処理が繰り返される。

0199

ステップS155において、フレーム生成部73は、制御部72からのイベント判定結果フラグまたはコマンドなどのデータを送信フレームとして生成し、送信処理部74に送信する。送信処理部74は、ステップS156において、フレーム生成部73により生成された送信フレームを発光信号に変換し、発光部75を発光させる。

0200

これにより、ディスプレイ装置31の受光部32には、リモートコントローラ112からの光が受光され、受光部32からは、受光された光に対応するデータ(すなわち、コマンドまたはイベント判定結果フラグ)が各ディスプレイ装置31に送信される。

0201

次に、図27のフローチャートを参照して、図25の処理に対応する、ディスプレイ装置31によるイベント判定結果フラグを用いて、画像を記録する処理を詳しく説明する。なお、図27のステップS201,S204乃至S210の処理は、図8のステップS11,S15乃至S17,およびS19乃至S22の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。

0202

ステップS201において、制御部66は、予め設定されているDIPスイッチなどを確認することで、自己のディスプレイ装置31のID番号を取得する。ステップS202において、制御部66は、リモートコントローラ112からのデータを受信したか否かを判定し、リモートコントローラ112からのデータを受信したと判定した場合、処理は、ステップS203に進む。

0203

ステップS203において、制御部66は、メモリ制御処理を実行する。このメモリ制御処理を、図28のフローチャートを参照して説明する。

0204

ステップS231において、制御部66は、イベント判定結果フラグを受信したか否かを判定する。図27のステップS202において受信されたリモートコントローラ112からのデータがイベント判定結果フラグであった場合、ステップS231において、イベント判定結果フラグを受信したと判定され、処理は、ステップS232に進む。ステップS232において、制御部66は、メモリ62がプロテクト状態であるか否かを判定し、メモリ62がプロテクト状態ではない、すなわち、メモリ62のプロテクト状態が解除されていると判定した場合、処理は、ステップS233に進む。

0205

ステップS233において、制御部66は、メモリ62に入力されている画像信号の画像を、メモリ画像#1として保存する。すなわち、制御部66は、イベント判定結果フラグが受信されたタイミング(換言するに、加速度の急激な変化が検出されたタイミング)に、メモリ62に入力されて、ディスプレイ65に出力されている画像信号の画像で、メモリ62に記憶されるメモリ画像#1を更新する。その後、処理は、図27のステップS203に戻り、ステップS204に進む。

0206

一方、ステップS231において、イベント判定結果フラグを受信していないと判定された場合、処理は、ステップS234に進む。すなわちコマンドが受信されたので、ステップS234において、制御部66は、内蔵するカウンタの値をリセットし、処理は、図27のステップS203に戻り、ステップS204に進む。また、ステップS232において、メモリ62がプロテクト状態ではないと判定された場合も、処理は、図27のステップS203に戻り、ステップS204に進む。

0207

図27のステップS204において、制御部66は、コマンドが画面選択コマンドであるか否かを判定する。ステップS204において、コマンドが画面選択コマンドであると判定された場合、制御部66は、ステップS205において、画面選択コマンドに応じて、自分の画面の選択状態を変更し、その後、処理は、ステップS202に戻り、それ以降の処理を繰り返す。

0208

また、ステップS204において、コマンドが画面選択コマンドではないと判定された場合、制御部66は、ステップS206において、自分の画面が選択状態であるか否かを判定する。ステップS206において、自分の画面が選択状態であると判定された場合、制御部66は、ステップS207において、コマンドに応じた処理を実行する。このコマンドに応じた処理は、図10を参照して上述したコマンドに応じた処理と同様の処理を行うので、その詳細な説明は繰り返しになるので省略する。

0209

すなわち、ステップS207においては、コマンドがメモコマンドである場合、メモリ62に入力されている画像信号の画像が、メモリ画像#2として保存され、メモリ62がプロテクト状態に設定され、メモリ62に記憶されているメモリ画像#1の画像信号を読み出すように、出力選択部63の選択が制御される。これにより、ディスプレイ65には、加速度の急激な変化が検出されたタイミングで記録されたメモリ画像#1が表示される。

0210

また、コマンドがメモリ画像選択コマンドである場合、コマンドに応じたメモリ画像(メモリ画像#1またはメモリ画像#2)の画像信号を読み出すように、出力選択部63が制御される。これにより、ディスプレイ65には、加速度の急激な変化が検出されたタイミングで記録されたメモリ画像#1またはメモコマンドが受信されたタイミングで記録されたメモリ画像#2が表示される。

0211

さらに、コマンドがズームコマンドである場合、ズームパラメータ(ズーム倍率とズーム範囲など)が送信され、画像信号に対して、画像ズーム処理を行うように、画像処理部64が制御される。これにより、ディスプレイ65には、ズームパラメータに基づいてズーム処理が行われた画像信号に対応する画像が表示される。

0212

そして、ステップS207の後、処理は、ステップS202に戻り、それ以降の処理が繰り返される。また、ステップS206において、自分の画面が選択状態ではないと判定された場合も、処理は、ステップS202に戻り、それ以降の処理が繰り返される。

0213

図27のステップS202において、リモートコントローラ112からのデータを受信していないと判定された場合、処理は、ステップS208に進む。リモートコントローラ112からのデータが受信されていないので、制御部66は、ステップS208において、内蔵するカウンタの値をインクリメントする。すなわち、図27の例の場合、イベント判定結果フラグが受信されたときにも、カウンタの値はインクリメントされないが、コマンドが受信されていないので、リセットもされない。

0214

ステップS209において、制御部66は、カウンタの値が予め設定されている閾値以上であるか否かを判定し、カウンタの値が予め設定されている閾値以上であると判定した場合、すなわち、最後に受信されたコマンドから閾値以上時間が経過したので、ステップS210に進み、メモリ62のプロテクト状態を解除する。これにより、イベント判定結果フラグまたはメモコマンドに対応してのメモリ62の書き込みが可能になる。

0215

ステップS209において、カウンタの値が閾値より少ないと判定された場合、処理は、ステップS210をスキップし、ステップS202に戻り、それ以降の処理が繰り返される。

0216

以上のように、リモートコントローラ112の加速度が急激に変化した瞬間を、ユーザがメモしたい瞬間であると予測して、リモートコントローラ112の加速度の急激な変化があったときに、すべてのディスプレイ装置31の画面を、メモリ62に記録するようにしたので、例えば、ユーザがリモートコントローラ112の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。

0217

また、メモコマンドを操作したときの操作対象(選択状態)のディスプレイ装置31に表示される画像も、加速度の急激な変化があったときに記録される画像とは別にメモリ62に記録するようにしたので、ユーザによるリモートコントローラ112の操作が確実だった場合の画像も取得することができる。

0218

さらに、メモコマンドによりメモリに記憶されたメモリ画像がある場合には、メモリ62をプロテクト状態とし、上書きされないようにしたので、リモートコントローラ112の操作時などにし視線を移動させるなどユーザの意図しない反応によって、メモリに記憶されたメモリ画像が削除されることを抑制することができる。

0219

なお、上記説明においてはリモートコントローラ112の加速度の検知に基づいて、イベント判定結果フラグが送出される場合を説明したが、例えば、人の発話から驚きのイベントを拾って人の声からイベントを判定して、イベント判定結果フラグが送出されるように、マルチディスプレイシステムを構成することもできる。

0220

図29は、図21のリモートコントローラ112の電気的な他の構成例を示す図である。なお、図29の例においては、加速度センサ121に代わって、マイクロフォン151が備えられている点、およびイベント判定部123に代わって、イベント判定部152が備えられている点が図22のリモートコントローラ112と異なるだけであり、AD変換部122、操作部71、制御部72、フレーム生成部73、送信処理部74、および発光部75を備えている点は、共通している。

0221

すなわち、マイクロフォン151は、人の発話などの音声を集音し、集音した音声信号を、AD変換部122に出力する。AD変換部122はマイクロフォン151からの出力値(音声信号)をAD変換し、AD変換された音声データを、イベント判定部152に出力する。

0222

図29のイベント判定部152は、図30に示されるように、バッファ161、FFT(Fast Fourier Transform)162、音圧計算部163、バッファ164、差分計算部165、および判定部166により構成される。

0223

バッファ161は、AD変換部122から入力される音声データから、音声サンプルを取得し、蓄積する。FFT162は、判定部166の制御のもと、1サンプル前との差分が大きい場合、バッファ161に蓄積されたデータにFFT(高速フーリエ変換)をかけ、FFTの結果を判定部166に出力する。

0224

音圧計算部163は、バッファ161に蓄積された数サンプルのデータを用いて音圧を計算し、計算した音圧のデータをバッファ164および差分計算部165に出力する。バッファ164には、音圧計算部163により計算された1サンプル前の音圧のデータが蓄積されている。

0225

差分計算部165は、音圧計算部163からの音圧と、バッファ164に蓄積されている1サンプル前の音圧との差分を計算し、その差分を判定部166に出力する。

0226

判定部166は、差分計算部165からの差分の大きさを判定し、大きい場合、FFT162を制御し、バッファ161に蓄積されたデータに対して、FFTをかけさせ、その結果に応じて、イベント検出フラグのオンオフを設定する。すなわち、イベント検出フラグは、FFTの結果、低域にパワーが集中している場合にはオンに設定され、低域にパワーが集中していない場合には、オフに設定され、制御部72に出力される。

0227

なお、図29のリモートコントローラ112の処理は、図25を参照して上述した処理と、ステップS152のイベント検出フラグ出力処理(すなわち、図26の処理)を除いて、基本的に同様の処理を行うので、異なる処理であるステップS152のイベント検出フラグ出力処理のみを、図31のフローチャートを参照して説明する。

0228

ステップS251において、バッファ161は、AD変換部122から入力される音声データから、音声サンプルを取得し、ステップS252において、バッファ161に蓄積する。ステップS253において、音圧計算部163は、バッファ161に蓄積された数サンプルのデータを用いて音圧を計算し、計算した音圧のデータをバッファ164および差分計算部165に出力する。

0229

ステップS254において、差分計算部165は、音圧計算部163からの音圧と、バッファ164に蓄積されている1サンプル前の音圧との差分を計算し、その差分を判定部166に出力する。ステップS255において、判定部166は、差分計算部165からの差分の大きさが等分大であるか否かを判定し、差分計算部165からの差分の大きさが等分大である、すなわち、大きいと判定した場合、ステップS256に進み、FFT162を制御し、バッファ161に蓄積されたデータに対して、FFTを行わせる。

0230

ステップS257において、判定部166は、FFT162によるFFTの結果、低域にパワーが集中しているか否かを判定し、低域にパワーが集中していると判定した場合、ステップS258において、イベント検出フラグをオンに設定する。

0231

一方、ステップS255において、差分計算部165からの差分の大きさが等分大ではない、すなわち、大きくないと判定された場合、または、ステップS257において、低域にパワーが集中していないと判定された場合、処理は、ステップS259に進み、判定部166は、イベント検出フラグをオフに設定する。

0232

ステップS260において、判定部166は、オンまたはオフに設定されたイベント検出フラグを制御部72に出力し、処理は、図25のステップS152に戻る。

0233

以上のように、リモートコントローラ112にマイクロフォン151を備えて、ユーザの驚きの声が発生された瞬間を、ユーザがメモしたい瞬間であると予測して、ユーザの声の低域にパワーが集中したときに、すべての画面を、メモリ62に記録するようにしたので、例えば、ユーザがリモートコントローラ112の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。

0234

なお、上記説明においては、ユーザの声の低域にパワーが集中したときに、ユーザの驚きの声が発生されたときであるとして、それを検出するようにしたが、ある大きさの声や、ある特定の声を検出することもできる。

0235

以上のように、ユーザの視線が切り替わった瞬間、リモートコントローラが動かされた瞬間、またはユーザの声が発生された瞬間を、ユーザがメモしたい瞬間であると予測して、それらのいずれかが検出されたときに、表示されている画面をメモリに記録するようにしたので、例えば、ユーザがリモートコントローラの操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。

0236

また、ハードディスクを用いる必要がないので、コストの増大も抑制することができる。

0237

なお、図13乃至図19を参照して上述した動画像を記録する場合の例は、図2のマルチディスプレイシステムを用いて説明したが、図20のマルチディスプレイシステムにも適用することができる。すなわち、図20のマルチディスプレイシステムの場合も、加速度の急激な変化や、声の低域にパワーが集中した場合をトリガとして、静止画像に限らず、動画像を記録することができる。

0238

すなわち、図2または図20のマルチディスプレイシステムにおいては、ユーザの視線が切り替わった瞬間、リモートコントローラが動かされた瞬間、またはユーザの声が発生された瞬間からの区間を、ユーザがメモしたい情報が存在する区間であると予測して、それらのいずれかが検出されたときに、表示されている動画像をメモリに記録するようにしたので、例えば、ユーザがリモートコントローラの操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしをさらに抑制することができる。

0239

なお、上記説明においては、視線検出データまたはリモートコントローラにおいて検出される加速度や音声の変化のいずれかの情報を用いて、興味を引くオブジェクトを発見した瞬間を予測することにより画像を記録し、取り逃がしを抑制する例を説明したが、視線検出データと加速度の変化を両方用いたり、視線検出データと音声の変化を両方用いたり、加速度と音声の変化を両方用いたり、あるいは、3つの情報をすべて用いるようにしてもよい。

0240

また、上記説明においては、ディスプレイ装置にそれぞれ異なる番組の画像を表示する場合を説明したが、本発明は、マルチディスプレイ装置に複数の画像が表示される場合であれば、少なくとも2台のディスプレイ装置で1つの拡大画像を表示させ、他のディスプレイ装置では異なる番組の画像を表示させる場合などにも適用することができる。

0241

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

0242

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用パーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

0243

図32は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ301の構成の例を示すブロック図である。CPU(Central Processing Unit)311は、ROM(Read Only Memory)312、または記憶部318に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)313には、CPU311が実行するプログラムやデータなどが適宜記憶される。これらのCPU311、ROM312、およびRAM313は、バス314により相互に接続されている。

0244

CPU311にはまた、バス314を介して入出力インタフェース315が接続されている。入出力インタフェース315には、上述したセンサ21、キーボードマウス、マイクロフォンなどよりなる入力部316、ディスプレイ、スピーカなどよりなる出力部317が接続されている。CPU311は、入力部316から入力される指令に対応して各種の処理を実行する。そして、CPU311は、処理の結果を出力部317に出力する。

0245

入出力インタフェース315に接続されている記憶部318は、例えばハードディスクからなり、CPU311が実行するプログラムや各種のデータを記憶する。通信部319は、インターネットローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

0246

また、通信部319を介してプログラムを取得し、記憶部318に記憶してもよい。

0247

入出力インタフェース315に接続されているドライブ320は、磁気ディスク光ディスク光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア321が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部318に転送され、記憶される。

0248

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図32に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア321、または、プログラムが一時的もしくは永続的に格納されるROM312や、記憶部318を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータモデムなどのインタフェースである通信部319を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

0249

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

0250

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

0251

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

図面の簡単な説明

0252

従来のマルチディスプレイ装置におけるメモ機能について説明する図である。
本発明を適用したマルチディスプレイシステムの第1の実施の形態の構成例を示すブロック図である。
図2のリモートコントローラの外観の構成例を示す図である。
図2のディスプレイ装置の構成例を示すブロック図である。
図2のリモートコントローラの電気的な構成例を示すブロック図である。
視線情報を用いて画像を記録する処理を説明する図である。
視線情報を用いて画像を記録する処理を説明する図である。
図2のディスプレイ装置の処理を説明するフローチャートである。
図8のステップS13のメモリ制御処理を説明するフローチャートである。
図8のステップS19のコマンドに応じた処理について説明するフローチャートである。
図2のリモートコントローラの処理について説明するフローチャートである。
図2のリモートコントローラの外観の他の構成例を示す図である。
視線情報を用いて動画像を記録する処理を説明する図である。
図13の例の場合の図2のディスプレイ装置の処理を説明するフローチャートである。
図14のステップS73のメモリ制御処理を説明するフローチャートである。
図14のステップS74のメモリ書き込み処理を説明するフローチャートである。
図14のステップS80のコマンドに応じた処理を説明するフローチャートである。
図13の例の場合の図2のリモートコントローラの外観の構成例を示す図である。
図13の例の場合の図2のリモートコントローラの外観の他の構成例を示す図である。
本発明を適用したマルチディスプレイシステムの第2の実施の形態の構成例を示すブロック図である。
図20のディスプレイ装置の構成例を示すブロック図である。
図20のリモートコントローラの電気的な構成例を示すブロック図である。
イベント判定結果フラグを用いて画像を記録する処理を説明する図である。
イベント判定結果フラグを用いて画像を記録する処理を説明する図である。
図20のリモートコントローラの処理について説明するフローチャートである。
図25のステップS125のイベント検出フラグ出力処理を説明するフローチャートである。
図20のディスプレイ装置の処理を説明するフローチャートである。
図27のステップS203のメモリ制御処理を説明するフローチャートである。
図20のディスプレイ装置の他の構成例を示すブロック図である。
図29のイベント判定部の構成例を示すブロック図である。
図25のステップS125のイベント検出フラグ出力処理の他の例を説明するフローチャートである。
本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

0253

21マルチディスプレイ装置, 22リモートコントローラ, 23視線検出装置, 31−1乃至31−9ディスプレイ装置, 32受光部, 61チューナ, 62メモリ, 63出力選択部, 64画像処理部, 65ディスプレイ, 66 制御部, 67 判定部, 71 操作部, 72 制御部, 73フレーム生成部, 74送信処理部, 75発光部, 112 リモートコントローラ, 121加速度センサ, 122AD変換部, 123イベント判定部, 151マイクロフォン, 152 イベント判定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ