技術 注意喚起装置、画像表示装置および注意喚起処理プログラムを記録した記録媒体

0001

本発明は、画像の見落としやすい視覚情報について注意を喚起する注意喚起装置、それを備えた画像表示装置および注意喚起処理プログラムを記録した記録媒体に関する。

0002

インターネットに接続されるパーソナルコンピュータにおいては、インターネットからダウンロードされたホームページ等のＨＴＭＬ（Hyper Text Markup Language) 画像をモニタの画面上に表示することができる。また、デジタルテレビにおいては、画面上に番組メニューを表示することができる。このようなＨＴＭＬ画像や番組メニューの画像には、種々の情報が含まれる。

0003

上記のような画像に含まれる情報の量が非常に多い場合には、目的の情報を探すために時間がかかり、画像が短時間で切り換わった場合には、重要な情報を見落とすことがある。

0004

従来のパーソナルコンピュータやデジタルテレビは、見えにくい情報や目立たない情報などの見落としやすい視覚情報について使用者に注意を喚起する機能を有さない。特に、各個人によって見落としやすい視覚情報が異なることから、各個人の特性に合わせて見落としやすい視覚情報について注意を喚起することは困難である。そのため、画面上に表示される画像の中に含まれる重要な視覚情報を見落とす場合がある。

0005

本発明の目的は、画面上に表示される画像中の見落としやすい視覚情報について注意を喚起することができる注意喚起装置、それを備えた画像表示装置および注意喚起処理プログラムを記録した記録媒体を提供することである。

0006

本発明の他の目的は、個人の特性に合わせて画面上に表示される画像中の見落としやすい視覚情報について注意を喚起することができる注意喚起装置、それを備えた画像表示装置および注意喚起処理プログラムを記録した記録媒体を提供することである。

0007

第１の発明に係る注意喚起装置は、画面上に表示される画像を入力する入力手段と、入力手段により入力された画像の各領域の特徴を抽出し、抽出された特徴に基づいて各領域の注意誘引力が低いか否かを判定する判定手段と、判定手段により注意誘引力が低いと判定された領域について注意を喚起する注意喚起手段とを備えたものである。ここで、注意誘引力とは、人間の注意を引き付ける力を意味する。

0008

本発明に係る注意喚起装置においては、画面上に表示される画像が入力され、入力された画像の各領域の特徴が抽出され、抽出された特徴に基づいて各領域の注意誘引力が低いか否かが判定される。そして、注意誘引力が低いと判定された領域について注意が喚起される。

0009

したがって、画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。

0010

画像の特徴と注意誘引力との関係を示すテーブルを記憶する記憶手段をさらに備えてもよい。この場合、予め画像の特徴と注意誘引力との関係を示すテーブルが記憶される。画面上に表示される画像が入力され、入力された画像の各領域の特徴が抽出され、テーブルに基づいて各領域の注意誘引力が低いか否かが判定される。そして、注意誘引力が低いと判定された領域について注意が喚起される。

0011

したがって、画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。また、各個人によって記憶手段に記憶されるテーブルの画像の特徴と注意誘引力との関係を変更することにより、各個人の特性に合わせて画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。

0012

画面上に表示される画像に関する使用者の行為に基づいて記憶手段に記憶されるテーブルを更新する更新手段をさらに備えてもよい。この場合、使用者の行為に基づいてテーブルが更新されるので、学習によりテーブルの内容が各個人の特性に近づく。したがって、各個人の特性に合わせて画面上に表示される画像のうち見落としやすい視覚情報を正確に判定することができる。

0013

更新手段は、画面上に表示される画像の領域の選択操作に基づいて記憶手段に記憶されるテーブルを更新してもよい。この場合、画面上に表示される画像のうち選択された画像の領域の特徴に基づいてテーブルが更新される。したがって、テーブルの内容を各個人の特性により近づけることができる。

0014

更新手段は、画面上に表示される画像における視線の位置に基づいて記憶手段に記憶されるテーブルを更新してもよい。この場合、画面上に表示される画像のうち視線の位置する領域の特徴に基づいてテーブルが更新される。したがって、テーブルの内容を各個人の特性により近づけることができる。

0015

記憶手段に記憶されるテーブルは、少なくとも１つの画像特徴項目とその画像特徴項目についての注意誘引力を示す画像特徴データとを含んでもよい。この場合、画像の各領域から抽出された特徴に対応する画像特徴データを参照することにより各領域の注意誘引力が低いか否かを判定することができる。

0016

判定手段により注意誘引力が低いと判定された領域内の視覚情報に基づいて注意を喚起すべきか否かを決定する決定手段をさらに備え、注意喚起手段は、決定手段により注意を喚起すべきと決定された領域について注意を喚起してもよい。この場合、注意誘引力が低いと判定された領域のうち所定の視覚情報を含む領域について注意を喚起することができる。

0017

注意喚起手段は、画面上に表示された画像のうち判定手段により注意誘引力が低いと判定された領域を強調表示または再表示してもよい。これにより、注意誘引力が低いと判定された領域について注意が喚起される。

0018

第２の発明に係る画像表示装置は、表示すべき画像を入力する画像入力手段と、画像入力手段により入力された画像を画面上に表示する画像表示手段と、画像表示手段により画面上に表示される画像のうち注意誘引力の低い領域について注意を喚起する第１の発明に係る注意喚起装置とを備えたものである。

0019

本発明に係る画像表示装置においては、表示すべき画像が入力され、入力された画像が画面上に表示される。そして、画面上に表示される画像において注意誘引力の低い領域について注意が喚起される。

0020

したがって、画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。

0021

また、注意喚起装置が画像の特徴と注意誘引力との関係を示すテーブルを記憶する記憶手段をさらに備える場合、各個人によって注意喚起装置の記憶手段に記憶されるテーブルの画像の特徴と注意誘引力との関係を変更することにより、各個人の特性に合わせて画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。

0022

第３の発明に係る注意喚起処理プログラムを記録した記録媒体は、演算処理装置が読み込み可能な注意喚起処理プログラムを記録した記録媒体であって、画面上に表示される画像を入力する処理と、入力された画像の各領域の特徴を抽出し、抽出された特徴に基づいて各領域の注意誘引力が低いか否かを判定する処理と、注意誘引力が低いと判定された領域について注意を喚起する処理とを、演算処理装置に実行させるものである。

0023

本発明に係る注意喚起処理プログラムによれば、画面上に表示される画像が入力され、入力された画像の各領域の特徴が抽出され、抽出された特徴に基づいて各領域の注意誘引力が低いか否かが判定される。そして、注意誘引力が低いと判定された領域について注意が喚起される。

0024

したがって、画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。

0025

注意喚起処理プログラムは、画像の特徴と注意誘引力との関係を示すテーブルを記憶する処理を演算処理装置にさらに実行させ、判定する処理は、テーブルに基づいて各領域の注意誘引力が低いか否かを判定してもよい。

0026

この場合、予め画像の特徴と注意誘引力との関係を示すテーブルが記憶される。画面上に表示される画像が入力され、入力された画像の各領域の特徴が抽出され、テーブルに基づいて各領域の注意誘引力が低いか否かが判定される。そして、注意誘引力が低いと判定された領域について注意が喚起される。

0027

したがって、画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。また、各個人によって記憶手段に記憶されるテーブルの画像の特徴と注意誘引力との関係を変更することにより、各個人の特性に合わせて画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。

0028

図１は本発明の一実施例における注意喚起装置を備えた画像表示装置の構成を示すブロック図である。

0029

図１において、画像表示装置は、画像処理回路１、画像表示部２、操作部３、音声出力装置４および注意喚起装置１０を含む。また、図１の画像表示装置には、必要に応じて視線方向分析装置１１を接続することができる。図１の画像表示装置は、パーソナルコンピュータ、デジタルテレビ等に適用される。

0030

画像処理回路１は、インターネットからダウンロードされたホームページ等のＨＴＭＬ画像や受信されたデジタルテレビの番組メニューの画像等に所定の処理を行い、表示すべき画像を画像表示部２に与える。画像表示部２は、液晶表示装置、ＣＲＴ（陰極線管）等の表示装置を含み、画像処理回路１から与えられる画像を画面上に表示する。

0031

操作部３は、キーボード、マウス、リモートコントローラ等の入力装置からなり、画像表示部２の画面上に表示される画像を操作するために用いられる。注意喚起装置１０は、後述する注意喚起処理により画像表示部２の画面上に表示される画像のうち見落としやすい視覚情報について使用者に注意を喚起する。注意喚起装置１０の詳細な構成および動作は後述する。

0032

音声出力装置４は、スピーカ等からなり、注意喚起装置１０からの指令に従って使用者に注意を喚起するための音声を出力する。視線方向分析装置１１は、ユーザの視線の方向を分析し、画像表示部２の画面上に表示される画像において視線が存在する位置を視線情報として注意喚起装置１０に与える。

0033

本実施例では、画像処理回路１が画像入力手段に相当し、画像表示部２が画像表示手段に相当する。

0034

図２は図１の注意喚起装置１０の構成を示すブロック図である。図２に示すように、注意喚起装置１０は、画像入力部２１、注意分布作成部２２、不注意領域解析部２３、注意喚起部２４、誘目テーブル作成部２５および誘目テーブルＴＢを含む。

0035

画像入力部２１は、図１の画像表示部２の画面上に表示される画像を画像処理回路１から入力する。注意分布作成部２２は、画像入力部２１により入力された画像において注意分布を後述する誘目テーブルＴＢを参照して作成する。

0036

この注意分布は、画面上に表示される画像を注意誘引力の高い領域（以下、注意領域と呼ぶ）と注意誘引力の低い領域（以下、不注意領域と呼ぶ）とに区分したものである。ここで、注意誘引力とは、使用者の注意を引き付ける力を表す。

0037

不注意領域解析部２３は、注意分布作成部２２により作成された注意分布から不注意領域を抽出して解析し、その不注意領域について注意を喚起すべきか否かを判定する。

0038

誘目テーブル作成部２５は、誘目テーブルＴＢを作成するとともに、図１の操作部３による画面上での画像の操作および視線方向分析装置１１からの視線情報に基づいて誘目テーブルＴＢを更新する。誘目テーブルＴＢは、画像の特徴と注意誘引力との関係を示すものである。誘目テーブルＴＢの更新を学習と称する。

0039

注意喚起部２４は、不注意領域解析部２３により注意を喚起すべきと判定された不注意領域について後述する方法で使用者に注意を喚起する。

0040

本実施例では、画像入力部２１が入力手段に相当し、注意分布作成部２２が判定手段に相当し、注意喚起部２４が注意喚起手段に相当し、誘目テーブルＴＢがテーブルに相当する。また、誘目テーブル作成部２５が更新手段に相当し、不注意領域解析部２３が決定手段に相当する。

0041

図３は注意喚起装置１０のハードウェア構成を示すブロック図である。注意喚起装置１０は、ＣＰＵ（中央演算処理装置）１００、ＲＯＭ（リードオンリメモリ）１０１、ＲＡＭ（ランダムアクセスメモリ）１０２および外部記憶装置１０３により構成される。

0042

ＲＯＭ１０１には、誘目テーブル作成処理、注意分布作成処理、不注意領域判定処理および注意喚起表示処理を含む注意喚起処理を行う注意喚起処理プログラムが格納される。外部記憶装置１０３は、ハードディスク装置、フロッピィディスク装置、ＣＤ−ＲＯＭ等の記録媒体からなり、各種データを記憶する。

0043

ＣＰＵ１００は、ＲＯＭ１０１に格納された注意喚起処理プログラムをＲＡＭ１０２上で実行する。それにより、図２の画像入力部２１、注意分布作成部２２、不注意領域解析部２３、注意喚起部２４および誘目テーブル作成部２５の機能が実現される。誘目テーブルＴＢは、外部記憶装置１０３に記憶される。本実施例では、外部記憶装置１０３が記憶手段に相当する。

0044

なお、注意喚起処理プログラムを外部記憶装置１０３に格納し、ＣＰＵ１００が外部記憶装置１０３に格納された注意喚起処理プログラムをＲＡＭ１０２上で実行してもよい。また、通信回線等の通信媒体を介して受信した注意喚起処理プログラムをＲＡＭ１０２上で実行してもよい。この場合には、通信媒体が記録媒体となる。

0045

以下、図２の注意喚起装置１０の動作を説明する。図４は図２の誘目テーブルＴＢの一例を示す模式図である。

0046

図４に示すように、誘目テーブルＴＢは複数の画像特徴項目および画像特徴データを含む。本実施例では、誘目テーブルＴＢは、画像特徴項目として「色」、「明るさ」、「コントラスト」、「空間周波数」および「動き」を含む。また、誘目テーブルＴＢには、各画像特徴項目に対応して画像特徴データが格納される。

0047

例えば、「色」に対応する画像特徴データでは、色の種類ごとに使用者の注意誘引力が数値で表される。「明るさ」に対応する画像特徴データでは、明るさの程度ごとに使用者の注意誘引力が数値で表される。「コントラスト」に対応する画像特徴データでは、コントラストの程度ごとに使用者の注意誘引力が数値で表される。「空間周波数」に対応する画像特徴データでは、空間周波数の高さごとに使用者の注意誘引力が数値で表される。「動き」に対応する画像特徴データでは、画像の動きの速さごとに使用者の注意誘引力が数値で表される。

0048

図５は図２の注意喚起装置１０の注意喚起処理を示すフローチャートである。まず、図５のフローチャートを参照しながら図２の注意喚起装置１０の全体の動作を概略的に説明する。

0049

まず、図２の画像入力部２１は、図１の画像処理回路１から画像を入力する（ステップＳ１）。次に、注意分布作成部２２は、画像入力部２１により入力された画像の注意分布を誘目テーブルＴＢに基づいて作成する（ステップＳ２）。

0050

次いで、不注意領域解析部２３は、注意分布作成部２２により作成された注意分布のうち不注意領域を抽出して解析し、注意を喚起すべきか否かを判定する（ステップＳ３）。

0051

不注意領域について注意を喚起すべきと判定された場合には（ステップＳ４）、注意喚起部２４がその不注意領域について注意を喚起し（ステップＳ５）、ステップＳ１に戻る。

0052

不注意領域について注意を喚起すべきと判定されなかった場合には（ステップＳ４）、注意喚起部２４がその不注意領域について注意を喚起せずにステップＳ１に戻る。

0053

図６は図２の誘目テーブル作成部２５の誘目テーブル作成処理の第１の例を示すフローチャートである。

0054

まず、誘目テーブル作成部２５は、複数の画像特徴項目を有する誘目テーブルＴＢを作成する（ステップＳ１１）。本実施例では、図４に示したように、誘目テーブルＴＢは、画像特徴項目として「色」、「明るさ」、「コントラスト」、「空間周波数」および「動き」を有する。この時点では、画像特徴データとしては既定値（初期値）が格納される。

0055

次に、誘目テーブル作成部２５は、図１の操作部３により所定時間（例えば２〜３秒間）内に画面上の画像の領域の選択操作が実行されたか否かを判定する（ステップＳ１２）。所定時間内に画像の領域の選択操作が実行された場合には、誘目テーブル作成部２５は選択された画像の領域が有する特徴を抽出する（ステップＳ１３）。本実施例では、選択された画像の領域について色の種類、明るさの程度、コントラストの程度、空間周波数の高さおよび動きの速度が特徴として抽出される。

0056

さらに、誘目テーブル作成部２５は、抽出された特徴に基づいて誘目テーブルＴＢを更新する（ステップＳ１４）。例えば、色の種類が赤、明るさの程度が最大、コントラストの程度が中間、空間周波数の高さが最高、画像の動きの速度が最高である場合には、誘目テーブルＴＢの「色」に対応する画像特徴データの「赤」の数値、「明るさ」に対応する画像特徴データの「明」の数値、「コントラスト」に対応する画像特徴データの「中」の数値、「空間周波数」に対応する画像特徴データの「高」の数値、および「動き」に対応する画像特徴データの「速」の数値にそれぞれ所定値（例えば１）を加算する。

0057

このようにして、画面上に表示された画像における使用者による領域の選択操作に基づいて誘目テーブルＴＢの内容が学習により更新される。

0058

図７は図２の誘目テーブル作成部２５の誘目テーブル作成処理の第２の例を示すフローチャートである。

0059

まず、誘目テーブル作成部２５は、複数の画像特徴項目を有する誘目テーブルＴＢを作成する（ステップＳ２１）。本実施例では、図４に示したように、誘目テーブルＴＢは、画像特徴項目として「色」、「明るさ」、「コントラスト」、「空間周波数」および「動き」を有する。この時点では、画像特徴データとしては既定値（初期値）が格納される。

0060

次に、誘目テーブル作成部２５は、図１の視線方向分析装置１１から視線情報を入力する（ステップＳ２２）。さらに、誘目テーブル作成部２５は、視線方向分析装置１１から入力された視線情報に基づいて画面上に表示された画像において使用者の視線が存在する画像の領域および眼球停留時間を求める（ステップＳ２３）。そして、誘目テーブル作成部２５は、眼球停留時間が所定時間（例えば２秒間）以上か否かを判定する（ステップＳ２４）。

0061

眼球停留時間が所定時間以上の場合には、誘目テーブル作成部２５は、使用者の視線の存在する画像の領域が有する特徴を抽出する（ステップＳ２５）。本実施例では、選択された画像の領域について色の種類、明るさの程度、コントラストの程度、空間周波数の高さおよび動きの速度が特徴として抽出される。

0062

さらに、誘目テーブル作成部２５は、抽出された特徴に基づいて誘目テーブルＴＢを更新し（ステップＳ２６）、ステップＳ２２に戻る。誘目テーブルＴＢの更新方法は、図６のステップＳ１４と同様である。

0063

眼球停留時間が所定時間よりも短い場合には、誘目テーブル作成部２５は誘目テーブルＴＢを更新せずにステップＳ２２に戻る。

0064

このようにして、画面上に表示される画像における使用者の視線の位置および眼球停留時間に基づいて誘目テーブルＴＢの内容が学習により更新される。

0065

図８は図２の注意分布作成部２２の注意分布作成処理を示すフローチャートである。

0066

まず、注意分布作成部２２は、画像入力部２１により入力された画像の各領域の特徴を抽出する（ステップＳ３１）。本実施例では、各領域の画像の特徴として、色の種類、明るさの程度、コントラストの程度、空間周波数の高さおよび動きの速度が抽出される。

0067

次に、注意分布作成部２２は、誘目テーブルＴＢを参照して各領域の誘目度を算出する（ステップＳ３２）。ここで、誘目度とは、使用者の注意を引き付ける強さを表す。例えば、当該領域の色の種類が「緑」であり、明るさの程度が「中」であり、コントラストの程度が「高」であり、空間周波数の高さが「高」であり、動きの速度が「速」である場合には、誘目テーブルＴＢの画像特徴データの該当する項目の数値の合計を算出し、算出値を誘目度とする。図４の例では、誘目度は１７となる。

0068

そして、注意分布作成部２２は、各領域ごとに算出された誘目度に基づいて各領域が注意領域であるか不注意領域であるかを判定する（ステップＳ３３）。本実施例では、各領域の誘目度が所定値以上の場合に、当該領域を注意領域と判定し、各領域の誘目度が所定値よりも小さい場合に、当該領域を不注意領域と判定する。

0069

このようにして、画面上に表示される画像の各領域が注意領域であるか不注意領域であるかを示す注意分布が作成される。

0070

図９は図２の不注意領域解析部２３の不注意領域判定処理を示すフローチャートである。

0071

不注意領域解析部２３は、注意分布作成部２２により作成された注意分布に基づいて不注意領域の画像を抽出する（ステップＳ４１）。そして、不注意領域解析部２３は、抽出した不注意領域の画像に文字または図形が存在するか否かを判別する（ステップＳ４２）。

0072

不注意領域の画像に文字または図形が存在する場合には、不注意領域解析部２３は、当該領域について注意を喚起すべきと判定する（ステップＳ４３）。一方、不注意領域の画像に文字および図形が存在しない場合には、不注意領域解析部２３は、当該領域について注意を喚起しないと判定する（ステップＳ４４）。

0073

このようにして、注意分布から抽出された不注意領域のうち視覚情報を含む領域のみについて注意を喚起すべきと判定することができる。

0074

図１０は図２の注意喚起部２４による注意喚起表示処理の第１の例を示すフローチャートである。

0075

まず、注意喚起部２４は、不注意領域解析部２３により注意を喚起すべきと判定された不注意領域の画像を入力する（ステップＳ５１）。そして、注意喚起部２４は、入力された不注意領域の画像に強調処理を行う（ステップＳ５２）。強調処理としては、反転表示、点滅表示、色の変更、文字の拡大等がある。その後、注意喚起部２４は、強調処理された画像を図１の画像処理回路１に出力する（ステップＳ５３）。

0076

それにより、図１の画像表示部２の画面上に表示される画像において視覚情報を含む不注意領域について強調表示が行われる。

0077

図１１は図２の注意喚起部２４による注意喚起表示処理の第２の例を示すフローチャートである。

0078

まず、注意喚起部２４は、不注意領域解析部２３により注意を喚起すべきと判定された不注意領域の画像を入力する（ステップＳ６１）。そして、注意喚起部２４は、入力された不注意領域の画像を再表示するように図１の画像処理回路１に指示する（ステップＳ６２）。

0079

それにより、図１の画像表示部２の画面上に表示される画像において視覚情報を含む不注意領域の画像が再表示される。

0080

図２の注意喚起部２４は、上記の注意喚起表示処理とともに、あるいは、上記の注意喚起表示処理の代わりに、図１の音声出力装置４から不注意領域について注意を喚起するための音声を出力してもよい。

0081

上記のように、本実施例の注意喚起装置１０によれば、画像表示部２の画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。

0082

また、各個人によって誘目テーブルＴＢの内容を学習により更新することにより、各個人の特性に合わせて画面上に表示される画像のうち見落としやすい視覚情報について注意を喚起することができる。

0083

図１本発明の一実施例における注意喚起装置を備えた画像表示装置の構成を示すブロック図である。
図２図１の注意喚起装置の構成を示すブロック図である。
図３注意喚起装置のハードウェア構成を示すブロック図である。
図４図２の誘目テーブルの一例を示す模式図である。
図５図２の注意喚起装置の注意喚起処理を示すフローチャートである。
図６図２の誘目テーブル作成部の誘目テーブル作成処理の第１の例を示すフローチャートである。
図７図２の誘目テーブル作成部の誘目テーブル作成処理の第２の例を示すフローチャートである。
図８図２の注意分布作成部の注意分布作成処理を示すフローチャートである。
図９図２の不注意領域解析部の不注意領域判定処理を示すフローチャートである。
図１０図２の注意喚起部の注意喚起表示処理の第１の例を示すフローチャートである。
図１１図２の注意喚起部の注意喚起表示処理の第２の例を示すフローチャートである。

0084

１画像処理回路
２画像表示部
３ 操作部
４音声出力装置
１０注意喚起装置
１１視線方向分析装置
２１画像入力部
２２注意分布作成部
２３不注意領域解析部
２４注意喚起部
２５ 誘目テーブル作成部
ＴＢ 誘目テーブル
１００ ＣＰＵ
１０１ ＲＯＭ
１０２ ＲＡＭ
１０３ 外部記憶装置