図面 (/)

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2016年10月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

本発明は、ユーザの視線認識を介してユーザの意図を把握し、これを機器の制御に用いることで、入力部操作の便宜性を向上させることができるディスプレイ装置、車両及びディスプレイ方法を提供する。

解決手段

本発明の一実施形態に係るディスプレイ装置は、脳波信号を発生させる視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、前記発生した脳波信号が有する周波数を把握する脳波分析部と、を含むことができる。

概要

背景

ユーザが機器を制御したり、必要な情報を取得したりするためには、直接入力部を操作するのが一般的である。しかし、ユーザが運転中であったり、手を自由に動かせない場合であったりする場合には、入力部の操作が負担となり、運転のような他の作業の阻害となり得る。
そのため、入力部の操作を最小化しながら、ユーザの意図を把握して機器を制御したり、必要な情報を提供したりすることができる技術の開発が要求されている。

近年は、ユーザの視線を認識してユーザの意図を把握する技術に関する研究が行われているが(例えば特許文献1を参照)、ユーザの意図を把握し、これを機器の制御に適用することができれば、ユーザが直接入力部の操作をすることなしに、特定領域に視線を向けるだけで入力部操作の全部又は一部を代行して機器を制御したり、所望する情報を取得したりすることができる。

概要

本発明は、ユーザの視線認識を介してユーザの意を把握し、これを機器の制御に用いることで、入力部操作の便宜性を向上させることができるディスプレイ装置、車両及びディスプレイ方法を提供する。本発明の一実施形態に係るディスプレイ装置は、脳波信号を発生させる視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、前記発生した脳波信号が有する周波数を把握する脳波分析部と、を含むことができる。

目的

本発明の一態様は、ユーザの視線認識を介してユーザの意図を把握し、これを機器の制御に用いることで、入力部の操作の便宜性を向上させることができるディスプレイ装置、車両、及びディスプレイ方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

脳波信号を発生させる視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、発生した前記脳波信号が有する周波数を判断する脳波分析部と、を含むことを特徴とするディスプレイ装置

請求項2

前記視覚刺激信号により発生する脳波信号は、定常状態視覚誘発電位(Steady−stateVisualEvokedPotential)を含むことを特徴とする請求項1に記載のディスプレイ装置。

請求項3

前記ディスプレイ部は、前記基本視覚情報を動画状態又は静止画状態で表示することを特徴とする請求項1に記載のディスプレイ装置。

請求項4

前記制御部は、前記基本視覚情報が動画状態で表示される場合に、前記動画を構成するフレームが表示されない時点に前記視覚刺激信号を挿入することを特徴とする請求項3に記載のディスプレイ装置。

請求項5

ユーザの脳波信号を検出する脳波検出器から発生した前記脳波信号を受信する通信部を更に含むことを特徴とする請求項1に記載のディスプレイ装置。

請求項6

前記制御部は、発生した前記脳波信号が有する周波数に対応する機能を実行するように制御信号を生成することを特徴とする請求項1に記載のディスプレイ装置。

請求項7

前記制御部は、前記ディスプレイ部の画面を複数領域に分割し、分割された複数領域に表示される基本視覚情報に、それぞれ異なる周波数を有する視覚刺激信号を挿入することを特徴とする請求項1に記載のディスプレイ装置。

請求項8

前記脳波分析部は、前記発生した脳波信号が有する周波数に基づいて前記ユーザの視線を認識することを特徴とする請求項5に記載のディスプレイ装置。

請求項9

脳波信号を発生させる視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、ユーザの脳波信号を検出する脳波検出器から脳波信号を受信する通信部と、前記ユーザの脳波信号が有する周波数を把握し、把握された前記周波数に基づいて前記ユーザが凝視した領域を判断する脳波分析部と、を含むことを特徴とする車両。

請求項10

前記視覚刺激信号により発生する脳波が、定常状態視覚誘発電位を含むことを特徴とする請求項9に記載の車両。

請求項11

前記ディスプレイ部が、複数のディスプレイを含むことを特徴とする請求項9に記載の車両。

請求項12

前記ディスプレイ部が、AVNディスプレイ、クラスタディスプレイ及びヘッドアップディスプレイのうちの少なくとも1つを含むことを特徴とする請求項9に記載の車両。

請求項13

前記制御部が、前記複数のディスプレイにそれぞれ表示される基本視覚情報に、互いに異なる周波数を有する視覚刺激信号を挿入することを特徴とする請求項11に記載の車両。

請求項14

前記制御部が、前記複数のディスプレイのうちの前記ユーザが凝視したディスプレイに関連する機能を制御することを特徴とする請求項13に記載の車両。

請求項15

前記ユーザの制御命令が入力される入力部を更に含み、前記制御部は、前記入力部を介して入力されたユーザの制御命令により、前記ユーザが凝視したディスプレイに関連する機能を制御することを特徴とする請求項14に記載の車両。

請求項16

前記制御部が、前記ディスプレイ部の一部領域に表示される視覚情報に、前記視覚刺激信号を挿入することを特徴とする請求項9に記載の車両。

請求項17

前記制御部は、前記ユーザが前記ディスプレイ部の一部領域を凝視したものと判断した場合、前記一部領域に対応する機能を直ちに実行することを特徴とする請求項16に記載の車両。

請求項18

音響を出力するスピーカを更に含むことを特徴とする請求項9に記載の車両。

請求項19

前記制御部は、前記ユーザが前記ディスプレイ部を予め設定された基準時間以上凝視したものと判断した場合、前記ディスプレイ部及び前記スピーカのうちの少なくとも1つを介して警告を出力することを特徴とする請求項18に記載の車両。

請求項20

前記制御部は、前記ユーザが信号機を凝視しないものと判断した場合、前記ディスプレイ部及び前記スピーカのうちの少なくとも1つを介して警告を出力することを特徴とする請求項18に記載の車両。

請求項21

前記制御部は、前記ユーザが信号機の赤信号を凝視したものと判断した場合に、車両が停止しなければ、前記ディスプレイ部及び前記スピーカのうちの少なくとも1つを介して警告を出力することを特徴とする請求項18に記載の車両。

請求項22

前記ディスプレイ部は、前記ユーザがよく使用する機能に対応する領域、又は前記ユーザがよく凝視する領域の面積を大きく表示することを特徴とする請求項9に記載の車両。

請求項23

前記制御部は、前記ユーザがよく使用する機能、又は前記ユーザがよく凝視する領域に対応する機能を、直ちに実行する機能として設定することを特徴とする請求項17に記載の車両。

請求項24

脳波信号を発生させる視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、を含むことを特徴とするディスプレイ装置。

請求項25

基本視覚情報及び前記基本視覚情報に予め設定された周波数に応じて挿入された視覚刺激信号を表示する広告表示装置を凝視したユーザの脳波を受信する車両において、前記ユーザの脳波信号が有する周波数を把握し、把握された周波数に基づいて前記ユーザが凝視した領域を判断する脳波分析部と、前記ユーザの凝視した領域が前記広告表示装置である場合、前記広告表示装置に関連する情報をディスプレイ部又は出力部を介して提供する制御部と、を含むことを特徴とする車両。

請求項26

前記ディスプレイ部が、AVNディスプレイ、クラスタディスプレイ及びヘッドアップディスプレイのうちの少なくとも1つを含むことを特徴とする請求項25に記載の車両。

請求項27

前記ヘッドアップディスプレイが、前記広告表示装置に関連する情報を、拡張現実技法を用いて表示することを特徴とする請求項26に記載の車両。

請求項28

基本視覚情報に、予め設定された周波数に応じて視覚刺激信号を挿入して表示し、ユーザの脳波信号を受信し、受信した前記脳波信号を分析して前記ユーザが凝視した領域を判断し、前記ユーザが凝視した領域に対応する制御を行うことを含むことを特徴とするディスプレイ方法

請求項29

前記ユーザが凝視した領域を判断することは、前記受信した脳波信号が有する周波数を把握し、把握された前記周波数が前記視覚刺激信号の周波数と同一であるか否かを判断することを含むことを特徴とする請求項28に記載のディスプレイ方法。

請求項30

前記視覚刺激信号が表示される領域とそれに対応する制御をマッピングさせて保存することを更に含むことを特徴とする請求項28に記載のディスプレイ方法。

技術分野

0001

本発明は、ディスプレイ装置、車両及びディスプレイ方法係り、より詳しくは、ユーザの視線を認識し、これに対するフィードバックを提供してユーザの意図を把握し、これを機器の制御に用いるディスプレイ装置、前記ディスプレイ装置を備える車両、及び前記ディスプレイ装置のディスプレイ方法に関する。

背景技術

0002

ユーザが機器を制御したり、必要な情報を取得したりするためには、直接入力部を操作するのが一般的である。しかし、ユーザが運転中であったり、手を自由に動かせない場合であったりする場合には、入力部の操作が負担となり、運転のような他の作業の阻害となり得る。
そのため、入力部の操作を最小化しながら、ユーザの意図を把握して機器を制御したり、必要な情報を提供したりすることができる技術の開発が要求されている。

0003

近年は、ユーザの視線を認識してユーザの意図を把握する技術に関する研究が行われているが(例えば特許文献1を参照)、ユーザの意図を把握し、これを機器の制御に適用することができれば、ユーザが直接入力部の操作をすることなしに、特定領域に視線を向けるだけで入力部操作の全部又は一部を代行して機器を制御したり、所望する情報を取得したりすることができる。

先行技術

0004

特開2013−27438号公報

発明が解決しようとする課題

0005

本発明の一態様は、ユーザの視線認識を介してユーザの意図を把握し、これを機器の制御に用いることで、入力部の操作の便宜性を向上させることができるディスプレイ装置、車両、及びディスプレイ方法を提供することにある。

課題を解決するための手段

0006

本発明の一実施形態に係るディスプレイ装置は、脳波信号を発生させる視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、発生した前記脳波信号が有する周波数を判断する脳波分析部と、を含む。

0007

前記視覚刺激信号により発生する脳波信号は、定常状態視覚誘発電位(Steady−state Visual Evoked Potential)を含むことができる。

0008

前記ディスプレイ部は、前記基本視覚情報を動画状態又は静止画状態で表示することができる。

0009

前記制御部は、前記基本視覚情報が動画状態で表示される場合に、前記動画を構成するフレームが表示されない時点に前記視覚刺激信号を挿入することができる。

0010

ユーザの脳波信号を検出する脳波検出器から前記発生した脳波信号を受信する通信部を更に含むことができる。

0011

前記制御部は、前記発生した脳波信号が有する周波数に対応する機能を実行するように制御信号を生成することができる。

0012

前記制御部は、前記ディスプレイ部の画面を複数領域に分割し、分割された複数領域に表示される基本視覚情報に、それぞれ異なる周波数を有する視覚刺激信号を挿入することができる。

0013

前記脳波分析部は、前記発生した脳波信号が有する周波数に基づいて前記ユーザの視線を認識することができる。

0014

本発明の一実施形態に係る車両は、脳波信号を発生する視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、ユーザの脳波信号を検出する脳波検出器から脳波信号を受信する通信部と、前記ユーザの脳波信号が有する周波数を把握し、前記把握された前記周波数に基づいて前記ユーザが凝視した領域を判断する脳波分析部と、を含むことができる。

0015

前記視覚刺激信号により発生する脳波信号は、定常状態視覚誘発電位を含むことができる。

0016

前記車両は、前記ディスプレイ部が、複数のディスプレイを含むことができる。

0017

前記ディスプレイ部が、AVNディスプレイ、クラスタディスプレイ及びヘッドアップディスプレイのうちの少なくとも1つを含むことができる。

0018

前記車両は、前記制御部が、前記複数のディスプレイにそれぞれ表示される基本視覚情報に、互いに異なる周波数を有する視覚刺激信号を挿入することができる。

0019

前記車両は、前記制御部が、前記複数のディスプレイのうちの前記ユーザが凝視したディスプレイに関連する機能を制御することができる。

0020

前記車両は、前記ユーザの制御命令が入力される入力部を更に含み、前記制御部は、前記入力部を介して入力されたユーザの制御命令により、前記ユーザが凝視したディスプレイに関連する機能を制御することができる。

0021

前記車両は、前記制御部が、前記ディスプレイ部の一部領域に表示される視覚情報に、前記視覚刺激信号を挿入することができる。

0022

前記制御部は、前記ユーザが前記ディスプレイ部の一部領域を凝視したものと判断した場合、前記一部領域に対応する機能を直ちに実行することができる。

0023

前記車両は、音響を出力するスピーカを更に含むことができる。

0024

前記車両は、前記制御部が、前記ユーザが前記ディスプレイ部を予め設定された基準時間以上凝視した場合、前記ディスプレイ部及び前記スピーカのうちの少なくとも1つを介して警告を出力することができる。

0025

前記制御部は、前記ユーザが信号機を凝視しないものと判断した場合、前記ディスプレイ部及び前記スピーカのうちの少なくとも1つを介して警告を出力することができる。

0026

前記制御部は、前記ユーザが信号機の赤信号を凝視したものと判断した場合、前記車両が停止しなければ前記ディスプレイ部及び前記スピーカのうちの少なくとも1つを介して警告を出力することができる。

0027

前記ディスプレイ部は、前記ユーザがよく使用する機能に対応する領域又は前記ユーザがよく凝視する領域の面積を大きく表示することができる。

0028

前記制御部は、前記ユーザがよく使用する機能又は前記ユーザがよく凝視する領域に対応する機能を、前記直ちに実行する機能として設定することができる。

0029

一実施形態に係るディスプレイ装置は、脳波信号を発生させる視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、を含むことができる。

0030

本発明の一実施形態に係る車両は、前記視覚刺激信号及び前記基本視覚情報に、予め設定された周波数に応じて挿入された視覚刺激信号を表示する広告表示装置を凝視したユーザの脳波を受信する車両において、前記ユーザの脳波信号が有する周波数を把握し、前記把握された周波数に基づいて前記ユーザが凝視した領域を判断する脳波分析部と、前記ユーザの凝視した領域が前記広告表示装置である場合、前記広告表示装置に関連する情報をディスプレイ部または出力部を介して提供する制御部と、を含むことができる。

0031

前記車両は、前記ディスプレイ部が、AVNディスプレイ、クラスタディスプレイ及びヘッドアップディスプレイのうちの少なくとも1つを含むことができる。

0032

前記車両は、前記ヘッドアップディスプレイが、前記広告表示装置に関連する情報を、拡張現実技法を使用して表示することができる。

0033

本発明の一実施形態に係るディスプレイ方法は、基本視覚情報に予め設定された周波数に応じて視覚刺激信号を挿入して表示し、ユーザの脳波信号を受信し、受信した脳波信号を分析して前記ユーザが凝視した領域を判断し、前記ユーザが凝視した領域に対応する制御を行うことを含む。

0034

前記ディスプレイ方法は、前記ユーザが凝視した領域を判断することは、前記受信した脳波信号が有する周波数を把握し、把握された周波数が前記視覚刺激信号の周波数と同一であるか否かを判断することを含むことができる。

0035

前記ディスプレイ方法は、前記視覚刺激信号が表示される領域とそれに対応する制御をマッピングして保存することを更に含むことができる。

発明の効果

0036

本発明の一態様に係るディスプレイ装置、車両及びディスプレイ方法によれば、ユーザの視線認識を介してユーザの意図を把握し、これを機器の制御に用いることで、入力部の操作の便宜性を向上させることができる。

図面の簡単な説明

0037

本発明の一実施形態に係るディスプレイ装置の制御ブロック図である。
ディスプレイに表示される視覚刺激信号の例を示す図である。
ディスプレイに表示される視覚刺激信号の例を示す図である。
特定周波数を有する視覚刺激信号が基本視覚情報フレーム間に挿入された形態を示す図である。
特定周波数を有する視覚刺激信号が基本視覚情報フレーム間に挿入された形態を示す図である。
特定周波数を有する視覚刺激信号が基本視覚情報フレーム間に挿入された形態を示す図である。
ディスプレイ部の領域ごとに周波数が異なるように設定して視覚刺激信号を表示する例を示す図である。
脳波検出器の一例による外観図である。
脳波検出器の一例による制御ブロック図である。
ディスプレイ装置の脳波分析部の構成が具体化された制御ブロック図である。
保存部を更に含むディスプレイ装置の制御ブロック図である。
車両に含まれるディスプレイ装置の制御ブロック図である。
本発明の一実施形態に係る車両内部の構成を示す図である。
ヘッドアップディスプレイとその構成を示す図である。
ユーザの凝視領域による制御動作の一例を示す図である。
1つのディスプレイを複数領域に分割して互いに異なる周波数を割り当てる場合の例を示す図である。
分割された領域に互いに異なる周波数を有する視覚刺激信号を表示する方法の例を示す図である。
ユーザの凝視領域による制御動作の他の例を示す図である。
ユーザの凝視領域による制御動作の他の例を示す図である。
ディスプレイ部の画面が複数の領域に分割される場合に各領域の面積が調節される例を示す図である。
ユーザの使用履歴情報活用される分野を示す図である。
ユーザの凝視領域による制御動作のまた他の例を示す図である。
ユーザが赤色信号機を凝視している場合の制御動作に関する例を示す図である。
ユーザが信号機を凝視しない場合の制御動作に関する例を示す図である。
ユーザが車両外部の看板を凝視している場合の制御動作に関する例を示す図である。
ユーザが車両外部の看板を凝視している場合の制御動作に関する例を示す図である。
ユーザが車両外部の看板を凝視している場合の制御動作に関する例を示す図である。
ユーザの視線を認識して空調装置又は自動座席装置を制御する車両の制御ブロック図である。
ユーザの視線を認識して空調装置又は自動座席装置を制御する場合にディスプレイに表示される画面の例を示す図である。
本発明の一実施形態に係るディスプレイ方法に関するフローチャートである。
本発明の一実施形態に係るディスプレイ方法において、ユーザ凝視領域に基づいて入力部による制御対象を決定する例を示すフローチャートである。
本発明の一実施形態に係るディスプレイ方法において、ユーザが凝視した領域に対応する機能を直ちに実行する例を示すフローチャートである。
本発明の一実施形態に係るディスプレイ方法において、ユーザの使用履歴によってディスプレイ画面の構成を制御する例を示すフローチャートである。
本発明の一実施形態に係るディスプレイ方法において、ユーザが外部の視覚刺激信号を凝視している場合の例を示すフローチャートである。
本発明の一実施形態に係るディスプレイ方法において、ユーザの使用履歴によってディスプレイ画面の構成を制御する他の例を示すフローチャートである。

実施例

0038

以下に、添付図面を参照しながら本発明の一態様に係るディスプレイ装置、車両及びディスプレイ制御方法に関する実施形態を詳細に説明する。

0039

図1は、本発明の一実施形態に係るディスプレイ装置の制御ブロック図である。

0040

図1に示すように、本発明の一実施形態に係るディスプレイ装置100は、ユーザに視覚情報を提供するディスプレイ部140、ディスプレイ部140を制御する制御部130、視覚情報を受け入れたユーザの脳波を検出した脳波検出器200から脳波信号を受信する通信部110、及び受信した脳波信号を分析してユーザの意図を把握する脳波分析部120を含む。

0041

本発明の一実施形態に係るディスプレイ装置100は、ユーザと機器との間にあって、インタフェース装置役割をする入力部に対する物理的な操作を最小化しつつ、機器を制御することができるように、ユーザの視線認識を介してユーザの意図を把握することができる。

0042

正確な視線認識のために、本発明の一実施形態に係るディスプレイ装置100は、ユーザの脳波(EEG:Electroencephalogram)を測定して分析することができる。脳波は、脳神経から発生した電気的な信号が合成されて表示される微細脳表面の信号を、電極を用いて測定した電位である。具体的には、SSVEP(Steady−state Visual Evoked Potential:定常状態視覚誘発電位)が用いられるが、SSVEPは、所定の周波数で提供される視覚刺激信号を凝視する際に、脳の視覚領域担当する後頭葉付近誘導される脳波信号である。SSVEPには、視覚刺激信号の周波数と同一の周波数成分が含まれるので、ユーザに提供される視覚刺激信号の周波数とユーザの脳波信号の周波数とを比較して、ユーザが当該視覚刺激信号を凝視しているか否かを判断することができる。

0043

SSVEPを用いてユーザの視線を認識するために、制御部130は、ディスプレイ部140が、予め設定された周波数を有する視覚刺激信号を含む視覚情報を表示するように制御する。ここで、予め設定された周波数は、ディスプレイ装置100にその情報を予め保存すればよく、その大きさに制限はない。

0044

脳波検出器200が、ユーザの脳波を検出してディスプレイ装置100に伝送すると、通信部110が、これを受信して脳波分析部120に伝達する。当該実施形態では、脳波検出器200をディスプレイ装置100と別途に備える構成としたが、これに限定されず、脳波検出器200がディスプレイ装置100に含まれてもよい。

0045

脳波分析部120は、脳波検出器200が検出したユーザの脳波信号が特定周波数を有するか否かを判断する。このために、多様な方式の分析技法が使用できるが、例えば、パワースペクトル密度分析(Power spectral density analysis)又は正準相関分析(Canonical correlation analysis)などの分析技法が用いられる。また、脳波信号を分析する前に増幅フィルタリングなどの前処理過程を経ることができるが、これに関する具体的な説明は後述する。

0046

制御部130は、脳波信号の分析結果に対応する制御を行う。例えば、ユーザの視線がディスプレイ部140の制御に対応する場合には、ディスプレイ部140が、ユーザが所望する画面を表示するように制御し、その他の機器の制御に対応する場合には、当該機器に制御信号を伝送する。脳波信号の分析結果による具体的な制御動作については後述する。

0047

図2及び図3は、ディスプレイ部に表示される視覚刺激信号の例を示す図である。

0048

上記したように、制御部130は、ディスプレイ部140に特定周波数を有する視覚刺激信号を含む視覚情報が表示されるように制御する。SSVEPは、脳の光駆動反応(photic driving response)現象により発生する。脳の光駆動反応は、特定周波数で点滅する閃光パターンをユーザが集中して凝視した際に、同一周波数が後頭葉視覚皮質から測定される現象である。

0049

特定周波数を有する視覚刺激信号を生成するために使用される視覚刺激パターンの例において、図2に示すように、四角形が表示されたパターンP1及び表示されないパターンP2を交差させたり、図3に示すように、互いに異なる格子縞状のパターンP3、P4を交差させて周波数を生成することができる。ただし、図2及び図3に示す視覚刺激パターンは、ディスプレイ装置100で特定周波数を有する視覚刺激信号を生成するために使用する例に過ぎず、ディスプレイ装置100の実施形態がこれに限定されるものではない。

0050

図4ないし図6は、特定周波数を有する視覚刺激信号が、基本視覚情報フレーム間に挿入される形態を示す図である。

0051

ディスプレイ部140に表示される視覚情報は、脳波信号を発生させるための視覚刺激信号と基本視覚情報とを含む。制御部130は、ディスプレイ部140に表示される基本視覚情報に、脳波信号を発生させるための視覚刺激信号を挿入することができる。基本視覚情報は、ユーザに情報やコンテンツを提供するためにディスプレイ部140に表示されるもので、特定周波数を有する脳波を発生させて、ユーザの意図把握に用いる視覚刺激信号とは区別される。例えば、基本視覚情報としては、ナビゲーション画面情報、オーディオ画面情報、及びビデオ画面情報などが挙げられる。

0052

また、基本視覚情報は、動画状態とすることもでき、静止画状態とすることもできる。基本視覚情報が動画状態である場合には、動画を構成するフレーム間に、言い換えれば、フレームが表示されない時点又はフレームが表示されない区間に視覚刺激信号が挿入され、静止画状態である場合には、静止画を連続的に表示する中間に視覚刺激信号が挿入されるか又は、静止画を動画のように、所定フレームレートに応じて表示し、静止画フレーム間に視覚刺激信号を挿入することもできる。

0053

図4に示すように、ディスプレイ部140に1秒当たりn個のフレームを表示するフレームレート(frame rate)、即ち、nFPSの速度で動画が表示される場合には、制御部130は、それぞれのフレームF1、F2、F3、…、Fnの間に脳波信号を発生させるための視覚刺激信号を挿入することができる。

0054

具体的には、1番目のフレームF1が表示される時点t1と、2番目のフレームF2が表示される時点t2と、の間にm1個の視覚刺激信号を挿入することができ、2番目のフレームF2が表示される時点t2と、3番目のフレームF3が表示される時点t3と、の間にm2個の視覚刺激信号を挿入することができ、同じ方式で残りの時点間にも視覚刺激信号を挿入し、n−1番目のフレームが表示される時点と、n番目のフレームが表示される時点tnと、の間には、mn−1個の視覚刺激信号を挿入することができる。ここで、m1からmn−1までは0以上の整数であり、これらは互いに異なる値を有することができ、又は同一の値を有することができる。

0055

制御部130は、それぞれのフレーム間に挿入される視覚刺激信号の個数m1からmn−1を調節して所望する周波数を生成することができる。

0056

一例として、図5に示すように、m1からmn−1まで全て1と設定することができる。即ち、全てのフレーム間に1つの視覚刺激信号を挿入すると、1秒にn−1個の視覚刺激信号VS1、VS2、…VSn−1を表示することができる。この場合、ディスプレイ部140に表示される視覚刺激信号の周波数は(n−1)Hzとなる。

0057

他の例として、図6に示すように、1番目のフレームF1が表示される時点t1と2番目のフレームF2が表示される時点t2との間に1個の視覚刺激信号を挿入し、2番目のフレームF2が表示される時点t2と3番目のフレームF3が表示される時点t3との間に0個の視覚刺激信号を挿入する方式で、相互に視覚刺激信号を挿入することができる。この場合、1秒に(n−1)/2(nが奇数である場合)個の視覚刺激信号VS1、VS2、…、VS(n−1)/2を表示することができ、ディスプレイ部140に表示される視覚刺激信号の周波数は(n−1)/2Hzとなる。

0058

上記のように、制御部130は、基本視覚情報、即ちユーザが視聴しようとしたTV番組や、映画、ナビゲーション画面などをそのまま表示しながらユーザが認知していない間に視覚刺激信号を挿入することで、ユーザの目の疲れや不便を感じさせず、ディスプレイを効率的に使用しながらユーザの視線を認識することができる。

0059

図7は、ディスプレイ部の領域ごとに周波数が異なるように設定して視覚刺激信号を表示する例を示す図である。

0060

制御部130は、ディスプレイ部140の画面を複数領域に分割し、それぞれの領域ごとに互いに異なる周波数を有する視覚刺激信号を表示することができる。例えば、図7に示すように、ディスプレイ部140の画面を4つの領域R1、R2、R3、R4に分割し、1番目の領域R1にはXHzの周波数を有する視覚刺激信号、2番目の領域R2にはYHzの周波数を有する視覚刺激信号、3番目の領域R3にはZHzの周波数を有する視覚刺激信号及び4番目の領域R4にはWHzの周波数を有する視覚刺激信号を表示することができる。ここで、X、Y、Z、Wは互いに異なる周波数の値とすることができる。

0061

図7に示すように、1つの画面を構成する複数の領域が互いに異なる周波数を有する視覚刺激信号を表示すると、1つの画面を用いて複数種類のユーザの意図を把握することができる。

0062

ディスプレイ部140を介して表示される視覚刺激信号をユーザが凝視すると、視覚刺激信号の周波数に同期した脳波信号が発生し、発生した脳波信号は、脳波検出器200により検出される。

0063

図8は、脳波検出器の一例による外観図であり、図9は、脳波検出器の一例による制御ブロック図である。

0064

図8に示すように、脳波検出器200は、ウェアラブル(wearable)に形成されてユーザが着用することができ、ユーザが着用した状態でディスプレイ装置100と有線又は無線によって接続することができる。

0065

図9に示すように、脳波検出器200は、脳波信号を検出する電極部210及び電極部210が検出した信号をディスプレイ装置100に送信する送信部220を含むことができる。

0066

電極部210は、頭皮に付着可能な複数の脳波計測用電極を含むことができ、複数の脳波計測用電極は信号電極基準電極とに区分される。複数の脳波計測用電極が後頭葉に付着されると、神経系において脳神経の間に信号が伝達される際に発生する電気の流れを脳波計測用電極で測定することができる。

0067

送信部220は、有線又は無線で接続されたディスプレイ装置100に、電極部210が検出した脳波信号を送信する。このとき、送信される脳波信号はアナログ信号であってもよく、デジタル信号であってもよい。デジタルに変換された脳波信号を送信する場合には、送信部220にアナログ−デジタルコンバータADCが含まれる。

0068

脳波検出器200とディスプレイ装置100とが有線で接続されている場合には、送信部220は脳波検出器200とディスプレイ装置100とを接続するケーブルを含むことができる。この場合、ディスプレイ装置100の通信部110は、ケーブルが接続される端子を含むことができる。

0069

脳波検出器200とディスプレイ装置100とが無線で接続される場合には、送信部220及び通信部110がそれぞれブルートゥース(bluetooth)通信モジュール、ブルートゥース低電力BLE)通信モジュール、赤外線通信モジュールRFID(Radio Frequency Identification)モジュール、UWB(Ultra Wideband)、ジグビー(ZigBee)、DLNA(Digital Living Network Alliance)モジュール、及び近距離無線通信(Near Field Communication:NFC)モジュールを含むグループから選択される少なくとも1つの通信モジュールを含むことができる。

0070

しかし、脳波検出器200とディスプレイ装置100とが信号をやり取りする通信方式は、上記の例に限定されず、上記の例の外に他の通信方式で信号をやり取りすることができる。

0071

一方、脳波検出器200は、電極部210が検出した脳波信号をロー(raw)信号形態でディスプレイ装置100に送信することができ、またロー信号に対する増幅、フィルタリングなどの前処理(pre−processing)を行った後に送信することもできる。前者の場合には、脳波信号を受信したディスプレイ装置100で前処理を行うことになる。ディスプレイ装置100の実施形態は、前者の場合と後者の場合とを全部含むが、後述する実施形態においては、前者の場合、即ちディスプレイ装置100で前処理を行う場合を例として説明する。

0072

図10はディスプレイ装置の脳波分析部の構成が具体化された制御ブロック図であり、図11は保存部を更に含むディスプレイ装置の制御ブロック図である。

0073

通信部110が脳波検出器200からユーザの脳波信号を受信すると、脳波分析部120は、受信したユーザの脳波信号を分析してユーザの視線を認識することができる。その一例として、図10に示すように、脳波分析部120は脳波信号に対して前処理を行う前処理部121及び脳波信号の周波数成分を分析する周波数分析部122を含むことができる。

0074

一方、図示しないが、脳波検出器200から受信する脳波信号がアナログ信号である場合には、通信部110又は脳波分析部120にアナログ−デジタルコンバータが含まれ、脳波分析部120はデジタルに変換された脳波信号に対して分析を行うことができる。

0075

ユーザの脳波信号には、頭皮から発生する信号情報拡散現象と、目の瞬き顔面筋肉動き周辺環境、ディスプレイ部140に表示される基本視覚情報などにより発生するノイズと、が含まれる。よって、前処理部121は、ユーザの脳波信号を増幅したり、ノイズを除去したりするためにフィルタリングを行うことができる。

0076

具体的には、高帯域フィルタ(High pass filter)のような周波数帯域フィルタを用いて特定領域の周波数だけを通過させたり、空間フィルタを用いて空間周波数帯域を除去又は強調したりすることができる。例えば、高帯域フィルタを用いて0.1Hz未満の周波数信号遮断したり、空間フィルタを用いて運動皮質周辺部信号加重値を弱く与え、測定しようとする運動皮質の脳波を増幅させたりすることができる。

0077

空間フィルタとしては、CAR(Common average reference)、Large SL(Large surface laplacian)、Small SL(Small surface laplacian)、CSP(Common spatial pattern)などのフィルタが用いられる。

0078

また、ICA(Independent component analysis)、LDA(Linear discriminant analysis)、PCA(Principal component analysis)、CCA(Canonical Correlation Analysis)などのノイズ除去アルゴリズムを用いて脳波信号のノイズを除去することができる。

0079

周波数分析部122は、脳波信号が有する周波数成分を分析することができる。例えば、フーリエ変換(Fourier transform)を介して周波数系列パワースペクトルを求め、パワースペクトル値の大きさを比較することで、特定周波数成分を求めることができる。

0080

一方、視覚刺激信号を凝視して発生した脳波信号には、視覚刺激信号の周波数である基本周波数(fundamental frequency)とともに、その倍数調和周波数(harmonic frequency)が含まれる。よって、周波数分析部122は、ケプストラム(Cepstrum)分析を介して脳波信号の周波数成分を把握することができる。

0081

一方、脳波分析部120は、特定周波数成分が基準時間以上発生するか否かを更に判断することができる。例えば、基準時間を5秒に設定した場合には、特定周波数成分が5秒以上発生する場合にユーザが当該領域を凝視したものと判断するか、又は、ユーザが当該領域の凝視に対応する機能の実行を意図したものと判断することができる。これにより、ユーザが何の意図もなく、しばらく特定領域を見ただけで、特定機能が実行されることを防止することができる。

0082

上記の脳波分析部120の構成や具体的な動作は、脳波信号を分析するための例に過ぎず、ディスプレイ装置100の実施形態がこれに限定されるものではない。よって、脳波検出器200が検出した脳波信号の周波数の判別さえできれば、前記例の外に他の方法や他の構成を適用してもよい。

0083

図11に示すように、ディスプレイ装置100は保存部160を更に含むことができ、保存部160には視覚刺激信号の周波数データベース161が保存され得る。周波数データベースには、特定周波数と、それに対応する機能又はそれに対応する領域と、がマッピングされて保存され得る。

0084

保存部160は、ラム(RAM:Read Access Memory)、ロム(ROM:Read Only Memory)、ハードディスク(HDD:Hard Disk Drive)、磁気ディスク(magnetic disk)、光ディスク(optical disk)、又は半導体ディスク(solid static disk)などの保存媒体を含むことができる。

0085

例えば、8Hzの周波数にはラジオ選択、10Hzの周波数にはブルートゥース、15Hzの周波数にはナビゲーション、及び12Hzの周波数には電話をマッピングして保存することができる。この場合、脳波分析部120は脳波検出器200により検出されたユーザの脳波信号が15Hzの周波数成分を含むものと把握すると、ユーザの意図がナビゲーション機能を選択したものと判断することができる。

0086

そして、制御部130は、脳波分析部120の判断結果に応じて、機器を制御するための制御信号を発生する。このとき、制御対象の機器が外部機器である場合には、外部に制御信号を伝送し、ディスプレイ部140が制御対象である場合には、更にディスプレイ部140に制御信号を伝送することができる。

0087

脳波分析部120は、上記の各構成要素の動作を行うためのプログラム及びデータを保存するメモリと、メモリに保存されたプログラムを実行してデータを処理するマイクロプロセッサと、を含むことができる。また、脳波分析部120に含まれるそれぞれの構成要素は、別途のマイクロプロセッサにより実現され、2つ以上の構成要素がマイクロプロセッサを共有することができる。

0088

また、制御部130は、制御信号の発生のためのプログラム及びデータを保存するメモリと、メモリに保存されたプログラムを実行してデータを処理するマイクロプロセッサと、を含むことができる。このとき、脳波分析部120とメモリ又はマイクロプロセッサを共有することもでき、脳波分析部120だけでなく、ディスプレイ装置100の他の構成要素とメモリ又はマイクロプロセッサを共有することもできる。

0089

また、制御部130と脳波分析部120のプログラムとデータを保存するメモリは、保存部160に含むこともできる。

0090

上記の実施形態に係るディスプレイ装置100を車両に含むことができる。以下、ディスプレイ装置100を含む車両の実施形態を詳細に説明する。

0091

図12は車両に含まれるディスプレイ装置の制御ブロック図であり、図13は本発明の一実施形態に係る車両内部の構成を示す図であり、図14はヘッドアップディスプレイとその構成を示す図である。

0092

ディスプレイ装置100が車両に含まれる場合には、視覚刺激信号を表示するディスプレイ部140が車両に設けられる、AVN(Audio Video Navigation)ディスプレイ141、クラスタ(cluster)ディスプレイ142及びヘッドアップ(Head−up)ディスプレイ143を含むことができる。図12の制御ブロック図においては、ディスプレイ部140がAVNディスプレイ141、クラスタディスプレイ142、及びヘッドアップディスプレイ143を全て含むものとして示したが、これらのうちの一部を選択的に含むこともできる。

0093

図12の例によれば、ユーザは、AVNディスプレイ141、クラスタディスプレイ142及びヘッドアップディスプレイ143のうちの少なくとも1つに表示される視覚情報を凝視することができ、視覚情報を凝視しながらユーザが認知せずとも視覚刺激信号を一緒に凝視することになる。脳波検出器200がユーザの脳波信号を検出してディスプレイ装置100に送信すると、脳波分析部120が脳波信号を分析してユーザの意図を把握し、制御部130はユーザの意図に対応する制御信号を生成することができる。

0094

図13に示す車両1の内部構成を参照すると、AVNディスプレイ141は、ユーザ、特に運転者走行中に表示された映像を見たり操作したりすることができるように、車両前方ダッシュボード(dashboard)10のセンターフェイシア(center fascia)11に設けられる。センターフェイシア11は、運転席191FL助手席192FRとの間で制御パネルボードが位置するダッシュボード10の中央領域を意味する。

0095

AVNディスプレイ141は、LCD(Liquid Crystal Display)、LED(Light Emitting Diode)、PDP(Plasma Display Panel)、OLED(Organic Light Emitting Diode)、CRT(Cathode Ray Tube)などで実現され得る。

0096

センターフェイシア11には、AVNディスプレイ141の外に、空調装置180(図28参照)から加熱した温風又は冷却した冷風が排出される通風口181が更に設けられる。

0097

車両には、運転席191FLと助手席191FRとの間に位置して、物品保管する収納空間であるトレー42と、ギアレバー41が形成されたセンターコンソール40と、が設けられる。このセンターコンソール40には、AVN入力部171が形成されるが、例えば、AVN入力部171は、ジョグシャトル(jogshuttle)又はジョイスティック(joystick)形態で実現される。AVN入力部171がジョグシャトルで実現される場合、ユーザは、ジョグシャトルを前方/後方及び左方/右方に押したり、上方から下方に加圧したり、回転したりするなどの操作を介してAVN機能を制御することができる。しかし、図13に示すジョグシャトルは、車両1の実施形態に適用される例に過ぎず、AVN入力部171をジョグシャトルやジョイスティックでないハードキー形態で実現することもできる。

0098

一方、AVNディスプレイ141と隣接した領域には、ハードキー形態の補助入力部173が設けられるか、又は、AVNディスプレイ141がタッチスクリーン形態で実現される場合には、AVNディスプレイ141の一領域にソフトキー(soft key)形態で設けられることもできる。

0099

クラスタ112は、運転者が走行中に計器盤を確認することができるようにダッシュボード10の領域中のステアリングホイール12と対面する領域に設けられる。クラスタディスプレイ142は、LCD(Liquid Crystal Display)、LED(Light Emitting Diode)、PDP(Plasma Display Panel)、OLED(Organic Light Emitting Diode)、CRT(Cathode Ray Tube)などで実現することができる。

0100

クラスタ112は、クラスタディスプレイ142だけでなく、車両速度を表示する速度ケージ144a及び車両のRPMを表示するRPMケージ144bを更に含むことができる。例えば、クラスタディスプレイ142は、図13に示すように、速度ケージ144aとRPMケージ144bとの間に位置することができるが、これは一例に過ぎず、本実施形態がクラスタディスプレイ142の具体的な位置を制限するものではない。

0101

クラスタ入力部172は、ステアリングホイール12の一領域にハードキー形態で設けられ、運転者がステアリングホイール12を握った状態で操作することができる。更に、ステアリングホイール12の裏側にレバー状に設けられて、ユーザがレバーを前方に押したり、後方に引いたり、上方に上げたり、下方に下げたりするなどの操作を介して、クラスタ112を制御できるようにすることも可能である。

0102

ヘッドアップディスプレイ143は、ユーザに直接視覚情報を提供するのではなく、視覚情報を反射させて車両1のフロントガラス30に表示する装置である。図13、14を共に参照すると、ヘッドアップディスプレイ143から出力される映像は、フロントガラス30の一領域30aを介して表示されており、以下、図13、14を共に参照してヘッドアップディスプレイ及びその構成を具体的に説明する。

0103

図14を参照すると、ヘッドアップディスプレイ143は、車両1の前方に設けられ、ヘッドアップディスプレイ143の前方に反射板143aが設けられる。ヘッドアップディスプレイ143が前方の反射板に映像を出力すると、出力された映像は反射板143aにより反射してフロントガラス30に投射される。このとき、フロントガラス30はコンバイナ(combiner)の役割をする。

0104

投射された映像はフロントガラス30によって反射されてユーザ5の視線に入るが、図15に示すように、ユーザ5はフロントガラス30のヘッドアップディスレイ領域30aを介して映像を見ることができる。ユーザ5の視線に入った映像は、実際的はフロントガラス30の外部に形成された虚像31aとなる。

0105

図14に示すヘッドアップディスプレイ143及びその構成は、本発明の一実施形態に過ぎず、反射板143aを複数個備えても備えなくてもよく、又は回折素子を備えてもよい。

0106

ヘッドアップディスプレイ143を操作するための入力部が別途に備えられてもよく、ステアリングホイール12に設けられたクラスタ入力部172が、ヘッドアップディスプレイ143を操作するための入力部の機能を共に備えることもできる。

0107

また、ステアリングホイール12の左側と右側とにそれぞれ設けられたクラスタ入力部172のうちの1方が、クラスタディスプレイ142を操作するための入力部の役割を行い、他の1方がヘッドアップディスプレイ143を操作するための入力部の役割を行うこともできる。

0108

また、ステアリングホイール12の裏側にレバー状に設けられて、ユーザがレバーを前方に押したり、後方に引いたり、上方に上げたり、下方に下げたりするなどの操作を介してヘッドアップディスプレイ143を制御することもできる。

0109

一方、図13の実施形態においては、AVNディスプレイ141を制御するために用いられる入力部、クラスタディスプレイを制御するために用いられる入力部、及びヘッドアップディスプレイを制御するために用いられる入力部がそれぞれ別途に設けられるものとして説明したが、これら入力部のうちの一部だけが設けられて、1つの入力部が複数ディスプレイを制御するための命令を受けるようにすることもできる。例えば、AVN入力部171がAVNディスプレイを制御するための命令だけでなく、クラスタディスプレイ142又はヘッドアップディスプレイ143を制御するための命令を一緒に受けることもできる。

0110

図15は、ユーザの凝視領域に係る制御動作の一例を示す図である。

0111

上記のように、ディスプレイ装置100は、ユーザの脳波信号を分析してユーザが凝視した領域を判断し、ユーザが凝視した領域に対応する機器の制御を行う。一例として、ユーザ5がAVNディスプレイ141、クラスタディスプレイ142及びヘッドアップディスプレイ143のうちの何れか1つを凝視すると、車両1に設けられた入力部を操作してユーザが凝視したディスプレイを制御することができる。このために、AVNディスプレイ141、クラスタディスプレイ142及びヘッドアップディスプレイ143に表示される視覚情報に、それぞれ異なる周波数を有する視覚刺激信号を挿入することができる。

0112

図15は、ユーザ5がAVNディスプレイ141を凝視する場合の例である。図15に示すように、ユーザがAVNディスプレイ141を凝視すると、ユーザ5の後頭葉にはAVNディスプレイに表示された視覚刺激信号の周波数を有する脳波信号が発生する。脳波検出器200がユーザ5の脳波信号を検出すると、脳波分析部120は、検出された脳波信号を分析して周波数を把握することができる。把握した脳波信号の周波数がAVNディスプレイ141に対応する周波数、即ちAVNディスプレイ141に表示される視覚刺激信号の周波数である場合は、ユーザがAVNディスプレイ141を凝視していると判断することができる。このとき、特定周波数と、当該周波数の視覚刺激信号が表示された領域に関する情報と、がマッピングされて保存された周波数データベースを利用することができる。

0113

ユーザ5がAVNディスプレイ141を凝視しているということは、入力部を操作してAVN機能を制御しようとする意図として把握され得る。よって、制御部130はユーザ5がどの入力部を操作しても、その操作に応じてAVN機能を制御することができ、当該機能に対応するコンテンツを出力するためにディスプレイ部140又はスピーカ150を制御することができる。図15の例においては、ユーザ5がAVN入力部171を操作することを示したが、クラスタ入力部172の操作によりAVN機能を制御することもでき、ユーザ5がクラスタディスプレイ142やヘッドアップディスプレイ領域30aを凝視してもAVN入力部171の操作によりクラスタディスプレイ142やヘッドアップディスプレイ143を制御することもできる。

0114

一方、上記の図7においては、1つの画面を複数領域に分割してそれぞれの分割した領域に異なる周波数を割り当てることができるという内容を説明した。よって、AVNディスプレイ141、クラスタディスプレイ142又はヘッドアップディスプレイ143を複数領域に分割し、ユーザが分割された領域のうちの何れの領域を凝視するかによって異なる制御を行うことができる。以下、図16及び図17を参照して具体的に説明する。

0115

図16は、1つのディスプレイを複数領域に分割して互いに異なる周波数を割り当てる場合の例を示す図であり、図17は分割された領域に互いに異なる周波数を有する視覚刺激信号を表示する方法の例を示す図である。

0116

図16に示すように、AVNディスプレイ141を4つの領域R1、R2、R3、R4に分割し、1番目の領域R1にはラジオ機能を、2番目の領域R2にはブルートゥース機能を、3番目の領域R3にはナビゲーション機能を、4番目の領域R4には電話機能を割り当てることができる。

0117

ユーザ5が4つの領域のうちのどの領域を凝視するかを判別するために、4つの領域に互いに異なる周波数を有する視覚刺激信号を表示することができる。図17に示すように、ラジオ領域R1には、この領域を凝視すると、ラジオ機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。連続する2つのフレーム間に2つの視覚刺激信号を挿入して周波数を生成することができる。

0118

ブルートゥース領域R2には、この領域を凝視すると、ブルートゥース機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。連続する2つのフレーム間に1つの視覚刺激信号を挿入してラジオ領域R1に表示される視覚刺激信号の周波数と異なる周波数を生成することができる。

0119

ナビゲーション領域R3には、この領域を凝視すると、ナビゲーション機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。連続する2つのフレーム間に相互に1つの視覚刺激信号を挿入してラジオ領域R1及びブルートゥース領域R2に表示される視覚刺激信号の周波数と異なる周波数を生成することができる。

0120

電話領域R4には、この領域を凝視すると、電話機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。連続する2つのフレーム間に3つの視覚刺激信号を挿入してラジオ領域R1、ブルートゥース領域R2及びナビゲーション領域R3に表示される視覚刺激信号の周波数と異なる周波数を生成することができる。

0121

また、図16を参照すると、ユーザ5がブルートゥース領域R2を凝視すると、ユーザ5の後頭葉からブルートゥース領域R2に割り当てられた周波数を有する脳波信号が発生し、脳波検出器200がこれを検出する。脳波分析部120は検出された脳波信号を分析してユーザ5がブルートゥース領域を凝視しているものと判断することができる。

0122

ユーザ5が、ブルートゥース領域を凝視しているということは、入力部を操作してブルートゥース機能を制御しょうとする意図を有すると把握することができる。よって、制御部130は、ユーザ5がどの入力部を操作しても、その操作によりブルートゥース機能を制御することができ、ブルートゥース機能に対応するコンテンツを出力するためにディスプレイ部140又はスピーカ150を制御することができる。

0123

図16の例では、ユーザ5がAVN入力部171を操作することを示したが、クラスタ入力部172の操作によりブルートゥース機能を制御することもできる。

0124

一方、ディスプレイ部140の画面のうちの一部領域だけをユーザの視線認識に使用することもできる。また、上記の例においては、ユーザが特定領域を凝視すると、入力部を操作して当該領域に対応する機能を制御することができるようにしたが、ユーザが特定領域を凝視すること自体を制御命令の入力と判断することもできる。以下、図18及び図19を参照して説明する。

0125

図18及び図19は、ユーザの凝視領域に係る制御動作の他の例を示す図である。

0126

図18の例に示すように、ディスプレイ部140には、現在実行中の機能に関連するメイン画面140aが表示されるが、一例として、メイン画面140aをナビゲーション画面とすることができる。そして、ディスプレイ部140の一領域には終了ボタン領域140eが表示され、終了ボタン領域140eにはこの領域を凝視すると、現在実行中の機能を終了することができることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に特定周波数を有する視覚刺激信号を挿入することができる。特定周波数に関する情報は保存部160に保存される。

0127

ユーザ5が終了ボタン領域140eを凝視すると、ユーザ5の後頭葉から終了ボタン領域140eに表示された視覚刺激信号の周波数を有する脳波信号が発生し、脳波検出器200がこれを検出する。脳波分析部120は検出した脳波信号を分析してユーザ5が終了ボタン領域140eを凝視しているものと判断することができる。

0128

ユーザ5が終了ボタン領域140eを凝視しているということは、ナビゲーションを終了しようとする意図と把握することができる。よって、制御部130は直ちにナビゲーションを終了することができ、ディスプレイ部140にはナビゲーション画面140aの代わりに初期メニュー画面140fが表示される。

0129

また、図19の例のように、ユーザの視線認識によって当該機能を直ちに実行することができるショートカット領域を機能別に複数個表示することができる。ここで、ショートカットは、別途の追加的な操作なしに当該機能を直ちに実行させることを意味する。図19に示すように、ディスプレイ部140の一部には、現在実行中の機能に関連するメイン画面140aが表示され、他の一部には、ビデオショートカット領域140bと、ナビゲーションショートカット領域140cと、が表示される。

0130

制御部130は、ビデオショートカット領域140bとナビゲーションショートカット領域140cに互いに異なる周波数の視覚刺激信号を表示することができる。このとき、メイン画面140aには、現在実行中の機能に関連する基本視覚情報が表示され、視線認識のための視覚刺激信号は表示されない。

0131

ビデオショートカット領域140bは、この領域を凝視すると、ビデオショートカットが実行できることを知らせる基本視覚情報を表示し、基本視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。ナビゲーションショートカット領域140cは、この領域を凝視すると、ナビゲーションショートカットが実行できることを知らせる基本視覚情報を表示し、基本視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。

0132

ユーザ5がビデオショートカット領域140bを凝視すると、ユーザ5の後頭葉からビデオショートカット領域140bに表示された視覚刺激信号の周波数を有する脳波信号が発生し、脳波検出器200がこれを検出する。脳波分析部120は、検出された脳波信号を分析してユーザ5がビデオショートカット領域140bを凝視しているものと判断することができる。

0133

ユーザ5がビデオショートカット領域140bを凝視しているということは、ナビゲーションを実行しようとする意図と把握することができる。よって、制御部130はビデオ機能を直ちに実行させることができる。それと共に、ディスプレイ部140のメイン画面140aはビデオ画面に切り替えられ、ビデオショートカット領域の代りオーディオショートカット領域140dが表示される。

0134

図19の例では、ビデオショートカット機能とナビゲーションショートカット機能を例として説明したが、これは一例に過ぎず、ショートカット機能の個数と種類に制限はない。また、ショートカット機能の個数と種類はユーザの使用履歴に適応して設定され得る。例えば、保存部160は、ユーザがどのような機能をよく選択するか、又はよく使用するかについての情報を保存することができる。そして、ユーザがよく選択したり、よく使用したりする機能をショートカット機能として設定することができるが、ショートカット機能は累積した使用履歴情報によって周期的にアップデートされる。使用履歴情報は、入力部の操作により入力された制御命令情報又は脳波信号の分析結果に基づいて獲得される。

0135

また、前記図16に示すように、1つの画面が複数の領域に分割される場合でも、ユーザの使用履歴情報に適応して各領域の面積を調節することができる。以下、図20を参照して説明する。

0136

図20は、ディスプレイ部の画面が複数の領域に分割された場合に各領域の面積が調節される例を示す図である。

0137

ディスプレイ部140の1つの画面を複数領域に分割してそれぞれの領域に互いに異なる周波数の視覚刺激信号を表示する場合において、ユーザがよく選択する機能に対応する領域の面積を更に大きく表示することができる。

0138

例えば、ユーザがラジオ機能をよく選択する場合には、図20に示すように、ラジオ領域R1の面積を最も大きく表示することができる。そして、その他の領域もユーザが選択した頻度順に面積が調節される。

0139

また、ユーザが選択する頻度順に各領域の位置が調節される。例えば、よく選択する機能の領域を画面の上側に配置したり、中央に配置したりすることができる。

0140

図21は、ユーザの使用履歴情報が活用される分野を示す図である。

0141

上記のユーザの使用履歴情報は、保存部160にデータベース形態で保存することができるので、このデータベースを使用データベース162と称することもできる。使用データベース162には、ユーザの視線認識に基づいて判断された使用履歴だけを保存することができ、更に入力部の操作に基づいて判断された使用履歴も一緒に保存することができ、各機能の実行履歴に基づいて判断された使用履歴を保存することもできる。

0142

1つの車両1においては、使用履歴情報が上記のようなユーザ適応型画面の表示として使用され、複数のユーザが使用する複数の車両から使用履歴情報が収集されると、顧客研究又はマーケティングに活用されるビックデータとなり得る。

0143

ビックデータに基づく顧客研究を介してユーザが車両のどのような機能を好むかを把握することができ、これに基づいて新しい車両を開発することができる。例えば、複数のユーザが特定機能を実行する際に、入力部の操作でない視線認識を介して制御命令を多く入力したことが把握されると、車両に設けられるユーザインタフェースを、このような選好度を反映してカスタマイズ(customize)することができる。

0144

また、ユーザの好む機能を中心に車両販売のためのマーケティングを実行することもできる。

0145

図22は、ユーザの凝視領域による制御動作のまた他の例を示す図である。

0146

上記の例は、ユーザの特定領域の凝視が、その領域に対応する特定機能を実行しようとする意図と把握されるものとしたが、ユーザが運転者であった場合には、ユーザがディスプレイ部140を長時間凝視すると、安全運転に対する阻害要因として作用し得る。

0147

図22に示すように、ユーザ5がディスプレイ部140を凝視すると、後頭葉からディスプレイ部140に表示される視覚刺激信号の周波数を有する脳波信号が発生する。脳波検出器200がユーザ5の脳波信号を検出すると、脳波分析部120が検出した脳波信号を分析し、検出された脳波信号が視覚刺激信号の周波数を有するか否かと、当該周波数を有する脳波信号が予め設定された基準時間以上発生するか否かを判断することができる。当該例では、予め設定された基準時間を2秒とするものとする。

0148

分析の結果、ユーザ5がAVNディスプレイ141を2秒以上凝視したものと判断されると、制御部130はAVNディスプレイ141又はスピーカ150を介して運転者に警告を出力することができる。例えば、「運転に集中してください」との警告メッセージをAVNディスプレイ141にテキスト形態で表示することができ、これと一緒に、又は別個にスピーカ150を介して音声で出力することもできる。

0149

図22の例では、ユーザがAVNディスプレイ141を凝視している場合を例にしたが、クラスタディスプレイ142又はヘッドアップディスプレイ領域30aを、予め設定された基準時間以上凝視している場合でも、警告を出力することができる。このとき、ユーザがクラスタディスプレイ142を凝視している場合には、警告メッセージもクラスタディスプレイ142を介して出力することができ、ヘッドアップディスプレイ143を凝視している場合には、警告メッセージもヘッドアップディスプレイ143を介して出力することができる。

0150

基準時間は、実験、統計又はシミュレーションを介して設定されるが、車両1に設けられた複数のディスプレイ141、142、143は、その位置が異なるため、これを凝視する際に運転に影響を及ぼす程度も異なるので、それぞれのディスプレイごとに基準時間が異なるように設定することができる。例えば、運転中であるユーザの視野から最も遠いAVNディスプレイ141に対しては基準時間を最も短く設定し、フロントガラス30に表示されるヘッドアップディスプレイ143に対しては基準時間を最も長く設定することができる。

0151

一方、車両1は、ユーザが車両内部に設けられたディスプレイを凝視する場合だけでなく、車両外部のディスプレイを凝視する場合にもユーザの視線を認識し、それに対応する制御を行うことができる。以下、図23ないし図27を参照して詳細に説明する。

0152

図23はユーザが信号機の赤信号を凝視している場合の制御動作に関する例を示す図であり、図24はユーザが信号機を凝視しない場合の制御動作に関する例を示す図である。ここで、ユーザは運転者としてもよい。

0153

図23に示すように、道路に位置する信号機310が赤信号311R、黄信号311O及び青信号311Gを表示する際、ディスプレイ部140が視覚情報の間に視覚刺激信号を挿入する方式で特定周波数を有する視覚刺激信号を挿入するようにすることができる。例えば、赤信号311Rには15Hzの視覚刺激信号を挿入し、黄信号311Oには27Hzの視覚刺激信号を挿入し、青信号311Gには32Hzの視覚刺激信号を挿入することができる。このような周波数情報は、保存部160に保存することができる。道路に位置する全ての信号機が同一周波数情報を有することもでき、位置ごとに異なる周波数情報を有することもできる。位置ごとに異なる周波数情報を有する場合には、地図データと車両の位置情報とを利用して、現在位置での信号機に対応する周波数情報を獲得することができる。

0154

図23に示すように、ユーザ5が赤信号311Rを凝視すると、後頭葉から赤信号311Rに表示される視覚刺激信号の周波数を有する脳波信号が発生する。脳波検出器200がユーザ5の脳波信号を検出すると、脳波分析部120が検出された脳波信号を分析して周波数を把握し、把握された周波数に基づいてユーザ5が赤信号を凝視しているものと判断することができる。

0155

制御部130は、車両1の停車可否を判断することができる。判断結果、ユーザ5が赤信号311Rを凝視したにもかかわらず車両1が停車しない場合、制御部130は、ディスプレイ部140及びスピーカ150のうちの少なくとも1つを介してユーザ5に警告を出力することができる。例えば、赤信号であるので、停車するようにとの警告メッセージをディスプレイ部140にテキスト形態で表示することができ、これと一緒に、又は別途にスピーカ150を介して音声で出力することができる。

0156

また、車両1に自動ブレーキシステムが設けられた場合には、自動的に車両1を停車させることができる。

0157

一方、信号機310があるにもかかわらずユーザ5がこれを凝視しない場合は事故の危険があり得る。図24に示すように、信号機310が存在する位置でユーザ5が信号機310を凝視しない場合、後頭葉から赤信号311R、黄信号311O又は青信号311Gとして表示される視覚刺激信号の周波数を有する脳波信号が発生しない。

0158

脳波検出器200がユーザ5の脳波信号を検出すると、脳波分析部120が検出された脳波信号を分析して周波数を判別し、判別された周波数に基づいてユーザが信号機を凝視していないものと判断することができる。このとき、現在の位置が、信号機が存在する位置であるか否かはGPS(Global Positioning System)衛星から受信した車両1の位置情報と保存部160に保存されている地図データとを利用して判断することができる。地図データには信号機の位置情報が含まれる。

0159

信号機の位置で、ユーザ5が信号機を凝視していないものと判断された場合、制御部130は、ディスプレイ部140及びスピーカ150のうちの少なくとも1つを介して警告を出力することができる。例えば、信号機を見るようにとの警告メッセージをディスプレイ部140にテキスト形態で表示することができ、これと一緒に、又は別途にスピーカ150を介して音声で出力することができる。

0160

図25ないし図27は、ユーザが車両外部の看板を凝視している場合の制御動作に関する例を示す図である。

0161

ユーザは、車両走行中にフロントガラス30又は車両1に形成された他のガラスを介して周辺環境を見ることになる。走行時に必要な信号機を凝視するだけでなく、周辺に位置する多様な看板のような広告表示装置320も見ることができる。

0162

広告表示装置320に表示される基本視覚情報に特定周波数を有する視覚刺激信号を挿入することができる。この場合、視覚刺激信号の表示が車両1でない広告表示装置320でなされるために、広告表示装置320は上記の実施形態に係るディスプレイ装置100の一例とすることができる。また、この場合、車両1の制御部130は、基本視覚情報に視覚刺激信号を挿入する動作をしないこともあり得る。ただし、保存部160には、広告表示装置320に表示される視覚刺激信号の周波数が予め保存され得る。

0163

ユーザ5が広告表示装置320を凝視すると、後頭葉から広告表示装置320に表示される視覚刺激信号の周波数を有する脳波信号が発生する。脳波検出器200がユーザ5の脳波信号を検出すると、脳波分析部120が検出された脳波信号を分析して周波数を把握し、把握された周波数に基づいてユーザ5が広告表示装置320を凝視しているものと判断することができる。

0164

保存部160には、広告表示装置別にそれに対応する関連情報が保存される。保存される関連情報は広告表示装置320を扱う企業から提供され得る。制御部130はユーザ5が凝視した広告表示装置320に対応する関連情報を検索し、ディスプレイ部140及びスピーカ150のうちの少なくとも1つを介して関連情報を提供することができる。

0165

図25の例のように、ユーザ5が車両販売企業の広告表示装置320を凝視している場合には、当該車両販売企業のプロモーションに関連する情報を提供することができる。例えば、図26に示すように、ヘッドアップディスプレイ領域30aに新車試乗キャンペーンに関する情報をテキスト形態で表示することができる。また、図27に示すように、拡張現実(augmented reality)技術を用いて関連情報を広告表示装置320にオーバーラップ(over lap)させて表示することもできる。更に、図示しないが、ホログラム形態で関連情報を提供することもできる。即ち、ユーザが凝視した広告表示装置の関連情報を提供する方式に対しては、特に制限がない。

0166

一方、ユーザの視線認識によってディスプレイ部140やスピーカ150を介して警告、情報又はコンテンツを出力するだけでなく、その他に車両の他の機能を制御することもできる。以下、図28及び図29を参照して説明する。

0167

図28はユーザの視線を認識して空調装置又は自動座席装置を制御する車両の制御ブロック図であり、図29はユーザの視線を認識して空調装置又は自動座席装置を制御する場合に、ディスプレイに表示される画面の例を示す図である。

0168

図28に示すように、本発明の一実施形態に係る車両1は、内部空気の温度を調節する空調装置180及び全自動座席の位置が調節される全自動座席装置190を更に含むことができ、制御部130はユーザの視線認識結果に応じて空調装置180及び全自動座席装置190を制御することができる。

0169

図29に示すように、AVNディスプレイ141を4つの領域R1、R2、R3、R4に分割し、1番目の領域R1にはラジオ機能を、2番目の領域R2には空調機能を、3番目の領域R3にはナビゲーション機能を、4番目の領域R4には座席制御機能を割り当てることができる。

0170

ユーザ5が4つの領域のうちの何れかの領域を凝視するかを区別するために、4つの領域に互いに異なる周波数を有する視覚刺激信号を表示することができる。また、ラジオ領域R1には、この領域を凝視すると、ラジオ機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。空調領域R2には、この領域を凝視すると、空調制御機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。ナビゲーション領域R3には、この領域を凝視すると、ナビゲーション機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。座席制御領域R4には、この領域を凝視すると、座席制御機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。

0171

ユーザ5が座席制御領域R4を凝視すると、座席制御領域R4に表示された視覚刺激信号の周波数を有する脳波信号が発生し、脳波検出器200がユーザ5の脳波信号を検出すると、脳波分析部120が検出された脳波信号を分析してユーザ5が座席制御領域R4を凝視しているものと判断することができる。

0172

また、図29に示すように、座席制御領域R4に陰影を与えたり、濃く表示するなどの視覚的な方式により座席制御領域R4の凝視に対するフィードバックを提供することもできる。

0173

全自動座席装置190には、座席の位置に関するセッティング値が予め保存され得る。例えば、1番目のセッティング、2番目のセッティング、3番目のセッティング及び4番目のセッティングの4つのセッティング値が予め保存されている場合、AVNディスプレイ141に4つのセッティング値のうちの1つを選択することができる画面が表示される。1つの画面を4つの領域に分割し、それぞれの領域R41、R42、R43、R44を1番目のセッティング、2番目のセッティング、3番目のセッティング及び4番目のセッティングに割り当てることができる。割り当てられたそれぞれの領域に互いに異なる周波数を有する視覚刺激信号を表示することができ、この場合にも基本視覚情報を構成するフレーム間に視覚刺激信号を挿入する方式が用いられる。

0174

例えば、ユーザ5が4番目のセッティング領域R44を凝視すると、4番目のセッティング領域R44に対応する周波数、即ち4番目のセッティング領域R44に表示された視覚刺激信号の周波数を有する脳波信号が発生し、脳波検出器200がこれを検出すると、脳波分析部120が検出された脳波信号を分析して周波数を把握する。把握された周波数に基づいてユーザ5が4番目のセッティング領域R44を凝視したものと判断すると、制御部130が全自動座席装置190に制御信号を伝送してユーザ5の座席位置を4番目のセッティング値に応じて調節することができる。このとき、調節される座席は運転席191FLとすることができ、又は助手席191FRとすることができ、セッティング値の選択前に、どの座席を制御するかについての選択を入力することもできる。

0175

図示しないが、ディスプレイ部140に温度制御機能を選択することができる領域を表示し、当該領域に表示される視覚情報に特定周波数を有する視覚刺激信号を挿入することができる。ユーザ5が当該領域を凝視して特定周波数を有する脳波信号が発生すると、制御部130は空調装置180を制御して車両内部空気の温度を調節することができる。このとき、上記の図15の例のように、ユーザが当該領域を凝視したと判断すると、ユーザの入力部操作により空調装置180を制御することもでき、且つ当該領域を、温度を選択するボタンで構成してユーザの視線認識を温度の選択にマッピングさせることもできる。後者の場合、別途の入力部操作なしに、ユーザが所望する温度に直ちに制御することが可能である。

0176

上記において、ディスプレイに表示される基本視覚情報に特定周波数を有する視覚刺激信号を挿入し、ユーザがディスプレイを凝視することで、発生する特定周波数を有する脳波を測定して、ユーザの意図を判断するディスプレイ装置100と、これを含む車両1の実施形態を説明した。上記の実施形態に用いられる特定機能及びディスプレイ画面の構成などは、発明の動作を説明するための例に過ぎず、ディスプレイ装置100や車両1の実施形態は、これらの例に限定されない。よって、ディスプレイに表示される基本視覚情報に特定周波数を有する視覚刺激信号を挿入したり、それと共にユーザがディスプレイを凝視したりすることによって発生する特定周波数を有する脳波を測定してユーザの意図を把握することだけで、ユーザの視線認識により実行される機能の種類やディスプレイ画面の構成とは関係なしに、ディスプレイ装置100又は車両1の実施形態とすることができる。

0177

以下にディスプレイ方法の実施形態を説明する。
本発明の一実施形態に係るディスプレイ方法を実行するために、上記の実施形態に係るディスプレイ装置100又は車両1が用いられる。よって、ディスプレイ装置100又は車両1に対する上記の説明は、ディスプレイ方法の実施形態にも適用することができる。後述する実施形態においては、車両1を利用してディスプレイ方法を実行する場合を例として説明する。

0178

図30は、本発明の一実施形態に係るディスプレイ方法に関するフローチャートである。

0179

図30に示すように、先ず基本視覚情報の間に視覚刺激信号を挿入して表示する(510)。基本視覚情報はユーザに情報やコンテンツを提供するためにディスプレイ部140に表示されるものであって、特定周波数の脳波を発生させてユーザの意図把握に用いられる視覚刺激信号とは区別されるものである。また、基本視覚情報は動画状態とすることができ、又は静止画状態とすることができる。基本視覚情報が動画状態である場合には、動画を構成するフレーム間に視覚刺激信号が挿入され、静止画状態である場合には、静止画を表示する中間に視覚刺激信号が挿入される。また、静止画を動画のように所定フレームレートに従って表示し、静止画のフレーム間に視覚刺激信号を挿入することもできる。

0180

脳波検出器200を用いてユーザの脳波信号を検出する(511)。ユーザが特定周波数を有する視覚刺激信号を凝視すると、特定周波数と同一の周波数を有する脳波信号が発生する。よって、視覚刺激信号を凝視したユーザから検出された脳波信号には特定周波数成分が含まれる。

0181

脳波分析部120が検出された脳波信号を分析して(512)、ユーザの凝視領域を判断する(513)。より具体的には、脳波分析部120は周波数分析を介して脳波信号の周波数成分を判別することができ、保存部160に予め保存された特定周波数とこれにマッピングされた領域に関する情報を用いて、ユーザの凝視領域を判断することができる。

0182

ユーザの凝視領域が判断されると、判断された凝視領域に基づいて機器を制御する(514)。保存部160には、凝視領域とこれに対応する機器の制御動作がマッピングされて保存される。例えば、ユーザが特定領域を凝視する場合、どの機器をどのように制御するかに関する情報が保存され、ユーザが特定領域を凝視すると、保存部160に保存された情報に従って制御信号を発生させて当該機器に伝送することができる。

0183

例えば、ユーザの凝視領域に基づいて入力部による制御対象を決定したり、ユーザが凝視した領域に対応する機能を直ちに実行したり、ユーザの使用履歴に従ってディスプレイ画面の構成を制御することができる。また、信号機の位置でユーザ5が信号機を凝視していなかったり、赤信号であるのに停車しないと判断した場合は、ディスプレイ部140及びスピーカ150のうちの少なくとも1つを介して警告を出力することができる。また、ユーザがディスプレイ部140を予め設定された基準時間以上凝視している場合は、安全運転が阻害されるので、これに関する警告をユーザに出力することができる。

0184

一方、説明の便宜上、脳波信号の検出をディスプレイ方法に含めて説明したが、ディスプレイ方法の実施形態が脳波信号の検出を必ずしも含まなくてもよく、後述の実施形態においても同様である。

0185

以下、機器の制御に関する具体的な実施形態を説明する。

0186

図31は、本発明の一実施形態に係るディスプレイ方法において、ユーザ凝視領域に基づいて入力部による制御対象を決定する例を示すフローチャートである。

0187

図31に示すように、基本視覚情報の間に視覚刺激信号を挿入して表示する(520)。例えば、視覚刺激信号は、AVNディスプレイ141、クラスタディスプレイ142、及びヘッドアップディスプレイ143のうちの少なくとも1つに表示することができ、各ディスプレイに表示される視覚刺激信号は互いに異なる周波数を有する。また、上記の図16の例のように、1つのディスプレイ画面を複数領域に分割し、各領域に互いに異なる周波数を有する視覚刺激信号を表示することができる。

0188

脳波検出器200を用いてユーザの脳波信号を検出する(521)。視覚刺激信号を凝視したユーザから検出された脳波信号には特定周波数成分が含まれる。特定周波数成分に関する情報は保存部160に予め保存することができる。

0189

脳波分析部120が検出された脳波信号を分析して(522)、ユーザ凝視領域を判断する(523)。具体的に、脳波分析部120は周波数分析を介して脳波信号の周波数成分を判別することができ、保存部160に予め保存された特定周波数とこれにマッピングされた領域に関する情報を用いてユーザの凝視領域を判断することができる。

0190

判断された凝視領域に基づいて入力部により操作される対象を設定し(524)、入力部の操作により設定された対象の動作を制御する(525)。例えば、ユーザが車両1の搭乗者であって、ユーザの凝視した領域がAVNディスプレイ141の場合には、ユーザが入力部を介して入力した制御命令によりAVNディスプレイ141又はAVN端末が制御される。即ち、ユーザが入力部を操作すると、ユーザが凝視した領域に対応する機能又は機器を制御することができる。このとき、操作される入力部は任意の入力部とすることができる。この場合、ユーザがAVNディスプレイ141を凝視している場合には、クラスタ入力部172を操作することで、AVNディスプレイ141又はAVN端末を制御することができる。これにより、入力部の統合使用が可能となり、車両1に設けられた複数の入力部を特定機能の制御だけに使用するのではなく、状況に応じて必要な入力部を必要な機能の制御に使用することができる。

0191

図32は、本発明の一実施形態に係るディスプレイ方法において、ユーザが凝視した領域に対応する機能を直ちに実行する例を示すフローチャートである。

0192

図32を参照すると、基本視覚情報の間に視覚刺激信号を挿入して表示する(530)。視覚刺激信号は、上記の図18又は図19に示すように、ディスプレイ画面の一部領域に表示することができ、複数の一部領域に、互いに異なるショートカット機能それぞれに対応する互いに異なる周波数を有する視覚刺激信号を表示することができる。

0193

脳波検出器200を用いてユーザの脳波信号を検出する(531)。視覚刺激信号を凝視したユーザから検出された脳波信号には、ユーザが凝視した領域の視覚刺激信号の周波数と同一の周波数成分が含まれる。

0194

脳波分析部120が検出された脳波信号を分析して(532)、ユーザ凝視領域を判断する(533)。具体的に、脳波分析部120は、周波数分析を介して脳波信号の周波数成分を判別することができ、保存部160に予め保存された特定周波数とこれにマッピングされた領域に関する情報を用いてユーザの凝視領域を判断することができる。

0195

そして、ユーザが凝視した領域に対応する機能を直ちに実行する(534)。上記の例では、ユーザが特定領域を凝視すると、入力部を操作して当該領域に対応する機能を制御することができるものとしたが、ユーザが特定領域を凝視すること自体を制御命令の入力とすることもできる。当該例では、ユーザが特定領域を凝視すると、別途の入力部操作がなくても特定領域に対応する終了機能、ナビゲーション機能、ラジオ機能、ブルートゥース機能又はビデオ機能を直ちに実行することができる。

0196

図33は、本発明の一実施形態に係るディスプレイ方法において、ユーザの使用履歴によりディスプレイ画面の構成を制御する例を示すフローチャートである。

0197

図33に示すように、先ず、基本視覚情報の間に視覚刺激信号を挿入して表示する(540)。

0198

脳波検出器200を用いてユーザの脳波信号を検出する(541)。ユーザが特定周波数を有する視覚刺激信号を凝視すると、特定周波数と同一の周波数を有する脳波信号が発生する。よって、視覚刺激信号を凝視したユーザから検出された脳波信号には特定周波数成分が含まれる。

0199

脳波分析部120が検出された脳波信号を分析して(542)、ユーザ凝視領域を判断する(543)。具体的に、脳波分析部120は、周波数分析を介して脳波信号の周波数成分を判別することができ、保存部160に予め保存された特定周波数とこれにマッピングされた領域に関する情報を用いてユーザの凝視領域を判断することができる。

0200

ユーザの凝視領域を保存部160に保存する(544)。これはユーザの使用履歴に関するデータベースを生成するためのものである。

0201

上記の540段階ないし544段階の動作は繰返し実行することができ、ユーザ凝視領域の保存が累積されると、使用履歴に関するデータベースが生成される。上記の図16の例のように、1つのディスプレイ画面を複数領域に分割し、各領域に互いに異なる機能をマッピングさせた場合において、ユーザの凝視頻度数に応じて各領域の大きさを調節することができる(545)。例えば、上記の図20の例のように、ユーザがよく凝視する領域の面積を更に大きく表示することができる。例えば、ユーザがラジオ機能をよく選択する場合にはラジオ領域R1の面積を最も大きく表示することができ、他の領域もユーザによって選択された頻度に対応して面積を調節することができる。

0202

図34は、本発明の一実施形態に係るディスプレイ方法において、ユーザが外部の視覚刺激信号を凝視している場合の例を示すフローチャートである。

0203

基本視覚情報の間に視覚刺激信号を挿入して表示する(550)。このとき、基本視覚情報と視覚刺激信号が表示されるディスプレイは、車両内部に設けられたディスプレイではなく、周辺に位置する多様な看板のような広告表示装置320とすることができる。保存部160には、広告表示装置320に表示される視覚刺激信号の周波数を予め保存することができる。

0204

ユーザの脳波信号を検出し(551)、検出された脳波信号を分析して(552)、ユーザの凝視領域を判断する(553)。

0205

保存部160には、広告表示装置ごとに、それに対応する関連情報が保存される。保存される関連情報は広告表示装置320を使用する企業から提供され得る。制御部130は、ユーザ5が凝視した広告表示装置320に対応する関連情報を検索し、ディスプレイ部140及びスピーカ150のうちの少なくとも1つを介して関連情報を提供することができる(554)。ディスプレイ部140を介して関連情報を提供する場合、関連情報をテキスト形態で表示したり、拡張現実(augmented reality)技術を用いて関連情報を広告表示装置320にオーバーラップ(over lap)させて表示することができる。

0206

図35は、本発明の一実施形態に係るディスプレイ方法において、ユーザの使用履歴によりディスプレイ画面の構成を制御する他の例を示すフローチャートである。

0207

図35に示すように、先ず、基本視覚情報の間に視覚刺激信号を挿入して表示し(560)、脳波検出器200を用いてユーザの脳波信号を検出する(561)。脳波分析部120が検出された脳波信号を分析して(562)、ユーザ凝視領域を判断する(563)。そして、ユーザの凝視領域を保存部160に保存する(564)。

0208

上記の560段階ないし564段階の動作は繰返し実行することができ、ユーザ凝視領域の保存が累積されると使用履歴に関するデータベースが生成される

0209

上記の図18図19及び図32においてユーザが特定領域を凝視すると、特定領域に対応する機能を直ちに実行する例を説明した。ユーザの凝視によって直ちに実行される機能を使用履歴に関するデータベースに基づいて登録することができる。例えば、頻度数の高い凝視領域に対応する機能をショートカット機能として登録することができる(565)。

0210

一方、使用履歴に関するデータベースには、特定領域の凝視に基づいて判断された使用履歴だけでなく、入力部の操作により入力された制御命令に基づいて判断された使用履歴も含むことができる。

0211

また、1つの車両1内においては、使用履歴情報を上記のようなユーザ適応型画面の表示に使用することができ、複数のユーザが使用する複数の車両から使用履歴情報が収集されると、顧客研究又はマーケティングに活用されるビックデータとなり得る。

0212

本発明の一実施形態に係るディスプレイ装置、車両及びディスプレイ方法によれば、ユーザの視線を認識するために基本視覚情報に特定周波数を有する視覚刺激信号を挿入することで、ユーザの目の疲れを減少させ、ディスプレイを効率的に活用することができる。

0213

また、ユーザの視線認識を介してユーザの意図を把握し、これを機器の制御に用いることで、入力操作の便宜性を向上させると同時に走行の安定性を確保することができる。

0214

1 車両
100ディスプレイ装置
110通信部
120脳波分析部
130 制御部
200脳波検出器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • クリスタルメソッド株式会社の「 推定システム、及び推定装置」が 公開されました。( 2020/10/29)

    【課題】キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供する。【解決手段】仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボード... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人