図面 (/)

技術 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム

出願人 オムロン株式会社
発明者 竹本あゆみ木下航一向井仁志竹内倭長江成典
出願日 2018年2月7日 (1年9ヶ月経過) 出願番号 2018-019760
公開日 2019年8月22日 (3ヶ月経過) 公開番号 2019-136165
状態 特許登録済
技術分野 生体の呼吸・聴力・形態・血液特性等の測定 交通制御システム
主要キーワード 衝動性眼球運動 全自動運転 予兆判定 半導体方式 ステアリング部分 ステアリングコラム部分 前庭動眼反射 サスペンション制御ユニット
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

前庭動眼反射運動の取得精度を向上させることができるデータ処理装置を提供すること。

解決手段

人をモニタリングするためのデータ処理を行うデータ処理装置であって、人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、該状態判定部により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部と、該介入制御部により前記介入制御が行われた場合、又は前記状態判定部により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部と、該測定部により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部とを装備する。

概要

背景

特許文献1には、頭部運動により誘発される前庭動眼反射を利用して、車両の運転者設備操作者などが眠気自覚する前の予兆を検出することを目的とする眠気予兆検出装置について開示されている。

特許文献1記載の眠気予兆検出装置は、頭部運動を検出する頭部運動検出手段と、眼球運動を検出する眼球運動検出手段と、前記頭部運動検出手段により検出された頭部運動データに基づいて理想眼球運動角速度を算出する理想眼球運動角速度算出手段と、前記眼球運動検出手段により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出手段と、理想眼球運動角速度と眼球回転角速度とから前庭動眼反射(Vestibulo−Ocular Reflex:VOR)を検出し、この前庭動眼反射に基づいて眠気の予兆を判定する眠気予兆判定手段と、を備えている。

[発明が解決しようとする課題]
特許文献1には、自動車運転時模擬した実験システム、すなわちドライビングシミュレータステムを用い、スクリーン投影される前方車両ナンバープレート上部を注視点として固視させるなどの実験タスク被験者に課した状態での試験結果が開示されている。

しかしながら、前記ドライビングシミュレータシステムを用いた疑似的な実験環境は、実際の車両の走行環境とは大きく異なっている。本発明者は、実際の車両の走行環境(実車環境)で検証を行った結果、実車環境では、前庭動眼反射運動を精度良くモニタリングすることが極めて難しいことを見出した。また、実車環境に限らず、設備等の操作環境作業環境などの様々な現実環境においても、実際に前庭動眼反射運動を精度良くモニタリングすることが難しいという課題があった。

概要

前庭動眼反射運動の取得精度を向上させることができるデータ処理装置を提供すること。人をモニタリングするためのデータ処理を行うデータ処理装置であって、人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、該状態判定部により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部と、該介入制御部により前記介入制御が行われた場合、又は前記状態判定部により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部と、該測定部により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部とを装備する。

目的

特許文献1には、頭部運動により誘発される前庭動眼反射を利用して、車両の運転者、設備の操作者などが眠気を自覚する前の予兆を検出することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

人をモニタリングするためのデータ処理を行うデータ処理装置であって、前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、該状態判定部により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部と、該介入制御部により前記介入制御が行われた場合、又は前記状態判定部により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部と、該測定部により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部とを備えていることを特徴とするデータ処理装置。

請求項2

前記算出部により算出された前記前庭動眼反射運動を用いて、前記人の眠気度を判定する眠気判定部を備えていることを特徴とする請求項1記載のデータ処理装置。

請求項3

前記眠気判定部により判定された前記眠気度に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴とする請求項2記載のデータ処理装置。

請求項4

前記介入制御部により前記介入制御が行われた後、前記測定部により測定された前記データが、前記前庭動眼反射運動の算出に適したデータであるか否かを判定するデータ判定部を備え、前記算出部が、前記測定部により測定された前記データのうち、前記データ判定部により前記適したデータであると判定された前記データを用いて、前記前庭動眼反射運動を算出するものであることを特徴とする請求項1〜3のいずれかの項に記載のデータ処理装置。

請求項5

前記データ判定部が、前記適したデータであるか否かを重み付けして判定するものであり、前記算出部が、前記重み付けを加味して前記前庭動眼反射運動を算出するものであることを特徴とする請求項4記載のデータ処理装置。

請求項6

前記物が車両であり、前記人が前記車両を運転する運転者であることを特徴とする請求項1〜5のいずれかの項に記載のデータ処理装置。

請求項7

前記所定の状態が、前記車両を直進させる状態を含んでいることを特徴とする請求項6記載のデータ処理装置。

請求項8

前記所定の状態が、前記運転者の頭部を上下、左右、前後、ヨー、又はピッチ方向変位又は振動させる状態を含んでいることを特徴とする請求項6記載のデータ処理装置。

請求項9

前記所定の状態が、前記運転者に特定の箇所を注視させる状態を含んでいることを特徴とする請求項6記載のデータ処理装置。

請求項10

請求項1〜9のいずれかの項に記載のデータ処理装置と、前記人を含む画像を撮像するカメラとを含み、前記データ処理装置の前記測定部が、前記カメラから取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴とするモニタリングシステム

請求項11

前記測定部が、前記画像から前記人の顔領域を抽出し、該抽出された前記顔領域から前記人の目尻及び目頭の位置を抽出し、該抽出された前記目尻及び目頭の位置の移動状態から前記頭部運動を測定するものであることを特徴とする請求項10記載のモニタリングシステム。

請求項12

請求項3記載のデータ処理装置と、該データ処理装置の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴とする覚醒システム

請求項13

人をモニタリングするためのデータ処理方法であって、前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、該状態判定ステップにより前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップと、前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップとを含むステップを実行させることを特徴とするデータ処理方法。

請求項14

人をモニタリングするためのデータ処理を少なくとも1つのコンピュータに実行させるためのデータ処理プログラムであって、前記少なくとも1つのコンピュータに、前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、該状態判定ステップにより前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップと、前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップとを実行させることを特徴とするデータ処理プログラム。

技術分野

背景技術

0002

特許文献1には、頭部運動により誘発される前庭動眼反射を利用して、車両の運転者設備操作者などが眠気自覚する前の予兆を検出することを目的とする眠気予兆検出装置について開示されている。

0003

特許文献1記載の眠気予兆検出装置は、頭部運動を検出する頭部運動検出手段と、眼球運動を検出する眼球運動検出手段と、前記頭部運動検出手段により検出された頭部運動データに基づいて理想眼球運動角速度を算出する理想眼球運動角速度算出手段と、前記眼球運動検出手段により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出手段と、理想眼球運動角速度と眼球回転角速度とから前庭動眼反射(Vestibulo−Ocular Reflex:VOR)を検出し、この前庭動眼反射に基づいて眠気の予兆を判定する眠気予兆判定手段と、を備えている。

0004

[発明が解決しようとする課題]
特許文献1には、自動車運転時模擬した実験システム、すなわちドライビングシミュレータステムを用い、スクリーン投影される前方車両ナンバープレート上部を注視点として固視させるなどの実験タスク被験者に課した状態での試験結果が開示されている。

0005

しかしながら、前記ドライビングシミュレータシステムを用いた疑似的な実験環境は、実際の車両の走行環境とは大きく異なっている。本発明者は、実際の車両の走行環境(実車環境)で検証を行った結果、実車環境では、前庭動眼反射運動を精度良くモニタリングすることが極めて難しいことを見出した。また、実車環境に限らず、設備等の操作環境作業環境などの様々な現実環境においても、実際に前庭動眼反射運動を精度良くモニタリングすることが難しいという課題があった。

先行技術

0006

特許第5255063号公報

課題を解決するための手段及びその効果

0007

本発明は上記課題に鑑みなされたものであって、現実環境下における前庭動眼反射運動のモニタリング精度を高めることができるデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムを提供することを目的としている。

0008

上記目的を達成するために本開示に係るデータ処理装置(1)は、人をモニタリングするためのデータ処理を行うデータ処理装置であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、
該状態判定部により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部と、
該介入制御部により前記介入制御が行われた場合、又は前記状態判定部により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部と、
該測定部により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部とを備えていることを特徴としている。

0009

上記データ処理装置(1)によれば、前記所定の状態にないと判定された場合、前記介入制御によって、前記人又は前記物を、前記人の前庭動眼反射運動の算出に適した状態、換言すれば、前記前庭動眼反射運動を算出するために用いる前記データのシグナルノイズ(SN)比が高くなる状態に促すことが可能になる。そして、前記介入制御によって前記SN比が高くなるように促された状態、又は前記SN比が高くなる前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定し、前記前庭動眼反射運動を算出するので、現実環境下における前記前庭動眼反射運動のモニタリング精度を高めることができる。また前記所定の状態にあると判定された場合、換言すれば、前記シグナルノイズ比が高いと想定される状態では、前記介入制御を行うことなく、前記前庭動眼反射運動を算出するため、不要な前記介入制御を行う必要がなくなり、省電力化を実現することができる。なお、前記シグナルノイズのシグナルは、前記前庭動眼反射運動による眼球運動を示し、ノイズは、前記前庭動眼反射運動以外の眼球運動(例えば、サッカード運動輻輳性運動など)を示す。

0010

また本開示に係るデータ処理装置(2)は、上記データ処理装置(1)において、前記算出部により算出された前記前庭動眼反射運動を用いて、前記人の眠気度を判定する眠気判定部を備えていることを特徴としている。

0011

上記データ処理装置(2)によれば、前記眠気判定部により、現実環境下における前記眠気度も精度良く判定することができる。

0012

また本開示に係るデータ処理装置(3)は、上記データ処理装置(2)において、前記眠気判定部により判定された前記眠気度に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴としている。

0013

上記データ処理装置(3)によれば、前記覚醒制御部により、前記眠気度に応じて前記人を適切に覚醒させる制御を行うことができる。

0014

また本開示に係るデータ処理装置(4)は、上記データ処理装置(1)〜(3)のいずれかにおいて、
前記介入制御部により前記介入制御が行われた後、前記測定部により測定された前記データが、前記前庭動眼反射運動の算出に適したデータであるか否かを判定するデータ判定部を備え、
前記算出部が、前記測定部により測定された前記データのうち、前記データ判定部により前記適したデータであると判定された前記データを用いて、前記前庭動眼反射運動を算出するものであることを特徴としている。

0015

上記データ処理装置(4)によれば、前記介入制御が行われた後に測定された前記データのうち、前記適したデータであると判定された前記データを用いて前記前庭動眼反射運動が算出されるので、前記介入制御が行われた後における前記前庭動眼反射運動のモニタリング精度をより高めることができる。

0016

また本開示に係るデータ処理装置(5)は、上記データ処理装置(4)において、前記データ判定部が、前記適したデータであるか否かを重み付けして判定するものであり、前記算出部が、前記重み付けを加味して前記前庭動眼反射運動を算出するものであることを特徴としている。

0017

上記データ処理装置(5)によれば、前記データが前記適したデータであるかを前記重み付けによって細かく判定することができる。また、前記重み付けを加味して前記前庭動眼反射運動を算出するので、前記データの一部だけではなく全てを用いて、現実環境に対応した前記前庭動眼反射運動をモニタリングすることができる。

0018

また本開示に係るデータ処理装置(6)は、上記データ処理装置(1)〜(5)のいずれかにおいて、前記物が車両であり、前記人が前記車両を運転する運転者であることを特徴としている。

0019

上記データ処理装置(6)によれば、前記物が車両であり、前記人が前記車両を運転する運転者であるので、実車環境において、前記運転者の前庭動眼反射運動を精度良くモニタリングすることができる。

0020

また本開示に係るデータ処理装置(7)は、上記データ処理装置(6)において、前記所定の状態が、前記車両を直進させる状態を含んでいることを特徴としている。

0021

上記データ処理装置(7)によれば、前記所定の状態が、前記車両を直進させる状態を含んでいる。したがって、前記介入制御部により、前記車両を直進させる状態となるように介入制御を行うことができる。そして、前記前庭動眼反射運動以外の眼球運動、例えば、サッカード運動や輻輳性運動などが生じにくい状態、換言すれば、前記前庭動眼反射運動のノイズ成分が少なくなる状態で測定された前記データを用いて、前記前庭動眼反射運動を精度良くモニタリングすることができる。

0022

また本開示に係るデータ処理装置(8)は、上記データ処理装置(6)において、前記所定の状態が、前記運転者の頭部を上下、左右、前後、ヨー、又はピッチ変位又は振動させる状態を含んでいることを特徴としている。

0023

上記データ処理装置(8)によれば、前記所定の状態が、前記運転者の頭部を上下、左右、前後、ヨー、又はピッチ方向に変位又は振動させる状態を含んでいる。したがって、前記介入制御部により、前記運転者の頭部を上下、左右、前後、ヨー、又はピッチ方向に変位又は振動させる状態になるように介入制御を行うことができる。そして、前記運転者の頭部が振動しやすい状態、換言すれば、前記前庭動眼反射運動のシグナル成分、特に変位が大きくなる状態で測定された前記データを用いて、前庭動眼反射運動を精度良くモニタリングすることができる。

0024

また本開示に係るデータ処理装置(9)は、上記データ処理装置(6)において、前記所定の状態が、前記運転者に特定の箇所を注視させる状態を含んでいることを特徴としている。

0025

上記データ処理装置(9)によれば、前記所定の状態が、前記運転者に特定の箇所を注視させる状態を含んでいる。したがって、前記介入制御部により、前記運転者に特定の箇所を注視させる状態となるように介入制御を行うことができる。そして、前記前庭動眼反射運動以外の眼球運動が生じにくい状態、換言すれば、前記前庭動眼反射運動のノイズ成分が小さくなる状態で測定された前記データを用いて、前庭動眼反射運動を精度良くモニタリングすることができる。

0026

また本開示に係るモニタリングシステム(1)は、上記データ処理装置(1)〜(9)のいずれかと、前記人を含む画像を撮像するカメラとを含み、
前記データ処理装置の前記測定部が、前記カメラから取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴としている。

0027

上記モニタリングシステム(1)によれば、上記データ処理装置(1)〜(9)のいずれかと、前記カメラとを含んで構成されているので、上記データ処理装置(1)〜(9)のいずれかの効果が得られる、様々な現実環境下において導入しやすいシステムを提供することができる。

0028

また本開示に係るモニタリングシステム(2)は、上記モニタリングシステム(1)において、前記測定部が、前記画像から前記人の顔領域を抽出し、
該抽出された前記顔領域から前記人の目尻及び目頭の位置を抽出し、
該抽出された前記目尻及び目頭の位置の移動状態から前記頭部運動を測定するものであることを特徴としている。

0029

上記モニタリングシステム(2)によれば、前記測定部が、前記顔領域から抽出された前記目尻及び目頭の位置の移動状態から前記頭部運動を測定するので、該頭部運動を測定する処理に係る負荷を減らすことができるとともに、前記測定する処理の高速化を図ることができる。

0030

また本開示に係る覚醒システムは、上記データ処理装置(3)と、該データ処理装置(3)の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴としている。
上記覚醒システムによれば、前記覚醒制御部により前記覚醒装置が制御されるので、該覚醒装置により前記人を覚醒させることができる。

0031

また本開示に係るデータ処理方法は、人をモニタリングするためのデータ処理方法であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
該状態判定ステップにより前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップと、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップとを含むステップを実行させることを特徴としている。

0032

上記データ処理方法によれば、前記所定の状態にないと判定された場合、前記介入制御ステップによって、前記人又は前記物を、前記人の前庭動眼反射運動の算出に適した状態、換言すれば、前記前庭動眼反射運動を算出するために用いる前記データのシグナルノイズ(SN)比が高くなる状態に誘導することが可能になる。そして、前記SN比が高くなるように誘導された状態、又は前記SN比が高くなる前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定し、前記前庭動眼反射運動を算出するので、現実環境下における前記前庭動眼反射運動のモニタリング精度を高めることができる。

0033

また本開示に係るデータ処理プログラムは、人をモニタリングするためのデータ処理を少なくとも1つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも1つのコンピュータに、
人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
該状態判定ステップにより前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップと、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップとを実行させることを特徴としている。

0034

上記データ処理プログラムによれば、前記所定の状態にないと判定された場合、前記介入制御ステップによって、前記人又は前記物を、前記人の前庭動眼反射運動の算出に適した状態、換言すれば、前記前庭動眼反射運動を算出するために用いる前記データのシグナルノイズ(SN)比が高くなる状態に誘導することが可能になる。そして、前記SN比が高くなるように誘導された状態、又は前記SN比が高くなる前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定し、前記前庭動眼反射運動を算出するので、現実環境下における前記前庭動眼反射運動のモニタリング精度を高めることができるデータ処理を実現できる。

図面の簡単な説明

0035

実施の形態に係るデータ処理装置をモニタリングシステムへ適用させた例を示す概略図である。
実施の形態に係るモニタリングシステムのハードウェア構成の一例を示すブロック図である。
実施の形態に係るデータ処理装置が行う処理動作を示すフローチャートである。

実施例

0036

以下、本発明に係るデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムの実施の形態を図面に基づいて説明する。

0037

[適用例]
図1は、実施の形態に係るデータ処理装置をモニタリングシステムへ適用させた例を示す概略図である。
モニタリングシステム1は、車両2に搭載され、車両2の運転者3をモニタリングするためのデータ処理を行うデータ処理装置10と、運転者3の顔を含む画像を撮像するカメラ20とを含んで構成されている。

0038

車両2は、自動車であるが、二輪車等の車両であってもよく、車両2の種類は特に限定されない。また、車両2は、自動運転車両であってもよい。自動運転車両は、米国自動車技術会(SAE)が提示している自動運転ベルにおけるレベル1ドライバ支援)、レベル2(部分的自動運転)、レベル3(条件付自動運転)、レベル4(高度自動運転)、及びレベル5(完全自動運転)のうちのいずれのレベルの車両であってもよい。

0039

データ処理装置10は、少なくとも1つの制御ユニット、及び記憶ユニットを含んで構成されている。前記制御ユニットは、Central Processing Unit(CPU)、Graphics processing unit(GPU)などの1つ以上のハードウェアプロセッサを含んで構成されている。前記記憶ユニットは、Random Access Memory(RAM)、Read Only Memory(ROM)、ハードディスクドライブ(HDD)、ソリッドステートドライブSSD)、フラッシュメモリ、その他の不揮発性メモリ揮発性メモリなど、半導体素子などによってデータを記憶可能な1つ以上の記憶装置で構成されている。

0040

また、データ処理装置10は、車両2に搭載されている各種機器、例えば、車載センサ30、始動スイッチ40、ナビゲーション装置50、電子制御ユニット(Electronic Control Unit:ECU)60又は振動装置70などに接続可能に構成されている。データ処理装置10は、車載センサ30で検出された各種の検出データ、始動スイッチ40のオンオフ信号などを取得でき、また、ナビゲーション装置50、電子制御ユニット60又は振動装置70などに対して、所定の制御信号などを出力できるようになっている。
また、ナビゲーション装置50、電子制御ユニット60又は振動装置70では、データ処理装置10から取得した所定の制御信号に基づいて、所定の制御動作が実行されるようになっている。

0041

電子制御ユニット60には、車両2の駆動部、制動部、操舵部、又はサスペンション部などの各部を制御する1つ以上の電子制御ユニットが含まれている。データ処理装置10は、ナビゲーション装置50、電子制御ユニット60又は振動装置70と、例えば、CAN(Controller Area Network)などの車載ネットワークで相互に通信可能な構成としてもよい。

0042

振動装置70は、例えば、運転者3の座席シートの下部、背部、又はヘッドレストなどに1つ以上配設され、運転者3の上体、又は頭部を上下、前後、又は左右の方向、或いはヨー又はピッチ方向などに所定の周期で連続的又は断続的に振動させることが可能な装置である。

0043

背景技術の欄に記載したように、実車環境では、路面状況、車両の挙動、及び運転者の頭部や眼の動きなどは一定ではない。そのため、運転者の瞳孔運動及び頭部運動を示すデータに、前庭動眼反射運動(シグナル成分)とは異なる運動成分、例えば、サッカード運動(衝動性眼球運動ともいう)や輻輳性運動などの成分(ノイズ成分)が多く含まれる。その結果、前庭動眼反射運動の算出に用いるデータのシグナルノイズ(SN)比が悪くなりやすく、運転者の前庭動眼反射運動を精度良く検出することが難しかった。なお、前庭動眼反射運動とは、人の頭部運動により誘発される眼球運動であり、頭部の動きの反対方向へ眼球を動かすことで、網膜像ブレを抑制する不随意的眼球運動である。

0044

係る課題を解決すべく、本実施の形態に係るデータ処理装置10は、前記SN比を改善するために、運転者3又は車両2の状態が前庭動眼反射運動の算出に適した所定の状態にない場合、該所定の状態になるように運転者3又は車両2に対する所定の介入制御を行う。

0045

例えば、前庭動眼反射運動以外の眼球運動を抑制するために、車両2を直進させる状態になるように、又は運転者3に特定の箇所を注視させる状態になるように、運転者3又は車両2に対して介入制御を行う。
または、運転者3が前庭動眼反射運動を起こしやすくするために、運転者3の頭部を上下、左右、前後、ヨー、又はピッチ方向に変位又は振動させる状態になるように、運転者3又は車両2に対して介入制御を行ってもよい。

0046

そして、データ処理装置10は、前記介入制御の後にカメラ20で撮像された画像を解析して、運転者3の瞳孔運動及び頭部運動のデータを測定し、これら測定したデータを用いて前庭動眼反射運動を算出する。これら処理により、実車環境における前庭動眼反射運動の検出精度が高められるようになっている。

0047

[構成例]
図2は、実施の形態に係るモニタリングシステム1のハードウェア構成の一例を示すブロック図である。
データ処理装置10は、データ取得部11、及び制御ユニット12、記憶ユニット13を含んで構成されている。

0048

データ取得部11は、カメラ20の他、車載センサ30、始動スイッチ40、ナビゲーション装置50、電子制御ユニット60、及び振動装置70などに接続され、これら装置との間で各種の信号やデータなどの授受を行うためのインターフェース回路接続コネクタなどを含んで構成されている。

0049

制御ユニット12は、状態判定部12a、介入制御部12b、測定部12c、データ判定部12d、算出部12e、眠気判定部12f、及び覚醒制御部12gを含んで構成されている。記憶ユニット13は、画像記憶部13a、取得データ記憶部13b、測定データ記憶部13c、及びプログラム記憶部13dを含んで構成されている。

0050

画像記憶部13aには、カメラ20から取得した運転者の画像データが記憶される。取得データ記憶部13bには、車載センサ30、ナビゲーション装置50、又は電子制御ユニット60などから取得したデータが記憶される。測定データ記憶部13cには、測定部12cで測定された、運転者の瞳孔運動及び頭部運動などのデータが、画像記憶部13aに記憶される各画像と紐付けて記憶される。プログラム記憶部13dには、制御ユニット12の各部で実行されるデータ処理のプログラム、及び該プログラムの実行や判定処理に必要なデータなどが記憶されている。

0051

制御ユニット12は、記憶ユニット13に画像データ、測定データなどを記憶する処理を行い、また、記憶ユニット13に記憶されたプログラムやデータなどを読み出し、これらプログラムを実行する。制御ユニット12が、記憶ユニット13と協働して、これらプログラムを実行することにより、状態判定部12a、介入制御部12b、測定部12c、データ判定部12d、算出部12e、眠気判定部12f、及び覚醒制御部12gの各部の動作が実現される。

0052

カメラ20は、運転者3の顔を含む画像を撮像する装置であり、例えば、図示しないレンズ部、撮像素子部、光照射部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタマイクロレンズなどを含んで構成されている。

0053

前記撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、紫外線又は赤外線を受けて撮像画像を形成できるCCD、CMOS、或いはフォトダイオード等の赤外線センサを含んで構成されてもよい。

0054

前記光照射部は、LED(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線LEDなどを用いてもよい。前記制御部は、例えば、CPU、メモリ画像処理回路などを含んで構成されている。

0055

前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光(例えば、近赤外線など)を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。カメラ20は所定のフレームレート(例えば、毎秒30〜60フレーム)で画像を撮像し、カメラ20で撮像された画像データがデータ処理装置10に出力される。

0056

カメラ20は、1台で構成されているが、2台以上で構成してもよい。また、カメラ20は、データ処理装置10と別体(別筐体)で構成してもよいし、データ処理装置10と一体(同一筐体)で構成してもよい。また、カメラ20は、単眼カメラでもよいし、ステレオカメラであってもよい。

0057

カメラ20の車室内での設置位置は、少なくとも運転者3の顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両2のダッシュボード中央付近の他、ステアリング部分ステアリングコラム部分メーターパネル部分、ルームミラー近傍位置、Aピラー部分、又はナビゲーション装置50などに設置してもよい。また、カメラ20の仕様画角画素数(縦×横)など)及び位置姿勢取付角度や所定の原点ハンドル中央位置など)からの距離など)を含む情報がカメラ20又はデータ処理装置10に記憶されてもよい。

0058

車載センサ30には、車外センサ31、加速度センサ32、ジャイロセンサ33、及び操舵センサ34などが含まれているが、これら以外のセンサを含んでもよい。

0059

車外センサ31は、車両2の周辺に存在する対象物を検出するセンサである。前記対象物には、他車両、自転車、人などの移動物体の他、白線など路面標示ガードレール中央分離帯、その他、車両2の走行に影響を与える構造物などが含まれてもよい。車外センサ31は、前方監視カメラ後方監視カメラレーダ(Radar)、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging(LIDAR)、及び超音波センサのうち少なくとも1つを含んで構成されている。車外センサ31で検出された対象物の検出データがデータ処理装置10に出力される他、電子制御ユニット60に出力されてもよい。
前記前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。前記レーダは、ミリ波等の電波車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。前記ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、及び距離などを検出する。

0060

加速度センサ32は、車両2の加速度を検出するセンサであり、XYZ軸の3方向の加速度を検出する3軸加速度センサを用いてもよいし、2軸、1軸の加速度センサを用いてもよい。3軸加速度センサには、静電容量型の他、ピエゾ抵抗型などの半導体方式の加速度センサを用いてもよい。加速度センサ32で検出された加速度データが、データ処理装置10に出力される他、ナビゲーション装置50又は電子制御ユニット60に出力されてもよい。

0061

ジャイロセンサ33は、車両2の回転角速度(例えば、ヨーレート)を検出する角速度センサである。ジャイロセンサ33で検出された回転角速度の信号がデータ処理装置10に出力される他、ナビゲーション装置50又は電子制御ユニット60に出力されてもよい。

0062

操舵センサ34は、車両2のステアリングに対する操舵量を検出するセンサであり、例えば、車両2のステアリングシャフトに設けられ、運転者3によりステアリングに与えられる操舵トルク又はステアリングの操舵角を検出する。操舵センサ43で検出された、運転者3のステアリング操作に応じた信号が、データ処理装置10に出力される他、電子制御ユニット60に出力されてもよい。

0063

ナビゲーション装置50は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部、GPS受信部などを含んで構成されている。ナビゲーション装置50は、GPS受信部などで計測された車両2の位置情報と地図データ記憶部の地図情報とに基づいて、車両2が走行する道路車線割り出し、車両2の現在位置から目的地までの経路などを演算し、該経路を表示部(図示せず)へ表示し、音声出力部(図示せず)から経路案内などの音声出力を行う。ナビゲーション装置50で求められた、車両2の位置情報、走行道路の情報、又は走行予定経路の情報などがデータ処理装置10へ出力される構成としてもよい。

0064

覚醒装置80は、データ処理装置10の覚醒制御部12gにより制御される装置であり、覚醒制御部12gからの制御信号に基づいて、運転者3を覚醒させるための動作を実行する。覚醒装置80は、例えば、音又は光などで運転者3に警告を発する警報装置冷風温風、又は香気成分臭気成分を含む気体などを運転者3に吹き付ける空調装置、ステアリングやシートベルトなどを振動させる振動装置などで構成することができる。

0065

次にデータ処理装置10の各部の構成について説明する。
データ取得部11で取得したカメラ20の画像データが、画像記憶部13aに記憶される。また、データ取得部11で取得した車載センサ30、ナビゲーション装置50、又は電子制御ユニット60のデータが、取得データ記憶部13bに記憶される。

0066

状態判定部12aは、画像記憶部13a又は取得データ記憶部13bから状態判定に用いるデータを読み出し、読み出したデータを用いて、運転者3又は車両2の状態が、前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する処理を行う。
前記所定の状態には、運転者3の頭部が振動しやすい状態(換言すれば、前庭動眼反射運動のシグナル成分、特に変位量が大きくなる状態)、例えば、運転者3の頭部が上下、左右又は前後方向、或いはヨー又はピッチ方向に、変位又は振動しやすい状態などが含まれる。

0067

また、前記所定の状態には、前庭動眼反射運動以外の眼球運動(例えば、サッカード運動や輻輳性運動など)が生じにくい状態(換言すれば、前庭動眼反射運動のノイズ成分が小さくなる状態)、例えば、車両2が直線道路を走行している状態、又は運転者3が特定の箇所を注視している状態などが含まれる。

0068

状態判定部12aで、前記所定の状態にあると判定された場合、前記所定の状態にあることを示す第1の判定信号が測定部12cに出力される。一方、状態判定部12aで、前記所定の状態にないと判定された場合、前記所定の状態にないことを示す第2の判定信号が介入制御部12bに出力される。

0069

介入制御部12bは、状態判定部12aから前記第2の判定信号を取得した場合に、運転者3又は車両2の状態が、運転者3の前庭動眼反射運動の算出に適した前記所定の状態になるように介入制御を行うとともに、該介入制御を実行したことを示す介入実行信号を測定部12cに出力する。

0070

介入制御部12bが行う介入制御の一例を説明する。
(1)介入制御部12bが、ナビゲーション装置50に対し、直線道路を走行するようにルート変更を指示するルート変更信号を出力する介入制御を行う。直線道路を走行している時は、通常、運転者3は前を向いているので、視線が一方向に定まりやすい状態にある。したがって、データ処理装置10では、前記介入制御により前庭動眼反射運動以外の眼球運動が生じにくい状態で、頭部運動及び瞳孔運動を測定することが可能となる。

0071

前記ルート変更信号は、例えば、車両2の現在地点と該現在地点から所定距離(例えば、500m)先の走行予定地点とが直線道路上にあるルートに変更させる制御信号でもよい。また、前記ルート変更信号は、例えば、車両2の現在地点から所定距離(例えば、500m)先の第1の走行予定地点までの直線の延長線と、前記第1の走行予定地点から所定距離(例えば、500m)先の第2の走行予定地点までの直線とのなす角度が所定の角度より小さくなる道路にルート変更させる制御信号でもよい。

0072

また、ナビゲーション装置50は、データ処理装置10から上記ルート変更信号を取得した場合、車両2の走行道路がルート変更信号で指示された条件を満たす直線道路であるか否かを判断する。

0073

ナビゲーション装置50の設定ルートが前記ルート変更信号で指示された条件を満たしていない場合、ナビゲーション装置50は、例えば、交差点ごとにルート探索を実行し、前記ルート変更信号で指示された条件に合致するルートに変更する処理を繰り返す。前記介入制御により、車両2の状態を前庭動眼反射運動の算出に適した状態にすることが可能となる。

0074

(2)車外センサ31により周囲の安全が確認された場合、介入制御部12bが、ナビゲーション装置50に対し、運転者3に所定の箇所を注視するように促す報知信号を出力する制御を行ってもよい。周囲の安全の確認とは、例えば車両2の前方及び後方100mに先行車または後続車が検出されず、車両の周囲5m以内にその他の障害物が検出されないことを指す。ただし周囲の安全の確認方法はこれに限定されない。
ナビゲーション装置50は、データ処理装置10から上記報知信号を受信した場合、例えば、「前方を注視してください。」といった音声を出力したり、画面に表示したりする制御を実行する。前記介入制御により、運転者3の眼の状態を前庭動眼反射運動の算出に適した状態、すなわち、前方を注視させる状態に誘導することが可能となる。

0075

(3)介入制御部12bが、ナビゲーション装置50に対し、運転者3に頭部を動かすように促す報知信号を出力する制御を行ってもよい。
ナビゲーション装置50は、データ処理装置10から上記報知信号を受信した場合、例えば、「前方を見たまま頭部を上下又は左右に動かしてください。」といった音声を出力したり、画面に表示したりする制御を実行する。前記介入制御により、運転者3の頭部の状態を前庭動眼反射運動の算出に適した状態、すなわち、頭部を振動させる状態に誘導することが可能となる。

0076

(4)介入制御部12bが、振動装置70に対し、運転者3の座席を上下、左右、前後又はピッチ方向などに所定の周期で振動させるための制御信号を出力する制御を行ってもよい。
振動装置70は、データ処理装置10から上記制御信号を受信した場合、例えば、所定期間、運転者3の座席を上下、左右、前後又はピッチ方向に所定の振動周期で振動させる制御を実行する。前記介入制御により、運転者3の頭部を前庭動眼反射運動の算出に適した状態、すなわち、頭部を振動させる状態にすることが可能となる。

0077

(5)介入制御部12bが、サスペンション制御ユニット61に対し、車両2を振動させやすい状態に制御するための制御信号を出力する制御を行ってもよい。
サスペンション制御ユニット61は、データ処理装置10から上記制御信号を受信した場合、例えば、一定期間、アクティブサスペンション機構減衰力を調整して、車体を上下又は左右などに揺動させやすい状態にする制御を実行する。前記介入制御により、運転者3の頭部を前庭動眼反射運動の算出に適した状態、すなわち、頭部を振動させる状態にすることが可能となる。

0078

なお、介入制御部12bでは、上記(1)〜(5)のいずれかの介入制御を行うように構成してもよいし、車両2又は運転者3の状態に応じて、上記(1)〜(5)のうちの2以上の介入制御を適宜組み合わせて実行するように構成してもよい。

0079

測定部12cは、状態判定部12aから前記第1の判定信号を取得した場合に、カメラ20で撮像された画像から運転者3の瞳孔運動及び頭部運動を測定する処理を行う。当該測定処理は、例えば、画像のフレーム毎に実行されるが、所定のフレーム間隔毎に実行されるようにしてもよい。その後、測定部12cは、測定した瞳孔運動及び頭部運動に係るデータを測定データ記憶部13cに記憶する処理を行うとともに、算出部12eに前庭動眼反射運動の算出を指示する信号(算出指示信号)を出力する。

0080

また、測定部12cは、介入制御部12bから前記介入実行信号を取得した場合においても運転者3の瞳孔運動及び頭部運動を測定する処理を行う。この場合、測定部12cは、測定した瞳孔運動及び頭部運動に係るデータを測定データ記憶部13cに記憶する処理を行うとともに、データ判定部12dに対し、測定データが、前庭動眼反射運動の算出に適したデータであるか否かの判定を指示する信号(判定指示信号)を出力する。

0081

測定部12cが行う瞳孔運動の測定処理の一例を説明する。
測定部12cは、まず、テンプレートマッチングによりカメラ20で撮像された画像から運転者3の顔(顔領域)を検出する。顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。次に、測定部12cは、前記画像から検出された運転者3の顔領域に対して、テンプレートマッチングにより前記顔領域から瞳孔の位置を検出する。前記瞳孔の位置の検出は、予め用意された瞳孔のテンプレート画像を用いてよい。そして、測定部12cは、前記画像のフレーム毎に瞳孔の位置を検出し、これらフレーム毎の瞳孔の位置変化(移動量)から瞳孔運動を測定する。

0082

次に測定部12cが行う頭部運動の測定処理の一例を説明する。
測定部12cは、まず、テンプレートマッチングによりカメラ20で撮像された画像から運転者3の顔(顔領域)を抽出する。前記顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。また、前記瞳孔運動を測定する処理で検出された運転者3の顔領域のデータを用いてもよい。

0083

次に、測定部12cは、前記画像から検出された運転者3の顔領域に対して、テンプレートマッチングにより前記顔領域から眼の位置を検出する。前記眼の位置の検出は、予め用意された眼のテンプレート画像を用いてよい。眼のテンプレート画像には、目尻と目頭の位置を示す座標が予め紐付けられている。前記目尻と目頭の座標から画像中における運転者3の目尻と目頭の位置を検出することが可能となっている。目尻と目頭の位置は、瞬きなどの眼の開閉動作によっては移動しないため、目尻と目頭の位置変化は頭部運動により動いたものと推定できる。
そして、測定部12cは、前記画像のフレーム毎に運転者3の目尻と目頭の位置を検出し、これらフレーム毎の目尻と目頭の位置変化(移動量)から頭部運動を測定する。

0084

なお、画像から運転者3の目尻と目頭の位置を検出する場合に、二次元の画像データを用いる他、三次元の位置情報を含む距離画像データと組み合わせて検出してもよい。
前記距離画像データを取得するために、例えば、モニタリングシステム1に三次元画像計測部を装備してもよい。該三次元画像計測部は、撮像された画像の各画素に対象物までの距離の値(奥行きに関する情報)を持たせた三次元画像距離画像)を取得するものである。前記三次元画像計測部は、例えば、ステレオ法などの受動型計測部であってもよいし、光レーダやパターン光などの光を投影する方式の能動型計測部であってもよい。

0085

二次元画像と距離画像とを組み合わせることによって、運転者3の目尻と目頭の位置の変化が、頭部の平行運動(上下、又は左右方向の運動)によるものであるのか、又は回転運動(ヨー又はピッチ方向の運動)によるものであるのかを精度よく検出することが可能になる。この構成により、瞳孔運動及び頭部運動をより正確に測定することが可能となり、前庭動眼反射運動のモニタリング精度をより高めることができる。

0086

また、運転者3の瞳孔運動及び頭部運動の測定処理は、上記した方法に限定されるものではなく、公知の各種手法を採用することもできる。例えば、国際公開第2006/051607号パンフレット、特開2007−249280号公報に開示されているように、画像のフレーム毎に顔の各器官特徴点を検出し、顔の各器官の特徴点の位置から顔の向きを求め、これらフレーム毎の顔の向きの変化(移動量)から頭部運動を測定するようにしてもよい。

0087

データ判定部12dは、測定部12cから前記判定指示信号を取得した場合、介入制御部12bにより前記介入制御が行われた後に測定部12cで測定されたデータが、前庭動眼反射運動の算出に適したデータであるかを判定する。
データ判定部12dが前庭動眼反射運動の算出に適したデータであると判定した場合、データ判定部12dは、算出部12eに前庭動眼反射運動の算出を指示する信号(算出指示信号)を出力する。
一方、データ判定部12dが前庭動眼反射運動の算出に適したデータではないと判定した場合、データ判定部12dは、介入制御部12bに前記介入制御を指示する信号(介入指示信号)を出力する。

0088

データ判定部12dが行う判定処理の一例を説明する。
(1)データ判定部12dは、瞳孔運動及び頭部運動のデータが測定部12cで取得できたか否かを判定する。そもそも、瞳孔運動及び頭部運動のデータが取得できていなければ、前庭動眼反射運動の算出を行うことができない。

0089

そこで、測定部12cでテンプレートマッチングにより瞳孔運動及び頭部運動を測定した場合において、画像から抽出された顔領域と顔のテンプレート画像との類似度、又は画像から抽出された眼領域と眼のテンプレート画像との類似度を判定する。それぞれの類似度が所定の閾値より低い場合は、画像から頭部(眼、すなわち目尻と目頭)の位置、又は瞳孔の位置を適切に取得できていない、すなわち、前庭動眼反射運動の算出に適したデータを取得できていないと判定してもよい。

0090

(2)データ判定部12dは、瞳孔運動のデータが前庭動眼反射運動以外の眼球運動、すなわちサッカード運動などのノイズ成分を多く含むデータであるか否かを判定してもよい。
例えば、瞳孔の運動量が頭部の運動量よりも大きい場合、又は頭部の移動又は回転方向追従して瞳孔が移動又は回転している場合など、眼球の回転速度や回転角などの眼球運動が所定の閾値より大きい場合、瞳孔運動のデータには、サッカード運動などのノイズ成分が多く含まれ、前庭動眼反射運動の算出に適した瞳孔運動データではないと判定してもよい。

0091

また、顔の向きが大きく動いたときは、運転者3が一定の方向を集中して見ようとしている状態ではないため、顔の回転速度や回転角などの頭部の運動が所定の閾値より大きい場合、頭部運動のデータにはノイズ成分が多く含まれ、前庭動眼反射運動の算出に適した頭部運動のデータではないと判定してもよい。

0092

(3)データ判定部12dは、測定部12cで瞳孔運動及び頭部運動を測定しているときの車速データを取得し、該車速データが所定の速度より小さいか否か、又は前記車速データが所定の速度より大きいか否かを判定することにより、測定部12cで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。

0093

一般的に車速が大きい場合、運転者3は前方の狭い範囲を集中して見ている傾向がある。一方で車速が小さい場合、運転者3は周辺の安全を確保するため、広い範囲を随意的に見渡す傾向にある。前庭動眼反射運動を算出する場合、運転者3が狭い範囲を集中して見ている状態での眼球運動及び頭部運動のデータを使用することが好ましい。
そこで、データ判定部12dは、車速データが所定の速度(例えば、徐行速度)より小さい場合、前庭動眼反射運動の算出に適したデータではないと判定する。又は前記車速データが所定の速度より大きい場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。

0094

さらに、データ判定部12dは、所定の速度を閾値にして2値判断するのではなく、眼球運動及び頭部運動のデータに対して車速に応じた重み付けを行ってもよい。例えば、車速が時速0〜20kmであれば重み係数0.2、時速20〜40kmであれば重み係数0.5、時速40〜60kmであれば重み係数0.8、時速60km以上であれば重み係数1.0を、眼球運動及び頭部運動のデータに対応付けて記憶し、前記重み係数を加味して前庭動眼反射運動を算出するようにしてもよい。

0095

(4)データ判定部12dは、測定部12cで瞳孔運動及び頭部運動を測定しているときの操舵データを取得し、該操舵データが所定の操舵角より大きいか否かを判定することにより、測定部12cで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。

0096

前庭動眼反射運動を算出する場合、運転者3が前方の狭い範囲を集中して見ている状態での眼球運動及び頭部運動のデータを使用することが好ましい。運転者3が前方の狭い範囲を集中して見ている傾向が高いのは、カーブが連続する道路を走行している場合よりも直線道路を走行している場合である。そこで、データ判定部12dは、操舵データが所定の操舵角より大きい場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。

0097

(5)データ判定部12dは、測定部12cで瞳孔運動及び頭部運動を測定しているときの車両2の位置データ又は走行道路データなどを取得し、車両2が直線道路を走行中であるか否かを判定することにより、測定部12cで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。

0098

運転者3が前方の狭い範囲を集中して見ている傾向が高いのは、カーブが連続する道路を走行している場合よりも直線道路を走行している場合である。そこで、データ判定部12dは、車両2が直線道路を走行していない場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。

0099

(6)データ判定部12dは、測定部12cで瞳孔運動及び頭部運動を測定しているときに、車外センサ31で取得された周辺監視データを取得し、車両2の周辺に障害物や先行車両などが存在するか否かを判定することにより、測定部12cで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。

0100

車両2に対して相対的に移動、例えば、接近している先行車両や障害物などが存在する場合、運転者3は、相対移動している先行車両や障害物を目で追跡する傾向があり、運転者3の眼が能動的に動いている状態にある。眼を能動的に動かしている状態は、前庭動眼反射運動の算出に適した状態にはない。そこで、データ判定部12dは、車両2に対して相対移動している先行車両や障害物などが検出されている場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。

0101

(7)データ判定部12dは、測定部12cで瞳孔運動及び頭部運動を測定しているときの運転者3の視線の向きを取得し、運転者3の視線の向きに基づいて、測定部12cで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。運転者3の顔が撮像された画像から運転者3の視線の向きを検出する方法には、公知の視線検出方法が採用される。

0102

例えば、運転者3が、地平線の方向など、前方の遠い場所を見ている場合、前方を集中して見ている可能性が高いので、例えば、視線の向きが、車両の前方(基準方向)に対して所定角度(例えば、上下±5度、又は左右±5度)以内である場合、前方を集中して見ていると判定してもよい。

0103

また、運転者3が、ナビゲーション装置50などの車内の操作部や表示部を見ている場合も、狭い範囲を注視している可能性が高い。したがって、例えば、運転者3の視線の向きが、ナビゲーション装置50などの設置方向である場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。ただし、車内の装備を注視しているときの測定データから前庭動眼反射運動を算出する場合は、安全性の観点から、自動運転レベルが前記SAEのレベル3以上の自動運転車両などにおいて適用することが好ましい。

0104

(8)データ判定部12dは、測定部12cで測定した頭部運動の運動量(平行移動又は回転移動)に基づいて、前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
前庭動眼反射運動は、運転者3の頭部が運動しなければ発生しない眼球運動である。したがって、データ判定部12dは、測定部12cで測定した頭部運動の運動量(平行移動又は回転移動)が、所定の運動量より小さい場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。

0105

(9)データ判定部12dは、測定部12cで瞳孔運動及び頭部運動を測定しているときの車両の加速度データを取得し、車両2の加速度データに基づいて、測定部12cで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
車両2の上下、左右又は前後方向などに所定の加速度が発生している場合、運転者3の頭部が上下、左右又はピッチ方向に運動しやすい状態になる。

0106

したがって、データ判定部12dは、車両2の加速度データが、運転者3の頭部運動が発生しやすい閾値より大きい場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。
また、データ判定部12dは、車両2の加速度データから求められた車両2の振動と、運転者3の頭部運動とが、同じ方向、かつ同等の周波数で振動しているなどの一定の関係にある場合、前庭動眼反射運動の算出に適したデータであると判定する。
車両2の加速度データは、車両2に装備した加速度センサ32からのデータを用いることができる他、車外センサ31で認識された物体との距離の時系列変化から車両2の速度を求め、該速度から求めた加速度データを用いてもよい。

0107

なお、データ判定部12dでは、上記(1)〜(9)のいずれかの判定を行うように構成してもよいし、車両2又は運転者3の状態に応じて、上記(1)〜(9)のうちの2以上の判定を適宜組み合わせて実行するように構成してもよい。

0108

算出部12eは、測定部12cから前記算出指示信号を取得した場合、測定データ記憶部13cから運転者3の瞳孔運動及び頭部運動のデータを読み出し、これらデータを用いて、前庭動眼反射運動を算出する処理を行う。
また、算出部12eは、データ判定部12dから前記算出指示信号を取得した場合、測定データ記憶部13cから運転者3の瞳孔運動及び頭部運動のデータを読み出し、これらデータを用いて、前庭動眼反射運動を算出する処理を行う。算出処理を行った後、算出部12eは、前庭動眼反射運動に関する算出データパラメータ)を眠気判定部12fに出力する。

0109

算出部12eで算出される前庭動眼反射運動に関するパラメータには、例えば、VORゲイン、残差標準偏差位相差の少なくともいずれかのデータが含まれている。
VORゲインは、原理的には頭部の運動(回転角速度)に対する瞳孔の運動(回転角速度)の応答度合を意味し、瞳孔の運動(回転角速度)/頭部の運動(回転角速度)で表すことができる。

0110

例えば、VORゲインは、目的変数を眼球回転角速度e(t)、説明変数を理想眼球角速度h(t)と定数項dcとする式[数1]の回帰モデル係数Gとして式[数2]により最小二乗推定して求めることができる。ここで、ε(t)は回帰モデルの残差である。また、τは理想眼球運動に対する眼球運動の遅れ時間である。
眼球回転角速度e(t)は、測定部12cで測定された瞳孔運動データに基づいて眼球運動角を求め、該眼球運動角を微分処理して求めることができる。理想眼球角速度h(t)は、測定部12cで測定された頭部運動データに基づいて頭部運動角を求め、該頭部運動角を微分処理して求めることができる。なお、VORゲインは、運転者3の前後、上下、左右、ヨー、及びピッチ方向の少なくとも1つの方向について算出すればよい。

0111

0112

0113

また、残差標準偏差(SDres)は、式[数3]により算出することができる。

0114

なお、VORゲインと残差標準偏差は、充分な推定精度が得られるように第1の時間(例えば、数十秒)のデータを1セグメントとし、第1の時間より短い第2の時間のオーバーラップを持たせながら、第2の時間より短い第3の時間毎に各セグメントにおける値を算出してもよい。また、一般的に運転者3が眠気を催すと、VORゲインが減少するとともに、残差標準偏差が増加する傾向が見られる。したがって、眠気の予兆を精度よく判定するため、VORゲインの減少率などの変化率、又は残差標準偏差の増加率などの変化率を求めてもよい。

0115

眠気判定部12fは、算出部12eから前庭動眼反射運動に関する算出データを取得した場合、取得した前庭動眼反射運動に関する算出データを用いて、運転者3の眠気を判定する。例えば、VORゲイン、残差標準偏差、位相差の少なくともいずれかのパラメータを用いて、所定の閾値との比較等を行い、運転者3の眠気度を判定してもよいし、前庭動眼反射運動以外のパラメータも加味して判定してもよい。眠気判定部12fは、運転者3の眠気を判定した後、運転者3の眠気の判定結果(例えば、眠気度)を覚醒制御部12gに出力する。

0116

覚醒制御部12gは、眠気判定部12fから取得した眠気度に基づいて、覚醒装置80に対し、運転者3を覚醒させるための制御信号を出力する処理を行う。
覚醒装置80が、例えば、音又は光などで運転者3に警告を発する警報装置で構成されている場合、覚醒制御部12gは、前記警報装置を所定期間作動させる制御信号を前記警報装置に出力する。
また、覚醒装置80が、冷風、温風、又は香気成分や臭気成分を含む気体などを運転者3に吹き付ける空調装置で構成されている場合、覚醒制御部12gは、前記空調装置を所定期間作動させる制御信号を前記警報装置に出力する。
また、覚醒装置80が、ステアリングやシートベルトなどを振動させる振動装置で構成されている場合、覚醒制御部12gは、前記振動装置を所定期間作動させる制御信号を前記振動装置に出力する。

0117

また、ナビゲーション装置50、又は振動装置70に対し、運転者3を覚醒させるための制御信号を出力する処理を行ってもよい。この場合、前記制御信号には、ナビゲーション装置50に対して、運転者3を覚醒させるための警告音警告表示を出力させる制御信号、振動装置70により座席を所定期間振動させる制御信号などが含まれる。

0118

[動作例]
図3は、実施の形態に係るデータ処理装置10における制御ユニット12が行う処理動作を示したフローチャートである。本処理動作は、例えば、車両2の始動スイッチ40がオンされた後に実行されるようになっている。

0119

ステップS1では、制御ユニット12がカメラ20を起動させる処理を行う。カメラ20では、毎秒所定フレーム数の画像が撮像される。制御ユニット12は、これら撮像された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行する。

0120

ステップS2では、データ取得部11が、カメラ20、車載センサ30、又はナビゲーション装置50からデータを取得する処理を行う。例えば、運転者3を撮像した画像データをカメラ20から取得する他、車載センサ30から周辺監視データなどを取得してもよいし、走行道路の形状(直線、カーブなど)などを含む道路データをナビゲーション装置50から取得してもよい。

0121

ステップS3では、状態判定部12aが、ステップS2で取得したデータを用いて、運転者3又は車両2の状態が、前庭動眼反射運動(VOR)の算出に適した所定の状態にあるか否かを判定する。前記所定の状態については、上記説明のとおりである。

0122

ステップS3において、状態判定部12aが、運転者3又は車両2の状態が前記所定の状態にはないと判断すれば、制御ユニット12はステップS4を実行する。
ステップS4では、介入制御部12bが、運転者3又は車両2が前記所定の状態になるように介入制御を行い、次に制御ユニット12はステップS5を実行する。なお、ステップS4では、上記説明した(1)〜(5)のいずれかの介入制御を行うように構成してもよいし、車両2又は運転者3の状態に応じて、上記(1)〜(5)のうちの2以上の介入制御を適宜組み合わせて実行するように構成してもよい。

0123

ステップS5では、測定部12cが、運転者3の瞳孔運動を測定する処理を行い、次のステップS6では、測定部12cが、運転者3の頭部運動を測定する処理を行い、次に制御ユニット12はステップS7を実行する。なお、ステップS5、S6の順序入れ替えてもよい。

0124

ステップS7では、データ判定部12dが、ステップS5、S6で測定された運転者3の瞳孔運動及び頭部運動のデータが前庭動眼反射運動の算出に適用可能であるか否かを判定する。なお、ステップS7では、上記説明した(1)〜(9)のいずれかの判定を行うように構成してもよいし、車両2又は運転者3の状態に応じて、上記(1)〜(9)のうちの2以上の判定を適宜組み合わせて実行するように構成してもよい。

0125

ステップS7において、データ判定部12dが、前記データが前庭動眼反射運動の算出に適用可能ではないと判断すれば、制御ユニット12はステップS4の処理に戻り、処理を繰り返す。一方、ステップS7において、データ判定部12dが、前記データが前庭動眼反射運動の算出に適用可能であると判断すれば、制御ユニット12はステップS10を実行する。

0126

また、一方ステップS3において、状態判定部12aが、運転者3又は車両2の状態が前記所定の状態にあると判断すれば、制御ユニット12はステップS8を実行する。
ステップS8では、測定部12cが、運転者3の瞳孔運動を測定する処理を行い、次に制御ユニット12はステップS9を実行する。瞳孔運動の測定処理は、ステップS5と同様の測定処理を行うようになっている。

0127

ステップS9では、測定部12cが、運転者3の頭部運動を測定する処理を行い、次に制御ユニット12はステップS10を実行する。頭部運動の測定処理は、ステップS6と同様の測定処理を行うようになっている。なお、ステップS8、S9の順序を入れ替えてもよい。

0128

ステップS10では、算出部12eが、前庭動眼反射運動を算出し、次に制御ユニット12はステップS11を実行する。前庭動眼反射運動の算出データには、VORゲイン、残差標準偏差、位相差のうちの少なくともいずれかが含まれる。

0129

ステップS11では、眠気判定部12fが運転者3の眠気度を算出し、次のステップS12では、眠気判定部12fが、眠気度が所定の閾値より小さいか否かを判断する。ステップS12において、眠気度が所定の閾値以上であると判断すれば、制御ユニット12はステップS13を実行する。
ステップS13では、覚醒制御部12gが、ナビゲーション装置50又は振動装置70に、運転者3を覚醒させるための所定の制御信号を出力する処理を行い、次に制御ユニット12はステップS14を実行する。

0130

ステップS14では、始動スイッチ40がオフされたか否かを判断し、始動スイッチ40がオフされていないと判断すれば、制御ユニット12はステップS2の処理に戻る。一方、ステップS14において、始動スイッチ40がオフされたと判断すれば、制御ユニット12はステップS15を実行する。ステップS15では、制御ユニット12がカメラ20の駆動を停止し、処理を終える。

0131

[作用・効果]
上記実施の形態に係るデータ処理装置10によれば、前庭動眼反射運動の算出に適した所定の状態でない場合、介入制御部12bによる介入制御によって、運転者3の前庭動眼反射運動の算出に適した状態、換言すれば、運転者3又は車両2を前庭動眼反射運動の算出のためのシグナルノイズ(SN)比を高めることができる状態に促すことができる。
そして、前記SN比が高くなるように促された状態で、運転者3の瞳孔運動及び頭部運動を測定し、前記前庭動眼反射運動を算出するので、実車環境であっても前庭動眼反射運動のモニタリング精度を高めることができる。

0132

また、データ処理装置10によれば、介入制御部12bによる介入制御が行われた後に測定された前記データのうち、データ判定部12dにより判定された前記適したデータを用いて前庭動眼反射運動が算出されるので、前記介入制御が行われた後における前庭動眼反射運動のモニタリング精度をより高めることができる。

0133

また、データ処理装置10によれば、前記所定の状態にあると判定された場合、換言すれば、前記SN比が高いと想定される状態では、介入制御部12bによる介入制御を行うことなく、測定部12cで測定された運転者3の瞳孔運動及び頭部運動のデータを用いて、前庭動眼反射運動を算出することができ、前記介入制御による運転者3への負担を少なくすることができる。

0134

また、データ処理装置10によれば、眠気判定部12fを備えているので、実車環境下における運転者3の眠気度を精度良く判定することができ、また、覚醒制御部12gを備えているので、眠気度に応じて運転者3を適切に覚醒させる制御を行うことができる。

0135

また、データ処理装置10とカメラ20とを備えたモニタリングシステム1によれば、実車環境下において導入しやすいモニタリングシステムを提供することができる。
また、データ処理装置10と覚醒装置80とを備えた覚醒システムにより、実車環境下において、運転者3を適切に覚醒させることができるシステムを提供することができる。

0136

[変形例]
以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。

0137

(変形例1)
データ処理装置10の制御ユニット12は、図2に示した各部を全て備えている必要はなく、別の実施の形態では、制御ユニット12が、少なくとも介入制御部12b、測定部12c、算出部12eを備えた第1の構成、該第1の構成に状態判定部12aをさらに備えた第2の構成、前記第1の構成又は前記第2の構成にデータ判定部12dをさらに備えた第3の構成、前記第1〜第3の構成のいずれかに眠気判定部12fをさらに備えた第4の構成、又は前記第4の構成に覚醒制御部12gをさらに備えた第5の構成によって構成されてもよい。

0138

(変形例2)
図3で説明した制御ユニット12が行う処理動作において、ステップS2とステップS3との間に、ステップS8の瞳孔運動の測定処理と、ステップS9の頭部運動の測定処理とを実行する。そして、頭部運動の測定処理の後、ステップS3の判定処理を行い、ステップS3において、前記所定の状態にあると判断した場合に、ステップS10に進み、前庭動眼反射運動の算出を行うようにしてもよい。また、この場合、ステップS3の状態判定処理に代えて、ステップS7のデータ判定処理を実行するようにしてもよい。

0139

(変形例3)
また、ステップS7のデータ判定処理では、運転者3の瞳孔運動及び頭部運動のデータが前庭動眼反射運動の算出に適用可能であるか否かの2値判定を行っているが、別の実施の形態では、2値判定ではなく、適用可能な状態に応じた重み付け判定を行うようにしてもよい。そして、重み付け判定後にステップS10に進み、ステップS7において重み付けされた瞳孔運動及び頭部運動のデータを用いて、前庭動眼反射運動を算出するようにしてもよい。

0140

係る構成を採用した場合、測定部12cで測定された前記データが、前庭動眼反射運動の算出に適したデータであるかを前記重み付けによって細かく判定することができる。また、前記重み付けを加味して前庭動眼反射運動を算出することにより、前記データの一部だけではなく全てを用いて、実車環境に対応した前庭動眼反射運動をモニタリングすることができる。

0141

(変形例4)
また、上記実施の形態では、モニタリングシステム1及びデータ処理装置10が車両2に搭載されている場合について説明したが、モニタリングシステム1及びデータ処理装置10は、車載用に限定されるものではない。
別の実施の形態では、例えば、モニタリングシステム1及びデータ処理装置10を工場内や事務所内に設置して、工場内に装備された設備を操作する人、で所定の作業を行う人などの眠気をモニタリングするシステムなどにも広く適用することができる。この場合、工場内で人が操作する物には、例えば、生産装置などが挙げられる。また、事務所内で人が操作する物には、例えば、パーソナルコンピュータなどの事務機器などが挙げられる。

0142

[付記]
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
(付記1)
人をモニタリングするためのデータ処理を行うデータ処理装置(10)であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部(12a)と、
該状態判定部(12a)により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部(12b)と、
該介入制御部(12b)により前記介入制御が行われた場合、又は前記状態判定部(12a)により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部(12c)と、
該測定部(12c)により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部(12e)と、を備えていることを特徴とするデータ処理装置。

0143

(付記2)
データ処理装置(10)と、
人を含む画像を撮像するカメラ(20)とを含み、
データ処理装置(10)の測定部(12c)が、
カメラ(20)から取得した画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴とするモニタリングシステム(1)。

0144

(付記3)
人をモニタリングするためのデータ処理方法であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップ(S3)と、
該状態判定ステップ(S3)により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップ(S4)と、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップ(S5、S6又はS8、S9)と、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップ(S10)とを含むステップを実行させることを特徴とするデータ処理方法。

0145

(付記4)
人をモニタリングするためのデータ処理を少なくとも1つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも1つのコンピュータに、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップ(S3)と、
該状態判定ステップ(S3)により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップ(S4)と、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップ(S5、S6又はS8、S9)と、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップ(S10)とを実行させることを特徴とするデータ処理プログラム。

0146

1モニタリングシステム
2 車両
3運転者
10データ処理装置
11データ取得部
12制御ユニット
12a状態判定部
12b介入制御部
12c測定部
12dデータ判定部
12e 算出部
12f眠気判定部
12g覚醒制御部
13記憶ユニット
13a画像記憶部
13b取得データ記憶部
13c 測定データ記憶部
13dプログラム記憶部
20カメラ
30車載センサ
31車外センサ
32加速度センサ
33ジャイロセンサ
34操舵センサ
40始動スイッチ
50ナビゲーション装置
60電子制御ユニット(ECU)
61サスペンション制御ユニット
70振動装置
80 覚醒装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ニプロ株式会社の「 留置針組立体」が 公開されました。( 2019/09/19)

    【課題】従来よりも安全性などの向上を図ることのできる、新規な構造の留置針組立体を提供する。【解決手段】針先を有する留置針と、前記留置針の基端側に設けられた針ハブと、筒状の周壁を有し、前記針ハブに外挿装... 詳細

  • 阪神高速技術株式会社の「 予告看板」が 公開されました。( 2019/09/19)

    【課題】道路に規制区域が存在する等の事象の情報を、車両の運転者に効果的に通知できる予告看板を提供する。【解決手段】 予告看板1は可搬型であり、道路交通に関する情報を視覚的に認識可能に表示する表示パネ... 詳細

  • オムロン株式会社の「 算出システム、指標算出方法、およびコンピュータプログラム」が 公開されました。( 2019/09/19)

    【課題】移動中の移動体において、人物の覚醒度に関する情報を、より高い精度で得ることのできる算出システムを提供すること。【解決手段】移動体M中の運転者Dの顔を撮影するカメラ11と、移動体Mの運動データを... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ