図面 (/)

技術 覚醒状態の変化を早期発見する方法および検知装置

出願人 国立大学法人豊橋技術科学大学
発明者 章忠三宅哲夫安田好文
出願日 2006年4月25日 (14年10ヶ月経過) 出願番号 2006-120561
公開日 2007年11月8日 (13年3ヶ月経過) 公開番号 2007-293587
状態 特許登録済
技術分野 交通制御システム 交通制御システム 画像処理 イメージ分析 生体の呼吸・聴力・形態・血液特性等の測定
主要キーワード 卒業論文 微小変動量 視線解析 微小運動 視線推定 車両運転手 角膜反射点 非接触測定
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2007年11月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

カメラ等を用いて顔画像を撮り、顔画像から視線を検出し、視線の微細動き解析して覚醒状態を判定することにより、眠気および注意力低下の早期発見を可能とすること。

解決手段

カメラ等を用いて顔画像を計測し、視線を検出する手段においては、顔画像から顔の特徴点や基本参照点などを取得し、顔の向きや回転を考慮して顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心中点推定する。推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、黒目変位量を計算することで視線を推定できる。通常、前方を注視するときに、視線の微小な動きは活発で範囲が大きく、情報を正しく獲得できる。一方、眠気が生じたりや注意力が低下すると、視線の微小な動きは不活発で範囲が狭く、情報を正しく獲得できなくなる。従って,視線の微小な動きの範囲を解析すれば、眠気および注意力低下を判定でき、早期発見を可能にする。

概要

背景

特許文献1乃至特許文献7にみられるように、車両の安全運行のために車両運転手の状態を検出する技術、または状態を検出後、解析を行い、安全制御を行う技術が、非常に多く開発されている。とくに、自動車における居眠りわき運転の状態を検出する技術が多く存在する。

前述した特許文献では、自動車等の限られたスペースなどの設置条件や、さまざまな気象光源からの照明などの環境条件に対応して、運転手の状態を的確に検出するための技術がほとんどである。以上から、従来技術は、安全性を高めるための技術というよりは、事故に対するサポート被害の軽減に寄与するためのものということができる。

しかし、進行中の自動車や列車などの車両に対して、居眠りやわき見の状態を検出するのでは対応が遅くなり、事故の発生を未然に防ぐことは難しい。さらに、車両を運転中に、ほかの事を考えたりして注意力が低下することによる事故を未然に防ぐことも従来技術では極めて困難である。
特開2002−254956公報
特開平11−276461公報
特開平9−20157公報
特開2001−005952公報
特開平7−093700公報
特開平8−083344公報
特開平7−032907公報

概要

カメラ等を用いて顔画像を撮り、顔画像から視線を検出し、視線の微細動きを解析して覚醒状態を判定することにより、眠気および注意力低下の早期発見を可能とすること。 カメラ等を用いて顔画像を計測し、視線を検出する手段においては、顔画像から顔の特徴点や基本参照点などを取得し、顔の向きや回転を考慮して顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心中点推定する。推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、黒目変位量を計算することで視線を推定できる。通常、前方を注視するときに、視線の微小な動きは活発で範囲が大きく、情報を正しく獲得できる。一方、眠気が生じたりや注意力が低下すると、視線の微小な動きは不活発で範囲が狭く、情報を正しく獲得できなくなる。従って,視線の微小な動きの範囲を解析すれば、眠気および注意力低下を判定でき、早期発見を可能にする。

目的

居眠り運転などによる事故や運転手の注意力の低下による事故の発生を未然に防ぐことができるように、居眠りの前段階、すなわち眠気の発生や、注意力の低下を早期に発見する覚醒状態の変化を検知する方法ならびに装置を提供することである。

効果

実績

技術文献被引用数
1件
牽制数
4件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

人の眼球が行う無意識微小運動生体情報として検出して、意識の覚醒状態を判定する方法。

請求項2

人の眼球が視野内の物体注視するときに行う無意識の微小な運動を視線として検出して、視線の微小変動量解析することによって、とくに眠気ならびに注意力の低下を早期に検知する方法。

請求項3

人の顔の特徴点や基本参照点を元にして左右眼球中心中点推定し、推定した左右眼球中心の中点の画像面に投影した点と左右黒目中心の中点との距離を黒目変位量として計算して視線を推定する方法および装置。

請求項4

人の眼球が行う無意識の微小な運動を生体情報として検出する検出部と、覚醒状態を判定処理する判定処理部からなる、覚醒状態の検知装置

請求項5

人の眼球が視野内の物体を注視するときに行う無意識の微小な運動を視線として検出し解析を行う検出および解析部と、覚醒状態低下の判定を行う処理部から構成される、眠気ならびに注意力低下を早期発見する検知装置。

技術分野

0001

本発明は、車両等の運転手微小眼球運動生体情報として検出し解析することにより、運転手の意識の覚醒状態の変化を早期に検知する方法ならびに装置に関する。

背景技術

0002

特許文献1乃至特許文献7にみられるように、車両の安全運行のために車両運転手の状態を検出する技術、または状態を検出後、解析を行い、安全制御を行う技術が、非常に多く開発されている。とくに、自動車における居眠りわき運転の状態を検出する技術が多く存在する。

0003

前述した特許文献では、自動車等の限られたスペースなどの設置条件や、さまざまな気象光源からの照明などの環境条件に対応して、運転手の状態を的確に検出するための技術がほとんどである。以上から、従来技術は、安全性を高めるための技術というよりは、事故に対するサポート被害の軽減に寄与するためのものということができる。

0004

しかし、進行中の自動車や列車などの車両に対して、居眠りやわき見の状態を検出するのでは対応が遅くなり、事故の発生を未然に防ぐことは難しい。さらに、車両を運転中に、ほかの事を考えたりして注意力が低下することによる事故を未然に防ぐことも従来技術では極めて困難である。
特開2002−254956公報
特開平11−276461公報
特開平9−20157公報
特開2001−005952公報
特開平7−093700公報
特開平8−083344公報
特開平7−032907公報

発明が解決しようとする課題

0005

居眠り運転などによる事故や運転手の注意力の低下による事故の発生を未然に防ぐことができるように、居眠りの前段階、すなわち眠気の発生や、注意力の低下を早期に発見する覚醒状態の変化を検知する方法ならびに装置を提供することである。

課題を解決するための手段

0006

覚醒状態の変化を検知するために、対象となる車両運転手などの生体情報を検出し、解析する方法と解析情報を元に状態を判定処理する方法を提供する。非接触測定が可能であること、人の情報源としてほとんどを占めているといわれていることから、生体情報源として眼球に着目する。

0007

とくに、眼球の持つ生体情報として、人が注視するときの眼球の微小運動視線の微小な変動量として計測し、視線の微小な動きを解析し判定処理を行う。非特許文献1に示したように、覚醒状態と眼球の微小運動、すなわち視線の変動量との間には関係がある。前述の文献では、四つの電極を眼球の周りに付けることで変動量の信号を検出している。

0008

本発明は、前述した生体情報の関係を元にしているが、カメラ等による視点の検出と画像処理を組み合わせて、視線の微小な変動量を非接触に検出できる点に、これまでにない大きな進歩性がある。
鈴木直也、“生体信号を用いた眠気の検出法に関する研究”、豊橋技術科学大学卒業論文、2005

発明の効果

0009

覚醒時の注視による微小な眼球運動は、活発で変動量が大きいという特徴がある。一方、覚醒状態の低下時には、注視による微小眼球運動は、ほとんど停滞し、変動量は小さいという生体情報としての特徴がある。これらの特徴を視線の微小変動量として検出し解析することで覚醒状態を判定できるようになる。

発明を実施するための最良の形態

0010

本発明は図1に示すように実施される。まずカメラ等を用いて顔画像を計測し、視線を検出する。次に視線の微細な動きを解析する。最後に視線の微小な変位量から覚醒状態を判定し眠気および注意力低下を早期発見する。

0011

図2に示すのは頭上から見た眼球と正面からみた目を画像面に投影した図である。ただし、図中の1と4は眼球の中心、2は眼球中心線、3は左右眼球中心中点、5は左右黒目中心の中点、6は左右眼球中心の中点の画像面に投影した点、7は,左右の目尻間距離である。図2に示した目のモデルを元にして視線検出の流れを図3に示す。

0012

図3に示すのは視線検出の流れである。まずカメラ等で顔画像を計測し、顔の特徴点や基本参照点などを取得する。次に顔の向きや回転を考慮し顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心の中点を推定する。最後に推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、以下に示す数式(1)および数式(2)により黒目変位量dを計算して視線を推定する。なお、数式(1)および数式(2)において、右矢印するアルファベット文字を用いて、ベクトル量を表すこととする。

0013

0014

上記の数式において、黒目変位ベクトルwは、画像上の左右黒目中心の中点位置ベクトルPと眼球中心の中点位置ベクトルQの差を目尻間距離Lで正規化したベクトルである。

0015

0016

上記の数式において、黒目変位量dは、基本画像の黒目変位ベクトルw_0と判定画像の黒目変位ベクトルwのユークリッド距離である。

0017

図4には、眼球中心の中点と、眼球中心の中点を推定するために用いる顔面の特徴点の関係、およびカメラと顔の相対位置関係を表す視線推定方法の実施例の概略図を示す。図中の8は推定される左右眼球中心の中点、9は左右黒目中心の中点、10は顔面の特徴点、11は顔の横軸x、12は顔の縦軸y、13は顔の前後方向の軸z、14はカメラと顔の左右黒目中心の中点との間の距離、15はカメラである。

0018

従来の視線推定手法である特許文献1では、画像面上の角膜反射点瞳孔中心点との相対位置から視点位置を推定する手法を用いている。

0019

一方、図4の実施例では前述の手法とは異なり、顔の特徴点や基本参照点などを元にして左右眼球中心の中点を推定し、それの画像面に投影した点と左右黒目中心の中点との距離、すなわち黒目変位量を計算して視線を推定するものである。

0020

図4の視線推定方法の実施例では以下の特徴を持っている。1)カメラ校正顔モデルの作成など、複雑な初期設定を必要としない。2)計算速度が速く、1台のカメラを用いて高精度で視線を推定できる。3)顔の縦、横、左右の回転の影響を受けず、視線の動きを正しく検出することができる。

0021

図5視線解析結果の例である。図5の視線解析例は、正面付近に置かれたカメラおよびその周辺を自由に見ている状態の視線の動きを示す。変位量0.01は視線角度で約6度に相当しており、この図では、縦方向±約4度、横方向±約3度の範囲内を視線がランダムに移動する様子が検出されている。

0022

図5に示すように、車両運転手は集中して前方を注視するときに、視線の動きは活発で範囲が大きく、前方の情報を正しく獲得できる。しかし、車両運転手は眠気が発生するとき、またはほかの事を考えて注意力が低下したときに、視線の動きは不活発で範囲が狭く、前方の情報を正しく獲得できなくなる。すなわち、視線の動きの範囲検出により眠気と注意力低下を早期発見することができる。

0023

図6は、本発明による覚醒状態検知装置ステムの概略を示したものである。まず車両等の運転手の顔20をカメラ16により撮影し、得られた顔画像から本発明に係る視線推定方法を用いて視線解析装置17により運転手の視線の微小な変位量を測定する。その測定された変位量を用いて、覚醒状態判定装置18は視線の移動範囲から覚醒状態の判定を行う。覚醒状態でないと判断されると、例として、警告装置19を動作させ、運転手20に覚醒状態でないことを表示や音や振動などで通知するとともに注意力を取り戻させることができる。

0024

前述した覚醒状態検知装置システムのように、本発明は眠気および注意力低下の早期発見により、列車および自動車の交通事故を低減すること、さらに機器作業中、または監視中の操作員の眠気および注意力低下の早期発見により、事故を未然に防いだり、その発生頻度を低減したりすることに寄与できる。

図面の簡単な説明

0025

本発明に係る全体的な処理の流れ図である。
視線検出における基本原理を示す図である。
視線推定の手順を示す図である。
本発明に係る視線推定方法の実施例の概略図である。
本発明による視線検出解析例の図である。
本発明による覚醒状態検知装置システムの概略図である。

符号の説明

0026

1眼球の中心
2眼球中心線
3左右眼球中心の中点
4 眼球の中心
5左右黒目中心の中点
6 左右眼球中心の中点の画像面に投影した点
7 左右の目尻間距離
8推定される左右眼球中心の中点
9 左右黒目中心の中点
10顔面の特徴点
11 顔の横軸x
12 顔の縦軸y
13 顔の前後方向の軸z
14カメラと顔の左右黒目中心の中点との間の距離
15 カメラ
16 カメラ
17視線解析装置
18眠気判定装置
19警告装置
20 車両等運転手の顔

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ