技術 目検知装置、居眠り検知装置及び目検知装置の方法

0001

本発明は、顔を撮影した画像から目を検知する目検知装置、居眠り検知装置及び目検知装置の方法に関し、特に、鼻孔位置をより精度よく確定可能な目検知装置、居眠り検知装置及び目検知装置の方法に関する。

0002

走行中の運転者の顔を撮影し撮影された画像データを処理して、運転者の居眠りを検出した場合、運転者に警告することで覚醒状態への復帰を促す居眠り検知技術が提案されている（例えば、特許文献１参照。）。特許文献１では、運転者の顔の特徴として鼻孔を検出し、検出された鼻孔から眼の位置を推定しそこに設定された眼球探索領域において眼の開閉を検出する。そして、例えば、閉眼時間が所定時間以上継続する場合には運転者の覚醒度が低いと判定して警報音などにより運転者に注意を促す。
特開平１０−８６６９６号公報

0003

しかしながら、特許文献１では２つ並ぶ黒点を鼻孔と定義しているため、左右の鼻孔のうちいずれかが検出されないと鼻孔が検出されないことになり眼の開閉の検出も困難になってしまうという問題がある。鼻孔はメガネや髪の毛などに覆われることが少なく、また、眉毛とも離れているので比較的検出が容易であるが、運転者が横を向いた場合や、正面を向いていても顔に横方向から直射日光が照射されるような場合は鼻孔に陰が生じ検出できない場合がある。

0004

本発明は、上記課題に鑑み、鼻孔位置から眼の位置を推定する眼検知装置において、より精度よく鼻孔位置を確定して眼の位置を検知可能な目検知装置、居眠り検知装置及び目検知装置の方法を提供することを目的とする。

0005

上記課題を解決するため、本発明は、顔画像から抽出された２つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、鼻孔位置確定手段は、所定条件が成立する場合、１つの特徴点をもって鼻孔位置を確定する、ことを特徴とする。

0006

本発明によれば、１つの特徴点により鼻孔位置を確定できるので、２つの特徴点が検知できないことに起因して眼が検知できないことを防止できる。

0007

また、本発明の一形態において、顔画像から正面方向に対する顔向き度を検知する顔向き検知手段を有し、顔向き検知手段が検知した顔向き度が所定値以上の場合、鼻孔位置確定手段は、１つの特徴点をもって鼻孔位置を確定する、ことを特徴とする。

0008

本発明によれば、顔向きが横方向を向いている場合は鼻孔が１個しか検出されない場合が多いが、顔向きが所定以上横方向を向いている場合は鼻孔を１個検出した時点で眼を探索することで２つの特徴点が検知できないことに起因して眼が検知できないことを防止できる。

0009

また、本発明は、顔画像から抽出された２つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、鼻孔位置確定手段は、第１の所定値以上の特徴量を有する第１特徴点を抽出する第１特徴点抽出手段と、第１特徴点が１個しか抽出されない場合、第１特徴点から所定距離内の、第１の所定値未満かつ第２の所定値以上の特徴量を有する第２特徴点を抽出する第２特徴点抽出手段と、を有することを特徴とする。

0010

本発明によれば、顔向きや光の影響等により鼻孔が１個しかはっきりと検出されない場合、鼻孔検出のための閾値を下げ鼻孔があると推定される箇所から２個目の鼻孔を検出することができる。

0011

また、本発明は、顔画像から第１所定値以上の特徴量を有する２つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、顔画像から正面方向に対する顔向き度を検知する顔向き検知手段を有し、鼻孔位置確定手段は、所定値以上の顔向き度が検知された場合、第１所定値を小さくして顔向き方向の前記特徴点を抽出する、ことを特徴とする。

0012

本発明によれば、顔向き度の方向の鼻孔を検出するための閾値を下げることで、検出の困難な方の鼻孔を検出しやすくすることができる。

0013

また、本発明は、顔画像に鼻孔探索領域を設定し、鼻孔探索領域から抽出される２つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、開閉検出手段が眼の位置を検出している場合、鼻孔位置確定手段は前記鼻孔探索領域を横方向に広げて設定する、ことを特徴とする。

0014

本発明によれば、鼻孔探索領域を横方向に広げることで、横方向を向いていて鼻孔の位置も横方向に移動しても良好に鼻孔を検出することができる。

0015

鼻孔位置から眼の位置を推定する眼検知装置において、より精度よく鼻孔位置を確定して眼の位置を検知可能な目検知装置、居眠り検知装置及び目検知装置の方法を提供することができる。

0016

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。本実施形態の眼検知装置１０は、原則的に鼻孔を２個検出し鼻孔位置から眼の位置を推定するが、鼻孔が１個しか検出されない場合、顔向き度が所定値以上の場合等のように、２個の鼻孔を全て検出することが困難な場合、１個の鼻孔に基づき鼻孔位置を確定したり、閾値を下げて２個目の鼻孔を検出して鼻孔位置を確定するなどして、鼻孔位置から眼の位置を推定する。

0017

図１は、本実施形態の眼検知装置１０を含む居眠り検知装置１のシステム構成図を示す。眼検知装置１０は、顔カメラ１１及び顔画像処理ＥＣＵ（Electronic Control Unit）１２から構成され、眼検知装置１０がさらにＣＡＮ（Controller Area Network）など車内ＬＡＮを介して衝突判断ＥＣＵ１３、コンビネーションメータ１４，ブレーキＥＣＵ１５及びミリ波レーダ装置１６と接続されて居眠り検知装置１が構成されている。

0018

顔画像処理ＥＣＵ１２は、顔カメラ１１により撮影された顔画像を画像処理して運転者の顔が正面方向に対し左右のどのくらい角度を向いているか示す顔向き度、及び、どのくらい眼が開いているかを示す眼の開度（上瞼と下瞼の距離）を、衝突判断ＥＣＵ１３に送出する。

0019

衝突判断ＥＣＵ１３は、顔向き度とその継続時間から脇見運転を検知し、また、眼の開度とその継続時間から居眠り運転を検知し、コンビネーションメータ１４から聴覚的又は視覚的に警告する。また、衝突判断ＥＣＵ１３は、ミリ波レーダ装置１６が検出した障害物までの距離及び相対速度に基づき障害物の衝突の可能性を判定し、衝突の可能性が高い場合は警報音を吹鳴し、衝突が不可避となるとブレーキＥＣＵ１５に車両の強制的な制動を要求する。また、衝突判断ＥＣＵ１３は、運転者の顔向き度が所定以上の場合や所定時間以上の閉眼が継続して検出されている場合には、警報の吹鳴や車両の制動を早期に実行する。

0020

顔画像処理ＥＣＵ１２及び衝突判断ＥＣＵ１３は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となりまた一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、データのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。ＣＰＵがプログラム実行することで、鼻孔位置を確定する鼻孔位置確定手段１２ａ、眼球追跡領域の眼を探索し開閉を検出する開閉検出手段１２ｂ、正面方向を基準にした顔向き度を検知する顔向き検知手段１２ｃ、及び、継続した閉眼時間を計測する閉眼時間計測手段１３ａが実現される。

0021

〔眼の開閉の検出〕
始めに、鼻孔が２個検出されている場合の顔向き度及び眼の開度の検出について説明する。鼻孔が２個検出されている場合、顔向き度と眼の開閉は周知の方法で検出することができる。顔カメラ１１は、運転者の顔を正面やや下方から臨む位置、例えば、コンビネーションパネル内やステアリングコラム上に配置される。

0022

顔カメラ１１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の光電変換素子を有し、入射した光をその強度に応じて光電変換して、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。図２（ａ）は顔画像の一例を示す図である。顔向き検知手段１２ｃは、順次入力される顔画像から、顔の輪郭、中央線、鼻孔位置、眼の位置を順に特定し、眼の位置を含む所定の眼球追跡領域を設定する。いったん、眼球追跡領域が設定された後は、その中の眼の開閉の検出を繰り返し、眼の開閉が検出されない状態が継続すると改めて顔の輪郭から検出をやり直す。

0023

まず、顔向き検知手段１２ｃは、顔画像から顔のおよその位置として顔の輪郭を検出する。例えば、顔向き検知手段１２ｃは、順次入力される顔画像の間で画素値（輝度）が所定以上に異なる画素の画素値の差をその位置情報と共に記憶しておき、所定数の顔画像について同じ位置の画素値の差をカウントし、カウントした値の縦方向のヒストグラムを作りその積分値のピークを横方向の顔の輪郭位置とする。顔画像には背景なども写っているが、背景は静止しているため、画素値の変化する領域の左右の端部から横方向の顔の輪郭を検出することができる。

0024

顔の上下方向の輪郭はエッジ情報から検出する。エッジ情報により、顔のパーツ、眉、まぶた、鼻孔、口角、上下の唇の境、など、肌に比べ輝度の変化の大きい画素が検出される。なお、エッジ情報の抽出には例えばＳｏｂｅｌのエッジ検出アルゴリズムを用い、これにより、輝度小から大、輝度大から小の２種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。

0025

また、人の顔の眼や鼻などのパーツは左右対称に配置されているので、顔向き検知手段１２ｃは左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。運転者が横方向を向くと中央線と横方向の輪郭の相対位置が変わるので、中央線を監視することで顔向きを追跡することができる。

0026

そして、得られた顔の中央線から例えば左側に黒画素の連続した領域（エッジ情報で囲まれた領域）を、上側（眉毛側）から走査線ａ〜ｃのように走査して、片方の眉を検出する。眉は左右対称にあると考えてよいので、中央線の反対側に同様の黒画素の連続領域があればその左右の眉位置を顔の上側の輪郭として決定する。また、眉位置よりも下側であって顔の中央線を跨ぎ所定以上に連続したエッジ情報を抽出し、当該エッジ情報を上下の唇の境とみなし、顔の下側の輪郭として決定する。このようにして、顔の輪郭位置が得られる。

0027

ついで、鼻孔位置確定手段１２ａは鼻孔位置を検出する。鼻孔位置確定手段１２ａは、顔の中心線を通るやや縦長の鼻孔検出領域を唇よりも上方に設定する。鼻孔検出領域を縦長とするのは、ほくろや光の影響を排除し易くし、また、パターンマッチングにより鼻孔を検出する上で画像処理の負担を軽減するためである。鼻孔位置確定手段１２ａは、形状や大きさ、輝度など鼻孔の特徴を備える特徴点を抽出することで鼻孔を検出する。例えば２値化処理などにより鼻孔検出領域の明暗をはっきりさせ、左右いずれかの鼻孔の標準パターンによるパターンマッチング、又は、所定以上の面積の黒画素の塊が検出されるか否か、等により、左右いずれかの鼻孔を検出する。そして、一方の鼻孔が検出されると、中央線を挟んで略線対称な鼻孔を検出し、鼻孔が水平に２個検出された場合に鼻孔位置を決定する。

0028

開閉検出手段１２ｂは、鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置に対する所定の領域を眼球追跡領域として設定する。図２（ｂ）は眼球追跡領域を説明するための図を示す。顔が水平状態であれば鼻孔が水平に２個並ぶので、その中点に対し眼球の位置は、距離ｒ・方向θにより指定される。統計データから例えば眼球位置が所定以上の割合で存在する距離ｒの範囲・方向θの範囲は明らかなので、開閉検出手段１２ｂはこれをカバーする眼球追跡領域を設定する。

0029

そして、開閉検出手段１２ｂは、眼球追跡領域の上瞼と下瞼を監視することで眼の開閉を検出する。開閉検出手段１２ｂは、眼球追跡領域において所定の閾値よりも輝度の小さい画素を黒（画素値０）に、閾値以上の画素を白（画素値２５５）に置き換える２値化処理を行う。図２（ｃ）は眼球追跡領域の２値化画像の一例を示す。図２（ｃ）では上瞼、下瞼及び眼球が黒に置き換えられている。なお、眼球追跡領域を２値化するのでなくエッジ情報を取得してもよい。

0030

開閉検出手段１２ｂは、二値化画像における左の画素列から、上から下向きに向かって画素値０の黒画素を検索し、黒画素が検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様に、二値化画像における左の画素列から、下から上向きに向かって画素値０の黒画素を検索し、黒画素が検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、下瞼の画素位置が得られる。

0031

なお、眼球追跡領域の上端から連続して黒画素が検出される場合は、次に白画素が検出されるまで黒画素を無視する。これは、眼球追跡領域の上端に眉毛を表す横エッジが存在していると考えられるからである。この場合、開閉検出手段１２ｂは、次に検出された黒画素を上瞼の画素位置とする。なお、下瞼のエッジは検出が困難な場合があるので、上瞼の左右端を結んだ直線を下瞼としてもよい。

0032

また、顔画像は連続的に撮影されるので、このようにして検出された上瞼の位置が、所定数の顔画像が得られる間に大きく変わるか否かにより上瞼の位置を決定してもよい。これは、運転者は所定時間毎にまばたきするため上瞼の位置は他の眼の部分(例えば下瞼や、眉毛やメガネのフレーム)に比べてより大きく動くことが分かっているため、上瞼の位置が大きく動く場合は上瞼の位置を正確に検出していると考えられるからである。

0033

ついで、開閉検出手段１２ｂは、上瞼と下瞼の画素位置の差（上下の距離）を左から順に算出し、最大となる画素数を眼の開度とする。運転者が目を閉じている場合も上下の瞼の位置から同様な処理過程により眼の開度が検出される。

0034

開閉検出手段１２ｂは、例えば運転開始から所定時間（例えば数分間）の間、サイクル時間毎に撮影される顔画像から眼の開度を検出し、その大きさから開閉を判定するための閾値を設定する。例えば、閾値は、「所定時間における最大の眼の開度×１／２」として設定され、この閾値は予め衝突判断ＥＣＵ１３に送出される。

0035

開閉を判定するための閾値を衝突判断ＥＣＵ１３に送出した後、開閉検出手段１２ｂはサイクル時間毎に撮影される顔画像から眼の開度を検出し、順次衝突判断ＥＣＵ１３に送出する。なお、眼の開閉を判定するための閾値と比較した結果である、閉眼状態又は開眼状態を示す情報を衝突判断ＥＣＵ１３に送出してもよい。

0036

そして、衝突判断ＥＣＵ１３の閉眼時間計測手段１３ａは、眼の開閉を判定するための閾値と眼の開度を比較して、閾値以上であれば開状態、閾値より小さければ閉状態と判定し、閉眼が連続した場合は閉眼時間を継続して計測する。なお、開状態又は閉状態の２つの状態に分類するのでなく、例えば、所定時間における最大の眼の開度に対する眼の開度の比率に基づき、眼の開閉状態を多段階に判定してもよい。これにより、運転者の眠気を多段階に判定することができる。

0037

本実施例では、１個のみしか鼻孔が検出されない場合に、当該１個の鼻孔位置から鼻孔位置を確定する眼検知装置１０について説明する。

0038

図３（ａ）、（ｂ）は鼻孔が１個のみしか検出されない顔画像の一例を示す。図３（ａ）では運転者の顔が左方向を向いている様子を示すが、運転者が横方向を向くと奥側の鼻孔が小さくなったり、奥側の鼻孔に光が差し込みエッジが弱くなったり、鼻中隔により奥側の鼻孔が隠れたりするため鼻孔が１個のみしか検出されない場合がある。

0039

また、図３（ｂ）は運転者の顔は正面を向いているが、日光が運転者の顔に横方向から直達するため運転者の顔の顔パーツ以外にも陰影が生じ、例えば一方の鼻孔が陰に埋もれてしまったり、画像上２個の鼻孔がつながってしまったり、片側の鼻孔に光が差し込んでしまうため、鼻孔が１個のみしか検出されない場合がある。

0040

このように鼻孔が１個のみしか検出されない場合、鼻孔位置確定手段１２ａは鼻孔が１個のみ検出されたことを持って鼻孔位置を確定する。上述したように、通常は、鼻孔の特徴である鼻孔が左右に２個並んでいることを利用して鼻孔位置を確定するが、本実施形態では、他方の鼻孔が検出されない場合、検出された一方の鼻孔により鼻孔位置を確定する。鼻孔位置確定手段１２ａは、例えば、検出された一方の鼻孔から中央線に降ろした垂線が中央線と交わる点を図２（ｂ）の中点として、そこから距離ｒの範囲・方向θの統計データを利用して、眼球追跡領域を設定する。

0041

また、図３（ａ）に示したように顔が横方向を向いている場合、２個目の鼻孔を検出することが困難になることが多いので、鼻孔位置確定手段１２ａは顔向き度が所定値以上（例えば２０度以上）の場合には、２個目の鼻孔を検出せずに１個のみの鼻孔の検出により鼻孔位置を確定してもよい。検出の困難な２個目の鼻孔を検出せずに、１個目の鼻孔が検出された時点で鼻孔位置を確定することで、眼球追跡領域を短時間で設定することができる。顔向き度は横方向の輪郭に対する顔の中心線の位置から算出してもよいし、例えば、ステアリングの操舵角やヨーレートなど車両状態から推定してもよい。

0042

図４は、顔向き度が所定値以上の場合に眼検知装置１０が１個の鼻孔から鼻孔位置を確定する処理手順のフローチャート図を示す。顔カメラ１１はサイクル時間毎に運転者の顔画像を撮影するので（Ｓ１）、顔向き検知手段１２ｃは顔画像のエッジ情報から順次中央線を検出する（Ｓ２）。

0043

ついで、鼻孔位置確定手段１２ａは、顔向き度が所定値以上か否かを判定する（Ｓ３）。顔向き度が所定値以上でない場合（Ｓ３のＮｏ）、鼻孔位置確定手段１２ａは鼻孔を２個とも検出し、２個とも検出されたら鼻孔位置を確定する（Ｓ５）。

0044

顔向き度が所定値以上の場合（Ｓ３のＹｅｓ）、鼻孔位置確定手段１２ａは鼻孔を１個のみ検出し、鼻孔位置を確定する（Ｓ４）。

0045

ついで、開閉検出手段１２ｂは鼻孔位置から眼球追跡領域を設定し（Ｓ２０）、眼の開度を検出する（Ｓ２１）。開閉検出手段１２ｂは以上の処理を顔画像毎に繰り返す。

0046

本実施例によれば、運転者が横方向を向いている場合や光の影響等により鼻孔が１個しか検出できなくても眼球追跡領域を設定し、眼を検知することができる。また、顔が横方向を向いている場合は、片側の鼻孔しか検出できない場合が多いので、片側の鼻孔が検出できた時点で眼球追跡領域を設定することで両方の鼻孔が検出されないために眼が検知されないことを防止でき、１個目の鼻孔が検出された時点で鼻孔位置を確定することで眼球追跡領域を短時間で設定することができる。

0047

実施例１では、１個のみしか検出できない場合又は１個のみしか検出しない場合について説明したが、本実施例では１個のみしか検出できない場合には、鼻孔検出の閾値を下げ、２個目の鼻孔を検出する眼検知装置１０について説明する。

0048

上述したように、鼻孔位置確定手段１２ａは、例えば２値化処理などにより鼻孔検出領域の明暗をはっきりさせ、パターンマッチングや所定以上の面積の黒画素の塊等の検出により一方の鼻孔を検出する。これに対し、図３（ａ）（ｂ）で説明したように２個目の鼻孔は、奥側の鼻孔が小さくなったり、エッジが弱くなったり、奥側の鼻孔が一部隠れたり、光の影響により、鼻孔が１個のみしか検出されない場合がある。

0049

しかしながら、２個目の鼻孔が全く撮影されないことも少ないため、検出のための閾値を下げることで２個目の鼻孔を検出できる可能性が高まる。ここでいう閾値は、例えば鼻孔検出領域を２値化するための閾値であり、この場合は閾値を下げることで小さい輝度値（暗い）で撮影されるはずの鼻孔による特徴点の検出が容易になる。また、パターンマッチング処理では、鼻孔検出領域内で最も画素値が一致する場合の一致度が所定値以上の場合にそこに鼻孔があると判定するが、その所定値を小さくすることで横向き等のため正常な形で撮影されていない鼻孔の検出が容易になる。また、所定以上の面積の黒画素の塊等を検出する場合、所定数の画素（例えばＮ画素）であれば黒画素が連続していなくても連続していると見なすよう処理するが、黒画素の塊の判定閾値を下げる場合、例えばこれを２×Ｎ画素であれば黒画素が連続していなくても黒画素が連続していると見なすことで、周辺のエッジが弱くなって２個目の鼻孔が撮影されている場合に所定以上の面積の黒画素の塊を検出しやすくすることができる。

0050

なお、閾値を下げる場合でも、例えば、元の閾値を１．０とした場合、０．７程度の閾値を下限に設定することで、ほくろや陰影などを誤って２個目の鼻孔と検出しやすくすることができる。

0051

また、２個目の鼻孔は中央線を挟んで略対称な方向であって、一方の鼻孔から所定距離内にあるとしてよいので、上記のような閾値を下げた後、２個目の鼻孔を検出する場合であってもほくろや陰影などを誤って２個目の鼻孔と検出することを防止できる。

0052

図５は、眼検知装置１０が閾値を下げて２個目の鼻孔を検出する検出手順のフローチャート図を示す。顔カメラ１１がサイクル時間毎に運転者の顔画像を撮影するので（Ｓ１）、顔向き検知手段１２ｃは顔画像のエッジ情報から順次中央線を検出する（Ｓ２）。

0053

ついで、鼻孔位置確定手段１２ａ（特許請求の範囲における第１特徴点抽出手段に相当）は、標準の閾値により２個の鼻孔の検出を図り、鼻孔が１個のみしか検出されないか否かを判定する（Ｓ６）。ここで、２個とも検出された場合には（Ｓ６のＮｏ）、その２個の鼻孔から鼻孔位置を確定し（Ｓ９）、２個とも検出されない場合は、眼の開度は未検出として次の顔画像を処理する。

0054

鼻孔が１個のみしか検出されない場合（Ｓ６のＹｅｓ）、鼻孔位置確定手段１２ａ（特許請求の範囲における第２特徴点抽出手段に相当）は、鼻孔検出のための閾値を下げ（Ｓ７）、１個目の鼻孔から所定距離内の２個目の鼻孔を検出する（Ｓ８）。閾値を下げることで２個目の鼻孔の検出が容易になると共に、所定距離内に限定することで誤検出を防止できる。ついで、開閉検出手段１２ｂは、検出された２個の鼻孔の位置から鼻孔位置を確定する（Ｓ９）。

0055

ついで、開閉検出手段１２ｂは鼻孔位置から眼球追跡領域を設定し（Ｓ２０）、眼の開度を検出する（Ｓ２１）。開閉検出手段１２ｂは以上の処理を顔画像毎に繰り返す。

0056

本実施例によれば、鼻孔が１個のみしか検出されない場合、閾値を下げることで２個目の鼻孔を検出しやすくすることができる。

0057

実施例２では、鼻孔が１個のみしか検出できない場合には鼻孔検出の閾値を下げる眼検知装置１０について説明したが、本実施例では顔向き度が所定値以上の場合、顔向き方向の鼻孔の閾値を下げる眼検知装置１０について説明する。

0058

図３（ａ）において説明したように、運転者が横方向を向くと奥側の鼻孔が小さくなったり、奥側の鼻孔に光が差し込みエッジが弱くなったり、鼻中隔により奥側の鼻孔が隠れたりするため鼻孔が１個のみしか検出されない場合がある。また、顔が横方向を向いた場合に検出が困難な鼻孔は顔が向いた方向（顔カメラ１１から遠い側）である。そこで、顔画像から顔向き度が検出された場合には、実施例２と同様に顔を向いた方向の鼻孔の鼻孔検出の閾値を下げ、２個目の鼻孔を検出する眼検知装置１０について説明する。

0059

閾値及びその下げ方は、実施例２と同様である。すなわち、２値化処理の閾値を下げ、パターンマッチング処理の合致度を下げ、黒画素が連続しているか否かを判定する閾値を下げる。

0060

鼻孔検出の閾値を下げて２個目の鼻孔を検出する場合、２個目の鼻孔は一方の鼻孔から所定距離内であって、中央線を挟んで略対称な位置にあるという制約、及び、閾値を下げる場合の下限、を設けてもよい。これにより、ほくろや陰影などを誤って２個目の鼻孔と検出することを防止しやすくすることができる。

0061

また、２個目の鼻孔は顔向き度が大きいほど検出が困難になるので、顔向き度が所定値以上の場合に一律に閾値を下げるのでなく、顔向き度に応じて閾値を下げてもよい。例えば、顔向き度がＡ度の場合、閾値に（９０−Ａ）／９０の値を乗じることで顔向き度に応じて閾値を下げることができる。これにより、顔向き度が大きいほど閾値を下げるので２個目の鼻孔を検出しやすくできると共に、顔向き度が小さい場合には閾値の下げ方も小さいので２個目の鼻孔の誤検出を防止しやすくできる。

0062

図６は、眼検知装置１０が顔向き度が所定値以上の場合に閾値を下げて２個目の鼻孔を検出する検出手順のフローチャート図を示す。顔カメラ１１がサイクル時間毎に運転者の顔画像を撮影するので（Ｓ１）、顔向き検知手段１２ｃは顔画像のエッジ情報から順次中央線を検出する（Ｓ２）。

0063

ついで、鼻孔位置確定手段１２ａは、顔向き度が所定値以上か否かを判定する（Ｓ３）。顔向き度が所定値以上でない場合（Ｓ３のＮｏ）、鼻孔位置確定手段１２ａは鼻孔を２個とも検出し、２個とも検出されたら鼻孔位置を確定する（Ｓ５）。

0064

顔向き度が所定値以上の場合（Ｓ３のＹｅｓ）、鼻孔位置確定手段１２ａは標準の閾値により１個の鼻孔を検出する（Ｓ１１）。ついで、鼻孔位置確定手段１２ａは鼻孔検出のための閾値を下げ（Ｓ１２）、２個目の鼻孔を検出する（Ｓ１３）。閾値は顔向き度に応じて下げてもよく、２個目の鼻孔を検出する場合は１個目の鼻孔から所定距離内に制限してもよい。

0065

開閉検出手段１２ｂは鼻孔位置から眼球追跡領域を設定し（Ｓ２０）、眼の開度を検出する（Ｓ２１）。開閉検出手段１２ｂは以上の処理を顔画像毎に繰り返す。

0066

本実施例によれば、運転者の顔が横方向を向いた場合には、検出が困難な２個目の鼻孔を検出するための閾値を下げることで、鼻孔を２個とも検出しやすくすることができる。顔向きが所定値以上の場合、２個目の鼻孔は最初から閾値を下げて検出するので、短時間に検出することができる。

0067

本実施例では鼻孔が１個のみしか検出できない場合、又は、２個とも検出されない場合、過去に検出された鼻孔位置を基準にして鼻孔検出領域を拡張しそこから鼻孔を検出する眼検知装置１０について説明する。

0068

例えば、鼻孔が１個のみ検出された場合、それが鼻孔であれば左右いずれかに２個目の鼻孔が存在するはずであるが、そもそも鼻孔が１個のみしか検出されない場合、それが鼻孔であることの確度は低下してしまう。また、鼻孔が２個とも検出されない場合には鼻孔位置を確定することができない。

0069

しかしながら、それまでに撮影した顔画像及びその画像処理から上下の瞼位置が検出されている場合、瞼位置が検出された顔画像の鼻孔位置を基準にして、鼻孔位置を拡張すれば、例えば横を向いて位置が左右に移動した鼻孔を検出できる可能性が高まる。上述のように、鼻孔検出領域は、ほくろや光の影響を排除し、また、画像処理の負担を軽減するため、中央線周辺の縦長の領域とされているが、本実施例ではこれを横長の領域とする。

0070

図７（ａ）は、運転者が正面方向を向いていて２個の鼻孔及び２個の瞼位置が検出されている顔画像の一例を、図７（ｂ）は鼻孔検出領域を横長の矩形領域とした顔画像の一例を、それぞれ示す。図７（ａ）のように２個の瞼位置が検出されている場合、鼻孔検出領域に２個の鼻孔が検出されていると考えてよいので、図７（ｂ）のように運転者が横方向を向いた場合は、上下方向にはあまり変化がなく横方向に若干シフトした位置に２個の鼻孔が存在するものと考えられる。

0071

そこで、鼻孔位置確定手段１２ａは、図７（ａ）における鼻孔位置を基準に横方向に拡張された鼻孔検出領域を設定する。拡張された鼻孔検出領域は、例えば、拡張前の鼻孔検出領域の対角交点を中心に９０度回転されたもの、また例えば、拡張前の鼻孔検出領域の幅を高さに高さを幅に設定したもの、等である。なお、顔向き度に応じて鼻孔検出領域全体を左右にシフトしてもよい。

0072

一度、瞼が検出された際の鼻孔位置を基準に横方向に拡張された鼻孔検出領域を設定することで、顔が横方向をむいたことで鼻孔が縦長の鼻孔検出領域から外れてしまっていても鼻孔の検出が可能となる。横方向の拡張は、鼻孔が１個のみしか検出できない場合に行ってもよいし２個とも検出されない場合に行ってもよい。また、所定以上に横向きであることが検知されている場合、鼻孔を検出する前に鼻孔検出領域を拡張してもよい。

0073

ところで、鼻孔検出領域を横方向に広げることで、運転者が横方向を向いた場合でも鼻孔検出領域に鼻孔が存在する可能性が高くなるが、横方向を向いているため２個目の鼻孔の検出が困難になるのは、実施例１〜３と同様である。

0074

そこで、鼻孔検出領域を横方向に拡張した後、鼻孔が１個のみしか検出されない場合又は顔向き度が所定値以上の場合、２個目の鼻孔の鼻孔検出の閾値を下げることが好適となる。すなわち、２値化処理の閾値を下げ、パターンマッチング処理の合致度を下げ、黒画素が連続しているか否かを判定する閾値を下げる。

0075

鼻孔検出の閾値を下げて２個目の鼻孔を検出する場合、２個目の鼻孔は一方の鼻孔から所定距離内であって、中央線を挟んで略対称な位置にあるという制約、及び、閾値を下げる場合の下限を設けてもよい。これにより、ほくろや陰影などを誤って２個目の鼻孔と検出することを防止しやすくすることができる。また、顔向き度が検出されている場合は、顔向き度に応じて閾値を下げてもよい。

0076

図８は、眼検知装置１０が鼻孔探索領域を拡張して鼻孔を検出する検出手順のフローチャート図を示す。顔カメラ１１がサイクル時間毎に運転者の顔画像を撮影するので（Ｓ１）、顔向き検知手段１２ｃは顔画像のエッジ情報から順次中央線を検出する（Ｓ２）。

0077

ついで、鼻孔位置確定手段１２ａは、標準の閾値により２個の鼻孔の検出を図り、鼻孔が１個以上検出されないか否かを判定する（Ｓ１５）。２個とも検出された場合（Ｓ１５のＮｏ）、開閉検出手段１２ｂは鼻孔位置から眼球追跡領域を設定し（Ｓ２０）、目の開度を検出する（Ｓ２１）。

0078

鼻孔が１個以上検出されない場合（Ｓ１５のＹｅｓ）、鼻孔位置確定手段１２ａは直前数フレーム内の顔画像に瞼位置が検出されているか否かを判定する（Ｓ１６）。直前数フレーム内の顔画像は、より好ましくは直前の顔画像、そして正面方向を向いた場合の顔画像である。時間的に近い顔画像であれば鼻孔位置のずれも小さく、また、正面方向を向いた顔画像から検出される鼻孔位置が正確であると考えられる。鼻孔位置確定手段１２ａは、このような優先順位に従い、瞼位置が検出された顔画像の鼻孔位置を抽出する。

0079

直前数フレーム内の顔画像に瞼位置が検出されていない場合（Ｓ１６のＮｏ）、開閉検出手段１２ｂは目の開度は未検出としてもよいし、鼻孔が１個のみ検出されている場合には、１個の鼻孔から鼻孔位置を確定してもよいし、閾値を下げ２個目の鼻孔を検出してもよい。

0080

直前数フレーム内の顔画像に瞼位置が検出されている場合（Ｓ１６のＹｅｓ）、鼻孔位置確定手段１２ａは、正面時の鼻孔位置を基準に鼻孔探索領域を横方向に広げる（Ｓ１７）。これにより、運転者が横方向を向いた場合でも鼻孔検出領域に鼻孔が存在する可能性が高くなり、２個の鼻孔を検出しやすくすることができる。

0081

ついで、開閉検出手段１２ｂは１個又は２個の鼻孔を検出し、確定された鼻孔位置から眼球追跡領域を設定し（Ｓ２０）、目の開度を検出する（Ｓ２１）。

0082

本実施例によれば、鼻孔が１個以上検出されない場合、鼻孔探索領域を横方向に拡張するので、横方向を向いていても鼻孔を検出しやすくすることができる。

0083

以上、本実施形態の眼検知装置は、顔が横向きの場合や光の影響等があっても、精度よく鼻孔位置を確定できるので、眼の位置を検知して眼の開閉等、運転支援に必要な処理をすることができる。

0084

本実施形態の眼検知装置を含む居眠り検知装置のシステム構成図である。
顔画像から眼の開閉の検出を説明するための図である。
一方の鼻孔の検出が困難な顔画像の一例を示す図である。
顔向き度が所定値以上の場合に眼検知装置が１個の鼻孔から鼻孔位置を確定する処理手順のフローチャート図である。
眼検知装置が閾値を下げて２個目の鼻孔を検出する検出手順のフローチャート図である。
眼検知装置が顔向き度が所定値以上の場合に閾値を下げて２個目の鼻孔を検出する検出手順のフローチャート図である。
鼻孔検出領域の拡張を説明するための図である。
眼検知装置が鼻孔探索領域を拡張して鼻孔を検出する検出手順のフローチャート図である。

0085

１居眠り検知装置
１０ 目検知装置
１１顔カメラ
１２顔画像処理ＥＣＵ
１２ａ鼻孔位置確定手段
１２ｂ開閉検出手段
１２ｃ顔向き検知手段
１３衝突判断ＥＣＵ
１３ａ閉眼時間計測手段
１４コンビネーションメータ
１５ブレーキＥＣＵ
１６ ミリ波レーダ装置