図面 (/)

この項目の情報は公開日時点(2008年8月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

鼻孔位置から眼の位置を推定する眼検知装置において、より精度よく鼻孔位置を確定して眼の位置を検知可能な目検知装置居眠り検知装置及び目検知装置の方法を提供すること。

解決手段

顔画像から抽出された2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段12aと、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段12bとを、有する眼検知装置において、鼻孔位置確定手段は、所定条件成立する場合、1つの特徴点をもって鼻孔位置を確定する、ことを特徴とする。

概要

背景

走行中の運転者の顔を撮影し撮影された画像データを処理して、運転者の居眠りを検出した場合、運転者に警告することで覚醒状態への復帰を促す居眠り検知技術が提案されている(例えば、特許文献1参照。)。特許文献1では、運転者の顔の特徴として鼻孔を検出し、検出された鼻孔から眼の位置を推定しそこに設定された眼球探索領域において眼の開閉を検出する。そして、例えば、閉眼時間が所定時間以上継続する場合には運転者の覚醒度が低いと判定して警報音などにより運転者に注意を促す。
特開平10−86696号公報

概要

鼻孔位置から眼の位置を推定する眼検知装置において、より精度よく鼻孔位置を確定して眼の位置を検知可能な目検知装置居眠り検知装置及び目検知装置の方法を提供すること。顔画像から抽出された2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段12aと、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段12bとを、有する眼検知装置において、鼻孔位置確定手段は、所定条件成立する場合、1つの特徴点をもって鼻孔位置を確定する、ことを特徴とする。

目的

本発明は、上記課題に鑑み、鼻孔位置から眼の位置を推定する眼検知装置において、より精度よく鼻孔位置を確定して眼の位置を検知可能な目検知装置、居眠り検知装置及び目検知装置の方法を提供することを目的とする。

効果

実績

技術文献被引用数
2件
牽制数
3件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

顔画像から抽出された2つの特徴点から鼻孔位置確定する鼻孔位置確定手段と、前記鼻孔位置を基準に眼球追跡領域を設定し、前記眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、前記鼻孔位置確定手段は、所定条件成立する場合、1つの前記特徴点をもって前記鼻孔位置を確定する、ことを特徴とする眼検知装置。

請求項2

前記顔画像から正面方向に対する顔向き度を検知する顔向き検知手段を有し、前記顔向き検知手段が検知した顔向き度が所定値以上の場合、前記鼻孔位置確定手段は、1つの前記特徴点をもって前記鼻孔位置を確定する、ことを特徴とする請求項1記載の眼検知装置。

請求項3

顔画像から抽出された2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、前記鼻孔位置を基準に眼球追跡領域を設定し、前記眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、前記鼻孔位置確定手段は、第1の所定値以上の特徴量を有する第1特徴点を抽出する第1特徴点抽出手段と、第1特徴点が1個しか抽出されない場合、第1特徴点から所定距離内の、第1の所定値未満かつ第2の所定値以上の特徴量を有する第2特徴点を抽出する第2特徴点抽出手段と、を有する、ことを特徴とする眼検知装置。

請求項4

顔画像から第1所定値以上の特徴量を有する2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、前記鼻孔位置を基準に眼球追跡領域を設定し、前記眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、前記顔画像から正面方向に対する顔向き度を検知する顔向き検知手段を有し、前記鼻孔位置確定手段は、所定値以上の前記顔向き度が検知された場合、第1所定値を小さくして顔向き方向の前記特徴点を抽出する、ことを特徴とする眼検知装置。

請求項5

顔画像に鼻孔探索領域を設定し、鼻孔探索領域から抽出される2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、前記鼻孔位置を基準に眼球追跡領域を設定し、前記眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、前記開閉検出手段が眼の位置を検出している場合、前記鼻孔位置確定手段は前記鼻孔探索領域を横方向に広げて設定する、ことを特徴とする眼検知装置。

請求項6

請求項1ないし5いずれか記載の眼検知装置と、前記開閉検出手段が検出した目の開度に基づき連続した閉眼時間を計測する閉眼時間計測手段と、前記閉眼時間が所定時間以上の場合に、運転者に警告する警告手段と、を有することを特徴とする居眠り検知装置

請求項7

鼻孔位置確定手段が、顔画像から抽出された2つの特徴点から鼻孔位置を確定するステップと、開閉検出手段が、前記鼻孔位置を基準に眼球追跡領域を設定し、前記眼球追跡領域の眼を探索するステップとを、有し、前記鼻孔位置を確定するステップにおいて、所定条件が成立する場合、前記鼻孔位置確定手段は、1つの前記特徴点をもって前記鼻孔位置を確定する、ことを特徴とする眼検知装置の方法。

技術分野

0001

本発明は、顔を撮影した画像から目を検知する目検知装置居眠り検知装置及び目検知装置の方法に関し、特に、鼻孔位置をより精度よく確定可能な目検知装置、居眠り検知装置及び目検知装置の方法に関する。

背景技術

0002

走行中の運転者の顔を撮影し撮影された画像データを処理して、運転者の居眠りを検出した場合、運転者に警告することで覚醒状態への復帰を促す居眠り検知技術が提案されている(例えば、特許文献1参照。)。特許文献1では、運転者の顔の特徴として鼻孔を検出し、検出された鼻孔から眼の位置を推定しそこに設定された眼球探索領域において眼の開閉を検出する。そして、例えば、閉眼時間が所定時間以上継続する場合には運転者の覚醒度が低いと判定して警報音などにより運転者に注意を促す。
特開平10−86696号公報

発明が解決しようとする課題

0003

しかしながら、特許文献1では2つ並ぶ黒点を鼻孔と定義しているため、左右の鼻孔のうちいずれかが検出されないと鼻孔が検出されないことになり眼の開閉の検出も困難になってしまうという問題がある。鼻孔はメガネや髪の毛などに覆われることが少なく、また、眉毛とも離れているので比較的検出が容易であるが、運転者が横を向いた場合や、正面を向いていても顔に横方向から直射日光照射されるような場合は鼻孔に陰が生じ検出できない場合がある。

0004

本発明は、上記課題に鑑み、鼻孔位置から眼の位置を推定する眼検知装置において、より精度よく鼻孔位置を確定して眼の位置を検知可能な目検知装置、居眠り検知装置及び目検知装置の方法を提供することを目的とする。

課題を解決するための手段

0005

上記課題を解決するため、本発明は、顔画像から抽出された2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、鼻孔位置確定手段は、所定条件成立する場合、1つの特徴点をもって鼻孔位置を確定する、ことを特徴とする。

0006

本発明によれば、1つの特徴点により鼻孔位置を確定できるので、2つの特徴点が検知できないことに起因して眼が検知できないことを防止できる。

0007

また、本発明の一形態において、顔画像から正面方向に対する顔向き度を検知する顔向き検知手段を有し、顔向き検知手段が検知した顔向き度が所定値以上の場合、鼻孔位置確定手段は、1つの特徴点をもって鼻孔位置を確定する、ことを特徴とする。

0008

本発明によれば、顔向きが横方向を向いている場合は鼻孔が1個しか検出されない場合が多いが、顔向きが所定以上横方向を向いている場合は鼻孔を1個検出した時点で眼を探索することで2つの特徴点が検知できないことに起因して眼が検知できないことを防止できる。

0009

また、本発明は、顔画像から抽出された2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、鼻孔位置確定手段は、第1の所定値以上の特徴量を有する第1特徴点を抽出する第1特徴点抽出手段と、第1特徴点が1個しか抽出されない場合、第1特徴点から所定距離内の、第1の所定値未満かつ第2の所定値以上の特徴量を有する第2特徴点を抽出する第2特徴点抽出手段と、を有することを特徴とする。

0010

本発明によれば、顔向きや光の影響等により鼻孔が1個しかはっきりと検出されない場合、鼻孔検出のための閾値下げ鼻孔があると推定される箇所から2個目の鼻孔を検出することができる。

0011

また、本発明は、顔画像から第1所定値以上の特徴量を有する2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、顔画像から正面方向に対する顔向き度を検知する顔向き検知手段を有し、鼻孔位置確定手段は、所定値以上の顔向き度が検知された場合、第1所定値を小さくして顔向き方向の前記特徴点を抽出する、ことを特徴とする。

0012

本発明によれば、顔向き度の方向の鼻孔を検出するための閾値を下げることで、検出の困難な方の鼻孔を検出しやすくすることができる。

0013

また、本発明は、顔画像に鼻孔探索領域を設定し、鼻孔探索領域から抽出される2つの特徴点から鼻孔位置を確定する鼻孔位置確定手段と、鼻孔位置を基準に眼球追跡領域を設定し、眼球追跡領域の眼を探索する開閉検出手段とを、有する眼検知装置において、開閉検出手段が眼の位置を検出している場合、鼻孔位置確定手段は前記鼻孔探索領域を横方向に広げて設定する、ことを特徴とする。

0014

本発明によれば、鼻孔探索領域を横方向に広げることで、横方向を向いていて鼻孔の位置も横方向に移動しても良好に鼻孔を検出することができる。

発明の効果

0015

鼻孔位置から眼の位置を推定する眼検知装置において、より精度よく鼻孔位置を確定して眼の位置を検知可能な目検知装置、居眠り検知装置及び目検知装置の方法を提供することができる。

発明を実施するための最良の形態

0016

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。本実施形態の眼検知装置10は、原則的に鼻孔を2個検出し鼻孔位置から眼の位置を推定するが、鼻孔が1個しか検出されない場合、顔向き度が所定値以上の場合等のように、2個の鼻孔を全て検出することが困難な場合、1個の鼻孔に基づき鼻孔位置を確定したり、閾値を下げて2個目の鼻孔を検出して鼻孔位置を確定するなどして、鼻孔位置から眼の位置を推定する。

0017

図1は、本実施形態の眼検知装置10を含む居眠り検知装置1のシステム構成図を示す。眼検知装置10は、顔カメラ11及び顔画像処理ECU(Electronic Control Unit)12から構成され、眼検知装置10がさらにCAN(Controller Area Network)など車内LANを介して衝突判断ECU13、コンビネーションメータ14,ブレーキECU15及びミリ波レーダ装置16と接続されて居眠り検知装置1が構成されている。

0018

顔画像処理ECU12は、顔カメラ11により撮影された顔画像を画像処理して運転者の顔が正面方向に対し左右のどのくらい角度を向いているか示す顔向き度、及び、どのくらい眼が開いているかを示す眼の開度上瞼と下瞼の距離)を、衝突判断ECU13に送出する。

0019

衝突判断ECU13は、顔向き度とその継続時間から脇見運転を検知し、また、眼の開度とその継続時間から居眠り運転を検知し、コンビネーションメータ14から聴覚的又は視覚的に警告する。また、衝突判断ECU13は、ミリ波レーダ装置16が検出した障害物までの距離及び相対速度に基づき障害物の衝突の可能性を判定し、衝突の可能性が高い場合は警報音を吹鳴し、衝突が不可避となるとブレーキECU15に車両の強制的な制動を要求する。また、衝突判断ECU13は、運転者の顔向き度が所定以上の場合や所定時間以上の閉眼が継続して検出されている場合には、警報の吹鳴や車両の制動を早期に実行する。

0020

顔画像処理ECU12及び衝突判断ECU13は、プログラムを実行するCPU、プログラム実行の作業領域となりまた一時的にデータを記憶するRAM、イグニションオフしてもデータを保持するEEPROM(Electronically Erasable and Programmable Read Only Memory)、データのインターフェイスとなる入出力インターフェイス、他のECUと通信する通信コントローラ、及び、プログラムを記憶するROM等がバスにより接続されたマイコンにより構成される。CPUがプログラム実行することで、鼻孔位置を確定する鼻孔位置確定手段12a、眼球追跡領域の眼を探索し開閉を検出する開閉検出手段12b、正面方向を基準にした顔向き度を検知する顔向き検知手段12c、及び、継続した閉眼時間を計測する閉眼時間計測手段13aが実現される。

0021

〔眼の開閉の検出〕
始めに、鼻孔が2個検出されている場合の顔向き度及び眼の開度の検出について説明する。鼻孔が2個検出されている場合、顔向き度と眼の開閉は周知の方法で検出することができる。顔カメラ11は、運転者の顔を正面やや下方から臨む位置、例えば、コンビネーションパネル内やステアリングコラム上に配置される。

0022

顔カメラ11は、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)の光電変換素子を有し、入射した光をその強度に応じて光電変換して、所定の輝度階調(例えば、256階調)のデジタル画像(顔画像)を出力する。図2(a)は顔画像の一例を示す図である。顔向き検知手段12cは、順次入力される顔画像から、顔の輪郭中央線、鼻孔位置、眼の位置を順に特定し、眼の位置を含む所定の眼球追跡領域を設定する。いったん、眼球追跡領域が設定された後は、その中の眼の開閉の検出を繰り返し、眼の開閉が検出されない状態が継続すると改めて顔の輪郭から検出をやり直す。

0023

まず、顔向き検知手段12cは、顔画像から顔のおよその位置として顔の輪郭を検出する。例えば、顔向き検知手段12cは、順次入力される顔画像の間で画素値輝度)が所定以上に異なる画素の画素値の差をその位置情報と共に記憶しておき、所定数の顔画像について同じ位置の画素値の差をカウントし、カウントした値の縦方向ヒストグラムを作りその積分値ピークを横方向の顔の輪郭位置とする。顔画像には背景なども写っているが、背景は静止しているため、画素値の変化する領域の左右の端部から横方向の顔の輪郭を検出することができる。

0024

顔の上下方向の輪郭はエッジ情報から検出する。エッジ情報により、顔のパーツまぶた、鼻孔、口角、上下のの境、など、肌に比べ輝度の変化の大きい画素が検出される。なお、エッジ情報の抽出には例えばSobelのエッジ検出アルゴリズムを用い、これにより、輝度小から大、輝度大から小の2種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。

0025

また、人の顔の眼やなどのパーツは左右対称に配置されているので、顔向き検知手段12cは左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。運転者が横方向を向くと中央線と横方向の輪郭の相対位置が変わるので、中央線を監視することで顔向きを追跡することができる。

0026

そして、得られた顔の中央線から例えば左側に黒画素の連続した領域(エッジ情報で囲まれた領域)を、上側(眉毛側)から走査線a〜cのように走査して、片方の眉を検出する。眉は左右対称にあると考えてよいので、中央線の反対側に同様の黒画素の連続領域があればその左右の眉位置を顔の上側の輪郭として決定する。また、眉位置よりも下側であって顔の中央線を跨ぎ所定以上に連続したエッジ情報を抽出し、当該エッジ情報を上下の唇の境とみなし、顔の下側の輪郭として決定する。このようにして、顔の輪郭位置が得られる。

0027

ついで、鼻孔位置確定手段12aは鼻孔位置を検出する。鼻孔位置確定手段12aは、顔の中心線を通るやや縦長の鼻孔検出領域を唇よりも上方に設定する。鼻孔検出領域を縦長とするのは、ほくろや光の影響を排除し易くし、また、パターンマッチングにより鼻孔を検出する上で画像処理の負担を軽減するためである。鼻孔位置確定手段12aは、形状や大きさ、輝度など鼻孔の特徴を備える特徴点を抽出することで鼻孔を検出する。例えば2値化処理などにより鼻孔検出領域の明暗をはっきりさせ、左右いずれかの鼻孔の標準パターンによるパターンマッチング、又は、所定以上の面積の黒画素の塊が検出されるか否か、等により、左右いずれかの鼻孔を検出する。そして、一方の鼻孔が検出されると、中央線を挟んで略線対称な鼻孔を検出し、鼻孔が水平に2個検出された場合に鼻孔位置を決定する。

0028

開閉検出手段12bは、鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置に対する所定の領域を眼球追跡領域として設定する。図2(b)は眼球追跡領域を説明するための図を示す。顔が水平状態であれば鼻孔が水平に2個並ぶので、その中点に対し眼球の位置は、距離r・方向θにより指定される。統計データから例えば眼球位置が所定以上の割合で存在する距離rの範囲・方向θの範囲は明らかなので、開閉検出手段12bはこれをカバーする眼球追跡領域を設定する。

0029

そして、開閉検出手段12bは、眼球追跡領域の上瞼と下瞼を監視することで眼の開閉を検出する。開閉検出手段12bは、眼球追跡領域において所定の閾値よりも輝度の小さい画素を黒(画素値0)に、閾値以上の画素を白(画素値255)に置き換える2値化処理を行う。図2(c)は眼球追跡領域の2値化画像の一例を示す。図2(c)では上瞼、下瞼及び眼球が黒に置き換えられている。なお、眼球追跡領域を2値化するのでなくエッジ情報を取得してもよい。

0030

開閉検出手段12bは、二値化画像における左の画素列から、上から下向きに向かって画素値0の黒画素を検索し、黒画素が検索できたら1つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様に、二値化画像における左の画素列から、下から上向きに向かって画素値0の黒画素を検索し、黒画素が検索できたら1つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、下瞼の画素位置が得られる。

0031

なお、眼球追跡領域の上端から連続して黒画素が検出される場合は、次に白画素が検出されるまで黒画素を無視する。これは、眼球追跡領域の上端に眉毛を表す横エッジが存在していると考えられるからである。この場合、開閉検出手段12bは、次に検出された黒画素を上瞼の画素位置とする。なお、下瞼のエッジは検出が困難な場合があるので、上瞼の左右端を結んだ直線を下瞼としてもよい。

0032

また、顔画像は連続的に撮影されるので、このようにして検出された上瞼の位置が、所定数の顔画像が得られる間に大きく変わるか否かにより上瞼の位置を決定してもよい。これは、運転者は所定時間毎まばたきするため上瞼の位置は他の眼の部分(例えば下瞼や、眉毛やメガネのフレーム)に比べてより大きく動くことが分かっているため、上瞼の位置が大きく動く場合は上瞼の位置を正確に検出していると考えられるからである。

0033

ついで、開閉検出手段12bは、上瞼と下瞼の画素位置の差(上下の距離)を左から順に算出し、最大となる画素数を眼の開度とする。運転者が目を閉じている場合も上下の瞼の位置から同様な処理過程により眼の開度が検出される。

0034

開閉検出手段12bは、例えば運転開始から所定時間(例えば数分間)の間、サイクル時間毎に撮影される顔画像から眼の開度を検出し、その大きさから開閉を判定するための閾値を設定する。例えば、閾値は、「所定時間における最大の眼の開度×1/2」として設定され、この閾値は予め衝突判断ECU13に送出される。

0035

開閉を判定するための閾値を衝突判断ECU13に送出した後、開閉検出手段12bはサイクル時間毎に撮影される顔画像から眼の開度を検出し、順次衝突判断ECU13に送出する。なお、眼の開閉を判定するための閾値と比較した結果である、閉眼状態又は開眼状態を示す情報を衝突判断ECU13に送出してもよい。

0036

そして、衝突判断ECU13の閉眼時間計測手段13aは、眼の開閉を判定するための閾値と眼の開度を比較して、閾値以上であれば開状態、閾値より小さければ閉状態と判定し、閉眼が連続した場合は閉眼時間を継続して計測する。なお、開状態又は閉状態の2つの状態に分類するのでなく、例えば、所定時間における最大の眼の開度に対する眼の開度の比率に基づき、眼の開閉状態多段階に判定してもよい。これにより、運転者の眠気を多段階に判定することができる。

0037

本実施例では、1個のみしか鼻孔が検出されない場合に、当該1個の鼻孔位置から鼻孔位置を確定する眼検知装置10について説明する。

0038

図3(a)、(b)は鼻孔が1個のみしか検出されない顔画像の一例を示す。図3(a)では運転者の顔が左方向を向いている様子を示すが、運転者が横方向を向くと奥側の鼻孔が小さくなったり、奥側の鼻孔に光が差し込みエッジが弱くなったり、鼻中隔により奥側の鼻孔が隠れたりするため鼻孔が1個のみしか検出されない場合がある。

0039

また、図3(b)は運転者の顔は正面を向いているが、日光が運転者の顔に横方向から直達するため運転者の顔の顔パーツ以外にも陰影が生じ、例えば一方の鼻孔が陰に埋もれてしまったり、画像上2個の鼻孔がつながってしまったり、片側の鼻孔に光が差し込んでしまうため、鼻孔が1個のみしか検出されない場合がある。

0040

このように鼻孔が1個のみしか検出されない場合、鼻孔位置確定手段12aは鼻孔が1個のみ検出されたことを持って鼻孔位置を確定する。上述したように、通常は、鼻孔の特徴である鼻孔が左右に2個並んでいることを利用して鼻孔位置を確定するが、本実施形態では、他方の鼻孔が検出されない場合、検出された一方の鼻孔により鼻孔位置を確定する。鼻孔位置確定手段12aは、例えば、検出された一方の鼻孔から中央線に降ろした垂線が中央線と交わる点を図2(b)の中点として、そこから距離rの範囲・方向θの統計データを利用して、眼球追跡領域を設定する。

0041

また、図3(a)に示したように顔が横方向を向いている場合、2個目の鼻孔を検出することが困難になることが多いので、鼻孔位置確定手段12aは顔向き度が所定値以上(例えば20度以上)の場合には、2個目の鼻孔を検出せずに1個のみの鼻孔の検出により鼻孔位置を確定してもよい。検出の困難な2個目の鼻孔を検出せずに、1個目の鼻孔が検出された時点で鼻孔位置を確定することで、眼球追跡領域を短時間で設定することができる。顔向き度は横方向の輪郭に対する顔の中心線の位置から算出してもよいし、例えば、ステアリング操舵角ヨーレートなど車両状態から推定してもよい。

0042

図4は、顔向き度が所定値以上の場合に眼検知装置10が1個の鼻孔から鼻孔位置を確定する処理手順フローチャート図を示す。顔カメラ11はサイクル時間毎に運転者の顔画像を撮影するので(S1)、顔向き検知手段12cは顔画像のエッジ情報から順次中央線を検出する(S2)。

0043

ついで、鼻孔位置確定手段12aは、顔向き度が所定値以上か否かを判定する(S3)。顔向き度が所定値以上でない場合(S3のNo)、鼻孔位置確定手段12aは鼻孔を2個とも検出し、2個とも検出されたら鼻孔位置を確定する(S5)。

0044

顔向き度が所定値以上の場合(S3のYes)、鼻孔位置確定手段12aは鼻孔を1個のみ検出し、鼻孔位置を確定する(S4)。

0045

ついで、開閉検出手段12bは鼻孔位置から眼球追跡領域を設定し(S20)、眼の開度を検出する(S21)。開閉検出手段12bは以上の処理を顔画像毎に繰り返す。

0046

本実施例によれば、運転者が横方向を向いている場合や光の影響等により鼻孔が1個しか検出できなくても眼球追跡領域を設定し、眼を検知することができる。また、顔が横方向を向いている場合は、片側の鼻孔しか検出できない場合が多いので、片側の鼻孔が検出できた時点で眼球追跡領域を設定することで両方の鼻孔が検出されないために眼が検知されないことを防止でき、1個目の鼻孔が検出された時点で鼻孔位置を確定することで眼球追跡領域を短時間で設定することができる。

0047

実施例1では、1個のみしか検出できない場合又は1個のみしか検出しない場合について説明したが、本実施例では1個のみしか検出できない場合には、鼻孔検出の閾値を下げ、2個目の鼻孔を検出する眼検知装置10について説明する。

0048

上述したように、鼻孔位置確定手段12aは、例えば2値化処理などにより鼻孔検出領域の明暗をはっきりさせ、パターンマッチングや所定以上の面積の黒画素の塊等の検出により一方の鼻孔を検出する。これに対し、図3(a)(b)で説明したように2個目の鼻孔は、奥側の鼻孔が小さくなったり、エッジが弱くなったり、奥側の鼻孔が一部隠れたり、光の影響により、鼻孔が1個のみしか検出されない場合がある。

0049

しかしながら、2個目の鼻孔が全く撮影されないことも少ないため、検出のための閾値を下げることで2個目の鼻孔を検出できる可能性が高まる。ここでいう閾値は、例えば鼻孔検出領域を2値化するための閾値であり、この場合は閾値を下げることで小さい輝度値暗い)で撮影されるはずの鼻孔による特徴点の検出が容易になる。また、パターンマッチング処理では、鼻孔検出領域内で最も画素値が一致する場合の一致度が所定値以上の場合にそこに鼻孔があると判定するが、その所定値を小さくすることで横向き等のため正常な形で撮影されていない鼻孔の検出が容易になる。また、所定以上の面積の黒画素の塊等を検出する場合、所定数の画素(例えばN画素)であれば黒画素が連続していなくても連続していると見なすよう処理するが、黒画素の塊の判定閾値を下げる場合、例えばこれを2×N画素であれば黒画素が連続していなくても黒画素が連続していると見なすことで、周辺のエッジが弱くなって2個目の鼻孔が撮影されている場合に所定以上の面積の黒画素の塊を検出しやすくすることができる。

0050

なお、閾値を下げる場合でも、例えば、元の閾値を1.0とした場合、0.7程度の閾値を下限に設定することで、ほくろや陰影などを誤って2個目の鼻孔と検出しやすくすることができる。

0051

また、2個目の鼻孔は中央線を挟んで略対称な方向であって、一方の鼻孔から所定距離内にあるとしてよいので、上記のような閾値を下げた後、2個目の鼻孔を検出する場合であってもほくろや陰影などを誤って2個目の鼻孔と検出することを防止できる。

0052

図5は、眼検知装置10が閾値を下げて2個目の鼻孔を検出する検出手順のフローチャート図を示す。顔カメラ11がサイクル時間毎に運転者の顔画像を撮影するので(S1)、顔向き検知手段12cは顔画像のエッジ情報から順次中央線を検出する(S2)。

0053

ついで、鼻孔位置確定手段12a(特許請求の範囲における第1特徴点抽出手段に相当)は、標準の閾値により2個の鼻孔の検出を図り、鼻孔が1個のみしか検出されないか否かを判定する(S6)。ここで、2個とも検出された場合には(S6のNo)、その2個の鼻孔から鼻孔位置を確定し(S9)、2個とも検出されない場合は、眼の開度は未検出として次の顔画像を処理する。

0054

鼻孔が1個のみしか検出されない場合(S6のYes)、鼻孔位置確定手段12a(特許請求の範囲における第2特徴点抽出手段に相当)は、鼻孔検出のための閾値を下げ(S7)、1個目の鼻孔から所定距離内の2個目の鼻孔を検出する(S8)。閾値を下げることで2個目の鼻孔の検出が容易になると共に、所定距離内に限定することで誤検出を防止できる。ついで、開閉検出手段12bは、検出された2個の鼻孔の位置から鼻孔位置を確定する(S9)。

0055

ついで、開閉検出手段12bは鼻孔位置から眼球追跡領域を設定し(S20)、眼の開度を検出する(S21)。開閉検出手段12bは以上の処理を顔画像毎に繰り返す。

0056

本実施例によれば、鼻孔が1個のみしか検出されない場合、閾値を下げることで2個目の鼻孔を検出しやすくすることができる。

0057

実施例2では、鼻孔が1個のみしか検出できない場合には鼻孔検出の閾値を下げる眼検知装置10について説明したが、本実施例では顔向き度が所定値以上の場合、顔向き方向の鼻孔の閾値を下げる眼検知装置10について説明する。

0058

図3(a)において説明したように、運転者が横方向を向くと奥側の鼻孔が小さくなったり、奥側の鼻孔に光が差し込みエッジが弱くなったり、鼻中隔により奥側の鼻孔が隠れたりするため鼻孔が1個のみしか検出されない場合がある。また、顔が横方向を向いた場合に検出が困難な鼻孔は顔が向いた方向(顔カメラ11から遠い側)である。そこで、顔画像から顔向き度が検出された場合には、実施例2と同様に顔を向いた方向の鼻孔の鼻孔検出の閾値を下げ、2個目の鼻孔を検出する眼検知装置10について説明する。

0059

閾値及びその下げ方は、実施例2と同様である。すなわち、2値化処理の閾値を下げ、パターンマッチング処理の合致度を下げ、黒画素が連続しているか否かを判定する閾値を下げる。

0060

鼻孔検出の閾値を下げて2個目の鼻孔を検出する場合、2個目の鼻孔は一方の鼻孔から所定距離内であって、中央線を挟んで略対称な位置にあるという制約、及び、閾値を下げる場合の下限、を設けてもよい。これにより、ほくろや陰影などを誤って2個目の鼻孔と検出することを防止しやすくすることができる。

0061

また、2個目の鼻孔は顔向き度が大きいほど検出が困難になるので、顔向き度が所定値以上の場合に一律に閾値を下げるのでなく、顔向き度に応じて閾値を下げてもよい。例えば、顔向き度がA度の場合、閾値に(90−A)/90の値を乗じることで顔向き度に応じて閾値を下げることができる。これにより、顔向き度が大きいほど閾値を下げるので2個目の鼻孔を検出しやすくできると共に、顔向き度が小さい場合には閾値の下げ方も小さいので2個目の鼻孔の誤検出を防止しやすくできる。

0062

図6は、眼検知装置10が顔向き度が所定値以上の場合に閾値を下げて2個目の鼻孔を検出する検出手順のフローチャート図を示す。顔カメラ11がサイクル時間毎に運転者の顔画像を撮影するので(S1)、顔向き検知手段12cは顔画像のエッジ情報から順次中央線を検出する(S2)。

0063

ついで、鼻孔位置確定手段12aは、顔向き度が所定値以上か否かを判定する(S3)。顔向き度が所定値以上でない場合(S3のNo)、鼻孔位置確定手段12aは鼻孔を2個とも検出し、2個とも検出されたら鼻孔位置を確定する(S5)。

0064

顔向き度が所定値以上の場合(S3のYes)、鼻孔位置確定手段12aは標準の閾値により1個の鼻孔を検出する(S11)。ついで、鼻孔位置確定手段12aは鼻孔検出のための閾値を下げ(S12)、2個目の鼻孔を検出する(S13)。閾値は顔向き度に応じて下げてもよく、2個目の鼻孔を検出する場合は1個目の鼻孔から所定距離内に制限してもよい。

0065

開閉検出手段12bは鼻孔位置から眼球追跡領域を設定し(S20)、眼の開度を検出する(S21)。開閉検出手段12bは以上の処理を顔画像毎に繰り返す。

0066

本実施例によれば、運転者の顔が横方向を向いた場合には、検出が困難な2個目の鼻孔を検出するための閾値を下げることで、鼻孔を2個とも検出しやすくすることができる。顔向きが所定値以上の場合、2個目の鼻孔は最初から閾値を下げて検出するので、短時間に検出することができる。

0067

本実施例では鼻孔が1個のみしか検出できない場合、又は、2個とも検出されない場合、過去に検出された鼻孔位置を基準にして鼻孔検出領域を拡張しそこから鼻孔を検出する眼検知装置10について説明する。

0068

例えば、鼻孔が1個のみ検出された場合、それが鼻孔であれば左右いずれかに2個目の鼻孔が存在するはずであるが、そもそも鼻孔が1個のみしか検出されない場合、それが鼻孔であることの確度は低下してしまう。また、鼻孔が2個とも検出されない場合には鼻孔位置を確定することができない。

0069

しかしながら、それまでに撮影した顔画像及びその画像処理から上下の瞼位置が検出されている場合、瞼位置が検出された顔画像の鼻孔位置を基準にして、鼻孔位置を拡張すれば、例えば横を向いて位置が左右に移動した鼻孔を検出できる可能性が高まる。上述のように、鼻孔検出領域は、ほくろや光の影響を排除し、また、画像処理の負担を軽減するため、中央線周辺の縦長の領域とされているが、本実施例ではこれを横長の領域とする。

0070

図7(a)は、運転者が正面方向を向いていて2個の鼻孔及び2個の瞼位置が検出されている顔画像の一例を、図7(b)は鼻孔検出領域を横長の矩形領域とした顔画像の一例を、それぞれ示す。図7(a)のように2個の瞼位置が検出されている場合、鼻孔検出領域に2個の鼻孔が検出されていると考えてよいので、図7(b)のように運転者が横方向を向いた場合は、上下方向にはあまり変化がなく横方向に若干シフトした位置に2個の鼻孔が存在するものと考えられる。

0071

そこで、鼻孔位置確定手段12aは、図7(a)における鼻孔位置を基準に横方向に拡張された鼻孔検出領域を設定する。拡張された鼻孔検出領域は、例えば、拡張前の鼻孔検出領域の対角交点を中心に90度回転されたもの、また例えば、拡張前の鼻孔検出領域の幅を高さに高さを幅に設定したもの、等である。なお、顔向き度に応じて鼻孔検出領域全体を左右にシフトしてもよい。

0072

一度、瞼が検出された際の鼻孔位置を基準に横方向に拡張された鼻孔検出領域を設定することで、顔が横方向をむいたことで鼻孔が縦長の鼻孔検出領域から外れてしまっていても鼻孔の検出が可能となる。横方向の拡張は、鼻孔が1個のみしか検出できない場合に行ってもよいし2個とも検出されない場合に行ってもよい。また、所定以上に横向きであることが検知されている場合、鼻孔を検出する前に鼻孔検出領域を拡張してもよい。

0073

ところで、鼻孔検出領域を横方向に広げることで、運転者が横方向を向いた場合でも鼻孔検出領域に鼻孔が存在する可能性が高くなるが、横方向を向いているため2個目の鼻孔の検出が困難になるのは、実施例1〜3と同様である。

0074

そこで、鼻孔検出領域を横方向に拡張した後、鼻孔が1個のみしか検出されない場合又は顔向き度が所定値以上の場合、2個目の鼻孔の鼻孔検出の閾値を下げることが好適となる。すなわち、2値化処理の閾値を下げ、パターンマッチング処理の合致度を下げ、黒画素が連続しているか否かを判定する閾値を下げる。

0075

鼻孔検出の閾値を下げて2個目の鼻孔を検出する場合、2個目の鼻孔は一方の鼻孔から所定距離内であって、中央線を挟んで略対称な位置にあるという制約、及び、閾値を下げる場合の下限を設けてもよい。これにより、ほくろや陰影などを誤って2個目の鼻孔と検出することを防止しやすくすることができる。また、顔向き度が検出されている場合は、顔向き度に応じて閾値を下げてもよい。

0076

図8は、眼検知装置10が鼻孔探索領域を拡張して鼻孔を検出する検出手順のフローチャート図を示す。顔カメラ11がサイクル時間毎に運転者の顔画像を撮影するので(S1)、顔向き検知手段12cは顔画像のエッジ情報から順次中央線を検出する(S2)。

0077

ついで、鼻孔位置確定手段12aは、標準の閾値により2個の鼻孔の検出を図り、鼻孔が1個以上検出されないか否かを判定する(S15)。2個とも検出された場合(S15のNo)、開閉検出手段12bは鼻孔位置から眼球追跡領域を設定し(S20)、目の開度を検出する(S21)。

0078

鼻孔が1個以上検出されない場合(S15のYes)、鼻孔位置確定手段12aは直前数フレーム内の顔画像に瞼位置が検出されているか否かを判定する(S16)。直前数フレーム内の顔画像は、より好ましくは直前の顔画像、そして正面方向を向いた場合の顔画像である。時間的に近い顔画像であれば鼻孔位置のずれも小さく、また、正面方向を向いた顔画像から検出される鼻孔位置が正確であると考えられる。鼻孔位置確定手段12aは、このような優先順位に従い、瞼位置が検出された顔画像の鼻孔位置を抽出する。

0079

直前数フレーム内の顔画像に瞼位置が検出されていない場合(S16のNo)、開閉検出手段12bは目の開度は未検出としてもよいし、鼻孔が1個のみ検出されている場合には、1個の鼻孔から鼻孔位置を確定してもよいし、閾値を下げ2個目の鼻孔を検出してもよい。

0080

直前数フレーム内の顔画像に瞼位置が検出されている場合(S16のYes)、鼻孔位置確定手段12aは、正面時の鼻孔位置を基準に鼻孔探索領域を横方向に広げる(S17)。これにより、運転者が横方向を向いた場合でも鼻孔検出領域に鼻孔が存在する可能性が高くなり、2個の鼻孔を検出しやすくすることができる。

0081

ついで、開閉検出手段12bは1個又は2個の鼻孔を検出し、確定された鼻孔位置から眼球追跡領域を設定し(S20)、目の開度を検出する(S21)。

0082

本実施例によれば、鼻孔が1個以上検出されない場合、鼻孔探索領域を横方向に拡張するので、横方向を向いていても鼻孔を検出しやすくすることができる。

0083

以上、本実施形態の眼検知装置は、顔が横向きの場合や光の影響等があっても、精度よく鼻孔位置を確定できるので、眼の位置を検知して眼の開閉等、運転支援に必要な処理をすることができる。

図面の簡単な説明

0084

本実施形態の眼検知装置を含む居眠り検知装置のシステム構成図である。
顔画像から眼の開閉の検出を説明するための図である。
一方の鼻孔の検出が困難な顔画像の一例を示す図である。
顔向き度が所定値以上の場合に眼検知装置が1個の鼻孔から鼻孔位置を確定する処理手順のフローチャート図である。
眼検知装置が閾値を下げて2個目の鼻孔を検出する検出手順のフローチャート図である。
眼検知装置が顔向き度が所定値以上の場合に閾値を下げて2個目の鼻孔を検出する検出手順のフローチャート図である。
鼻孔検出領域の拡張を説明するための図である。
眼検知装置が鼻孔探索領域を拡張して鼻孔を検出する検出手順のフローチャート図である。

符号の説明

0085

1居眠り検知装置
10 目検知装置
11顔カメラ
12顔画像処理ECU
12a鼻孔位置確定手段
12b開閉検出手段
12c顔向き検知手段
13衝突判断ECU
13a閉眼時間計測手段
14コンビネーションメータ
15ブレーキECU
16 ミリ波レーダ装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • PSP株式会社の「 画像処理方法、画像処理システム及び画像処理プログラム」が 公開されました。( 2021/01/07)

    【課題】モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供すること。【解決手段】連続的な複数のスライス画像により構成される第一画像シリーズを積... 詳細

  • 富士通株式会社の「 物体情報生成装置及び物体情報生成プログラム」が 公開されました。( 2021/01/07)

    【課題・解決手段】移動体に搭載される単眼カメラに基づいて、第1時点及び前記第1時点よりも前の時点を含む複数の時点での物体の第1個所の位置を表す測定値を算出する測定値算出部と、前記第1個所の位置の採用値... 詳細

  • 日産自動車株式会社の「 駐車制御方法及び駐車制御装置」が 公開されました。( 2021/01/07)

    【課題・解決手段】車両の外の操作者Mから取得した操作指令に基づき、車両を目標駐車位置に移動させる駐車制御を行い、目標駐車位置への駐車制御を中断して車両が目標駐車位置から離れる場合、少なくとも車両の一部... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ