図面 (/)

技術 瞳孔検出装置

出願人 アルプスアルパイン株式会社
発明者 梅村俊佑
出願日 2017年11月30日 (2年5ヶ月経過) 出願番号 2017-231029
公開日 2019年6月24日 (10ヶ月経過) 公開番号 2019-097807
状態 未査定
技術分野 眼の診断装置
主要キーワード マッチング範囲 所定ピクセル 各候補画像 瞳孔画像 複数ピクセル 瞳孔検出 応用形態 矩形範囲
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年6月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

瞳孔検出ロバスト性を向上させる。

解決手段

一実施形態に係る瞳孔検出装置は、対象者の第1顔画像及び第2顔画像を取得する画像取得部と、前記第1顔画像の前記対象者の瞳孔を含む一部をテンプレート画像に設定するテンプレート画像設定部と、前記第2顔画像の一部である候補画像と、前記テンプレート画像と、の輝度差に応じたスコアを、複数の前記候補画像について算出するスコア算出部と、前記スコアに基づいて、複数の前記候補画像の中から検出用画像を選択する検出用画像選択部と、前記テンプレート画像及び前記検出用画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出部と、を備える。

概要

背景

近年、対象者の顔を撮影した明瞳孔画像及び暗瞳孔画像から対象者の瞳孔を検出し、検出した瞳孔の座標に基づいて、対象者の視線方向を推定する視線検出技術が利用されている。この視線検出技術では、瞳孔をより確実に検出するために、撮影タイミングが異なる明瞳孔画像と暗瞳孔画像との位置ずれ補正することが重要となる。従来、位置ずれを補正する方法として、明瞳孔画像及び暗瞳孔画像からそれぞれ特徴点鼻孔など)を検出し、検出した特徴点の位置ずれの分だけ、明瞳孔画像及び暗瞳孔画像の位置を補正する方法が提案されている。

概要

瞳孔検出ロバスト性を向上させる。 一実施形態に係る瞳孔検出装置は、対象者の第1顔画像及び第2顔画像を取得する画像取得部と、前記第1顔画像の前記対象者の瞳孔を含む一部をテンプレート画像に設定するテンプレート画像設定部と、前記第2顔画像の一部である候補画像と、前記テンプレート画像と、の輝度差に応じたスコアを、複数の前記候補画像について算出するスコア算出部と、前記スコアに基づいて、複数の前記候補画像の中から検出用画像を選択する検出用画像選択部と、前記テンプレート画像及び前記検出用画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出部と、を備える。

目的

本発明は、上記の課題に鑑みてなされたものであり、瞳孔検出のロバスト性を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

対象者の第1顔画像及び第2顔画像を取得する画像取得部と、前記第1顔画像の前記対象者の瞳孔を含む一部をテンプレート画像に設定するテンプレート画像設定部と、前記第2顔画像の一部である候補画像と、前記テンプレート画像と、の輝度差に応じたスコアを、複数の前記候補画像について算出するスコア算出部と、前記スコアに基づいて、複数の前記候補画像の中から検出用画像を選択する検出用画像選択部と、前記テンプレート画像及び前記検出用画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出部と、を備える瞳孔検出装置

請求項2

前記検出用画像選択部は、前記スコアが最も小さい前記候補画像を、前記検出用画像として選択する請求項1に記載の瞳孔検出装置。

請求項3

前記検出用画像選択部は、前記スコアが最も小さく、かつ、前記スコアが閾値未満である前記候補画像を、前記検出用画像として選択する請求項1に記載の瞳孔検出装置。

請求項4

前記検出用画像選択部は、最も小さい前記スコアが前記閾値以上である場合、前記テンプレート画像に対応する前記候補画像を、前記検出用画像として選択する請求項1に記載の瞳孔検出装置。

請求項5

前記検出用画像選択部は、前記第1顔画像及び前記第2顔画像の輝度が高いほど、前記閾値を小さくする請求項3又は請求項4に記載の瞳孔検出装置。

請求項6

前記瞳孔検出部は、前記テンプレート画像と前記検出用画像との差分画像2値化した2値化画像に基づいて、前記瞳孔を検出する請求項1から請求項5までのいずれか1項に記載の瞳孔検出装置。

請求項7

前記第1顔画像は、明瞳孔画像及び暗瞳孔画像の一方であり、前記第2顔画像は、前記明瞳孔画像及び前記暗瞳孔画像の他方である請求項1から請求項6までのいずれか1項に記載の瞳孔検出装置。

技術分野

0001

本発明は、瞳孔検出装置に関する。

背景技術

0002

近年、対象者の顔を撮影した明瞳孔画像及び暗瞳孔画像から対象者の瞳孔を検出し、検出した瞳孔の座標に基づいて、対象者の視線方向を推定する視線検出技術が利用されている。この視線検出技術では、瞳孔をより確実に検出するために、撮影タイミングが異なる明瞳孔画像と暗瞳孔画像との位置ずれ補正することが重要となる。従来、位置ずれを補正する方法として、明瞳孔画像及び暗瞳孔画像からそれぞれ特徴点鼻孔など)を検出し、検出した特徴点の位置ずれの分だけ、明瞳孔画像及び暗瞳孔画像の位置を補正する方法が提案されている。

先行技術

0003

特開2007−268026号公報
特開2008−29702号公報

発明が解決しようとする課題

0004

しかしながら、上記従来の方法では、マスクなどにより特徴点(鼻孔など)が隠されていた場合、当該特徴点に基づいて明瞳孔画像及び暗瞳孔画像の位置ずれを補正できず、瞳孔を検出できないおそれがあった。すなわち、従来の方法では、瞳孔検出ロバスト性が低いという問題があった。

0005

本発明は、上記の課題に鑑みてなされたものであり、瞳孔検出のロバスト性を向上させることを目的とする。

課題を解決するための手段

0006

一実施形態に係る瞳孔検出装置は、対象者の第1顔画像及び第2顔画像を取得する画像取得部と、前記第1顔画像の前記対象者の瞳孔を含む一部をテンプレート画像に設定するテンプレート画像設定部と、前記第2顔画像の一部である候補画像と、前記テンプレート画像と、の輝度差に応じたスコアを、複数の前記候補画像について算出するスコア算出部と、前記スコアに基づいて、複数の前記候補画像の中から検出用画像を選択する検出用画像選択部と、前記テンプレート画像及び前記検出用画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出部と、を備える。

発明の効果

0007

本発明の各実施形態によれば、瞳孔検出のロバスト性の向上を実現できる。

図面の簡単な説明

0008

瞳孔検出装置のハードウェア構成の一例を示す図。
瞳孔検出装置の機能構成の一例を示す図。
第1顔画像、第2顔画像、及びテンプレート画像の一例を示す図。
瞳孔検出装置が実行する処理の一例を示すフローチャート

実施例

0009

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。

0010

第1実施形態に係る瞳孔検出装置100について、図1図4を参照して説明する。本実施形態に係る瞳孔検出装置100は、対象者の顔を撮影した第1顔画像Im1及び第2顔画像Im2から対象者の瞳孔を検出する装置である。瞳孔検出装置100の検出結果は、瞳孔の座標を利用して対象者の視線を検出する視線検出装置で利用される。

0011

以下、瞳孔検出装置100が、車両の運転者の瞳孔を検出する車載装置である場合を例に説明する。この場合、瞳孔検出装置100が搭載された車両の運転者が、瞳孔検出装置100の対象者に相当する。

0012

まず、瞳孔検出装置100のハードウェア構成について説明する。図1は、瞳孔検出装置100のハードウェア構成の一例を示す図である。図1の瞳孔検出装置100は、撮影装置1と、制御装置2と、を備える。

0013

撮影装置1は、運転者の顔を撮影し、顔画像を取得する装置であり、制御装置2に接続される。撮影装置1は、運転者の顔を撮影可能な位置(運転席の前方)に配置される。図1の撮影装置1は、撮影部11L,11Rと、複数の光源12L,12Rと、を備える。

0014

撮影部11Lは、運転者の顔を撮影するカメラであり、図1における撮影装置1の左側に配置される。撮影部11Rは、運転者の顔を撮影するカメラであり、図1における撮影装置1の右側に配置される。以下、撮影部11L,11Rを区別しない場合、撮影部11と称する。

0015

光源12Lは、運転者の顔を撮影する際に、運転者の顔に所定のタイミングで光を照射する光源であり、撮影部11Lの近傍に複数配置される。光源12Rは、運転者の顔を撮影する際に、運転者の顔に所定のタイミングで光を照射する光源であり、撮影部11Rの近傍に複数配置される。光源12L,12Rは、例えば、近赤外光を照射するLED(Light Emitting Diode)であるが、これに限られない。以下、光源12L,12Rを区別しない場合、光源12と称する。

0016

なお、図1の例では、撮影装置1は、2つの撮影部11を備えるが、1つ又は3つの撮影部11を備えてもよい。撮影部11が1つの場合、撮影装置1は、撮影部11に対して略同軸の光源12と非同軸の光源12とをそれぞれ備えれば良い。また、図1の例では、撮影装置1は、それぞれ4つの光源12L,12Rを備えるが、光源12L,12Rの数は任意に設計可能である。

0017

制御装置2は、撮影装置1を制御する装置であり、撮影装置1に接続される。具体的には、制御装置2は、撮影部11による撮影及び光源12の発光を制御する。また、制御装置2は、撮影装置1により取得された第1顔画像Im1及び第2顔画像Im2から運転者の瞳孔を検出する。

0018

図1の制御装置2は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、HDD(Hard Disk Drive)204と、入力装置205と、表示装置206と、を備える。また、制御装置2は、接続インタフェース207と、通信インタフェース208と、バス209と、を備える。

0019

CPU201は、プログラムを実行することにより、制御装置2の各ハードウェア構成を制御し、瞳孔検出装置100の機能を実現する。

0020

ROM202は、CPU201が実行するプログラムや各種のデータを記憶する。

0021

RAM203は、CPU201に作業領域を提供する。

0022

HDD204は、CPU201が実行するプログラムや各種のデータを記憶する。

0023

入力装置205は、運転者を含むユーザの操作に応じた情報を制御装置2に入力する。入力装置205は、例えば、タッチパネルキーボードマウスハードウェアボタンなどである。

0024

表示装置206は、運転者を含むユーザの操作に応じた画面を表示する。表示装置206は、例えば、液晶ディスプレイ有機EL(Electro Luminescence)ディスプレイなどである。

0025

接続インタフェース207は、制御装置2を撮影装置1に接続するためのインタフェースである。制御装置2は、接続インタフェース207を介して、撮影装置1を制御し、撮影装置1から画像(画像データ)を取得する。

0026

通信インタフェース208は、制御装置2をCAN(Controller Area Network)、インターネット、LAN(Local Area Network)などのネットワークに接続するためのインタフェースである。制御装置2は、通信インタフェース208を介して、ネットワーク上の外部装置(ECU(Electronic Control Unit)など)と通信する。

0027

バス209は、CPU201、ROM202、RAM203、HDD204、入力装置205、表示装置206、接続インタフェース207、及び通信インタフェース208を相互に接続する。

0028

なお、図1の例では、制御装置2が車載コンピュータにより構成される場合を想定している。しかしながら、制御装置2は、FPGA(Field Programmable Gate Array)やASIC(Application Specified IntegratedCircuit)などのICにより、1チップで構成されてもよい。この場合、制御装置2は、HDD204、入力装置205、及び表示装置206を備えない。また、制御装置2は、車両に搭載された撮影装置1とネットワークを介して接続されたPC(Personal Computer)、サーバタブレット端末スマートフォンなどのコンピュータにより構成されてもよい。

0029

次に、瞳孔検出装置100の機能構成について説明する。図2は、瞳孔検出装置100の機能構成の一例を示す図である。図2の瞳孔検出装置100は、画像取得部21と、画像記憶部22と、テンプレート画像設定部23と、スコア算出部24と、検出用画像選択部25と、瞳孔検出部26と、を備える。これらの各機能構成は、制御装置2のCPU201がプログラムを実行し、瞳孔検出装置100の各ハードウェア構成と協働することにより実現される。

0030

画像取得部21は、撮影装置1を制御し、異なる撮影タイミングで運転者の顔を撮影した第1顔画像Im1及び第2顔画像Im2を取得する。具体的には、画像取得部21は、撮影装置1に運転者の顔を所定の撮影間隔で撮影させ、当該撮影間隔で第1顔画像Im1及び第2顔画像Im2を取得する。撮影間隔は、例えば、1msec以上100msec以下である。第1顔画像Im1は、明瞳孔画像及び暗瞳孔画像の一方であり、第2顔画像Im2は、明瞳孔画像及び暗瞳孔画像の他方である。

0031

明瞳孔画像は、運転者の瞳孔が明るく撮影された顔画像である。明瞳孔画像は、光源12から運転者の顔に光を照射した状態で、当該光源12と略同軸の撮影部11により運転者の顔を撮影することにより取得される。このように撮影することにより、光源12からの光が、運転者の網膜により、撮影部11の方向に反射するため、運転者の瞳孔が明るく撮影される。図1の撮影装置1では、光源12Lから運転者の顔に光を照射した状態で、撮影部11Lにより運転者の顔を撮影することにより、明瞳孔画像が取得される。また、光源12Rから運転者の顔に光を照射した状態で、撮影部11Rにより運転者の顔を撮影することにより、明瞳孔画像が取得される。

0032

暗瞳孔画像は、運転者の瞳孔が、明瞳孔画像に比べて暗く撮影された顔画像である。暗瞳孔画像は、光源12から運転者の顔に光を照射した状態で、当該光源12と非同軸の撮影部11により運転者の顔を撮影することにより取得される。このように撮影することにより、光源12からの光が、運転者の網膜により、撮影部11とは異なる方向に反射するため、運転者の瞳孔が暗く撮影される。図1の撮影装置1では、光源12Lから運転者の顔に光を照射した状態で、撮影部11Rにより運転者の顔を撮影することにより、暗瞳孔画像が取得される。また、光源12Rから運転者の顔に光を照射した状態で、撮影部11Lにより運転者の顔を撮影することにより、暗瞳孔画像が取得される。

0033

画像記憶部22は、第1顔画像Im1、第2顔画像Im2、テンプレート画像Imt、及び差分画像など画像を記憶する。

0034

テンプレート画像設定部23は、画像記憶部22に記憶された第1顔画像Im1の一部を、テンプレート画像Imtに設定する。テンプレート画像Imtは、後述するテンプレートマッチングに利用される画像である。テンプレート画像設定部23は、第1顔画像Im1における、運転者の瞳孔を含む任意のサイズの部分をテンプレート画像Imtとして設定する。瞳孔を含むテンプレート画像Imtを設定する方法として、機械学習や顔の輪郭の検出により、第1顔画像Im1から顔を検出し、当該顔において瞳孔が含まれると考えられる部分(例えば、顔の上半分など)をテンプレート画像Imtとして設定する方法が考えられる。なお、テンプレート画像Imtは、サイズが小さい方が好ましい。これにより、テンプレートマッチングを高速化できる。

0035

スコア算出部24は、テンプレートマッチングにより、複数の第2顔画像Im2の部分画像(以下「候補画像Imc」という。)について、テンプレート画像Imtとの間の輝度差に応じたスコアを算出する。候補画像Imcは、後述する検出用画像Imdの候補となる画像である。スコア算出部24は、第2顔画像Im2の中から、テンプレート画像Imtと同じサイズの部分画像を候補画像Imcとして選択し、選択した候補画像Imcと、テンプレート画像Imtと、の差分画像を生成し、生成した差分画像の輝度平均値積算値を、当該候補画像Imcのスコアとして算出する。候補画像Imcとテンプレート画像Imtとが類似するほど、差分画像の輝度は小さくなるため、スコアが小さくなる。すなわち、候補画像Imcとテンプレート画像Imtとが類似するほど、スコアは小さくなる。

0036

差分画像は、明瞳孔画像から暗瞳孔画像を減算した画像である。明瞳孔画像が第1顔画像Im1であり、暗瞳孔画像が第2顔画像Im2である場合、差分画像は、テンプレート画像Imtから第2顔画像Im2の部分画像を減算した画像となる。逆に、暗瞳孔画像が第1顔画像Im1であり、明瞳孔画像が第2顔画像Im2である場合、差分画像は、暗瞳孔画像である第1顔画像Im1からテンプレート画像Imtを設定し、テンプレート画像Imtから第2顔画像Im2の部分画像を減算した画像となる。スコア算出部24は、生成した差分画像を、当該差分画像に対応する候補画像Imcの識別情報対応付けて、画像記憶部22に保存する。候補画像Imcの識別情報は、当該候補画像Imcを特定する位置情報(座標)を含む。

0037

スコア算出部24は、全ての候補画像Imcに対応する差分画像を画像記憶部22に保存してもよい。また、スコア算出部24は、最小のスコアを有する候補画像Imcに対応する差分画像だけを画像記憶部22に保存してもよいし、最小のスコアを有する候補画像Imc及びテンプレート画像Imtに対応する候補画像Imcに対応する差分画像だけを画像記憶部22に保存してもよい。テンプレート画像Imtに対応する候補画像Imcとは、テンプレート画像Imtと位置が同一の候補画像Imcのことである。このように、一部の候補画像Imcに対応する差分画像だけを保存することにより、画像記憶部22に要求される記憶容量を小さくすることができる。

0038

スコア算出部24は、候補画像Imcを、第1顔画像Im1におけるテンプレート画像Imtの位置を基準としたマッチング範囲R内で、所定ピクセル(1ピクセル又は複数ピクセル)ずつずらしながら選択し、各候補画像Imcのスコアを算出する。スコア算出部24は、候補画像Imcの識別情報と、当該候補画像Imcのスコアと、を対応付けて検出用画像選択部25に通知する。

0039

図3は、第1顔画像Im1、第2顔画像Im2、及びテンプレート画像Imtの一例を示す図である。図3の例では、第1顔画像Im1における(n1,m1)から(n2,m2)までの矩形範囲がテンプレート画像Imtとして設定され、第2顔画像Im2における(n1−p,m1−q)から(n2+p,m2+q)までの矩形範囲がマッチング範囲Rとして設定されている。このように、マッチング範囲Rは、第1顔画像Im1におけるテンプレート画像Imtの位置を基準に設定される。

0040

スコア算出部24は、マッチング範囲Rの中で、テンプレート画像Imtを所定ピクセルずつずらしながらスコアを算出する。言い換えると、スコア算出部24は、マッチング範囲Rの中で、候補画像Imcを所定ピクセルずつずらしながら選択し、選択した各候補画像Imcのスコアを算出する。図3の例では、p及びqが2ピクセルであり、所定ピクセルが1ピクセルである場合、スコア算出部24は、25個の候補画像Imcのスコアを算出することになる。

0041

上述の通り、第1顔画像Im1及び第2顔画像Im2は、撮影タイミングが撮影間隔だけ異なるため、第1顔画像Im1及び第2顔画像Im2に含まれる運転者の顔は、図3の例のように、撮影間隔に応じてわずかに位置がずれる。瞳孔検出装置100は、第1顔画像Im1及び第2顔画像Im2に含まれる顔の位置ずれを補正するために、テンプレート画像Imtに最も類似する(スコアが最も小さい)候補画像Imcを探索する。これは、テンプレート画像Imtと、当該テンプレート画像Imtに最も類似する候補画像Imcと、の間の位置ずれが、第1顔画像Im1及び第2顔画像Im2に含まれる顔の位置ずれに相当すると考えられるためである。このため、マッチング範囲R(テンプレート画像Imtに最も類似する候補画像Imcの探索範囲)は、少なくとも顔の位置ずれの分だけ、テンプレート画像Imtより広く設定されるのが好ましい。一方、マッチング範囲Rが広いほど、テンプレートマッチングに要する時間が長くなる。したがって、テンプレートマッチングを高速化するためには、マッチング範囲Rが狭いのが好ましい。

0042

結果として、マッチング範囲Rは、テンプレート画像Imtより顔の位置ずれの分だけ広く、かつ、できるだけ狭く設定されるのが好ましい。このようなマッチング範囲Rの設定が可能となるように、マッチング範囲Rは、撮影間隔が長いほど広く設定され、撮影間隔が短いほど狭く設定されるのが好ましい。スコア算出部24は、撮影間隔に応じて、マッチング範囲Rを変更可能であってもよい。

0043

検出用画像選択部25は、スコア算出部24が算出したスコアに基づいて、スコア算出部24がスコアを算出した候補画像Imcの中から、検出用画像Imdを選択する。検出用画像Imdは、運転者の瞳孔を検出するための画像である。検出用画像選択部25は、検出用画像Imdとして選択した候補画像Imcの識別情報を、瞳孔検出部26に通知する。

0044

検出用画像Imdを選択する第1の選択方法として、最も小さいスコアを有する候補画像Imcを、検出用画像Imdとして選択する方法が考えられる。第1の選択方法によれば、テンプレート画像Imtと最も類似する候補画像Imcを簡便に選択することができる。

0045

検出用画像Imdを選択する第2の選択方法として、スコアが最も小さく、かつ、当該スコアが閾値未満である候補画像Imcを、検出用画像Imdとして選択する方法が考えられる。第2の選択方法によれば、最も小さいスコアが閾値以上である場合、テンプレート画像Imtに対応する候補画像Imcが、検出用画像Imdとして選択される。

0046

第2の選択方法によれば、第1の選択方法より、瞳孔の検出精度を向上させることができる。理由は、以下の通りである。

0047

車両の振動や運転者の動作により、第1顔画像Im1及び第1顔画像Im2に含まれる顔の位置ずれが大きい場合、各候補画像Imcは、非類似のテンプレート画像Imtと比較されるため、スコアが全体的に大きくなる。しかしながら、第1の選択方法では、このような場合であっても、スコアが最小の候補画像Imcが検出用画像Imdとして選択されてしまう。テンプレート画像Imtと非類似の候補画像Imcに基づいて瞳孔を検出すると、当該候補画像Imcを利用せずに瞳孔を検出した場合より、かえって瞳孔の検出精度が低下するおそれがある。第2の選択方法によれば、スコアが最も小さい候補画像Imcであっても、そのスコアが閾値以上である場合には、検出用画像Imdとしては選択されないため、非類似の候補画像Imcに起因する瞳孔の検出精度の低下を抑制することができる。

0048

なお、第1顔画像Im1及び第1顔画像Im2に含まれる顔の位置ずれが小さい場合であっても、瞳孔の輝度差により、テンプレート画像Imtに最も類似する候補画像Imcのスコアが閾値より大きくなる場合が考えられる。この場合、第2の選択方法では、テンプレート画像Imtに最も類似する候補画像Imcが検出用画像Imdとして選択されず、テンプレート画像Imtに対応する候補画像Imcが選択されるため、瞳孔の検出精度が低下するおそれがある。しかしながら、この場合には、そもそも位置ずれが小さいため、テンプレート画像Imtに対応する候補画像Imcに基づいて、瞳孔を精度よく検出可能であるため、瞳孔の検出精度の低下は十分に小さいと考えられる。

0049

結果として、第2の選択方法によれば、第1の選択方法に比べて、テンプレート画像Imtと非類似の候補画像Imcに起因する瞳孔の検出精度の低下が抑制されるため、瞳孔の検出精度を向上させることができる。

0050

検出用画像選択部25は、第2の選択方法を採用する場合、撮影環境明るいほど閾値を小さくし、撮影環境が暗いほど閾値を大きくするのが好ましい。これは、撮影環境が明るい場合、運転者の瞳孔が収縮し、テンプレート画像Imtに最も類似する候補画像Imcのスコアが小さくなると考えられるためである。検出用画像選択部25は、撮影環境の明るさとして、第1顔画像Im1及び第2顔画像Im2の輝度の平均値や積算値などを利用することができる。

0051

なお、検出用画像Imdの選択方法は、第1の選択方法及び第2の選択方法に限られない。

0052

瞳孔検出部26は、テンプレート画像Imt及び検出用画像Imdに基づいて、運転者の瞳孔を検出する。具体的には、瞳孔検出部26は、テンプレート画像Imtと検出用画像Imdとの差分画像を生成し、当該差分画像を2値化した2値化画像を生成し、当該2値化画像に基づいて、運転者の瞳孔の座標を検出する。

0053

瞳孔検出部26は、検出用画像選択部25から通知された識別情報に基づいて、第2顔画像Im2から検出用画像Imdを取得し、画像記憶部22からテンプレート画像Imtを取得し、取得したテンプレート画像Imt及び検出用画像Imdに基づいて、2値化画像を生成することができる。

0054

また、瞳孔検出部26は、検出用画像選択部25から通知された識別情報に基づいて、画像記憶部22から、検出用画像Imdとして選択された候補画像Imcに対応する差分画像を取得してもよい。当該差分画像は、テンプレート画像Imt及び検出用画像Imdに基づいて生成された差分画像に相当する。瞳孔検出部26は、画像記憶部22から取得した差分画像に基づいて2値化画像を生成することにより、瞳孔検出処理を高速化できる。

0055

なお、検出用画像選択部25が第1の選択方法を採用している場合、最小のスコアを有する候補画像Imcに対応する差分画像だけを画像記憶部22に保存しておけばよい。また、検出用画像選択部25が第2の選択方法を採用している場合、最小のスコアを有する候補画像Imc及びテンプレート画像Imtに対応する候補画像Imcに対応する差分画像だけを画像記憶部22に保存しておけばよい。これにより、瞳孔検出処理を高速化しつつ、画像記憶部22に要求される記憶容量を小さくすることができる。

0056

上述の通り、検出用画像選択部25により、テンプレート画像Imtと最も類似する候補画像Imcが検出用画像Imdとして選択されているため、テンプレート画像Imtにおける瞳孔の位置と、検出用画像Imdにおける瞳孔の位置と、は略一致する。このようなテンプレート画像Imt及び検出用画像Imdに基づいて2値化画像を生成することにより、瞳孔検出部26は、運転者の瞳孔が白く描画された2値化画像を生成することができる。瞳孔検出部26は、白く描画された瞳孔の重心などを、瞳孔の座標として検出すればよい。瞳孔検出部26が検出した瞳孔の座標は、後段の視線検出装置などで利用することができる。

0057

次に、瞳孔検出装置100が実行する処理について説明する。図4は、瞳孔検出装置100が実行する処理の一例を示すフローチャートである。瞳孔検出装置100は、図4の処理を所定の時間間隔で実行する。以下、検出用画像選択部25が、第2の選択方法を採用している場合を例に説明する。

0058

処理の実行タイミング到来すると、画像取得部21が、撮影装置1に所定の撮影間隔で運転者の明瞳孔画像及び暗瞳孔画像を撮影させ、第1顔画像Im1及び第2顔画像Im2を取得する(ステップS101)。画像取得部21は、取得した第1顔画像Im1及び第2顔画像Im2を画像記憶部22に保存する。

0059

第1顔画像Im1及び第2顔画像Im2が画像記憶部22に保存されると、テンプレート画像設定部23が、画像記憶部22に保存された第1顔画像Im1の一部をテンプレート画像Imtに設定する(ステップS102)。テンプレート画像Imtの設定方法は上述の通りである。テンプレート画像設定部23は、設定したテンプレート画像Imtを画像記憶部22に保存する。

0060

テンプレート画像Imtが画像記憶部22に保存されると、スコア算出部24が、画像記憶部22に保存された第2顔画像Im2の一部を候補画像Imcとて選択する(ステップS103)。候補画像Imcの選択方法は上述の通りである。

0061

次に、スコア算出部24は、選択した候補画像Imcと、画像記憶部22に保存されたテンプレート画像Imtと、の差分画像を生成し、当該差分画像に基づいて、候補画像Imcのスコアを算出する(ステップS104)。スコアの算出方法は上述の通りである。スコア算出部24は、算出したスコアと、スコアを算出された候補画像Imcの識別情報と、を検出用画像選択部25に通知する。

0062

続いて、スコア算出部24は、候補画像Imcがテンプレート画像Imtに対応するか、すなわち、テンプレート画像Imt及び候補画像Imcの位置が同一であるか確認する(ステップS105)。候補画像Imcがテンプレート画像Imtに対応する場合(ステップS105のYES)、スコア算出部24は、候補画像Imcから生成した差分画像を、テンプレート画像Imtに対応する候補画像Imcに対応する差分画像として、当該候補画像の識別情報と対応付けて、画像記憶部22に保存する(ステップS106)。

0063

同様に、スコア算出部24は、候補画像Imcのスコアが、これまで算出したスコアの中で最小であるか確認する(ステップS107)。候補画像Imcのスコアが最小である場合(ステップS107のYES)、スコア算出部24は、候補画像Imcから生成した差分画像を、スコアが最小の候補画像Imcに対応する差分画像として、当該候補画像の識別情報と対応付けて、画像記憶部22に保存する(ステップS108)。スコアが最小の候補画像Imcに対応する差分画像が既に保存されている場合、スコア算出部24は、保存されている差分画像に新たな差分画像を上書き保存すればよい。なお、ステップS105,S107は順不同である。

0064

その後、スコア算出部24は、マッチング範囲R内で選択可能な全ての候補画像Imcを選択したか確認する(ステップS109)。未選択の候補画像Imcがある場合(ステップS109のNO)、処理はステップS103に戻る。一方、全ての候補画像Imcが選択済みの場合(ステップS109のYES)、処理はステップS110に進む。これにより、マッチング範囲R内で選択可能な全ての候補画像Imcのスコアが算出される。

0065

マッチング範囲R内で選択可能な全ての候補画像Imcのスコアが算出されると、検出用画像選択部25は、スコア算出部24から通知された複数のスコアの中で最小のスコアが、閾値未満であるか判定する(ステップS110)。最小のスコアが閾値未満である場合(ステップS110のYES)、検出用画像選択部25は、当該最小のスコアを有する候補画像Imcを検出用画像Imdとして選択する(ステップS111)。一方、最小のスコアが閾値以上である場合(ステップS110のNO)、検出用画像選択部25は、テンプレート画像Imtに対応する候補画像Imcを検出用画像Imdとして選択する(ステップS112)。検出用画像選択部25は、選択した検出用画像Imdの識別情報を瞳孔検出部26に通知する。

0066

検出用画像Imdの識別情報を通知されると、瞳孔検出部26は、当該識別情報に基づいて、画像記憶部22から、検出用画像Imdとして選択された候補画像Imcに対応する差分画像を取得する(ステップS113)。

0067

その後、瞳孔検出部26は、取得した差分画像に基づいて2値化画像を生成し、当該2値化画像に基づいて、運転者の瞳孔の座標を検出する(ステップS114)。

0068

以上説明した通り、瞳孔検出装置100は、対象者の特徴点(鼻孔など)を利用することなく、テンプレート画像Imtと最も類似する検出用画像Imdを選択し、テンプレート画像Imt及び検出用画像Imdに基づいて対象者の瞳孔を検出することができる。テンプレート画像Imtと最も類似する検出用画像Imdを選択することは、第1顔画像Im1及び第2顔画像Im2の位置ずれを補正することに相当する。したがって、瞳孔検出装置100は、対象者の特徴点がマスクなどにより隠れている場合であっても、第1顔画像Im1及び第2顔画像Im2の位置ずれを補正し、対象者の瞳孔を検出することができる。言い換えると、本実施形態によれば、明瞳孔画像及び暗瞳孔画像に基づく瞳孔検出のロバスト性を向上させることができる。

0069

また、本実施形態によれば、テンプレート画像Imtは、対象者の瞳孔を含めばよいため、そのサイズを小さく設定できる。また、マッチング範囲Rは撮影間隔に応じて狭く設定できる。このように、テンプレート画像Imtを小さくし、マッチング範囲Rを狭くすることにより、テンプレートマッチングを高速化できる。

0070

また、スコアを算出された候補画像Imcに対応する差分画像は、スコアの算出時点で画像記憶部22に保存されるため、瞳孔検出部26は、画像記憶部22に保存された差分画像を利用して瞳孔を検出することができる。言い換えると、瞳孔検出部26は、検出用画像Imdの選択後に改めて差分画像を生成する必要がない。したがって、本実施形態によれば、瞳孔検出処理を高速化できる。

0071

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。

0072

1:撮影装置
2:制御装置
11:撮影部
12:光源
21:画像取得部
22:画像記憶部
23:テンプレート画像設定部
24:スコア算出部
25:検出用画像選択部
26:瞳孔検出部
100:瞳孔検出装置
Im1:第1顔画像
Im2:第2顔画像
Imt:テンプレート画像
Imc:候補画像
Imd:検出用画像
R:マッチング範囲

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 学校法人神奈川大学の「 色覚検査装置」が 公開されました。( 2019/06/24)

    【課題】検査中に被検者が観察する場所を切り替えるような煩雑な作業を行うことなく、検査精度の誤差を軽減することを課題とする。【解決手段】混色光Y’(R+G)と参照光Yとを対比して色覚異常を判定する色覚検... 詳細

  • 国立研究開発法人産業技術総合研究所の「 視線検出校正方法、システム、及びコンピュータプログラム」が 公開されました。( 2019/06/24)

    【課題】より少ない校正点を用いる視線検出校正方法を提供すること。【解決手段】被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の被験者の視線の動きを表す視線情報を取得するステ... 詳細

  • 株式会社ニデックの「 眼科撮影装置」が 公開されました。( 2019/06/24)

    【課題】複数の光学系のうち2つ以上が機能または性能を良好に発揮できる眼科装置を提供すること。【解決手段】 眼科装置1は、OCT光学系100と、対物光学系をOCT光学系100と共用する前眼部撮影光学系... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ