図面 (/)

技術 情報処理装置、情報処理方法及び記憶媒体

出願人 沖電気工業株式会社
発明者 丸山貴司増田誠渡辺孝光
出願日 2015年1月23日 (3年11ヶ月経過) 出願番号 2015-011251
公開日 2016年7月28日 (2年5ヶ月経過) 公開番号 2016-136332
状態 特許登録済
技術分野 交通制御システム 画像処理 イメージ分析
主要キーワード 教師値 終検出 センシング結果 削除装置 更新機 近赤外線カメラ 状態判定装置 読出し装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年7月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

運転者個人差に起因する誤判定を抑制することが可能な情報処理装置情報処理方法及び記憶媒体を提供する。

解決手段

運転者の運転中の映像を取得する映像取得部と、前記運転者に固有識別器を取得する識別器取得部と、前記映像取得部により取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出する特徴量算出部と、前記識別器取得部により取得された前記識別器を用いて、前記特徴量算出部により算出された前記特徴量から前記運転者の運転状態を判定する運転状態判定部と、前記運転者が運転する移動体移動状態を判定する移動状態判定部と、前記移動状態判定部により判定された前記移動状態に基づいて、前記運転状態判定部による判定結果から誤判定を検出する誤判定検出部と、前記誤判定検出部により検出された前記誤判定に係る前記映像を用いて前記識別器を更新する更新部と、を備える情報処理装置。

概要

背景

自動車二輪車船舶又は航空機等の多様な移動体に関し、運転者異常状態運転することに起因する事故が発生する場合がある。例えば自動車に関しては、居眠り運転酒気帯び運転、脇見運転等が挙げられる。事故防止を図るためには、運転者が異常状態で運転していることが検知された場合に、何らかの対策が行われることが望ましい。そのために、運転者が異常状態であるか否かを判定するための技術が開発されている。

例えば、下記特許文献1では、撮影された顔画像から運転者の眼の開閉及び口の動き又は手の動きを検出し、検出結果に基づいて運転者の覚醒状態眠気に対する葛藤状態居眠り初期状態、及び居眠り状態を判定する技術が開示されている。

概要

運転者の個人差に起因する誤判定を抑制することが可能な情報処理装置情報処理方法及び記憶媒体を提供する。運転者の運転中の映像を取得する映像取得部と、前記運転者に固有識別器を取得する識別器取得部と、前記映像取得部により取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出する特徴量算出部と、前記識別器取得部により取得された前記識別器を用いて、前記特徴量算出部により算出された前記特徴量から前記運転者の運転状態を判定する運転状態判定部と、前記運転者が運転する移動体の移動状態を判定する移動状態判定部と、前記移動状態判定部により判定された前記移動状態に基づいて、前記運転状態判定部による判定結果から誤判定を検出する誤判定検出部と、前記誤判定検出部により検出された前記誤判定に係る前記映像を用いて前記識別器を更新する更新部と、を備える情報処理装置。

目的

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

運転者運転中の映像を取得する映像取得部と、前記運転者に固有識別器を取得する識別器取得部と、前記映像取得部により取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出する特徴量算出部と、前記識別器取得部により取得された前記識別器を用いて、前記特徴量算出部により算出された前記特徴量から前記運転者の運転状態を判定する運転状態判定部と、前記運転者が運転する移動体移動状態を判定する移動状態判定部と、前記移動状態判定部により判定された前記移動状態に基づいて、前記運転状態判定部による判定結果から誤判定を検出する誤判定検出部と、前記誤判定検出部により検出された前記誤判定に係る前記映像を用いて前記識別器を更新する更新部と、を備える情報処理装置

請求項2

前記更新部は、前記運転状態が異常であると判定され、前記移動状態は正常であると判定された場合の前記誤判定に係る前記映像を用いて前記識別器を更新する、請求項1に記載の情報処理装置。

請求項3

前記誤判定検出部は、前記運転状態判定部による判定結果を前記運転者に通知して正誤を示す情報を受け付け、受け付けた前記正誤を示す情報に基づいて前記誤判定を検出する、請求項1又は2に記載の情報処理装置。

請求項4

前記誤判定検出部は、前記正誤を示す情報を音声認識により受け付ける、請求項3に記載の情報処理装置。

請求項5

前記更新部は、前記運転状態が異常であると判定された判定結果が誤りであるとする情報が受け付けられた場合に、前記識別器を更新する、請求項3又は4に記載の情報処理装置。

請求項6

前記更新部は、更新した前記識別器を、前記識別器取得部による前記識別器の取得元返却して置き換えさせる、請求項1〜5のいずれか一項に記載の情報処理装置。

請求項7

前記更新部は、前記誤判定に係る前記映像を示す情報を、前記識別器取得部による前記識別器の取得元へ返却して蓄積させる、請求項6に記載の情報処理装置。

請求項8

前記運転状態判定部は、前記運転者が居眠り状態であることを異常として判定する、請求項1〜7のいずれか一項に記載の情報処理装置。

請求項9

前記情報処理装置は、前記識別器を記憶する識別器記憶部をさらに備え、前記識別器取得部は、前記識別器記憶部から前記識別器を取得する、請求項1〜8のいずれか一項に記載の情報処理装置。

請求項10

前記識別器取得部は、記憶媒体から前記識別器を取得する、請求項1〜8のいずれか一項に記載の情報処理装置。

請求項11

前記情報処理装置は、他の装置と通信する通信部をさらに備え、前記識別器取得部は、前記通信部を介して前記識別器を取得する、請求項1〜8のいずれか一項に記載の情報処理装置。

請求項12

運転者の運転中の映像を取得することと、前記運転者に固有の識別器を取得することと、取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出することと、取得された前記識別器を用いて、算出された前記特徴量から前記運転者の運転状態を判定することと、前記運転者が運転する移動体の移動状態を判定することと、判定された前記移動状態に基づいて、前記運転状態の判定結果から誤判定を検出することと、検出された前記誤判定に係る前記映像を用いて前記識別器を更新することと、を含む情報処理方法

請求項13

映像に含まれる運転者の顔部分の特徴量から前記運転者の運転状態を識別する識別器と、前記運転者が運転する移動体の移動状態に基づいて、前記識別器による識別結果が誤りであると過去に判定された前記映像に含まれる前記運転者の顔部分の特徴量を示す情報と、を記憶する記憶媒体。

技術分野

0001

本発明は、情報処理装置情報処理方法及び記憶媒体に関する。

背景技術

0002

自動車二輪車船舶又は航空機等の多様な移動体に関し、運転者異常状態運転することに起因する事故が発生する場合がある。例えば自動車に関しては、居眠り運転酒気帯び運転、脇見運転等が挙げられる。事故防止を図るためには、運転者が異常状態で運転していることが検知された場合に、何らかの対策が行われることが望ましい。そのために、運転者が異常状態であるか否かを判定するための技術が開発されている。

0003

例えば、下記特許文献1では、撮影された顔画像から運転者の眼の開閉及び口の動き又は手の動きを検出し、検出結果に基づいて運転者の覚醒状態眠気に対する葛藤状態居眠り初期状態、及び居眠り状態を判定する技術が開示されている。

先行技術

0004

特許05343631号公報

発明が解決しようとする課題

0005

しかし、運転者の顔には例えば目が細いといった個人差があるため、上記特許文献1に記載された技術では個人差に起因する誤判定が生じる場合があった。そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、運転者の個人差に起因する誤判定を抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法及び記憶媒体を提供することにある。

課題を解決するための手段

0006

上記課題を解決するために、本発明のある観点によれば、運転者の運転中の映像を取得する映像取得部と、前記運転者に固有識別器を取得する識別器取得部と、前記映像取得部により取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出する特徴量算出部と、前記識別器取得部により取得された前記識別器を用いて、前記特徴量算出部により算出された前記特徴量から前記運転者の運転状態を判定する運転状態判定部と、前記運転者が運転する移動体の移動状態を判定する移動状態判定部と、前記移動状態判定部により判定された前記移動状態に基づいて、前記運転状態判定部による判定結果から誤判定を検出する誤判定検出部と、前記誤判定検出部により検出された前記誤判定に係る前記映像を用いて前記識別器を更新する更新部と、を備える情報処理装置が提供される。

0007

前記更新部は、前記運転状態が異常であると判定され、前記移動状態は正常であると判定された場合の前記誤判定に係る前記映像を用いて前記識別器を更新してもよい。

0008

前記誤判定検出部は、前記運転状態判定部による判定結果を前記運転者に通知して正誤を示す情報を受け付け、受け付けた前記正誤を示す情報に基づいて前記誤判定を検出してもよい。

0009

前記誤判定検出部は、前記正誤を示す情報を音声認識により受け付けてもよい。

0010

前記更新部は、前記運転状態が異常であると判定された判定結果が誤りであるとする情報が受け付けられた場合に、前記識別器を更新してもよい。

0011

前記更新部は、更新した前記識別器を、前記識別器取得部による前記識別器の取得元返却して置き換えさせてもよい。

0012

前記更新部は、前記誤判定に係る前記映像を示す情報を、前記識別器取得部による前記識別器の取得元へ返却して蓄積させてもよい。

0013

前記運転状態判定部は、前記運転者が居眠り状態であることを異常として判定してもよい。

0014

前記情報処理装置は、前記識別器を記憶する識別器記憶部をさらに備え、前記識別器取得部は、前記識別器記憶部から前記識別器を取得してもよい。

0015

前記識別器取得部は、記憶媒体から前記識別器を取得してもよい。

0016

前記情報処理装置は、他の装置と通信する通信部をさらに備え、前記識別器取得部は、前記通信部を介して前記識別器を取得してもよい。

0017

また、上記課題を解決するために、本発明の別の観点によれば、運転者の運転中の映像を取得することと、前記運転者に固有の識別器を取得することと、取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出することと、取得された前記識別器を用いて、算出された前記特徴量から前記運転者の運転状態を判定することと、前記運転者が運転する移動体の移動状態を判定することと、判定された前記移動状態に基づいて、前記運転状態の判定結果から誤判定を検出することと、検出された前記誤判定に係る前記映像を用いて前記識別器を更新することと、を含む情報処理方法が提供される。

0018

また、上記課題を解決するために、本発明の別の観点によれば、映像に含まれる運転者の顔部分の特徴量から前記運転者の運転状態を識別する識別器と、前記運転者が運転する移動体の移動状態に基づいて、前記識別器による識別結果が誤りであると過去に判定された前記映像に含まれる前記運転者の顔部分の特徴量を示す情報と、を記憶する記憶媒体が提供される。

発明の効果

0019

以上説明したように本発明によれば、運転者の個人差に起因する誤判定を抑制することが可能である。

図面の簡単な説明

0020

本実施形態に係る運転支援装置論理的な構成の一例を示すブロック図である。
本実施形態に係る運転支援装置において実行される運転支援処理の流れの一例を示すフローチャートである。
本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

実施例

0021

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0022

<<1.概要>>
本発明の一実施形態に係る運転支援装置は、運転者が異常な運転状態で移動体を運転することを防止する。運転者とは、移動体を操作する人である。また、移動体とは、人により進行方向や速度等の操作が行われる物体であり、例えば車、船舶、航空機、自動二輪車又は自転車等である。運転状態とは、運転者が居眠り状態であるか否か、脇見運転であるか否か、酒気帯び状態であるか否か等の、運転者の状態を意味するものとする。本実施形態に係る運転支援装置は、例えば車の運転者が居眠り状態で運転することを防止する。

0023

例えば、居眠り状態に関しては、運転者の顔画像から、目を閉じているか否か等を判定することで異常状態を判定可能とも考えられる。しかしながら、目の大きさ、位置、角度等をはじめ、顔の輪郭髪型など、顔部分は個人差が大きいため、個人差に起因して誤判定が生じ得る。例えば、目が細い人物は、居眠り状態ではないにも関わらず居眠り状態であると誤判定され得る。

0024

そこで、本実施形態に係る運転支援装置は、運転者に固有の識別器を、運転者に固有の教師データを用いて適宜修正する。詳しくは、運転支援装置は、誤判定されたデータに正しいラベルを付した教師データを新たに採用しながら、運転者に固有の識別器を更新する。これにより、例えば目が細いといった運転者に固有の特徴に対応した識別器が生成されることとなり、運転者の個人差に起因する誤判定が抑制される。

0025

以上、本実施形態に係る運転支援装置の概要を説明した。続いて、図1を参照して、本実施形態に係る運転支援装置の構成例を説明する。

0026

<<2.構成例>>
図1は、本実施形態に係る運転支援装置1の論理的な構成の一例を示すブロック図である。図1に示すように、運転支援装置1は、状態判定装置10、識別器格納装置20、通知装置30、入力装置40及び操舵装置50を含む。

0027

(1)状態判定装置10
状態判定装置10は、運転者が異常状態であるか否かを判定する情報処理装置である。図1に示すように、状態判定装置10は、識別器取得部11、映像取得部12、特徴量算出部13、運転状態判定部14、移動状態判定部15、誤判定検出部16及び更新部17を含む。

0028

(1−1)識別器取得部11
識別器取得部11は、運転者に固有の識別器を取得する機能を有する。例えば、識別器取得部11は、後述する特徴量算出部13により特定された運転者の識別器を、後述する識別器格納装置20から取得する。識別器は、運転者が異常状態であるか正常状態であるかを識別するためのデータである。識別器は、重回帰分析などの統計的手法に基づいて生成されてもよいし、ニューラルネットワークサポートベクターマシーン、関連ベクトルマシン部分空間法、SOM(Self Organization Map)法などを用いて生成されてもよい。

0029

(1−2)映像取得部12
映像取得部12は、運転者の運転中の映像(動画静止画)を取得する機能を有する。例えば、映像取得部12は、カメラステレオカメラ近赤外線カメラ等から移動体を運転する運転者の、運転中の映像を取得する。

0030

(1−3)特徴量算出部13
特徴量算出部13は、映像取得部12により取得された映像に含まれる運転者の顔部分の特徴量を算出する機能を有する。例えば、特徴量算出部13は、まず映像から運転者の顔部分を検出する。顔検出技術としては、例えば「P.Viola and M.Jones,“Rapid object Dtection using a Boosted Cascade of Simple Featuers,” Proc.ofIEEE Conf.CVPR,1,pp.511-518,2001.」に記載された技術を適用可能である。次いで、特徴量算出部13は、検出した顔部分から、顔認証技術を用いて運転者が誰であるかを特定する。顔認証技術としては、例えば「河原智一,西山正志,山口修,“直行相互部分空間法を用いた顔認識,”情報処理学会研究会報告CVIM,pp.17-24,2005.」に記載された技術が適用可能である。そして、特徴量算出部13は、検出した顔部分の特徴量を算出する。特徴量としては、例えばHOG(Histograms of Oriented Gradients)特徴量、又は顔の特徴点座標等が用いられてもよい。特徴算出技術としては、例えば「Dalal.N,Triggs.B,“Histograms of Oriented Gradients for Human Detection,” IEEE CVPR,pp.886-893,2005.」又は「COOTESTF,EDWARDS G,TAYLOR C,“Active appearance models,” IEEE Transactions on Pattern Analysis and Machine Intelligence,23(6),681-685,2001.」に記載された技術が適用可能である。

0031

(1−4)運転状態判定部14
運転状態判定部14は、識別器取得部11により取得された識別器を用いて、特徴量算出部13により算出された特徴量から運転者の運転状態を判定する機能を有する。例えば、運転状態判定部14は、識別器に特徴量を入力することで、運転状態が正常であるか異常であるかを判定する。例えば、運転状態判定部14は、運転者が居眠り状態であることを異常状態として判定してもよい。また、運転状態判定部14は、運転者が居眠り状態でないことを正常状態として判定してもよい。運転状態判定部14は、例えば運転者が目を閉じていると判定される状態で所定時間経過した場合に、異常状態であると判定する。

0032

(1−5)移動状態判定部15
移動状態判定部15は、運転者が運転する移動体の移動状態を判定する機能を有する。移動状態とは、移動体の軌道がふらついているか否か、道路状態や周囲を移動する他の移動体等の周囲の状況に応じた移動を移動体が行っているか等の、移動体の状態を意味するものとする。例えば、移動状態判定部15は、運転者が操作するハンドル揺れているか否か、ハンドルの回転量と道路カーブとが一致しているか否か、アクセルペダル踏込量が異常であるか否か等に基づいて、移動状態が正常であるか否かを判定する。移動状態が正常であるとは、例えばハンドルが揺れておらず、ハンドルの回転量と道路のカーブとが一致しており、アクセルペダルの踏込量が適切である場合を指す。

0033

(1−6)誤判定検出部16
誤判定検出部16は、移動状態判定部15により判定された移動状態に基づいて、運転状態判定部14による判定結果から誤判定を検出する機能を有する。例えば、誤判定検出部16は、運転状態判定部14により判定された運転状態は正常であるが、移動状態判定部15により判定された移動状態が異常である場合に、運転状態判定部14による判定結果は誤判定であると判定する。また、誤判定検出部16は、運転状態判定部14により判定された運転状態は異常であるが、移動状態判定部15により判定された移動状態が正常である場合に、運転状態判定部14による判定結果は誤判定であると判定する。

0034

また、誤判定検出部16は、運転者からのフィードバックを用いて誤判定を検出してもよい。例えば、誤判定検出部16は、運転状態判定部14による判定結果を運転者に通知して正誤を示す情報を受け付け、受け付けた正誤を示す情報に基づいて誤判定を検出する。誤判定検出部16は、後述する通知装置30を介して判定結果を通知し、入力装置40を介して正誤を示す情報のフィードバックを受け付ける。例えば、誤判定検出部16は、運転状態が異常であると判定された場合に、警告音と共に「居眠り運転でしたか?」と運転者へ問い合わせ、運転者に否定された場合に運転状態の判定結果は誤判定であると判定する。これにより、誤判定検出部16による誤判定の検出精度が向上し得る。なお、誤判定検出部16は、正誤を示す情報を音声認識により受け付けてもよい。手による操作が要されないので、ユーザは正誤を示す情報の入力に過度に気を取られずに済み、事故が防止される。

0035

誤判定検出部16は、運転者からのフィードバックが虚偽であるか否かを判定してもよい。例えば、誤判定検出部16は、運転者から誤りであるとフィードバックされる割合や頻度、通知してからの応答時間、又は運転状態判定部14による判定結果等に基づいて、虚偽であるか否かを判定してもよい。これにより、誤判定検出部16は、虚偽のフィードバックにより、例えば正しく判定された運転状態の異常が誤判定であると訂正されることを回避することが可能となる。

0036

上記説明したように、誤判定検出部16は、運転状態判定部14による運転状態の判定結果、移動状態判定部15による移動状態の判定結果、及び運転者からのフィードバックを組み合わせて、運転状態判定部14による誤判定を検出し得る。組み合わせの方法は任意である。以下、組み合わせの一例を表1に示す。

0037

0038

上記表1における最終検出結果とは、誤判定検出部16が、運転状態、フィードバック及び移動状態を組み合わせた結果、最終的に出力する誤判定であるか否かの検出結果を示す。また、識別器の更新とは、後述する更新部17による識別器の更新が行われるか否かを示す。

0039

(1−7)更新部17
更新部17は、誤判定検出部16により検出された誤判定に係る映像を用いて識別器を更新する機能を有する。例えば、更新部17は、まず、識別器取得部11により取得された識別器の元となった教師データを特徴量情報記憶部22から取得する。そして、更新部17は、取得した既存の教師データに、誤判定に係る運転者の顔部分の映像又はその特徴量に正しいラベル(教師値)を与えた新たな教師データを加えて、新たな識別器を生成する。

0040

例えば、更新部17は、運転状態が異常であると判定され、移動状態は正常であると判定された場合の誤判定に係る映像から算出した特徴量を用いて識別器を更新してもよい。これにより、識別器は、運転状態が正常であるにも関わらず異常であると識別することがより少なくなり、運転状態判定部14による誤判定が防止され得る。また、更新部17は、運転状態が正常であると判定され、移動状態は異常であると判定された場合の誤判定に係る映像から算出した特徴量を用いて識別器を更新してもよい。これにより、識別器は、運転状態が異常であるにも関わらず正常であると識別することがより少なくなり、運転状態判定部14による誤判定が防止され得る。このように、更新部17は、識別器の識別精度を向上させることができる。

0041

また、更新部17は、運転状態が異常であると判定された判定結果が誤りであるとする情報のフィードバックが受け付けられた場合に、識別器を更新してもよい。これにより、更新部17は、運転状態が異常であるとする判定結果は誤りであり、実際は正常であったことが運転者からフィードバックされた場合に、識別器を更新する。また、更新部17は、運転状態が異常であるとする判定結果が正しく、実際に異常であったことが運転者からフィードバックされた場合に、識別器を更新しない。これにより、更新部17は、誤判定がされた場合に教師データの更新機会を限定することが可能となり、誤った教師データを用いて識別器を更新することを回避することができる。

0042

更新部17は、更新した識別器を、識別器取得部11による識別器の取得元へ返却して置き換えさせてもよい。これにより、識別器記憶部21に記憶される識別器が更新されるので、運転状態判定部14は、次回の判定の際に精度が向上した識別器を使用することが可能となる。また、更新部17は、誤判定に係る映像を示す情報を、識別器取得部11による識別器の取得元へ返却して蓄積させてもよい。例えば、更新部17は、誤判定に係る運転者の顔部分の映像又はその特徴量に正しいラベルを与えた教師データを、誤判定に係る映像を示す情報として識別器記憶部21に蓄積させる。これにより、誤判定を生じていた、即ち既存の教師データでは不足していた正しい教師データが追加的に蓄積されることとなり、更新部17は、更新の度に識別器の識別精度を徐々に向上させることができる。

0043

(2)識別器格納装置20
識別器格納装置20は、識別器に関する情報を格納する情報処理装置である。図1に示すように、識別器格納装置20は、識別器記憶部21及び特徴量情報記憶部22を含む。

0044

(2−1)識別器記憶部21
識別器記憶部21は、映像に含まれる運転者の顔部分の特徴量から運転者の運転状態を識別する識別器を記憶する機能を有する。更新部17による更新があった場合、識別器記憶部21は、更新部17により更新された識別器を既存の識別器に置き換えて記憶する。

0045

(2−2)特徴量情報記憶部22
特徴量情報記憶部22は、識別器記憶部21に記憶される識別器の元となる教師データを記憶する機能を有する。教師データは、例えば運転者の顔部分の映像又はその特徴量、及び正常状態であるか異常状態であるかを示すラベルから成る情報である。例えば、特徴量情報記憶部22は、複数の運転者に共通する基本的な教師データに加えて、各運転者に固有な教師データを記憶する。詳しくは、特徴量情報記憶部22は、運転者が運転する移動体の移動状態に基づいて、識別器による識別結果が誤りであると過去に判定された映像に含まれる、運転者の顔部分の特徴量を示す情報を記憶してもよい。例えば、特徴量情報記憶部22は、誤判定された特徴量を記憶してもよいし、誤判定された特徴量の算出対象となった顔部分の映像を記憶してもよい。これにより、既存の教師データでは不足していた正しい教師データが追加的に蓄積されるので、更新部17により更新される識別器の識別精度が徐々に向上する。

0046

なお、識別器格納装置20は、多様な形態で実現され得る。

0047

例えば、識別器格納装置20は、図1に示したように運転支援装置1内に含まれていてもよい。その場合、識別器取得部11は、運転支援装置1に含まれる識別器記憶部21から識別器を取得する。

0048

例えば、識別器格納装置20は、運転支援装置1とは別箇に形成される記憶媒体等のハードウェアとして形成されてもよい。その場合、識別器取得部11は、記憶媒体として形成された識別器格納装置20から識別器を取得してもよい。具体的なハードウェアの例としては、識別器格納装置20は、例えば移動体を起動するための鍵、運転免許証ICカードSDカード又はUSBメモリ等に含まれ得る。その場合、運転者は、移動体を乗り換えても、乗り換え先の移動体に識別器格納装置20を読み取らせることで、乗り換え前の移動体において更新された識別器を継続して使用することが可能であるし、教師データを継続して識別器格納装置20に蓄積することが可能である。

0049

例えば、識別器格納装置20は、運転支援装置1とネットワークを介して接続される、クラウド上のサーバとして形成されてもよい。その場合、運転支援装置1は、他の装置と通信する通信部をさらに備え、識別器取得部11は、通信部を介して識別器を取得してもよい。これにより、運転者は、移動体を乗り換えても、乗り換え先の移動体からサーバに接続することで、乗り換え前の移動体において更新された識別器を継続して使用することが可能であるし、教師データを継続して識別器格納装置20に蓄積することが可能である。

0050

(3)通知装置30
通知装置30は、運転者へ情報を通知する機能を有する。例えば、通知装置30は、スピーカカーナビゲーションシステム表示装置又は振動装置等により実現される。本実施形態に係る通知装置30は、誤判定検出部16による制御に基づき、運転状態判定部14による判定結果を運転者へ通知する。

0051

(4)入力装置40
入力装置40は、運転者からの各種入力を受け付ける装置である。例えば、入力装置40は、カーナビゲーションシステムの表示装置と一体的に形成されるタッチパネル、ボタンマイク等により実現される。本実施形態に係る入力装置40は、通知装置30により通知された判定結果の正誤を示す情報の入力を受け付ける。

0052

(5)操舵装置50
操舵装置50は、移動体の操舵を行う機能を有する。本実施形態に係る操舵装置50は、状態判定装置10により異常状態であると判定された場合に、運転者に代わって操舵して安全確保を行う。例えば、操舵装置50は、運転状態が異常であるという判定結果が誤判定でないと検出された場合、又は運転状態が正常であるという判定結果が誤判定であると検出された場合に、例えば移動体が車であれば車を路肩へ寄せて、停車させるための制御を行う。これにより、居眠り運転等に起因する事故が未然に防止される。

0053

以上、本実施形態に係る運転支援装置1の構成例を説明した。続いて、図2を参照して、本実施形態に係る運転支援装置1の動作処理例を説明する。

0054

<<3.動作処理例>>
図2は、本実施形態に係る運転支援装置1において実行される運転支援処理の流れの一例を示すフローチャートである。

0055

図2に示すように、まず、ステップS102で、映像取得部12は、映像を取得する。例えば、映像取得部12は、移動体を運転する運転者の、運転中の映像を取得する。

0056

次いで、ステップS104で、特徴量算出部13は、特徴量を算出する。例えば、特徴量算出部13は、映像取得部12により取得された映像から運転者の顔部分を検出し、顔部分から運転者を特定し、顔部分の特徴量を算出する。

0057

次に、ステップS106で、識別器取得部11は、運転者固有の識別器を取得する。例えば、識別器取得部11は、特徴量算出部13により特定された運転者の識別器を、識別器格納装置20から取得する。

0058

次いで、ステップS108で、運転状態判定部14は、運転状態を判定する。例えば、運転状態判定部14は、識別器取得部11により取得された識別器に、特徴量算出部13により算出された特徴量を入力することで、運転者の運転状態が正常であるか異常であるかを判定する。

0059

運転状態は正常であると判定された場合(S110/NO)、処理は終了する。

0060

一方で、運転状態は異常であると判定された場合(S110/YES)、ステップS112で、移動状態判定部15は、移動状態を判定する。例えば、移動状態判定部15は、運転者が操作するハンドルが揺れているか否か、ハンドルの回転量と道路のカーブとが一致しているか否か、アクセルペダルの踏込量が異常であるか否か等に基づいて、移動状態が正常であるか否かを判定する。

0061

次いで、ステップS114で、誤判定検出部16は、運転者からのフィードバックを受け付ける。例えば、誤判定検出部16は、運転状態が異常である旨の判定結果を運転者へ通知し、当該判定結果の正誤を示す情報の音声入力を受け付ける。

0062

次に、ステップS116で、誤判定検出部16は、ステップS108における運転状態の判定結果から誤判定を検出する。例えば、誤判定検出部16は、ステップS108における運転状態の判定結果、ステップS112における移動状態判定部15による移動状態の判定結果、及びステップS114における運転者からのフィードバックを組み合わせて、誤判定を検出する。

0063

誤判定が検出された場合(S118/YES)、ステップS118で、更新部17は、教師データを更新する。例えば、更新部17は、識別器取得部11により取得された識別器の元となった教師データを特徴量情報記憶部22から取得し、誤判定に係る運転者の顔部分の映像又はその特徴量に正しいラベル(教師値)を与えた新たな教師データを加える。また、更新部17は、新たな教師データを識別器格納装置20へ返却して、特徴量情報記憶部22に記憶されている教師データに新たな教師データを追加的に蓄積させる。

0064

そして、ステップS120で、更新部17は、識別器を更新する。例えば、更新部17は、上記ステップS118で更新された教師データを用いて、識別器を生成する。また、更新部17は、更新した識別器を識別器格納装置20へ返却して、識別器記憶部21に記憶されている識別器を置き換えさせる。

0065

一方で、誤判定が検出されない場合(S118/NO)、運転状態が異常であることが確認されたので、ステップS112で、操舵装置50は安全確保を行う。例えば、操舵装置50は、例えば移動体が車であれば車を路肩へ寄せて、停車させるための制御を行う。

0066

なお、上記フローでは、状態判定装置10が運転状態は異常であると判定した場合に誤判定を検出する例を説明したが、本技術はかかる例に限定されない。例えば、状態判定装置10は、運転状態が正常であると判定した場合に、誤判定検出してもよい。

0067

以上、本実施形態に係る運転支援装置1の動作処理例を説明した。

0068

<<4.ハードウェア構成>>
最後に、図3を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図3は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図3に示す情報処理装置900は、例えば、図1に示した運転支援装置1を実現し得る。本実施形態に係る運転支援装置1による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

0069

図3に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913、センサ915及び撮像装置917を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。

0070

CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、状態判定装置10、及び操舵装置50を形成し得る。

0071

CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。

0072

入力装置906は、例えば、マウスキーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、入力装置40を形成し得る。

0073

出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置液晶ディスプレイ装置プラズマディスプレイ装置ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキストイメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号アナログ信号に変換して聴覚的に出力する。上記表示装置及び上記音声出力装置は、例えば、通知装置30を形成し得る。

0074

ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶デバイス半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、識別器格納装置20を形成し得る。

0075

ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク光ディスク光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。ドライブ909は、例えば、識別器格納装置20を形成し得る。

0076

接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。接続ポート911は、例えば、識別器格納装置20に接続され得る。

0077

通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用ルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用モデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、ネットワーク920を介して識別器格納装置20と通信し得る。

0078

なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線伝送路である。例えば、ネットワーク920は、インターネット、電話回線網衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。

0079

センサ915は、例えば、加速度センサジャイロセンサ地磁気センサ光センサ音センサ、測距センサ力センサ生体センサ圧力センサ等の各種のセンサである。センサ915は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得する。また、センサ915は、GPS信号を受信して装置の緯度経度及び高度を測定するGPSセンサを含んでもよい。本実施形態では、移動状態判定部15は、センサ915によるセンシング結果を用いて移動状態を判定し得る。

0080

撮像装置917は、撮像レンズ絞りズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作ズーム動作を行わせる駆動系、レンズ系で得られる撮像光光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。撮像装置917は、デジタル信号とされた撮影画像のデータを出力する。本実施形態では、映像取得部12は、撮像装置917による撮像結果を取得し得る。

0081

以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

0082

なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータ読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

0083

<<5.まとめ>>
以上、図1図3を参照して、本発明の一実施形態について詳細に説明した。上記説明したように、状態判定装置10は、映像に含まれる運転者の顔部分の特徴量から当該運転者に固有の識別器を用いて運転者の運転状態を判定し、移動体の移動状態に基づいて運転状態の判定結果から誤判定を検出して、誤判定に係る映像を用いて識別器を更新する。運転者に固有の識別器が、当該運転者について誤判定された映像に基づき更新されるので、識別器による当該運転者の運転状態の識別精度が向上する。これにより、例えば目が細いといった運転者に固有の特徴に対応した識別器が生成されることとなり、運転者の個人差に起因する誤判定を抑制することができる。

0084

また、状態判定装置10は、運転状態の判定結果を運転者に通知して正誤を示す情報のフィードバックを受け付け、受け付けたフィードバックに基づいて誤判定を検出してもよい。これにより、誤った判定結果に基づいて識別器が更新されることが回避されるので、識別精度がより向上する。

0085

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

0086

例えば、上記実施形態では、運転者の顔部分の映像に基づいて運転状態が判定されると説明したが、本発明はかかる例に限定されない。例えば、運転者の姿勢変化視線の方向、又は表情等に基づいて運転状態が判定されてもよい。また、映像以外にも、例えば運転者の声、体温血圧呼吸心拍脈拍発汗座席上の体重移動等に基づいて運転状態が判定されてもよい。

0087

なお、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

0088

1運転支援装置
10状態判定装置
11識別器取得部
12映像取得部
13特徴量算出部
14運転状態判定部
15移動状態判定部
16誤判定検出部
17更新部
20 識別器格納装置
21 識別器記憶部
22特徴量情報記憶部
30通知装置
40入力装置
50 操舵装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ