図面 (/)

技術 診断支援装置および診断支援方法

出願人 株式会社JVCケンウッド
発明者 首藤勝行
出願日 2014年7月31日 (6年4ヶ月経過) 出願番号 2014-156872
公開日 2016年3月10日 (4年9ヶ月経過) 公開番号 2016-032587
状態 特許登録済
技術分野 眼の診断装置 その他の診断装置
主要キーワード 曲率半径値 Y座標 頭部周辺 X座標 停留時間 診断画像内 角膜反射点 相似関係
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年3月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

診断の精度を向上できる診断支援装置を提供する。

解決手段

表示部と、被験者撮像する撮像部と、撮像部により撮像された撮像画像から、被験者の視線方向を検出する視線検出部と、視線方向に基づいて、表示部の表示領域における被験者の視点を検出する視点検出部と、所定の事象の原因と事象とを表す診断画像を表示部に表示させる出力制御部と、診断画像が表示されたときの視点検出部により検出された視点に基づいて被験者の評価値を算出する評価部と、を備える。

概要

背景

最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会適応できる効果が高くなることがわかっている。我が国でも、1検診時の問診などにより早期発見を目指している。しかし、精神科医不足、評価する保健師の不足、および、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。

発達障がい者の特徴として、対面する相手の目を見ない(視線そらす)ことが挙げられる。また、発達障がい者の特徴として、人物映像より幾何学模様映像好むことが知られている。カメラで人の顔を撮影して、角膜反射瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障がいの診断支援する技術が提案されている。

概要

診断の精度を向上できる診断支援装置を提供する。表示部と、被験者撮像する撮像部と、撮像部により撮像された撮像画像から、被験者の視線方向を検出する視線検出部と、視線方向に基づいて、表示部の表示領域における被験者の視点を検出する視点検出部と、所定の事象の原因と事象とを表す診断画像を表示部に表示させる出力制御部と、診断画像が表示されたときの視点検出部により検出された視点に基づいて被験者の評価値を算出する評価部と、を備える。

目的

本発明は、上記に鑑みてなされたものであって、診断の精度を向上できる診断支援装置および診断支援方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示部と、被験者撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、前記視線方向に基づいて、前記表示部の表示領域における前記被験者の視点を検出する視点検出部と、所定の事象の原因と前記事象とを表す診断画像を前記表示部に表示させる出力制御部と、前記診断画像が表示されたときの前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出する評価部と、を備えることを特徴とする診断支援装置

請求項2

前記出力制御部は、さらに、前記事象に関する質問を出力させ、前記評価部は、前記視点および前記質問に対する回答に基づいて、前記被験者の評価値を算出すること、を特徴とする請求項1に記載の診断支援装置。

請求項3

前記評価部は、前記診断画像に含まれる領域のうち、前記原因である第1の対象を含む第1領域で前記視点が検出される時間を表す第1停留時間と、前記診断画像に含まれる領域のうち、前記事象が発生する対象である第2の対象を含む第2領域で前記視点が検出される時間を表す第2停留時間と、の少なくとも一方に基づいて前記評価値を算出すること、を特徴とする請求項1または2に記載の診断支援装置。

請求項4

前記評価部は、さらに、前記診断画像に含まれる領域のうち、前記第1領域および前記第2領域以外の領域で前記視点が検出される時間を表す第3停留時間に基づいて前記評価値を算出すること、を特徴とする請求項3に記載の診断支援装置。

請求項5

前記出力制御部は、複数の診断画像を表示させ、前記評価部は、複数の診断画像が表示されたときの前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出すること、を特徴とする請求項1から4のいずれか一項に記載の診断支援装置。

請求項6

光を照射する光源を含む照明部と、前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部と、前記光源の位置と、前記表示部上の第3位置と、前記第1位置と、前記第2位置と、に基づいて、角膜曲率中心を示す第4位置を算出する算出部と、をさらに備え、前記視線検出部は、前記第1位置と前記第4位置とに基づいて前記被験者の視線を検出することを特徴とする請求項1から5のいずれか一項に記載の診断支援装置。

請求項7

被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出ステップと、前記視線方向に基づいて、表示部の表示領域における前記被験者の視点を検出する視点検出ステップと、所定の事象の原因と前記事象とを表す診断画像を前記表示部に表示させる出力制御ステップと、前記診断画像が表示されたときの前記視点検出ステップにより検出された前記視点に基づいて前記被験者の評価値を算出する評価ステップと、を含む診断支援方法

技術分野

0001

本発明は、診断支援装置および診断支援方法に関する。

背景技術

0002

最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会適応できる効果が高くなることがわかっている。我が国でも、1検診時の問診などにより早期発見を目指している。しかし、精神科医不足、評価する保健師の不足、および、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。

0003

発達障がい者の特徴として、対面する相手の目を見ない(視線そらす)ことが挙げられる。また、発達障がい者の特徴として、人物映像より幾何学模様映像好むことが知られている。カメラで人の顔を撮影して、角膜反射瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障がいの診断支援する技術が提案されている。

0004

特開2011−206542号公報

先行技術

0005

Pierce K et al.,“Preference for Geometric Patterns Early in Life as a Risk Factor for Autism.”,Arch Gen Psychiatry. 2011 Jan;68(1):101-109.

発明が解決しようとする課題

0006

さらに、発達障がい者は、注視点に偏りがあったり、因果関係の把握が難しかったりする特徴がある場合が多い。因果関係を理解するためにどこを注視して情報を得たのか、注視したにも関わらず因果関係を理解できないのか、などを知ることは、発達障がい者の療育を行う上で重要なポイントになる。

0007

しかし従来の方法では、因果関係を理解するためにどこを注視して情報を得たのか、注視したにも関わらず因果関係を理解できないのかなどを知ることができなかった。このため、従来の方法では適切に診断を支援できない場合があり、さらに高精度の診断支援方法が求められていた。

0008

本発明は、上記に鑑みてなされたものであって、診断の精度を向上できる診断支援装置および診断支援方法を提供することを目的とする。

課題を解決するための手段

0009

上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、前記視線方向に基づいて、前記表示部の表示領域における前記被験者の視点を検出する視点検出部と、所定の事象の原因と前記事象とを表す診断画像を前記表示部に表示させる出力制御部と、前記診断画像が表示されたときの前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出する評価部と、を備えることを特徴とする。

発明の効果

0010

本発明にかかる診断支援装置および診断支援方法は、診断の精度を向上できるという効果を奏する。

図面の簡単な説明

0011

図1は、本実施形態の表示部、ステレオカメラ赤外線光源および被験者の配置の一例を示す図である。
図2は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。
図3は、診断支援装置の機能の概要を示す図である。
図4は、図3に示す各部の詳細な機能の一例を示すブロック図である。
図5は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。
図6は、2つの光源を用いる方法と、1つの光源を用いる本実施形態との違いを示す説明図である。
図7は、瞳孔中心位置角膜曲率中心位置との距離を算出する算出処理を説明するための図である。
図8は、本実施形態の算出処理の一例を示すフローチャートである。
図9は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。
図10は、本実施形態の視線検出処理の一例を示すフローチャートである。
図11は、変形例の算出処理を説明するための図である。
図12は、変形例の算出処理の一例を示すフローチャートである。
図13は、本実施形態で用いる診断画像の一例を示す図である。
図14は、本実施形態で用いる診断画像の一例を示す図である。
図15は、本実施形態で用いる診断画像の一例を示す図である。
図16は、本実施形態で用いる診断画像の一例を示す図である。
図17は、本実施形態の診断支援処理の一例を示すフローチャートである。
図18は、一次回答を選択するための選択画面の一例を示す図である。
図19は、正解を表示するための正解画面の一例を示す図である。
図20は、解説画面の一例を示す図である。
図21は、注視点検出処理の一例を示すフローチャートである。
図22は、分析処理の一例を示すフローチャートである。
図23は、因果関係の例を示す図である。

実施例

0012

以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に適用した例を説明するが適用可能な装置はこれに限られるものではない。

0013

本実施形態の診断支援装置は、ある事象の前後を示す画像(映像)を表示して、注視点の位置の停留時間を測定して評価演算することにより、高精度の発達障がいリスク診断支援を実現する。

0014

また、本実施形態の診断支援装置は、1ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の診断支援装置は、視線検出前に被験者に1点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

0015

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばLED(Light Emitting Diode)などの光を発生する素子である。光源は、1個のLEDから構成されてもよいし、複数のLEDを組み合わせて1ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

0016

図1および2は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

0017

図1に示すように、本実施形態の診断支援装置は、表示部101と、撮像部に相当するステレオカメラ102と、LED光源103と、を含む。ステレオカメラ102は、表示部101の下に配置される。LED光源103は、ステレオカメラ102に含まれる2つのカメラの中心位置に配置される。LED光源103は、例えば波長850nmの近赤外線を照射する光源である。図1では、9個のLEDによりLED光源103(照明部)を構成する例が示されている。なお、ステレオカメラ102は、波長850nmの近赤外光を透過できるレンズを使用する。

0018

図2に示すように、ステレオカメラ102は、右カメラ202と左カメラ203とを備えている。LED光源103は、被験者の眼球111に向かって近赤外光を照射する。ステレオカメラ102で取得される画像では、瞳孔112が低輝度反射して暗くなり、眼球111内に虚像として生じる角膜反射113が高輝度で反射して明るくなる。従って、瞳孔112および角膜反射113の画像上の位置を2台のカメラ(右カメラ202、左カメラ203)それぞれで取得することができる。

0019

さらに2台のカメラにより得られる瞳孔112および角膜反射113の位置から、瞳孔112および角膜反射113の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。

0020

図3は、診断支援装置100の機能の概要を示す図である。図3では、図1および2に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図3に示すように、診断支援装置100は、右カメラ202と、左カメラ203と、LED光源103と、スピーカ205と、駆動・IF(interface)部313と、制御部300と、記憶部150と、表示部101と、を含む。図3において、表示画面201は、右カメラ202および左カメラ203との位置関係を分かりやすく示しているが、表示画面201は表示部101において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。

0021

スピーカ205は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

0022

駆動・IF部313は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部313は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。

0023

制御部300は、例えば、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、ネットワークに接続して通信を行う通信I/Fと、各部を接続するバスを備えているコンピュータなどにより実現できる。

0024

記憶部150は、制御プログラム測定結果、診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部101に表示する画像等を記憶する。表示部101は、診断のための対象画像等、各種情報を表示する。

0025

図4は、図3に示す各部の詳細な機能の一例を示すブロック図である。図4に示すように、制御部300には、表示部101と、駆動・IF部313が接続される。駆動・IF部313は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。

0026

駆動・IF部313には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ203が接続される。駆動・IF部313がこれらのカメラを駆動することにより、被験者を撮像する。

0027

スピーカ駆動部322は、スピーカ205を駆動する。なお、診断支援装置100が、印刷部としてのプリンタと接続するためのインタフェース(プリンタIF)を備えてもよい。また、プリンタを診断支援装置100の内部に備えるように構成してもよい。

0028

制御部300は、診断支援装置100全体を制御する。制御部300は、第1算出部351と、第2算出部352と、第3算出部353と、視線検出部354と、視点検出部355と、出力制御部356と、評価部357と、を備えている。なお、視線を検出する視線検出支援装置としては、少なくとも第1算出部351、第2算出部352、第3算出部353、および、視線検出部354が備えられていればよい。

0029

制御部300に含まれる各要素(第1算出部351、第2算出部352、第3算出部353、視線検出部354、視点検出部355、出力制御部356、および、評価部357)は、ソフトウェアプログラム)で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

0030

プログラムで実現する場合、当該プログラムは、インストール可能な形式または実行可能な形式のファイルCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスクFD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ROM等に予め組み込んで提供するように構成してもよい。

0031

第1算出部351は、ステレオカメラ102により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置(第1位置)を算出する。第2算出部352は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置(第2位置)を算出する。第1算出部351および第2算出部352が、瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部に相当する。

0032

第3算出部353は、LED光源103と角膜反射中心とを結ぶ直線(第1直線)から、角膜曲率中心(第4位置)を算出する。例えば、第3算出部353は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜曲率半径値などから事前に定められた値を用いることができる。

0033

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第3算出部353が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第3算出部353は、まず目標位置(第3位置)を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線(第2直線)と、角膜反射中心とLED光源103とを結ぶ直線(第1直線)と、の交点を算出する。そして第3算出部353は、瞳孔中心と算出した交点との距離(第1距離)を算出し、例えば記憶部150に記憶する。

0034

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面201の中央位置(三次元世界座標の原点)を目標位置とすることができる。この場合、例えば出力制御部356が、表示画面201上の目標位置(中央)に、被験者に注視させる画像(目標画像)等を表示する。これにより、被験者に目標位置を注視させることができる。

0035

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

0036

なお、目標位置は表示画面201の中央に限られるものではなく、任意の位置でよい。表示画面201の中央を目標位置とすれば、表示画面201の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

0037

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第3算出部353は、LED光源103と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。第3算出部353が、LED光源103の位置と、表示部101上の目標画像を示す所定の位置(第3位置)と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心(第4位置)を算出する算出部に相当する。

0038

視線検出部354は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部354は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

0039

視点検出部355は、検出された視線方向を用いて被験者の視点を検出する。視点検出部355は、例えば、表示画面201で被験者が注視する点である視点(注視点)を検出する。視点検出部355は、例えば図2のような三次元世界座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。

0040

出力制御部356は、表示部101およびスピーカ205などに対する各種情報の出力を制御する。例えば、出力制御部356は、表示部101上の目標位置に目標画像を出力させる。また、出力制御部356は、診断画像、および、評価部357による評価結果などの表示部101に対する出力を制御する。

0041

診断画像は、視線(視点)検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像(幾何学模様映像など)と、それ以外の画像(人物映像など)と、を含む診断画像を用いてもよい。

0042

評価部357は、診断画像と、視点検出部355により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部357は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。評価部357は、例えば、後述する図13および図16のような診断画像を表示した際の被験者の注視点の位置に基づいて評価値を算出する。評価値の算出方法の具体例は後述する。評価部357は、診断画像と注視点とに基づいて評価値を算出すればよく、その算出方法は、本実施形態に限定されるものではない。

0043

図5は、本実施形態の診断支援装置100により実行される処理の概要を説明する図である。図1図4で説明した要素については同一の符号を付し説明を省略する。

0044

瞳孔中心407および角膜反射中心408は、それぞれ、LED光源103を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径409は、角膜表面から角膜曲率中心410までの距離を表す。

0045

図6は、2つの光源(照明部)を用いる方法(以下、方法Aとする)と、1つの光源(照明部)を用いる本実施形態との違いを示す説明図である。図1図4で説明した要素については同一の符号を付し説明を省略する。

0046

方法Aは、LED光源103の代わりに、2つのLED光源511、512を用いる。方法Aでは、LED光源511を照射したときの角膜反射中心513とLED光源511とを結ぶ直線515と、LED光源512を照射したときの角膜反射中心514とLED光源512とを結ぶ直線516との交点が算出される。この交点が角膜曲率中心505となる。

0047

これに対し、本実施形態では、LED光源103を照射したときの、角膜反射中心522とLED光源103とを結ぶ直線523を考える。直線523は、角膜曲率中心505を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、LED光源103を照射したときの角膜曲率中心は、直線523上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。

0048

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。

0049

図7は、視点検出(視線検出)を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図1図4で説明した要素については同一の符号を付し説明を省略する。

0050

目標位置605は、表示部101上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部101の画面の中央位置としている。直線613は、LED光源103と角膜反射中心612とを結ぶ直線である。直線614は、被験者が見つめる目標位置605(注視点)と瞳孔中心611とを結ぶ直線である。角膜曲率中心615は、直線613と直線614との交点である。第3算出部353は、瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。

0051

図8は、本実施形態の算出処理の一例を示すフローチャートである。

0052

まず出力制御部356は、表示部101の画面上の1点に目標画像を再生し(ステップS101)、被験者にその1点を注視させる。次に、制御部300は、LED駆動制御部316を用いてLED光源103を被験者の目に向けて点灯させる(ステップS102)。制御部300は、左右カメラ(右カメラ202、左カメラ203)で被験者の目を撮像する(ステップS103)。

0053

LED光源103の照射により、瞳孔部分暗い部分(暗瞳孔)として検出される。またLED照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点(角膜反射中心)が検出される。すなわち、第1算出部351は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。第1算出部351は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、第2算出部352は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第1算出部351および第2算出部352は、左右カメラで取得した2つの画像それぞれに対して、各座標値を算出する(ステップS104)。

0054

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

0055

第1算出部351および第2算出部352は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う(ステップS105)。第3算出部353は、求めた角膜反射中心の世界座標と、LED光源103の中心位置の世界座標とを結ぶ直線を求める(ステップS106)。次に、第3算出部353は、表示部101の画面上の1点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する(ステップS107)。第3算出部353は、ステップS106で算出した直線とステップS107で算出した直線との交点を求め、この交点を角膜曲率中心とする(ステップS108)。第3算出部353は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部150などに記憶する(ステップS109)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。

0056

算出処理で表示部101上の1点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部101内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

0057

図9は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点805は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点806は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

0058

瞳孔中心811および角膜反射中心812は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線813は、LED光源103と角膜反射中心812とを結ぶ直線である。角膜曲率中心814は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離815は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心816は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心816は、角膜曲率中心が直線813上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離815であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線817は、視線818に補正される。また、表示部101の画面上の注視点は、注視点805から注視点806に補正される。

0059

図10は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図10の視線検出処理を実行することができる。診断処理では、図10の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部357による評価処理などが実行される。

0060

ステップS201〜ステップS205は、図8のステップS102〜ステップS106と同様であるため説明を省略する。

0061

第3算出部353は、ステップS205で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する(ステップS206)。

0062

視線検出部354は、瞳孔中心と角膜曲率中心とを結ぶベクトル(視線ベクトル)を求める(ステップS207)。このベクトルが、被験者が見ている視線方向を示している。視点検出部355は、この視線方向と表示部101の画面との交点の三次元世界座標値を算出する(ステップS208)。この値が、被験者が注視する表示部101上の1点を世界座標で表した座標値である。視点検出部355は、求めた三次元世界座標値を、表示部101の二次元座標系で表される座標値(x,y)に変換する(ステップS209)。これにより、被験者が見つめる表示部101上の視点(注視点)を算出することができる。

0063

(変形例)
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図7および図8で説明した方法に限られるものではない。以下では、算出処理の他の例について図11および図12を用いて説明する。

0064

図11は、本変形例の算出処理を説明するための図である。図1図4および図7で説明した要素については同一の符号を付し説明を省略する。

0065

線分1101は、目標位置605とLED光源103とを結ぶ線分(第1線分)である。線分1102は、線分1101と平行で、瞳孔中心611と直線613とを結ぶ線分(第2線分)である。本変形例では、以下のように、線分1101、線分1102を用いて瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。

0066

図12は、本変形例の算出処理の一例を示すフローチャートである。

0067

ステップS301〜ステップS307は、図8のステップS101〜ステップS107と同様であるため説明を省略する。

0068

第3算出部353は、表示部101の画面上の1点に表示される目標画像の中心と、LED光源103の中心とを結ぶ線分(図11では線分1101)を算出するとともに、算出した線分の長さ(L1101とする)を算出する(ステップS308)。

0069

第3算出部353は、瞳孔中心611を通り、ステップS308で算出した線分と平行な線分(図11では線分1102)を算出するとともに、算出した線分の長さ(L1102とする)を算出する(ステップS309)。

0070

第3算出部353は、角膜曲率中心615を頂点とし、ステップS308で算出した線分を下辺とする三角形と、角膜曲率中心615を頂点とし、ステップS309で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心611と角膜曲率中心615との間の距離616を算出する(ステップS310)。例えば第3算出部353は、線分1101の長さに対する線分1102の長さの比率と、目標位置605と角膜曲率中心615との間の距離に対する距離616の比率と、が等しくなるように、距離616を算出する。

0071

距離616は、以下の(1)式により算出することができる。なおL614は、目標位置605から瞳孔中心611までの距離である。
距離616=(L614×L1102)/(L1101−L1102)・・・(1)

0072

第3算出部353は、算出した距離616を記憶部150などに記憶する(ステップS311)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。

0073

次に、診断支援処理の詳細について説明する。本実施形態では、所定の事象の原因と当該事象とを表す画像を診断画像として用いる。そして、診断画像内に設定した領域に対する注視点の停留時間を測定することにより診断支援を行う。これにより、因果関係を理解するためにどこを注視して情報を得たのか、注視したにも関わらず因果関係を理解できないのかなどの診断を支援することが可能となる。すなわち、従来より高精度の診断支援が可能となる。

0074

図13図16は、本実施形態で用いる診断画像の一例を示す図である。図13図16の診断画像は、それぞれ、一連連続動画に含まれる1つのシーンを示す画像の例である。連続動画は、途中でカット割り(画面の切り替えなど)が含まれる動画であってもよい。

0075

図13は、の前の道路人物歩くシーンを示す画像である。足元には複数の石が落ちている。この画像について、領域が設定される。図13の例では、人を含む領域M、頭を含む領域H、人が転ぶ原因となる石(第1の対象の一例)を含む領域C、および、人(第2の対象の一例)が転ぶ事象とは関係ない石を含む領域Sが設定される。なお、図13図16の各画像は、画像の左上を原点(0,0)、右下の座標を(Xmax,Ymax)とする座標系を有する。

0076

図14は、人が領域C内の石につまずいて、転びそうになった瞬間の画像である。図15は、人が領域C内の石につまずいて、転んだ瞬間の画像である。図16は、人が領域C内の石につまずいて、転んだ後のシーンを示す画像である。図14図16の各画像に対しても、それぞれ図13と同様な領域が設定されている。

0077

本実施形態では、診断画像の1つとして、ある事象が起きる前の動画の一部をキャプチャした静止画またはこの静止画と同等な静止画と、ある事象が起きた後の動画の一部をキャプチャした静止画またはこの静止画と同等な静止画と、を使用する。

0078

図13図16の例では、事象は「人が転ぶこと」であり、この事象の前の動画の一部をキャプチャした静止画1(図13)と、この事象の後の動画の一部をキャプチャした静止画2(図16)と、が診断画像として用いられる。なお、静止画の個数は2に限られず、3以上の静止画を用いてもよい。

0079

図17は、このような診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。

0080

まず、出力制御部356は、静止画1を表示部101に表示する。被験者は、表示された静止画1を見る。このとき、視点検出部355は、注視点を検出する(ステップS401)。

0081

次に、出力制御部356は、静止画2を表示部101に表示する。被験者は、表示された静止画2を見る。このとき、視点検出部355は、注視点を検出する(ステップS402)。ステップS401からステップS402への進行は、被験者か操作者による、「次へ進むボタン」(図示せず)の押下などに応じて実行してもよい。被験者や操作者による指示なしに、連続的に表示が進行してもよい。

0082

次に、評価部357は、被験者による一次回答の選択を受け付ける(ステップS403)。図18は、一次回答を選択するための選択画面の一例を示す図である。一次回答とは、診断画像(静止画1、静止画2)を表示した後に選択される回答である。図18の例では、回答の選択肢A1〜A4の中から、質問Qに対する一次回答が選択される。発達障がいの被験者は、因果関係の判断が難しいので、A3以外を選択することが多い。確率的には、因果関係を理解していなくても正解が選択される場合がある。このため、1問のみの質問では、高精度に診断を支援できない場合がある。従って、多くの種類の映像に対して同様に検査してもよい。これにより診断支援の精度をさらに向上させることができる。

0083

評価部357は、例えばタッチパネルとして構成された表示部101から、被験者または操作者がタッチした位置を示す位置情報を取得し、位置情報に対応する選択肢の選択を受け付ける。評価部357は、被験者または操作者等が図示しない入力装置キーボード等)を用いて指定した一次回答を受け付けてもよい。また、一次回答の選択は、図18のような選択画面を用いる方法に限られるものではない。例えば、操作者が口頭で質問および回答の選択肢を説明し、被験者に一次回答を口頭で選択させる方法を用いてもよい。

0084

図17戻り、出力制御部356は、例えば診断画像(静止画1、静止画2)に対応する動画(図13図16の診断画像に対応する一連の連続動画など)を表示部101に表示する。このとき、視点検出部355は、注視点を検出する(ステップS404)。

0085

なお、ステップS401、ステップS402、および、ステップS404の注視点検出処理の詳細は後述する。

0086

次に、評価部357は、被験者による二次回答の選択を受け付ける(ステップS405)。二次回答とは、診断画像に対応する動画を表示した後に選択される回答である。二次回答の選択は、例えば一次回答の選択と同様の方法により行ってもよい。二次回答の選択肢は、一次回答の選択肢と同じでもよいし、異なってもよい。二次回答を選択させるのは、静止画1と静止画2を見た後の判断(一次回答)と、その後に連続動画を見た後の判断(二次回答)と、を比較できるようにするためである。

0087

次に出力制御部356は、質問の正解を表示部101に表示する(ステップS406)。また出力制御部356は、解説を表示部101に表示する(ステップS407)。

0088

図19は、正解を表示するための正解画面の一例を示す図である。図19の例では、正解を示す選択肢A3が、他の選択肢と異なる表示態様で表示されている。正解を示す方法はこれに限られるものではない。一次回答の選択肢と二次回答の選択肢とが異なる場合、すべての選択肢を表示させて、正解の選択肢を強調して表示させてもよい。

0089

例えばこの正解画面で、つぎボタン2001が押下されると、解説を表示するための解説画面が表示される。図20は、解説画面の一例を示す図である。解説画面が表示されることにより、被験者は、診断画像で示された事象の因果関係などを理解することができる。解説画面で、つぎボタン2101が押下されると、解説画面の表示が終了される。

0090

図17に戻り、評価部357は、検出された注視点のデータを基に分析処理を実行する(ステップS408)。分析処理の詳細は後述する。最後に、出力制御部356は、分析結果を表示部101等に表示する(ステップS409)。

0091

次に、注視点検出処理の詳細について説明する。図21は、注視点検出処理の一例を示すフローチャートである。なお、図21は、図17のステップS401の静止画1を表示した後の注視点検出処理を例に説明するが、図17のステップS402(静止画2を表示した後)、および、ステップS404(動画を表示した後)の注視点検出処理も同様の手順により実現できる。

0092

まず、出力制御部356は、診断画像(静止画1)の再生(表示)を開始する(ステップS501)。次に、出力制御部356は、再生時間を計測するタイマリセットする(ステップS502)。次に、視点検出部355は、各領域内を注視したときにカウントアップするカウンタ(カウンタST1_M、ST1_H、ST1_C、ST1_S、ST1_OT)をリセットする(ステップS503)。

0093

カウンタST1_M、ST1_H、ST1_C、ST1_S、ST1_OTは、静止画1(ST1)を表示したときのカウンタである。各カウンタは、それぞれ以下の領域に対応する。各カウンタをカウントアップすることにより、対応する領域内で注視点が検出される時間を表す停留時間を計測することが可能となる。
カウンタST1_M:領域M
カウンタST1_H:領域H
カウンタST1_C:領域C
カウンタST1_S:領域S
カウンタST1_OT:上記以外の領域

0094

次に、視点検出部355は、被験者の注視点を検出する(ステップS504)。視点検出部355は、例えば、図10で説明した手順により注視点を検出することができる。視点検出部355は、注視点の検出が失敗したかを判断する(ステップS505)。瞬きなどにより瞳孔および角膜反射の画像が得られない場合などに、注視点検出が失敗する。また、注視点が表示部101内に存在しない場合(被験者が表示部101以外を見ていた場合)も、失敗と判断してもよい。

0095

注視点の検出が失敗した場合(ステップS505:Yes)、ステップS516に進む。注視点の検出が成功した場合(ステップS505:No)、視点検出部355は、注視点の座標(注視点座標)を取得する(ステップS506)。

0096

視点検出部355は、取得した注視点座標が、領域M(人周辺)内にあるか否かを判定する(ステップS507)。領域M内にあるとき(ステップS507:Yes)、視点検出部355は、さらに取得した注視点座標が、領域H(頭部周辺)内にあるか否かを判定する(ステップS508)。領域H内にあるとき(ステップS508:Yes)、視点検出部355は、カウンタST1_Hをインクリメント(カウントアップ)する(ステップS510)。領域H内にないとき(ステップS508:No)、視点検出部355は、カウンタST1_Mをインクリメント(カウントアップ)する(ステップS509)。

0097

領域Mにない場合(ステップS507:No)、視点検出部355は、取得した注視点座標が、領域C(因果関係の原因となる対象物付近)内にあるか否かを判定する(ステップS511)。領域C内にあるとき(ステップS511:Yes)、視点検出部355は、カウンタST1_Cをインクリメント(カウントアップ)する(ステップS512)。

0098

領域Cにない場合(ステップS511:No)、視点検出部355は、取得した注視点座標が、領域S(因果関係の原因でない物付近)内にあるか否かを判定する(ステップS513)。領域S内にあるとき(ステップS513:Yes)、視点検出部355は、カウンタST1_Sをインクリメント(カウントアップ)する(ステップS514)。

0099

領域Sにない場合(ステップS513:No)、設定された領域内に注視点がないので、視点検出部355は、カウンタST1_OTをインクリメント(カウントアップ)する(ステップS515)。

0100

次に、出力制御部356は、映像の再生時間を管理するタイマの完了を確認する(ステップS516)。所定時間が経過していない場合、すなわちタイマが完了していない場合(ステップS516:No)には、ステップS504に戻り測定が継続される。タイマが完了した場合(ステップS516:Yes)、出力制御部356は、映像の再生を停止する(ステップS517)。

0101

ステップS402の静止画2(ST2)を表示したときの注視点検出処理は、以下のようにカウンタを置き換えることにより、図21と同様の手順を適用できる。
カウンタST1_M→カウンタST2_M
カウンタST1_H→カウンタST2_H
カウンタST1_C→カウンタST2_C
カウンタST1_S→カウンタST2_S
カウンタST1_OT→カウンタST2_OT

0102

ステップS404の動画(MOV)を表示したときの注視点検出処理は、以下のようにカウンタを置き換えることにより、図21と同様の手順を適用できる。
カウンタST1_M→カウンタMOV_M
カウンタST1_H→カウンタMOV_H
カウンタST1_C→カウンタMOV_C
カウンタST1_S→カウンタMOV_S
カウンタST1_OT→カウンタMOV_OT

0103

次に、分析処理の詳細について説明する。図22は、分析処理の一例を示すフローチャートである。なお、以下で説明する分析処理、および、評価値は一例でありこれらに限られるものではない。例えば評価値は、表示する診断画像に応じて変更してもよい。

0104

最初に、評価部357は、選択された一次回答が正解かを判断する(ステップS601)。正解であれば(ステップS601:Yes)、評価部357は、因果関係の把握能力が高いことを示す評価値を算出する(ステップS602)。

0105

一次回答が正解ではない場合(ステップS601:No)、または、ステップS602の後、評価部357は、ans1=ST1_M+ST2_Mを計算する(ステップS603)。なお、例えばST1_Mは、カウンタST1_Mの値を表す。以下同様に、カウンタXの値を単に「X」と表す場合がある。

0106

次に評価部357は、ans1が閾値k11より大きいかを判断する(ステップS604)。大きい場合(ステップS604:Yes)、評価部357は、事象の変化に対して注目度が高いことを示す評価値を算出する(ステップS605)。ans1は、人を含む領域M内に注視点が含まれる度合いを示すためである。評価値は、事象の変化に対して注目度が高いか、または、低いか、を示す2値であってもよいし、例えばans1の大きさに応じて変化する多値であってもよい。

0107

ans1が閾値k11以下の場合(ステップS604:No)、または、ステップS605の後、評価部357は、ans2=ST1_H+ST2_Hを計算する(ステップS606)。次に評価部357は、ans2が閾値k12より大きいかを判断する(ステップS607)。大きい場合(ステップS607:Yes)、評価部357は、人の顔を含む頭部に対して注目度が高く、社会性の発達が高いことを示す評価値を算出する(ステップS608)。ans2は、頭を含む領域H内に注視点が含まれる度合いを示すためである。

0108

ans2が閾値k12以下の場合(ステップS607:No)、または、ステップS608の後、評価部357は、ans3=ST1_C+ST2_Cを計算する(ステップS609)。次に評価部357は、ans3が閾値k13より大きいかを判断する(ステップS610)。大きい場合(ステップS610:Yes)、評価部357は、関連性への予測能力が高く、因果関係に関連した対象に対して注目していることを示す評価値を算出する(ステップS611)。ans3は、人が転ぶ原因となる石を含む領域C内に注視点が含まれる度合いを示すためである。

0109

ans3が閾値k13以下の場合(ステップS610:No)、または、ステップS611の後、評価部357は、ans4=ST1_M+ST2_M+ST1_C+ST2_C+ST1_S+ST2_Sを計算する(ステップS612)。次に評価部357は、ans4が閾値k14より大きいかを判断する(ステップS613)。大きい場合(ステップS613:Yes)、評価部357は、さまざまな物体や事象に対して関心度が高いことを示す評価値を算出する(ステップS614)。ans4は、人または石などの物体を含む領域(領域M、領域C、領域S)内に注視点が含まれる度合いを示すためである。

0110

ans4が閾値k14以下の場合(ステップS613:No)、または、ステップS614の後、分析処理を終了する。なお、ans1と同様に、ans2、ans3、および、ans4は2値であってもよいし、多値であってもよい。

0111

発達障がいの被験者は、因果関係の理解が難しい場合が多い。そして、因果関係の原因となったものを注視してその情報を脳に取り入れたが因果関係が理解できなかったのか、因果関係の原因となったものを見ようとせず、情報そのものが脳に届いていないために因果関係が理解できなかったのか、により、療育の方法を変更することが望ましい。特に、因果関係の把握能力が高いことを示す評価値(ステップS602)、社会性の発達が高いことを示す評価値(ステップS608)、および、関連性への予測能力が高いことを示す評価値(ステップS611)に当てはまらない場合は、発達障がいのリスクがあるということになる。

0112

本実施形態の診断支援装置によればある事象の前後の画像(例えば静止画1、静止画2)が表示されたときに、被験者がどの部分を見たかを測定する。このため、因果関係を理解できるか否かなどについても高精度に診断を支援することが可能となる。また、分析(診断)した結果を参考に、療育方針を決定することが可能となる。

0113

図23は、因果関係の例を示す図である。左の列に記載の原因に対して、右の列に記載の結果が生じることを示している。上記静止画1および静止画2の代わりに、図23に記載の原因を示す静止画と、この原因に対応する結果を示す静止画と、を用いてもよい。なお、図23の例以外にも、原因と結果を表す様々な診断画像を用いることができる。また、例えば図23に示すような因果関係を示す診断画像(2つの静止画など)を複数回表示して、複数の診断画像に対する評価結果を積算してもよい。例えば、複数の診断画像を表示するごとに各カウンタの値をリセットせず、すべての診断画像に対するカウンタの値の加算を継続してもよい。なおこの場合は、例えば図22の分析処理で用いる各閾値を、使用する複数の診断画像の個数または種別等に応じて変更してもよい。これにより、さらに評価の精度を上げることができる。

0114

図22に示すように、原則としては、事象の前後の画像(静止画1、静止画2)を表示したときの注視点に基づき診断の支援を行う。動画の表示、動画を表示したときの注視点の検出、および、解説の表示など(図17のステップS404〜ステップS407)は、被験者に正解を教えること、および、動画を見ることにより理解したか、などを評価可能とするために行われる。従って、例えば診断支援のみを目的とする場合は、これらの処理(図17のステップS404〜ステップS407)を省略してもよい。

0115

また、例えば関連性への予測能力が高いかを示す評価値(ステップS611)が算出されれば、因果関係の理解についての診断を支援できる。この場合、正解画面の表示、および、一次回答の選択受付などは実行しなくてもよい。診断画像が表示されたときの注視点の検出結果のみで、ステップS611のような評価値を算出することができるためである。

0116

図22では、各評価値は、それぞれ独立に算出されていた。図22の各条件のうち2以上を組み合わせて評価値を求めるように構成してもよい。例えば、一次回答が正解であり(ステップS601:Yes)、かつ、ans3が閾値k13より大きい場合(ステップS610:Yes)に、関連性への予測能力が高いことを示す評価値を算出してもよい。

0117

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)被験者が因果関係に関連するものを注視したか、否かを知ることができる。
(2)療育のポイント・方向性を設定することができる。
(3)社会性の発達についても確認できる。
(4)光源(照明部)を2ヶ所に配置する必要がなく、1ヵ所に配置した光源で視線検出を行うことが可能となる。
(5)光源が1ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。

0118

100診断支援装置
101 表示部
102ステレオカメラ
103LED光源
150 記憶部
201表示画面
202右カメラ
203左カメラ
205スピーカ
300 制御部
313 駆動・IF部
316LED駆動制御部
322 スピーカ駆動部
351 第1算出部
352 第2算出部
353 第3算出部
354視線検出部
355視点検出部
356出力制御部
357 評価部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い法人

関連性が強い法人一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ