図面 (/)

技術 視覚支援装置

出願人 金子和夫
発明者 金子和夫
出願日 2018年3月1日 (2年0ヶ月経過) 出願番号 2018-036321
公開日 2019年9月12日 (6ヶ月経過) 公開番号 2019-152953
状態 不明
技術分野
  • -
主要キーワード ブローチ型 視認能力 対処行動 視覚補助装置 待ち人 移動目的 屋内モード 主観的情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

個々のユーザの事情踏まえ支援情報通知を行う

解決手段

視覚支援装置(100)は、ユーザの視認支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部(130)と、前記ユーザが視認している場景を表す画像データを取得する撮像部(110)と、前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部(120)と、該生成された支援情報を通知する通知部(140)とを有する

概要

背景

目の不自由な人に対して、カメラによって場景を認識して障害物の存在を検知すると、音声等によってリアルタイムに知らせることで、行動支援する視覚補助装置が知られている(特許文献1)。

概要

個々のユーザの事情踏まえ支援情報通知を行う視覚支援装置(100)は、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部(130)と、前記ユーザが視認している場景を表す画像データを取得する撮像部(110)と、前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部(120)と、該生成された支援情報を通知する通知部(140)とを有する

目的

本発明は、個々のユーザの事情を踏まえた支援情報の通知を行うことを目的とする

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザの視認支援するための支援情報通知に関する、当該ユーザに固有の条件が記憶される記憶部と、前記ユーザが視認している場景を表す画像データを取得する撮像部と、前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部と、該生成された支援情報を通知する通知部とを有する視覚支援装置

請求項2

前記生成部は、前記画像データから検出された複数の対象物のなかから、前記条件に基づいて1以上の対象物を選択し、該選択された1以上の対象物に関する情報を生成する、請求項1に記載の視覚支援装置。

請求項3

前記支援情報の通知に対してなされた前記ユーザの反応を表すリアクション情報を取得する手段を更に備え、前記生成部は、さらに前記リアクション情報に基づいて、前記支援情報を生成する、請求項1または2に記載の視覚支援装置。

請求項4

前記記憶部には複数の障害物について危険度登録され、所定値以上の危険度の障害物が前記画像データから抽出された場合に、前記支援情報を生成する請求項1ないし3のいずれか一項に記載の視覚支援装置。

請求項5

前記記憶部には人物に関する人物情報が登録され、前記通知部は、前記画像データにおいて人物が検出された場合に、当該人物情報に基づいて前記支援情報を決定する、請求項1ないし4のいずれか一項に記載の視覚支援装置。

請求項6

現在時刻を取得する手段を更に備え、前記条件は通知のタイミングに関する情報を用いて規定される、請求項1〜5のいずれか一項に記載の視覚支援装置。

請求項7

前記視覚支援装置の位置を取得する手段を更に備え、前記条件は、前記ユーザの位置に関する情報を用いて規定される、請求項1〜6のいずれか一項に記載の視覚支援装置。

請求項8

前記ユーザの滞在時間を取得する手段を更に備え、前記条件は、滞在時間に関する情報を用いて規定される、請求項1〜6のいずれか一項に記載の視覚支援装置。

請求項9

前記ユーザの行動を特定する手段を更に備え、前記条件は、前記ユーザの行動に関する情報を用いて規定され、請求項1〜8のいずれか一項に記載の視覚支援装置。

請求項10

前記条件は、前記ユーザの身体能力に関する情報を用いて規定される、請求項1〜9のいずれか一項に記載の視覚支援装置。

請求項11

前記条件の切替えを受付ける切替部を更に備える、請求項1〜10のいずれか一項に記載の視覚支援装置。

請求項12

位置および当該位置の場景に関する場景情報をサーバへ送信する送信部と、前記サーバから、前記視覚支援装置の位置に応じた場景情報を受信する受信部と、を更に備え、前記通知部は、該受信した場景情報に基づいてユーザに通知を行う請求項1〜11のいずれか一項に記載の視覚支援装置。

請求項13

ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶されたコンピュータに、前記ユーザが視認している場景を表す画像データを取得するステップと、該取得された画像データと前記条件とに基づいて、支援情報を生成するステップと該生成された支援情報を通知する通知部とを実行させるためのプログラム

請求項14

第1の視覚支援装置から、当該第1の視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報を収集する受信部と、第2の視覚支援装置の位置に対応する前記情報を、当該第2の視覚支援装置へ送信する送信部とを有するサーバ。

技術分野

0001

本発明は、視覚補助する装置に関する。

背景技術

0002

目の不自由な人に対して、カメラによって場景を認識して障害物の存在を検知すると、音声等によってリアルタイムに知らせることで、行動支援する視覚補助装置が知られている(特許文献1)。

先行技術

0003

特開2000−325389号公報

発明が解決しようとする課題

0004

例えば、上述のような視覚補助装置を用いて危険物を複数検出した場合、それら全てを一度に通知するとユーザが戸惑う場合がある。また、ユーザの障害の程度、今いる場所がユーザにとってよく分かっているのかどうかなど、ユーザの状況や事情によっては、通知が必要ではないということある。そのような場合にまで逐一通知を行うと、ユーザが煩わしいと感じることもある。このように、従来の技術においては、通知が画一的であり、支援情報の通知に際し、個々のユーザの事情が考慮されなかった。
本発明は、個々のユーザの事情を踏まえた支援情報の通知を行うことを目的とする。

課題を解決するための手段

0005

本発明は、一の態様において、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部と、前記ユーザが視認している場景を表す画像データを取得する撮像部と、前記取得手段にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部と、該生成された支援情報を通知する通知部とを有する視覚支援装置

0006

本発明によれば、個々のユーザの状況に適合する支援情報が通知される。

図面の簡単な説明

0007

視覚支援装置100の外観図
視覚支援装置100のハードウェア構成を示す図。
視覚支援装置100の機能ブロック図。
条件テーブルT1に記憶される情報の例を示す図。
補正テーブルT2に記憶される情報の例を示す図。
100の動作の一例を示す図。
画像に基づいて生成される通知の例を示す図。
画像に基づいて生成される通知の例を示す図。
第2実施例に係る機能ブロック図。
共有情報テーブルT4に記憶される情報の例を示す図。
第2実施例に係る動作例を示す図。

実施例

0008

<実施例1>
図1は視覚支援装置100の外観の一例である。
視覚支援装置100は、通常のメガネのようにユーザが装着するものであって、フレーム20と、投影装置21と、マイク24と、スピーカ25と、カメラ22と、投影面23と、スイッチ26とを含む。ここで、フレーム20や投影面23の形状や機能は任意であって、通常のメガネの機能を有していてもよい。例えば、投影面23は通常のメガネレンズとして機能してもよいし、そうでなくてもよい。投影装置21、カメラ22、投影面23、スピーカ25は、フレーム20に内蔵された電源(図示せず)から供給される電力によって動作する。スイッチ26はユーザによって操作される。また、フレーム20には、制御部のほか、後述の各種機能を実現するためのユニット(図示せず)が内蔵されている。なお、視覚支援装置100には電源を設けず、別途設けられユーザによって携行されるバッテリユニットから給電を行ってもよい。

0009

図2Aは視覚支援装置100のハードウェア構成の一例を示す図である。
視覚支援装置100は、プロセッサ201、メモリ202、カメラ22、マイク204、操作スイッチ205、センサ206、計時装置207、投影装置208、スピーカ25、および振動モータ210を含む。プロセッサ201は、1以上の汎用または専用プロセッサであって、例えば、CPU、音声処理プロセッサ、および画像処理プロセッサを含む。メモリ202は、半導体メモリ等の記憶デバイスである。カメラ22は、レンズ受光素子などの光学素子や、フォーカス露出などの撮影制御回路等からなる撮像機構である。なお、カメラ22を複数設けてもよい。例えば、視覚支援装置100は、通常のメガネとメガネを頭に巻き付けて固定するためのベルト部とを備え、図1のように前方を撮像するためのカメラに加え、後方を撮像するためのカメラを、ベルト上における後頭部に相当する位置に設ける。このように、通常の視野よりも広い範囲(理想的には周囲360度)の場景を取得することで、後方や横方向から無音電気自動車自転車等が接近してくる場合であっても、ユーザに通知することができる。マイク204は、コンデンサマイク信号処理回路からなる集音機構である。操作スイッチ205は、ユーザによって操作されるスイッチである。

0010

センサ206は、加速度センサ方位センサ照度センサなど、視覚支援装置100の状態や視覚支援装置100の周囲の環境を検出するための1以上のセンサである。計時装置207はタイマなどの計時手段である。投影装置208は、半導体レーザ等や駆動回路等からなり、投影面23に文字や画像を投影する機構である。スピーカ25は、スピーカであって、ユーザに情報を音声によって通知する。振動モータ210は、小型モータなどのバイブレータであって、支援情報の通知手段として機能する。通信部211はWiFi等の無線通信モジュールであって、外部の装置との間でデータの送受信を行う。位置取得部212は、GPS受信モジュールなど、視覚支援装置100の位置を計測するための機構である。

0011

図2Bは視覚支援装置100の機能ブロック図である。
視覚支援装置100は、通知部140と、反応取得部150と、音声入力部160と、生成部120と、モード切替部170と、記憶部130と、生成部120と、撮像部110とを含む。

0012

撮像部110はカメラ22によって実現され、ユーザが視認している場景を表す画像データを、所定のフレームレート断続的に取得する。なお、カメラの特性や人間の目の機構や各ユーザの視覚能力によって、厳密にいえば、取得した映像がユーザが視認している世界と同一ではないが、取得した画像データ一般的に視覚能力を有する人間が認識しているであろう場景を反映しているといえる。

0013

モード切替部170は、操作スイッチ205によって実現され、支援情報に関する条件の切替えを受付ける。例えば、生成部120において予め動作モードを複数登録しておき
、ユーザはモード切替部170を用いて動作モードの指定ないし指定の変更を行う。動作モードとは、支援情報の通知に関する制御の態様を指定するものであって、例えば、支援情報を通知する頻度通知内容の量によって規定される。よって、動作モードに応じて、生成部120にて生成される支援情報に関する制御内容が異なることになる。例えば、通知頻度が「高」、「中」、「小」の3つの動作モードを予め設定しておき、適用したい一つのモードをユーザに指定させることが考えられる。あるいは、ユーザが屋内にいる場合に通知制御パラメータが最適化された「屋内モード」、ユーザの夜間での移動において通知制御パラメータが最適化された「夜間モード」といって、現在の位置や時刻その他のユーザの置かれている状況に応じて動作モードを切替えることができてもよい。なお、条件の切替えは使用中いつでも行うことができる。

0014

音声入力部160はマイク204によって実現され、ユーザの声や周囲の音を取得する。

0015

反応取得部150は、マイク204、操作スイッチ205、およびセンサ206のうちいずれか一つ以上によって実現され、支援情報の通知に対するユーザの反応を表すリアクション情報を取得する。また、反応取得部150は、現在のユーザの動作の状態を取得する。動作の状態とは、例えば、ユーザが歩行などの動作を行っている最中なのか否か、あるいは体勢着席している、横になっているなど)の情報を含む。

0016

位置特定部190は位置取得部212によって実現され、視覚支援装置100の位置を特定する。なお、記憶部130に地図情報施設についての情報を記憶しておき、位置特定部190は、現在位置に基づいて、ユーザが現在おかれている状況(屋外にいるのか屋内にいるのか、屋外の場合は登録された施設内部にいるのか道路上にいるのか、屋内の場合はオフィス自宅などの登録された施設)にいるのか否か、を特定してもよい。

0017

計時部180は計時装置207によって実現され、現在時刻を取得する。

0018

生成部120は、計時部180および位置特定部190から取得した情報に基づいて、撮像部110にて画像が取得されたときにおける、所定のエリア(例えば予め登録された施設内)における滞在時間を算出してもよい。生成部120は、さらに反応取得部150から取得した情報に基づいてユーザの行動を決定してもよい。ユーザの行動とは、例えば、横になって休息しているのか、歩行中なのか、運動中なのかといった情報である。こうして、位置や場所や行動などの情報はユーザ固有情報T3に蓄積される。

0019

通知部140は、音声出力部141と表示部142と振動発生部143とを含み、生成部120の制御の下、生成部120にて生成された支援情報をユーザに通知する。
音声出力部141はスピーカ25によって実現され、支援情報を音声によって通知する。具体的には、支援情報がテキストデータとして生成され、このテキストデータを音声合成処理によって読み上げる。
表示部142は投影装置208によって実現され、支援情報を映像によって通知する。振動発生部143は振動モータ210によって実現され、支援情報を振動によって通知する。
なお、音声出力部141、表示部142、振動発生部143のいずれか一つまたは2つを省略してもよい。例えば、全のユーザを想定しているのであれば、表示部142の機能を省略してもよい。

0020

記憶部130はメモリ202によって実現され、OSなど生成部120を制御するためのプログラムが記憶されるほか、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される。具体的には、条件テーブルT1、補正テーブル
T2、およびユーザ固有情報T3が格納され、これらに各ユーザに応じた情報が記憶される。

0021

ユーザ固有情報T3には、各ユーザに固有の情報が記憶される。ユーザ固有の情報には、例えば、ユーザと所定の関係を有する人物(たとえば親族友人)を特定するための情報(顔画像や顔の特徴量など)が含まれる。また、ユーザの身体能力に関する情報など、ユーザ自身の状態に関する情報が記憶されてもよい。具体的には、ユーザの体調、身体能力(視力近視遠視老眼、障害の内容・程度、聴力味覚触覚嗅覚、障害、運動能力など)である。また、ユーザ固有情報T3にはユーザの行動履歴歩行経路滞在場所、滞在時間など)が含まれていてもよい。このユーザの行動履歴には、通知を受け取ったユーザの反応を表す情報が含まれていてもよい。

0022

図3は条件テーブルT1に記憶される情報の具体例を示す。この例では、通知条件対応付けて支援情報の通知制御の内容が記述されている。通知条件は、検出内容と状況とに大別される。検出内容とは、画像解析の結果抽出された物体(車、建物、標識などの人工物、人や樹木などの自然物など)の種類である。なお、水たまりがあるという事実、木の枝が目の前に倒れ掛かっているというような事実など、物体の存在以外の事象を示すものであってもよい。以下では、説明の便宜上、画像から抽出されユーザへ通知すべき対象のものを、有体物・無対物を問わず、「対象物」ということにする。同図における詳細とは、当該対象物の詳細な情報を示す。例えば、様態時間変化)やその物体の属性等の情報である。状況には、例えば画像を取得した時間、場所、撮影場所の明るさなど、画像を取得した時の状況を示す情報が含まれる。

0023

通知制御内容を構成する要素として、同図の例では、要否、優先度、タイミング、通知方法が含まれる。要否とは、検出した各対象物に対して通知を行うか否かを規定する。優先度とは、通知を行う際の優先度を規定する。一般的に、生命に危険が及ぶ可能性が高い対象物については高い優先度が設定される。タイミングとは、通知の実行および/または終了のタイミングを規定する。通知方法とは、通知部140が有する機能のうちどれを使用するかを規定する。

0024

同図の例では、例えば、車両が検出された場合において、その車両が走行中であるがユーザには向かってきていない状況であり、その検出が屋外で発生したものである場合、その他の状況(時間帯や周囲の明るさ)を問わず通知が必要であり、通知の優先度区分は「2」(2番目に高い)であり、音声、文字および振動という手段を用いて、その対象の車両が検出されている間ずっと通知を出し続ける、という制御内容が規定されている。
通知が必要な対象物を複数検出した場合、優先度がより高い対象物がより優先して通知される。優先して通知されるとは、例えば、より時間的に先に通知する、同時に通知するが他の対象物よりもより注意を引く態様(文字サイズや音量が大きいなど)で表示するという意味である。

0025

通知制御内容の一以上の各項目は、ユーザ固有情報T3の内容に基づいて生成され、またはユーザによって書き換えることができるようになっている。この結果、通知制御の内容は、ユーザの好みやユーザの事情などが反映されるようになっている。また、ユーザ固有情報T3の内容が更新されるか通知に対するユーザの反応が得られた後、随時または定期的に、生成部120によって自動的に書き換えてられもよい。この場合、ユーザが視覚支援装置100を使用する期間に応じて内容が変化することになる。

0026

なお、記憶部130には、ユーザ固有の情報以外の情報が記憶されてもよい。例えば、記憶部130には代表的な障害物の種類(車両、交通標識段差など)とその危険度(通知の重要度)が登録される。

0027

図4は補正テーブルT2に記憶される情報の例を示す。補正テーブルT2には、ユーザの反応(リアクション)と優先度の補正内容とが対応付けて記憶される。生成部120は、補正テーブルT2を参照し、所定のリアクションを検出すると、条件テーブルT1を書き換える。例えば、同図の例では、通知した支援情報の通知に対するユーザの反応として、例えばスイッチ等を操作して通知をOFFにしたという反応が記憶された場合、この支援情報について優先度を一段階下げる。このように優先度を変更する理由は、ユーザの反応には、その通知の要否や重要性に関するユーザの判断が反映されていると推測できるからである。また、ある支援情報の通知に応じてユーザが通知の頻度を変更した場合においても、当該支援情報の優先度を補正する。

0028

ユーザの反応(立ち止まる、顔の向きを変えるなど)を反応取得部150が検出した場合、その支援情報の対象物に反応しており、ユーザにとってその通知が必要であると可能性が高いと推測されるから、優先度が高くなるように補正する。

0029

このように、支援情報に対するユーザの反応(無反応という反応も含む)に応じて条件テーブルT1の内容を更新することで、次回以降に、同一または似たような状況に遭遇した場合の通知制御内容がよりユーザの意図に沿った妥当なものとなる可能性が高まる。

0030

生成部120は、プロセッサ201によって実現され、撮像部110にて取得された画像データに対して、所定の間隔で画像解析を繰り返し実行し、予め設定された対象物や対象物が存在するか否かを判定する。そして、生成部120は、撮像部110にて取得された画像データと記憶部130に記憶されたユーザに固有の条件とに基づいて、支援情報を生成する。
具体的には、生成部120は、画像解析の結果、1以上の特定の対象物ないし対象物を複数抽出した場合、ユーザ固有情報T3を参照して、各対象物ないし対象物について通知の要否や優先度を決定する。そして、1以上の対象や対象物のなかから1以上の対象物を選択し、該選択された1以上の対象物に関する支援情報を生成する。

0031

ここで、抽出されるべき対象物とは、典型的には、車両や歩行者電柱街路などの物体、縁石側溝、路面の凹凸その他の周囲の地形などユーザの移動の障害となりうる物体である。このほか、交通標識、道路に描かれたマーク横断歩道踏切、屋外の部屋の間取り等、ユーザの安全な移動(歩行や乗り物運転時)に寄与する対象が含まれていてもよい。

0032

生成部120は、反応取得部150にて取得されたリアクション情報をさらに用いて、支援情報を生成してもよい。また、生成部120は、所定値以上の危険度の障害物が前記画像データから抽出された場合に、支援情報を生成してもよい。また、生成部120は、画像データにおいて人物が検出された場合に、当該人物情報に基づいて支援情報を決定してもよい。

0033

前記条件は、前記ユーザの位置に関する情報を用いて規定されてもよい。また、前記条件は、滞在時間に関する情報を用いて規定されてもよい。また、前記条件は、前記ユーザの行動に関する情報を用いて規定されてもよい。

0034

また、動作モードが指定されている場合は、当該動作モードが規定する条件をさらに加味して、支援情報を生成する。例えば、動作モードとして「通知頻度「低」」が指定され、この動作モードが「優先度が2以下の対象物においては、通知しない」というルールを規定するものであれば、優先度「1」が設定された対象物のみが通知の対象となる。

0035

制御内容は、図3に示したうに、条件に対応する制御内容を定義したテーブル形式で用意される必要はない。例えば、制御アルゴリズム機械学習の手法を用いて決定してもよい。
具体的には、抽出された対象物や、画像特徴量等によって表すことができる撮像時の状況(換言するとユーザが遭遇した状況)や、実行された通知に対して得られたユーザの反応を、訓練データとして学習器に入力することによって、通知が必要な対象物と通知が不必要な対象物とを分類する分類器や通知の重要性ないし必要性を決定するための回帰モデル学習済モデル)を生成する。

0036

ここで、ユーザの反応とは、反応取得部150から供給された、通知に対して振り向いたか否か、通知したにも関わらず直後に躓くなど体のバランスを崩してしまったか否か、通知によって立ち止まったり歩行の進路を変えたりしたか否か、人物の存在を通知した後に発話挙手を行ったか否か等、ユーザの身体的反応(無反応の場合も含む)など、通知の妥当性やユーザの行動への影響度を推測するために用いられ得る情報である。
なお、ユーザの反応に変えてもしくは加えて、ユーザ情報に含まれるユーザの行動を示す情報(例えば歩行経路や活動の時間帯等)を蓄積しておき、この蓄積したユーザ情報を上記学習器に入力させてもよい。

0037

学習モデルを生成する機械学習の手法としては、例えばDeep Neural Network(DNN深層学習)を用いることができる。具体的には、CNN(Convolution Neural Network)、RNN(Recurrent Neural Network)などが適用可能である。

0038

学習を行うタイミングについては、視覚支援装置100を使用する前に実行してもよいし、使用後においてユーザが遭遇した状況・対象物や通知に対するユーザの反応についての情報が得られるたびに実行してもよい。
前者の場合、例えば、ユーザが捉える視界模擬した画像データを用意し、この画像データに対して、通知の要否、通知の優先度、タイミング等の通知に関する条件についての質問をユーザに対して行い、ユーザから得た回答に基づいて学習させることができる。こうして学習済みモデルが生成された後、ユーザに視覚支援装置100使用させる。
後者の場合、視覚支援装置100の使用開始時点においては、未学習状態アルゴリズムを用いることになるが、ユーザの反応や行動パターンについての情報が蓄積されるにつれ、学習が進むことになる。

0039

要するに、視覚支援装置100は、取得した複数の画像データと、各画像データに対応して得られた複数のリアクション情報とに基づいて、支援情報の通知に関する条件を学習する学習器と、取得された画像データに対応する支援情報をこの学習器を用いて生成する機能を有していればよい。

0040

また、図2Aで示したハードウェア構成または図2Bで示した機能構成の一部は、視覚支援装置100とは別途設けられた装置によって実現されてもよい。例えば、通知部を視覚支援装置100には設けず、ユーザが携行するスマートフォン等の携帯型情報処理端末が有する通知機能を利用してもよい。具体的には、視覚支援装置100と携帯型情報処理端末と間で無線通信を行い、視覚支援装置100から携帯型情報処理端末に通知の実行要求および通知内容を送信する。

0041

また、図2Aおよび図2Bで示したハードウェア構成ないし機能構成に、他の機能を加えてもよい。例えば、視覚支援装置100に移動を案内する機能を設ける。具体的には、記憶部130に地図情報を記憶し、位置取得部212およびセンサ206にてそれぞれ取得された現在位置および向きユーザの向きについての情報と、音声入力部160にて取得
された、移動目的の位置や施設名の情報と、地図情報に基づいて、ユーザが進むべきルートや方角目的地までの距離といった、ユーザの移動を支援する情報を生成してユーザに通知してもよい。
他の例として、ユーザを認証する機能を設けてもよい。具体的には、視覚支援装置100において声紋指紋などのユーザ固有の生体情報を取得する手段を設け、予め登録された情報と一致するか判定する。認証を実行するタイミングは、例えば視覚支援装置100の起動時である。

0042

図5は、視覚支援装置100の動作の一例を示す。視覚支援装置100は、予め、現在時刻や場所の取得、周囲の状況やユーザの状態についてのセンシング、動作モードの指定の受付けなどを行い、通知条件として規定された情報を決定しておく(S500)。
撮像した画像が所定フレーム分蓄積されると、生成部120は蓄積された画像を解析する(S510)。
生成部120は、解析の結果、対象物を検出した場合、通知要否の判定を行う(S521)。生成部120は、通知が必要であれば(S521;YES)、通知内容を生成する(S522)。ここで、通知対象が複数あった場合は、各通知の順番や態様がさらに決定される。通知部140は、タイミング情報に従って通知を実行する(S530)。タイミング情報が存在しない場合、即座に通知を実行する。
生成部120は、ユーザからのリアクションを取得した場合(S540:YES)、当該リアクションを示す情報を記憶部130に書き込むとともに、必要に応じて当該リアクションの情報に基づいて通知条件を更新する(S550)。なお、通知が不必要な場合(S521;NO)あるいはリアクションが取得されない場合(S540;NO)、S500の処理に戻る。

0043

図6は、取得した画像に基づいて生成される通知の具体例を示す。
いま、D1で示す画像が撮像されたとする。この画像を解析した結果、自動車である対象物OB1、樹木である対象物OB2、障害物の一種である段差として対象物OB3、障害物の一種である看板として対象物OB4の存在が検出されたとする。また、加えて各対象物間の位置関係およびユーザのとの位置関係が特定され、さらに対象物OB1については動く方向が検出されたとする。
いま仮に、ともに視覚支援装置100のユーザであるユーザAとユーザBとが、屋外において、この画像で示される状況に遭遇したとする。この例では、ユーザAに対しては、対象物OB1に対応する支援情報として、向かってくる車に注意喚起を促すメッセージが最初に通知され、続いて、対象物OB3に対応する支援情報として、前方の看板への注意喚起を促すメッセージが通知され、続いて段差への注意喚起を促すメッセージが通知される。

0044

このような通知制御が行われるのは、例えば、ユーザAは視力がかなり悪いという情報がユーザ固有情報T3に書き込まれており、この情報に基づいて、条件テーブルT1において動く物体に対して高い通知優先度が与えられており、静止している障害物は優先度が低いが通知は必要であるという制御内容となっている場合である。また、この例では、対象物OB4が通知要と判定されているにも関わらず通知が実行されていない理由は、例えば、ユーザが混乱しないように、一度に通知できる数の上限が3と設定されており、現状ではユーザの位置から樹木まで遠いためにその優先度は他の3つの対象物よりも低いと判定されているといった場合である。

0045

一方、ユーザBに対しては、対象物OB3に対応する支援情報のみが通知されている。このような状況は、例えば、ユーザBは視力には問題ないが歩行に能力に支障があるという情報がユーザ固有情報T3に記憶されており、この結果、歩行に関係する対象物OB3のみが通知要である一方、対象物OB1、対象物OB4、対象物OB2については通知不
要と生成部120において判断されたような場合に生じることが考えられる。

0046

図7は、生成される通知の他の例を示す。D2は、ユーザがオフィスなどの屋内の廊下において撮像された場合において取得される画像の例である。いま、ともに視覚支援装置100のユーザであるユーザCとユーザDとがこの状況に遭遇したとする。生成部120は、対象物として対象物OB21、対象物OB22を検出する。加えて、顔認証処理によって、対象物OB21はCの友人として登録されている人物Xであり、対象物OB22はユーザCの友人でもユーザDの友人でもない人物であると判定する。

0047

ユーザCに対しては、知り合いの人物Xの出現が知らされている。これにより、ユーザCはXに挨拶などの応対を行うことができる。このような状況は、例えば、ユーザCは現在の場所については完全に把握しており案内情報希望していないという事情があり、この事情に沿って、場所に関する支援情報は通知されないないしはその通知の優先度が低くなるような設定となっている場合に現れる。

0048

一方、ユーザDに対しては、まず自分が廊下にいるという状況の説明が行われ、続いて前方から人が向かっているという注意喚起が行われている。このような状況は、例えば、ユーザDにとっては屋内ではまず現在位置の把握が最優先事項であり、このユーザDの要望に沿った設定が記憶部130でなされている場合に生じる。

0049

あるいは、撮像結果から人物のみを検出する設定を記憶部130に登録しておき、ユーザは待ち合せ場所等において、多数の人のなかから待ち人(予め記憶部130に登録されている)を探したい場合に、モード切替部170を操作してこの設定を有効にするといった視覚支援装置100の使用方法も考えられる。

0050

このように、仮に同一の状況に遭遇したとしても、支援情報の取捨選択の方法がユーザによって異なり、結果として、ユーザが異なれば提供される支援情報が異なりうる。

0051

本実施例によれば、ユーザの事情、都合ニーズ、好み、現在おかれている状況など、ユーザ固有の情報を考慮して、通知の要否、内容、タイミング、順序の少なくともいずれか一つが決定される。この結果、ユーザにとって無駄な通知が行われ、その結果、ユーザが煩わしさを感じる状況が減ることが期待される。また、逆に煩わしさの緩和を追求するあまり、本来必要な通知が行われないとった状況が発生する可能性も低くなる。
また、通知に対するユーザの反応および/またはユーザの行動履歴に基づいて通知制御内容を変化させることができるので、視覚支援装置100を使用すればするほど、ユーザへ提供する支援が最適化される。

0052

上記実施例は、本来通常の人が持っている視覚能力が低下したユーザの視覚能力を補い、日常生活を支援することを主な目的とするものであるが、本来持っている視覚能力以上の能力の発揮が求められているような場面に適用してもよい。
例えば、遠方の物体を認識する動作モードを設けておき、遠方の物体を認識が要求される場面に遭遇した場合は、ユーザが当該モードに手動で切替えるか、または画像解析によって知覚には物体が存在しないことを認識した結果、生成部120が自動的に切替えるかすることにより、遠方にある物体を支援情報として通知させる、といった視覚支援装置100の使用方法が考えられる。あるいは、予め目的地を指定した「ナビゲーションモード」と、特定の目的地点が存在せずに自由に散歩をするような「フリーモード」を設けておき、両者のモードにおいて支援情報の内容やタイミング、頻度等を異ならせてもよい。また、「ナビゲーションモード」においては、上述した支援情報の提供に加えて、地図情報と現在位置とに基づいて目的地までのルートを音声によって案内する一方、「フリーモード」においては、上述した支援情報の提供に加え、近くのレストラン情報公園の存在情
報等、直接歩行には関係ないが、ユーザー趣味嗜好に即した情報が通知されるように設定することもできる。例えば、飲食店その他の商業施設公共施設他の情報がユーザーが200メートル以内に近づくと通知される。
その他、特殊な作業や運動などを行う場合など活動シーンに応じた視覚支援情報を提供すべく、視覚支援装置100を使用してもよい。
すなわち、本発明は、いわゆる健常者以外の、あらゆる人間に使用することが可能である。換言すると、本発明における「支援」とは、低下または欠如している視認能力を補うという意味に限定されない。

0053

視覚支援装置100は、メガネ型のほか、に装着するイヤホン型、首からぶら下げブローチ型に装着するタイプなどであってもよい。すなわち、いわゆる健常者が見ているであろう場景が正確に反映された画像を取得する必要はない。例えばブローチ型では首または胸部から見た視点の画像が取得されることになるが、対象物を検出するという目的においては特段問題がない。また、視覚支援装置100は、あえて通常の視点とは異なる視点からの映像を取得してもよい。例えば、視覚支援装置100をスマートフォンのような携帯情報端末の形状に設計し、視覚支援装置100を手から離れた位置で指示するための器具(いわゆる自撮り棒)を取り付ける。あるいは、この視覚支援装置100を飛行体ドローン等)に取付け、空中を移動して撮影してもよい。こうすることで、人物や障害物の検出・判定が容易となる場合がある。

0054

通知方法として、音声による通知と投影面への画像表示とを組み合わせてもよい。例えば、障害物を検出した場合は警告音を鳴らすとともに投影面に警告の内容を表示する。

0055

撮影された画像から状況を特定する方法や認識対象について、上記実施例は一例にすぎない。例えば、物体の種類その他の詳細を特定せずに、何らかの障害物であることのみを生成部120が認識してもよい。
また、取得した画像に映っている範囲の全てを対象物の抽出範囲と設定する必要もない。例えば、画像のうち所定のエリア(例えば、画面中央部(視野の中心部)、画面下半分(地面を中心として視野範囲)、あるいは所定の視野角に対応するエリア)内を、対象物を抽出する範囲と設定することが考えられる。具体的には、視野のうち対象物を検出した位置を条件テーブルT1の通知条件に加えておけばよい。

0056

このように対象物の抽出範囲を絞ることで、画像処理の処理速度が向上し、結果として通知のリアルタイム性が向上する。
また、対象物の抽出範囲をユーザが選択できるようにしてもよい。例えば、動作モードに応じて異なる対象物の抽出範囲を規定しておくことが考えられる。例えば多数の人がいる街中にいる場合、検出した全ての人についての情報を通知するとユーザが混乱してしまう虞があるので、街中に出た場合は画面中心付近(ユーザのほほ真正面)を抽出範囲と設定した動作モードに切替える。このように情報を絞ることによって、少なくとも前方から来る人と正面衝突するという事故が起きる可能性は減り、多数の通知によって混乱することが起きる虞も低くなる。

0057

場景を示す情報を取得する方法として、上述した可視光画像替えてもしくは加えて、音波ミリ波その他の電磁波を用いて検知ないし撮像されたデータに基づいて、場景が反映された画像を取得してもよい。例えば、視覚支援装置100に赤外線カメラミリ波レーダを設け、夜間の場合は、可視光カメラオフにして赤外線カメラまたはミリ波レーダを起動し、赤外線カメラまたはミリ波レーダによって測定されたデータを画像化する。

0058

<実施例2>
ある位置において視覚支援装置100のユーザが実際に遭遇した場景に関する情報であ
って、他のユーザにとってその位置において視覚の支援となる情報(一例としては、各ユーザに通知を行った通知事実やその通知の内容自体)を、複数のユーザで共有してもよい。具体的には、図8に示すように、複数の視覚支援装置100(100-1、100-2、100-3)とサーバ300とを900を介して接続する。

0059

サーバ300は、汎用のサーバであって、記憶部310と通信部320と制御部330を含む。記憶部310はハードディスク等の記憶装置であって、サーバ300の制御プログラムのほか、後述する、視覚支援装置100から収集した共有情報を記憶する。通信部320は、インターネット900を介して各視覚支援装置100と情報の授受を行うためのネットワークインタフェースである。制御部330はプロセッサであって、サーバ300を制御する。

0060

生成部120は、生成された支援情報を通知部140に供給するとともに、当該支援情報他のユーザとの間で共有すべきかを判定する。生成部120は、共有すべきであると判定した支援情報については、該生成された支援情報に基づいて共有情報を生成する。

0061

共有情報は、支援情報に基づいて生成されるのではなく、ユーザが内容を決定し、視覚支援装置100に入力してもよい。具体的には、通知を行われたときあるいはユーザによる所定の操作が行われことを契機として、音声入力部160によって録音が開始され、所定の期間内になされたユーザの発話を取得する。生成部120は取得した発話データに対してテキストデータ化するなどの加工処理を施し、サーバ300へ送信する。なお、生成部120は、通知をした際あるいはユーザが所定の行動や発話を行ったことを検出した場合に、「いまの情報を投稿しますか?」といった音声メッセージを通知部140を介して通知して、ユーザに情報の投稿を促すまたは確認を求めるというプロセスを実行してもよい。

0062

また、共有情報の投稿タイミングに関し、支援情報の通知の受信の有無および通知を受けた位置やタイミングとは関係なく、ユーザが共有すべき情報と考える情報については、任意のタイミングや場所にて受付けてもよい。この場合、共有情報に対応付けるべき位置情報についてもユーザが入力する。ここで、現在の視覚支援装置100の位置とは異なる位置に関する共有情報を入力したい場合は、ユーザは、例えば視覚支援装置100において地図情報の表示や検索するアプリを実行し、地図上の位置を指定することで、該指定された位置に対応する座標を当該アプリから取得する。
生成された共有情報は、位置特定部190にて特定されたそのときの位置とともに、通信部211の機能を用いて、サーバ300へ送信される。

0063

図9は、各視覚支援装置100によって登録され、記憶部310に記憶された共有情報テーブルT4の例である。共有情報テーブルT4は、位置情報に対応付けて共有情報が記憶される。位置情報は、緯度経度等の座標形式行政によって定められる住所の形式、建物のランドマーク情報を用いて記述されてもよい。要するに、位置情報は、視覚支援装置100において、自端末の位置が、位置情報に記憶された位置に相当する位置であるか否かが決定できる形式であればよい。

0064

共有情報は、障害物の存在や、その障害物の危険性の程度(登録ユーザ主観的情報でも構わない)その他の詳細な情報、障害物に対する対処行動について記述される。条件テーブルT1などを用いて視覚支援装置100が検知できる情報よりも詳細な情報であることが好ましい。例えば、撮像部110による画像解析によって段差が存在することは検知できても、その段差がどの程度危険なものなのか、あるいはどのように行動すればよいのか(迂回すればいいのか、注意して乗り越えるべきなのかなど)についてまでは判定することは困難なことも多いが、他人実体験に基づく情報を通知することで、よりきめ細か
な支援が可能となる。

0065

視覚支援装置100は、定期的にまたは視覚支援装置100の位置の変化が所定の基準を満たすと、視覚支援装置100の現在位置をキーとしてサーバ300に照会し、現在位置に対応する共有情報が格納されていないかを確認し、そのような共有情報が格納されている場合はサーバ300から取得する。視覚支援装置100は、取得した共有情報に基づく情報を、音声、文字、および画像の少なくともいずれかの方法でユーザに通知する。ここで、支援情報に危険性の程度に関する情報が含まれている場合は、危険性の程度に応じて表示態様を異ならせてもよい。
なお、共有情報のユーザへの通知のタイミングは、上述した支援情報と別途独立に行ってもよいし、常に支援情報とあわせて通知してもよい。共有情報の通知は支援情報の通知を前提とする場合、支援情報および共有情報に応じて、通知の内容、タイミング、態様を決定してもよい。例えば、その位置においてその支援情報に関連する共有情報が存在した場合に当該支援情報の優先度を上げて通知してもよいし、他の通知すべき支援情報よりも目立つ態様で、通知してもよい。

0066

ここで、共有すべき情報は、実行された全ての通知であってもよいし、そのうちの一部であってもよい。共有すべきか否かの判定は、各視覚支援装置100にて行われてもよいし、サーバ300にて行われてもよい。視覚支援装置100にて共有すべきか否かの判定を行う場合、例えば、その通知の優先度が所定値以上である情報のみを共有対象とする。あるいは、情報が通知されたユーザに対し、その情報を共有するかどうかを決定させてもよい。
サーバ300にて共有すべきか否かの判定を行う場合、信頼担保の観点から、例えば同一ないし関連する情報については所定数以上の視覚支援装置100からの登録があった場合に、共有情報テーブルT4に登録する。また、同一または実質的同一の位置に関連付けれた複数の共有情報を取得した場合、サーバ300は取得した共有情報を編集するあるいは取得したタイミングを用いて、情報の上書きその他の加工編集処理を行ってもよい。また、加工編集の内容、ある位置に対応して受信した共有情報の数、タイミング、頻度等に基づいて、ユーザに通知する内容を変化させてもよい。このように、投稿された情報や投稿者の属性に基づいて、ユーザへ通知される共有情報の内容は動的に変化し得る。
また、共有すべき情報は、ユーザが移動する際における安全性ないし危険性に関係するものである必要は必ずしもなく、場景に対するユーザの感想印象などの主観的情報を含んでいてもよい。要するに、ある位置における場景に関する場景情報であればよい。換言すると、共有情報は他のユーザによって投稿されたアクティブフットプリント足跡)情報である。

0067

要するに、各視覚支援装置100は、視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報をサーバ300へ送信する送信部と、サーバ300から、視覚支援装置の位置に対応する前記情報を受信する受信部を備え、サーバ300は、第1の視覚支援装置から、当該第1の視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報を収集する受信部と、第2の視覚支援装置の位置に対応する前記情報を、当該第2の視覚支援装置へ送信する送信部とを有していればよい。

0068

図10は、本実施例に係る動作例を示す。この例では、視覚支援装置100−1において、支援情報の通知を受けたことを契機として共有情報の登録を実行し、視覚支援装置100−2において、支援情報の通知とは別途独立に、よる共有情報の通知を実行する。

0069

通知部140にて通知が実行された場合(S530)、生成部120は、当該通知された情報に関連した情報を共有情報として登録すべきかを判定する(S601)。登録すべ
きでないと判定した場合、特段処理は行わない。登録すべきと判定した場合、通知した内容と位置情報とをセットにして、登録要求をサーバ300へ送信する(S602)。
サーバ300は、登録要求を受信すると(S603)、共有情報テーブルT4にレコードを追加する。なお、登録要求に係る共有情報と同等の情報が既に登録されていると判断した場合は、その情報が新たに投稿されたという情報のみを記憶してもよい。

0070

視覚支援装置100−2は、定期的に自端末の位置情報をサーバ300へ通知し、現在位置に対応する共有情報がないかを照会する(S604)。現在位置に対応するとは、例えば、共有情報に紐付けられている位置情報が視覚支援装置100−2の現在位置から所定の距離内にある場所を示している場合である。照会を受けた共有情報が存在する場合、サーバ300はその共有情報を視覚支援装置100−2へ送信する(S605)。共有情報を受信した視覚支援装置100−2は、その共有情報を位置に視覚支援装置100−2が位置しているかを判定し、位置していた場合は、該受信した共有情報に基づく情報を生成して、視覚支援装置100−2のユーザへ通知する(S606)。

0071

共有情報に基づく情報とは、共有情報そのものであってもよいし、支援情報を通知している(またはこれから通知しようとしている)場合は、その支援情報と共有情報とに基づいて生成される新たな情報である。あるいは、記憶部130に記憶されているユーザ属性と共有情報とに基づいて情報が生成されてもよい。例えば、共有情報には、段差が存在し、足の不自由なユーザにとっての危険度は「大」という情報が含まれていた場合において、視覚支援装置100−2のユーザの属性に、足が不自由であるという情報が含まれていた場合は、危険な障害物であることが伝わるように、通知の優先度や警告の程度等を決定する。

0072

上述したナビゲーションモードにおいて、共有情報が存在する場合、案内情報に共有情報を含ませてもよい。例えば、ナビゲーションモードに設定して、出発する前に目的地をユーザが音声入力すると、視覚支援装置100は、当該目的地までの経路を全体の経路についての情報であって、当該経路上にあるもしくは当該経路に近接する位置に関連付けられた共有情報をサーバ300から取得し、音声によってユーザに提示する。例えば、「家を出て左方向に約100メートル直進した所で信号を左折し、500メートル行った所で階段上ります。この階段にはフットプリント(共有情報)が有ります。その内容は、縁が滑りやすいから注意」というものです。このように、共有情報を用いて、目的地までの経路や場景についてのイメージを膨らませてもらうことで、視覚が不自由なユーザに対して安心感を与えることができる。

0073

要するに、本発明に係る情報処理装置において、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件を記憶しておき、前記ユーザが視認している場景を表す画像データを取得するステップと、該取得された画像データと前記条件とに基づいて支援情報を生成するステップと、該生成された支援情報を通知するステップが実行されればよい。上記各ステップを実行するプログラムは情報処理装置に予め記憶されていてもよいし、ネットワークを介してダウンロードされてもよい。

0074

100、100−1、100−2、100−3・・・視覚支援装置、20・・・フレーム、21・・・投影装置、22・・・カメラ、23・・・投影面、24・・・マイク、25・・・スピーカ、26・・・スイッチ、140・・・通知部、150・・・反応取得部、160・・・音声入力部、120・・・生成部、170・・・モード切替部、130・・・記憶部、110・・・撮像部、180・・・計時部、190・・・位置特定部、201・・・プロセッサ、202・・・メモリ、204・・・マイク、205・・・操作スイッチ、206・・・センサ、207・・・計時装置、208・・・投影装置、210・・・
振動モータ、211・・・通信部、212・・・位置取得部、141・・・音声出力部、142・・・表示部、143・・・振動発生部、300・・・サーバ、310・・・記憶部、320・・・通信部、330・・・制御部、T1・・・条件テーブル、T2・・・補正テーブル、T3・・・ユーザ固有情報、OB・・・対象物、T4・・・共有情報テーブル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ