図面 (/)

技術 認識画像表示装置、認識画像表示方法、及びプログラム

出願人 株式会社JVCケンウッド
発明者 岡田義信根岸勝松本基元
出願日 2018年2月28日 (2年2ヶ月経過) 出願番号 2018-034090
公開日 2019年9月5日 (7ヶ月経過) 公開番号 2019-148521
状態 未査定
技術分野 文字入力 交通制御システム 航行(Navigation)
主要キーワード 看板画像 マスクROM D表示 認識画像 距離順 魚眼カメラ レジャー施設 有線通信路
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

ユーザが見逃した看板についても、その看板に関連する処理を行うこと。

解決手段

認識画像表示装置は、車両周辺撮像する撮像部から画像データを取得する画像データ取得部と、画像データから看板を画像認識したデータを看板画像データとして取得する看板画像データ取得部と、看板画像データから文字情報文字認識する文字認識部と、文字情報から所定の形式形式データを抽出する形式データ抽出部と、看板画像データと形式データとを含み、看板画像データと形式データとを関連付けた看板データを生成する看板データ生成部と、表示部と、看板画像データを表示部に表示する表示制御部と、ユーザが選択入力を行うユーザ入力部と、ユーザが表示部に表示された看板画像データを選択した場合、その看板画像データと関連付けされた形式データの形式に基づいた処理を行う処理部と、を備える。

概要

背景

近年、車両において、車両周辺撮像した画像データから看板画像認識し、その看板に関連する処理を行う技術が提案されている。
例えば、特許文献1には、ユーザが撮影した看板に関連する処理として、その看板に記載された施設目的地として設定する処理を行う技術が開示されている。

より具体的には、特許文献1に記載の技術によれば、ユーザが携帯端末により看板を撮影すると、その撮影画像から予め定められた識別子及びその識別子により指し示される記載事項を抽出し、抽出した記載事項に基づき、看板に記載された施設の位置を特定する。そして、施設の位置をナビゲーション装置に送信して目的地として設定する。

概要

ユーザが見逃した看板についても、その看板に関連する処理を行うこと。認識画像表示装置は、車両周辺を撮像する撮像部から画像データを取得する画像データ取得部と、画像データから看板を画像認識したデータを看板画像データとして取得する看板画像データ取得部と、看板画像データから文字情報文字認識する文字認識部と、文字情報から所定の形式形式データを抽出する形式データ抽出部と、看板画像データと形式データとを含み、看板画像データと形式データとを関連付けた看板データを生成する看板データ生成部と、表示部と、看板画像データを表示部に表示する表示制御部と、ユーザが選択入力を行うユーザ入力部と、ユーザが表示部に表示された看板画像データを選択した場合、その看板画像データと関連付けされた形式データの形式に基づいた処理を行う処理部と、を備える。

目的

本発明は、上述したような問題を解決するためになされたものであり、ユーザが見逃した看板についても、その看板に関連する処理を行うことができる、認識画像表示装置、認識画像表示方法、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両周辺撮像する撮像部から画像データを取得する画像データ取得部と、前記画像データから看板画像認識したデータを看板画像データとして取得する看板画像データ取得部と、前記看板画像データから文字情報文字認識する文字認識部と、前記文字情報から所定の形式形式データを抽出する形式データ抽出部と、前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成する看板データ生成部と、表示部と、前記看板画像データを前記表示部に表示する表示制御部と、ユーザが選択入力を行うユーザ入力部と、ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う処理部と、を備える、認識画像表示装置

請求項2

車両の現在位置の位置情報を取得する位置情報取得部をさらに備え、前記看板データ生成部は、前記看板画像データ取得部が前記看板画像データを取得した際に前記位置情報取得部が取得した位置情報を含め、前記位置情報と前記看板画像データと前記形式データとを関連付けた前記看板データを生成し、前記表示制御部は、地図を前記表示部に表示し、前記看板データに含まれる前記位置情報に相当する前記地図上の位置に、前記看板画像データに関連付けられたシンボル及び該看板画像データを表示する、請求項1に記載の認識画像表示装置。

請求項3

前記形式データは、住所電話番号、URL(Uniform Resource Locator)、メールアドレス、SNS(Social Networking Service)アドレスのいずれかを少なくとも含み、前記処理部は、前記形式データが住所である場合、ナビゲーション部に対し、該住所を目的地として設定するよう指示し、前記形式データが電話番号である場合、通話部に対し、該電話番号を通話先として設定するよう指示し、前記形式データがURL、メールアドレス、又はSNSアドレスである場合、通信部に対し、該URLをWebアクセス先に設定するか、該メールアドレスをメール送信先として設定するか、又は、該SNSアドレスをSNSアクセス先として設定するよう指示する、請求項1又は2に記載の認識画像表示装置。

請求項4

前記看板データを記憶部のデータベース登録し、また前記データベースの更新及び検索を行う記憶制御部をさらに備え、前記表示制御部は、前記看板データが前記データベースに登録されていない又は変更部分があると前記記憶制御部が判断した場合に、前記看板画像データを前記表示部に表示し、前記看板データが前記データベースに登録されておりかつ変更部分が無いと前記記憶制御部が判断した場合、前記看板画像データを前記表示部に表示しない、請求項1から3のいずれか1項に記載の認識画像表示装置。

請求項5

前記看板データを記憶部のデータベースに登録し、また前記データベースの更新及び検索を行う記憶制御部をさらに備え、前記記憶制御部は、前記位置情報取得部から車両の現在位置の位置情報を取得すると共に、該位置情報を取得した日時情報時計部から取得し、取得した位置情報及び日時情報を走行履歴として前記記憶部に記憶させ、前記看板データに含まれる位置情報に相当する位置から所定の距離範囲内又は該位置と同じエリア内を所定の期間内に走行した走行履歴が前記記憶部に記憶されていない場合、前記データベースから前記看板データを削除する、請求項2に記載の認識画像表示装置。

請求項6

認識画像表示装置による認識画像表示方法であって、車両周辺を撮像する撮像部から画像データを取得し、前記画像データから看板を画像認識したデータを看板画像データとして取得し、前記看板画像データから文字情報を文字認識し、前記文字情報から所定の形式の形式データを抽出し、前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成し、前記看板画像データを表示部に表示し、ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う、認識画像表示方法。

請求項7

コンピュータに、車両周辺を撮像する撮像部から画像データを取得する手順と、前記画像データから看板を画像認識したデータを看板画像データとして取得する手順と、前記看板画像データから文字情報を文字認識する手順と、前記文字情報から所定の形式の形式データを抽出する手順と、前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成する手順と、前記看板画像データを表示部に表示する手順と、ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う手順と、を実行させるためのプログラム

技術分野

0001

本発明は、認識画像表示装置、認識画像表示方法、及びプログラムに関する。

背景技術

0002

近年、車両において、車両周辺撮像した画像データから看板画像認識し、その看板に関連する処理を行う技術が提案されている。
例えば、特許文献1には、ユーザが撮影した看板に関連する処理として、その看板に記載された施設目的地として設定する処理を行う技術が開示されている。

0003

より具体的には、特許文献1に記載の技術によれば、ユーザが携帯端末により看板を撮影すると、その撮影画像から予め定められた識別子及びその識別子により指し示される記載事項を抽出し、抽出した記載事項に基づき、看板に記載された施設の位置を特定する。そして、施設の位置をナビゲーション装置に送信して目的地として設定する。

先行技術

0004

特開2005−100277号公報

発明が解決しようとする課題

0005

上述のように、特許文献1に記載の技術は、ユーザが携帯端末により看板を撮影する必要がある。
しかし、ユーザは、車両の走行中、看板を見逃すことがあり、見逃した看板については、そもそも撮影することができない。
そのため、特許文献1に記載の技術は、ユーザが見逃した看板については、その看板に関連する処理を行うことができないという問題があった。

0006

本発明は、上述したような問題を解決するためになされたものであり、ユーザが見逃した看板についても、その看板に関連する処理を行うことができる、認識画像表示装置、認識画像表示方法、及びプログラムを提供することを目的とする。

課題を解決するための手段

0007

本発明に係る認識画像表示装置は、
車両周辺を撮像する撮像部から画像データを取得する画像データ取得部と、
前記画像データから看板を画像認識したデータを看板画像データとして取得する看板画像データ取得部と、
前記看板画像データから文字情報文字認識する文字認識部と、
記文字情報から所定の形式形式データを抽出する形式データ抽出部と、
前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成する看板データ生成部と、
表示部と、
前記看板画像データを前記表示部に表示する表示制御部と、
ユーザが選択入力を行うユーザ入力部と、
ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う処理部と、
を備える。

0008

本発明に係る認識画像表示方法は、
認識画像表示装置による認識画像表示方法であって、
車両周辺を撮像する撮像部から画像データを取得し、
前記画像データから看板を画像認識したデータを看板画像データとして取得し、
前記看板画像データから文字情報を文字認識し、
前記文字情報から所定の形式の形式データを抽出し、
前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成し、
前記看板画像データを表示部に表示し、
ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う。

0009

本発明に係るプログラムは、
コンピュータに、
車両周辺を撮像する撮像部から画像データを取得する手順と、
前記画像データから看板を画像認識したデータを看板画像データとして取得する手順と、
前記看板画像データから文字情報を文字認識する手順と、
前記文字情報から所定の形式の形式データを抽出する手順と、
前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成する手順と、
前記看板画像データを表示部に表示する手順と、
ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う手順と、
を実行させるためのプログラムである。

発明の効果

0010

本発明によれば、ユーザが見逃した看板についても、その看板に関連する処理を行うことができる処理を行うことができるという効果が得られる。

図面の簡単な説明

0011

実施の形態1に係る認識画像表示装置の構成例を示すブロック図である。
実施の形態1に係る認識画像表示装置において、看板データを登録するまでの動作の動作フロー例を示すフロー図である。
実施の形態1に係る認識画像表示装置において、看板画像データを表示する動作とそれ以降の動作の動作フロー例を示すフロー図である。
看板が設置されている道路の例を示す図である。
実施の形態1に係る認識画像表示装置において、データベースに登録された看板データの例を示す図である。
実施の形態1に係る認識画像表示装置において、看板画像データを表示する場合の画面の例を示す図である。
実施の形態1に係る認識画像表示装置において、看板画像データを表示する場合の画面の例を示す図である。
図6又は図7に示したボタンB4がタッチされた場合に遷移する画面の例を示す図である。
図6に示したボタンB2、図7に示したボタンB3、図14又は図15に示したボタンB12,B13がタッチされた場合に遷移する画面の例を示す図である。
実施の形態2に係る認識画像表示装置の構成例を示すブロック図である。
実施の形態2に係る認識画像表示装置において、看板データを登録するまでの動作の動作フロー例を示すフロー図である。
実施の形態2に係る認識画像表示装置において、看板画像データを表示する動作とそれ以降の動作の動作フロー例を示すフロー図である。
実施の形態2に係る認識画像表示装置において、データベースに登録された看板データの例を示す図である。
実施の形態2に係る認識画像表示装置において、シンボル又は看板画像付シンボルを表示する場合の画面の例を示す図である。
実施の形態2に係る認識画像表示装置において、シンボル又は看板画像付シンボルを表示する場合の画面の例を示す図である。

実施例

0012

以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する各図面において、同一又は対応する要素には同一の符号が付されており、必要に応じて重複説明は省略される。

0013

(1)実施の形態1
<実施の形態1の構成>
図1は、本実施の形態1に係る認識画像表示装置10の構成例を示すブロック図である。本実施の形態1に係る認識画像表示装置10は、車両に搭載されて使用される。
図1に示されるように、本実施の形態1に係る認識画像表示装置10は、撮像部101、画像データ取得部102、看板画像データ取得部103、文字認識部104、形式データ抽出部105、看板データ生成部106、記憶制御部107、記憶部108、表示制御部110、表示部111、ユーザ入力部112、処理部113、ナビゲーション部114、通話部115、及び、通信部116を備えている。

0014

撮像部101は、車両周辺を撮像するもので、例えば、車載カメラである。撮像部101は、車両周辺をより広角に撮像可能であることが好適であり、例えば、魚眼カメラ等で実現することができる。撮像部101の設置場所は、例えば、フロントガラスバックミラー付近にすることが考えられるが、車両周辺を撮像することができる場所であれば良く、特に限定は無い。

0015

画像データ取得部102は、撮像部101が撮像した車両周辺の画像データを取得する。
看板画像データ取得部103は、画像データ取得部102が取得した画像データから看板を画像認識し、画像認識したデータを看板画像データとして取得する。看板の画像認識は、パターンマッチング等の公知の画像認識技術を用いて行えば良い。

0016

文字認識部104は、看板画像データ取得部103が取得した看板画像データから文字情報を文字認識する。文字認識は、OCR(Optical Character Recognition)等の公知の文字認識技術を用いて行えば良い。

0017

形式データ抽出部105は、文字認識部104が文字認識した文字情報から所定の形式の形式データを抽出する。形式データは、例えば、看板に記載された施設の施設名、住所営業時間、定休日電話番号、URL(Uniform Resource Locator)、メールアドレス、SNS(Social Networking Service)アドレス等である。なお、住所は、住所に準じた情報で代用しても良い。例えば、道路沿いに設置された看板に「この先○km」という情報が記載されていれば、この情報で施設の所在地が分かるため、この情報を住所の代用として用いても良い。形式データの抽出においては、特定の文字列で始まること、特定の文字列を含むこと、地図データベースに登録された地名を含むことなど、公知の技術を用いて所定の形式のデータであると認識すればよい。特定の文字列で始まるデータとは、たとえば、http:で始まるデータ、数字の0から始まるデータである。特定の文字列を含むデータとは、たとえば、@を含むデータである。文字の大きさや、○○食堂などの特定の単語を認識して施設名であると判定してもよい。営業時間や定休日などの特定の単語の後に続く文字列を認識してもよい。

0018

看板データ生成部106は、看板画像データ取得部103が取得した看板画像データと、形式データ抽出部105が抽出した形式データと、を含み、看板画像データと形式データとを関連付けた看板データを生成する。

0019

記憶制御部107は、看板データ生成部106が生成した看板データを、記憶部108に記憶されたデータベース109に登録する。記憶制御部107は、データベース109に登録された看板データの検索及び更新も行う。

0020

なお、記憶制御部107は、看板データに不足している形式データがある場合、不足分の形式データを取得し、取得した形式データを看板データに追加してデータベース109に登録しても良い。また、記憶制御部107は、看板に記載された施設のジャンルを取得し、取得したジャンルを看板データに追加してデータベース109に登録しても良い。ジャンルは、例えば、店舗病院レジャー施設公園等である。例えば、記憶制御部107は、通信部116を介して、施設のWebサイトWebアクセスし、不足分の形式データやジャンルを取得することが考えられる。

0021

表示制御部110は、データベース109に登録された看板データに含まれる看板画像データを表示部111に表示する。なお、看板画像データは、正面から看板を撮像したものでない場合は、歪みがあると考えられる。そのため、表示制御部110は、歪みがある看板画像データについては、その歪みを補正した上で表示することが好適である。

0022

本実施の形態1においては、表示制御部110は、看板画像データを、所定の大きさに拡大又は縮小したサムネイル画像として、表示部111に表示する。所定の大きさは、複数の看板画像データを表示部111に表示できるような大きさとすることが好適であり、例えば、6つの看板画像データを表示部111に表示する場合には、表示部111の画面サイズの1/6弱の大きさとすれば良い。

0023

ユーザ入力部112は、ユーザが選択入力を行う部分である。ユーザは、ユーザ入力部112において、例えば、表示部111に表示された看板画像データを選択する。

0024

なお、表示部111及びユーザ入力部112は、タッチパネル内蔵のモニタとして一体化しても良い。その場合、ユーザは、モニタに表示された看板画像データをタッチすることで、その看板画像データを選択することができる。以下では、表示部111及びユーザ入力部112を、タッチパネル内蔵のモニタとして一体化し、モニタ部分が表示部111で、タッチパネル部分がユーザ入力部112であることを前提に説明を行う。

0025

処理部113は、ユーザが、ユーザ入力部112において、表示部111に表示された看板画像データを選択した場合、ユーザが選択した看板画像データと関連付けされた形式データの形式に基づいた処理を行う。
例えば、処理部113は、形式データが住所である場合、ナビゲーション部114に対し、その住所を目的地として設定するよう指示する。また、処理部113は、形式データが電話番号である場合、通話部115に対し、その電話番号を通話先として設定するよう指示する。また、処理部113は、形式データがURL、メールアドレス、又はSNSアドレスである場合、通信部116に対し、そのURLをWebアクセス先に設定するか、そのメールアドレスをメール送信先として設定するか、又は、そのSNSアドレスをSNSアクセス先として設定するよう指示する。

0026

<実施の形態1の動作>
以下、本実施の形態1に係る認識画像表示装置10の動作について説明する。
<実施の形態1の動作フロー>
最初に、本実施の形態1に係る認識画像表示装置10において、看板データを登録するまでの動作の動作フローについて説明する。図2は、本実施の形態1に係る認識画像表示装置10において、看板データを登録するまでの動作の動作フロー例を示すフロー図である。

0027

図2に示されるように、撮像部101は、車両周辺を撮像し(ステップS101)、画像データ取得部102は、撮像部101が撮像した車両周辺の画像データを取得する(ステップS102)。なお、撮像部101及び画像データ取得部102は、ステップS101,S102の処理を繰り返し行うものとする。

0028

続いて、看板画像データ取得部103は、画像データ取得部102が取得した画像データから看板を画像認識し、画像認識したデータを看板画像データとして取得することを試行する(ステップS103)。看板を画像認識できず、看板画像データを取得できない場合は(ステップS103のNo)、ステップS103に戻る。なお、ステップS103に戻った場合は、画像データ取得部102が次に取得した画像データについて、ステップS103以降の処理を行う(以下、同じ)。

0029

ステップS103において、看板画像データを取得できた場合は(ステップS103のYes)、続いて、文字認識部104は、看板画像データ取得部103が取得した看板画像データから文字情報を文字認識することを試行する(ステップS104)。文字情報を文字認識できない場合は(ステップS104のNo)、ステップS103に戻る。

0030

ステップS104において、文字情報を文字認識できた場合は(ステップS104のYes)、続いて、形式データ抽出部105は、文字認識部104が文字認識した文字情報から所定の形式の形式データを抽出することを試行する(ステップS105)。ステップS105では、住所、電話番号、URL、メールアドレス、SNSアドレスの5つの形式のいずれかを含む形式データを抽出することを試行するものとする。上記の5つの形式のいずれかを含む形式データを抽出できない場合は(ステップS105のNo)、ステップS103に戻る。

0031

ステップS105において、上記の5つの形式のいずれかを含む形式データを抽出できた場合は(ステップS105のYes)、続いて、看板データ生成部106は、看板画像データ取得部103が取得した看板画像データと、形式データ抽出部105が抽出した形式データと、を含み、看板画像データと形式データとを関連付けた看板データを生成する(ステップS106)。

0032

その後、記憶制御部107は、看板データ生成部106が生成した看板データを、記憶部108に記憶されたデータベース109に登録する(ステップS107)。その後、ステップS103に戻る。

0033

次に、本実施の形態1に係る認識画像表示装置10において、看板画像データを表示する動作とそれ以降の動作の動作フローについて説明する。図3は、本実施の形態1に係る認識画像表示装置10において、看板画像データを表示する動作とそれ以降の動作の動作フロー例を示すフロー図である。

0034

図3に示されるように、表示制御部110は、データベース109に登録された看板データに含まれる看板画像データを、所定の大きさに拡大又は縮小したサムネイル画像として、表示部111に表示する(ステップS201)。

0035

続いて、処理部113は、ユーザが、ユーザ入力部112において、表示部111に表示された看板画像データを選択したか否かを判断する(ステップS202)。看板画像データが選択されていない場合は(ステップS202のNo)、ステップS202に戻り、看板画像データが選択されるまで待機する。

0036

ステップS202において、看板画像データが選択された場合は(ステップS202のYes)、処理部113は、ユーザが選択した看板画像データと関連付けされた形式データの形式に基づいた処理を行う(ステップS203)。

0037

<実施の形態1の動作の具体例>
次に、本実施の形態1に係る認識画像表示装置10の動作の具体例について説明する。以下では、本実施の形態1に係る認識画像表示装置10が搭載された車両が走行する道路には、図4に示されるような4つの看板が設置されているものとする。

0038

図4の場合、撮像部101は、4つの看板を撮像し、看板画像データ取得部103は、撮像部101が撮像した4つの看板の看板画像データを取得する。4つの看板の看板画像データの各々は、文字情報として、所定の形式の形式データが含まれている。そのため、形式データ抽出部105は、看板画像データ取得部103が取得した4つの看板の看板画像データの各々から形式データを抽出する。

0039

例えば、形式データ抽出部105は、「温泉C」の看板については、電話番号及びURLを形式データとして抽出し、「スーパーX」の看板については、電話番号及び住所を形式データとして抽出し、「K歯科」の看板については、電話番号を形式データとして抽出する。また、形式データ抽出部105は、「A公園」の看板については、「この先1.5km」という住所に準じた情報を形式データとして抽出する。

0040

続いて、看板データ生成部106は、看板画像データ取得部103が取得した4つの看板の看板画像データの各々について、その看板画像データと、形式データ抽出部105が抽出した形式データとを含み、看板画像データと形式データとを関連付けた看板データを生成する。

0041

続いて、記憶制御部107は、看板データ生成部106が生成した4つの看板の看板データを、記憶部108のデータベース109に登録する。ここでは、記憶制御部107は、4つの看板の看板データの各々について、不足分の形式データ及び看板に記載された施設のジャンルを取得し、取得した不足分の形式データ及びジャンルを看板データに追加してデータベース109に登録するものとする。

0042

図5は、データベース109に登録された、「温泉C」の看板の看板データの例を示す図である。図5の例では、記憶制御部107は、ジャンル、住所、営業時間、メールアドレス、SNSアドレスを看板データに追加している。

0043

続いて、表示制御部110は、データベース109に登録された4つの看板の看板データに含まれる看板画像データを、所定の大きさに拡大又は縮小したサムネイル画像として、表示部111に表示する。

0044

図6及び図7は、看板画像データを表示する場合の画面の例を示す図である。
図6の例では、表示制御部110は、4つの看板画像データの各々を、看板画像B1として、施設名兼ボタンB2と共に一覧表示している。なお、看板画像データが5つ以上ある場合には、画面を上下移動させるスクロールバーを配置する等により、現在の画面に表示されていない看板画像データを表示可能な構成としても良い。

0045

図7の例では、表示制御部110は、4つの看板画像データの各々を、看板画像兼ボタンB3として、タイル状に表示している。なお、図7における看板画像兼ボタンB3の配置は、6つの看板画像兼ボタンB3を2行×3列のタイル状に表示可能な配置となっている。なお、看板画像データが7つ以上ある場合には、画面を左右移動させるスクロールバーを配置する等により、現在の画面に表示されていない看板画像データを表示可能な構成としても良い。

0046

また、図6及び図7の例では、表示制御部110は、看板画像データの表示順を選択するための表示順選択ボタンB4を表示している。図6及び図7の状態は、表示順として「画像取得順」が選択されており、看板画像データを取得した順に、看板画像データを表示している状態である。

0047

図8は、図6又は図7に示した表示順選択ボタンB4がタッチされた場合に遷移する画面の例を示す図である。
表示制御部110は、図6又は図7に示した表示順選択ボタンB4がユーザにタッチされると、表示部111に表示する画面を、図6又は図7に示した画面から図8に示した画面に遷移させる。

0048

図8の例では、表示制御部110は、看板画像データの表示順の選択肢を一覧表示すると共に、選択肢のいずれかを選択するための選択ボタンB5を表示している。図8の例では、4つの選択肢「画像取得順」、「施設までの距離順」、「ジャンル」、「情報更新順」が用意されている。

0049

「画像取得順」は、看板画像データを取得した順に看板画像データを表示するもので、例えば、最後に取得された看板画像データを最上位に表示する。
「施設までの距離順」は、施設までの距離順に看板画像データを表示するもので、例えば、距離が最短の施設の看板画像データを最上位に表示する。
「ジャンル」は、ジャンル別順に看板画像データを表示するものである。どのジャンルを上位に表示するかは、予め定められても良いし、ユーザが設定しても良い。
「情報更新順」は、看板が更新された順に看板画像データを表示するもので、例えば、最後に更新された看板画像データを最上位に表示する。なお、新規に設置された看板は、最上位に表示すれば良い。

0050

表示制御部110は、いずれかの選択肢の選択ボタンB5がユーザにタッチされると、表示部111に表示する画面を図6又は図7に示した画面に戻し、タッチされた選択肢の表示順に、看板画像データを表示する。

0051

図6及び図7に戻ると、図6の例では、施設名兼ボタンB2がボタンを兼ね、図7の例では、看板画像兼ボタンB3がボタンを兼ねている。
図9は、図6に示した「温泉C」の施設名兼ボタンB2又は図7に示した「温泉C」の看板画像兼ボタンB3がタッチされた場合に遷移する画面の例を示す図である。
表示制御部110は、図6に示した「温泉C」の施設名兼ボタンB2又は図7に示した「温泉C」の看板画像兼ボタンB3がユーザにタッチされると、表示部111に表示する画面を、図6又は図7に示した画面から図9に示した画面に遷移させる。

0052

図9の例では、表示制御部110は、「温泉C」のジャンル、施設名、施設までの距離、住所、営業時間、電話番号、URL、メールアドレス、及びSNSアドレスを表示すると共に、ボタンB6〜B11を表示している。

0053

ボタンB6は、前画面に戻るためのボタンである。表示制御部110は、ボタンB6がユーザにタッチされると、表示部111に表示する画面を図6又は図7に示した画面に戻す。
ボタンB7は、「温泉C」を目的地として設定するためのボタンである。処理部113は、ボタンB7がユーザにタッチされると、ナビゲーション部114に対し、「温泉C」の住所を目的地として設定するよう指示する。

0054

ボタンB8は、「温泉C」にハンズフリー電話で電話をかけるためのボタンである。処理部113は、ボタンB8がユーザにタッチされると、通話部115に対し、「温泉C」の電話番号を通話先として設定するよう指示する。
ボタンB9は、「温泉C」にWebアクセス(例えば、Webサイトのブラウザ表示)するためのボタンである。処理部113は、ボタンB9がユーザにタッチされると、通信部116に対し、「温泉C」のURLをWebアクセス先として設定するよう指示する。

0055

ボタンB10は、「温泉C」にメールするためのボタンである。処理部113は、ボタンB10がユーザにタッチされると、通信部116に対し、「温泉C」ののメールアドレスをメール送信先として設定するよう指示する。
ボタンB11は、「温泉C」へのSNSアクセスをするためのボタンである。処理部113は、ボタンB11がユーザにタッチされると、通信部116に対し、「温泉C」のSNSアドレスをSNSアクセス先として設定するよう指示する。

0056

なお、表示制御部110は、ボタンB7〜B11のいずれかがタッチされた場合、表示部111に表示する画面を、図9に示した画面から、各ボタンに応じた設定をしていることを示す画面(不図示)に遷移させても良い。

0057

<実施の形態1の効果>
本実施の形態1によれば、認識画像表示装置10は、車両周辺を撮像した画像データのうち看板を含む画像データを看板画像データとして取得し、看板画像データから形式データを抽出し、看板画像データと形式データとを関連付けた看板データを生成する。認識画像表示装置10は、看板画像データを表示部111に表示し、看板画像データがユーザに選択されると、ユーザに選択された看板画像データと関連付けされた形式データの形式に基づいた処理を行う。

0058

従って、ユーザは、車両が走行した道路沿いに設置された看板を後から確認することができ、その看板の看板画像データを選択すれば、その看板に関連する処理を行うことができる。そのため、ユーザは、車両走行中に見逃した看板や気になった看板についても、その看板に関連する処理を行うことができる。

0059

また、本実施の形態1によれば、認識画像表示装置10は、車両が走行した道路沿いに設置された全ての看板の看板画像データを取得し、その看板画像データのいずれかをユーザに選択させる。
従って、ユーザは、看板画像データとして表示する看板について、看板のジャンルや、看板が設置されているエリア等を事前に指定するといった操作が不要であるため、ユーザの利便性が向上する。

0060

(2)実施の形態2
<実施の形態2の構成>
図10は、本実施の形態2に係る認識画像表示装置10Aの構成例を示すブロック図である。本実施の形態2に係る認識画像表示装置10Aも、実施の形態1に係る認識画像表示装置10と同様に、車両に搭載されて使用される。
図10に示されるように、本実施の形態2に係る認識画像表示装置10Aは、実施の形態1に係る認識画像表示装置10と比較して、位置情報取得部117及び時計部118が追加されている。
以下、本実施の形態2に係る認識画像表示装置10Aを構成する要素のうち、実施の形態1とは動作が異なる要素について説明する。

0061

位置情報取得部117は、車両の現在位置の位置情報を取得する。位置情報の取得は、GPS(Global Positioning System)等の公知の技術を用いて行えば良い。
位置情報は、後述のように、表示部111に表示する地図上に看板の位置を示すシンボルを表示するために使用される。
時計部118は、現在の日時の日時情報を取得するために使用される。日時情報は、後述のように、データベース109に登録された看板データの保存期間を判断するために使用される。

0062

看板データ生成部106は、看板画像データ取得部103が看板画像データを取得した際の位置情報を位置情報取得部117から取得すると共に、その位置情報を位置情報取得部117が取得した日時の日時情報を時計部118から取得する。そして、看板データ生成部106は、位置情報取得部117及び時計部118から取得した位置情報及び日時情報をさらに含み、看板画像データと形式データと位置情報と日時情報とを関連付けた看板データを生成する。

0063

本実施の形態2においては、表示制御部110は、地図を表示部111に表示し、データベース109に登録された看板データに含まれる位置情報に相当する地図上の位置に、看板データに含まれる看板画像データに関連付けられたシンボル、又は、看板画像データに関連付けられシンボル及び看板画像データを含む看板画像付シンボルを表示する。シンボルは、例えば、ピンアイコンであり、看板画像付シンボルは、例えば、その内部に看板画像データを含む吹き出しである。

0064

処理部113は、ユーザが、ユーザ入力部112において、表示部111に表示されたシンボル又は看板画像付シンボルを選択した場合、ユーザが選択したシンボル又は看板画像付シンボルと関連付けされた形式データの形式に基づいた処理を行う。

0065

<実施の形態2の動作>
以下、本実施の形態2に係る認識画像表示装置10Aの動作について説明する。
<実施の形態2の動作フロー>
最初に、本実施の形態2に係る認識画像表示装置10Aにおいて、看板データを登録するまでの動作の動作フローについて説明する。図11は、本実施の形態2に係る認識画像表示装置10Aにおいて、看板データを登録するまでの動作の動作フロー例を示すフロー図である。

0066

図11に示されるように、まず、図2に示される実施の形態1のステップS101〜S105と同様のステップS301〜S305が行われる。ステップS305では、ステップS105と同様に、住所、電話番号、URL、メールアドレス、SNSアドレスの5つの形式のいずれかを含む形式データを抽出することを試行するものとする。

0067

ステップS305において、上記の5つの形式のいずれかを含む形式データを抽出できた場合は(ステップS305のYes)、続いて、看板データ生成部106は、看板画像データ取得部103が看板画像データを取得した際の位置情報を位置情報取得部117から取得すると共に、その位置情報を位置情報取得部117が取得した日時の日時情報を時計部118から取得する(ステップS306)。

0068

続いて、看板データ生成部106は、看板画像データ取得部103が取得した看板画像データと、形式データ抽出部105が抽出した形式データと、位置情報取得部117及び時計部118から取得した位置情報及び日時情報と、を含み、看板画像データと形式データと位置情報と日時情報とを関連付けた看板データを生成する(ステップS307)。

0069

その後、記憶制御部107は、図2に示される実施の形態1のステップS107と同様に、看板データ生成部106が生成した看板データを、記憶部108に記憶されたデータベース109に登録する(ステップS308)。その後、ステップS303に戻る。

0070

次に、本実施の形態2に係る認識画像表示装置10Aにおいて、看板画像データを表示する動作とそれ以降の動作の動作フローについて説明する。図12は、本実施の形態2に係る認識画像表示装置10Aにおいて、看板画像データを表示する動作とそれ以降の動作の動作フロー例を示すフロー図である。

0071

図12に示されるように、表示制御部110は、地図を表示部111に表示し、データベース109に登録された看板データに含まれる位置情報に相当する地図上の位置に、看板データに含まれる看板画像データに関連付けられたシンボル又は看板画像付シンボルを表示する(ステップS401)。

0072

続いて、処理部113は、ユーザが、ユーザ入力部112において、表示部111に表示されたシンボル又は看板画像付シンボルを選択したか否かを判断する(ステップS402)。シンボル又は看板画像付シンボルが選択されていない場合は(ステップS402のNo)、ステップS402に戻り、シンボル又は看板画像付シンボルが選択されるまで待機する。

0073

ステップS402において、シンボル又は看板画像付シンボルが選択された場合は(ステップS402のYes)、処理部113は、ユーザが選択したシンボル又は看板画像付シンボルと関連付けされた形式データの形式に基づいた処理を行う(ステップS403)。

0074

<実施の形態2の動作の具体例>
次に、本実施の形態2に係る認識画像表示装置10Aの動作の具体例について説明する。以下では、本実施の形態2に係る認識画像表示装置10Aが搭載された車両が走行する道路には、実施の形態1と同様に、図4に示されるような4つの看板が設置されているものとする。

0075

図4の場合、実施の形態1で説明したように、看板画像データ取得部103は、4つの看板の看板画像データを取得でき、形式データ抽出部105は、看板画像データ取得部103が取得した4つの看板の看板画像データの各々から形式データを抽出できる。

0076

そのため、看板データ生成部106は、看板画像データ取得部103が取得した4つの看板の看板画像データの各々について、その看板画像データを取得した際の位置情報を位置情報取得部117から取得すると共に、その位置情報を位置情報取得部117が取得した日時の日時情報を時計部118から取得する。

0077

続いて、看板データ生成部106は、看板画像データ取得部103が取得した4つの看板の看板画像データの各々について、その看板画像データと、形式データ抽出部105が抽出した形式データと、上記で取得した位置情報及び日時情報と、を含み、看板画像データと形式データと位置情報と日時情報とを関連付けた看板データを生成する。

0078

続いて、記憶制御部107は、看板データ生成部106が生成した4つの看板の看板データを、記憶部108のデータベース109に登録する。ここでは、記憶制御部107は、4つの看板の看板データの各々について、不足分の形式データ及びジャンルを看板データに追加してデータベース109に登録するものとする。

0079

図13は、データベース109に登録された、「温泉C」の看板の看板データの例を示す図である。図13の例では、図5と比較して、看板データに位置情報及び日時情報が追加されている。
なお、記憶制御部107は、看板データに含まれる日時情報が示す日時から一定の期間が経過した場合、その看板データの保存期間が終了したと判断し、その看板データを削除しても良い。

0080

続いて、表示制御部110は、地図を表示部111に表示し、データベース109に登録された看板データに含まれる位置情報に相当する地図上の位置に、看板データに含まれる看板画像データに関連付けられたシンボル又は看板画像付シンボルを表示する。

0081

図14及び図15は、シンボル又は看板画像付シンボルを表示する場合の画面の例を示す図である。なお、図14及び図15は、シンボルをピンアイコンとして表示し、看板画像付シンボルを、その内部に看板画像データを含む吹き出し(以下、看板画像付吹き出しと称す)として表示する例である。

0082

図14の例では、表示制御部110は、地図を3D表示している。また、表示制御部110は、4つの看板画像データのうちの2つの看板画像データの各々を、その看板画像データを取得した地図上の位置に、看板画像付吹き出し兼ボタンB12として、表示している。また、表示制御部110は、残りの2つの看板画像データの各々を、その看板画像データを取得した地図上の位置に、ピンアイコン兼ボタンB13として、表示している。ピンアイコン兼ボタンB13は、看板画像データに関連付けされている。

0083

図15の例では、表示制御部110は、地図を2D表示している。また、表示制御部110は、4つの看板画像データのうちの2つの看板画像データの各々を、その看板画像データを取得した地図上の位置に、看板画像付吹き出し兼ボタンB12として、表示している。また、表示制御部110は、残りの2つの看板画像データの各々を、その看板画像データを取得した地図上の位置に、ピンアイコン兼ボタンB13として、表示している。ピンアイコン兼ボタンB13は、看板画像データに関連付けされている。

0084

図14及び図15の例では、看板画像付吹き出し兼ボタンB12及びピンアイコン兼ボタンB13がボタンを兼ねている。

0085

表示制御部110は、図14又は15に示した看板画像付吹き出し兼ボタンB12又はピンアイコン兼ボタンB13がユーザにタッチされると、実施の形態1で説明した図9に示した画面と同様の画面を表示する。

0086

例えば、表示制御部110は、図14又は図15に示した「温泉C」の看板画像付吹き出し兼ボタンB12がユーザにタッチされると、表示部111に表示する画面を、図14又は図15に示した画面から図9に示した画面に遷移させる。

0087

なお、図9に示した画面は、実施の形態1で説明済みであるため、ここでの説明は省略する。

0088

<実施の形態2の効果>
本実施の形態2によれば、認識画像表示装置10Aは、看板画像データを取得した際の位置情報を看板データに含め、地図を表示部111に表示し、位置情報に相当する地図上の位置に、看板画像データに関連付けられたシンボル又は看板画像付シンボルを表示する。
従って、ユーザは、看板がどこで取得されたかを視覚的に確認することができる。

0089

認識画像表示装置10Aは、上記以外の構成は実施の形態1に係る認識画像表示装置10と略同様であるため、その他の効果としては、実施の形態1と同様の効果が得られる。

0090

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記実施の形態1,2においては、看板データ生成部106が看板データを生成した場合、記憶制御部107は、その看板データをデータベース109に登録し、表示制御部110は、その看板データを表示部111に表示しているが、これには限定されない。例えば、次の構成にしても良い。

0091

すなわち、記憶制御部107は、看板データ生成部106が生成した看板データがデータベース109に登録されているか否かを判断し、その看板データがデータベース109に登録されていれば、さらに変更部分があるか否かを判断する。変更部分があるか否かの判断は、例えば、看板データの所定の項目を決めておき、その項目のいずれかが変更されていれば、変更部分があると判断することができる。所定の項目は、例えば、看板画像、施設名、住所、電話番号、URL、メールアドレス、SNSアドレス等である。
そして、記憶制御部107は、看板データ生成部106が生成した看板データがデータベース109に登録されていない又は変更部分があると判断した場合に、データベース109への看板データの登録又は更新を行う。

0092

また、表示制御部110は、看板データ生成部106が生成した看板データがデータベース109に登録されていない又は変更部分があると記憶制御部107が判断した場合に、その看板データに含まれる看板画像データを表示部111に表示し、その看板データがデータベース109に登録されておりかつ変更部分が無いと記憶制御部107が判断した場合、その看板データに含まれる看板画像データを表示部111に表示しない。

0093

これにより、データベース109に登録されていない又は変更部分がある看板データのみをデータベース109に登録又は更新し、そのような看板データに含まれる看板画像データのみを表示部111に表示することができる。
従って、例えば、日常的に走行する道路では、新規に設置された看板又は更新された看板のみについて、看板データをデータベース109に登録又は更新し、看板画像データを表示部111に表示することができる。

0094

なお、上記の説明では、記憶制御部107が、看板データに変更部分があるか否かを判断し、表示制御部110が、看板データに変更部分があると記憶制御部107が判断した場合、看板画像データを表示部111に表示しているが、これには限定されない。記憶制御部107が、看板データの所定の項目を含む何らかの項目に変更があると判断した場合、表示制御部110は、看板画像データを表示するか否かをユーザに問合せ、ユーザが表示すると指示した場合のみ、看板画像データを表示しても良い。

0095

また、上記実施の形態2において、記憶制御部107は、位置情報取得部117から車両の現在位置の位置情報を取得すると共に、その位置情報を取得した日時の日時情報を時計部118から取得し、取得した位置情報及び日時情報を走行履歴として記憶部108に記憶させても良い。そして、記憶制御部107は、看板データが位置情報を含む場合、その位置情報に相当する位置から所定の距離範囲内又はその位置と同じエリア内を所定の期間内に走行した走行履歴が記憶部108に記憶されているか否かを判断し、そのような走行履歴が記憶部108に記憶されていない場合、その看板データをデータベース109から削除しても良い。

0096

これにより、所定の期間内に走行していないエリア内の道路に設置された看板の看板データについては、データベース109から削除することができる。
従って、例えば、旅行先の道路に設置された看板の看板データについては、所定の期間の経過後に削除することができる。

0097

また、上記実施の形態1,2においては、表示制御部110は、全ジャンルの施設の看板画像データを、一律に表示部111に表示しているが、これには限定されない。表示制御部110は、ユーザが選択した看板画像データを基に、ユーザの好みのジャンルを学習し、ユーザの好みのジャンルの施設の看板画像データについては、表示部111に強調表示しても良い。

0098

また、上記実施の形態1,2においては、表示制御部110は、全ジャンルの施設の看板画像データを表示部111に表示しているが、これには限定されない。表示制御部110は、ユーザが指定したジャンルの施設の看板画像データのみを表示部111に表示しても良い。

0099

また、上記実施の形態1,2においては、記憶制御部107は、全ジャンルの施設の看板データをデータベース109に登録しているが、これには限定されない。記憶制御部107は、ユーザが指定したジャンルの施設の看板データのみをデータベース109に登録しても良い。

0100

また、上記実施の形態1,2においては、撮像部101は、全エリアで撮像を行い、看板データ生成部106は、全エリアの看板の看板データを生成しているが、これには限定されない。ユーザが指定したエリアでのみ、看板データを生成したり、看板データを生成しなかったりしても良い。この場合、看板データを生成しないエリアでは、看板データの生成に関わる全ての要素の動作を停止させても良いし、撮像部101が撮像を行わなければ、看板データをそもそも生成できないため、撮像部101のみ動作を停止させても良い。

0101

また、上記実施の形態1,2においては、認識画像表示装置の内部に、撮像部101、記憶部108、ナビゲーション部114、通話部115、通信部116、及び、時計部118を設けているが、これらの要素は、認識画像表示装置の外部に設けても良い。

0102

また、上記実施の形態2においては、看板データに日時情報を含めているが、これには限定されない。例えば、データベース109に登録されたデータを保存期間経過後に削除しない構成とする場合や、走行履歴を記憶部108に記憶させない構成とする場合には、看板データに日時情報を含めなくても良い。

0103

また、上記実施の形態において、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

0104

また、上記のプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク磁気テープハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Compact Disc-Read Only Memory)、CD−R(CD-Recordable)、CD−R/W(CD-ReWritable)、半導体メモリ(例えば、マスクROMPROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

0105

10,10A認識画像表示装置
101撮像部
102画像データ取得部
103看板画像データ取得部
104文字認識部
105形式データ抽出部
106看板データ生成部
107記憶制御部
108 記憶部
109データベース
110表示制御部
111 表示部
112ユーザ入力部
113 処理部
114ナビゲーション部
115 通話部
116通信部
117位置情報取得部
118時計部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社デンソーウェーブの「 文字認識装置」が 公開されました。( 2020/02/13)

    【課題】誤認識した文字の存在を容易に知得可能な構成を提供する。【解決手段】文字を規定間隔にて一方向に沿うように配列されてなる文字列(H1〜H3)が複数並んで配置される文字列群Wgは、他の文字列に含まれ... 詳細

  • 株式会社デンソーテンの「 画像処理装置及び画像処理方法」が 公開されました。( 2020/02/13)

    【課題】障害物が存在する場所を自車両が通過しようとするときに、事前に通過可能かをユーザが容易に把握できる画像処理技術を提供する。【解決手段】画像処理装置は、撮影画像取得部と、表示画像生成部と、を備える... 詳細

  • 株式会社自律制御システム研究所の「 無人航空機の飛行管理システム、及び飛行管理方法」が 公開されました。( 2020/02/13)

    【課題】無人航空機の飛行を能動的に管理するための飛行管理システム、及び飛行管理方法を提供すること。【解決手段】無人航空機の飛行前に、無人航空機の飛行計画情報を含む飛行リスク関連情報を用いて飛行事前リス... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ