図面 (/)

技術 プログラム、画像認識装置、画像認識方法

出願人 株式会社リコー
発明者 這禽宣吉川島教実小寺竜樹
出願日 2014年1月14日 (5年6ヶ月経過) 出願番号 2014-004250
公開日 2015年7月23日 (4年0ヶ月経過) 公開番号 2015-132994
状態 特許登録済
技術分野 検索装置 イメージ処理・作成
主要キーワード 気象変化 フィルタ管 撮像時期 マップ番号 外付けマイク 外付けスピーカ 情報科学技術 外付けカメラ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年7月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

フィルタリングを利用した際の認識精度を向上するプログラムを提供すること。

解決手段

コンピュータに、第2の画像データを取得する画像データ取得テップS10と、第2の画像データが撮像された撮像条件を含む生息環境生物検索対象として抽出する検索対象抽出ステップS20と、第2の画像データから生物の特徴量を取得し、検索対象抽出ステップにより抽出された検索対象の生物の特徴量との類似度閾値以上の生物の第1の画像データを決定する認識ステップS30と、検索対象抽出ステップにより検索対象の抽出に用いない1つ以上の生息環境がある状態で、類似度が閾値以上の第1の画像データが決定された場合、前記検索対象の抽出に用いられていないデータ記憶部の生息環境を撮像条件で更新する更新ステップS80と、を実行させることを特徴とするプログラムを提供する。

概要

背景

デジタルカメラカメラ付き機器が普及したため、ユーザが所望の被写体をを撮像する機会が増えている。被写体は様々であるが、ユーザとしては撮像した物が何かを知りたい場合が少なくない。例えば、撮像した植物や花、虫、動物などの名称を知ることができれば、より詳細な情報を検索することが可能になる。

このような要望応えるため、花の画像から花の名前返答するアプリケーションが存在する。このようなアプリケーションでは、花の画像をサーバに送信すると、サーバが候補の花の名称や画像をアプリケーションに送信する。

しかしながら、これらのアプリケーションによる花の認識精度は必ずしも良好でない。アプリケーションが花の画像から花の種類を認識するためには何らかの画像処理を行うことが考えられる。しかし、花の種類は約19,000種以上あることが知られており、それらの中には形状や色が酷似する花も多く、サーバが撮像された画像の花と同じ花を特定することが困難な場合は少なくない。

そこで、従来のアプリケーションでは、花の色・形状・大きさ・花びら枚数などをユーザー直接入力させ、それらの情報で花情報データベースフィルタリングすることで検索対象を低減し、認識精度の向上をはかっている。しかし、この方法ではユーザーが行う作業が発生するし、ユーザーが入力ミスを犯せば認識精度が低下してしまう。

また、認識精度を向上させるため、花画像の撮像時にアプリケーションがGPSなどで位置情報を自動で取得し、さらに月日時期情報を取得し、花情報データベースから撮像地域撮像時期で検索対象をフィルタリングをする技術が考案されている(例えば、特許文献1参照。)。

概要

フィルタリングを利用した際の認識精度を向上するプログラムを提供すること。コンピュータに、第2の画像データを取得する画像データ取得テップS10と、第2の画像データが撮像された撮像条件を含む生息環境生物を検索対象として抽出する検索対象抽出ステップS20と、第2の画像データから生物の特徴量を取得し、検索対象抽出ステップにより抽出された検索対象の生物の特徴量との類似度閾値以上の生物の第1の画像データを決定する認識ステップS30と、検索対象抽出ステップにより検索対象の抽出に用いない1つ以上の生息環境がある状態で、類似度が閾値以上の第1の画像データが決定された場合、前記検索対象の抽出に用いられていないデータ記憶部の生息環境を撮像条件で更新する更新ステップS80と、を実行させることを特徴とするプログラムを提供する。

目的

本発明は、上記課題に鑑み、フィルタリングを利用した際の認識精度を向上するプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータに、生物撮像されている第2の画像データを取得する画像データ取得テップと、第1の画像データと生物の生息環境登録されているデータ記憶部にアクセスするステップと、前記第2の画像データが撮像された撮像条件を含む前記生息環境の生物を検索対象として前記データ記憶部から抽出する検索対象抽出ステップと、前記第2の画像データから生物の特徴量を取得し、前記検索対象抽出ステップにより抽出された前記検索対象の生物の特徴量との類似度閾値以上の生物の前記第1の画像データを決定する認識ステップと、前記検索対象抽出ステップで前記検索対象の抽出に用いられてない1つ以上の前記生息環境がある状態で、前記認識ステップにより類似度が閾値以上の生物の前記第1の画像データが決定された場合、前記検索対象の抽出に用いられていない前記データ記憶部の前記生息環境を前記撮像条件で更新する更新ステップと、を実行させることを特徴とするプログラム

請求項2

前記検索対象抽出ステップで前記検索対象を抽出するために前記生息環境が使用されている状態で、前記認識ステップにより類似度が閾値以上の生物の前記第1の画像データが決定されない場合、前記検索対象抽出ステップでは検索時間への影響の少ない順に前記生息環境を前記検索対象の抽出に用いることを停止する、ことを特徴とする請求項1記載のプログラム。

請求項3

前記更新ステップでは、前記データ記憶部の前記検索対象の抽出に用いられていない前記生息環境を前記撮像条件で更新する際、前記第2の画像データが撮像された年月日を登録する、ことを特徴とする請求項1記載のプログラム。

請求項4

更新される前の前記生息環境と、更新後の前記生息環境とを、更新された時期と共に表示装置に表示する表示ステップ、をコンピュータにさらに実行させることを特徴とする請求項3記載のプログラム。

請求項5

前記生息環境は、生息地、生息する標高範囲、及び、生息する時期範囲の1つ以上であり、前記撮像条件は撮像場所、撮像した標高、及び、撮像した時期の1つ以上であり、前記検索対象抽出ステップで前記検索対象の抽出に生息地、生息する標高範囲、又は、生息する時期範囲の1つ以上が用いられていない状態で、前記認識ステップで類似度が閾値以上の前記第1の画像データが決定された場合、前記更新ステップでは、前記検索対象の抽出に用いられていない前記データ記憶部の生息地に前記撮像場所を追加し、前記検索対象の抽出に用いられていない前記データ記憶部の前記生息する標高範囲に前記撮像した標高範囲を追加し、又は、前記検索対象の抽出に用いられていない前記データ記憶部の前記生息する時期範囲に前記撮像した時期を追加する、ことを特徴とする請求項1〜4いずれか1項記載のプログラム。

請求項6

前記生物は、花、植物、虫、きのこ、又は、である、ことを特徴とする請求項1〜5いずれか1項記載のプログラム。

請求項7

生物が撮像されている第2の画像データを取得する画像データ取得手段と、生物の第1の画像データと生物の生息環境が登録されているデータ記憶部と、前記第2の画像データが撮像された撮像条件を含む前記生息環境の生物を検索対象として前記データ記憶部から抽出する検索対象抽出手段と、前記第2の画像データから生物の特徴量を取得し、前記検索対象抽出手段が抽出した前記検索対象の生物の特徴量との類似度が閾値以上の生物の前記第1の画像データを決定する認識手段と、前記検索対象抽出手段が前記検索対象の抽出に用いない1つ以上の前記生息環境がある状態で、前記認識手段が類似度が閾値以上の前記第1の画像データを決定した場合、前記検索対象の抽出に用いられていない前記データ記憶部の前記生息環境を前記撮像条件で更新する更新手段と、を有することを特徴とする生物認識装置

請求項8

画像データ取得手段が、生物が撮像されている第2の画像データを取得するステップと、認識手段が、生物の第1の画像データと生物の生息環境が登録されているデータ記憶部にアクセスするステップと、検索対象抽出手段が、前記第2の画像データが撮像された撮像条件を含む前記生息環境の生物を検索対象として抽出するステップと、認識手段が、前記第2の画像データから生物の特徴量を取得し、前記検索対象抽出手段が抽出した前記検索対象の生物の特徴量との類似度が閾値以上の生物の前記第1の画像データを決定するステップと、前記検索対象抽出手段が前記検索対象の抽出に用いない1つ以上の前記生息環境がある状態で、前記認識手段が類似度が閾値以上の前記第1の画像データを決定した場合、更新手段が、前記検索対象の抽出に用いられていない前記データ記憶部の前記生息環境を前記撮像条件で更新するステップと、を有することを特徴とする生物認識方法

請求項9

通信端末情報処理装置通信し生物を認識する生物認識方法であって、前記通信端末は、生物が撮像されている第2の画像データを前記情報処理装置に対し送信するステップと、前記情報処理装置から認識結果を受信するステップと、を有し、前記情報処理装置の認識手段が、生物の第1の画像データと生物の生息環境が登録されているデータ記憶部にアクセスするステップと、前記情報処理装置の検索対象抽出手段が、前記第2の画像データが撮像された撮像条件を含む前記生息環境の生物を検索対象として抽出するステップと、前記情報処理装置の認識手段が、前記第2の画像データから生物の特徴量を取得し、前記検索対象抽出手段が抽出した前記検索対象の生物の特徴量との類似度が閾値以上の生物の前記第1の画像データを決定するステップと、前記検索対象抽出手段が前記検索対象の抽出に用いない1つ以上の前記生息環境がある状態で、前記認識手段が類似度が閾値以上の前記第1の画像データを決定した場合、前記情報処理装置の更新手段が、前記検索対象の抽出に用いられていない前記データ記憶部の前記生息環境を前記撮像条件で更新するステップと、を有することを特徴とする生物認識方法。

技術分野

0001

本発明は、撮像された画像から生物を認識するプログラム等に関する。

背景技術

0002

デジタルカメラカメラ付き機器が普及したため、ユーザが所望の被写体をを撮像する機会が増えている。被写体は様々であるが、ユーザとしては撮像した物が何かを知りたい場合が少なくない。例えば、撮像した植物や花、虫、動物などの名称を知ることができれば、より詳細な情報を検索することが可能になる。

0003

このような要望応えるため、花の画像から花の名前返答するアプリケーションが存在する。このようなアプリケーションでは、花の画像をサーバに送信すると、サーバが候補の花の名称や画像をアプリケーションに送信する。

0004

しかしながら、これらのアプリケーションによる花の認識精度は必ずしも良好でない。アプリケーションが花の画像から花の種類を認識するためには何らかの画像処理を行うことが考えられる。しかし、花の種類は約19,000種以上あることが知られており、それらの中には形状や色が酷似する花も多く、サーバが撮像された画像の花と同じ花を特定することが困難な場合は少なくない。

0005

そこで、従来のアプリケーションでは、花の色・形状・大きさ・花びら枚数などをユーザー直接入力させ、それらの情報で花情報データベースフィルタリングすることで検索対象を低減し、認識精度の向上をはかっている。しかし、この方法ではユーザーが行う作業が発生するし、ユーザーが入力ミスを犯せば認識精度が低下してしまう。

0006

また、認識精度を向上させるため、花画像の撮像時にアプリケーションがGPSなどで位置情報を自動で取得し、さらに月日時期情報を取得し、花情報データベースから撮像地域撮像時期で検索対象をフィルタリングをする技術が考案されている(例えば、特許文献1参照。)。

発明が解決しようとする課題

0007

しかしながら、撮像地域・撮像時期で検索対象をフィルタリングをすることで、逆に、検索精度が低下する場合があるという問題がある。すなわち、近年では、温暖化などの気候変化により、植物などの生息地域や花の咲く季節に変化が生じている。また、本来その地域に生息していないはずの外来種が地域間を相互に移動して定着することが少なくなくなっている。

0008

したがって、本来、撮像地域や撮像時期には生息していなかった花が、撮像地域や撮像時期に生息している可能性がでてきた。このため、そのような花をユーザが撮像した場合、アプリケーションが撮像地域・撮像時期で花情報データベースを絞り込むことで、検索対象から漏れてしまい、正しい認識結果が得られない状況が生じてしまう。

0009

一方でフィルタリングを一切行わないことは認識精度の低下や、認識時間の増大をもたらすため、フィルタリングを利用することが好ましい。

0010

本発明は、上記課題に鑑み、フィルタリングを利用した際の認識精度を向上するプログラムを提供することを目的とする。

課題を解決するための手段

0011

本発明は、コンピュータに、生物が撮像されている第2の画像データを取得する画像データ取得テップと、第1の画像データと生物の生息環境登録されているデータ記憶部にアクセスするステップと、前記第2の画像データが撮像された撮像条件を含む前記生息環境の生物を検索対象として前記データ記憶部から抽出する検索対象抽出ステップと、前記第2の画像データから生物の特徴量を取得し、前記検索対象抽出ステップにより抽出された前記検索対象の生物の特徴量との類似度閾値以上の生物の第1の画像データを決定する認識ステップと、前記検索対象抽出ステップで前記検索対象の抽出に用いられてない1つ以上の前記生息環境がある状態で、前記認識ステップにより類似度が閾値以上の生物の前記第1の画像データが決定された場合、前記検索対象の抽出に用いられていない前記データ記憶部の前記生息環境を前記撮像条件で更新する更新ステップと、を実行させることを特徴とするプログラムを提供する。

発明の効果

0012

フィルタリングを利用した際の認識精度を向上するプログラムを提供することができる。

図面の簡単な説明

0013

本実施形態の認識システムの概略を説明する図の一例である。
本実施形態の認識システムの概略構成図の一例である。
本実施形態に係る通信端末ハードウェア構成図の一例である。
本実施形態に係るデータベースサーバのハードウェア構成図の一例である。
認識システムの機能ブロック図の一例である。
検索用DBの構成を説明する図の一例である。
花情報DBを説明する図の一例である。
画像認識処理部の機能ブロック図の一例である。
花の特徴の抽出を説明する図の一例である。
フィルタ1〜3が適用された場合の花検索用DBの検索対象について説明する図の一例である。
花検索用DBの更新について説明する図の一例である。
認識システムの動作手順を示すフローチャート図の一例である。
通信端末のディスプレイへの表示例を示す図である。
ディスプレイに表示された詳細情報の一例を示す図である。
更新履歴を利用した花の生息環境の表示例を示す図である。
サーバ・クライアントシステムの認識システムの概略構成図の一例である。

実施例

0014

以下、本発明を実施するための形態を図面を参照しながら説明する。
図1は本実施形態の認識システムの概略を説明する図の一例である。図1(a)に示すように、認識システムは花検索用DB(データベース)16、1つ以上のフィルタ、及び、画像認識処理部14を有している。まず、図1(a)を用いて認識結果が良好な場合を説明する。
(1)画像認識処理部14は、最初に全てのフィルタ1〜3をかけて花検索用DB16から撮像画像と類似した花を探す画像認識処理を行う。フィルタ1〜3は、撮像条件(撮像場所と撮像時期を有する)で花検索用DB16の検索対象をフィルタリングするフィルタである。撮像条件でフィルタリングすることで、撮像場所と撮像時期には生息していない花を検索対象から除外できる。
(2)画像認識処理部14は、認識率が十分に高い場合(閾値以上の場合)、検索結果が正しいと判定しユーザに提供する。

0015

このように、すべてのフィルタ1〜3をかけて検索しても、認識率が高い花が検索に適合する場合は、撮像された花と同じ花がフィルタ1〜3により検索対象から漏れることなく検索できたと判断することができる。

0016

次に、図1(b)を用いて認識結果が良好でない場合を説明する。
(1)画像認識処理部14は、最初に全てのフィルタ1〜3をかけて花検索用DB16を検索する。
(2)画像認識処理部14は、認識率が閾値以上の認識結果が得られなかったものとする。
(3)この場合、画像認識処理部14はフィルタ1〜3を順番解除する。解除する順番は影響力の少ないフィルタの順である。認識対象の増え方が少ないため認識時間の増大を抑制できる。
(4)例えば、フィルタ1,2を外した時に認識率が閾値以上の検索結果が得られたとする。したがって、正しい認識結果が得られたと考えられる。この場合は、フィルタ1,2でフィルタリングされている生息環境が、現在の花の生息環境を正しく表していないと考えられる。しかし、本実施形態ではフィルタを外すことで、気象変化や外来種などを要因として、本来生息していない花を撮像した場合でも正しい検索結果を得る事が出来ることがわかる。
(5)また、フィルタ1,2を外すことで正しい検索結果が得られた場合、認識システムは花検索用DB16にフィルタ1,2で外されていた生息環境を追加する。例えば、花検索用DB16の花の生息環境と撮像条件が以下のとおりであるとする
「生息地域:本州」、「生息時期
「花を撮像した場所が北海道」、「花を撮像した時期が
この場合、認識システムは、花検索用DB16のこの花の生息環境を、
「生息地域:本州、北海道」&「生息時期:春、夏」という生息環境に更新する。

0017

したがって、気候変化や外来種であるため現在の生息環境が花検索用DB16に登録されていない花の新たな生息環境を、花検索用DB16に学習させることができる。これにより、図鑑などに載っている生息マップではなく、より現実的な生息マップを作成していくことができる。

0018

以下、生物として花を例にして説明するが、花以外にも、植物・虫・きのこ・などのように撮像される生物であれば本実施形態の認識の対象とすることができる。

0019

〔構成例〕
図2は、本実施形態の認識システム500の概略構成図の一例を示す。認識システム500は、ネットワーク300を介して通信可能に接続された通信端末100、及び、データベースサーバ200を有している。ネットワーク300は、例えばLAN、複数のLANが接続されたWAN(Wide Area Network)、インターネット又はこれらの組み合わせなどである。また、ネットワーク300の一部又は全体が携帯電話網無線LAN網などで構築されていてもよい。

0020

通信端末100は、例えば、携帯電話スマートフォン、PDA(Personal Digital Assitant)、タブレット端末ノートPC(Personal Computer)、タブレットPC、音楽プレーヤカーナビゲーション、などである。通信端末100はネットワーク300を介する通信機能を有していればよい。カメラを搭載していることが好ましいが、すでに撮像されている画像を通信端末100が取得して、データベースサーバ200に送信することも可能である。

0021

データベースサーバ200は、サーバ、PC、コンピュータなどと呼ばれる情報処理装置である。また、データを蓄積することが主要な機能であるNAS(Network Attached Storage)やファイルサーバをデータベースサーバ200に用いてもよい。

0022

通信端末100は、後述する花情報DB15や花検索用DB16(特許請求の範囲のデータ記憶部の一例である)をデータベースサーバ200から取得して、撮像された花と類似する花を認識する処理を行う。そして、ディスプレイなどに認識結果を表示する。後述するが、通信端末100が画像を送信し、データベースサーバ200は花検索用DB16から認識した撮像画像と類似する画像を通信端末100に送信してもよい。なお、通信端末100は、特許請求の範囲の生物認識装置の一例である。

0023

図3は、本実施形態に係る通信端末100のハードウェア構成図の一例である。通信端末100は、CPU101、ROM102、RAM103、SSD(Solid State Drive)105、メディアドライブ107、操作ボタン108、電源スイッチ109、電話通信部110、ネットワークI/F111、カメラ112、マイク113、スピーカ114、ディスプレイI/F115、外部装置I/F116、及び、GPS受信部117を有している。

0024

CPU101は、ROM102に記憶されている通信端末用プログラム118を実行して通信端末全体の動作を制御する。ROM102はこの通信端末用プログラム118が記憶している。通信端末用プログラム118は、不図示のサーバからダウンロードされる態様で配布される。RAM103はCPU101のワークエリアとして使用される。SSD105はフラッシュメモリ104と接続されており、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出しおよび書き込みを制御する。SSD以外にHDD(Hard Disk Drive)を用いてもよい。フラッシュメモリ104は、画像データや音声データ等の各種データを記憶する。

0025

メディアドライブ107は、記録メディア106に対するデータの読み出し又は書き込みを制御する。記録メディア106はフラッシュメモリ等の不揮発性メモリである。操作ボタン108はユーザによる通信端末100への操作を受け付けるボタンであり、後述するタッチパネルが含まれる。電源スイッチ109は通信端末100の電源のON/OFF切り換えるためのスイッチである。電話通信部110は、携帯電話網などの基地局を介してサーバや他の通信端末などの情報処理装置と通信する。通信により音声データや各種のデータを送受信する。

0026

ネットワークI/F111は、無線LAN網などのアクセスポイントを介してサーバや他の通信端末などの情報処理装置と通信する通信カードである。通信により音声データや各種のデータを送受信する。カメラ112はCPU101の制御に従って被写体を撮像し画像データを作成する。マイク113は、音声を集音して電気的な信号に変換する。スピーカ114は、音声を出力する。ディスプレイI/F115は、CPU101の制御に従って外付けのディスプレイ120に画像データを出力する。ディスプレイ120は被写体の画像や操作用アイコン等を表示する液晶素子有機EL素子等を用いて構成されている。ディスプレイ120はタッチパネルを一体に有しており、被写体の画像や操作用アイコン等を表示する他、ユーザの操作を検出する。外部装置I/F116は、外部の装置との間で各種データを送受信する、例えば、USBホスト、Bluetooth(登録商標)、NFC(Near Field Communication)、TransferJet(登録商標)などである。また、上記各構成要素を相互に電気的に接続するためのアドレスバスデータバス等のバスライン119を備えている。GPS(Global Positioning System)受信部117は、GPS衛星からの電波を受信して通信端末100の位置を推定する。

0027

なお、記録メディア106は、通信端末100に対して着脱自在な構成となっている。上記の通信端末用プログラム118は、インストール可能な形式または実行可能な形式のファイルで、記録メディア106などのコンピュータで読み取り可能な記録媒体に記録して配布されてもよい。

0028

なお、カメラ112は、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子(例えば、CCD(Charge Coupled Device)素子、CMOS(Complementary Metal Oxide Semiconductor)素子等)を備えている。カメラ112は通信端末100に内蔵されているほか、例えば外部装置I/F116を介して外付けされていてもよい。マイク113、スピーカ114についても同様である。外付けカメラ外付けマイク、又は、外付けスピーカが接続された場合、CPU101の制御に従って、内蔵型のカメラ112、マイク113、スピーカ114に優先して、外付けカメラ、外付けマイク、又は、外付けスピーカが駆動される。

0029

図4は、本実施形態に係るデータベースサーバ200のハードウェア構成図の一例である。データベースサーバ200は、CPU201、ROM202、RAM203、HDD205、ディスプレイI/F208、外部装置I/F215、ネットワークI/F209、キーボード211、マウス212、メディアドライブ207、及び、光学ドライブ214を有する。

0030

CPU201は、データベースサーバ全体の動作を制御する。ROM202にはBIOS(Basic Input Output System)などが記憶されている。RAM203はCPU201のワークエリアとして使用される。HDD205は、CPU201の制御に従ってHD204に対する各種データの読み出しおよび書き込みを制御する。HD204はデータベース用プログラム230や各種データを記憶する。ディスプレイI/F208はCPU201の制御に従って、ディスプレイ220に対し画像データ(カーソルメニュー、ウィンドウ文字、画像等の各種情報を)を出力する。

0031

外部装置I/F215は、外部の装置との間で情報を送受信する。外部装置I/F215としては、USBインタフェース、BlueTooth(登録商標)、NFC、TransferJet(登録商標)などが一例として挙げられる。

0032

ネットワークI/F209は、無線LAN網などのアクセスポイントを介してサーバや他の通信端末100などの情報処理装置と通信する通信カードである。キーボード211は、文字、数値、各種指示等を入力を受け付けるための複数のキーを備えている。マウス212は、各種指示の選択や実行、処理対象の選択、カーソルの移動等の操作を受け付ける。メディアドライブ207は、フラッシュメモリ等の記録メディア206に対するデータの読み出しおよび書き込みを制御する。光学ドライブ214は、着脱可能な記録媒体であるCD(Compact Disc)、DVD(Digital Versatile Disk)、ブルーレイなどの光ディスク213に対するデータの読み出しおよび書き込みを制御する。また、バスライン210は、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等である。

0033

図5は、認識システム500の機能ブロック図の一例を示す。通信端末100はその主要な機能として撮像部11、位置情報取得部12、時期取得部13、画像認識処理部14、認識結果表示部18及び通信システム17aを有している。これらの各機能は、図3に示した通信端末100のCPU101がROM102に記憶された通信端末用プログラム118を実行し、図3に示したハードウェア協働することで実現される。

0034

撮像部11は、ユーザがカメラ112で花を被写体にして撮像した画像データを画像認識処理部14に出力する。位置情報取得部12は、撮像部11が画像データを撮像したことを契機現在地(撮像場所)の位置情報を取得する。位置情報は、緯度経度標高で得られるものとする。位置情報はGPS受信部117により推定されるが、無線LANのアクセスポイントや携帯電話網の基地局からの電波強度により推定されてもよい。時期取得部13は、撮像部11が画像データを撮像したことを契機に、カレンダ機能などから現在の時期(以下、撮像時期という)を取得する。時期は、例えば、少なくとも月日を含み、さらに時刻を含んでいてもよい。

0035

画像認識処理部14は、撮像部11が撮像した撮像画像の特徴量と、花検索用DB16に登録されている見本画像の特徴量を比較し、撮像画像に含まれる花と同じ種類の花がどの花かを推定する。詳しくは後述する。

0036

認識結果表示部18は、画像認識処理部14による認識結果を表示する。表示する際は、撮像部11が撮像した撮像画像、画像認識処理部14が最も似ていると判断した最有力候補画像、及び、他の有力候補画像が表示される。他の有力候補画像は、後述する認識率が基準値以上の全ての画像である。

0037

通信システム部17aはデータベースサーバ200と通信する。これにより、データベースサーバから花情報DB15と花検索用DB16を取得できる。

0038

花情報DB15と花検索用DB16は、データベースサーバ200の花情報DB15と花検索用DB16と同じもの又はその一部である。通信端末側で花情報DB15と花検索用DB16を保持することで認識時間を短縮できる。花情報DB15には花の詳細情報が登録されており、ほとんど変更はない。花検索用DB16は花の認識処理を行うための生息環境や見本画像が登録されている。花検索用DB16のデータは更新により変更される。画像認識処理部14は、ユーザの操作を契機に花検索用DB16を取得したり、定期的に花検索用DB16を取得したり、データベースサーバ200に問い合わせて更新されたことがわかると花検索用DB16を取得したりする。

0039

データベースサーバ200は通信システム部17b、花情報DB15、及び、花検索用DB16を有している。通信システム部17bは通信端末100と通信する。花情報DB15と花検索用DB16は、例えばサーバの管理人により構築されている。

0040

〔花検索用DBの構成〕
図6は、花検索用DB16の構成を説明する図の一例である。花検索用DB16は、生息環境として、「花の名前」、「生息地」、「最高高度」、「最低高度」、「開花時期」、及び、「枯れる時期」のフィールドを有し、さらに「見本画像へのpath」の各フィールドを有している。
・「花の名前」は、花の一般的な呼び名である。「花の名前」は花情報DB15にリンクされており、画像認識処理部14は「花の名前」をキーにして花情報DB15の花の詳細情報を取得できる。
・「生息地」は、地図のマップ番号で花が生息する地域を示している。地図は二次元マス状の領域に区切られて管理されており、1つのマスに番号(マップ番号)が付されている。ここでは国土地理院の5万分の1のマップで使用されているリスト番号をマップ番号に利用するが、一意性があれば、マップ番号は花検索用DB16に独自の番号であってもよい。したがって、マップ番号によりある範囲の地域を特定できる。例えば、マップ番号9404(リスト番号94−4)は「白山」を含む領域、マップ番号9403は「白川」を含む領域をそれぞれ示す。また、図6の例では5万分の1の縮尺のマップ番号を示しているが、2.5万分1のマップ番号など他の縮尺で花検索用DB16を構築してもよい。
・「最高高度」は花が生息可能な標高の範囲のうち上限の標高を4段階で示している。また、「最低高度」は花が生息可能な標高の範囲のうち下限の標高を4段階で示している。
4=2500〔m〕以上
3=1500〔m〕以上 2500〔m〕以下
2= 500〔m〕以上 1500〔m〕以下
1= 500〔m〕未満
・「開花時期」は花が開花する時期を36グループで示している。「枯れる時期」は花が枯れる時期を36グループで示している。
1=1月上旬、2=1月中旬、3=1月下旬
4=2月上旬、5=2月中旬、6=2月下旬
(中略)
34=12月上旬、35=12月中旬、36=12月下旬
なお、「最高高度」「最低高度」の段階数は一例にすぎず「最高高度」「最低高度」を2〜3段階で表したり5段階以上の段階で表してもよい。また、「開花時期」「枯れる時期」のグループ数は一例にすぎず「開花時期」「枯れる時期」を36未満や37以上のグループで表してもよい。
「見本画像へのpath」は、各花の典型的な画像データ(写真)へのpathが登録されている。花検索用DBに登録されている花の画像を見本画像という。色が異なっていても同じ名前で呼ばれる花は各色の見本画像が登録されている。また、撮像方向によって花の形状が異なるので、撮像方向が異なる見本画像がいくつか登録されていてもよい。これにより認識精度を向上できる。

0041

図7は花情報DB15を説明する図の一例である。花情報DB15は「花の名前」「学名」「目」「科」「属」「備考」の各フィールドを有する。「花の名前」は花検索用DB16と同じものである。「学名」はラテン語の花の名称であり、「目」「科」「属」は植物の分類である。「備考」には花ことばや雑学などが登録されている。

0042

画像認識について〕
続いて、図8に基づき画像認識処理部14の詳細な機能について説明する。図8は、画像認識処理部14の機能ブロック図の一例である。画像認識処理部14は、画像検索部22、フィルタ管理部21、及び、検索用DB更新部23、を有している。画像検索部22は、撮像部11が撮像した撮像画像から花領域を取り出して、花検索用DB16の見本画像から類似する花を検索する。

0043

図9(a)は、花領域の抽出を説明する図の一例である。撮像画像において花の色は背景の部分とは大きく異なっていることが多い。したがって、画素値に着目することで花領域を抽出できる。例えば、撮像画像の画素値のヒストグラムを作成し、16色程度にクラスタリングする。花は撮像画像の中央から上方にかけて撮像されていることが多いので、この領域の画素値として最も多い色が花の色であると推定する。画像検索部22は、花の色であると推定された画素値にクラスタリングされた画素領域を花領域に決定する。これにより、花びらを主要素とする花領域を決定できる。

0044

花の検索には花の特徴量を使用する。例えば、花の色、形状を特徴として認識する。この他、花の外観から抽出可能な情報を特徴量とすることができる。花領域が決定されると、画像検索部22は所定の色空間で、花領域の色の最小値最大値中央値などを検出する。また、花領域の形状をいくつかの標準パターンに分類する。例えば、図9(b)に示すように、標準パターンとして円形半円形三角形台形六角形などを用意しておく。これらと、花領域の外縁の形状をパターンマッチングで比較して、最も類似する標準パターンを決定すれば、撮像された花の形状を形状名で特定できる。また、画像検索部22は、花領域の縦横比頂点の数(例えばエッジ検出して直線が頂点を形成しているどうかを判定する)などを検出してもよい。

0045

画像検索部22は、このように花の色(色の最小値、最大値、中央値)、花の形状(標準パターン、縦横比、頂点の数)を求め、花検索用DB16の見本画像から抽出された花の色・花の形状と比較する。見本画像の花の特徴量は予め抽出しておくことができる。

0046

画像検索部22は特徴量の同じ項目同士の差を算出し、例えば1〜10の値で正規化する(特徴量が近いほど数値が高い。)。そして、各項目を重みづけして合計し、0〜100の値に変換する。これを認識率と称することとする。画像検索部22は認識率が基準値以上の場合に、撮像画像の候補に決定する。

0047

基準値は、実験的に定められるものとする。認識率に対し、撮像画像と同じ花の見本画像が実際に検索されたか否かを人間が確認することで、正しい見本画像が検索に適合したと期待できる認識率を算定できる。なお、非特許文献「FIT2004(第三回情報科学技術フォーラム)、I-042、2004年9月「携帯電話を用いた花の情報検索システム」和山大学 原 幸司など」には認識率に関する記載があるため、この認識率を参考にしてもよい。

0048

上記のように特徴量を抽出するのではなく(又は特徴量の抽出に加えて)、パターンマッチングにより画像認識を行ってもよい。例えば、花領域のエッジを検出して二値化し同じサイズに変倍し、パターンマッチングによりSSD(Sum of Squared Difference)又はSAD(Sum of Absolute Difference)などの算出式で類似度を算出する。類似度は完全に一致している場合にゼロになり、完全に不一致の場合に画素数の一致する。したがって、類似度0〜最大値を0〜100に割り当てれば0〜100の数値で認識率が得られる。

0049

〔フィルタについて〕
図8戻りフィルタ管理部21について説明する。フィルタ管理部21はフィルタ1〜3を組み合わて、画像検索部22の認識対象を絞り込んだり緩和したりする。フィルタの種類が多いほど、検索対象が少なくなるので検索時間が短くなる。このため、フィルタ管理部21は最初(1回目)の検索では全てのフィルタ1〜3でフィルタリングして花検索用DB16を検索する。

0050

そして、フィルタ1〜3でフィルタリングして絞り込まれた検索対象では認識率が基準値を満たす見本画像が適合しない場合、フィルタ管理部21はフィルタを1つずつ外していく。フィルタ1は緯度・経度(撮像場所)について検索対象をフィルタリングし、フィルタ2は撮像場所の標高について検索対象をフィルタリングし、フィルタ3は撮像時期について検索対象をフィルタリングする。本実施形態では以下のようにフィルタ1〜3が組み合わせられる。
・1回目の検索:フィルタ1+フィルタ2+フィルタ3
・2回目の検索:フィルタ2+フィルタ3
・3回目の検索:フィルタ3
・4回目の検索:フィルタなし
すなわち、撮像画像との認識率が基準値を満たさないため、再度、検索される毎にフィルタが1つずつ外されていく。花検索用DB16で一度検索された見本画像は再度検索されないので、検索される見本画像の数は最大でも花検索用DB16に登録されている見本画像の数である。

0051

図10を用いて説明する。図10はフィルタ1〜3が適用された場合の花検索用DB16の検索対象について説明する図の一例である。まず、撮像条件は以下のとおりである。
(i)撮像場所:白山
(ii)標高:約1600〔m〕
(iii)撮像時期:9月15日
フィルタ1〜3の全てでフィルタリングする場合を説明する。
図10(a)は、「生息地」によりフィルタリングされた花検索用DB16の一例を示している。撮像場所が白山(マップ番号9404)なので、「生息地」が9404のレコードのみが検索対象となる。

0052

図10(b)は「生息地」と「最高高度」「最低高度」によりフィルタリングされた花検索用DB16の一例を示している。標高が1600〔m〕(段階3)なので、生息地が9404の見本画像の内「最高高度」と「最低高度」に段階3が含まれるレコードのみが検索対象となる。

0053

図10(c)は「生息地」と「最高高度」「最低高度」と「開花時期」「枯れる時期」によりフィルタリングされた花検索用DB16の一例を示している。撮像時期が9月15日(グループ26)なので、生息地が9404の見本画像の内「最高高度」と「最低高度」に段階3が含まれ、かつ、「開花時期」と「枯れる時期」にグループ26が含まれるレコードのみが検索対象となる。

0054

このように、フィルタリングにより検索対象の見本画像を絞り込むことができるため、検索時間を短縮できる。

0055

これに対しフィルタ1が外された場合、「生息地」によるフィルタリングが行われないため、全ての見本画像に対し「最高高度」「最低高度」及び「開花時期」「枯れる時期」でフィルタリングされた見本画像が検索対象となる。また、フィルタ1とフィルタ2が外された場合、「生息地」と「最高高度」「最低高度」によるフィルタリングが行われないため、全ての見本画像に対し「開花時期」「枯れる時期」でフィルタリングされた見本画像が検索対象となる。また、フィルタ1〜3が全て外された場合、フィルタリングされないので全ての見本画像が検索対象となる。

0056

このように段階的にフィルタを外すことで、検索対象を少しずつ増やしながら検索できるので、ユーザを待たせる時間が長くなることを抑制できる。また、フィルタ1〜3を外す順番は影響力の低い順番である。つまり、フィルタを外しても検索対象が増えにくいフィルタから外される。これにより、フィルタが外されても検索時間が増大することを抑制できる。

0057

〔花検索用DBの更新〕
フィルタを外すことで認識率が基準値を満たす見本画像が検索に適合した場合、花検索用DB16に撮像された花の生息環境が正しく登録されていない可能性が高い。そこで、検索用DB更新部23は、花検索用DB16の生息環境のうち、見本画像が適合した際に外されていたフィルタに対応する生息環境を追加するなどして更新する。

0058

図11は花検索用DB16の更新について説明する図の一例である。フィルタ1〜3をかけることで、図10(c)のように検索対象が2つの見本画像に制限されたが、撮像画像と適合する見本画像が認識されない場合、フィルタ管理部21はフィルタ1を外す。すなわち、「生息地」についてフィルタリングされないが、「最高高度」「最低高度」及び「開花時期」「枯れる時期」でフィルタリングされる。したがって、図11(a)に示すように、全ての見本画像のうち、「最高高度」「最低高度」に"3"が含まれ、かつ、「開花時期」「枯れる時期」に"26"が含まれるの見本画像が検索対象となる。

0059

仮に、この検索対象から撮像画像の花が検索に適合した場合、検索用DB更新部23は、外したフィルタ1に対応する花検索用DB16の生息環境を更新する。図11(b)は更新後の花検索用DB16の一例を示す。例えば、「キヌガサソウ」という花が検索に適合した場合、検索用DB更新部23は「キヌガサソウ」の「生息地」に撮像場所の9404を加える。これにより、「キヌガサソウ」の「生息地」は9403と9404になり、次回、ユーザが撮像場所9404でキヌガサソウを撮像した場合、フィルタ1〜3をかけても「キヌガサソウ」が検索対象から漏れないので、一度の検索で「キヌガサソウ」を検索できる。

0060

図11では「生息地」が更新されているが、外されたフィルタが「最高高度」及び「最低高度」で「最高高度」より高い標高で撮像された花が検索に適合した場合、適合した花の「最高高度」が更新される。外されたフィルタが「最高高度」及び「最低高度」で「最低高度」より低い標高で撮像された花が検索に適合した場合、適合した花の「最低高度」が更新される。同様に、外されたフィルタが「開花時期」及び「枯れる時期」で「開花時期」より前に撮像された花が検索に適合した場合、適合した花の「開花時期」が更新される。外されたフィルタが「開花時期」及び「枯れる時期」で「枯れる時期」より後に撮像された花が検索に適合した場合、適合した花の「枯れる時期」が更新される。

0061

なお、フィルターが複数外された状態で、撮像された花が検索に適合した場合、適合した花の生息環境のうち外された複数のフィルターに対応する生息環境が更新される。

0062

また、検索用DB更新部23は、花検索用DB16を更新した場合、更新履歴を記録する。更新履歴は、新しい生息環境を登録した年月日と更新した生息環境の種類である。これにより、どの生息環境がいつ更新されたか記録されるので、時と共に、各花毎に花の生息地、標高が拡大していくことを実際の撮像結果から記録できる。また、開花時期や枯れる時期も、各花毎に前倒しされたり枯れる時期が遅れることなどを実際の撮像結果から記録できる。

0063

〔動作手順〕
図12は、認識システムの動作手順を示すフローチャート図の一例である。図12の手順は、例えば、ユーザが通信端末用プログラムを起動することでスタートする。

0064

まず、ユーザが撮像操作を行うことで、撮像部が花の撮像画像を取得する(S10)。これにより、撮像場所(位置情報)と撮像時期が取得される。

0065

画像認識処理部14は、花検索用DB16を読み込む(S20)。

0066

まず、フィルタ管理部21は、撮像場所(生息地)、標高(最高高度・最低高度)、及び、撮像時期(開花時期・枯れる時期)の3つのフィルタ1〜3で、花検索用DB16をフィルタリングする(S30)。

0067

画像検索部22は、フィルタ管理部21がフィルタリングして絞り込んだ見本画像を検索対象にして画像認識処理を行う(S40)。

0068

画像検索部22は、認識率が基準値以上の見本画像があったか否かを判定する(S50)。

0069

認識率が基準値以上の見本画像がない場合(S50のNo)、フィルタ管理部は全てのフィルタを外したか否かを判定する(S60)。

0070

全てのフィルタを外していた場合(S60のYes)、基準値を満たす見本画像がなかったことになるので図12の処理は終了する。この場合、認識結果表示部18はエラーメッセージなどをディスプレイ120に表示する。

0071

全てのフィルタを外していない場合(S60のNo)、フィルタ管理部21は影響力の少ない順にフィルタリングを解除する(S70)。すなわち、フィルタリングすることを停止する。そして、再度の画像認識を行う(S40)。

0072

認識率が基準値以上の見本画像がある場合(S50のYes)、検索用DB更新部23はフィルタリングを解除したか否か判定する(S80)。

0073

フィルタリングを解除していない場合(S80のNo)、花検索用DB16を更新する必要がないので図12の処理は終了する。

0074

フィルタリングを解除することで認識率が基準値以上の見本画像があった場合(S80のYes)、検索用DB更新部23は検索に適合した見本画像の解除されたフィルタでフィルタリングされていた生息環境を更新する(S90)。

0075

画面表示例〕
図13は、通信端末100のディスプレイ120への認識結果の表示例を示す図である。図5に示したように、ディスプレイ120には、撮像画像(図では「あなたの写真」)52、最有力候補画像(図では花の名前「メタカラコウ」と共に表示されている)53、及び、他の有力候補画像51が表示される。ユーザは撮像画像52と最有力候補画像53を比較して、又は、撮像画像52と他の有力候補画像51を比較して、検索に適合したか否かを判断できる。

0076

ユーザが最有力候補画像53又は他の有力候補画像51を選択すると、画像認識処理部14は花情報DB15からユーザが選択した「花の名前」のレコードを読み出す。そして、画面に花の詳細情報を表示する。

0077

図14はディスプレイ120に表示された詳細情報の一例を示す図である。図14では撮像画像52、見本画像55、及び、詳細情報54が表示されている。ユーザは詳細情報を目視して見本画像が、撮像した花の正しい画像か否かなどを確認できる。

0078

図15は、更新履歴を利用した花の生息環境の表示例を示す図である。図15(a)はディスプレイ120に表示されたある花の「最高高度」の更新履歴を示している。データベースが更新される前の「最高高度」は"2"、「最低高度」は"1"である。そして、「2013年12月10日」に、1500〔m〕以上2500〔m〕以下の標高でこの花が撮像されたため、「最高高度」が"3"に更新されている。また、「2015年11月20日」に、2500〔m〕以上の標高でこの花が撮像されたため、「最高高度」が"4"に更新されている。

0079

したがって、花検索用DB16に「最高高度」や「最低高度」の更新履歴が記録されることで、ユーザは、各花が咲く標高が時間と共に変化すること(より高い標高で開花する、より低い標高で開花する)、及び、いつ変化したかを把握できるようになる。

0080

図15(b)はディスプレイ120に表示されたある花の開花時期の更新履歴を示している。データベースが更新される前の「開花時期」は"10(4月上旬)"、「枯れる時期」は"18(7月下旬)"である。そして、「2013年3月15日」に、この花が撮像されたため、「開花時期」が"8(3月中旬)"に更新されている。

0081

したがって、花検索用DB16に「開花時期」や「枯れる時期」の更新履歴が記録されることで、ユーザは、各花が開花している期間が時間と共に変化すること(前倒しされる、遅れる)、及び、いつ変化したかを把握できるようになる。

0082

図15(c)はディスプレイ120に表示されたある花の生息地の更新履歴を示している。データベースが更新される前の「生息地」は"9404(白山)である。そして、「2013年12月15日」に、白川村でこの花が撮像されたため、「生息地」が"9403(白川村)"を含む地域に更新されている。例えば、更新前と後の「生息地」で色を変えて表示するなどで、更新前と後の「生息地」の違いは明示される。

0083

したがって、花検索用DB16に「生息地」の更新履歴が記録されることで、ユーザは、各花の生息地が時間と共に変化すること(例えば、上する、下する)、及び、いつ変化したかを把握できるようになる。

0084

〔他の構成例〕
図16は、サーバ・クライアントシステムの認識システムの概略構成図の一例を示す。図5において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

0085

図16では、通信端末100が画像認識処理部14を有し、通信端末100は画像送信部19と認識結果取得部20を有している。画像送信部19は、撮像部11が撮像した撮像画像、位置情報取得部12が取得した位置情報、及び、時期取得部13が取得した撮像時期を、通信システム部17aを介してサーバに送信する。

0086

また、認識結果取得部20はデータベースサーバ200から認識結果として、最有力候補画像と他の有力候補画像を取得して、認識結果表示部18に出力する。これにより、認識結果表示部18は図5の構成と同様に認識結果を表示できる。なお、サーバの画像認識処理部14の機能は通信端末100が有する場合と同じである。

0087

このように、サーバが画像認識処理部14、花情報DB15,及び、花検索用DB16を有することで、負荷の高い処理をサーバが行うことができる。また、花情報DB15、及び、花検索用DB16のサイズが大きい場合、通信端末100のSSD105やRAM103を圧迫することがない。

0088

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

0089

例えば、撮像部が撮像することで位置情報と時期が取得されると説明したが、予め花が撮像された撮像画像に対し撮像場所、撮像時期が添付されていても、同様に、画像を認識したり、花検索用DBを更新することは可能である。

0090

また、本実施形態では撮像時期として年月日のみをフィルタリングに使用したが、時刻をフィルタリングに使用してもよい。この場合、花検索用DBにも生息環境として咲く時間帯が登録されている。これにより、決まった時間帯に開花する花の検索や時間帯の更新が可能になる。

0091

11撮像部
12位置情報取得部
13 時期取得部
14画像認識処理部
15 花情報DB
16 花検索用DB
21フィルタ管理部
22画像検索部
23 検索用DB更新部
100通信端末
200データベースサーバ
500 認識システム

先行技術

0092

特開2007−133816号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ