図面 (/)

技術 情報処理装置、情報処理システム及びプログラム

出願人 富士ゼロックス株式会社
発明者 野田晋平福田健一郎大根田裕一
出願日 2013年7月22日 (6年1ヶ月経過) 出願番号 2013-151801
公開日 2015年2月2日 (4年7ヶ月経過) 公開番号 2015-022631
状態 特許登録済
技術分野 検索装置
主要キーワード 信頼度合い 特徴境界 輝度勾配ヒストグラム 変形度合い メディアアイコン SIFT特徴量 対応特徴点 画像検索サーバ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年2月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑える。

解決手段

画像検索サーバは、クエリ画像Iqに含まれる特徴点pqの特徴量である、検索対象特徴量Vqを抽出する。登録画像Isの特徴点毎に、登録画像Isから抽出された局所特徴量Vsと、局所特徴量Vsとは異なる対応特徴量Vt1,Vt2,・・・,Vtn(nは自然数)とを対応付け登録した特徴量DBを参照して、画像検索サーバは、検索対象特徴量Vqを、局所特徴量Vs及び対応特徴量Vt1からVtnのそれぞれと比較する。対応特徴量Vt1からVtnは、登録画像Isに画像変換処理を施して生成された変換画像から抽出される。画像検索サーバは、特徴点pqの対応点を登録画像Isの中から決定し、決定した対応点に基づいてクエリ画像Iqに類似する登録画像Isを検索する。

概要

背景

画像検索の技術において、画像検索を要求する検索キーとしてのクエリ画像と、データベース登録された検索対象の画像とを比較する場合に、各画像から特徴点を検出して、特徴点同士の対応(マッチング)を取る方法が用いられることがある。特許文献1は、特徴点同士の対応を決定する際の誤りを抑制するために、比較される2つの画像をそれぞれ複数の縮小率縮小して、各画像中のオブジェクトの大きさが近くなる関係を判定し、判定した関係に近い画像から抽出した特徴点ほど優先度を高くして類似度を算出することを開示している。

概要

クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑える。画像検索サーバは、クエリ画像Iqに含まれる特徴点pqの特徴量である、検索対象特徴量Vqを抽出する。登録画像Isの特徴点毎に、登録画像Isから抽出された局所特徴量Vsと、局所特徴量Vsとは異なる対応特徴量Vt1,Vt2,・・・,Vtn(nは自然数)とを対応付けて登録した特徴量DBを参照して、画像検索サーバは、検索対象特徴量Vqを、局所特徴量Vs及び対応特徴量Vt1からVtnのそれぞれと比較する。対応特徴量Vt1からVtnは、登録画像Isに画像変換処理を施して生成された変換画像から抽出される。画像検索サーバは、特徴点pqの対応点を登録画像Isの中から決定し、決定した対応点に基づいてクエリ画像Iqに類似する登録画像Isを検索する。

目的

UI部12は、GUI(Graphical User Interface)を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベース登録する登録処理部と、クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、前記比較部での比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断する判断部とを備える情報処理装置

請求項2

前記第1の画像に画像変換処理を施して第2の画像を生成する生成部を備え、前記抽出部は、前記生成部により生成された前記第2の画像から前記第2の特徴量を抽出し、前記登録処理部は、前記抽出部により抽出された前記第2の特徴量を前記データベースへ登録することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記登録処理部は、前記検索対象特徴量を前記第2の特徴量とし、前記第1の特徴量と対応付けて、前記データベースへ登録することを特徴とする請求項1又は2に記載の情報処理装置。

請求項4

前記登録処理部は、前記クエリ画像が前記第1の画像に類似すると判断した結果の信頼度が、予め決められた値である場合に、前記検索対象特徴量を前記データベースへ登録することを特徴とする請求項3に記載の情報処理装置。

請求項5

前記登録処理部は、前記第1の画像の特徴点の特徴量である前記第1の特徴量と、当該特徴点に対応した前記第2の特徴量とを対応付けて前記データベースへ登録し、前記抽出部は、前記クエリ画像の特徴点の特徴量である前記検索対象特徴量を抽出し、前記判断部は、前記クエリ画像の特徴点毎に前記検索対象特徴量を比較した結果に基づいて、前記第1の画像と前記クエリ画像とが類似するか否かを判断することを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。

請求項6

通信端末により送信された前記クエリ画像を受信するクエリ画像受信部と、前記クエリ画像受信部により受信されたクエリ画像に類似すると前記判断部が判断した前記第1の画像に対応付けられたコンテンツ情報を、前記通信端末へ出力する出力部とを備えることを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。

請求項7

ユーザに使用される通信端末と、前記通信端末と通信する情報処理装置とを備え、前記通信端末は、撮影する撮影部と、前記撮影部の撮影により得られた画像に基づいて、前記情報処理装置へクエリ画像を送信するクエリ画像送信部とを有し、前記情報処理装置は、前記クエリ画像送信部により送信されたクエリ画像を受信するクエリ画像受信部と、第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベースへ登録する登録処理部と、前記クエリ画像受信部により受信されたクエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、前記比較部での比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断する判断部と前記判断部により前記クエリ画像に類似すると判断された前記第1の画像に応じた情報を、前記通信端末へ出力する出力部とを有する情報処理システム

請求項8

コンピュータに、第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベースへ登録するステップと、クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出するステップと、抽出した前記検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較するステップと、前記比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断するステップとを実行させるためのプログラム

技術分野

0001

本発明は、情報処理装置情報処理システム及びプログラムに関する。

背景技術

0002

画像検索の技術において、画像検索を要求する検索キーとしてのクエリ画像と、データベース登録された検索対象の画像とを比較する場合に、各画像から特徴点を検出して、特徴点同士の対応(マッチング)を取る方法が用いられることがある。特許文献1は、特徴点同士の対応を決定する際の誤りを抑制するために、比較される2つの画像をそれぞれ複数の縮小率縮小して、各画像中のオブジェクトの大きさが近くなる関係を判定し、判定した関係に近い画像から抽出した特徴点ほど優先度を高くして類似度を算出することを開示している。

先行技術

0003

特開2010−102501号公報

発明が解決しようとする課題

0004

本発明の目的は、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることである。

課題を解決するための手段

0005

本発明の請求項1に係る情報処理装置は、第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベースへ登録する登録処理部と、クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、前記比較部での比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断する判断部とを備える。

0006

本発明の請求項2に係る情報処理装置は、請求項1に記載の構成において、前記第1の画像に画像変換処理を施して第2の画像を生成する生成部を備え、前記抽出部は、前記生成部により生成された前記第2の画像から前記第2の特徴量を抽出し、前記登録処理部は、前記抽出部により抽出された前記第2の特徴量を前記データベースへ登録することを特徴とする。

0007

本発明の請求項3に係る情報処理装置は、請求項1又は2に記載の構成において、前記登録処理部は、前記検索対象特徴量を前記第2の特徴量とし、前記第1の特徴量と対応付けて、前記データベースへ登録することを特徴とする。
本発明の請求項4に係る情報処理装置は、請求項3に記載の構成において、前記登録処理部は、前記クエリ画像が前記第1の画像に類似すると判断した結果の信頼度が、予め決められた値である場合に、前記検索対象特徴量を前記データベースへ登録することを特徴とする。

0008

本発明の請求項5に係る情報処理装置は、請求項1から4のいずれか1項に記載の構成において、前記登録処理部は、前記第1の画像の特徴点の特徴量である前記第1の特徴量と、当該特徴点に対応した前記第2の特徴量とを対応付けて前記データベースへ登録し、前記抽出部は、前記クエリ画像の特徴点の特徴量である前記検索対象特徴量を抽出し、前記判断部は、前記クエリ画像の特徴点毎に前記検索対象特徴量を比較した結果に基づいて、前記第1の画像と前記クエリ画像とが類似するか否かを判断することを特徴とする。
本発明の請求項6に係る情報処理装置は、請求項1から5のいずれか1項に記載の構成において、通信端末により送信された前記クエリ画像を受信するクエリ画像受信部と、前記クエリ画像受信部により受信されたクエリ画像に類似すると前記判断部が判断した前記第1の画像に対応付けられたコンテンツ情報を、前記通信端末へ出力する出力部とを備えることを特徴とする

0009

本発明の請求項7に係る情報処理システムは、ユーザに使用される通信端末と、前記通信端末と通信する情報処理装置とを備え、前記通信端末は、撮影する撮影部と、前記撮影部の撮影により得られた画像に基づいて、前記情報処理装置へクエリ画像を送信するクエリ画像送信部とを有し、前記情報処理装置は、前記クエリ画像送信部により送信されたクエリ画像を受信するクエリ画像受信部と、第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベースへ登録する登録処理部と、前記クエリ画像受信部により受信されたクエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、前記比較部での比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断する判断部と前記判断部により前記クエリ画像に類似すると判断された前記第1の画像に応じた情報を、前記通信端末へ出力する出力部とを有する。

0010

本発明の請求項8に係るプログラムは、コンピュータに、第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベースへ登録するステップと、クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出するステップと、抽出した前記検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較するステップと、前記比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断するステップとを実行させるためのプログラムである。

発明の効果

0011

請求項1に係る発明によれば、第1の画像の特徴量である第1の特徴量とは異なる第2の特徴量を用いないで、第1の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。
請求項2に係る発明によれば、クエリ画像で発生し得る画像の変化に応じた第2の特徴量に基づいて、クエリ画像に類似する画像を判断することができる。
請求項3に係る発明によれば、クエリ画像に現に発生した画像の変化に応じた第2の特徴量に基づいて、クエリ画像に類似する画像を判断することができる。
請求項4に係る発明によれば、クエリ画像に類似する画像の判断の精度の向上に寄与し得る検索対象特徴量をデータベースに登録することができる。
請求項5に係る発明によれば、特徴点同士の対応を取ってクエリ画像に類似する画像を判断することができる。
請求項6に係る発明によれば、クエリ画像に類似する画像に対応付けられたコンテンツ情報を出力することができる。
請求項7に係る発明によれば、第1の画像の特徴量である第1の特徴量とは異なる第2の特徴量を用いないで、第1の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。
請求項8に係る発明によれば、第1の画像の特徴量である第1の特徴量とは異なる第2の特徴量を用いないで、第1の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。

図面の簡単な説明

0012

第1実施形態の画像検索システムの全体構成を示す図。
EMMの概要を説明する図。
同実施形態のユーザ端末ハードウェア構成を示すブロック図。
同実施形態の画像検索サーバのハードウェア構成を示すブロック図。
同実施形態の特徴量DBの構成例を示す図。
同実施形態のコンテンツDBの構成例を示す図。
同実施形態のユーザ端末及び画像検索サーバの機能ブロック図。
同実施形態の画像検索システムで実行される処理を示すシーケンス図。
同実施形態の登録処理の流れを示すフローチャート
同実施形態の登録処理における特徴点の抽出及び登録の具体例の説明図。
同実施形態の検索処理の流れを示すフローチャート。
同実施形態の検索処理における特徴点の抽出及び使用の具体例の説明図。
第2実施形態の画像検索システムで実行される処理を示すシーケンス図。
同画像検索システムで実行される処理の他の例を示すシーケンス図。

実施例

0013

本発明の実施の形態について図面を参照しつつ説明する。
[第1実施形態]
図1は、第1実施形態の画像検索システム1の全体構成を示す図である。図1に示すように、画像検索システム1は、ユーザ端末10と、画像検索サーバ20と、登録端末30とを備え、画像検索を行うための情報処理システムである。図1には、ユーザ端末10及び登録端末30をそれぞれ1つだけ図示しているが、実際にはより多数存在する。ユーザ端末10、画像検索サーバ20及び登録端末30の各々は、通信回線100に接続して相互に通信する。通信回線100は、例えばインターネットを含む通信回線であるが、通信回線の種類については特に問わない。

0014

ユーザ端末10は、撮影機能カメラ機能)を有する通信端末であり、図1に示す印刷物40を撮影し、画像検索を要求するクエリ画像を、画像検索サーバ20へ送信する。クエリ画像は、画像検索サーバ20で実行される画像検索の検索キーとなる画像データで、画像検索サーバ20に対する画像検索の実行要求を画像により表現したデータである。画像検索サーバ20は、ユーザ端末10から受信したクエリ画像に類似する画像(後述する登録画像)を検索するための情報処理を行う情報処理装置である。印刷物40は、例えば広告パンフレット雑誌の誌面であり、媒体(例えば紙媒体)上に文字写真等の画像要素印刷された印刷物である。印刷物40では、この画像要素に重ねて、埋め込み型メディアマーカ(EMM;Embedded Media Markers)と呼ばれるマーカ41が印刷されている。マーカ41は、印刷物40の画像要素にデジタルコンテンツが関連付けられていることの目印である。マーカ41は、印刷物40の画像要素をユーザが視認する際の妨げとならないように、比較的薄い色を用いて印刷される。登録端末30は、例えばコンテンツプロバイダにより使用され、EMMに関する情報及びデジタルコンテンツに関する情報を、画像検索サーバ20に登録するための通信端末である。
なお、ユーザ端末10は、ここではスマートフォンであるが、携帯電話端末タブレット端末ノート型パソコン、PDA(Personal Digital Assistant)、携帯型ゲーム機等の、撮影機能を有する他の通信端末であってもよい。また、登録端末30は、例えばパーソナル・コンピュータであるが、その他の通信端末であってもよい。

0015

図2は、EMMの概要を説明する図である。
図2(a)には、マーカ41の模式図が示されている。図2(a)に示すように、マーカ41は、特徴境界411と、アンカーポイント412と、メディアアイコン413とで構成される。特徴境界411は、ここでは円形線画像によって表され、印刷物40の画像要素を内側に含む。図2(b)に示すように、ユーザ端末10のユーザは、印刷物40を撮影する際に、マーカ41の全体が撮影範囲に含まれるようにユーザ端末10を操作する。アンカーポイント412は、デジタルコンテンツを関連付ける画像要素の位置を特定する位置情報に相当する。メディアアイコン413は、デジタルコンテンツの種類を識別可能アイコンである。メディアアイコン413は、ここではビデオカメラを模したアイコン画像であるが、このアイコン画像はデジタルコンテンツが動画コンテンツであることを意味する。この場合、マーカ41を撮影したユーザ端末10は、図2(c)に示すように、画像検索サーバ20から提供された動画コンテンツを再生して動画像Cを表示する。動画コンテンツは、印刷物40の画像要素に関連した内容のデジタルコンテンツである。
なお、マーカ41に関連付けられるデジタルコンテンツは、静止画コンテンツWebコンテンツその他のデジタルコンテンツであってもよい。

0016

図3は、ユーザ端末10のハードウェア構成を示すブロック図である。図3に示すように、ユーザ端末10は、制御部11と、UI(User Interface)部12と、通信部13と、撮影部14と、記憶部15とを備える。
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を有するプロセッサを備える。CPUは、ROMや記憶部15に記憶された制御プログラムをRAMに読み出して実行することにより、ユーザ端末10の各部を制御する。また、制御部11は、ASIC(Application Specific IntegratedCircuit)で例示される画像処理部を備え、この画像処理部により画像処理を行う。UI部12は、GUI(Graphical User Interface)を提供する操作表示部であり、表示面に画像を表示する表示パネルと、この表示面に重ねて設けられユーザに操作されるタッチスクリーンとを備える。
なお、ユーザ端末10は、物理キー等の操作を受け付ける他の操作手段を有していてもよいし、音声入力操作を受け付ける機能を有していてもよい。

0017

通信部13は、通信回線100に接続して通信するためのインタフェースを有する。撮影部14は、CCD(Charge Coupled Device)等の撮像素子を有する撮影装置であり、撮影した画像である撮影画像静止画像又は動画像)を生成する。撮影部14の撮影レンズ(図示略)は、ここではユーザ端末10の背面側に設けられる。記憶部15は、例えばEEPROM(Electronically Erasable and Programmable ROM)やフラッシュメモリ等の記憶装置を備え、制御部11により実行されるOS(Operating System)やその他のプログラムを記憶する。

0018

図4は、画像検索サーバ20のハードウェア構成を示すブロック図である。図4に示すように、画像検索サーバ20は、制御部21と、通信部22と、記憶部23とを備える。
制御部21は、CPU、ROM及びRAMを有するプロセッサを備える。CPUは、ROMや記憶部23に記憶された制御プログラムをRAMに読み出して実行することにより、画像検索サーバ20の各部を制御する。また、制御部21は、ASICで例示される画像処理部を備え、この画像処理部により画像処理を行う。通信部22は、通信回線100に接続して通信するためのインタフェースある。記憶部23は、例えばハードディスク装置を有する記憶装置であり、制御部21により実行されるプログラムを記憶する。また、記憶部23は、特徴量DB(Data Base)231及びコンテンツDB232を有している。特徴量DB231は、検索される対象である登録画像(第1の画像の一例)の特徴を表す特徴量を登録したデータベースである。コンテンツDB232は、登録画像毎に、その登録画像に対応付けられたコンテンツ情報を登録したデータベースである。

0019

図5は、特徴量DB231の構成例を示す図である。
図5に示すように、特徴量DB231には、各々の登録画像を一意識別する識別子である画像識別子と、この登録画像の特徴点毎の特徴量(具体的には、局所特徴量)とが対応付けて登録されている。局所特徴量は、画像に含まれる特徴点の局所的な特徴を表す特徴量である。局所特徴量は、ここでは、SIFT(Scale Invariant Feature Transform)特徴量である。SIFT特徴量は、画素代表輝度勾配方向を決定し、その方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトル(例えば128次元ベクトル)で記述される局所特徴量である。SIFT特徴量は、例えば、“永橋、吉、金出「領域分割に基づくSIFT特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年1月)”に記載されているとおり周知であり、その詳細な説明を省略する。

0020

図5に示す例では、特徴量DB231において、画像識別子「ID0001」の登録画像Isについて、p1,p2,・・・,pm(mは整数)というm個の特徴点の局所特徴量が、特徴量DB231に登録されている。以下の説明では、p1,p2,・・・,pmのm個の特徴点の各々を特に区別する必要がないときには、これらを「特徴点p」と総称する。また、特徴量DB231において、同一のレコード(行)で対応付けられた複数の局所特徴量の各々は、登録画像の同一の特徴点に対応している。この複数の局所特徴量は、具体的には、局所特徴量Vs、及び、対応特徴量Vt1,Vt2,・・・,Vtn(nは整数)を含んで構成される。局所特徴量Vsは、登録画像Isから検出された特徴点pの局所特徴量(第1の特徴量の一例)である。

0021

対応特徴量Vt1,Vt2,・・・,Vtnの各々は、特徴量DB231で同一のレコードで対応付けられた局所特徴量Vsとは異なる特徴量(第2の特徴量の一例)である。対応特徴量Vt1,Vt2,・・・,Vtnの各々は、登録画像Isに画像変換処理を施して生成された画像(以下、「変換画像」という。)It1,It2,・・・,Itn(第2の画像の一例)からそれぞれ抽出される。対応特徴量Vt1は変換画像It1から抽出され、対応特徴量Vt2は変換画像It2から抽出されるという具合に、符号の末尾の値が同じ対応特徴量と変換画像とが対応している。また、特徴量DB231で同一のレコードで対応付けられた対応特徴量Vt1,Vt2,・・・,Vtnの各々は、同一の特徴点pに対応する特徴点(以下、「対応特徴点」という。)の局所特徴量である。特徴点pの対応特徴点は、この特徴点pの画像変換処理後の座標により特定される。

0022

ところで、上述の変換画像It1,It2,・・・,Itnは、各々異なる画像変換処理によって生成される。図5に示す変換画像It1,It2,・・・,Itnのうち、矩形以外の形状で表した変換画像は、登録画像Isを台形状又は平行四辺形状に変形させる歪みを与える画像変換処理(以下、「変形処理」という。)を施して生成される。また、変換画像It1,It2,・・・,Itnのうち、斜線部又はドット部を付して表した変換画像は、登録画像Isの明るさ(例えば明度輝度)を変換する画像変換処理(以下、「明るさ変換処理」という。)を施して生成される。
なお、特徴量DB231では、登録画像毎に局所特徴量が登録される特徴点の数が異なっていてもよいし、特徴点毎に対応特徴量の数が異なっていてもよい。

0023

図6は、コンテンツDB232の構成例を示す図である。
図6に示すように、コンテンツDB232には、画像識別子とコンテンツ情報とが対応付けて登録されている。画像識別子は、特徴量DB231に登録される画像識別子と共通する。コンテンツ情報は、画像検索サーバ20からユーザ端末10へと提供されるデジタルコンテンツを示す情報である。コンテンツ情報は、ここでは、デジタルコンテンツの格納場所を示すURI(Uniform Resource Identifier)等のアクセス先の情報であるが、デジタルコンテンツ自体を示す情報であってもよい。
なお、この実施形態では、画像検索サーバ20が特徴量DB231及びコンテンツDB232を有しているが、特徴量DB231及びコンテンツDB232の一方又は両方が、画像検索サーバ20の外部のデータベースによって実現されてもよい。

0024

図7は、ユーザ端末10及び画像検索サーバ20の機能構成を示すブロック図である。図7に示すように、画像検索サーバ20は、プログラムを実行することにより、登録画像受信部201と、抽出部202と、生成部203と、登録処理部204と、クエリ画像受信部205と、検索処理部206と、コンテンツ情報出力部207とに相当する機能を実現する。ユーザ端末10は、プログラムを実行することにより、撮影画像取得部101と、クエリ画像送信部102と、コンテンツ情報受信部103とに相当する機能を実現する。

0025

画像検索サーバ20の登録画像受信部201は、登録端末30から登録要求があった登録画像を受信する。
抽出部202は、供給された画像から特徴点を検出し、検出した特徴点の局所特徴量を抽出する。例えば、抽出部202は、登録画像受信部201から供給された登録画像Isから局所特徴量Vsを抽出する。また、抽出部202は、生成部203により生成された変換画像It1,It2,・・・,Itnの各々から、対応特徴点の対応特徴量Vt1,Vt2,・・・,Vtnをそれぞれ抽出する。また、抽出部202は、クエリ画像受信部205から供給されたクエリ画像の特徴点の局所特徴量(以下、「検索対象特徴量」という。)を抽出する。検索対象特徴量は、クエリ画像と類似する登録画像を検索する際に使用される。

0026

生成部203は、登録要求があった登録画像Isに画像変換処理を施して、変換画像It1,It2,・・・,Itnをそれぞれ生成する。例えば、生成部203は、登録画像Isに、変形処理又は明るさ変換処理を施して、変換画像を生成する。変形処理では、生成部203は、画像の変形方向(水平方向又は/及び垂直方向)及び変形度合いの少なくとも一方を各々異ならせて、複数の変換画像を生成する。明るさ変換処理では、生成部203は、画像の明るさを変化させる方向(暗くする方向又は明るくする方向)及び明るさの変化度合いの少なくとも一方を各々異ならせて、複数の変換画像を生成する。

0027

登録処理部204は、登録画像受信部201により受信された登録画像Isの特徴点p毎に、この登録画像Isから抽出された局所特徴量Vsと、この登録画像Isに基づいて生成される変換画像It1,It2,・・・,Itnの各々から抽出された対応特徴量Vt1,Vt2,・・・,Vtnとを、特徴量DB231へ登録する。この際、登録処理部204は、特徴点pの局所特徴量Vsと、この特徴点pの対応特徴点の対応特徴量Vt1,Vt2,・・・,Vtnとを同じレコードで対応付けて、特徴量DB231へ登録する。

0028

ユーザ端末10の撮影画像取得部101は、撮影部14の撮影により得られた画像である撮影画像を取得する。
クエリ画像送信部102は、撮影画像取得部101が取得した撮影画像に基づいて、画像検索サーバ20へクエリ画像を送信する。

0029

画像検索サーバ20のクエリ画像受信部205は、クエリ画像送信部102により送信されたクエリ画像を受信する。
検索処理部206は、クエリ画像送信部102により送信されたクエリ画像に類似する登録画像を、特徴量DB231に基づいて検索する。検索処理部206の機能は、比較部2061と、判断部2062とに大別される。

0030

比較部2061は、抽出部202が抽出した検索対象特徴量と、特徴量DB231に登録されている予め定められた特徴量の各々とを比較する。比較部2061は、特徴量DB231に登録されたすべての特徴量を検索範囲として検索対象特徴量と比較してもよいし、特徴量DB231に登録された一部の特徴量を検索範囲(例えば、ユーザ権限で絞られた特徴量の範囲)として検索対象特徴量と比較してもよい。ここにおいて、比較部2061は、クエリ画像の特徴点毎に、抽出部202が抽出したクエリ画像の検索対象特徴量を、検索範囲に含まれる局所特徴量Vs及び対応特徴量Vt1,Vt2,・・・,Vtnのそれぞれと比較する。この比較に際して、比較部2061は、クエリ画像の特徴点毎に、局所特徴量Vs及び対応特徴量Vt1,Vt2,・・・,Vtnとの局所特徴量の類似度をそれぞれ算出する。類似度の算出アルゴリズムについては特に問わないが、比較される特徴量同士の差分が小さいほど類似度が大きくなり、特徴量同士の差分が大きいほど類似度が小さくなる。

0031

判断部2062は、比較部2061での比較結果に基づいて、クエリ画像に類似する登録画像を判断する。ここにおいて、判断部2062は、登録画像から抽出された局所特徴量Vsのみならず、検索対象特徴量が対応特徴量と類似する結果を得た場合にも、登録画像とクエリ画像とが類似すると判断する。
この判断に際して、判断部2062は、比較部2061での比較結果に基づいて、登録画像Isの特徴点pの中から、クエリ画像の各特徴点対応点を決定する。例えば、判断部2062は、比較部2061により類似度に基づいて、クエリ画像の特徴点毎に、類似度が最も高い特徴点pを対応点に決定する。そして、判断部2062は、決定した対応点に基づいて、クエリ画像に類似する登録画像を判断する。例えば、判断部2062は、対応点が最も多い登録画像Isを判断する。

0032

コンテンツ情報出力部207(出力部の一例)は、判断部2062がクエリ画像に類似すると判断した登録画像に対応付けられたコンテンツ情報を、ユーザ端末10へ出力する。コンテンツ情報出力部207は、判断部2062が類似すると判断した登録画像の画像識別子に対応付けられたコンテンツ情報を、コンテンツDB232から取得して、ユーザ端末10へ送信出力する。
ユーザ端末10のコンテンツ情報受信部103は、コンテンツ情報出力部207によりされたコンテンツ情報を受信する。

0033

図8は、画像検索システム1で実行される処理の流れを示すシーケンス図である。
登録端末30は、利用者により画像検索サーバ20への登録を指示する操作が行われると、登録したい登録画像の登録要求を、画像検索サーバ20へ送信する(ステップS1)。画像検索サーバ20の制御部21は、通信部22により登録要求を受信すると、登録処理を実行する(ステップS2)。登録処理は、登録要求があった登録画像についてデータを、特徴量DB231及びコンテンツDB232へ登録する処理である。

0034

図9は、登録処理の流れを示すフローチャートである。図10は、登録処理における特徴点の抽出及び登録の具体例を説明する図である。図10及び後で説明する図12において、特徴点(対応特徴点)に関連付けて「a(b)」と付しているのは、特徴点aの局所特徴量がbであることを意味する。
画像検索サーバ20の制御部21は、登録要求に含まれる登録画像Isを取得する(ステップS21)。制御部21は、取得した登録画像Isから特徴点pを検出し、各特徴点pの局所特徴量Vsを抽出する(ステップS22)。ここで、制御部21が、図10(a)に示す登録画像Isを取得した場合を考える。この場合、制御部21は、図10(b)に示すように、登録画像Isのエッジコーナー等の特徴点p(「●」(黒丸印)で表す。)を検出して、検出した特徴点pの局所特徴量を抽出する。図10(b)には、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「p(Vs)」という符号を付している。

0035

制御部21は、ステップS22の処理で抽出した特徴点pの局所特徴量Vsを、特徴量DB231へ登録する(ステップS23)。ここにおいて、制御部21は、ステップS21の処理で取得した登録画像Isに画像識別子を割り当てて、それぞれ異なるレコードで、m個の局所特徴量Vsをそれぞれ登録する。図5を用いて説明すると、制御部21は、画像識別子は「ID0001」を特徴量DB231に書き込んだ後、この画像識別子「ID0001」に対応付けて、特徴点p1,p2,・・・,pmの各々の局所特徴量Vsを登録する。

0036

次に、制御部21は、登録要求があった登録画像Isに画像変換処理を施して、変換画像It1,It2,・・・,Itnをそれぞれ生成する(ステップS24)。例えば、制御部11は、図5に示すように、登録画像Isに対して、変形処理や明るさ変換処理を施して、変換画像It1,It2,・・・,Itnを生成する。

0037

次に、制御部21は、ステップS24の処理で生成した変換画像It1,It2,・・・,Itnの各々から対応特徴点を検出して、検出した対応特徴点における対応特徴量Vt1,Vt2,・・・,Vtnをそれぞれ抽出する(ステップS25)。
次に、制御部21は、検出対象画像Isから抽出した特徴点pの局所特徴量Vsを、変換画像It1,It2,・・・,Itnにおける対応特徴点の対応特徴量Vt1,Vt2,・・・,Vtnと同じレコードで対応付けて、特徴量DB231へ登録する(ステップS26)。この結果、図10(c)に示すように、各特徴点pの局所特徴量Vsと対応特徴量Vt1,Vt2,・・・,Vtnとが、特徴量DB231に対応付けて登録される。変換画像It1,It2,・・・,Itnの各々は、画像変換処理に応じて登録画像Isとの間に差分を含んでいる。この画像同士の差分に応じて、登録画像Isと変換画像It1,It2,・・・,Itnとでは、互いに対応する特徴点同士で局所特徴量が異なることがある。この局所特徴量同士の差異は、登録画像及び画像変換処理のアルゴリズムに応じた大きさとなると考えられる。

0038

ステップS24の処理で実行される画像変換処理は、カメラ撮影をしたときの撮影方法撮影環境を原因として撮影画像に発生し得る変化を、検出対象画像に反映させるために実行される。例えば、カメラ撮影したときに撮影装置が水平方向に傾いていると、水平方向に台形歪みが発生した撮影画像が得られ、撮影装置が垂直方向に傾いていると、垂直方向に台形歪みが発生した撮影画像が得られることがある。また、暗い環境で撮影された場合には、比較的暗い撮影画像が得られ、反対に、明るい環境で撮影された場合には、比較的明るい撮影画像が得られる。すなわち、ユーザ端末10を使用して撮影をした場合、撮影方法や撮影環境を原因として、クエリ画像が変化することがある。このクエリ画像の変化によって、クエリ画像と類似する登録画像の判断の精度(つまり検索精度)が低下するのを抑えるために、画像検索サーバ20は変換画像It1,It2,・・・,Itnの局所特徴量を特徴量DB231に登録しておく。
なお、画像検索サーバ20の制御部21は、特徴量DB231へ登録画像に関するデータを登録するとともに、この登録画像に関連付けられたデジタルコンテンツについてのコンテンツ情報を、コンテンツDB232へ登録する。
登録処理の説明は以上である。制御部21は、登録画像を特徴量DB231へ登録するたびに、上記手順の処理を実行する。

0039

図8の説明に戻る。
ユーザ端末10のユーザが、自身のユーザ端末10を使用して印刷物40を撮影したとする。この場合、ユーザ端末10の制御部11は、撮影部14により印刷物40を撮影し、この撮影により得られた撮影画像に基づいて撮影画像を取得する(ステップS3)。そして、制御部11は、取得した撮影画像に基づいて、クエリ画像を通信部13により画像検索サーバ20へ送信する(ステップS4)。
画像検索サーバ20の制御部21は、クエリ画像を通信部22により受信すると、このクエリ画像に基づいて検索処理を実行する(ステップS5)。この検索処理は、クエリ画像に類似する登録画像を、特徴量DB231に登録された局所特徴量に基づいて検索する処理である。

0040

図11は、検索処理の流れを示すフローチャートである。図12は、検索処理における特徴点の抽出及び使用の具体例を説明する図である。
まず、制御部21は、クエリ画像を取得すると(ステップS51)、取得したクエリ画像から検索対象特徴量を抽出する(ステップS52)。例えば、図12に示すように、制御部21は、クエリ画像Iqを取得し、特徴点pqの検索対象特徴量としてVqを抽出する。図12では、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「pq(Vq)」という符号を付している。

0041

次に、制御部21は、抽出したクエリ画像Iqの特徴点pqの検索対象特徴量Vqを、特徴量DB231に登録されている、検索範囲に属する局所特徴量Vs及び対応特徴量Vt1,Vt2,・・・,Vtnのそれぞれと比較する(ステップS53)。制御部21は、クエリ画像Iqの特徴点pq毎に、検索対象特徴量Vqと、局所特徴量Vs及び対応特徴量Vt1,Vt2,・・・,Vtnの各々との類似度を算出する。
そして、制御部21は、ステップS53の処理の比較結果に基づいて、登録画像Isの特徴点pの中から、クエリ画像Iqの特徴点pqの対応点を決定する(ステップS54)。この際、制御部21は、各特徴点pqについて、特徴量DB231に登録された局所特徴量Vs及び対応特徴量Vt1,Vt2,・・・,Vtnのうち、クエリ画像Iqの検索対象特徴量Vqとの類似度がより高いものを選択する。例えば、図12に示すように、特徴点pqの検索対象特徴量Vqとの類似度が最も高い局所特徴量が、変換画像It1の対応特徴量Vt1である場合を考える。この場合、制御部11は、特徴量DB231で、この対応特徴量Vt1と同じレコードで対応付けられた局所特徴量Vsに同類似度で一致したと判定して、対応点を決定する。クエリ画像Iqの検索対象特徴量Vqが、他の対応特徴量と一致した場合にも、制御部21は、特徴量DB231でこの対応特徴量と同じレコードで対応付けられた局所特徴量Vsに一致したと判定する。

0042

そして、制御部21は、決定した対応点に基づいて、クエリ画像Iqに類似する登録画像Isを判断する(ステップS55)。例えば、制御部21は、決定した対応点の数が最も多い登録画像Isを検索結果とするように判断する。ここにおいて、制御部21は、対応点の数が閾値以上であることを、登録画像Isの検索結果の判断の条件とすることが望ましい。
そして、制御部21は、クエリ画像Iqに類似すると判断した登録画像Isの画像識別子に対応付けられたコンテンツ情報を、コンテンツDB232から取得する(ステップS56)。例えば、画像識別子「ID0001」の登録画像が検索結果である場合、制御部21は、コンテンツ情報「C0001」を取得する。
検索処理の説明は以上である。画像検索サーバ20は、クエリ画像を受信するたびに上記手順の処理を実行する。

0043

図8の説明に戻る。
検索処理を終了すると、画像検索サーバ20の制御部21は、ステップS55の処理でコンテンツDB232から取得したコンテンツ情報を、通信部22によりユーザ端末10へ送信出力する(ステップS6)。ユーザ端末10の制御部11は、通信部13によりコンテンツ情報を受信すると、受信したコンテンツ情報に基づいてデジタルコンテンツを取得して表示する(ステップS7)。

0044

以上説明した第1実施形態の画像検索システム1では、画像検索サーバ20は、特徴点の局所特徴量Vsだけではなく、撮影部14の撮影により発生し得る撮影画像の変化を反映させた対応特徴量Vt1,Vt2,・・・,Vtnを使用して、検索処理を行う。このため、印刷物40を撮影して得たクエリ画像に、ユーザ端末10の撮影方法に起因する画像歪みが含まれていたり、撮影環境に起因する明るさの変化が含まれていたりした場合であっても、画像検索システム1によれば、クエリ画像を原因とした検索精度の低下が抑制される。
また、画像検索サーバ20は、クエリ画像の特徴点毎に、局所特徴量Vs及び対応特徴量Vt1,Vt2,・・・,Vtnの中から、検索対象特徴量との類似度がより高いものを選択して、クエリ画像の特徴点の対応点を決定する。このため、画像検索システム1によれば、クエリ画像の画像内の各位置で、画像歪みの度合いにばらつきがあったり、明暗にばらつきがあったりした場合であっても、検索精度の低下が抑制される。

0045

[第2実施形態]
次に、本発明の第2実施形態を説明する。
この第2実施形態の画像検索システム1は、上述した第1実施形態の画像検索システム1の機能に加えて、クエリ画像から抽出した特徴量を対応特徴量として、特徴量DB231に登録する機能を有する。
この第2実施形態の画像検索システム1を構成する装置及び各装置のハードウェア構成は、上述した第1実施形態と同じでよい。また、この第2実施形態の画像検索システム1の機能構成は、クエリ画像から抽出した特徴量を対応特徴量として、特徴量DB231に登録する機能に関する部分を除いて、上述した第1実施形態と同じでよい。
以下の説明において、上述した第1実施形態と重複する部分の説明については省略する。また、上述した第1実施形態の構成要素及び処理ステップについては同一の符号を付して表し、その説明を省略する。

0046

図13は、画像検索システム1で実行される処理を示すシーケンス図である。
画像検索システム1では、上述した第1実施形態と同じく、ステップS1からS7の処理ステップが実行される。
また、画像検索サーバ20の制御部21は、ステップS5の処理で検索処理を行って、ステップS6の処理でコンテンツ情報を送信出力した後、ステップS5における検索結果の信頼度を算出する(ステップS8)。この信頼度は、クエリ画像と類似する登録画像の判断の信頼度合いを示すパラメータであり、すなわち、検索処理の確からしさを示すパラメータである。よって、信頼度は、クエリ画像と検索した登録画像とが同じである可能性が高い場合ほど高い値となる。信頼度の算出アルゴリズムについては特に問わないが、例えば、登録画像の対応点の数が多いほど大きな値となり、ここでは、百分率の値で信頼度が表される。

0047

次に、制御部21は、算出した信頼度が登録条件を満たすかどうかを判断する(ステップS9)。登録条件を満たす信頼度は、例えば第1閾値以上(例えば40%以上)で、且つ、第2閾値以下(例えば90%以下)の値であり、この値は予め決められている。例えば、信頼度が第2閾値以上でかなり近い場合には、登録条件を満たさない。こうする理由は、検索結果の信頼度が著しく高いということは、クエリ画像の検索対象特徴量を新たに登録しなくとも、特徴量DB231へ登録済みの検索対象特徴量だけで、検索精度が確保されるという理由に基づく。他方、信頼度が第1閾値以下で低い場合にも、登録条件を満たさない。こうする理由は、検索結果の信頼度が低い場合の検索対象特徴量を特徴量DB231へ登録してしまうと、誤った検索結果が得られた場合に使用した検索対象特徴量までもが登録されて、今後の検索処理の検索精度を低下させる原因になる可能性があるからである。すなわち、登録条件は、クエリ画像と登録画像とが同じであるが、互いに対応する特徴点同士で局所特徴量に差異がある場合に要件を満たすように決められている。

0048

制御部21は、ステップS9の処理で登録条件を満たすと判断した場合には(ステップS9;YES)、クエリ画像から抽出した検索対象特徴量を対応特徴量として、特徴量DB231へ登録する(ステップS10)。この際、制御部21は、互いに対応する特徴点同士の局所特徴量を同じレコードで対応付けて、特徴量DB231へ登録する。
なお、ステップS9の処理で、信頼度が登録条件を満たさないと制御部21が判断した場合には(ステップS9;NO)、クエリ画像の検索対象特徴量を特徴量DB231へ登録しない。

0049

ところで、上記の動作説明では、信頼度が登録条件を満たした場合に、画像検索サーバ20はクエリ画像の検索対象特徴量を特徴量DB231へ登録していたが、ユーザ端末10のユーザが登録を許可した場合に限り、クエリ画像の検索対象特徴量を登録してもよい。こうすれば、画像検索サーバ20は、クエリ画像と登録画像とが同じである場合にだけ、検索対象特徴量を登録することとなる。

0050

図14は、この場合の画像検索システム1で実行される処理を示すシーケンス図である。
画像検索システム1でステップS1からS9の処理ステップが実行され、信頼度が登録条件を満たすと(ステップS9;YES)、画像検索サーバ20の制御部21は、クエリ画像の検索対象特徴量の登録の可否をユーザ端末10へ問い合わせる(ステップS11)。ユーザ端末10の制御部11は、画像検索サーバ20からの問合せを受け付けると、問合せ画面をUI部12に表示させる等して、ユーザに登録可否を問い合わせる(ステップS12)。ここで、登録を許可する旨の応答をユーザから受け付けると、ユーザ端末10の制御部11は、登録を許可する旨の許可通知を、通信部13により画像検索サーバ20へ送信する(ステップS13)。この応答は、コンテンツ情報が格納されたURI等のアクセス先の情報が正確かどうかを、ユーザに確認させた場合の応答であってもよい。すなわち、この応答は、登録可否を直接にユーザに問い合わせた場合の応答でなくてもよい。画像検索サーバ20の制御部21は、許可通知を通信部22により受信すると、ステップS10の処理を実行して、クエリ画像の検索対象特徴量を特徴量DB231へ登録する。

0051

特徴量DB231へ登録されるクエリ画像の検索対象特徴量は、クエリ画像から抽出され検索対象特徴量のすべてであってもよいし、一部であってもよい。一部のみを登録する場合には、制御部21は、検索精度の向上への寄与率が高いものを優先して登録するとよい。また、登録しようとする検索対象特徴量の数が予め決められた上限値を超える場合には、制御部21は、特徴量DB231内の古い又は検索精度の向上への寄与率が相対的に低い対応所特徴量を特徴量DB231から削除して、クエリ画像の検索対象特徴量を新たに登録してもよい。
ステップS12の処理で、制御部11が登録を許可しないと判断した場合には(ステップS12;NO)、クエリ画像の検索対象特徴量を特徴量DB231へ登録せずに、処理を終了する。

0052

以上説明した第2実施形態の画像検索システム1によれば、上述した第1実施形態で説明した作用効果に加え、クエリ画像に実際に発生した画像変化を反映させた検索対象特徴量を登録することにより、クエリ画像を原因とした検索精度の低下を抑制する効果を奏する。現に発生したクエリ画像の変化が、例えば撮影方法や撮影環境によるものである場合、他のユーザのユーザ端末10においても、同じ変化が現れたクエリ画像が得られる可能性がある。よって、この実施形態の画像検索システム1のように、現にクエリ画像に発生した画像の変化に応じた検索対象特徴量を特徴量DB231へ登録しておくことは、検索精度の向上に寄与し得る。

0053

また、画像検索サーバ20は、検索結果の信頼度に基づいて登録の可否を判断する。これにより、画像検索システム1によれば、検索結果の信頼度の低い情報を登録して検索精度の低下を招いたり、不必要な情報まで登録することにより検索処理の処理量を増大させたりする、という不都合の発生が起きにくい。
なお、検索結果の信頼度と登録条件との対応関係はあくまで一例であり、上記の例以外の関係であってもよい。また、図14で説明したようにユーザに登録可否を問い合わせる場合には、画像検索サーバ20では、検索結果の信頼度に基づいて登録可否を判断する構成が省略されてもよい。

0054

[変形例]
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
(変形例1)
上述した各実施形態における局所特徴量に基づく登録画像の検索アルゴリズムはあくまで一例であり、他の検索アルゴリズムに置き換えられてもよい。
例えば、画像検索サーバ20は、特徴点毎に、クエリ画像の検索対象特徴量との類似度が2番目以降の局所特徴量を、検索処理に反映させてもよい。例えば、画像検索サーバ20は、類似する登録画像が2つ以上あった場合には、2番目の局所特徴量同士の類似度が高い方の登録画像を検索結果とする。

0055

(変形例2)
上述した各実施形態では、特徴点の特徴量(局所特徴量)として、SIFT特徴量を使用していたが、SURF(Speeded Up Robust Features)特徴量その他の特徴量を使用してもよい。すなわち、本発明の特徴量は、輝度勾配の特徴ではなく、特徴点の位置(座標)その他の特徴点の特徴量を表すものであってもよい。
また、本発明の特徴量は、特徴点の局所的な特徴量以外の、クエリ画像に類似する画像を検索する画像検索に使用される他の特徴量であってもよい。
また、画像変換処理は、変形処理や明るさ変換処理に限られず、画像の拡大処理縮小処理回転処理ノイズぼかしの付与処理その他の画像変換処理であってもよい。画像検索システム1で使用される局所特徴量によって、検索精度に影響が現れやすい画像変化の種類が異なるから、検索精度に影響しやすい変化を付与する画像変換処理が1つ以上行われるとよい。
また、対応特徴量Vt1,Vt2,・・・,Vtnは、変換画像から抽出されたものではなく、局所特徴量Vsを用いて特定のアルゴリズムに従った演算処理を行うことにより算出されてもよい。

0056

(変形例3)
上述した各実施形態では、画像検索サーバ20は、クエリ画像に類似する登録画像に応じたコンテンツ情報を出力していたが、出力対象となる情報はコンテンツ情報に限られない。例えば、類似画像を検索する情報処理システムに本発明を適用した場合には、画像検索サーバ20は、検索データベースから検索した類似画像の画像データを、ユーザ端末10へ送信出力するとよい。

0057

(変形例4)
画像検索サーバ20は、特徴量DB231に局所特徴量を登録する機能を有さなくてもよい。この場合、画像検索サーバ20とは別に設けられた装置(例えばサーバ装置)が、特徴量DB231に局所特徴量を登録すればよい。
また、画像検索サーバ20は、1台のサーバ装置で実現されるのではなく、複数のサーバ装置の協働によって実現されてもよい。また、本発明の情報処理装置は、画像検索サーバ20で提示されるサーバという形態の装置でなくてもよく、例えば、ユーザにより使用される通信端末(例えばユーザ端末10)により実現されてもよい。

0058

上述した各実施形態のユーザ端末10や画像検索サーバ20が実現する各機能は、1又は複数のハードウェア回路により実現されてもよいし、1又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。ユーザ端末10や画像検索サーバ20の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体磁気テープ磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体光ディスク等)、光磁気記録媒体半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う情報処理方法として把握し得る。

0059

1…画像検索システム、10…ユーザ端末、100…ネットワーク、101…クエリ画像取得部、102…クエリ画像送信部、103…コンテンツ情報受信部、11…制御部、12…UI部、13…通信部、14…撮影部、15…記憶部、20…画像検索サーバ、201…登録画像受信部、202…抽出部、203…生成部、204…登録処理部、205…クエリ画像受信部、206…検索処理部、2061…比較部、2062…判断部、207…コンテンツ情報出力部、21…制御部、22…通信部、23…記憶部、231…特徴量DB、232…コンテンツDB、30…登録端末、40…印刷物、41…マーカ。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 三菱電機株式会社の「 情報処理装置および情報処理方法」が 公開されました。( 2019/08/08)

    【課題・解決手段】情報処理装置(10)は、時系列データである入力データを取得するデータ取得部(101)と、時系列データである学習データから抽出した部分列である複数の学習部分列の中で類似する学習部分列を... 詳細

  • オムロン株式会社の「 センシングデバイス管理装置」が 公開されました。( 2019/08/08)

    【課題・解決手段】センサ側メタデータに相当するデータカタログの生成が簡単且つ適正に行えるセンシングデバイス管理装置を提供する。デバイス情報取得機能部11dが、測定対象をセンシングするセンシングデバイス... 詳細

  • オムロン株式会社の「 マッチング処理装置」が 公開されました。( 2019/08/08)

    【課題・解決手段】利活用対象のセンシングデータによる容易なセンサマッチングを行うマッチング処理部50が提供される。マッチング処理部50は、提供側端末11により入力された提供側センシングデータを取得する... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ