図面 (/)

技術 情報処理装置

出願人 富士ゼロックス株式会社
発明者 河野裕之
出願日 2017年3月21日 (2年6ヶ月経過) 出願番号 2017-054143
公開日 2018年10月4日 (11ヶ月経過) 公開番号 2018-156517
状態 未査定
技術分野 検索装置 イメージ分析
主要キーワード 特徴箇所 Y座標 説明用資料 局所特徴点 分類領域 重複率 領域分類 報告内容
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年10月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

照合対象を特徴的な箇所に絞り込んで画像の類似度を判定する際に、特徴的な箇所を一律に照合する場合に比べて、類似度の精度を向上させること。

解決手段

特徴箇所検出部203は、画像の特徴的な箇所を検出する。属性別領域分類部204は、画像内の領域を属性が異なる複数の領域に分類する。優先度規則記憶部205は、画像内の領域の属性とその領域の優先度とを関係付ける優先度規則を記憶する。類似度判定部209は、2つの画像について検出された特徴的な箇所を照合し、それら2つの画像の類似度を判定する。類似度判定部209は、特徴的な箇所の照合の結果に対し、特徴的な箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度を反映して、類似度を判定する。

概要

背景

画像上の各点の特徴量を比較して類似度を算出し、類似度の高い似た画像を検索する技術がある。特許文献1には、画像から複数の局所特徴点を検出し、画像の複数の領域において局所特徴点の密度を算出し、その密度が閾値を超える領域に属する局所特徴点に対応する局所特徴量を算出する技術が開示されている。

概要

照合対象を特徴的な箇所に絞り込んで画像の類似度を判定する際に、特徴的な箇所を一律に照合する場合に比べて、類似度の精度を向上させること。特徴箇所検出部203は、画像の特徴的な箇所を検出する。属性別領域分類部204は、画像内の領域を属性が異なる複数の領域に分類する。優先度規則記憶部205は、画像内の領域の属性とその領域の優先度とを関係付ける優先度規則を記憶する。類似度判定部209は、2つの画像について検出された特徴的な箇所を照合し、それら2つの画像の類似度を判定する。類似度判定部209は、特徴的な箇所の照合の結果に対し、特徴的な箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度を反映して、類似度を判定する。

目的

本発明は、照合対象を特徴的な箇所に絞り込んで画像の類似度を判定する際に、特徴的な箇所を一律に照合する場合に比べて、類似度の精度を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像の特徴的な箇所を検出する検出部と、画像内の領域を属性が異なる複数の領域に分類する分類部と、前記領域の属性と当該領域の優先度とを関係付け規則を記憶する記憶部と、2つの画像について検出された前記箇所を照合し、当該照合の結果に当該箇所を含む前記領域の属性と前記規則により関係付けられる当該領域の優先度を反映して当該2つの画像の類似度を判定する判定部とを備える情報処理装置

請求項2

前記規則は、前記領域の画像内の位置と当該領域の優先度とをさらに関係付け、前記判定部は、照合する前記箇所を含む前記領域の位置に前記規則により関係付けられる当該領域の優先度を反映して前記類似度を判定する請求項1に記載の情報処理装置。

請求項3

前記規則は、前記2つの画像における共通属性の前記領域の位置のずれの大きさと当該領域の優先度とをさらに関係付け、前記判定部は、照合する前記箇所を含む前記領域についての前記ずれの大きさに前記規則で関係付けられる優先度を反映して前記類似度を判定する請求項1又は2に記載の情報処理装置。

請求項4

前記規則は、前記領域に含まれる前記特徴的な箇所の特徴量の大きさと当該領域の優先度とをさらに関係付け、前記判定部は、照合する前記箇所を含む前記領域における前記特徴量の大きさに前記規則で関係付けられる優先度を反映して前記類似度を判定する請求項1から3のいずれか1項に記載の情報処理装置。

請求項5

類似度の判定対象の画像を指定する際に用いられたアプリケーションプログラムの種類を特定する特定部を備え、前記規則は、前記アプリケーションプログラムの種類毎に、前記領域の属性と当該領域の優先度とを関係付け、前記判定部は、照合する前記箇所を含む前記領域の属性及び特定された前記アプリケーションプログラムの種類に前記規則で関係付けられる優先度を反映して前記類似度を判定する請求項1から4のいずれか1項に記載の情報処理装置。

請求項6

前記領域には、文字が表された第1領域と、写真又は絵が表された第2領域とが含まれ、前記規則は、文字列の編集に用いるアプリケーションプログラムの場合は前記第2領域より前記第1領域の優先度を高くし、画像の編集に用いるアプリケーションプログラムの場合は前記第1領域より前記第2領域の優先度を高くするよう、前記属性及び前記優先度を関係付ける請求項5に記載の情報処理装置。

請求項7

画像の内容を判定する内容判定部を備え、前記規則は、前記画像の内容毎に、前記領域の属性と当該領域の優先度とを関係付け、前記判定部は、照合する前記箇所を含む前記領域の属性及び判定された前記画像の内容に前記規則で関係付けられる優先度を反映して前記類似度を判定する請求項1から6のいずれか1項に記載の情報処理装置。

請求項8

前記領域には、文字が表された第1領域と、写真又は絵が表された第2領域と、図形が表された第3領域が含まれ、前記画像の内容には、会議での説明用資料と、帳票又は図面とが含まれ、前記規則は、前記内容が前記説明用資料の場合は前記第1領域より前記第2及び第3領域の優先度を高くし、前記内容が前記帳票又は図面の場合は前記第1及び第2領域より前記第3領域の優先度を高くするよう、前記属性及び前記優先度を関係付ける請求項7に記載の情報処理装置。

請求項9

前記規則は、前記領域の属性のいずれかをユーザが選択した場合は、選択された当該属性の領域の優先度を他の領域の優先度よりも高くするよう、前記属性及び前記優先度を関係付ける請求項1から8のいずれか1項に記載の情報処理装置。

請求項10

前記領域内の特徴的な箇所を特徴量の大きさが異なる複数のグループ区分けする区分け部を備え、前記規則は、区分けされた前記グループ毎に前記領域の属性と当該領域の優先度とを関係付け、前記判定部は、照合する前記箇所を含む前記領域の属性及び当該箇所が属するグループに前記規則で関係付けられる優先度を反映して前記類似度を判定する請求項1から9のいずれか1項に記載の情報処理装置。

請求項11

前記2つの画像のうちの少なくともいずれかが印刷物を読み取った画像であり、前記判定部は、前記印刷物を読み取った画像に印刷物に特有の箇所が現われている場合、当該特有の箇所を除外して前記類似度を判定する請求項1から10のいずれか1項に記載の情報処理装置。

請求項12

画像のレイアウトを判断する判断部を備え、前記判定部は、判断された前記レイアウトが類似する2つの画像について前記類似度を判定する請求項1から11のいずれか1項に記載の情報処理装置。

技術分野

0001

本発明は、情報処理装置に関する。

背景技術

0002

画像上の各点の特徴量を比較して類似度を算出し、類似度の高い似た画像を検索する技術がある。特許文献1には、画像から複数の局所特徴点を検出し、画像の複数の領域において局所特徴点の密度を算出し、その密度が閾値を超える領域に属する局所特徴点に対応する局所特徴量を算出する技術が開示されている。

先行技術

0003

特開2011−257963号公報

発明が解決しようとする課題

0004

類似する画像を検索する際、画像上の全ての点について特徴量を照合していては時間がかかるので、特許文献1の技術のように特徴的な箇所(例えば特徴点)について特徴量を照合することが行われている。しかし、照合する箇所を絞り込むため、画像によっては検索の精度が低くなる(類似度が高くても似てないと感じたり類似度が低くても似ていると感じたりする)場合がある。
そこで、本発明は、照合対象を特徴的な箇所に絞り込んで画像の類似度を判定する際に、特徴的な箇所を一律に照合する場合に比べて、類似度の精度を向上させることを目的とする。

課題を解決するための手段

0005

本発明の請求項1に係る情報処理装置は、画像の特徴的な箇所を検出する検出部と、画像内の領域を属性が異なる複数の領域に分類する分類部と、前記領域の属性と当該領域の優先度とを関係付け規則を記憶する記憶部と、2つの画像について検出された前記箇所を照合し、当該照合の結果に当該箇所を含む前記領域の属性と前記規則により関係付けられる当該領域の優先度を反映して当該2つの画像の類似度を判定する判定部とを備えることを特徴とする。

0006

本発明の請求項2に係る情報処理装置は、請求項1に記載の構成において、前記規則は、前記領域の画像内の位置と当該領域の優先度とをさらに関係付け、前記判定部は、照合する前記箇所を含む前記領域の位置に前記規則により関係付けられる当該領域の優先度を反映して前記類似度を判定することを特徴とする。

0007

本発明の請求項3に係る情報処理装置は、請求項1又は2に記載の構成において、前記規則は、前記2つの画像における共通属性の前記領域の位置のずれの大きさと当該領域の優先度とをさらに関係付け、前記判定部は、照合する前記箇所を含む前記領域についての前記ずれの大きさに前記規則で関係付けられる優先度を反映して前記類似度を判定することを特徴とする。

0008

本発明の請求項4に係る情報処理装置は、請求項1から3のいずれか1項に記載の構成において、前記規則は、前記領域に含まれる前記特徴的な箇所の特徴量の大きさと当該領域の優先度とをさらに関係付け、前記判定部は、照合する前記箇所を含む前記領域における前記特徴量の大きさに前記規則で関係付けられる優先度を反映して前記類似度を判定することを特徴とする。

0009

本発明の請求項5に係る情報処理装置は、請求項1から4のいずれか1項に記載の構成において、類似度の判定対象の画像を指定する際に用いられたアプリケーションプログラムの種類を特定する特定部を備え、前記規則は、前記アプリケーションプログラムの種類毎に、前記領域の属性と当該領域の優先度とを関係付け、前記判定部は、照合する前記箇所を含む前記領域の属性及び特定された前記アプリケーションプログラムの種類に前記規則で関係付けられる優先度を反映して前記類似度を判定することを特徴とする。

0010

本発明の請求項6に係る情報処理装置は、請求項5に記載の構成において、前記領域には、文字が表された第1領域と、写真又は絵が表された第2領域とが含まれ、前記規則は、文字列の編集に用いるアプリケーションプログラムの場合は前記第2領域より前記第1領域の優先度を高くし、画像の編集に用いるアプリケーションプログラムの場合は前記第1領域より前記第2領域の優先度を高くするよう、前記属性及び前記優先度を関係付けることを特徴とする。

0011

本発明の請求項7に係る情報処理装置は、請求項1から6のいずれか1項に記載の構成において、画像の内容を判定する内容判定部を備え、前記規則は、前記画像の内容毎に、前記領域の属性と当該領域の優先度とを関係付け、前記判定部は、照合する前記箇所を含む前記領域の属性及び判定された前記画像の内容に前記規則で関係付けられる優先度を反映して前記類似度を判定することを特徴とする。

0012

本発明の請求項8に係る情報処理装置は、請求項7に記載の構成において、前記領域には、文字が表された第1領域と、写真又は絵が表された第2領域と、図形が表された第3領域が含まれ、前記画像の内容には、会議での説明用資料と、帳票又は図面とが含まれ、前記規則は、前記内容が前記説明用資料の場合は前記第1領域より前記第2及び第3領域の優先度を高くし、前記内容が前記帳票又は図面の場合は前記第1及び第2領域より前記第3領域の優先度を高くするよう、前記属性及び前記優先度を関係付けることを特徴とする。

0013

本発明の請求項9に係る情報処理装置は、請求項1から8のいずれか1項に記載の構成において、前記規則は、前記領域の属性のいずれかをユーザが選択した場合は、選択された当該属性の領域の優先度を他の領域の優先度よりも高くするよう、前記属性及び前記優先度を関係付けることを特徴とする。

0014

本発明の請求項10に係る情報処理装置は、請求項1から9のいずれか1項に記載の構成において、前記領域内の特徴的な箇所を特徴量の大きさが異なる複数のグループ区分けする区分け部を備え、前記規則は、区分けされた前記グループ毎に前記領域の属性と当該領域の優先度とを関係付け、前記判定部は、照合する前記箇所を含む前記領域の属性及び当該箇所が属するグループに前記規則で関係付けられる優先度を反映して前記類似度を判定することを特徴とする。

0015

本発明の請求項11に係る情報処理装置は、請求項1から10のいずれか1項に記載の構成において、前記2つの画像のうちの少なくともいずれかが印刷物を読み取った画像であり、前記判定部は、前記印刷物を読み取った画像に印刷物に特有の箇所が現われている場合、当該特有の箇所を除外して前記類似度を判定することを特徴とする。

0016

本発明の請求項12に係る情報処理装置は、請求項1から11のいずれか1項に記載の構成において、画像のレイアウトを判断する判断部を備え、前記判定部は、判断された前記レイアウトが類似する2つの画像について前記類似度を判定することを特徴とする。

発明の効果

0017

請求項1に係る発明によれば、照合対象を特徴的な箇所に絞り込んで画像の類似度を判定する際に、特徴的な箇所を一律に照合する場合に比べて、類似度の精度を向上させることができる。
請求項2に係る発明によれば、領域の画像内の位置と優先度の関係付けがない場合に比べて、類似度の精度を向上させることができる。
請求項3に係る発明によれば、2つの画像における共通属性の領域の位置のずれと優先度の関係付けがない場合に比べて、類似度の精度を向上させることができる。
請求項4に係る発明によれば、領域に含まれる特徴的な箇所の特徴量の大きさと優先度の関係付けがない場合に比べて、類似度の精度を向上させることができる。
請求項5に係る発明によれば、画像を指定する際に用いられたアプリケーションプログラムで使用する際に役立ちやすい画像ほど、類似度が高いと判定することができる。
請求項6に係る発明によれば、文字列の編集及び画像の編集のどちらに用いるアプリケーションプログラムであっても、役立ちやすい画像ほど類似度が高いと判定することができる。
請求項7に係る発明によれば、指定された画像の内容と優先度の関連付けがない場合に比べて、類似度の精度を向上させることができる。
請求項8に係る発明によれば、指定された画像の内容が説明用資料、帳票又は図面のいずれであっても、類似度の精度を向上させることができる。
請求項9に係る発明によれば、指定する画像の特徴を最もよく表しているとユーザが考える領域の属性の優先度を最も高くして類似度を判定させることができる。
請求項10に係る発明によれば、特徴量の大きさが異なるグループと優先度の関連付けがない場合に比べて、類似度の精度を向上させることができる。
請求項11に係る発明によれば、印刷物に特有の箇所を除外しない場合に比べて、その特有の箇所が特徴的な箇所として検出されたため本来似ていない画像の類似度が高く判定されることを抑制することができる。
請求項12に係る発明によれば、全ての画像の類似度を判定する場合に比べて、類似度の判定に要する時間を短くすることができる。

図面の簡単な説明

0018

実施例に係る画像検索システムの全体構成を表す図
ユーザ装置ハードウェア構成を表す図
画像検索サーバ装置のハードウェア構成を表す図
画像検索システムが実現する機能構成を表す図
検出された特徴的な箇所の一例を表す図
分類された領域の一例を表す図
優先度テーブルの一例を表す図
画像検索処理における各装置の動作手順の一例を表す図
第2優先度テーブルの一例を表す図
第2優先度テーブルの別の一例を表す図
第3優先度テーブルの一例を表す図
第4優先度テーブルの一例を表す図
変形例の第1優先度テーブルの一例を表す図
変形例の第1優先度テーブルの一例を表す図
第5優先度テーブルの一例を表す図
変形例の画像検索サーバ装置が実現する機能構成を表す図
変形例の画像検索サーバ装置が実現する機能構成を表す図
変形例のユーザ装置が実現する機能構成を表す図

実施例

0019

[1]実施例
図1は実施例に係る画像検索システム1の全体構成を表す。画像検索システム1は、ユーザが指定した画像に類似する画像を検索するシステムである。画像検索システム1は、通信回線2と、ユーザ装置10と、画像検索サーバ装置20とを備える。

0020

通信回線2は、移動体通信網及びインターネット等を含む通信システムであり、自システムに接続される装置同士のデータのやり取りを仲介する。通信回線2には、画像検索サーバ装置20が有線通信で接続されており、ユーザ装置10が無線通信で接続されている。なお、通信回線2との接続は有線通信及び無線通信のどちらでもよい。

0021

ユーザ装置10は、ユーザが利用する情報処理装置であり、画像の表示及びユーザ操作受け付け等を行う。ユーザ装置10は、ユーザが類似画像を検索したい画像を指定する操作を行うと、指定された画像を画像検索サーバ装置20に送信する。画像検索サーバ装置20は、指定された画像に類似する画像を検索する情報処理装置である。画像検索サーバ装置20は、例えば検索対象の画像を外部からURL(Uniform Resource Locator)等を用いてアクセス可能な記憶領域に記憶しておく。

0022

画像検索サーバ装置20は、ユーザ装置10から送信されてきた画像と記憶している画像との類似度を算出し、算出した類似度が大きい方から定められた数の画像のサムネイル画像及びアクセス情報(画像にアクセスするための情報。例えばURL)を検索結果としてユーザ装置10に送信する。ユーザ装置10は、送信されてきたサムネイル画像及びアクセス情報の一覧を表示し、ユーザがいずれかのサムネイル画像を選択すると、画像検索サーバ装置20にアクセスしてその画像を読み込んで表示する。

0023

図2はユーザ装置10のハードウェア構成を表す。ユーザ装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、出力装置16とを備えるコンピュータである。プロセッサ11は、CPU(Central Processing Unit)等を備え、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、プログラム及びデータ等をストレージ13及び通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。

0024

メモリ12は、ROM(Read Only Memory)及びRAM(Random Access Memory)等のコンピュータが読み取り可能な記録媒体である。ストレージ13は、ハードディスクドライブ及びフラッシュメモリ等のコンピュータが読み取り可能な記録媒体である。通信装置14は、無線通信回線を介してコンピュータ間の通信を行う。通信装置14は、例えば移動体通信又は無線LAN規格準拠した無線通信を行う。

0025

入力装置15は、外部からの入力を受け付ける入力デバイスであり、ユーザ装置10においては例えばタッチセンサ、ボタン及びマイクロフォン等である。出力装置16は、外部への出力を実施する出力デバイスであり、例えば、ディスプレイ及びスピーカー等である。なお、ユーザ装置10は、入力装置15のタッチセンサ及び出力装置16のディスプレイが一体となったタッチスクリーンを備える。

0026

図3は画像検索サーバ装置20のハードウェア構成を表す。画像検索サーバ装置20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24とを備えるコンピュータである。これらはいずれも、図2に表す同名の各装置と共通するハードウェアである。

0027

画像検索システム1が備える各装置のプロセッサがプログラムを実行して各部を制御することで、以下に述べる機能が実現される。
図4は画像検索システム1が実現する機能構成を表す。ユーザ装置10は、画像指定操作受付部101と、指定画像送信部102と、検索結果表示部103とを備える。画像検索サーバ装置20は、検索対象画像蓄積部201と、画像取得部202と、特徴箇所検出部203と、属性別領域分類部204と、優先度規則記憶部205と、優先度設定部206と、特徴量算出部207と、画像情報蓄積部208と、類似度判定部209と、検索結果送信部210とを備える。

0028

画像検索サーバ装置20の検索対象画像蓄積部201は、画像検索システム1において検索対象となる画像を蓄積する。検索対象画像蓄積部201は、例えば、業務文書の画像、プレゼン資料の画像及び図面の画像等を示すデータを、各画像を識別する情報(例えばファイル名及びパスを示す情報、画像ID(Identification)等。本実施例では画像IDとする)に対応付けて記憶する。

0029

検索対象画像蓄積部201は、各画像を別々のフォルダに記憶し、1つ1つの画像に対して対応するURLでアクセス可能な状態で蓄積する。検索対象画像蓄積部201は、そのURLと、そのURLでアクセス可能な画像の画像IDと、その画像のサムネイル画像とを対応付けて記憶する。

0030

画像取得部202は、特徴量を算出する対象となる画像を取得する。画像取得部202は、例えば、検索対象画像蓄積部201が検索対象となる画像を新たに蓄積すると、その画像及び画像IDを画像取得部202に供給し、画像取得部202がその検索対象の画像及び画像IDを取得する。画像取得部202は、取得した検索対象の画像及び画像IDを特徴箇所検出部203及び属性別領域分類部204に供給する。

0031

特徴箇所検出部203は、画像の特徴的な箇所を検出する機能であり、本発明の「検出部」の一例である。画像の特徴的な箇所とは、例えば画像内のオブジェクト(文字、図形、写真及び絵等)の輪郭及び頂点コーナー)等である。特徴箇所検出部203は、画像取得部202から供給された画像の特徴的な箇所を、各種の周知の画像処理の技術を用いて検出する。

0032

画像処理の技術には、例えばSIFT(Scale-invariant feature transform)、SURF(Speed-Upped Robust Feature)、ORB、AKAZE(Accelerated KAZE)及びHOG(Histograms of Oriented Gradients)等がある(特徴的な箇所は、SIFT等では特徴点、HOGでは特徴領域と呼ばれる)。

0033

図5は検出された特徴的な箇所の一例を表す。図5(a)では、特徴的な箇所を検出する対象の画像の一例として、文字、図形及び地図が含まれた文書画像A1が表されている。図5(b)では、文書画像A1から特徴箇所検出部203が検出した複数の特徴的な箇所(丸で囲まれた箇所)B1が表されている。特徴箇所検出部203は、検出した特徴的な箇所を示す特徴箇所情報を、検出対象の画像の画像IDと共に優先度設定部206及び特徴量算出部207に供給する。

0034

特徴的箇所情報は、例えば、文書画像A1のいずれかの角を原点としたXY座標系における各特徴的な箇所B1の座標を示す情報である。なお、特徴的箇所情報は、それ以外にも、例えば、特徴的な箇所が円形の領域である場合にはその直径で表されてもよいし、特徴的な箇所の検出の際に角度、強度、検出レイヤー又はクラスIDが得られる場合には、それらの情報を含んで表されてもよい。

0035

特徴量算出部207は、画像の特徴的な箇所における特徴量を算出する。特徴量算出部207は、特徴箇所検出部203が用いた画像処理の技術を用いて、各特徴的な箇所についての特徴量を算出する。特徴量算出部207は、算出した特徴量を、算出対象の箇所の特徴箇所情報と、算出対象の画像の画像IDと共に画像情報蓄積部208及び類似度判定部209に供給する。

0036

属性別領域分類部204は、画像内の領域を属性が異なる複数の領域に分類する機能であり、本発明の「分類部」の一例である。領域の属性は、本実施例では、その領域に画像として表されている対象の性質によって定められる。この対象には、例えば、文字(言葉を表すという性質。アルファベット漢字ひらがな、数字等)、図形(幾何学的な形を表現するという性質。線、円、多角形等)、画(「え」と読む実在するもの又は想像上のものの姿及び形等を表現するという性質。写真、絵、図面、地図等)がある。

0037

属性別領域分類部204は、本実施例では、文字が表された文字領域、図形が表された図形領域及び画が表された画領域に画像内の領域を分類する。属性別領域分類部204は、例えば、特開2004−272557号公報に記載の技術等を用いて文字の領域を分類し、特開2005−309862号公報に記載の技術等を用いて図形の領域を分類し、残った領域から空白の領域を除いた領域を画領域として分類する。なお、属性別領域分類部204は、これら以外の周知の技術を用いて各領域を分類してもよい。

0038

図6は分類された領域の一例を表す。図6(a)では、図5(a)に表す文書画像A1が表されている。文書画像A1には、文字(タイトルC11、見出しC12、報告内容C13)、図形(棒グラフD11、折れ線グラフD12)及び画(日本地図E11)が含まれている。図6(b)では、文書画像A1について属性別領域分類部204が分類した文字領域F1、図形領域G1、画領域H1を表した分類領域画像A2が表されている。

0039

属性別領域分類部204は、タイトルC11を文字領域F11及び図形領域G11に分類し、見出しC12を文字領域F12及び図形領域G12に分類している。また、属性別領域分類部204は、報告内容C13を、文字領域F13、F14及び画領域H11に分類し、見出しC12を文字領域F15、F14及び図形領域G13、G14に分類している。また、属性別領域分類部204は、棒グラフD11を図形領域G15及び文字領域F17に分類し、折れ線グラフD12を図形領域G16及び文字領域F18に分類している。

0040

属性別領域分類部204は、画像内の領域を分類すると、分類した領域の範囲を表す領域範囲情報と、分類した領域(文字領域、図形領域、画領域)の属性を示す領域属性IDとを、分類対象の画像の画像IDと共に優先度設定部206及び画像情報蓄積部208に供給する。領域範囲情報は、例えば、前述したXY座標系において各領域の境界線を示す式の集合である。なお、領域範囲情報は、各領域に含まれる全画素のXY座標系における座標の集合であってもよい。

0041

画像情報蓄積部208は、検索対象の画像に関する情報(画像情報)として、その画像について特徴量算出部207により算出された特徴量と、その画像について属性別領域分類部204により分類された領域の領域範囲情報とを蓄積する。画像情報蓄積部208は、特徴量算出部207から供給された特徴量、特徴箇所情報、画像IDと、属性別領域分類部204から供給された領域範囲情報、領域属性ID及び画像IDとを、画像IDが共通するものについて互いに対応付けて記憶する。

0042

ユーザ装置10の画像指定操作受付部101は、類似画像を検索したい画像を指定する操作(指定操作)を受け付ける。指定操作は、ユーザ装置10が実行しているアプリケーションプログラムの画面上で行われる。本実施例では、画像検索サーバ装置20が画像検索用ウェブページを提供しており、ユーザ装置10がそのウェブページを表示したブラウザの画面上で指定操作(例えば類似画像を検索したい画像をアップロードする操作)が行われる。画像指定操作受付部101は、受け付けた操作により指定された画像(指定画像)を指定画像送信部102及び検索結果表示部103に供給する。指定画像送信部102は、供給された指定画像を画像検索サーバ装置20に送信する。

0043

画像検索サーバ装置20の画像取得部202は、ユーザ装置10から送信されてきた指定画像を、特徴量を算出する対象となる画像として取得すると、取得した指定画像を特徴箇所検出部203及び属性別領域分類部204に供給する。特徴箇所検出部203は、指定画像について上記と同じ方法で特徴的な箇所を検出すると、検出した指定画像の特徴箇所情報及び画像IDを優先度設定部206及び特徴量算出部207に供給する。

0044

特徴量算出部207は、指定画像について上記と同じ方法で特徴量を算出すると、算出した指定画像の特徴量、特徴箇所情報及び画像IDを類似度判定部209に供給する。属性別領域分類部204は、指定画像内の領域を上記と同じ方法で属性が異なる複数の領域に分類すると、分類した指定画像の領域範囲情報、領域属性ID及び画像IDを優先度設定部206及び画像情報蓄積部208に供給する。画像情報蓄積部208は、供給されたこれらの情報を蓄積する。

0045

優先度規則記憶部205は、上述した画像内の領域の属性とその領域の優先度とを関係付ける規則(優先度規則)を記憶する。優先度規則記憶部205は本発明の「記憶部」の一例である。本実施例では、優先度は、後述する類似度判定部209が2つの画像の類似度を判定する際に行う特徴的な箇所の照合において、照合結果に付与する重みを定めるための指標として用いられる。

0046

具体的には、優先度が高い領域に含まれる箇所の照合結果ほど大きな重みを付与する。これにより、優先度が高い領域が似ているほど類似度が高く判定されることになる。優先度規則記憶部205は、本実施例では、各領域(文字領域、図形領域、画領域)の属性と優先度とを対応付けた第1優先度テーブルを、優先度規則を表す情報として記憶する。

0047

図7は第1優先度テーブルの一例を表す。図7の例では、優先度規則記憶部205は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「3」、「2」及び「1」という優先度(「1」が最も高く「3」が最も低い)とを対応付けた第1優先度テーブルを記憶している。本実施例では、この第1優先度テーブルによって、画像内の領域の属性とその領域の優先度とが関係付けられている。優先度規則記憶部205は、後述する優先度設定部206から要求されると、記憶している第1優先度テーブルを優先度設定部206に供給する。

0048

優先度設定部206は、画像取得部202により取得された画像について検出された特徴的な箇所及び分類された領域と、優先度規則記憶部205に記憶されている優先度規則とに基づいて、それらの特徴的な箇所を含む領域の優先度を設定する。例えば図5に表す文書画像A1が取得された場合、分類された領域である文字領域F11〜F18、図形領域G11〜G16及び画領域H11にはいずれも特徴的な箇所が含まれている。

0049

優先度設定部206は、文書画像A1についての特徴箇所情報、画像IDが特徴箇所検出部203から供給され、領域範囲情報、領域属性ID、画像IDが属性別領域分類部204から供給されると、特徴的な箇所をそれぞれ含む文字領域、図形領域及び画領域の優先度を設定する。具体的には、優先度設定部206は、優先度規則記憶部205から第1優先度テーブルを読み出し、読み出した第1優先度テーブルで各領域の属性に対応付けられている優先度を、それらの領域の優先度として設定する。

0050

図7の例では、優先度設定部206は、「画領域」の優先度を「1」、「図形領域」の優先度を「2」、「文字領域」の優先度を「3」と設定する。このように、優先度設定部206は、画像内の領域の属性に優先度規則により関係付けられる優先度をその領域の優先度として設定する。優先度設定部206は、設定した優先度を示す優先度情報を類似度判定部209に供給する。

0051

類似度判定部209は、2つの画像について検出された特徴的な箇所を照合し、それら2つの画像の類似度を判定する。類似度判定部209は本発明の「判定部」の一例である。類似度判定部209は、詳細には、前述した特徴的な箇所の照合の結果に対し、特徴的な箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度を反映して、類似度を判定する。

0052

類似度判定部209は、本実施例では、前述したように、優先度が高い箇所の照合結果ほど大きな重みを付与して類似度を判定する。類似度判定部209は、特徴量算出部207から指定画像の特徴量、特徴箇所情報及び画像IDが供給されると、その画像IDに対応付けて画像情報蓄積部208に蓄積されている指定画像の領域範囲情報及び領域属性IDを読み出す。なお、指定画像の領域範囲情報及び領域属性IDは属性別領域分類部204から類似度判定部209に直接供給されてもよい。

0053

また、類似度判定部209は、画像情報蓄積部208に蓄積されている検索対象の画像を1つ選び、その画像の特徴量、特徴箇所情報、領域範囲情報、領域属性ID及び画像IDを読み出す。類似度判定部209は、読み出した指定画像と検索対象の画像について、読み出した特徴箇所情報及び特徴量に基づいて特徴的な箇所を照合する。その際に、類似度判定部209は、読み出した領域範囲情報及び領域属性IDに基づいて、各特徴的な箇所を含む領域の属性について設定された優先度に応じた重みをその箇所の特徴量に対して付与した上で、類似度を判定する。

0054

これにより、優先度が高い属性の領域にある特徴的な箇所の特徴量と優先度が低い属性の領域にある特徴的な箇所の特徴量とが同じ大きさであっても、前者の特徴量の方が大きな特徴量として扱われる。そのため、優先度が高い属性の領域が似ている方が、優先度が低い属性の領域が似ている場合よりも類似度が高くなる。類似度判定部209は、類似度を判定すると、次の検索対象の画像を1つ選び、その画像についても類似度を判定する。

0055

類似度判定部209は、判定した類似度を、例えば0に近いほど類似度が高い(同一画像だと0になる)ことを示す数値や、1に近いほど類似度が高い(同一画像だと1になる)ことを示す数値などで表す。類似度判定部209は、そうして蓄積されている検索対象の画像の全てについて類似度を判定すると、判定した類似度と、判定対象の画像の画像IDとを検索結果送信部210に供給する。

0056

検索結果送信部210は、類似度判定部209により判定された類似度を示す情報を検索結果として指定画像の送信元の装置(ユーザ装置10)に送信する。検索結果送信部210は、詳細には、類似度判定部209から類似度及び画像IDが供給されると、その画像IDに対応付けられたURL及びサムネイル画像を検索対象画像蓄積部201から読み出す。検索結果送信部210は、読み出したURL及びサムネイル画像と供給された類似度とを対応付けた検索結果情報を生成し、指定画像に類似する画像の検索結果としてユーザ装置10に送信する。

0057

ユーザ装置10の検索結果表示部103は、画像検索サーバ装置20による指定画像の検索結果を表示する。検索結果表示部103は、画像指定操作受付部101から供給された指定画像を表示し、画像検索サーバ装置20から検索結果情報が送信されてくると、その検索結果情報が示すサムネイル画像及びURLを、対応付けられている類似度が高いものから順番に並べて表示する。検索結果表示部103は、表示したサムネイル画像又はURLをユーザが選択すると、そのURLにアクセスし、選択された検索対象の画像を取得して表示する。

0058

画像検索システム1が備える各装置は、上記の構成に基づいて、指定画像に類似する画像を検索する画像検索処理を行う。
図8は画像検索処理における各装置の動作手順の一例を表す。この例では、検索対象の画像の特徴量及び特徴箇所情報等が既に蓄積されているものとする。図8の動作手順は、例えば、ユーザがユーザ装置10を操作して類似する画像を検索したい画像を指定する画像指定操作を行うことを契機に開始される。まず、ユーザ装置10(画像指定操作受付部101)は、その画像指定操作を受け付ける(ステップS11)。

0059

次に、ユーザ装置10(指定画像送信部102)は、指定された画像(指定画像)を画像検索サーバ装置20に送信する(ステップS12)。続いて、画像検索サーバ装置20(画像取得部202)は、送信されてきた指定画像を取得する(ステップS13)。次に、画像検索サーバ装置20(特徴箇所検出部203)は、指定画像の特徴的な箇所を検出する(ステップS14)。続いて、画像検索サーバ装置20(特徴量算出部207)は、指定画像の特徴的な箇所における特徴量を算出する(ステップS15)。

0060

次に、画像検索サーバ装置20(属性別領域分類部204)は、指定画像内の領域を属性が異なる複数の領域に分類する(ステップS16)。なお、ステップS16の動作はステップS14、S15より前に行われてもよいし、それらと並行して行われてもよい。続いて、画像検索サーバ装置20(優先度設定部206)は、取得された指定画像について検出された特徴的な箇所と分類された領域とに基づいて、それらの特徴的な箇所を含む領域の属性の優先度を優先度規則に基づいて設定する(ステップS17)。

0061

次に、画像検索サーバ装置20(類似度判定部209)は、指定画像及び検索対象の画像について検出された特徴的な箇所を照合し、それら2つの画像の類似度を判定する(ステップS18)。そして、画像検索サーバ装置20(検索結果送信部210)は、判定された類似度を示す検索結果情報を生成し(ステップS19)、生成した検索結果情報を指定画像の送信元のユーザ装置10に送信する(ステップS20)。ユーザ装置10(検索結果表示部103)は、送信されてきた検索結果を表示する(ステップS21)。

0062

本実施例では、2つの画像の類似度を判定する際に、それら2つの画像における照合対象を特徴的な箇所に絞り込むことで、全ての箇所を照合する場合に比べて画像同士の類似度判定を高速化している。また、本実施例では、優先度を設定することで、例えば図7等の例では、「画領域」の似ている画像が「文字領域」の似ている画像よりも高い類似度と判定されるようになっている。

0063

2つの画像の「文字領域」が似ていても1文字1文字を照合することは人の目では困難なので、それよりは人の目でも照合しやすい「画領域」が似ている画像同士の方が類似度が高いと感じやすい。本実施例においては、上記のとおり優先度を用いることで、このようにより似ていると感じやすい画像同士の類似度が高く判定されるので、特徴的な箇所を一律に照合する場合に比べて、判定される類似度の精度が向上して、類似度が高いほど似ている画像だと感じやすくなっている。

0064

[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。

0065

[2−1]領域の位置
類似判定に用いられる優先度は、実施例では、画像内の領域の属性に関係付けられていたが、属性以外の情報とも関係付けられていてもよい。本変形例では、優先度規則記憶部205が、画像内の領域の属性とその領域の優先度とを関係付ける他、その領域の画像内の位置とその領域の優先度とをさらに関係付ける優先度規則を記憶する。具体的には、優先度規則記憶部205は、例えば、図7に表す第1優先度テーブルに加え、各領域の位置と優先度とを対応付けた第2優先度テーブルを、優先度規則を表す情報として記憶する。

0066

図9は第2優先度テーブルの一例を表す。図9の例では、優先度規則記憶部205は、「左上」、「右上、左下」及び「右下」という領域の位置の優先度がそれぞれ「1」、「2」及び「3」と定められた第2優先度テーブルを記憶している。優先度設定部206は、属性別領域分類部204から供給された領域範囲情報に基づいて、分類された領域の位置を判断する。優先度設定部206は、例えば、画像を「左上」、「右上」、「左下」、「右下」の4つの分割領域に分け、分類された領域の重心が含まれる分割領域を分類された領域の位置と判断する。

0067

優先度設定部206は、例えば、共に供給された領域属性IDが示す属性に第1優先度テーブルで対応付けられている優先度と、判断した領域の位置に第2優先度テーブルで対応付けられている優先度との平均値を、その領域の優先度として設定する。例えば「図形領域」を属性とする領域が「左上」の分割領域に位置する場合は、優先度設定部206は、第1優先度テーブルで「図形領域」に対応付けられた「2」という優先度と第2優先度テーブルで「左上」に対応付けられた「1」という優先度との平均値である「1.5」をその領域の優先度として設定する。

0068

このように、優先度規則記憶部205が記憶する優先度規則を表す第1優先度テーブル及び第2テーブルは、領域の属性及びその領域の画像内の位置と、その領域の優先度とを関係付けている。類似度判定部209は、優先度設定部206により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部209は、照合する箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度と、その領域の位置に優先度規則により関係付けられるその領域の優先度とを反映して類似度を判定する。

0069

なお、本変形例の優先度規則は上記のものに限らない。
図10は第2優先度テーブルの別の一例を表す。図10に表す第2優先度テーブルでは、「左上」、「右上、左下」及び「右下」という領域の位置と「−1」、「0」及び「+1」という優先度補正値とが対応付けられている。「−1」は、領域の属性に基づき設定される優先度から「1」減じる補正をすること、すなわち優先度を1つ高くすることを意味し、「+1」は、領域の属性に基づき設定される優先度に「1」加える補正をすること、すなわち優先度を1つ低くすることを意味し、「0」は優先度を補正しないことを意味する。

0070

この場合、優先度設定部206は、領域属性IDが示す属性に第1優先度テーブルで対応付けられている優先度を、上記のとおり判断した領域の位置に第2優先度テーブルで対応付けられている優先度補正値で補正し、その領域の優先度として設定する。例えば「図形領域」を属性とする領域が「左上」の分割領域に位置する場合は、優先度設定部206は、第1優先度テーブルで「図形領域」に対応付けられた「2」という優先度を第2優先度テーブルで「左上」に対応付けられた「−1」という優先度補正値で補正した「1」をその領域の優先度として設定する。

0071

なお、「1」という優先度を「−1」という優先度補正値で補正する場合は、それ以上優先度を高くしないで「1」のままとしてもよいし、「0」として「1」よりも優先度が高いものとして扱ってもよい。図10に表す第2優先度テーブルも、図9に表す第2優先度テーブルと同じく、画像内の領域の画像内の位置とその領域の優先度とを関係付けている(領域の位置によって優先度を高めたり低くしたりするという関係)。

0072

コンピュータで扱われる画像では、画像内のオブジェクト(文字、図形、写真及び絵等)が左上から右下に向かって並べられ、重要なオブジェクトほど左上の近くに配置されることがある。また、重要なオブジェクトはその画像を特徴づける場合が多いので、重要なオブジェクトが似ている画像は、それ以外のオブジェクトが似ている画像に比べてより似ていると感じやすい。

0073

本変形例では、上記のとおり領域の位置に関係付けられた優先度を用いることで、このようにより似ていると感じやすい画像同士の類似度が高く判定されるので、領域の画像内の位置と優先度の関係付けがない場合に比べて、判定される類似度の精度が向上する。なお、優先度が高い位置を画像の左上ではなく画像の中央にしてもよいし、画像の上端の中央にしてもよい。要するに、ユーザが画像を見るときに注目しやすい位置ほど優先度を高くするとよい。

0074

[2−2]共通属性の領域の位置のずれ
類似判定に用いられる優先度は上記以外の情報と関係付けられてもよい。本変形例では、優先度規則記憶部205が、画像内の領域の属性とその領域の優先度とを関係付ける他、2つの画像における共通属性の領域の位置のずれの大きさとその領域の優先度とをさらに関係付ける優先度規則を記憶する。具体的には、優先度規則記憶部205は、例えば、図7に表す第1優先度テーブルに加え、共通属性の領域の位置のずれの大きさと優先度とを対応付けた第3優先度テーブルを、優先度規則を表す情報として記憶する。

0075

図11は第3優先度テーブルの一例を表す。図11の例では、優先度規則記憶部205は、「閾値Th1未満」、「閾値Th1以上閾値Th2未満」及び「閾値Th2以上」という共通属性の領域のずれの大きさの優先度がそれぞれ「1」、「2」及び「3」と定められた第3優先度テーブルを記憶している。本変形例では、類似度判定部209が類似度を判定する際に、指定画像及び検索対象の画像の領域範囲情報及びそれに対応付けられた領域属性IDを優先度設定部206に供給する。

0076

優先度設定部206は、供給された2つの画像の領域範囲情報のうち、対応付けられた領域属性IDが同じ領域範囲情報が示す領域の重心同士の距離を算出する。優先度設定部206は、例えば上述したXY座標系における重心の座標間の距離を算出する。優先度設定部206は、2つの画像のサイズ及び形状が同じ場合は重心間の距離をそのまま算出し、2つの画像のサイズ又は形状が異なる場合は、例えば同じサイズ及び形状に画像を加工した場合の座標に変換してから重心間の距離を算出する(画像を加工せずに重心間の距離を算出してもよい)。

0077

優先度設定部206は、例えば、その領域属性IDが示す属性に第1優先度テーブルで対応付けられている優先度と、算出した距離に第3優先度テーブルで対応付けられている優先度との平均値を、その領域の優先度として設定する。例えば指定画像及び検索対象の画像の両方に「図形領域」を属性とする領域があり、それらの領域の距離が閾値Th2以上である場合は、優先度設定部206は、第1優先度テーブルで「図形領域」に対応付けられた「2」という優先度と第3優先度テーブルで「閾値Th2以上」に対応付けられた「3」という優先度との平均値である「2.5」をその領域の優先度として設定する。なお、本変形例でも、図10の例のように、優先度補正値が用いられてもよい。

0078

類似度判定部209は、優先度設定部206により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部209は、照合する箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度と、その領域についての前述したずれの大きさ(2つの画像における共通属性の領域の位置のずれの大きさ)に優先度規則で関係付けられる優先度を反映して類似度を判定する。

0079

例えばいずれも写真が配置された2つの画像があった場合に、その写真の位置がどちらも左上である場合と、一方は左上で他方は右下である場合とでは、前者の方が似た画像だと感じやすい。このように、共通属性の領域の位置が近いほど2つの画像が似ていると感じやすいので、本変形例では、上記のとおり共通属性の領域の位置のずれに関係付けられた優先度を用いることで、このずれが小さくてより似ていると感じやすい画像同士の類似度が高く判定されるので、このずれと優先度の関連付けがない場合に比べて、判定される類似度の精度が向上する。

0080

[2−3]領域内の特徴量の大きさ
類似判定に用いられる優先度は上記以外の情報と関係付けられてもよい。本変形例では、優先度規則記憶部205が、画像内の領域の属性とその領域の優先度とを関係付ける他、その領域に含まれる特徴的な箇所の特徴量の大きさとその領域の優先度とをさらに関係付ける優先度規則を記憶する。具体的には、優先度規則記憶部205は、例えば、図7に表す第1優先度テーブルに加え、特徴量の大きさと優先度とを対応付けた第4優先度テーブルを、優先度規則を表す情報として記憶する。

0081

図12は第4優先度テーブルの一例を表す。図12の例では、優先度規則記憶部205は、「閾値Th11未満」、「閾値Th11以上閾値Th12未満」及び「閾値Th12以上」という特徴量の大きさの優先度がそれぞれ「3」、「2」及び「1」と定められた第4優先度テーブルを記憶している。本変形例では、類似度判定部209が類似度を判定する際に、例えば、指定画像の特徴量、特徴箇所情報及び領域範囲情報を優先度設定部206に供給する。

0082

優先度設定部206は、供給された情報が示す分類された領域のうち、その領域に含まれる特徴的な箇所の特徴量の合計を算出する。優先度設定部206は、例えば、その領域属性IDが示す属性に第1優先度テーブルで対応付けられている優先度と、算出した特徴量の合計に第4優先度テーブルで対応付けられている優先度との平均値(中央値最大値又は最小値等であってもよい)を、その領域の優先度として設定する。

0083

例えば指定画像に「図形領域」を属性とする領域があり、その領域に含まれる特徴的な箇所の特徴量の合計が閾値Th12以上である場合は、優先度設定部206は、第1優先度テーブルで「図形領域」に対応付けられた「2」という優先度と第4優先度テーブルで「閾値Th12以上」に対応付けられた「1」という優先度との平均値である「1.5」をその領域の優先度として設定する。

0084

なお、本変形例でも、図10の例のように、優先度補正値が用いられてもよい。また、上記の例では指定画像の領域についてだけ優先度を設定したが、検索対象の画像についてだけ優先度を設定してもよいし、両方の画像の領域について優先度を設定してもよい。また、特徴量の合計ではなく、特徴量の平均値を算出してもよいし、単位面積当たりの特徴量の合計を算出してもよい。要するに、領域に含まれる特徴的な箇所の特徴量が大きいほどその領域の優先度を大きくすればよい。

0085

類似度判定部209は、優先度設定部206により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部209は、照合する箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度と、その領域に含まれる特徴的な箇所の特徴量の大きさに優先度規則で関係付けられる優先度を反映して類似度を判定する。

0086

特徴量が大きい領域はその画像の特徴的な領域といえ、その特徴量が大きいほど、他の領域に比べて目立ちやすくなる。そのため、特徴量が大きい領域が似ている画像は、他の領域が似ている画像に比べて似ていると感じやすい。本変形例では、上記のとおり領域に含まれる特徴的な箇所の特徴量の大きさに関係付けられた優先度を用いることで、このようにより似ていると感じやすい画像同士の類似度が高く判定されるので、この特徴量と優先度の関連付けがない場合に比べて、判定される類似度の精度が向上する。

0087

[2−4]画像指定に用いるアプリケーションプログラム
類似する画像を検索したい画像を指定する際に用いられたアプリケーションプログラム(以下「アプリ」という)の種類によって異なる優先度が決定されてもよい。本変形例では、指定画像送信部102が、指定画像と共に、その指定画像の指定に用いられたアプリのアプリIDを送信する。

0088

指定に用いられるアプリとしては、例えば、ブラウザ、画像編集ソフトワープロソフトなどのプログラムである。アプリIDは、画像取得部202を介して優先度設定部206に供給される。優先度設定部206は、供給されたアプリIDが示すアプリの種類を、類似度の判定対象の画像を指定する際に用いられたアプリの種類として特定する。優先度設定部206は本発明の「特定部」の一例である。

0089

本変形例では、優先度規則記憶部205が、指定に用いられるアプリの種類毎に、画像内の領域の属性とその領域の優先度とを関係付ける優先度規則を記憶する。
図13は本変形例の第1優先度テーブルの一例を表す。図13の第1優先度テーブルは、アプリの種類が「ブラウザ」の場合は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「2」、「3」及び「1」という優先度とを対応付けている。

0090

また、第1優先度テーブルは、アプリの種類が「画像編集ソフト」の場合は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「3」、「2」及び「1」という優先度とを対応付け、アプリの種類が「文章編集ソフト」の場合は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「1」、「2」及び「3」という優先度とを対応付けている。

0091

このように、図13の例では、文字列の編集に用いるアプリの場合は画領域より文字領域の優先度を高くし、画像の編集に用いるアプリの場合は文字領域より画領域の優先度を高くするよう、領域の属性及び優先度が第1優先度テーブルによって関係付けられている。文字領域は本発明の「第1領域」の一例であり、画領域は本発明の「第2領域」の一例である。

0092

優先度設定部206は、供給されたアプリIDが示すアプリの種類及び領域属性IDが示す領域の属性に第1優先度テーブルで対応付けられている優先度を、その領域の優先度として設定する。優先度設定部206は、例えば画像編集ソフトを用いて指定された指定画像に文字領域を属性とする領域がある場合は、第1優先度テーブルで「画像編集ソフト」及び「文字領域」に対応付けられた「3」という優先度を設定する。

0093

一方、優先度設定部206は、文章編集ソフトを用いて指定された指定画像に文字領域を属性とする領域がある場合は、第1優先度テーブルで「文字編集ソフト」及び「文字領域」に対応付けられた「1」という優先度を設定する。類似度判定部209は、優先度設定部206により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部209は、照合する箇所を含む領域の属性及び特定されたアプリの種類に優先度規則により関係付けられるその領域の優先度を反映して類似度を判定する。

0094

例えばワープロソフトを利用しているときに画像の検索を行うのは、文章の編集に役立てようとするからであり、その場合は、文字が似ている画像の方が、画や図形が似ている画像よりも役立てやすい。一方、画像編集ソフトを利用しているときに画像の検索を行うのは、画像の編集に役立てようとするからであり、その場合は、画(写真、絵、図面、地図など)が似ている画像の方が、文字が似ている画像よりも役立てやすい。

0095

本変形例では、上記のとおり指定画像の指定に用いられたアプリの種類に関係付けられた優先度を用いることで、そのアプリで使用する際に役立ちやすい画像ほど、類似度が高いと判定されるようになっている。特に、図13に表す第1優先度テーブルを用いることで、文字列の編集及び画像の編集のどちらに用いるアプリであっても、そのアプリで役立ちやすい画領ほど類似度が高いと判定される。

0096

[2−5]画像の内容
類似する画像の検索では、会議での説明用資料(いわゆるプレゼン資料)、文書報告書、帳票及び図面等)、写真などの様々な内容の画像が指定されるが、指定された画像の内容によって異なる優先度が決定されてもよい。本変形例では、指定画像送信部102が送信した指定画像を示すファイルのファイル名が画像取得部202を介して優先度設定部206に供給される。

0097

本変形例では、優先度設定部206は、指定画像の内容を判定する。優先度設定部206は本発明の「内容判定部」の一例である。優先度設定部206は、例えば、供給されたファイル名に基づいて指定画像の内容を判定する。優先度設定部206は、指定画像のファイル名がプレゼン用のアプリで生成されるファイルの拡張子(「ppt」など)を含んでいれば、その指定画像の内容をプレゼン資料と判定する。

0098

優先度設定部206は、指定画像のファイル名が、帳票作成によく用いられるアプリ(表計算ソフトなど)で用いられる拡張子(「xls」など)を含んでいれば帳票と判定し、図面作成用のアプリで用いられる拡張子(「dwg」など)を含んでいれば図面と判定する。また、優先度設定部206は、指定画像のファイル名が、文書作成用のアプリで用いられる拡張子(「doc」など)を含んでいれば文書(帳票及び図面を除く)と判定し、写真で用いられる拡張子(「jpg」など)を含んでいれば画像と判定する。なお、優先度設定部206は、拡張子を用いる方法以外にも、周知の画像認識の技術(文字や罫線人物を抽出する技術など)を用いて画像の内容を判定してもよい。

0099

本変形例では、優先度規則記憶部205が、指定画像の内容毎に、画像内の領域の属性とその領域の優先度とを関係付ける優先度規則を記憶する。
図14は本変形例の第1優先度テーブルの一例を表す。図14の第1優先度テーブルは、画像の内容が「説明用資料」の場合は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「2」、「3」及び「1」という優先度とを対応付けている。

0100

また、第1優先度テーブルは、画像の内容が「文書(帳票、図面を除く)」の場合は、「文字領域」、「図形領域」及び「画領域」に、「1」、「2」及び「3」という優先度を対応付け、画像の内容が「帳票、図面」の場合は、「文字領域」、「図形領域」及び「画領域」に、「2」、「1」及び「3」という優先度を対応付け、画像の内容が「写真」の場合は、「文字領域」、「図形領域」及び「画領域」に、「2」、「3」及び「1」という優先度を対応付けている。

0101

このように、図14の例では、指定画像の内容がプレゼン資料の場合は文字領域より図形領域及び画領域の優先度を高くし、帳票、図面を除く文書の場合は図形領域及び画領域より文字領域の優先度を高くするよう、領域の属性及び優先度が関係付けられている。また、指定画像の内容が帳票及び図面の場合は文字領域及び画領域より図形領域の優先度を高くし、写真の場合は文字領域及び図形領域より画領域の優先度を高くするよう、領域の属性及び優先度が関係付けられている。図形領域は本発明の「第3領域」の一例である。

0102

優先度設定部206は、上記のとおり判定した画像の内容及び供給された領域属性IDが示す領域の属性に第1優先度テーブルで対応付けられている優先度を、その領域の優先度として設定する。優先度設定部206は、例えばプレゼン資料と判定した指定画像に画領域を属性とする領域がある場合は、第1優先度テーブルで「プレゼン資料」及び「画領域」に対応付けられた「1」という優先度を設定する。

0103

また、優先度設定部206は、帳票と判定した指定画像に文字領域を属性とする領域がある場合は、第1優先度テーブルで「帳票、図面」及び「文字領域」に対応付けられた「2」という優先度を設定する。類似度判定部209は、優先度設定部206により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部209は、照合する箇所を含む領域の属性及び判定された指定画像の内容に優先度規則により関係付けられるその領域の優先度を反映して類似度を判定する。

0104

類似する画像を検索する際には、指定画像と内容が同じ画像の方が、内容が異なる画像よりも似ていると感じやすい。本変形例では、上記のとおり指定画像の内容に関係付けられた優先度を用いることで、このように類似度が高いと感じやすい画像同士の類似度が高く判定されるので、指定画像の内容と優先度の関連付けがない場合に比べて、判定される類似度の精度が向上する。特に、図14に表す第1優先度テーブルを用いることで、指定画像の内容がプレゼン資料、帳票、図面、写真のどれであっても、判定される類似度の精度が向上する。

0105

[2−6]ユーザの属性選択
ユーザが優先したい領域の属性を選択してもよい。本変形例では、画像指定操作受付部101が、画像を指定する操作と共に、優先したい領域の属性を選択する操作を受け付ける。属性の選択操作は、例えば、指定画像のうち優先したい属性の領域を指し示す操作である(属性の一覧を表示して選択させる操作でもよい)。画像指定操作受付部101がこの選択操作を受け付けると、指し示された位置の座標情報及び指定画像が指定画像送信部102を介して画像検索サーバ装置20に送信され、画像取得部202を介して優先度設定部206に供給される。

0106

本変形例では、優先度規則記憶部205が、領域の属性のいずれかをユーザが選択した場合は、選択された属性の領域の優先度を他の領域の優先度よりも高くするよう、属性及び優先度を関係付ける優先度規則を記憶する。この優先度規則は、例えば、領域の属性をユーザが選択するという条件が満たされた場合に、その属性の優先度を最も高くすることを記述した設定データである。優先度設定部206は、供給された指定画像の領域範囲情報が示す領域の範囲にユーザが指し示した位置が含まれている場合に、その領域の属性の優先度を「1」と決定し、それ以外の属性の優先度を「2」以降と決定する。

0107

優先度設定部206は、例えば図7に表す第1優先度テーブルが用いられて且つ「図形領域」をユーザが指し示した場合、「文字領域」、「図形領域」、「画領域」の優先度が「3」、「2」、「1」であったところを、「図形領域」の優先度を「1」と設定し、「画領域」の優先度を繰り下げて「2」と設定する。類似度判定部209は、こうしてユーザによって選択された属性の優先度を反映して類似度を判定する。本変形例によれば、指定画像の特徴を最もよく表しているとユーザが考える領域の属性の優先度を最も高くして類似度が判定されることになる。

0108

[2−7]領域内のグループ化
分類された領域内に特徴的な箇所が複数ある場合に、それらの箇所を複数のグループに区分してもよい。本変形例では、優先度設定部206が、供給された領域範囲情報が示す範囲に含まれる全ての特徴的な箇所の特徴量を比較し、例えば特徴量の大きさが異なる複数のグループ(「大」、「中」、「小」グループなど)に各箇所を区分けする。優先度設定部206は本発明の「区分け部」の一例である。

0109

優先度規則記憶部205は、区分けされたグループ毎に、画像内の領域の属性とその領域の優先度とを関係付ける優先度規則を記憶する。具体的には、優先度規則記憶部205は、例えば、図7に表す第1優先度テーブルに加え、各グループと優先度とを対応付けた第5優先度テーブルを、優先度規則を表す情報として記憶する。

0110

図15は第5優先度テーブルの一例を表す。図15に表す第5優先度テーブルでは、「大」、「中」及び「小」というグループと「−0.3」、「0」及び「+0.3」という優先度補正値とが対応付けられている。優先度設定部206は、領域属性IDが示す属性に例えば図7に表す第1優先度テーブルで対応付けられている優先度を、上記のとおり区分けされたグループに第5優先度テーブルで対応付けられている優先度補正値で補正し、その領域の優先度として設定する。

0111

例えば「図形領域」を属性とする領域内で「大」のグループに区分けされた箇所については、優先度設定部206は、第1優先度テーブルで「図形領域」に対応付けられた「2」という優先度を第5優先度テーブルで「大」に対応付けられた「−0.3」という優先度補正値で補正した「1.7」をその箇所の優先度として設定する。類似度判定部209は、こうして設定された優先度、すなわち照合する箇所を含む領域の属性及びその箇所が属するグループに優先度規則で関係付けられる優先度を反映して類似度を判定する。

0112

分類された領域内でも、画像の特徴をよく表している箇所(特徴量が大きい箇所)と、そうでない箇所(特徴量が小さい箇所)とが混在する場合がある。一方、特徴量が大きい箇所が似ている画像は、特徴量が小さい箇所が似ている画像に比べてより似ていると感じやすい。本変形例では、上記のとおり特徴量の大きさが異なるグループに関連付けられた優先度を用いることで、より似ていると感じやすい画像同士の類似度が高く判定されるので、このグループと優先度の関連付けがない場合に比べて、判定される類似度の精度が向上する。

0113

なお、グループ分けの基準は特徴量の大きさに限らない。例えば、優先度設定部206は、特徴量の種類(角、端、交点など)でグループ分けしてもよいし、特徴的な箇所の色情報に基づいてグループ分けしてもよい。さらに、優先度設定部206は、領域の属性によってグループ分けの基準を変えてもよい。優先度設定部206は、例えば、文字領域では特徴量の種類でグループ分けし、画領域では特徴的な箇所の色情報に基づいてグループ分けしてもよい。

0114

[2−8]印刷物を読み取った画像
印刷部である原稿を読み取った(スキャンした)画像が指定画像として用いられる場合がある。その印刷物上の画像が網点スクリーン(小さな点のパターン)で表されている場合、原稿の読み取り精度が高いと、網点スクリーンを構成する点のうち比較的大きなものが特徴的な箇所として検出されることがある。

0115

また、印刷に伴う欠陥(版キズ地汚れなど)が印刷物上に現われている場合も、その欠陥が読み取った後の画像に現われ、特徴的な箇所として検出されることがある。本変形例では、画像に現われた印刷物に特有の箇所を除外して類似度が判定される。
図16は本変形例の画像検索サーバ装置20aが実現する機能構成を表す。画像検索サーバ装置20aは、図4に表す各部に加えて印刷特有箇所特定部211を備える。画像取得部202は、取得した指定画像及び検索対象の画像を印刷特有箇所特定部211に供給する。

0116

印刷特有箇所特定部211は、画像上に現われた印刷物に特有の箇所(特有箇所)を特定する。印刷特有箇所特定部211は、例えば、上述した網点スクリーンの比較的大きな点や印刷の欠陥の典型的な形、大きさ、色のパターンを予め記憶しておき、そのパターンが画像上で認識された場合に、そのパターンが配置されている部分を特有箇所として特定する。なお、印刷特有箇所特定部211は、これ以外の周知の技術を用いて特有箇所を特定してもよい。

0117

印刷特有箇所特定部211は、特定した特有箇所が表されている範囲を示す特有範囲情報を特徴箇所検出部203及び属性別領域分類部204に供給する。特有範囲情報は、例えば上述した領域範囲情報と同じように、XY座標系において特有箇所の境界線を示す式の集合で特有箇所の範囲を示す。特徴箇所検出部203は、特定された特有箇所を除いた部分において特徴的な箇所を検出する。属性別領域分類部204は、特定された特有箇所を除いた部分において画像内の領域を属性が異なる複数の領域に分類する。

0118

優先度設定部206は、こうして検出された特徴的な箇所及び分類された領域と優先度規則とに基づいて領域の優先度を設定する。その結果、類似度判定部209は、印刷物を読み取った画像(2つの画像のうちの少なくともいずれか)に印刷物に特有の箇所が現われている場合、その特有の箇所を除外してそれら2つの画像の類似度を判定する。これにより、上記の特有箇所(印刷物に特有の箇所)を除外しない場合に比べて、特有箇所が特徴的な箇所として検出されたため本来似ていない画像の類似度が高く判定されることが抑制される。

0119

[2−9]画像のレイアウト
画像のレイアウトが似ていなければ、画像全体としても似ていないと感じやすい。本変形例では、レイアウトが似ていない画像については検索対象から除いて類似度が判定される。
図17は本変形例の画像検索サーバ装置20bが実現する機能構成を表す。画像検索サーバ装置20bは、図4に表す各部に加えてレイアウト判断部212を備える。

0120

画像取得部202は、取得した指定画像及び検索対象の画像をレイアウト判断部212に供給する。レイアウト判断部212は、画像のレイアウトを判断する機能であり、本発明の「判断部」の一例である。レイアウト判断部212は、例えば属性別領域分類部204が用いた技術により文字領域、図形領域、画領域を特定し、それらの領域の形、大きさ、位置の組合せによりレイアウトを判断する。なお、レイアウト判断部212は、レイアウトを判断する他の周知の技術を用いてもよい。

0121

レイアウト判断部212は、判断したレイアウトを示すレイアウト情報を、判断対象の画像の画像IDと共に画像情報蓄積部208及び類似度判定部209に供給する。レイアウト情報は、例えば、XY座標系において各領域の境界線を示す式の集合である。画像情報蓄積部208は、供給された画像ID及びレイアウト情報を対応付けて蓄積する。

0122

類似度判定部209は、レイアウト判断部212により判断されたレイアウトが類似する2つの画像について類似度を判定する。つまり、類似度判定部209は、レイアウトが類似しない2つの画像については類似度を判定しない。類似度判定部209は、例えば、類似度を判定する2つの画像のレイアウト情報が示す各領域を比較し、その重複率が閾値を超えた場合にレイアウトが類似すると判断する。

0123

なお、類似度判定部209は、例えば一方の画像の1つの領域が他方の画像の2つの領域と重複している場合には、重複率を減じる補正をしてもよい。また、類似度判定部209は、一方の画像の領域が他方の画像の領域間の隙間と重複している面積の大きさに応じて重複率を減じる補正をしてもよい。また、類似度判定部209は、両画像の領域間の隙間同士の重複率が閾値を超えた場合にレイアウトが類似すると判断してもよい。類似度判定部209は、こうして指定画像とレイアウトが類似すると判断した検索対象の画像についてだけ、類似度を判定する。これにより、指定画像と全ての検索対象の画像との類似度を判定する場合に比べて、類似度の判定に要する時間が短くなる。

0124

[2−10]各部を実現する装置
図4に表す各機能を実現する装置は、図4に表された装置に限らない。例えばユーザ装置10及び画像検索サーバ装置20が備える各機能を1台の装置が実現してもよいし、それらの各機能を3以上の装置がそれぞれ分担して実現してもよい。また、画像検索サーバ装置20が備える機能をユーザ装置も備えていてもよい。

0125

図18は本変形例のユーザ装置10cが実現する機能構成を表す。ユーザ装置10cは、図4に表す各部に加えてを特徴箇所検出部203、属性別領域分類部204及び特徴量算出部207を備える。ユーザ装置10cは、これらの各部により、指定画像について特徴的な箇所の検出、領域の分類及び特徴量の算出を行い、その結果を指定画像と共に画像検索サーバ装置20に送信する。このように、画像検索システム全体として図4に表す各機能が実現されていれば、画像検索システムが何台の装置を備えていてもよいし、どの装置でどの機能が実現されてもよい。

0126

[2−11]優先度規則
実施例では、優先度規則記憶部205が予め優先度規則を記憶していたが、これに限らない。例えば、画像検索サーバ装置20とは異なる外部装置が優先度規則を記憶しておき、画像検索サーバ装置20の優先度設定部206が優先度を設定する際に、その外部装置にアクセスして優先度規則を読み出し、自装置のRAM等の記憶手段に一時的に記憶してから用いてもよい。その場合は、優先度規則を記憶するRAM等の記憶手段が本発明の「記憶部」の一例である。

0127

また、優先度規則は、上記の各例ではテーブル形式の情報であったが、これに限らず、例えば何らかの言語(一般的な言語やプログラム言語機械語など)を用いて記述された論理式等の情報であってもよい。要するに、画像検索サーバ装置20のように情報を処理する装置がその規則に従って優先度を設定できるのであれば、どのような情報が優先度規則として用いられてもよい。

0128

[2−12]優先度の用い方
実施例では、優先度が高いほど照合結果に付与する重みを重くして類似度が判定されたが、これに限らない。類似度判定部209は、例えば、優先度が低い箇所の照合結果は除外してもよく、言い換えると、優先度が或る基準よりも高い照合結果だけに絞り込んで類似度を判定してもよい。また、類似度判定部209は、優先度に基づいて照合結果を絞り込み、絞り込んだ照合結果にされに優先度に基づく重み付けをして類似度を判定してもよい。いずれの場合も、類似度が高い画像ほど、ユーザから見てもより似ている画像だと感じやすくなるように優先度が用いられればよい。

0129

[2−13]優先度
実施例では、優先度が「1」、「2」、「3」という数値で表されていたが、これに限らず、例えば「A」、「B」、「C」や「高」、「中」、「低」のように文字で表されてもよい。また、3段階ではなく2段階や4段階以上の優先度が表されてもよい。要するに、特徴的な箇所を照合する際の重み付け又は絞り込み等の指標として用いられれば、どのように優先度が表されてもよい。

0130

[2−14]発明のカテゴリ
本発明は、ユーザ装置及び画像検索サーバ装置という情報処理装置の他、それらの装置を備える情報処理システム(画像検索システム)としても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられる。その場合、各処理を実現する主体となる情報処理装置は複数に分かれていてもよい。また、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等の通信回線を介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。

0131

1…画像検索システム、10…ユーザ装置、101…画像指定操作受付部、102…指定画像送信部、103…検索結果表示部、20…画像検索サーバ装置、201…検索対象画像蓄積部、202…画像取得部、203…特徴箇所検出部、204…属性別領域分類部、205…優先度規則記憶部、206…優先度設定部、207…特徴量算出部、208…画像情報蓄積部、209…類似度判定部、210…検索結果送信部、211…印刷特有箇所特定部、212…レイアウト判断部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • オムロン株式会社の「 マッチング処理装置」が 公開されました。( 2019/08/08)

    【課題・解決手段】利活用対象のセンシングデータによる容易なセンサマッチングを行うマッチング処理部50が提供される。マッチング処理部50は、提供側端末11により入力された提供側センシングデータを取得する... 詳細

  • オムロン株式会社の「 検索用データ生成装置」が 公開されました。( 2019/08/08)

    【課題・解決手段】センサの検索精度を向上させることができる検索用データ生成装置が提供される。検索用データ生成装置50は、入力された、センシングデバイス20に関連する検索条件301から検索用データを取得... 詳細

  • 三菱電機株式会社の「 情報処理装置および情報処理方法」が 公開されました。( 2019/08/08)

    【課題・解決手段】情報処理装置(10)は、時系列データである入力データを取得するデータ取得部(101)と、時系列データである学習データから抽出した部分列である複数の学習部分列の中で類似する学習部分列を... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ