図面 (/)

技術 画像処理装置、画像検索装置及びプログラム

出願人 日本放送協会
発明者 望月貴裕藤井真人
出願日 2012年4月19日 (7年7ヶ月経過) 出願番号 2012-096104
公開日 2013年10月31日 (6年1ヶ月経過) 公開番号 2013-225180
状態 特許登録済
技術分野 イメージ処理・作成 検索装置 イメージ分析
主要キーワード 中央領 係数リスト 視覚的注意 ブロック重み 外縁領域 局所探索 初期設定位置 中央ブロック
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年10月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応する。

解決手段

画像処理装置は、画像を複数のブロックに分割するブロック分割部と、画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する矩形設定部と、矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する初期配置部と、配置された各ブロックを移動し、前記ブロック内の輝度値分散値局所的に小さくなる位置を決定する位置決定部と、位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する特徴量算出部と、を備える。

概要

背景

従来、画像の特徴量を算出して、算出した特徴量を後段の処理で用いる技術がある。例えば、画像上における色や模様などの特徴の配置情報を保持し、その配置情報を用いて画像検索が行われる。

このとき、格子状に分割された画像の各ブロック領域から画像特徴量を計算し、位置が対応するブロック領域同士で画像特徴量を比較する手法がある(特許文献1、2)。しかし、ブロックを固定的に分割する手法の場合、被写体は同じだが位置や大きさが異なる2枚の画像の類似度が低くなってしまうケースが生じる。

図1は、ブロックを固定的に分割する場合の問題点を説明するための図である。図1に示す例では、中央部にりんご撮影された画像im102と、3枚の画像(第一の画像im112、第二の画像im114、第三の画像im116)との類似度を算出する。

第一の画像im112は、画像im102と比較して、りんごの位置が移動している画像である。第二の画像im114は、画像im102と比較して、りんごが拡大されている画像である。第三の画像im116は、中央部にレモンが撮影された画像である。

図1に示す例で、ブロックを固定的に分割し、ブロック領域同士で類似度を算出する場合、第三の画像im116との類似度が最大となってしまう。この理由は、りんごの位置や大きさが異なる第一の画像im112や第二の画像im114では、類似度が小さくなり、第三の画像im116では、背景部分での類似度が大きいため、結果的に類似度が大きくなってしまうからである。

上記問題を解決するため、動的網モデルActive Netの変形を利用し、被写体と思われる領域の輪郭を追随してブロック領域を設定する手法がある(特許文献3)。

概要

画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応する。画像処理装置は、画像を複数のブロックに分割するブロック分割部と、画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する矩形設定部と、矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する初期配置部と、配置された各ブロックを移動し、前記ブロック内の輝度値分散値局所的に小さくなる位置を決定する位置決定部と、位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する特徴量算出部と、を備える。

目的

本発明は、上記問題点に鑑みてなされたものであり、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる画像処理装置、画像検索装置、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像を複数のブロックに分割するブロック分割部と、前記画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する矩形設定部と、前記矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する初期配置部と、配置された各ブロックを移動し、前記ブロック内の輝度値分散値局所的に小さくなる位置を決定する位置決定部と、位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する特徴量算出部と、を備える画像処理装置

請求項2

前記位置決定部は、前記配置された各ブロックに対し、前記矩形領域の中心方向に局所探索処理を行い、前記分散値が最も小さくなる位置を決定する請求項1記載の画像処理装置。

請求項3

前記初期配置部は、予め設定された中央領域に含まれる前記ブロックを中央ブロックとし、前記矩形領域を該中央ブロックの数の領域に分割し、分割された各領域の中心位置に、該領域に対応する前記中央ブロックの中心位置を配置する請求項1又は2記載の画像処理装置。

請求項4

前記複数のブロックに対して重み係数を算出する際、前記ブロックが前記中央ブロックである場合、前記顕著性マップが生成される際に求められた前記ブロック内の顕著性値を用いて前記重み係数を算出する重み係数算出部をさらに備える請求項3記載の画像処理装置。

請求項5

前記矩形設定部は、前記顕著性マップを生成する際に求められた顕著性値が所定値以上である画素を、所定個クラスタリングし、各クラスタを含む最小矩形を前記矩形領域に設定する請求項1乃至4いずれか一項に記載の画像処理装置。

請求項6

請求項1乃至5いずれか一項に記載の画像処理装置により複数の検索対象画像から算出された前記画像特徴量毎に、検索を要求された画像の前記画像特徴量との類似度を算出する類似度算出部と、前記類似度に基づいて画像検索を行う検索部と、を備える画像検索装置

請求項7

請求項4に記載の画像処理装置により複数の検索対象画像から算出された前記画像特徴量毎に、検索を要求された画像の前記画像特徴量との類似度を算出し、該類似度に前記重み係数により重み付けを行う類似度算出部と、前記類似度算出部により重み付けされた類似度に基づいて画像検索を行う検索部と、を備える画像検索装置。

請求項8

コンピュータに、画像を複数のブロックに分割する分割ステップと、前記画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する設定ステップと、前記矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する配置ステップと、配置された各ブロックを移動し、前記ブロック内の輝度値の分散値が局所的に小さくなる位置を決定する決定ステップと、位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する算出ステップと、を実行させるためのプログラム

技術分野

0001

本発明は、画像特徴を算出する画像処理装置画像検索装置及びプログラムに関する。

背景技術

0002

従来、画像の特徴量を算出して、算出した特徴量を後段の処理で用いる技術がある。例えば、画像上における色や模様などの特徴の配置情報を保持し、その配置情報を用いて画像検索が行われる。

0003

このとき、格子状に分割された画像の各ブロック領域から画像特徴量を計算し、位置が対応するブロック領域同士で画像特徴量を比較する手法がある(特許文献1、2)。しかし、ブロックを固定的に分割する手法の場合、被写体は同じだが位置や大きさが異なる2枚の画像の類似度が低くなってしまうケースが生じる。

0004

図1は、ブロックを固定的に分割する場合の問題点を説明するための図である。図1に示す例では、中央部にりんご撮影された画像im102と、3枚の画像(第一の画像im112、第二の画像im114、第三の画像im116)との類似度を算出する。

0005

第一の画像im112は、画像im102と比較して、りんごの位置が移動している画像である。第二の画像im114は、画像im102と比較して、りんごが拡大されている画像である。第三の画像im116は、中央部にレモンが撮影された画像である。

0006

図1に示す例で、ブロックを固定的に分割し、ブロック領域同士で類似度を算出する場合、第三の画像im116との類似度が最大となってしまう。この理由は、りんごの位置や大きさが異なる第一の画像im112や第二の画像im114では、類似度が小さくなり、第三の画像im116では、背景部分での類似度が大きいため、結果的に類似度が大きくなってしまうからである。

0007

上記問題を解決するため、動的網モデルActive Netの変形を利用し、被写体と思われる領域の輪郭を追随してブロック領域を設定する手法がある(特許文献3)。

先行技術

0008

特開平10−260983号公報
特開2001−319232号公報
特開2001−243249号公報

発明が解決しようとする課題

0009

しかしながら、被写体と思われる領域の輪郭を追随する手法は、複数の画像に対して画像特徴量を算出する際に以下の問題が考えられる。
・Active Netの形状に拘束条件がある。
大きな被写体の位置ずれに対しては、それを追随したブロック設定を行うことは難しい。
・ブロック設定位置が、初期設定位置の近傍における局所的画像特徴の変化の大きい場所となる。
あくまで近傍における変化の大きい場所を設定するので、被写体の輪郭を捉えていない可能性がある。

0010

よって、従来技術では、画像特徴量を算出する際に、被写体の輪郭を適切に捉えることができず、また、被写体の位置ずれが大きい場合には対応することができないという問題点があった。

0011

そこで、本発明は、上記問題点に鑑みてなされたものであり、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる画像処理装置、画像検索装置、及びプログラムを提供することを目的とする。

課題を解決するための手段

0012

本発明の一態様における画像処理装置は、画像を複数のブロックに分割するブロック分割部と、前記画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する矩形設定部と、前記矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する初期配置部と、配置された各ブロックを移動し、前記ブロック内の輝度値分散値が局所的に小さくなる位置を決定する位置決定部と、位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する特徴量算出部と、を備える。

0013

また、前記位置決定部は、前記配置された各ブロックに対し、前記矩形領域の中心方向に局所探索処理を行い、前記分散値が最も小さくなる位置を決定してもよい。

0014

また、前記初期配置部は、予め設定された中央領域に含まれる前記ブロックを中央ブロックとし、前記矩形領域を該中央ブロックの数の領域に分割し、分割された各領域の中心位置に、該領域に対応する前記中央ブロックの中心位置を配置してもよい。

0015

また、前記複数のブロックに対して重み係数を算出する際、前記ブロックが前記中央ブロックである場合、前記顕著性マップが生成される際に求められた前記ブロック内の顕著性値を用いて前記重み係数を算出する重み係数算出部をさらに備えてもよい。

0016

また、前記矩形設定部は、前記顕著性マップを生成する際に求められた顕著性値が所定値以上である画素を、所定個クラスタリングし、各クラスタを含む最小矩形を前記矩形領域に設定してもよい。

0017

また、上記の画像処理装置により複数の検索対象画像から算出された前記画像特徴量毎に、検索を要求された画像の前記画像特徴量との類似度を算出する類似度算出部と、前記類似度に基づいて画像検索を行う検索部と、を備える画像検索装置であってもよい。

0018

また、上記の画像処理装置により複数の検索対象画像から算出された前記画像特徴量毎に、検索を要求された画像の前記画像特徴量との類似度を算出し、該類似度に前記重み係数により重み付けを行う類似度算出部と、前記類似度算出部により重み付けされた類似度に基づいて画像検索を行う検索部と、を備える画像検索装置であってもよい。

0019

また、本発明の他の態様におけるプログラムは、コンピュータに、画像を複数のブロックに分割する分割ステップと、前記画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する設定ステップと、前記矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する配置ステップと、配置された各ブロックを移動し、前記ブロック内の輝度値の分散値が局所的に小さくなる位置を決定する決定ステップと、位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する算出ステップと、を実行させる。

発明の効果

0020

本発明によれば、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる。

図面の簡単な説明

0021

ブロックを固定的に分割する場合の問題点を説明するための図。
実施例1における画像処理装置の概略構成の一例を示すブロック図。
実施例1における画像処理装置の機能の一例を示すブロック図。
ブロック分割の例を示す図。
図4に示す画像の顕著性マップを示す図。
外縁領域の一例を示す図。
要素矩形の例を示す図。
ラベル付け後の要素矩形の例を示す図。
被写体矩形領域の例を示す図。
中央領域の一例を示す図。
中央ブロックの一例を示す図。
中央ブロックの初期配置の例を示す図。
決定されたブロック位置の例を示す図。
実施例1における画像特徴量算出処理の一例を示すフローチャート
実施例2における画像処理装置の機能の一例を示すブロック図。
実施例2における前処理の一例を示すフローチャート。
実施例2における検索処理の一例を示すフローチャート。
実施例2における重み付け類似度の算出処理の一例を示すフローチャート。

実施例

0022

以下、添付図面を参照しながら各実施例について詳細に説明する。

0023

[実施例1]
実施例1では、画像中央部のブロックを、その他のブロックとは独立して移動させることにより、被写体の位置ずれが大きい場合に対応できない問題を抑制する。また、実施例1では、ブロックの移動先となる被写体領域を求めるための情報として、画像全体における「目立つ領域」を表す「顕著性マップ」を用いることで、被写体の輪郭を捉えられないケースを減らす。

0024

「顕著性マップ」については、「L.Itti,C.Koch, and E.Niebur,“A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”,IEEE Transactions on Pattern Analysis and Machine Intelligence,VOl.20,No11,November 1998.」や特許公表2007−515009を参照されたい。

0025

<構成>
図2は、実施例1における画像処理装置10の概略構成の一例を示すブロック図である。図2に示すように、画像処理装置10は、制御部102、主記憶部104、補助記憶部106、ドライブ装置108、ネットワークI/F部110、入力部112、及び表示部114を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

0026

制御部102は、コンピュータの中で、各装置の制御やデータの演算、加工を行うCPUである。また、制御部102は、主記憶部104又は補助記憶部106に記憶された画像特徴量算出処理のプログラムを実行する演算装置である。制御部102は、入力部112や記憶装置からデータを受け取り、演算、加工した上で、表示部114や記憶装置などに出力する。

0027

主記憶部104は、ROM(Read Only Memory)やRAM(Random Access Memory)などである。主記憶部104は、制御部102が実行する基本ソフトウェアであるOS(Operating System)やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

0028

補助記憶部106は、HDD(Hard Disk Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

0029

ドライブ装置108は、記録媒体116、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

0030

また、記録媒体116に、所定のプログラムを格納し、この記録媒体116に格納されたプログラムはドライブ装置108を介して画像処理装置10にインストールされる。インストールされた所定のプログラムは、画像処理装置10により実行可能となる。

0031

ネットワークI/F部110は、有線及び/又は無線回線などのデータ伝送路により構築されたLAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して接続された周辺機器と画像処理装置10とのインターフェースである。

0032

入力部112は、カーソルキー数字入力及び各種機能キー等を備えたキーボード、表示部114の表示画面上でキーの選択等を行うためのマウススライドパッド等を有する。また、入力部112は、ユーザが制御部102に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

0033

表示部114は、LCD(Liquid Crystal Display)等により構成され、制御部102から入力される表示データに応じた表示が行われる。

0034

<機能>
次に、実施例1における画像処理装置10の機能について説明する。図3は、実施例1における画像処理装置10の機能の一例を示すブロック図である。図2に示す画像処理装置10は、画像特徴量算出部20を少なくとも有する。画像特徴量算出部20は、画像検索などの後段の画像処理に用いるための好適な画像特徴量を算出する。

0035

画像特徴量算出部20は、ブロック分割部202、矩形設定部204、初期配置部206、位置決定部208、重み係数算出部210、及び特徴量算出部212を少なくとも有する。

0036

画像特徴量算出部20は、例えば制御部102及びワークメモリとしての主記憶部104により実現されうる。

0037

ブロック分割部202は、入力された画像を複数のブロックに分割する。ブロック分割部202は、例えば、画像を格子状にM×N個のブロックに分割する。ブロック分割部202は、分割した各ブロックの位置を初期配置部206に通知する。

0038

矩形設定部204は、ブロック分割部202に入力された画像と同じ画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する。矩形設定部204は、顕著性マップ生成部242を有する。

0039

顕著性マップ生成部242は、画像から公知の技術を用いて顕著性マップを生成する。顕著性マップとは、色、輝度、方向などを考慮し、画像中の物体領域について視覚的注意が導かれる領域を可視化したマップである。顕著性マップ生成部242は、例えば、入力画像を階層ガウシアン画像展開し、階層間の差を取ることで周辺領域との違いの程度を算出する。以降では、周辺領域との違いの程度を、顕著性値ともいう。

0040

矩形設定部204は、顕著性マップ生成部242により生成された顕著性マップを生成する際に求められた顕著性値が所定値以上である画素を、所定個にクラスタリングし、各クラスタを含む最小矩形を矩形領域に設定する。矩形領域の設定の詳細については後述する。矩形設定部204は、設定した矩形領域を初期配置部206に出力する。

0041

初期配置部206は、設定された矩形領域を複数の領域に分割し、分割された各領域に対応するブロックを所定位置に配置する。所定位置は、例えばブロックに対する分割領域の中心位置である。この場合、初期配置部206は、分割された領域の中心位置に、この領域に対応するブロックの中心位置を配置する。

0042

また、初期配置部206は、予め設定された中央領域を含むブロックを中央ブロックとし、矩形領域を、この中央ブロックの数の領域に分割する。中央ブロックを用いる理由は、中央領域には被写体が含まれている可能性が高いからである。

0043

初期配置部206は、分割された各領域に対応する中央ブロックの中心位置を、領域の中心位置に配置してもよい。初期配置部206は、配置したブロックの位置を位置決定部208に出力する。

0044

位置決定部208は、初期配置部206により配置された各ブロックを移動し、ブロック内の輝度値の分散値が局所的に小さくなる位置を決定する。位置決定部208は、例えば、配置された各ブロックに対し、矩形領域の中心に向かって局所探索法を用いて輝度値の分散値が小さくなる位置を決定する。位置決定部208は、各ブロックの決定した位置を重み係数算出部210及び特徴量算出部212に出力する。

0045

重み係数算出部210は、重み係数算出の対象ブロックが、中央ブロックであるか否かで重み係数の算出方法を変える。重み係数算出部210は、対象ブロックが中央ブロックである場合、顕著性マップが生成される際に求められたブロック内の顕著性値を用いて重み係数を算出する。

0046

重み係数算出部210は、対象ブロックが中央ブロック以外のブロックである場合、重み係数を例えば1とする。重み係数の具体的な算出方法は後述する。重み係数算出部210は、各ブロックで算出した重み係数をリスト化し、このリストを重み係数リストとして保持する。なお、重み係数算出部210は、必ずしも必要な構成ではない。

0047

特徴量算出部212は、位置決定部208により位置が決定された各ブロックを含む複数のブロックの画像特徴量を算出する。画像特徴量は、例えば、色特徴を示す値や、モノクロ特徴(テクスチャ特徴)を示す値や、色特徴とテクスチャ特徴との組み合わせを示す値のいずれかである。

0048

色特徴を示す値としては、例えばRGB平均値ベクトル、又は色相ヒストグラムなどがある。モノクロ特徴を示す値としては、例えば平均輝度値エッジ画像の輝度値の合計を示すエッジ量、又はエッジ方向ヒストグラムなどがある。色特徴とテクスチャ特徴とを組み合わせを示す値としては、RGB平均値ベクトルとエッジ量の組み合わせ、又は色相ヒストグラムとエッジ方向ヒストグラムの組み合わせなどがある。

0049

特徴量算出部212は、上記のいずれかの値を算出し、各ブロックの画像特徴量を連結した画像特徴ベクトルをリスト化し、このリストを画像特徴ベクトルリストとして保持する。

0050

以上の機能構成を有することで、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる。なお、画像処理装置10は、図示していないが、重み係数リストや画像特徴ベクトルリストを記憶する記憶部を有する。

0051

<各処理>
次に、画像特徴量算出処理の各処理について具体的に説明する。

0052

《ブロック分割処理》
ブロック分割部202は、入力された画像I_dをM×Nのブロックに分割する。分割されたブロックをB(m,n)(m=0,1,2,・・・,M、n=0,1,2,・・・,N)とする。

0053

図4は、ブロック分割の例を示す図である。図4に示す例では、飛行機が撮影された画像im202と、が撮影された画像im204とに対し、ブロック分割が行われている。図4に示す例では、M=N=4である。

0054

《顕著性マップ生成処理
顕著性マップ生成部242は、入力された画像から顕著性マップを生成する。図5は、図4に示す画像の顕著性マップを示す図である。図5に示す画像im302が、画像im202の顕著性マップを表し、画像im304が、画像im204の顕著性マップを表す。図5に示す顕著性マップの各画素がその位置の「顕著性値」を表し、輝度の高さが顕著性値の大きさを表す。

0055

《矩形領域の設定処理
矩形設定部204は、生成された顕著性マップに対し、予め設定された外縁領域の顕著性値の平均値K_1を求める。図6は、外縁領域の一例を示す図である。図6に示す第一の領域ar102が外縁領域であり、第二の領域ar104が、被写体が存在する可能性が高い領域である。第二の領域を被写体存在領域とも呼ぶ。

0056

図6に示す外縁領域ar102は、顕著性マップの幅Wに対して、両端からW/8の領域、及び、顕著性マップの高さHに対して、両端からH/8の領域とする。図6に示す外縁領域はあくまでも一例であり、実験などにより適切な領域が設定されればよい。

0057

矩形設定部204は、被写体存在領域ar104内の画素のうち、以下の式(1)を満たす画素を求める。
顕著性値≧K_1+α ・・・式(1)
α:オフセット値
矩形設定部204は、求めた画素を、P_1,P_2,・・・,P_hと設定する。画素P_1,P_2,・・・,P_hは、まとめて画素Pと表記する。

0058

矩形設定部204は、求めた画素Pを、各画素の座標位置に基づいて所定個Lにクラスタリングする。所定個Lは、設定変更可能であり、適切な値が設定されればよい。クラスタリング結果の各クラスタは、C_1,C_2,・・・,C_Lと設定される。

0059

矩形設定部204は、各クラスタC_i(i=1,2,・・・,L)に属する全ての画素を外接して囲むことができる最小の矩形を求め、その矩形をR_iとする。

0060

矩形設定部204は、各矩形R_iについて、顕著性マップ上における矩形内の顕著性値の平均値を求め、次の式(2)を満たす場合、矩形R_iを削除する。
矩形R_iの顕著性値の平均値<K_1+β ・・・式(2)
β:オフセット値
矩形設定部204は、削除されずに残った矩形をR’_1,R’_2,・・・,R’_L’とする。以降では、残った矩形を要素矩形とも呼ぶ。

0061

図7は、要素矩形の例を示す図である。図7に示す例では、画像im302には、要素矩形R’_1〜R’_4の4個の要素矩形があり、画像im304には、要素矩形R’_1〜R’_6の6個の要素矩形がある。

0062

矩形設定部204は、要素矩形に対し、最も近接した要素矩形の辺同士の距離が閾値d_th以下であれば、その近接した要素矩形に同じ数値ベルを付与する。このとき、付与された数値ラベルを1,2,・・・,J_dとする。閾値d_thは、予め設定される所定値であり、実験などにより適切な値が設定される。

0063

図8は、ラベル付け後の要素矩形の例を示す図である。図8に示す画像im302では、J_d=1であり、全ての要素矩形に同じラベルが付与される。図8に示す画像im304では、J_d=2であり、要素矩形が2つに分けられる。

0064

矩形設定部204は、同じラベルの要素矩形を全て包含する最小の矩形領域jを設定する。以降では、この矩形領域jを被写体矩形領域jとも呼ぶ。

0065

図9は、被写体矩形領域の例を示す図である。図9に示す画像im302では、ラベル1の要素矩形を全て含む被写体矩形領域ar302が設定される。図9に示す画像im304では、ラベル1の要素矩形全てを含む被写体矩形領域ar304が設定され、ラベル2の要素矩形全てを含む被写体矩形領域ar306が設定される。被写体矩形領域の数は、ラベルの最大値と同じである。

0066

初期配置処理
初期配置部206は、分割されたブロックB(m,n)のうち、中央領域に含まれるブロックを、B_c(m’,n’)(m’=1,・・・,M’、n’=1,・・・,N’)と設定する。以降では、B_c(m’,n’)を中央ブロックとも呼ぶ。

0067

図10は、中央領域の一例を示す図である。図10に示す中央領域は、画像の幅Wに対して、両端からW/4の領域、及び、画像の高さHに対して、両端からH/4の領域とする。なお、図10に示す中央領域の例は一例であり、ブロック分割の数に応じて設定されてもよい。

0068

図11は、中央ブロックの一例を示す図である。図11に示す例では、図4に示す画像im202の各ブロックに対し、図10に示す中央領域に含まれる中央ブロックB_c(m’,n’)を表す。

0069

図11に示す例では、m’=n’=2である。図11に示す例では、中央ブロックにつて、B_c(m’,n’)=B(m’+1,n’+1)が成り立つ。

0070

初期配置部206は、被写体矩形領域を格子状にm’×n’個の領域r(m’,n’)に分割する。初期配置部206は、領域r(m’,n’)の中心に、B_c(m’,n’)の中心がくるようにB_c(m’,n’)を配置する。

0071

図12は、中央ブロックの初期配置の例を示す図である。図12に示す各画像の各被写体矩形領域内の点は、分割された領域r(m’,n’)の中心位置を示す。図12に示すように、中央ブロックB_c(m’,n’)の中心位置が、対応する領域r(m’,n’)の中心位置にくるように、初期配置部206により移動される。

0072

位置決定処理
位置決定部208は、初期配置された各中央ブロックB_c(m’,n’)について、被写体矩形領域jの中心に近づく方向の近傍を探索し、中央ブロック内の輝度値の分散値が低い方向に位置をずらす。位置決定部208は、現在の位置よりも輝度値の分散値が低い位置がない場合は探索を終了する。

0073

位置決定部208は、位置が決定した各中央ブロックを含む全ブロックの位置を決定する。中央ブロック以外のブロックは、元のブロック位置に決定される。

0074

図13は、決定されたブロック位置の例を示す図である。図13に示すように、被写体部分のブロックは、被写体に追随している。これにより、比較的大きな位置ずれにも対応することができる。

0075

《重み係数算出処理》
重み係数算出部210は、各ブロックB(m,n)について、後段の処理の画像検索で使用する重み係数w(m,n)を次の式により算出する。
(1)B(m,n)が中央ブロックである場合
w’=(ブロック領域内の顕著性の平均値)/(K_1+γ)
w’<1.0の場合 w(m,n)=1.0
そうでない場合 w(m,n)=w’
γ:オフセット値
(2)B(m,n)が中央ブロックでない場合
w(m,n)=1.0
重み係数算出部210は、重み係数w(m,n)を並べたベクトル[w(1,1),w(2,1),…,w(M,N)]を重み係数ベクトルW_d(j)とし、重み係数ベクトルリストWL_dに追加する。

0076

特徴量算出処理
特徴量算出部212は、各ブロックB(m,n)について、ブロック領域内の画像特徴ベクトルv(m,n)を計算する。v(m,n)の例としては、上記で説明したいずれかの特徴である。画像特徴ベクトルとしては、例えば色特徴や、モノクロ特徴(テクスチャ特徴)や、色特徴とテクスチャ特徴との組み合わせを用いることができる。

0077

特徴量算出部212は、全ての画像特徴ベクトルv(m,n)を連結したベクトル[v(1,1),v(2,1),…,v(M,N)]を入力画像I_dの画像特徴ベクトルV_d(j)とし、画像特徴ベクトルリストVL_dに追加する。

0078

これにより、画像特徴量算出部20は、各入力画像I_dに対して、画像特徴ベクトルリストVL_d、及び重み係数ベクトルリストWL_dを算出することができる。

0079

<動作>
次に、実施例1における画像処理装置10の動作について説明する。図14は、実施例1における画像特徴量算出処理の一例を示すフローチャートである。図14に示す処理は、1つの画像に対して行われる処理である。

0080

ステップS101で、ブロック分割部202は、入力画像I_dを複数のブロックに分割する。分割されたブロックはB(m,n)と表記する。

0081

ステップS102で、顕著性マップ生成部242は、入力画像I_dから公知の技術を用いて顕著性マップを生成する。

0082

ステップS103で、矩形設定部204は、顕著性マップを用いて被写体を含む矩形領域を設定する。矩形領域の設定については上述した通りである。設定した矩形領域の数は、J_d(≧1)で表される。被写体がない場合は、J_dは0である。

0083

ステップS104で、画像特徴量算出部20は、矩形領域の数を表す変数jに1を設定し、画像特徴ベクトルリストVLを空集合にし、重み係数ベクトルリストWLを空集合にする。

0084

ステップS105で、初期配置部206は、矩形領域jを、例えば中央ブロックの数(M’×N’)になるように格子状に分割する。分割された領域はr(m’,n’)と表記する。

0085

ステップS106で、初期配置部206は、各中央ブロックB_c(m’,n’)の中心位置が、対応する領域r(m’,n’)の中心位置にくるように各中央ブロックを配置する。

0086

ステップS107で、位置決定部208は、各中央ブロックB_c(m’,n’)について、矩形領域jの中心に近づく方向に、例えば局所探索法を用いて輝度値の分散値が小さくなる方向に位置をずらす。位置決定部208は、現在の位置より輝度値の分散値が小さくならなければ探索を終了する。

0087

ステップS108で、重み係数算出部210は、各ブロックB(m,n)について重み係数w(m,n)を算出する。重み係数算出部210は、重み係数を並べたベクトルを重み係数ベクトルW_d(j)とし、リストWL_dに追加する。

0088

ステップS109で、特徴量算出部212は、各ブロックB(m,n)について画像特徴量を算出する。画像特徴量として例えば画像特徴ベクトルv(m,n)を算出する。特徴量算出部212は、全てのv(m,n)を連結したベクトルを入力画像I_dの画像特徴ベクトルV_d(j)とし、リストVL_dに追加する。

0089

ステップS110で、画像特徴量算出部20は、jに1を加算する。ステップS111で、画像特徴量算出部20は、j>J_dであるか否かを判定する。j>J_dであれば(ステップS110−YES)算出処理を終了し、j>J_dでなければ(ステップS110−NO)ステップS105に戻り、他の矩形領域で画像特徴を算出する。

0090

なお、ステップS103の処理で、矩形領域が設定されなければ、この算出処理を終了するようにしておけばよい。ステップS101の処理と、ステップS102〜S103の処理は、順不同である。

0091

以上、実施例1によれば、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる
[実施例2]
次に、実施例2における画像処理装置について説明する。実施例2では、実施例1で求められた画像特徴量を用いて画像検索を行う。これにより、被写体の位置ずれが大きい場合や、被写体が拡縮されている場合でも、適切に画像検索を行うことができるようになる。実施例2における画像処理装置は、画像検索装置として機能する。

0092

<構成>
実施例2における画像処理装置の構成は、図2に示す構成と同様であるため、同じ符号を用いて説明する。

0093

<機能>
図15は、実施例2における画像処理装置10の機能の一例を示すブロック図である。図15に示す画像処理装置10は、対象画像記憶部302、前処理部304、リスト記憶部306、及び検索処理部308を少なくとも有する。

0094

前処理部304及び検索処理部308は、例えば制御部102及びワークメモリとしての主記憶部104により実現されうる。対象画像記憶部302及びリスト記憶部306は、例えば補助記憶部106や主記憶部104などにより実現されうる。

0095

対象画像記憶部302は、複数の検索対象画像を記憶する。検索対象画像をI_1,I_2,・・・,I_D(D:検索対象画像の数)とする。

0096

前処理部304は、対象画像記憶部302に記憶される各検索対象画像から、実施例1で説明した画像特徴量を求める。前処理部304は、実施例1の画像特徴量算出部20を有する。前処理部304は、画像I_dに対し、画像特徴ベクトルリストVL_d=={V_d(1),・・・,V_d(J_d)}を算出する。「J_d」は、画像I_dの被写体矩形領域の数である。

0097

リスト記憶部306は、前処理部304で算出された各画像の画像特徴ベクトルリストVL_dを記憶する。

0098

検索処理部308は、検索を要求された画像I_Q(以下、要求画像とも呼ぶ)が入力され、要求画像の画像特徴量を算出し、検索対象画像との類似度を算出し、検索結果を出力する。検索処理部308は、画像特徴量算出部20、類似度算出部382、及び検索部384を有する。

0099

画像特徴量算出部20は、実施例1と同様にして、要求画像に対して画像特徴量を算出する。算出した画像特徴量は、類似度算出部382に出力される。

0100

類似度算出部382は、要求画像I_Qの画像特徴ベクトルリストVL_Qと、リスト記憶部306に記憶されている画像特徴ベクトルリストVL_dとの類似度を算出する。また、類似度算出部382は、算出したブロック毎の類似度に、実施例1で算出された重み係数を用いて重み付けしてもよい。類似度算出部382は、算出された各類似度を検索部384に出力する。

0101

検索部384は、類似度算出部382から取得した類似度、又は重み付けされた類似度に基づいて画像検索を行う。例えば、検索部384は、類似度が高い上位R枚の検索対象画像を対象画像記憶部302から取得し、このR枚の検索対象画像を検索結果とする。

0102

また、検索部384は、上位R枚の検索対象画像に類似度の高い順に順位をつけて表示したり、類似度が所定値以上の検索対象画像を検索結果としたりしてもよい。

0103

<各処理>
次に、検索処理の各処理について具体的に説明する。

0104

類似度算出処理
類似度算出部382は、要求画像I_Qの画像特徴ベクトルリストVL_Qのj番目の画像特徴ベクトルV_Q(j)と、検索対象画像I_dの画像特徴ベクトルリストVL_dのj’番目の画像特徴ベクトルV_d(j’)との類似度を求める。
V_Q(j)=[v_q(1,1),v_q(2,1),…,v_d(M,N)]
V_d(j’)=[v_d(1,1),v_d(2,1),…,v_d(M,N)]
類似度算出部382は、全てのm,n(m=1,…,M,n=1,…,N)について、v_q(m,n)とv_d(m,n)の類似度s(m,n)を計算する。この類似度は、ベクトル同士の内積など、0〜1の範囲の値をとる一般的なものである。類似度は、値が大きいほど類似性が高い。

0105

類似度算出部382は、類似度s(m,n)に対して重み係数を用いて重み付けを行い、重み付けした類似度S(j,d,j’)を、以下の式により算出する。

0106

ここで、w(m,n)は、I_Qのブロック重み係数リストWL_Q={W_Q(1),…,W_Q(J_Q)}のj番目のベクトル
W_Q(j)=[w(1,1),w(2,1),…,w(M,N)]
のn×M+m番目の要素(ブロック領域B(m,n)の重み係数)である。

0107

類似度算出部382は、算出されたS(j,d,j’)(j=1,・・・,J_Q、j’=1,・・・,J_d)の中の最大値をS’(d)とする。類似度算出部382は、算出したS’(d)を検索部384に出力する。

0108

《検索処理》
検索部384は、全ての検索対象画像の類似度S’(d)を取得すると、類似度S’(d)の高い上位R枚の検索対象画像I_d1,I_d2,・・・,I_dRを検索結果として出力する。

0109

これにより、色や模様の配置などの画像全体の類似性を保持しながら、被写体の位置ずれや大きさの違いによる類似度の低下を抑制した画像検索を行うことができる。

0110

<動作>
次に、実施例2における画像処理装置10の動作について説明する。図16は、実施例2における前処理の一例を示すフローチャートである。図16に示すステップS201で、前処理部304は、検索対象画像数の変数を表すdに1を代入する。

0111

ステップS202で、前処理部304は、画像I_dに対し、画像特徴ベクトルリストVL_d=={V_d(1),・・・,V_d(J_d)}を算出する。

0112

ステップS203で、前処理部304は、dに1を加算する。ステップS204で、前処理部304は、d>D(D:検索対象画像の数)であるかを判定する。d>Dであれば(ステップS204−YES)前処理を終了し、d>Dでなければ(ステップS204−NO)ステップS202に戻る。これにより、検索対象画像全てで、画像特徴ベクトルリストが生成される。

0113

図17は、実施例2における検索処理の一例を示すフローチャートである。図17に示すステップS301で、画像特徴量算出部20は、要求画像I_Qを入力する。

0114

ステップS302で、画像特徴量算出部20は、要求画像I_Qから、画像特徴ベクトルリストVL_Q及び重み係数リストWL_Qを算出する。

0115

ステップS303で、類似度算出部382は、dに1を代入する。ステップS304で、類似度算出部382は、要求画像I_Qの被写体矩形領域の数を表す変数jに1を代入する。ステップS305で、類似度算出部382は、検索対象画像I_dの被写体領域矩形の数を表す変数j’に1を代入する。

0116

ステップS306で、類似度算出部382は、V_Q(j)とV_d(j’)との類似度S(j、d、j’)を算出する。この算出処理は、図18を用いて説明する。

0117

ステップS307で、類似度算出部382は、j’に1を加算する。ステップS308で、類似度算出部382は、j’>J_d(J_d:画像I_dの被写体矩形領域の数)であるかを判定する。j’>J_dであれば(ステップS308−YES)ステップS309に進み、j’>J_dでなければ(ステップS308−NO)ステップS306に戻る。

0118

ステップS309で、類似度算出部382は、jに1を加算する。ステップS310で、類似度算出部382は、j>J_Q(J_Q:画像I_Qの被写体矩形領域の数)であるかを判定する。j>J_Qであれば(ステップS310−YES)ステップS311に進み、j>J_Qでなければ(ステップS310−NO)ステップS305に戻る。

0119

ステップS311で、類似度算出部382は、S(j、d、j’)の最大値をS’(d)に設定する。これにより、検索対象画像I_dに対応する類似度は、S’(d)に設定される。

0120

ステップS312で、類似度算出部382は、dに1を加算する。ステップS313で、d>Dであるかを判定する。d>Dであれば(ステップS313−YES)ステップS314に進み、d>Dでなければ(ステップS313−NO)ステップS304に戻る。

0121

ステップS314で、検索部384は、類似度S’(d)が高い上位R枚の検索対象画像I_d1,I_d2,・・・,I_dRを検索結果として表示部114などに出力する。

0122

図18は、実施例2における重み付け類似度の算出処理の一例を示すフローチャートである。図18に示すステップS401で、類似度算出部382は、mに1を代入する。ステップS402で、類似度算出部382は、nに1を代入する。

0123

ステップS403で、類似度算出部382は、v_q(m,n)とv_d(m,n)との類似度s(m,n)を算出する。

0124

ステップS404で、類似度算出部382は、nに1を加算する。ステップS405で、類似度算出部382は、n>Nであるかを判定する。n>Nであれば(ステップS405−YES)ステップS406に進み、n>Nでなければ(ステップS405−NO)ステップS403に戻る。

0125

ステップS406で、類似度算出部382は、mに1を加算する。ステップS407で、類似度算出部382は、m>Mであるかを判定する。m>Mであれば(ステップS407−YES)ステップS408に進み、m>Mでなければ(ステップS407—NO)ステップS402に戻る。

0126

ステップS408で、類似度算出部382は、式(3)を用いて類似度S(j、d、j’)を算出する。

0127

以上、実施例2によれば、色や模様の配置などの画像全体の類似性を保持しながら、被写体の位置ずれや大きさの違いによる類似度の低下を抑制した画像検索を行うことができる。

0128

なお、実施例2では、実施例1で求めた画像特徴量を画像検索に用いる場合について説明したが、この画像特徴量を大量画像の分類処理などにも適用することができる。また、実施例2における対象画像記憶部302、前処理部304、及びリスト記憶部306と、検索処理部308とは、別々の装置に設けられてもよい。

0129

なお、上記の画像処理装置10で実行されるプログラムは、実施例で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部102が補助記憶部106からプログラムを読み出して実行することにより上記各部のうち1又は複数の各部が主記憶部104上にロードされ、1又は複数の各部が主記憶部104上に生成されるようになっている。

0130

また、上述した実施例で説明した画像特徴量算出処理又は検索処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像特徴量算出処理又は検索処理を実現することができる。

0131

また、このプログラムを記録媒体116に記録し、このプログラムが記録された記録媒体116をコンピュータや携帯端末に読み取らせて、前述した処理を実現させることも可能である。

0132

なお、記録媒体116は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

0133

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記実施例以外にも種々の変形及び変更が可能である。

0134

10画像処理装置
20画像特徴量算出部
102 制御部
104主記憶部
106補助記憶部
202ブロック分割部
204矩形設定部
206初期配置部
208位置決定部
210重み係数算出部
212特徴量算出部
242顕著性マップ生成部
302対象画像記憶部
304 前処理部
306リスト記憶部
308検索処理部
382類似度算出部
384検索部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ