図面 (/)

技術 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

出願人 株式会社リコー
発明者 岩崎雅二郎
出願日 1998年12月21日 (23年0ヶ月経過) 出願番号 1998-363462
公開日 2000年7月4日 (21年6ヶ月経過) 公開番号 2000-187731
状態 拒絶査定
技術分野 イメージ分析 画像処理 検索装置
主要キーワード ビン単位 検索実行命令 問合せ画像 エッジフィルタ 色特徴 形状特徴 データ分布 定義式
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2000年7月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

画像から特徴量を抽出する際の作業の自動化を図り、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出できるようにすること。

解決手段

用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、画像の色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴を表す特徴量として抽出する際に、色空間として、人間が有する色の感覚に即した色空間であり、かつ、人間が有する色の感覚に即した単位の領域に分割された色空間を用いる。

概要

背景

近年、コンピュータ技術画像処理技術の発達に伴って、大量の電子画像蓄積して画像データベース構築する試みが盛んに行われている。画像データベースを構築する際に重要となるのは、大量に蓄積した画像の中から利用したい画像を簡単に得ることができるようにするための画像検索方法である。

画像検索方法の一つとして、各画像に言葉を用いた検索キーを付与し、文書検索と同様な方法で入力されたキーワードと画像に付された検索キーとを照合し、キーワードに一致する検索キーが付された画像を検索結果として返すというものがある。

ところが、人間が画像から受ける印象は人によって異なるため、画像に付された検索キーがその画像から人間が受ける印象を全て言い表しているとは言えず、従って言葉による検索キーを用いた画像検索では満足な画像を得ることができない場合が多い。なぜなら、画像中に登場する人間,動物建物等の事物(以下「オブジェクト」と定義する)の形状特徴位置関係については、適切な言葉で表現することができない場合が多いからである。

そのため、キーワードと言葉による検索キーとを照合することによって画像を検索するのではなく、検索条件として特定の画像(以下「問合せ画像」と記述する)を与え、問合せ画像に類似する画像を画像データベースの中から検索できるようにすることが望ましい。このような検索方法を実現するために、問合せ画像および検索対象の画像からそれぞれ画像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と検索対象の画像の特徴量との類似性を判定し、問合せ画像の特徴量と類似する特徴量を有する画像を検索結果として返すという方法が提案されている。つまり、この画像検索方法は、特徴間の類似性を画像自体の類似性と考えることによって、類似する画像を検索するというものである。

このような検索方法を開示するものとして以下の二つの論文がある。第1の論文には、画像そのものを解析し、各画像の特徴量として画像の色(色のヒストグラム),テクスチャ,オブジェクトの形状等を抽出してデータベース化しておき、画像を検索する際に、データベース化した画像の特徴量を指定することによって、指定した特徴量を有する画像を得るという検索方法が開示されている(Myron Flickner et al, “Query by Image and Video Content: The QBIC System, "Computer, September 1995, pp23-32)。

また、第2の論文には、シリンダー状に分割したHSVの色空間を用いて各画像の色のヒストグラムを生成し、生成した色のヒストグラムを各画像の特徴量として用いることにより、類似する画像を検索する方法が開示されている(John R. Smith and Shih-Fu Chang,“Tools and Techniques for Color Image Retrieval,"SPIE, Vol. 2670, pp426-437)。

概要

画像から特徴量を抽出する際の作業の自動化を図り、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出できるようにすること。

用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、画像の色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴を表す特徴量として抽出する際に、色空間として、人間が有する色の感覚に即した色空間であり、かつ、人間が有する色の感覚に即した単位の領域に分割された色空間を用いる。

目的

本発明は上記に鑑みてなされたものであって、画像から画像の特徴を表す特徴量を抽出する際に、画像から特徴量を抽出する作業の自動化を図り、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出できるようにすることを目的とする。

また、本発明は上記に鑑みてなされたものであって、人間の類似感覚に即した画像の特徴量を抽出し、人間の類似感覚に即した検索結果を得ることができるようにすることによって、画像検索精度の向上を図ることを目的とする。

さらに、本発明は上記に鑑みてなされたものであって、画像から色のヒストグラムを画像の特徴量として抽出する際に、人間の色の感覚に即して色空間を複数の領域に分割することにより、色空間の分割数を最小限に抑え、色のヒストグラムを用いた画像検索速度の高速化を図ることを目的とする。

効果

実績

技術文献被引用数
6件
牽制数
12件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、前記画像の色のヒストグラムを生成し、生成した色のヒストグラムを前記画像の特徴を表す特徴量として抽出する画像特徴抽出方法において、前記色空間は、人間が有する色の感覚に即した色空間であり、かつ、人間が有する色の感覚に即した単位の領域に分割されたものであることを特徴とする画像特徴抽出方法。

請求項2

前記色空間は、複数の領域に分割された双円錐状のHSV空間であることを特徴とする請求項1に記載の画像特徴抽出方法。

請求項3

用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、前記画像の色のヒストグラムを生成し、生成した色のヒストグラムを前記画像の特徴を表す特徴量として抽出する画像特徴抽出方法において、前記各領域に属する画素の数に対して、他の領域に属する画素の数を領域間の色の類似度に応じてそれぞれ累積し、累積後の前記各領域に属する画素の数に基づいて、前記色のヒストグラムを生成することを特徴とする画像特徴抽出方法。

請求項4

用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、前記画像の色のヒストグラムを生成し、生成した色のヒストグラムを前記画像の特徴を表す特徴量として抽出する画像特徴抽出方法において、前記領域の代表色を予め設定しておき、前記各画素の色および各領域の代表色の類似度を求め、求めた類似度に応じて前記各領域に属する画素の数を決定することを特徴とする画像特徴抽出方法。

請求項5

用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する画像特徴抽出方法において、前記抽出したオブジェクトの外形に沿って等間隔でポイントを設定し、隣接するポイント間を結ぶ直線がなす角度の変位を求め、求めた角度の変位を前記オブジェクトの特徴量として抽出することを特徴とする画像特徴抽出方法。

請求項6

用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する画像特徴抽出方法において、前記画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、前記クラスタリングにより得られたクラスタのうち、前記画像中の予め定められた領域に最も多く出現する色を含むクラスタを前記画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる前記画像の領域を前記オブジェクトとして抽出することを特徴とする画像特徴抽出方法。

請求項7

前記予め定められた領域は、前記画像の左上および右上に該当する領域であることを特徴とする請求項6に記載の画像特徴抽出方法。

請求項8

前記請求項1〜5のいずれか一つに記載の画像特徴抽出方法を用いて、前記抽出したオブジェクトの特徴量を抽出することを特徴とする請求項6または7に記載の画像特徴抽出方法。

請求項9

前記請求項1〜8のいずれか一つに記載の画像特徴抽出方法の各工程をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体

技術分野

0001

本発明は、画像からその特徴を表す特徴量を抽出する画像特徴抽出方法に関し、より詳細には、画像から画像の特徴を表す特徴量を抽出する際に、人間の類似感覚に即した画像の特徴量を抽出できるようにすると共に、画像から特徴量を抽出する作業の自動化を図った画像特徴抽出方法に関する。

背景技術

0002

近年、コンピュータ技術画像処理技術の発達に伴って、大量の電子画像蓄積して画像データベース構築する試みが盛んに行われている。画像データベースを構築する際に重要となるのは、大量に蓄積した画像の中から利用したい画像を簡単に得ることができるようにするための画像検索方法である。

0003

画像検索方法の一つとして、各画像に言葉を用いた検索キーを付与し、文書検索と同様な方法で入力されたキーワードと画像に付された検索キーとを照合し、キーワードに一致する検索キーが付された画像を検索結果として返すというものがある。

0004

ところが、人間が画像から受ける印象は人によって異なるため、画像に付された検索キーがその画像から人間が受ける印象を全て言い表しているとは言えず、従って言葉による検索キーを用いた画像検索では満足な画像を得ることができない場合が多い。なぜなら、画像中に登場する人間,動物建物等の事物(以下「オブジェクト」と定義する)の形状特徴位置関係については、適切な言葉で表現することができない場合が多いからである。

0005

そのため、キーワードと言葉による検索キーとを照合することによって画像を検索するのではなく、検索条件として特定の画像(以下「問合せ画像」と記述する)を与え、問合せ画像に類似する画像を画像データベースの中から検索できるようにすることが望ましい。このような検索方法を実現するために、問合せ画像および検索対象の画像からそれぞれ画像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と検索対象の画像の特徴量との類似性を判定し、問合せ画像の特徴量と類似する特徴量を有する画像を検索結果として返すという方法が提案されている。つまり、この画像検索方法は、特徴間の類似性を画像自体の類似性と考えることによって、類似する画像を検索するというものである。

0006

このような検索方法を開示するものとして以下の二つの論文がある。第1の論文には、画像そのものを解析し、各画像の特徴量として画像の色(色のヒストグラム),テクスチャ,オブジェクトの形状等を抽出してデータベース化しておき、画像を検索する際に、データベース化した画像の特徴量を指定することによって、指定した特徴量を有する画像を得るという検索方法が開示されている(Myron Flickner et al, “Query by Image and Video Content: The QBIC System, "Computer, September 1995, pp23-32)。

0007

また、第2の論文には、シリンダー状に分割したHSVの色空間を用いて各画像の色のヒストグラムを生成し、生成した色のヒストグラムを各画像の特徴量として用いることにより、類似する画像を検索する方法が開示されている(John R. Smith and Shih-Fu Chang,“Tools and Techniques for Color Image Retrieval,"SPIE, Vol. 2670, pp426-437)。

発明が解決しようとする課題

0008

しかしながら、上記第1の論文に開示された画像検索方法によれば、様々な画像の特徴量を利用して画像検索を行うことが可能ではあるが、画像から特徴量を抽出し、抽出した特徴量を基に画像間の類似度を判定する場合に、人間が判断する類似度の尺度を十分に網羅しておらず、検索の精度が低いという問題点があった。例えば、オブジェクトの形状特徴として抽出される特徴量にあっては、オブジェクトがどの程度円に近いか(円形度)、オブジェクトがどの方向に扁平しているか(セントラルモーメント)という特徴を表現しているに過ぎない。つまり、抽出した特徴が大まかなものであり、画像中のオブジェクトを見て人間が受け取る細かな印象を的確に表現した画像検索を行うことはできず、検索結果に多くのノイズが含まれる可能性がある。

0009

また、上記第1の論文においては、オブジェクトの形状を画像の特徴量として画像検索を行うことが可能であるが、画像からオブジェクトを抽出する際に、ユーザが画像中に存在するオブジェクトのエッジ軌跡を指定する作業を行う必要があり、画像から特徴量を抽出する作業に手間がかかるという問題点もあった。画像中のオブジェクトは人間が画像を見た際に最も注目するものの一つであり、画像中のオブジェクトの形状を画像の特徴量として抽出して画像の検索に利用することにより、人間が画像から得た印象に基づいて高精度な画像検索を行うことが可能となる。ところが、オブジェクトの抽出のために人手を要することになると、大量の画像を蓄積した画像データベースを構築するために大変な労力と時間を要する作業となる。

0010

さらに、上記第2の論文においては、画像から色のヒストグラムを画像の特徴量として抽出する際に用いるHSVの色空間を単純にシリンダー状に分割しているため、無駄に分割された領域が発生してデータ量の増大を招いているという問題点があった。具体的に、色空間の分割数が少ないと、互いに類似しない色も類似する色と判定されることから、画像の類似度を判定する際の精度が悪くなるという問題点がある。一方、色空間の分割数が多すぎると、色のヒストグラムのデータ量が多くなりすぎ、画像の類似度を算出する処理に時間を要するという問題点がある。加えて、色空間の分割数が多すぎると、人間が同一または類似と感じる色が非類似と判定されるという問題点がある。この第2の論文に開示された方法は、色空間の分割数が多すぎる場合に該当し、類似度の算出に時間を要するという問題と、人間が感じる色の感覚が十分考慮されていないという問題とを含んでいる。

0011

つまり、従来の技術においては、画像から抽出する特徴量に対し、人間が画像から受ける印象が十分反映されておらず、また、画像から特徴量を抽出する処理に人手を要する等、人間の使いやすさを考えた作業環境が提供されていないといえる。また、従来の技術においては、画像から抽出する特徴について人間が画像から受ける印象が十分考慮されいないため、人間が思うような検索結果を得ることは難しいといえる。換言すれば、従来の技術においては、作業の主体として人間を主眼に置いておらず、ユーザ・フレンドリーな作業環境が提供されていない。なぜなら、作業の利便性を図るためには人手を要することなく画像から特徴量を抽出できるようにすべきであり、抽出した特徴量は人間の類似感覚に即したものであって、人間が与えた検索条件(問合せ画像)に一致または類似する画像を人間の類似感覚で判断できるようにすべきであると考えられるからである。

0012

本発明は上記に鑑みてなされたものであって、画像から画像の特徴を表す特徴量を抽出する際に、画像から特徴量を抽出する作業の自動化を図り、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出できるようにすることを目的とする。

0013

また、本発明は上記に鑑みてなされたものであって、人間の類似感覚に即した画像の特徴量を抽出し、人間の類似感覚に即した検索結果を得ることができるようにすることによって、画像検索精度の向上を図ることを目的とする。

0014

さらに、本発明は上記に鑑みてなされたものであって、画像から色のヒストグラムを画像の特徴量として抽出する際に、人間の色の感覚に即して色空間を複数の領域に分割することにより、色空間の分割数を最小限に抑え、色のヒストグラムを用いた画像検索速度の高速化を図ることを目的とする。

課題を解決するための手段

0015

上記目的を達成するため、請求項1の画像特徴抽出方法は、用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、前記画像の色のヒストグラムを生成し、生成した色のヒストグラムを前記画像の特徴を表す特徴量として抽出する画像特徴抽出方法において、前記色空間として、人間が有する色の感覚に即した色空間であり、かつ、人間が有する色の感覚に即した単位の領域に分割された色空間を用いるものである。

0016

また、請求項2の画像特徴抽出方法は、請求項1に記載の画像特徴抽出方法において、前記色空間が、複数の領域に分割された双円錐状のHSV空間であるものである。

0017

また、請求項3の画像特徴抽出方法は、用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、前記画像の色のヒストグラムを生成し、生成した色のヒストグラムを前記画像の特徴を表す特徴量として抽出する画像特徴抽出方法において、前記各領域に属する画素の数に対して、他の領域に属する画素の数を領域間の色の類似度に応じてそれぞれ累積し、累積後の前記各領域に属する画素の数に基づいて、前記色のヒストグラムを生成するものである。

0018

また、請求項4の画像特徴抽出方法は、用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、前記画像の色のヒストグラムを生成し、生成した色のヒストグラムを前記画像の特徴を表す特徴量として抽出する画像特徴抽出方法において、前記領域の代表色を予め設定しておき、前記各画素の色および各領域の代表色の類似度を求め、求めた類似度に応じて前記各領域に属する画素の数を決定するものである。

0019

また、請求項5の画像特徴抽出方法は、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する画像特徴抽出方法において、前記抽出したオブジェクトの外形に沿って等間隔でポイントを設定し、隣接するポイント間を結ぶ直線がなす角度の変位を求め、求めた角度の変位を前記オブジェクトの特徴量として抽出するものである。

0020

また、請求項6の画像特徴抽出方法は、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する画像特徴抽出方法において、前記画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、前記クラスタリングにより得られたクラスタのうち、前記画像中の予め定められた領域に最も多く出現する色を含むクラスタを前記画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる前記画像の領域を前記オブジェクトとして抽出するものである。

0021

また、請求項7の画像特徴抽出方法は、請求項6に記載の画像特徴抽出方法において、前記予め定められた領域を、前記画像の左上および右上に該当する領域としたものである。

0022

また、請求項8の画像特徴抽出方法は、請求項6または7に記載の画像特徴抽出方法において、前記請求項1〜5のいずれか一つに記載の画像特徴抽出方法を用いて、前記抽出したオブジェクトの特徴量を抽出するものである。

0023

さらに、請求項9のコンピュータ読み取り可能な記録媒体は、前記請求項1〜8のいずれか一つに記載の画像特徴抽出方法の各工程をコンピュータに実行させるためのプログラムを記録したものである。

発明を実施するための最良の形態

0024

以下、本発明に係る画像特徴抽出方法の実施の形態について、添付の図面を参照しつつ詳細に説明する。なお、以下の実施の形態においては、画像検索システムの一機能として本発明の画像特徴抽出方法を説明することにする。

0025

〔実施の形態1〕図1は、実施の形態1に係る画像特徴抽出方法を実現する画像検索システムのブロック構成図である。図1に示す画像検索システム100は、パーソナルコンピュータワークステーションで構成されており、全体を制御するCPU101と、ブートプログラム等を記憶したROM102と、CPU101のワークエリアとして使用されるRAM103と、問合せ画像,検索実行命令等の入力を行うためのキーボード104およびマウス105と、例えば検索結果の画像を表示するためのCRT液晶ディスプレイ等のモニタ106と、本発明の画像特徴抽出方法の各工程を実行する機能を有した画像検索ソフト107,複数の画像が登録された画像DB108,画像DB108中の画像から抽出した特徴量が登録された画像特徴DB109等を記憶したハードディスク110と、画像を入力するためのスキャナディジタルカメラを接続するためのインターフェイス(I/F)111と、インターネットやLANのようなネットワーク112に画像検索システム100を接続するためのネットワーク・アダプタ113と、上記各部を接続するバス114と、を備えている。

0026

図2は、図1に示した画像検索システム100において実行される処理を示すブロック図である。処理の詳細な内容については後述するが、図2において、ユーザ・インターフェイス(U/I)部151は、ユーザに対して画像検索を行うための検索条件入力画面検索結果表示画面等を表示して、検索条件の入力,検索結果の出力処理等を実行する。特徴抽出エンジン152は、画像DB108に登録する画像および問合せ画像から画像の特徴量を抽出する処理を実行する。この特徴抽出エンジン152によって実行される処理が本発明の対象となる。さらに、検索エンジン153は、問合せ画像から抽出された特徴量と画像特徴DB109に登録された特徴量とを比較し、問合せ画像の特徴に該当する特徴を有する画像を検索する処理を実行する。

0027

なお、図2において、U/I部151,特徴抽出エンジン152および検索エンジン153は、図1に示した画像検索ソフト107を構成するモジュールを意味している。そして、これら各部による処理は、図1に示したCPU101が画像検索ソフト107を実行することによって実現される。

0028

つぎに、前述した構成を有する画像検索システム100による画像特徴抽出処理について、
(1)画像登録処理および画像検索処理の概略
(2)色特徴抽出処理
の順で説明する。

0029

(1)画像登録処理および画像検索処理の概略
まず、画像登録処理および画像検索処理の概略について説明することにより、例として、本発明に係る画像特徴抽出方法が用いられる場面を説明する。

0030

画像検索システム100は、複数の画像が登録された画像DB108から問合せ画像に類似する画像を検索する処理を実行する。すなわち、画像同士の類似性に基づいて画像を検索する処理を実行する。ここでの類似性とは、画像から抽出した何らかの特徴量がどの程度類似しているかを意味する。

0031

図3は、画像検索システム100において実行される画像登録処理の概略を示すフローチャートである。図2に示した特徴抽出エンジン152は、U/I部151を介して登録対象となる画像を入力する(S101)。入力する画像は、例えば、スキャナで読み取った画像,ディジタルカメラで撮像した画像,ネットワーク112を介してダウンロードした画像,予めハードディスク110に記憶されていた画像等、いかなるものであっても良い。そして、特徴抽出エンジン152は、入力した画像からその画像の特徴量を抽出する処理を実行する(S102)。このステップS102において、本発明の画像特徴抽出処理が適用されることになる。なお、抽出される特徴量がいかなるものであるかについては後に詳細に説明する。

0032

その後、特徴抽出エンジン152は、画像DB108に登録する元の画像に関連付けて、抽出した特徴量を画像特徴DB109に登録する(S103)。

0033

なお、画像検索の高速化という観点から、画像DB108に登録する画像については、登録時に予め画像の特徴量を抽出して画像特徴DB109に登録しておくことが好ましい。ただし、画像検索時に検索対象の各画像から画像の特徴量を抽出することにする場合には、予め画像の特徴量を抽出しておく必要はない。

0034

図3に示した処理を実行することにより、画像DB108に登録された画像は抽出した特徴量に応じて図4に示す特徴空間マップされる。また、画像検索時においては、後述するように問合せ画像から画像の特徴量を抽出し、図4に示す特徴空間にマップする。図4に示すポイント(黒点)は、特徴空間にマップされた画像を示し、問合せ画像のポイントと各画像のポイント間の距離が画像の類似度となる。

0035

図5は、画像検索システム100において実行される画像検索処理の概略を示すフローチャートである。ここでは、検索対象となる画像DB108中の全ての画像の特徴量が画像特徴DB109に登録されているものとする。

0036

図2の特徴抽出エンジン152は、U/I部151を介して問合せ画像を入力し(S201)、図3のステップS102と同様に、入力した問合せ画像から画像の特徴量を抽出する(S202)。このステップS202において、本発明の画像特徴抽出処理が適用されることになる。その後、特徴抽出エンジン152は、抽出した問合せ画像の特徴量を検索エンジン153に渡す(図4の特徴空間にマップする)。

0037

検索エンジン153は、図4に示す特徴空間にマップされた問合せ画像のポイントと検索対象の画像のポイントとの間の距離を演算し、問合せ画像と検索対象の画像との類似度を求める(S203)。

0038

ここで、画像の特徴量の多くはベクトルデータであり、類似度であるポイント間の距離の計算には一般にユークリッド距離などのベクトルの距離定義式が利用される。また、画像の特徴量の種類に合わせて独自の距離を定義することもできる。

0039

そして、U/I部151は、検索エンジン153によって求められた類似度を入力し、入力した類似度に基づいて検索結果を表示する(S204)。例えば、U/I部151は、検索エンジン153から入力した類似度に基づいて、検索結果の画像を類似度順に並べたリストを生成し、サムネイル画像と共にモニタ106に表示する。

0040

なお、画像DB108中に登録されていると共に、既に画像の特徴量が画像特徴DB109に登録されている画像を問合せ画像として用いる場合については、図5のステップS202の処理をスキップすることができる。

0041

(2)色特徴抽出処理
続いて、本発明の特徴である画像特徴抽出処理について具体的に説明する。実施の形態1においては、画像を構成する色の特徴(色のヒストグラム)を画像の特徴量として抽出する処理について説明する。

0042

画像同士の類似性を判断する尺度の一つとして、画像を構成する色は重要な特徴量の一つである。様々なオブジェクトが混在するような自然画像の場合には、一つのオブジェクトに着目しにくくなり、オブジェクトの形状の特徴に鈍感になることから、画像を構成する色の重要性一段と強くなる。画像を構成する色を画像の特徴量として抽出する場合、画像の色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴量とする方法が従来から一般的に用いられている。

0043

従来の方法において、色のヒストグラムのデータを生成するには、適当な色空間(例えばLab,Luv,HSVなどが一般的)を選択し、選択した色空間を複数の領域に分割する。色空間を分割して得た各領域に対応するヒストグラムの各区分ビンと呼び、画像の全ピクセル(画素)について、ビンに対応する色空間中のいずれの領域に対応するかを調べる。ビン単位ピクセル数は全体のピクセル数により正規化され(これが色のヒストグラムとなる)、画像検索に用いる特徴量として利用される。

0044

ところで、LabやLuvでは色差が定義されている反面、人間の感覚に適合する尺度は明度(L)しかないため、彩度色相に関して人間の感覚に合わせてビンに対応する各領域の大きさを変更するといった調整を行うことは困難である。一方、HSVは、明度(V),彩度(S)および色相(H)といった人間の感覚に近い色空間であり、ビンに対応する各領域の大きさの調整が容易である。そのため、従来技術に挙げた第2の論文のように、色空間としてHSVを利用する方法(VisualSEEK)が提案されている。この方法における実際のデータ分布図6に示すように円柱状になり、下部が黒、上部が白となる。

0045

そして、従来の方法においては、図7に示すように、図6に示した円柱状の色空間をちょうどディスクシリンダセクタのように分割して色のヒストグラムのビンに対応する各領域を生成している。ところが、図7に示す色空間においては、上下両端に行くほど人間による色の弁別度が低くなり、中心部分と同様の数のビンに対応する領域は不要となる。すなわち、例えば人間には同一の黒に感じられる色も、図7に示す色空間においては異なるビンに対応する領域に分割されてしまい、異なる色として扱われてしまうことになる。加えて、過剰にビンに対応する領域を作成すると、データ量が多くなるだけでなく類似度を算出する速度が低下することになる。

0046

そのため、本発明では、色空間としてHSVの双六錘モデルを利用することにする。具体的には、例えば図8に示すように円柱の両端を細めて双円錐になる色空間を生成し、生成した色空間を分割する。具体的には、明度一定面において明度軸を中心とした複数の同心円と明度軸からの複数の放射線によって色空間を分割し、さらに複数の明度一定面によって色空間を分割する。この図8に示すように色空間を分割することにより、ビンに対応する各領域が人間の色の感覚に近くなり、最小限の領域数で最適な特徴量を抽出することができる。

0047

そこで、以下に、図8に示したように分割された色空間を用いて色のヒストグラムを生成し、画像の特徴量として抽出する処理について簡単に説明する。

0048

図9は、色のヒストグラムを画像の特徴量として抽出する処理を示すフローチャートである。この図9に示す処理は、例えば図3のステップS102および図5のステップS202において実行される。また、色空間として図8に示したように分割された色空間が設定されているものとする。

0049

図2の特徴抽出エンジン152は、特徴量を抽出する対象となる画像を構成する各ピクセル毎の色を特定し(S301)、特定した色に基づいて、各ピクセルが図8の色空間中のビンに対応するいずれの領域に該当するかを調べ、該当するビンに対応する領域を特定する(S302)。ステップS302においては、各ビン毎に、対応するピクセル数がカウントされる(画像中の各ピクセルを該当するビンに割り当てる。)。

0050

そして、特徴抽出エンジン152は、画像中の全てのピクセルについてステップS301およびS302の処理を実行したか否かを判定する(S303)。全てのピクセルについて処理が終了していない場合は、ステップS301に戻って処理を繰返す。一方、全てのピクセルについて処理が終了した場合は、ビン毎のピクセル数を正規化して色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴量として抽出し(S304)、処理を終了する。

0051

このようにして得た色のヒストグラムを用いて画像検索を行う場合、検索エンジン153は、問合せ画像の色のヒストグラムおよび検索対象の画像の色のヒストグラムのうち、対応するビン同士を比較することにより、画像の類似度を求める(図5のステップS203参照)。この際、図8を用いて説明したように、ビンの数は最小限の数に抑えられているため、類似度を求める際の演算速度の向上を図ることができる。また、各ビンは人間の色の感覚に近いという特徴を有しているため、検索結果として得られる画像は人間の色の感覚に即したものとなる。

0052

このように、実施の形態1の画像特徴抽出方法によれば、色のヒストグラムを画像の特徴量として抽出する際に、人間が有する色の感覚に即した単位のビンに対応する領域に分割された色空間を用いるため、人間の色の感覚に即した色のヒストグラムを画像の特徴量として抽出することが可能となる。したがって、この色のヒストグラムを用いて画像の検索を行うことにより、人間の色の感覚に即した画像の検索処理を実現することが可能となる。また、ビンの数を最小限に抑えているため、色のヒストグラムを用いて画像同士の類似度を求める際の演算速度の向上を図ることができる。

0053

〔実施の形態2〕つぎに、実施の形態2に係る画像特徴抽出処理について説明する。この実施の形態2においては、実施の形態1と同様に、色のヒストグラムを画像の特徴量として抽出する処理について説明する。なお、画像検索システム100や画像検索ソフト107の構成については、実施の形態1で図1および図2を用いて既に説明した通りであるため、ここではそれらに関する説明を省略する。

0054

色のヒストグラムを用いて画像の検索を行う場合、各画像から抽出した色のヒストグラムについて、特徴空間でのユークリッド距離や以下の数1のようなquadratic form距離を画像間の類似度として用いることができる。

0055

0056

なお、aijは、i番目のビンとj番目のビンの類似度であり、Xi ,Yi はi番目のヒストグラムのビンを示す。

0057

ユークリッド距離の場合にはビン間の色の類似性を無視しているので、赤のみからなる画像とオレンジのみからなる画像との類似性を判断する場合、赤とオレンジが別々のビンに割り振られていると全く異なる画像と判断されてしまう。一方、Quadratic form距離の場合にはビン間の相関を考慮しているため、赤とオレンジは適切に判断される。しかし、quadratic form距離を利用する場合には、ビン間の相関を考慮するため計算時間がかかるという問題点がある。また、画像を構成する色数が少ない場合にも人間の類似性に反した結果となる傾向がある。

0058

そこで、実施の形態2においては、色のヒストグラムを生成する際に、以下の数2に示すようにビン間の類似性を考慮した相関ヒストグラムを生成することにする。なお、数2において、Ciはi番面の相関ヒストグラムのビンであり、Hi は通常のヒストグラムのビンである。

0059

0060

なお、

0061

数3において、aijはi,j番目のビン間の類似度であり、1−d(Oi ,Oj )で表わされ、d(Oi ,Oj )は、色Oi ,Oj の色差(色の相違度)を0〜1の値で表し、0のときは同じ色で1のときには全く異なる色を意味する。

0062

こうして得られたヒストグラムに対して高速なユークリッド距離により画像間の類似度を得ることができる。つまり、色のヒストグラムを生成した際に、既にビン間の相関が考慮されているため、類似度を求める際にそのままビン同士を一対一で比較すれば良い。その結果、類似度の演算時にビン間の相関を考慮する必要をなくすことができるため、類似度の演算速度の高速化を図ることができる。加えて、ビン間の相関が考慮された色のヒストグラムを生成できるため、人間の色の感覚に即した検索処理を行うことができる。

0063

さらに、上記数2および数3に基づいて色のヒストグラムを生成する処理について説明する。図10は、色のヒストグラムを画像の特徴量として抽出する処理を示すフローチャートである。この図10に示す処理は、例えば図3のステップS102および図5のステップS202において実行されるものとし、図9と同一のステップについては同一のステップ番号を付して詳細な説明を省略する。また、色空間としては、図8に示したように分割された色空間を用いても良いし、図7のような従来の色空間を用いることにしても良い。

0064

図2の特徴抽出エンジン152は、特徴量を抽出する対象となる画像を構成する各ピクセル毎の色を特定し(S301)、特定した色に基づいて、各ピクセルが色空間におけるいずれのビンに該当するかを調べ、該当するビンを特定する(S302:画像中の各ピクセルを該当するビンに割り当てる)。そして、特徴抽出エンジン152は、画像中の全てのピクセルについてステップS301およびS302の処理を実行したか否かを判定する(S303)。

0065

全てのピクセルについて処理が終了した場合、特徴抽出エンジン152は、各ビンに対し、他のビンに割り当てられたピクセル数をビン間の色の類似度に応じてそれぞれ累積する(S401)。このステップS401の処理については、後に図を用いて説明する。

0066

続いて、特徴抽出エンジン152は、全てのビンについてステップS401の処理を行ったか否かを判定する(S402)。全てのビンについて処理が終了していない場合はステップS401に戻って処理を繰返す。一方、全てのビンについて処理が終了した場合は、色のヒストグラムを画像の特徴量として抽出し(S403)、処理を終了する。

0067

前述したステップS401の処理の概略について図11(a)〜図11(c)を用いて説明する。図11においては、説明を簡単にするためにビンの数をビンa〜ビンeの5個とし、各ビンの高さはビンに割り当てられたピクセル数に対応しているものとする。なお、図11(a)は、ステップS401の処理を実行する前の各ビンの状態を示しており、ビンbに該当するピクセルはなかったものとする。

0068

まず、ビンaに対してステップS401の処理を実行することにする。ただし、ビンaは、ビンbと類似度Aで類似しており、また、ビンcと類似度Bで類似しており、他のビンとは類似していないものとする。まず、ビンaに対し、ビンbに割り当てられたピクセル数のうち、類似度A分累積する処理を実行する。ただし、ビンbに割り当てられているピクセル数は0であるため、ビンaに累積するピクセルは存在しない。続いて、ビンcに割り当てられたピクセル数のうち、類似度B分累積する処理を実行する。図11(b)は、ビンaに対し、類似度B分ビンcのピクセル数を累積した結果を示している。

0069

同様に、ビンbについてステップS401の処理を実行することにする。ただし、ビンbはビンaと類似度Cで類似しており、また、ビンcと類似度Dで類似しており、他のビンとは類似していないものとする。まず、ビンbに対し、ビンaに割り当てられたピクセル数のうち、類似度C分累積する処理を実行する。続いて、ビンbに対し、ビンcに割り当てられたピクセル数のうち、類似度D分累積する処理を実行する。図11(c)は、ビンbに対し、類似度C分ビンaのピクセル数を累積すると共に、類似度D分ビンcのピクセル数を累積した結果を示している。

0070

図10のステップS401およびS402において、全てのビンに対して図11を用いて説明したような処理が実行される。このようにして生成された色のヒストグラムが、前述した相関ヒストグラムに該当する。

0071

図11を用いて説明したように、生成された相関ヒストグラムにおいては、該当するピクセルが存在しなかったビンにまで、他のビンとの類似度に応じて他のビンのピクセルが割り当てられることになる。したがって、赤のみからなる画像とオレンジのみからなる画像との類似性を判断する場合において、赤とオレンジが別々のビンに割り振られていても、実施の形態2で説明した相関ヒストグラムを生成することによって2つの画像から類似した形状のヒストグラムを得ることができることになる。よって、単純にビン同士を一対一で比較しても、二つの画像は類似する画像と判断されることになる。

0072

このように、実施の形態2の画像特徴抽出方法によれば、各ビンに対し、他のビンとの類似度に応じて他のビンのピクセル数が累積されることにより、色のヒストグラムを生成した際に既にビン間の相関が考慮されていることになるため、人間の色の感覚に即した検索処理を行うことができる。また、色のヒストグラムを生成した際に既にビン間の相関が考慮されていることになるため、画像の類似度を求める際にそのままビン同士を一対一で比較すれば良いことから、類似度の演算速度の高速化を図ることができる。

0073

なお、実施の形態2においては、相関ヒストグラムを生成する際に一旦通常の色のヒストグラムを生成した後に相関ヒストグラムを生成することにしているが、これに代えてつぎのような方法を用いることにより、より精度の高い相関ヒストグラムを生成することが可能である。具体的には、各ビンの代表色を予め設定しておき、画像の各ピクセルの色と全ての代表色との距離に基づいて各ビンのピクセル数をカウントし、相関ヒストグラムを生成するという方法である。つまり、各ビンは以下の数4で示される。

0074

0075

なお、Pj は画像のj番目のピクセル、Ri はi番目のビンの代表色である。d(Pj ,Ri )は、色Pj ,Ri の色差(色の相違度)を0〜1の値で表し、0のときは同じ色で1のときには全く異なる色を意味する。

0076

すなわち、この方法では、ビンの代表色を予め設定しておき、各ピクセルの色および各ビンの代表色の類似度を求め、求めた類似度に応じて各ビンに属するピクセルの数をカウントする処理が実行されることになる。したがって、通常の色のヒストグラムを生成することなく、実施の形態2でいう相関ヒストグラムを生成することができる。この方法によれば、ビンの代表色を予め決定しておくことにより、確実に代表色と類似するピクセルをカウントすることができるため、より精度の高い相関ヒストグラムを生成することが可能となる。

0077

〔実施の形態3〕つぎに、実施の形態3に係る画像特徴抽出方法を説明する。前述した実施の形態1および2においては、画像全体の特徴量を抽出する処理について説明したが、実施の形態3においては、画像中のオブジェクトを抽出し、抽出したオブジェクト単位に特徴量を抽出する処理について説明する。つまり、画像全体から抽出するのではなく、画像中のオブジェクトを抽出してオブジェクト単位で特徴量を抽出することにより、オブジェクト単位の類似度を求めることが可能となり、オブジェクト単位の画像検索を行うことが可能となる。

0078

なお、画像検索システム100や画像検索ソフト107の構成については、実施の形態1で図1および図2を用いて既に説明した通りであるため、ここではオブジェクトの抽出処理を中心に画像特徴抽出処理を説明する。

0079

また、一般の写真画像、即ち、様々なオブジェクトが混在するような画像から特定のオブジェクトのみを抽出することは技術的に極めて困難である。そこで、実施の形態3においては、背景がほぼ単一色である画像を特徴抽出対象の画像とし、単一色の部分を抽出することで背景を除去してオブジェクトを抽出することにする。

0080

続いて、実施の形態3に係る画像特徴抽出方法について具体的に説明する。図12は、実施の形態3に係る画像特徴抽出方法を示すフローチャートである。この図12に示す処理は、例えば図3のステップS102および図5のステップS202において実行される。

0081

図2の特徴抽出エンジン152は、対象となる画像を入力し、最短距離法などの一般的なクラスタリング手法による色空間のクラスタリングにより画像を同一色の領域に分割する(S501:色のクラスタリングによるオブジェクト抽出)。

0082

画像の上部の左右両端の領域は、背景の一部になっている場合が極めて多いと考えられる。そこで、特徴抽出エンジン152は、上部左右両端の領域を抽出してその中で最も多く出現するクラスタを背景領域のクラスタとする。(S502:背景領域の特定)。

0083

ステップS502で背景領域を特定した後、特徴抽出エンジン152は、背景領域を除去することにより、画像からオブジェクトを分離する(S503:オブジェクトの分離)。

0084

ただし、クラスタは連続する領域とは限らず、図13(a)に示すように背景と認識されたクラスタの一部がオブジェクトの内部に包含されている場合が少なからずある。図13(a)において、0の部分が背景として認識されたクラスタを示している。そこで、このようなオブジェクト内ホールを除去するために以下のような処理を施す。

0085

まず、図13(b)に示すように、ラベリングによって画像上分離したクラスタを別領域とした後、図13(c)に示すように、背景と認識されたクラスタ以外のクラスタを統合する。そして、図13(d)に示すように、ラベリングによりオブジェクトを分離する。

0086

特徴抽出エンジン152は、図13(a)〜13(d)に示した処理を実行した後、複数のオブジェクト領域のうち面積が最大である領域をオブジェクトとして抽出する。図13(d)において、1で示される部分がオブジェクトに該当する。

0087

ステップS503で画像からオブジェクトを分離した後、特徴抽出エンジン152は、分離したオブジェクトから特徴量を抽出する処理を実行し(S504)、処理を終了する。このステップS504においては、オブジェクトを対象として、実施の形態1および2で説明した色のヒストグラムを生成したり、また、後述する実施の形態4の方法を用いてオブジェクトから特徴量を抽出する処理が実行される。

0088

このように、実施の形態3に係る画像特徴抽出方法によれば、背景を除去することによって画像からオブジェクトを抽出する処理を実行することにより、画像から画像の特徴量を抽出する作業の自動化を図ることができるため、人間の使いやすい作業環境を提供することができる。また、オブジェクト単位で特徴量を抽出することによって、オブジェクト単位の画像検索を行うことが可能となるため、人間の印象に残りやすいと考えられるオブジェクトを検索対象とした精度の高い画像検索処理を実現することができる。すなわち、実施の形態3に係る画像特徴抽出方法によれば、人間の類似感覚に即した画像の特徴量を人手を介さずに抽出できるという効果を得ることができる。

0089

なお、実施の形態3においては、背景を除去して画像からオブジェクトを分離するという方法を説明したが、これに代えて、オブジェクトのエッジを抽出してオブジェクトを画像から分離するという方法も使用することができる。以下に、この方法について簡単に説明する。ただし、画像の背景はほぼ単一色であり、画像中に存在するオブジェクトは一つであるものとする。

0090

オブジェクトのエッジ抽出には、Marrフィルタのようなエッジフィルタを利用する。抽出したエッジの強度に対して適当なしきい値により2値化する。必ず背景であると判断が可能な領域、例えば図14で示すように画像の上部左右両端のいずれかの点からエッジの探索を開始し、見つかったエッジを始点としてオブジェクト200の外形を追跡していくことにより、画像からオブジェクト200を分離することができる。

0091

〔実施の形態4〕つぎに、実施の形態4に係る画像特徴抽出方法について説明する。実施の形態4においては、実施の形態3で説明したような、画像からオブジェクトを分離する方法等を用いて分離されたオブジェクトの形状をオブジェクトの特徴量として抽出する方法について説明する。なお、画像検索システム100や画像検索ソフト107の構成については、実施の形態1で図1および図2を用いて既に説明した通りであるため、ここではオブジェクトの形状を特徴量として抽出する処理を中心に説明する。

0092

図15は、実施の形態4に係る画像特徴抽出処理を示すフローチャートである。この図9に示す処理は、例えば図3のステップS102および図5のステップS202において実行される。

0093

図2の特徴抽出エンジン152は、ステップS601において、実施の形態3で説明した方法等を用いて画像からオブジェクトを抽出した後、オブジェクトの形状を特徴量として抽出する処理を実行する。

0094

特徴抽出エンジン152は、図16に示すように、オブジェクト200の周囲に沿い等間隔で複数のポイントを設定する(S602)。

0095

続いて、特徴抽出エンジン152は、隣接するポイント間を結ぶ直線がなす角度r1,r2,・・・を求め、図17に示すように、オブジェクト200の周囲長に対する角度r1,r2,・・・の変位をオブジェクト200の形状を示す特徴量として抽出する(S603)。つまり、隣接するポイント間を結ぶ直線の各度の変位を抽出し、一定数のポイントに正規化した後、全体にプラス方向に移動しマイナスの値をなくしたベクトルを特徴量とする。

0096

画像検索時において、オブジェクトの形状特徴に基づく検索処理が設定された場合、特徴抽出エンジン152は、前述した処理によって問合せ画像からオブジェクトの特徴量(形状特徴)を抽出する処理を実行する。そして、検索エンジン153は、問合せ画像のオブジェクトの特徴量と検索対象の画像のオブジェクトの特徴量との類似度を求める処理を実行する。具体的に、オブジェクトの形状特徴に基づく特徴量は、前述した通りベクトルデータであるため、図4に示した特徴空間において、ユークリッド距離などのベクトルの距離定義式を利用して問合せ画像のオブジェクトと検索対象の画像のオブジェクトとの特徴量間の距離を求めることになる。その後、U/I部151は、検索エンジン153による処理の結果を検索結果として画面表示する。

0097

このように、実施の形態4の画像特徴抽出方法によれば、図17に示すように、オブジェクト200の周囲長に対する角度r1,r2,・・・の変位をオブジェクト200の形状を示す特徴量として抽出するため、人間の類似感覚により近い特徴量を得ることができる。つまり、オブジェクトのどの部分が出ており、どの部分がへこんでいるのかというような細かな凹凸の特徴まで抽出することができる。したがって、実施の形態4の画像特徴抽出方法で得た特徴量を用いて画像の検索を実行することにより、人間の類似感覚により近い画像を検索結果として得ることができる。

0098

以上説明したように、本発明に係る画像特徴抽出方法は、前述したフローチャートに基づく手順に従って、予め用意されたプログラムをコンピュータで実行することによって実現される。このプログラムは、図1に示した画像検索ソフト107や他のアプリケーションプログラムの一部として提供することができると共に、それのみ単独で提供することもできる。また、画像特徴抽出方法を実現するプログラムを前述した各実施の形態毎に作成して提供することもでき、また、任意に組み合わせて作成して提供することもできる。

0099

このプログラムは、ハードディスク,フロッピーディスクCD−ROM,MO,DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供される。そして、図18(a)に示すように、プログラムは、記録媒体250からCPU101(コンピュータ)によって読み出され、CPU101がプログラムに基づく処理を実行することによって本発明に係る画像特徴抽出方法が実現される。

0100

また、このプログラムは、図18(b)に示すように、サーバ251の記録媒体からインターネットやLANのようなネットワークを介してダウンロードし、CPU101に読み込むという形態においても実行可能なものである。また、ネットワークではなく、例えば放送波でプログラムを配信することによってもダウンロードすることができる。

発明の効果

0101

以上説明したように、本発明の画像特徴抽出方法(請求項1)によれば、用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、画像の色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴を表す特徴量として抽出する際に、色空間として、人間が有する色の感覚に即した色空間であり、かつ、人間が有する色の感覚に即した単位の領域に分割された色空間を用いるため、人間の類似感覚に即した画像の特徴量を抽出できると共に、この特徴量を用いることによって人間の類似感覚に即した高精度の検索結果を得ることができる。つまり、人間が有する色の感覚に即した色空間を始めから用いるため、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出することができる。また、人間の色の感覚に即して色空間を複数の領域に分割することにより、色空間の分割数を最小限に抑えることができる結果、色のヒストグラムを用いた画像検索速度の高速化を図ることができる。

0102

また、本発明の画像特徴抽出方法(請求項2)によれば、色空間として複数の領域に分割された双円錐状のHSV空間を用いるため、人間の類似感覚に即した画像の特徴量を抽出することができる。

0103

また、本発明の画像特徴抽出方法(請求項3)によれば、用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、画像の色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴を表す特徴量として抽出する際に、各領域に属する画素の数に対して、他の領域に属する画素の数を領域間の色の類似度に応じてそれぞれ累積し、累積後の各領域に属する画素の数に基づいて、色のヒストグラムを生成することにより、色のヒストグラムを生成した際に既にビン間の相関が考慮されていることになることから、人間の色の感覚に即した検索処理を行うことができると共に、この特徴量を用いることによって人間の類似感覚に即した高精度の検索結果を得ることができる。つまり、ビン間の相関を考慮することはプログラムによって容易に自動化できることから、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出することができる。また、色のヒストグラムを生成した際に既にビン間の相関が考慮されていることになるため、画像の類似度を求める際にそのままビン同士を一対一で比較すれば良いことから、類似度の演算速度の高速化を図ることができる。

0104

また、本発明の画像特徴抽出方法(請求項4)によれば、用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、画像の色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴を表す特徴量として抽出する際に、領域の代表色を予め設定しておき、各画素の色および各領域の代表色の類似度を求め、求めた類似度に応じて各領域に属する画素の数を決定することにより、色のヒストグラムを生成した際に既にビン間の相関が考慮されていることになることから、人間の色の感覚に即した検索処理を行うことができると共に、この特徴量を用いることによって人間の類似感覚に即した高精度の検索結果を得ることができる。つまり、上記のような方法でビン間の相関を考慮することはプログラムによって容易に自動化できることから、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出することができる。また、色のヒストグラムを生成した際に既にビン間の相関が考慮されていることになるため、画像の類似度を求める際にそのままビン同士を一対一で比較すれば良いことから、類似度の演算速度の高速化を図ることができる。

0105

また、本発明の画像特徴抽出方法(請求項5)によれば、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する際に、抽出したオブジェクトの外形に沿って等間隔でポイントを設定し、隣接するポイント間を結ぶ直線がなす角度の変位を求め、求めた角度の変位をオブジェクトの特徴量として抽出するため、人間の類似感覚に即した画像の特徴量を抽出できると共に、人間の類似感覚に即した高精度の検索結果を得ることができる。つまり、上記のような方法でオブジェクトの特徴量を抽出することはプログラムによって容易に自動化できることから、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出することができる。

0106

また、本発明の画像特徴抽出方法(請求項6)によれば、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する際に、画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、クラスタリングにより得られたクラスタのうち、画像中の予め定められた領域に最も多く出現する色を含むクラスタを画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる画像の領域をオブジェクトとして抽出することにより、画像から画像の特徴量を抽出する作業の自動化を図ることができる。また、オブジェクト単位で特徴量を抽出することによって、オブジェクト単位の画像検索を行うことが可能となるため、人間の印象に残りやすいと考えられるオブジェクトを検索対象とした精度の高い画像検索処理を実現することができる。

0107

また、本発明の画像特徴抽出方法(請求項7)によれば、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する際に、画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、クラスタリングにより得られたクラスタのうち、画像の左上および右上に該当する領域に最も多く出現する色を含むクラスタを画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる画像の領域をオブジェクトとして抽出するため、画像から背景を極めて容易に除去することができる。したがって、画像からオブジェクトを抽出する処理の容易化を図ることができる。

0108

また、本発明の画像特徴抽出方法(請求項8)によれば、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する際に、画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、クラスタリングにより得られたクラスタのうち、画像中の予め定められた領域に最も多く出現する色を含むクラスタを画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる画像の領域をオブジェクトとして抽出し、さらに、請求項1〜5のいずれか一つに記載の画像特徴抽出方法を用いて、抽出したオブジェクトの特徴量を抽出することにより、人間の感覚に即したオブジェクトの特徴量を抽出できると共に、この特徴量を用いることによって人間の感覚に即した高精度のオブジェクト単位の検索処理を実現できる。

0109

さらに、本発明のコンピュータ読み取り可能な記録媒体(請求項9)によれば、請求項1〜8のいずれか一つに記載の画像特徴抽出方法の各工程をコンピュータに実行させるためのプログラムを記録したため、このプログラムをコンピュータで実行することにより、人間の感覚に即した画像の特徴量を抽出できると共に、この特徴量を用いることによって人間の類似感覚に即した高精度の検索結果を得ることができる。

図面の簡単な説明

0110

図1本発明に係る画像特徴抽出方法を実現する画像検索システムのブロック構成図である。
図2図1に示す画像検索システムにおいて実行される処理を示すブロック図である。
図3図1に示す画像検索システムにおいて実行される画像登録処理の概略を示すフローチャートである。
図4本発明に係る画像特徴抽出方法において、抽出した画像の特徴に応じて各画像を特徴空間にマップした様子を示す説明図である。
図5図1に示す画像検索システムにおいて実行される画像検索処理の概略を示すフローチャートである。
図6HSVの色空間を示す説明図である。
図7従来の色のヒストグラムのビンに対応する各領域を示す説明図である。
図8本発明の実施の形態1に係る画像特徴抽出方法において使用する色空間およびビンを示す説明図である。
図9本発明の実施の形態1に係る画像特徴抽出方法において、色のヒストグラムを画像の特徴量として抽出する処理を示すフローチャートである。
図10本発明の実施の形態2に係る画像特徴抽出方法において、色のヒストグラムを画像の特徴量として抽出する処理を示すフローチャートである。
図11図10のステップS401の処理を説明するための説明図である。
図12本発明の実施の形態3に係る画像特徴抽出方法を示すフローチャートである。
図13図12のステップS503の処理を示す説明図である。
図14本発明の実施の形態3に係る画像特徴抽出方法において、画像からオブジェクトを分離する処理の変形例を示す説明図である。
図15本発明の実施の形態4に係る画像特徴抽出処理を示すフローチャートである。
図16本発明の実施の形態4に係る画像特徴抽出処理を示す説明図である。
図17本発明の実施の形態4に係る画像特徴抽出処理によって得られたオブジェクトの形状を表す特徴量を示す説明図である。
図18本発明に係る画像特徴抽出処理を実現するプログラムを記録した記録媒体およびプログラムの配布形態を示す説明図である。

--

0111

100画像検索システム
107画像検索ソフト
108 画像DB
109画像特徴DB
151 U/I部
152特徴抽出エンジン
153検索エンジン
200 オブジェクト

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ