図面 (/)

技術 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム

出願人 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ
発明者 シープリンスキー、レゼック
出願日 2010年6月8日 (10年5ヶ月経過) 出願番号 2010-131092
公開日 2010年10月7日 (10年1ヶ月経過) 公開番号 2010-225172
状態 特許登録済
技術分野 イメージ分析
主要キーワード クラスタ表 クラスタ分布 ヒストグラム表 マッチング関数 マッチング手順 記述子データベース 共分散値 空間均一性
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年10月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

画像グループ表現方法および装置を提供する。

解決手段

本方法では、画像グループについて、色ドメインにおいてクラスタリングを行い、得られるクラスタの重心を支配的な色の値(1つまたは複数)とする。この支配的な色の値(1つまたは複数)について、画像グループをその支配的な色の値(1つまたは複数)に関して表す、支配的な色表現導出する。色表現の成分は、色分布の分散、色の影響を示す重み、支配的な色の数、支配的な色に対応する画素空間均一性を含む。

概要

背景

画像中に現れる色等の視覚的特徴を用いて画像を表現するための様々な技法既知である。例えば既知の一技法では、各画素に色の値を割り当て、いくつかの色の値の範囲に対してビン(bin)を設定し、画像中の、それぞれの範囲の色の値を有する画素数カウントすることによりカラーヒストグラム導出する。次にこのカラーヒストグラムを画像表現として用いる。別の既知の技法では、画像中の1つまたは複数の支配的な色(dominant colour)を特定し、この支配的な色を用いて画像を表現する。

本発明は特に画像グループに関連する。これらの画像グループは例えば、ビデオの画像(フレームまたはフィールドシーケンス、または任意の情報源からの、何らかの方法で関連付けられた任意の画像グループである可能性がある。例えば画像グループは、ビデオ中の1シーンまたは1ショットに関連する可能性がある。そのような画像グループの当該技術分野における用語はGroupOfFrames(フレームグループ)/GroupOfPictures(ピクチャグループ)である。以下ではこの用語をGoFGoPと呼ぶ。本明細書中において、画像という用語は、グループ中のフレーム/ピクチャを説明するために、ビデオフレームまたはフィールドであるか静止画であるかに関係なく用いられる。また、画像および画像領域という用語は、文脈から明らかである場合を除いて置き換え可能である。

画像グループを表現するための一手法は、その画像グループから1枚の画像を選択し、その1枚の画像をグループ全体の代表として扱うことである。次にその1枚の画像を、1枚の画像を表現するための既知の技法を用いて表現する。この1枚の画像は例えば、シーケンス中に現れる最初または最後の画像とするか、または画像グループを解析して、そのグループにおいて何らかの方法で特にそのグループを関心の視覚的特徴に関して表現している1枚の画像を特定してもよい。

別の手法は、その画像グループを集約する(aggregate)ことである。既存のMPEG−7 Visual Standard(ISO/IEC15938-3)は、ビデオセグメントまたはグループのピクチャの色を、GoFGoP色記述子を用いて記述することを可能にする。これに関しては例えば、Manjunath、SalembierおよびSikora編「MPEG−7 Multimediaコンテント記述インタフェース入門(Introduction to MPEG-7 Multimedia content description interface)」(ISBN 0-471-48678-7)という本の第13.5節に詳細に記載されている。3つの画像グループ集約技法、すなわち平均、中央値および共通集合(intersection)が記載されている。

各技法において、上述のようにグループ中の各画像についてカラーヒストグラムを導出する。平均技法では、カラーヒストグラムを積算し(accumulate)、次に積算した各ビンの値をNで割って(ここでNはグループ中の画像数)、平均ヒストグラムを作成する。中央値技法では、各ビンの値について、そのグループのヒストグラムの値を昇順降順に並べ、それぞれのビンに中央値を割り当てる。共通集合ヒストグラムは、各ビンについて、そのグループのヒストグラムからその最小値をとることによって得られる。言い換えれば、共通集合ヒストグラムは、全ての画像に現れる特定の色または色の範囲(ビンに対応)の画素数を表す。

それぞれの場合に、集約したヒストグラム(平均、中央値または共通集合)を次に、スケーラブルな色記述子(Scalable Color Descriptor)(上記の本の第13.4節を参照)を用いて表現する。これは、ハール(Haar)変換に基づく符号化方式をカラーヒストグラムの値に適用することを伴う。

Tong LinおよびHong-Jiang Zhang著「ショットの分類によるビデオシーン自動抽出(Automatic video scene extraction by shot grouping)」という論文は、ショットをシーンに分類することに関する。1ショットを形成するフレームグループを解析して、各フレーム中の支配的な色のオブジェクトを決め、次にそのフレームグループを通して存在し続ける支配的な色のオブジェクトを決める。これにより、1ショットの支配的な色のヒストグラムが作成される。異なるショットの支配的な色のヒストグラムを比較する。2ショット間相関性が高い場合、それらのショットを1シーンに分類する。

概要

画像グループの表現方法および装置を提供する。 本方法では、画像グループについて、色ドメインにおいてクラスタリングを行い、得られるクラスタの重心を支配的な色の値(1つまたは複数)とする。この支配的な色の値(1つまたは複数)について、画像グループをその支配的な色の値(1つまたは複数)に関して表す、支配的な色表現を導出する。色表現の成分は、色分布の分散、色の影響を示す重み、支配的な色の数、支配的な色に対応する画素の空間均一性を含む。

目的

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像グループについて、1つまたは複数の支配的な色の値を求めることと、前記画像グループを、1つまたは複数の前記支配的な色の値に関して表す、支配的な色表現導出することとを含み、前記画像グループ中の画像の少なくともいくつかが、前記画像の1つまたは複数の支配的な色の値に関して、それぞれの支配的な色表現で表され、前記支配的な色表現の各々は、1つまたは複数の成分を有し、前記1つまたは複数の成分は、少なくとも1つの支配的な色の値を含み、さらに任意選択的に、支配的な各色の値に関して、前記支配的な色の値に対する、前記画像の色分布の分散を示す分散と、前記画像中の前記支配的な色の影響を示す重みと、前記画像中の支配的な色の数と、前記画像中の前記支配的な色に対応する画素空間均一性とを含み、前記方法は、前記支配的な色表現のうち複数を結合すること、または、前記支配的な色表現のうちの1つを前記グループの代表として選択することを含み、前記支配的な色の値、分散および重みの1つまたは複数が結合される画像グループの表現方法

請求項2

色空間における支配的な色の近接度を基に、前記表現の1つまたは複数の成分を結合することを含む、請求項1に記載の画像グループの表現方法。

請求項3

前記結合することは、前記支配的な色の値、分散および重みの加重平均を計算することを含む、請求項1に記載の画像グループの表現方法。

請求項4

第1段階において、前記支配的な色それぞれの間の距離が所定の閾値未満であるといった、所定の条件を満たす成分を結合することと、第2段階において、他の成分を結合することとを含む、請求項2に記載の画像グループの表現方法。

請求項5

複数の画像を画像/画素または色空間/ヒストグラムドメインにおいて結合すること、または、前記画像グループのうちの1枚の画像を前記グループの代表として選択することと、前記結合または選択された画像中の、1つまたは複数の支配的な色の値を求めることであって、それによって、前記画像グループの支配的な色表現を、前記結合または選択された画像の1つまたは複数の支配的な色の値に関して導出する、求めることとを含む、請求項1に記載の画像グループの表現方法。

請求項6

前記支配的な色表現は、1つまたは複数の成分であって、前記結合または選択した画像の少なくとも1つの支配的な色の値を含み、さらに任意選択的に、支配的な各色の値に関して、前記支配的な色の値に対する色分布の分散を示す分散と、前記結合または選択した画像中の、前記支配的な色の影響を示す重みと、前記支配的な色の数と、前記結合または選択した画像中の、前記支配的な色に対応する画素の空間均一性とを含む、1つまたは複数の成分を有する、請求項5に記載の画像グループの表現方法。

請求項7

前記画像を結合するステップは、複数の画像の総和、平均、中央値または共通集合を計算することを含む、請求項5に記載の画像グループの表現方法。

請求項8

前記画像グループを、時間的または空間的にサブサンプリングすることを含む、請求項1に記載の画像グループの表現方法。

請求項9

画像が、前記グループ中の他の画像に対する類似度に応じて除外または包含される、請求項8に記載の画像グループの表現方法。

請求項10

前記サブサンプリングすることは、請求項4の各ステップを含む、請求項8に記載の画像グループの表現方法。

請求項11

前記代表的な画像または支配的な色表現の選択は、前記グループ中の少なくとも1つの他の画像または表現を含む、比較またはテストを含む、請求項1に記載の画像グループの表現方法。

請求項12

前記グループ中の、または前記グループに関する、全ての他の画像または全ての他の表現に最も近い画像または表現が選択される、請求項11に記載の画像グループの表現方法。

請求項13

請求項1に記載の方法によって導出される、画像グループの記述子

請求項14

マッチング手順を用いて、問い合わせの支配的な色記述子を、請求項13に記載の複数の記述子と比較することと、前記マッチング手順が最も近い一致を示す1つまたは複数の画像グループを選択することとを含む、画像グループの探索方法

請求項15

請求項1に記載の方法を用いて、問い合わせの支配的な色記述子を導出することと、前記問い合わせの支配的な色記述子を、請求項1に記載の方法を用いて導出された他の記述子のそれぞれと比較することとを含む、請求項14に記載の方法。

請求項16

請求項1または14に記載の方法を実行する手段を備える装置。

請求項17

請求項1または14に記載の方法を実施するための、コンピュータが実行可能な処理ステップを格納するコンピュータ読み取り可能な記憶媒体

請求項18

請求項1または14に記載の方法に従って動作するようにプログラムされたコンピュータシステム

請求項19

画像グループの表現方法。

技術分野

0001

本発明は、画像グループを特に色に関して表現する方法および装置に関し、また画像の探索および取り出しに関する。

背景技術

0002

画像中に現れる色等の視覚的特徴を用いて画像を表現するための様々な技法既知である。例えば既知の一技法では、各画素に色の値を割り当て、いくつかの色の値の範囲に対してビン(bin)を設定し、画像中の、それぞれの範囲の色の値を有する画素数カウントすることによりカラーヒストグラム導出する。次にこのカラーヒストグラムを画像表現として用いる。別の既知の技法では、画像中の1つまたは複数の支配的な色(dominant colour)を特定し、この支配的な色を用いて画像を表現する。

0003

本発明は特に画像グループに関連する。これらの画像グループは例えば、ビデオの画像(フレームまたはフィールドシーケンス、または任意の情報源からの、何らかの方法で関連付けられた任意の画像グループである可能性がある。例えば画像グループは、ビデオ中の1シーンまたは1ショットに関連する可能性がある。そのような画像グループの当該技術分野における用語はGroupOfFrames(フレームグループ)/GroupOfPictures(ピクチャグループ)である。以下ではこの用語をGoFGoPと呼ぶ。本明細書中において、画像という用語は、グループ中のフレーム/ピクチャを説明するために、ビデオフレームまたはフィールドであるか静止画であるかに関係なく用いられる。また、画像および画像領域という用語は、文脈から明らかである場合を除いて置き換え可能である。

0004

画像グループを表現するための一手法は、その画像グループから1枚の画像を選択し、その1枚の画像をグループ全体の代表として扱うことである。次にその1枚の画像を、1枚の画像を表現するための既知の技法を用いて表現する。この1枚の画像は例えば、シーケンス中に現れる最初または最後の画像とするか、または画像グループを解析して、そのグループにおいて何らかの方法で特にそのグループを関心の視覚的特徴に関して表現している1枚の画像を特定してもよい。

0005

別の手法は、その画像グループを集約する(aggregate)ことである。既存のMPEG−7 Visual Standard(ISO/IEC15938-3)は、ビデオセグメントまたはグループのピクチャの色を、GoFGoP色記述子を用いて記述することを可能にする。これに関しては例えば、Manjunath、SalembierおよびSikora編「MPEG−7 Multimediaコンテント記述インタフェース入門(Introduction to MPEG-7 Multimedia content description interface)」(ISBN 0-471-48678-7)という本の第13.5節に詳細に記載されている。3つの画像グループ集約技法、すなわち平均、中央値および共通集合(intersection)が記載されている。

0006

各技法において、上述のようにグループ中の各画像についてカラーヒストグラムを導出する。平均技法では、カラーヒストグラムを積算し(accumulate)、次に積算した各ビンの値をNで割って(ここでNはグループ中の画像数)、平均ヒストグラムを作成する。中央値技法では、各ビンの値について、そのグループのヒストグラムの値を昇順降順に並べ、それぞれのビンに中央値を割り当てる。共通集合ヒストグラムは、各ビンについて、そのグループのヒストグラムからその最小値をとることによって得られる。言い換えれば、共通集合ヒストグラムは、全ての画像に現れる特定の色または色の範囲(ビンに対応)の画素数を表す。

0007

それぞれの場合に、集約したヒストグラム(平均、中央値または共通集合)を次に、スケーラブルな色記述子(Scalable Color Descriptor)(上記の本の第13.4節を参照)を用いて表現する。これは、ハール(Haar)変換に基づく符号化方式をカラーヒストグラムの値に適用することを伴う。

0008

Tong LinおよびHong-Jiang Zhang著「ショットの分類によるビデオシーン自動抽出(Automatic video scene extraction by shot grouping)」という論文は、ショットをシーンに分類することに関する。1ショットを形成するフレームグループを解析して、各フレーム中の支配的な色のオブジェクトを決め、次にそのフレームグループを通して存在し続ける支配的な色のオブジェクトを決める。これにより、1ショットの支配的な色のヒストグラムが作成される。異なるショットの支配的な色のヒストグラムを比較する。2ショット間相関性が高い場合、それらのショットを1シーンに分類する。

課題を解決するための手段

0009

本発明の態様を添付の特許請求の範囲に記載する。

図面の簡単な説明

0010

本発明の一実施形態によるシステムブロック図である。
本発明の一実施形態による画像記述子マージ方法を示すグラフである。
本発明の一実施形態による画像記述子のマージ方法を示すグラフである。
本発明の一実施形態による画像記述子のマージ方法を示すグラフである。
本発明の一実施形態による画像記述子のマージ方法を示すグラフである。
本発明の一実施形態による画像記述子のマージ方法を示すグラフである。
画像を合成してスーパー画像を形成する図である。

実施例

0011

本発明の一実施形態を添付図面を参照して説明する。

0012

図1には、本発明の一実施形態によるシステムが示される。このシステムは、システムの動作を制御するための、メモリプロセッサを少なくとも含むコンピュータのような制御ユニット12と、画像およびテキストを含む出力を表示するために、制御ユニット12に接続されるモニタのような表示ユニット14と、制御ユニット12に命令を入力するためのマウスのようなポインティングデバイス16とを含む。また本システムは、デジタル形式の複数の画像グループを格納する画像データベース18と、画像データベース18に格納される各画像グループのために、以下にさらに詳細に記載される記述子情報を格納する記述子データベース20とを含む。この例において、各画像グループはビデオシーケンスの1ショットに対応する。ビデオシーケンスをショットに分割する既知の技法には様々なものがあるが、ここでは詳述しない。本発明は任意の画像グループまたは画像領域(画像内の領域を含む)に適用することができる。画像はグループ単位で格納されるか、あるいは例えば、どの画像が同じグループに属すかを示す識別子があってもよい。

0013

画像データベース18および記述子データベース20はそれぞれ制御ユニット12に接続される。またそのシステムは、制御ユニット12の制御下にあるコンピュータプログラムであり、記述子データベース20に関連して動作するサーチエンジン22も含む。

0014

この実施形態では、システム要素画像ライブラリのような1つのサイトに設けられ、システムの構成要素は永続的にリンクされる。

0015

記述子データベース20は、画像データベース内に格納される全ての画像の記述子、さらに画像データベース内の全画像グループの記述子を格納する。画像記述子およびグループ記述子は後述のように導出される。

0016

各画像には、それぞれの画像を画像の支配的な色(単数または複数)に関して表現する画像記述子が関連付けられている。この実施形態では、画像記述子は実質的に、本発明者らの同時係属中出願WO00/67203(この内容は参照により本明細書中に援用される)に記載されるように導出される。

0017

画像記述子の導出の概要を以下に記載する。各画像は複数の画素を有し、各画素にはRGBのような関連する色空間における色の値が関連付けられる。

0018

色の値とそれに対応する画素は、支配的な色およびどの色がそれぞれの支配的な色に対応するかを決めるために色ドメインにおいてクラスタリングされる。これは、上記のMPEG−7の本の第13.3.1節に記載されているように、一般化イドアルゴリズムのような適切なクラスタリングアルゴリズムを用いて行われる。

0019

クラスタリング手順から得られるクラスタの重心を支配的な色の値として用い、それぞれのクラスタを形成する画素のセットを、後述のようなさらなるフィールド(重みおよび色分散)の計算のために格納する。

0020

あるいは支配的な色は、WO00/67203に記載されるようなヒストグラム手法を用いて導出することもできる。

0021

その場合、画像のカラーヒストグラムは、関連する色空間における所定数の色の値または色の値の範囲を選択し、画像中の、各色の値または関連する範囲の値を有する画素数をカウントすることによって導出される。

0022

ヒストグラムは通常1つまたは複数のピークを有し、それらのピーク(またはそのうちで最も高い所定数のピークのような部分集合)を支配的な色として選択し、色の値/画素を色ドメインにおいて支配的な色に関してクラスタリングする。

0023

色の値をクラスタリングしたら、支配的な各色について色分散値を求め、支配的な各色について、その支配的な色を中心とするそれぞれのクラスタの色の値の分散を表す。支配的な色は、関連するクラスタにおける色分布平均値として考えることができる。

0024

分散の計算は、次式を用いて表すことができる。

0025

0026

ここで、jは色成分の添字であり(index)、mjは支配的な色のj番目の成分であり、pkjはk番目画素値のj番目の成分であり、総和は検討中の支配的な色に対応するN個の画素にわたって行う。

0027

記述子は支配的な各色の重み値も含み、これは画像内での支配的な各色の相対的な重要度尺度である。この例において重みは、支配的な色の値に対応するクラスタ内の画素数の、画像の総画素数に対する比である。この重みはパーセントで表すことができる。

0028

支配的な色の値とそのそれぞれの分散および重みを結合して画像の色記述子を形成する。この記述子は、支配的な色の数を示す次数(degree)nのような他の成分を有してもよい。記述子はまた共分散値Cijを含んでもよく、ここでiおよびjは、支配的な色およびクラスタの各々について関連する色空間における色成分ならびに分散値を表す。

0029

各画像の色記述子は記述子データベースに格納される。

0030

支配的な色記述子は画像を表すヒストグラムと同じではないことに留意することが重要である。支配的な色記述子は、初期の処理ステップにおいて決定しておくことができる画像中の支配的な色の値を含む。画像のヒストグラム表現は支配的な色を含むが、支配的な色は特定されていない。支配的な色記述子は、支配的な色または支配的な各色に対する色分布の分散に対応する値のような他の値も含む可能性があるが、ヒストグラム表現は分散または他のそのような値を計算するかまたは求めることを伴わない。支配的な色記述子の他の成分には例えば、画像中の支配的な色の影響を示す重み、画像中の支配的な色数、および画像中の支配的な色に対応する画素の空間均一性が含まれる可能性がある。

0031

第1の実施形態において、画像グループのグループ記述子は以下のように導出される。

0032

画像グループの各画像の画像記述子を記述子データベースから取り出す。次に画像記述子を結合してグループ記述子を形成する。

0033

グループ記述子は画像記述子(支配的な色、分散、重み等)と同様の形式を有する。好ましくは、グループ記述子における支配的な色数は1〜8である。しかしながら、支配的な色数は無限であるか、あるいは所定の最大値を設定することができる。画像記述子における支配的な色数もまた無限であるか、あるいは所定の最大値により制限することができる。画像記述子の最大値とグループ記述子の最大値は同じである必要はなく、例えば画像記述子の支配的な色数がグループ記述子より多くてもよい。

0034

この例では、1つのグループに2枚の画像があり、2つのそれぞれの画像記述子を以下のように結合する。

0035

大まかに言えば、画像記述子は、色空間におけるクラスタの近接度(proximity)に基づいて画像中のクラスタをマージすることによって結合される。

0036

図2Aおよび図2Bは2枚の画像の色空間における抽象的クラスタ表現である。図2Aは第1の画像を表し、図2Bは第2の画像を表す。それぞれの場合に、円はそれぞれの支配的な色のクラスタを表す。簡略化のために、色空間を2次元で示すが、色空間は通常3次元である。また、クラスタは色空間における円に必ずしも対応する必要はなく、簡略化のためにそのように示されており、円はクラスタの重みを示すものではない。以下では、図2Aおよび図2Bに示すような表現(すなわち支配的な色とそれぞれのクラスタに関する表現)をクラスタ記述子として説明する。

0037

図2Aおよび図2Bの2つのクラスタ記述子を結合して、クラスタのスーパー記述子(super-descriptor)を形成する。これを図3に示す。

0038

次に、色空間における適切な距離測定を用いて、スーパー記述子における(上記で定義したような)各クラスタペア間の距離を求める。この例において、距離は色空間におけるユークリッド距離である。

0039

この例において、第1の画像には2つの支配的な色と2つのクラスタがあり、第2の画像には3つの支配的な色と3つのクラスタがあり、それぞれに1〜5の番号を付けた。支配的な各色は、図2ないし図5において×印で示すRGB色空間の点に対応する。クラスタペア間の距離は3−DのRGB空間におけるクラスタの重心間の距離である。第1および第2の画像における支配的な色の各ペア間の距離を、この例では同じ画像のクラスタを含めて計算する。距離の測定値が最も小さい支配的な色のペアを選択する。

0040

次に、その2つの支配的な色に対応するクラスタをマージする。

0041

この例では図3に示すように、最も近い2つのクラスタはクラスタ1および3であり、これらを以下のようにマージする。

0042

マージしたクラスタの支配的または代表的な色の値は2つのクラスタの支配的な色の加重平均であり、ここで重みは上記で定義した通りである。したがって、2つの支配的な色m1、m2とそれぞれの重みW1およびW2について、マージした支配的な色mは次の値を有する。
m=w1m1+w2m2
ここで、w1、w2は相対的な重みであり、それぞれW1/W1+W2およびW2/W1+W2である。

0043

マージした2つのクラスタの分散を用いて、マージしたクラスタの分散も計算する。この例では、各色成分を個別に扱い、マージしたクラスタの分散は2つのガウス分布の加重平均であると仮定する。この結果、マージしたクラスタの分散について次式が得られる。
σ2=w1σ12+w2σ22+w1w2(m1−m2)2
ここで、σ12、σ22は成分クラスタの分散であり、m1、m2はそれらの平均であり、w1、w2は上記で定義したような相対的な重みである。

0044

マージしたクラスタの重みWはW1+W2である。

0045

マージしたクラスタは新たなクラスタとして扱い、重み、平均および分散は上記で説明した通りである。

0046

これは図4に示されており、クラスタ1および3はマージされて新たなクラスタ6を形成している。

0047

次にマージするステップをもう1度反復する。1度目の反復でマージした2つのクラスタ1および3はさらなる検討から除外し、図4に示すようにマージしたクラスタ6に置き換える。

0048

次に、上記で略述したように、マージしたクラスタ6を含めて色空間において最も近いクラスタペアを特定しそれらをマージすることによって、マージするステップを繰り返す。

0049

この例において、2度目の反復では、クラスタ2および4が最も近いクラスタペアである。これらをマージして新たなクラスタ7を作成し、クラスタ2および4の支配的な色、重みおよび分散から、上に記載したように支配的な色、重みおよび分散を導出する。図5に示すようにマージしたクラスタ7でクラスタ2および4を置き換える。

0050

所定の条件を満たすまでマージの反復を繰り返す。例えば所定の条件として、残るクラスタ数の合計(第1および第2の画像における、マージされたクラスタと残っている元のクラスタの合計)が所定数になるまでマージを続けることとすることができる。あるいは所定の条件は、残りのクラスタの各ペア間の距離が所定の値よりも大きくなるまでマージを続けることとすることができる。あるいは本方法は所定回数の反復を含んでもよい。所定の条件のうち2つ以上を組み合わせてもよい。

0051

この例では、所定数(3つ)のクラスタが残るまでマージを繰り返す。

0052

上記の例では、マージしたクラスタをさらなる反復において検討する。しかしながら、マージしたクラスタはさらなる反復から除外してもよい。また上記の例において、クラスタを同一画像内の他のクラスタとマージすることもできるが、別法においてクラスタは、1回目の反復および/または任意の以後の反復において別の画像に現れるクラスタのみとマージしてもよい。これにより距離の測定回数が減る。

0053

クラスタに関して説明したが、マージは、記述子すなわち支配的な色、分散および重みの値に対して行い、必ずしもクラスタ自体を解析する必要はないことが理解される。

0054

反復が終了したら、残っているクラスタを用いてグループ記述子を形成する。より具体的には、最終的なクラスタの各々について、代表的または支配的な色、それぞれの分散、およびそれぞれの重みがある。これらを、最終的なクラスタ数を示す次数mとともに結合してグループ記述子を形成する。このグループ記述子は、色空間、または表現に用いられる色量子化の指示のような他の因子を含んでいてもよい。グループ記述子はGoFGoPの支配的な色記述子である。

0055

上記の例では、画像グループには2枚の画像しかない。しかしながら本方法は、3枚以上の画像を含むグループにも適用することができる。上記のようにグループ中の各画像のクラスタ記述子を全て結合してスーパー記述子を形成することもできる。あるいは、画像グループをサブグループ、例えば連続するかまたは連続しない2枚組または3枚組のグループに結合して、サブグループの記述子を同様の方法で結合してもよい。

0056

1つのグループに多数の画像がある場合、上記の方法は多数のクラスタならびに多数のクラスタ間距離の計算を伴う可能性がある。

0057

上記に鑑みて、上記方法の変形は、ビデオショットまたはコレクション中の画像のほとんどは非常に類似しており、対応する記述子も類似するという事実を考慮する。これはほとんどのクラスタが、精度をそれほど損なうことなくフレーム毎にマージできることを意味する。

0058

より詳細には、この変形は、画像グループの画像を連続して考慮する。上述の例のように、画像記述子は既に導出されて記述子データベースに格納されている。画像グループの第1および第2の画像のクラスタ記述子を取り出す。次に、画像ペアの各クラスタ間の距離を求める。クラスタペア間の距離が所定の閾値未満となるものがあれば、そのクラスタペアをマージする。画像ペアのマージしたクラスタと任意の残りのクラスタを上記で説明したようにスーパー記述子に集める。次に、次の画像のクラスタ記述子を取り出し、同様にして最初の2枚の画像のスーパー記述子とマージする。すなわち、近いクラスタをマージして新たなスーパー記述子を形成する。全ての画像のクラスタ記述子を検討したら、結果として得られるスーパー記述子を、最初の例に記載したように全ての残りのクラスタを用いてマージする。

0059

上記説明では、クラスタ記述子は既に導出していた。別法として、画像を取り出すかまたは供給し、クラスタをマージする前に画像から記述子を導出してもよい。

0060

上述の第1の実施形態において、GoFGoPの記述子は、グループ中の各画像の記述子を集約することによって導出する。

0061

第2の実施形態では、画像を画像または画素ドメインにおいて集約し、次に集約した画像から支配的な色記述子を導出してGoFGoPの支配的な色記述子を作成する。したがって図6に示すように、グループ中にN枚のm×mの画素を含む画像8がある場合、スーパー画像9は(N×m)×mの画素配列みなすことができる。

0062

第1の実施形態と対照的に、第2の実施形態は各画像の画像記述子を用いず、画像を直接操作する。

0063

画像を集約した後、第1の実施形態に関して上述した技法を用いてスーパー画像から支配的な色記述子を導出する。

0064

第2の実施形態の利点は、抽出プロセスの精度が落ちないことである。しかしながら、全ての画像を検討する際には大量の複雑性、特にメモリが必要となる可能性がある。この複雑性の問題を克服するために、画像を時間的かつ/または空間的にサブサンプリングしてもよい。

0065

上記において、画像を画像または画素ドメインで集約し、次に集約した画像から支配的な色記述子を導出してGoFGoPの支配的な色記述子を作成する。あるいは、各画像を色ドメインにおいて(例えば各画像のヒストグラムの形態で)集約し、集約したヒストグラムから支配的な色記述子を導出することもできる。例えば、各画像のカラーヒストグラムは導出するか、メモリから取り出すことができる。次に、カラーヒストグラム同士を加算することにより結合し、スーパー画像のヒストグラムを形成する。このヒストグラムは、スーパー画像を形成する画像の数により正規化することができる。最後に、第1の実施形態に関して上述した技法を用いて、スーパー画像のヒストグラムから支配的な色記述子を導出する。言い換えれば、スーパー画像のヒストグラムのピーク(支配的な色)、ならびにそれぞれの分散および重みを選択する。

0066

支配的な色記述子を導出する前に画像を集約するための他の技法を用いてもよい。例えば、各画像のヒストグラム同士を加算する代わりに、画像グループの平均、中央値または共通集合を計算してもよい。次に結果として得られた平均、中央値または共通集合ヒストグラムから支配的な色のグループ記述子を導出する。

0067

画像/画素ドメインおよび色/ヒストグラムドメインにおける集約に当てはまる第2の実施形態の変形では、後述のように画像グループを時間的にサブサンプリングしてもよい。この例において、各画像のクラスタ記述子を導出するかまたは取り出す。GoFGoP記述子を導出する際にグループ中のどの画像を用いるかをクラスタ記述子の類似度に基づいて決定する。

0068

画像グループのシーケンスの1番目の画像が最初のスーパー画像を形成する。それ以後の画像は、ある画像とスーパー画像(最初は1番目の画像)に加えた最後の画像とのクラスタ記述子間の類似度が所定の決定条件を満たすまで廃棄する。ある画像がこの条件を満たす場合、これをスーパー画像に加える。次に、所定の条件が再び満たされるまでグループ中のそれ以後の画像をスーパー画像に加えた最後の画像と比較することを同様に行い、グループ中の全画像を検討し終えるまで続ける。次に結果として得られたスーパー画像から支配的な色記述子を導出する。

0069

画像の類似度の1つの可能な決定基準は、本発明者らの同時係属中の出願WO00/67203に記載されるような、それぞれの支配的な色記述子間のマッチング関数の値であるか、あるいは上記のMPEG−7の本に記載されるようなマッチング関数を用いる。別の基準は、上述の「オンライン」マージの結果とすることもできる。この場合の「決定基準」は、全てのクラスタが既存の記述子にマージされた場合に満たされる。全ての画像について支配的な色を抽出することを避ける別の手法は、粗なカラーヒストグラムを計算し、ヒストグラムマッチング関数の値を基準として用いることであろう。

0070

これらの基準は両方とも、さらなるパラメータ(第1の場合にはそれ未満ではマッチング関数の値が小さいとみなされる閾値、第2の場合にはマージ閾値)を指定することを必要とする。メモリに制限がある場合に特に当てはまる代替的な手法は、閾値を採用して、集めた画像数が指定された限界を超えないようにすることであろう。

0071

第3の実施形態は、画像グループの支配的な色記述子のグループからGoFGoPの支配的な色記述子を導出する。より具体的には、画像グループについて、それぞれの支配的な色記述子を記述子データベースから取り出す(既に導出されていない場合には導出する)。

0072

支配的な各色記述子について、その記述子とグループの残りの記述子それぞれの間の距離を測定する。この結果、各記述子について距離測定値のセットが生じ、これらを加算して各記述子の全体的な距離測定値を得る。全体的な距離測定値が最も小さい記述子を代表的な記述子として選択し、GoFGoPの支配的な色記述子として扱う。

0073

代表的な記述子を選択する、好ましくはグループ中の画像の画像記述子の少なくとも一部に関するテストまたは比較を伴う他の方法を用いることもできる。別の例として、これは、記述子全体について行った場合、MPEG−7において規定されるような歪尺度に基づいて行ってもよい。

0074

非常に近い記述子を事前拒絶して計算を減らすことも可能である。

0075

上記ではGoFGoP記述子、特にGoFGoPの支配的な色記述子を導出するための様々な方法を記載した。

0076

GoFGoP記述子には、画像グループの探索および取り出しにおけるような様々な用途がある。例えばユーザは、入力画像または画像グループに対応する画像グループを探索したい場合がある。

0077

探索方法の概要を以下に記載する。

0078

図1を参照すると、ユーザが、スキャナデジタルカメラのような適切な手段を用いて、あるいはコンピュータが表示する様々な画像から問い合わせ画像を選択することによって、あるいは任意のそのような画像の領域を選択することによって問い合わせ画像を入力する。上述のように画像の支配的な色記述子を導出する。次に問い合わせの支配的な色記述子を、記述子データベースに格納されたGoFGoPの支配的な色記述子の各々と比較する。GoFGoPの支配的な色記述子は1枚の画像の支配的な色記述子と同じ形式であるので、マッチングは例えば、WO00/67203に記載されるようなマッチング関数またはそれと同様のもの、あるいは上記のMPEG−7の本の第13.3.2節に記載されるようなマッチング関数を用いて行うことができる。問い合わせ記述子は任意選択で、データベースに格納されている可能性のある1枚の画像の記述子と比較してもよい。

0079

マッチング関数の結果を順番に並べて、マッチング関数が最も近い一致を示す画像グループを取り出す。最も近い一致の1つまたは複数の画像を表示してもよい。

0080

問い合わせを行う他の方法を用いることもできる。問い合わせは、画像グループを選択し、そのグループについて上述のようなGoFGoP記述子を抽出することによって行うことができる。このグループは、例えばフレームの範囲を選択することによって明示的に、あるいは例えばビデオ中のキーフレームを選択することによって暗示的に選択することができ、この場合は適切なアルゴリズムを用いてキーフレームを含む「ショット」を導出する。

0081

本発明によるシステムは例えば、画像ライブラリ内に設けることができる。別法では、そのデータベースは、システムの制御ユニットから遠隔に配置されており、電話線のような一時的なリンクによって、あるいはインターネットのようなネットワークによって制御ユニットに接続される場合がある。画像および記述子データベースは例えば、永久記憶装置内に、あるいはCD−ROMまたはDVDのようなポータブルデータ記憶媒体上に設けられる場合がある。

0082

本発明の1実施形態として上述したシステムはコンピュータシステムの形態である。このコンピュータシステムは、本発明の1実施形態による方法を実行する適切なプログラムを用いてプログラムされている標準的なコンピュータであってよい。プログラムは、固定または永久記憶装置または取り外し可能な記憶手段を含む任意の適切な記憶媒体に格納されることができる。システムは、例えば特定のチップを含む特定のハードウェアおよび/またはソフトウェアを用いて変更することができる。本発明は、特定のハードウェアおよび/またはソフトウェアを含む特別に適応させた装置において実施することもできる。

0083

上記の説明では、色表現を赤、緑および青の色成分に関して説明した。当然ながら、色相彩度および明度、またはYUV座標系、あるいは任意の色空間における色成分のサブセット、例えばHSIの色相と彩度のみを用いた表現等の他の表現を用いることもできる。

0084

上述した本発明の実施形態は、画像および画像グループについて導出した記述子を用いる。しかしながら、画像記述子は画像の領域に関するものであってもよく、GoFGoP記述子も同様に画像の領域に基づくものであってよい。領域は長方形のブロックであるか、あるいは異なる形状およびサイズの領域を用いることもできる。別法では、記述子は、オブジェクト、例えば車、家または人に対応する画像の領域について導出してもよい。いずれの場合にも、記述子は画像の全てあるいはその一部のみについて導出される場合がある。また、画像領域グループを形成する画像中の複数の領域に上記方法を適用することによって、GoFGoPグループ記述子を1枚の画像について導出することもできる。

0085

探索手順では、ユーザは単純な色の問い合わせを入力するかまたは画像ブロックを選択する代わりに、例えばポインティングデバイスを用いて、例えば画像のある領域を囲むことによりその領域を記述することができ、すると制御ユニットは、その領域の記述子を導出して、それを上述と同様の方法で探索に用いる。また、探索を開始するために画像データベースに既に格納されている画像を用いる代わりに、例えば、画像スキャナまたはデジタルカメラを用いて画像をシステムに入力することもできる。そのような状況で探索を行うために、ここでもシステムがまず、画像または画像領域の記述子を自動的に、あるいはユーザが決定した通りに導出する。

0086

本発明の適切な態様はハードウェアまたはソフトウェアを用いて実施することができる。

0087

上記の実施形態では、代表的な各色のクラスタ分布ガウス関数を用いて近似し、それらの関数の平均、分散および共分散を記述子の値に用いた。しかしながら他の関数またはパラメータを用いて、例えば正弦または余弦のような基底関数を用い、これらの関数に基づく記述子を用いて、成分の分布を近似することもできる。

0088

1〜7クラスタ、8(1)〜8(n) 画像、9スーパー画像、12制御ユニット、14表示ユニット、16ポインティングデバイス、18画像データベース、20記述子データベース、22サーチエンジン。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 株式会社NGRの「 パターンマッチング方法」が 公開されました。( 2020/09/24)

    【課題】正しいマッチング位置を決定することができるパターンマッチング方法を提供する。【解決手段】パターンマッチング方法は、画像200上のパターンと、対応するCADパターン210とのマッチングを実施し、... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ