図面 (/)

技術 色空間量子化記述子情報構造の構成方法

出願人 エルジーエレクトロニクスインコーポレイティド
発明者 ジュン・ミン・ソンヒョン・ジュン・キム
出願日 2000年12月22日 (19年11ヶ月経過) 出願番号 2000-390160
公開日 2001年8月24日 (19年3ヶ月経過) 公開番号 2001-229370
状態 特許登録済
技術分野 イメージ処理・作成 イメージ分析 検索装置
主要キーワード 演算無し 描写情報 画像資料 時間変化情報 使用者所望 限界範囲 色要素値 空間量
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2001年8月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

マルチメディア特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアデータの検索を行うとき、色空間の特性を充分に反映する量子化を行って、コンテンツベースマルチメディア検索を行い得る色空間量子化記述子情報構造の構成方法を提供する。

解決手段

コンテンツベースのマルチメディアを検索する際、色空間を量子化する色空間量子化記述子情報を、多段階上位色空間と下位色空間とに区分して、帰納的に複数の下位色空間を有したツリー構造に構成する。

概要

背景

一般に、コンテンツベースマルチメディア検索を行うとき、特に、静止画像又は動画像検索するためには、画像の特徴情報として色情報テクスチャ情報形態情報及びそれらの時間変化情報を利用して検索を行う。

このように画像の特徴情報を表現して画像を検索するとき、色情報を利用することが、コンテンツベースのマルチメディア検索に有用であることが知られている。

特に、ディジタル画像を構成する基本的な方法は、一つの画素又は画素グループに対して色情報を書き込むことであって、各画素(又は画素グループ)に色情報を書き込むときには、一定の色空間(例えば、H、S、V(色相彩度輝度、RGB(赤、緑、青)色空間など)に対する色要素値を与え、表現しようとする画像の特性又は用途に従ってその色空間を変えることである。

このように、コンテンツベースでマルチメディア検索を行うため、画像に対する色情報を利用する場合には、各画素に対する色情報を所定の方法により加工する必要があるが、その代表例として、画像全体に表れる色情報の分布を把握できる色ヒストグラム法がある。その際、色ヒストグラムを構成するために、色空間を複数個に分割するが、これを色空間の量子化という。

又、色空間の量子化は、色空間内の隣接した色同士は人間の目に似ていると認識されるという特性を利用して、大概3次元又は4次元に表現される色空間を小さい下位色空間に分割することである。その色空間の量子化は、色情報を利用して静止画像又は動画像を検索するときに行われるが、各画素毎に割り当てられた色情報を全ての画像のマッチングに使用すると、マッチングが難しくなり、演算量も増大して速度効率が低下される。

従って、通常、全体の画像又は一部の画像を色ヒストグラムを利用して表現して、量子化された色空間に形成された色ヒストグラムを使用すると、色情報が各画素毎に割り当てられた元の画像よりもマッチングに使用される情報量が減少して、演算量も減る。又、情報を圧縮して格納して、一つの画像が占める格納空間を減らして、格納効率を向上することができる。

このような色空間の量子化を行う方法は、均等(uniform)量子化法と、非均等(non-uniform)量子化法と、ルックアップテーブルの利用量子化法とに分けることができ、その中、均等量子化法は、色空間を構成する各軸に対して均等な間隔で下位色空間を分割する方法であって、量子化過程が極めて簡単、効率的に行われ、均等量子化されて表現された二つの画像間のマッチングが迅速に行われるが、元の色空間が非均一である場合は、色空間の特性を充分に反映することが難しく、検索の性能が低下するおそれがある。

非均等量子化法は、色空間を構成する各軸に対して非均等な間隔で下位色空間を分割する方法であって、均等量子化法に比べて量子化過程及びマッチングの速度は劣るが、非均一な色空間の特性に符合するように量子化し得るという点で優れており、検索性能が高いという利点がある。

また、ルックアップテーブル量子化法は、均等量子化及び非均等量子化の際に必要な演算過程を経ることなく、量子化された色空間毎に各色空間の軸に対する上限及び下限を直接記述して格納する方法であって、検索の性能及び速度面では優秀であるが、検索装置が大容量のルックアップテーブルを恒常保有しなければならない。

従って、色空間の固有特性を充分に反映し、量子化速度又はマッチング速度が迅速で、検索性能が優秀である色空間の量子化方法が要求されている。又、画像データに含まれた色空間量子化情報を簡便かつ正確に記述しながら多様な検索エンジン互換性を持たせて利用できるように情報化し得る色空間の量子化記述情報構造構成方法が要求されている。

そして、一般のコンテンツベースマルチメディアの検索装置においては、図8に示したように、質疑部(101)、検索部(102)、格納部(103)及び応答部(104)がそれぞれ一つのコンピュータに連結されるか、又は、通信装置に連結された複数のコンピュータにそれぞれ連結されて、検索部(102)が質疑部(101)の画像の特徴を抽出して格納部(103)の各画像と比較し、質疑に含まれている内容と一致する画像を選択して、その選択した結果の画像を応答部(104)がリストアップして使用者提示するようになっていた。

又、従来の色空間の量子化記述子情報構造においては、図9に示したように、色空間の量子化記述子(201)内の一つの量子化記述子が、均等量子化記述子(202)を有するように構成され、色空間の量子化記述子(201)が、一つの量子化記述子が複数の量子化記述子(201)を帰納的包含する構造になっていた。

また、量子化記述子(201)は、色空間の次元と、現在の色空間とその下位色空間とを均一に分割する場合には、均一量子化記述子を表現し、色空間の次元と、現在の色空間の下位色空間とを不均一に分割する場合には、色空間の量子化記述子を帰納的に表現していた。

概要

マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアデータの検索を行うとき、色空間の特性を充分に反映する量子化を行って、コンテンツベースでマルチメディア検索を行い得る色空間量子化記述子情報構造の構成方法を提供する。

コンテンツベースのマルチメディアを検索する際、色空間を量子化する色空間量子化記述子情報を、多段階上位色空間と下位色空間とに区分して、帰納的に複数の下位色空間を有したツリー構造に構成する。

目的

そこで、本発明の目的は、マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアの検索を行うとき、色空間の固有の特性を充分に反映する量子化を行ってコンテンツベースでマルチメディア検索を行うことができる色空間の量子化記述子情報構造の構成方法を提供することである。

また、本発明の他の目的は、マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアの検索を行うとき、量子化過程及び画像マッチング過程を迅速化して、コンテンツベースでマルチメディア検索を行い得る色空間の量子化記述子情報構造の構成方法を提供することである。

さらに、本発明の又他の目的は、マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアの検索を行うとき、それらの静止画像又は動画像の検索性能を向上させてコンテンツベースのマルチメディアの検索を行い得る色空間の量子化記述子情報構造の構成方法を提供することである。

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンテンツベースマルチメディア検索を行うための色空間量子化記述子情報構造を構成する方法であって、画像の特徴情報として色情報記述するとき、色空間の量子化描写情報が、色空間を多段階上位色空間と、下位色空間とに区分されるツリー構造に構成することを特徴とする色空間量子化記述子情報構造の構成方法

請求項2

前記量子化描写情報は、一つの色空間を表現し、再び帰納的複数個の下位色空間を有するように構成されることを特徴とする請求項1記載の色空間量子化記述子情報構造の構成方法。

請求項3

前記量子化描写情報は、前記下位色空間を均等に量子化するか、又は不均等に量子化する情報に構成されることを特徴とする請求項1記載の色空間量子化記述子情報構造の構成方法。

請求項4

前記量子化描写情報の下位色空間構造は、任意の連続的な色空間の集合体に形成されることを特徴とする請求項1に記載の色空間量子化記述子情報構造の構成方法。

請求項5

前記量子化描写情報の下位色空間構造は、任意の集合体内の各色空間の限界範囲の大きさ順にスケーラブルな量子化描写が行われることを特徴とする請求項1又は4に記載の色空間量子化記述子情報構造の構成方法。

請求項6

前記量子化描写情報は、下位色空間を均一量子化する過程を描写する均一量子化描写情報と、下位色空間を不均一量子化する過程を描写する不均一量子化描写情報をさらに含むことを特徴とする請求項1に記載の色空間量子化記述子情報構造の構成方法。

請求項7

コンテンツベースのマルチメディア検索を行うための色空間量子化記述子情報構造を構成する方法であって、画像の特徴情報として色情報を記述するとき、色空間の量子化描写情報が、色空間を多段階の上位色空間と下位色空間とに分割されるツリー構造に構成されて、均一量子化又は不均一量子化を表現する量子化タイプ情報を備えることを特徴とする色空間量子化記述子情報構造の構成方法。

請求項8

前記色空間の量子化描写情報は、前記色空間を構成するコンポーネント数表現情報包含して備えられることを特徴とする請求項6に記載の色空間量子化記述子情報構造の構成方法。

請求項9

前記色空間の量子化描写情報は、前記分割された各色空間の限界範囲を表現する情報を包含して構成されることを特徴とする請求項6に記載の色空間量子化記述子情報構造の構成方法。

請求項10

前記色空間の量子化描写情報は、前記均一量子化を表現する場合、前記色空間の分割数を表現する情報が追加して備えられることを特徴とする請求項6に記載の色空間量子化記述子情報構造の構成方法。

請求項11

前記色空間の限界範囲を表現する情報及び均一量子化色空間の分割数を表現する情報は、前記色空間の該当軸を表現する情報が追加して備えられることを特徴とする請求項8又は9に記載の色空間量子化記述子情報構造の構成方法。

請求項12

前記色空間の限界範囲を表現する情報及び均一量子化色空間の分割数を表現する情報は、1以上でコンポーネントの数以下に描写されることを特徴とする請求項8、9及び10中の何れか一項に記載の色空間量子化記述子情報構造の構成方法。

請求項13

コンテンツベースのマルチメディアの検索を行うための色空間量子化記述子情報構造を構成する方法であって、画像の特徴情報として色情報を記述するとき、色空間の量子化描写情報が、色空間を多段階の上位色空間と下位色空間とに分割されるツリー構造に構成されて、前記色空間の量子化描写情報が量子化記述子の帰納数を表現する情報として下位色空間の数を記述し、均一量子化又は不均一量子化をそれぞれ描写する情報を備え、前記均一量子化の描写情報は、ビン数を記述し、不均一量子化の描写情報は、下位色空間の境界値を記述することを特徴とする色空間量子化記述子情報構造の構成方法。

請求項14

前記色空間の量子化描写情報は、前記色空間を構成するコンポーネントの数を表現する情報をさらに包含することを特徴とする請求項13に記載の色空間量子化記述子情報構造の構成方法。

請求項15

前記色空間の量子化描写情報は、前記それぞれ分割された各色空間の限界範囲を表現する情報をさらに含むことを特徴とする請求項13に記載の色空間量子化記述子情報構造の構成方法。

請求項16

前記色空間の量子化描写情報は、前記均一量子化を表現する場合には、前記色空間の分割数を表現する情報をさらに含むことを特徴とする請求項13に記載の色空間量子化記述子情報構造の構成方法。

請求項17

前記色空間の限界範囲を表現する情報及び前記均一量子化色空間の分割数を表現する情報は、前記色空間の該当軸を表現する情報をさらに含むことを特徴とする請求項15又は16に記載の色空間量子化記述子情報構造の構成方法。

請求項18

前記色空間の限界範囲を表現する情報及び前記均一量子化色空間の分割数を表現する情報は、1以上〜コンポーネント数以下に描写されることを特徴とする請求項17に記載の色空間量子化記述子情報構造の構成方法。

技術分野

0001

本発明は、コンテンツベースマルチメディア検索を行う際、マルチメディア特徴情報としての色情報を利用して、色空間を量子化する色空間量子化記述子情報構造に係るもので、詳しくは、上位色空間と下位色空間と多段階のに分割されたツリー構造であって、帰納的(recursive)に複数の下位色空間を有するツリー構造として構成される色空間量子化記述子情報構造の構成方法に関するものである。

背景技術

0002

一般に、コンテンツベースでマルチメディア検索を行うとき、特に、静止画像又は動画像検索するためには、画像の特徴情報として色情報、テクスチャ情報形態情報及びそれらの時間変化情報を利用して検索を行う。

0003

このように画像の特徴情報を表現して画像を検索するとき、色情報を利用することが、コンテンツベースのマルチメディア検索に有用であることが知られている。

0004

特に、ディジタル画像を構成する基本的な方法は、一つの画素又は画素グループに対して色情報を書き込むことであって、各画素(又は画素グループ)に色情報を書き込むときには、一定の色空間(例えば、H、S、V(色相彩度輝度、RGB(赤、緑、青)色空間など)に対する色要素値を与え、表現しようとする画像の特性又は用途に従ってその色空間を変えることである。

0005

このように、コンテンツベースでマルチメディア検索を行うため、画像に対する色情報を利用する場合には、各画素に対する色情報を所定の方法により加工する必要があるが、その代表例として、画像全体に表れる色情報の分布を把握できる色ヒストグラム法がある。その際、色ヒストグラムを構成するために、色空間を複数個に分割するが、これを色空間の量子化という。

0006

又、色空間の量子化は、色空間内の隣接した色同士は人間の目に似ていると認識されるという特性を利用して、大概3次元又は4次元に表現される色空間を小さい下位色空間に分割することである。その色空間の量子化は、色情報を利用して静止画像又は動画像を検索するときに行われるが、各画素毎に割り当てられた色情報を全ての画像のマッチングに使用すると、マッチングが難しくなり、演算量も増大して速度効率が低下される。

0007

従って、通常、全体の画像又は一部の画像を色ヒストグラムを利用して表現して、量子化された色空間に形成された色ヒストグラムを使用すると、色情報が各画素毎に割り当てられた元の画像よりもマッチングに使用される情報量が減少して、演算量も減る。又、情報を圧縮して格納して、一つの画像が占める格納空間を減らして、格納効率を向上することができる。

0008

このような色空間の量子化を行う方法は、均等(uniform)量子化法と、非均等(non-uniform)量子化法と、ルックアップテーブルの利用量子化法とに分けることができ、その中、均等量子化法は、色空間を構成する各軸に対して均等な間隔で下位色空間を分割する方法であって、量子化過程が極めて簡単、効率的に行われ、均等量子化されて表現された二つの画像間のマッチングが迅速に行われるが、元の色空間が非均一である場合は、色空間の特性を充分に反映することが難しく、検索の性能が低下するおそれがある。

0009

非均等量子化法は、色空間を構成する各軸に対して非均等な間隔で下位色空間を分割する方法であって、均等量子化法に比べて量子化過程及びマッチングの速度は劣るが、非均一な色空間の特性に符合するように量子化し得るという点で優れており、検索性能が高いという利点がある。

0010

また、ルックアップテーブル量子化法は、均等量子化及び非均等量子化の際に必要な演算過程を経ることなく、量子化された色空間毎に各色空間の軸に対する上限及び下限を直接記述して格納する方法であって、検索の性能及び速度面では優秀であるが、検索装置が大容量のルックアップテーブルを恒常保有しなければならない。

0011

従って、色空間の固有特性を充分に反映し、量子化速度又はマッチング速度が迅速で、検索性能が優秀である色空間の量子化方法が要求されている。又、画像データに含まれた色空間量子化情報を簡便かつ正確に記述しながら多様な検索エンジン互換性を持たせて利用できるように情報化し得る色空間の量子化記述情報構造の構成方法が要求されている。

0012

そして、一般のコンテンツベースマルチメディアの検索装置においては、図8に示したように、質疑部(101)、検索部(102)、格納部(103)及び応答部(104)がそれぞれ一つのコンピュータに連結されるか、又は、通信装置に連結された複数のコンピュータにそれぞれ連結されて、検索部(102)が質疑部(101)の画像の特徴を抽出して格納部(103)の各画像と比較し、質疑に含まれている内容と一致する画像を選択して、その選択した結果の画像を応答部(104)がリストアップして使用者提示するようになっていた。

0013

又、従来の色空間の量子化記述子情報構造においては、図9に示したように、色空間の量子化記述子(201)内の一つの量子化記述子が、均等量子化記述子(202)を有するように構成され、色空間の量子化記述子(201)が、一つの量子化記述子が複数の量子化記述子(201)を帰納的に包含する構造になっていた。

0014

また、量子化記述子(201)は、色空間の次元と、現在の色空間とその下位色空間とを均一に分割する場合には、均一量子化記述子を表現し、色空間の次元と、現在の色空間の下位色空間とを不均一に分割する場合には、色空間の量子化記述子を帰納的に表現していた。

発明が解決しようとする課題

0015

然るに、このような従来の色空間の量子化方法においては、ただ、色空間を均等又は不均等に分割して求められた一つのレベル量子化情報のみを利用して量子化を行うため、色空間の固有特性が充分に反映されず、量子化速度及びマッチング速度が低下するという不都合な点があった。

0016

又、コンテンツベースにマルチメディア検索を行うとき、検索性能が低下するため、画像データに含まれた色空間量子化情報を簡便で正確に記述しながら多様な検索エンジンで互換可能に情報化することができないという不都合な点があった。

0017

そこで、本発明の目的は、マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアの検索を行うとき、色空間の固有の特性を充分に反映する量子化を行ってコンテンツベースでマルチメディア検索を行うことができる色空間の量子化記述子情報構造の構成方法を提供することである。

0018

また、本発明の他の目的は、マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアの検索を行うとき、量子化過程及び画像マッチング過程を迅速化して、コンテンツベースでマルチメディア検索を行い得る色空間の量子化記述子情報構造の構成方法を提供することである。

0019

さらに、本発明の又他の目的は、マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアの検索を行うとき、それらの静止画像又は動画像の検索性能を向上させてコンテンツベースのマルチメディアの検索を行い得る色空間の量子化記述子情報構造の構成方法を提供することである。

課題を解決するための手段

0020

このような目的を達成するため、本発明に係る色空間の量子化記述子情報構造の構成方法はマルチメディアの特徴情報として色情報を利用するものであって、動画像又は静止画像のマルチメディアの検索を行うとき、コンテンツベースでマルチメディア検索を行うために、色空間の量子化記述子情報を、多段階の上位色空間と下位色空間とに分割し、帰納的に複数の下位色空間を有するツリー構造として構成することを特徴とする。

0021

本発明に係る色空間の量子化記述子情報構造の構成方法は、マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアの検索を行うとき、コンテンツベースのマルチメディアの検索を行うために、色空間の量子化記述子情報を、下位色空間を均等量子化又は不均等量子化して表現することを特徴とする。

0022

本発明に係る色空間の量子化記述子情報構造の構成方法は、マルチメディアの特徴情報として色情報利用して、動画像又は静止画像のマルチメディアの検索を行うとき、コンテンツベースのマルチメディアの検索を行うために、色空間の量子化記述子情報の下位色空間がある連続的な色空間の集合体になるように構成することを特徴とする。

0023

本発明に係る色空間の量子化記述子情報構造の構成方法は、マルチメディアの特徴情報として色情報を利用して、動画像又は静止画像のマルチメディアの検索を行うとき、コンテンツベースでマルチメディア検索を行うために、色空間の量子化記述子情報の下位色空間がある連続的な色空間の集合体になるように構成され、その集合体内の色空間の限界範囲順にスケーラブルな量子化描写が行われることを特徴とする。

0024

本発明に係る色空間の量子化記述子情報構造の構成方法は、コンテンツベースでマルチメディア検索を行うために、画像の特徴情報として色情報が記述されるとき、色空間の量子化描写情報は、色空間が多段階の上位色空間と下位色空間とに分割されたツリー構造に構成され、均一量子化又は不均一量子化を表現する量子化タイプ情報と、色空間を構成するコンポーネントの数を表現する情報と、分割された各色空間の限界範囲を表現する情報と、均一量子化を行うとき、その色空間の分割数を表現する情報と、から構成されることを特徴とする。

0025

本発明に係る色空間の量子化記述子情報構造の構成方法は、色空間の限界範囲を表現する情報及び均一量子化色空間の分割数を表現する情報が、その色空間の該当軸を表現する情報を包含するとき、1以上でコンポーネントの数以下に描写されることを特徴とする。

発明を実施するための最良の形態

0026

以下、本発明の実施の形態について図面を用いて説明する。本発明に係る色空間の量子化記述子構造の第1実施形態においては、図1に示したように、量子化記述子(301)と、コンポーネント範囲情報(302)と、均一量子化記述子(303)とを有している。量子化記述子(301)は、量子化タイプ(quantization_type)及びコンポーネントの数(num_component)を有し、量子化タイプによって色空間の量子化記述子を帰納的に有するか、又は均一量子化記述子(303)を有する。

0027

量子化タイプは、均一量子化(uniform)又は不均一量子化(nonuniform)の何れか一つ以上を選択して記述し、現在の色空間の下位色空間が均一に量子化されたか、又は不均一に量子化されたかを表わす。その量子化タイプを記述するとき、コンポーネント数は、定数として表現される。その定数は、量子化しようとする色空間の次元を表わす。

0028

さらに、量子化記述子(301)の量子化タイプに基づいて、現在の色空間の量子化記述子の下位に色空間の量子化記述子を帰納的に記述するか、若しくは、均一量子化記述子を記述するかを決定する。

0029

従って、量子化タイプが均一である場合は、均一量子化記述子(303)を1個以上、コンポーネントの数以下だけ記述し、色空間の記述子を帰納的には記述しない。

0030

一方、量子化タイプが、不均一である場合には、色空間の量子化記述子を分割しとうとする下位色空間の数だけ記述し、均一量子化記述子(303)は記述しない。

0031

例えば、H、S、Vの色空間を不均一に量子化しようとする場合、量子化記述子(301)は、量子化タイプを不均一量子化として表現し、コンポーネント数は、H、S、Vの色空間の次元を表わす‘3’と表現する。すなわち、H軸、S軸及びV軸の3次元の色空間を表現する。

0032

そのH、S、Vの色空間を均一に量子化する場合は、均一量子化記述子(303)を1以上、コンポーネントの数(3)以下だけ記述する。

0033

コンポーネント範囲(Component Range)情報(302)は、現在の色空間の範囲の上限及び下限を表現し、下位色空間を形成するときに分割する軸の数だけ、すなわち、1以上〜コンポーネントの数以下に記述する。

0034

また、コンポーネントの範囲情報(302)は、分割する色空間の軸を表現する情報(idref)と、分割する開始位置(start)(値)及び終了位置(end)(値)をそれぞれ表現する情報とを記述する。

0035

例えば、H、S、Vの色空間をV軸(0〜255範囲)に分割して量子化する場合、idref=V、start=0、end=100;idref=V、start=100、end=200;dref=V、start=200、end=255のようにコンポーネントの範囲を記述することができる。

0036

さらに、前述したように、H、S、Vの色空間の量子化を行う場合には、コンポーネントの数(num_component)が3であるため、コンポーネントの範囲情報(302)は、1以上3以下に記述することができる。すなわち、Vに対してのみ記述するか、又は、V、Hに対してのみ記述するか、若しくは、H、S、Vの全てに対して記述することができる。また、均一量子化記述子(303)は、分割する色空間の軸を表現する情報(idref)と分割数(num_bins)とを記述するので、色空間の各軸に対して量子化された下位色空間をどのように等分して分割するかを表現する。

0037

従って、H、S、Vの色空間のV軸を3分割量子化するとき、idref=V、num_bins=3として表現することができる。

0038

図2は、本発明に係る色空間の量子化記述子構造の第2実施形態を示した構成図で、図示されたように、量子化記述子(401)及びコンポーネントの範囲情報(402)を有する。量子化記述子(401)は、量子化タイプ(quantization_type)及びコンポーネントの数(num_component)を有し、量子化タイプに従って色空間の量子化記述子を帰納的に有するか、又は均一量子化記述子(403)を有する。

0039

かつ、量子化タイプは、均一量子化又は不均一量子化中の何れか一つ以上を選択して記述し、現在の色空間の下位色空間が均一に量子化されたか又は不均一に量子化されたかを表わす。また、量子化タイプにおいて、コンポーネントの数は定数として表現されて、量子化しようとする色空間の次元を表わす。すなわち、量子化記述子(401)の量子化タイプに従って現在色空間の量子化記述子の下位に色空間の量子化記述子を帰納的に記述するか、又は均一量子化記述子を記述するかを決定する。

0040

従って、量子化タイプが均一である場合は、均一量子化記述子(403)をコンポーネントの数だけ記述し、色空間の記述子を帰納的に記述しない。一方、量子化タイプが、不均一である場合には、色空間の量子化記述子を分割しとうとする下位色空間の数だけ記述し、均一量子化記述子(403)は記述しない。

0041

例えば、H、S、Vの色空間を不均一に量子化する場合、量子化記述子(401)は、量子化タイプを不均一量子化として表現し、コンポーネントの数は、H、S、Vの色空間の次元を表わす‘3’と表現する。すなわち、H軸、S軸、V軸の3次元の色空間を表現する。そして、H、S、Vの色空間を均一に量子化する場合には、均一量子化記述子(403)を3次元として記述する。

0042

コンポーネントの範囲情報(402)は、現在の色空間の上限及び下限を表現し、下位色空間を形成するために分割する軸の数だけ、すなわち、コンポーネントの数だけ記述し、分割する色空間の開始位置(値)及び終了位置(値)をそれぞれ表現する情報(start、end)を記述する。

0043

前述したように、H、S、Vの色空間の量子化を行う場合、コンポーネントの数がnum_component=3であるため、コンポーネント範囲情報(402)は、H、S、Vの3次元に記述することができる。

0044

さらに、均一量子化記述子(403)には、分割する色空間の分割数(num_bins)が記述されて、現在の量子化された下位色空間を色空間の各軸に対してどのように等分すべきかを表現する。

0045

図3は、本発明に係る色空間を量子化する過程を示した説明図で、図1又は図2に示した本発明に係る量子化記述子により記述される描写情報をH、S、Vの色空間として示した説明図である。

0046

先ず、A段階は、H、S、Vの色空間(H=0〜360、S、V=0〜255)全体を表現したもので、図示されたように、H(色相)、S(彩度)及びV(輝度)の3次元(三つの軸)の色空間の量子化構造として構成され、量子化記述子に記述されるコンポーネントの数(num_component)は‘3’である。

0047

B段階は、第1次の下位色空間を表現している。すなわち、V軸に対してV=0(start)〜V=100(end)、V=100(start)〜V=200(end)及びV=200(start)〜V=255(end)に3分割する。

0048

さらに、V=0〜V=100の下位色空間をS=0(start)〜S=255(end)の範囲に分割し、V=100〜V=200の下位色空間をS=0(start)〜S=150(end)と、S=150(start)〜S=255(end)との範囲に2分割する。また、V=200〜V=255の下位色空間をS=0(start)〜S=100(end)と、S=100(start)〜S=200(end)と、S=200(start)〜S=255(end)との範囲に3分割する。

0049

C段階においては、第2次の下位色空間を表現する。すなわち、V=200〜V=255の下位色空間を、S=0〜S=100に対してH軸に0°、360°に分割し、S=100〜S=200に対してH軸に60°、180°、300°に3分割し、S=200〜S=255に対してH軸に30°、90°、150°、210°、270°、330°に6分割して、全体として10個の下位色空間に分割した。

0050

また、V=100〜V=200の下位色空間を、S=0〜S=150に対してH軸に0°、360°に分割し、V=150〜V=255に対してH軸に60°、180°、300°に3分割し、V=0〜V=100の下位色空間をH=0°、360°に分割して色空間を形成した。

0051

以下、図3に示した色空間の量子化記述子情報により図1の量子化記述子を記述する過程を説明する。先ず、A段階の色空間に対する量子化記述子(301)に記述される量子化タイプ(quantization_type)=nonuniform、コンポーネントの数(num_component)=3として描写される。

0052

また、A段階の量子化描写情報を記述するためのコンポーネント範囲情報(302)は、H、S、Vの3次元の色空間であるので、1以上3以下として記述される。このとき、idref=Hに対して、start=0、end=360、idref=Sに対して、start=0、end=255、idref=Vに対して、start=0、end=255がそれぞれ記述される。

0053

また、B段階においては、下位色空間をV=200〜V=255、V=100〜V=200、V=0〜V=100のそれぞれに対して再びC段階の下位色空間に対する描写情報を帰納的に表現し、コンポーネントの範囲情報(302)は、1以上3以下と記述する。

0054

すなわち、V=200〜V=255、S=0〜S=100であるとき、コンポーネント範囲情報(302)で、idref=S、start=0、end=100、量子化は均一であり、V=200〜V=255、S=0〜S=100であるとき、H=0,360(分割数1)であるので、均一量子化描写情報(303)はidref=H、num_bins=1と記述される。

0055

そして、V=200〜V=255、S=100〜S=200であるとき、コンポーネント範囲情報(302)は、idref=S、start=100、end=200、量子化は均一であり、V=200〜V=255、S=100〜S=200であるとき、H=60,180,300(分割数3)であるので、均一量子化描写情報(303)はmidref=H、num_bins=3と記述される。

0056

V=200〜V=255、S=200〜S=255であるとき、コンポーネント範囲情報(302)は、idref=S、start=200、end=255、量子化は均一であり、V=200〜V=255、S=200〜S=255であるとき、H=30,90,150,210,270,330(分割数6)であるので、均一量子化描写情報(303)は、idref=H、num_bins=6と記述される。

0057

V=100〜V=200、S=0〜S=150であるとき、コンポーネント範囲情報(302)は、idref=S、start=0、end=150、量子化は均一であり、V=100〜V=200、S=0〜S=150であるとき、H=0,360(分割数1)であるので、均一量子化描写情報(303)は、idref=H、num_bins=1と記述される。

0058

V=100〜V=200、S=150〜S=255であるとき、コンポーネント範囲情報(302)は、idref=S、start=150、end=255、量子化は均一であり、V=100〜V=200、S=150〜S=255であるとき、H=60,180,300(分割数3)であるので、均一量子化描写情報(303)は、idref=H、num_bins=3に記述される。

0059

V=0〜V=100、S=0〜S=255であるとき、コンポーネント範囲情報(302)は、idref=V、start=0、end=100、量子化は均一であり、H=0,360(分割数1)であるので、均一量子化描写情報(303)は、idref=H、num_bins=1に記述される。

0060

図3の本発明に係る色空間の量子化過程を、図1に示した量子化記述子により記述するとき、それをXMLスキーマ図として表現すると次のようになる。

0061

<ColorQuantizationD Quantization=“non_uniform”NumComponents=“3
”>
<ComponentRange idref=“H”start=“0”end=“360”/>
<ComponentRange idref=“S”start=“0”end=“255”/>
<ComponentRange idref=“V”start=“0”end=“255”/>
<ColorQuantizationD>
<ComponentRange idref=“V”start=“200”end=“255”>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange idref=“S”start=“0”end=“100”>
<bin_number idref=“H”> 1</bin_number>
</ColorQuantizationD>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange idref=“S”start=“100”end=“200”>
<bin_number idref=“H”> 3</bin_number>
</ColorQuantizationD>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange idref=“S”start=“200”end=“255”>
<bin_number idref=“H”> 6</bin_number>
</ColorQuantizationD>
<ColorQuantizationD>
<ComponentRange idref=“V”start=“100”end=“200”>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange idref=“S”start=“0”end=“150”>
<bin_number idref=“H”> 1</bin_number>
</ColorQuantizationD>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange idref=“S”start=“150”end=“255”

<bin_number idref=“H”> 3</bin_number>
</ColorQuantizationD>
</ColorQuantizationD>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange idref=“V”start=“0”end=“100”>
<bin_number idref=“H”> 1</bin_number>
</ColorQuantizationD>
</ColorQuantizationD>

0062

以下、図3に示した色空間の量子化描写情報を図2の量子化記述子構造として記述する過程を説明する。先ず、A段階の色空間に対する量子化記述子(401)に記述される量子化タイプ(quantization_type)=nonuniform、コンポーネントの数(num_component)=3として描写される。

0063

A段階の量子化描写情報を記述するためのコンポーネント範囲情報(402)は、H、S、Vの3次元の色空間であるので、三つに記述される。このとき、idref=Hに対して、start=0、end=360と、idref=Sに対して、start=0、end=255と、idref=Vに対して、start=0、end=255とそれぞれ記述される。

0064

B段階においては、下位色空間に対しH=0〜H=360、S=0〜S=255、V=200〜V=255の色空間、H=0〜H=360、S=0〜S=255、V=100〜V=200の色空間、H=0〜H=360、S=0〜S=255、V=0〜V=100の色空間の描写が行われる。

0065

さらに、H=0〜H=360、S=0〜S=255、V=200〜V=255の色空間では、S=0〜S=100、S=100〜S=200、S=200〜S=250に対する下位色空間の描写が行われ、それらに対してC段階(H軸分割)の色空間の描写が行われる。

0066

さらに、H=0〜H=360、S=0〜S=255、V=100〜V=200の色空間では、S=0〜S=150、S=150〜S=255に対する下位色空間の描写が行われ、それらに対してC段階(H軸分割)の色空間の描写が行われる。

0067

又、H=0〜H=360、S=0〜S=255、V=0〜V=100の色空間では、S=0〜S=255に対する下位色空間の描写が行われ、それらに対してC段階(H軸分割)の色空間の描写が行われる。このように描写される各色空間の範囲は、コンポーネント範囲情報(402)に記述され、均一量子化に関連するビン(bin)数は、コンポーネントの数だけ均一量子化記述子(403)に記述される。

0068

このとき、各量子化空間に対するコンポーネント範囲情報(402)及び均一量子化描写情報(403)に記述されるビン数は、図3に示した構造と類似であるが、前記コンポーネント範囲情報(402)が前記コンポーネントの数(num_component)だけ記述されるという点で差がある。

0069

図3の本発明に係る色空間の量子化過程を図2の量子化記述子構造により記述するとき、それをXMLスキーマ図として表現すると次のようになる。
<ColorQuantizationD Quantization=“non_uniform”NumComponents=“3
”>
<ComponentRange>
<start>0 </start><end>360</end>
<start>0 </start><end>255</end>
<start>0 </start><end>255</end>
</ComponentRange>
<ColorQuantizationD>
<ComponentRange>
<start>0 </start><end>360</end>
<start>0 </start><end>255</end>
<start>200 </start><end>255</end>
</ComponentRange>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange>
<start>0 </start><end>360</end>
<start>0 </start><end>100</end>
<start>200 </start><end>255</end>
</ComponentRange>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange>
<start>0 </start><end>360</end>
<start>100</start><end>200</end>
<start>200 </start><end>255</end>
</ComponentRange>
<bin_number>3</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange>
<start>0</start><end>360</end>
<start>200</start><end>255</end>
<start>200 </start><end>255</end>
</ComponentRange>
<bin_number>6</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
</ColorQuantizationD>
<ColorQuantizationD>
<ComponentRange>
<start>0 </start><end>360</end>
<start>0 </start><end>255</end>
<start>100 </start><end>200</end>
</ComponentRange>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange>
<start>0 </start><end>360</end>
<start>0 </start><end>150</end>
<start>100 </start><end>200</end>
</ComponentRange>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
<ColorQuantizationD>
<ComponentRange Quantization=“uniform”>
<start>0</start><end>360</end>
<start>150 </start><end>255</end>
<start>100 </start><end>200</end>
</ComponentRange>
<bin_number>3</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
</ColorQuantizationD>
<ColorQuantizationD Quantization=“uniform”>
<ComponentRange>
<start>0</start><end>360</end>
<start>0 </start><end>255</end>
<start>0 </start><end>100</end>
</ComponentRange>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
</ColorQuantizationD>

0070

図4は、図3の色空間を量子化する過程を3次元として表現した説明図で、下位色空間のコンポーネントの範囲は、図1及び図2に示したように、コンポーネント範囲情報に記述される。

0071

図5は、図3のH、S、Vの色空間の3段階量子化過程を示した説明図で、本発明に係る帰納的なツリー構造の量子化を行って、スケーラブルな下位色空間を利用し得ることを示す。

0072

例えば、H、S、Vの色空間を3段階(A、B、C)に量子化するとき、各段階で記述された色空間の記述子の集合体は、一つの完全なH、S、Vの色空間に対する量子化になる。

0073

すなわち、A段階では、V軸に対して分割し、B段階では、S軸に対して分割し、C段階では、H軸に対して分割する。このとき、各段階で記述された記述子集合体は、A、B、Cの各段階を経るほど一層細密な量子化を行うことになる。

0074

従って、それほど細密な量子化を必要としないな場合は、A段階で記述された量子化記述子の情報のみを利用し、B及びC段階の量子化記述子を利用しないこともできる。

0075

一度、量子化記述子を利用して色空間の量子化を記述すると、最大に細密に量子化された色空間の量子化よりも細密度の低い色空間の量子化を、付加的な描写又は演算無しに得ることができる。

0076

従って、動画像又は静止画像の特性、検索の精密度によって適宜な段階の量子化描写情報を利用するか、又は特徴別に相異な段階の量子化描写情報を利用して量子化を行うことができる。

0077

例えば、概略的な検索を所望する場合は、B段階でマッチングして量子化を行い、精密な検索を所望する場合は、C段階でマッチングして量子化を行う。

0078

かつ、下位の色空間中、V=200〜V=255の範囲では、C段階の量子化を行って一層細密な量子化を行い、V=0〜V=200の範囲では、B段階の量子化を行ってC段階よりも細密度の低い量子化を行うことにより、検索対象の画像の特徴に従って相異なる量子化段階を行うことができる。

0079

図6は、本発明に係る色空間の量子化記述子の概念的構造を示した構成図で、図示されたように、色空間の量子化記述子(801)は、一つの量子化記述子が、均一量子化記述子(802)と、不均一量子化記述子(803)とを含むように構成されている。

0080

かつ、色空間の量子化記述子(801)は、複数の量子化記述子を帰納的に含み、均一量子化記述子(802)は、下位の帰納的ツリー構造を有することができる。

0081

さらに、量子化記述子(801)は、色空間の次元、現在の下位色空間に対する更なる下位色空間を均一に分割する場合は、均一量子化記述子を記述し、不均一に分割する場合は、色空間の量子化記述子を帰納的に記述する。

0082

従って、量子化記述子(801)は、複数の下位量子化記述子を有するツリー構造に形成される。

0083

図7は、図6の構造を利用した本発明に係る色空間の量子化記述子情報構造の第3実施形態を示したブロック図で、図示されたように、量子化記述子(901)は、量子化タイプ、コンポーネント数(num_component)及び量子化記述子の帰納数を表現する情報として下位色空間数(num_subspaces)を含んでいる。

0084

さらに、量子化記述子(901)は、量子化タイプに従って色空間の量子化記述子を0個以上〜下位色空間の数(num_subspaces)以下に帰納的に有するか、又は均一量子化記述子(902)及び不均一量子化記述子(904)を有する。

0085

かつ、均一量子化記述子(902)は、0個以上〜コンポーネント数(num_component)以下を記述し、量子化コンポーネント(quantization_component)を含み、その下位にビン数を描写する情報(903)(Bin_Number_Value)を有する。

0086

しかし、不均一量子化記述子(904)は、0個以上〜コンポーネント数(num_component)以下として記述し、量子化コンポーネント(quantization_component)を含み、その下位に下位色空間の境界線(boundary)を記述する情報(Boundary Value)(905)を下位色空間の数−1だけ有する。

発明の効果

0087

以上説明したように、本発明に係る色空間量子化記述子情報構造の構成方法によれば、色空間の量子化を効率的に行って動画像及び静止画像の検索性能を向上し得るという効果がある。そして、本発明を大容量の画像格納装置の検索装置に適用すると、コンテンツベースでマルチメディア検索を迅速に行い得るという効果がある。

0088

かつ、本発明をテキストベースの検索装置に付加して適用すると、使用者所望画像資料を容易に検索することができるという効果がある。又、本発明は、H、S、V、RGB、HMMD(Hue/Min/Max/Difference)の色空間のような一般のn次元の色空間の量子化にも適用し得るという効果がある。

0089

さらに、下位色空間がツリーの構造に構成されて、色空間の集合体が複数形成されるため、それら集合体内の色空間の限界範囲の大きさの順に従いスケーラブルな量子化描写を行い得るという効果がある。例えば、概略的検索又は精密な検索のように使用者の要請に応じて、各下位ツリー中、何れか一つの段階にマッチングして量子化行うか、又は、それらを組み合わせて量子化を行うことができるため、量子化を適応的、可変的及び選択的に行い得るという効果がある。

図面の簡単な説明

0090

図1本発明に係る色空間の量子化記述子情報構造の第1実施形態を示したブロック図である。
図2本発明に係る色空間の量子化記述子情報構造の第2実施形態を示したブロック図である。
図3本発明に係る色空間を量子化する過程を示した説明図である。
図4図3の色空間を量子化する過程を3次元構造に示した説明図である。
図5図3のH、S、V色空間の3段階量子化過程を示した説明図である。
図6本発明に係る色空間の量子化記述子の概念的構造を示した説明図である。
図7図6の構造を利用した本発明に係る色空間の量子化記述子情報構造の第3実施形態を示したブロック図である。
図8一般のコンテンツベースのマルチメディア検索装置を示した構成図である。
図9従来色空間の量子化記述子の概念的構造を示したブロック図である。

--

0091

301 色空間量子化記述子、302コンポーネント範囲情報、303均一量子化記述子。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ