図面 (/)

技術 画像抽象化の多重解像度特徴抽出の方法

出願人 科立爾數位科技股ふん有限公司
発明者 劉明徳
出願日 2004年3月31日 (16年7ヶ月経過) 出願番号 2004-105946
公開日 2005年9月15日 (15年2ヶ月経過) 公開番号 2005-253027
状態 拒絶査定
技術分野 FAX原画の編集 イメージ分析
主要キーワード 対応要求 調査領域 ユーザー認識 空間的順序 測量学 電気通信産業 平均カラー イメージシーケンス
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2005年9月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (3)

課題

多重解像度特徴抽出を採用する画像抽象化の方法を提供することを目的とする。

解決手段

ビデオシーケンスで、フレームの少なくとも一つの未加工のイメージを、ストレージ領域に保存し、所望特性を有するフレームのイメージに要求し、要求に対応して、可能であれば、ストレージ領域の所望特性を有するフレームの一イメージ返還し、そうでなければ、所望の特性を有するイメージを、ストレージ領域に返還し、加え、ストレージ領域のフレームの一イメージから転換し、返還イメージにより、フレームの特徴値を計算する工程からなる。

概要

背景

デジタルビデオは、今日のコンピュータ、及び、電気通信産業において、新興の勢いにある。インターネットの急成長は、全マルチメディア技術を推し進めている。絶え間ないハードウェア開発は、パソコンがデジタルビデオアプリケーションの高ストレージ及び計算要求の処理に足るだけの目的に達している。高品質のデジタルビデオを消費者に提供するDVDは、急速に普及した。更に、デジタルカメラ及びビデオカメラ発達により、画像の獲得、それをデジタル形式で、コンピュータにロードするのが非常に容易である。多くの企業、大学、一般家庭でさえ、既に、アナログ及びデジタル両方の形式で、放送訓練教育ビデオ宣伝コマーシャルモニター測量学、及び、ホームビデオ等、大容量のビデオを有している。これらの傾向は、デジタルビデオの世界の有望な将来を示している。

デジタルビデオの急速な進化は、多くの新しいアプリケーション、新しい技術の調査発展をもたらし、ビデオアーカイビング目録、見出しのコストの減少、更に、効果、有用性アクセスのしやすさの改善が非常に必要とされている。全可能調査領域において、いかにして、大所蔵のビデオデータのブラウズ閲覧を可能にし、いかにして、効果的なコンテンツアクセス及び表現を達成するかが重要なトピックである。これらの問題を解決するために、近年、画像抽象化技術が出現し、インターネットの観察がなされている。

名前が示すように、画像抽象化は、長いビデオドキュメントの内容を要約したものである。特に、画像抽象化は、オリジナルの本質的なメッセージが保存される間、ターゲットパーティ快速に、コンテンツに関する簡潔な情報を提供する方式で、ビデオの内容を表示する静止画像、或いは、動画シーケンスである。

理論上、画像抽象化は、手動と自動の両方で生成されるが、膨大なビデオデータ容量と制限された人力のため、自動ビデオ分析処理ツールを充分に発展させ、画像抽象化工程において、人的関与を減少させることが重要である。

静止画像と動画の抽象化という、二つの基本的に異なる抽象化がある。静的ストーリーボードとして知られる静止画像抽象化は、内在するビデオソースから抽出、或いは、形成された小さい所蔵の突出したイメージである。動的ストーリーボード、或いは、マルチメディアサマリーとして知られる動画抽象化は、イメージシーケンスの所蔵からなり、更に、対応するオーディオ抽象化は、オリジナルのシーケンスから抽出され、非常に短いビデオクリップである。

視覚情報だけの形成が活用され、オーディオ及び文字情報の処理は必要ないので、静止画像抽象化は、更に早く確立される。これにより、一旦構成されれば、タイミング、或いは、同期化の問題が無いので、容易に表示される。更に、モザイクなどの際立ったイメージが生成されて、直接ビデオフレームサンプリングするのに代わり、基礎的なビデオコンテンツを表示できる。一方、抽出した全表現フレームの一時的順序は、空間的順序で表示され、ユーザーは、ビデオコンテンツが更に早く把握できる。最後に、必要時に、全抽出されたスチール写真が簡単に、プリントアウトされる。

動画抽象化を用いる長所はまだある。静止画像抽象化と比較すると、オーディオトラックは、教育、訓練ビデオ等の中等に、重要な情報を含んでいるのもあるので、オリジナルのオーディオ情報を用いることが理解できる。一方、再生期間中抽出工程が効果を上げている間、計算作用が高くなる。

ユーザーにとって、スライドショーを見るよりも後書きを見るほうが自然で興味深い。多くの場合、動作も情報関与的である。

自動ビデオ編集ソフトであるMuvee autoProducer、Roxio VideoWave、及びACD VideoMagicは、自動画像抽象化を特徴付けソフトウェアアプリケーションとして知られている。それらは、Muveeの自動編集カーネル技術を導入し、ビデオクリップを解析する。ショット境界、低品質材料、人面の存在、方向、及び動作量等のビデオクリップの特徴が抽出される。

特徴抽出は、画像抽象化の重要な措置である。人の認知を正確に自動抽象化工程に位置づけるために、新しい特徴が明らかにされなければならない。例えば、処理された像の解像度、特定の特性上、異なる特徴の抽出のために、異なる要求がある。

概要

多重解像度特徴抽出を採用する画像抽象化の方法を提供することを目的とする。ビデオシーケンスで、フレームの少なくとも一つの未加工のイメージを、ストレージ領域に保存し、所望特性を有するフレームのイメージに要求し、要求に対応して、可能であれば、ストレージ領域の所望特性を有するフレームの一イメージ返還し、そうでなければ、所望の特性を有するイメージを、ストレージ領域に返還し、加え、ストレージ領域のフレームの一イメージから転換し、返還イメージにより、フレームの特徴値を計算する工程からなる。

目的

本発明は、特徴の抽出に対し、対応要求適合する作動イメージを、抽出工程によるのではなく、イメージプールマネージャーに要求することだけにより得られる、多重解像度特徴抽出を採用する画像抽象化の方法を提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像抽象化特徴抽出の方法であって、ビデオシーケンスで、フレームの少なくとも一つの未加工のイメージを、ストレージ領域に保存する工程と、所望特性を有する前記フレームのイメージに要求し、要求に対応して、可能であれば、ストレージ領域の前記所望特性を有する前記フレームの一イメージ返還し、そうでなければ、前記所望特性を有する前記イメージを、前記ストレージ領域に返還し、加え、前記フレームの一イメージから前記ストレージ領域で転換する工程と、前記返還イメージを用いて、前記フレームの特徴値を計算する工程と、からなることを特徴とする、画像抽象化の特徴抽出の方法。

請求項2

前記特性は、画像解像度であることを特徴とする、請求項1に記載の画像抽象化の特徴抽出の方法。

請求項3

前記特徴は、平均カラー平均輝度、或いは、スキン比率であることを特徴とする、請求項1に記載の画像抽象化の特徴抽出の方法。

請求項4

前記特徴は、ユーザー入力により決定されることを特徴とする、請求項1に記載の画像抽象化の特徴抽出の方法。

請求項5

前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項1に記載の画像抽象化の特徴抽出の方法。

請求項6

更に、前記ビデオシーケンスで、前のフレームの未加工のイメージを前記ストレージ領域に保存する工程と、前記所望特性を有する前記前のフレームのイメージに第二要求する工程と、前記第二要求に対応し、可能な場合、前記所望特性を有する前記前の一イメージを前記ストレージ領域に返還し、そうでない場合、前記所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記前の一イメージから転換する工程と、からなり、前記特徴は、更に、前記第二要求の前記返還イメージを用いて、計算されることを特徴とする、請求項1に記載の画像抽象化の特徴抽出の方法。

請求項7

前記特性は、画像解像度であることを特徴とする、請求項6に記載の画像抽象化の特徴抽出の方法。

請求項8

前記特徴は、安定性モーションアクティビティ、或いは、色差であることを特徴とする、請求項6に記載の画像抽象化の特徴抽出の方法。

請求項9

前記特徴は、ユーザー入力により決定されることを特徴とする、請求項6に記載の画像抽象化の特徴抽出の方法。

請求項10

前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項6に記載の画像抽象化の特徴抽出の方法。

請求項11

画像抽象化の特徴抽出の方法であって、(a)ビデオシーケンスから一フレームを捉える工程と、(b)前記キャプチャーフレームシーン検出を適用する工程と、(c)(c1)ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、(c2)前記特徴の中から選択された一つに対し、所望の特性を有するキャプチャーフレームのイメージに要求する工程と、(c3)前記要求に対応し、可能な場合、前記所望特性を有する前記キャプチャーフレームの一イメージをストレージ領域に返還し、そうでない場合、前記所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記キャプチャーフレームの一イメージから転換する工程と、(c4)前記返還イメージを用いて、前記キャプチャーフレームの選択された特徴値を計算する工程と、(c5)全特徴が選択される間、前記工程(c2)〜(c4)を繰り返す工程と、により、前記キャプチャーフレームの特徴を抽出する工程と、(d)現在から次のシーンへの変遷が、前記工程(b)で検出されるか、或いは、全フレームが捉えられる間、前記工程(a)〜(c)を繰り返す工程と、(e)前記フレームの前記特徴値を用いて、前記現在のシーンのスコアを計算する工程と、(f)前記全フレームが捉えられる間、前記工程(a)〜(e)を繰り返す工程と、(g)前記スコアに従って、前記シーンを選択し、前記選択されたシーンを構成して、抽象化工程を生み出す工程と、からなることを特徴とする、画像抽象化の特徴抽出の方法。

請求項12

前記特性は、画像解像度であることを特徴とする、請求項11に記載の画像抽象化の特徴抽出の方法。

請求項13

前記特徴抽出は、更に、(c0)前記キャプチャーフレームが、前記シーン検出結果に基づいて、代表フレームとして判断される場合だけ、前記工程(c1)〜(c4)を実行し、そうでない場合、前に決定された代表フレームと同様のキャプチャーフレームの選択された特徴値を設定する工程を含み、前記工程(c0)は前記工程(c2)〜(c4)に加えて、前記工程(c5)で繰り返されることを特徴とする、請求項11に記載の画像抽象化の特徴抽出の方法。

請求項14

前記特徴は、平均カラー、平均輝度、或いは、スキン比率であることを特徴とする、請求項13に記載の画像抽象化の特徴抽出の方法。

請求項15

前記特徴は、ユーザー入力により決定されることを特徴とする、請求項11に記載の画像抽象化の特徴抽出の方法。

請求項16

前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項11に記載の画像抽象化の特徴抽出の方法。

請求項17

前記特徴抽出は、更に、(c6)ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、(c7)前記所望特性を有する前記フレームのイメージに第二要求する工程と、(c8)前記第二要求に対応し、可能な場合、前記所望特性を有する前記前の一イメージを前記ストレージ領域に返還し、そうでない場合、前記所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記前の一イメージから転換する工程と、からなり、前記選択された特徴の前記値は、更に、前記工程(c4)で、第二要求の前記返還されたイメージを用いて計算され、前記工程(c6)〜(c8)は、前記工程(c2)〜(c4)に加えて、前記工程(c5)で繰り返されることを特徴とする、請求項11に記載の画像抽象化の特徴抽出の方法。

請求項18

前記特性は、画像解像度であることを特徴とする、請求項17に記載の画像抽象化の特徴抽出の方法。

請求項19

前記特徴は、安定性、モーションアクティビティ、或いは、色差であることを特徴とする、請求項17に記載の画像抽象化の特徴抽出の方法。

請求項20

前記特徴は、ユーザー入力により決定されることを特徴とする、請求項17に記載の画像抽象化の特徴抽出の方法。

請求項21

前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項17に記載の画像抽象化の特徴抽出の方法。

請求項22

画像抽象化の特徴抽出の方法であって、(a)ビデオシーケンスから一フレームを捉える工程と、(b)前記キャプチャーフレームにシーン検出を適用する工程と、(c)(c0)前記キャプチャーフレームが、前記シーン検出結果に基づいて、代表フレームとして判断される場合だけ、工程(c1)〜(c4)を実行し、そうでない場合、前に決定された代表フレームと同様のキャプチャーフレームの第一特徴値を設定する工程と、(c1)ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、(c2)第一所望特性を有するキャプチャーフレームのイメージに要求する工程と、(c3)前記要求に対応し、可能な場合、前記第一所望特性を有する前記キャプチャーフレームの一イメージをストレージ領域に返還し、そうでない場合、前記第一所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記キャプチャーフレームの一イメージから転換する工程と、(c4)前記返還イメージを用いて、前記キャプチャーフレームの第一特徴値を計算する工程と、により、前記キャプチャーフレームの第一特徴を抽出する工程と、(d)(d0)前と現在のキャプチャーフレームの二つの未加工のイメージを、前記ストレージ領域に保存する工程と、(d1)第二所望特性を有する前と現在のキャプチャーフレームの二つの未加工のイメージそれぞれに要求する工程と、(d2)前記要求に対応し、二つの要求イメージのそれぞれに対し、可能な場合、前記第二所望特性を有する対応するフレームの一イメージをストレージ領域に返還し、そうでない場合、前記第二所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、対応するフレームの一イメージから転換する工程と、(d3)前記二つの返還イメージを用いて、前記キャプチャーフレームの第二特徴値を計算する工程と、により、前記キャプチャーフレームの第二特徴を抽出する工程と、(e)現在から次のシーンへの変遷が、前記工程(b)で検出されるか、或いは、全フレームが捉えられる間、前記工程(a)〜(d)を繰り返す工程と、(f)前記フレームの前記特徴値を用いて、前記現在のシーンのスコアを計算する工程と、(g)前記全フレームが捉えられる間、前記工程(a)〜(f)を繰り返す工程と、(h)前記スコアに従って、前記シーンを選択し、前記選択されたシーンを構成して、抽象化工程を生み出す工程と、からなることを特徴とする、画像抽象化の特徴抽出の方法。

請求項23

前記第一特徴は、平均カラー、平均輝度、或いは、スキン比率であることを特徴とする、請求項22に記載の画像抽象化の特徴抽出の方法。

請求項24

前記第二特徴は、安定性、モーションアクティビティ、或いは、色差であることを特徴とする、請求項22に記載の画像抽象化の特徴抽出の方法。

請求項25

前記特性は、画像解像度であることを特徴とする、請求項22に記載の画像抽象化の特徴抽出の方法。

請求項26

前記第一及び第二特徴は、ユーザー入力により決定されることを特徴とする、請求項22に記載の画像抽象化の特徴抽出の方法。

請求項27

前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項22に記載の画像抽象化の特徴抽出の方法。

技術分野

0001

本発明は、画像抽象化(video abstraction)に関するものであって、特に、多重解像度特徴抽出(multi−resolution feature extraction)を採用した画像抽象化に関するものである。

背景技術

0002

デジタルビデオは、今日のコンピュータ、及び、電気通信産業において、新興の勢いにある。インターネットの急成長は、全マルチメディア技術を推し進めている。絶え間ないハードウェア開発は、パソコンがデジタルビデオアプリケーションの高ストレージ及び計算要求の処理に足るだけの目的に達している。高品質のデジタルビデオを消費者に提供するDVDは、急速に普及した。更に、デジタルカメラ及びビデオカメラ発達により、画像の獲得、それをデジタル形式で、コンピュータにロードするのが非常に容易である。多くの企業、大学、一般家庭でさえ、既に、アナログ及びデジタル両方の形式で、放送訓練教育ビデオ宣伝コマーシャルモニター測量学、及び、ホームビデオ等、大容量のビデオを有している。これらの傾向は、デジタルビデオの世界の有望な将来を示している。

0003

デジタルビデオの急速な進化は、多くの新しいアプリケーション、新しい技術の調査発展をもたらし、ビデオアーカイビング目録、見出しのコストの減少、更に、効果、有用性アクセスのしやすさの改善が非常に必要とされている。全可能調査領域において、いかにして、大所蔵のビデオデータのブラウズ閲覧を可能にし、いかにして、効果的なコンテンツアクセス及び表現を達成するかが重要なトピックである。これらの問題を解決するために、近年、画像抽象化技術が出現し、インターネットの観察がなされている。

0004

名前が示すように、画像抽象化は、長いビデオドキュメントの内容を要約したものである。特に、画像抽象化は、オリジナルの本質的なメッセージが保存される間、ターゲットパーティ快速に、コンテンツに関する簡潔な情報を提供する方式で、ビデオの内容を表示する静止画像、或いは、動画シーケンスである。

0005

理論上、画像抽象化は、手動と自動の両方で生成されるが、膨大なビデオデータ容量と制限された人力のため、自動ビデオ分析処理ツールを充分に発展させ、画像抽象化工程において、人的関与を減少させることが重要である。

0006

静止画像と動画の抽象化という、二つの基本的に異なる抽象化がある。静的ストーリーボードとして知られる静止画像抽象化は、内在するビデオソースから抽出、或いは、形成された小さい所蔵の突出したイメージである。動的ストーリーボード、或いは、マルチメディアサマリーとして知られる動画抽象化は、イメージシーケンスの所蔵からなり、更に、対応するオーディオ抽象化は、オリジナルのシーケンスから抽出され、非常に短いビデオクリップである。

0007

視覚情報だけの形成が活用され、オーディオ及び文字情報の処理は必要ないので、静止画像抽象化は、更に早く確立される。これにより、一旦構成されれば、タイミング、或いは、同期化の問題が無いので、容易に表示される。更に、モザイクなどの際立ったイメージが生成されて、直接ビデオフレームサンプリングするのに代わり、基礎的なビデオコンテンツを表示できる。一方、抽出した全表現フレームの一時的順序は、空間的順序で表示され、ユーザーは、ビデオコンテンツが更に早く把握できる。最後に、必要時に、全抽出されたスチール写真が簡単に、プリントアウトされる。

0008

動画抽象化を用いる長所はまだある。静止画像抽象化と比較すると、オーディオトラックは、教育、訓練ビデオ等の中等に、重要な情報を含んでいるのもあるので、オリジナルのオーディオ情報を用いることが理解できる。一方、再生期間中抽出工程が効果を上げている間、計算作用が高くなる。

0009

ユーザーにとって、スライドショーを見るよりも後書きを見るほうが自然で興味深い。多くの場合、動作も情報関与的である。

0010

自動ビデオ編集ソフトであるMuvee autoProducer、Roxio VideoWave、及びACD VideoMagicは、自動画像抽象化を特徴付けソフトウェアアプリケーションとして知られている。それらは、Muveeの自動編集カーネル技術を導入し、ビデオクリップを解析する。ショット境界、低品質材料、人面の存在、方向、及び動作量等のビデオクリップの特徴が抽出される。

0011

特徴抽出は、画像抽象化の重要な措置である。人の認知を正確に自動抽象化工程に位置づけるために、新しい特徴が明らかにされなければならない。例えば、処理された像の解像度、特定の特性上、異なる特徴の抽出のために、異なる要求がある。

発明が解決しようとする課題

0012

しかし、公知の画像抽象化技術は、特徴抽出において効率が悪い。抽出工程は、処理されたフレームのイメージを、各特徴に対する対応要求適合するものに転換する工程を含まなければならない。同イメージ転換工程が二つ、或いは、それ以上の特徴に採用されても、それぞれに対し、繰り返えされなければならない。一方、抽出工程中のイメージ転換工程の含有は、新しい特徴の発展を複雑化する。

0013

特開2000−261741号公報

0014

本発明は、特徴の抽出に対し、対応要求に適合する作動イメージを、抽出工程によるのではなく、イメージプールマネージャーに要求することだけにより得られる、多重解像度特徴抽出を採用する画像抽象化の方法を提供することを目的とする。

課題を解決するための手段

0015

上述の目的を達成するため、本発明は、ビデオシーケンスで、フレームの少なくとも一つの未加工のイメージを、ストレージ領域に保存し、所望特性を有するフレームのイメージに要求し、要求に対応して、可能であれば、ストレージ領域の所望特性を有するフレームの一イメージ返還し、そうでなければ、所望の特性を有するイメージを、ストレージ領域に返還し、加え、ストレージ領域のフレームの一イメージから転換し、返還イメージにより、フレームの特徴値を計算する工程からなる。

0016

本発明は、更に、
(a)ビデオシーケンスから一フレームを捉える工程と、
(b)前記キャプチャーフレームシーン検出を適用する工程と、
(c)
(c1)ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、
(c2)前記特徴の中から選択された一つに対し、所望の特性を有するキャプチャーフレームのイメージに要求する工程と、
(c3)前記要求に対応し、可能な場合、前記所望特性を有する前記キャプチャーフレームの一イメージをストレージ領域に返還し、そうでない場合、前記所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記キャプチャーフレームの一イメージから転換する工程と、
(c4)前記返還イメージを用いて、前記キャプチャーフレームの選択された特徴値を計算する工程と、
(c5)全特徴が選択される間、前記工程(c2)〜(c4)を繰り返す工程と、により、前記キャプチャーフレームの特徴を抽出する工程と、
(d)現在から次のシーンへの変遷が、前記工程(b)で検出されるか、或いは、全フレームが捉えられる間、前記工程(a)〜(c)を繰り返す工程と、
(e)前記フレームの前記特徴値を用いて、前記現在のシーンのスコアを計算する工程と、
(f)前記全フレームが捉えられる間、前記工程(a)〜(e)を繰り返す工程と、
(g)前記スコアに従って、前記シーンを選択し、前記選択されたシーンを構成して、抽象化工程を生み出す工程と、からなる。

0017

本発明は、もう一つの画像抽象化の方法を提供し、
(a)ビデオシーケンスから一フレームを捉える工程と、
(b)前記キャプチャーフレームにシーン検出を適用する工程と、
(c)
(c0)前記キャプチャーフレームが、前記シーン検出結果に基づいて、代表フレームとして判断される場合だけ、工程(c1)〜(c4)を実行し、そうでない場合、前に決定された代表フレームと同様のキャプチャーフレームの第一特徴値を設定する工程と、
(c1)ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、
(c2)第一所望特性を有するキャプチャーフレームのイメージに要求する工程と、
(c3)前記要求に対応し、可能な場合、前記第一所望特性を有する前記キャプチャーフレームの一イメージをストレージ領域に返還し、そうでない場合、前記第一所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記キャプチャーフレームの一イメージから転換する工程と、
(c4)前記返還イメージを用いて、前記キャプチャーフレームの第一特徴値を計算する工程と、により、前記キャプチャーフレームの第一特徴を抽出する工程と、
(d)
(d0)前と現在のキャプチャーフレームの二つの未加工のイメージを、前記ストレージ領域に保存する工程と、
(d1)第二所望特性を有する前と現在のキャプチャーフレームの二つの未加工のイメージそれぞれに要求する工程と、
(d2)前記要求に対応し、二つの要求イメージのそれぞれに対し、可能な場合、前記第二所望特性を有する対応するフレームの一イメージをストレージ領域に返還し、そうでない場合、前記第二所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、対応するフレームの一イメージから転換する工程と、
(d3)前記二つの返還イメージを用いて、前記キャプチャーフレームの第二特徴値を計算する工程と、
により、前記キャプチャーフレームの第二特徴を抽出する工程と、
(e)現在から次のシーンへの変遷が、前記工程(b)で検出されるか、或いは、全フレームが捉えられる間、前記工程(a)〜(d)を繰り返す工程と、
(f)前記フレームの前記特徴値を用いて、前記現在のシーンのスコアを計算する工程と、
(g)前記全フレームが捉えられる間、前記工程(a)〜(f)を繰り返す工程と、
(h)前記スコアに従って、前記シーンを選択し、前記選択されたシーンを構成して、抽象化工程を生み出す工程と、からなる。

発明の効果

0018

以上のような画像抽象化方法は、効果的で、特徴抽出において柔軟性に優れる。

発明を実施するための最良の形態

0019

図1は、本発明の具体例による画像抽象化方法のフローチャートである。

0020

工程S11において、ビデオシーケンスが確保される。例えば、ビデオシーケンスは4つの異なるシーンから構成され、720×480の解像度で、30fpsのフレームレートで1分の長さである1800フレームを有する。

0021

工程S12において、第一フレームがビデオシーケンスから捉えられる。

0022

工程S13において、シーン検出が現在のキャプチャーフレームに適用される。

0023

工程S14において、平均カラー平均輝度スキン比率、安定性モーションアクティビティ、及び、色差等の複合特徴の値やスコアが、現在のフレームから抽出され、スコアレジスタ(S15)に保存される。更に、特徴検出に欠かせないキャプチャーフレームの作動イメージは、イメージプールマネージャー(S16)から抽出される。イメージプールマネージャー(S16)は、6特徴の抽出工程からの要求を受信する。要求が一旦、受信されれば、イメージマネージャー(S16)は、イメージプール(S17)(一時的なストレージ領域)で、要求イメージを検索し、現在のフレームの未加工のイメージ(raw image)が初期的に保存される。要求イメージが見つかった場合、返還され、そうでない場合、イメージプールマネージャー(S16)は、イメージを選択し、イメージプール(S17)で、要求イメージに転換する。イメージプールマネージャー(S16)は、返還された作動イメージもイメージプール(S17)に保存し、同イメージへの要求が遅れて受信された場合、イメージ転換は繰り返されなくてもよい。

0024

工程S18において、現在のキャプチャーフレームが、シーン検出結果に基づいた後続シーンの第一フレームか、或いは、ビデオシーケンスの終わりかどうかを判断する。もし、そうである場合、工程S19に、そうでない場合は、工程S12に戻って、次のフレームが捉えられる。

0025

工程S19において、現在のシーン中の全フレームの6特徴のスコアと値が、スコアレジスタ(S15)から抽出される。各特徴において、現在のシーンのスコア全体は、現在のシーン中の全フレームの特徴のスコア、或いは、値を用いて計算される。例えば、平均カラー、平均輝度、スキン比率、安定性、モーションアクティビティ、及び、色差の6スコア全体が、それぞれ計算される。

0026

工程S20において、現在のキャプチャーフレームがビデオシーケンスの終わりかどうか判断する。もし、そうなら、工程S21に進み、そうでないなら、工程S12に戻り、次のフレームが捉えられる。

0027

工程S21において、シーンは、スコア全体と抽象化結果に基づいて選択され、抽出結果は、選択されたシーンを構成することによりもたらされる。例えば、他の3特徴よりも、更に重いスキン比率、安定性、モーションアクティビティで高スコアを有するので、ビデオシーケンスの第一及び第三シーンが選択され、これにより、抽象化結果が構成される。

0028

図2は、図1で示される本発明の具体例による特徴抽出方法のフローチャートである。

0029

工程S211において、平均カラー、平均輝度、スキン比率等の第一特徴の抽出は、現在のキャプチャーフレームが代表フレームであるかどうかのシーン検出結果に基づいて決定される。そうである場合、工程S213に進み、そうでない場合、工程S212に進む。

0030

工程S212において、第一特徴の値、或いは、スコアは、前の代表フレームのそれと等しく設定される。

0031

工程S213において、現在のフレームの未加工のイメージがイメージプール(S17)に保存される。

0032

工程S214において、第一特徴の抽出工程は、解像度360×240等の第一所望特性を有する作動イメージに要求する。

0033

工程S215において、要求に対応し、可能なら、イメージプール(S17)に保存された、第一所望特性を有する一イメージを返還する。そうでなければ、イメージプール(S17)で選択されたキャプチャーフレームの一イメージから転換される、第一所望特性を有するイメージが、イメージプール(S17)に返還、加入される。選択されたイメージは、第一特性のビューの中で、要求に一番近いイメージである。

0034

工程S216において、キャプチャーフレームの第一特徴の値、或いは、スコアが、返還された作動イメージを用いて計算される。計算されたスコアはスコアレジスタ(S15)に保存される。

0035

工程S221において、安定性、モーションアクティビティ、及び、色差等の第二特徴において、現在のフレームがビデオシーケンスの第一フレームであるかどうか判定する。そうである場合、工程S18に進み、抽出工程を省略する。そうでない場合、工程S222に進む。

0036

工程222において、前と現在のキャプチャーフレームの二つの未加工のイメージが、それぞれ、イメージプール(S17)に保存される。

0037

工程S223において、抽出工程は、解像度360×240等の所望の特性を有する前と現在のキャプチャーフレームの二つの未加工のイメージに要求する。

0038

工程S224において、要求に対応し、二つの要求イメージに対し、可能なら、イメージプール(S17)の第二所望特性を有する対応フレームの一イメージが返還され、そうでない場合、イメージプール(S17)で選択された対応フレームの一イメージから転換された第二所望特徴を有するイメージがイメージプール(S17)に返還、加入される。選択されたイメージは、第二特性のビューの中で、要求に一番近いイメージである。

0039

工程S225において、キャプチャーフレームの第二特徴の値、或いは、スコアは、二つの返還作動イメージを用いて計算される。

0040

前述の具体例において、第一及び第二特徴の二つの抽出工程だけが記述されているが、抽出される特徴の重量や偶数は、ユーザー入力により決定され、抽出結果が異なる。自動抽出工程において、ユーザー認識解析を正確にするのに有利である。

0041

結論として、本発明は、多重解像度特徴抽出を採用する画像抽象化の方法を提供し、特徴抽出の対応要求と一致する作動イメージは、抽出工程ではなく、イメージプールマネージャーに要求するだけで得られる。この新規の画像抽象化方法は、効果的で、特徴抽出において柔軟性に優れる。

0042

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

図面の簡単な説明

0043

本発明の具体例による画像抽象化方法のフローチャートである。
図1で示される本発明の具体例による特徴抽出方法のフローチャートである。

符号の説明

0044

S15スコアレジスタ
S16プールマネージャー
S17イメージプール

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 株式会社NGRの「 パターンマッチング方法」が 公開されました。( 2020/09/24)

    【課題】正しいマッチング位置を決定することができるパターンマッチング方法を提供する。【解決手段】パターンマッチング方法は、画像200上のパターンと、対応するCADパターン210とのマッチングを実施し、... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ