図面 (/)

技術 画像処理装置および画像処理方法

出願人 キヤノン株式会社
発明者 杉山幹子
出願日 2007年11月28日 (13年6ヶ月経過) 出願番号 2007-307892
公開日 2009年6月18日 (11年11ヶ月経過) 公開番号 2009-135601
状態 特許登録済
技術分野 画像処理 カラーテレビジョン方式 TV信号の圧縮,符号化方式 カラーテレビジョンの色信号処理 TV信号の圧縮,符号化方式
主要キーワード 周囲相 被写体オブジェクト 生成カウンタ 観察情報 フレーム画像情報 オブジェクト分類 オブジェクト信号 非線形圧縮
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年6月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

一般の動画像においては、フレーム画像内に複数のオブジェクトが存在するが、、再生時にはフレーム画像全体に対して一様に時間的視覚特性が考慮されるため、特に注目オブジェクトを考慮した再生等はできなかった。

解決手段

時分割された複数のフレーム画像からなる動画像を再生する際に、まず、複数のフレーム画像内の注目フレーム画像において、オブジェクト画像ごとのオブジェクト順応時間を取得する(S609)。そしてオブジェクト画像ごとに、取得したオブジェクト順応時間に基づいて順応重みを算出し、該順応重みを反映したローパス画像を作成する(S610)。該ローパス画像を用いた色順応変換を行うことにより、注目フレーム画像に対し、オブジェクト画像ごとに順応時間に基づく色変換を行うことが可能となり、特に、注目オブジェクト画像を考慮した色変換を行うことが可能となる。

概要

背景

一般に人間の色知覚モデルは、人間の色の見えが正しく予測できるように設計されていおり、その代表的なものとしてカラーアピアランスモデルがある。このカラーアピアランスモデルは観察条件の変化に対応しており、観察条件パラメータとして、輝度白色点周囲相対輝度などの観察情報を設定できるため、観察条件が変わっても色の見えを適切に再現することができる。

更に、カラーアピアランスモデルを拡張したモデルとして、人間の空間的視覚特性および時間的視覚特性が反映されたイメージアピアランスモデルが存在し、その代表的なものとしてiCAMが知られている。イメージアピアランスモデルにおいては、特に動画像の見えを予測する場合には、明順応色順応の時間的視覚特性が反映される必要がある。

例えば、動画像に対しイメージアピアランスモデル(iCAM)を適用する技術が、例えば非特許文献1に記載されている。この文献には、以下のような技術が記載されている。まず、10秒前のフレーム画像から注目フレーム画像までのフレームに対するローパス画像、及びYローパス画像(絶対輝度画像)に対し、以下に示す(1)式によって算出した順応の重みを掛け合わせる。なお、(1)式においてAWは算出された重みを示し、fはフレーム番号を示す。すなわち、例えば1秒間に30フレームであれば、f=0で現在のフレーム番号、f=-300で10秒前のフレーム番号を示す。

次に、それら複数の重み付けられたローパス画像及びYローパス画像をそれぞれ合成することによって、注目フレームのローパス画像及びYローパス画像を生成する。そして、これらをiCAMのフレームワークで利用する事により、空間的かつ時間的な視覚特性を反映させた動画再生を行っている。
M.D. Fairchild and G.M. Johnson, “Image appearance modeling,”。 SPIE/IS&T Electronic Imaging Conference, SPIE Vol. 5007, Santa Clara, 149-160 (2003)。

概要

一般の動画像においては、フレーム画像内に複数のオブジェクトが存在するが、、再生時にはフレーム画像全体に対して一様に時間的視覚特性が考慮されるため、特に注目オブジェクトを考慮した再生等はできなかった。時分割された複数のフレーム画像からなる動画像を再生する際に、まず、複数のフレーム画像内の注目フレーム画像において、オブジェクト画像ごとのオブジェクト順応時間を取得する(S609)。そしてオブジェクト画像ごとに、取得したオブジェクト順応時間に基づいて順応重みを算出し、該順応重みを反映したローパス画像を作成する(S610)。該ローパス画像を用いた色順応変換を行うことにより、注目フレーム画像に対し、オブジェクト画像ごとに順応時間に基づく色変換を行うことが可能となり、特に、注目オブジェクト画像を考慮した色変換を行うことが可能となる。

目的

本発明は上述した問題を解決するためになされたものであり、以下の機能を有する画像処理装置および画像処理方法を提供することを目的とする。すなわち、フレーム画像内のオブジェクト画像ごとに適切な時間的視覚特性を適用した色変換を行う。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像再生する画像処理装置であって、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得手段と、前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出手段と、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換手段と、を有することを特徴とする画像処理装置。

請求項2

前記注目フレーム画像に対し、前記処理期間内におけるフレーム順応時間を取得するフレーム順応時間取得手段と、前記注目フレーム画像に対し、前記フレーム順応時間に基づいてフレーム順応特徴量を算出するフレーム順応特徴量の算出手段と、をさらに有し、前記色変換手段は、前記注目フレーム画像に対し、前記フレーム順応特徴量と、前記オブジェクト画像ごとの前記オブジェクト順応特徴量と、に基づく色変換を行うことを特徴とする請求項1に記載の画像処理装置。

請求項3

前記注目フレーム画像に対し、前記フレーム順応特徴量に基づいてフレームローパス画像を生成するフレームローパス画像生成手段と、前記注目フレームにおける前記オブジェクト画像ごとに、前記オブジェクト順応特徴量に基づいてオブジェクトローパス画像を生成して前記フレームローパス画像に合成するオブジェクトローパス画像生成手段と、をさらに有し、前記色変換手段は、前記オブジェクトローパス画像が合成されたフレームローパス画像に基づいて、カラーアピアランスモデルによる色順応変換を行うことを特徴とする請求項2に記載の画像処理装置。

請求項4

前記処理期間内における複数のフレーム画像についての、前記オブジェクトローパス画像が合成されたフレームローパス画像を合成して適用ローパス画像を生成するローパス画像合成手段と、をさらに有し、前記色変換手段は、前記適用ローパス画像に基づいて、カラーアピアランスモデルによる色順応変換を行うことを特徴とする請求項3に記載の画像処理装置。

請求項5

前記オブジェクトローパス画像生成手段は、前記注目フレームにおける前記オブジェクト画像のうち、前記オブジェクトローパス画像の生成を指示するフラグが設定されているオブジェクト画像について、前記オブジェクトローパス画像を生成することを特徴とする請求項3または4に記載の画像処理装置。

請求項6

前記オブジェクト順応特徴量および前記フレーム順応特徴量は、人間の時間的視覚特性を反映した順応の重みを示すことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。

請求項7

前記オブジェクト順応時間取得手段は、前記処理期間内における複数のフレーム間における時間間隔の情報に基づいて、前記オブジェクト順応時間を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。

請求項8

人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理方法であって、オブジェクト抽出手段が、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、オブジェクト順応時間取得手段が、前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得ステップと、オブジェクト順応特徴量の算出手段が、前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出ステップと、色変換手段が、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換ステップと、を有することを特徴とする画像処理方法。

請求項9

コンピュータで実行されることにより、該コンピュータを請求項1乃至7のいずれか1項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム

請求項10

請求項9に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体

技術分野

0001

本発明は画像処理装置および画像処理方法に関し、特に、時分割された複数のフレーム画像からなる動画像再生する画像処理装置および画像処理方法に関する。

背景技術

0002

一般に人間の色知覚モデルは、人間の色の見えが正しく予測できるように設計されていおり、その代表的なものとしてカラーアピアランスモデルがある。このカラーアピアランスモデルは観察条件の変化に対応しており、観察条件パラメータとして、輝度白色点周囲相対輝度などの観察情報を設定できるため、観察条件が変わっても色の見えを適切に再現することができる。

0003

更に、カラーアピアランスモデルを拡張したモデルとして、人間の空間的視覚特性および時間的視覚特性が反映されたイメージアピアランスモデルが存在し、その代表的なものとしてiCAMが知られている。イメージアピアランスモデルにおいては、特に動画像の見えを予測する場合には、明順応色順応の時間的視覚特性が反映される必要がある。

0004

例えば、動画像に対しイメージアピアランスモデル(iCAM)を適用する技術が、例えば非特許文献1に記載されている。この文献には、以下のような技術が記載されている。まず、10秒前のフレーム画像から注目フレーム画像までのフレームに対するローパス画像、及びYローパス画像(絶対輝度画像)に対し、以下に示す(1)式によって算出した順応の重みを掛け合わせる。なお、(1)式においてAWは算出された重みを示し、fはフレーム番号を示す。すなわち、例えば1秒間に30フレームであれば、f=0で現在のフレーム番号、f=-300で10秒前のフレーム番号を示す。

0005

0006

次に、それら複数の重み付けられたローパス画像及びYローパス画像をそれぞれ合成することによって、注目フレームのローパス画像及びYローパス画像を生成する。そして、これらをiCAMのフレームワークで利用する事により、空間的かつ時間的な視覚特性を反映させた動画再生を行っている。
M.D. Fairchild and G.M. Johnson, “Image appearance modeling,”。 SPIE/IS&T Electronic Imaging Conference, SPIE Vol. 5007, Santa Clara, 149-160 (2003)。

発明が解決しようとする課題

0007

一般的な動画像において、被写体オブジェクトが複数存在することは当然であり、それぞれのオブジェクトは異なる特徴を有し、例えばそれぞれの描画時間は異なる。また、再生された動画像を鑑賞する際には通常、注目されるオブジェクト(注目オブジェクト)が存在する。

0008

上記非特許文献1に記載された技術によれば、フレーム画像全体に対して一様なアピアランス処理を行っていた。したがって、フレーム画像全体に対して一様に時間的視覚特性等が反映されるため、注目オブジェクトごとに時間的視覚特性を適用することができなかった。

0009

この例を図12を用いて説明する。図12において、観察者が車Aを注目オブジェクトとして、iCAMが適用される10秒より前の開始0秒より車Aを見続けているとする。この場合、120秒後のフレーム画像に対する車Aは完全順応に近い状態であり、車Aに対する順応の重みは1に近い高い値になっているはずである。しかしながら、上記非特許文献1に記載された方法によればこの場合、フレーム画像全体に時間的視覚特性が反映され、車Aの位置は移動していくため、順応の重みは低い値となってしまう。更に、図12において車Bを注目オブジェクトとした場合、上記従来の方法によれば、実際の車Bの観察時間よりも長い順応時間が適用され、車Bに対する順応の重みは高い値になってしまう。

0010

本発明は上述した問題を解決するためになされたものであり、以下の機能を有する画像処理装置および画像処理方法を提供することを目的とする。すなわち、フレーム画像内のオブジェクト画像ごとに適切な時間的視覚特性を適用した色変換を行う。

課題を解決するための手段

0011

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。

0012

すなわち、人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置であって、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト順応時間を取得するオブジェクト順応時間取得手段と、前記オブジェクト画像ごとに、前記オブジェクト順応時間に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出手段と、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換手段と、を有することを特徴とする。

発明の効果

0013

以上の構成からなる本発明によれば、フレーム画像内のオブジェクト画像ごとに適切な時間的視覚特性を適用した色変換を行うことが可能となる

発明を実施するための最良の形態

0014

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

0015

<第1実施形態>
装置構成
図1は、本実施形態に係る画像処理装置のブロック構成例を示す図である。同図において、CPU701は、ROM702及びハードディスク等の外部記憶装置705、等に格納されたプログラムに従い、RAM703をワークメモリに利用して、装置全体の動作を司る。CPU701はさらに、本実施形態におけるカラーマッチングに関連する処理をはじめとする各種の画像処理を実行する。

0016

入力部704は、キーボードマウスなどの入力デバイス及びその入力インターフェイスを示し、操作者からの入力指示を受け取る。表示部706は、モニタなどの表示デバイス及びビデオインターフェイスを示し、動画像の表示、本実施形態に関わるユーザインターフェィスの画面を表示する。出力部707は、プリンタなどの出力デバイス及び出力デバイスインターフェイスを示す。

0017

動画像入力部708は、ビデオカメラデジタルカメラビデオプレーヤーなどの動画像データを扱うデバイスより、動画像データを入力して加工する処理部である。例えば、一般に動画像データは画像及び音声から構成されるが、まずこれを画像信号及び音声信号に分離する。そして、画像信号をアナログ信号として受け取った場合に、これをアナログからデジタルに変換する画像A/D処理部や、音声信号をアナログ信号として受け取った場合、アナログからデジタルに変換する音声A/D処理部、等を有する。更に、処理されたデジタル画像信号及びデジタル音声信号圧縮して合成する合成処理部を有する。また、動画像データがMPEG4などのオブジェクト符号化方式で送られた場合、オブジェクト符号をオブジェクト画像に復号する復号処理部も、動画像入力部708に含まれる。動画像入力部708で取得された画像データは、JPEGやTIFF画像などの画像フォーマットに変換されたることによって、カラーマッチングを行うための画像データが得られる。

0018

●動画像再生処理概要
図2は、本実施形態に係る画像処理装置における動画像再生処理の概要を示すフローチャートであり、夫々の処理の詳細については後述する。

0019

図1に示す動画像入力部708より入力された動画像データは、まずステップS201において、所定の時間間隔にて静止画像に分割される。分割された静止画像を以降、「フレーム画像」と称する。また、本実施形態におけるカラーマッチング処理対象となるフレーム画像を「注目フレーム画像」と称する。ステップS201ではすなわち、動画像データを時分割して注目フレーム画像を生成する。

0020

次にステップS202において、注目フレーム画像に対するフレーム画像情報を作成し、さらにステップS203において、注目フレーム画像に対し、本実施形態の特徴でもあるオブジェクトの切り出しを行う。次にステップS204において、切り出されたオブジェクトに対して、本実施形態の特徴である、人間の空間的視覚特性および時間的視覚特性を反映させたカラーマッチング処理に必要となる、オブジェクト情報を生成する。そしてステップS205において、これらのオブジェクト情報により、注目フレーム画像に対するローパス画像を生成する。そしてステップS206において、該生成したローパス画像を利用して、注目フレーム画像に対するカラーマッチング処理を行うことにより、再生する動画像データを作成する。

0021

以下、図2に示した各ステップの処理について、詳細に説明する。

0022

●注目フレーム画像分割処理(S201)
動画像入力部708より入力された動画像データは、特定もしくは任意の時間間隔で時分割される。分割されたフレーム画像は、ROM702やRAM703、または外部記憶装置705に保持する。このとき、後述する図3に示すフレーム画像情報テーブルに対し、フレーム画像データアドレス情報403にフレーム画像の格納先を示すアドレスを格納し、さらにフレーム画像サイズ情報404にフレーム画像のデータサイズを格納する。

0023

●フレーム画像情報作成処理(S202)
時分割された1フレーム画像に関する情報を、図3に示すようなフレーム画像情報テーブルとして、ROM702やRAM703、または外部記憶装置705に保持する。

0024

図3に示すように、本実施形態のフレーム画像情報テーブルは、フレーム画像の情報を識別するための番号情報を示すフレーム画像情報識別情報として、フレーム連番401を有する。さらに、フレーム間の時間間隔、すなわちフレーム画像が描画されるインターバルを示す時間情報402、を有する。さらに、記憶装置に格納されているフレーム画像データへのアドレスを示すフレーム画像データアドレス情報403、及びフレーム画像データのデータ長を示すフレーム画像サイズ情報404、を有する。そしてさらに、後述するステップS205で生成される、フレーム画像に対するローパス画像データのアドレスを示すフレームローパス画像アドレス情報405を有する。そしてさらに、フレーム画像内に含まれるオブジェクトの情報を格納しているオブジェクト情報テーブルのアドレスを示すオブジェクト情報テーブルアドレス情報406、及び該テーブルのデータ長を示すオブジェクト情報サイズ情報407、を有する。

0025

本実施形態において、フレーム連番401はフレーム画像を再生する順番を示し、フレーム画像が切り出される度にインクリメントされて格納される。また、時間情報402は、フレーム画像が特定の時間間隔で分割されている場合、その分割時間を格納する。これが任意の時間間隔である場合は、注目フレーム画像の前フレーム画像が表示開始された時間から、該注目フレーム画像が表示されるまでの時間を、装置が標準的に備えている時間処理装置内部クロック)により取得する。

0026

●被写体オブジェクト抽出処理(S203)
ここでは、注目フレーム画像内に含まれる被写体オブジェクトを抽出してオブジェクト画像データを得る。この被写体オブジェクトを抽出する方法としては、周知の方法を適用することが可能であり、以下のような技術が適用される。

0027

例えば、特開2004−248312号公報に記載された技術によれば、連続する複数のフレーム画像により構成される動画像に含まれる被写体の動きを検出するためにブロックマッチング方法の技術を使用している。このブロックマッチング方法とは、フレーム画像をブロック(領域)に分割し、ブロック単位で前画像との類似位置パターンマッチングにより探索して、一連の画像に含まれる被写体を検出する。検出されたオブジェクトは、オブジェクトと背景境界を示す領域境界情報により表現される。この領域境界情報より、オブジェクト画像データを生成することができる。

0028

また、動画像において背景、人物などの複数のオブジェクトを分離し、該オブジェクト毎に符号化を行うオブジェクト符号化方式も知られている。このオブジェクト符号化方式は、動画像符号化方式国際標準(ISO/IECMPEG4)等でサポートされている。このようなオブジェクト符号化方式の場合、オブジェクトごとに分離されているオブジェクト符号を受け取り、これを復号してオブジェクト画像データを作成することが可能である。

0029

本実施形態では、注目フレーム画像から何らかの方法によって抽出されたオブジェクトごとに、図4に示すオブジェクト情報テーブルに新規オブジェクト情報として登録する。また、このオブジェクト情報を示すアドレスは、図3に示すフレーム画像情報テーブルのオブジェクト情報テーブルアドレス情報406に格納され、また、オブジェクト情報のサイズが、オブジェクト情報サイズ情報407に格納される。

0030

図4に示すように、本実施形態のオブジェクト情報テーブルには以下に説明する項目が格納される。まず、オブジェクト情報の識別番号を示すオブジェクト番号501、オブジェクトの分類を示すオブジェクト分類情報テーブルへのアドレスを示すオブジェクト分類情報アドレス情報502を有する。ここでオブジェクト分類情報とは、フレーム画像内に存在するオブジェクトの要素を表すものであり、例えば、後述する図9に示す「車A」などが1つの分類となる。このオブジェクト分類情報の詳細については後述する。

0031

さらに、被写体オブジェクトとして抽出されたオブジェクトの座標情報が格納されるオブジェクト画像位置情報503を有する。このオブジェクト画像位置情報503は、フレーム画像の左上を(0,0)とし、オブジェクト画像の左上端を(0,0)としたときの画素の相対位置を示し、オブジェクトの領域境界の座標情報を示す。この座標は、オブジェクトのローパス画像生成の際に利用される。

0032

さらに、このオブジェクト画像が操作者によって注目されているか否かを示す注目フラグ504を有する。この注目フラグ504は、操作者の視線入力を利用した周知技術に基づき、操作者がどのオブジェクトを注目しているのかを判別する事によって、true(注目している)とfalse(注目していない)を切り替えれば良い。仮に、注目オブジェクトの判別を行わず、全てのオブジェクトに対して同一の処理を行う場合であれば、注目フラグを常にtrueにするか、フラグ自体を使わなければ良い。

0033

この被写体オブジェクト抽出処理ではすなわち、図4に示すオブジェクト情報テーブルに対し、オブジェクト番号501およびオブジェクト画像位置情報503を格納する。

0034

●オブジェクト情報生成処理(S204)
図5は、ステップS204におけるオブジェクト情報生成処理の流れを示すフローチャートである。まず、ステップS203の被写体オブジェクト抽出処理において抽出されたオブジェクト画像データが、注目フレーム以前のフレーム画像において、後述するオブジェクト分類情報テーブルに既に登録されているか否かを判定する(S301)。この判定は、例えば以下のように行うことができる。まず、フレーム情報テーブルのフレーム連番401を参照して、注目フレーム画像の連番よりも1つ小さいフレーム連番を持つフレーム情報を取得する。そして、該取得したフレーム情報に対するオブジェクト情報テーブルを参照し、そのオブジェクト画像位置情報503に基づいてオブジェクト画像を抽出する。そして、該抽出したオブジェクト画像が、ステップS203の被写体オブジェクト抽出処理で切り出されたオブジェクト画像と一致するか否かを判定し、一致していれば、既に登録済みであると判定できる。

0035

なお、オブジェクト画像の一致判定の方法としては例えば、オブジェクト画像を構成する全ての画素が一致するか否かを調べることはもちろん、さらにオブジェクト画像に対して拡大,縮小及び回転等を施してパターンマッチングを行うことも有効である。また、オブジェクト画像の一致したサイズと、該オブジェクト画像のオリジナルサイズと、の割合に基づいて、該オブジェクト画像が登録済みであるか否かを判定してもよい。また、オブジェクト符号化を用いた動画像については、オブジェクトを識別するためのオブジェクト信号が取得されるため、オブジェクトの一致の判断は容易である。

0036

ステップS301において、抽出されたオブジェクトがオブジェクト分類情報テーブルに登録されていないと判断された場合、ステップS302において、該オブジェクトの情報を、オブジェクト分類情報テーブルに新規オブジェクト分類情報として登録する。

0037

ここで図6に、オブジェクト分類情報テーブルの構成例を示す。同図に示すように本実施形態のオブジェクト分類情報テーブルは、オブジェクト分類を識別するためのオブジェクト分類番号901を有する。そしてさらに、オブジェクトが描画開始されたフレーム番号を示す描画開始フレーム番号902、およびオブジェクトが描画終了したフレーム番号を示す描画終了フレーム番号903、を有する。

0038

オブジェクト分類情報テーブルに対してオブジェクト分類情報を新規登録する場合、オブジェクト分類番号901の最大値に1を加えて、新たなオブジェクト分類番号901を登録する。そして、描画開始フレーム番号902、及び描画終了フレーム番号903の両方に対して、注目フレーム番号を登録する。そして、登録したオブジェクト分類情報を示すアドレスを、図4に示すオブジェクト情報テーブルのオブジェクト分類情報アドレス情報502に格納する。

0039

一方、ステップS301においてオブジェクト分類情報が登録済みと判断された場合にはステップS303に進み、登録されていたオブジェクト分類情報を更新する。すなわち、そのオブジェクト分類情報の描画終了フレーム番号903に1を加える。そしてさらに、既に登録されていたオブジェクト分類情報のアドレスを、図4に示すオブジェクト情報テーブルのオブジェクト分類情報アドレス情報502に格納する。

0040

ステップS302における新規登録処理、またはステップS303における更新処理を終了した後、ステップS304において、フレーム内の全てのオブジェクト画像に対し、オブジェクト情報を生成したか否かを判定する。全ての作成が終了している場合は、オブジェクト情報生成処理を終了するが、作成していない場合は、ステップS301に戻って次のオブジェクト情報を生成する。

0041

ステップS204のオブジェクト情報生成処理ではすなわち、図4に示すオブジェクト情報テーブルに対し、オブジェクト分類情報アドレス情報502を格納する。

0042

●注目フレームローパス画像生成処理(S205)
図7は、ステップS205における注目フレームローパス画像生成処理の流れを示すフローチャートである。まず、注目フレーム画像に対するフレームローパス画像Aを生成、保存する(S601)。このフレームローパス画像Aは、上記非特許文献1に記載された技術と同様に、XYZ画像として扱われるため、ここでは注目フレーム画像をXYZ画像に変換し、注目フレーム画像にガウシアンフィルタ等のローパスフィルタを適用して生成される。作成されたフレームローパス画像Aは、ROM702やRAM703、または外部記憶装置705に格納され、そのアドレスが、図3に示すフレーム画像情報テーブルのフレームローパス画像アドレス情報405に格納される。

0043

次に、後述するフレームローパス画像の生成対象となる開始フレーム終了フレームのフレーム連番を取得する(S602)。本実施形態では、上記非特許文献1に記載された技術と同様に、注目フレームとその10秒前のフレームまでの処理期間内に存在するフレーム画像に対してフレームローパス画像を生成する。したがって、ローパス画像生成対象の開始フレーム連番に、注目フレームから−10secにあたるフレームのフレーム連番を設定する。また、ローパス画像生成対象の終了フレーム連番に、注目フレームのフレーム連番を設定する。ここで、−10secの時間情報は、図4に示すフレーム画像情報テーブルの時間情報402に基づいて算出する。このとき、−10secちょうどに相当するフレームがない場合は、−10secに最も近いフレームを代わりに用いれば良い。

0044

そして、ローパス画像生成カウンタiに、ステップS602で設定したローパス画像生成対象の開始フレーム連番を設定する(S603)。

0045

そしてステップS604〜S611において、1フレーム画像に対するフレームローパス画像の生成を行う。以下、この1フレーム画像に対する処理について説明する。

0046

まず、図3に示すフレーム画像情報テーブルに基づいて、注目フレーム画像のフレームローパス画像Aを取得する(S604)。次に、iフレーム画像の順応時間(フレーム順応時間)を取得する(S605)。具体的には、注目フレーム画像からiフレーム画像までの各フレームにおける時間情報を加算することにより、iフレーム画像の順応時間を取得することができる。

0047

以上のようにステップS605におけるフレーム順応時間取得処理が終了すると、次にステップS606において、フレーム順応時間を適用したフレームローパス画像Bを作成する。すなわち、ステップS604で作成したフレームローパス画像Aに対し、フレーム順応特徴量である順応の重みAWを乗じる。このAWは、上記(1)式に対してステップS605で取得したフレーム順応時間を適用することによって算出できる。これにより、フレーム順応時間適用後のフレームローパス画像Bが作成される。

0048

次に、ステップS607〜S611において、フレーム画像内のオブジェクトに対し、オブジェクトごとの時間的特徴量を反映したオブジェクトローパス画像の生成を行う。

0049

まず、図4に示すオブジェクト情報テーブルから、1フレーム画像内の1オブジェクト情報を取得する(S607)。そして、対応する注目フラグ504を判定し(S608)、該フラグがfalseの場合、オブジェクトローパス画像を生成せずに、次のオブジェクト情報へ移行するか否かの判定処理(S612)に移行する。

0050

一方、注目フラグがtrueの場合は、フレームローパス画像生成対象フレーム画像について、当該オブジェクト画像の描画開始フレームから対象フレームすなわちiフレームまでの期間における、オブジェクトの順応時間を求める(S609)。すなわち、図6に示すオブジェクト分類情報テーブルを参照して、当該オブジェクト画像の描画開始フレーム番号902および描画終了フレーム番号903に基づき、時間情報の加算対象となるフレームを制限する。これにより、当該オブジェクトが描画されている期間のみを正しく反映することができる。

0051

以上のようにステップS609におけるオブジェクト順応時間取得処理が終了すると、次にステップS610において、オブジェクト順応時間を適用したオブジェクトローパス画像生成処理を行う。すなわち、ステップS606で作成したフレームローパス画像Bにおいて、オブジェクト画像位置情報503から求められるオブジェクト領域に対し、オブジェクト順応特徴量である順応の重みAWを乗じる。このAWは、上記(1)式に対してステップS609で取得したオブジェクト順応時間を適用することによって算出できる。これにより、オブジェクト順応時間適用後のオブジェクトローパス画像が作成される。このオブジェクトローパス画像はすなわち、フレームローパス画像Bに対してオブジェクト画像領域が更新されたものである。

0052

そして、フレーム内の全てのオブジェクトに対し、それぞれのオブジェクト順応時間を適用しオブジェクトローパス画像を生成したか否か、すなわち、フレームローパス画像Bに対し、全てのオブジェクト画像領域が更新されたか否かを判定する(S611)。全てのオブジェクトに対する処理が終了した場合にはステップS612に移行するが、未終了であればステップS607に戻る。

0053

1フレーム画像に対するフレームローパス画像の生成が終了すると、ステップS612において、注目フレーム画像のフレームローパス画像を生成するための対象フレームの全てについて、フレームローパス画像Bを生成したか否か判断する。すなわち、注目フレーム画像の10秒前からの全てのフレーム画像について、フレームローパス画像Bが生成されたか否かを判断する。具体的には、カウンタiがローパス画像生成対象の終了フレーム(すなわち注目フレーム)連番にあたるか否かを判定すれば良い。全ての対象フレームについての処理が終了していた場合はステップS614に移行してローパス画像合成処理を行う。すなわち、作成した全てのフレームローパス画像Bを合成することによって、注目フレーム画像に対して実際に適用される適用ローパス画像を生成する。一方、ローパス画像の作成が終了していない対象フレームがある場合は、ステップS613でiに1を加算した後、ステップS604に戻る。

0054

再生画像生成処理(S206)
図8は、ステップS206における再生画像生成処理の流れを示すフローチャートである。ここでは、上記非特許文献1と同様にiCAMのフレームワークを利用する例を示す。

0055

まず、注目フレーム画像(XYZ画像)及びステップS205で生成したフレームローパス画像に対し、以下の(2),(3)式に基づいて色順応変換処理を行う(S1001)。

0056

0057

(2)式により変換された注目フレーム画像の各画素をR,G,Bとし、同じく(2)式により変換されたローパス画像の各画素をRw,Gw,Bwとすると、色順応後RGB値(Rc,Gc,Bc)は、以下の(4)〜(6)式から算出される。

0058

0059

ここで、Dはデバイス白色への順応度合いを表すパラメータであり、0(順応なし)〜1(完全順応)の値をとる。

0060

次に、観察条件係数FLを画素ごとに算出する(S1002)。ここで観察条件FLは、フレームローパス画像のY値(YA)から作成されるYローパス画像(絶対輝度画像)に基づき、以下の(7)式により算出される。

0061

0062

次に、ステップS1001で変換された順応後のRGB値(Rc,Gc,Bc)をIPT空間に変換する(S1003)。ここでIPT空間とは、Iが明暗度合い、Pが赤−緑の色合い、Tが黄−青の色合い、をそれぞれ表す直方色空間である。以下、このIPT空間への変換処理について具体的に説明する。

0063

まず、順応後のRc,Gc,Bcを、以下に示す(8)〜(10)式にしたがって、錐体応答空間LMSに変換する。

0064

0065

そして次に、以下に示す(11)〜(13)式に従って錐体応答の非線形圧縮を適用するが、その際に、(7)式で算出したFL値を利用する。

0066

0067

その後、下記の(14),(15)式を利用して、IPT空間への変換を行う。

0068

0069

以上のようにIPT空間への変換が終了すると、次に、IPT空間上の色を動画像を表示するモニタのRGB空間逆変換する(S1004)。IPTからモニタRGBへの変換は、まずIPT値から順応RGB値への逆変換を行い、それをモニタの観察環境に応じたXYZ値に変換し、さらにモニタの特性に基づいてモニタRGB値に変換することによって、行われる。

0070

●注目オブジェクトを考慮した画像再生
ここで図9に、本実施形態において注目オブジェクトに対する時間的視覚特性が反映されて再生される様子を示す。上述した従来例を示した図12においては、全てのフレーム画像に対して一様にローパス画像が生成され、すなわち一様な時間的視覚特性が反映されていた。しかしながら図9によれば、フレーム内の注目オブジェクトである車Aと車Bのオブジェクトに対し、フレーム時間に応じたローパスフィルタ処理を行ってフレームごとのローパス画像を作成する。そして、(1)式の重み付けに基づいて複数フレームのローパス画像を合成することで、注目フレームに対するローパス画像が生成されている。図9によればすなわち、注目オブジェクトに対して背景オブジェクトとは異なる時間的視覚特性が反映されており、注目オブジェクトを考慮した再生が可能となることが分かる。

0071

以上説明した様に本実施形態によれば、被写体オブジェクトごとに時間的視覚特性を適用することが可能となる。したがって、特に注目すべきオブジェクトに対して適切な時間的視覚特性を適用して再生を行うことが可能になり、観察者にとって違和感のない見えをが実現される。

0072

<第2実施形態>
以下、本発明に係る第2実施形態について説明する。上述した第1実施形態では、フレーム画像そのものを記憶手段に保持しておき、フレーム画像内におけるオブジェクト画像を取得するために、図4に示すオブジェクト画像位置情報503を利用する例を示した。第2実施形態では、フレーム画像とは別に、オブジェクト画像を保持することを特徴とする。

0073

図10に、第2実施形態におけるフレーム画像情報テーブルの例を示す。上述した第1実施形態で図3に示したフレーム画像情報テーブルとの違いは、フレームローパス画像(図3ではフレームローパス画像アドレス情報405)を保持しない点である。

0074

また図11に、第2実施形態におけるオブジェクト情報テーブルの例を示す。第2実施形態においては、背景画像を含めた全てのオブジェクトについて、図11に示すオブジェクト情報テーブルに、オブジェクト画像及びオブジェクトローパス画像の情報を保持していることを特徴とする。

0075

第2実施形態における動画像再生処理は、基本的に上述した第1実施形態とほぼ同様であり、オブジェクト画像およびそのローパス画像へのアクセス方法が異なる。そのために、例えば被写体オブジェクト抽出処理において、抽出されたオブジェクト画像をROM702、RAM703または外部記憶装置705に保持し、該オブジェクト画像のアドレスをオブジェクト画像データアドレス情報1203に格納する。そしてさらに、該オブジェクト画像のサイズをオブジェクト画像データサイズ情報1204に格納する。

0076

また、第2実施形態ではさらに、オブジェクトごとにオブジェクトローパス画像を保持する。したがって、オブジェクトに対して作成されたオブジェクトローパス画像を、ROM702、RAM703または外部記憶装置705に保持し、該ローパス画像のアドレスをオブジェクトローパス画像アドレス情報1207に格納する。そして、該ローパス画像のサイズをオブジェクトローパス画像サイズ情報1208に格納する。

0077

なお、図11に示すオブジェクト情報テーブルにおけるオブジェクト画像位置情報1205には、当該オブジェクトの全領域における画素の座標を保持する必要はなく、例えば左上の開始座標のみを保持すればよい。

0078

以上説明した様に第2実施形態によれば、第2実施形態では、オブジェクト画像をフレーム画像とは独立して保持しておくことによっても、上述した第1実施形態と同様に、オブジェクトごとに時間的視覚特性を適用することが可能となる。また、オブジェクトデータへのアクセスが容易となるため、全体としての処理速度が向上する。

0079

<他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータインタフェース機器撮像装置webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

0080

尚本発明は、前述した実施形態の機能を実現するソフトウェアプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコード読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。

0081

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

0082

その場合、プログラムの機能を有していれば、オブジェクトコードインタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

0083

プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー(登録商標ディスク、ハードディスク、光ディスク光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ不揮発性メモリカード、ROM、DVD(DVD-ROM,DVD-R)などである。

0084

プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータブラウザからインターネットホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

0085

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。

0086

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

0087

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。

図面の簡単な説明

0088

本発明に係る一実施形態に係る画像処理装置のブロック構成例を示す図である。
本実施形態における動画像再生処理を示すフローチャートである。
本実施形態におけるフレーム画像情報テーブルの構成例を示す図である。
本実施形態におけるオブジェクト情報テーブルの構成例を示す図である。
本実施形態におけるオブジェクト情報生成処理を示すフローチャートである。
本実施形態におけるオブジェクト分類情報テーブルの構成例を示す図である。
本実施形態における注目フレームローパス画像生成処理を示すフローチャートである。
本実施形態における再生画像生成処理を示すフローチャートである。
本実施形態のアピアランス処理において注目オブジェクトに対する時間的視覚特性が考慮される様子を示す模式図である。
第2実施形態におけるフレーム画像情報テーブルの構成例を示す図である。
第2実施形態におけるオブジェクト情報テーブルの構成例を示す図である。
従来のアピアランス処理において時間的視覚特性が一様に考慮される様子を示す模式図である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ