図面 (/)

技術 ビデオの符号化方法及びビデオ符号化システム

出願人 アクシスアーベー
発明者 ダニエルソンファン,シンエドパルム,ヴィクトルピール,フレードリクパーション,ラーシュマルティンス,アレクサンドル
出願日 2015年10月26日 (3年8ヶ月経過) 出願番号 2015-209514
公開日 2016年5月26日 (3年1ヶ月経過) 公開番号 2016-096538
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード サーマルセンサ 重み付け係数γ カスタム仕様 サーマルカメラ 構成要素部品 重み付け係数β デジタル化装置 デジタル画像フレーム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

符号化されるビデオグローバル変化値に基づいてイントラ又はインター符号化を選択する。

解決手段

画像フレーム中ピクセルを表す情報を受信しS02、隣接するピクセルの各グループグループ値を算出しS03、フレームの第1のシーケンス中の対応するピクセルグループのグループ値を蓄積して、蓄積されたグループ値の第1の蓄積を形成しS04、第1のシーケンスよりも長い、フレームの第2のシーケンス中の対応するピクセルグループのグループ値を蓄積して、蓄積されたグループ値の第2の蓄積を形成しS05、第1の蓄積のグループ値を、第2の蓄積のグループ値と比較しS06、比較に基づいてグローバル変化値を算出しS07、グローバル変化値に基づいてGOP(ピクチャグループ)長を設定しS08、GOP長に基づいて、現在の画像フレームイントラフレーム又はインターフレームとして符号化するS09。

概要

背景

ネットワークカメラ監視システムなどのデジタルビデオシステムにおいて、ビデオシーケンスは様々なビデオ符号化方法を用いて伝送前に圧縮される。多くのデジタルビデオ符号化システムで、2つの主要なモード(イントラモード及びインターモード)が使用されて、一連ビデオフレームの複数のビデオフレームが圧縮される。イントラモードでは、予測、変換、及びエントロピー符号化を通じて、単一のフレーム所与チャネル内のピクセルの空間的な冗長性を利用することによって、輝度チャネル及び色度チャネルが符号化される。符号化されたフレームはイントラフレームと称され、Iフレームとも称され得る。一方、インターモードは、別々のフレーム間の一時的な冗長性を利用し、選択されたピクセルブロックについて1つのフレームから別のフレームへのピクセルの動きを符号化することによって、一又は複数の先行のフレームからのフレーム部分を予測する、動き補償予測技術に依存する。符号化されたフレームはインターフレームと称され、デコードの順において先行するフレームを表し得るPフレーム前方向予測フレーム)、又は2つ以上の先行してデコードされるフレームを表し得るBフレーム(両方向予測フレーム)とも称され、予測に用いられるフレームの任意の表示順序(display−order)関係を有し得る。更に、符号化されたフレームは、ピクチャグループ(groups ofpictures)(GOP)にアレンジされ、ここで各ピクチャグループはIフレームで始まり、後続するフレームはPフレーム又はBフレームである。一般的に、ピクチャグループ中のフレーム数GOP長と称される。GOP長は、ピクチャグループ中に1つのイントラフレームのみが存在しインターフレームが存在しないことを意味する1から、例えば、ピクチャグループ中に1つのイントラフレームが存在しこれに254のインターフレームが後続することを意味する255まで変化し得る。一般的に、イントラフレームはインターフレームよりも画像表現においてより多くのビットを要求するので、より長いGOP長を有するモーションビデオは一般的に、より短いGOP長を有するモーションビデオよりも低い出力ビットレートを生み出す。

符号化されたビデオシーケンスを受信する場所で、符号化されたフレームがデコードされる。ネットワークカメラ監視システムにおける課題は、符号化されたビデオの送信に利用可能なバンド幅である。このことは、特に多数のカメラを利用したシステムにおいて当てはまる。更に、この課題は、利用可能なバンド幅が小さい場合、例えばビデオシーケンスがモバイルデバイス(例えば、携帯電話、PDA、又はタブレットコンピュータ)に送信される際に特に重要である。画像の記憶に関して、例えばカメラに内蔵されたSDカードに画像を記憶する際に、類似の問題が発生する。高画質ビデオ画像という利益と利用可能なバンド幅又は記憶域とを釣り合わせるよう、妥協が必要となる。カメラからの送信ビットレートを低下させるよう符号化を制御する幾つかの方法及びシステムが用いられてきた。一般的に、これらの既知の方法及びシステムは、ビットレート制限を適用し、カメラからの出力ビットレートが常にビットレート制限未満であるように符号化を制御する。この方式で、システム中のすべてのカメラがそれらカメラのビデオシーケンスを受信場所(例えば、コントロールセンターなど)へ送信するように、利用可能なバンド幅が十分であることを確実にし得、そのような受信場所では作業員システムカメラからのビデオを監視し、ビデオは後の利用のために記録され得る。しかしながら、ビットレート制限は、モニタされているシーンで何が起こっているかに関係なく、多くの細部を含む画像の大幅な圧縮を要求するので、すべてのカメラにビットレート制限を適用することにより望ましからぬ低画質がもたらされることがある。一般的に、静止シーンの画像よりも動きを伴うシーンの画像のほうが、作業者の関心は高い。ところが、ビットレート制限を適用すると、動きを伴う画像は制限を超過しないように大きく圧縮される必要があり、これにより低画質となる。上述のように、出力ビットレートを低下させる別の方式は、より長いGOP長の使用である。しかしながら、このことはイントラフレームの頻度が低下することを示唆するので、インターフレームの符号化時に利用される予測によって発生するエラーが更に伝播し、表示された画像中の望ましくない符号化アーティファクト(歪み)が生じ得る。

概要

符号化されるビデオのグローバル変化値に基づいてイントラ又はインター符号化を選択する。画像フレーム中のピクセルを表す情報を受信しS02、隣接するピクセルの各グループグループ値を算出しS03、フレームの第1のシーケンス中の対応するピクセルグループのグループ値を蓄積して、蓄積されたグループ値の第1の蓄積を形成しS04、第1のシーケンスよりも長い、フレームの第2のシーケンス中の対応するピクセルグループのグループ値を蓄積して、蓄積されたグループ値の第2の蓄積を形成しS05、第1の蓄積のグループ値を、第2の蓄積のグループ値と比較しS06、比較に基づいてグローバル変化値を算出しS07、グローバル変化値に基づいてGOP(ピクチャグループ)長を設定しS08、GOP長に基づいて、現在の画像フレームをイントラフレーム又はインターフレームとして符号化するS09。

目的

本発明の目的は、出力ビットレートの低減と共に、捕捉されたシーン中の動きの高画質なビデオ画像を可能にする、ビデオ符号化方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

符号化されるビデオの現在のデジタル画像フレーム(1;1a‐f)中のピクセル(2)を表す情報を受信すること(S02;S102)、前記現在のデジタル画像フレーム中の隣接するピクセルのグループについての前記受信した情報に基づいて、隣接するピクセルの各グループのグループ値(V)を算出すること(S03;S103)、蓄積されたグループ値の第1の蓄積(AS)を形成するために、前記現在のフレームと第1の数の先行する画像フレームとを含む、デジタル画像フレームの第1のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積すること(S04;S104)、蓄積されたグループ値の第2の蓄積(AL)を形成するために、前記現在のデジタル画像フレームと第2の数の先行するデジタル画像フレームとを含む、デジタル画像フレームの第2のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積すること(S05;S106)であって、デジタル画像フレームの前記第2のシーケンスは、前記第1のシーケンスの画像フレームよりも長い期間にわたり捕捉されたデジタル画像フレームを含む、蓄積すること(S05;S106)、前記第1の蓄積(AS)の蓄積されたグループ値を、前記第2の蓄積中の隣接するピクセルの対応するグループの蓄積されたグループ値と比較すること(S06;S106)、グループ値の第1の蓄積(AS)及び第2の蓄積(AL)の比較に基づいて、グローバル変化値CG)を算出すること(S07;S108)、前記グローバル変化値(CG)に基づいて、GOP長を、ピクチャグループ中の符号化されるフレーム数として設定すること(S08;S109)、並びに前記GOP長に基づいて、前記現在の画像フレームを、イントラフレーム又はインターフレームとして符号化すること(S09;S110)を含む、ビデオ符号化方法

請求項2

前記グローバル変化値(CG)を算出することが、前記第1の蓄積及び前記第2の蓄積(AS,AL)の対応する蓄積されたグループ値の差に基づいて、隣接するピクセルの各グループの変化値(CL)を算出することを含む、請求項1に記載の方法。

請求項3

前記グローバル変化値(CG)を高閾値(TH)と比較すること、及び前記グローバル変化値(CG)が前記高閾値(TH)を上回る場合、前記GOP長を現在のGOP長から減少させること、を更に含む、請求項1又は2に記載の方法。

請求項4

前記高閾値(TH)は、前記現在の画像フレーム中の捕捉されたシーン中関心対象物動きを表す、グローバル変化値(CG)に対応する、請求項3に記載の方法。

請求項5

前記グローバル変化値(CG)を低閾値TL)と比較すること、及び前記グローバル変化値(CG)が前記低閾値(TL)を下回る場合、前記GOP長を現在のGOP長から増加させることを更に含む、請求項1から4の何れか一項に記載の方法。

請求項6

前記低閾値(TL)は、前記現在の画像フレーム中の捕捉されたシーン中に実質的な動きがないことを表すグローバル変化値(CG)に対応する、請求項5に記載の方法。

請求項7

前記GOP長を、許容される最大限のGOP長及び許容される最小限のGOP長によって規定される、所定のGOP範囲に制限することを更に含む、請求項1から6の何れか一項に記載の方法。

請求項8

前記グローバル変化値(CG)をグローバル変化制限(LC)と比較することであって、前記グローバル変化制限(LC)は前記高閾値(TH)よりも高い値の閾値である、比較すること、及び前記グローバル変化値(CG)が前記グローバル変化制限(LC)を上回る場合、前記現在の画像フレームをGOP長に関わらずイントラフレームとして符号化することを更に含む、請求項3に従属する場合の、請求項1から7の何れか一項に記載の方法。

請求項9

前記グローバル変化制限(Lc)は、前記現在の画像フレーム中の捕捉されたシーン中の大幅なシーン変化を表すグローバル変化値(CG)に対応する、請求項8に記載の方法。

請求項10

グループ値の前記蓄積(S04,S05;S104,S106)は、それぞれ、デジタル画像フレームの前記第1のシーケンス中の対応するピクセルのグループのグループ値と、デジタル画像フレームの前記第2のシーケンス中の対応するピクセルのグループのグループ値との加算を含む、請求項1から9の何れか一項に記載の方法。

請求項11

隣接するピクセルの各グループは、前記符号化する工程(S09;S110)中に用いられるマクロブロック中のピクセル数に等しい数のピクセル(2)からなる、請求項1から10の何れか一項に記載の方法。

請求項12

ビデオを符号化するための符号化システムであって、符号化されるビデオの現在のデジタル画像フレーム(1;1a‐f)中のピクセル(2)を表す情報を受信するように構成された、受信モジュール(22)、前記現在のデジタル画像フレーム中の隣接するピクセルのグループについての前記受信した情報に基づいて、隣接するピクセルの各グループのグループ値(V)を算出するように構成された、グループ値モジュール(23)、蓄積されたグループ値の第1の蓄積(AS)を形成するために、前記現在の画像フレーム(1;1a‐f)と第1の数の先行する画像フレームとを含むデジタル画像フレームの第1のシーケンス中の、隣接するピクセルの対応するグループのグループ値(V)を蓄積するように構成され、蓄積されたグループ値の第2の蓄積(AL)を形成するために、前記現在の画像フレーム(1;1a‐f)と第2の数の先行する画像フレームとを含むデジタル画像フレームの第2のシーケンス中の、隣接するピクセルの対応するグループのグループ値(V)を蓄積するように構成された、蓄積モジュール(24)であって、デジタル画像フレームの前記第2のシーケンスは、前記第1のシーケンスの画像フレームよりも長い期間にわたって捕捉されたデジタル画像フレームを含む、蓄積モジュール(24)、前記第1の蓄積(AS)の蓄積されたグループ値を、前記第2の蓄積(AL)中の隣接するピクセルの対応するグループの蓄積されたグループ値と比較するように構成された、比較モジュール(25)、グループ値の第1の蓄積(AS)と第2の蓄積(AL)との比較に基づいて、グローバル変化値(CG)を算出するように構成された、グローバル変化値モジュール(26)、前記グローバル変化値(GC)に基づいて、ピクチャグループ中の符号化されるフレーム数としてGOP長を設定するように構成された、GOP長モジュール(27)、並びに前記GOP長に基づいて、前記現在の画像フレーム(1;1a‐f)をイントラフレーム又はインターフレームとして符号化するように構成された、符号化モジュール(21)を含む、符号化システム。

請求項13

請求項12に記載の符号化システム(20)を含むカメラ

請求項14

プロセッサによって実行されると、請求項1から11の何れか一項に記載の方法を実行するように適合される命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品

技術分野

0001

本発明はデジタル画像圧縮の分野に関し、より詳細には、ビデオ符号化方法、及びビデオ符号化のための符号化システムに関する。

背景技術

0002

ネットワークカメラ監視システムなどのデジタルビデオシステムにおいて、ビデオシーケンスは様々なビデオ符号化方法を用いて伝送前に圧縮される。多くのデジタルビデオ符号化システムで、2つの主要なモード(イントラモード及びインターモード)が使用されて、一連ビデオフレームの複数のビデオフレームが圧縮される。イントラモードでは、予測、変換、及びエントロピー符号化を通じて、単一のフレーム所与チャネル内のピクセルの空間的な冗長性を利用することによって、輝度チャネル及び色度チャネルが符号化される。符号化されたフレームはイントラフレームと称され、Iフレームとも称され得る。一方、インターモードは、別々のフレーム間の一時的な冗長性を利用し、選択されたピクセルブロックについて1つのフレームから別のフレームへのピクセルの動きを符号化することによって、一又は複数の先行のフレームからのフレーム部分を予測する、動き補償予測技術に依存する。符号化されたフレームはインターフレームと称され、デコードの順において先行するフレームを表し得るPフレーム前方向予測フレーム)、又は2つ以上の先行してデコードされるフレームを表し得るBフレーム(両方向予測フレーム)とも称され、予測に用いられるフレームの任意の表示順序(display−order)関係を有し得る。更に、符号化されたフレームは、ピクチャグループ(groups ofpictures)(GOP)にアレンジされ、ここで各ピクチャグループはIフレームで始まり、後続するフレームはPフレーム又はBフレームである。一般的に、ピクチャグループ中のフレーム数GOP長と称される。GOP長は、ピクチャグループ中に1つのイントラフレームのみが存在しインターフレームが存在しないことを意味する1から、例えば、ピクチャグループ中に1つのイントラフレームが存在しこれに254のインターフレームが後続することを意味する255まで変化し得る。一般的に、イントラフレームはインターフレームよりも画像表現においてより多くのビットを要求するので、より長いGOP長を有するモーションビデオは一般的に、より短いGOP長を有するモーションビデオよりも低い出力ビットレートを生み出す。

0003

符号化されたビデオシーケンスを受信する場所で、符号化されたフレームがデコードされる。ネットワークカメラ監視システムにおける課題は、符号化されたビデオの送信に利用可能なバンド幅である。このことは、特に多数のカメラを利用したシステムにおいて当てはまる。更に、この課題は、利用可能なバンド幅が小さい場合、例えばビデオシーケンスがモバイルデバイス(例えば、携帯電話、PDA、又はタブレットコンピュータ)に送信される際に特に重要である。画像の記憶に関して、例えばカメラに内蔵されたSDカードに画像を記憶する際に、類似の問題が発生する。高画質ビデオ画像という利益と利用可能なバンド幅又は記憶域とを釣り合わせるよう、妥協が必要となる。カメラからの送信ビットレートを低下させるよう符号化を制御する幾つかの方法及びシステムが用いられてきた。一般的に、これらの既知の方法及びシステムは、ビットレート制限を適用し、カメラからの出力ビットレートが常にビットレート制限未満であるように符号化を制御する。この方式で、システム中のすべてのカメラがそれらカメラのビデオシーケンスを受信場所(例えば、コントロールセンターなど)へ送信するように、利用可能なバンド幅が十分であることを確実にし得、そのような受信場所では作業員システムカメラからのビデオを監視し、ビデオは後の利用のために記録され得る。しかしながら、ビットレート制限は、モニタされているシーンで何が起こっているかに関係なく、多くの細部を含む画像の大幅な圧縮を要求するので、すべてのカメラにビットレート制限を適用することにより望ましからぬ低画質がもたらされることがある。一般的に、静止シーンの画像よりも動きを伴うシーンの画像のほうが、作業者の関心は高い。ところが、ビットレート制限を適用すると、動きを伴う画像は制限を超過しないように大きく圧縮される必要があり、これにより低画質となる。上述のように、出力ビットレートを低下させる別の方式は、より長いGOP長の使用である。しかしながら、このことはイントラフレームの頻度が低下することを示唆するので、インターフレームの符号化時に利用される予測によって発生するエラーが更に伝播し、表示された画像中の望ましくない符号化アーティファクト(歪み)が生じ得る。

0004

本発明の目的は、出力ビットレートの低減と共に、捕捉されたシーン中の動きの高画質なビデオ画像を可能にする、ビデオ符号化方法を提供することである。

0005

第1の態様によれば、ビデオ符号化方法によって、この目的が完全に又は少なくとも部分的に達成され、本方法は、ビデオの現在のデジタル画像フレーム中の符号化されるピクセルを表す情報を、受信すること、前記現在のデジタル画像フレーム中の隣接するピクセルのグループについての前記受信した情報に基づいて、隣接するピクセルの各グループのグループ値を算出すること、蓄積されたグループ値の第1の蓄積を形成するために、前記現在のフレームと第1の数の先行する画像フレームとを含むデジタル画像フレームの第1のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積すること、蓄積されたグループ値の第2の蓄積を形成するために、前記現在のデジタル画像フレームと第2の数の先行するデジタル画像フレームとを含むデジタル画像フレームの第2のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積することであって、デジタル画像フレームの前記第2のシーケンスは、前記第1のシーケンスの画像フレームよりも長い期間にわたって捕捉されたデジタル画像フレームを含む、蓄積すること、前記第1の蓄積の蓄積されたグループ値を、前記第2の蓄積中の隣接するピクセルの対応するグループの蓄積されたグループ値と比較すること、グループ値の第1の蓄積と第2の蓄積との比較に基づいて、グローバル変化値を算出すること、前記グローバル変化値に基づいて、ピクチャグループ中の符号化されるフレーム数としてGOP長を設定すること、並びに、前記GOP長に基づいて、前記現在の画像フレームをイントラフレーム又はインターフレームとして符号化すること、を含む。このような方法により、より低頻度のイントラフレームを用いることによって静止シーンの画像を符号化する際のビットレートの低下が可能となり、一方、動きを伴うシーンの画像はより高頻度のイントラフレームで符号化され得、これにより、符号化アーティファクトが低減される。

0006

グローバル変化値を算出する工程は、前記第1の蓄積及び第2の蓄積の対応する蓄積されたグループ値間の差分に基づいて、隣接するピクセルの各グループの変化値を算出することを含み得る。これにより、グローバル変化値を算出するための実用的且つ信頼性の高い方式がもたらされ得る。

0007

変形例として、本方法は、前記グローバル変化値を高閾値と比較すること、及び、前記グローバル変化値が前記高閾値を上回る場合、前記GOP長を現在のGOP長から減少させることを更に含む。この方式で、捕捉されたシーン中に動きが存在する場合、より短いGOP長が用いられるように、GOP長が適合され得る。

0008

高閾値は、前記現在の画像フレーム中に捕捉されたシーン中の関心対象物体の動きを表す、グローバル変化値に対応し得る。

0009

本方法は前記グローバル変化値を低閾値と比較すること、及び、前記グローバル変化値が前記低閾値に満たない場合、前記GOP長を現在のGOP長より増加させることを含む。この方式で、捕捉されたシーンが静止シーンである場合、より長いGOP長が用いられるようにGOP長が適合され得、これにより出力ビットレートを低下させる。

0010

低閾値は、前記現在の画像フレーム中で捕捉されたシーン中に動きが実質的に存在しないことを表すグローバル変化値に対応し得る。

0011

変形例として、本方法は更に、許容される最大限のGOP長及び許容される最小限のGOP長によって規定される所定のGOP範囲に、前記GOP長を制限することを含む。これにより、望ましくない符号化アーティファクトというリスクが確実となる長すぎるGOP長、及び、容認できないほど大きすぎる送信ビットレートに繋がる短すぎるGOP長が発生しないことが保証される。

0012

本法は、前記グローバル変化値をグローバル変化制限と比較することであって、グローバル変化制限は前記高閾値よりも高い値の閾値であること、及び、前記グローバル変化値が前記グローバル変化制限を上回る場合、前記現在の画像フレームをGOP長とは独立してイントラフレームとして符号化すること、を更に含む。この方式で、現在の画像フレームがイントラフレームとして符号化され、そうでない場合にはインターフレームとして符号化されるが、マクロブロックの多くがイントラモードで符号化されることが保証され得る。

0013

グローバル変化制限は、前記現在の画像フレーム中の捕捉されたシーン中の大幅なシーン変化を表すグローバル変化値に対応し得る。大幅な変化は、例えば、室内で照明オンオフすること、動きの素早い、又は捕捉されたシーンを横切って動く画像の大部分を占める物体などによって引き起こされ得る。

0014

グループ値を蓄積する工程は、デジタル画像フレームの前記第1のシーケンス中及びデジタル画像フレームの第2のシーケンスにおけるピクセルの対応するグループのグループ値を加算することを含み得る。

0015

隣接するピクセルの各グループは、符号化工程中に用いられるマクロブロック中の幾つかのピクセルに等しい幾つかのピクセルで構成され得る。このことは、グローバル変化値及び/又はローカル変化値の算出に基づく圧縮値の設定を特に便利にし得る。

0016

第2の態様によれば、ビデオを符号化するための符号化システムによって、上述の目的が完全に又は少なくとも部分的に達成され、本システムは、ビデオの現在のデジタル画像フレーム中の符号化されるピクセルを表す情報を受信するように構成された、受信モジュール、前記現在のデジタル画像フレーム中の隣接するピクセルのグループについての前記受信した情報に基づいて、隣接するピクセルの各グループのグループ値を算出するように構成された、グループ値モジュール、蓄積されたグループ値の第1の蓄積を形成するために、前記現在の画像フレームと第1の数の先行する画像フレームとを含むデジタル画像フレームの第1のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積するように構成され、蓄積されたグループ値の第2の蓄積を形成するために、前記現在の画像フレームと第2の数の先行する画像フレームとを含むデジタル画像フレームの第2のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積するように構成された、蓄積モジュールであって、デジタル画像フレームの前記第2のシーケンスは、前記第1のシーケンスの画像フレームよりも長い期間にわたって捕捉されたデジタル画像フレームを含む、蓄積モジュール、前記第1の蓄積の蓄積されたグループ値を、前記第2の蓄積中の隣接するピクセルの対応するグループの蓄積されたグループ値と比較するように構成された、比較モジュール、グループ値の第1の蓄積と第2の蓄積との比較に基づいて、グローバル変化値を算出するように構成された、グローバル変化値モジュール、前記グローバル変化値に基づいて、ピクチャグループ中の符号化されるフレーム数としてGOP長を設定するように構成された、GOP長モジュール、並びに、前記GOP長に基づいて、前記現在の画像フレームをイントラフレーム又はインターフレームとして符号化するように構成された、符号化モジュールを含む。このような符号化システムにより、ビットレートの低下を実現しつつ、動きを伴うシーンの高画質ビデオ画像が可能となり得る。

0017

第2の態様の符号化システムは、一般的に、第1の態様の方法と同じ方式で実施され得、その利点も付随する。

0018

第3の態様によれば、第2の態様による符号化システムを備えたカメラによって、上述の目的が完全に又は少なくとも部分的に達成される。

0019

第4の態様によれば、プロセッサによって実行されると第1の態様による方法を遂行するように構成された指令を含むコンピュータ可読記憶媒体を含む、コンピュータプログラム製品によって、上述の目的が完全に又は少なくとも部分的に達成される。プロセッサは、処理能力を有する任意のタイプのデバイスであり得、例えば、中央処理装置(CPU)、グラフィック処理装置(GPU)、集積回路中に実装されるカスタム仕様処理デバイスASICFPGA又はディスクリート素子を含む論理回路であり得る。

0020

本発明の適用性のさらなる範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、当業者にとっては、本発明の範囲内の様々な変更及び修正がこの詳細な説明より明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、例示的な形でのみ提示されることを理解されたい。

0021

したがって、記載のデバイス及び記載の方法は異なる場合があるため、この発明は、記載のデバイスの特定の構成要素部品又は記載の方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のためにすぎず、限定的であることを意図しないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、詞(「a」、「an」、「the」、及び「said」)は、文脈によって他のことが明らかに示されない限り、1つ又は複数の要素があることを意味していると意図されることに留意するべきである。それ故、例えば、「an object」又は「the object」に対する言及は、幾つかのobjectなどを含み得る。更に、「compizing(備える、含む)」という言葉は、他の要素又はステップを排除しない。

0022

本発明を、実施例を用い且つ添付の概略図を参照しながら、より詳細に説明する。

図面の簡単な説明

0023

モニタされているシーンを示すデジタル画像の図である。
図1の画像の主要構造を示す図である。
図2の画像の部分の詳細な図である。
デジタル画像のビデオシーケンスの図である。
図2に示す画像のピクセルのグループを示す。
本発明による方法の変形例を示すフロー図である。
ピクセルグループの、そのピクセルグループに対応して配置されたグループ値を示す。
異なるタイムスケール上のグループ値の蓄積を示す。
ピクセルグループの、そのピクセルグループに対応して配置されたローカル変化値を示す。
本発明の方法の別の変形例を示すフロー図である。
一実施形態による符号化システムの図である。
符号化システムが統合されたカメラを示す。
ピクセルグループの、そのピクセルグループに対応して配置された圧縮値を示す。

実施例

0024

図1で、モニタされているシーンを表すデジタル画像1が示されている。画像1は、図2で示されているような幾つかのピクセル2で構成されている。例えば、画像1は、幅1280ピクセル、高さ960ピクセルであり得る。この画像1はYCbCr色空間表現されており、ピクセル2の各々が輝度値Y、青の色度値Cb、及び赤の色度値Crを有する。図3で、画像1の(図2ボックス3で概略的に示された)小さい部分が示されている。画像1のこの小さな部分は、幅4ピクセル、高さ4ピクセルである。図3のピクセル2の各々において、左上の角の数字はこのピクセルのCb値を表し、右上の角の数字はCr値を表し、底部の数字はY値を表す。

0025

画像1が、記憶されるか、又は表示されている監視対象シーンの画像を例えば作業者もしくは警備員が監視しているコントロールセンターへ送信される場合、画像は符号化されねばならない。この実施例で、H.264圧縮形式で動作するコーデックが用いられる。画像1を符号化する際、符号化された画像の記憶又は送信に要するデータ量を制御するために、即ち出力ビットレートを制御するために、GOP長及び圧縮値などのパラメータが制御され得る。H.264圧縮形式で、圧縮値は量子化パラメータ(QP)である。符号化される画像は、マクロブロック又はピクセルブロックと称される独立したブロックへと区分けされ、これらは個別に符号化される。画像中のすべてのマクロブロックは一般的に同じサイズを有し、例えば、8×8ピクセル、16×16ピクセル、又は32×32ピクセルであり得る。同一の画像中の種々のマクロブロックが、異なる圧縮値を割り当てられ得る。画像が符号化されるフレームレートもまた、出力ビットレートの制御のために制御され得る。送信に利用可能なバンド幅は、一般的に、許容可能なビットレートを制限する。複数のカメラを用いるシステムでは、及び、画像をユーザの携帯電話に送信する場合のようなバンド幅の小さいシステムでは、個別のカメラそれぞれからの許容可能なビットレート出力はかなり制限される。背景技術の段落で既に示したように、ビットレート制限の適用には大幅な圧縮及び/又は長いGOP長が要求され、結果として、画像の低下及び望ましくない量の符号化アーティファクトが生じ得る。

0026

図4は、6つの連続する画像フレーム1a‐fのビデオシーケンスを示す。図示のように、第1の画像1は、家屋、2本の樹、及び家屋に繋がる道を含むシーンを示す。第2の画像1bは、変化を伴わない同じシーンを示す。第3の画像1cは、同じ、静止したシーンを示す。これらの3つの画像1a‐cは、モニタされているシーンの表示画像を見ている作業者にとって、特に関心の対象とならないであろう。第4の画像1dは同じシーンを示すが、ここで画像1dの下方端から人物がシーンに入って来ている。第5の画像1eで、この人物が道に沿って家屋の方に進んだことが見て取れ得る。第6の画像1fは、この人物が家屋の真正面にいることが示されている。モニタ中のシーンで何事かが起こっていること、より詳細には、潜在的な侵入者が家屋の方へと進んでいることを示すので、これらの3つの後半の画像1d‐fのほうが作業者の関心は高い。

0027

下記で、図2‐9を参照して、本発明の方法の変形例がより詳細に説明される。図4の第1の画像1aから開始して、この画像は、複数のピクセルグループへと分割される(図6の工程S01)。これらのピクセルグループは、符号化に使用するマクロブロックに対応してもよく、対応しなくてもよい。この実施例で、画像1aは16×16ピクセルのグループ、即ち、256ピクセルへと分割される。そのようなグループの1つであるグループ10を図5に示す。グループ10中のピクセル2の各々について、ピクセル2を表す情報が受信される(工程S02)。この実施例で、表されている情報は輝度Yである。下記の式により、グループ10中のすべてのピクセル2の輝度値の合計が算出され、グループ値Vを形成する(工程S03):

式中、Ynはn番目のピクセルの輝度値であり、Nはグループ10中のピクセルの総数である。従って、この実施例ではN=256である。輝度値の合計は、グループ値Vの算出に用いられ得る多くの可能な統計上の測定値のうちの1つにすぎない。グループ値Vを算出するその他の方式は、グループのピクセルの輝度値の平均値中央値、四分位範囲、標準偏差、分散、歪度、又は度などの統計的測定値を算出することである。

0028

同じ方式で、画像1a中の各ピクセルグループのグループ値が算出される。例示的な画像1aでは、80×60グループ、即ち4800グループが存在する。

0029

算出されたグループ値Vは、画像中のピクセルグループの位置に対応するマトリクスに配置され、図7に示すようなマップを形成する。ここで、VR,Cは、マップ中の行R、列Cにあるピクセルグループのグループ値を示す。

0030

幾つかの連続する画像にわたり、グループ値が蓄積される。短時間にわたり捕捉された幾つかの画像のグループ値を加算することにより、短期蓄積(AS)と称され得る第1の蓄積が形成される(工程S04)。これは、下記の式による無限インパルス応答フィルタ原理を用いてを用いて実行され得る:
ASm=(1−α)・ASm−1+α・Vm
式中、mはビデオシーケンス中の現在の画像フレーム数であり、ASm−1は先行する画像フレームの蓄積であり、αは重み付け係数である。重み付け係数αは、蓄積に望まれる時間長に応じて選ばれる。この実施例で、短期蓄積は、現在の画像フレームのグループ値における0.25の重みαでの重み付けによって形成され、即ち原則として、現在の画像フレームのグループ値と3つの先行する画像フレームのグループ値とを蓄積する。短期蓄積されたグループ値は、図8aに示すような、画像中のピクセルグループの位置に対応するマトリクス又はマップに記憶され得る。ここで、ASR,Cは、マップ中の行R、列Cにある短期蓄積されたピクセルグループのグループ値を表す。

0031

付加的に、長時間にわたり捕捉された幾つかの画像のグループ値を加算することにより、長期蓄積(AL)と称され得る第2の蓄積が形成される(工程S05)。短期蓄積についての説明と同様に、下記の式が用いられ得る:
ALm=(1−β)・ALm−1+β・Vm
上記と同様、mはビデオシーケンス中の現在の画像フレーム数であり、ALm−1は先行する画像フレームの蓄積であり、βは重み付け係数である。この実施例で、現在の画像フレームのグループ値は0.01の重み付け係数βを用いて加重される。従って、長期蓄積ALは、原則として、現在の画像フレームのグループ値と99個の先行する画像フレームのグループ値とを加算することにより形成される。短期蓄積ASの場合と同等、長期蓄積されたグループ値は、図8cに示すマトリクス又はマップに記憶され得る。画像中のピクセルグループの位置に対応してこのマップにおいて、ALR,Cは、行R、列Cにある長期蓄積されたピクセルグループのグループ値を表す。

0032

シーン中に有意な変化があると、それぞれの蓄積はリセット又はリスタートされることが必要となり得る。従って、蓄積は、PTZカメラが動いたとき又は新しいビデオストリームが符号化されたときなど、外部からのトリガに基づいてリセットされ得る。更に、蓄積は、後述するグローバル変化値CGに基づいてリセットされ得る。

0033

次いで、短期蓄積ASの蓄積されたグループ値ASR,Cが、対応する長期蓄積ALの長期蓄積されたグループ値ALR,Cと比較される(工程S06)。この比較に基づいて、現在の画像フレームが先行する画像フレームと異なるかどうかを示すグローバル変化値CGが算出される。グローバル変化値CGは、モニタ中のシーン内の動き又はその他の変化(光線の変化もしくは動く陰影など)を示し得る。

0034

グローバル変化値CGは、短期蓄積ASの短期蓄積されたグループ値と対応する長期蓄積ALの長期蓄積されたグループ値との間の差を計算することによって、算出され得る。各ピクセルグループについて、算出された蓄積されたグループ値の差分が、ノイズレベルに基づき得る閾値TNと比較される。この差分が、隣接するピクセルの各グループの変化値CLを形成する。ピクセルグループの短期蓄積されたグループ値と長期蓄積されたグループ値との間の差分が、ノイズに基づく閾値TNよりも大きい場合、そのピクセルグループは変化したと見なされ、そのピクセルグループのローカル変化値CLは1に設定される。反対に、差分がノイズレベルに基づく閾値TNよりも小さい場合、そのピクセルグループは変化しなかったと見なされ、ローカル変化値CLは0に設定される。例えば、0〜10などに亘るより微細なローカル変化値のスケールを用いてもよい。ローカル変化値は、図9に示すマトリクス又はマップ内に配置され得、ここで、CLR,Cは行R、列Cにあるピクセルグループのローカル変化値を示す。

0035

次いで、画像1a中のすべてのピクセルグループのローカル変化値の平均を計算することにより、グローバル変化値CGが算出される(工程S08)。従って、16×16ピクセルグループについて、最小グローバル変化値は0であり、ピクセルのうちノイズレベルに基づく閾値TNよりも変化したものがないことを意味する。最大グローバル変化値は256であり、すべてのピクセルがノイズレベルに基づく閾値TNよりも変化したことを意味する。

0036

グローバル変化値CGが高閾値THと比較される。高閾値THは、グローバル変化値CGが高閾値THを上回ると、画像中の変化がモニタ中のシーン内での関心対象の物体の動きを表すように、設定される。従って、監視の目的に応じて、即ち関心対象のタイプに応じて、高閾値THは様々な値に設定され得る。

0037

グローバル変化値CGが高閾値THを上回らない場合、グローバル変化値CGは低閾値TLと比較される。低閾値TLは、グローバル変化値CGが低閾値TLを下回ると、モニタ中のシーン内で実質的に動きがないことを表すように、設定される。シーン及び監視の目的に応じて、動きがないことは、そのシーンが完全に静止していること(動くものがなく一定の照明を伴う屋内シーンなど)を意味し得るか、又は、揺れ樹木もしくは旗竿もしくは小物体(例えば、ウサギ)などの関心対象でない物体のみが動いていることを意味し得る。

0038

グローバル変化値CGが高閾値THを上回る場合、グローバル変化値CGは高閾値THよりも高い値であるグローバル変化制限LCとも比較される。グローバル変化制限LCは、グローバル変化値CGがグローバル変化制限LCを上回る場合、画像中の変化が捕捉されたシーン中の大幅なシーン変化を表すように、設定される。大幅な変化とは、室内で照明がオンオフされたときなどの照明の変化であり得るか、又は、カメラの視覚のすべてもしくはほとんどを遮るようにカメラの前を物体が通過したこと(例えば、カメラ近くをが通過したこと、もしくはモニタ中のシーンにおいてトラックが横切ったことなど)であり得る。大幅な変化はまた、PTZカメラのパンニングなどカメラの動きによっても生じ得る。上述のように、グローバル変化値CGがグローバル変化制限を上回ると決定された場合、グループ値の蓄積はリセットされ得る。

0039

グローバル変化値CGは、GOP長(即ち、各ピクチャグループ中の符号化される画像フレーム数)を設定するために用いられる(工程S08)。符号化が開始されるとき、初期GOP長が設定される。これはデフォルト値として設定されるか、又はユーザの入力によって設定され得る。例えば、120フレームの初期GOP長が設定され得る。図3aの第1の画像フレーム1aなどの画像が符号化されるとき、その画像フレーム1aについてのグローバル変化値CGが算出され、高閾値THと比較される。グローバル変化値CGが高閾値THを上回る場合、符号化されるビデオシーケンス中の各イントラフレームに後続するインターフレーム数が減少するように、GOP長は減少される。これにより、インターフレームの符号化時に予測から生じるエラーが、より長いGOP長が用いられる場合よりも、ビデオシーケンスに沿ってそれほど遠くまで伝播せず、従って符号化アーティファクトが低減され得る。一般的に、出力ビットレートの増加を確実にすることは、動きを含むシーンの高画質性という利益に対してバランスがとれるので、容認可能である。

0040

一方、グローバル変化値CGが低閾値TLを下回る場合、GOP長が増加され、即ち、符号化されるビデオシーケンス中の各イントラフレームに後続するインターフレーム数が増加される。より長いGOP長が符号化アーティファクトの増加という結果を招くとしても、このリスクは、動きのレベルが低いことによってある程度は低減され、更に、静止シーンを表す画像中のアーティファクトの増加は、いずれにせよ作業者にとってそのようなシーンは関心が低いので、一般的に容認可能である。この方式で、出力ビットレートが減少される。

0041

この実施例で、グローバル変化値CGが高閾値THを上回る場合、GOP長は素早く減少され、例えば、GOP長をピクチャグループ毎に60フレームまで即座に減少させる。GOP長の増加はより低速で行われ得、例えば、低閾値TLを下回るグローバル変化値CGを有する各画像フレームについて10フレーム、GOP長を増加させる。

0042

グローバル変化値CGが低閾値TLと高閾値THとの間にある場合、GOP長は変更されずに維持される。

0043

グローバル変化値CGがグローバル変化制限LCを上回る場合、以前用いられたGOP長に関わらず、現在の画像フレーム1aはイントラフレームとして符号化される。グローバル変化制限は、シーンが有意に変化したことを示唆するので、画像フレーム1aをインターフレームとして符号化することは、多くのマクロブロックがイントラモードで符号化される必要があることを示唆し得る。イントラフレームがこの方式で符号化されたビデオシーケンスに挿入されると、次いで、GOP長は初期又はデフォルトのGOP長(例えば120フレーム)に戻される。

0044

グローバル変化値CGに基づいて設定されるGOP長は、現在の画像フレーム1aがイントラフレームとして符号化されるか、又はインターフレームとして符号化されるかを決定するために用いられる。現在のピクチャグループが終了していない場合、新しいGOP長は、新しいピクチャグループの開始をもたらさず、現在の画像フレーム1aはインターフレームとして符号化される。先行の画像フレームがピクチャグループ中の最後の1つであった場合、又は、新しいピクチャグループが開始されたことを新しいGOP長が意味する場合、現在の画像フレーム1aはイントラフレームとして符号化される。グローバル変化値CGはグローバル変化制限を上回る場合、現在のピクチャグループが未だ終了していなくとも、現在の画像フレーム1aはイントラフレームとして符号化され、即ち、現在の画像フレーム1aは強制的にイントラフレームとして符号化される。従って、イントラモード又はインターモードの何れの符号化モードを使用するかが決定されると、現在の画像フレーム1aは符号化される(工程S09)。

0045

GOP長が、許容される最小限のGOP長未満又は許容される最大限のGOP長を上回って設定を許容されないように、許容可能なGOP長範囲が使用される。従って、現在のGOP長が許容される最小限のGOP長に等しい場合、及び、現在の画像フレームについて算出されたグローバル変化値がGOP長の減少をもたらす場合、そのGOP長は変更されずに維持される。同様に、現在のGOP長が許容される最大限のGOP長に等しい場合、及び、現在の画像フレームについて算出されるグローバル変化値がGOP長の増加をもたらす場合、そのGOP長は現在の値で保持される。許容可能なGOP長範囲はノイズレベル及びビデオのフレームレートに基づいてよく、例えば、60‐600フレームに設定され得る。許容可能なGOP長はデフォルト値として事前に設定されるか、又はユーザ入力によって設定され得る。更に、GOP長は画像が符号化されるフレームレートに基づいて、例えば、各ピクチャグループが1‐10秒の長さであるように制御され得、従って、30fpsで30‐300フレーム、及び60fpsで60‐600フレームのGOP長範囲に対応する。

0046

次いで、本符号化方法は、後続の画像フレーム1b‐fについても同じ方式で進行する(図3)。上述のように、第2のフレーム1b及び第3のフレーム1cは静止シーンを示す。従って、第2のフレーム1b及び第3のフレーム1cについて算出されるグローバル変化値CGは、そのGOP長がこれらのフレームの各々について増加されることを示唆する。第1の画像フレーム1aがピクチャグループの最後ではないと仮定すると、第2のフレーム及び第3の画像フレームは、インターフレームとして符号化される可能性が高い。しかしながら、第4の画像フレーム1d中、人物がシーンに現れ、高閾値THが動く人物によって生じるグローバル変化値を表すように設定されているとすると、第4の画像フレーム1dについて算出されるグローバル変化値CGは、そのGOP長が減少されることを示唆する。同様に、第5の画像フレーム1e及び第6の画像フレーム1fのグローバル変化値CGもまた、GOP長が減少されるべきであることを示唆する。現在のピクチャグループが終了したかどうかに応じて、第4、第5、及び第6の画像フレーム1d‐fは、インターフレーム又はイントラフレームとして符号化される。

0047

図10を参照して、本発明の方法の別の変化形を説明する。この変化形の工程の大部分は上述のものと同一であり、従ってそれらはここでは詳説しない。異なる工程のみをより詳細に説明する。図6に関連して上述したことと同様、図4aの第1の画像フレーム1aなどの現在の画像フレームは、複数のピクセルグループに分割される(工程S101)。現在の画像フレーム中のピクセルを表す情報が受信される(工程S102)。ここでも、表される情報は輝度である。各ピクセルグループについて、輝度値の合計としてグループ値が算出される(工程S103)。図6に関連して説明した方式と同様に、グループ値Vは、第1の蓄積即ち短期蓄積AS(S104)中に、及び第2の蓄積即ち長期蓄積AL中に蓄積される(S106)。先述した本発明の変化形とは異なり。グループ値は、第3の蓄積即ち中期蓄積(AM)中にも蓄積される(工程S105)。以下の式が使用される:
AMm=(1−γ)・AMm−1+γ・Vm
短期蓄積及び長期蓄積と同様、式中、mはビデオシーケンス中の現在の画像フレーム数であり、AMm−1は先行する画像フレームの蓄積であり、γは重み付け係数である。この実施例で、0.1の重み付け係数γが用いられる。従って、中期蓄積AMは、原則として、現在の画像フレームのグループ値と9個の先行する画像フレームのグループ値とを加算することにより形成される。短期蓄積されたグループ値(ASR,C)及び長期蓄積されたグループ値(ALR,C)と同様、中期蓄積されたグループ値(AMR,C)は、図8bに示すマトリクス又はマップ内に配置される。

0048

蓄積は、上述とはやや異なる方式で比較される(工程S107)。まず、長期蓄積ALの蓄積されたグループ値が中期蓄積AMの蓄積されたグループ値と比較される。ノイズレベルに基づく閾値TNよりも大きい、長期蓄積されたグループ値と中期蓄積されたグループ値との間の差分を有するピクセルグループは、変化の候補と見なされる。これらのピクセルグループについて、中期蓄積AMの蓄積されたグループ値と短期蓄積ASの蓄積されたグループ値との間で、更なる比較がなされる。これらの蓄積されたグループ値がノイズレベルに基づく閾値TNよりも大きく異なる場合、対応するピクセルグループは変化したと見なされ、そのピクセルグループのローカル変化値はローカル変化値1を割り当てられる。そうでない場合、0のローカル変化値が割り当てられる。上述のように、グローバル変化値CGは、現在の画像フレーム中のピクセルグループのすべてのローカル変化値CLを加算することによって算出される(工程S108)。

0049

短期蓄積AS及び長期蓄積ALに加えて中期蓄積AMを用いることにより、シーン中に大きな変化があり、次いでそのシーンが静止状態に戻る場合などに有益であり得る。そのような場合、中期蓄積AMは長期蓄積ALよりも素早く定常値に戻る。更に、中期蓄積AMは、低フレームレートにおける信頼性を高め得る。

0050

上述と同様に、GOP長はグローバル変化値に基づいて設定され、即ちグローバル変化値CGを、高閾値TH、低閾値TL、及びグローバル変化制限LCと比較することにより設定される(工程S109)。次いで、算出されたGOP長及び現在のピクチャグループ中の位置に応じて、現在の画像フレーム1aがイントラフレーム又はインターフレームとして符号化される(工程S110)。グローバル変化値CGがグローバル変化制限LCを上回る場合、現在のピクチャグループ中の位置に関わらず、現在の画像フレームはイントラフレームとして符号化される。後続する画像フレーム1b‐fの符号化にも同じ手順が用いられる。

0051

本発明の別の変化形によれば、画像フレームが符号化されるフレームレートを用いて、蓄積されたグループ値の何れの比較を使用するかが決定される。フレームレートはユーザ入力によって設定されるか、又は例えば、グローバル変化値に基づいて設定され得る。フレームレートが約5‐60fpsである場合、短期蓄積ASの蓄積されたグループ値と中期蓄積AMの蓄積されたグループ値とが比較されて、グローバル変化値CGが決定され得る。フレームレートが低い(例えば、60fps未満である)場合、グローバル変化値CGを決定するために、中期蓄積AMの蓄積されたグループ値と長期蓄積ALの蓄積されたグループ値とが比較される。非常に低いフレームレート(例えば、0.1fps未満)の場合、画像は動きを含まないと見なされ得、従って、蓄積されたグループ値間の比較を行う必要もなく、GOP長が増加されるように、グローバル変化値は低閾値TL未満であると推定され得る。

0052

グローバル変化値の算出に使用されることに加えて、画像フレームについて算出されたローカル変化値CLは、符号化される各マクロブロックの圧縮値の設定に利用され得る。この実施例で、圧縮値はH.264圧縮形式で用いられる量子化パラメータ(QP)である。

0053

符号化が開始されるとき、初期圧縮値QPは、第1の画像フレームのすべてのマクロブロックについて設定される。上述のように、マクロブロックは、グループ値Vの算出に用いられるピクセルグループと同一であり得る。代替的に、各マクロブロックは、グループ値の算出に用いられるピクセルグループのサブグループであり得る。圧縮値QPが変更されない限り、初期圧縮値QPは、後続するすべての画像に使用される。しかしながら、画像フレームの圧縮がモニタ中のシーン内の変化に適応するように、圧縮値QPをローカル変化値に基づいて補正することが有益であり得る。従って、画像フレームの静止部分は、より極度に圧縮され、一方、画像のうち動きを表す部分は圧縮がより少なく、これにより、モニタ中のシーンの動く部分に高画質がもたらされる。この方式で、出力ビットレートが全体として低減されながらも、モニタ中のシーンの関心対象部分の高画質が可能となる。低減されたビットレートはまた、符号化システムの過負荷により生じ得るフレームドロップを防止し得る。

0054

現在の画像フレーム中の隣接するピクセルの各グループについて、上述のようにローカル変化値CLが算出される。各マクロブロックについて、圧縮値QPが算出される。マクロブロックがピクセルグループと同一である場合、対応するピクセルグループのローカル変化値が用いられる。各ピクセルグループが1よりも多いマクロブロックを含む場合、例えば、ピクセルグループの各々が32×32ピクセルでありマクロブロックが16×16ピクセルである場合、それぞれのマクロブロックを構成するピクセルグループのローカル変化値が用いられる。各マクロブロックについて、ローカル変化値CLの関数として圧縮値QPが算出される。累乗関係が使用され、これにより、ローカル変化値CLが累乗スケール上で表現される場合に圧縮値QPはローカル変化値CLの一次関数として算出され、ローカル変化値CLが線形スケールで表現される場合に圧縮値QPはローカル変化値CLの指数関数として算出される、圧縮値QPを設定するかわりに、圧縮値の変化ΔQPが設定され得る。例えば、初期圧縮値(例えば、QP=28)がすべてのマクロブロックについて設定され得る。ローカル変化値に基づいて、この初期又はデフォルトの圧縮値からの変化は、上述と同じ原理を用いて各マクロブロックについて設定され得る。算出された圧縮値QP又は変化ΔQPが、図13に示すマトリクス又はマップ中に配置され得る。

0055

符号化の前に、画像フレームは変換モジュール(例えばスケーラと称されることもある、ハードウェア支援変換モジュール)において処理され得、ここで、回転、切取りモザイクの付加、又は電子画像安定化が実施され得る。ローカル変化値CLは、圧縮値QPに正しく対応するマクロブロックをもたらすために、圧縮値QPの算出前に同じスケーラで処理され得る。代替的に、算出された圧縮値QPが同じ結果を得るためにスケーラにおいて処理され得る。

0056

図11で、符号化システム20の実施形態を示す。この符号化システムは、上述した方法に従って使用され得る。符号化システムは、圧縮形式を用いて、及び圧縮値を用いて、入力画像フレームをピクチャグループ(GOP)構造を利用して処理するように構成された符号化モジュール21を有する。更に、符号化システム20は、画像フレーム1a‐fなどの画像中のピクセルを表す情報を受信するように構成された、受信モジュール22、及び、符号化される各画像フレーム中の隣接するピクセルのグループについての受信した情報に基づいて、隣接するピクセルの各グループのグループ値を算出するように構成された、グループ値モジュール23を有する。符号化システム20はまた、画像フレームの第1のシーケンス中の隣接するピクセルの対応するグループのグループ値を短期的に蓄積して第1の蓄積即ち短期蓄積を形成するように構成され、且つ、画像フレームの第2のシーケンス中の隣接するピクセルの対応するグループのグループ値を長期的に蓄積して第2の蓄積即ち長期蓄積を形成するように構成された、蓄積モジュール24を有する。画像フレームの第2のシーケンスは、第1のシーケンスの画像フレームよりも長い期間にわたり捕捉された画像フレームを含む。更に、符号化システム20は、第1の蓄積の蓄積されたグループ値と第2の蓄積の蓄積されたグループ値とを比較するように構成された、比較モジュール25を有する。符号化システム20のグローバル変化値モジュール26は、第1の蓄積及び第2の蓄積の蓄積されたグループ値の比較に基づいて、各画像フレームについての変化値を算出するように構成される。更に、符号化システム20は、グローバル変化値に基づいて、ピクチャグループ中の符号化されるフレーム数としてGOP長を設定するように構成された、GOP長モジュール27を有する。

0057

任意選択的に、符号化システム20は、第1の蓄積及び第2の蓄積の対応する蓄積されたグループ値の差に基づいて、画像フレーム中の隣接するピクセルの各グループのローカル変化値を算出するように構成された、ローカル変化値モジュール28、並びに、ローカル変化値に基づいて、符号化される画像フレーム中のマクロブロックの圧縮値を設定するように構成された、圧縮値モジュール29を有してもよい。

0058

符号化システム20は、ソフトウェアファームウェア、もしくはハードウェア、又はそれらの組み合わせとして実装され得る。

0059

更に、図10に示すように、符号化システム20がカメラ30に統合され得る。代替的に、符号化システム20は、カメラとは別個であってカメラに動作可能に接続され得る。カメラ30は、例えば、デジタル式監視カメラであり得る。

0060

上述の実施形態が多くの方式で修正されてもなお、上述の実施形態中に示される本発明の利点が利用可能であることを、当業者は理解されよう。一例として、上述の記載において本発明はH.264コーデックとの関連で説明された。しかしながら、ピクチャグループ構造を用いた任意の他のブロックベースハイブリットコーデック(例えば、H.265、MPEG−4Part2、又はVP9コーデックなど)が用いられてもよい。

0061

上述の実施例で、グループ値の算出にピクセルの輝度Yが用いられている。しかしながら、かわりに色度値Cb及びCrのうちの一方が用いられてもよい。

0062

更に、YCbCr色空間で表現される画像を参照して本発明を説明してきたが、例えば、RGB又はCMYなどの他の色空間が用いられてもよく、その場合、色チャネルのうちの1つが用いられてグループ値が算出される。画像センサからのBayerフィルタリング前のダイレクトな画像データが用いられ得ることに留意されたい。ここで、画像はピクセル毎の1つの階調として表現され、これらを用いてグループ値が算出され得る。階調が光強度値と見なされてもよい。

0063

このように、ピクセル情報は、画像パイプライン又はビデオパイプラインの任意の段階から受信され得、具体的な情報のタイプは、その情報がパイプライン中のどこから来ているかに依存することが理解されるべきである。

0064

グループ値を合計として算出する代わりに、ピクセルを表す情報の平均値、中央値、四分位範囲、標準偏差、分散、歪度又は、尖度など、他の空間統計上の測定値が用いられ得る。

0065

蓄積には他のタイムスパンが用いられてもよい。例えば、短期蓄積は、1/4〜1の重み付け係数αを用いたグループ値における重み付けによって形成され得る。中期蓄積は、1/15〜1/5の重み付け係数γを用いたグループ値における重み付けによって形成され得る。長期蓄積は、1/150〜1/50の重み付け係数βを用いたグループ値における重み付けによって形成され得る。

0066

蓄積は、選ばれたタイムスパンにわたり捕捉されたすべての画像フレームを必ずしも含まない。例えば、1つおきに捕捉された画像フレームが蓄積に用いられてもよい。

0067

符号化の際に使用する圧縮値の設定にローカル変化値CLが用いられない場合、グローバル変化値CGは、ローカル変化値をまず算出することなしに算出され得る。これは、一時的なフィルタリングによって、又はビデオモーション検知アルゴリズムを用いて、コーデックにより算出されたグローバルモーションベクトルを使用することによってなされ得る。

0068

本発明の方法及び符号化システムは、例えば、可視光を利用するカメラ、IRカメラ、又はサーマルカメラなどの任意のタイプのカメラとの接続で使用され得る。

0069

更に、本発明をデジタルカメラとの関連で説明したが、アナログカメラと共に使用されてもよい。そのような場合、アナログカメラからの画像がデジタル化装置を用いてデジタル形式に変換され得る。

0070

デジタル画像は、イントラフレーム及びインターフレーム符号化技術を用いて符号化されるピクセルを表す情報の生成が可能な、可視光センササーマルセンサ、TOF(time−of−flight)センサ、又は他のタイプの画像生成センサによって生成され得る。

0071

説明を簡略化するために、ピクセル情報、グループ値、蓄積されたグループ値、及び圧縮値は、マトリクスの形態で説明された。しかしながら、それらデータはすべて他の形式で記憶されてもよい。

0072

即ち、本発明は示された実施形態に限定されるのではなく、添付の特許請求の範囲によってのみ定義されるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ