図面 (/)

この項目の情報は公開日時点(2004年2月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

符号器(300)は、データ表記における有意性に基づき、空間的に又は時間的に相関する変換データ係数の1つ以上の部分集合を選択する(702、1302、1304、1306、1308)。符号器(300)と相補復号器(400)は、ウェーブレット変換符号化画像(500)に適用し得る。符号器(300)は、無線ネットワーク(112)を介して送信される符号化画像(500)のバイトサイズを小さくするために、無線インターネットゲートウェイサーバ(108)上に実装することができ、また、画像又は他のデータを復号化するために無線デバイス(118)が実行しなければならない処理量を低減する。復号器(400)及び/又は符号器(300)は、この無線デバイス(118)上に実装し得る。

概要

背景

概要

符号器(300)は、データ表記における有意性に基づき、空間的に又は時間的に相関する変換データ係数の1つ以上の部分集合を選択する(702、1302、1304、1306、1308)。符号器(300)と相補復号器(400)は、ウェーブレット変換符号化画像(500)に適用し得る。符号器(300)は、無線ネットワーク(112)を介して送信される符号化画像(500)のバイトサイズを小さくするために、無線インターネットゲートウェイサーバ(108)上に実装することができ、また、画像又は他のデータを復号化するために無線デバイス(118)が実行しなければならない処理量を低減する。復号器(400)及び/又は符号器(300)は、この無線デバイス(118)上に実装し得る。

目的

データ符号化の主な目的は、データを“圧縮”、すなわち、データのバイトサイズを小さくすることである

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

データ集合を符号化するための方法であって、変換データ係数集合を得るためにデータ集合に変換を行う段階と、前記変換データ係数の集合の変換データ係数をグループ化することによって、前記データ集合の領域の集合に対応する複数の変換データ係数の部分集合を形成する段階と、前記複数の変換係数の部分集合に各々対応するアクティビティの大きさを計算する段階と、を含むことを特徴とする方法。

請求項2

請求項1に記載の方法であって、更に、前記複数の変換係数部分集合に各々対応するアクティビティの大きさに基づき、変換係数の部分集合に対する配列を行なう段階を含むことを特徴とする方法。

請求項3

請求項1に記載の方法であって、更に、アクティビティの大きさに基づき、領域の前記集合を選択する段階を含むことを特徴とする方法。

請求項4

請求項2に記載の方法であって、更に、変換データ係数の部分集合を記録する段階を含むことを特徴とする方法。

請求項5

請求項4に記載の方法であって、更に、チャネル帯域幅ビットレート画質、又は画像分解能に基づき、領域の集合を選択する段階を含むことを特徴とする方法。

請求項6

コンピュータ判読可能な媒体であって、データ集合を符号化するためのプログラミング命令を含み、データ集合に対応する変換データ係数の集合を読込み、前記データ集合の領域における変化の大きさを取得し、前記変化の大きさに基づき、前記データ集合の領域と空間的に相関する変換データ係数の部分集合を抽出するかどうか判断し、変換データ係数の部分集合を抽出する、ためのプログラミング命令から構成されることを特徴とする媒体。

請求項7

請求項6に記載のコンピュータが判読可能な媒体であって、更に、空間的に相関する変換データ係数の前記部分集合を送信するためのプログラミング命令から構成されていることを特徴とする媒体。

請求項8

請求項6に記載のコンピュータが判読可能な媒体であって、更に、空間的に相関する変換データ係数の前記部分集合を記録するためのプログラミング命令から構成されていることを特徴とする媒体。

請求項9

ウェーブレット信号分解器によって出力された変換データ係数の集合を処理する方法であって、ウェーブレット信号分解器によって出力された変換データ係数の集合を受信する段階と、前記変換データ係数の集合によって表される変換画像選択領域の集合に対応する変化の大きさの集合を演算する段階と、変化の大きさの前記集合に基づき、前記変換された画像領域集合の部分集合を選択する段階と、変化の大きさの前記集合に基づき、前記領域集合の部分集合の配列を決定する段階と、前記画像領域の集合に対応する前記変換データ係数集合の部分集合の集合をグループ化する段階と、を含むことを特徴とする方法。

請求項10

請求項9に記載の方法であって、更に、前記変換データ係数集合の部分集合の集合を記録する段階を含むことを特徴とする方法。

請求項11

請求項9に記載の方法であって、更に、前記変換データ係数集合の部分集合の前記集合を送信する段階を含むことを特徴とする方法。

--

0001

発明の分野
本発明は、データのバイトサイズを低減するためのデータの符号化及び復号化に関する。特に、本発明は、変換されたデータ係数(例えば、ウェーブレット変換画像データ)の後処理のための効率的なシステムに関する。

0002

発明の背景
情報化時代において、様々な形態のマルチメディアデータの交換は、一般化しており又更に増加しつつある。例えば、交換されるデータは、画像、音声、あるいは、科学的な情報やビジネスに関する情報を示す時系列データを含む。

0003

様々なデータ符号化方式が知られている。データ符号化の主な目的は、データを“圧縮”、すなわち、データのバイトサイズを小さくすることである。このことは、データを記憶するために必要なメモリスペースの低減及びある有限帯域幅を有する通信チャネルを介してデータを送信するために必要な時間の低減を含むという理由により望ましい。バイトサイズは、サンプル当たりのビット、すなわち画像データの場合慣習的な様に、画素当たりのビットで表すことができる。

0004

損失のない又損失の大きい2種類の符号化方法がある。前者すなわちより保守的な手法は、符号化フォームに入力データの細目を逐一保持する手法である。その復号化版は、入力データと見分けがつかない複製であり理想的である。

0005

損失の大きいデータ符号化(圧縮)の場合、画像の細目が保持されるレベルは、選択することができ、また、保持される細目のレベルとその結果生じる符号化データのバイトサイズとの間にトレードオフの関係がある。往々にして、損失の大きいデータの符号化を用いる場合、復号化版と元データとの間の違いが感じ取れないような細目の保持レベルを得ようと努める必要がある。感知不能な相違を実現するための損失の大きい符号器設計と構成に関する判断は、人間の知覚モデル(例えば、聴覚視覚)を考慮して行われる。良好な損失の大きい符号器やそれに対応する復号器は、厳密な科学的分析によっては元データから識別し得るが、意図的なフォーマット(例えば、画像の場合、画面解像度)で提示された際、人間が見ると識別不能復号化データ集合を生成する。

0006

他の種類のデータ符号化方法(画像データに適用可能)は、変換符号化である。一般的に、変換符号化においては、配列済データ集合は、変換データ係数内積)の集合を得るために基底関数の直交集合に投影される。伝統的な種類の変換符号化は、フーリエ解析から導かれる。フーリエベースの手法において、データ集合は、正弦関数から導かれる関数の集合に投影される。旧JPEG規格(ISO/IEC10928−1)は、フーリエ解析に基づく変換符号化方法の例である。旧JPEG規格は、横軸依存の偏角を有する余弦関数縦軸依存の偏角を有する余弦関数との積の離散的表記である変換マトリックスの集合を規定している。これらの基底関数は、入力画像の8×8画素ブロック解析に適用される。

0007

フーリエ解析ベース手法の欠点は、後述するようにデータ圧縮技術に従事する人々が他の手法を選択するように促したが、この欠点は、正弦関数はプラスマイナス無限大まで無限に繰返し、符号化されるデータ集合は、時間的に(又は空間的に)局所化され又そのデータ集合内に更に局所化される特徴を有していることである。境界の無い領域のフーリエベースの関数と長い間隔(すなわちスパン)に渡って符号化される周期的な性質のデータ集合が与えられた場合、更に効率的な符号化を行うために、信号を(例えば、上記8×8ブロックへ)セグメント化することになる。残念なことに、これによって、信号の復号化版においてセグメント間の端部で突然中断が発生する。画像処理技術において、このことは、ブロック効果として知られている。

0008

新たな種類の変換方法では、元来空間領域に局所化される基底関数が用いられている。数学的に言えば、これらの方法は完全に連続である。新たな種類の変換方法の1つの例は、ウェーブレットベースの手法である。ウェーブレットベースの手法には、母ウェーブレットと、異なる時間(又は空間)領域シフト拡張をこの母ウェーブレットに適用することによって母ウェーブレットから導かれる子ウェーブレットの集合を含む基底関数の集合が用いられる。異なる固有尺度で局所化された特徴を有する関数集合から構成されるウェーブレット基底集合は、異なる位置(時間)において、微細な、粗大な、又中間の特徴を有する画像や音声データ集合等のデータ集合の符号化に対して適している。

0009

マルチレベルウェーブレット分解は、繰返しプロセス、つまりマルチ分解能の分解である。各繰返しにおいて、先行の繰返しによって生成された変換データ係数の低周波数集合は、再度精錬されて、サブバンドと呼ばれる、低空間周波数グループ高空間周波数グループを含む変換データ係数の代替集合を生成する。

0010

損失の大きい符号化の問題に戻ると、それがフーリエやウェーブレットあるいはその他のものをベースにしようが、(対応する細目の欠落を伴う)バイトサイズの低減の方法は、一般的な従来技術の手法に基づき、変換データ係数を量子化することによって達成される。使用される量子化及び符号化方法によって、このステップは、ウェーブレットベース符号器の演算経費の70%を占める演算の集中処理が可能である。量子化には、分解能の下方調整が含まれ、これによって、変換データ係数の値が記録され、こうして少ないビットを用いて記録し得る。画像データの場合、データのより細かい細目に左右される、基底関数と関連付けられた変換データ係数は、より粗い分解能で量子化される。このことを行う判断は、現在解明されている人間の視覚に基づく。

0011

損失の大きい画像の符号化に関する知覚に関連して、元の画像に対して、符号化及び復号化された画像の忠実度特徴付けることを目標とするSNR等の定量的な大きさがあるということを言及する必要がある。しかしながら、これらの大きさは、常に、人間の品質評価に基づいているとは限らない。

0012

量子化の値は全て、低画像忠実度及びそれに対応して低減されるバイトサイズを生成するために調整可能である。画像全体に用いられる量子化の値は、変更可能であり、又画像の個々のブロックに用いられる異なる集合の量子化値が調整可能である。

0013

新たなJPEG2000規格では、“累進的な伝送”を行うことが提案されており、これによって、符号化された画像は、様々な分解能で伝送され得る。このことは、クライアント側の画像受信を行う表示装置への適合を意図している。規格によれば、このことは、ビットストリームのある配置によって達成される。

0014

変換符号化の主な適用例は、インターネット上のデータの記憶やインターネットを介してデータを送ることである。無線形態の物理的なネットワークへのインターネットの拡張は、現在では初歩的な段階である。一般的に、無線ネットワークは、光ファイバ銅線を用いたインターネットのネットワークより狭い帯域幅を有しており、従って、同じバイトサイズの変換符号化データ(例えば、画像)に対して、ウエッブブラウジングスピードが遅く、又、ダウンロードに時間がかかることが予想される。

0015

一般的に、携帯型無線装置は、処理電力が小さく、又従って、量子化や複雑なエントロピ符号化等の演算的な集中処理を行うのには適さない。
無線ネットワークの接続は不安定になり易い。画像の送信や復号化中に、接続が途切れる場合がある。従来技術による復号化方式では、画像がラスタ走査パターンで、一回の走査あるいは複数の走査によってペイントされ、順次分解能が良好になる。前者の場合、接続が途切れると、画像の領域の一部が欠落してしまう。後者の場合、画像が上部の高画質領域と下部の低画質領域との間にみっともない境界があるまま残される。

0016

符号化表現において与えられた割当てのサンプル当たりのビットに対して、元のデータに対する復号化データの可能な限り高いレベルの忠実度を最小限の演算コストで実現する、データを符号化及び復号化するためのシステムと方法が必要とされている。

0017

好適な実施例の詳細な説明
本発明は、多くの異なる形態の実施例が可能であるが、本開示は、本発明の原理の例であると見なすべきものであり、図示あるいは説明される具体的な実施例に本発明を制限することを意図するものではないことを前提に、具体的な実施例を図に示し、本明細書中において詳細に説明する。更に、本明細書中で用いられる用語及び言葉は、制限的に解釈すべきものではなく、むしろ単に説明用であると解釈すべきものである。以下の説明において、いくつかの図面において、同一の参照番号は、同じあるいは類似した又は対応する部分を記述するために用いられている。

0018

本発明の好適な実施例によるシステムと方法は、データを符号化又復号化するために動作し、符号化表現において与えられた割当てのサンプル当たりのビットに対して、元のデータに対する復号化データの可能な限り高いレベルの忠実度を実現する。

0019

更に、画像データの場合、提供されるシステムと方法は、画像を符号化又復号化し、符号化表現において与えられた割当てのサンプル当たりのビットに対して、元のデータに対する復号化画像の可能な限り高いレベルの忠実度を実現する。

0020

更に、画像データの場合、提供されるシステムと方法は、画像を符号化又復号化し、符号化表現において与えられた割当てのサンプル当たりのビットに対して、符号化画像のバイトサイズを低減するために集中演算処理による量子化や符号化も用いる必要も無く、元のデータに対する復号化画像の可能な限り高いレベルの忠実度を実現する。

0021

更に、提供されるシステムと方法は、これによって、符号化表現を得るためにデータ集合は一度符号化されればよく、又符号化表現の様々なバイトサイズ部分は、選択的に復号化すれば忠実度のレベルが異なる版を得ることができ、これによって、復号化された各バイトサイズ部分の場合、データ集合におけるサンプル数に応じて復号化部分の与えられたバイトサイズに対して、元のデータに対する高いレベルの忠実度が達成される。

0022

更に、提供されるシステムと方法は、これによって、データ集合は、順序付けされた複数部分データ構造へ一度符号化されればよく、又複数部分のデータ構造の一部は、データ構造の各部分が復号化され、又復号化版を精錬(更新)するために用いられた後、その復号化版が、バイトサイズに対して高い主観的な忠実度及び/又はSNRを有するように、データ集合の復号化版を繰返し精錬するために順次復号化できる。

0023

更に、提供されるシステムと方法は、集中演算処理による反量子化や集中演算処理による復号化を伴わない符号化バイトサイズに対してトレードオフの関係にある画質を提供する画像を符号化する。

0024

更に、提供されるシステムと方法は、画像データが送信されている接続が途切れた場合、更に提示可能な部分的に復号化された画像に至る画像の符号化又復号化を行なう。

0025

本発明の実施形態による代表的なネットワーク
図1は、本発明の実施形態と共に用いるコンピュータネットワーク100の概略図を示す。画像ソースサーバ102は、第1双方向データリンク106を介してインターネット104に接続されている。無線ネットワークゲートウェイサーバ108は、第2双方向データリンク110を介してインターネットに接続されている。無線ネットワークゲートウェイサーバ108は、第3双方向データリンク114を介して無線ネットワーク112に接続されている。3つの双方向データリンク106、110、114は、例えば、専用線公衆交換電話網(PSTN)線、T1線、無線通信リンクマイクロ波リンク衛星リンク等の有線及び無線通信リンクから構成され得る。無線ネットワークは、携帯型無線通信デバイス118との無線通信チャネル確立する送受信器116から構成される。1つの代表的な適用例において、携帯型無線通信デバイス118は、携帯無線クライアントデバイス118から構成され得る。

0026

例えば、画像ソースサーバ102は、画像を含むHTMLドキュメントを提供するワールドワイドウェブサーバから構成してもよい。無線ネットワークゲートウェイサーバは、無線アプリケーションプロトコル(WAP)サーバであり得る。

0027

画像ソースサーバ102と無線ネットワークゲートウェイサーバ108は、標準的なパーソナルコンピュータの形態をとってもよく、BIOS ROM、RAM、ハードディスクドライブキーボードマウス、表示装置、着脱可能なメディアドライブから構成し得る。着脱可能なメディアドライブを用いて、サーバ102、108の一方又は両方を環境設定するためにコンピュータ可読メディア120からデータ符号化用及び/又は復号化用ソフトウェア読込み、後述する本発明の処理を実行してもよい。

0028

例えば、着脱可能なメディアは、光ディスク(例えば、CDROM)、磁気メディアディスク(例えば、3.5インチ1.44メガバイトディスク)であってもよい。

0029

本発明の好適な実施形態による代表的な携帯型無線通信デバイス
図2は、本発明の実施形態による携帯型無線通信デバイス118(図1)の内部の概略図を示す。マイクロプロセッサ202は、画像復号化用プログラムを実行する。ランダムアクセスメモリ(RAM)204は、マイクロプロセッサ202が用いる作業領域を提供する。読出し専用メモリ(ROM)206は、画像の復号化用及び/又は符号化用プログラムを記憶する。復号化された画像の表示に用いる表示装置208は、表示装置用ドライバ210に接続されて動作する。ユーザインタフェース212は、表示された画像の特定の領域を更に処理するために画像ソースサーバ102(図1)に記憶されている特定の画像を閲覧する要求や画像を他の通信デバイス(図示せず)に送信する命令等のユーザ入力を受信するために用いる。また、画像処理用特定用途集積回路(IP ASIC)220と画像処理用デジタル信号プロセッサ(IP DSP)222も備えられている。デジタルカメラの形態をとり得る画像取込み用デバイス220もまた、無線通信デバイス118に組み込まれる。

0030

また、通信インタフェース214、送受信器216、アンテナ218も備えられている。
双方向システムバス226によって、マイクロプロセッサ202、RAM204、ROM206、表示装置用インタフェース210、ユーザインタフェース212、通信インタフェース214、IP・ASIC220、IP・DSP222、画像取込み用デバイス224が接続されている。

0031

IP・ASIC220、IP・DSP222、マイクロプロセッサ202は、データ処理デバイスとして機能し得る。無線通信デバイスは、これら3つのユニット部分集合を用いて実現し得る。

0032

本発明の実施形態による画像符号器概念
図3は、本発明の実施形態による画像符号器300の概念図を示す。
機能ブロック302は、信号分解器である。好適には、信号分解器は多重レベルウェーブレット変換器である。ウェーブレット変換器は、原画像に対する符号化及び復号化画像の忠実度を高めることが知られている。ウェーブレット変換器が本発明に関して有用であるもう1つの理由は、それが、画像の空間領域において局所化された、すなわち、高い密度で提供される基本機能に基づくことである。信号分解器は、ハードディスクドライブ(図示せず)又は画像取込み用デバイス224(図2)上のディレクトリであり得る画像データソースから入力画像を受信する。信号分解器は、2−dアレイマトリックス)にフォーマット化され得る一群の変換データ係数を出力する。画像の各カラーチャネルは、信号分解器や符号器300及び復号器400(図4)の他の部分によって別々に処理してもよい。本願で用いるカラーチャネルは、以下の輝度(y)、色(Cr、Cb)の1つを含み得るが、それに限定されるものではない。

0033

機能ブロック304は、空間アクティビティ解析器であり、画像エリア集合上上でカラーチャネルにおける一群の変化の大きさを得るように機能する。このエリア集合は、各変化の大きさが、鮮明な境界を有する領域に厳密に適用されるという点において離散的であり得る。この変化は、1つ又は複数の異なる長さの尺度で特徴付けできる。以下に開示する具体的な実施形態によれば、空間アクティビティ解析器は、選択した一群のウェーブレット変換データ係数から変化の大きさを求める。各ウェーブレット変換データ係数は、1つ以上の長さの尺度で変化を特徴付ける。もう1つのウェーブレット変換データ係数が含まれる処理を用いて、より大きい長さの尺度で変化の大きさの表示を得ることができる。

0034

機能ブロック306は、空間優先順位付け器選択器であり、変換データ係数集合から複数の部分集合を選択し、及び/又は係数の複数の部分集合に対して順序配列を行なうように機能する。この選択及び/又は配列は、空間アクティビティ解析器が得た変化の大きさに基づく。選択される変換データ係数の各部分集合は、空間アクティビティ解析器が変化の大きさを得るエリア集合と対応すること、すなわち、空間的に相関することができる。

0035

機能ブロック308は、‘基準面’又は‘計数面’、一般的には優先面と呼ぶデータ構造に、変換データ係数集合の複数の部分集合を各々収集するように機能する空間係数分類器である。

0036

機能ブロック310は、ビットストリームフォーマッタであり、伝送又は記録用の基準面又は計数面を作成するように機能する。基準面又は計数面以外に、ビットストリームフォーマッタは、低空間周波数に対応する変換データ係数の収集体から構成される他のデータ構造も受信する。同じ変換データ係数は、基準面間で分配される。各低空間周波数変換データ係数は、同じ変換データ係数の収集体に一度出現し、再度空間的に対応する基準面には再度出現する。ビットストリームフォーマッタ310は、所望のチャネルレート及び/又はSNR要求が決定ブロック311で満足された場合にのみ、フォーマット化された符号化データをチャネルに出力する。そうでない場合、エントロピ符号器312で更に処理される。

0037

空間周波数係数の収集体と、基準面又は計数面は、ビットストリームにおいて、区切り記号に対して直列変換及びインターリーブ処理される。区切り記号は、復号器によるビットストリームの構文解析を容易にする。低空間周波数に対応する変換データ係数の収集体は、受信復号器に最初に受信されるように、最初にビットストリームに配置される。低空間周波数に対応する変換データ係数の収集体を受信した後、復号器は低忠実度版の画像を再構成できる。

0038

機能ブロック312は、算術符号器又はハフマン符号器であり得るエントロピ符号器である。エントロピ符号器はこの分野では公知であり、本明細書中では説明しない。

0039

本発明を音声信号に適用する場合、音声信号の固有領域空間座標ではなく時間座標であることから、空間アクティビティ304は時間アクティビティ解析器によって置き換える。音声信号処理の場合、符号器300の他の機能ブロックもまた、対応する時間的類似性を有する。

0040

画像符号器300が無線通信デバイス118(図1)に実装される場合、送受信器(216(図2)を用いて、ビットストリームフォーマッタ310によって発生されるビットストリームを送信でき、あるいは、エントロピ符号器も通信デバイス118(図1)に実装される場合は、その出力を送信できる。

0041

符号器300において、ビットストリームフォーマッタ310の前段量子化器やエントロピ符号器が無いことに留意されたい。本発明により、符号化及び復号化される基準面のビットサイズを考慮し、基準面に係数をグループ化し、また複数の基準面を配列及び/又は選択することによって、高い忠実度が達成される。従って、バイトサイズを更に低減したり、画像送信時間を低減したりするための量子化は省き得る。時間的なことを考慮した場合と比較して、量子化不要の新たな利点は、無線システムの場合に低クロックレートの低処理能力通信デバイスによって実行されることが多い反量子化の集中的な計算タスクを省き得ることである。低処理能力無線通信デバイス118を含む用途と高次の帯域幅の場合、エントロピ符号器312を省いて、無線通信デバイス118によるエントロピ復号化実行の必要性を回避し得る。

0042

従来技術において、エントロピ符号器は、量子化され分解された画像全体の上で動作するため、これらエントロピ符号器の計算上の集中度が大きくなる。システム300の利点は、単純で計算上の集中度が低いアクティビティ解析器によって以下のいずれかが可能となることである。
1)帯域幅がより広いチャネルの場合等、エントロピ符号化や他の何らかの符号化を必要としないシステム
2)帯域幅が狭いチャネルのシステム用のより複雑でないエントロピ符号器

0043

単一コンピュータ上、好適には画像ソースサーバ102(図1)上において、図3に示す機能ブロックを実現するソフトウェアを動作させる代わりに、機能ブロックを複数のコンピュータに分散してもよい。代替の分散化は以下の通りである。信号分解器は、画像ソースサーバ102(図1)上で動作させてもよい。一方、信号分解器は、画像入力デバイス(例えば、デジタルカメラ、平面スキャナ、(図示せず))からデータを受信する他のコンピュータ(図示せず)上で動作させると、信号分解器の出力が画像ソースサーバ102に転送される。図3に示した残りの機能ブロックは、無線ネットワークゲートウェイサーバ上で動作させてもよい。この分散型配置において、エントロピ符号器及び復号器、量子化器、反量子化器、ネットワーク通信プロセス(図示せず)等の他の機能ブロックは、信号分解器302と空間アクティビティ解析器との間に介在し得る。分散型配置には以下の利点がある。無線インターネットサービス接続業者は、各顧客がアクセス可能な(画像ソースサーバ102で表す)インターネットサービスに制限を加えることなく、高画質低バイトサイズの画像(従って、高速ダウンロード)を各顧客に提供するために所有する無線ネットワークゲートウェイサーバ108上に機能ブロック304、306、308、310を実現し得る。前記配置はトランスコーダを形成する。

0044

本発明の実施形態による画像復号器の概念図
図4は、画像復号器400の概念図を示す。
エントロピ復号器402は、エントロピ符号器312(図3)が出力するエントロピ符号化ビットストリームを受信し、対応する逆プロセスを実行して、ビットストリームフォーマッタ310(図3)が生成したビットストリームの複製を得る。

0045

ビットストリーム構文解析器404は、低空間周波数に対応する変換データ係数の収集体と、基準面又は計数面を分離する。この過程で、ビットストリーム構文解析器404は、前述の区切り記号を用いてもよい。

0046

空間係数再編成器406は、逆信号分解器408への入力に適した配列に、基準面から抽出した係数を配置する。
詳細については更に後述するが、本発明の1つの実施形態によれば、基準面の順序は、低空間周波数に対応する変換データ係数の収集体の解析に基づき、異なったエリア上での変化の大きさに従って、空間優先順位付け器306(図3)が決定する。上記実施形態において、空間再編成器406は、どの画像エリアに各基準面が対応付けられているかを、空間アクティビティ解析器304(図3)や空間優先順位付け器306(図3)と同じ解析を実行して求める。従って、基準面は、各対応付けられたアクティビティの大きさ、又これによって、(順序のような単純なラスタに反して)画像情報の伝達における各重要性によって決まる順序でビットストリームにフォーマット化され、しかも、復号器は各基準面の空間的関連を適切に決定できる。

0047

プロセスブロック408は、入力として基準面から抽出した係数を用いて、逆信号分解器として機能する。逆信号分解器は、画像処理技術の当業者には知られている。本発明によれば、逆信号分解器は、短時間で表示用低解像度画像を得るために、まず低空間周波数に対応する変換データ係数の収集体を処理することが好ましい。続いて、逆信号分解器は、ビットストリームの連続基準面を処理して、より高解像度の画像を順次得ることができる。

0048

符号器300(図3)と復号器400(図4)の一部は、コンピュータ可読メディア120(図1)、ROM206(図2)、又は一時的にRAM204(図2)に記憶され得るソフトウェアの形態で実現することができ、あるいはIP・ASIC220(図2)又はIP・DSP222(図2)によって実現し得る。

0049

信号分解器から出力される係数のデータ構造
図5は、好適な実施形態による、使用した信号分解器302のタイプである3レベルの離散ウェーブレット型の信号分解器から出力される変換データ係数500の8N×8Mマトリックスの概略図である。図5に示す概略の形式は、画像処理技術の当業者には知られている。この概略図は、下線を引いた参照番号0−9で表記され、又図から分るように矩形枠線を有する10個のサブバンドサブマトリックスを示す。サブバンドサブマトリックス0は、低空間周波数情報に対応する係数を含む。いくつかのサブマトリックスにおける左上点座標指標対)は、上端と左端に沿ってNとMで表記される。これらから、残りのサブマトリックスの左上点の座標を推定できる。

0050

本発明の実施形態によれば、サブマトリックス0は、2×2変換データ係数のブロックに分割される。2×2係数のブロックは各々、入力画像における画素の特定のブロックに空間的に相関しており、これから、ウェーブレット型の信号分解器を適用することによって係数マトリックスが求められる。例えば、3レベルのウェーブレット変換の場合、サブバンドサブマトリックス0、1、2、又は3における2×2変換データ係数の各ブロックは、入力画像における16×16画素のブロックに対応する。更に、本発明の好適な実施形態によれば、0サブバンドサブマトリックスの2×2変換データ係数の各ブロックは、空間係数分類器308によって、他のサブバンドサブマトリックス全てから選択される空間相関する変換データ係数とグループ化される。係数の後者のグループ化は、好適な実施形態による前述の基準面である。次に、係数マトリックス500から選択した基準面の要素について述べる。0サブバンドサブマトリックスの2×2係数のブロックは、nが変換データ係数の列を示し、mがその行を示す場合、(n、m)と表記されるその左上部の要素のマトリックス指標で識別できる。以下の明細書において、サブバンドサブマトリックス0の変換係数(n、m)に対応付けられた基準面から構成される変換データ係数は、それらが出現するサブバンドサブマトリックスの左上側の要素を基準に参照されるnとmで示される(マトリックス500全体の左上側の変換係数を基準に参照されることに対して)。

0051

0、1、2、3サブバンドサブマトリックスの場合、変換データ係数は、
[(n、m)、(n+1、m)、(n、m+1)、(n+1、m+1)]であり、
4、5、6サブバンドサブマトリックスの場合、変換データ係数は、
[2n−1:2n+2、2m−1:2m+2]であり、
7、8、9サブバンドサブマトリックスの場合、変換データ係数は、
[4n−3:4n+4、4m−3:4m+4]である。

0052

各サブバンドサブマトリックスにおいて、基準面にある変換データ係数に対する表現はnとmで表記し、ここで、表記上、サブバンドサブマトリックスの左上部の要素は(1、1)とする。各サブバンドサブマトリックスのこれら左上部要素の指標は、変換データ係数マトリックス500全体に対する指標系において、大文字N、Mで与えられ、図5から推定し得る。

0053

従って、各4、5、6サブバンドサブマトリックスの場合、4×4変換データ係数のブロックがあり、各7、8、9サブバンドサブマトリックスの場合、8×8変換データ係数のブロックが存在する。各基準面は、16×16基準面マトリックスとして配列でき、あるいは3レベルの離散ウェーブレット変換の場合、256個の変換データ係数のストリームに(所定の順序で)直列変換し得る。

0054

空間アクティビティ解析器用の流れ図
図6は、空間アクティビティ解析器306(図3)が実行するプロセス600の流れ図を示す。プロセスブロック602において、Nレベルのウェーブレット型の信号分解器(信号分解器302(図3)の実施形態)が出力した変換データ係数のマトリックス500(図5)を読取る。

0055

サブバンドサブマトリックス0の2×2変換データ係数の各ブロックに対するプロセスブロック604において、2×2のブロックにおける左上側の変換データ係数と他の3つの変換データ係数との間で3つの差が取られる。他の3つの内1つに対して、3つの差全てに左上部の変換データ係数を含むかどうかは任意である。

0056

2×2変換データ係数の各ブロックに対するプロセスブロック606において、前のステップで計算した3つの差の内、最大値を決定する。
プロセスブロック608において、2×2ブロックを識別する指標に対応する各2×2ブロックに対する最大値から構成されるレコードリストに記憶される。

0057

カラー画像の場合、空間アクティビティ解析器が解析するマトリックス500は、1つの特定のカラーチャネルに対応する。各カラーチャネルに対するマトリックス500は独立しており、また各々独立して処理される。

0058

空間優先順位付け器/選択器の機能説明
図7は、空間優先順位付け器/選択器306(図3)が実行するプロセス700の流れ図を示す。プロセスブロック702において、指標リストのレコードの部分集合とプロセスブロック608(図6)で記憶された対応する最大値が、最大値の値に基づき選択される。最大値が所定閾値を超えるレコードが全て選択され得る。一方、最大値に従う降順で最初に予め選択された数のレコードも選択され得る。また、プロセスブロック702は、部分集合のサイズをリストのレコード数と等しくすることによって、実質的に省くことも可能である。

0059

プロセスブロック704において、プロセスブロック702で選択したレコードの部分集合は、最大の値に従ってソートされる。このソートは、高速ソートアルゴリズムを用いて実行し得る。

0060

プロセスブロック702で実行する選択とプロセスブロック704で実行するソートを後で用いて、どの基準面が復号器に送られるか、またどういった順序で送られるかが決定される。基準面をそれ自体で順序付けすることによって、画質を決定する上でより重要な情報が、復号器がより高画質でより高速に提示できるように、まず復号器によって確実に受信される。基準面をそれ自体で選択することによって、符号化され、送信され、復号化された画像のバイトサイズに対して復号化画像の画質が確実に高くなり、高画質画像が、低帯域幅データリンクにおいて高速で送信され、また低処理能力通信デバイスで高速復号され得る。

0061

空間係数分類器の機能説明
図8は、本発明の実施形態による空間係数分類器308(図3)が実行するプロセス800の流れ図を示す。
プロセスブロック802において、変換データ係数の複数の部分集合が、変換データ係数マトリックス500(図5)からまとめて集められる。この複数の部分集合は、識別済の2×2ブロックを含むことによって、プロセスブロック702(図7)において空間優先順位付け器/選択器306(図3)が選択するレコードの部分集合に対応する。各部分集合(基準面)は、サブバンドサブマトリックス0の2×2変換データ係数のブロックと、変換データ係数マトリックス500の残りのサブバンドサブマトリックス1−9の空間的に相関する変換データ係数の収集体とから構成される。3レベルのウェーブレット変換のサブバンドサブマトリックス0における任意の2×2ブロックに対する空間相関する変換データ係数集合については、図5の説明において上記の如く述べた。

0062

プロセスブロック804において、基準面は、プロセスブロック704において空間優先順位付け器/選択器306(図3)によって、2×2ブロックに対して求めた順序に基づく順番メモリに記憶される。

0063

空間アクティビティ解析器204(図2)と空間優先順位付け器/選択器206(図2)が実行する処理は、再編成することができ、またこれらの処理の結果は他の方法でも処理され得る。

0064

ビットストリームフォーマッタの機能説明
図9は、本発明の実施形態によるビットストリームフォーマッタ310(図3)が実行するプロセス900の流れ図を示す。
プロセスブロック902において、指定画質レベルでの画像の要求が受信される。例えば、この要求は、ハイパーテキスト転送プロトコルHTTP)要求の形態を取り得る。HTTP要求で指定された統一資源識別子(URI)は、ビットストリームフォーマッタ用の通信モジュールとして機能する共通ゲートウェイインターフェイスCGI)プログラムを示し得る。URIは、キーワード又は数値画質レベルを指定する添付データを含み得る。URIは、無線通信デバイス118(図1)と無線ゲートウェイサーバ108(図1)との間の無線アプリケーションプロトコル(WAP)要求によって実行し得る。

0065

トランスコーダを実装する場合、ビットストリームフォーマッタ310は、利用可能な帯域幅の情報に基づき基準面の番号と表示装置208の解像度を自動選択し得る。

0066

プロセスブロック904において、画質レベル及び/又はシステム帯域幅は、要求側通信デバイス118(図1、2)に送信される数の基準面に変換される。例えば、画質レベルは、1乃至5の数字で指定され、この数字から、送信されるプロセスブロック804(図8)に記憶された基準面の総数の割合が指定できる。

0067

例えば、以下の公式
NPS=TNN*(QL/5)
によって指定できる。ここで、
NPSは送信される基準面数であり、
TNNは、プロセスブロック804(図8)に記憶された基準面の総数であり、
QLは、プロセスブロック902で受信した画質レベルである。

0068

プロセスブロック906において、0サブバンドサブマトリックス(図5)が読取られる。
プロセスブロック908において、プロセスブロック904で決定された基準面数が、プロセスブロック804(図8)で記憶されたメモリから読取られる。

0069

プロセスブロック910において、サブバンドサブマトリックス0の変換データ係数と基準面数が直列変換される。
プロセスブロック912において、サブバンドサブマトリックス0の変換データ係数と、基準面の変換データ係数の部分集合は、ビットストリームにおいて区切り記号でインターリーブ処理される。0サブバンドサブマトリックスの変換データ係数は、最初に復号器が受信するように、まずビットストリームに配置される。

0070

次に、ビットストリームフォーマッタ310(図3)が生成するビットストリームは、例えば、無線ネットワーク112を介して無線通信デバイス118への通信チャネル上での伝送のために、低レベル通信サービスに転送し得る。

0071

空間アクティビティ解析器204、空間優先順位付け器206、空間係数分類器208(全て図2に示す)が行うプロセスは、基準面をビットストリームに符号化せずとも有用であることに留意されたい。基準面を順次送信する必要は無く、例えば、並列データリンクを用いて送信できる。基準面を送信する必要は全く無く、例えば、マトリックスとして記憶でき、そうでない場合はCDROMに記憶できる。

0072

ビットストリーム構文解析器の流れ図
図10は、ビットストリーム構文解析器404(図4)が実行するプロセス1000の流れ図を示す。
プロセスブロック1002において、サブバンドサブマトリックス0(図5)をビットストリームから読取られる。

0073

プロセスブロック1004において、サブバンドサブマトリックス0が空間係数分類器406(図6)に転送される。プロセスブロック1006において、基準面に対応する変換データ係数の連続部分集合がビットストリームから読取られる。プロセスブロック1008において、変換データ係数の連続部分集合が空間係数再編成器406(図4)に転送される。変換データ係数の1つ以上の連続部分集合群は、その群が空間係数再編成器に転送される前に、ビットストリームから読み出し得ることに留意されたい。

0074

アクティビティが最も多い基準面は、ビットストリームに入力され、最初に抽出され、また一般的に画像周辺に空間的に分散されるため、符号化画像が途切れる接続の場合、途切れるまでに受信された基準面に基づき復号化された画像の忠実性は高くなり、高忠実度エリアと低忠実度エリアとの間で明瞭な水平境界が含まれない。

0075

空間係数再編成器の流れ図
図11は、空間係数再編成器406(図4)が実行するプロセス1100の流れ図を示す。
プロセスブロック1102において、サブバンドサブマトリックス0(図5)をプロセスブロック1004(図10)で転送した後、ビットストリーム構文解析器404(図4)から受信する。

0076

プロセスブロック1104において、空間アクティビティ解析器304(図3)が実行するプロセス600(図6)と、空間優先順位付け器/選択器306(図3)が実行するプロセス700(図7)が、空間係数再編成器406によって繰返される。この目的は、変換データ係数(基準)面の部分集合がビットストリームに符号化された順序を復号器側で決定するためである。こうすることによって、各基準面の空間的関連が求められるが、これは、サブバンドサブマトリックス0の、送信中に保存される空間的配置が一定なためである。

0077

プロセスブロック1106において、プロセスブロック1008(図10)でビットストリーム構文解析器404(図4)が転送した連続基準面を空間係数再編成器406が受信する。

0078

プロセスブロック1108において、連続基準面は、各基準面の空間的対応を示す情報と共に、逆射影変換部に転送される。
空間的対応を示す情報によって、各基準面から抽出した係数は、逆射影変換用に入力マトリックスに正確に配置され得る。

0079

第2の実施形態による空間アクティビティ解析器の機能説明
図12Aは、本発明の第2の実施形態による空間アクティビティ解析器304(図3)が実行するプロセス1200を示す。プロセスブロック1202において、3色チャネル特有の、3レベルのウェーブレット変換係数マトリックス500(図5)の7、8、9サブバンドサブの変換データ係数の各8×8ブロックに対して、絶対値が第1所定閾値を超える変換データ係数の数の計数値が得られる。

0080

プロセスブロック1204において、前述の8×8ブロックの各々に対して、所定計数閾値を超えた変換データ係数の数の計数値が求められる。
カラー画像の場合、第1所定閾値と所定計数値は、各カラーチャネルに対して独立に設定し得る。発明者がこれまで行った実例では、これらの値は、3つのカラーチャネル全てに対して同じ2つの値に設定した。

0081

第1所定閾値と所定計数閾値を調整し、原画像に対する符号化及び復号化画像の忠実度と符号化画像のバイトサイズを変えことができる。いずれかの閾値を下げると忠実度は上がるが、符号化画像のバイトサイズも増える。

0082

下表に、第1所定閾値と所定計数閾値を様々な組合せで選定して得た主観的画質の例をいくつか示す。

0083

【表1】
プロセスブロック1206において、計数値が所定計数閾値を超えた各8×8ブロックにフラグをたてる、すなわち、そこからレコードを作る。

0084

レコードの表記は、各桁が特定の8×8ブロックに対応すると共にその桁の値が8×8ブロックにフラグがたてられたかどうかを示す2値シーケンスの形態を取り得る。このシーケンスをフラグシーケンスと呼ぶ。他の好適な実施形態によれば、各カラーチャネルに対して独立したフラグシーケンスが存在する。

0085

プロセスブロック1208において、各8×8ブロック用の識別子と各8×8ブロック用の計数値から各々構成される複数のレコードをメモリに記憶する。レコードは、各計数が行なわれた後、順次記憶し得る。

0086

次に、図13において、プロセス1200は、プロセスブロック1208で記憶された複数のレコードが読取られるプロセスブロック1210で継続される。 プロセスブロック1212において、複数のレコードを計数値毎にソートして、ソート済の複数のレコードを得る。高速ソートアルゴリズムを用い得る。

0087

プロセスブロック1214において、複数のソート済レコードにける8×8ブロック識別子ソート済リストを抽出する。複数のソート済8×8ブロックの各8×8ブロック用識別子は、変換データ係数マトリックス500(図5)の指標系において8×8ブロックの左上部の要素に対応する指標対の形態を取る。

0088

サブバンドサブマトリックス7、8、9の8×8ブロックを解析するよりもむしろ、同じタイプの解析が、他のサブバンドサブマトリックスにおける他のブロックに基づき得ることに留意されたい。例えば、サブバンドサブマトリックス4、5、6の4×4ブロックが解析され得る。

0089

第1所定閾値及び/又は所定計数閾値の値は、画像中において変えることができる。例えば、より注目されがちな画像の中央では、より低い値を用いることができる。一方、図18で以下に述べるように、注目するユーザ指定の領域に基づき、値を変えることができる。

0090

他の好適な実施形態による空間優先順位付け器/選択器の機能説明
図14は、本発明の他の好適な実施形態による空間優先順位付け器/選択器306(図3)が実行するプロセス1400の流れ図を示す。
プロセスブロック1402において、プロセスブロック1206でフラグがたてられた輝度成分変換データ係数マトリックス500(図5)の7、8、9サブバンドサブマトリックスにおける8×8ブロックを選択する。

0091

プロセスブロック1404において、輝度成分変換データ係数マトリックス500(図5)の1−6サブバンドサブマトリックスにおける変換データ係数を全て選択する。

0092

プロセスブロック1406において、2つの色変換データ係数マトリックス500(図5)各々の場合、フラグがたてられた各8×8ブロックに対して、4、5、又は6サブバンドサブマトリックスの空間相関する4×4ブロックを選択する。

0093

プロセスブロック1408において、2つの色変換データ係数マトリックス500(図5)各々の場合、フラグがたてられた各8×8ブロックに対して、1、2、又は3サブバンドサブマトリックスの空間相関する2×2ブロックを選択する。

0094

従って、2つの色変換データ係数マトリックス500(図5)の場合、サブバンドサブマトリックス7(図5)の8×8ブロックにフラグをたてた場合、それは、サブバンドサブマトリックス4の空間的に対応する4×4ブロックとサブバンドサブマトリックス1の2×2ブロックと共に選択される。同様に、サブバンドサブマトリックス3と5のブロックは、サブバンドサブマトリックス8の空間相関するブロックの選択に依存して選択され、またサブバンドサブマトリックス1と4のブロックの選択は、サブバンドサブマトリックス7の空間相関するブロックの選択に依存する。

0095

他の好適な実施形態による空間係数分類器
図15は、本発明の他の好適な実施形態による空間係数分類器308(図3)が実行するプロセス1500を示す。
プロセスブロック1502において、輝度成分変換係数マトリックス500の場合、サブバンドサブマトリックス1の各2×2ブロックは、プロセス1300(図3)において8×8ブロックを空間優先順位付け器306が選択した場合、サブバンドサブマトリックス4の空間相関する4×4ブロックと、サブバンドサブマトリックス7の空間相関する8×8ブロックとグループ化される。

0096

プロセスブロック1504において、以下のサブバンドサブマトリックス、すなわち、1を3に、4を6に、7を9に置き換えて、プロセスブロック1502を繰返す。

0097

プロセスブロック1506において、以下のサブバンドサブマトリックス、すなわち、3を2に、6を5に、9を8に置き換えて、プロセスブロック1504を繰返す。

0098

プロセスブロック1508において、各色成分変換データ係数マトリックス500の場合、サブバンドサブマトリックス7の各8×8ブロックは、サブバンドサブマトリックス4の空間相関する4×4ブロックと、サブバンドサブマトリックス1の空間相関する2×2ブロックとグループ化される。

0099

プロセスブロック1510において、以下のサブバンドサブマトリックス、すなわち、7を9に、4を6に、1を3に置き換えて、プロセスブロック1508を繰返す。

0100

プロセスブロック1512において、以下のサブバンドサブマトリックス、すなわち、9を8に、6を5に、3を2に置き換えて、プロセスブロック1510を繰返す。

0101

プロセスブロック1502−1512で形成した係数の群は、変換データ係数の空間相関する部分集合であり、‘計数面’と呼ぶ。
空間優先順位付け器/選択器306と図14と15に示すプロセスによる空間係数分類器308とによる輝度成分の取り扱いは、2つの色成分とは異なることに留意されたい。他の好適な実施形態によれば、サブバンドサブマトリックス1乃至6は、常に輝度選択用に送られるが、2つの色成分の場合、サブバンドサブマトリックス7−9の空間相関する8×8ブロックがプロセス1200(図12)で求めた空間アクティビティ解析器304(図3)の条件を満たす場合にのみ送られる。この区別は、人間の知覚認識に基づいており、人間の目は、色よりも輝度の変化に対してより敏感であることが人間の知覚認識から知られている。
各群を形成する際に、他の群の形成前にメモリに記憶してもよいことに留意されたい。

0102

本発明の他の好適な実施形態によるビットストリームフォーマッタ
図16は、本発明の他の好適な実施形態によるビットストリームフォーマッタ(図3)が実行するプロセス1600を示す。

0103

プロセスブロック1602において、輝度と2つの色変換データ係数マトリックス500におけるサブバンドサブマトリックス0の変換データ係数を読取る。
プロセスブロック1604において、プロセスブロック1604で読取った変換データ係数を直列変換する。

0104

プロセスブロック1606において、ビットシーケンスを所定の順序でビットストリームに書込む
プロセスブロック1608において、プロセスブロック1214(図12B)で空間アクティビティ解析器304(図3)が抽出した8×8識別子のソート済リストを読取る。

0105

プロセスブロック1610において、8×8ブロック識別子のソート済リストを直列変換する。
プロセスブロック1612において、8×8ブロック識別子の直列変換済リストをビットストリームに書込む。

0106

プロセスブロック1614において、連続計数面をプロセスブロック1212で得たソート順序に基づく順番で読取る。
プロセスブロック1616において、連続計数面を直列変換する。
プロセスブロック1618において、空間相関する変換係数の連続する直列変換済部分集合をビットストリームに書込む。

0107

従って、他の好適な実施形態によれば、計数面は、第1所定閾値を超える各8×8ブロックにおける変換データ係数の数の計数値に基づく順番で、ビットストリームに書込まれる。
異なるカラーチャネル部分集合は、ビットストリームにまとめてブロック化又はインターリーブ処理することができる。

0108

他の好適な実施形態によるビットストリーム構文解析器の機能説明
図17は、本発明の実施形態によるビットストリーム構文解析器404(図4)が実行するプロセス1700の流れ図を示す。

0109

プロセスブロック1702において、サブバンドサブマトリックス0の変換データ係数をビットストリームから読取る。
プロセスブロック1704において、サブバンドサブマトリックス0の変換データ係数を空間係数再編成器406(図4)に転送する。

0110

プロセスブロック1706において、8×8ブロック識別子のソート済リストをビットストリームから読取る。
プロセスブロック1708において、8×8識別子のソート済リストを空間係数再編成器406(図4)に転送する。

0111

プロセスブロック1710において、連続計数面をビットストリームから読取る。
プロセスブロック1712において、連続計数面を空間係数再編成器に転送する。

0112

他の好適な実施形態による空間係数再編成器が実行するプロセスの機能説明
図18は、他の好適な実施形態による空間係数再編成器406(図4)が実行するプロセス1800の流れ図を示す。
プロセスブロック1802において、サブバンドサブマトリックス0の変換データ係数をビットストリーム構文解析器404(図4)から受信する。

0113

プロセスブロック1804において、サブバンドサブマトリックス0の変換データ係数を逆投影変換408(図4)用にフォーマット化する。
プロセスブロック1806において、サブバンドサブマトリックス0の変換データ係数を逆投影変換408(図4)に転送する。

0114

プロセスブロック1808において、8×8ブロック識別子のソートリストをビットストリーム構文解析器404(図4)から受信する。
プロセスブロック1810において、連続計数面をビットストリーム構文解析器404(図4)から受信する。

0115

プロセスブロック1812において、連続計数面を、8×8ブロック識別子のソート済リストから求められる各計数面を識別する情報と共に、逆投影変換408(図4)に転送する。各連続計数面を受信する際、空間係数再編成器は、8×8ブロック識別子の各連続要素の識別を調べることによって推定し得る。サブバンドサブマトリックス7、8、9の各8×8ブロックと、他のサブバンドサブマトリックスにおける他のブロックとの間における空間相関の情報は、空間係数再編成器406(図4)にプログラム化されることによって、空間係数再編成器406は、8×8ブロックの変換データ係数に加えて、計数面の他の変換データ係数を識別でき、また逆投影変換408(図4)への追加係数を正しく識別できる。逆投影変換部に合う計数面を識別する情報は、明示的でなくてもよいことに留意されたい。その情報は、位置決め係数が、逆投影変換408(図4)による処理のために空間係数再編成器によって配置されるマトリックスの計数面から抽出した位置決め係数に含むことが可能である。

0116

注目領域に基づく優先順位付けの機能説明
図19は、ユーザ入力の注目領域に基づく画像符号化におけるビット使用を優先順位付けするための空間アクティビティ解析器304に対する任意のプロセス1900を示す。特に、このプロセスは、符号器300(図3)が、ビットマップ画像変換用のコンピュータ上で動作される用途に適しており、この場合、符号化画像は、直ちに転送されるのではなく、例えば、画像ソースサーバ102(図1)に記憶してもよい。

0117

図19に示すプロセスを実現するために、画像符号器には、ユーザが画像を閲覧したり、1つ以上の注目エリア領域を選択するために用いたりし得るグラフィカルユーザインタフェースGUI)が設けられる。例えば、GUIによって、ユーザは、画像エリア上に矩形部の大きさや位置を決定し、矩形部を注目領域として選択することができる。この種のGUIを設けることは、GUIプログラミング技術に携わる当業者であれば可能である。

0118

図19のプロセスブロック1902において、ユーザ指定の注目画像領域を読取る。
プロセスブロック1904において、ROI内で用いる第1所定閾値の値を設定する。

0119

プロセスブロック1906において、ROI内で用いる計数閾値の値を設定する。
プロセスブロック1904と1906で設定した値は、ROI外で用いる既定値であり得る他の値とは異なる。

0120

一般的に、第1所定閾値、計数閾値、又はその両方は、ROIにおいて小さくなる。この2つの閾値は、ROI外では大きくてよく又そうでなくてもよい。
ROIにおいて第1所定閾値を小さくすることによって、ROIの8×8ブロックに対する計数値が大きくなり、またプロセスブロック1214(図13)で抽出したソート済リストのROIに対応する計数面の位置決めが改善される。
ROIで用いる計数閾値を小さくすることによって、プロセス1500(図15)で選択したROIにおける8×8ブロック数が増える。

0121

SNRが可変である実施形態の機能説明
図20は、基準面又は計数面集合に配列された変換データ係数によって表される画像が、選択された信号対雑音比(SNR)レベルでアクセスされ得るプロセス2000を示す。このプロセスは、符号器300(図3)上で実現できるが、復号器400(図4)側で実現してもよい。前者の場合、ある変換データ係数を選択して符号化するビットストリームフォーマッタ310(図3)でこのプロセスを実現できる。後者の場合、ビットストリーム構文解析器404(図4)によってこのプロセスを実現できる。

0122

図20のプロセスブロック2002において、例えば、サブルーチン呼出しとして、指定画質レベルでの画像要求を受信する。
プロセスブロック2004において、指定画質レベルに基づき、サブバンドの上限が決定される。例えば、サムネイル画質の場合、サブバンドの上限をゼロに設定する。3レベルのウェーブレット変換の場合、中程度の画質は、3又は6のサブバンドの上限に相当する。最高画質の場合、サブバンドの上限は、3レベルのウェーブレット変換の場合、最高サブバンド9に相当する。

0123

プロセスブロック2006において、サブバンド上限まで画像の計数面又は基準面の配列済集合からサブバンド部の集合を読取り、サブバンド限定計数面又は基準面の配列済集合を形成する。

0124

プロセスブロック2008において、サブバンド限定計数面又は基準面の配列済集合を、逆投影変換408(図4)に供給する。
本明細書で用いる固有領域という用語は、空間領域又は時間領域を意味する。音声信号の場合、固有領域という用語は時間領域を指す。

0125

図21は、符号化される数の計数面又は基準面を決定するために、ビットストリームフォーマッタ310(図3)が実行し得るプロセスの流れ図である。一方、図21に示すプロセスは、空間優先順位付け器/選択器306(図3)によって実行され、選択された基準面数を限定する。

0126

図21のプロセスブロック2102において、画素毎ビットや利用可能なシステム帯域幅で指定される圧縮率、あるいはユーザ定義画像解像度又は画質を読取る。圧縮比は、特定の無線ネットワークで用いられる所定の値であり得る。圧縮比は、ユーザに対して顕著な遅延を起こさない画像転送時間が得られるように、その時点で利用可能な帯域幅を考慮して選択される。また、圧縮比は、このようなマルチ解像度システムのビットストリームにサブバンドを適切に配列することによって基準面数を選択できる指定された画像解像度から計算し得る。一方、画質を指定することもでき、また近似的な圧縮比をプログラムされている参照用テーブルから選択できる。符号化性能に基づき、いくつかのテスト画像を先にテストしてもよく、また画質と圧縮比の関係を得て表を形成してもよい。

0127

プロセスブロック2104において、圧縮版の画像用割り当てられるビット総数は、予め選択された圧縮比、画像解像度、画質のいずれかに基づき計算される。

0128

プロセスブロック2106において、プロセスブロック2104で計算されたビット総数に対応する基準面又は計数面の総数を決定する。基準面に対する変換データ係数の総数は、図6−11を用いて上述した実施形態に基づき、最終的には256に固定されるが、ウェーブレット変換のレベル数に依存する。好適な場合として、変換データ係数が量子化されない場合、基準面のビット総数は、単に、基準面の変換データ係数の総数に、各変換データ係数を表すのに用いるビット数乗算したものである(8ビットは、非科学的用途に適する)。基準面当たりのビットが与えられると、プロセスブロック2104で計算したように、プロセスブロック2106は、画像に対するビット総数を、その基準面当たりのビット数で除算することにより達成され得る。変換データ係数が量子化される場合、基準面当たりのビット数は減少する。

0129

本発明は、空間的に相関する係数の部分集合を、データ(例えば、画像)情報の伝達におけるそれらの相対的な重要性に基づいて、選択し配列するための方法とシステムを提供する。選択された及び/又はソートされた空間的に相関する係数の部分集合を符号化及び復号化することによって、復号化された部分集合の任意のバイトサイズに対して、データをより高い忠実度で表現することができる。

0130

1つの側面によれば、本発明は、データ集合を符号化するための方法を提供する。この方法は、変換データ係数の集合を得るために、データ集合に変換を行う段階と、前記変換データ係数の集合の変換データ係数をグループ化することによって、前記データ集合の領域の集合に対応する複数の変換データ係数の部分集合を形成する段階と、前記複数の変換係数の部分集合に各々対応するアクティビティの大きさを計算する段階と、を含む。

0131

他の側面によれば、本発明は、データ集合を符号化するためのプログラミング命令を含む、コンピュータが判読可能な媒体を提供する。この媒体は、データ集合に対応する変換データ係数の集合を読込み、前記データ集合の領域における変化の大きさを取得し、前記変化の大きさに基づき、前記データ集合の領域と空間的に相関する変換データ係数の部分集合を抽出するかどうか判断し、変換データ係数の部分集合を抽出する、ためのプログラミング命令から構成されている。

0132

更に、他の側面によれば、本発明は、ウェーブレット信号分解器によって出力された変換データ係数の集合を処理する方法を提供する。本方法は、ウェーブレット信号分解器によって出力された変換データ係数の集合を受信する段階と、前記変換データ係数の集合によって表される変換画像選択領域の集合に対応する変化の大きさの集合を演算する段階と、変化の大きさの前記集合に基づき、前記変換された画像領域集合の部分集合を選択する段階と、変化の大きさの前記集合に基づき、前記領域集合の部分集合の配列を決定する段階と、前記画像領域の集合に対応する前記変換データ係数集合の部分集合の集合をグループ化する段階と、を含む。

0133

更に、他の側面によれば、本発明は、データ集合を符号化するための符号器を提供する。この符号器は、入力データ集合を受信し又変換データ係数集合を出力するための信号分解器と、変換データ係数の集合に基づきデータ集合における変化の大きさの集合を決定するための空間アクティビティ解析器と、変換データ係数集合の部分集合の集合を選択すること及び変換データ係数集合の部分集合の集合に対して配列を決定することから成る群から選択された機能を実行するための空間優先順位付け器/選択器と、変換データ係数集合の空間的に相関する複数の部分集合をまとめて収集するための空間係数分類器と、を含む。

0134

更に、他の側面によれば、本発明は、符号化されたデータ集合を復号化するための復号器を提供する。この復号器は、変換データ係数集合の空間的に相関する部分集合の集合をビットストリームから抽出するためのビットストリーム構文解析器と、各部分集合の空間結合の表示と共に、変換データ係数集合の空間的に相関する部分集合の集合を、逆信号分解器へ転送するための空間係数再編成器と、を含む。

0135

更に、他の側面によれば、本発明は、通信システムを提供する。本通信システムは、画像ソースサーバを含む。画像ソースサーバは、入力データ集合を受信し又変換データ係数集合を出力するための信号分解器と、変換データ係数の集合に基づきデータ集合における変化の大きさの集合を決定するための空間アクティビティ解析器と、変換データ係数集合の部分集合の集合を選択すること及び変換データ係数集合の部分集合の集合に対して配列を決定することから成る群から選択された機能を実行するための空間優先順位付け器/選択器と、変換データ係数集合の空間的に相関する複数の部分集合をまとめて収集するための空間係数分類器と、を含む。本通信システムは、更に、空間的に相関する複数の部分集合をビットストリームに書込むためのビットストリームフォーマッタと、ネットワークと、通信デバイスを含む。通信デバイスは、空間的に相関する複数の部分集合をビットストリームから抽出するためのビットストリーム構文解析器と、複数の空間的に相関する部分集合を各部分集合の空間的な結合の表示と共に逆信号分解器へ転送するための空間係数再編成器とを含む。

0136

更に、他の側面によれば、本発明は、離散ウェーブレット変換によって出力される変換データ係数を優先順位付けするための方法を提供する。本方法は、輝度変換データ係数のブロックを輝度変換データ係数マトリックスにおける第1サブバンドサブマトリックスから選択する段階と、対応する色変換データ係数のブロックを、色変換データ係数マトリックスにおいて対応するサブバンドサブマトリックスから、対応するブロックに対応するアクティビティの大きさに基づき、選択的に選択する段階と、を含む。

0137

本発明は、流れ図を参照して上述の如く説明されたが、本発明は、1つ以上のプログラムが汎用マイクロプロセッサベースのシステムで動作する具体例に限定されるものではない。本発明は、全体的に又は部分的に、デジタル信号処理(DSP)チップ専用集積回路(ASIC)を用いて実現することが可能である。

0138

流れ図は、プロセスステップの具体的な時間的シーケンスを必ずしも表すものではない。更に、プロセスは、図に示すように細分化される必要はない。上述の如く逐一述べたことに加えて、相違は、画像処理技術において当業者のスキルの範囲内である。

0139

本発明の好適な又他の実施例について図示し又説明したが、本発明は、それに限定されるものでないことは明らかである。以下の請求項によって規定される本発明の精神と範囲から逸脱することなく、当業者は、様々な修正、変更、改変、代替、同等なものを提供し得るであろう。

図面の簡単な説明

0140

本発明の新規であると考えられる特徴は、請求項に記載する。しかしながら、本発明それ自体は、添付の図面と共に、本発明によるいくつかの実施例に関する以下の詳細な説明を参照することによって最も良く理解し得る。

図1
本発明の好適な実施例に基づく通信ネットワークとシステムの概略図。
図2
本発明の好適な実施例に基づく、図1に示す携帯型無線通信デバイスの概念図。
図3
本発明の好適な実施例に基づく画像符号器の概念図。
図4
本発明の好適な実施例に基づく画像復号器の概念図。
【図5】
3レベルの離散的ウェーブレット変換からの出力のデータ構造表記の例。
図6
本発明の好適な実施例に基づく、図3に示す空間アクティビティ解析器によって実行されるプロセスの流れ図。
図7
本発明の好適な実施例に基づく、図3に示す空間優先順位付け器/選択器によって実行されるプロセスの流れ図。
図8
本発明の好適な実施例に基づく、図3に示す空間係数分類器によって実行されるプロセスの流れ図。
図9
本発明の好適な実施例に基づく、図3に示すビットストリームフォーマッタによって実行されるプロセスの流れ図。
図10
本発明の好適な実施例に基づく、図4に示すビットストリーム構文解析器によって実行されるプロセスの流れ図。
図11
本発明の好適な実施例に基づく、図4に示す空間係数再編成器によって実行されるプロセスの流れ図。
図12
本発明の好適な実施例に基づく、図3に示す空間アクティビティ解析器によって実行されるプロセスの流れ図。
図13
本発明の他の好適な実施例に基づく、図3に示す空間アクティビティ解析器によって実行されるプロセスの流れ図の第2部分。
図14
本発明の他の好適な実施例に基づく、図3に示す空間優先順位付け器/選択器によって実行されるプロセスの流れ図。
図15
本発明の他の好適な実施例に基づく、図3に示す空間係数分類器によって実行されるプロセスの流れ図。
図16
本発明の他の好適な実施例に基づく、図3に示すビットストリームフォーマッタによって実行されるプロセスの流れ図。
図17
本発明の他の好適な実施例に基づく、図4に示すビットストリーム構文解析器によって実行されるプロセスの流れ図。
図18
本発明の他の好適な実施例に基づく、図4に示す空間係数再編成器によって実行されるプロセスの流れ図。
図19
本発明の他の好適な実施例に基づく、図3に示す空間アクティビティ解析器によって実行されるプロセスの流れ図。
図20
本発明の他の好適な実施例に基づく、図3に示す画像符号器又は図4に示す画像復号器によって実行されるプロセスの流れ図。
図21
本発明の他の好適な実施例に基づく、図3に示すビットストリームフォーマッタによって実行されるプロセスの流れ図。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ