図面 (/)

技術 マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング

出願人 ドルビーラボラトリーズライセンシングコーポレイション
発明者 フー,ユーウェントゥーラピス,アレクサンドロスパハラワッタ,ペシャラヴィレオンタリス,アサナシオス
出願日 2011年1月3日 (8年9ヶ月経過) 出願番号 2012-548061
公開日 2013年5月13日 (6年5ヶ月経過) 公開番号 2013-516906
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 立体TV及びTVの試験,検査,測定等 双方向TV,動画像配信等
主要キーワード 目標スピード ヘッダービット 領域レベル 適応モジュール フィルタタイプ 立体ビュー 符号モード 歪み情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年5月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題・解決手段

適応的な復号ストリーミングとを行うマルチレイヤビデオシステム及び方法が記載される。復号システムは、ベースレイヤデコーダと1つ以上のエンハンスメントレイヤデコーダとを含む。ストリーミングシステムは、ベースレイヤパケット化器と1つ以上のエンハンスメントレイヤパケット化器とを含む。復号アダプタは、ベースレイヤ及び/又はエンハンスメントレイヤデコーダの演算を制御する。パケット化器アダプタは、ベースレイヤ及び/又はエンハンスメントレイヤパケット化器の演算を制御する。

概要

背景

近年、ビデオメディアの配信のためにマルチレイヤ手法を検討する、いくつかのアプリケーション及びシステムが存在する。そのようなアプリケーションやシステムは、SNRや解像度、又は一時的なスケーラブルシステムだけでなく、マルチビュー多視点)や3D/ステレオビデオビット深度及び高ダイナミックレンジHDR)アプリケーションなどを特に含みうる。そのようなアプリケーションやシステムは、復号のためにかなりの計算リソースを要求し、又は配信中のネットワークにおけるバンド帯域の変化により影響を受けるだろう。

概要

適応的な復号とストリーミングとを行うマルチ−レイヤビデオシステム及び方法が記載される。復号システムは、ベースレイヤデコーダと1つ以上のエンハンスメントレイヤデコーダとを含む。ストリーミングシステムは、ベースレイヤパケット化器と1つ以上のエンハンスメントレイヤパケット化器とを含む。復号アダプタは、ベースレイヤ及び/又はエンハンスメントレイヤデコーダの演算を制御する。パケット化器アダプタは、ベースレイヤ及び/又はエンハンスメントレイヤパケット化器の演算を制御する。

目的

エンハンスメントレイヤは、2つのビュー(各ビューに対して他の半分のサンプル)の残りの情報を提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

適応的に復号するマルチレイヤビデオシステムであって:ベースレイヤデコーダと;1つ以上のエンハンスメントレイヤデコーダと;前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタとを含み、前記復号アダプタは、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する、システム

請求項2

前記ベースレイヤデコーダからフィルタ処理される予測を前記1つ以上のエンハンスメントレイヤデコーダに提供する1つ以上の処理モジュールをさらに含み:前記復号アダプタは、さらに前記1つ以上の処理モジュールの演算を制御する、請求項1記載のシステム。

請求項3

前記復号アダプタは、1つ以上の前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する、請求項1又は2記載のシステム。

請求項4

ポスト処理モジュールをさらに含み、前記復号アダプタは、前記ポスト処理モジュールから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する、請求項1乃至3いずれか一項に記載のシステム。

請求項5

前記ポスト処理される情報は、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダに関連する符号化時間情報を含む、請求項4記載のシステム。

請求項6

前記復号アダプタは、前記ベースレイヤデコーダ及び/又は1つ以上のエンハンスメントレイヤデコーダの演算を単純化することで、前記ベースレイヤデコーダ及び/又は1つ以上のエンハンスメントレイヤデコーダの演算を制御する、請求項1乃至5いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。

請求項7

前記ベースレイヤデコーダ及び1つ以上のエンハンスメントレイヤデコーダはそれぞれ、残差復号モジュール及びインループフィルタリングモジュールを含み、前記ベースレイヤデコーダ及び/又は1つ以上のエンハンスメントレイヤデコーダの単純化は、前記ベースレイヤデコーダ及び/又は1つ以上のエンハンスメントレイヤデコーダの1つ以上の前記残差復号モジュール及びインループフィルタリングモジュールを単純化又は除去することで行われる、請求項6記載の適応的に復号するマルチ−レイヤビデオシステム。

請求項8

前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算は、1つ以上の画像、画像の部分、スライス画像系列、及びピクチャグループ(GOP)に関して制御される、請求項1乃至7いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。

請求項9

前記復号アダプタは、非参照画像及び/又は参照画像の演算を制御する、請求項8記載の適応的に復号するマルチ−レイヤビデオシステム。

請求項10

前記復号アダプタは、複雑度推定値に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項1乃至9いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。

請求項11

前記復号アダプタは、平均復号時間に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項1乃至10いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。

請求項12

前記復号アダプタは、復号された品質推定値に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項1乃至11いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。

請求項13

前記復号アダプタは、メタデータ情報に基づいて、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの前記演算をさらに制御する請求項11又は12記載の適応的に復号するマルチ−レイヤビデオシステム。

請求項14

マルチ−レイヤビデオシステムの適応的な復号方法であって:ビデオ情報を読み込む段階と;前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から1つの復号モードを選択する段階と;前記選択された復号モードに従ってマルチ−レイヤシステムの1つ以上のレイヤの前記ビデオ情報を復号する段階と;それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と;次のビデオ情報が利用可能であれば、前記読み出す段階、選択する段階、及び復号する段階を繰り返す段落とを含む、方法。

請求項15

前に復号されたビデオ情報の前記復号時間は、平均復号時間である請求項14記載の方法。

請求項16

前記複数の復号モードは、最速の復号モードを含み、前記最速の復号モードが選択されるとき、前記最速の復号モードの復号の複雑度を推定する段階をさらに含む、請求項14又は15記載の方法。

請求項17

前記マルチ−レイヤシステムのどのレイヤを前記最速の復号モードで復号するかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、請求項16記載の方法。

請求項18

前記マルチ−レイヤシステムの1つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、請求項17記載の方法。

請求項19

前記決定は、画像品質の推量にさらに基づく、請求項18記載の方法。

請求項20

前記ビデオ情報は、非参照ピクチャ情報及び参照ピクチャ情報を含み、参照ピクチャ情報を含むビデオ情報の復号モードが選択されるとき、前記復号モードの復号の複雑度を推定する段階をさらに含む、請求項14又は15記載の方法。

請求項21

前記マルチ−レイヤシステムのどのレイヤを前記復号モードで復号するかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、請求項20記載の方法。

請求項22

前記マルチ−レイヤシステムの1つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、請求項21記載の方法。

請求項23

前記決定は、画像品質の推量にさらに基づく、請求項22記載の方法。

請求項24

前記ビデオ情報は、ピクチャ、ピクチャの部分、又は一連ピクチャ群を含む、請求項14乃至23いずれか一項に記載の方法。

請求項25

前記ピクチャの部分はスライスであり、前記一連のピクチャ群はピクチャのグループ(GOP)である、請求項24記載の方法。

請求項26

前記マルチ−レイヤシステムは、ベースレイヤ及び1つ以上のエンハンスメントレイヤを含む、請求項14乃至25いずれか一項に記載の方法。

請求項27

前記マルチ−レイヤシステムは、前記ベースレイヤから1つ以上のエンハンスメントレイヤに復号情報通信するために適した参照プロセッサを含む、請求項26記載の方法。

請求項28

前記複数の復号モードは、前記マルチ−レイヤシステムの1つ以上で実行される復号演算の単純化の量に基づいてそれぞれ異なり、前記復号モードの選択は、以前に行われた復号演算の平均復号時間を対象閾値と比較することで行われる、請求項14記載の方法。

請求項29

前記復号モードの選択は、以前に選択された復号モードを維持すること、最速の復号モードを選択すること、及びより遅い復号モードを選択することの中から選択される、請求項28記載の方法。

請求項30

前記復号モードの選択は、画像品質の推量にも依存する、請求項28又は29記載の方法。

請求項31

ネットワーク上のクライアントビデオパケットを送るのに適した適応的なマルチ−レイヤビデオサーバであって:ベースレイヤビデオパケット化器と;1つ以上のエンハンスメントレイヤパケット化器と;前記ベースレイヤパケット化器及び前記1つ以上のエンハンスメントレイヤパケット化器に接続されるパケット化アダプタとを含み、前記パケット化アダプタは、前記ベースレイヤパケット化器及び前記1つ以上のエンハンスメントレイヤパケット化器の演算を制御する、ビデオサーバ。

請求項32

前記ベースレイヤビデオパケット化器及び1つ以上のエンハンスメントレイヤビデオパケット化器の演算は、前記ベースレイヤビデオパケット化器及び前記1つ以上のエンハンスメントレイヤビデオパケット化器を通してネットワーク上にどのパケットを送信する、又は送信しないかについての決定を制御する請求項31記載のビデオサーバ。

請求項33

前記パケット化アダプタの制御は、サーバにより生成された情報に基づく、請求項31又は32記載のビデオサーバ。

請求項34

前記パケット化アダプタの制御は、クライアントにより生成された情報に基づく、請求項31又は32記載のビデオサーバ。

請求項35

請求項1の前記復号システムと請求項31の前記ビデオサーバを含む、ビデオ処理アーキテクチャ

技術分野

0001

〈関連出願への相互参照
本願は、ここに参照によってその全体において組み込まれる、2010年1月6日に出願された、米国仮出願第61/292,741号の優先権を主張するものである。

0002

〈分野〉
本開示は、マルチレイヤ化されたビデオシステムに関する。より詳細には、マルチ−レイヤ化されたビデオシステムのための複雑度適応的にするスケーラブル復号及びストリーミングに関する。

背景技術

0003

近年、ビデオメディアの配信のためにマルチ−レイヤ手法を検討する、いくつかのアプリケーション及びシステムが存在する。そのようなアプリケーションやシステムは、SNRや解像度、又は一時的なスケーラブルシステムだけでなく、マルチビュー多視点)や3D/ステレオビデオビット深度及び高ダイナミックレンジHDR)アプリケーションなどを特に含みうる。そのようなアプリケーションやシステムは、復号のためにかなりの計算リソースを要求し、又は配信中のネットワークにおけるバンド帯域の変化により影響を受けるだろう。

先行技術

0004

D. C. Hutchison, "Introducing DLP3-D TV", http://www.dlp.com/downloads/Introducing DLP 3DHDTVWhitepaper.pdf ISO/IECJTC1/SC29/WG11, "Text of ISO/IEC 14496- 10:200X/FDAM 1 Multiview Video Coding", Doc. N9978, Hannover, Germany, July 2008.
M. Hemy, U. Hengartner, P. Steenkiste, T. Gross, "MPEG System Streams in Best-Effort Networks", PacketVideo 1999.
T. Meier, K. N. Ngan, "Improved single VO rate control for constant bit-rate applications using MPEG-4", Visual Communications and Image Processing 2000, Proceedings of SPIEVol. 4067, 2000.
Christian Timmerer, "Generic Adaptation of Scalable Multimedia Resources", VDMVerlag Saarbrucken, Germany, 2008.

発明が解決しようとする課題

0005

立体ビデオの配信は、コンテンツプロバイダのかねてからの目標であった。例えばDLPs[ここに参照によってその全体において組み込まれる非特許文献1]を可能とする3D、及び三菱やサムスンによるプラブディスプレイのようなディスプレイ技術の最近の革新は、立体ビデオを配信するための効率的な技術を開発する緊急性を増加させた。

課題を解決するための手段

0006

適応的に復号するマルチ−レイヤビデオシステムであって:ベースレイヤデコーダと;1つ以上のエンハンスメントレイヤデコーダと;前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタとを含み、前記復号アダプタは、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する。

図面の簡単な説明

0007

3Dビデオ復号フレームワークのシステム概観を示す図である。
3Dビデオ復号フレームワークのシステム概観を示す図である。
本開示の教示に従うスケーラブル復号アーキテクチャブロック図である。
本開示の教示に従うスケーラブル復号アーキテクチャのブロック図である。
開示の実施形態に従う完全復号モードFDM−0)を示す図である。
ピクチャの復号依存を示す図である。
開示に従うさらなる復号モード(FDM−1)を示す図である。
開示に従う他の復号モード(FDM−2)を示す図である。
開示に従うさらに他の復号モード(FDM−3)を示す図である。
図7の復号モードの省略単純化を示す図である。
開示に従うまたさらなる復号モード(FDM−4)を示す図である。
図9の復号モードの省略簡単化を示す図である。
本開示の教示に従うスケーラブル復号アルゴリズムを示す図である。
本開示の教示の操作モードを説明する高レベルの言語手順を示す図である。
開示のさらなる実施形態に従うスケーラブルパケット化のブロック図である。

実施例

0008

第1実施形態によれば、適応的に復号するマルチ−レイヤビデオシステムであって:ベースレイヤデコーダと;1つ以上のエンハンスメントレイヤデコーダと;及び前記ベースレイヤデコーダと前記1つ以上のエンハンスメントレイヤデコーダとに接続される復号アダプタとを含み、前記復号アダプタは、前記ベースレイヤデコーダ及び前記1つ以上のエンハンスメントレイヤデコーダの演算を制御する。

0009

第2実施形態によれば、マルチ−レイヤビデオシステムの適応的な復号方法であって:ビデオ情報を読み込む段階と;前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から1つの復号モードを選択する段階と;前記選択された復号モードに従ってマルチ−レイヤシステムの1つ以上のレイヤの前記ビデオ情報を復号する段階と;それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と;及び次のビデオ情報が利用可能であれば、前記読み出す段階、選択する段階、及び復号する段階を繰り返す段落とを含む。

0010

第3実施形態によれば、ネットワーク上のクライアントビデオパケットを送るのに適した適応的なマルチ−レイヤビデオサーバであって:ベースレイヤビデオパケット化器と;1つ以上のエンハンスメントレイヤパケット化器と;及び前記ベースレイヤパケット化器と前記1つ以上のエンハンスメントレイヤパケット化器とに接続されるパケット化アダプタとを含み、前記パケット化アダプタは、前記ベースレイヤパケット化器及び前記1つ以上のエンハンスメントレイヤパケット化器の演算を制御する。

0011

さらに、開示の実施形態は、本出願の明細書、図面及び請求項において提供される。

0012

図1A及び図1Bは、ベースレイヤ復号と、エンハンスメントレイヤ復号が示される、復号システムの概観を説明する。図1Aの復号システムを実施するアーキテクチャの一例は、MPEG−4 AVC/H.264標準のステレオハイプロファイル(SHP)である。このプロファイルは、標準仕様サポートするステレオビデオ符号化を追加した、MPEG−4 AVCのマルチビュービデオ符号化拡張した特別なケースである。例えば、ここに参照によってその全体において組み込まれる、非特許文献2を参照されたい。図1Bの復号システムを実施するアーキテクチャの一例は、ドルビーフレーム互換フル解像度(FCFR:Frame Compatible Full Resolution)システムである。例えば、2009年4月20日に出願された、米国仮出願"Directed Interpolation and Data Postprocessing"と、2009年7月4日に出願された、米国仮出願"Encoding and Decoding Architectures for Format Compatible 3D Video Delivery",を参照されたい。両方の出願とも、ここに参照によってその全体において組み込まれる。MPEG−4 AVC SHPにおいて、各ビューは、別々のレイヤに記憶される。ドルビーのFCFRのベースレイヤは、各ビューからのサンプル数の半分が記憶され、例えば、特にチェッカーボード並行してインタリービングするように、異なるインタリービング方法により構築されてもよい。エンハンスメントレイヤは、2つのビュー(各ビューに対して他の半分のサンプル)の残りの情報を提供する。復号システムは、フル解像度における2つのビューを生成するために、両方のレイヤから出力されるピクチャを合成する。

0013

図1Bのシステムにおいて、参照処理ユニット(RPU:reference processing unit)が示される。RPUは、高品質参照ピクチャを生成するためにベースレイヤからの出力ピクチャを処理する。その参照ピクチャは、エンハンスメントレイヤの動き補償予測のために後に用いられてもよい。図1に示されるポスト処理ユニットもまた、装置に含まれてもよい。3Dアプリケーションの例において、ポスト処理ユニットは、2つのデコーダの出力を合成することにより、各ビューのフル解像度ピクチャを生成することができる。

0014

本開示の実施形態は、図13に関して、後述されるような複雑度(計算量)により適応的に復号し、ストリーミングすることを導入する。既に上述されたように、そのような技術は、例えば、リアルタイム再生や、ハイエンドからローエンドの処理システムに及ぶ様々なプラットフォーム上の3Dビデオ符号化システムのストリーミングのために利用されうる。本開示の教示事項は、他にも適用でき、Sensio、Real−Dのような会社により明らかにされた3Dソリューション、又は同様のスケーラブルコンセプトを実施する他のソリューションのような同様のスケーラブルソリューションにも適用することができる。当業者は、本開示の教示事項が3Dへの適用のみに限定されるものではなく、特に高ダイナミックレンジのスケーラブルソリューションを含む、品質スケーラブルシステム、ビット深度スケーラビリティにも適用可能ということを理解するであろう。

0015

本開示のさらなる適用は、非特許文献3−5に記載されたような異種で様々なネットワークを介して、シームレスビデオストリーミングにも向けられる。非特許文献3−5は、ここに参照によってその全体において組み込まれる。

0016

本開示のいくつかの実施形態によれば、複雑度(計算量)の計量と、適用的なメカニズムとが提供される。図2A図2Bは、ベースレイヤデコーダ、RPU、及びエンハンスメントレイヤデコーダの操作(演算)を制御する復号適応モジュールを示す。図2Aの実施形態において、ベースレイヤデコーダと1つ以上のエンハンスメントレイヤデコーダとが示される。図2Bの実施形態において、RPUが考慮されている。

0017

特に、ベースレイヤデコーダとエンハンスメントレイヤデコーダのそれぞれに対し、復号適用モジュールは、完全復号モード、単純化した復号モードの実行を可能にし、又はその復号モード全てのスキップの実行を可能にする。同様に、RPUにとって、復号適用モジュールは、完全なフィルタリング、部分的なフィルタリング、又はRPUステップ全てをスキップすることを可能にする。

0018

図2A及び図2Bの復号適応ブロック(復号アダプタ)は、ベースデコーダ、エンハンスメントデコーダ、及びRPUのような全ての他のブロックからフィードバックを受けるために適合される。復号適応ブロックに渡される情報は、復号の複雑度、ブロック間の依存度、又は(ビットストリーム分析又はビットストリームに存在しうるメタデータを通して)符号化ユニット電力消費及びビデオ品質についての情報も含むことができる。品質の推量は、今まで導入された歪みと、所定の決定が後でなされる場合に生じうる歪みとを含んでもよい。そのような情報は全て、どのモジュールがどれくらい影響されるべきかを決定するために、復号を適応的に実行するためのモジュール内で処理される。同様の事項が、図13に関して後述されるように、(ネットワーク特性を含む)実施形態のストリーミングに関しても検討される。

0019

以降の段落で説明される例において、異なる複雑度を伴う、6つの異なる復号モードが検討される。しかし、当業者であれば、任意の数の異なる復号モードを検討しうることを理解するだろう。以降の図面の例は、1つのエンハンスメントレイヤ及びRPUを説明するが、当業者であれば、所望されれば、RPUは任意のものであり、1つ以上のエンハンスメントレイヤが提供されうることを理解するだろう。

0020

図3は、復号モードの第1実施形態を示す。ここで、最も計算的に複雑なモード(完全復号モードとも称す)は、ベースレイヤとエンハンスメントレイヤとの両方に適用される。そのようなモードは、本開示を通してFDM−0として称されるだろう。制御された品質損失を伴う一方で、最も速い復号モードを用いるとき、ピクチャ品質は低下するだろう。

0021

図4は、復号処理におけるピクチャ依存度を示す。例えば、処分可能な両予測ピクチャ(B)は、予測ピクチャ(P)に依存するが、参照ピクチャとして用いられない。それゆえ、そのようなBピクチャを復号するときに発生したエラーは、他のピクチャの復号処理に影響を与えないであろう。Pピクチャは、後続のPピクチャやBピクチャのために参照ピクチャとして用いられうる。Pピクチャ内のエラーは、そのPピクチャに依存する次のPピクチャやBピクチャに伝播するだろう。そして、さらに悪いことに、この種のエラーは、グループオブピクチャ(GOP)全体に伝播するだろう。ここで注意すべきことは、Bに符号化されたピクチャは処分可能ではあるが、動き補償予測のために参照ピクチャ(この図では、BRピクチャとして定義される)として用いられてもよい。同じことが、イントラ符号化ピクチャ(I)や単一方向符号化ピクチャ(P)に対してもあてはまる。過去の符号化標準において、IとPはいつも参照ピクチャとして用いられるが、Bピクチャは処分可能であった。MPEG−4 AVCにおいて、このケースは、もはやそうではない。ピクチャのどんな種類でも、処分可能として信号化されてもよい。

0022

通常独立して復号することができる、2つのイントラ(I)符号化ピクチャ間での画像は、1つの単一GOPに属するように一般的に検討される。MPEG−4AVCにおいて、イントラ符号化ピクチャは、瞬時デコーダリフレッシュ(IDR:Instantaneous Decoder Refresh)ピクチャとなってもよく、又はランダムアクセスユニットとして信号化されてもよい。結果として、符号化構造の図示された例に対し、PピクチャはBで符号化されたピクチャよりも重要である。同様の依存度は、固定又は適応的なGOP群の階層的な符号化構造を用いるときにも存在しうる。

0023

それゆえ、本開示の或る実施形態によれば、まずは、処分可能なピクチャの復号の複雑度(復号計算量)を削減するためになされるだろう。復号スピードがまだ目標復号スピードよりも遅く、現在参照ピクチャの復号の複雑度が、与えられた閾値よりも高ければ、そのときは、その参照ピクチャの復号の複雑度は低減されるだろう。その参照ピクチャの復号の複雑度は、GOP内の将来のピクチャへの影響に依存する。復号モードは、例えば、ピクチャレベルだけの代わりに、GOPレベルのように、より高いレベルに基づいて決定されることもできる。換言すると、復号モードは、一度に1つのピクチャで決定する代わりに、GOPレベルで、または一度にNピクチャ毎に決定することができる。つまり、デコーダ(又は図13で後に説明されるストリーミングの場合のサーバ)は、その複雑度の性能(又はストリーミングの実施形態におけるネットワークバンド帯域)を評価することができ、かつ、現在のGOP内のピクチャ全てに影響を与える決定をすぐにすることができる。つまり、次のことが言える。デブロッキングは、全てのエンハンスメントレイヤのピクチャに対してスキップされてもよいし、GOP内の全てのピクチャに対しエンハンスメントレイヤのデブロッキングは行わなくてもよい(又は図13のストリーミングの場合に対して任意のエンハンスメントレイヤの情報を送信しない)。また、GOP内の依存度を分析し、完全に、又は全部ではなく部分的に(どんなレベルでも)復号されるべきピクチャはどれかを決定することに基づく。そのような場合、その決定は、広範囲グローバル)のレベルで行われる。しかし、これは、局所的(ローカル)レベル(ピクチャ又はスライス)でも実行されうる追加的な細かい単位を排除するものではない。それゆえ、その処理は、局所的、広範囲、又は局所的と広範囲との組み合わせで行うことができる。

0024

図5は、FDM−0モードよりも複雑ではなく、ここではFDM−1として称される、第2復号モードを説明する。第2復号モードによれば、エンハンスメントレイヤでの復号が単純化される。例を用いると、非参照ピクチャ(通常Bピクチャ)のデブロッキング処理は、単純化又は削除することができる。例えば、デブロッキング処理は、システムによって特定されたデブロッキングフィルタリングメカニズムよりも簡単なデブロッキングフィルタリングメカニズムを用いることで単純化することができる。或る色成分だけのデブロッキング処理を単純化したり行わなかったり、また、或るスライスだけのデブロッキング処理を単純化したり行わなかったりする。

0025

デブロッキング処理をいつ、どのように修正するかの決定は、複雑度だけではなく、ピクチャに影響する品質にも依存する。その決定は、復号中に集められたピクチャやGOPについての情報に基づく。例を用いると、その決定は、ピクチャやスライスの動きに基づいたり、そのような処理にヒントを与える、ビットストリーム内のメタデータのような信号化された情報に基づいたりできる。

0026

図5に示すFDM−1モードを用いると、復号処理は、一般的にピクチャ品質の損失を少し犠牲にして、FDM−0と比較してスピードアップする。なぜなら、このモードは、処分可能な非参照ピクチャにだけ影響を与え、この単純化した復号処理によるエラーは、後続の復号ピクチャに伝播しないからである。

0027

図6は、FDM−2として称される、FDM−1と比較して単純な復号モードである。FDM−2のモードによれば、ベースレイヤとエンハンスメントレイヤとの両方での復号が単純化される。例を用いると、ベースレイヤとエンハンスメントレイヤとの両方で、非参照ピクチャのデブロッキング処理が単純化されるか、省略される。これは、ベースレイヤの歪みだけでなく、RPUにより提供される参照ピクチャの変更のせいで、エンハンスメントレイヤにおいてさらなる歪みを生じうることになる。しかし、そのようなフレームは、任意の他のピクチャの参照ピクチャとして用いられないので、復号中にドリフトするという結果にはならないであろう。ベースレイヤとエンハンスメントレイヤに対する単純化方法は異なってもよく、FDM−1を参照し、上述した単純化方法のいずれか1つであってもよいということに注意すべきである。

0028

図5図6に示される、FDM−1とFDM−2の復号方法は、復号スピードが目標スピードよりもわずかに遅い場合に用いることができる。

0029

図7−10は、(FDM−3とFDM−4と呼ばれる)2つの追加的な速い復号モードを示す。それらの復号モードは、復号処理をさらに単純化するという結果を生じうる。

0030

図7は、復号モードFDM−3を説明する。ここで、エンハンスメントレイヤは、非参照又は処分可能なピクチャを復号するときに、その残差を復号する処理を追加的に単純化することを通じて単純化される。その残差復号処理は、エントロピー復号逆変換、及び逆量子化のようなサブ処理を含む。それゆえ、そのような処理のいずれを単純化するかによって、異なる方法が存在する。また、1つ以上の上記のサブ処理を単純化することで、異なる方法が存在する。さらに、残差復号は、異なるスライスに対して単純化することができ、各スライスは、メタデータや分析に基づく異なる単純化方法を用いることができる。

0031

具体的な実施形態において、全体の残差復号処理は、図8に示されるように省略されてもよい。この場合、RPU処理の出力は、エンハンスメントレイヤの出力として得られるだろう。3Dビデオ符号化の場合では、デコーダは、ポスト処理ステップで、ベースレイヤの出力と、RPUユニットの出力とを共に多重化することで、フル解像度のピクチャを生成するだろう。

0032

復号モードFDM−3は、いくつかの追加された歪みを導入するだろう。なぜなら、圧縮されたビットストリームの残差部分に記憶される高周波数の信号は、エンコーダ側のその信号と一致しないからである。しかしながら、エラー伝播は、生じないだろう。さらに、そのエラーは、メタデータが単純化方法を支援するために用いられる場合、また、その単純化方法が適応的な内容である場合には、実施形態において上手く制御されることができる。例えば、残差復号処理を単純化することでの歪みの品質は、スライスレベルに基づいてエンコーダ側で測定することができ、この情報は、メタデータとしてビットストリームに埋め込むことができる。デコーダ側において、デコーダは、歪み情報によらず、或る単純化を実行可能とする決定を行うことができる。歪み情報の代わりに、異なるスライスやピクチャ間の依存度も提供されうる。一方で、その歪み情報は、単純化復号方法が検討されるならば、ビットストリームに導入されうる潜在的歪みのもっともな推定値でありうる。図13で後述されるストリーミングの実施形態において、エラー制御は、或る情報を信号化しなくても行うことができる。

0033

異なる実施形態において、1つのピクチャ内の或るスライスだけが復号のために選択されうる。また、これらのスライス内のマクロブロック所定数が復号された後に、又は所定時間が経過した後に、全てのスライスの復号が、並行して開始したり停止したりしうる。復号されていない残りの領域に対して、図8に示すように、RPUからの信号が代わりに用いられうる。

0034

図9は、ここではFDM−4と称される、さらなる復号モードを説明する。この実施形態によれば、RPU処理、(残差復号とデブロッキングのような)そのエンハンスメントレイヤの復号、及びエンハンスメントレイヤでの非参照ピクチャのポスト処理が単純化できる。特に、単純化処理は、特定されたフィルタよりも異なる内挿フィルタを用いることを必要とするだろう。単純化処理は、ぜいたくなサブピクセル位置を用いるマクロブロックを復号せず、信号を処理するRPUに戻り、両予測、又は重み付け予測などを用いるマクロブロックを復号しない。その単純化は、各サブ処理、又は各スライスで機能することができる。RPU処理もまた、特定されたフィルタよりも異なるフィルタを用いることで単純化することができる。例えば、短いフィルタは、長いフィルタの代わりに用いられるであろう。1Dフィルタは、2Dフィルタの変わりに用いられるであろう。固定のフィルタは、明示的なフィルタの代わりに用いられるであろう。これらのフィルタは、完全なピクチャ、領域(異なるフィルタは、異なる領域に対してRPU内で信号化することができる)、又は色成分レベルに対して、選択されうる。

0035

図10は、図9の実施形態の特別なケースを示す。ここで、RPU処理、残差復号処理、及びデブロッキング処理が省略される。そのFDM−4の処理は、エンハンスメントレイヤが既に完全に省略され、ベースレイヤが非参照ピクチャに属する場合に、ベースレイヤに拡張することもできる。

0036

上記図や実施形態に示された単純化処理は、参照ピクチャにも拡張できる。1つ以上の上記実施形態を使用しても、まだ十分なデコーダの複雑度や所望のストリーミング機能の結果にならならいときにも単純化処理を拡張することができる。上記実施形態を参照ピクチャに拡張する復号モードは、ここではFDM−5として称されるだろう。これは、最速の復号モードであり、ベースレイヤ、エンハンスメントレイヤ、その両方に用いることができる。そのような場合、単純化は制御された方法で行われないと、悪いアーティファクトが生じるかもしれない。例えば、GOP内のどのピクチャか、復号を単純化するせいで影響をうける品質がどうなるか、さらに、複雑度とストリーミングとの関係を検討することがもしあれば、このピクチャに適用されるべき処理の選択においてかなりの支援となりうる。例えば、GOPの終わり近くのピクチャは、例え参照ピクチャであっても、GOP内で早く出現するピクチャよりも容易に犠牲にされるであろう。なぜなら、終わり近くのピクチャの品質は、多くのピクチャに対して伝播しないからである。さらに、ベースレイヤにおける参照ピクチャに影響を与える前に、(単純化や省略化を通して)エンハンスメントレイヤにおける参照ピクチャに実行することが望ましい。

0037

特に、現在のピクチャが参照ピクチャであるとき、そのピクチャの復号の複雑度は、以降の段落で説明されるように、できるだけ品質損失を少なくするために推定されるだろう。一方で、品質損失を少なくすると同時に、復号スピードの増加を最大にする。

0038

そのようなピクチャの復号の複雑度が一旦知られたり、推定されたりすると、(例えばメタデータを介して与えられた)ピクチャの歪みを示すためのサイド情報がなくても、復号処理は、次のように処理することができる。もし、そのピクチャの復号処理に対して推定された複雑度が、第1閾値T0FDM−5よりも低い場合、システムの復号能力に対して、その複雑度が十分に低いことを意味し、そのときは復号処理に何も変化させない。それ以外で、推定された複雑度が、第1閾値よりも高いが、第2閾値T1FDM−5よりも低い場合、その複雑度は、低すぎ、高すぎのいずれでもないことを意味し、そのときは復号処理の初期単純化、デブロッキング処理の単純化のような処理を行う。もし、それ以外で、その複雑度が、第2閾値よりも高い場合、そのときはさらに単純化、残差復号処理及びデブロッキング処理の単純化のような処理を行う。

0039

上記の実施形態は、ピクチャレベルで説明されている。しかしながら、異なる実施形態が提供されうる。ここで、提案された符号モードの全ては、例えば、サブ−ピクチャ/領域レベルである、スライスレベルで適用できる。スライスレベルでの適用は、参照ピクチャ及び非参照ピクチャの両方に生じうる。参照ピクチャのために用いられる上述された閾値は、ビットストリームの復号中に、以前の観察、1つのピクチャの復号のために割り当てられた平均時間、及びこの割り当てを超えないで復号することを保証するために現在ピクチャのために利用できる時間などに基づいて計算される。

0040

加えて、所望すれば、システムは、一度に一つのピクチャ又はスライスを検討する代わりに、複数のピクチャ群に対して決定してもよく、これらのピクチャに対して一緒にそのような決定を実行してもよい。複数のピクチャに対してデコーダの複雑度をスキップしたり減らしたりして複雑度を省略することは、他のピクチャに対して用いられる処理を省略するという結果につながるだろう。複数のピクチャに対する省略処理は、現在の品質よりも主観的な品質にさらに重要な影響を与えるだろう。複数のピクチャを省略するか否かを決定することは、ビットストリームのメタデータ、又は推定された所定のビットストリーム情報に提供されるピクチャの類似性に基づくことができる。ビットストリーム情報は、例えばビットストリーム内で利用可能な動きベクトルである。もし、例えば、2つの連続するピクチャの動きベクトルが同様であれば、そのとき、これらのピクチャは、類似するであろうことが知られており、同様の方法を用いて一緒に単純化(例えば省略)することができる。

0041

上記説明した単純化を制御的に適用するスケーラブル復号手順の実施形態は、図11に示される。復号モードは、ピクチャの読み込み後に最初に設定される。復号モードの設定の仕方の例は、後述する図12を参照して説明されるだろう。もし、選択された復号モードが、参照ピクチャの単純化を提供する、最も速い復号モードFDM−5であるなら、上記の通り、復号の複雑度も推定される。復号モードFDM−5の説明に関して既に注意したように、復号の複雑度の推定、及び推定後の閾値パラメータとの比較処理は、FDM−5の復号モード内で実行するいずれかの単純化処理に対して、制御された選択を可能にする。そして、スライス、ピクチャ、又はGOPは、選択された復号モードに従って復号される。そして、復号時間の平均は、後述される式に従って更新される。そして、その処理は、復号が終了するまで繰り返される。

0042

図12に移り、開示に従って使用されるアルゴリズムが設定された復号モードの一例が説明される。もし、平均復号時間(Dectimeavg)が、第1閾値T0よりも大きい場合、復号の複雑度は、単純なバージョン(DecMode=DecMode+1)に復号モードを変更することで低減されるだろう。もし、平均復号時間が第2閾値T2(T2>T0)よりも大きい場合、現在ピクチャの復号がかなり遅いことを意味し、復号モードは、最も低い複雑度、例えば上述したFDM−5のようなモードに設定される(DecMode=FDM−5)。もし、平均復号時間が、閾値T0よりも大きくなく、かつ閾値T1よりも小さい場合、復号が速すぎることを意味し、復号の複雑度は、ピクチャ品質を良くするために増加されるだろう。もし、他方で、平均復号時間が閾値T0よりも大きくなく、かつ閾値T1よりも大きい場合、前に用いられた復号の複雑度が維持される(Keep the DecMode)。

0043

以降の段落で、4つの式が、図11及び図12に関連する処理をより理解するために議論される。式(1)は、図11フローチャートにおいて平均復号時間をどのようにして更新するかを説明する。他方、式(2)−(4)は、復号の複雑度をどのようにして推定するかを説明する。

0044

特に、式(1)は、平均復号時間DecTimeAvgがどのようにして更新されうるのかの一例を説明する。αは、更新スピードを制御する係数であり、ピクチャ群(GOP)の長さに依存する。例の方法では、αは、GOPが長くなるほど小さくなる。

0045

図11の復号の複雑度の推定ステップに移り、そのような処理は、2つの部分を含みうる。

0046

第1部分において、RPU処理の複雑度が推定される。そのような複雑度は、フィルタタイプ及び部分領域に依存し、例えば式(2)により計算されうる。完全なピクチャのRPU処理の複雑度は、全ての部分の複雑度の合計である。

0047

第2部分は残差復号の複雑度の推定を取り扱う。そのような推定は、符号化ビットの数と、スライスタイプとに依存し、推定を介して、式(3)により計算されうる。例えば、その推定は、ルックアップテーブルを用いる。そのようなテーブルは、前の復号統計を考慮し、同じサイズで異なるスライスタイプの復号時間のために作成されうる。

0048

全体の複雑度は、式(4)により推定されうる。ここで、式(2)及び式(3)の結果が考慮され、βは、完全な復号処理と比較したRPU処理の複雑度の割合に対応する重み係数である。βは、集められた統計に基づいて計算される。

0049

メタデータ情報は、例えば、SEI(Supplemental Enhancement Information)メッセージ、MPEG−4又はMPEG−2トランスポート、又はユーザがメッセージを特定したプログラムレイヤを用いて、又は他のメカニズムを通して信号化される。メタデータは、スライス、ピクチャ、又はGOPの歪みの影響についてのサイド情報を提供するために用いることができる。このような付加的な情報は、上述したFDM−5モードの制御時にできるだけ単純化するよう決定するのに役に立つだろう。例えば、デコーダは、各スライス又はピクチャの品質の測定値、及び/又はピクチャ依存度、及び任意の単純化されたデコーダがメタデータとして品質又は複雑度に対して持っているだろう影響を受け取ることができる。この情報が与えられると、デコーダは参照ピクチャに対してさえも以下の事を決定することができる。すなわち、わずかな歪みを生じるだけではあるが、デコーダ全体の複雑度に重要な影響を与える、第1影響スライスにより、デコーダの単純化処理がどのように行われるかを決定することができる。決定は、歪み又は複雑度のみに基づくだけでなく、例えば、ラグランジュ最適化方法を用いる統合した決定に基づいてもよい。

0050

図12の例において、SetDecodingModeアルゴリズムは、タイミングに基づくパフォーマンスを特定するのみであり、直接的に品質に影響を与えるわけではないことに注意が必要である。さらなる実施形態では、品質をもっと直接的に制御することが可能である。例えば、2つの方法が復号時間を同じように削減するという結果であれば、歪みがより小さい方の方法が選択されればよい。代わりに、少なくともN%の複雑度を削減する全てのモードを検討し、それらのモードが一緒に評価され、J=D+Cが最善の性能となる方法が選択されればよい。ここで、Dは、導入された歪みであり、Cは、複雑度であり、λはラグランジュの乗数である。

0051

どんな単純化もなされていない又は無事な場所、GOP及び予測関係などのような付加的な情報は提供することができる。ピクチャの複雑度についての情報も、メタデータを通して提供することができる。しかしながら、或るケースでは、複雑度は、ビットストリームを分析することで、(メタデータの存在があっても)計算されたり、厳密化されたりする必要があるかもしれない。

0052

本開示の実施形態は、複雑度の推定処理を考慮しているが、そのような処理は、完全な復号演算を実行するよりも依然として複雑度を低くすることができる。

0053

特に、スライスレベルでの複雑度の推定値は、そのスライスを占めるビット数でまず試してみることで得ることができる。その推定値が十分でなければ、部分的、又は完全なエントロピー復号のみが実行される。そうすることで、ヘッダー情報のビットvsテクスチャビットの決定を可能にする。ビットストリームが多くのヘッダービットを含む場合、多くの動きベクトルが存在することを意味し、ビットストリームにおいて許容される限り、動き補償及びデブロッキングのために実行されるべき多くの処理があることを暗示するだろう。他方、テクスチャ情報が重要である場合、変換と量子化処理のための復号をしている間に多くの時間が費やされることを暗示するだろう。

0054

上述された複雑度の分析は、本開示で説明された任意のレイヤ及び任意のモードに対して影響を与えうる。

0055

もし、さらなる情報が必要であれば、ピクチャの復号の複雑度についてより良い推定値を得るために、完全な動き補償処理を実行せずに、ビデオの動き情報だけを復号することができる。もし、この推定値が満足するものであれば、そのときは、ピクチャの完全な復号は続き、そうでなければ、残りの復号ステップ全ては、上述したように省略されたり、単純化されたりすることができる。

0056

本開示で教示することは、ローエンド(Low end)プラットフォームのような異なるプラットフォーム上で、リアルタイム復号及び3Dビデオ符号化画像のストリーミングのために用いることができる。例えば、ビデオデコーダ再生装置、及び高解像度立体ビュー表示可能なディスプレイ装置に上記技術を用いることもできる。

0057

本開示で教示することは、ネットワーク伝送のバンド帯域及びクライアントの復号能力を考慮するビデオストリーミングサーバにも用いることができる。ビデオストリーミングサーバに生じる処理の一般的な説明は、図13に示される。

0058

ストリーミングに適用する場合、以前の図面を参照して説明したことと同様であり、サーバは、クライアントのために最善の品質を保とうとする間、パケット損失率及びクライアントからの遅延を含むフィードバックに従ってパケット化処理を適応的に行うだろう。パケット化とは、小さい単位で配信されるようデータを分割し、かつ、IPパケットのようなネットワーク伝送にふさわしいフォーマットにフォーマットされたブロックに、それぞれの単位をカプセル化する処理のことをいう。トラフィック情報は、クライアントにより、サーバ側の適応モジュールに返信して提供される。パケット損失率がかなり低い場合、サーバは、全てのレイヤの全てのパケットを送るだろう。もし、他方、パケット損失率が増加しているがまだ低い場合、そのときサーバは、処分可能なスライスのエンハンスメントレイヤのパケットをまず除去するだろう。もし、パケット損失率がまだ増加していれば、サーバはそのとき、処分可能なスライスのベースレイヤのパケットを捨て、かつ、さらに、非処分可能なスライスのエンハンスメントレイヤのパケットを除去するだろう。それゆえ、図13の適用において、デコーダの複雑度のためにビットストリームを調整する代わりに、ビットストリーム内の同じ依存度を考慮しつつ、いくつかのパケットだけを、クライアントに対して信号化する(これにより、ネットワークのロードと全体のビットレートを低減する)。図13のストリーミング又はパケット化アダプタは、サーバ自身から(クライアントから独立的に、又はクライアント情報を処理した後のいずれか)、及び/又は1又は複数のクライアントから情報を受けることができる。

0059

開示の一実施形態によれば、サーバは、復号中に小さなドリフト、又は“エラー”が生じた情報を除去するために選択することもできる。これは、メタデータとしてクライアントに信号化されるだろう。さらに、この知識が与えられれば、クライアント側で、クライアントは(可能であれば、及び/又は所望されれば)これらのエラーの訂正試みることもできる。サーバは、クライアント(又はマルチキャスト環境上のクライアント)の能力を知っていてもよく、クライアントの能力の知識に基づいて発生するこのようなシナリオを許容してもよい。例として、ラグランジュコストは、ネットワークのバンド帯域、各クライアントの品質、(もし関連があれば)消費電力などを含みうるパラメータの場所を提供されうる。

0060

本開示の実施形態は、復号側での図2のアーキテクチャが、サーバ側の図13のアーキテクチャと結合されるということも提供される。

0061

本開示のいくつかの実施形態は、シームレスビデオ配信を達成するためにビットストリームを適応化する技術と、主として立体ビデオソリューションのコンテキストにおける異なるプラットフォーム及びシステムに対するベストユーザの経験と、を重点的に説明する。しかしながら、当業者は、スケーラブルシステム、又はマルチビュー符号化の高ダイナミックレンジ(HDR)のような他の同様のシステムにも、ここに示された概念が適用できるということを理解するだろう。

0062

本開示で記載した方法およびシステムは、ハードウェアソフトウェアファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記載される諸特徴は一緒に実装されても(たとえば集積論理デバイスのような論理デバイスにおいて)、別個に実装されても(たとえば別個の接続された論理デバイスとして)よい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記載される方法を実行する命令を含むコンピュータ可読媒体を含みうる。コンピュータ可読媒体はたとえば、ランダムアクセスメモリ(RAM)および/または読み出し専用メモリ(ROM)を含みうる。命令はプロセッサ(たとえばデジタル信号プロセッサ(DSP)、特定用途向け集積回路ASIC)またはフィールドプログラム可能論理アレイFPGA))によって実行されてもよい。

0063

本明細書において言及されるすべての特許および刊行物は、本開示が属する分野の当業者の技術レベルを示しうる。本開示において引用されるすべての文献は、各文献が個々にその全体において参照によって組み込まれた場合と同じ程度に、参照によって組み込まれる。

0064

本開示は特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法またはシステムはむろん変わりうるものである。本稿で使われる用語は個別的な実施形態を記述するためだけに使われているのであり、限定することは意図されていないことも理解しておくべきである。本明細書および付属の請求項の用法では、単数形は、内容がそうでないことを明確に示しているのでない限り、複数の被指示物を含む。用語「複数」は、内容がそうでないことを明確に示しているのでない限り、二つ以上の被指示物を含む。別途定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。

0065

本開示のいくつかの実施形態について説明してきたが、本開示の精神および範囲から外れることなく様々な修正がなされてもよいことは理解されるであろう。よって、他の実施形態も付属の請求項の範囲内にある。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ