図面 (/)

技術 コンテンツを提供及び表示するための装置及び方法

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 キャッスルマン、デニスディー.
出願日 2017年5月30日 (2年11ヶ月経過) 出願番号 2018-568224
公開日 2019年7月25日 (9ヶ月経過) 公開番号 2019-521388
状態 不明
技術分野
  • -
主要キーワード 圧縮因子 経路プロファイル 空間区分 矩形セル ディスプレイコンテンツ 周辺視野領域 ストリーミングビデオコンテンツ 磁気計
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年7月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

解決手段

コンテンツを表示するための方法が提供される。本方法の一実施形態は、表示デバイス上に表示されたコンテンツ項目閲覧者焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含む。同様のステップを行うシステムと、それぞれ1つ以上のコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体も提供される。

概要

背景

ビデオストリーミングはますます、メディアコンテンツを配信してそれにアクセスする主要な方法の1つになりつつある。またビデオストリーミングトラフィックインターネット帯域幅消費の大きな部分を占めている。

概要

コンテンツを表示するための方法が提供される。本方法の一実施形態は、表示デバイス上に表示されたコンテンツ項目閲覧者焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含む。同様のステップを行うシステムと、それぞれ1つ以上のコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体も提供される。

目的

本方法は、コンテンツ項目を受け取ることと、コンテンツ項目の低ビットレートバージョンを生成することと、再生デバイスからコンテンツリクエストを受け取ることであって、コンテンツリクエストは閲覧者焦点領域の表示を含む、受け取ることと、閲覧者焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの部分を選択することと、コンテンツリクエストに応じて、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの部分とを再生デバイスに提供する

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンテンツを表示するための方法であって、表示デバイス上に表示されたコンテンツ項目閲覧者焦点領域を決定することと、前記コンテンツ項目の低ビットレートバージョンを取り出すことと、前記焦点領域に対応する前記コンテンツ項目の高ビットレートバージョンの部分を取り出すことと、前記コンテンツの前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成して、合成画像を生成することと、前記表示デバイスを介して前記閲覧者に前記合成画像を表示することと、を含む方法。

請求項2

前記焦点領域は、視線追跡センサ及び頭部追跡センサのうちの1つ以上を含むセンサデバイスに基づいて決定する請求項1に記載の方法。

請求項3

前記焦点領域は、検出された焦点及び予測される将来の焦点のうちの1つ以上に基づいて決定する請求項1に記載の方法。

請求項4

前記閲覧者の前記焦点領域の変化を検出することに応じて前記コンテンツ項目の前記高ビットレートバージョンの異なる部分を取り出すことをさらに含む請求項1に記載の方法。

請求項5

コンテンツサーバコンテンツリクエストを送ることであって、前記コンテンツリクエストは前記焦点領域の表示を含む前記送ること、をさらに含む請求項1に記載の方法。

請求項6

前記コンテンツの前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成することは、前記コンテンツの前記高ビットレートバージョンの前記部分と前記コンテンツの前記低ビットレートバージョンとの間に移行領域を生成して、前記コンテンツの前記高ビットレートバージョンの前記部分と前記コンテンツの前記低ビットレートバージョンとをブレンドすることを含む、請求項1に記載の方法。

請求項7

前記コンテンツの前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成することは、ブレンドするために画素三角セルグループ分けすることを含む、請求項1〜6のいずれか一項に記載の方法。

請求項8

前記コンテンツ項目の前記高ビットレートバージョンの前記部分と前記コンテンツ項目の前記低ビットレートバージョンとを、2つの別個に符号化されたビデオストリームとして取り出す、請求項1〜6のいずれか一項に記載の方法。

請求項9

前記コンテンツ項目は、没入型コンテンツ及び全方位ビデオのうちの1つ以上を含む請求項1〜6のいずれか一項に記載の方法。

請求項10

前記コンテンツ項目の前記低ビットレートバージョンは、解像度フレームレート、及び圧縮品質のうちの、前記コンテンツ項目の前記高ビットレートバージョンと比べて低い1つ以上を含む請求項1〜6のいずれか一項に記載の方法。

請求項11

コンテンツを表示するためのシステムであって、表示デバイスと、センサデバイスと、前記表示デバイス及び前記センサデバイスに結合されたプロセッサであって、前記センサデバイスを用いて、前記表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、前記コンテンツ項目の低ビットレートバージョンを取り出すことと、前記焦点領域に対応する前記コンテンツ項目の高ビットレートバージョンの部分を取り出すことと、前記コンテンツの前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成して、合成画像を生成することと、前記表示デバイスを介して前記閲覧者に前記合成画像を表示することと、を行うように構成された前記プロセッサと、を含むシステム。

請求項12

前記センサデバイスは視線追跡センサ及び頭部追跡センサのうちの1つ以上を含む請求項11に記載のシステム。

請求項13

前記焦点領域を、検出された焦点及び予測される将来の焦点のうちの1つ以上に基づいて決定する請求項11に記載のシステム。

請求項14

前記プロセッサはさらに、前記閲覧者の前記焦点領域の変化を検出することに応じて前記コンテンツ項目の前記高ビットレートバージョンの異なる部分を取り出すことを行うように構成されている請求項11に記載のシステム。

請求項15

前記プロセッサはさらに、コンテンツサーバにコンテンツリクエストを送ることであって、前記コンテンツリクエストは前記焦点領域の表示を含む、前記送ることを行うように構成されている請求項11に記載のシステム。

請求項16

前記コンテンツの前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成することは、前記コンテンツの前記高ビットレートバージョンの前記部分と前記コンテンツの前記低ビットレートバージョンとの間に移行領域を生成して、前記コンテンツの前記高ビットレートバージョンの前記部分と前記コンテンツの前記低ビットレートバージョンとをブレンドすることを含む、請求項11に記載のシステム。

請求項17

前記コンテンツの前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成することは、ブレンドするために画素を三角セルにグループ分けすることを含む、請求項11〜16のいずれか一項に記載のシステム。

請求項18

前記コンテンツ項目の前記高ビットレートバージョンの前記部分と前記コンテンツ項目の前記低ビットレートバージョンとを、2つの別個に符号化されたビデオストリームとして取り出す、請求項11〜16のいずれか一項に記載のシステム。

請求項19

前記コンテンツ項目は、没入型コンテンツ及び全方位ビデオのうちの1つ以上を含む請求項11〜16のいずれか一項に記載のシステム。

請求項20

前記表示デバイスは、頭部装着型ディスプレイ仮想現実表示デバイス、拡張現実表示デバイス、及びディスプレイスクリーンのうちの1つ以上を含む請求項11〜16のいずれか一項に記載のシステム。

請求項21

1つ以上のコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、前記1つ以上のコンピュータプログラムは、プロセッサベースのシステムに、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、前記コンテンツ項目の低ビットレートバージョンを取り出すことと、前記焦点領域に対応する前記コンテンツ項目の高ビットレートバージョンの部分を取り出すことと、前記コンテンツの前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成して、合成画像を生成することと、前記表示デバイスを介して前記閲覧者に前記合成画像を表示することと、を含むステップを実行させるように構成されている、非一時的なコンピュータ可読記憶媒体。

請求項22

コンテンツを提供するための方法であって、コンテンツ項目を受け取ることと、前記コンテンツ項目の低ビットレートバージョンを生成することと、再生デバイスからコンテンツリクエストを受け取ることであって、前記コンテンツリクエストは閲覧者焦点領域の表示を含む、前記受け取ることと、前記閲覧者焦点領域に基づいて前記コンテンツ項目の高ビットレートバージョンの部分を選択することと、前記コンテンツリクエストに応じて、前記コンテンツ項目の前記低ビットレートバージョンと前記コンテンツ項目の前記高ビットレートバージョンの前記部分とを前記再生デバイスに提供することと、を含む方法。

請求項23

前記コンテンツ項目の前記低ビットレートバージョンと前記コンテンツ項目の前記高ビットレートバージョンの前記部分とを、前記再生デバイスに前記コンテンツを提供する前に別個に符号化することをさらに含む請求項22に記載の方法。

請求項24

前記コンテンツ項目の前記高ビットレートバージョンから複数の部分を抽出することと、前記コンテンツ項目の前記高ビットレートバージョンの前記複数の部分の1つ以上を、複数の再生デバイスによって取り出すためにキャッシュすることと、をさらに含む請求項22または23に記載の方法

請求項25

コンテンツを提供するためのシステムであって、メモリデバイスと、通信デバイスと、前記メモリデバイス及び前記通信デバイスに結合されたプロセッサであって、コンテンツ項目を受け取ることと、前記コンテンツ項目の低ビットレートバージョンを生成することと、前記コンテンツ項目の高ビットレートバージョンと前記コンテンツ項目の前記低ビットレートバージョンとを前記メモリデバイス上に記憶することと、前記通信デバイスを介して、再生デバイスからコンテンツリクエストを受け取ることであって、前記コンテンツリクエストは閲覧者焦点領域の表示を含む、前記受け取ることと、前記閲覧者焦点領域に基づいて前記コンテンツ項目の前記高ビットレートバージョンの部分を選択することと、前記コンテンツリクエストに応じて、前記コンテンツ項目の前記低ビットレートバージョンと前記コンテンツ項目の前記高ビットレートバージョンの前記部分とを前記再生デバイスに提供することと、を行うように構成されている前記プロセッサと、を含むシステム。

技術分野

0001

[関連出願の相互参照
本出願は、米国特許出願第15/280,947号(2016年9月29日に出願)、発明の名称APPARATUS AND METHODFOR PROVIDING AND DISPLAYING CONTENT」の継続出願であり、そこからの利益を主張する。この出願は、米国仮特許出願第62/374,687号(2016年8月12日に出願)、発明の名称「APPARATUS AND METHOD FOR PROVIDING AND DISPLAYING CONTENT」からの利益を主張し、また米国仮特許出願62/357,259号(2016年6月30日に出願)、発明の名称「APPARATUS AND METHOD FORCAPTURING AND DISPLAYING SEGMENTED CONTENT」の利益を主張する。これらの全体の内容及び開示内容はすべて、本明細書において参照により全体として、本明細書に全て取り入れられている。

0002

本出願は、米国特許出願第15/280,933号(2016年9月29日に出願)、発明の名称「APPARATUS AND METHODFORCAPTURING AND DISPLAYING SEGMENTED CONTENT」(発明者はDennis D.Castlemanであり、代理人整理番号139592[SCEA16001US01]によって識別される。)に関連する。この文献の全体の内容及び開示内容はすべて、本明細書において参照により全体として、本明細書に全て取り入れられている。

0003

また本出願は、米国特許出願第15/280,962号(2016年9月29日に出願)、発明の名称「APPARATUS AND METHODFOR GAZE TRACKING」(発明者はDennis D.Castlemanであり、代理人整理番号138627[SCEA16004US00]によって識別される。)に関連する。この文献の全体の内容及び開示内容はすべて、本明細書において参照により全体として、本明細書に全て取り入れられている。

0004

[発明の分野]
本発明は全般的に、ビデオ処理及び表示に関する。

背景技術

0005

ビデオストリーミングはますます、メディアコンテンツを配信してそれにアクセスする主要な方法の1つになりつつある。またビデオストリーミングトラフィックインターネット帯域幅消費の大きな部分を占めている。

0006

一実施形態によって、コンテンツを表示するための方法が提供される。本方法は、表示デバイス上に表示されたコンテンツ項目閲覧者焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含む。

0007

別の実施形態によって、コンテンツを表示するためのシステムであって、表示デバイス、センサデバイス、表示デバイス及びセンサデバイスに結合されたプロセッサを含むシステムが提供される。プロセッサは、センサデバイスを用いて、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を行うように構成されている。

0008

別の実施形態によって、1つ以上のコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体が提供される。1つ以上のコンピュータプログラムは、プロセッサベースのシステムに、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含むステップを実行させるように構成されている。

0009

別の実施形態によって、コンテンツを提供するための方法が提供される。本方法は、コンテンツ項目を受け取ることと、コンテンツ項目の低ビットレートバージョンを生成することと、再生デバイスからコンテンツリクエストを受け取ることであって、コンテンツリクエストは閲覧者焦点領域の表示を含む、受け取ることと、閲覧者焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの部分を選択することと、コンテンツリクエストに応じて、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの部分とを再生デバイスに提供することと、を含む。

0010

別の実施形態によって、コンテンツを提供するためのシステムであって、メモリデバイス通信デバイス、メモリデバイス及び通信デバイスに結合されたプロセッサを含むシステムが提供される。プロセッサは、コンテンツ項目を受け取ることと、コンテンツ項目の低ビットレートバージョンを生成することと、コンテンツ項目の高ビットレートバージョンとコンテンツ項目の低ビットレートバージョンとをメモリデバイス上に記憶することと、通信デバイスを介して、再生デバイスからコンテンツリクエストを受け取ることであって、コンテンツリクエストは閲覧者焦点領域の表示を含む、受け取ることと、閲覧者焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの部分を選択することと、コンテンツリクエストに応じて、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの部分とを再生デバイスに提供することと、を行うように構成されている。

0011

本発明の種々の実施形態の特徴及び優位点をより良好に理解することは、以下の詳細な説明及び添付図面を参照することにより得られる。詳細な説明及び添付図面では、本発明の実施形態の原理が用いられている例示的な実施形態について述べている。

図面の簡単な説明

0012

本発明の実施形態の前述及び他の態様、特徴、及び優位点は、以下の図面とともに示した以下のより詳しい説明から明らかとなる。
本発明のいくつかの実施形態によりコンテンツを提供するためのプロセスを例示するプロセス図である。
本発明のいくつかの実施形態によりコンテンツを提供するための方法を例示するフロー図である。
本発明のいくつかの実施形態によりコンテンツを表示するための方法を例示するフロー図である。
本発明のいくつかの実施形態によるコンテンツ表示領域の説明図である。
本発明のいくつかの実施形態によるコンテンツ表示領域の説明図である。
本発明のいくつかの実施形態による画像ブレディングの説明図である。
いくつかの実施形態による画像セルの説明図である。
いくつかの実施形態による画像セルの説明図である。
いくつかの実施形態による焦点領域の説明図である。
いくつかの実施形態による焦点領域の説明図である。
本発明のいくつかの実施形態によるシステムを例示するブロック図である。

実施例

0013

デジタルビデオコンテンツは種々のフォーマットで記憶及び送信してもよい。ビデオ解像度フレームレート符号化形式圧縮方式、及び圧縮因子などの因子ビデオファイルの全体サイズ及びビットレートに影響する可能性がある。デジタルマルチメディアでは、ビットレートは一般に、連続媒体(たとえばオーディオまたはビデオ)を表すために単位再生時間あたりに用いられるビット数を指す。マルチメディアファイル符号化ビットレートは、マルチメディアファイルのサイズを記録の再生時間(たとえば、秒で)で割ったものを指す場合がある。ビデオコンテンツファイルのビットレートは、ストリーミングサーバと再生デバイスとの間のネットワーク帯域幅制約の下で中断せずにビデオをストリーミングできるか否かに影響する。

0014

最初に図1を参照して、いくつかの実施形態によりビデオコンテンツを記録し、ホスティングし、及び表示するためのプロセスを示す。ステップ111では、ビデオコンテンツをカメラシステムによって取り込む。いくつかの実施形態では、カメラシステムは以下のうちの1つ以上を含んでいてもよい。従来のカメラシステム、立体カメラシステムパノラマカメラシステム、サラウンドビューカメラシステム、360度カメラシステム、及び全方位カメラシステムなど。ステップ112では、取り込んだビデオを符号化してサーバに送信する。いくつかの実施形態では、ステップ112で行う符号化は損失または無損失ビデオ符号化を含んでいてもよい。いくつかの実施形態では、ビデオは、ライブストリーミングまたは予め記録されたビデオコンテンツを含んでいてもよい。いくつかの実施形態では、カメラは、ネットワーク(たとえばインターネットなど)を経由して無線または有線の手段を介してサーバと通信してもよい。

0015

いくつかの実施形態では、ステップ111及び112を行うカメラは、セグメント化されたビデオ取り込みデバイスを含んでいてもよい。ビデオ取り込みデバイスは、たとえば、米国仮特許出願第62/357,259号(2016年6月30日に出願)、発明の名称「APPARATUS AND METHODFORCAPTURING AND DISPLAYING SEGMENTED CONTENT」に記載されているものである。この文献の全体の開示内容は、本明細書において参照により全体として、本明細書によって全て取り入れられている。セグメント化されたビデオ取り込みデバイスを用いて、ステップ112の前に、取り込んだ各ビデオストリーム別個のビデオストリームとしてサーバに提供するか、または合成して単一のビデオストリームにしてもよい。

0016

ステップ121では、サーバはカメラから受け取ったビデオコンテンツを復号化する。いくつかの実施形態では、復号化されたビデオは、当初に取り込んだ解像度、フレームレート、及び/またはビットレートにおけるビデオを含んでいてもよい。ステップ122では、サーバは、復号化されたビデオストリームのビットレートを低減する。いくつかの実施形態では、ビデオコンテンツのビットレートを低減することを、ビデオの解像度を低減すること、ビデオのフレームレートを低減すること、及び圧縮アルゴリズムを用いてビデオを圧縮することのうちの1つ以上によって行ってもよい。ステップ123では、低減ビットレートビデオを符号化して、再生デバイスへのストリーミングに備える。いくつかの実施形態では、ステップ122及び123は単一ステップを含んでいてもよい。たとえば、符号化アルゴリズムを用いて、受け取ったコンテンツのビットレートを減らしてもよい。

0017

ステップ125では、受け取ったビデオから、受け取ったビデオのうちの1つ以上の部分を抽出する。コンテンツ項目の部分は全般的に、ビデオコンテンツ表示領域の空間区分を指す。いくつかの実施形態では、コンテンツの部分は、1つ以上のフレームに及ぶコンテンツ表示領域の領域を含んでいてもよい。いくつかの実施形態では、受け取ったコンテンツの暗号化方式によって部分的に復号化することが可能になるならば(たとえば、MPEG−4トランスポートストリーム)、ステップ125における抽出を、受け取ったコンテンツを部分的に復号化することによって行ってもよい。いくつかの実施形態では、ステップ125を、再生デバイスから閲覧者焦点領域を受け取ることに応じて行ってもよく、抽出部分はコンテンツ内の閲覧者の焦点領域の場所に対応してもよい。いくつかの実施形態では、ステップ125をコンテンツ上で予備的に行ってもよく、1つ以上の部分を抽出及び記憶して、再生デバイスによる後の取り出しに備えてもよい。ステップ127では、抽出部分を符号化して、再生デバイスへのストリーミングに備える。

0018

本明細書で用いる場合及び本開示の全体にわたって、高及び低ビットレートは、サーバから再生デバイスに提供されるビデオコンテンツ項目の少なくとも2つのバージョンの相対的なビットレートに言及する相対語である。全般的に、サーバは、受け取ったビデオの少なくとも1つの低ビットレートバージョンを生成して、少なくとも、低ビットレートバージョンと比べて高いビットレートを有するコンテンツ項目のバージョンの部分を抽出してもよい。いくつかの実施形態では、ビットレートが異なるビデオコンテンツ項目の複数のバージョンをサーバによって形成してもよい。またいくつかの実施形態では、ビットレート低減を、ステップ125においてコンテンツの部分を抽出する前に受け取ったビデオに対して、及び/またはステップ125において抽出した部分に対して行ってもよい。

0019

一般的に、コンテンツ項目の高ビットレートバージョンは、ビデオコンテンツの継続時間に渡って、コンテンツ項目の低ビットレートバージョンよりも平均ビットレートが高い。いくつかの実施形態では、ビデオコンテンツの時間セグメントの一部または全部に対して、コンテンツ項目の高ビットレートバージョンのビットレートはコンテンツ項目の低ビットレートバージョンより高くてもよい。ある場合には、コンテンツ項目の高ビットレートバージョンの抽出部分を含むビデオストリームは、コンテンツ項目の低ビットレートバージョンを含むビデオストリームと比べてビットレートが低くてもよい。たとえば、コンテンツ項目の高ビットレートバージョンの部分は、低ビットレートバージョンと比べてコンテンツの著しく小さい表示領域をカバーしてもよく、その結果、抽出部分のより低いビットレートとなる。いくつかの実施形態では、コンテンツ項目の低ビットレートバージョンは、コンテンツ項目の高ビットレートバージョンと比べて低い解像度、フレームレート、及び圧縮品質のうちの1つ以上を含んでいてもよい。いくつかの実施形態では、コンテンツ項目の低ビットレートバージョンは、コンテンツ項目の高ビットレートバージョンと比べて低いビデオ品質及び/または鮮明度を含んでいてもよい。いくつかの実施形態では、コンテンツの低及び高ビットレートバージョンは、固定ビットレートCBR)または可変ビットレート(VBR)ビデオストリームを含んでいてもよい。

0020

いくつかの実施形態では、サーバはネットワーク(たとえばインターネットなど)を経由して再生デバイスと通信してもよい。ステップ131では、再生デバイスは、ビデオコンテンツの低ビットレートバージョンとビデオコンテンツの高ビットレート部分の部分とを受け取って復号化する。ビデオコンテンツの高ビットレート部分の部分は、再生デバイスを介してコンテンツを閲覧する閲覧者の焦点領域に基づいて選択してもよい。いくつかの実施形態では、閲覧者の焦点領域は、閲覧者がコンテンツを閲覧する間、焦点が合っているかまたは合っている可能性がある閲覧者の視界の領域を指す。いくつかの実施形態では、焦点領域は、閲覧者の視界の中心、近中心、黄斑、近周辺、及び中周辺領域のうちの1つ以上に対応してもよい。閲覧者の焦点領域を、再生デバイスに結合されたセンサデバイスによって検出してもよい。いくつかの実施形態では、コンテンツ項目の取り込みデバイスによって記録された慣性計測ユニットIMU)データを、閲覧者の目及び/または頭部方向と比べて、再生デバイス用に抽出する高ビットレートビデオコンテンツの部分を決定してもよい。いくつかの実施形態では、ビデオコンテンツの低ビットレートバージョンとビデオコンテンツの高ビットレート部分の部分とを、サーバから再生デバイスに別個のビデオストリームとして送信してもよい。

0021

ステップ132では、ビデオコンテンツの低ビットレートバージョンとビデオコンテンツの高ビットレート部分の部分とを合成する。いくつかの実施形態では、ビデオストリームを合成することには、コンテンツ項目の低ビットレートバージョンを高ビットレートバージョンの部分と、高ビットレート部分を抽出したコンテンツ表示領域の場所で合成することが含まれる。いくつかの実施形態では、ステップ132には、画像の高及び低ビットレート領域間移行領域を含んで、ビデオコンテンツの2つのバージョン間境界視認性を減らすことによって2つのビデオストリームをブレンドすることが含まれる。いくつかの実施形態では、ステップ132にはさらに、画像を合成する前に、ビデオコンテンツの低ビットレートバージョンをコンテンツの高ビットレートバージョンの解像度及び/またはフレームレートにスケール変更することが含まれる。

0022

ステップ133では、閲覧者に合成画像を表示する。合成画像を、フラットスクリーンディスプレイ曲面ディスプレイドーム表示デバイス、頭部装着型表示デバイス、拡張現実表示デバイス、仮想現実表示デバイスなどのうちの1つ以上を介して表示してもよい。いくつかの実施形態では、合成画像を頭部装着型ディスプレイによって閲覧してもよい。頭部装着型ディスプレイはたとえば、米国特許出願第15/085,887号(2016年3月30日に出願)、発明の名称「Head−Mounted Display Tracking」に記載されているシステム及びデバイスである。この文献の全体の開示内容は、本明細書において参照により全体として、本明細書に全て取り入れられている。

0023

いくつかの実施形態では、図1に示すステップの代わりに、ビデオコンテンツの高ビットレート部分をコンテンツの低ビットレートバージョンと、サーバにおいて合成して、送信用に単一のビデオストリームとして符号化してもよい。このようなビデオストリームの解像度及びフレームレートは、フル高ビットレートバージョンと比べて低減しなくてもよいが、送信されたビデオストリームの全体サイズは依然として、画像を再結合する前に、より損失の大きいビデオ圧縮アルゴリズムを用いて焦点領域の外側のコンテンツの領域を処理することによって低減してもよい。

0024

図1に示すプロセスでは、ユーザの焦点領域に対応するコンテンツ項目の部分は比較的高ビットレートで提供され、コンテンツの残りの領域は比較的低ビットレートで提供される。図1に示すプロセスを用いて、中断のないビデオストリーミングを実現するためのネットワーク帯域幅要求を、閲覧者の視界の焦点領域におけるビデオ品質を維持しながらストリーミングビデオコンテンツの全体的なビットレートを低減することによって軽減してもよい。

0025

次に図2を参照して、コンテンツを提供するための方法を示す。図2のステップは全般的に、プロセッサベースのデバイス(たとえば、コンピュータシステム、サーバ、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバなどのうちの1つ以上)によって行ってもよい。いくつかの実施形態では、図2のステップを、図8を参照して記載されるコンテンツサーバ810及び再生デバイス820、図1を参照して記載されるサーバ、ならびに/または他の同様のデバイスのうちの1つ以上によって行ってもよい。

0026

ステップ210では、システムはコンテンツ項目を受け取る。コンテンツ項目は、映画TV番組ビデオクリップ、予め記録されたビデオコンテンツ、ストリーミングビデオコンテンツ、ライブストリーミングされたビデオコンテンツなどのうちの1つ以上を含んでいてもよい。いくつかの実施形態では、ビデオコンテンツには、立体カメラシステム、パノラマカメラシステム、サラウンドビューカメラシステム、360度カメラシステム、全方位カメラシステムなどのうちの1つ以上によって取り込まれた単一のビデオストリームまたは複数のビデオストリームが含まれていてもよい。いくつかの実施形態では、コンテンツ項目を任意の暗号化方式(たとえば、MPEG、WMV、VP8など)を介して符号化してもよい。いくつかの実施形態では、システムをさらに、受け取ったコンテンツ項目を種々の暗号化方式により復号化するように構成してもよい(ステップ310)。

0027

ステップ220では、システムはコンテンツ項目の低ビットレートバージョンを生成する。いくつかの実施形態では、受け取ったコンテンツのビットレートを、ビデオの解像度を低減すること、ビデオのフレームレートを低減すること、損失圧縮アルゴリズムを用いてビデオを圧縮することのうちの1つ以上によって低減してもよい。損失圧縮は全般的に、圧縮ビデオには当初のビデオに存在するいくらかの情報が無いことを意味する。いくつかの実施形態では、コンテンツ項目の複数の低ビットレートバージョンをステップ220で生成して、再生デバイスによる取り出しに備えて記憶してもよい。

0028

ステップ230では、システムはコンテンツリクエストを受け取る。いくつかの実施形態では、コンテンツリクエストを以下のような再生デバイスから受け取ってもよい。たとえば、ゲームコンソールパーソナルコンピュータタブレットコンピュータテレビジョン、頭部装着型ディスプレイ(「HMD」)、拡張現実デバイス、仮想現実デバイス、着用可能デバイス、携帯型ユーザデバイススマートフォンなどである。いくつかの実施形態では、コンテンツリクエストによって、リクエストされているコンテンツ項目、リクエストされた時間セグメント、閲覧者の焦点及び/または領域の表示、及び/または他の認証情報のうちの1つ以上を特定してもよい。いくつかの実施形態では、コンテンツリクエストは従来のストリーミングコンテンツリクエストと同様であってもよい。いくつかの実施形態では、コンテンツリクエストは、コンテンツ表示領域内の点または領域に対応し得る閲覧者の焦点領域の表示を含んでいてもよい。いくつかの実施形態では、閲覧者の焦点領域の表示は、コンテンツのフレームの寸法内の座標または座標セットを含んでいてもよい。いくつかの実施形態では、閲覧者の焦点領域の表示を視野角によって表してもよい。いくつかの実施形態では、焦点領域を、視線追跡センサ及び頭部追跡センサのうちの1つ以上を含む再生デバイスに付随するセンサデバイスに基づいて決定してもよい。

0029

ステップ240では、コンテンツの低ビットレートバージョンを、ステップ230で受け取ったコンテンツリクエストに応じて再生デバイスに提供する。いくつかの実施形態では、ステップ220において、コンテンツ項目の複数の低ビットレートバージョンを生成してもよい。ステップ240では、システムは、以下のうちの1つ以上に基づいて、コンテンツ項目の複数の低ビットレートバージョンの中から選択してもよい。再生デバイスとサーバとの間の現在のまたは推定されたネットワークスループット、サーバ及び/または再生デバイスにおける利用可能な帯域幅、コンテンツリクエストにおいて特定されたリクエストされたビデオ品質、再生デバイスの処理能力ユーザ設定など。いくつかの実施形態では、複数のバージョンからコンテンツ項目の低ビットレートバージョンを選択することは、従来の適応ビットレートストリーミング方法と同様であってもよい。

0030

ステップ250では、システムは、コンテンツリクエストに基づいてコンテンツ項目の高ビットレートバージョンの部分を選択する。コンテンツ項目の高ビットレートバージョンは一般的に、ステップ240で提供した低ビットレートコンテンツと比べてビットレートが高いコンテンツのバージョンを指す。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンは、ビデオコンテンツの継続時間に渡って、コンテンツの低ビットレートバージョンよりも高い平均ビットレートを含んでいてもよい。いくつかの実施形態では、ビデオコンテンツの一部または全部の時間セグメントの間、コンテンツ項目の高ビットレートバージョンのビットレートはコンテンツの低ビットレートバージョンより高くてもよい。いくつかの実施形態では、コンテンツの高ビットレートバージョンは、ステップ210で受け取った当初のコンテンツを含んでいてもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンはまた、当初に受け取ったコンテンツ項目の低減ビットレートバージョンを含んでいてもよい。

0031

いくつかの実施形態では、ステップ250で選択するコンテンツの部分を、検出された焦点及び予測される将来の焦点のうちの1つ以上を含む閲覧者の焦点領域に基づいて選択してもよい。いくつかの実施形態では、予測される将来の焦点をサーバ及び/または再生デバイスによって予測してもよい。いくつかの実施形態では、将来の焦点を、閲覧者の注視経路履歴、閲覧者に付随する注視経路プロファイル、複数の閲覧者から集めた注視経路データ、及びコンテンツプロバイダによって提供される標準的な注視経路のうちの1つ以上に基づいて予測してもよい。閲覧者の将来の焦点を予測する例が以下の文献に記載されている。米国特許出願第15/280,962号(2016年9月29日に出願)、発明の名称「APPARATUS AND METHODFOR GAZE TRACKING」(発明者はDennis D.Castleman)。この文献は、代理人整理番号138627[SCEA16004US00]によって識別される。この文献の全体の開示内容は、本明細書において参照により全体として、本明細書に全て取り入れられている。

0032

コンテンツの部分は全般的に、ディスプレイコンテンツ領域の空間部分(たとえば、フレーム内の設定画素)を指してもよい。いくつかの実施形態では、部分は、複数のフレームに及ぶディスプレイコンテンツ領域の同じ部分を含んでいてもよい。いくつかの実施形態では、ステップ250で選択した部分は全般的に、コンテンツ表示領域における閲覧者の焦点領域の場所に対応してもよい。いくつかの実施形態では、コンテンツの表示領域を複数の区分に分割してもよい。たとえば、コンテンツの表示領域を四分円、3x3グリッド、5x5グリッドなどに分割してもよい。いくつかの実施形態では、閲覧者の焦点領域と重複するコンテンツ表示領域の1つ以上の区分を、再生デバイスに提供されるコンテンツ項目の高ビットレートバージョンの部分を含むように選択してもよい。いくつかの実施形態では、コンテンツの焦点領域及び/または抽出部分は、任意の形状及びサイズを含んでいてもよい。焦点領域及びコンテンツ項目から抽出される部分の例について、本明細書における図4A〜4B及び図7A〜7Bを参照してより詳細に説明する。

0033

いくつかの実施形態では、システムはさらに、以下のうちの1つ以上に基づいて、コンテンツの複数の当初及び/または低減ビットレートバージョンから選択して、選択部分を抽出してもよい。再生デバイスとサーバとの間の現在のまたは推定されたネットワークスループット、サーバ及び/または再生デバイスにおける利用可能な帯域幅、コンテンツリクエストにおいて特定されたリクエストされたビデオ品質、再生デバイスの処理能力、及びユーザ設定。いくつかの実施形態では、高ビットレートバージョンの部分を、ステップ220で生成した低減ビットレートバージョンのうちの1つから抽出してもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンを全般的に、ステップ240で選択したコンテンツ項目の低ビットレートバージョンと比べて高いビットレートを伴うコンテンツ項目のバージョンから選択してもよい。

0034

いくつかの実施形態では、システムをコンテンツ項目の高ビットレートバージョンのうちの2つ以上の部分を提供するように構成してもよい(ステップ270)。たとえば、システム及び/または再生デバイスは、閲覧者の2つ以上の可能性のある将来の焦点領域を予測してもよい。システムは次に、閲覧者の2つ以上の可能性がある将来の焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの2つ以上の部分を選択してもよい(ステップ250)。再生デバイスを、検出した焦点領域に基づいて、再生する少し前に、提供された部分の中から選択するように構成してもよい。

0035

ステップ260では、システムは選択部分がシステムにおいて以前にキャッシュされたか否かを判定する。いくつかの実施形態では、コンテンツの高ビットレートバージョンの部分を抽出したときに、システムはその部分を、後で用いるためにキャッシュしてもよい。いくつかの実施形態では、システムは、表示されたコンテンツ内で閲覧者がフォーカスする可能性がある場所を予測することに基づいて、コンテンツ項目の高ビットレートバージョンの複数の抽出部分を予備的に生成してもよい。たとえば、予備的に抽出した部分が、表示されたコンテンツの高活性領域及び/または前景領域に対応してもよい。いくつかの実施形態では、キャッシュ部分はそれぞれ、符号化されたビデオストリームを含んでいてもよい。いくつかの実施形態では、システムを、設定時間(たとえば、時間、日など)の間用いられていない抽出部分を自動的に消去するように構成してもよい。いくつかの実施形態では、高ビットレート部分の各キャッシュ部分を、領域識別子及びタイムスタンプ識別子(たとえば、区分3B、時間00:30:20〜00:30:22)を用いて特定して取り出してもよい。いくつかの実施形態では、コンテンツの高ビットレートバージョンの部分を、符号化された形式キャッシュ内に記憶してもよく、また再生デバイスへのストリーミングに対して直接的利用できるようにしてもよい。選択部分が以前にキャッシュされていた場合、システムはキャッシュ部分を再生デバイスに提供してもよい(ステップ270)。

0036

選択部分が以前にキャッシュされていなかった場合、システムはコンテンツの高ビットレートバージョンの部分を抽出する(ステップ280)。いくつかの実施形態では、ステップ210で受け取ったコンテンツから部分を抽出してもよい。いくつかの実施形態では、当初に受け取ったコンテンツの低減ビットレートバージョンのうちの1つから部分を抽出してもよい。いくつかの実施形態では、受け取ったコンテンツを最初に復号化することによって部分を抽出してもよい。いくつかの実施形態では、システムを、コンテンツ項目の符号化されたバージョンからコンテンツの一部を部分的に復号化して抽出するように構成してもよい。いくつかの実施形態では、ステップ280はさらに、抽出部分の縁部の周りに複数の空/透明画素またはセルを含むように抽出部分を処理することを含んでいてもよい。空/透明画素の密度を抽出部分の外縁に向けて徐々に増加させて、抽出部分をコンテンツのより低いビットレートバージョンと合成したときに、2つの画像間の縁部がヒトの目に対してそれほど目立たなくなるようにしてもよい。空/透明画素を含めることによって、コンテンツの高ビットレートバージョンの部分を送信するための帯域幅利用をさらに減少させてもよい。いくつかの実施形態では、ステップ280はさらに、ストリーミングするために抽出部分を別個に符号化することを含んでいてもよい。コンテンツ項目の高ビットレートバージョンの符号化された部分を次に、再生デバイスに提供してもよい(ステップ270)。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分を、複数の符号化されたビデオストリーム(それぞれ、コンテンツ表示領域の所定の領域(たとえば、グリッド内のセル)に対応する)において提供してもよい。

0037

いくつかの実施形態では、ステップ270及び240を実質的に同時に行って、同じコンテンツ項目の対応する時間セグメントを再生デバイスに提供してもよい。いくつかの実施形態では、コンテンツの低ビットレートバージョンを再生デバイスに提供してバッファに入れることを、ステップ270においてコンテンツ項目の対応する高ビットレート部分を提供する前に行ってもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分とコンテンツ項目の低ビットレートバージョンとを、2つの別個に符号化及び送信されたビデオストリームとして提供してもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分とコンテンツ項目の低ビットレートバージョンとを、サーバシステムの異なる部分から提供してもよい。たとえば、中央サーバを、コンテンツ項目の低ビットレートバージョンを再生デバイスに流すように構成してもよく、一方で、複数の地理的に分散したサーバデバイスを、同じコンテンツ項目の高ビットレートバージョンの部分を抽出し、及び/または近くの再生デバイスに提供するように構成してもよい。

0038

いくつかの実施形態では、複数のコンテンツ項目に対してステップ210〜270を繰り返してもよい。いくつかの実施形態では、再生デバイスにおいて閲覧者がコンテンツ項目を閲覧するときにステップ250〜270を周期的に繰り返してもよい。たとえば、再生デバイスは、サーバにおいて閲覧者の焦点領域を周期的に(たとえば、数ミリ秒毎、数秒毎、数フレーム毎などに)更新してもよく、システムは、閲覧者の更新された焦点領域に基づいて、コンテンツ項目の高ビットレートバージョンの異なる部分を選択してもよい。いくつかの実施形態では、再生デバイスを、焦点領域における変化を検出して、焦点領域の場所が変化したときにのみサーバに通知するように構成してもよい。いくつかの実施形態では、焦点領域が検出されない場合(たとえば、ユーザが現時点スクリーンを見ていない場合)、システムは、ステップ250〜270を省略して、コンテンツ項目の低ビットレートバージョンのみを再生デバイスに提供してもよい。いくつかの実施形態では、ユーザが表示デバイスを見ていないと検出された場合、システムはさらに、コンテンツ項目の最も低いビットレートバージョンを選択して、ステップ240で再生デバイスに提供して、ネットワーク帯域幅利用を低減してもよい。いくつかの実施形態では、コンテンツのストリーミングにおける中断が検出された場合、システムは、中断を減らすために提供されるコンテンツの低及び/または高ビットレートバージョンのビットレートを調整してもよい。

0039

次に図3を参照して、コンテンツを提供するための方法を示す。図3のステップは全般的に、たとえば以下のうちの1つ以上のプロセッサベースのデバイスによって行ってもよい。ゲームコンソール、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、頭部装着型ディスプレイ(「HMD」)、拡張現実デバイス、仮想現実デバイス、着用可能デバイス、携帯型ユーザデバイス、スマートフォン、モバイルデバイスなど。いくつかの実施形態では、図3のステップを、図8を参照して記載されるコンテンツサーバ810及び再生デバイス820、図1を参照して記載される再生デバイス、または他の同様のデバイスのうちの1つ以上によって行ってもよい。

0040

ステップ310では、システムは閲覧者の焦点領域を決定する。いくつかの実施形態では、焦点領域を、視線追跡センサ及び頭部追跡センサのうちの1つ以上を含むセンサデバイスに基づいて決定してもよい。いくつかの実施形態では、ユーザの頭部方向を、慣性計測ユニット(IMU)、加速度計ジャイロスコープ画像センサ、及び距離センサのうちの1つ以上を含むヘッドトラッカーデバイスによって決定してもよい。いくつかの実施形態では、IMUは、加速度計及びジャイロスコープ(しばしば磁気計も)の組み合わせを用いて身体の特定の力、角速度、及び/または身体を囲む磁界を測定及び報告する電子デバイスを含んでもよい。いくつかの実施形態では、ヘッドトラッカーデバイスをユーザが装着する頭部装着型ディスプレイ(HMD)に結合してもよい。いくつかの実施形態では、ユーザの注視場所を、画像センサ、光学式リフレクタセンサ、距離センサ、筋電図EMG)センサ、及び光学式流量センサのうちの1つ以上を含むアイトラッカーデバイスによって決定してもよい。

0041

いくつかの実施形態では、焦点領域を、検出された焦点及び予測される将来の焦点のうちの1つ以上に基づいて決定してもよい。いくつかの実施形態では、将来の焦点を、閲覧者の注視点履歴、閲覧者に付随する注視経路プロファイル、複数の閲覧者から集められた注視経路データ、及びコンテンツプロバイダによって提供される標準的な注視経路のうちの1つ以上に基づいて予測してもよい。いくつかの実施形態では、焦点領域を2Dまたは3D空間におけるフォーカス点によって表してもよい。いくつかの実施形態では、焦点領域を、3D角度(たとえば球面方位角(θ)と極角(φ)とによって表した方向)として表してもよい。いくつかの実施形態では、焦点領域を2D極角(φ)によって表してもよい。いくつかの実施形態では、焦点領域は、閲覧者の頭部、目、及び/または表示デバイスのピッチ、ヨー、及びロールに対応してもよい。いくつかの実施形態では、システムは、記録されたコンテンツのIMUデータと表示デバイスのIMUデータとを比べて、コンテンツに対する閲覧の焦点領域を決定してもよい。いくつかの実施形態では、焦点領域のサイズをさらに、表示デバイスからの閲覧者の距離に基づいて決定してもよい。たとえば、テレビのディスプレイの場合、より小さい焦点領域をスクリーンから5フィート離れて座る閲覧者に対応付けてもよく、一方で、より大きい焦点を10フィート離れて座る閲覧者に対応付けてもよい。いくつかの実施形態では、焦点領域を、ユーザの焦点の周りの固定サイズ及び形状の領域に近づけてもよい。

0042

ステップ320において、再生デバイスはコンテンツ項目の低ビットレートバージョンを取り出す。いくつかの実施形態では、再生デバイスは、ステップ320においてコンテンツ項目のホストとして働くサーバにコンテンツリクエストを送って、コンテンツ項目を取り出す。コンテンツ項目の低ビットレートバージョンは、コンテンツプロバイダ及び/またはホスティングサービスによって生成されたコンテンツ項目の低減ビットレートバージョンを含んでいてもよい。いくつかの実施形態では、ステップ320をステップ310の前に行ってもよく、また閲覧者の焦点領域が決定される前に、コンテンツ項目の低ビットレートバージョンをダウンロードし、バッファに入れ、及び/または閲覧することを始めてもよい。いくつかの実施形態では、ステップ320は、本明細書で図2を参照して説明したステップ240に対応してもよい。

0043

ステップ330において、再生デバイスはコンテンツ項目の高ビットレートバージョンの部分を取り出す。いくつかの実施形態では、再生デバイスは、ステップ310で決定した閲覧者の焦点領域を特定するコンテンツリクエストをサーバに送って、コンテンツ項目の高ビットレートバージョンの部分を取り出す。全般的に、取り出した部分は、閲覧者の焦点領域に基づいて選択したコンテンツの空間部分を含んでいてもよい。いくつかの実施形態では、取り出した部分は、コンテンツ項目の領域の短い時間セグメント(たとえば、ミリ秒、秒、フレームなど)を含んでいてもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分を、ステップ320で取り出したコンテンツ項目の低ビットレートバージョンから別個に符号化したビデオストリーム内に取り出してもよい。いくつかの実施形態では、コンテンツ項目の低ビットレートバージョンを、コンテンツ項目の高ビットレートバージョンを取り出す前にバッファに入れてもよい。いくつかの実施形態では、ステップ330は、本明細書で図2を参照して説明したステップ270に対応してもよい。

0044

ステップ340では、システムは、コンテンツ項目の高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成する。いくつかの実施形態では、ステップ340において、システムは最初に、ステップ330で取り出したコンテンツ項目の高ビットレートバージョンの部分と、ステップ320で取り出したコンテンツ項目の低ビットレートバージョンとを復号化する。いくつかの実施形態では、コンテンツ項目の低及び高ビットレートバージョンの解像度及び/またはフレームレートが異なっている場合、システムは、画像を合成する前に、最初にバージョンのうちの少なくとも1つの解像度及び/またはフレームレートを調整してもよい。たとえば、システムは、コンテンツ項目の低ビットレートバージョンの解像度及び/またはフレームレートを増加させて、高ビットレート部分の解像度及び/またはフレームレートにマッチすることを、コンテンツ項目の復号化された低ビットレートバージョンをアップサンプルし及び/またはこれに干渉することによって行ってもよい。

0045

いくつかの実施形態では、システムは、コンテンツ項目のうちの2つのバージョンを合成することを、コンテンツ項目の低ビットレートバージョンのフレーム内の画素を、コンテンツ項目の高ビットレートバージョンの部分の対応するフレームからの画素と取り替えることによって行ってもよい。いくつかの実施形態では、フレームをタイムスタンプによって特定してマッチしてもよい。いくつかの実施形態では、画像をさらにブレンドして、コンテンツ項目の2つのバージョンの間の境界の見た目を低減してもよい。いくつかの実施形態では、システムは、コンテンツの高ビットレートバージョンの部分とコンテンツの低ビットレートバージョンとの間に移行領域を生成することによって、コンテンツ項目のバージョンをブレンドする。移行領域では、高ビットレートバージョンからの情報を含む画素は、表示されたコンテンツの高ビットレート領域から低ビットレート領域に向けて徐々に減少してもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンとブレンドすることは、ブレンドするために画素を三角セルグループ分けすることを含んでいてもよい。移行領域及びブレンディングの例について、本明細書で図5及び6A〜6Bを参照して説明する。いくつかの実施形態では、高ビットレート部分を予めブレンドされた形式でサーバから提供してもよい。たとえば、高ビットレート部分の縁部は、密度が段階的な複数の空/透明画素を含んでいてもよい。再生デバイスは次に、透明画素を伴う高ビットレート部分をコンテンツ項目の低ビットレートバージョン上に、さらに画像を処理することなく被せて、ブレンド効果をアーカイブしてもよい。

0046

ステップ350では、合成画像を表示デバイス上に表示する。いくつかの実施形態では、表示デバイスは、モニタ、テレビジョン、プロジェクタ、頭部装着型ディスプレイ(HMD)、仮想現実表示デバイス、着用可能デバイス、ディスプレイスクリーン、モバイルデバイスなどのうちの1つ以上を含んでいてもよい。いくつかの実施形態では、ステップ350の前に、システムはさらに、表示デバイスの仕様に基づいて合成画像を調整してもよい。たとえば、仮想現実表示デバイスの場合、システムは、デバイスに付随する反り及び歪みに応じて調整してもよい。

0047

いくつかの実施形態では、閲覧者がコンテンツ項目を閲覧するときにステップ310〜350を連続的に繰り返してもよい。いくつかの実施形態では、ステップ310で検出した焦点領域に基づいて、時間の経過とともに、コンテンツ項目の高ビットレートバージョンの異なる部分が、ステップ330で取り出され、ステップ340で低ビットレートバージョンと合成されてもよい。いくつかの実施形態では、ステップ320はステップ310及び330とは独立していてもよい。いくつかの実施形態では、焦点領域が検出されなかった場合、システムは、焦点が再び検出されるまで、表示すべきコンテンツ項目の低ビットレートバージョンのみを取り出して、ステップ330〜350を省略してもよい。

0048

いくつかの実施形態では、システムをさらに、閲覧者の閲覧領域を決定して、ステップ320において閲覧者の閲覧領域に基づいて低ビットレートコンテンツの部分のみを取り出すように構成してもよい。閲覧者の閲覧領域を、ステップ310における焦点領域の決定と同様に視線追跡及び頭部追跡のうちの1つ以上に基づいて決定してもよい。閲覧者の閲覧領域は全般的に、ユーザには見えるが閲覧者の視界内で焦点が合っていてもよいしそうでなくてもよいコンテンツの領域を指してもよい。いくつかの実施形態では、閲覧領域は、焦点領域を囲む領域を含んでいてもよい。いくつかの実施形態では、取り出したコンテンツ項目の低ビットレートバージョンの部分は、閲覧領域内にないコンテンツ領域の領域を除外してもよい。いくつかの実施形態では、取り出したコンテンツ項目の低ビットレートバージョンの部分はさらに焦点領域を除いて、閲覧者には見えるが焦点が合っていないと想定される領域のみを含んでいてもよい。いくつかの実施形態では、コンテンツ項目の低ビットレートバージョンの取り出した部分は、閲覧者の視界の近い、中間の、及び遠い周辺視野領域のうちの1つ以上に対応してもよい。

0049

次に図4Aを参照して、コンテンツ表示領域の説明図を示す。コンテンツ領域400はコンテンツ項目の画像領域全体を表す。コンテンツ領域400を矩形であると示しているが、いくつかの実施形態では、コンテンツ領域400は、没入型コンテンツ及び/または全方位ビデオコンテンツの場合に円柱球体半球などに対応してもよい。コンテンツ領域400は全般的に、本開示の趣旨から逸脱することなく、任意の形状、アスペクト比、及びサイズを含んでいてもよい。焦点410はコンテンツ内の閲覧者のフォーカス点を表す。いくつかの実施形態では、焦点410は、検出された焦点及び/または予測される焦点に対応してもよい。焦点領域412は、閲覧者の視界内で焦点が合っている可能性がある焦点410の周りの領域を表す。いくつかの実施形態では、焦点領域は、閲覧者の視界の中心、近中心、黄斑、近周辺、及び中周辺領域のうちの1つ以上を含んでいてもよい。焦点領域412のサイズ及び形状は単に例として示す。焦点領域412及びコンテンツ領域400の相対的サイズも変えてもよい。いくつかの実施形態では、焦点領域412の形状及びサイズを、それぞれの個人ユーザに対して較正してもよく、及び/または閲覧者デモグラフィック情報、閲覧習慣ユーザフィードバック、ユーザ設定などのうちの1つ以上を含む閲覧者のプロファイルに基づいて推定してもよい。いくつかの実施形態では、焦点領域412のサイズをさらに、ディスプレイスクリーンからの閲覧者の距離に基づいて決定してもよい。いくつかの実施形態では、閲覧者の目とディスプレイスクリーン(たとえば、HMD)との間の距離が固定された表示デバイスタイプの場合、焦点領域のサイズ412を概ね同じままであると想定してもよい。

0050

いくつかの実施形態では、再生デバイスを、焦点領域412に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すように構成してもよい。いくつかの実施形態では、コンテンツ領域400を複数の区分を含むグリッドに分割してもよい。いくつかの実施形態では、焦点領域421と重複するコンテンツ領域400の区分は、再生デバイスによって取り出されたコンテンツ項目の高ビットレートバージョンの部分を含んでいてもよい。いくつかの実施形態では、コンテンツ項目を表示するときに、コンテンツ項目の高ビットレートバージョンを、焦点領域412に対応するコンテンツ領域の部分内に表示してもよく、コンテンツ項目の低ビットレートバージョンをコンテンツ領域400の残りの部分内に表示してもよい。いくつかの実施形態では、サーバが規定したコンテンツ領域400の区分のサイズ及び形状に応じて、高ビットレート領域は、焦点領域412のサイズ及び形状に正確にマッチしなくてもよく、しかし焦点領域412を概ね実質的に覆ってもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分を、焦点領域412の形状及びサイズに厳密に一致するように抽出してもよい。

0051

次に図4Bを参照して、別のコンテンツ表示領域の説明図を示す。図4Bのコンテンツ領域400、焦点410、及び焦点領域412は全般的に、図4Aの対応する要素と同様である。いくつかの実施形態では、システムはさらに、図4Bに示すように、焦点領域412を囲む閲覧領域411を決定してもよい。閲覧領域414は全般的に、ユーザには見えるが閲覧者の視界内で焦点が合っていてもよいしそうでなくてもよいコンテンツの領域を指してもよい。いくつかの実施形態では、取り出したコンテンツ項目の低ビットレートバージョンの部分は、閲覧領域414の外側のコンテンツ領域400の領域を除外してもよい。いくつかの実施形態では、取り出したコンテンツ項目の低ビットレートバージョンの部分はさらに焦点領域412を除いて、閲覧者には見えるが焦点が合っていないと想定される領域のみを含んでいてもよい。いくつかの実施形態では、閲覧領域は、閲覧者の視界の近い、中間の、及び遠い周辺視野領域のうちの1つ以上に対応してもよい。

0052

いくつかの実施形態では、コンテンツ領域400は、複数の画像センサによって取り込まれた没入型ビデオコンテンツ及び/または全方位ビデオコンテンツに対応してもよい。閲覧領域414を用いて、複数の別個に符号化されたビデオストリームを選択してつなぎ合わせてもよい。これについては、米国仮特許出願第62/357,259号(2016年6月30日に出願)、発明の名称「APPARATUS AND METHODFORCAPTURING AND DISPLAYING SEGMENTED CONTENT」に記載されている。この文献の全体の開示内容は、本明細書において参照により全体として、本明細書に全て取り入れられている。たとえば、閲覧領域414が、マルチカメラシステムが取り込んだ4つのビデオストリームのうちの2つと重複する場合、取り出したコンテンツ項目の低ビットレートバージョンは2つの対応するストリームのみを含んでいてもよい。いくつかの実施形態では、焦点領域412はまた、再生デバイスにおいてつなぎ合わせられた複数の別個に符号化されたビデオストリームからのデータを含んでいてもよい。

0053

次に図5を参照して、移行領域の説明図を示す。いくつかの実施形態では、図5は、図3のステップ350で表示した合成画像を表してもよい。表示画像は、低ビットレート領域510、高ビットレート領域512、及び移行領域511を含む。移行領域511では、高ビットレート領域512からの情報を含む画素が、高ビットレート領域512から低ビットレート領域510に向けて徐々に低減してもよい。いくつかの実施形態では、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンとブレンドすることは、ブレンドするために移行領域511内の画素をセルにグループ分けすることを含む。いくつかの実施形態では、グループ化された画素の各セットは、コンテンツ項目のバージョンの1つまたは他からのデータを含んでいてもよい。図5では、移行領域511のサイズ及び形状を単に一例として示しており、移行領域511は任意のサイズ、形状、及び厚さであってもよい。全般的に、移行領域511は高ビットレート領域を囲み、高ビットレート領域512と低ビットレート領域510との両方からのインターリーブされたデータを含んで、2つの領域間の境界の見た目を低減する。

0054

次に図6A及び6Bを参照して、三角セルの説明図を示す。図6Aに示すのは、複数の三角セルに分割された球体である。球体は、全方位及び/または没入型ビデオコンテンツのコンテンツ領域に対応してもよい。いくつかの実施形態では、各セルは、画像をブレンドするための単位を含んでいてもよい。いくつかの実施形態では、三角セルは球体の湾曲により良好に適応して、正方形または矩形セルと比べて、ヒトの目に対してそれほど目立たない。三角セルをより小さい三角セルにさらに再分割して、ブレンディングにおいて調整可能な粒度を提供してもよい。図6Bに三角セルを用いたブレンディングを例示する。図6Bのセルは、コンテンツ項目の2つのバージョン間の移行領域の区分を表してもよい。図6Bにおいて、「1」でラベル付けされたセルはコンテンツ項目のあるバージョンからのデータを含んでいてもよく、「2」でラベル付けされたセルはコンテンツ項目の異なるバージョンからのデータを含んでいてもよい。いくつかの実施形態では、より粒度の細かいブレンディングを得るために、図6Bの各セルをより小さい三角セルに再分割してもよい。いくつかの実施形態では、移行領域には任意の数の行または列の三角セルがあってもよい。いくつかの実施形態では、図6A及び6Bに示す各セルを併合または再分割して異なるサイズの三角セルを形成して、画像のブレンドに備えてもよい。

0055

次に図7A及び7Bを参照して、焦点領域の説明図を示す。いくつかの実施形態では、閲覧者の焦点領域を、閲覧者の視界内で焦点が合う可能性があるコンテンツの領域に基づいて決定してもよい。図4A及び4Bでは、焦点領域を長円形に近づけている。いくつかの実施形態では、システムによって焦点領域を円、正方形などに近づけてもよい。図7A及び7Bに、システムが用いる焦点領域の形状を表す他の形状を例示する。図7Aに示す形状は、ヒトの視野の形状を、主軸を揃えて併合した2つの長円形で近似している。図7Bに示す形状は、主軸が互いに垂直な2つの長円形を含んでいる。図7Bに示す形状を用いてフォーカス点の周りにバッファ領域を形成してもよい。ヒトの目の場合、垂直方向または水平方向の動きの方が全般的に、対角線の動きよりもよく起こる。そのため、図7Bに示す形状を用いて焦点領域を近似すれば、閲覧者は、その焦点領域が高ビットレートコンテンツ領域を離れることなく、多少の垂直方向または水平方向の眼球運動を行うことができ得る。いくつかの実施形態では、ここで説明した高ビットレートコンテンツ項目の取り出した部分は、図4A〜4B、7A〜7Bに示した形状、円、正方形、矩形などのうちの1つ以上に対応してもよい。

0056

次に図8を参照して、本発明のいくつかの実施形態により本明細書で示し説明した方法及び技術のいずれかを走らせ、実施し、及び/または実行するために用いてもよいコンテンツを提供及び表示するためのシステムを示す。システムは、データ接続部(たとえばネットワーク)を介して通信するコンテンツサーバ810及び再生デバイス820を含んでいる。

0057

コンテンツサーバ810は、プロセッサ812、メモリ813、及び通信デバイス814を含む。コンテンツサーバ810は全般的に、ネットワークたとえばインターネットを介して再生デバイスがアクセス可能な1つ以上のプロセッサベースのデバイスを含んでいてもよい。いくつかの実施形態では、コンテンツサーバは、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバ、ストリーミングビデオサーバ放送コンテンツサーバ、ソーシャルネットワーキングサーバなどのうちの1つ以上を含んでいてもよい。プロセッサ812は、制御回路中央処理装置ユニットグラフィカルプロセッサユニット(GPU)、マイクロプロセッサビデオデコーダビデオエンコーダなどのうちの1つ以上を含んでいてもよい。メモリ813は、揮発性及び/または不揮発性コンピュータ可読メモリデバイスのうちの1つ以上を含んでいてもよい。いくつかの実施形態では、メモリ813は、プロセッサ812にコンテンツを再生デバイス820に提供させるコンピュータ実行可能コードを記憶する。いくつかの実施形態では、通信デバイス814は、ネットワークアダプタデータポートルータモデムなどのうちの1つ以上を含んでいてもよい。全般的に、通信デバイス814を、プロセッサ812が再生デバイス820と通信できるように構成してもよい。いくつかの実施形態では、プロセッサ812を、再生デバイス820からのリクエストに基づいて、コンテンツ項目の低ビットレートバージョン及びコンテンツ項目の高ビットレートバージョンの部分を再生デバイス820に提供するように構成してもよい。いくつかの実施形態では、リクエストは、リクエストされたコンテンツ項目の識別情報及び/またはコンテンツ項目の閲覧者の焦点領域の表示を含んでいてもよい。いくつかの実施形態では、プロセッサ812を、受け取ったコンテンツ項目に基づいて、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの1つ以上の部分とのうちの少なくとも1つを生成及び/または記憶するように構成してもよい。

0058

メモリ813及び/または別個のコンテンツライブラリは、1つ以上のコンテンツ項目(それぞれ、ビットレートが異なるコンテンツ項目の少なくとも2つのバージョンを含む)を記憶していてもよい。いくつかの実施形態では、コンテンツサーバ810を、取り込みデバイスが記録したコンテンツを再生デバイス820に実質的にリアルタイムでストリーミングするように構成してもよい。いくつかの実施形態では、コンテンツサーバ810を、オンデマンドで再生デバイス820にストリーミング及び/またはダウンロードするための複数の予め記録されたコンテンツ項目のホストとして働くように構成してもよい。図8では1つの再生デバイス820のみを示しているが、コンテンツサーバ810を、複数の取り込みデバイスからコンテンツを同時に受け取り及び/または複数の再生デバイス820に通信デバイス814を介して提供するように構成してもよい。いくつかの実施形態では、コンテンツサーバ810を、取り込みデバイスと再生デバイス820との間のビデオストリームのピアツーピア転送を容易にするように構成してもよい。たとえば、コンテンツ項目の低ビットレートバージョンをピアツーピアネットワークを介して転送してもよく、一方で、高ビットレートコンテンツ項目の部分をコンテンツサーバ810を介して転送してもよい。いくつかの実施形態では、コンテンツサーバ810を、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの部分とを、別個に符号化したビデオストリームにおいて提供するように構成してもよい。

0059

いくつかの実施形態では、コンテンツサーバ810をさらに、再生デバイス820にコンテンツ項目を提供する前にコンテンツ項目を事前処理するように構成してもよい。いくつかの実施形態では、コンテンツサーバ810は、高ビットレートコンテンツの部分を再生デバイス820に提供する前に、コンテンツサーバの高ビットレートバージョンの抽出部分の縁部を、縁部に空/透明画素を含むことによって和らげてもよい。コンテンツ項目の高ビットレートバージョンの事前処理部分を再生デバイス820に提供するときに、再生デバイス820は、2つのバージョンからの画素データをさらなる画像処理を行わずに単純に合成することによって、ビデオストリームをブレンドしてもよい。いくつかの実施形態では、コンテンツサーバ810を、コンテンツ項目の低ビットレートバージョンをコンテンツの高ビットレートバージョンの部分と合成することを、合成コンテンツを再生デバイス820に提供する前に行うように構成してもよい。

0060

1つのコンテンツサーバ810を示しているが、いくつかの実施形態では、コンテンツサーバ810の機能を1つ以上のプロセッサベースのデバイス上で実装してもよい。いくつかの実施形態では、コンテンツの低ビットレートバージョンを提供するためのコンテンツサーバ810と、コンテンツの高ビットレートバージョンを提供するためのコンテンツサーバ810とを、別個に実装してもよい。たとえば、中央コンテンツサーバを、コンテンツの低ビットレートバージョンを提供するように構成してもよく、一方で、複数の地域分散型のコンテンツサーバを、コンテンツの高ビットレートバージョンの部分を再生デバイスに提供するように構成してもよい。

0061

再生デバイス820は、プロセッサ821、メモリ823、表示デバイス825、及びセンサデバイス827を含む。いくつかの実施形態では、再生デバイス820は全般的に、たとえば以下のうちの1つ以上のプロセッサベースのデバイスを含んでいてもよい。ゲームコンソール、メディアコンソールセットトップボックス、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、頭部装着型ディスプレイ(「HMD」)、拡張現実デバイス、仮想現実デバイス、着用可能デバイス、携帯型ユーザデバイス、スマートフォンなど。プロセッサ821は、制御回路、中央処理装置ユニット(CPU)、グラフィカルプロセッサユニット(GPU)、マイクロプロセッサ、ビデオデコーダなどのうちの1つ以上を含んでいてもよい。メモリ823は、揮発性及び/または不揮発性コンピュータ可読メモリデバイスのうちの1つ以上を含んでいてもよい。いくつかの実施形態では、メモリ823は、プロセッサ821にユーザの焦点領域を決定させてコンテンツサーバ810からコンテンツ項目を取り出させるコンピュータ実行可能コードを記憶する。いくつかの実施形態では、再生デバイス820を、コンテンツ項目の低ビットレートバージョンと高ビットレートバージョンの部分とを、コンテンツサーバ810から及び/またはローカルストレージから取り出して、2つのバージョンを合成して合成画像を生成して、表示デバイス825を介してユーザに表示するように構成してもよい。いくつかの実施形態では、メモリ823は、コンテンツサーバ810から取り出した1つ以上のコンテンツ項目のバージョンをバッファに入れるためのバッファを含んでいてもよい。いくつかの実施形態では、メモリ823に記憶されたコンピュータ実行可能コードは、コンピュータプログラム、ソフトウェアプログラム、再生デバイスファームウェアモバイルアプリケーション、ゲーム及び/またはメディアコンソールアプリケーションなどのうちの1つ以上を含んでいてもよい。

0062

表示デバイス825は、閲覧者にコンテンツを表示するためのデバイスを含んでいてもよい。いくつかの実施形態では、表示デバイス825は、モニタ、テレビジョン、頭部装着型ディスプレイ(HMD)、仮想現実表示デバイス、着用可能デバイス、ディスプレイスクリーン、モバイルデバイスなどのうちの1つ以上を含んでいてもよい。いくつかの実施形態では、表示デバイス825は、1つ以上のスクリーンを有する立体表示を含んでいてもよい。

0063

センサデバイス827は、表示デバイス825の閲覧者の焦点及び/または領域を決定するように構成された1つ以上のセンサを含んでいてもよい。いくつかの実施形態では、センサデバイス827は、目及び/または頭部の動きを検出するための画像センサ、光学式リフレクタセンサ、距離センサ、筋電図(EMG)センサ、及び光学式流量センサのうちの1つ以上を含んでいてもよい。いくつかの実施形態では、センサデバイス827は、加速度計及びジャイロスコープ(しばしば磁気計も)の組合せを用いて身体の特定の力、角速度、及び/または身体を囲む磁界を測定及び報告するIMUを含んでいてもよい。いくつかの実施形態では、センサデバイス827をHMD及び/または着用可能デバイスに結合して、センサがユーザの頭部または目の動きを、HMD及び/または着用可能デバイスの動きを介して検出することができるようにしてもよい。いくつかの実施形態では、センサデバイス827は、ユーザの頭部動き及び目の動きのうちの1つ以上を検出するための光学センサを含んでいてもよい。いくつかの実施形態では、センサは、HMD及び/または着用可能デバイスに結合してもよく、及び/または遠方から閲覧者からデータを取り込む相対的に固定されたデバイスであってもよい。

0064

表示デバイス825を再生デバイス820の一部として示しているが、いくつかの実施形態では、表示デバイス825は、別個のプロセッサを伴うかまたは伴わない別個のデバイスを含んでいてもよい。いくつかの実施形態では、表示デバイス825を、有線または無線通信チャネルを介して再生デバイス820に結合してもよい。たとえば、再生デバイス820はPCまたはゲームコンソールを含んでいてもよく、表示デバイス825は、再生デバイス820からのコンテンツを表示するように構成されたHMDを含んでいてもよい。いくつかの実施形態では、センサデバイス827は、再生デバイス820、表示デバイス825の一部であってもよく、及び/または再生デバイス820及び表示デバイス825のうちの1つ以上と通信する物理的に分離されたデバイスであってもよい。いくつかの実施形態では、表示デバイス825及びセンサデバイス827のうちの1つ以上を再生デバイス820と一体化してもよい。いくつかの実施形態では、表示デバイス825はさらに、取り出したコンテンツ及び/またはセンサデバイス827によって検出された閲覧者の目または頭部の動きを少なくとも部分的に記憶するためのプロセッサ及び/またはメモリを含んでいてもよい。

0065

いくつかの実施形態では、再生デバイス820はさらに、通信デバイス(たとえば、ネットワークアダプタ、Wi−Fi送受信デバイスモバイルデータネットワーク送受信デバイスなど)を、コンテンツサーバ810及び/または取り込みデバイスに対してコンテンツ項目をリクエストしてダウンロードするために含んでいてもよい。いくつかの実施形態では、再生デバイス820はさらに、ユーザがコンテンツ項目の選択及び再生を制御するための1つ以上のユーザ入出力デバイス(たとえば、ボタンコントローラキーボード、ディスプレイスクリーン、タッチスクリーンなど)を含んでいてもよい。

0066

いくつかの実施形態では、前述した実施形態、方法、アプローチ、及び/または技術のうちの1つ以上を、プロセッサベースの装置またはシステムによって実行可能な1つ以上のコンピュータプログラムまたはソフトウェアアプリケーション内に実装してもよい。一例として、このようなプロセッサベースの装置またはシステムは、コンピュータ、エンタテインメントシステム、ゲームコンソール、ワークステーショングラフィックスワークステーション、サーバ、クライアント携帯デバイスパッド状デバイスなどを含んでいてもよい。このようなコンピュータプログラム(複数可)を、前述した方法及び/または技術の種々のステップ及び/または特徴を実行するために用いてもよい。すなわち、コンピュータプログラム(複数可)を、プロセッサベースの装置またはシステムに前述した機能を実行及び実現するようにさせるかまたは構成するように適応させてもよい。たとえば、このようなコンピュータプログラム(複数可)を、前述した方法、ステップ、技術、または特徴の任意の実施形態を実装するために用いてもよい。別の例として、このようなコンピュータプログラム(複数可)を、前述の実施形態、方法、アプローチ、及び/または技術のうちのいずれか一つ以上を用いる任意のタイプのツールまたは同様のユーティリティを実装するために用いてもよい。いくつかの実施形態では、コンピュータプログラム(複数可)の内または外にあるプログラムコードマクロモジュールループサブルーチンコールなどを、前述した方法及び/または技術の種々のステップ及び/または特徴を実行するために用いてもよい。いくつかの実施形態では、コンピュータプログラム(複数可)を、コンピュータ可読な記憶デバイスまたは記録媒体もしくは媒体(複数)(たとえば、本明細書で説明したコンピュータ可読な記憶デバイスまたは記録媒体もしく媒体(複数)うちのいずれか)上に記憶または具体化してもよい。

0067

したがって、いくつかの実施形態では、本発明によってコンピュータプログラム製品が提供される。本コンピュータプログラム製品は、コンピュータに入力するためのコンピュータプログラムを具現化するための媒体と、媒体内で具体化されるコンピュータプログラムであって、コンピュータに、本明細書で説明した実施形態、方法、アプローチ、及び/または技術のうちのいずれか一つ以上に含まれるステップのうちのいずれか一つ以上を含むステップを行わせるかまたは実行させるためのコンピュータプログラムと、を含む。たとえば、いくつかの実施形態では、本発明によって、1つ以上のコンピュータプログラムを記憶する1つ以上の非一時的なコンピュータ可読記憶媒体が提供される。1つ以上のコンピュータプログラムは、プロセッサベースの装置またはシステムに、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含むステップを実行させるように適応または構成されている。

0068

本明細書で開示した発明は特定の実施形態及びその応用例によって説明しているが、請求項で述べる本発明の範囲から逸脱することなく、当業者であれば多くの変更及び変形を施すことができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ