図面 (/)

技術 注視追跡のための装置及び方法

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 キャッスルマン、デニスディー.
出願日 2017年5月30日 (2年11ヶ月経過) 出願番号 2018-568225
公開日 2019年9月5日 (8ヶ月経過) 公開番号 2019-525305
状態 不明
技術分野
  • -
主要キーワード ウェアラブルデバイス キイボード ステップ技術 データ地点 カメラ組立体 ストリーミングビデオコンテンツ 光学フロー トラッキングセンサ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

解決手段

注視追跡のための方法が提供される。注視追跡のための方法の一実施形態は、再生装置を介して閲覧者コンテンツ提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて、閲覧者のプロフィールデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置予測することとを含む。同様のステップを実行するシステム、及び各々が1つまたは複数のコンピュータプログラムを格納する非一時的コンピュータ可読記憶媒体も提供される。

概要

背景

注視追跡は、センサを用いて閲覧者注視位置を追跡するプロセスである。注視位置はその後、コンピュータシステムへの入力として利用されてよい。

概要

注視追跡のための方法が提供される。注視追跡のための方法の一実施形態は、再生装置を介して閲覧者にコンテンツ提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて、閲覧者のプロフィールデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測することとを含む。同様のステップを実行するシステム、及び各々が1つまたは複数のコンピュータプログラムを格納する非一時的コンピュータ可読記憶媒体も提供される。

目的

一実施形態は、再生装置を介して閲覧者にコンテンツを提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて、閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測することとを含む注視追跡のための方法を提供する

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

再生装置を介して閲覧者コンテンツ提示することと、前記再生装置に結合された注視追跡装置によって前記閲覧者の注視経路を追跡することと、前記閲覧者の前記注視経路に基づいて閲覧者のプロフィールデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、前記閲覧者のプロフィールに基づいて前記閲覧者のこの先の注視位置予測することとを含む、注視追跡のための方法。

請求項2

前記閲覧者のプロフィールは、前記コンテンツに対応付けられた見込まれる注視経路を含む、請求項1に記載の方法。

請求項3

前記複数の閲覧者のプロフィールは、前記コンテンツを閲覧した複数のユーザの注視経路に基づいて生成された1つまたは複数の閲覧者のプロフィールを含む、請求項1に記載の方法。

請求項4

前記複数の閲覧者のプロフィールは、前記コンテンツの製作後のプロセス中に生じた1つまたは複数のデフォルトの閲覧者のプロフィールを含む、請求項1に記載の方法。

請求項5

前記複数の閲覧者のプロフィールは、前記コンテンツ内の1つまたは複数のオブジェクト動きの追跡に基づいて生成された1つまたは複数の閲覧者のプロフィールを含む、請求項1に記載の方法。

請求項6

前記この先の注視位置に基づいて前記コンテンツの一部を選択することと、前記再生装置において前記コンテンツの前記一部をバッファに格納することとをさらに含む、請求項1〜5のいずれか一項に記載の方法。

請求項7

前記コンテンツの前記一部は、前記この先の注視位置と対応付けられた焦点領域に相当する、請求項6に記載の方法。

請求項8

前記コンテンツの前記一部は、前記コンテンツを含む複数のビデオストリームから選択された1つのビデオストリームに相当する、請求項6に記載の方法。

請求項9

前記この先の注視位置に基づいて追加されるコンテンツに関する挿入位置を決定することをさらに含む、請求項1から5のいずれか一項に記載の方法。

請求項10

前記閲覧者のプロフィールを選択した後、前記閲覧者のその後の注視経路を追跡することと、前記その後の注視経路に基づいて前記複数の閲覧者のプロフィールのうちの異なる1つを選択することとをさらに含む、請求項1から5のいずれか一項に記載の方法。

請求項11

閲覧者のプロフィールのデータベースと、通信装置と、前記閲覧者のプロフィールのデータベース及び前記通信装置と結合されたプロセッサとを備え、前記プロセッサは、前記通信装置に結合された再生装置を介して閲覧者にコンテンツを提示し、前記再生装置に結合された注視追跡装置によって前記閲覧者の注視経路を追跡し、前記閲覧者の前記注視経路に基づいて前記閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択し、かつ前記閲覧者のプロフィールに基づいて前記閲覧者のこの先の注視位置を予測するように構成されている、注視追跡のためのシステム

請求項12

前記閲覧者のプロフィールは、前記コンテンツに対応付けられた見込まれる注視経路を含む、請求項11に記載のシステム。

請求項13

前記複数の閲覧者のプロフィールは、前記コンテンツを閲覧した複数のユーザの注視経路に基づいて生成された1つまたは複数の閲覧者のプロフィールを含む、請求項11に記載のシステム。

請求項14

前記複数の閲覧者のプロフィールは、前記コンテンツの製作後のプロセス中に生じた1つまたは複数のデフォルトの閲覧者のプロフィールを含む、請求項11に記載のシステム。

請求項15

前記複数の閲覧者のプロフィールは、前記コンテンツ内の1つまたは複数のオブジェクトの動きの追跡に基づいて生成された1つまたは複数の閲覧者のプロフィールを含む、請求項11に記載のシステム。

請求項16

前記プロセッサは、前記この先の注視位置に基づいて前記コンテンツの一部を選択し、かつ前記再生装置において前記コンテンツの前記一部をバッファに格納するようにさらに構成される、請求項11〜15のいずれか一項に記載のシステム。

請求項17

前記コンテンツの前記一部は、前記この先の注視位置と対応付けられた焦点領域に相当する、請求項16に記載のシステム。

請求項18

前記コンテンツの前記一部は、前記コンテンツを含む複数のビデオストリームから選択された1つのビデオストリームに相当する、請求項16に記載のシステム。

請求項19

前記プロセッサは、前記この先の注視位置に基づいて追加されるコンテンツに関する挿入位置を決定するようにさらに構成される、請求項11〜15のいずれか一項に記載のシステム。

請求項20

前記プロセッサは、前記閲覧者のプロフィールを選択した後、前記閲覧者のその後の注視経路を追跡し、かつ前記その後の注視経路に基づいて前記複数の閲覧者のプロフィールのうちの異なる1つを選択するようにさらに構成される、請求項11〜15のいずれか一項に記載のシステム。

請求項21

プロセッサベースのシステムに、再生装置を介して閲覧者にコンテンツを提示することと、前記再生装置に結合された注視追跡装置によって前記閲覧者の注視経路を追跡することと、前記閲覧者の前記注視経路に基づいて閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、前記閲覧者のプロフィールに基づいて前記閲覧者のこの先の注視位置を予測することとを含むステップを実行させるように構成された1つまたは複数のコンピュータプログラムを格納する非一時的コンピュータ可読記憶媒体

請求項22

表示装置と、注視追跡装置と、通信装置と、前記表示装置、前記注視追跡装置及び前記通信装置に結合されたプロセッサとを備え、前記プロセッサは、前記表示装置を介して閲覧者にコンテンツを提示し、前記注視追跡装置によって前記閲覧者の注視経路を追跡し、前記閲覧者の前記注視経路に基づいて閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択し、前記閲覧者のプロフィールに基づいて前記閲覧者のこの先の注視位置を予測し、かつ前記通信装置によって、前記この先の注視位置に基づいてコンテンツサーバから前記コンテンツの一部を取り出すように構成されている、注視追跡のためシステム。

請求項23

前記複数の閲覧者のプロフィールは、前記コンテンツを閲覧した複数のユーザの注視経路に基づいて生成された1つまたは複数の閲覧者のプロフィールを含む、請求項22に記載のシステム。

請求項24

前記複数の閲覧者のプロフィールは、前記コンテンツの製作後のプロセス中に生じた1つまたは複数のデフォルトの閲覧者のプロフィールを含む、請求項22に記載のシステム。

請求項25

前記複数の閲覧者のプロフィールは、前記コンテンツ内の1つまたは複数のオブジェクトの動きの追跡に基づいて生成された1つまたは複数の閲覧者のプロフィールを含む、請求項22に記載のシステム。

請求項26

前記プロセッサは、前記この先の注視位置に基づいて選択された前記コンテンツの一部をバッファに格納するようにさらに構成される、請求項22〜25のいずれか一項に記載のシステム。

請求項27

前記プロセッサは、前記閲覧者のプロフィールを選択した後、前記閲覧者のその後の注視経路を追跡し、かつ前記その後の注視経路に基づいて前記複数の閲覧者のプロフィールのうちの異なる1つを選択するようにさらに構成される、請求項22〜25のいずれか一項に記載のシステム。

技術分野

0001

[関連出願の相互参照
本出願は、「APPARATUS AND METHODFOR GAZE TRACKING」という題名で、2016年9月29日に提出された米国特許出願第15/280,962号の継続出願であり、そこからの利益を主張しており、この出願は、「APPARATUS AND METHOD FORCAPTURING AND DISPLAYING SEGMNTED CONTENT」という題名で、2016年6月30日に提出された米国仮特許出願第62/357,259号の利益を主張しており、かつ「APPARATUS AND METHOD FOR PROVIDING AND DISPLAYING CONTENT」という題名で、2016年8月12日に提出された米国仮特許出願第62/374,687号の利益も主張しており、これらの出願の全内容及び全開示は全てこれにより、その全体が本明細書での参照により完全に組み込まれている。

0002

本出願は、発明者Dennis D.Castlemanによる、及び代理人整理番号139592[SCEA16001US01]によって特定される、「APPARATUS AND METHODFORCAPTURING AND DISPLAYING SEGMENTED CONTENT」という題名で、2016年9月29日に提出された米国特許出願第15/280,933号に関連しており、この出願の全内容及び全開示はこれにより、その全体が本明細書での参照により完全に組み込まれている。

0003

本出願はまた、発明者Dennis D.Castlemanによる、及び代理人整理番号139593[SCEA16003US01]によって特定される、「APPARATUS AND METHODFOR PROVIDING AND DISPLAYING CONTENT」という題名で、2016年9月29日に提出された米国特許出願第15/280,947号に関連しており、この出願の全内容及び全開示はこれにより、その全体が本明細書での参照により完全に組み込まれている。

0004

[発明の分野]
本発明は一般にモーショントラッキングに関する。

背景技術

0005

注視追跡は、センサを用いて閲覧者注視位置を追跡するプロセスである。注視位置はその後、コンピュータシステムへの入力として利用されてよい。

0006

一実施形態は、再生装置を介して閲覧者にコンテンツ提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて、閲覧者のプロフィールデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測することとを含む注視追跡のための方法を提供する。

0007

別の実施形態は、閲覧者のプロフィールのデータベースと、通信装置と、閲覧者のプロフィールのデータベース及び通信装置に結合されたプロセッサとを有する注視追跡のためのシステムを提供する。プロセッサは、通信装置に結合された再生装置を介して閲覧者にコンテンツを提示し、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡し、閲覧者の注視経路に基づいて、閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択し、かつ閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測するように構成されている。

0008

別の実施形態は、プロセッサベースのシステムに、再生装置を介して閲覧者にコンテンツを提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて、閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測することとを含むステップを実行させるように構成された1つまたは複数のコンピュータプログラムを格納する非一時的コンピュータ可読記憶媒体を提供する。

0009

別の実施形態は、表示装置と、注視追跡装置と、通信装置と、表示装置、注視追跡装置及び通信装置に結合されたプロセッサとを備える、注視追跡のためのシステムを提供する。プロセッサは、表示装置を介して閲覧者にコンテンツを提示し、注視追跡装置によって閲覧者の注視経路を追跡し、閲覧者の注視経路に基づいて、閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択し、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測し、かつ通信装置によって、この先の注視位置に基づいてコンテンツサーバからコンテンツの一部を取り出すように構成されている。

0010

本発明の種々の実施形態の特徴及び利点のより適切な理解は、本発明の実施形態の原理が利用される例示の実施形態を説明する以下の詳細な記載及び添付の図面を参照して達成されるであろう。

図面の簡単な説明

0011

本発明の実施形態の上記の及び他の態様、特徴及び利点は、後に続く図面と併せて提示される以下のそのより詳細な説明からより明らかになるであろう。
本発明の一部の実施形態による注視を追跡するための方法を例示するフロー図である。
本発明の一部の実施形態による注視を追跡するためのシステムを例示するブロック図である。
本発明の一部の実施形態による注視経路を示す図である。
本発明の一部の実施形態による注視を追跡するためのプロセスを例示するプロセス図である。
本発明の一部の実施形態によるコンテンツを提供するための方法を例示するフロー図である。
本発明の一部の実施形態によるコンテンツを提供するための方法を例示するフロー図である。

実施例

0012

注視追跡は、目の追跡及び/または頭部の追跡を含んでよい。一部の実施形態では、注視追跡は、表示される画像における、及び/または現実世界の状況の中での閲覧者の固視点を特定するために利用されてよい。仮想現実VR)用途及び拡張現実(AR)用途では、システムは、閲覧者の注視位置を利用してユーザに表示するためのコンテンツを決定する場合がある。

0013

まず図1を参照すると、注視を追跡するための方法が示されている。図1におけるステップは、例えばコンピュータシステム、サーバクラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバ、再生装置、表示装置などのうちの1つまたは複数などプロセッサベースの装置によって全体的に実行されてよい。一部の実施形態では、図1におけるステップは、図2を参照して説明されるサーバ210及び再生装置220、図4を参照して説明されるサーバ、及び/または他の同様の装置のうちの1つまたは複数によって実行される場合がある。

0014

ステップ110では、システムは、再生装置を介して閲覧者にコンテンツを提示する。一部の実施形態では、コンテンツは、映画、TVショウ、ビデオクリップ、録画されたビデオコンテンツストリーミングビデオコンテンツ、生中継放送のビデオコンテンツなどのうちの1つまたは複数を含んでよい。いくつかの実施形態において、コンテンツは、立体映像カメラシステム、パノラマカメラシステム、サラウンドビューカメラシステム、360°カメラシステム、全方位カメラシステムなどのうちの1つまたは複数によって取り込まれた単一のビデオストリームまたは複数のビデオストリームを含んでよい。いくつかの実施形態において、コンテンツは、コンテンツサーバから再生装置に流されてよい。いくつかの実施形態において、再生装置は、ゲームコンソールパーソナルコンピュータタブレットコンピュータテレビジョンヘッドマウントディスプレイ(「HMD」)、拡張現実デバイス、仮想現実デバイスウェアラブルデバイス携帯型ユーザデバイススマートフォンなどのうちの1つまたは複数を含んでよい。いくつかの実施形態において、再生装置は、「Head−Mounted Display Tracking」という題名で、2016年3月30日に提出された米国特許出願第15/085,887号に記載されるタイプの装置及び/またはシステムを有する場合もあり、この出願の全開示はこれにより、その全体が本明細書での参照により完全に組み込まれている。

0015

ステップ120では、システムは、閲覧者の注視経路を追跡する。いくつかの実施形態において、注視経路は、再生装置に結合された注視追跡装置によって追跡されてよい。いくつかの実施形態では、注視追跡装置は、閲覧者の目の動き、頭部の動き及び身体の動きのうちの1つまたは複数を追跡するように構成されてよい。いくつかの実施形態において、注視追跡装置は、目の動き及び/または頭部の動きを検出するために画像センサ光学反射板センサ、距離センサ筋電図計測EMG)センサ及び光学フローセンサのうちの1つまたは複数を備えてよい。いくつかの実施形態において、注視追跡装置は、加速度計及びジャイロスコープ、ときには磁気計の組み合わせを利用して、身体の固有の力、角速度及び/または身体を取り巻く磁場を計測し、報告する慣性計測装置IMU)を備える場合がある。いくつかの実施形態において、注視追跡装置は、センサが、HMD及び/またはウェアラブルデバイスの動きを介してユーザの頭部の動きまたは目の動きを検出することを可能にするHMD及び/またはウェアラブルデバイスに結合されてよい。いくつかの実施形態において、注視追跡装置は、ユーザの頭部の動き及び目の動きのうちの1つまたは複数を検出するための光学センサを備えてよい。いくつかの実施形態において、センサは、HMD及び/またはウェアラブルデバイスに結合されてよい、あるいは、特定の距離から閲覧者からのデータを取り込む相対的に静止したデバイスを備える場合もある。いくつかの実施形態において、閲覧者の注視経路は、任意の従来式のアイトラッキングセンサ、ヘッドトラッキングセンサ及び/またはモーショントラッキングセンサによって追跡されてよい。

0016

いくつかの実施形態において、閲覧者の注視経路は、経時的に検出される閲覧者の複数の注視位置及び/または注視方向の記録を含んでよい。いくつかの実施形態において、閲覧者の注視経路は、閲覧者によって閲覧されるコンテンツのタイムスタンプに従って刻印された注視位置及び/または注視方向を含んでよい。いくつかの実施形態において、注視経路における注視位置は、コンテンツの1つまたは複数のフレームと各々関連付けられてよい。いくつかの実施形態において、注視経路は、二次元の注視経路を含む場合がある。いくつかの実施形態において、注視経路は、コンテンツの表示領域に座標を有する注視位置を含んでよい。いくつかの実施形態において、注視経路は、三次元の注視経路を含む場合がある。例えばコンテンツは、閲覧者が、身体の動作及び/または入力装置を利用して三次元の空間内を自由に移動することができる没入型コンテンツを含む場合がある。いくつかの実施形態において、注視経路は、閲覧者の頭部及び/または目ならびに視線の方向に対応するx、y及びz座標を有する。

0017

ステップ130では、システムは、ステップ120において追跡した閲覧者の注視経路に基づいて閲覧者のプロフィールを選択する。いくつかの実施形態において、閲覧者のプロフィールは、閲覧者のプロフィールのデータベースに格納された、そのコンテンツと対応付けられた複数の閲覧者のプロフィールから選択されてよい。いくつかの実施形態において、各閲覧者のプロフィールは、コンテンツに対応付けられた見込まれる注視経路を含んでよい。いくつかの実施形態において、閲覧者のプロフィールは、コンテンツの1つのセグメント及び/またはコンテンツの全体の継続時間に対応付けられてよい。いくつかの実施形態において、見込まれる注視経路は、コンテンツの1つまたは複数のフレームにおける見込まれる固視点を含んでよい。いくつかの実施形態において、閲覧者のプロフィールは、ステップ120において追跡したユーザの注視経路と、コンテンツ内の同一時間の中での複数の閲覧者のプロフィールにおける注視経路とのマッチングに基づいて選択されてよい。いくつかの実施形態において、追跡した注視経路と、閲覧者のプロフィールにおける注視経路とのずれの大きさを求め、最も少ないずれを有する閲覧者のプロフィールを選択することによって、追跡した注視経路は閲覧者のプロフィールと比較されてよい。

0018

いくつかの実施形態において、閲覧者のプロフィールは、コンテンツを閲覧した複数のユーザの注視経路に基づいて生成された1つまたは複数の閲覧者のプロフィールを含んでよい。例えば、システムは、同一コンテンツを閲覧した複数の閲覧者の注視経路を記録してよい。注視経路はその後、互いに対するその類似性によってグループ分けされてよく、よく似た注視経路の各集団に対して1つの閲覧者のプロフィールが形成されてよい。いくつかの実施形態において、閲覧者のプロフィールは、コンテンツの製作後のプロセス中に生じた1つまたは複数のデフォルトの閲覧者のプロフィールを含んでよい。例えばコンテンツの製作者は、彼らが閲覧者の固視位置でありそうだと考える場所に基づいてデフォルトの注視経路を手入力で入力してよい。いくつかの実施形態において、コンテンツをリリースする前に、1人または複数の閲覧者が製作後のプロセス中にコンテンツを閲覧してデフォルトの閲覧者のプロフィールを生成する場合がある。いくつかの実施形態において、閲覧者のプロフィールは、コンテンツ内の1つまたは複数のオブジェクトの動きの追跡に基づいて生成された1つまたは複数の閲覧者のプロフィールを含んでよい。例えばサッカーゲームに対応付けられた閲覧者のプロフィールは、ゲームをしている間のサッカーボールの動きに対応付けられた注視経路を含んでよい。別の例では、閲覧者のプロフィールは、フレーム内で最も速く動いているオブジェクトの後を追う注視経路を含んでよい。さらに別の例では、閲覧者のプロフィールは、コンテンツ内の1人の特定のアクターまたは複数のアクターの後を追う注視経路を含む場合もある。いくつかの実施形態において、コンテンツは、コンテンツ内の1つまたは複数のオブジェクトを識別するためにオブジェクト認識エンジンによって処理される場合もある。識別されたオブジェクトの位置はその後、閲覧者のプロフィールの注視経路を生成するために使用されてよい。

0019

いくつかの実施形態において、コンテンツが最初に閲覧者に示される際、システムは、デフォルトの閲覧者のプロフィールを利用して閲覧者のこの先の注視位置を予測することができ、閲覧者に対応付けられた閲覧者のプロフィールは、注視追跡データ利用可能になったとき、ステップ130においてその後調整されてよい。いくつかの実施形態において、コンテンツが最初に閲覧者に示される際、閲覧者のプロフィールは、年齢性別、場所などの閲覧者の人口統計上の情報に基づいて選択されてよい。いくつかの実施形態において、1つまたは複数のデフォルトの閲覧者のプロフィールは、コンテンツの製作後のプロセス中に生成されてよい。

0020

ステップ140では、システムは、ステップ130で選択された閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測する。いくつかの実施形態において、コンテンツの特定のフレームに関して予測されるこの先の注視位置は、ステップ130で選択された閲覧者のプロフィールにおける見込まれる注視経路の注視位置及び/または注視方向に対応してよい。いくつかの実施形態において、閲覧者のプロフィールにおける見込まれる注視経路は、注視方向情報を含んでよく、システムはまず、注視位置を予測するために見込まれる注視方向に対応するコンテンツ表示領域の一部を特定する。

0021

いくつかの実施形態において、ステップ140で予測されたこの先の注視位置は、コンテンツの表示に影響を与えるためにシステムによって利用されてよい。いくつかの実施形態において、システムは、この先の注視位置に基づいてコンテンツの一部を選択し、再生装置においてコンテンツの一部をバッファに格納して構成されてよい。いくつかの実施形態において、再生装置においてバッファに格納されたコンテンツの一部は、この先の注視位置と対応付けられた焦点領域に相当し得る。いくつかの実施形態において、システムは、「APPARATUS AND METHODFOR PROVIDING AND DISPLAYING CONTENT」という題名で2016年8月12日に提出され、その全開示は、その全体が参照により本明細書に組み込まれている米国仮特許出願第62/374,687号に記載されるように、コンテンツアイテム低ビットレートバージョンと、焦点領域に相当するコンテンツアイテムの高ビットレートバージョンの一部を再生装置に提供するように構成されてよい。高ビットレートバージョンの一部は、ステップ140で予測されたこの先の注視位置に基づいて再生装置において選択される、及び/またはバッファに格納されてよい。

0022

いくつかの実施形態において、コンテンツの一部は、そのコンテンツを含む複数のビデオストリームから選択された1つのビデオストリームに相当する。いくつかの実施形態において、コンテンツは、複数の別々にエンコードされたビデオストリームを含む場合があり、システムは、「APPARATUS AND METHODFORCAPTURING AND DISPLAYING SEGMENTED CONTENT」という題名で、2016年6月30日に提出され、その全開示は、その全体が参照により本明細書に組み込まれている米国仮特許出願第62/357,259号に記載されるように、再生装置に提供するために1つまたは複数のストリームを選択するように構成されてよい。再生装置に提供される1つまたは複数のビデオストリームは、ステップ140で予測されたこの先の注視位置に基づいて選択されてよい。

0023

いくつかの実施形態において、システムは、この先の注視位置に基づいて追加されるコンテンツに関する挿入位置をさらに決定してよい。いくつかの実施形態において、追加されるコンテンツは、警告情報補足情報選択メニュー及び広告コンテンツのうちの1つまたは複数を含んでよい。例えばシステムは、閲覧者の予測された注視位置に基づいてレガシーコンテンツにネイティブ広告を挿入するように構成されてよい。一部の実施形態による予測されたこの先の注視位置に基づいてコンテンツを表示する方法及びシステムの例が、本明細書において図5及び図6を参照して説明される。

0024

いくつかの実施形態において、ステップ140の後に、プロセスは、コンテンツの再生中にステップ120に戻る場合がある。いくつかの実施形態において、システムは、閲覧者のプロフィールを選択した後、閲覧者のその後の注視経路を追跡し、その後の注視経路に基づいて複数の閲覧者のプロフィールのうちの異なる1つを選択してよい。いくつかの実施形態において、ステップ130において閲覧者のために選択された閲覧者のプロフィールは、閲覧者がコンテンツを閲覧する際、任意の数の時間の長さを変更する場合がある。いくつかの実施形態において、ステップ130は、周期的に(例えば1秒、2秒、240フレームなど)繰り返されてよい。いくつかの実施形態において、ステップ130は、見込まれる注視経路からかなりのずれが検出された場合、繰り返される場合がある。

0025

次に図2を参照すると、本発明の一部の実施形態に従って本明細書に示され記載される方法及び技術のいずれかを実施する、実装する及び/または実行するのに使用され得る注視追跡のためのシステムが示されている。システムは、ネットワークなどのデータ通信を介して通信するサーバ210と、再生装置220とを含む。

0026

サーバ210は、プロセッサ212と、メモリ213と、通信装置214とを含む。サーバ210は、インターネットなどのネットワークを介して再生装置によってアクセス可能な1つまたは複数のプロセッサベースの装置を一般的に含んでよい。いくつかの実施形態において、コンテンツサーバは、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバ、ストリーミングビデオサーバブロードキャストコンテンツサーバ、ソーシャルネットワーキングサーバなどのうちの1つまたは複数を含んでよい。プロセッサ212は、制御回路中央プロセッサ装置、グラフィカルプロセッサ装置(GPU)、マイクロプロセッサビデオデコーダビデオエンコーダなどのうちの1つまたは複数を含んでよい。メモリ213は、揮発性及び/または不揮発性のコンピュータ可読メモリ装置のうちの1つまたは複数を含んでよい。いくつかの実施形態において、メモリ213は、プロセッサ212に再生装置220にコンテンツを提供するようにさせるコンピュータ実行可能コードを格納する。いくつかの実施形態において、通信装置214は、ネットワークアダプターデータポートルータモデムなどのうちの1つまたは複数を含んでよい。一般に、通信装置214は、プロセッサ212が再生装置220と通信することを可能にするように構成されてよい。いくつかの実施形態において、プロセッサ212は、再生装置220によって検出されたユーザの注視経路を、閲覧者のプロフィールのデータベース219に保管された閲覧者のプロフィールと照合するように構成されてよい。いくつかの実施形態において、サーバ210は、選択された閲覧者のプロフィールに基づいて再生装置220にコンテンツを提供するように構成されたコンテンツサーバをさらに備えてよい。いくつかの実施形態において、サーバ210は、キャプチャ装置によって記録されたコンテンツをほぼリアルタイムで再生装置220に流すように構成されてよい。いくつかの実施形態において、サーバ210は、オンデマンド方式で再生装置220に流す、及び/またはダウンロードするために、複数の事前に記録されたコンテンツアイテムをホストするように構成される場合もある。

0027

閲覧者のプロフィールのデータベース219は、1つまたは複数のコンテンツアイテムに対応付けられた複数の閲覧者のプロフィールを格納するコンピュータ可読メモリ記憶装置を備えてよい。いくつかの実施形態において、閲覧者のプロフィールは、特定のコンテンツアイテムに各々対応付けられてよく、コンテンツに対応付けられた見込まれる注視経路を含んでよい。いくつかの実施形態において、見込まれる注視経路は、コンテンツの1つまたは複数のフレームにおける見込まれる固視点及び/または視線の方向を含んでよい。いくつかの実施形態において、各閲覧者のプロフィールは、コンテンツの1つのセグメント及び/またはコンテンツの全体の継続時間に対応付けられてよい。

0028

いくつかの実施形態において、閲覧者のプロフィールのデータベース219における閲覧者のプロフィールは、コンテンツを閲覧した複数のユーザの注視経路に基づいて生成された1つまたは複数の閲覧者のプロフィールを含んでよい。例えばシステムは、同一コンテンツを閲覧した複数の閲覧者の注視経路を記録してよい。注視経路は、互いに対するその類似性によってグループ分けされてよく、よく似た注視経路の各集団に対して1つの閲覧者のプロフィールが形成されてよい。いくつかの実施形態において、例えばスポーツイベントなどの生中継放送コンテンツの場合、閲覧者のプロフィールは、放送されたコンテンツの閲覧者と比べて時間の遅延が全くないか、または遅延がより小さい状態でコンテンツを閲覧するモデル閲覧者の注視経路に基づいて確立されてよい。いくつかの実施形態において、閲覧者のプロフィールのデータベース219における閲覧者のプロフィールは、コンテンツの製作後のプロセス中に生じた1つまたは複数のデフォルトの閲覧者のプロフィールを含んでよい。いくつかの実施形態において、コンテンツが放送するためにリリースされる前に、1人または複数の閲覧者が製作後のプロセス中にコンテンツを閲覧してデフォルトの閲覧者のプロフィールを生成する場合がある。いくつかの実施形態において、閲覧者のプロフィールのデータベース219における閲覧者のプロフィールは、コンテンツ内の1つまたは複数のオブジェクトの動きの追跡に基づいて生成された1つまたは複数の閲覧者のプロフィールを含んでよい。例えばサッカーゲームに対応付けられた閲覧者のプロフィールは、ゲームをしている間、サッカーボールの動きに対応付けられた注視経路を含んでよい。別の例では、閲覧者のプロフィールのデータベース219における閲覧者のプロフィールは、フレーム内の最も速く動いているオブジェクトの後を追う注視経路を含む場合もある。さらに別の例では、閲覧者のプロフィールのデータベース219における閲覧者のプロフィールは、コンテンツ内の1人の特定のアクターまたは複数のアクターの後を追う注視経路を含む場合もある。いくつかの実施形態において、コンテンツは、コンテンツ内の1つまたは複数のオブジェクトを識別するためにオブジェクト認識エンジンによって処理される場合がある。コンテンツのフレーム内の識別されたオブジェクトの位置はその後、閲覧者のプロフィールに関する注視経路を生成するために使用されてよい。いくつかの実施形態において、閲覧者のプロフィールのデータベース219における1つまたは複数の閲覧者のプロフィールは、閲覧者の人口統計上の情報(例えば性別、年齢、場所など)と対応付けられてよい。追跡した注視経路が利用できない場合、閲覧者のプロフィールは、閲覧者の人口統計上の情報から選択されてよい。

0029

1つの再生装置220のみが図2に示されているが、一部の実施形態では、サーバ210は、同時に(複数の)閲覧者のプロフィールを選択する、及び/または通信装置214を介して複数の再生装置220にコンテンツを同時に提供するように構成される場合もある。いくつかの実施形態において、サーバ210は、キャプチャ装置と、再生装置220との間のビデオストリームのピアツーピア転送を促進するように構成されてよい。いくつかの実施形態において、サーバ210は、複数の再生装置220から受信した閲覧者の注視経路の記録に基づいて閲覧者のプロフィールのデータベース219に閲覧者のプロフィールを加える、及び/またはその中の閲覧者のプロフィールを修正するように構成されてよい。例えば閲覧者の1つのグループが、閲覧者のプロフィールのデータベース219内の既存の閲覧者のプロフィールとあまり一致しないコンテンツの一部に関してよく似た注視経路を共有する場合、サーバ210は、このよく似た注視経路のグループに基づいて新たな閲覧者のプロフィールを形成する場合がある。いくつかの実施形態において、システムは、閲覧者の人口統計を利用して、1つまたは複数の閲覧者のプロフィールと対応付けられた人口統計を更新してよい。1つのサーバ210が示されているが、一部の実施形態では、サーバ210の機能は、1つまたは複数のプロセッサベースの装置において履行される場合もある。

0030

再生装置220は、プロセッサ221と、メモリ223と、表示装置225と、センサ装置227とを備える。いくつかの実施形態において、再生装置220は一般に、ゲームコンソール、メディアコンソールセットトップボックス、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、ヘッドマウントディスプレイ(「HMD」)、拡張現実デバイス、仮想現実デバイス、ウェアラブルデバイス、携帯型ユーザデバイス、スマートフォンなどのうちの1つまたは複数などのプロセッサベースの装置を含んでよい。プロセッサ221は、制御回路、中央プロセッサ装置(CPU)、グラフィカルプロセッサ装置(GPU)、マイクロプロセッサ、ビデオデコーダなどのうちの1つまたは複数を含んでよい。メモリ223は、揮発性及び/または不揮発性のコンピュータ可読メモリ装置のうちの1つまたは複数を含んでよい。いくつかの実施形態において、メモリ223は、プロセッサ221にセンサ装置227を利用して閲覧者の注視経路を追跡させるコンピュータ実行可能コードを格納している。いくつかの実施形態において、再生装置220は、サーバ210から取り出された、及び/またはローカルに保管された閲覧者のプロフィールに基づいてこの先の注視位置を予測するように構成されてよい。いくつかの実施形態において、再生装置220は、サーバ210からコンテンツを取り出す、及び/または閲覧者の予測された注視位置に基づいてローカルにコンテンツをレンダリングするように構成されてよい。いくつかの実施形態において、メモリ223は、サーバ210から表示装置225上で閲覧されるコンテンツの一部をバッファに格納するためのバッファを有してよい。いくつかの実施形態において、メモリ223に格納されたコンピュータ実行可能コードは、コンピュータプログラム、ソフトウェアプログラム、再生装置ファームウェアモバイルアプリケーション、ゲーム及び/またはメディアコンソールアプリケーションなどのうちの1つまたは複数を含んでよい。

0031

表示装置225は、閲覧者にコンテンツを表示するための装置を備えてよい。いくつかの実施形態において、表示装置225は、モニター、テレビジョン、ヘッドマウントディスプレイ(HMD)、仮想現実表示装置、ウェアラブルデバイス、ディスプレイスクリーンモバイル装置などのうちの1つまたは複数を含んでよい。いくつかの実施形態において、表示装置225は、1つまたは複数のスクリーンを有する立体的ディスプレイを備える場合がある。

0032

センサ装置227は、表示装置225の閲覧者の注視を追跡するように構成された1つまたは複数のセンサを備えてよい。いくつかの実施形態において、センサ装置227は、目及び/または頭部の動きを検出するための画像センサ、光学反射板センサ、距離センサ、筋電図計測(EMG)センサ及び光学フローセンサのうちの1つまたは複数を備えてよい。いくつかの実施形態において、センサ装置227は、加速度計及びジャイロスコープ、ときには磁気計の組み合わせを利用して、身体の固有の力、角速度及び/または身体を取り巻く磁場を計測し、報告するIMUを備える場合がある。いくつかの実施形態において、センサ装置227は、HMD及び/またはウェアラブルデバイスの動きを介してセンサがユーザの頭部または目の動きを検出することを可能にするHMD及び/またはウェアラブルデバイスに結合されてよい。いくつかの実施形態において、センサ装置227は、ユーザの頭部の動き及び目の動きのうちの1つまたは複数を検出するためのカメラを備える場合がある。いくつかの実施形態において、センサ装置227は、HMD及び/またはウェアラブルデバイスに結合されてよい、または特定の距離から閲覧者からのデータを取り込む相対的に静止した装置を備える場合もある。

0033

表示装置225は、再生装置220の一部として示されているが、いくつかの実施形態において、表示装置225は、別個のプロセッサを備えた、または備えていない別個の装置を備える場合もある。いくつかの実施形態において、表示装置225は、有線または無線通信チャネルを介して再生装置220に結合されてよい。例えば再生装置220は、PCまたはゲームコンソールを備えてよく、表示装置225は、再生装置220からコンテンツを表示するように構成されたHMDを備えてよい。いくつかの実施形態において、センサ装置227は、再生装置220、表示装置225の一部であってよい、及び/または再生装置220及び表示装置225のうちの1つまたは複数と通信する物理的に離れた装置である場合もある。いくつかの実施形態において、表示装置225及びセンサ装置227のうちの1つまたは複数は、再生装置220と一体式であってよい。いくつかの実施形態において、表示装置225は、取り出したコンテンツ及び/またはセンサ装置227によって検出された閲覧者の目の動きまたは頭部の動きの少なくとも一部を記憶するためにプロセッサ及び/またはメモリをさらに備えてよい。

0034

いくつかの実施形態において、再生装置220は、サーバ210及び/またはキャプチャ装置と通信するために、例えばネットワークアダプター、WiーFiトランシーバモバイルデータネットワークトランシーバなどの通信装置をさらに含んでよい。いくつかの実施形態において、再生装置220は、コンテンツアイテムの選択及び再生を制御するために、ユーザのために、動作追跡装置、ボタンコントローラキイボード、ディスプレイスクリーン、タッチスクリーンなどの1つまたは複数のユーザ入/出力装置をさらに含んでよい。いくつかの実施形態において、入力装置は、没入型のリアリティコンテンツの中を自由に移動するために閲覧者によってさらに利用されてよい。

0035

次に図3を参照すると、本発明の一部の実施形態による注視経路の例証が示されている。図3では、コンテンツエリア300は、コンテンツの表示領域を表しており、注視経路301、303及び302は、コンテンツの再生の同一の時間帯カバーし、異なる閲覧者のプロフィールと対応付けられた注視経路を表している。図3において、閲覧者の追跡された注視経路が注視経路310に相当する場合、システムは、この閲覧者を注視経路302と対応付けられた閲覧者のプロフィールに一致させてよい。時間と共に継続して注視経路302の後をたどることによって、閲覧者のこの先の注視位置をその後予測することができる。いくつかの実施形態において、閲覧者は、注視経路302からのかなりずれが検出されるまで、注視経路302と対応付けられてよい。

0036

図3に示される注視経路は、単に例示の目的で提供されており、実際の注視経路を必ずしも表していない場合もある。二次元の注視経路が示されているが、いくつかの実施形態において、閲覧者のプロフィールに対応付けられた注視経路は、三次元空間の中に注視経路を有する場合もある。例えばコンテンツは、閲覧者が三次元空間内を自由に移動し得る没入型コンテンツを有する場合がある。いくつかの実施形態において、注視経路を含む注視位置はこのとき、仮想空間において、及び視線の方向での基準点からのx、y及びz座標を各々含んでよい。図3における注視経路は細い線として示されているが、いくつかの実施形態において、注視経路は、広帯域の領域及び/または視線の方向を有する場合もある。

0037

次に図4を参照すると、本発明の一部の実施形態によるプロセスの図式が示されている。いくつかの実施形態において、図4におけるサーバは、図2を参照して説明したサーバ210または同様の装置を備えてよい。図4における再生装置は、図2を参照して説明した再生装置220または同様の装置を備えてよい。図4では、再生装置の注視追跡装置410はまずユーザの注視位置を検出し、注視経路412を特定する。注視経路412はその後、サーバに提供される。いくつかの実施形態において、各注視経路データ地点は、それらが集められてからサーバに転送され、サーバは、データ地点統合して注視経路を形成することができる。ステップ416では、サーバは、注視経路412を複数の閲覧者のプロフィール414と照合することによって閲覧者を選択する。ステップ420では、サーバは、選択された閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測する。ステップ430では、システムは、予測された注視位置に基づいて再生装置に提供するためのコンテンツの一部を選択する。いくつかの実施形態において、コンテンツの一部は、コンテンツファイル432から取り出されてよい、及び/または抽出されてよい。いくつかの実施形態において、コンテンツの一部は、コンテンツを含む1つまたは複数のビデオストリームに対応する場合がある。いくつかの実施形態において、コンテンツの一部は、コンテンツの高ビットレートバージョンの一部を含んでよい。ステップ434では、コンテンツの一部は、再生装置においてバッファに格納される。ステップ436では、コンテンツの一部を含むコンテンツがユーザに表示される。

0038

いくつかの実施形態において、ステップ416、420及び430のうちの1つまたは複数は再生装置によって実行されてよい。例えば複数の閲覧者のプロフィールは、再生装置に予めロードされてよい。再生装置は、検出された注視経路412及び複数のローカルに保管された閲覧者のプロフィールに基づいて注視位置を予測するように構成されてよい。いくつかの実施形態において、再生装置は、予測された注視位置に基づいてコンテンツの一部を特定するリクエストをサーバに送信するように構成されてよい。いくつかの実施形態において、取り出したコンテンツをバッファに格納する代わりに、再生装置は、ローカルに保管された、及び/または流されたコンテンツファイルを利用して、予測された注視位置に基づいてコンテンツのレンダリングを開始するように構成される場合もある。

0039

次に図5を参照すると、コンテンツを提供するための方法が示されている。図5におけるステップは、ヘッドマウントディスプレイ(「HMD」)、拡張現実デバイス、仮想現実デバイス、ウェアラブルデバイス、携帯型ユーザデバイス、スマートフォン、パーソナルコンピュータ、サーバ装置、テレビジョン、タブレットコンピュータ、ゲームコンソールなどのうちの1つまたは複数などのプロセッサベースの装置によって全体的に実行されてよい。いくつかの実施形態において、図5におけるステップは、図2を参照して説明したサーバ210及び再生装置220、図4を参照して説明したサーバ、及び/または他の同様の装置のうちの1つまたは複数によって実行されてよい。

0040

ステップ510では、システムは、コンテンツアイテムを閲覧しているユーザの視線の方向を予測する。いくつかの実施形態において、ユーザの視線の方向は、頭部の方向及び目の方向のうちの1つまたは複数を含んでよい。いくつかの実施形態において、視線の方向は、図1を参照して説明した方法または同様の方法において予測されたこの先の注視位置に基づいて予測された方向を含んでよい。いくつかの実施形態において、閲覧者の視線の方向の履歴を含む閲覧者の注視経路は、閲覧者のプロフィールにおける複数の注視経路と比較されてよい。閲覧者の注視経路が閲覧者のプロフィールにおける注視経路と一致する場合、この一致する注視経路に基づいて閲覧者のこの先の視線の方向が予測されてよい。

0041

コンテンツアイテムは、パノラマカメラシステム、サラウンドビューカメラシステム、360°カメラシステム、全方向性カメラシステムなどのうちの1つまたは複数によって取り込まれた複数のビデオストリームを含んでよい。いくつかの実施形態において、コンテンツアイテムは、パノラマビデオ、没入型ビデオ及び/または無指向性ビデオのうちの1つまたは複数に対応するセグメント化されたコンテンツを含んでよい。いくつかの実施形態において、複数のビデオストリームの各々は、カメラ組立体の別個の画像センサによって取り込まれてよい。いくつかの実施形態において、コンテンツアイテムは、事前に記録された、またはリアルタイムのストリーミングコンテンツを含んでよい。コンテンツアイテムは、再生装置にアクセス可能なサーバ上にホストされた複数の個々にエンコードされたビデオストリームを含んでよい。

0042

いくつかの実施形態において、ステップ510の後、システムは、コンテンツアイテムの1つまたは複数のビデオストリームが、コンテンツアイテムを閲覧中のユーザの予測される閲覧領域の範囲内にあるかどうかを判断することができる。いくつかの実施形態において、ユーザの予測される閲覧領域は、選択された閲覧者のプロフィールに基づいて予測された視線の方向に対応する固視点を取り囲む特定の領域に相当し得る。いくつかの実施形態において、視線の方向は、1つまたは複数の入力装置を介するユーザの入力に基づいてよい。例えばユーザは、ジョイスティックタッチパッドマウス方向キーなどを使用して視線の方向を変えることができる。閲覧領域はこのとき、視線の方向に対応付けられた表示領域に対応してよい。いくつかの実施形態において、1つのビデオストリームのみが閲覧領域の範囲内にある場合、システムは、ユーザに表示するために、選択されたビデオストリームを取り出す、及び/またはデコードするだけでよい。いくつかの実施形態において、2つ以上のビデオストリームがユーザの閲覧領域の範囲内にある場合、システムは、ステップ520〜540を実行することができる。

0043

ステップ520では、システムは、コンテンツアイテムの2つ以上のビデオストリームを選択する。ビデオストリームの選択は、ステップ510において予測されたユーザの視線の方向、及びコンテンツアイテムの複数のビデオストリームに対応付けられた方向データに基づいてよい。複数のビデオストリームの方向データは、コンテンツアイテムを記録するキャプチャシステムによって記録され、コンテンツアイテムファイルの一部として含まれてよい。いくつかの実施形態において、キャプチャシステムは、コンテンツアイテムを記録する間、キャプチャシステムの配向を記録するために1つまたは複数のIMUを含んでよい。コンテンツアイテムの現行セクションに対応付けられたIMUデータは、ユーザの予測される視線の方向に対応するビデオストリームを特定するために、ユーザの予測される視線の方向と比較されてよい。

0044

いくつかの実施形態において、2つ以上のビデオストリームを選択することは、選択したビデオストリームをバッファまたはキャッシュにロードしてデコードすることを含む。いくつかの実施形態において、2つ以上のビデオストリームを選択することは、コンテンツアイテムをホストするサーバから選択したストリームを取り出すことを含む。いくつかの実施形態において、ステップ510及びステップ520は、コンテンツサーバ、再生装置及び/または第3の装置によって実行されてよい。

0045

ステップ530では、システムは、ステップ520で選択された2つ以上のビデオストリームをデコードして、2つ以上の復号されたビデオストリームを形成する。いくつかの実施形態において、デコーディングは、再生装置にある画像もしくはビデオデコーダハードウェア及び/またはソフトウェアモジュールによって実施されてよい。

0046

ステップ540では、システムは、2つ以上の復号されたビデオストリームをつなぎ合わせて組み合わされた画像を形成する。いくつかの実施形態において、ビデオストリームは、ビデオストリームのアライニングワーピングブレンディングのうちの1つまたは複数を含む方法など既知スティッチ法に従ってつなぎ合わせることができる。いくつかの実施形態において、画像のアライニングは、特徴及び/またはキーポイント検出を介して再生装置において実行される場合もある。

0047

いくつかの実施形態において、システムは、ユーザの予測される閲覧領域に基づいてビデオストリームの一部を選択的につなぎ合わせるようにさらに構成されてよい。例えば2つのビデオストリームの重なり合う領域の一部のみが、ユーザの予測される閲覧領域の範囲内にある場合、システムは、この予測に基づいてユーザにとって見ることができると推定される重なり合う領域の一部をブレンドするだけでよい。いくつかの実施形態において、ブレンディングの度合いは、視野の中でのその領域の位置にさらに左右される場合がある。例えば、重なり合う領域が、ユーザの視野の周辺領域内にある場合、おおざっぱな(例えばあまり計算的に要求が厳しくない)ブレンディングが行われてよく、重なり合う領域が、ユーザの見込まれる固視点の付近にある場合、より大規模なブレンディングが行われる可能性がある。いくつかの実施形態において、2つ以上の復号されたビデオストリームをつなぎ合わせる作業は、再生装置に関連付けられる歪み及びゆがみに基づいて画像を組み合わせることをさらに含む。

0048

ステップ550では、システムは、ステップ540において生成された組み合わされた画像がユーザに表示されるようにする。いくつかの実施形態において、画像は、フラットスクリーン表示装置またはヘッドマウントディスプレイに表示されてよい。いくつかの実施形態において、ステップ550の前に、システムは、表示装置と対応付けられたパラメータに基づいて組み合わせた画像をさらに調整する。いくつかの実施形態において、システムは、3D及び/または仮想現実表示装置のために立体画像を生成する場合もある。いくつかの実施形態において、システムは、表示装置の表示解像度に基づいて組み合わせた画像の解像度を調整してよい。いくつかの実施形態において、システムは、表示装置に関連付けられる歪み及びゆがみに基づいて画像を調整する場合もある。

0049

いくつかの実施形態において、ステップ510〜550は、ユーザがコンテンツアイテムを閲覧している間、自分の視線の方向を変えるのにつれて継続的に繰り返されてよい。いくつかの実施形態において、ステップ510においてユーザの視線の方向を予測するのに選択された閲覧者のプロフィールは、コンテンツアイテムを閲覧している間、任意の数の時間の長さを変更する場合がある。いくつかの実施形態において、ステップ510において予測される視線の方向に応じて、ステップ520〜ステップ540において選択され、デコードされ、つなぎ合わされたビデオストリームは経時的に変化する場合がある。

0050

次に図6を参照すると、コンテンツを提供するための方法が示されている。図6におけるステップは、コンピュータシステム、サーバ、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバなどのうちの1つまたは複数などプロセッサベースの装置によって全体的に実行されてよい。いくつかの実施形態において、図6におけるステップは、図2を参照して説明したサーバ210及び再生装置220、図4を参照して説明したサーバ、及び/または他の同様の装置のうちの1つまたは複数によって実行されてよい。

0051

ステップ610では、システムは、コンテンツアイテムの閲覧者のこの先の注視位置を予測する。いくつかの実施形態において、ユーザの注視位置は、頭部の方向及び目の方向のうちの1つまたは複数を含んでよい。いくつかの実施形態において、この先の注視位置は、図1を参照して説明した方法または同様の方法に基づいて予測されてよい。いくつかの実施形態において、閲覧者の注視位置の履歴を含む注視経路は、閲覧者のプロフィールにおける複数の注視経路と比較されてよい。閲覧者の注視経路が、閲覧者のプロフィールの注視経路と一致した場合、この一致する注視経路に基づいて閲覧者のこの先の注視位置が予測されてよい。いくつかの実施形態において、ステップ610は、コンテンツサーバ、再生装置及び/または第3の装置によって実行されてよい。

0052

ステップ620では、再生装置は、コンテンツアイテムの低ビットレートバージョンを取り出す。いくつかの実施形態において、再生装置は、コンテンツアイテムを取り出すために、ステップ620においてコンテンツアイテムをホストしているサーバにコンテンツリクエストを送信する。コンテンツアイテムの低ビットレートバージョンは、コンテンツプロバイダ及び/またはホスティングサービスによって生成されたコンテンツアイテムの低下されたビットレートバージョンを含んでよい。いくつかの実施形態において、ステップ620は、ステップ610に先だって行われる場合もあり、コンテンツアイテムの低ビットレートバージョンは、閲覧者の焦点領域が特定される、または予測される前にダウンロードされる、バッファに格納される、及び/または閲覧され始めてよい。

0053

ステップ630では、再生装置は、コンテンツアイテムの高ビットレートバージョンの一部を取り出す。いくつかの実施形態において、再生装置は、コンテンツアイテムの高ビットレートバージョンの一部を取り出すために、ステップ610で予測した閲覧者の焦点領域を識別するコンテンツリクエストをサーバに送信する。いくつかの実施形態において、サーバは、焦点領域を予測し、コンテンツアイテムの高ビットレートバージョンの対応する部分を再生装置に送信するように構成されてよい。一般に、取り出された部分は、閲覧者の予測される焦点領域に基づいて選択されたコンテンツの空間的な部分を含んでよい。いくつかの実施形態において、取り出された部分は、コンテンツアイテムの特定の領域の短い一時的な区分を含んでよい(例えばミリ秒、秒、フレームなど)。いくつかの実施形態において、コンテンツアイテムの高ビットレートバージョンの一部は、ステップ620において取り出されたコンテンツアイテムの低ビットレートバージョンとは別個にエンコードされたビデオストリームの中で取り出されてよい。いくつかの実施形態において、コンテンツアイテムの低ビットレートバージョンは、コンテンツアイテムの高ビットレートバージョンの取り出しより先にバッファに格納されてよい。

0054

ステップ640では、システムは、コンテンツアイテムの高ビットレートバージョンの一部を、コンテンツアイテムの低ビットレートバージョンと組み合わせて組み合わされた画像を生成する。いくつかの実施形態において、ステップ640において、システムはまず、ステップ630において取り出したコンテンツアイテムの高ビットレートバージョンの一部と、ステップ620において取り出したコンテンツアイテムの低ビットレートバージョンをデコードする。いくつかの実施形態において、コンテンツアイテムの低ビットレートバージョンと、高ビットレートバージョンの解像度及び/またはフレーム率が異なる場合、システムは、画像を組み合わせる前に、バージョンの少なくとも一方の解像度及び/またはフレーム率をまず調節する場合がある。

0055

ステップ650では、組み合わせた画像が表示装置に表示される。いくつかの実施形態において、表示装置は、モニター、テレビジョンセットプロジェクタ、ヘッドマウントディスプレイ(HMD)、仮想現実表示装置、ウェアラブルデバイス、ディスプレイスクリーン、モバイル装置などのうちの1つまたは複数を含んでよい。いくつかの実施形態において、ステップ650の前に、システムは表示装置の仕様に基づいて組み合わせた画像をさらに調整する場合がある。例えば仮想現実表示装置の場合、システムは、装置に対応付けられた歪み及びゆがみに対して調整されてよい。

0056

いくつかの実施形態において、ステップ610〜650は、閲覧者がコンテンツアイテムを閲覧する際、継続的に繰り返されてよい。いくつかの実施形態において、ステップ610においてユーザの焦点領域を予測するために選択された閲覧者のプロフィールは、コンテンツアイテムを閲覧している間、任意の数の時間の長さを変更する場合がある。いくつかの実施形態において、ステップ610において予測された焦点領域に基づいて、コンテンツアイテムの高ビットレートバージョンの異なる部分がステップ630において取り出され、経時的にステップ640において低ビットレートバージョンと組み合わされてよい。いくつかの実施形態において、ステップ620は、ステップ610及びステップ630と独立して行われてよい。

0057

いくつかの実施形態において、システムは、閲覧者の閲覧領域を予測し、ステップ620において閲覧者の閲覧領域に基づいて低ビットレートのコンテンツの一部のみを取り出すようにさらに構成されてよい。閲覧者の閲覧領域は、ステップ610における焦点領域の予測と同様に、閲覧者のプロフィールに対する閲覧者のマッチングに基づいて予測されてよい。閲覧者の閲覧領域は一般に、ユーザにとって見ることが可能なコンテンツの領域を指してよいが、閲覧者の視野における焦点である場合、または焦点ではない場合がある。

0058

いくつかの実施形態において、上記に記載した実施形態、方法、手法及び/または技術のうちの1つまたは複数は、プロセッサベースの装置またはシステムによって実行可能な1つまたは複数のコンピュータプログラムまたはソフトウェアアプリケーションにおいて実施されてよい。一例として、そのようなプロセッサベースの装置またはシステムは、コンピュータ、エンターテイメントシステム、ゲームコンソール、ワークステーショングラフィックワークステーション、サーバ、クライアント携帯型装置パッド式装置などを含んでよい。そのようなコンピュータプログラム(複数可)は、上記に記載した方法及び/または技術の様々なステップ及び/または特徴を実行するために使用されてよい。すなわち、コンピュータプログラム(複数可)は、プロセッサベースの装置またはシステムに上記に記載した機能を実行し、達成させる、またはプロセッサベースの装置またはシステムを上記に記載した機能を実行し、達成するように構成するように適合されてよい。例えばそのようなコンピュータプログラム(複数可)は、上記に記載した方法、ステップ技術または特徴の任意の実施形態を実施するために使用されてよい。別の例として、そのようなコンピュータプログラム(複数可)は、上記に記載した実施形態、方法、手法及び/または技術のうちの任意の1つまたは複数を利用する任意のタイプのツールまたは同様のユーティリティを実装するために使用される場合もある。いくつかの実施形態において、上記に記載した方法及び/または技術の様々なステップ及び/または特徴を実行するために、コンピュータプログラム(複数可)内の、またはコンピュータプログラム(複数可)を持たないプログラムコードマクロモジュールループサブルーチンコールなどが使用されてよい。いくつかの実施形態において、コンピュータプログラム(複数可)は、コンピュータ可読記憶装置、もしくは1つまたは複数の記録媒体、例えば本明細書に記載されるコンピュータ可読記憶装置もしくは1つまたは複数の記録媒体に格納される、またはそこに取り込まれてよい。

0059

したがっていくつかの実施形態において、本発明は、コンピュータへの入力のためにコンピュータプログラムを取り込むための媒体と、コンピュータに、本明細書に記載される実施形態、方法、手法及び/または技術のうちの任意の1つまたは複数に含まれるステップのうちの任意の1つまたは複数を含むステップを実施させる、または実行させるために、媒体に取り込まれたコンピュータプログラムとを備えるコンピュータプログラム製品を提供する。例えばいくつかの実施形態において、本発明は、再生装置を介して閲覧者にコンテンツを提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測することとを含むステップをプロセッサベースの装置またはシステムに実行させるように適合された、またはそのように構成された1つまたは複数のコンピュータプログラムを格納する1つまたは複数の非一時的コンピュータ可読記憶媒体を提供する。

0060

ここに開示される発明は、特有の実施形態及びその用途を利用して説明されてきたが、特許請求の範囲に記載される本発明の範囲から逸脱することなく、多くの修正及び変更が、それに対して当業者によって行われる可能性がある。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ