図面 (/)

技術 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 大西克嘉宮崎良雄
出願日 2019年2月13日 (1年2ヶ月経過) 出願番号 2019-023239
公開日 2019年7月18日 (9ヶ月経過) 公開番号 2019-118108
状態 未査定
技術分野 双方向TV,動画像配信等 広域データ交換
主要キーワード 受信後処理 操作スティック 送信前処理 部分動画像 オーバ回数 切替制御回路 ハードウェアデコーダ エンタテインメント装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年7月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

送信装置で生成されるデータが受信装置利用可能になるまでの時間に応じた適切な通信経路の選択が可能な通信ステム、送信装置、受信装置、通信システムの制御方法及びプログラムを提供する。

解決手段

第1送信部68aは、エンコードされたデータを第1受信部に送信する。第2送信部68bは、エンコードされたデータを第2受信部に送信する。第1送信部68aは第2送信部68bよりも送信可能な最大レートが高い。送信前処理実行部66は、第2送信部68bによる送信が行われる際には、第1送信部68aによる送信での圧縮率よりも高い圧縮率でデータをエンコードする。送信制御部72は、第1受信部が受信するデータ、又は、第2受信部が受信するデータのいずれをHMD14が利用するかを、データが生成されてから当該データがHMD14で利用可能となるまでの時間に基づいて制御する。

概要

背景

送信部を複数備えた送信装置や受信部を複数備えた受信装置において、無線通信電波状況に応じて通信を行う送信部や受信部を変更する技術が知られている。

概要

送信装置で生成されるデータが受信装置で利用可能になるまでの時間に応じた適切な通信経路の選択が可能な通信システム、送信装置、受信装置、通信システムの制御方法及びプログラムを提供する。第1送信部68aは、エンコードされたデータを第1受信部に送信する。第2送信部68bは、エンコードされたデータを第2受信部に送信する。第1送信部68aは第2送信部68bよりも送信可能な最大レートが高い。送信前処理実行部66は、第2送信部68bによる送信が行われる際には、第1送信部68aによる送信での圧縮率よりも高い圧縮率でデータをエンコードする。送信制御部72は、第1受信部が受信するデータ、又は、第2受信部が受信するデータのいずれをHMD14が利用するかを、データが生成されてから当該データがHMD14で利用可能となるまでの時間に基づいて制御する。

目的

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、送信装置で生成されるデータが受信装置で利用可能になるまでの時間に応じた適切な通信経路の選択が可能な通信システム、送信装置、受信装置、通信システムの制御方法及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含む送信装置と、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む、ことを特徴とする通信システム

請求項2

前記制御部は、前記第1の送信部による送信、又は、前記第2の送信部による送信のいずれが行われるかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する、ことを特徴とする請求項1に記載の通信システム。

請求項3

前記第2の送信部による送信が行われておらず前記第1の送信部による通信が行われている際に、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間が所定時間を超えた回数を特定する回数特定部、をさらに含み、前記回数が所定数に達した場合に、前記制御部は、以後、前記第1の送信部による送信が行われず前記第2の送信部による送信が行われるよう制御する、ことを特徴とする請求項2に記載の通信システム。

請求項4

前記送信装置が、前記制御部を含み、前記受信装置が、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて、前記第1の送信部による送信、又は、前記第2の送信部による送信のいずれかを前記送信装置に指示する指示部、をさらに含み、前記制御部は、前記受信装置から前記指示を受信した際には、以後、前記指示に従って前記第1の送信部又は前記第2の送信部による送信が行われるよう制御する、ことを特徴とする請求項2又は3に記載の通信システム。

請求項5

前記エンコード部は、前記第2の送信部による送信が行われている際に、通信品質が所定の品質以下となった場合は、前記生成部が生成するデータの圧縮率を増加させる、ことを特徴とする請求項2から4のいずれか一項に記載の通信システム。

請求項6

前記エンコード部は、第1のエンコード部と、前記第1のエンコード部とは別体である第2のエンコード部とを含み、前記第1のエンコード部は、前記第1の通信部での送信が行われる際に前記データをエンコードし、前記第2のエンコード部は、前記第2の通信部での送信が行われる際に前記データをエンコードし、前記第2のエンコード部によるエンコードの圧縮率は、前記第1のエンコード部によるエンコードの圧縮率よりも高い、ことを特徴とする請求項1から5のいずれか一項に記載の通信システム。

請求項7

データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含み、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と通信可能であり、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む、ことを特徴とする送信装置。

請求項8

データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含む送信装置と通信可能であり、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含み、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む、ことを特徴とする受信装置。

請求項9

データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含む送信装置と、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードする、通信システムの制御方法であって、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御するステップ、を含む、ことを特徴とする通信システムの制御方法。

請求項10

データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含む送信装置と、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードする、通信システムを制御するコンピュータに、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する手順、を実行させることを特徴とするプログラム

技術分野

0001

本発明は、通信ステム送信装置受信装置、通信システムの制御方法及びプログラムに関する。

背景技術

0002

送信部を複数備えた送信装置や受信部を複数備えた受信装置において、無線通信電波状況に応じて通信を行う送信部や受信部を変更する技術が知られている。

発明が解決しようとする課題

0003

近年、無線通信による動画像送受信が検討されている。例えばゲームプログラムを実行するゲーム装置が生成する、ゲームのプレイ状況を表す動画像が、ヘッドマウントディスプレイ(HMD)に無線で送信され、HMDに表示されるようにすることが検討されている。

0004

このような用途で無線通信を行う場合は、操作におけるプレイヤの違和感を低減するために、送信装置で生成されるデータが受信装置で利用可能となるまでの時間(レイテンシ)を短くすることが重要となる。具体的には例えばゲーム装置で生成される動画像がHMDで表示されるまでの時間を短くすることが重要となる。そのため上記の用途で無線通信を行う場合にはレイテンシに応じて適切な通信経路が選択されることが望ましい。

0005

しかし従来技術では、レイテンシに応じた通信経路の選択が行われていなかった。そのため上記の用途で無線通信を行うにあたって従来技術では充分であるとは言えなかった。

0006

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、送信装置で生成されるデータが受信装置で利用可能になるまでの時間に応じた適切な通信経路の選択が可能な通信システム、送信装置、受信装置、通信システムの制御方法及びプログラムを提供することにある。

課題を解決するための手段

0007

上記課題を解決するために、本発明に係る通信システムは、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含む送信装置と、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む。

0008

本発明の一態様では、前記制御部は、前記第1の送信部による送信、又は、前記第2の送信部による送信のいずれが行われるかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する。

0009

この態様では、前記第2の送信部による送信が行われておらず前記第1の送信部による通信が行われている際に、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間が所定時間を超えた回数を特定する回数特定部、をさらに含み、前記回数が所定数に達した場合に、前記制御部は、以後、前記第1の送信部による送信が行われず前記第2の送信部による送信が行われるよう制御してもよい。

0010

また、前記送信装置が、前記制御部を含み、前記受信装置が、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて、前記第1の送信部による送信、又は、前記第2の送信部による送信のいずれかを前記送信装置に指示する指示部、をさらに含み、前記制御部は、前記受信装置から前記指示を受信した際には、以後、前記指示に従って前記第1の送信部又は前記第2の送信部による送信が行われるよう制御してもよい。

0011

また、前記エンコード部は、前記第2の送信部による送信が行われている際に、通信品質が所定の品質以下となった場合は、前記生成部が生成するデータの圧縮率を増加させてもよい。

0012

また本発明の一態様では、前記エンコード部は、第1のエンコード部と、前記第1のエンコード部とは別体である第2のエンコード部とを含み、前記第1のエンコード部は、前記第1の通信部での送信が行われる際に前記データをエンコードし、前記第2のエンコード部は、前記第2の通信部での送信が行われる際に前記データをエンコードし、前記第2のエンコード部によるエンコードの圧縮率は、前記第1のエンコード部によるエンコードの圧縮率よりも高い。

0013

また、本発明に係る送信装置は、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含み、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と通信可能であり、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む。

0014

また、本発明に係る受信装置は、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含む送信装置と通信可能であり、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含み、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む。

0015

また、本発明に係る通信システムの制御方法は、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含む送信装置と、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードする、通信システムの制御方法であって、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御するステップ、を含む。

0016

また、本発明に係るプログラムは、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第1の送信部と、前記受信装置と通信可能な第2の送信部と、を含む送信装置と、前記第1の送信部と通信可能な第1の受信部と、前記第2の送信部と通信可能な第2の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第1の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第1の受信部に送信し、前記第2の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第2の受信部に送信し、前記第1の送信部は前記第2の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第2の送信部による送信が行われる際には、前記第1の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードする、通信システムを制御するコンピュータに、前記第1の受信部が受信するデータ、又は、前記第2の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する手順、を実行させる。

図面の簡単な説明

0017

本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。
本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。
部分動画像の送信の一例を模式的に示した説明図である。
本発明の一実施形態に係るエンタテインメント装置実装される機能の一例を示す機能ブロック図である。
本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。
本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。

実施例

0018

以下、本発明の一実施形態について、図面を参照しながら説明する。

0019

図1は、本発明の一実施形態に係る映像表示システム10の全体構成の一例を示す図である。

0020

図1に示すように、本実施形態に係る映像表示システム10には、エンタテインメント装置12、ヘッドマウントディスプレイ(HMD)14、及び、コントローラ16が含まれている。

0021

本実施形態に係るエンタテインメント装置12は、例えばゲームコンソールDVDプレイヤ、Blu−ray(登録商標)プレイヤなどといったコンピュータである。本実施形態では、エンタテインメント装置12が生成する動画像が、HMD14に送信されて、HMD14で表示されることとなる。

0022

図1に示すように、本実施形態に係るエンタテインメント装置12には、制御部20、記憶部22、第1通信部24a、第2通信部24b、コントローラ通信部26、第1エンコーダ部28a、第2エンコーダ部28b、切替制御回路30、が含まれる。

0023

制御部20は、例えばCPU等のプログラム制御デバイスであって、記憶部22に記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係る制御部20には、CPUから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するGPU(Graphics Processing Unit)も含まれている。

0024

記憶部22は、例えばROMやRAM等の記憶素子ハードディスクドライブなどである。記憶部22には、制御部20によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部22には、GPUにより画像が描画されるフレームバッファの領域が確保されている。

0025

第1通信部24a、第2通信部24bは、例えばHMD14との間でデータを授受するための通信インタフェースである。本実施形態に係るエンタテインメント装置12は、第1通信部24a又は第2通信部24bを経由してHMD14との間で通信を行う。

0026

本実施形態では第1通信部24aで行われる通信の通信規格と第2通信部24bで行われる通信の通信規格とは異なっている。例えば第1通信部24aでは60GHz帯での通信が行われ、第2通信部24bでは5GHz帯での通信が行われる。

0027

60GHz帯での通信の方が5GHz帯の通信よりも通信可能な最大レートは高い。また60GHz帯での通信の方が5GHz帯の通信よりも直進性が強く、また通信可能距離は短い。本実施形態では、無線通信の電波状況に応じて、HMD14との通信に、第1通信部24aを用いるか第2通信部24bを用いるかが切替可能になっている。また本実施形態では公知の適応変調符号化技術により、無線通信の電波状況に応じて、第1通信部24aや第2通信部24bの変調方式符号化方式適応的に変化させることができるようになっている。

0028

コントローラ通信部26は、例えばコントローラ16との有線通信又は無線通信を行う通信インタフェースである。

0029

第1エンコーダ部28a、第2エンコーダ部28bは、例えば制御部20が生成する動画像等のコンテンツのデータ、又は、記憶部22が記憶している動画像等のコンテンツのデータをエンコードするハードウェアエンコーダである。なお本実施形態では、第1エンコーダ部28aと第2エンコーダ部28bとは別体である。また第1エンコーダ部28aや第2エンコーダ部28bは、コンテンツのデータを圧縮してもよい。本実施形態では、第2エンコーダ部28bによるエンコードの圧縮率は、第1エンコーダ部28aによるエンコードの圧縮率よりも高い。

0030

また本実施形態では、第1エンコーダ部28aがエンコードしたデータは第1通信部24aがHMD14に送信し、第2エンコーダ部28bがエンコードしたデータは第2通信部24bがHMD14に送信する。

0031

切替制御回路30は、コンテンツのデータのエンコードを第1エンコーダ部28aに実行させるか第2エンコーダ部28bに実行させるかを切り替え回路である。

0032

図2は、本実施形態に係るHMD14の構成の一例を示す図である。

0033

図2に示すように本実施形態に係るHMD14には、制御部40、記憶部42、第1通信部44a、第2通信部44b、第1デコーダ部46a、第2デコーダ部46b、切替制御回路48、スイッチ回路50、出力部52、が含まれている。

0034

制御部40は、例えばCPU等のプログラム制御デバイスであって、記憶部42に記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係る制御部40には、CPUから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するGPU(Graphics Processing Unit)も含まれている。

0035

記憶部42は、例えばROMやRAM等の記憶素子などである。記憶部42には、制御部40によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部42には、GPUにより画像が描画されるフレームバッファの領域が確保されている。

0036

第1通信部44a、第2通信部44bは、例えばエンタテインメント装置12との間でデータを授受するための通信インタフェースである。本実施形態に係るHMD14は、第1通信部44a又は第2通信部44bを経由してエンタテインメント装置12との間で通信を行う。

0037

本実施形態では第1通信部44aで行われる通信の通信規格と、第2通信部44bで行われる通信の通信規格とは異なっている。例えば第1通信部44aでは60GHz帯での通信が行われ、第2通信部44bでは5GHz帯での通信が行われる。

0038

上述した通り、60GHz帯での通信の方が5GHz帯の通信よりも通信可能な最大レートは高い。また60GHz帯での通信の方が5GHz帯の通信よりも直進性が強く、また通信可能距離は短い。本実施形態では、無線通信の電波状況に応じて、第1通信部44aをエンタテインメント装置12との通信に用いるか、第2通信部44bをエンタテインメント装置12との通信に用いるかが切り替わるようになっている。また本実施形態では公知の適応変調符号化技術により、無線通信の電波状況に応じて、第1通信部44aや第2通信部44bの変調方式や符号化方式を適応的に変化させることができるようになっている。

0039

本実施形態では、エンタテインメント装置12とHMD14との間での通信が行われる際に、第1通信部24aと第1通信部44aとの間の60GHz帯での通信、又は、第2通信部24bと第2通信部44bとの間の5GHz帯での通信が行われることとなる。

0040

第1デコーダ部46a、第2デコーダ部46bは、例えばエンタテインメント装置12から受信するコンテンツのデータをデコードするハードウェアデコーダである。本実施形態では、第1デコーダ部46aは、第1通信部44aが受信するコンテンツのデータをデコードし、第2デコーダ部46bは、第2通信部44bが受信するコンテンツのデータをデコードする。ここで受信するコンテンツのデータが圧縮されたデータである場合は、第1デコーダ部46aや第2デコーダ部46bは、当該圧縮されたデータを伸長する。

0041

切替制御回路48は、例えばコンテンツのデータのデコードを第1デコーダ部46aに実行させるか第2デコーダ部46bに実行させるかを切り替える回路である。

0042

スイッチ回路50は、第1デコーダ部46aがデコードしたデータが表す動画像を出力部52に表示させるか第2デコーダ部46bがデコードしたデータが表す動画像を出力部52に表示させるかを切り替える回路である。

0043

出力部52は、例えば情報を表示出力したり音声出力したりするデバイスである。出力部52には、例えば、HMD14の前側に配置されている、例えば液晶ディスプレイ有機ELディスプレイ等の表示部や、HMD14の左右側に配置されている、例えばヘッドホンスピーカ等の音声出力部などが含まれる。本実施形態に係る出力部52は、例えばエンタテインメント装置12が生成する動画像を表示したり、エンタテインメント装置12が生成する音声データが表す音声を出力したりする。また本実施形態に係る表示部は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

0044

図1に示すコントローラ16は、エンタテインメント装置12に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ16が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ16を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ16は、操作入力に対応付けられる入力データをエンタテインメント装置12に出力する。本実施形態に係るコントローラ16は、有線又は無線でエンタテインメント装置12のコントローラ通信部26と通信可能となっている。

0045

本実施形態では例えば、エンタテインメント装置12が、エンタテインメント装置12にインストールされているゲームのプログラムを実行する。そして当該ゲームのプレイ状況に応じてエンタテインメント装置12が生成する動画像がHMD14の出力部52に表示される。以下、当該動画像をプレイ動画像と呼ぶこととする。プレイ動画像は、例えば所定のフレームレート(例えば1/60秒間隔)で表示される複数のフレーム画像から構成される。

0046

以下、本実施形態に係る映像表示システム10において、プレイ動画像がHMD14の出力部52に表示される場面を中心に説明する。

0047

本実施形態では例えば、プレイ動画像は、その一部である部分動画像を一単位としてエンタテインメント装置12からHMD14に送信される。なおプレイ動画像を構成する複数の部分動画像のサイズは同じであってもよいし異なっていてもよい。

0048

図3は、部分動画像の送信の一例を模式的に示した説明図である。以下、部分動画像の送信の一例について、図3を参照しながら説明する。

0049

本実施形態では部分動画像のデータは、エンコードに適したサイズの複数のパケットに分割され、分割された複数のパケットに対してエンコード、データ伝送スタック処理などといった送信前処理が実行される。以下、エンタテインメント装置12が生成する部分動画像のデータを分割することで生成されるn個のパケットのそれぞれを第1パケット、第2パケット、第3パケット、・・・、第nパケットと呼ぶこととする。

0050

送信前処理の実行が終了した複数のパケットは、エンタテインメント装置12からHMD14に順次送信される。

0051

HMD14は、これら複数のパケットを受信した後に、これら複数のパケットに対して、データ伝送、スタック処理、デコードなどといった受信後処理を実行する。受信後処理が実行されることによって、エンタテインメント装置12が生成した部分動画像のデータはHMD14において利用可能となる。本実施形態ではこのようにして利用可能となった部分動画像のデータが表す動画像が、HMD14の出力部52に表示されることとなる。

0052

HMD14で利用可能となる部分動画像のデータが表す動画像の内容は、エンタテインメント装置12が生成した部分動画像の内容と同一である。しかし、HMD14で利用可能となる部分動画像のデータと、エンタテインメント装置12が生成した部分動画像のデータとが同一である必要はない。例えばエンタテインメント装置12におけるエンコードで部分動画像のデータに不可逆圧縮がされた場合には、HMD14で利用可能となる部分動画像のデータと、エンタテインメント装置12が生成した部分動画像のデータとは、完全に同一とはならない。

0053

以下、図3に示すように、送信前処理に要する時間を送信前処理実行時間taと呼ぶこととする。またエンタテインメント装置12が第1パケットを送信してからHMD14が受信するまでの時間を、第1パケット送信時間tbと呼ぶこととする。また第1パケットをHMD14が受信してから、第2パケット、第3パケットの順に、第nパケットを受信するまでの時間を、データ受信時間tcと呼ぶこととする。また第1パケット送信時間tbとデータ受信時間tcの合計を、無線レイテンシwlと呼ぶこととする。また受信後処理に要する時間を受信後処理実行時間tdと呼ぶこととする。また送信前処理実行時間ta、無線レイテンシwl、受信後処理実行時間tdの合計を、システムレイテンシslと呼ぶこととする。すなわちエンタテインメント装置12が部分動画像のデータを生成してから当該データがHMD14で利用可能となるまでの時間がシステムレイテンシslに相当することとなる。

0054

本実施形態のような無線通信によるプレイ動画像の通信では、ゲーム中の操作におけるプレイヤの違和感を低減するために、上述のシステムレイテンシslを短くすることが重要となる。例えばシステムレイテンシslが所定時間th_sl以下(例えば1/2VSYNC以下)になることが要求される。

0055

ここで例えばエンコードにおけるデータの圧縮率が高いほどエンコードやデコードに要する時間は長くなる。その結果、送信前処理実行時間や受信後処理実行時間が長くなる。その一方でエンコードの圧縮率が高いほど圧縮されたデータの送信時間は短くなる。そのためエンコードの圧縮率が高いほど無線レイテンシwlは短くなることとなる。

0056

また60GHz帯の通信の方が5GHz帯の通信よりも通信可能な最大レートが高い。そのため通信状況が良好であれば、60GHz帯での通信では、エンコードの圧縮率を高くしなくても、システムレイテンシslを所定時間th_sl以下となる可能性が高い。

0057

しかし60GHz帯での通信の方が5GHz帯の通信よりも直進性が強く、また通信可能距離は短い。そのため、エンタテインメント装置12とHMD14との間に障害物がある場合やエンタテインメント装置12とHMD14との距離が長い場合は、データの送信におけるリトライ回数が増えてしまうことがある。その結果通信状況によっては60GHz帯での通信において、システムレイテンシslを所定時間th_sl以下とすることができない場合がある。

0058

このように圧縮率や通信状況などといった様々な状況がシステムレイテンシslに影響を与える。そして例えば無線通信によるプレイ動画像の通信では、上述のシステムレイテンシslに応じて適切な通信経路が選択されるようにして、例えばシステムレイテンシslがなるべく所定時間th_sl以下となるようにすることが望ましい。しかし従来技術では上述のシステムレイテンシslに応じた通信経路の選択は行われていなかった。

0059

本実施形態では、上述のシステムレイテンシslに基づいて、第1通信部44aが受信するデータ又は第2通信部44bが受信するデータのいずれをHMD14が利用するかが制御されるようにした。そのため本実施形態によれば、上述のシステムレイテンシslに応じて適切な通信経路が選択されることとなる。

0060

以下、システムレイテンシslに応じた通信経路の選択を中心に、本実施形態に係る映像表示システム10の機能並びに本実施形態に係る映像表示システム10で実行される処理についてさらに説明する。なお本実施形態に係る映像表示システム10は、システムレイテンシslに応じて通信経路が制御される通信システムとしての役割を担うこととなる。

0061

図4は、本実施形態に係るエンタテインメント装置12で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置12で、図4に示す機能のすべてが実装される必要はなく、また、図4に示す機能以外の機能が実装されていても構わない。

0062

図4に示すように、本実施形態に係るエンタテインメント装置12は、機能的には例えば、動画像生成部60、部分動画像データ生成部62、部分動画像データ分割部64、送信前処理実行部66、送信部68、指示受信部70、送信制御部72、を含んでいる。また送信前処理実行部66は、第1送信前処理実行部66aと第2送信前処理実行部66bとを含んでいる。また送信部68は、第1送信部68aと第2送信部68bとを含んでいる。動画像生成部60、部分動画像データ生成部62、部分動画像データ分割部64は、制御部20を主として実装される。第1送信前処理実行部66aは、第1通信部24a及び第1エンコーダ部28aを主として実装される。第2送信前処理実行部66bは、第2通信部24b及び第2エンコーダ部28bを主として実装される。第1送信部68aは、第1通信部24aを主として実装される。第2送信部68bは、第2通信部24bを主として実装される。指示受信部70は、第1通信部24a及び第2通信部24bを主として実装される。送信制御部72は、制御部20及び切替制御回路30を主として実装される。本実施形態に係るエンタテインメント装置12は、システムレイテンシslに応じて通信経路が制御される送信装置としての役割を担うこととなる。

0063

以上の機能は、コンピュータであるエンタテインメント装置12にインストールされた、以上の機能に対応する指令を含むプログラムを制御部20で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク磁気ディスク磁気テープ光磁気ディスクフラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置12に供給される。

0064

図5は、本実施形態に係るHMD14で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るHMD14で、図5に示す機能のすべてが実装される必要はなく、また、図5に示す機能以外の機能が実装されていても構わない。

0065

図5に示すように、本実施形態に係るHMD14は、機能的には例えば、受信部74、受信後処理実行部76、レイテンシ測定部78、回数特定部80、受信制御部82、指示送信部84、出力制御部86、を含んでいる。また受信部74は、第1受信部74aと第2受信部74bとを含んでいる。また受信後処理実行部76は、第1受信後処理実行部76aと第2受信後処理実行部76bとを含んでいる。第1受信部74aは、第1通信部44aを主として実装される。第2受信部74bは、第2通信部44bを主として実装される。第1受信後処理実行部76aは、第1通信部44a及び第1デコーダ部46aを主として実装される。第2受信後処理実行部76bは、第2通信部44b及び第2デコーダ部46bを主として実装される。レイテンシ測定部78、回数特定部80は、制御部40を主として実装される。受信制御部82は、制御部40、切替制御回路48、及び、スイッチ回路50を主として実装される。指示送信部84は、第1通信部44a及び第2通信部44bを主として実装される。出力制御部86は、制御部40及び出力部52を主として実装される。本実施形態に係るHMD14は、システムレイテンシslに応じて通信経路が制御される受信装置としての役割を担うこととなる。

0066

以上の機能は、コンピュータであるHMD14にインストールされた、以上の機能に対応する指令を含むプログラムを制御部40で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してHMD14に供給される。

0067

動画像生成部60は、本実施形態では例えば上述のプレイ動画像などといった動画像を生成する。

0068

部分動画像データ生成部62は、本実施形態では例えば動画像生成部60が生成した動画像の一部である部分動画像のデータを生成する。

0069

部分動画像データ分割部64は、本実施形態では例えば部分動画像データ生成部62が生成する部分動画像のデータを分割する。部分動画像データ分割部64は、本実施形態では例えば第1パケット、第2パケット、第3パケット、・・・、第nパケット、のn個のパケットを生成する。

0070

送信前処理実行部66は、本実施形態では例えば動画像生成部60が生成するデータに対して上述の送信前処理を実行する。送信前処理実行部66は、本実施形態では例えば部分動画像データ分割部64が生成する各パケットに対して上述の送信前処理を実行する。当該送信前処理には上述したようにエンコードの処理が含まれる。また当該エンコードの処理に圧縮処理が含まれていてもよい。

0071

送信部68は、本実施形態では例えば送信前処理実行部66がエンコード等の送信前処理を実行したデータを受信部74に送信する。

0072

指示受信部70は、本実施形態では例えば、第1送信部68aによる送信、又は、第2送信部68bによる送信のいずれかの指示をHMD14の指示送信部84から受信する。

0073

送信制御部72は、本実施形態では例えば、システムレイテンシslに基づいて、第1送信部68aによる送信、又は、第2送信部68bによる送信のいずれが行われるかを制御する。送信制御部72は、指示受信部70がHMD14から上記指示を受信した際には、以後、当該指示に従って第1送信部68aによる送信又は第2送信部68bによる送信が行われるよう制御してもよい。

0074

また本実施形態では、送信制御部72は、第1送信部68aによる送信が行われているか第2送信部68bによる送信が行われているかを管理する送信部特定データを保持する。例えば、第1送信部68aによる送信が行われている際には送信部特定データの値が「1」に設定され、第2送信部68bによる送信が行われている際には送信部特定データの値が「2」に設定される。なお送信部特定データの値が「1」に設定されている際には、送信制御部72は、第2通信部24bが停止するよう制御してもよい。また送信部特定データの値が「2」に設定されている際には、送信制御部72は、第1通信部24aが停止するよう制御してもよい。

0075

また例えば第2送信部68bによる送信が行われておらず第1送信部68aによる送信が行われている際に、システムレイテンシslが所定時間th_slを超えた回数が所定数に達したこととする。この場合に例えば送信制御部72は、以後、第1送信部68aによる送信が行われず第2送信部68bによる送信が行われるよう制御してもよい。

0076

また本実施形態では、送信制御部72は、通信に用いられている変調方式や符号化方式を示すMCS(modulation and coding scheme)の値(インデックス番号)を保持する。なおMCSの値と変調方式及び符号化方式の組合せとの対応関係は、通信規格によって異なっている。そのため第1送信部68aによる60GHz帯での通信におけるMCSのある値に対応付けられる変調方式や符号化方式は、第2送信部68bによる5GHz帯での通信における当該値に対応付けられる変調方式や符号化方式とは異なる。

0077

本実施形態では例えば、送信制御部72によって、第1送信部68aによる送信が行われるよう制御される場合は、第1送信部68aがパケットを送信する。また送信制御部72によって、第2送信部68bによる送信が行われるよう制御される場合は、第2送信部68bがパケットを送信する。

0078

また本実施形態では例えば、送信前処理実行部66は、第2送信部68bによる送信が行われる際には、第1送信部68aによる送信での圧縮率よりも高い圧縮率でデータをエンコードする。本実施形態では例えば、送信制御部72によって、第1送信部68aによる送信が行われるよう制御される場合は、第1送信前処理実行部66aが送信前処理を実行する。また送信制御部72によって、第2送信部68bによる送信が行われるよう制御される場合は、第2送信前処理実行部66bが送信前処理を実行する。また本実施形態では、第2送信前処理実行部66bによるエンコードの圧縮率は、第1送信前処理実行部66aによるエンコードの圧縮率よりも高い。

0079

また送信前処理実行部66は、第2送信部68bによる送信が行われている際に、通信品質が所定の品質以下となった場合は、動画像生成部60が生成するデータの圧縮率を増加させてもよい。こうすれば1のフレーム画像に対応付けられるデータ量が少なくなるので、通信品質の低下に伴うシステムレイテンシslの増加を抑えることができる。

0080

受信部74は、本実施形態では例えば送信部68が送信するデータを受信する。

0081

受信後処理実行部76は、本実施形態では例えば受信部74が受信したデータに対して上述の受信後処理を実行する。

0082

レイテンシ測定部78は、本実施形態では例えば上述したシステムレイテンシslを測定する。本実施形態では例えば、予めエンタテインメント装置12とHMD14との間でシステムクロックの同期がとれていることとする。そして送信前処理実行部66が、上述の送信前処理の実行が開始される時刻タイムスタンプを示すデータを上述のn個のパケットのそれぞれに付与する。このようにすれば、レイテンシ測定部78は、例えば、当該n個のパケットに付与されているタイムスタンプを示すデータが示す時刻から、当該n個のパケットについて受信後処理が終了した時刻までの時間を、システムレイテンシslとして測定できることとなる。

0083

回数特定部80は、本実施形態では例えば上述したシステムレイテンシslが所定時間th_slを超えた回数を特定する。本実施形態では回数特定部80は、システムレイテンシslが所定時間th_slを超えた回数を示すレイテンシオーバ回数データを保持していることとする。レイテンシオーバ回数データの値cの初期値は0である。そして、システムレイテンシslが所定時間th_slを超えた場合には回数特定部80は、当該レイテンシオーバ回数データの値cを1だけ増加させる。

0084

受信制御部82は、本実施形態では例えば、システムレイテンシslに基づいて、第1受信部74aが受信するデータ又は第2受信部74bが受信するデータのいずれをHMD14が利用するかを制御する。

0085

また本実施形態では、受信制御部82は、第1受信部74aが受信するデータがHMD14に利用されているか第2受信部74bが受信するデータがHMD14に利用されているかを管理する受信部特定データを保持する。例えば、第1受信部74aが受信するデータがHMD14に利用されている際には受信部特定データの値が「1」に設定され、第2受信部74bが受信するデータがHMD14に利用されている際には受信部特定データの値が「2」に設定される。なお受信部特定データの値が「1」に設定されている際には、受信制御部82は、第2通信部44bが停止するよう制御してもよい。また受信部特定データの値が「2」に設定されている際には、受信制御部82は、第1通信部44aが停止するよう制御してもよい。

0086

また本実施形態では、受信制御部82は、通信に用いられている変調方式や符号化方式を示すMCSの値(インデックス番号)を保持する。なお上述したように、第1受信部74aによる60GHz帯での通信におけるMCSのある値に対応付けられる変調方式や符号化方式は、第2受信部74bによる5GHz帯での通信における当該値に対応付けられる変調方式や符号化方式とは異なる。

0087

本実施形態では例えば、受信制御部82によって、第1受信部74aが受信するデータをHMD14が利用するよう制御される場合は、第1受信部74aがデータを受信する。また受信制御部82によって、第2受信部74bが受信するデータをHMD14が利用するよう制御される場合は、第2受信部74bがデータを受信する。

0088

本実施形態では例えば、受信制御部82によって、第1受信部74aが受信するデータをHMD14が利用するよう制御される場合は、第1受信後処理実行部76aが受信後処理を実行する。また受信制御部82によって、第2受信部74bが受信するデータをHMD14が利用するよう制御される場合は、第2受信後処理実行部76bが受信後処理を実行する。

0089

なお本実施形態では、送信制御部72が、第1送信部68aによる送信が行われるように制御する場合は、結果としてHMD14は第1受信部74aが受信するデータを利用する。また送信制御部72が、第2送信部68bによる送信が行われるように制御する場合は、結果としてHMD14は第2受信部74bが受信するデータを利用する。そのため送信制御部72は、システムレイテンシslに基づいて、第1受信部74aが受信するデータ又は第2受信部74bが受信するデータのいずれをHMD14が利用するかを制御する制御部としての役割を果たしていると言えることとなる。

0090

指示送信部84は、本実施形態では例えば、システムレイテンシslに基づいて、第1送信部68aによる送信、又は、第2送信部68bによる送信のいずれかの指示をエンタテインメント装置12に指示する。指示送信部84は、本実施形態では例えば、システムレイテンシslに基づいて、第1送信部68aによる送信、又は、第2送信部68bによる送信のいずれかの指示を指示受信部70に送信する。

0091

出力制御部86は、受信後処理実行部76による受信後処理の実行が終了したデータが出力されるよう制御する。出力制御部86は、本実施形態では例えば、受信後処理の実行が終了したデータが表す動画像を出力部52に表示出力させる。

0092

以下、本実施形態に係る映像表示システム10において行われる処理の流れの一例を説明する。

0093

なお以下の説明において、上述した通り、本実施形態に係るエンタテインメント装置12とHMD14との間ではシステムクロックの同期がとれているものとする。

0094

また前提として、本実施形態に係るエンタテインメント装置12は、公知技術によって、無線通信の電波状況に応じて、HMD14との通信に、第1通信部24aを用いるか第2通信部24bを用いるかが切り替わるようになっていることとする。また本実施形態に係るHMD14は、公知技術によって、無線通信の電波状況に応じて、エンタテインメント装置12との通信に、第1通信部44aを用いるか第2通信部44bを用いるかが切り替わるようになっていることとする。

0095

また前提として、本実施形態に係るエンタテインメント装置12は、公知の適応変調符号化技術により、無線通信の電波状況に応じて、第1通信部24aや第2通信部24bの変調方式や符号化方式が適応的に変化するようになっていることとする。また本実施形態に係るHMD14は、公知の適応変調符号化技術により、無線通信の電波状況に応じて、第1通信部44aや第2通信部44bの変調方式や符号化方式が適応的に変化するようになっていることとする。

0096

また以下の説明では例えば、60GHz帯の通信では、シングルキャリア方式での通信が行われることとする。また5GHz帯の通信では、802.11acの規格に従った4×4MIMO(multiple-input and multiple-output)による通信が、80MHzの帯域幅で行われることとする。また本実施形態における適応変調符号化では、MCS(modulation and coding scheme)の値(インデックス番号)を変化させることで、変調方式や符号化方式が変化することとする。

0097

まず、本実施形態に係るエンタテインメント装置12において行われる、パケットの送信処理の流れの一例を、図6に示すフロー図を参照しながら説明する。

0098

まず、部分動画像データ生成部62が、動画像生成部60が生成した動画像の一部である部分動画像のデータを生成する(S101)。そして、部分動画像データ分割部64が、S101に示す処理で生成された部分動画像のデータを分割して、複数のパケット(第1パケット〜第nパケット)を生成する(S102)。そして、送信制御部72が、保持している送信部特定データの値を確認する(S103)。

0099

S103に示す処理で確認された値が「1」である場合は、第1送信前処理実行部66aがS102に示す処理で生成されたパケットに対して送信前処理を実行する(S104)。そして第1送信部68aがS104に示す処理で送信前処理が実行された複数のパケットをHMD14に送信する(S105)。

0100

S103に示す処理で確認された値が「2」である場合は、第2送信前処理実行部66bがS102に示す処理で生成されたパケットに対して送信前処理を実行する(S106)。そして第2送信部68bがS106に示す処理で送信前処理が実行された複数のパケットをHMD14に送信する(S107)。

0101

S105に示す処理又はS107に示す処理が終了したら、S101に示す処理に戻り、以後、S101〜S107に示す処理が繰り返される。

0102

なおS104に示す処理には上述のようにエンコードが含まれる。また当該エンコードの処理には圧縮処理が含まれていてもよい。また上述したように、S104に示す処理には、送信前処理の実行が開始される時刻のタイムスタンプを示すデータをS102に示す処理で生成されたn個のパケットのそれぞれに付与する処理も含まれる。

0103

次に、本実施形態に係るHMD14において行われる、上述のS105又はS107に示す処理で送信された複数のパケットの受信に応じて実行される処理の流れの一例を、図7A及び図7Bに示すフロー図を参照しながら説明する。

0104

まず受信制御部82が、保持している受信部特定データの値を確認する(S201)。S201に示す処理で確認された値が「1」である場合は、第1受信後処理実行部76aが、第1受信部74aが受信したパケットに対して受信後処理を実行する(S202)。S201に示す処理で確認された値が「2」である場合は、第2受信後処理実行部76bが、第2受信部74bが受信したパケットに対して受信後処理を実行する(S203)。

0105

そしてS202又はS203に示す処理の終了後、出力制御部86が、S203に示す処理で受信後処理が実行されたデータが表すプレイ動画像を出力部52に表示させる(S204)。

0106

そしてレイテンシ測定部78が、S202又はS203に示す処理で受信後処理が実行されたデータに基づいて、上述したようにシステムレイテンシslを特定する(S205)。

0107

そして回数特定部80が、S205に示す処理で特定されたシステムレイテンシslが所定時間th_slを超えているか否かを確認する(S206)。特定されたシステムレイテンシslが所定時間th_slを超えていることが確認された場合は(S206:Y)、回数特定部80は、保持しているレイテンシオーバ回数データの値cを1だけ増加させる(S207)。

0108

特定されたシステムレイテンシslが所定時間th_slを超えていないことが確認された場合(S206:N)、又は、S207に示す処理が終了した場合は、受信制御部82が、保持している受信部特定データの値を確認する(S208)。

0109

受信部特定データの値が「1」であることが確認された場合は、受信制御部82は、保持しているMCSの値を確認する(S209)。確認されたMCSの値が8以上である(2310Mbps以上に相当)場合は、本処理例に示す処理が終了される。

0110

確認されたMCSの値が4以上7以下である(1155Mbps以上1925Mbps以下に相当)場合は、受信制御部82は、回数特定部80が保持しているレイテンシオーバ回数データの値cが所定の閾値th_c以上であるか否かを確認する(S210)。

0111

保持しているレイテンシオーバ回数データの値cが所定の閾値th_c以上でない場合(S210:N)は、本処理例に示す処理が終了される。保持しているレイテンシオーバ回数データの値cが所定の閾値th_c以上である場合(S210:Y)は、回数特定部80は、保持しているレイテンシオーバ回数データの値cを0に変更する(S211)。

0112

S211に示す処理の終了後、又は、S209に示す処理で確認されたMCSの値が3である(962.5Mbpsに相当)場合は、受信制御部82は、保持している受信部特定データの値を「2」に変更する(S212)。なおS212に示す処理において、受信制御部82が、第2通信部44bを起動し、第1通信部44aを停止させてもよい。そして指示送信部84が、第2送信部68bによる送信の指示をエンタテインメント装置12に送信して(S213)、本処理例に示す処理が終了される。

0113

S208に示す処理で受信部特定データの値が「2」であることが確認された場合は、受信制御部82は、保持しているMCSの値を確認する(S214)。確認されたMCSの値が7以下である(1560Mbps以下に相当)場合は、受信制御部82は、回数特定部80が保持しているレイテンシオーバ回数データの値cが所定の閾値th_c以上であるか否かを確認する(S215)。

0114

保持しているレイテンシオーバ回数データの値cが所定の閾値th_c以上である場合(S215:Y)は、回数特定部80が、保持しているレイテンシオーバ回数データの値cを0に変更して(S216)、受信制御部82が、保持しているMCSの値を1だけ減少させる(S217)。そして指示送信部84が、MCSの値を1だけ減少させる指示をエンタテインメント装置12に送信する(S218)。この場合、以後は、減少した後のMCSが示す変調方式及び符号化方式で通信が行われることとなる。

0115

S215に示す処理で保持しているレイテンシオーバ回数データの値cが所定の閾値th_c以上でないことが確認された場合(S215:N)は、受信制御部82は、保持しているMCSの値が4である(780Mbpsに相当)か否かを確認する(S219)。S218に示す処理が終了した場合についても、受信制御部82は、保持しているMCSの値が4である(780Mbpsに相当)か否かを確認する(S219)。

0116

保持しているMCSの値が4でないことが確認された場合は(S219:N)、本処理例に示す処理は終了される。保持しているMCSの値が4であることが確認された場合は(S219:Y)、通信品質を表す指標の値i(例えば信号対雑音比(S/N比)や受信強度など)が所定の閾値th_iより小さいか否かを確認する(S220)。ここで閾値th_iとして、例えば適応変調符号化においてMCSの値が4から3に変化する際の指標の値iに所定のバッファ値を加えた値を採用してもよい。値iが閾値th_iよりも小さくはないことが確認された場合は(S220:N)、本処理例に示す処理は終了される。値iが閾値th_iよりも小さいことが確認された場合は(S220:Y)、指示送信部84が、第2送信前処理実行部66bにおけるエンコードの圧縮率を所定量だけ増加させる指示をエンタテインメント装置12に送信する(S221)。

0117

S214に示す処理で確認されたMCSの値が8以上である(1560Mbps以上に相当)場合は、受信制御部82は、保持している受信部特定データの値を「1」に変更する(S222)。なおS222に示す処理において、受信制御部82が、第1通信部44aを起動し、第2通信部44bを停止させてもよい。そして指示送信部84が、第1送信部68aによる送信の指示をエンタテインメント装置12に送信して(S223)、本処理例に示す処理は終了される。

0118

上述のS213に示す処理で送信された、第2送信部68bによる送信の指示を、エンタテインメント装置12の指示受信部70が受信したこととする。この場合は、送信制御部72が、保持している送信部特定データの値を「2」に変更する。ここで送信制御部72が、第2通信部24bを起動し、第1通信部24aを停止させてもよい。

0119

上述のS218に示す処理で送信された、MCSの値を1だけ減少させる指示を、エンタテインメント装置12の指示受信部70が受信したこととする。この場合は、送信制御部72が、保持しているMCSの値を1だけ減少させる。この場合、以後は、減少した後のMCSが示す変調方式及び符号化方式で通信が行われることとなる。

0120

上述のS221に示す処理で送信された、第2送信前処理実行部66bにおけるエンコードの圧縮率を所定量だけ増加させる指示をエンタテインメント装置12の指示受信部70が受信したこととする。この場合は、送信制御部72は、第2送信前処理実行部66bにおけるエンコードの圧縮率を所定量だけ増加させる。

0121

上述のS223に示す処理で送信された、第1送信部68aによる送信の指示を、エンタテインメント装置12の指示受信部70が受信したこととする。この場合は、送信制御部72が、保持している送信部特定データの値を「1」に変更する。ここで送信制御部72が、第1通信部24aを起動し、第2通信部24bを停止させてもよい。

0122

なお図7A及び図7Bに示した処理例において、例えばS212やS222に示すように、受信制御部82が保持している受信部特定データの値を変更する際に、回数特定部80は、保持しているレイテンシオーバ回数データの値cを0に変更してもよい。また例えば無線通信の電波状況に応じて、HMD14との通信に、第1通信部24aを用いるか第2通信部24bを用いるかが切り替わった際に、回数特定部80は、保持しているレイテンシオーバ回数データの値cを0に変更してもよい。また例えば無線通信の電波状況に応じて、エンタテインメント装置12との通信に、第1通信部44aを用いるか第2通信部44bを用いるかが切り替わった際に、回数特定部80は、保持しているレイテンシオーバ回数データの値cを0に変更してもよい。

0123

なお、本発明は上述の実施形態に限定されるものではない。

0124

例えば、あるデータが第1エンコーダ部28aでエンコードされた上で第1通信部24aによりHMD14に送信され、当該データのコピーが第2エンコーダ部28bでエンコードされた上で第2通信部24bによりHMD14に送信されてもよい。ここで第2エンコーダ部28bによるエンコードの圧縮率は、第1エンコーダ部28aによるエンコードの圧縮率よりも高くてもよい。そしてHMD14は、受信したこれら2つのデータのうちからシステムレイテンシslが短いデータを選択して、選択されたデータが表す動画像が出力部52に表示されるよう制御してもよい。例えばHMD14は、先に受信したデータが表す動画像が出力部52に表示されるよう制御してもよい。この場合についても、システムレイテンシslに応じた通信経路の選択が行われていると言える。また例えば、5GHz帯による通信が常に行われており、通信状況がよい場合に上述したように、60GHz帯による通信も行われるようにしてもよい。

0125

またシステムレイテンシslを計算する際に用いられる、エンコードやデコードの時間を示す値として例えば過去の実測値に基づく所定値が用いられてもよい。

0126

また例えばエンタテインメント装置12が、第1エンコーダ部28a及び第2エンコーダ部28bの代わりに1つのエンコーダ部を備えていてもよい。そして第1通信部24aによる通信が行われる場合も第2通信部24bによる通信が行われる場合も当該1つのエンコード部がデータのエンコードを行うようにしてもよい。ここで当該1つのエンコーダ部は、第2通信部24bによる通信が行われる際には、第1通信部24aによる通信での圧縮率よりも高い圧縮率でデータをエンコードするようにしてもよい。

0127

またハードウェアである第1エンコーダ部28aや第2エンコーダ部28bによって実装される機能が、制御部20で実行されるプログラム(ソフトウェア)として実装されても構わない。

0128

また本発明の適用範囲は、上述したようなプレイ動画像がHMD14の出力部52に表示される場面に限定されない。例えば記憶部22に記憶されている映画等のコンテンツがHMD14の出力部52に表示される場面に本発明を適用してもよい。また本発明の適用範囲は動画像のデータに限定されない。例えばエンタテインメント装置12が生成する音声データが表す音声がHMD14の出力部52から出力される場面に本発明を適用してもよい。

0129

また例えばエンタテインメント装置12、及び、HMD14の役割分担は上述のものに限定されない。例えば図4に例示する機能の一部又は全部が、HMD14で実装されても構わない。あるいは図5に例示する機能の一部又は全部が、エンタテインメント装置12で実装されても構わない。

0130

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

0131

10映像表示システム、12エンタテインメント装置、14ヘッドマウントディスプレイ(HMD)、16コントローラ、20 制御部、22 記憶部、24a 第1通信部、24b 第2通信部、26 コントローラ通信部、28a 第1エンコーダ部、28b 第2エンコーダ部、30切替制御回路、40 制御部、42 記憶部、44a
第1通信部、44b 第2通信部、46a 第1デコーダ部、46b 第2デコーダ部、48 切替制御回路、50スイッチ回路、52 出力部、60動画像生成部、62
部分動画像データ生成部、64 部分動画像データ分割部、66送信前処理実行部、66a 第1送信前処理実行部、66b 第2送信前処理実行部、68 送信部、68a
第1送信部、68b 第2送信部、70 指示受信部、72送信制御部、74 受信部、74a 第1受信部、74b 第2受信部、76受信後処理実行部、76a 第1受信後処理実行部、76b 第2受信後処理実行部、78レイテンシ測定部、80回数特定部、82受信制御部、84 指示送信部、86出力制御部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • オムロン株式会社の「 通信システム、通信装置および通信方法」が 公開されました。( 2020/02/13)

    【課題】要求レベルが異なる種類のデータを、同一のネットワーク上でそれぞれの要求を満たしつつ伝送させる。【解決手段】通信装置(200A〜200H、100、400)は、他の通信装置との間で互いに時刻同期し... 詳細

  • キヤノン株式会社の「 表示制御装置、表示制御方法、及び、プログラム」が 公開されました。( 2020/02/13)

    【課題】どのようなダイナミックレンジで画像が表示されているか否かをユーザに容易に把握させることができる技術を提供する。【解決手段】本発明の表示制御装置は、対象画像を表示するように制御する表示制御手段と... 詳細

  • 三菱電機株式会社の「 データダイオード装置」が 公開されました。( 2020/02/13)

    【課題】セキュリティレベルの高いデータダイオード装置を提供する。【解決手段】スレーブ装置10が接続されたデータダイオード送信部100と、マスター装置20が接続されたデータダイオード受信部200とを有し... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ