図面 (/)

技術 電子機器、および画像の提供方法

出願人 ソニー株式会社
発明者 石川博隆岩津健塚原翼
出願日 2014年11月18日 (4年10ヶ月経過) 出願番号 2016-503940
公開日 2017年3月30日 (2年6ヶ月経過) 公開番号 WO2015-125363
状態 特許登録済
技術分野 表示装置の制御、回路 テレビジョン受像機の構造の細部 デジタル計算機のユーザインターフェイス
主要キーワード 照度変化率 時間周波数成分 ヒステリシス制御 行動認識 装着情報 軸地磁気センサ ステップ関数 正面向き
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年3月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

本発明は、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることを目的とする。。 実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部(510)と、上記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部(540)と、上記照度情報および上記状況情報に基づいて、上記実空間に重畳される画像を上記観察者に知覚させるために上記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部(520)と、上記ウェアラブル光学装置を制御して、上記決定された輝度で光を出射させる制御部(530)とを備える電子機器が提供される。

概要

背景

近年、実空間の像に重畳する仮想的な画像を観察者知覚させることが可能な光学装置が種々開発されている。こうした光学装置は、例えばウェアラブル光学装置であり、特にユーザの頭部に装着されるものはヘッドマウントディスプレイ(HMD:Head Mounted Display)として知られている。HMDとして、例えば観察者の瞳の前方に設けられるハーフミラーを表示面として、そこに画像(実像)を結像させるタイプのものが知られている。また、光学系を用いて画像表示光を観察者の眼に導光することによって画像(虚像)を知覚させるタイプのHMDも開発されている。例えば、特許文献1には、観察者の眼に対して横方向から画像表示光を導光して眼に入射させることが可能なHMDを実現するための技術が記載されている。

また、こうしたHMDを用いて実空間の像と仮想的な画像とを観察するときに、実空間の明るさが変化しても画像の視認性を保つための技術も提案されている。例えば、特許文献2には、観察者の眼の前方からHMDの光学系を透過して観察者の眼に導かれる光の照度を検出し、照度が明領域から暗領域に変化した場合には画像表示光の輝度を徐々に暗くし、照度が暗領域から明領域に変化した場合には画像表示光の輝度を徐々に明るくする技術が記載されている。この技術によれば、観察者の眼の前方から光学系を透過して観察者の眼に導かれる光の照度が非常に明るくても暗くても、画像を良好に視認することができる。

概要

本発明は、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることを目的とする。。 実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部(510)と、上記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部(540)と、上記照度情報および上記状況情報に基づいて、上記実空間に重畳される画像を上記観察者に知覚させるために上記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部(520)と、上記ウェアラブル光学装置を制御して、上記決定された輝度で光を出射させる制御部(530)とを備える電子機器が提供される。

目的

マイクロフォン172は、音声音声信号に変換し、プロセッサ162に提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

実空間から観察者に向けてウェアラブル光学装置入射する光の照度を示す照度情報を取得する照度情報取得部と、前記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部と、前記照度情報および前記状況情報に基づいて、前記実空間に重畳される画像を前記観察者に知覚させるために前記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部と、前記ウェアラブル光学装置を制御して、前記決定された輝度で光を射出させる制御部とを備える電子機器

請求項2

前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記照度の変化に対する前記輝度の変化の遅延を最小化する、請求項1に記載の電子機器。

請求項3

前記輝度決定部は、前記照度情報に基づく前記輝度の決定プロセスを、複数の候補プロセスの中から前記状況情報に基づいて選択する、請求項1に記載の電子機器。

請求項4

前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、前記複数の候補プロセスは、前記照度情報によって示される照度の変化に対する前記輝度の変化の遅延を含む第1のプロセスと、前記遅延を含まない第2のプロセスとを含み、前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記第2のプロセスを選択し、そうでない場合には前記第1のプロセスを選択する、請求項3に記載の電子機器。

請求項5

前記第1のプロセスは、前記輝度の急激な変化を抑制する、請求項4に記載の電子機器。

請求項6

前記状況情報は、前記観察者に装着されたモーションセンサ出力値に基づいて生成される情報を含む、請求項3に記載の電子機器。

請求項7

前記複数の候補プロセスは、前記照度情報によって示される照度を第1の割合で前記輝度に変換する第1のプロセスと、前記照度情報によって示される照度を前記第1の割合よりも低い第2の割合で前記輝度に変換する第2のプロセスとを含み、前記輝度決定部は、前記状況情報によって前記観察者の視界に含まれる前記実空間の範囲を転換させるモーションの発生が示される場合には前記第2のプロセスを選択し、そうでない場合には前記第1のプロセスを選択する、請求項6に記載の電子機器。

請求項8

前記状況情報は、前記観察者の行動を示す行動情報を含む、請求項1に記載の電子機器。

請求項9

前記行動情報は、前記ウェアラブル光学装置と一体化されたセンサの出力値に基づいて生成される、請求項8に記載の電子機器。

請求項10

前記状況情報は、前記ウェアラブル光学装置への光学的なアタッチメント装着状態を示すアタッチメント装着情報を含む、請求項1に記載の電子機器。

請求項11

前記アタッチメント装着情報は、前記ウェアラブル光学装置と前記アタッチメントとの連結を検出するスイッチによって提供される、請求項10に記載の電子機器。

請求項12

前記照度情報は、前記アタッチメントによる光学的な影響を受けない光学センサの出力値に基づいて生成され、前記輝度決定部は、予め登録された前記アタッチメントの光学的特性に基づいて、前記アタッチメント装着情報によって前記アタッチメントが装着されたことが示される場合に、前記アタッチメントの装着による光学的な影響を前記決定される輝度に反映させる、請求項10に記載の電子機器。

請求項13

前記輝度決定部は、ステップ関数を用いて前記照度情報によって示される照度を前記輝度に変換する、請求項1に記載の電子機器。

請求項14

前記ステップ関数は、前記照度情報によって示される照度が上昇している場合に用いられる第1のステップ関数と、前記照度情報によって示される照度が低下している場合に用いられる第2のステップ関数とを含み、前記第2のステップ関数は、前記第1のステップ関数よりも照度の負方向にオフセットされている、請求項13に記載の電子機器。

請求項15

前記輝度決定部は、前記ステップ関数を用いて得られた前記輝度を平滑化する、請求項13に記載の電子機器。

請求項16

前記照度に含まれるノイズを低減する照度ノイズ低減部をさらに備える、請求項1に記載の電子機器。

請求項17

前記照度ノイズ低減部は、閾値を超える時間周波数での前記照度の変化が検出された場合に、該変化に対応する成分を前記照度から除去する、請求項16に記載の電子機器。

請求項18

実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を検出し、前記ウェアラブル光学装置の周辺状況を示す状況情報を取得し、前記照度および前記状況情報に基づいて輝度を決定し、前記ウェアラブル光学装置が、前記実空間に重畳される画像を前記観察者に知覚させるための光を、前記決定された輝度で射出することを含む画像の提供方法

技術分野

0001

本開示は、電子機器、および画像の提供方法に関する。

背景技術

0002

近年、実空間の像に重畳する仮想的な画像を観察者知覚させることが可能な光学装置が種々開発されている。こうした光学装置は、例えばウェアラブル光学装置であり、特にユーザの頭部に装着されるものはヘッドマウントディスプレイ(HMD:Head Mounted Display)として知られている。HMDとして、例えば観察者の瞳の前方に設けられるハーフミラーを表示面として、そこに画像(実像)を結像させるタイプのものが知られている。また、光学系を用いて画像表示光を観察者の眼に導光することによって画像(虚像)を知覚させるタイプのHMDも開発されている。例えば、特許文献1には、観察者の眼に対して横方向から画像表示光を導光して眼に入射させることが可能なHMDを実現するための技術が記載されている。

0003

また、こうしたHMDを用いて実空間の像と仮想的な画像とを観察するときに、実空間の明るさが変化しても画像の視認性を保つための技術も提案されている。例えば、特許文献2には、観察者の眼の前方からHMDの光学系を透過して観察者の眼に導かれる光の照度を検出し、照度が明領域から暗領域に変化した場合には画像表示光の輝度を徐々に暗くし、照度が暗領域から明領域に変化した場合には画像表示光の輝度を徐々に明るくする技術が記載されている。この技術によれば、観察者の眼の前方から光学系を透過して観察者の眼に導かれる光の照度が非常に明るくても暗くても、画像を良好に視認することができる。

先行技術

0004

特許4776285号公報
特開2011−175035号公報

発明が解決しようとする課題

0005

例えば特許文献1に記載されたような技術や、その他の技術を利用することによって、HMDのようなウェアラブル光学装置の小型化および軽量化が進んでいる。それゆえ、こうしたウェアラブル光学装置は、より多様な状況において利用されるものになりつつある。このような中、ウェアラブル光学装置によって提供される画像の視認性を向上させるための方法として、例えば特許文献2に記載されたような技術では必ずしも十分とはいえなくなっている。つまり、単に観察者の眼に導かれる光の照度が明るい暗いかという条件には限らず、観察者およびウェアラブル光学装置の周辺で発生するさまざまな状況に対応して画像の視認性を向上させるための技術が希求されている。

0006

そこで、本開示では、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることが可能な、新規かつ改良された電子機器、および画像の提供方法を提案する。

課題を解決するための手段

0007

本開示によれば、実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部と、上記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部と、上記照度情報および上記状況情報に基づいて、上記実空間に重畳される画像を上記観察者に知覚させるために上記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部と、上記ウェアラブル光学装置を制御して、上記決定された輝度で光を出射させる制御部とを備える電子機器が提供される。

0008

また、本開示によれば、実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を検出し、上記ウェアラブル光学装置の周辺状況を示す状況情報を取得し、上記照度および上記状況情報に基づいて輝度を決定し、上記ウェアラブル光学装置が、上記実空間に重畳される画像を上記観察者に知覚させるための光を、上記決定された輝度で射出することを含む画像の提供方法が提供される。

0009

ウェアラブル光学装置の周辺状況を示す状況情報を、画像を知覚させるためにウェアラブル光学装置によって射出される光の輝度に反映させることによって、多様な周辺状況に対応して画像の視認性を向上させることができる。

発明の効果

0010

以上説明したように本開示によれば、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることができる。

0011

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

図面の簡単な説明

0012

本開示の第1の実施形態に係るシステムの概略的な構成を示す図である。
図1に示すシステムの概略的な機能構成を示すブロック図である。
本開示の第1の実施形態に係るシステムにおける処理シーケンスの例を示す図である。
本開示の第1の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。
本開示の第1の実施形態における照度センサの取り付け位置の例を示す図である。
本開示の第1の実施形態において用いられる関数の例を示す図である。
本開示の第1の実施形態における輝度の値の平滑化の例を示す図である。
本開示の第1の実施形態における処理について説明するための図である。
図8に示すスイッチの動作の例を示すフローチャートである。
本開示の第2の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。
本開示の第2の実施形態において用いられる関数の例を示す図である。
本開示の第2の実施形態における処理の例を示すフローチャートである。
本開示の第2の実施形態の変形例における画像表示光の輝度制御のための機能構成を示すブロック図である。
本開示の第3の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。
本開示の第3の実施形態における光学的なアタッチメントの装着の例を示す図である。
本開示の第3の実施形態における処理の例を示すフローチャートである。
本開示の第4の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。
本開示の第4の実施形態におけるノイズ除去について説明するための図である。
本開示の第4の実施形態における照度ノイズ低減部の動作の例を示すフローチャートである。
本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。

実施例

0013

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0014

なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.システム構成
1−2.画像表示光の輝度制御
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
5.ハードウェア構成
6.補足

0015

(1.第1の実施形態)
(1−1.システム構成)
図1は、本開示の第1の実施形態に係るシステムの概略的な構成を示す図である。図2は、図1に示すシステムの概略的な機能構成を示すブロック図である。図1および図2を参照すると、システム10は、ヘッドマウントディスプレイ(HMD)100と、スマートフォン200と、サーバ300とを含む。以下、それぞれの機器の構成について説明する。

0016

(ヘッドマウントディスプレイ)
HMD100は、ディスプレイユニット110と、コントロールユニット160とを含む。ディスプレイユニット110は、例えば眼鏡型の筐体を有し、ユーザ(観察者)の頭部に装着される。コントロールユニット160は、ディスプレイユニット110にケーブルで接続される。

0017

ディスプレイユニット110は、図1に示されるように、光源112と、導光板114とを備える。光源112は、コントロールユニット160の制御に従って画像表示光を射出する。導光板114は、光源112から入射した画像表示光を導光し、ユーザの眼に対応する位置で画像表示光を出射する。ユーザの眼には、実空間から入射して導光板114を透過する光と、導光板114によって光源112から導光された画像表示光とが入射する。これによって、ディスプレイユニット110を装着したユーザは、実空間に重畳される画像を知覚することができる。なお、光源112から導光板114を介して画像表示光を出射させるための構成には、例えば上述した特許4776285号公報に記載されたような技術が用いられてもよい。ディスプレイユニット110は、このような構成のための図示しない光学系をさらに備えてもよい。

0018

さらに、ディスプレイユニット110は、図2に示されるように、照度センサ116と、モーションセンサ118と、カメラ120とを備える。照度センサ116は、実空間からユーザ(観察者)に向けてディスプレイユニット110に入射する光の照度を検出する。後述するように、照度センサから出力される照度情報は、光源112が射出する画像表示光の輝度を制御するために利用される。このため、照度センサ116は、実空間におけるユーザの視界に対応する領域の照度を検出するように、指向性を有していてもよい。モーションセンサ118は、例えば、3軸加速度センサ、3軸ジャイロセンサ、および3軸地磁気センサを含む。これらのセンサによって検出されるディスプレイユニット110の加速度、角速度、および方位に基づいて、ディスプレイユニット110の姿勢動き変位および回転)を特定することができる。ディスプレイユニット110がユーザの頭部に装着されている場合、ディスプレイユニット110の姿勢や動きは、ユーザの頭部の姿勢や動きとみなされてもよい。カメラ120は、実空間の画像を撮影する。カメラ120によって撮影される画像は、例えば、実空間におけるユーザの視界に対応する画像として扱われる。

0019

コントロールユニット160は、プロセッサ162と、メモリ164と、通信装置166と、入力キー168と、タッチセンサ170と、マイクロフォン172と、スピーカ174と、バッテリー176とを備える。プロセッサ162は、メモリ164に格納されたプログラムに従って動作することによって各種の機能を実現する。後述する照度情報取得部、輝度決定部、および制御部などの機能は、例えばプロセッサ162によって実現される。プロセッサ162は、ケーブルを介した有線通信によってディスプレイユニット110に制御信号を送信し、光源112による画像表示光の射出を制御する。また、プロセッサ162は、ディスプレイユニット110に備えられる照度センサ116、モーションセンサ118、およびカメラ120から出力されたデータを取得し、これらに基づく処理を実行する。

0020

メモリ164は、プロセッサ162の動作のためのさまざまなデータを格納する。例えば、メモリ164は、プロセッサ162が各種機能を実現するためのプログラムを格納する。また、メモリ164は、ディスプレイユニット110の照度センサ116、モーションセンサ118、およびカメラ120から出力されたデータを一時的に格納する。通信装置166は、スマートフォン200との間で無線通信を実行する。無線通信には、例えばBluetooth(登録商標)またはWi−Fiなどが用いられる。入力キー168は、例えば戻るキーPTT(Push to Talk)キーなどを含み、HMD100に対するユーザ操作を取得する。タッチセンサ170も、同様にHMD100に対するユーザ操作を取得する。より具体的には、例えば、タッチセンサ170は、ユーザによるタップスワイプなどの操作を取得する。

0021

マイクロフォン172は、音声音声信号に変換し、プロセッサ162に提供する。スピーカ174は、プロセッサ162の制御に従って音声を出力する。バッテリー176は、コントロールユニット160およびディスプレイユニット110の全体に電源を供給する。なお、HMD100では、プロセッサ162やマイクロフォン172、スピーカ174、バッテリー176などをコントロールユニット160に搭載し、ディスプレイユニット110とコントロールユニット160とを分離してケーブルで接続することによって、ディスプレイユニット110の小型化および軽量化を図っている。コントロールユニット160もまたユーザによって携帯されるため、可能な限り小型化および軽量化することが望ましい。そこで、例えば、プロセッサ162が実現する機能をディスプレイユニット110の制御のための最低限の機能とし、それ以外の機能についてはスマートフォン200で実現することによって、プロセッサ162の消費電力の低減によるバッテリー176およびコントロールユニット160全体の小型化を図ってもよい。

0022

(スマートフォン)
スマートフォン200は、プロセッサ202と、メモリ204と、通信装置206,208と、センサ210と、ディスプレイ212と、タッチパネル214と、GPS(Global Positioning System)受信機216と、マイクロフォン218と、スピーカ220と、バッテリー222とを備える。プロセッサ202は、メモリ204に格納されたプログラムに従って動作することによって各種の機能を実現する。上述の通り、プロセッサ202がHMD100のコントロールユニット160が備えるプロセッサ162と協働して各種の機能を実現することによって、コントロールユニット160を小型化することができる。メモリ204は、スマートフォン200の動作のためのさまざまなデータを格納する。例えば、メモリ204は、プロセッサ202が各種機能を実現するためのプログラムを格納する。また、メモリ204は、センサ210やGPS受信機216によって取得されたデータ、およびHMD100との間で送受信されるデータを、一時的または継続的に格納する。

0023

通信装置206は、HMD100のコントロールユニット160が備える通信装置166との間で、Bluetooth(登録商標)またはWi−Fiなどを用いた無線通信を実行する。また、通信装置208は、サーバ300との間でネットワーク通信を実行する。ネットワーク通信は、例えば携帯電話網を経由して実行されてもよい。ディスプレイ212は、プロセッサ202の制御に従って各種の画像を表示する。タッチパネル214は、ディスプレイ212上に配置され、ディスプレイ212に対するユーザのタッチ操作を取得する。GPS受信機216は、スマートフォン200の緯度経度、および高度を測定するためのGPS信号を受信する。マイクロフォン218は、音声を音声信号に変換し、プロセッサ202に提供する。スピーカ220は、プロセッサ202の制御に従って音声を出力する。バッテリー222は、スマートフォン200の全体に電源を供給する。

0024

(サーバ)
サーバ300は、プロセッサ302と、メモリ304と、通信装置306とを備える。なお、サーバ300は、例えばネットワーク上で複数のサーバ装置が協働することによって実現されるが、ここでは説明を簡単にするために仮想的な単一の装置として説明する。プロセッサ302は、メモリ304に格納されたプログラムに従って動作することによって各種の機能を実現する。サーバ300のプロセッサ302は、例えば、スマートフォン200から受信したリクエストに応じて各種の情報処理を実行し、結果をスマートフォン200に送信する。メモリ304は、サーバ300の動作のためのさまざまなデータを格納する。例えば、メモリ304は、プロセッサ302が各種機能を実現するためのプログラムを格納する。メモリ304は、さらに、スマートフォン200からアップロードされたデータを一時的または継続的に格納してもよい。通信装置306は、スマートフォン200との間で、例えば携帯電話網を経由したネットワーク通信を実行する。

0025

以上、本開示の第1の実施形態におけるシステム構成について説明した。なお、本実施形態において、HMD100は、ウェアラブル光学装置(ディスプレイユニット110)を含む電子機器の一例である。上述の通り、HMD100は、導光板114を用いて画像表示光を観察者の眼に導光することによって画像を知覚させる。従って、ディスプレイという用語が用いられているが、HMD100は必ずしも表示面に画像を結像させるものではない。もちろん、他の方式のHMDとして知られているように、HMD100に代えて表示面に画像を結像させるタイプのHMDが用いられてもよい。この場合、画像表示光は、例えば表示面に投影されてもよいし(プロジェクタの場合)、表示面に配設された発光素子によって射出されてもよいし(有機ELディスプレイなどの場合)、表示面の背面または側面に配設された光源から射出された光が表示面において変調されたものであってもよい(液晶ディスプレイの場合)。いずれの場合も、画像表示光は、例えばコントロールユニット160が備えるプロセッサ162によって決定された所定の輝度で、ディスプレイユニット110から射出される。なお、本明細書における「射出」という用語は、上記の例のように、光源が導光板や表示面などに向けて光を発することを意味する。つまり、「射出」という用語は、必ずしも、光源が発する光がウェアラブル光学装置の外部に向けられていることを意味するのではない。

0026

また、上記のシステム構成は一例であり、他にもさまざまなシステム構成が可能である。例えば、HMD100は、必ずしもディスプレイユニット110とコントロールユニット160とに分離していなくてもよく、例えば上記で説明したHMD100の構成の全体が、ディスプレイユニット110のような眼鏡型の筐体に集約されていてもよい。また、既に述べた通り、HMD100を制御するための機能の少なくとも一部が、スマートフォン200で実現されてもよい。あるいは、ディスプレイユニット110もプロセッサを備え、HMD100における情報処理がコントロールユニット160のプロセッサ162とディスプレイユニット110のプロセッサとの協働によって実現されてもよい。

0027

さらなる変形例として、システム10がスマートフォン200を含まず、HMD100とサーバ300との間で直接的に通信が実行されてもよい。また、システム10において、スマートフォン200は、HMD100およびサーバ300の両方との通信を実行することが可能な他の装置、例えばタブレット端末パーソナルコンピュータ、または携帯型ゲーム機などによって代替されてもよい。

0028

図3は、本開示の第1の実施形態に係るシステムにおける処理シーケンスの例を示す図である。図3を参照すると、まず、HMD100のコントロールユニット160において、例えばタッチセンサ170などを介してユーザ操作が入力される(S101)。このとき、プロセッサ162は、ユーザ操作の内容を示す情報を、通信装置166を介してスマートフォン200に送信する(S103)。スマートフォン200では、プロセッサ202が、通信装置206を介してHMD100から受信した情報に基づいて、次に表示する画像の内容を判断する(S105)。図示していないが、このとき、プロセッサ202は、通信装置208を介してサーバ300と通信し、次に表示する画像のために必要な情報を取得してもよい。

0029

続いて、プロセッサ202は、通信装置206を介して、次に表示する画像のために必要な情報、例えばアイコンテキストなどをHMD100に送信する(S107)。HMD100では、プロセッサ162が、通信装置166を介してスマートフォン200から受信した情報に基づいて、次に表示する画像(フレーム画像)を生成する(S109)。さらに、プロセッサ162は、生成されたフレーム画像のデータに基づいてディスプレイユニット110の光源112を制御し、光源112から射出される画像表示光によって提供される画像のフレーム更新する(S111)。

0030

(1−2.画像表示光の輝度制御)
図4は、本開示の第1の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図4を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部510と、輝度決定部520と、制御部530と、照度変化率算出部540とを含む機能構成によって実現される。

0031

上述のように、システム10において、これらの機能構成は、例えばHMD100のコントロールユニット160が備えるプロセッサ162がメモリ164に格納されたプログラムに従って動作することによって実現される。あるいは、上記の機能構成の一部または全部は、Bluetooth(登録商標)やWi−Fiなどの無線通信を介してHMD100と通信するスマートフォン200のプロセッサ202がメモリ204に格納されたプログラムに従って動作することによって実現されてもよい。同様に、上記の機能構成の一部または全部は、サーバ300のプロセッサ302がメモリ304に格納されたプログラムに従って動作することによって実現されてもよい。つまり、上記の機能構成は、システム10に含まれるいずれかの電子機器(HMD100、スマートフォン200、またはサーバ300)において実現されてもよいし、システム10に含まれる複数の電子機器が協働することによって実現されてもよい。

0032

(基本的な輝度制御)
まず、基本的な輝度制御について説明する。本実施形態では、基本的な輝度制御として、照度情報取得部510によって取得された照度情報によって示される照度に基づいて輝度決定部520が輝度を決定し、制御部530が決定された輝度で画像表示光を射出するようにディスプレイユニット110の光源112を制御する。

0033

照度情報取得部510は、実空間から観察者に向けてディスプレイユニット110(より詳細には、導光板114のユーザの眼に対応する位置)に入射する光の照度を示す照度情報を取得する。本実施形態において、ディスプレイユニット110は、ウェアラブル光学装置の一例である。照度情報は、ディスプレイユニット110が備える照度センサ116によって取得される。上述のように、照度センサ116は、実空間におけるユーザの視界に対応する領域の照度を検出するように、指向性を有していてもよい。

0034

ここで、照度センサ116の取り付け位置の例を、図5に示す。図5に示す例において、照度センサ116は、ディスプレイユニット110の正面向きに取り付けられる。ディスプレイユニット110の正面向きは、ユーザが導光板114を透過して実空間を視認する向きに一致する。さらに、照度センサ116は、ディスプレイユニット110の正面向きの指向性(図5に示す矢印に対応する)を有し、実空間におけるユーザの視界に対応する領域の照度を検出してもよい。

0035

再び図4を参照して、輝度決定部520は、照度情報取得部510が取得した照度情報に基づいて、実空間に重畳される画像をユーザ(観察者)に知覚させるためにディスプレイユニット110(より詳しくは光源112)によって射出される光、すなわち画像表示光の輝度を決定する。輝度決定部520は、例えば、照度情報によって示される照度を、ステップ関数を用いて画像表示光の輝度に変換する。ステップ関数では、後述する例に示すように、照度が高い(明るい)場合には輝度が高くなり、照度が低い(暗い)場合には輝度が低くなるように、所定の傾きに沿ってステップが形成されている。これによって、実空間におけるユーザの視界が明るい場合には画像表示光を高い輝度で射出し、画像の視認性を維持することができる。また、実空間におけるユーザの視界が暗い場合には画像表示光を低い輝度で射出し、画像が明るすぎて背景の実空間が見えづらくなることを防ぐことができる。

0036

ここで、輝度決定部520が照度を画像表示光の輝度に変換するために用いるステップ関数の例を、図6に示す。図6に示す例では、ステップ関数F1,F2を用いて照度が輝度に変換される。輝度決定部520は、照度情報によって示される照度が上昇している場合にはステップ関数F1(第1のステップ関数)を用いる。また、輝度決定部520は、照度情報によって示される照度が低下している場合にはステップ関数F2(第2のステップ関数)を用いる。ステップ関数F2は、ステップ関数F1を照度の負方向にオフセットしたものである。図6グラフでは、照度(入力値)および輝度(出力値)が、いずれも最大値を1.0として正規化して表現されている。

0037

画像表示光の輝度が実空間の照度に対応していたとしても、細かい照度の変化に対して逐一輝度が変化したのでは、画像の視認性は必ずしも向上しない。そこで、上記の例のようにステップ関数F1,F2を用いて照度を輝度に変換することによって、細かい照度の変化に対しては輝度を一定に維持しつつ、大きい照度の変化が発生した場合には照度に対応して輝度を変更することができる。さらに、照度の上昇時にはステップ関数F1を、照度の低下時にはステップ関数F2を用いることによって、いわゆるヒステリシス制御が実現される。例えば、照度が上昇してステップ関数F1の境界値を超え、輝度が1ステップ分上昇した直後に低下し始めたとする。この場合、輝度決定部520は、照度が低下し始めた時点で、使用する関数をステップ関数F1からステップ関数F2に切り替える。ステップ関数F2はステップ関数F1を照度の負方向にオフセットしたものであるため、同じ輝度の出力値に対する照度の境界値はステップ関数F1よりも低い。従って、照度が低下し始めても、すぐに輝度が低下することはなく、当該輝度に対するステップ関数F2の境界値よりも低くなって初めて輝度が低下することになる。このような制御によって、照度がステップ関数の境界値付近で上下した場合に発生するチャタリングのような出力変化を防ぐことができる。

0038

さらに、輝度決定部520は、図6に示したようなステップ関数を用いて得られた輝度を、例えばローパスフィルタなどを用いて平滑化してもよい。ローパスフィルタを用いた平滑化の例を、図7に示す。図7に示す例では、ステップ関数を用いて得られた輝度B1が、ローパスフィルタを通すことによって平滑化され、輝度B2として出力される。これによって、輝度の時間変化が滑らかになり、輝度の急激な変化によってユーザが感じる違和感を軽減できる。従って、ユーザは、照度の変化に伴って輝度が変化した場合でも気を散らすことなく、実空間と画像とを視認し続けることができる。

0039

本実施形態では、輝度決定部520が上記のような処理によって画像表示光の輝度を決定することによって、輝度の細かな揺れや急激な変化が生じにくくなり、HMD100によって提供される画像の視認性が向上する。ただし、上記の処理は、以下で説明するように画像表示光の輝度の変化を実空間から入射する光の照度の変化に比べて遅延させるために、HMD100の周辺状況によっては問題が生じる可能性がある。

0040

例えば、図6に示すようなステップ関数を用いて照度を輝度に変換する場合、照度情報によって示される照度が低下していても、照度がステップ関数F2の境界値に達するまで輝度は低下しない。このとき、輝度の変化には、照度の変化に比べて遅延が生じることになる。また、図7に示すようにローパスフィルタを用いて輝度の変化を平滑化する場合、平滑化前の輝度B1が時刻t0で瞬間的にb0からb1まで立ち上がるのに対し、輝度B2は、時刻t0から徐々にb0からb1まで上昇する。従って、輝度B2の変化は、輝度B1の変化に対して遅延し、輝度B1に対応する照度の変化に対しても遅延することになる。なお、図7の例は輝度B1が上昇する場合であるが、輝度B1が低下する場合についても同様である。

0041

ここで、例えば、HMD100の周辺が急激に暗くなった場合(照度が急激に大きく低下した場合)を考える。ディスプレイユニット110から射出される画像表示光の輝度が、実空間の視界の照度に比べて高すぎると背景の実空間が見えづらくなるため、安全のためには早急に輝度を低下させる必要がある。しかしながら、上述したような輝度決定部520による基本的な輝度制御では、輝度の急激な変化が抑制される分、輝度の変化が照度の変化に対して遅延するために、周辺が暗いにもかかわらず画像表示光の輝度が依然として高い状態が、短時間ではあるものの継続し、一時的に背景の実空間が見えづらくなってしまう。

0042

本実施形態では、輝度決定部520が、上記の基本的な輝度制御に加えてHMD100の周辺状況を示す状況情報に基づいた制御を実行することによって、上記のような事態が生じることを防ぐ。以下では、再び図4を参照して、上記の基本的な輝度制御とともに実行される、状況情報に基づく輝度制御について、さらに説明する。

0043

(状況情報に基づく輝度制御)
照度変化率算出部540は、照度情報取得部510が取得した照度情報に基づいて、照度の変化率を算出する。本実施形態において、照度の変化率を示す情報は、ディスプレイユニット110(ウェアラブル光学装置)の周辺状況を示す状況情報の一例である。従って、照度変化率算出部540は、状況情報を取得する状況情報取得部ともいえる。より具体的には、例えば、照度変化率算出部540は、照度情報によって示される照度をローパスフィルタを用いて平滑化した上で微分することによって変化率を算出する。算出された変化率を示す情報は、輝度決定部520に提供される。輝度決定部520は、変化率によって照度の急激な低下が示される場合に、上記のステップ関数を用いた処理によって得られる輝度にかかわらず、出力する輝度を一律に最低値(例えば0)に設定する。制御部530は、輝度が最低値に設定された場合、例えばディスプレイユニット110の光源112をオフにする。これによって、HMD100の周辺が急激に暗くなった場合(照度が急激に大きく低下した場合)には、遅延を最小化することによって輝度を迅速に低下させることができ、実空間の視界を確保してユーザの安全を図ることができる。

0044

図8は、上記の処理を、照度および輝度の波形の例とともにより詳しく説明するための図である。図8では、輝度決定部520の処理がステップ関数521、ローパスフィルタ523、およびスイッチ525として、照度変化率算出部540の処理がローパスフィルタ541、および変化率算出部543として、それぞれ示されている。

0045

例えば、照度情報取得部510が、波形(a)のような照度の変化を示す照度情報を取得したとする。波形(a)では、時刻t1以降に輝度の急激かつ大きな低下が発生している。ここで、輝度決定部520の基本的な処理では、ステップ関数521による変換によって階段状の波形(b)の輝度が得られ、さらにそれがローパスフィルタ523によって波形(c)のように平滑化される。平滑化された輝度の波形(c)では、波形(a)において輝度の低下が始まった時刻t1から、時刻t2までの時間をかけて輝度が低下する。

0046

一方、照度変化率算出部540の処理では、ローパスフィルタ541によって波形(a)から高周波ノイズを除去した波形(d)について、変化率算出部543が微分によって照度の変化率を算出する。この結果得られる照度の変化率、つまり時刻t1以降における波形(d)の傾きが負であり(照度が低下している)、かつ傾きの絶対値が閾値を超える(照度が急激に変化している)場合、輝度決定部520は、スイッチ525によって、ステップ関数521およびローパスフィルタ523によって得られた波形(c)に従った輝度制御ではなく、輝度を一律に0(最低値)にする制御を選択する。この時点で、制御部530は、画像表示光の輝度を0に設定するために、ディスプレイユニット110の光源112をオフにする。この結果、画像表示光の輝度は、波形(e)に示すように、時刻t2よりも早い時点で0になる。

0047

さらに、輝度決定部520は、上記のようにスイッチ525が動作してから所定の時間が経過した時刻t3に、ステップ関数521およびローパスフィルタ523によって得られた波形(c)に従った輝度制御を復帰させてもよい。時刻t3までの所定の時間は、例えば、ステップ関数521およびローパスフィルタ523によって得られる波形(c)でも照度の変化が反映されて輝度が0になるまでの時間、またはそれよりも長い時間でありうる。輝度制御を復帰させることによって、例えば照度が再び上昇したような場合に、照度に対応した輝度の制御を円滑に再開することができる。

0048

図9は、図8に示すスイッチ525の動作の例を示すフローチャートである。図9を参照すると、通常の場合、スイッチ525はオン、つまりステップ関数521およびローパスフィルタ523によって得られた輝度が制御部530に伝達されるように設定されている(S201)。ここで、変化率算出部543によって算出された照度の変化率が閾値(負の値)よりも小さくなった場合(S203のYES)、スイッチ525はオフ、つまり一律に0(最低値)の輝度が制御部530に伝達されるように設定される(S205)。さらに、S203から所定の時間が経過すると(S207)、処理はS201に戻る。

0049

このように、本実施形態では、照度情報に基づく輝度の決定プロセスが、複数の候補プロセス(ステップ関数521およびローパスフィルタ523を用いて照度を輝度に変換するプロセスと、照度に関わらず一律に輝度を0(最低値)に設定するプロセス)の中から、ディスプレイユニット110の周辺状況を示す状況情報(照度情報によって示される照度の変化率)に基づいて選択される。複数の候補プロセスのうち、第1のプロセス(ステップ関数521およびローパスフィルタ523を用いて照度を輝度に変換するプロセス)には、輝度の急激な変化を抑制するために生じる、照度の変化に対する輝度の変化の遅延が含まれる。これに対して、第2のプロセス(照度に関わらず一律に輝度を0(最低値)に設定するプロセス)では、輝度の急激な変化を抑制しない(むしろ、急激に0(最低値)にする)ため、第1のプロセスのような遅延は含まれない。厳密には、第2のプロセスでも遅延は0ではないが、ユーザの知覚に影響する程度ではない。なお、上記のような第1のプロセスと第2のプロセスとの目的の相違ために、ローパスフィルタ523とローパスフィルタ541とには、それぞれ異なる特性を有するフィルタが使用されてもよい。照度の変化率によって照度の急激な低下が示される場合には、例えば実空間の視界を確保してユーザの安全を図るために、輝度決定部520に含まれるスイッチ525が、遅延を含まない第2のプロセスを選択する。そうでない場合、スイッチ525は第1のプロセスを選択する。

0050

以上で説明したように、本実施形態では、ステップ関数やローパスフィルタを用いて照度を輝度に変換することによって、輝度の揺れや急激な変化を抑え、画像表示光によって提供される画像の視認性を向上させることができる。さらに、本実施形態では、HMD100の周辺状況を示す状況情報として、照度情報によって示される照度の変化率を示す情報を利用することによって、HMD100の周辺が急激に暗くなった場合には輝度の揺れや急激な変化を抑えるための処理をカットし、画像表示光の輝度を照度に追従して迅速に低下させることができる。従って、本実施形態では、周辺が急激に暗くなった場合のユーザの安全性を確保しつつ、HMD100によって提供される画像の視認性を向上させることができる。

0051

(2.第2の実施形態)
次に、本開示の第2の実施形態について説明する。第2の実施形態では、上記の第1の実施形態と同様のシステム10において、第1の実施形態とは異なる画像表示光の輝度制御が実行される。従って、第1の実施形態と共通するシステム構成については重複した説明を省略し、以下では輝度制御の処理について特に説明する。

0052

図10は、本開示の第2の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図10を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部510と、輝度決定部620と、制御部530と、照度変化率算出部540と、モーションデータ取得部640と、モーションデータ解析部650とを含む機能構成によって実現される。これらの機能構成は、第1の実施形態と同様に、例えばHMD100のコントロールユニット160が備えるプロセッサ162、スマートフォン200のプロセッサ202、もしくはサーバ300のプロセッサ302のうちのいずれか、またはこれらの協働によって実現される。

0053

なお、照度情報取得部510、制御部530、および照度変化率算出部540については、第1の実施形態と同様の機能構成であるため、重複した説明を省略する。また、照度変化率算出部540は、他の手段によってHMD100の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。照度変化率算出部540が設けられる場合、輝度決定部620は、照度変化率算出部540によって照度の急激な低下が検出された場合について、上記の第1の実施形態における輝度決定部520と同様に動作するが、これについても重複した説明を省略する。

0054

モーションデータ取得部640は、ディスプレイユニット110が備えるモーションセンサ118の出力値(以下、モーションデータともいう)を取得する。ここで、モーションセンサ118を含むディスプレイユニット110はユーザ(観察者)の頭部に装着されているため、モーションデータはユーザ(観察者)の頭部の姿勢や動きを示すものとみなすことができる。

0055

モーションデータ解析部650は、モーションデータ取得部640が取得したモーションデータを解析して、ディスプレイユニット110を装着したユーザのモーションを検出する。モーションデータに含まれる加速度、角速度、および方位などに基づいて、歩く、走る、立つ、座るといったユーザのモーションを検出するための処理については、例えば特開2010−198595号公報などに記載された公知技術であるため、ここでは詳細な説明を省略する。

0056

ここで、モーションデータ解析部650は、上記のような技術を利用しつつ、歩く、走る、立つ、座るといった一般的なモーションとは異なるユーザのモーションを検出してもよい。例えば、モーションデータ解析部650は、振り返る、歩いて(走って)角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションを検出してもよい。こうしたモーションは、例えば、ジャイロセンサの出力値に基づいてユーザの首や体の回転を検出することによって特定することができる。

0057

本実施形態において、ユーザのモーションを示す情報は、ディスプレイユニット110(ウェアラブル光学装置)の周辺状況(ディスプレイユニット110を装着したユーザの状況)を示す状況情報の一例である。従って、モーションデータ解析部650は、状況情報を取得する状況情報取得部ともいえる。

0058

輝度決定部620は、照度情報取得部510が取得した照度情報と、モーションデータ解析部650によって提供されるユーザのモーションを示す情報とに基づいて画像表示光の輝度を決定する。輝度決定部620は、例えば、照度情報によって示される照度を、ステップ関数を用いて画像表示光の輝度に変換する。第1の実施形態と同様に、ステップ関数では、照度が高い(明るい)場合には輝度が高くなり、照度が低い(暗い)場合には輝度が低くなるように、所定の傾きに沿ってステップが形成されている。

0059

さらに、本実施形態では、輝度決定部620が、ユーザのモーションを示す情報に基づいて、複数の候補関数の中から使用する関数を選択する。本実施形態において選択される関数の例を、図11に示す。図11に示す例では、ステップ関数F1,F2、およびステップ関数F3,F4の中から、輝度の決定に用いられる関数が選択される。ステップ関数F1,F2は、図6に示されたものと同様であり、ステップ関数F2はステップ関数F1を照度の負方向にオフセットしたものである。一方、ステップ関数F3,F4は、相互にオフセットされた1組のステップ関数という点ではステップ関数F1,F2と同様であるが、ステップが形成される傾きがステップ関数F1,F2よりも緩やかである。つまり、ステップ関数F3,F4は、ステップ関数F1,F2よりも低い割合で、照度を輝度に変換する。例えば、照度が最大値(1.0)まで上昇した場合、ステップ関数F1では輝度も最大値(1.0)まで上昇するが、ステップ関数F3では輝度が最大値の70%程度までしか上昇しない。従って、ステップ関数F3,F4を用いて照度を輝度に変換した場合、出力される輝度の値は、全体的にステップ関数F1,F2の場合よりも暗くなる。なお、図11のグラフでも、照度(入力値)および輝度(出力値)がいずれも最大値を1.0として正規化して表現されている。

0060

上記の例において、輝度決定部620は、ユーザのモーションを示す情報に基づいて、ステップ関数F1,F2およびステップ関数F3,F4のうちのどちらかを選択する。例えば、輝度決定部620は、ユーザが静止している場合にはステップ関数F3,F4を選択し、ユーザが歩いたり走ったりしている場合にはステップ関数F1,F2を選択する。ユーザが静止している場合は、背景の実空間が変化しないため画像が視認しやすい。従って、ステップ関数F3,F4を用いてより低い輝度で画像表示光を射出することで、視認可能でありかつ邪魔にならない画像の提供が可能になる。一方、ユーザが歩いたり走ったりしている場合は、背景の実空間が変化するために画像が視認しにくい。従って、ステップ関数F1,F2を用いてより高い輝度で画像表示光を射出することで、視認しやすい画像の提供が可能になる。

0061

さらに、輝度決定部620は、振り返る、歩いて(走って)角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションが検出されている場合にはステップ関数F3,F4を選択し、そうでない場合にはステップ関数F1,F2を選択してもよい。視界に含まれる実空間の範囲が転換するときには、実空間の様子をよく見ることが必要とされる。従って、ステップ関数F3,F4を選択してより低い輝度で画像表示光を射出することで、ユーザが実空間の様子を視認しやすくすることができる。

0062

本実施形態において、輝度決定部620は、上記の2つの判定のいずれか一方だけを実行してもよいし、両方を組み合わせて実行してもよい。両方を組み合わせる場合の処理の例を、図12のフローチャートに示す。図12を参照すると、輝度決定部620は、ユーザのモーションを示す情報を取得すると(S301)、まず、ユーザが静止しているか否かを判定する(S303)。ここで、ユーザが静止している場合(YES)、輝度決定部620は、ステップ関数F3,F4を選択する(S305)。

0063

一方、S303の判定において、ユーザが静止していなかった場合(NO)、ユーザは例えば歩いたり走ったりして動いていると推定される。この場合、さらに、輝度決定部620は、特定のモーションが検出されているか否かを判定する(S307)。特定のモーションは、例えば、振り返る、歩いて(走って)角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションである。このようなモーションが検出されている場合(YES)、輝度決定部620は、ステップ関数F3,F4を選択する(S305)。一方、上記のようなモーションが検出されていない場合(NO)、輝度決定部620は、ステップ関数F1,F2を選択する(S309)。ステップ関数F1,F2を選択することによって、同じ照度の入力値に対して、ステップ関数F3,F4を選択した場合よりも高い輝度の出力値が得られる。

0064

次に、輝度決定部620は、S305またはS309において選択された関数を用いて、照度の入力値(照度情報によって示される照度)を、輝度の出力値(画像表示光の輝度)に変換し(S311)、得られた輝度の値を制御部530に提供する(S315)。このとき、輝度決定部620は、第1の実施形態で説明したように、ローパスフィルタなどを用いて輝度の値を平滑化してもよい(S313)。

0065

以上のような処理によって、画像表示光の輝度が決定される。従って、例えば、実空間の照度が一定であったとしても、ユーザが立ち止まっている場合にはやや低い輝度で画像が提供され、ユーザが歩きだすと輝度が上昇する。さらに、ユーザが振り返ったり角を曲がったりしたときには、一時的に輝度が低下する。このような輝度の変化によって、ユーザが十分に画像を視認できるとともに、輝度が高すぎて画像が邪魔になることがなく、またユーザが実空間の様子をよく見たい場合には一時的に画像の輝度が抑制されて実空間が視認しやすくなる。

0066

このように、本実施形態では、照度情報に基づく輝度の決定プロセスが、複数の候補プロセス(ステップ関数F1,F2を用いるプロセスと、ステップ関数F3,F4を用いるプロセス)の中から、ディスプレイユニット110の周辺状況を示す状況情報(ユーザ(観察者)に装着されたモーションセンサの出力値に基づいて生成される、ユーザのモーションを示す情報)に基づいて選択される。候補プロセスのうち、第2のプロセス(ステップ関数F3,F4を用いるプロセス)は、第1のプロセスの割合(第1の割合)よりも低い割合(第2の割合)で、照度情報によって示される照度を画像表示光の輝度に変換する。輝度決定部620は、例えばユーザが静止している場合(画像を視認しやすい場合)や、ユーザの視界に含まれる実空間の範囲を転換させるモーションが発生した場合(実空間の様子をよく見たい場合)には上記の第2のプロセスを選択し、それ以外の場合には第1のプロセスを選択する。

0067

なお、上述した本開示の第2の実施形態は、第1の実施形態とは独立して実施されてもよいし、組み合わせて実施されてもよい。より具体的には、例えば、図11に例示したステップ関数F1〜F4に代えて、ステップ関数以外の関数が用いられてもよい。あるいは、輝度決定部620は、単純な関数を用いて照度を輝度に変換するのではなく、より複雑な手順によって照度を輝度に変換してもよい。このような場合も、例えば照度の入力値に対する輝度の出力値の割合が相異なる少なくとも2つのプロセスが設定可能であれば、本実施形態を応用することができる。

0068

(変形例)
次に、本開示の第2の実施形態の変形例について説明する。変形例に係る機能構成を、図13に示す。図13を参照すると、本変形例では、図10に示した第2の実施形態の機能構成において、モーションデータ解析部650が、行動認識部660によって置換されている。

0069

上述のように、モーションデータに基づいてユーザのモーションを検出するための処理は、行動認識としてよく知られている技術である。行動認識の技術としては、例えば特開2011−81431号公報や特開2012−8771号公報などに記載されているように、比較的長時間にわたる行動パターンや、場所の属性などと結びついた行動のように、より高度な認識を実現する技術も知られている。行動認識部660は、こうした各種の行動認識技術を利用して、ユーザの行動を認識する。上記のモーションデータ解析部650による解析がユーザのモーションの認識に特化していたのに対して、行動認識部660は、必要に応じて、モーションに限らずユーザの各種の行動を認識することが可能である。本変形例において、ユーザの行動を示す情報は、ディスプレイユニット110(ウェアラブル光学装置)の周辺状況(ディスプレイユニット110を装着したユーザの状況)を示す状況情報の一例である。従って、行動認識部660は、状況情報を取得する状況情報取得部ともいえる。

0070

なお、行動認識部660は、モーションセンサの出力値に限らず、他の様々なセンサの出力値に基づいて行動認識を実行してもよい。例えば、行動認識部660は、HMD100のディスプレイユニット110が備える照度センサ116やカメラ120、コントロールユニット160が備えるマイクロフォン172、スマートフォン200が備えるセンサ210やGPS受信機216、マイクロフォン218などをセンサとして用いて、これらの出力値に基づく行動認識を実行してもよい。これらのセンサは、例えば、HMD100のユーザ(観察者)に装着されている。センサは、HMD100のディスプレイユニット110(ウェアラブル光学装置)と一体化していてもよいし、それ以外の電子機器、例えばコントロールユニット160やスマートフォン200、その他のユーザによって装着または携帯される電子機器に組み込まれていてもよい。

0071

また、行動認識部660の処理は、処理負荷が高かったり、蓄積されたデータへのアクセスを必要とする場合がある。従って、行動認識部660の処理は、他の機能構成、つまり照度情報取得部510、輝度決定部620、および制御部530などとは異なる電子機器において実現されてもよい。例えば、照度情報取得部510、輝度決定部620、および制御部530がHMD100のコントロールユニット160が備えるプロセッサ162によって実現される場合に、行動認識部660はスマートフォン200のプロセッサ202、またはサーバ300のプロセッサ302によって実現されてもよい。

0072

本変形例では、静止したり、動いたりといったモーションに限らず、ユーザの各種の行動に応じて画像表示光の輝度が制御されることによって、より多様な状況において、HMD100によって提供される画像の視認性を向上させることができる。

0073

(3.第3の実施形態)
次に、本開示の第3の実施形態について説明する。第3の実施形態では、上記の第1の実施形態と同様のシステム10において、第1の実施形態とは異なる画像表示光の輝度制御が実行される。従って、第1の実施形態と共通するシステム構成については重複した説明を省略し、以下では輝度制御の処理について特に説明する。

0074

図14は、本開示の第3の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図14を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部510と、輝度決定部720と、制御部530と、照度変化率算出部540と、アタッチメント装着検出部740とを含む機能構成によって実現される。これらの機能構成は、第1の実施形態と同様に、例えばHMD100のコントロールユニット160が備えるプロセッサ162、スマートフォン200のプロセッサ202、もしくはサーバ300のプロセッサ302のうちのいずれか、またはこれらの協働によって実現される。

0075

なお、照度情報取得部510、制御部530、および照度変化率算出部540については、第1の実施形態と同様の機能構成であるため、重複した説明を省略する。また、照度変化率算出部540は、他の手段によってHMD100の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。照度変化率算出部540が設けられる場合、輝度決定部720は、照度変化率算出部540によって照度の急激な低下が検出された場合について、上記の第1の実施形態における輝度決定部520と同様に動作するが、これについても重複した説明を省略する。

0076

アタッチメント装着検出部740は、ディスプレイユニット110への光学的なアタッチメント、例えばサングラス装着状態を示すアタッチメント装着情報を取得する。アタッチメント装着情報は、例えばディスプレイユニット110とアタッチメントとの連結をスイッチを用いて検出することによって生成される。なお、本実施形態において、アタッチメント装着検出部740によって検出される、光学的なアタッチメントの装着状態を示す情報は、ディスプレイユニット110(ウェアラブル光学装置)の周辺状況を示す状況情報の一例である。従って、アタッチメント装着検出部740は、状況情報を取得する状況情報取得部ともいえる。

0077

このような構成の具体的な例を、図15に示す。図15を参照すると、本実施形態では、ディスプレイユニット110に、サングラス122を装着するための連結部124が設けられる。連結部124には、例えばサングラス122に設けられる凸部が嵌め込まれる凹部であってもよいし、サングラス122がクリップで固定されるための領域であってもよい。連結部124には、連結検出スイッチ126が設けられる。連結検出スイッチ126は、連結部124にサングラス122が連結されたときにオンになるスイッチである。例えばコントロールユニット160のプロセッサ162によって実現されるアタッチメント装着検出部740は、連結検出スイッチ126がオンになった場合に出力される信号を受信した場合に、ディスプレイユニット110にサングラス122が装着されたと判定する。

0078

本実施形態において、サングラス122は、導光板114のユーザの眼に対応する領域をカバーするが、照度センサ116をカバーしない。つまり、本実施形態において照度情報取得部510によって取得される照度情報は、サングラス122(光学的なアタッチメント)による光学的な影響を受けない照度センサ116(光学センサ)の出力値に基づいて生成されている。従って、サングラス122が装着されたことによって実空間から入射する光の照度が低下していても、照度情報にはそのような照度変化が反映されていない。このような場合、輝度決定部720が、サングラス122が装着されていない場合と同様にして画像表示光の輝度を決定すると、画像表示光の輝度が高すぎ、サングラス122を透過して視認される背景の実空間が視認しづらくなる可能性がある。

0079

そこで、輝度決定部720は、照度情報取得部510が取得した照度情報と、アタッチメント装着検出部740によって提供されるアタッチメント装着情報とに基づいて、画像表示光の輝度を決定する。光学的なアタッチメントの光学的特性は、予め登録されている。例えば、サングラス122の場合、ディスプレイユニット110にサングラス122を装着することによる実空間から入射する光の照度低下量が、例えばコントロールユニット160が備えるメモリ164、スマートフォン200が備えるメモリ204、またはサーバ300が備えるメモリ304に、予め登録されている。輝度決定部720は、アタッチメント装着情報によってサングラス122が装着されたことが示される場合に、サングラス122の装着による光学的な影響、すなわち実空間から入射する光の照度低下を画像表示光の輝度に反映させる。

0080

上記の輝度決定部720の処理の例について、図16を参照してさらに説明する。図16に示す例では、輝度決定部720が、ステップ関数F1,F2、およびステップ関数F5,F6の中から、輝度の決定に用いられる関数を選択する。ステップ関数F1,F2は、図6に示されたものと同様であり、ステップ関数F2はステップ関数F1を照度の負方向にオフセットしたものである。一方、ステップ関数F5,F6は、相互にオフセットされた1組のステップ関数という点ではステップ関数F1,F2と同様であるが、ステップが形成される傾きがステップ関数F1,F2よりも緩やかであり、また輝度の出力値は所定の輝度b2で飽和する。この例において、輝度決定部720は、アタッチメント装着情報によってサングラス122が装着されたことが示される場合にはステップ関数F5,F6を用いて照度を輝度に変換し、それ以外の場合にはステップ関数F1,F2を用いて照度を輝度に変換する。このような処理よって、輝度決定部720によって決定される画像表示光の輝度には、サングラス122の装着による実空間から入射する光の照度低下が反映され、サングラス122を装着した状態においてより適切な画像表示光の輝度が決定される。

0081

なお、上述した本開示の第3の実施形態は、第1の実施形態および/または第2の実施形態とは独立して実施されてもよいし、組み合わせて実施されてもよい。より具体的には、例えば、図16に例示したステップ関数F1,F2,F5,F6に代えて、ステップ関数以外の関数が用いられてもよい。あるいは、輝度決定部720は、単純な関数を用いて照度を輝度に変換するのではなく、より複雑な手順によって照度を輝度に変換してもよい。このような場合も、サングラス122のような光学的アタッチメントによる光学的な影響を画像表示光の輝度の反映させることが可能な少なくとも2つのプロセスが設定可能であれば、本実施形態を応用することができる。

0082

(4.第4の実施形態)
次に、本開示の第4の実施形態について説明する。第4の実施形態では、上記の第1の実施形態と同様のシステム10において、第1〜第3の実施形態のいずれかと同様の画像表示光の輝度制御に加えて、照度に含まれるノイズを除去する処理が実行される。従って、上述した各実施形態と共通するシステム構成および輝度制御の処理については重複した説明を省略し、以下では照度のノイズ除去の処理について特に説明する。なお、以下の説明では、簡単のために第1の実施形態と同様の輝度制御に加えてノイズ除去の処理が実行される場合について説明するが、同様に、第2の実施形態または第3の実施形態と同様の輝度制御に加えてノイズ除去の処理が実行されてもよい。

0083

図17は、本開示の第4の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図17を参照すると、本実施形態では、第1の実施形態と同様の照度情報取得部510、輝度決定部520、制御部530、および照度変化率算出部540に加えて、照度情報取得部510の前段に照度ノイズ低減部840が設けられる。照度ノイズ低減部840を含む各機能構成は、第1の実施形態と同様に、例えばHMD100のコントロールユニット160が備えるプロセッサ162、スマートフォン200のプロセッサ202、もしくはサーバ300のプロセッサ302のうちのいずれか、またはこれらの協働によって実現される。なお、照度変化率算出部540は、他の手段によってHMD100の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。

0084

本実施形態において、照度ノイズ低減部840は、例えば照度センサ116に髪の毛がかかった場合に照度の検出値に発生するノイズを除去する。このような処理の具体的な例を、図18に示す。図18に示す例では、ノイズ処理除去前の照度L1から、急峻な谷状のノイズ成分Nが除去され、照度L2が得られる。これによって、例えば照度センサ116に髪の毛がかかったことによって瞬間的に照度が低下しても、その照度変化が画像表示光の輝度に反映されて画像が暗くなってしまうことが防止される。

0085

図19は、本実施形態における照度ノイズ低減部840の動作の例を示すフローチャートである。図19を参照すると、通常の場合、照度ノイズ低減部840はオフ、つまり照度センサ116から取得された照度情報をそのまま照度情報取得部510に入力するように設定されている(S401)。ここで、照度情報によって示される照度に、閾値を超える時間周波数での照度の変化が検出された場合(S403のYES)、照度ノイズ低減部840がオンになる。より具体的には、照度ノイズ低減部840は、閾値を超える時間周波数での照度の変化に対応する成分を、照度情報によって示される照度から除去する(S405)。一例として、照度ノイズ低減部840は、ハイパスフィルタを使用して、S403における閾値を超える時間周波数での照度変化を検出してもよい。さらに、照度ノイズ低減部840は、ローパスフィルタを使用して、閾値を超える時間周波数成分(ノイズにあたる)を除去してもよい。

0086

(5.ハードウェア構成)
次に、図20を参照して、本開示の実施形態に係る電子機器のハードウェア構成について説明する。図20は、本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。図示された電子機器900は、例えば、上記の実施形態におけるHMD100、スマートフォン200、および/またはサーバ300を構成するサーバ装置を実現しうる。

0087

電子機器900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、電子機器900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、電子機器900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。電子機器900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific IntegratedCircuit)と呼ばれるような処理回路を有してもよい。

0088

CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、電子機器900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。

0089

入力装置915は、例えば、マウスキーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、電子機器900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、電子機器900に対して各種のデータを入力したり処理動作を指示したりする。

0090

出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、電子機器900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

0091

ストレージ装置919は、電子機器900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶デバイス半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

0092

ドライブ921は、磁気ディスク光ディスク光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、電子機器900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。

0093

接続ポート923は、機器を電子機器900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、電子機器900と外部接続機器929との間で各種のデータが交換されうる。

0094

通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用ルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用モデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信ラジオ波通信または衛星通信などである。

0095

撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

0096

センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ光センサ音センサなどの各種のセンサである。センサ935は、例えば電子機器900の筐体の姿勢など、電子機器900自体の状態に関する情報や、電子機器900の周辺の明るさや騒音など、電子機器900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。

0097

以上、電子機器900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々技術レベルに応じて適宜変更されうる。

0098

(6.補足
本開示の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形媒体を含みうる。

0099

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

0100

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

0101

なお、以下のような構成も本開示の技術的範囲に属する。
(1)実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部と、
前記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部と、
前記照度情報および前記状況情報に基づいて、前記実空間に重畳される画像を前記観察者に知覚させるために前記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部と、
前記ウェアラブル光学装置を制御して、前記決定された輝度で光を出射させる制御部と
を備える電子機器。
(2)前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、
前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記照度の変化に対する前記輝度の変化の遅延を最小化する、前記(1)に記載の電子機器。
(3)前記輝度決定部は、前記照度情報に基づく前記輝度の決定プロセスを、複数の候補プロセスの中から前記状況情報に基づいて選択する、前記(1)に記載の電子機器。
(4)前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、
前記複数の候補プロセスは、前記照度情報によって示される照度の変化に対する前記輝度の遅延を含む第1のプロセスと、前記遅延を含まない第2のプロセスとを含み、
前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記第2のプロセスを選択し、そうでない場合には前記第1のプロセスを選択する、前記(3)に記載の電子機器。
(5)前記第1のプロセスは、前記輝度の急激な変化を抑制する、前記(4)に記載の電子機器。
(6)前記状況情報は、前記観察者に装着されたモーションセンサの出力値に基づいて生成される情報を含む、前記(3)〜(5)のいずれか1項に記載の電子機器。
(7)前記複数の候補プロセスは、前記照度情報によって示される照度を第1の割合で前記輝度に変換する第1のプロセスと、前記照度情報によって示される照度を前記第1の割合よりも低い第2の割合で前記輝度に変換する第2のプロセスとを含み、
前記輝度決定部は、前記状況情報によって前記観察者の視界に含まれる前記実空間の範囲を転換させるモーションの発生が示される場合には前記第2のプロセスを選択し、そうでない場合には前記第1のプロセスを選択する、前記(6)に記載の電子機器。
(8)前記状況情報は、前記観察者の行動を示す行動情報を含む、前記(1)〜(7)のいずれか1項に記載の電子機器。
(9)前記行動情報は、前記ウェアラブル光学装置と一体化されたセンサの出力値に基づいて生成される、前記(8)に記載の電子機器。
(10)前記状況情報は、前記ウェアラブル光学装置への光学的なアタッチメントの装着状態を示すアタッチメント装着情報を含む、前記(1)〜(9)のいずれか1項に記載の電子機器。
(11)前記アタッチメント装着情報は、前記ウェアラブル光学装置と前記アタッチメントとの連結を検出するスイッチによって提供される、前記(10)に記載の電子機器。
(12)前記照度情報は、前記アタッチメントによる光学的な影響を受けない光学センサの出力値に基づいて生成され、
前記輝度決定部は、予め登録された前記アタッチメントの光学的特性に基づいて、前記アタッチメント装着情報によって前記アタッチメントが装着されたことが示される場合に、前記アタッチメントの装着による光学的な影響を前記決定される輝度に反映させる、前記(10)または(11)に記載の電子機器。
(13)前記輝度決定部は、ステップ関数を用いて前記照度情報によって示される照度を前記輝度に変換する、前記(1)〜(12)のいずれか1項に記載の電子機器。
(14)前記ステップ関数は、前記照度情報によって示される照度が上昇している場合に用いられる第1のステップ関数と、前記照度情報によって示される照度が低下している場合に用いられる第2のステップ関数とを含み、
前記第2のステップ関数は、前記第1のステップ関数よりも照度の負方向にオフセットされている、前記(13)に記載の電子機器。
(15)前記輝度決定部は、前記ステップ関数を用いて得られた前記輝度を平滑化する、前記(13)または(14)に記載の電子機器。
(16)前記照度に含まれるノイズを低減する照度ノイズ低減部をさらに備える、前記(1)〜(15)のいずれか1項に記載の電子機器。
(17)前記照度ノイズ低減部は、閾値を超える時間周波数での前記照度の変化が検出された場合に、該変化に対応する成分を前記照度から除去する、前記(16)に記載の電子機器。
(18)実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を検出し、
前記ウェアラブル光学装置の周辺状況を示す状況情報を取得し、
前記照度および前記状況情報に基づいて輝度を決定し、
前記ウェアラブル光学装置が、前記実空間に重畳される画像を前記観察者に知覚させるための光を、前記決定された輝度で射出する
ことを含む画像の提供方法。

0102

10 システム
100 HMD
110ディスプレイユニット
112光源
114導光板
116照度センサ
118モーションセンサ
122サングラス
124 連結部
126 スイッチ
160コントロールユニット
162プロセッサ
164メモリ
200スマートフォン
202 プロセッサ
204 メモリ
300サーバ
302 プロセッサ
304 メモリ
510照度情報取得部
520,620,720輝度決定部
530 制御部
540照度変化率算出部
640モーションデータ取得部
650 モーションデータ解析部
660行動認識部
740アタッチメント装着検出部
840ノイズ低減部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ