図面 (/)

技術 画像表示装置及び画像表示方法、並びに画像表示システム

出願人 ソニー株式会社
発明者 佐古曜一郎武田正資
出願日 2013年10月31日 (5年10ヶ月経過) 出願番号 2014-558440
公開日 2017年1月26日 (2年7ヶ月経過) 公開番号 WO2014-115393
状態 特許登録済
技術分野 表示装置の制御、回路 テレビジョン受像機の構造の細部 双方向TV,動画像配信等 デジタル計算機のユーザインターフェイス
主要キーワード 装着センサー 状態センサー 受給者側 体温センサー 画角サイズ ライブ動画 虚像光 ラジコン
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

頭部又は顔部に画像表示装置を装着したユーザー間で、珍しい物や貴重な物を見たときの画像を共有する。 人は、何か珍しい物や貴重な物を発見したときに、周りに教えたくなる。例えば、夜空金星などの惑星流星を発見したとき、川でや沢蟹を発見したとき、森で高い木の上にセミカブトムシなどを見つけたとき、「見て、見て、あそこ!」という感じになる。画像表示装置100は、ユーザー視線方向を撮影した画像を開放して、自らの貴重な体験を他のユーザーと共有する。

概要

背景

頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッドマウントディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像拡大虚像を形成することで、ユーザー臨場感のある画像を観察することができる。また、ユーザーが頭部に装着した際に外界を完全に遮るようにヘッド・マウント・ディスプレイを構成すれば、視聴時の没入感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3D画像を提示することができる。

ヘッド・マウント・ディスプレイを用いて、ブルーレイディスクなどのメディアからの再生画像だけでなく、さまざまな画像を視聴することができる。例えば、外部機器から送信されるライブ画像をヘッド・マウント・ディスプレイで視聴するというアプリケーションも考えられる。ラジコンなどの移動体に搭載された撮像装置で実際に撮像された画像を、ユーザーが装着する表示装置で表示する画像表示システムについても提案がなされている(例えば、特許文献1を参照のこと)。

ヘッド・マウント・ディスプレイの人気は極めて高い。今後量産が進めば、携帯電話スマートフォン携帯ゲーム機のように普及し、1人が1台のヘッド・マウント・ディスプレイを所持するようになるかもしれない。

現在、スマートフォンを介した情報交換が盛んに行なわれている。扱われる情報としては、スマートフォン上で編集したデータ(メールを含む)や撮影した画像、スマートフォンにダウンロードしたコンテンツなどを挙げることができる。これに対し、ヘッド・マウント・ディスプレイは、装着したユーザーの視線方向の画像を、ハンズフリーで容易に取り込めるという特徴がある。眼鏡型ディスプレイカメラを装着したユーザー間視界の画像を交換する画像表示システムも考えられる。

例えば、他人が装着している撮像表示装置視覚光景を撮像した画像を受信し、表示する表示装置について提案がなされている(例えば、特許文献2を参照のこと)。撮像表示装置と表示装置からなる表示システム内では、基本的に、(画像提供元である)撮像表示装置が、(画像を受給する)表示装置からの画像要求に応じて画像を提供するように構成されている。そして、表示装置を装着したユーザーは、他人の視覚光景を見ることができる。しかしながら、画像を提供する撮像表示装置側のユーザーが、例えば何か珍しい物や貴重な物を発見したときには、画像要求を待たずに即座に画像を送信したい場合もあると思料される。例えば、走り去っていく動物を見つけたときなど、すぐにシーンが移り変わってしまう場合である。また、表示装置のユーザーは、いずれの撮像表示装置が見る価値のある視界光景を提供しているか分からず、取り敢えずいずれかの撮像表示装置を指定して画像要求しなければならない。

また、一方の撮像表示装置で撮像した使用者の視界方向の画像を他方の撮像表示装置に送信して表示させたり記録させたりし、一方の撮像表示装置で記録した使用者の視界方向の画像を他方の撮像表示装置で再生させる撮像表示システムについて提案がなされている(例えば、特許文献3を参照のこと)。この撮像表示システムでは、一方の撮像表示装置のユーザーがリモートコントローラーを用いた操作により両撮像表示装置間での視覚交換動作が指示されるようになっている。すなわち、一方の撮像表示装置のユーザーが、自分の視覚画像を他方の撮像表示装置に送信したい、あるいは他方の撮像表示装置における視覚画像を見たいと思ったときには視覚交換動作を指示することができる。しかしながら、リモート・コントローラーを持たない他方の撮像表示装置のユーザーが、例えば何か珍しい物や貴重な物を発見したとき、自分の視覚画像を一方の撮像表示装置に送信したいと思っても、視覚交換動作を指示する術がない。

概要

頭部又は顔部に画像表示装置を装着したユーザー間で、珍しい物や貴重な物を見たときの画像を共有する。 人は、何か珍しい物や貴重な物を発見したときに、周りに教えたくなる。例えば、夜空金星などの惑星流星を発見したとき、川でや沢蟹を発見したとき、森で高い木の上にセミカブトムシなどを見つけたとき、「見て、見て、あそこ!」という感じになる。画像表示装置100は、ユーザーの視線方向を撮影した画像を開放して、自らの貴重な体験を他のユーザーと共有する。

目的

撮像表示装置と表示装置からなる表示システム内では、基本的に、(画像提供元である)撮像表示装置が、(画像を受給する)表示装置からの画像要求に応じて画像を提供する

効果

実績

技術文献被引用数
2件
牽制数
3件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像を表示する画像表示部と、画像を入力する画像入力部と、前記画像入力部に入力された画像の送信先となる受信端末を設定する受信端末設定部と、前記画像入力部に入力された画像を前記受信端末に送信する画像送信部と、を具備する、頭部又は顔部に装着型の画像表示装置

請求項2

前記画像表示装置を使用するユーザーの状態を検出する状態検出部をさらに備え、前記状態検出部が前記ユーザーの所定の状態を検出したことに応答して、前記画像送信部は前記受信端末への前記画像入力部に入力された画像の送信を開始し又は停止する、請求項1に記載の画像表示装置。

請求項3

前記受信端末設定部は、画像開放メッセージを送信し、確認応答メッセージ返信してきた受信端末を設定する、請求項1に記載の画像表示装置。

請求項4

前記受信端末設定部が1つも受信端末を設定できないときには、前記画像送信部は前記画像入力部に入力された画像の送信を行なわない、請求項1に記載の画像表示装置。

請求項5

前記画像入力部に入力された画像とともに送信する付加情報を作成する付加情報作成部をさらに備え、前記画像送信部は、前記画像入力部に入力された画像とともに前記付加情報を前記受信端末に送信する、請求項1に記載の画像表示装置。

請求項6

前記受信端末設定部は、前記受信端末を2区分以上に分類し、前記画像送信部は、所定の区分の前記受信端末にのみ前記付加情報を送信する、請求項5に記載の画像表示装置。

請求項7

前記画像入力部は、前記画像表示装置を使用するユーザーの視線方向の画像を入力し、前記付加情報作成部は、前記ユーザーの視線に関する付加情報又は視線方向にある対象物を示す付加情報を作成する、請求項5に記載の画像表示装置。

請求項8

撮像部をさらに備え、前記画像入力部は、前記撮像部が撮影する画像を入力する、請求項1に記載の画像表示装置。

請求項9

撮像部と、前記撮像部の撮像画像を記録する記録部をさらに備え、前記画像入力部は、前記記録部から前記撮像画像を入力する、請求項1に記載の画像表示装置。

請求項10

送信端末から送信された画像を受信処理する画像受信処理部と、前記受信処理した画像を表示する画像表示部と、を具備する、頭部又は顔部に装着型の画像表示装置。

請求項11

前記送信端末を設定する送信端末設定部をさらに備え、前記画像受信処理部は、前記送信端末設定部に設定された前記送信端末からの画像のみ受信する、請求項10に記載の画像表示装置。

請求項12

前記送信端末設定部は、前記送信端末からの画像開放メッセージに対して確認応答メッセージを返信する、請求項11に記載の画像表示装置。

請求項13

前記画像受信処理部は、前記画像とともに送られてくる付加情報を選択的に受信する、請求項10に記載の画像表示装置。

請求項14

前記画像表示部は前記画像表示部を使用するユーザーの左右の眼毎に表示画面を持ち、前記画像表示部は、前記受信処理した画像を左右いずれか一方の表示画面に表示する、請求項10に記載の画像表示装置。

請求項15

前記画像表示部は、前記受信処理した画像を表示画面に子画面表示、又は、分割画面表示する、請求項10に記載の画像表示装置。

請求項16

前記画像受信処理部は、前記画像とともに送られてくる付加情報の表示処理も行なう、請求項10に記載の画像表示装置。

請求項17

前記送信端末は、前記送信端末のユーザーの視線方向の画像をユーザーの視線の情報を含んだ付加情報とともに送信し、前記画像受信処理部は、前記付加情報として受信したユーザーの視線に関する情報に基づいて、前記送信端末から受信した画像に特殊処理を行なう、請求項10に記載の画像表示装置。

請求項18

画像を入力する画像入力ステップと、前記画像入力ステップで入力された画像の送信先となる受信端末を設定する受信端末設定ステップと、前記画像入力ステップで入力された画像を前記受信端末に送信する画像送信ステップと、を有する画像表示方法

請求項19

送信端末から送信された画像を受信処理する画像受信処理ステップと、前記受信処理した画像を表示出力する画像表示ステップと、を有する画像表示方法。

請求項20

頭部又は顔部に装着型の、入力した画像を送信する送信側画像表示装置と、頭部又は顔部に装着型の、前記送信側画像表示装置から送信される画像を表示する受信側画像表示装置と、を具備する画像表示システム

技術分野

0001

本明細書で開示する技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置及び画像表示方法、並びに画像表示システム係り、特に、ユーザー同士で情報を共有する画像表示装置及び画像表示方法、並びに画像表示システムに関する。

背景技術

0002

頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッドマウントディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。また、ユーザーが頭部に装着した際に外界を完全に遮るようにヘッド・マウント・ディスプレイを構成すれば、視聴時の没入感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3D画像を提示することができる。

0003

ヘッド・マウント・ディスプレイを用いて、ブルーレイディスクなどのメディアからの再生画像だけでなく、さまざまな画像を視聴することができる。例えば、外部機器から送信されるライブ画像をヘッド・マウント・ディスプレイで視聴するというアプリケーションも考えられる。ラジコンなどの移動体に搭載された撮像装置で実際に撮像された画像を、ユーザーが装着する表示装置で表示する画像表示システムについても提案がなされている(例えば、特許文献1を参照のこと)。

0004

ヘッド・マウント・ディスプレイの人気は極めて高い。今後量産が進めば、携帯電話スマートフォン携帯ゲーム機のように普及し、1人が1台のヘッド・マウント・ディスプレイを所持するようになるかもしれない。

0005

現在、スマートフォンを介した情報交換が盛んに行なわれている。扱われる情報としては、スマートフォン上で編集したデータ(メールを含む)や撮影した画像、スマートフォンにダウンロードしたコンテンツなどを挙げることができる。これに対し、ヘッド・マウント・ディスプレイは、装着したユーザーの視線方向の画像を、ハンズフリーで容易に取り込めるという特徴がある。眼鏡型ディスプレイカメラを装着したユーザー間視界の画像を交換する画像表示システムも考えられる。

0006

例えば、他人が装着している撮像表示装置視覚光景を撮像した画像を受信し、表示する表示装置について提案がなされている(例えば、特許文献2を参照のこと)。撮像表示装置と表示装置からなる表示システム内では、基本的に、(画像提供元である)撮像表示装置が、(画像を受給する)表示装置からの画像要求に応じて画像を提供するように構成されている。そして、表示装置を装着したユーザーは、他人の視覚光景を見ることができる。しかしながら、画像を提供する撮像表示装置側のユーザーが、例えば何か珍しい物や貴重な物を発見したときには、画像要求を待たずに即座に画像を送信したい場合もあると思料される。例えば、走り去っていく動物を見つけたときなど、すぐにシーンが移り変わってしまう場合である。また、表示装置のユーザーは、いずれの撮像表示装置が見る価値のある視界光景を提供しているか分からず、取り敢えずいずれかの撮像表示装置を指定して画像要求しなければならない。

0007

また、一方の撮像表示装置で撮像した使用者の視界方向の画像を他方の撮像表示装置に送信して表示させたり記録させたりし、一方の撮像表示装置で記録した使用者の視界方向の画像を他方の撮像表示装置で再生させる撮像表示システムについて提案がなされている(例えば、特許文献3を参照のこと)。この撮像表示システムでは、一方の撮像表示装置のユーザーがリモートコントローラーを用いた操作により両撮像表示装置間での視覚交換動作が指示されるようになっている。すなわち、一方の撮像表示装置のユーザーが、自分の視覚画像を他方の撮像表示装置に送信したい、あるいは他方の撮像表示装置における視覚画像を見たいと思ったときには視覚交換動作を指示することができる。しかしながら、リモート・コントローラーを持たない他方の撮像表示装置のユーザーが、例えば何か珍しい物や貴重な物を発見したとき、自分の視覚画像を一方の撮像表示装置に送信したいと思っても、視覚交換動作を指示する術がない。

発明が解決しようとする課題

0008

本明細書で開示する技術の目的は、ユーザーの頭部又は顔部に装着して用いられ、ユーザー同士で情報を好適に共有することができる、優れた画像表示装置及び画像表示方法、並びに画像表示システムを提供することにある。

課題を解決するための手段

0009

本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
画像を表示する画像表示部と、
画像を入力する画像入力部と、
前記画像入力部に入力された画像の送信先となる受信端末を設定する受信端末設定部と、
前記画像入力部に入力された画像を前記受信端末に送信する画像送信部と、
具備する、頭部又は顔部に装着型の画像表示装置である。

0010

本願の請求項2に記載の技術によれば、請求項1に記載の画像表示装置は、前記画像表示装置を使用するユーザーの状態を検出する状態検出部をさらに備えている。そして、前記状態検出部が前記ユーザーの所定の状態を検出したことに応答して、前記画像送信部は前記受信端末への前記画像入力部に入力された画像の送信を開始し又は停止するように構成されている。

0011

本願の請求項3に記載の技術によれば、請求項1に記載の画像表示装置の前記受信端末設定部は、画像開放メッセージを送信し、確認応答メッセージ返信してきた受信端末を設定するように構成されている。

0012

本願の請求項4に記載の技術によれば、請求項1に記載の画像表示装置は、前記受信端末設定部が1つも受信端末を設定できないときには、前記画像送信部は前記画像入力部に入力された画像の送信を行なわないように構成されている。

0013

本願の請求項5に記載の技術によれば、請求項1に記載の画像表示装置は、前記画像入力部に入力された画像とともに送信する付加情報を作成する付加情報作成部をさらに備えている。そして、前記画像送信部は、前記画像入力部に入力された画像とともに前記付加情報を前記受信端末に送信するように構成されている。

0014

本願の請求項6に記載の技術によれば、請求項5に記載の画像表示装置の前記受信端末設定部は、前記受信端末を2区分以上に分類し、前記画像送信部は、所定の区分の前記受信端末にのみ前記付加情報を送信するように構成されている。

0015

本願の請求項7に記載の技術によれば、請求項5に記載の画像表示装置の前記画像入力部は、前記画像表示装置を使用するユーザーの視線方向の画像を入力し、前記付加情報作成部は、前記ユーザーの視線に関する付加情報又は視線方向にある対象物を示す付加情報を作成するように構成されている。

0016

本願の請求項8に記載の技術によれば、請求項1に記載の画像表示装置は、撮像部をさらに備え、前記画像入力部は、前記撮像部が撮影する画像を入力するように構成されている。

0017

本願の請求項9に記載の技術によれば、請求項1に記載の画像表示装置は、撮像部と、前記撮像部の撮像画像を記録する記録部をさらに備え、前記画像入力部は、前記記録部から前記撮像画像を入力するように構成されている。

0018

また、本願の請求項10に記載の技術は、送信端末から送信された画像を受信処理する画像受信処理部と、
前記受信処理した画像を表示する画像表示部と、
を具備する、頭部又は顔部に装着型の画像表示装置。

0019

本願の請求項11に記載の技術によれば、請求項10に記載の画像表示装置は、前記送信端末を設定する送信端末設定部をさらに備えている。そして、前記画像受信処理部は、前記送信端末設定部に設定された前記送信端末からの画像のみ受信するように構成されている。

0020

本願の請求項12に記載の技術によれば、請求項11に記載の画像表示装置の前記送信端末設定部は、前記送信端末からの画像開放メッセージに対して確認応答メッセージを返信するように構成されている。

0021

本願の請求項13に記載の技術によれば、請求項10に記載の画像表示装置の前記画像受信処理部は、前記画像とともに送られてくる付加情報を選択的に受信するように構成されている。

0022

本願の請求項14に記載の技術によれば、請求項10に記載の画像表示装置の前記画像表示部は前記画像表示部を使用するユーザーの左右の眼毎に表示画面を持ち、前記画像表示部は、前記受信処理した画像を左右いずれか一方の表示画面に表示するように構成されている。

0023

本願の請求項15に記載の技術によれば、請求項10に記載の画像表示装置の前記画像表示部は、前記受信処理した画像を表示画面に子画面表示、又は、分割画面表示するように構成されている。

0024

本願の請求項16に記載の技術によれば、請求項10に記載の画像表示装置の前記画像受信処理部は、前記画像とともに送られてくる付加情報の表示処理も行なうように構成されている。

0025

本願の請求項17に記載の技術によれば、前記送信端末は、前記送信端末のユーザーの視線方向の画像をユーザーの視線の情報を含んだ付加情報とともに送信するようになっている。そして、請求項10に記載の画像表示装置の前前記画像受信処理部は、前記付加情報として受信したユーザーの視線に関する情報に基づいて、前記送信端末から受信した画像に特殊処理を行なように構成されている。

0026

また、本願の請求項18に記載の技術は、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像の送信先となる受信端末を設定する受信端末設定ステップと、
前記画像入力ステップで入力された画像を前記受信端末に送信する画像送信ステップと、
を有する画像表示方法である。

0027

また、本願の請求項19に記載の技術は、
送信端末から送信された画像を受信処理する画像受信処理ステップと、
前記受信処理した画像を表示出力する画像表示ステップと、
を有する画像表示方法である。

0028

また、本願の請求項20に記載の技術は、
頭部又は顔部に装着型の、入力した画像を送信する送信側画像表示装置と、
頭部又は顔部に装着型の、前記送信側画像表示装置から送信される画像を表示する受信側画像表示装置と、
を具備する画像表示システムである。

0029

但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

発明の効果

0030

本明細書で開示する技術によれば、ユーザーの頭部又は顔部に装着して用いられ、ユーザー同士で情報を好適に共有することができる、優れた画像表示装置及び画像表示方法、並びに画像表示システムを提供することができる。

0031

本明細書で開示する技術によれば、画像表示装置を自分の頭部又は顔部に装着したユーザーは、例えば何か珍しい物や貴重な物を発見したときに、自分の視線方向を撮影した画像を他のユーザーに開放することができる。

0032

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図面の簡単な説明

0033

図1は、透過性頭部装着型画像表示装置100を装着したユーザーを正面から眺めた様子を示した図である。
図2は、図1に示した画像表示装置100を装着したユーザーを上方から眺めた様子を示した図である。
図3は、遮光性の頭部装着型画像表示装置300を装着したユーザーを正面から眺めた様子を示した図である。
図4は、図3に示した画像表示装置300を装着したユーザーを上方から眺めた様子を示した図である。
図5は、画像表示装置100の内部構成例を示した図である。
図6は、画像表示装置100が視界提供者用に動作するための機能的構成を示した図である。
図7は、画像表示装置100が視界提供者用に動作するための処理手順を示したフローチャートである。
図8は、画像表示装置100が視界受給者用に動作するための機能的構成を示した図である。
図9は、画像表示装置100が視界受給者用に動作するための処理手順を示したフローチャートである。
図10は、1人のユーザーが頭部又は顔部に装着した画像表示装置100が、他の複数のユーザーがそれぞれ装着する画像表示装置へ情報を送信している様子を示した図である。
図11は、視界提供者が提供する画像の一例(池の水面からが跳び出したシーン)を示した図である。
図12は、視界提供者が提供する画像の一例(林の中から珍しいが飛び立ったシーン)を示した図である。
図13は、視界提供者が提供する画像内の対象物(池から跳び出した魚)にマーカーを付けた様子を示した図である。
図14は、視界提供者が提供する画像内の対象物(池から跳び出した魚)をズームアップした画像を作成した様子を示した図である。
図15は、視界提供者が提供する画像内の対象物(林から飛び立った鳥)にマーカーを付けた様子を示した図である。
図16は、視界提供者が提供する画像内の対象物(林から飛び立った鳥)をズームアップした画像を作成した様子を示した図である。
図17は、街角を眺めている視界受給者に、視界提供者から送られてきた、池を眺めている視界の画像を小画面で表示している様子を示した図である。
図18は、親画面である視界受給者の視界の画像と、子画面である視界提供者が提供する画像とを入れ替えた様子を示した図である。
図19は、視界受給者の視界と視界提供者が提供する画像を画面分割して表示した様子を示した図である。
図20は、両眼式の画像表示装置100の左側に視界受給者自身の視界をシースルー表示するとともに、右側に視界提供者から送られてきた画像を表示した様子を示した図である。

実施例

0034

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

0035

A.装置構成
図1には、本明細書で開示する技術の一実施形態に係る画像表示装置100の外観構成を示している。画像表示装置100は、ユーザーが頭部又は顔部に装着して用いられ、左右の眼毎に画像を表示する。図示の画像表示装置100は、透過性すなわちシースルーのタイプであり、画像を表示している間も、ユーザーは、画像越しに現実世界風景を眺める(すなわち、シースルーする)ことができる。したがって、現実世界の風景に仮想的な表示画像を重ね合わせて見せることができる(例えば、特許文献4を参照のこと)。表示画像は、外側(すなわち他人)からは見えないので、情報表示に際してプライバシーが守られ易い。

0036

図示の画像表示装置100は、視力矯正用の眼鏡に類似した構造からなる。画像表示装置100本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部101L、101Rが配設され、各虚像光学部101L、101Rの内側には、ユーザーが観察する画像(図示しない)が表示される。各虚像光学部101L、101Rは、例えば、眼鏡フレーム状の支持体102によって支持されている。

0037

眼鏡フレーム状の支持体102のほぼ中央には、周囲画像(ユーザーの視界)入力用外側カメラ512が設置されている。外側カメラ512は、例えばユーザーの視線方向の風景を撮影することができる。外側カメラ512は、周囲画像の3次元情報を取得できるように構成することが好ましい。例えば、外側カメラ512を複数台のカメラで構成すれば、視差情報を利用して周囲画像の3次元情報を取得することができる。また、1台のカメラでも、SLAM(Simultaneous Localization and Mapping画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し(例えば、特許文献5を参照のこと)、算出した視差情報から周囲画像の3次元情報を取得することもできる。また、支持体102の左右の両端付近にそれぞれマイクロフォン103L、103Rが設置されている。左右ほぼ対称的にマイクロフォン103L、103Rを持つことで、中央に定位した音声(ユーザーの声)だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

0038

図2には、ユーザーが装着した状態の画像表示装置100を上方から眺めた様子を示している。図示のように、画像表示装置100の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネル104L、104Rが配設されている。各表示パネル104L、104Rは、液晶ディスプレイ又は有機EL素子などのマイクロ・ディスプレイからなる。表示パネル104L、104Rから出力される左右の表示画像は、虚像光学部101L、101Rによって左右それぞれの眼付近まで導光され、その拡大虚像がユーザーの瞳に結像される。

0039

また、図3には、本明細書で開示する技術の他の実施形態に係る画像表示装置300の外観構成を示している。画像表示装置300は、ユーザーが頭部又は顔部に装着して用いられるが、遮光性であり、頭部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、シースルーのタイプとは相違し、画像表示装置300を装着したユーザーは現実世界の風景を直接眺めることはできない。但し、ユーザーの視線方向の風景を撮影する外側カメラ512を装備し、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める(すなわち、ビデオ・シースルーする)ことができる。勿論、ビデオ・シースルー画像に対し、仮想的な表示画像を重ね合わせて見せることができる。表示画像は、外側(すなわち他人)からは見えないので、情報表示に際してプライバシーが守られ易い。

0040

図示の画像表示装置300は、帽子形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。画像表示装置300本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル(図3では図示しない)が配設されている。表示パネルは、例えば有機EL素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。

0041

帽子に類似した形状をした画像表示装置300本体前面のほぼ中央には、周囲画像(ユーザーの視界)入力用の外側カメラ512が設置されている。また、画像表示装置300本体の左右の両端付近にそれぞれマイクロフォン303L、303Rが設置されている。左右ほぼ対称的にマイクロフォン303L、303Rを持つことで、中央に定位した音声(ユーザーの声)だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

0042

図4には、図3に示した画像表示装置300を装着したユーザーを上方から眺めた様子を示している。図示の画像表示装置300は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル304L、304Rを持つ。表示パネル304L、304Rは、例えば有機EL素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。表示パネル304L、304Rの表示画像は、虚像光学部301L、301Rを通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図4に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構305を装備している。

0043

図5には、画像表示装置100の内部構成例を示している。他方の画像表示装置300の内部構成も同様であると理解されたい。以下、各部について説明する。

0044

制御部501は、ROM(Read Only Memory)501AやRAM(Random Access Memory)501Bを備えている。ROM501A内には、制御部501で実行するプログラム・コードや各種データを格納している。制御部501は、RAM501Bへロードしたプログラムを実行することで、画像の表示制御を始め、画像表示装置100全体の動作を統括的にコントロールする。ROM501Aに格納するプログラムやデータとして、画像の表示制御プログラムや、外側カメラ512で撮影した画像(例えば、ユーザーの視線方向を撮影した画像)の画像処理プログラム、他のユーザーの画像表示装置やインターネット上のサーバー(図示しない)など外部機器との通信処理プログラム、当該装置100に固有識別情報などを挙げることができる。

0045

入力操作部502は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう1以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部501に出力する。また、入力操作部502は、リモコン受信部503で受信したリモコンコマンドからなるユーザーの指示を同様に受け付けて、制御部501に出力する。

0046

姿勢位置検出部504は、当該画像処理装置100を装着したユーザーの頭部の姿勢や位置を検出するユニットである。姿勢・位置検出部504は、ジャイロセンサー加速度センサー、GPS(Global Positioning System)センサー、地磁気センサーのいずれか1つ、又は、各センサーの長所及び短所を考慮して2以上のセンサーの組み合わせにより構成される。

0047

状態検出部511は、当該画像表示装置100を装着したユーザーの状態に関する状態情報を取得して、制御部501に出力する。状態情報として、例えば、ユーザーの作業状態(画像表示装置100の装着の有無)や、ユーザーの行動状態静止歩行走行などの移動状態、瞼の開閉状態、視線方向)、精神状態(ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度覚醒度感情情動など)、さらには生理状態を取得する。また、状態検出部511は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー圧力センサー体温センサー発汗センサー筋電位センサー、眼電位センサー、脳波センサーなどの各種の状態センサー(いずれも図示しない)を備えていてもよい。

0048

外側カメラ512は、例えば眼鏡形状をした画像表示装置100本体前面のほぼ中央に配置され(図1を参照のこと)、周囲画像を撮影することができる。また、状態検出部511で検出したユーザーの視線方向に合わせて外側カメラ512のパンチルトロール方向の姿勢制御を行なうことで、外側カメラ512でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。ユーザーは、入力操作部502の操作や音声入力を通じて、外側カメラ512のズームを調整することができるものとする。外側カメラ512の撮影画像を、表示部509に表示出力することができ、また、記録部506に格納することもできる。

0049

通信部505は、インターネット上のサーバー(図示しない)など外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。また、制御部501は、外部機器への送信データを通信部505から送出する。通信部505の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信規格に応じて、通信部505を構成することができる。通信規格は、有線無線のいずれの形態であってもよい。ここで言う通信規格として、MHL(Mobile High−definition Link)やUSB(Universal Serial Bus)、HDMI登録商標)(High Definition Multimedia Interface)、Wi−Fi(登録商標)、Bluetooth(登録商標)通信、赤外線通信などを挙げることができる。

0050

あるいは、通信部505は、例えばW−CDMA(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)などの標準規格に従って動作する、セルラー無線送受信機であってもよい。

0051

記録部506は、SSD(Solid State Drive)などで構成される大容量記憶装置である。記録部506は、制御部501で実行するアプリケーション・プログラムや、外側カメラ512(後述)で撮影した画像や通信部505を介してネットワークから取得した画像などのデータを記憶している。

0052

画像処理部507は、制御部501から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部509の画面に合わせた解像度に変換する。そして、表示駆動部508は、表示部509の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

0053

表示部509は、例えば有機EL(Electro−Luminescence)素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される表示パネルを有する。虚像光学部510は、表示部509の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。

0054

音声処理部513は、制御部501から出力される音声信号に対して音質補正音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部514は、音声処理後の音声を外部出力、並びにマイクロフォン(前述)からの音声入力を行なう。

0055

B.画像表示装置を用いた視界交換
画像表示装置100を装着したユーザーは、表示部509の表示画像越しに、自分の視界方向の光景を観察することができる。勿論、画像表示装置300を装着したユーザーも、外側カメラ512で撮影したビデオ・シースルー画像として、自分の視界方向の構成を観察することができる。

0056

また、画像表示装置100(並びに画像表示装置300)は、通信部505を介して、他のユーザーが装着する画像表示装置とも通信し、情報交換を行なうことができる。図10には、1人のユーザーが頭部又は顔部に装着した画像表示装置100が、他の複数のユーザーがそれぞれ装着する画像表示装置へ情報(ユーザーの視線方向を撮影した画像など)を送信している様子を示している。以下では、各々が画像表示装置100を装着した複数のユーザーが存在するマルチユーザー環境下での情報交換について考察する。

0057

画像や音声、テキスト、プログラムなど、情報の種別を問わず、複数の画像表示装置100間で交換が可能である。画像表示装置100がユーザーの頭部又は顔部に装着して用いられることから、外側カメラ512でユーザーの視線方向の風景を撮影することができる。画像表示装置100の設置場所や、ユーザーすなわち外側カメラ512の視線方向が変われば、撮影する画像も当然変わる。したがって、あるユーザーの画像表示装置100の外側カメラ512で撮影した画像は、他のユーザーの画像表示装置100の外側カメラ512で撮影できる画像とは相違する、ユニークな情報である。

0058

カメラを搭載した携帯端末であっても、ユーザーの視界方向の光景を撮影することはできる。しかしながら、ユーザーは両手を用いて撮影操作を行なわなければならず(例えば、片方の手で携帯端末を持ち、もう片方の手でシャッターを操作する)、いつでも画像を撮影できる訳ではない(両手がふさがっている状態では撮影できない)。これに対し、画像表示装置100によれば、外側カメラ512を用いてユーザーの視線方向の風景を、ハンズフリーで、いつでも撮影することができる。例えば、状態検出部511で検出されるユーザーの状態の変化や、音声入出力部514からの音声時時により、外側カメラ512のシャッターをきることができる。また、外側カメラ512で流し撮りしてもよい。

0059

人は、何か珍しい物や貴重な物を発見したときに、周りに教えたくなる。例えば、夜空金星などの惑星流星を発見したとき、池や川で魚や沢蟹を発見したとき、森で高い木の上に鳥やセミカブトムシなどを見つけたとき、「見て、見て、あそこ!」という感じになる。例えば、池の水面から魚1101が跳び出したシーンや(図11を参照のこと)、林の中から珍しい鳥1201が飛び立ったシーンなどは(図12を参照のこと)、珍しく若しくは貴重なシーンであり、これを見たユーザーは感動や興奮を覚え、できれば誰かに見せてあげたい(視界を共有したい)と思う。しかも魚は再び水面下に潜って見えなくなり、鳥は飛び去って見えなくなってしまうので、誰かに見せてあげようとすると、即時性が要求される。

0060

このようなとき、画像表示装置100を装着したユーザーは、ポケットカバンからカメラを取り出して撮影操作を行なうことなく、即座に、自分の視線方向を外側カメラ512で撮影した画像を周囲のユーザーの画像表示装置へ送信し又は開放することができる。

0061

一方、周囲のユーザーは、受け取った画像を見て、「どれどれ?」、「どこどこ?」という感じになる。そして、すぐ見つけて「あった。すごい!」と歓声をあげて共感することができる。

0062

画像表示装置100を装着した複数のユーザーが存在するマルチユーザー環境において、自分の視線方向を撮影した画像を周囲のユーザーの画像表示装置へ送信し又は開放する役割を果たすユーザーが装着する画像表示装置100(画像送信側の画像表示装置)のことを「視界提供者」と呼び、視界提供者から受け取った画像を閲覧する役割を果たすユーザーが装着する画像表示装置100(画像受信側の画像表示装置)のことを「視界受給者」と呼ぶことにする。勿論、画像表示装置100が視界提供者又は視界受給者のうちいずれの役割を果たすかは固定的ではなく、いずれのユーザーが装着する画像表示装置100もそのユーザーの視線方向を撮影した画像を周囲に送信し又は開放する時点で視界提供者となり得る。また、ユーザーの視線方向を撮影した画像を提供する必要がなくなった時点で、画像表示装置100は視界受給者に戻り、他の視界提供者から提供される画像を受信してユーザーに表示することができる。

0063

図6には、画像表示装置100が視界提供者用に動作するための機能的構成を示している。

0064

画像入力部601は、視界受給者に提供する画像を入力する。画像入力部601は、例えば外側カメラ512が撮影している、ユーザーの視線方向のライブ画像を入力することができる。また、画像入力部601は、記録部506に格納されている過去の撮影画像を入力することができる。付言すれば、画像入力部601は、通信部505を介して外部から取り込まれる画像(例えば他のユーザーの視線方向の画像や、ネットワーク上で公開されている画像)を入力することもできる。

0065

上述したように、外側カメラ512は、状態検出部511で検出したユーザーの視線方向に合わせて姿勢制御することで、ユーザーの視線方向の画像を撮影する。また、ユーザーは、入力操作部502の操作や音声入力を通じて、外側カメラ512のズームを調整することができる。この場合、画像入力部601には、ユーザーの視線方向のライブ画像が入力される。勿論、記憶部506に格納された、ユーザーの視線方向の過去の撮影画像を、画像入力部601に入力することもできる。

0066

なお、外側カメラ512で広角画像を撮影し、画像入力部601は、視界受給者の視線方向に従って広角画像から所定の画角サイズ切り出した撮影画像を入力するようにしてもよい。

0067

役割切替部602は、当該画像表示装置100が視界提供者又は視界受給者のいずれとして振る舞うかを切り替える。役割切替部602は、初期状態では、当該画像表示装置100を視界受給者モードに設定して、視界提供者として動作する他の画像表示装置からの画像の提供を待機している。ユーザーが何か珍しい物や貴重な物を発見したときに、役割切替部602は画像表示装置100を視界提供者に切り替える。例えば、役割切替部602は、視界提供者が自らリモコンや入力操作部502を介して手動で画像の提供を指示した場合や、状態検出部511がユーザーの精神状態(ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など)を検出して自動で画像の提供を指示した場合に、当該画像表示装置100を視界提供者モードに切り替える。役割切替部602は、当該画像表示装置100を視界提供者モードに切り替えると、各部601、603〜605の動作を有効にする。

0068

視界提供者に切り替わった画像表示装置100は、画像入力部601から入力された画像を、視界受給者に送信又は開放する処理を行なう。外側カメラ512がユーザーの視線方向の画像を撮影し、画像入力部601がその撮影画像を入力している場合、画像表示装置100は、ユーザーの視界を提供することになる。

0069

例えば、ユーザーが、池の水面から魚が跳び出すシーンや(図11を参照のこと)、林の中から珍しい鳥が飛び立つシーンに出くわしたとき(図12を参照のこと)、感動や興奮を覚え、誰かにも見せてあげたいと思う。ユーザーが入力操作部502を介して画像の提供を指示したときや、状態検出部511がユーザーの感動や興奮を検知したことに応答して、役割切替部602は、当該画像表示装置100を視界提供者モードに切り替える。

0070

また、役割切替部602は、画像の送信(すなわち、視界受給者との画像の共有)を終了したときや、ユーザーの視界提供者としてのモチベーションが低下したときには(例えば、ユーザーが表示画像に対する感動や興奮から醒めたことを、状態検出部511が検出したとき)、当該画像表示装置100を視界受給者モードに戻す。

0071

視界受給者設定部603は、役割切替部602が当該画像表示装置100を視界提供者に切り替えたことに応じて、視界受給者の設定、すなわち、画像を送信する先となる画像表示装置を設定する。

0072

視界受給者設定部603は、視界提供者の周囲で視界受給者となる画像表示装置を探索するようにしてもよい。この場合、視界受給者設定部603は、通信部505から、受信可能範囲が一定の距離以内となる送信電力で、画像開放メッセージを送信(ブロードキャスト)する。そして、所定時間内に確認応答メッセージを返信してきた画像表示装置を、視界受給者として設定する。但し、通信負荷や、情報やプライバシーの漏洩などを考慮して、視界受給者数を所定値以内(例えば3人まで)にアクセス制限するようにしてもよい。例えば、確認応答メッセージの到着順や、所定時間内に確認応答メッセージを受信した視界受給者の中からくじ引きなどにより選択するようにしてもよい。

0073

また、視界受給者設定部603は、視界提供者から見える範囲を視界受給者に設定するようにしてもよい。この場合、視界提供者となるユーザーは、アイコンタクトにより視界受給者を指定する。具体的には、視界受給者設定部603は、状態検出部511が検出したユーザーの視線方向で発見されたユーザーを、視界受給者に設定する。視線方向にいる他のユーザーが目配せするなど所定の合図やジェスチャーを行なったとき、あるいはその他の行為を通じて同意がとれた他のユーザーに限定して、視界受給者に設定するようにしてもよい。

0074

あるいは、ユーザー間の現在位置とは無関係に、あらかじめ視界受給者設定部603に視界受給者を登録しておくようにしてもよい。例えば、視界受給者のMAC(Media Access Control)アドレスやIP(Internet Protocol)アドレスなど、各視界受給者の画像表示装置を一意識別可能な情報を視界受給者設定部603に設定する。また、視界受給者設定部603は、事前に登録している視界受給者に対し、画像開放メッセージを送信し、このうち確認応答メッセージを返信した者のみを最終的な視界受給者に設定するようにしてもよい。

0075

視界受給者となり得るユーザーの顔画像を登録しておくようにしてもよい。例えば、視界受給者設定部603は、視界受給者となるユーザーの顔画像を外側カメラ512で撮影して、認証情報として保存する。顔画像の保存先は、視界受給者設定部603内や記録部506であってもよい。当該画像表示装置100が視界提供者モードに切り替わったとき、外側カメラ512に撮影された周囲画像に映っているユーザーの顔画像を認識して、事前に登録しておいた顔画像と一致する場合には、視界受給者設定部603はそのユーザーを視界受給者に設定するようにすればよい。あるいは、画像開放メッセージに対して確認応答メッセージを返信したユーザーのうち、顔認識できた者のみを視界受給者に設定するようにしてもよい。

0076

視界受給者設定部603が視界受給者を動的に設定する場合、あるいは視界受給者を事前登録する場合のいずれにおいても、すべての視界受給者を均一に扱うのではなく、プライバシーやセキュリティーのレベルに応じて視界受給者を2区分以上に分類するようにしてもよい。

0077

なお、視界受給者設定部603が、視界提供者の周囲などから視界受給者を動的に設定する場合、当該画像表示装置100が視界提供者モードに切り替わってから所定時間内に視界受給者を1人も設定できない場合には(例えば、画像開放メッセージを報知しても、所定時間内に確認応答メッセージを受信できない場合)、視界受給者への画像の提供を諦める。この場合、役割切替部602は当該表示装置100を視界受給者モードに切り替えて、他の視界提供者からの画像の提供を待ち受ける状態に戻る。

0078

付加情報作成部604は、視界受給者に提供する画像とともに送信する付加情報を、必要に応じて作成する。付加情報として、例えば、状態検出部511が検出した視界提供者の視線方向の情報、あるいは、ユーザーが指先で示した方向の情報を挙げることができる。視線方向には、視界提供者が発見した対象物(すなわち、何か珍しい物や貴重な物)がある。視界受給者が受信した画像の中から対象物をなかなか見つけられないときには、視界提供者の視線方向は重要な情報(対象物を見つける手掛かり)になる。

0079

付加情報作成部604は、例えばユーザーの視線方向の画像内の対象物に重畳表示するハイライトやマーカーなどのGUI(Graphical User Interface)情報や、画像内の対象物の場所を指示するテキストや音声などで構成されるナビゲーション情報を、付加情報として作成する。あるいは、付加情報作成部604は、ハイライトやマーカーなどの付加情報ではなく、視線方向にあるユーザーの視線方向にある対象物を画像認識して、その対象物だけをズームアップして描画するなどして目立たせるようにしてもよい。

0080

例えば、池の水面から魚が跳び出した様子の撮影画像を提供する場合、付加情報作成部604は、外側カメラ512が撮影した画像中からユーザー(視界提供者)の視線方向にある魚を認識すると、図13に示すように、魚に付けるハイライト又はマーカー1301を作成したり、図14に示すように、魚をズームアップした画像1401を作成したりする。また、林の中から鳥が飛び立った様子の撮影画像を適用する場合、付加情報作成部604は、外側カメラ512が撮影した画像中からユーザー(視界提供者)の視線方向にある鳥を認識すると、図15に示すように、鳥に付けるハイライト又はマーカー1501を作成したり、図16に示すように、鳥をズームアップした画像1601を作成したりする。例えば、外側カメラ512から得られる周囲画像の3次元情報に基づいて、魚や鳥などの対象物に対してハイライト又はマーカー1301、1501の表示をしてもよい。

0081

また、付加情報作成部604は、視界提供者が音声入出力部514から入力した音声をそのまま付加情報にしてもよい。

0082

画像送信部605は、画像入力部601に入力された画像を、視界受給者設定部603が設定した各視界受給者の画像表示装置に向けて、送信する。送信処理には、通信部505を用いることができる。送信する画像は、外側カメラ512で撮影されるライブ動画であってもよいし、視界提供者が対象物を発見したときに撮影した静止画であってもよい。あるいは、送信する画像は、記録部506から再生される動画又は静止画であってもよい。

0083

そして、画像送信部605は、付加情報作成部604で作成した付加情報も、必要に応じて適宜、視界受給者に送信する。画像送信部605は、付加情報作成部604で付加情報が作成されたときには、常に画像に付加情報を付けて送信するようにしてもよい。あるいは、視界提供者のユーザーが付加情報の送信を指定したときのみ付加情報を送信し、又は、指定した視界受給者にのみ付加情報を送信するようにしてもよい。

0084

例えば、視界受給者設定部603が各視界受給者をプライバシーやセキュリティーのレベルに応じて2区分以上に分類している場合には、画像送信部605は、高いレベルに設定されている視界受給者にのみ付加情報を送信するように制限をかけてもよい。何故ならば、ユーザーの視線情報などは、プライバシーにも関わる情報だからである。

0085

要するに、視界提供者用の画像表示装置100は、貴重な発見をしたユーザーの視界を開放し、伝送することで、自らの貴重な体験を視界受給者と簡単に共有することができる。

0086

図7には、画像表示装置100が視界提供者用に動作するための処理手順をフローチャートの形式で示している。

0087

画像入力部601は、視界受給者に提供する画像を入力している(ステップS701)。画像入力部601は、例えば外側カメラ512が撮影している、ユーザーの視線方向のライブ画像を入力することができる。また、画像入力部601は、記録部506に格納されている過去の撮影画像を入力することができる。処理中の入力画像は、表示部509で表示出力される。

0088

ここで、ユーザーが何か珍しい物や貴重な物を発見して、感動したり興奮したりする。状態検出部511がユーザーのこのような精神状態の変化を検出し、又は、ユーザーが自らの状態の変化を入力操作部502から指示したことに応答して(ステップS702のYes)、役割切替部602は、当該画像表示装置100を視界提供者に切り替え(ステップS703)、画像の開放を開始する。

0089

視界受給者設定部603は、所定時間をかけて、視界受給者の設定を試みる(ステップS704)。

0090

例えば、視界受給者設定部603は、受信可能範囲が一定の距離以内となる送信電力で、画像開放メッセージを送信して、確認応答メッセージの返信を待機する。あるいは、視界受給者設定部603は、前に登録している視界受給者に対し、画像開放メッセージを送信して、確認応答メッセージの返信を待機する。

0091

所定時間が経過した後、視界受給者設定部603が1人も視界受給者を設定することができなかったときには(ステップS705のNo)、視界受給者への画像の開放を諦める。この場合、役割切替部602は、当該画像表示装置100を視界受給者モードに戻し(ステップS710)、処理はステップS701に復帰する。

0092

一方、視界受給者設定部603が1人以上の視界受給者を設定することができたときには(ステップS705のYes)、付加情報作成部604が、必要に応じて、視界受給者に提供する画像とともに送信する付加情報の作成を試みる(ステップS707)。付加情報は、例えばユーザーの視線方向を表示するハイライトやマーカー、あるいは、視線方向で画像認識された事物拡大画像などである(図13図16を参照のこと)。

0093

プライバシーやセキュリティーのレベルに応じて視界受給者を2区分以上に分類している場合であって、ステップS704で、低レベルで付加情報を送ることができない視界受給者しか設定されていない場合には、付加情報作成部604は、付加情報の作成を省略するようにしてもよい。

0094

そして、画像送信部605は、画像入力部601が入力している動画又は静止画を、視界受給者設定部603が設定した各視界受給者の画像表示装置に向けて、送信する(ステップS708)。

0095

また、ステップS708では、画像送信部605は、付加情報作成部604で作成した付加情報も、必要に応じて適宜、視界受給者に送信する。但し、プライバシーやセキュリティーのレベルに応じて視界受給者を2区分以上に分類している場合であって、ステップS704で低レベルに設定された視界受給者に対しては、画像送信部605は付加情報を送信しないようにする。

0096

画像の開放を継続する場合は(ステップS709のNo)、付加情報の作成と(ステップS707)、画像の送信を(ステップS708)、繰り返し実行する。

0097

その後、ユーザーが入力操作部502を介して画像の開放を終了することを指示したとき、又は、状態検出部511がユーザーの感動や興奮が覚めてきたことを検知して、画像を開放する必要がないと判断したときに(ステップS709のYes)、本処理ルーチンを終了する。

0098

また、図8には、画像表示装置100が視界受給者用に動作するための機能的構成を示している。

0099

画像表示装置100は、役割切替部602が視界提供者に切り替えない限り、基本的には視界受給者として動作している。画像表示装置100が視界受給者モードに設定されているとき、例えば通信部505は、画像開放メッセージの待ち受け状態となっている。視界受給者モードでも、外側カメラ512はユーザーの視線方向を撮影した画像を撮影しているが、画像入力部601は外側カメラ512の撮影画像を取り込もうとしない。役割切替部602は、当該画像表示装置100を視界受給者モードに切り替えると、各部801〜803の動作を有効にする

0100

視界提供者設定部801は、当該画像表示装置100が画像を受け取る相手、すなわち視界提供者となる画像表示装置を設定する。視界提供者設定部801は、通信部505で画像開放メッセージを受信すると、このメッセージの送信元を視界提供者として設定するとともに、確認応答メッセージを視界提供者に返信する。

0101

画像表示装置100を装着したユーザーは誰でも、例えば何か珍しい物や貴重な物を発見すると、視界提供者になり得る。ところが、視界受給者は、すべての視界提供者から提供される画像を無制限に受け付けると、通信負荷が増大する、ユーザーが本来視聴したい画像を視聴できなくなるという弊害がある。そこで、視界提供者設定部801は上記のように、視界提供者を制限し、それ以外の画像表示装置からの画像の提供を制限又は拒否する。

0102

視界提供者設定部801は、画像の提供を受けてもよい画像表示装置を事前に設定しておき、それ以外の画像表示装置からの画像の提供を制限又は拒否するようにしてもよい。また、視界提供者設定部801に視界提供者が事前設定されているときには、画像開放メッセージの送信元が事前設定されている視界提供者である場合に限定して、確認応答メッセージを返信する。勿論、このような制限を設けず、提供されるすべての画像を受け取りたいときには、視界提供者設定部801への視界提供者の事前設定を省略することもできる。

0103

また、視界提供者となるユーザーの顔画像を保存しているときには、視界提供者設定部801は、画像開放メッセージの受信時に、外側カメラ512に撮影された周囲画像に映っているユーザーの顔画像を認識して、事前に登録しておいた顔画像と一致する場合にのみ、確認応答メッセージを返信するようにすればよい。

0104

また、視界受給者となるユーザーは、例えばアイ・コンタクトにより視界提供者を指定するようにしてもよい。具体的には、視界提供者設定部801は、状態検出部511が検出したユーザーの視線方向で発見されたユーザーを、視界提供者として事前に設定する。視線方向にいるユーザーが目配せするなど所定の合図やジェスチャーを行なったとき、あるいはその他の行為を通じて同意がとれたときに限定して、視界提供者に設定するようにしてもよい。視界提供者となるユーザーの顔画像を外側カメラ512で撮影して、保存しておいてもよい。

0105

画像受信処理部802は、視界提供者から送信された画像を通信部505で受信処理する。また、視界提供者から画像とともに付加情報も送信された場合には、付加情報も併せて受信処理する。但し、視界提供者設定部801に視界提供者となるユーザーが事前設定されているときには、画像受信処理部802は、事前設定されていないユーザーからの画像の受信を拒否し、又は受信した画像を破棄する。また、視界提供者となるユーザーの顔画像を保存しているときには、画像の受信時に、外側カメラ512に撮影された周囲画像に映っているユーザーの顔画像を認識して、事前に登録しておいた顔画像と一致する場合のみ受信処理を行なうようにする。

0106

なお、画像受信処理部802は、必要に応じて、受信した画像や付加情報を、記録部506に保存するようにしてもよい。

0107

画像表示処理部803は、画像受信処理部802で受信した画像の表示部509への表示出力を処理する。受信した画像を表示する方法として、現在表示中の画像に重畳して表示する方法や、左右いずれか一方にのみ表示する方法(但し、両眼式の場合)、現在表示中の画像の子画面として表示する方法などを挙げることができる(ここで言う「現在表示中の画像」は、視界受給者の視線方向の画像や、視界受給者が視聴中のビデオ画像などである)。また、現在表示中の画像と受信した画像の親画面、子画面を入れ替えたり、親子関係ではなく分割表示に切り替えたりするようにしてもよい。

0108

図17には、街角1701を眺めている視界受給者に、視界提供者から送られてきた、池を眺めている画像1702を子画面で表示している様子を示している。また、図18には、親画面である視界受給者の視線方向の画像1801と、子画面である視界提供者から受信した画像1802とを入れ替えた様子を示している。また。図19には、視界受給者の視線方向の画像1901と視界提供者から受信した画像1902を画面分割して表示した様子を示している。また、図20には、両眼式の画像表示装置100の左側に視界受給者自身の視線方向の画像2001をシースルー表示するとともに、右側に視界提供者から送られてきた画像2002を表示した様子を示している。

0109

ユーザーは、画像表示処理部803に対して、画面の切り替えを、入力操作部502を介して指示してもよいし、瞬き動作など目や瞼の運動により指示するようにしてもよい。ここで言う「現在表示中の画像」には、シースルー画像も含まれるものとする。

0110

視界提供者から画像と併せて付加情報も受信した場合には、画像表示処理部803は、付加情報に基づいて、受信した画像に対して特殊処理も行なう。

0111

付加情報が視界提供者の視線方向の場合、画像表示処理部803は、受信した画像中に視線方向を表示するハイライトやマーカーを表示したりするようにしてもよい。視界受給者は、ハイライトやマーカーに注目して視界提供者が発見した珍しい物や貴重な物が何かを見つけ出し易くなる。例えば、池の水面から魚が跳び出した様子を撮影した画像が提供された場合、画像表示処理部803は、受信した画像中からユーザー(視界提供者)の視線方向にある魚を認識すると、図13に示すように、魚に付けるハイライト又はマーカーを作成する。また、林の中から鳥が飛び立った様子を撮影した画像が提供された場合、画像表示処理部803は、受信した画像中からユーザー(視界提供者)の視線方向にある鳥を認識すると、図15に示すように、鳥に付けるハイライト又はマーカーを作成する。

0112

あるいは、画像表示処理部803は、マーカーなどの付加情報ではなく、ユーザーの視線方向にある事物を画像認識して、その事物だけを拡大して描画するなどして目立たせるようにしてもよい。拡大して表示された事物は目立つので、視界受給者は、見つけ出し易くなる。例えば、池の水面から魚が跳び出した様子を撮影した画像が提供された場合、画像表示処理部803は、受信した画像中からユーザー(視界提供者)の視線方向にある魚を認識すると、図14に示すように、魚をズームアップした画像を作成する。また、林の中から鳥が飛び立った様子を撮影した画像が提供された場合、画像表示処理部803は、受信した画像中からユーザー(視界提供者)の視線方向にある鳥を認識すると、図16に示すように、鳥をズームアップした画像を作成する。

0113

また、付加情報が画像内の対象物に重畳するハイライトやマーカーなどのGUI情報の場合には、画像表示処理部803は、現在表示中の画像、又は画像を表示する子画面(親画面、又は分割画面の場合もある)にGUI情報を重畳表示する。

0114

また、付加情報が視界画像内の対象物の場所を指示するテキストや音声などで構成されるナビゲーション情報である場合には、画像表示処理部803は、このナビゲーション情報を表示部509に字幕表示したり、音声入出力部514から音声出力したりする。

0115

視界受給者は、受信した画像を見ると、「どれどれ?」、「どこどこ?」などと言いながら、視界提供者が発見した物を探し始める。そして、すぐ見つけて「あった。すごい!」と歓声をあげて共感することができる。すぐ見つけることができない視界受給者に対しては、視界提供者の視線のハイライトやマーカー、ズーム、ナビゲーション情報を表示したり音声出力したりすることで、さらなるサポートを提供することができる。これにより、視界提供者が発見した物をなかなか見つけられない視界受給者も、見つけ出すことが容易になり、視界提供者の貴重な体験を共有することができる。

0116

但し、視界受給者の画像表示装置100が付加情報の演算処理するための負荷を削減したいときには、画像受信処理部802は、画像とともに送られてくる付加情報を破棄してもよい。また、画像表示処理部803は、付加情報の表示や、視線方向を表示するハイライトやマーカー、ズームアップなどの特殊処理を行なわないようにしてもよい。あるいは、視界提供者設定部801は、確認応答メッセージの送信時などに、付加情報の送付を拒否したりするようにしてもよい。

0117

図9には、画像表示装置100が視界受給者用に動作するための処理手順をフローチャートの形式で示している。

0118

画像入力部601は、外側カメラ512が撮影している画像を入力している(ステップS901)。外側カメラ512は、例えばユーザーの視線方向の風景を撮影している。

0119

ここで、ユーザーが視線方向の風景に感動したり興奮したりしたことを状態検出部511が検出すると(ステップS902のYes)、当該画像表示装置100を視界提供者に切り替わり図7に示した処理手順(前述)を実行することになる。一方、ユーザーの精神状態に変化がなかったり、ユーザーが画像の提供を指示したりしなければ(ステップS902のNo)、当該画像表示装置100は視界受給者モードのままであり、画像入力部601は外側カメラ512の撮影画像を取り込もうとしない。

0120

視界提供者から画像開放メッセージを受信すると(ステップS903のYes)、視界提供者設定部801は、当該メッセージの送信元から画像の提供を受けるべきかどうかをチェックする(ステップS904)。

0121

視界提供者設定部801は、例えば画像開放メッセージの送信元が自身への視界提供者として事前に登録されているかどうかをチェックする。あるいは、ユーザーがアイ・コンタクトやジェスチャー、その他の行為により同メッセージの送信元を視界提供者として認めたかどうかをチェックする。

0122

ここで、画像開放メッセージの送信元から画像の提供を受ける場合には(ステップS904のYes)、確認応答メッセージを返信する(ステップS905)。なお、確認応答メッセージには、画像に対する付加情報の要否を記載してもよい。他方、画像の提供を受けない場合には(ステップS904のNo)、何もしない。

0123

画像開放メッセージの送信元は、確認応答メッセージを受信すると、視界提供者の視界画像を、必要に応じて付加情報とともに送信する。視界受給者側の画像表示装置100では、画像受信処理部802が、視界提供者から送信された画像を通信部505で受信処理する(ステップS906)。また、画像とともに付加情報も送信された場合には、付加情報も併せて受信処理する。

0124

そして、画像表示処理部803は、画像受信処理部802で受信した画像の表示部509への表示出力を処理する。このとき、付加情報の表示や、視線方向を表示するハイライトやマーカー、ズームアップなどの、画像に対する特殊処理を行なうかどうかをチェックする(ステップS907)。特殊処理を行なうかどうかをユーザーに選択してもらうようにしてもよいし、当該画像表示装置100の演算付加などを考慮して自動で選択するようにしてもよい。

0125

特殊処理を行なうと決定したときには(ステップS907のYes)、付加情報の表示や、視線方向を表示するハイライトやマーカー、ズームアップなど、いずれか指定された特殊処理を実施してから画像を表示部509に表示出力する(ステップS908)。

0126

また、特殊処理を行なわないと決定したときには(ステップS907のNo)、ステップS905で受信した画像をそのまま表示部509に表示出力する(ステップS909)。

0127

なお、ステップS908並びにS909で画像を表示する方法は、両眼式の画像表示装置100での左右いずれか一方にのみ表示する方法や、子画面表示、分割表示などさまざまである。

0128

このように、視界提供者側の画像表示装置100で図7に示した処理手順を実行するとともに、視界受給者側の画像表示装置100で図9に示した処理手順を実行することにより、珍しい物や貴重な物を見たという体験をユーザー間で容易に共有することができる。

0129

なお、視界受給者設定部603や視界提供者設定部801の機能や、視界受給者と視界提供者のペアリングを、サーバーなど画像表示装置100の外部の装置で行なうようにしてもよい。

先行技術

0130

特開2008−147865号公報、段落0024〜0026
特開2008−154192号公報
特開2009−21914号公報
特開2011−2753号公報
特開2008−304268号公報

0131

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正代用を成し得ることは自明である。

0132

ユーザーが頭部又は顔部に装着して用いる画像表示装置は、遮光性のタイプと透過性のタイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。また、この種の画像表示装置は、左右両方の眼に表示部を備えた両眼タイプと、左右いずれか一方にのみ表示部を備えた単眼タイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。勿論、ユーザーの頭部や顔部に装着しないタイプの画像表示装置に対して本明細書で開示する技術を適用しても、同様に、ユーザー間で画像を交換することができるようになる。

0133

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

0134

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)画像を表示する画像表示部と、
画像を入力する画像入力部と、
前記画像入力部に入力された画像の送信先となる受信端末を設定する受信端末設定部と、
前記画像入力部に入力された画像を前記受信端末に送信する画像送信部と、
を具備する、頭部又は顔部に装着型の画像表示装置。
(2)前記画像表示装置を使用するユーザーの状態を検出する状態検出部をさらに備え、
前記状態検出部が前記ユーザーの所定の状態を検出したことに応答して、前記画像送信部は前記受信端末への前記画像入力部に入力された画像の送信を開始し又は停止する、
上記(1)に記載の画像表示装置。
(3)入力操作部をさらに備え、
前記ユーザーが前記入力操作部を介して指示したことに応答して、前記視界画像送信部は前記視界受給者への前記視界画像の送信を開始し又は停止する、
上記(1)に記載の画像表示装置。
(4)前記受信端末設定部は、画像開放メッセージを送信し、確認応答メッセージを返信してきた受信端末を設定する、
上記(1)に記載の画像表示装置。
(5)前記受信端末設定部は、前記ユーザーが指定した受信端末を設定する、
上記(1)に記載の画像表示装置。
(6)前記受信端末設定部は、受信端末を事前に登録する、
上記(1)に記載の画像表示装置。
(7)前記受信端末設定部が1つも受信端末を設定できないときには、前記画像送信部は前記画像入力部に入力された画像の送信を行なわない、
上記(1)に記載の画像表示装置。
(8)前記画像入力部に入力された画像とともに送信する付加情報を作成する付加情報作成部をさらに備え、
前記画像送信部は、前記画像入力部に入力された画像とともに前記付加情報を前記受信端末に送信する、
上記(1)に記載の画像表示装置。
(9)前記受信端末設定部は、前記受信端末を2区分以上に分類し、
前記画像送信部は、所定の区分の前記受信端末にのみ前記付加情報を送信する、
上記(8)に記載の画像表示装置。
(10)前記画像入力部は、前記画像表示装置を使用するユーザーの視線方向の画像を入力し、
前記付加情報作成部は、前記ユーザーの視線に関する付加情報又は視線方向にある対象物を示す付加情報を作成する、
上記(8)に記載の画像表示装置。
(11)撮像部をさらに備え、
前記画像入力部は、前記撮像部が撮影する画像を入力する、
上記(1)に記載の画像表示装置。
(12)撮像部と、前記撮像部の撮像画像を記録する記録部をさらに備え、
前記画像入力部は、前記記録部から前記撮像画像を入力する、
上記(1)に記載の画像表示装置。
(13)送信端末から送信された画像を受信処理する画像受信処理部と、
前記受信処理した画像を表示する画像表示部と、
を具備する、頭部又は顔部に装着型の画像表示装置。
(14)前記送信端末を設定する送信端末設定部をさらに備え、
前記画像受信処理部は、前記送信端末設定部に設定された前記送信端末からの画像のみ受信する、
上記(13)に記載の画像表示装置。
(15)前記送信端末設定部は、前記送信端末からの画像開放メッセージに対して確認応答メッセージを返信する、
上記(14)に記載の画像表示装置。
(16)前記送信端末設定部は、前記ユーザーが指定した送信端末を設定する、
上記(14)に記載の画像表示装置。
(17)前記送信端末設定部は、送信端末を事前に登録する、
上記(14)に記載の画像表示装置。
(18)前記画像受信処理部は、前記画像とともに送られてくる付加情報を選択的に受信する、
上記(13)に記載の画像表示装置。
(19)前記画像表示部は前記画像表示部を使用するユーザーの左右の眼毎に表示画面を持ち、
前記画像表示部は、前記受信処理した画像を左右いずれか一方の表示画面に表示する、
上記(13)に記載の画像表示装置。
(20)前記画像表示部は、前記受信処理した画像を表示画面に子画面表示、又は、分割画面表示する、
上記(13)に記載の画像表示装置。
(21)前記画像受信処理部は、前記画像とともに送られてくる付加情報の表示処理も行なう、
上記(13)に記載の画像表示装置。
(22)前記送信端末は、前記送信端末のユーザーの視線方向の画像をユーザーの視線の情報を含んだ付加情報とともに送信し、
前記画像受信処理部は、前記付加情報として受信したユーザーの視線に関する情報に基づいて、前記送信端末から受信した画像に特殊処理を行なう、
上記(13)に記載の画像表示装置。
(23)前記送信端末から受信した画像又は付加情報を記録する記録部をさらに備える、
上記(13)に記載の画像表示装置。
(24)画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像の送信先となる受信端末を設定する受信端末設定ステップと、
前記画像入力ステップで入力された画像を前記受信端末に送信する画像送信ステップと、
を有する画像表示方法。
(25)送信端末から送信された画像を受信処理する画像受信処理ステップと、
前記受信処理した画像を表示出力する画像表示ステップと、
を有する画像表示方法。
(26)頭部又は顔部に装着型の、入力した画像を送信する送信側画像表示装置と、
頭部又は顔部に装着型の、前記送信側画像表示装置から送信される画像を表示する受信側画像表示装置と、
を具備する画像表示システム。
(27)画像を表示する画像表示部、
画像を入力する画像入力部、
前記画像入力部に入力された画像の送信先となる受信端末を設定する受信端末設定部、
前記画像入力部に入力された画像を前記受信端末に送信する画像送信部、
としてコンピューターを機能させるようにコンピューター可読形式で記述され、ユーザーの頭部又は顔部に装着して用いられる画像表示装置を制御するコンピューター・プログラム。
(28)送信端末から送信された画像を受信処理する画像受信処理部、
前記受信処理した画像を表示する画像表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述され、ユーザーの頭部又は顔部に装着して用いられる画像表示装置を制御するコンピューター・プログラム。

0135

100…画像表示装置(透過型
101L、101R…虚像光学部、102…支持体
103L、103R…マイクロフォン、104L、104R…表示パネル
300…画像表示装置(没入型)
301L、301R…虚像光学部
303L、303R…マイクロフォン、304L、304R…表示パネル
305…眼幅調整機構
501…制御部、501A…ROM、501B…RAM
502…入力操作部、503…リモコン受信部
504…姿勢・位置検出部、505…通信部、506…記録部
507…画像処理部、508…表示駆動部
509…表示部、510…虚像光学部
511…状態検出部、512…外側カメラ
513…音声処理部、514…音声入出力部
601…画像入力部、602…役割切替部
603…視界受給者設定部、604…付加情報作成部
605…画像送信部
801…視界提供者設定部、802…画像受信
803…画像表示処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ