図面 (/)

技術 ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム

出願人 富士フイルム株式会社
発明者 加茂田玲奈岡部雄生
出願日 2017年4月11日 (2年4ヶ月経過) 出願番号 2017-078064
公開日 2018年11月15日 (9ヶ月経過) 公開番号 2018-180840
状態 未査定
技術分野 デジタル計算機のユーザインターフェイス テレビジョン受像機の構造の細部
主要キーワード 斜めスライド オブザーブ 所定移動範囲 外部施設 モード切替コマンド 赤外線エミッタ 変位幅 楕円柱形状
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年11月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

ジェスチャー操作誤認識を効果的に防止し、使い勝手を向上させることが可能なヘッドマウントディスプレイ制御装置とその作動方法および作動プログラム並びに画像表示システムを提供する。

解決手段

制御装置の認識部及び処理部において、選択処理部85はダブルタップ操作が操作認識部80で認識された場合、3D画像に関する複数の選択肢のうちの1つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢をサイクリック切り替える選択処理を行う。変更処理部86はタップアンドホールド操作が操作認識部80で認識された場合、選択処理部85で選択された1つの選択肢に付随する、3D画像の表示態様を変更する変更処理を行う。

概要

背景

ユーザの頭部に装着されたヘッドマウントディスプレイ(以下、HMD(Head Mounted Display))にコンピュータグラフィックスを用いた仮想オブジェクトを表示させ、現実空間に存在する実在オブジェクトと同じように仮想オブジェクトをユーザに認識させる技術が知られている。

特許文献1には、仮想オブジェクトに対するユーザの手を用いた様々なジェスチャー操作を認識するHMDの制御装置が記載されている。この制御装置は、認識したジェスチャー操作に応じて、仮想オブジェクトの表示位置、表示サイズといった、仮想オブジェクトの表示態様を変更する変更処理を行っている。ジェスチャー操作には、人差し指指先を横方向に移動させるスライド操作や、人差し指と親指の指先を接触させた状態(人差し指と親指の指先で仮想オブジェクトを掴んだ状態)で手を移動させるタップアンドホールド操作が例示されている。

特許文献1に記載されているように、HMDを用いた技術では、ジェスチャー操作が操作入力方法としてしばしば採り入れられる。こうしたジェスチャー操作で仮想オブジェクトの表示態様を変更する変更処理を行わせるためには、変更処理の種類、あるいは変更処理の対象等の複数の選択肢のうちの1つの選択肢を選択するためのジェスチャー操作(以下、選択操作)と、選択操作で選択された1つの選択肢に付随する変更処理を実際に行わせるためのジェスチャー操作(以下、変更操作)の2種が必要となる。

特許文献2は、HMDを用いた技術ではないが、ユーザと対面するディスプレイに表示された三次元立体画像への操作入力方法として、ジェスチャー操作を採り入れている。特許文献2では、手を前後方に素早く移動させる操作(以下、クリック操作、特許文献2ではクリック動作表記)を選択操作としている。そして、クリック操作が認識される度に、選択する選択肢をサイクリック切り替えている。選択肢には、変更処理の対象である複数の三次元立体画像、並びに変更処理の種類である三次元立体画像の表示位置、表示サイズ、および表示向きが例示されている。

また、特許文献2では、クリック操作の規定速度よりも遅い移動速度で手を前後方に移動させるスライド操作、およびディスプレイの表示面に沿って手を移動させるスライド操作を変更操作としている。ユーザは、上記のクリック操作で所望の三次元立体画像および変更処理の種類を選択した後、スライド操作を行う。これにより、三次元立体画像の表示位置、表示サイズ、あるいは表示向きの変更処理が行われる。

概要

ジェスチャー操作の誤認識を効果的に防止し、使い勝手を向上させることが可能なヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム並びに画像表示システムを提供する。制御装置の認識部及び処理部において、選択処理部85はダブルタップ操作が操作認識部80で認識された場合、3D画像に関する複数の選択肢のうちの1つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢をサイクリックに切り替える選択処理を行う。変更処理部86はタップアンドホールド操作が操作認識部80で認識された場合、選択処理部85で選択された1つの選択肢に付随する、3D画像の表示態様を変更する変更処理を行う。

目的

本発明は、ジェスチャー操作の誤認識を効果的に防止し、使い勝手を向上させることが可能なヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置において、三次元仮想オブジェクトを前記仮想空間に表示させる表示制御部と、前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識部と、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリック切り替え選択処理部と、手首、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理部で選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理部とを備えるヘッドマウントディスプレイの制御装置。

請求項2

前記表示制御部は、前記複数の選択肢を順番に並べたメニューバーを前記仮想空間に表示し、前記メニューバーにおいて、前記選択処理部で選択された前記1つの選択肢をフォーカス表示する請求項1に記載のヘッドマウントディスプレイの制御装置。

請求項3

前記表示制御部は、前記ダブルタップ操作が前記ジェスチャー操作として認識された場合にのみ前記メニューバーを表示する請求項2に記載のヘッドマウントディスプレイの制御装置。

請求項4

前記表示制御部は、前記ユーザの視点位置に前記メニューバーを表示する請求項3に記載のヘッドマウントディスプレイの制御装置。

請求項5

前記選択肢は、前記変更処理の種類である、前記仮想オブジェクトの表示位置、表示サイズ、および表示向きである請求項1ないし4のいずれか1項に記載のヘッドマウントディスプレイの制御装置。

請求項6

前記仮想オブジェクトは複数の構造物を有し、前記選択肢は、前記変更処理の対象である前記複数の構造物である請求項1ないし5のいずれか1項に記載のヘッドマウントディスプレイの制御装置。

請求項7

前記変更処理部は、前記複数の構造物のうちの前記選択処理部で選択された1つの構造物の透過率を変更する透過率変更処理を前記変更処理として行う請求項6に記載のヘッドマウントディスプレイの制御装置。

請求項8

前記仮想オブジェクトは、人体三次元ボリュームレンダリング画像である請求項1ないし7のいずれか1項に記載のヘッドマウントディスプレイの制御装置。

請求項9

前記スライド操作は、2本の指の指先を接触させた状態で手を移動させるタップアンドホールド操作である請求項1ないし8のいずれか1項に記載のヘッドマウントディスプレイの制御装置。

請求項10

ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動方法において、三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御ステップと、前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識ステップと、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理ステップと、手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理ステップで選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。

請求項11

ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動プログラムにおいて、三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御機能と、前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識機能と、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理機能と、手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理機能で選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。

請求項12

ユーザの頭部に装着されるヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの動作を制御する制御装置とを備え、前記ヘッドマウントディスプレイを通じて仮想空間を前記ユーザに認識させる画像表示システムにおいて、三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御部と、前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識部と、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理部と、手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理部で選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理部とを備える画像表示システム。

技術分野

背景技術

0002

ユーザの頭部に装着されたヘッドマウントディスプレイ(以下、HMD(Head Mounted Display))にコンピュータグラフィックスを用いた仮想オブジェクトを表示させ、現実空間に存在する実在オブジェクトと同じように仮想オブジェクトをユーザに認識させる技術が知られている。

0003

特許文献1には、仮想オブジェクトに対するユーザの手を用いた様々なジェスチャー操作を認識するHMDの制御装置が記載されている。この制御装置は、認識したジェスチャー操作に応じて、仮想オブジェクトの表示位置、表示サイズといった、仮想オブジェクトの表示態様を変更する変更処理を行っている。ジェスチャー操作には、人差し指指先を横方向に移動させるスライド操作や、人差し指と親指の指先を接触させた状態(人差し指と親指の指先で仮想オブジェクトを掴んだ状態)で手を移動させるタップアンドホールド操作が例示されている。

0004

特許文献1に記載されているように、HMDを用いた技術では、ジェスチャー操作が操作入力方法としてしばしば採り入れられる。こうしたジェスチャー操作で仮想オブジェクトの表示態様を変更する変更処理を行わせるためには、変更処理の種類、あるいは変更処理の対象等の複数の選択肢のうちの1つの選択肢を選択するためのジェスチャー操作(以下、選択操作)と、選択操作で選択された1つの選択肢に付随する変更処理を実際に行わせるためのジェスチャー操作(以下、変更操作)の2種が必要となる。

0005

特許文献2は、HMDを用いた技術ではないが、ユーザと対面するディスプレイに表示された三次元立体画像への操作入力方法として、ジェスチャー操作を採り入れている。特許文献2では、手を前後方に素早く移動させる操作(以下、クリック操作、特許文献2ではクリック動作表記)を選択操作としている。そして、クリック操作が認識される度に、選択する選択肢をサイクリック切り替えている。選択肢には、変更処理の対象である複数の三次元立体画像、並びに変更処理の種類である三次元立体画像の表示位置、表示サイズ、および表示向きが例示されている。

0006

また、特許文献2では、クリック操作の規定速度よりも遅い移動速度で手を前後方に移動させるスライド操作、およびディスプレイの表示面に沿って手を移動させるスライド操作を変更操作としている。ユーザは、上記のクリック操作で所望の三次元立体画像および変更処理の種類を選択した後、スライド操作を行う。これにより、三次元立体画像の表示位置、表示サイズ、あるいは表示向きの変更処理が行われる。

先行技術

0007

特開2014−071812号公報
特開2005−322071号公報

発明が解決しようとする課題

0008

ここで、選択操作と変更操作とは区別する必要がある。というのは、選択操作と変更操作のうちの一方が他方と誤認識された場合は、例えば選択操作をした筈であるのに変更処理が行われる等、ユーザの意図しない処理が行われてしまい、使い勝手が悪くなるためである。

0009

特許文献2では、選択操作であるクリック操作と、移動速度だけが異なるスライド操作を、変更操作に含めている。このため、クリック操作をスライド操作と誤認識して、三次元立体画像の表示位置、表示サイズ、または表示向きの変更処理が行われてしまったり、逆にスライド操作をクリック操作と誤認識して、変更処理の種類や対象が切り替わってしまったりといったことが起こり易く、使い勝手が悪くなるおそれがあった。

0010

本発明は、ジェスチャー操作の誤認識を効果的に防止し、使い勝手を向上させることが可能なヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システムを提供することを目的とする。

課題を解決するための手段

0011

上記課題を解決するために、本発明のヘッドマウントディスプレイの制御装置は、ユーザの頭部に装着され、仮想空間をユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置において、三次元の仮想オブジェクトを仮想空間に表示させる表示制御部と、仮想オブジェクトに対するユーザの手を用いたジェスチャー操作を認識する操作認識部と、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作がジェスチャー操作として認識された場合、仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢をサイクリックに切り替える選択処理部と、手首、肩のいずれかを支点として手を移動させるスライド操作がジェスチャー操作として認識された場合、選択処理部で選択された1つの選択肢に付随する、仮想オブジェクトの表示態様を変更する変更処理を行う変更処理部とを備える。

0012

表示制御部は、複数の選択肢を順番に並べたメニューバーを仮想空間に表示し、メニューバーにおいて、選択処理部で選択された1つの選択肢をフォーカス表示することが好ましい。この場合、表示制御部は、ダブルタップ操作がジェスチャー操作として認識された場合にのみメニューバーを表示することが好ましい。また、表示制御部は、ユーザの視点位置にメニューバーを表示することが好ましい。

0013

選択肢は、変更処理の種類である、仮想オブジェクトの表示位置、表示サイズ、および表示向きであることが好ましい。

0014

仮想オブジェクトは複数の構造物を有し、選択肢は、変更処理の対象である複数の構造物であることが好ましい。この場合、変更処理部は、複数の構造物のうちの選択処理部で選択された1つの構造物の透過率を変更する透過率変更処理を変更処理として行うことが好ましい。

0015

仮想オブジェクトは、人体三次元ボリュームレンダリング画像であることが好ましい。また、スライド操作は、2本の指の指先を接触させた状態で手を移動させるタップアンドホールド操作であることが好ましい。

0016

本発明のヘッドマウントディスプレイの制御装置の作動方法は、ユーザの頭部に装着され、仮想空間をユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動方法において、三次元の仮想オブジェクトを仮想空間に表示させる表示制御ステップと、仮想オブジェクトに対するユーザの手を用いたジェスチャー操作を認識する操作認識ステップと、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作がジェスチャー操作として認識された場合、仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢をサイクリックに切り替える選択処理ステップと、手首、肘、肩のいずれかを支点として手を移動させるスライド操作がジェスチャー操作として認識された場合、選択処理ステップで選択された1つの選択肢に付随する、仮想オブジェクトの表示態様を変更する変更処理を行う変更処理ステップとを備える。

0017

本発明のヘッドマウントディスプレイの制御装置の作動プログラムは、ユーザの頭部に装着され、仮想空間をユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動プログラムにおいて、三次元の仮想オブジェクトを仮想空間に表示させる表示制御機能と、仮想オブジェクトに対するユーザの手を用いたジェスチャー操作を認識する操作認識機能と、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作がジェスチャー操作として認識された場合、仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢をサイクリックに切り替える選択処理機能と、手首、肘、肩のいずれかを支点として手を移動させるスライド操作がジェスチャー操作として認識された場合、選択処理機能で選択された1つの選択肢に付随する、仮想オブジェクトの表示態様を変更する変更処理を行う変更処理機能とを、コンピュータに実行させる。

0018

また、本発明の画像表示システムは、ユーザの頭部に装着されるヘッドマウントディスプレイと、ヘッドマウントディスプレイの動作を制御する制御装置とを備え、ヘッドマウントディスプレイを通じて仮想空間をユーザに認識させる画像表示システムにおいて、三次元の仮想オブジェクトを仮想空間に表示させる表示制御部と、仮想オブジェクトに対するユーザの手を用いたジェスチャー操作を認識する操作認識部と、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作がジェスチャー操作として認識された場合、仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢をサイクリックに切り替える選択処理部と、手首、肘、肩のいずれかを支点として手を移動させるスライド操作がジェスチャー操作として認識された場合、選択処理部で選択された1つの選択肢に付随する、仮想オブジェクトの表示態様を変更する変更処理を行う変更処理部とを備える。

発明の効果

0019

本発明によれば、仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択するジェスチャー操作である選択操作を、親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作とし、仮想オブジェクトの表示態様を変更する変更処理を行わせるためのジェスチャー操作である変更操作を、手首、肘、肩のいずれかを支点として手を移動させるスライド操作とするので、ジェスチャー操作の誤認識を効果的に防止し、使い勝手を向上させることが可能なヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システムを提供することができる。

図面の簡単な説明

0020

画像表示システムと画像蓄積サーバを示す図である。
画像表示システムの外観斜視図である。
画像表示システムを用いて対象患者手術方針を検討する様子を示す図である。
拡張現実空間の成り立ちを説明するための図である。
3D画像を構成するCTスキャン画像を示す図である。
画像表示システムを用いて対象患者の手術方針を検討する大まかな流れを示すフローチャートである。
制御装置を構成するコンピュータのブロック図である。
制御装置のCPUの各機能部を示すブロック図である。
認識部と処理部の詳細を示すブロック図である。
第1対応情報を示す図である。
第1対応情報を示す図である。
第1対応情報を示す図である。
第1対応情報を示す図である。
第1対応情報を示す図である。
第1対応情報を示す図である。
第2対応情報を示す図である。
第2対応情報を示す図である。
アジャストモードにおける選択処理を示す図である。
オブザーブモードにおける選択処理を示す図である。
3D画像の表示位置を移動する変更処理を示す図である。
3D画像の表示サイズを縮小する変更処理を示す図である。
3D画像の表示向きを変更する処理を示す図である。
3D画像の選択された構造物の透過率を変更する処理を示す図である。
アジャストモードにおける仮想画像の詳細を示す図である。
オブザーブモードにおける仮想画像の詳細を示す図である。
制御装置の処理手順を示すフローチャートである。
ダブルタップ操作が認識された場合にのみアジャストモード表示バーを表示する第2実施形態を示す図である。
ユーザの視点位置にアジャストモード表示バーを表示する第3実施形態を示す図である。
画像表示システムの別の例を示す図である。
画像表示システムのさらに別の例を示す図である。

実施例

0021

[第1実施形態]
図1において、画像表示システム10は、HMD11と制御装置12とが一体化されたものであり、例えば医療施設13のカンファレンス室14で用いられる。画像表示システム10はユーザ15の頭部に装着される。ユーザ15は、医療施設13に所属する医師看護師といった医療スタッフである。なお、頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。

0022

画像表示システム10は、例えばLAN(Local Area Network)等のネットワーク17を介して、画像蓄積サーバ19と相互に通信可能に接続されている。画像蓄積サーバ19は、例えば医療施設13のコンピュータ室18に設置されている。

0023

画像蓄積サーバ19は、医療施設13で取得した患者の様々な医療画像蓄積する。医療画像には、CT(Computed Tomography)スキャン画像45(図5参照)を画像処理により再構成した三次元ボリュームレンダリング画像(以下、3D画像)40(図3参照)が含まれる。画像蓄積サーバ19は、個々の医療画像を識別するための画像ID、医療画像を撮影した患者を識別するための患者ID(Identification Data)、あるいは医療画像を撮影したモダリティの種類、撮影日時等を検索キーとした医療画像の検索が可能である。

0024

画像蓄積サーバ19は、画像表示システム10からの検索キーを含む配信要求に応じて、検索キーに対応する医療画像を検索し、検索した医療画像を画像表示システム10に配信する。なお、図1では1つの画像表示システム10だけが画像蓄積サーバ19に接続されているが、実際には医療施設13には複数の画像表示システム10が配備され、画像蓄積サーバ19には複数の画像表示システム10が接続されている。

0025

図2において、画像表示システム10は、本体部25と装着部26とで構成される。画像表示システム10の装着時、本体部25はユーザ15の眼前に位置し、装着部26はユーザ15の頭部の上半部に位置する。

0026

本体部25は、保護枠27、スクリーン28、センサ部29、および制御部30を備えている。保護枠27はユーザ15の両眼全体を覆うように湾曲した1枚の透明板であり、例えば透明な色付きのプラスチックで形成される。スクリーン28は保護枠27の内側に配されている。スクリーン28はユーザ15の両眼のそれぞれに割り当てられており、中央には鼻当て31が設けられている。スクリーン28は、保護枠27と同様に透明な材料で形成される。このスクリーン28と保護枠27を通じて、ユーザ15は現実空間RS(図4参照)を肉眼視認する。つまり画像表示システム10のHMD11は透過型である。

0027

また、ユーザ15の眼と対向するスクリーン28の内面には、コンピュータグラフィックスを用いた仮想画像が投影部(図示せず)から投影表示される。投影部は、周知のように、仮想画像を表示する液晶等の表示素子と、表示素子に表示された仮想画像をスクリーン28の内面に向けて投影する投影光学系とで構成される。この場合、スクリーン28は、仮想画像を反射し、かつ現実空間RSの光を透過するハーフミラーで構成される。投影部は、所定のフレームレート(例えば60フレーム/秒)でスクリーン28の内面に仮想画像を投影表示する。仮想画像はスクリーン28の内面で反射してユーザ15の眼に入射する。これにより、ユーザ15は仮想画像を仮想空間VS(図4参照)上の虚像として認識する。なお、スクリーン28自体を液晶等の表示素子としてもよい。

0028

仮想画像には、拡張現実空間ARS(図3参照)において、現実空間RSに存在する実在オブジェクトと同じようにユーザ15が認識する仮想オブジェクトがある。仮想オブジェクトは、ここでは患者の上半身の3D画像40(図3参照)である。ユーザ15は、3D画像40に対して、自らの手37(図3参照)を用いたジェスチャー操作を行う。

0029

センサ部29はスクリーン28の上部に位置し、スクリーン28と同じく保護枠27で覆われている。センサ部29はHMD11に属し、画像表示システム10の使用状態を把握するための様々なセンサを備えている。センサは、画像表示システム10の使用周辺環境を空間認識するための複数台赤外線エミッタと複数台の空間認識用カメラで構成される空間認識ユニットカラー撮像素子を有するビデオカメラ慣性計測ユニットIMU;inertial measurement unit)等である。IMUは、加速度センサ角速度センサジャイロスコープ)、および方位センサ磁力計)で構成され、ビデオカメラと協働して、ユーザ15の頭部の動きを追跡する、いわゆるヘッドトラッキングを実施する。

0030

センサ部29には、3D画像40に対するユーザ15の手37を用いたジェスチャー操作を認識するための赤外線エミッタとデプスセンサで構成されるジェスチャー操作認識ユニットも配されている。デプスセンサは、赤外線エミッタから発せられて手37を含む実在オブジェクトから反射される赤外光を検出して、ユーザ14の視点の奥行方向の現実空間RSの情報を得るセンサである。デプスセンサは、ユーザ15がHMD11を通じて認識する拡張現実空間ARSとほぼ同じ視野を、所定のフレームレート(例えば60フレーム/秒)で撮像する。ユーザ15は、このデプスセンサの視野内でジェスチャー操作を行う。

0031

また、センサ部29には、画像表示システム10の使用周辺環境の音声収録するためのマイクロフォンも配されている。このマイクロフォンによって、ジェスチャー操作に加えて、音声操作も可能となる。なお、ここでは透過型のHMD11を例示したが、ビデオカメラで撮像した現実空間RSの撮像画像に仮想画像を重畳して、この重畳画像をスクリーン28の内面に投影表示する非透過型のHMDを用いてもよい。

0032

制御部30は、本体部25の三日月状天板の裏側に取り付けられている。制御部30には、センサ部29に配された各種センサドライバ内蔵バッテリからの電力を各部に供給する電力供給回路、画像蓄積サーバ19等の外部装置無線通信を行う無線通信回路ストレージデバイス55、メモリ56、これらを統括的に制御するCPU(Central Processing Unit)57(いずれも図7参照)等が設けられている。HMD11と制御装置12とが一体化された本実施形態の画像表示システム10では、この制御部30が制御装置12を構成する。

0033

装着部26は数センチ程度の幅を有する帯状であり、内側リング32と外側リング33とで構成される。内側リング32は切れ目のないO字状をしており、ユーザ15の頭部の上半部にフィットした状態で固定される。ユーザ15の頭部と接する内側リング32の内面には、ウレタンフォーム等の衝撃吸収パッドが取り付けられている。内側リング32は、ユーザ15の頭部に合わせてサイズを調整可能である。また、内側リング32は、所定移動範囲内で外側リング33に対して前後方に移動可能で、かつユーザ15の両を貫く軸を回転中心として、所定角度の範囲内で外側リング33に対して回転可能である。

0034

外側リング33は後頭部側が切り欠かれたC字状をしている。外側リング33は、内側リング32のサイズ調整に応じて、初期位置から外側に撓んだり、撓んだ状態から初期位置に向けて内側に縮んだりする。

0035

ユーザ15の両耳に対峙する外側リング33の部分には、音声を出力するスピーカー34が設けられている(図2では左側のスピーカー34のみ図示)。また、図示は省略したが、スピーカー34の上部には、スピーカー34の音量調整ボタンと、スクリーン28のバックライトの明るさ調整ボタンが設けられている。さらに、これも図示は省略したが、外側リング33の後頭部側の切り欠き部分には、電源タンとUSB(Universal Serial Bus)端子が設けられている。

0036

画像表示システム10は、電力供給回路を介した内蔵バッテリの電力で動作し、かつ無線通信回路で画像蓄積サーバ19等の外部装置と無線通信を行う。このため、画像表示システム10はワイヤレスで使用することが可能である。なお、外側リング33のUSB端子USBケーブルを接続して外部装置と有線接続することで、外部装置からの電力供給と、外部装置との有線通信が可能となる。

0037

図3は、医療施設13のカンファレンス室14にいるユーザ15が、画像表示システム10を用いて、手術予定の患者(以下、対象患者)の手術方針を検討している様子を示す。ユーザ15は、HMD11を通じて拡張現実空間ARSを認識している。

0038

カンファレンス室14にはテーブル36が設置されている。テーブル36の中央には、対象患者の上半身の仰向けの3D画像40が仮想オブジェクトとして表示されている。3D画像40は、現実空間RSにおける表示位置がテーブル36のほぼ中央に固定され、その体軸がテーブル36の長辺に沿い、かつ頸部がユーザ15の左側、腰部がユーザ15の右側となるように配置されている。

0039

ユーザ15はテーブル36の一方の長辺のほぼ中央に立っている。ユーザ15はテーブル36に手(右手)37および指(人差し指)38を向けている。なお、3D画像40はあくまでも仮想オブジェクトであって、現実空間RSにおいては、テーブル36には3D画像40は存在しない。このため、図3のテーブル36上では3D画像40を破線で示している。

0040

3D画像40の現実空間RSにおける表示位置がテーブル36のほぼ中央に固定されているため、ユーザ15の立ち位置に応じて、ユーザ15が認識する拡張現実空間ARSにおける3D画像40の見え方が異なる。具体的には、図3に示す立ち位置では、ユーザ15は、3D画像40の右半身手前側、頸部が左側に見える。図3に示す立ち位置と反対側のテーブル36の他方の長辺側にユーザ15が立った場合は、逆に3D画像40の左半身が手前側、頸部が右側に見える。

0041

また、例えばユーザ15がテーブル36に近付くと、近付くにつれて3D画像40が拡大表示される。逆にユーザ15がテーブル36から遠ざかると、遠ざかるにつれて3D画像40が縮小表示される。

0042

このように、3D画像40の表示は、画像表示システム10(ユーザ15)とテーブル36との三次元的な位置関係に応じて変更される。画像表示システム10とテーブル36との三次元的な位置関係は、センサ部29の空間認識ユニットでテーブル36を含むカンファレンス室14の全体を空間認識し、かつビデオカメラおよびIMUでヘッドトラッキングを実施することで認識可能である。なお、当然ではあるが、現実空間RSの実在オブジェクトであるテーブル36等も、ユーザ15の立ち位置に応じて拡張現実空間ARSにおける見え方が異なる。

0043

図4に、ユーザ15が認識する拡張現実空間ARSの成り立ちを示す。ユーザ15は、スクリーン28と保護枠27を通じて、テーブル36および自らの手37が存在する現実空間RSを視認する。加えて、ユーザ15は、スクリーン28の内面を通じて、3D画像40が存在する仮想空間VSを視認する。これにより、ユーザ15は、現実空間RSと仮想空間VSを融合させた拡張現実空間ARSを認識する。

0044

仮想空間VSには、ユーザ15の視点位置を示すカーソル41が重畳表示される。カーソル41は二重丸の形状をしている。このカーソル41の表示位置は、センサ部29のビデオカメラおよびIMUの協働によるヘッドトラッキングの結果から割り出される。すなわち、カーソル41は、ユーザ15の頭部の動きに連動して移動する。例えばユーザ15が頭部を上に向けると、カーソル41も上に移動する。

0045

図5は、3D画像40を構成する複数枚のCTスキャン画像45のうちの一枚を示したものである。ここで、CTスキャン画像45の面(スライス面)と平行な、腹背を結ぶ線に沿った人体の前後方向を深さ方向とする。CTスキャン画像45には、外側から順に、皮膚46、脂肪等の皮下組織47、腹直筋等の筋組織48、肋骨胸骨等の骨49、肝臓50A、50B、脾臓50C等の内臓50、腫瘍等の病変51といった人体組織の構造物が複数映されている。3D画像40は、こうした人体組織の複数の構造物が映されたCTスキャン画像45を再構成したものである。このため、3D画像40は、複数の構造物が深さ方向に重なった仮想オブジェクトである。なお、3D画像40には、例えば皮膚46は肌色、骨49は灰色、内臓50はピンク色、病変51は赤色等の色付けがなされている。

0046

複数の構造物のうち、皮膚46、皮下組織47、筋組織48、骨49は、3D画像40上の位置に関わらず、外側からこの順に存在する。一方、肝臓50A等の内臓50は、3D画像40において、体軸方向の位置に応じて変わる。ここでは肝臓50A、胃50B、脾臓50Cを例示したが、上半身の3D画像40であるため、腎臓膵臓小腸大腸といった他の内臓50も3D画像40に含まれている。

0047

図6は、ユーザ15が画像表示システム10を用いて対象患者の手術方針を検討する際の大まかな流れを示すフローチャートである。まず、3D画像40のファイルアイコンの一覧がHMD11に表示され、一覧の中から、ユーザ15により仮想オブジェクトとして表示する対象患者の3D画像40が選択される(ステップST100)。3D画像40の選択後、画像表示システム10は3D画像40の初期表示位置の設定に移行する(ステップST110)。初期表示位置には、例えばテーブル36上等、大まかな位置が設定される。

0048

初期表示位置の設定後、画像表示システム10はアジャストモードに移行する(ステップST120)。アジャストモードでは、3D画像40の表示位置、表示サイズ、および表示向きのいずれか選択し、これらを初期表示位置からユーザ15の好みとなるよう変更することが可能である。

0049

すなわち、アジャストモードでは、現実空間RSにおける3D画像40の表示位置、表示サイズ、および表示向きが、仮想オブジェクトに関する複数の選択肢に相当する。また、アジャストモードでは、3D画像40の表示位置、表示サイズ、および表示向きのそれぞれの変更処理が、選択された1つの選択肢に付随する、仮想オブジェクトの表示態様を変更する変更処理に相当する。

0050

アジャストモードで3D画像40の表示位置、表示サイズ、表示向きがユーザ15の好むものとなり、ユーザ15からアジャストモードを終える指示があった場合、画像表示システム10はオブザーブモードに移行する(ステップST130)。オブザーブモードでは、アジャストモードで設定された表示位置、表示サイズ、表示向きにて、3D画像40を観察することが可能である。

0051

また、オブザーブモードでは、皮膚46等の構造物を選択し、選択した構造物の透過率を変更することが可能である。例えば、皮膚46、皮下組織47、筋組織48、骨49等の各構造物を選択し、各構造物の透過率を全て100%(透明)に変更して、手術予定の病変51を直接視認可能とする。

0052

すなわち、オブザーブモードでは、複数の構造物が、仮想オブジェクトに関する複数の選択肢に相当する。また、オブザーブモードでは、選択された構造物の透過率を変更する透過率変更処理が、選択された1つの選択肢に付随する、仮想オブジェクトの表示態様を変更する変更処理に相当する。なお、オブザーブモードにおいて、3D画像40に対して仮想的なメスを用いて仮想的な開腹手術を施すことが可能な構成としてもよい。

0053

図7において、画像表示システム10の制御装置12は、前述のストレージデバイス55、メモリ56、およびCPU57等を備えている。これらはデータバス58を介して相互接続されている。なお、制御装置12は、これらの他にも、各種センサのドライバ、電力供給回路、無線通信回路を含む。

0054

ストレージデバイス55は、例えば制御装置12に内蔵されたハードディスクドライブである。ストレージデバイス55には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データが記憶されている。

0055

メモリ56は、CPU57が処理を実行するためのワークメモリである。CPU57は、ストレージデバイス55に記憶されたプログラムをメモリ56へロードして、プログラムにしたがった処理を実行することにより、制御装置12の各部を統括的に制御する。

0056

図8において、ストレージデバイス55には作動プログラム65が記憶されている。作動プログラム65は、制御装置12を構成するコンピュータを、HMD11の制御装置として機能させるためのアプリケーションプログラムである。ストレージデバイス55には、作動プログラム65の他に、第1対応情報66(図10図15参照)および第2対応情報67(図16および図17参照)が記憶されている。

0057

作動プログラム65が起動されると、CPU57は、メモリ56等と協働して、センサ情報取得部70、3D画像取得部71、認識部72、処理部73、および表示制御部74として機能する。

0058

センサ情報取得部70は、HMD11のセンサ部29からのセンサ情報を取得する。センサ情報には、空間認識用カメラの撮像画像、ビデオカメラの撮像画像、IMUの各種センサの検知信号、デプスセンサの撮像画像、並びにマイクロフォンで収録した音声が含まれる。センサ情報取得部70は、取得したセンサ情報を認識部72に出力する。

0059

3D画像取得部71は、3D画像40の配信要求を画像蓄積サーバ19に発行する。また、3D画像取得部71は、配信要求に応じて画像蓄積サーバ19から送信された3D画像40を取得する。3D画像取得部71は、取得した3D画像40を表示制御部74に出力する。

0060

認識部72は、センサ情報取得部70からのセンサ情報に基づいた各種認識を行う。認識部72は、認識結果を処理部73および表示制御部74に出力する。処理部73は、認識部72からの認識結果に基づいた各種処理を行う。処理部73は、処理結果を表示制御部74に出力する。表示制御部74は、3D画像40を含む仮想画像のHMD11への表示を制御する表示制御機能を担う。

0061

図9において、認識部72は操作認識部80を含んでいる。また、処理部73は選択処理部85および変更処理部86を含んでいる。

0062

操作認識部80には、センサ情報取得部70からのセンサ情報のうちのデプスセンサの撮像画像が入力される。操作認識部80は、デプスセンサの撮像画像、および第1対応情報66に基づいて、ジェスチャー操作を認識する操作認識機能を担う。操作認識部80は、認識したジェスチャー操作の情報(以下、ジェスチャー情報)を、認識結果として処理部73に出力する。

0063

なお、認識部72には、操作認識部80の他に、音声認識部、動き認識部、空間認識部等の各種認識部が設けられている。音声認識部は、センサ情報のうちのマイクロフォンの収録音声の中から特定音声を認識する。特定音声はユーザ15が発話する音声で、予め決められた文言登録されている。動き認識部は、センサ情報のうちのビデオカメラの撮像画像、およびIMUの各種センサの検知信号に基づいて、ユーザ15の頭部の動きを認識する。空間認識部は、空間認識用カメラの撮像画像に基づいて、画像表示システム10の使用周辺環境を空間認識する。

0064

処理部73は、第2対応情報67に基づいて、操作認識部80からのジェスチャー情報で表されるジェスチャー操作を、その種類に応じた各種の操作コマンドとして認識する。そして、認識した操作コマンドに応じた各種処理を行う。より具体的には、処理部73の選択処理部85は、操作コマンドのうちの選択コマンド図16および図17参照)に応じて、3D画像40に関する複数の選択肢のうちの1つの選択肢を、サイクリックに切り替える選択処理機能を担う。複数の選択肢は、図6を用いて説明したように、アジャストモードでは3D画像40の表示位置、表示サイズ、および表示向きといった変更処理の種類であり、オブザーブモードでは変更処理の対象である複数の構造物である。選択処理部85は、選択した1つの選択肢の情報(以下、選択肢情報)を、処理結果として表示制御部74に出力する。

0065

変更処理部86は、操作コマンドのうちの変更コマンド図16および図17参照)に応じて、選択処理部85で選択された1つの選択肢に付随する、3D画像40の表示態様を変更する変更処理を行う変更処理機能を担う。変更処理は、これも図6を用いて説明したように、アジャストモードでは3D画像40の表示位置、表示サイズ、および表示向きのそれぞれの変更処理であり、オブザーブモードでは構造物の透過率変更処理である。変更処理部86は、変更処理の結果を示す情報(以下、変更情報)を、処理結果として表示制御部74に出力する。

0066

処理部73は、これら選択処理部85および変更処理部86の他にも、様々な処理部を有している。例えば、操作コマンドのうちの画像選択コマンド(図16参照)に応じて、3D画像取得部71に3D画像40の配信要求を発行させる画像選択処理部や、操作コマンドのうちのモード切替コマンド図17参照)に応じて、アジャストモードとオブザーブモードを切り替えるモード切替処理部等がある。また、処理部73は、音声認識部で認識された特定音声についても、ジェスチャー情報と同じく操作コマンドを認識し、認識した操作コマンドに応じた各種処理を行う。

0067

図10図15に示すように、第1対応情報66には、ユーザ15の手37の動きの推移と、これに対応するジェスチャー操作が登録されている。まず、図10に示す第1対応情報66Aには、2本の指38(ここでは人差し指と親指)の指先同士を離したGA1の状態から、GA2に示すように1本の指38(ここでは人差し指)を親指に向けて押し下げた後、GA3に示すように間を置かずに1本の指38を押し上げて再び2本の指38の指先を離す一連の動きが登録されている。この動きに対しては、ジェスチャー操作としてシングルタップ操作が登録されている。

0068

図11に示す第1対応情報66Bには、GB1〜GB3までは図10のシングルタップ操作のGA1〜GA3と同じであるが、GB3で2本の指38の指先を離した後、さらに続けてGB4に示すように1本の指38(ここでは人差し指)を再び親指に向けて押し下げ、GB5に示すようにもう一度1本の指38を押し上げて2本の指38の指先を離す一連の動きが登録されている。この動きは、言い換えれば、親指以外の少なくとも1本の指38を親指に向けて押し下げてから押し上げる動作を2回連続して行う動きである。第1対応情報66Bでは、この動きに対して、ジェスチャー操作としてダブルタップ操作が登録されている。

0069

なお、シングルタップ操作およびダブルタップ操作においては、親指以外の少なくとも1本の指38を親指に向けて押し下げた場合に、親指と親指以外の少なくとも1本の指38のそれぞれの指先を接触させる必要はない。

0070

図12に示す第1対応情報66Cの動きは、GC1、GC2までは図10のシングルタップ操作のGA1、GA2と同じである。ただし、図10ではGA3で2本の指38の指先を離していたのに対し、図12では、GC3Rに示すように、2本の指38の指先を接触させた状態で、手37を左から右に移動させている。第1対応情報66Cでは、この動きに対して、ジェスチャー操作としてタップアンドホールド操作の右スライド操作が登録されている。

0071

図13に示す第1対応情報66Dには、図12のGC3Rとは逆に、GC3Lに示すように、2本の指38の指先を接触させた状態で、手37を右から左に移動させる動きが登録されている。この動きに対しては、ジェスチャー操作としてタップアンドホールド操作の左スライド操作が登録されている。なお、GC1、GC2の動きは図12と同じであるため、図13では図示を省略している。以降の図14図15も同様である。

0072

図14に示す第1対応情報66Eには、GC3Uに示すように、2本の指38の指先を接触させた状態で、手37を下から上に移動させる動きが登録されている。この動きに対しては、ジェスチャー操作としてタップアンドホールド操作の上スライド操作が登録されている。一方、図15に示す第1対応情報66Fには、図14のGC3Uとは逆に、GC3Dに示すように、2本の指38の指先を接触させた状態で、手37を上から下に移動させる動きが登録されている。この動きに対しては、ジェスチャー操作としてタップアンドホールド操作の下スライド操作が登録されている。

0073

なお、図示は省略するが、第1対応情報66には、タップアンドホールド操作として、図12図15に示す右左スライド操作、上下スライド操作に加えて、2本の指38の指先を接触させた状態で、手37を例えば左下から右上、あるいはその逆、さらには右下から左上、あるいはその逆に向かって動かす、斜めスライド操作も登録されている。

0074

図10に示すシングルタップ操作および図11に示すダブルタップ操作は、指38の付け根の関節である中手指節関節を支点とするジェスチャー操作である。対して図12図15に示す右左スライド操作、上下スライド操作、あるいは図示しない斜めスライド操作を含むタップアンドホールド操作は、中手指節関節を支点とするジェスチャー操作に、さらに手首、肘、肩のいずれかを支点として手37を移動させるスライド操作が加わったジェスチャー操作である。

0075

操作認識部80は、周知の画像認識技術を用いて、デプスセンサの撮像画像に映されたユーザ15の手37から、2本の指38の指先を認識する。そして、認識した指先の移動軌跡が、第1対応情報66に登録された手37の動きの推移のいずれに該当するかを判断する。

0076

例えば、2本の指38の指先が互いに離れた状態からほぼ同じ位置に移動し、間を置かずに再び離れた場合、操作認識部80は、図10の第1対応情報66Aに登録された動きに該当すると判断し、ジェスチャー操作をシングルタップ操作と認識する。また、2本の指38の指先が互いに離れた状態からほぼ同じ位置に移動し、そのままの状態で2本の指38の指先の位置が左から右に移動した場合、操作認識部80は、図12の第1対応情報66Cに登録された動きに該当すると判断し、ジェスチャー操作をタップアンドホールド操作の右スライド操作と認識する。なお、親指以外の少なくとも1本の指38は、人差し指に限らず、中指薬指、さらには小指であってもよい。また、人差し指と中指等でもよい。

0077

図16および図17に示すように、第2対応情報67は、ジェスチャー操作と、これに対応するフェーズ毎の操作コマンドとを登録したものである。第2対応情報67には、視点位置合わせの有無も併せて登録されている。

0078

まず、フェーズ図6のステップST100に示す3D画像40の選択であった場合、視点位置合わせを伴うシングルタップ操作に対して、画像選択コマンドが割り当てられている。視点位置合わせは、3D画像40のファイルアイコンの一覧の中から所望の3D画像40を選択するために用いられる。すなわち、3D画像40のファイルアイコンの一覧のうちの所望の3D画像40に視点位置(カーソル41)を合わせ、その状態でシングルタップ操作を行うと、視点位置を合わせた3D画像40の配信要求が3D画像取得部71から画像蓄積サーバ19に配信される。

0079

続いて、フェーズが図6のステップST110に示す3D画像40の初期表示位置の設定であった場合、視点位置合わせを伴うシングルタップ操作に対して、今度は表示位置設定コマンドが割り当てられている。この場合の視点位置合わせは、3D画像40の初期表示位置を確定するために用いられる。すなわち、3D画像40の選択終了後に、現実空間RSの実在オブジェクトに視点位置を合わせ、その状態でシングルタップ操作を行うと、視点位置を合わせた実在オブジェクト上に3D画像40が表示される。

0080

図6のステップST120に示すアジャストモードでは、ダブルタップ操作に対して、3D画像40の表示位置、表示サイズ、表示向きといった変更処理の種類の選択をサイクリックに切り替える選択コマンドが割り当てられている。一方、図6のステップST130に示すオブザーブモードでは、ダブルタップ操作に対して、変更処理の対象である複数の構造物の選択をサイクリックに切り替える選択コマンドが割り当てられている。

0081

アジャストモードで表示位置が選択されていた場合(フェーズ=アジャストモード(表示位置))は、タップアンドホールド操作の右スライド操作に対して、3D画像40の表示位置を右に移動させる変更コマンドが割り当てられている。また、タップアンドホールド操作の左スライド操作に対して、3D画像40の表示位置を左に移動させる変更コマンドが割り当てられている。なお、図示は省略したが、タップアンドホールド操作の上下スライド操作に対しては、3D画像40の表示位置を上下に移動させる変更コマンドが割り当てられ、タップアンドホールド操作の斜めスライド操作に対しては、3D画像40の表示位置を斜め手前または斜め奥に移動させる変更コマンドが割り当てられている。

0082

アジャストモードで表示サイズが選択されていた場合(フェーズ=アジャストモード(表示サイズ))、タップアンドホールド操作の右スライド操作に対して、3D画像40の表示サイズを拡大させる変更コマンドが割り当てられている。また、タップアンドホールド操作の左スライド操作に対して、3D画像40の表示サイズを縮小させる変更コマンドが割り当てられている。

0083

アジャストモードで表示向きが選択されていた場合(フェーズ=アジャストモード(表示向き))、タップアンドホールド操作の右スライド操作に対して、3D画像40を鉛直軸右回りに回転させる変更コマンドが、タップアンドホールド操作の左スライド操作に対して、3D画像40を鉛直軸左回りに回転させる変更コマンドが、それぞれ割り当てられている。また、タップアンドホールド操作の上スライド操作に対して、タップアンドホールド操作の右左スライド操作の方向とほぼ平行な水平軸右回りに、3D画像40を回転させる変更コマンドが、タップアンドホールド操作の下スライド操作に対して、水平軸左回りに3D画像40を回転させる変更コマンドが、それぞれ割り当てられている。

0084

オブザーブモードでは、タップアンドホールド操作の右スライド操作に対して、選択された構造物の透過率を増加させる変更コマンドが割り当てられている。また、タップアンドホールド操作の左スライド操作に対して、選択された構造物の透過率を減少させる変更コマンドが割り当てられている。

0085

さらに、全フェーズに共通する操作コマンドとして、視点位置合わせを伴うシングルタップ操作に対して、作動プログラム65を終了する終了コマンドが割り当てられている。この場合の視点位置合わせは、図24および図25に示す終了ボタン103を選択するために用いられる。なお、第2対応情報67には、これらの他にも、リセットボタン105(図24および図25参照)への視点位置合わせを伴うシングルタップ操作に対する、3D画像40の表示を初期表示位置の設定直後に戻すリセットコマンド等が登録されている。

0086

視点位置合わせを利用するのは、上記の3D画像40を選択する場合、3D画像40の初期表示位置を設定する場合、終了コマンドを入力する場合、リセットコマンドを入力する場合等である。選択コマンド、および変更コマンドは、視点位置合わせの必要はなく、ダブルタップ操作、もしくはタップアンドホールド操作のみで入力可能である。

0087

図16および図17で示したように、同じジェスチャー操作であっても、フェーズにより操作コマンドが異なる。このため、処理部73は現在のフェーズを常に把握しており、操作認識部80からのジェスチャー情報で表されるジェスチャー操作を、各フェーズに適応した操作コマンドとして認識する。

0088

また、本例では、複数の選択肢のうちの1つの選択肢を選択するジェスチャー操作である選択操作にダブルタップ操作が割り当てられ、一方で3D画像40の表示態様を変更する変更処理を行わせるためのジェスチャー操作である変更操作にタップアンドホールド操作が割り当てられている。

0089

アジャストモードにおいては、選択処理部85は、図18に示すように、ダブルタップ操作が認識される度に、変更処理の種類を、表示位置、表示サイズ、表示向きの順にサイクリックに切り替える。順番が最後の表示向きが選択された状態でダブルタップ操作が認識された場合、選択処理部85は、順番が最初の表示位置に戻って選択する。アジャストモードに移行した初期段階では、順番が最初の表示位置が選択されている。この場合の選択肢情報は、表示位置、表示サイズ、表示向きのいずれかである。

0090

一方、オブザーブモードにおいては、選択処理部85は、図19に示すように、ダブルタップ操作が認識される度に、変更処理の対象である構造物を、皮膚46、皮下組織47、筋組織48、骨49、内臓50、病変51の順にサイクリックに切り替える。内臓50が肝臓50A、胃50B等、複数種類ある場合は、各内臓が1つの選択肢として扱われる。この場合も図18の場合と同じく、順番が最後の病変51が選択された状態でダブルタップ操作が認識された場合、選択処理部85は、順番が最初の皮膚46に戻って選択する。オブザーブモードに移行した初期段階では、順番が最初の皮膚46が選択されている。この場合の選択肢情報は、上記複数の構造物46〜51のいずれかである。なお、皮膚46、皮下組織47、筋組織48を、まとめて1つの選択肢、例えば体表として扱ってもよい。

0091

各構造物の名称は、音声認識部で認識する特定音声としても予め登録されている。このため、オブザーブモードでは、ダブルタップ操作の替わりに、各構造物の名称をユーザ15が発話することで、各構造物を直接選択することも可能である。

0092

図20は、アジャストモード(表示位置)における3D画像40の表示位置の変更処理を示す図である。矢印の上段は、ユーザ15が、手37の2本の指38の指先同士を接触させ、まさにタップアンドホールド操作を開始しようとしている状態である。この状態から矢印の下段に示すように、ユーザ15が手37を右から左に移動させた場合、操作認識部80でタップアンドホールド操作の左スライド操作が認識される。

0093

図16に示す第2対応情報67によれば、アジャストモード(表示位置)の場合のタップアンドホールド操作の左スライド操作には、3D画像40の表示位置を左に移動する変更コマンドが割り当てられている。このため、変更処理部86は、3D画像40の表示位置を左に移動する変更処理を行う。この場合の変更情報は、3D画像40の表示位置の左方へ変位量である。変位量は、手37の移動距離に応じて変わり、手37の移動距離が大きい程、変位量も大きくなる。

0094

図21は、アジャストモード(表示サイズ)における3D画像40の表示サイズの変更処理を示す図である。矢印の上段は、図20の矢印の上段と同じく、ユーザ15がタップアンドホールド操作を開始しようとしている状態である。矢印の下段も、図20の矢印の下段と同じく、ユーザ15が手37を右から左に移動させた状態である。この場合も操作認識部80でタップアンドホールド操作の左スライド操作が認識される。

0095

ただし、図16によれば、アジャストモード(表示サイズ)の場合のタップアンドホールド操作の左スライド操作には、3D画像40の表示サイズを縮小する変更コマンドが割り当てられているので、変更処理部86は、3D画像40の表示サイズを縮小する変更処理を行う。この場合の変更情報は、3D画像40の表示サイズの縮小率である。縮小率も図20の変位量と同じく、手37の移動距離が大きい程、大きくなる。

0096

図22は、アジャストモード(表示向き)における3D画像40の表示向きの変更処理を示す図である。この場合も図20および図21の場合と同じく、操作認識部80でタップアンドホールド操作の左スライド操作が認識された場合を例示している。

0097

ただし、図17によれば、アジャストモード(表示向き)の場合のタップアンドホールド操作の左スライド操作には、3D画像40の表示向きを鉛直軸左回りに回転する変更コマンドが割り当てられているので、変更処理部86は、3D画像40の表示向きを鉛直軸左回りに回転する変更処理を行う。この場合の変更情報は、3D画像40の回転量である。回転量も、手37の移動距離が大きい程、大きくなる。

0098

図23は、オブザーブモードにおける3D画像40の透過率変更処理を示す図である。この場合は図20図22とは逆に、操作認識部80でタップアンドホールド操作の右スライド操作が認識された場合を例示している。また、構造物として皮膚46が選択されている場合を例示している。

0099

図17によれば、オブザーブモードの場合のタップアンドホールド操作の右スライド操作には、選択された構造物の透過率を増加する変更コマンドが割り当てられている。このため、変更処理部86は、3D画像40の選択された構造物、この場合は皮膚46の透過率を増加する透過率変更処理を行う。この場合の変更情報は透過率であり、透過率は手37の移動距離が大きい程、変位幅も大きくなる。

0100

図23では、ハッチングで示すように、3D画像40において予め設定された対象領域87の透過率を変更する例を示している。対象領域87は、腹部の大部分をカバーする大きさであり、深さ方向に沿って四角柱状に設定されている。図23では、対象領域87における皮膚46の透過率が増加し、皮膚46の下の構造物である皮下組織47が透けて見えている状態を示している。なお、対象領域87は円柱または楕円柱形状でもよい。また、3D画像40全体を対象領域87としてもよい。

0101

表示制御部74は、認識部72からの画像表示システム10の使用周辺環境の空間認識結果、並びにユーザ15の頭部の動きの認識結果に基づいて、3D画像取得部71からの3D画像40を編集する。より詳しくは、表示制御部74は、頭部の動きの認識結果で示されるユーザ15の位置から見た場合のサイズおよび向きとなるよう、3D画像40に拡縮処理および回転処理を施す。これらの拡縮処理および回転処理は、変更処理部86の表示サイズおよび表示向きの変更処理とは別に独立して行われる。

0102

また、表示制御部74は、変更処理部86からの変更情報に基づいて、3D画像40を編集する。例えば変更処理部86から変更情報として3D画像40の表示サイズの縮小率が与えられた場合、図21の矢印の下段に示すように、表示制御部74は、与えられた縮小率で3D画像40を縮小する。

0103

図24および図25は、仮想空間VSに表示される仮想画像の詳細を示す。図24はアジャストモードの場合、図25はオブザーブモードの場合をそれぞれ示す。表示制御部74は、3D画像40およびカーソル41に加えて、アジャストモード表示バー90およびオブザーブモード表示バー91を仮想画像として仮想空間VSに表示する。

0104

表示制御部74は、仮想空間VSの下部中央の対称な位置に各表示バー90、91を表示する。また、表示制御部74は、各表示バー90、91を半透明とし、各表示バー90、91を通して、ユーザ15が3D画像40および実在オブジェクトを視認可能としている。

0105

アジャストモード表示バー90には、アジャストモードにおける選択肢である表示位置、表示サイズ、表示向きをそれぞれ表すアイコン90A、90B、90Cが順番に並べられている。すなわち、アジャストモード表示バー90は、複数の選択肢を順番に並べたメニューバーに相当する。表示位置のアイコン90Aは十字の矢印形状であり、表示サイズのアイコン90Bは虫眼鏡の形状であり、表示向きのアイコン90Cは2つの楕円の矢印を直角に交差させた形状である。

0106

図24において、アジャストモードでは、モードがアジャストモードであることをユーザ15に報せるために、ハッチングで示すようにアジャストモード表示バー90がフォーカス表示される。逆に図25のオブザーブモードの場合は、オブザーブモード表示バー91がフォーカス表示される。

0107

フォーカス表示とは、複数の選択肢のうちの選択されている選択肢を、他の選択肢と区別して表示することをいう。フォーカス表示には、例えば選択されている選択肢を赤色、他の選択肢を灰色(グレーアウト)で表示する等、選択されている選択肢と他の選択肢とを異なる色で表示したり、選択されている選択肢のみを枠で囲んだり、あるいは選択されている選択肢の表示サイズを大きく表示させて目立たせる表示手法がとられる。図24および図25では、現在選択中の一方のモードの表示バーが例えば紺色、他方のモードの表示バーが例えば灰色で表示される。

0108

図24において、表示制御部74は、各アイコン90A〜90Cのうち、選択処理部85で選択された1つの選択肢のアイコンをフォーカス表示する。図24では、選択処理部85で1つの選択肢として表示位置が選択され、ハッチングおよび破線の枠92で示すように、表示位置のアイコン90Aがフォーカス表示されている様子を示している。この場合のフォーカス表示は、例えば、選択された選択肢のアイコンを白色、他のアイコンを灰色とする、あるいは、選択された選択肢のアイコンを赤色の枠で囲うことで行う。

0109

表示制御部74は、アジャストモードでは、選択された選択肢のアイコンと同じ形状にカーソル41を変更する。図24では、選択処理部85で1つの選択肢として表示位置が選択されているので、カーソル41は、表示位置のアイコン90Aと同じ十字の矢印形状に変更される。

0110

図25において、オブザーブモードでは、表示制御部74は、構造物リスト95を仮想空間VSの右側に表示する。構造物リスト95には、仮想空間VSにおける表示色を示すカラーバー96とともに、皮膚46、肝臓50Aといった複数の構造物の名称が順番に並べられている。すなわち、構造物リスト95も、アジャストモード表示バー90と同じく、複数の選択肢を順番に並べたメニューバーに相当する。

0111

表示制御部74は、構造物リスト95の各構造物の名称のうち、選択処理部85で選択された1つの選択肢の名称をフォーカス表示する。この場合のフォーカス表示は、例えば、選択処理部85で選択された1つの選択肢の名称を白色、他の名称を灰色とし、かつ選択処理部85で選択された1つの選択肢の名称の表示サイズを、他の名称よりも大きくすることで行う。図25では、選択処理部85で1つの選択肢として皮膚46が選択され、「皮膚」の文字がフォーカス表示されている様子を示している。

0112

また、オブザーブモードでは、表示制御部74は、3D画像40に対してアノテーション97を表示する。アノテーション97は、現在選択されている構造物の名称(ここでは「皮膚」)と、当該構造物の3D画像40上の位置を示す線と、当該構造物の透過率を示す透過率表示バー98とで構成される。表示制御部74は、透過率が0%(当該構造物が完全に視認可能な状態)の場合は、透過率表示バー98の全体を例えば水色塗り潰す。そして、透過率が増加した場合は塗り潰し部分を減らしていき、透過率100%で塗り潰し部分をなくす。

0113

表示制御部74は、仮想空間VSの右上部に、終了ボタン103、読込ボタン104、およびリセットボタン105を表示する。終了ボタン103は、作動プログラム65を終了するためのボタンである。終了ボタン103に視点位置(カーソル41)を合わせてシングルタップ操作することで、処理部73に終了コマンドが入力され、作動プログラム65が終了される。

0114

読込ボタン104は、仮想オブジェクトとして表示する3D画像40を選択する際に、3D画像40のファイルアイコンの一覧をHMD11に表示させるためのボタンである。リセットボタン105は、3D画像40の表示を初期表示位置の設定直後に戻すためのボタンである。

0115

以下、上記構成による作用について、図26のフローチャートを参照して説明する。まず、カンファレンス室14において、ユーザ15は画像表示システム10を頭部に装着して電源を投入し、オペレーティングシステム上で作動プログラム65を起動する。これにより、制御装置12のCPU57に、認識部72、処理部73、表示制御部74等の各機能部が構築され、制御装置12は、HMD11の制御装置として機能する。

0116

そして、図6のステップST100で示したように、仮想オブジェクトとして表示する対象患者の3D画像40を選択する。これにより3D画像取得部71から3D画像40の配信要求が画像蓄積サーバ19に送信され、画像蓄積サーバ19から3D画像取得部71に3D画像40が配信される。

0117

ステップST500において、画像蓄積サーバ19からの3D画像40は3D画像取得部71で取得される。ユーザ15は、図6のステップST110で示したように、3D画像40の初期表示位置を設定する。これにより、表示制御部74の制御の下、設定された初期表示位置に3D画像40が表示される(ステップST510、表示制御ステップ)。

0118

ユーザ15は、例えば病変51を詳細に把握するために3D画像40に近付いたり、全体像を把握するために3D画像40から遠ざかったりする。あるいは、ユーザ15は、病変51を違った角度から観察するために、顔の向きや立ち位置を変える。こうしたユーザ15の動きに追従して、表示制御部74により3D画像40の表示が更新される。

0119

ユーザ15は、3D画像40に対して様々なジェスチャー操作を行う(ステップST520でYES)。制御装置12では、操作認識部80において、センサ情報取得部70で取得したデプスセンサの撮像画像、および第1対応情報66に基づいて、ジェスチャー操作が認識される(ステップST530、操作認識ステップ)。

0120

ステップST530で認識したジェスチャー操作がダブルタップ操作であった場合(ステップST540でYES)、選択処理部85で選択処理が行われる(ステップST550、選択処理ステップ)。具体的には、アジャストモードであった場合は、図18で示したように、変更処理の種類である表示位置、表示サイズ、表示向きのうちの1つが選択される。そして、ダブルタップ操作が認識される度に、変更処理の種類が、表示位置、表示サイズ、表示向きの順にサイクリックに切り替えられる。一方、オブザーブモードであった場合は、図19で示したように、変更処理の対象である複数の構造物46〜51のうちの1つが選択される。そして、ダブルタップ操作が認識される度に、変更処理の対象が、複数の構造物46〜51の順にサイクリックに切り替えられる。

0121

ステップST530で認識したジェスチャー操作がタップアンドホールド操作であった場合(ステップST540でNO、ステップST560でYES)、変更処理部86で変更処理が行われる(ステップST570、変更処理ステップ)。具体的には、アジャストモードであった場合は、図20図22で示したように、3D画像40の表示位置、表示サイズ、または表示向きのいずれかの変更処理が行われる。オブザーブモードであった場合は、図23で示したように、選択された構造物に対する透過率変更処理が行われる。表示位置、表示サイズ、または表示向きのいずれかの変更処理が行われた場合は、変更情報として、変位量、拡縮率、回転量のいずれかが変更処理部86から表示制御部74に出力される。透過率変更処理が行われた場合は、変更情報として透過率が変更処理部86から表示制御部74に出力される。

0122

ステップST530で認識したジェスチャー操作がダブルタップ操作、タップアンドホールド操作のいずれでもなかった場合(ステップST540、ST560でともにNO)、すなわちシングルタップ操作であった場合は、処理部73でその他の処理が行われる(ステップST580)。例えばアジャストモードにおいてシングルタップ操作が行われた場合、オブザーブモードに移行するモード切替処理が行われる。また、終了ボタン103への視点位置合わせを伴うシングルタップ操作が行われた場合、作動プログラム65の終了処理が行われる(ステップST590でYES)。作動プログラム65の終了処理が行われなかった場合(ステップST590でNO)は、必要に応じて表示制御部74により3D画像40が編集された後、ステップST510に戻る。

0123

複数の選択肢のうちの1つの選択肢を選択する選択操作をダブルタップ操作とし、3D画像40の表示態様を変更する変更処理を行わせるための変更操作をタップアンドホールド操作とするので、選択操作と変更操作を明確に区別することができ、選択操作と変更操作のうちの一方を他方と誤認識するおそれがない。このため、誤認識によってユーザの意図しない処理が行われてしまうことがない。したがって、ジェスチャー操作の誤認識を効果的に防止し、使い勝手を向上させることができる。

0124

表示制御部74は、アジャストモードにおける選択肢である表示位置、表示サイズ、表示向きのそれぞれのアイコン90A〜90Cを順番に並べたアジャストモード表示バー90、およびオブザーブモードにおける選択肢である複数の構造物の名称を順番に並べた構造物リスト95を仮想空間VSに表示し、これらアジャストモード表示バー90および構造物リスト95において、選択された1つの選択肢をフォーカス表示するので、ユーザ15は、自分が今どの選択肢を選択しているのかが一目で分かる。視点位置合わせを伴うことなくダブルタップ操作のみで選択肢をサイクリックに切り替えた場合は特に、ユーザ15は現在選択している選択肢を見失いがちになるが、こうしたフォーカス表示によれば、選択中の選択肢を見失うことは確実に防がれる。

0125

変更処理の種類は、3D画像40の表示位置、表示サイズ、および表示向きの3種類である。このため、変更処理の種類を選択肢とし、これをサイクリックに切り替えたとしても、僅か3回のダブルタップ操作で選択肢が1周する。したがって、所望の選択肢を選択する際のユーザ15に掛かるジェスチャー操作のストレスは比較的低いといえる。

0126

対して変更処理の対象である複数の構造物は数が比較的多く、その分、所望の選択肢を選択する際のジェスチャー操作のストレスは、変更処理の種類の場合よりもユーザ15に掛かる。このため、上記第1実施形態では、各構造物の名称をユーザ15が発話することで、各構造物を選択することも可能としている。

0127

ここで、ユーザ15に掛かるジェスチャー操作のストレスを軽減するため、ダブルタップ操作で構造物をサイクリックに切り替えるのではなく、視点位置合わせを伴う選択操作で構造物を選択する方法も考えられる。視点位置合わせを伴う構造物の選択操作は、具体的にはカーソル41を所望の構造物に合わせた状態で何らかのジェスチャー操作を行う方法である。しかしながら、こうした視点位置合わせを伴う選択操作で構造物を選択する方法を採用した場合、透過率の変更前は視認不能な内臓50や、内臓50の微小な一部分である病変51といった箇所には視点位置(カーソル41)を合わせにくいので、かえって視点位置合わせの方がユーザ15にとってストレスとなる。したがって、変更処理の対象である複数の構造物を選択肢とし、これをダブルタップ操作でサイクリックに切り替えることで、結果的にはユーザ15に掛かるストレスを軽減することができる。

0128

変更操作は、表示位置、表示サイズ、表示向き、あるいは透過率等、変位量、拡縮率、回転量、透過率といった数値増減する操作である。このため、変更操作としては、シングルタップ操作やダブルタップ操作といった指38を叩くジェスチャー操作ではなく、タップアンドホールド操作のように、右左、上下等、数値の増減をユーザ15がイメージ可能なスライド操作が妥当である。

0129

ここで、図12で示したように、タップアンドホールド操作のGC1、GC2の手37の動きは、図10で示したシングルタップ操作のGA1、GA2の手37の動きと同じである。このため、ユーザ15がタップアンドホールド操作を行おうとして手37をGC1、GC2のように動かした後、気が変わってタップアンドホールド操作を止めてしまった場合は、まさしく手37の動きが図10で示したシングルタップ操作と同じになる。したがって、この場合は操作認識部80でシングルタップ操作と誤認識するおそれがある。

0130

このため、もしダブルタップ操作ではなくシングルタップ操作を選択操作として採用した場合は、変更操作であるタップアンドホールド操作を、選択操作であるシングルタップ操作と誤認識するおそれがある。そこで、シングルタップ操作ではなくダブルタップ操作を選択操作として採用している。これにより、シングルタップ操作と誤認識しやすいが、変更操作として妥当なタップアンドホールド操作を採用した場合でも、選択操作と変更操作の誤認識を効果的に防止することができる。

0131

なお、スライド操作としては、タップアンドホールド操作に限らず、例えば人差し指等の1本の指38の指先を立てた状態で、手首、肘、肩のいずれかを支点として手37を移動させるものでもよい。

0132

[第2実施形態]
上記第1実施形態では、ダブルタップ操作の有無に関わらず、メニューバーとしてのアジャストモード表示バー90および構造物リスト95を仮想空間VSに表示しているが、図27に示す第2実施形態では、ダブルタップ操作が認識された場合にのみメニューバーを表示する。

0133

図27は、アジャストモード表示バー90の例を示す。矢印の上段は、変更処理の種類のうちの表示位置が選択されている状態である。この状態では、表示制御部74は、仮想空間VSにアジャストモード表示バー90を表示しない。この矢印の上段の状態から、変更処理の種類を表示位置から表示サイズに切り替えるためにユーザ15によりダブルタップ操作が行われ、このダブルタップ操作が操作認識部80で認識された場合、表示制御部74は、矢印の下段に示すように、仮想空間VSにアジャストモード表示バー90を表示する。そして、所定時間、例えば5秒経過後、アジャストモード表示バー90を消去する。

0134

このように、ダブルタップ操作が認識された場合にのみアジャストモード表示バー90を表示するので、アジャストモード表示バー90でユーザ15の視界が制限される時間を極力短くすることができる。なお、図27ではアジャストモード表示バー90を例示したが、構造物リスト95も同じく、ダブルタップ操作が認識された場合にのみ表示する構成としてもよい。

0135

[第3実施形態]
図28に示す第3実施形態では、ダブルタップ操作が認識された場合にのみメニューバーを表示することに加えて、ユーザ15の視点位置にメニューバーを表示する。

0136

図28は、図27の場合と同じくアジャストモード表示バー90の例であり、矢印の上段は、変更処理の種類のうちの表示位置が選択されている状態を示す。この状態からユーザ15によりダブルタップ操作が行われ、このダブルタップ操作が操作認識部80で認識された場合、表示制御部74は、矢印の下段に示すように、仮想空間VSのユーザ15の視点位置、すなわちカーソル41の位置に、アジャストモード表示バー90を表示する。そして、所定時間、例えば5秒経過後、アジャストモード表示バー90を消去する。

0137

このように、ユーザ15の視点位置にアジャストモード表示バー90を表示するので、選択中の選択肢を確認する際のユーザ15の視点移動が最小限で済む。対象患者の手術方針の検討においては、ユーザ15の視点は3D画像40に集中していると考えられる。そのため、選択中の選択肢を確認する際のユーザ15の視点移動を最小限とすれば、ユーザ15は3D画像40から視点を逸らさずに対象患者の手術方針を検討することができる。なお、この場合も上記第2実施形態と同じく、構造物リスト95もユーザ15の視点位置に表示する構成としてもよい。

0138

なお、構造物に対する変更処理としては、上記第1実施形態の透過率変更処理に替えて、あるいは加えて、選択された構造物の表示色、明るさ、あるいはシャープネスを変更する処理としてもよい。

0139

さらに、選択された構造物に対して変更処理を施すのではなく、選択された構造物以外の他の構造物全てに一律に変更処理を施してもよい。例えば選択された構造物が肝臓50Aであった場合、肝臓50A以外の他の構造物の皮膚46、皮下組織47、筋組織48、骨49、および他の内臓50の透過率をまとめて変更する。こうすれば、選択された構造物だけを視認したい場合に、他の構造物の透過率を一気に100%に変更することができ好適である。選択された構造物に対して変更処理を施すか、選択された構造物以外の他の構造物に対して変更処理を施すかをユーザ15が切り替え可能な構成としてもよい。

0140

デプスセンサ等のジェスチャー操作認識ユニットは、画像表示システム10に搭載されていなくてもよい。少なくともユーザ15の手37を撮像可能であれば、ジェスチャー操作認識ユニットの設置位置は問わない。このため、ジェスチャー操作認識ユニットは、ユーザ15が認識する拡張現実空間ARSと同じ視野を撮像するものでなくともよい。例えばジェスチャー操作認識ユニットを、ユーザ15の手37が映り込むカンファレンス室14の壁や天井に設置してもよい。

0141

上記各実施形態では、HMD11と制御装置12が一体となった画像表示システム10を例示しているが、本発明はこれに限定されない。図29に示すように、HMD111と制御装置112とが別体となった画像表示システム110でもよい。図29では、制御装置112は、ディスプレイ113とキーボードおよびマウスで構成される入力デバイス114とを有するデスクトップ型パーソナルコンピュータを例示しているが、ノート型のパーソナルコンピュータであってもよいし、タブレットコンピュータであってもよい。

0142

もしくは、図30に示すように、ユーザ15が等に付けて携帯可能な携帯コンピュータ122にHMD121の制御装置の機能を担わせた画像表示システム120でもよい。この場合、携帯コンピュータを、市販のパーソナルコンピュータではなく、画像表示システム120に特化した専用の製品としてもよい。

0143

また、画像蓄積サーバ19がHMDの制御装置の機能の全てまたは一部を担ってもよい。例えば表示制御部74の機能を画像蓄積サーバ19が担ってもよい。あるいは、画像蓄積サーバ19とは別のサーバがHMDの制御装置の機能を担ってもよい。さらには、医療施設13のコンピュータ室18ではなく、外部施設に設置されたネットワークサーバがHMDの制御装置の機能を担ってもよい。画像蓄積サーバ19も外部施設にネットワークサーバとして設置されていてもよい。

0144

このように、本発明のHMDの制御装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。HMDの制御装置を、処理能力信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、センサ情報取得部70および3D画像取得部71の機能と、認識部72および処理部73の機能と、表示制御部74の機能とを、3台のコンピュータに分散して担わせる。この場合は3台のコンピュータでHMDの制御装置を構成する。

0145

以上のように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム65等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

0146

画像表示システム、あるいはHMDは、上記各実施形態のように保護枠27でユーザ15の両眼全体を覆い、装着部26をユーザ15の頭部に固定するタイプに限らない。ユーザ15の耳にかけるテンプル目頭の下部に当たる鼻当て、スクリーンを保持するリム等を有する眼鏡タイプの画像表示システムを用いてもよい。

0147

HMDは、現実空間RSと仮想空間VSを融合させた拡張現実空間ARSをユーザ15に認識させるものに限らない。仮想空間VSのみをユーザ15に認識させるものでもよい。

0148

3D画像40は、対象患者の上半身の仰向けの画像に限らない。全身の仰向けの画像でもよいし、頭部等の他の部位の画像でもよい。また、構造物としては、上記各実施形態で例示した皮膚46、皮下組織47等の他に、門脈下大静脈等の血管組織、あるいは脊髄等の神経組織を含めてもよい。

0149

上記各実施形態では、画像表示システムの用途として医療施設13内で行われる対象患者の手術方針の検討を例示し、仮想オブジェクトとして3D画像40を例示したが、画像表示システムの用途は対象患者の手術方針の検討に限定されず、したがって仮想オブジェクトも3D画像40に限定されない。例えば画像表示システムの用途をゲーム用途とし、ゲームのキャラクターを仮想オブジェクトとしてもよい。

0150

上記各実施形態において、例えば、センサ情報取得部70、3D画像取得部71、認識部72、処理部73、表示制御部74、操作認識部80、選択処理部85、変更処理部86といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。

0151

各種のプロセッサには、CPU、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、専用電気回路等が含まれる。CPUは、周知のとおりソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサである。PLDは、FPGA(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ASIC(Application Specific IntegratedCircuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。

0152

1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。

0153

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。

0154

上記記載から、以下の付記項1に記載のヘッドマウントディスプレイの制御装置を把握することができる。
[付記項1]
ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置において、
三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御プロセッサと、
前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識プロセッサと、
親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理プロセッサと、
手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理プロセッサで選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理プロセッサとを備えるヘッドマウントディスプレイの制御装置。

0155

本発明は、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。また、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。

0156

10、110、120画像表示システム
11、111、121ヘッドマウントディスプレイ(HMD)
12、112、122制御装置
13医療施設
14カンファレンス室
15 ユーザ
17ネットワーク
18コンピュータ室
19画像蓄積サーバ
25 本体部
26装着部
27保護枠
28スクリーン
29センサ部
30 制御部
31鼻当て
32内側リング
33外側リング
34スピーカー
36 テーブル
37 手
38 指
40三次元ボリュームレンダリング画像(3D画像)
41カーソル
45 CTスキャン画像
46 皮膚
47皮下組織
48筋組織
49 骨
50内臓
50A肝臓
50B胃
50C脾臓
51病変
55ストレージデバイス
56メモリ
57 CPU
58データバス
65作動プログラム
66、66A〜66F 第1対応情報
67 第2対応情報
70センサ情報取得部
71 3D画像取得部
72 認識部
73 処理部
74表示制御部
80 操作認識部
85選択処理部
86変更処理部
87 対象領域
90アジャストモード表示バー(メニューバー)
90A〜90Cアイコン
91オブザーブモード表示バー
92 枠
95構造物リスト(メニューバー)
96カラーバー
97アノテーション
98透過率表示バー
103 終了ボタン
104読込ボタン
105リセットボタン
ARS拡張現実空間
RS現実空間
VS仮想空間
ST100〜ST130、ST500〜ST590 ステップ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • サン電子株式会社の「 ゲームプログラム」が 公開されました。( 2019/06/27)

    【課題・解決手段】ゲームシステムのためのゲームプログラムであって、前記ゲームシステムは、プレイヤーの視界を覆うように前記プレイヤーの頭部に装着される頭部装着型ディスプレイと、前記プレイヤーの身体的な動... 詳細

  • 三菱電機株式会社の「 情報処理システム」が 公開されました。( 2019/06/27)

    【課題・解決手段】3台の床ロボット(130)の各々は、3台の床ロボット(130)の各々から一つずつ選択された3つの頂点が対向している位置が中心点となるように、他の2台の床ロボット(130)と隣接し、情... 詳細

  • 三菱電機株式会社の「 検索装置および検索方法」が 公開されました。( 2019/06/27)

    【課題・解決手段】本発明は、データを検索する際に短時間で所望の検索対象を含む検索候補を挙げることが可能な検索装置および検索方法を提供することを目的とする。本発明による検索装置は、ユーザが入力した文字を... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ