図面 (/)

技術 画像表示制御装置および画像表示制御用プログラム

出願人 株式会社アルファコード
発明者 水野拓宏
出願日 2018年9月12日 (1年10ヶ月経過) 出願番号 2018-170290
公開日 2020年3月19日 (4ヶ月経過) 公開番号 2020-042206
状態 未査定
技術分野 その他の光学系・装置、色の干渉・色の制御 スタジオ回路 イメージ処理・作成 イメージ分析
主要キーワード 中央領 非対象物 シャットアウト 網掛け領域 距技術 把持物 遠景画像 姿勢検出センサ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

ユーザがHMDを装着したままの状態で、現実世界における作業を簡単に行うことができるようにする。

解決手段

仮想空間画像が表示されているHMD200に搭載されたカメラ202により撮影された現実世界の動画像から、HMD200から所定距離以内に存在する対象物を検出する対象物検出部13と、当該対象物が含まれる所定範囲の画像を仮想空間画像に重畳して表示させる画像重畳部15とを備え、HMD200に搭載されたカメラ202に写る範囲の手元でユーザが所要の作業を行うと、その手が含まれる所定範囲の撮影画像が仮想空間画像に重畳して表示されるようにすることにより、ユーザがHMD200を装着したままの状態でも、仮想空間画像に重畳して表示された撮影画像を見ながら所要の作業を適切に行うことができるようにする。

概要

背景

近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実VRバーチャルリアリティ)技術が広く活用されている。VRの応用例は様々であるが、ユーザがゴーグル型のHMD(ヘッドマウントディスプレイ)を装着して、コンピュータによりHMDに対して描き出された3次元仮想空間の中で、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。VRは、時間や空間という現実の制約を超えた世界をユーザに提示することも可能である。

ゴーグル型のHMDを用いたVRが持つ魅力の1つは、HMDの外の現実世界が完全にシャットアウトされるため、ユーザが仮想現実の世界に没頭できるという点である。しかしながら、現実世界が完全にシャットアウトされることがVRの魅力となることがある反面、デメリットとなることもある。例えば、HMDを装着すると外界を見ることが全くできないため、HMDに描き出された仮想空間の中を歩くようにしてユーザが実際に歩いていると、周囲にある障害物衝突することがある。

従来、このような問題を解決することを目的とした技術が提案されている(例えば、特許文献1,2参照)。特許文献1に記載のシステムでは、HMDに搭載されたカメラにより撮影される外界の画像から、HMDを装着したユーザにとっての障害物を検出し、検出された障害物からユーザまでの距離を計算する。そして、検出された障害物から置換した仮想オブジェクトを、HMDに表示される仮想空間内で障害物までの距離に応じた位置に合成する。

特許文献2においても、HMDに表示される画像において、ユーザの近傍になどの障害物が存在することをユーザに報知するために、机に対応する仮想オブジェクトを仮想空間の画像に重畳させて表示することが開示されている。

概要

ユーザがHMDを装着したままの状態で、現実世界における作業を簡単に行うことができるようにする。仮想空間画像が表示されているHMD200に搭載されたカメラ202により撮影された現実世界の動画像から、HMD200から所定距離以内に存在する対象物を検出する対象物検出部13と、当該対象物が含まれる所定範囲の画像を仮想空間画像に重畳して表示させる画像重畳部15とを備え、HMD200に搭載されたカメラ202に写る範囲の手元でユーザが所要の作業を行うと、その手が含まれる所定範囲の撮影画像が仮想空間画像に重畳して表示されるようにすることにより、ユーザがHMD200を装着したままの状態でも、仮想空間画像に重畳して表示された撮影画像を見ながら所要の作業を適切に行うことができるようにする。

目的

本発明は、このような問題を解決するために成されたものであり、ユーザがHMDを装着したままの状態で、現実世界における作業を簡単に行うことができるようにすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

仮想空間画像再生してヘッドマウントディスプレイに表示させる画像再生部と、上記ヘッドマウントディスプレイに搭載されたカメラにより撮影された現実世界動画像から、上記ヘッドマウントディスプレイから所定距離以内に存在する対象物を検出する対象物検出部と、上記対象物検出部により上記所定距離以内の位置に上記対象物が検出されている間、上記対象物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる画像重畳部とを備えたことを特徴とする画像表示制御装置

請求項2

上記対象物検出部は、上記所定距離以内の位置に所定時間以上継続して存在する対象物を検出し、上記画像重畳部は、上記所定距離以内の位置に上記所定時間以上継続して存在する対象物が上記対象物検出部により検出された場合に、それ以降上記所定距離以内の位置に上記対象物が検出されている間、上記対象物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させることを特徴とする請求項1に記載の画像表示制御装置。

請求項3

上記対象物検出部により検出された上記対象物に人の手が含まれるか否かを判定する対象物判定部を更に備え、上記画像重畳部は、上記対象物判定部により上記対象物に人の手が含まれないと判定された場合は上記仮想空間画像に対する画像の重畳は行わず、上記対象物判定部により上記対象物に人の手が含まれると判定された場合、上記人の手が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させることを特徴とする請求項1または2に記載の画像表示制御装置。

請求項4

上記対象物判定部は、上記対象物検出部により検出された上記対象物に人の手および当該に手による把持物が含まれるか否かを判定し、上記画像重畳部は、上記対象物判定部により上記対象物に人の手および把持物が含まれると判定された場合、上記人の手および把持物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させることを特徴とする請求項3に記載の画像表示制御装置。

請求項5

上記画像重畳部は、上記対象物判定部により上記対象物に人の手および把持物が含まれると判定された場合、上記人の手および把持物が含まれる所定範囲の画像であって、上記人の手および把持物以外の物体が含まれない画像を上記仮想空間画像に重畳して表示させることを特徴とする請求項4に記載の画像表示制御装置。

請求項6

上記画像重畳部は、上記対象物に人の手が含まれていて把持物が含まれていないと上記対象物判定部により判定された場合、上記仮想空間画像に対する画像の重畳処理は実行しないことを特徴とする請求項4に記載の画像表示制御装置。

請求項7

上記画像重畳部は、上記対象物に人の手が含まれていて把持物が含まれていないと上記対象物判定部により判定された場合、上記人の手が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させることを特徴とする請求項4に記載の画像表示制御装置。

請求項8

上記画像重畳部は、上記所定範囲の画像を動画として上記仮想空間画像に重畳して表示させることを特徴とする請求項1〜7の何れか1項に記載の画像表示制御装置。

請求項9

上記対象物検出部により検出された上記対象物の上記ヘッドマウントディスプレイに対する相対位置を検出する位置検出部を更に備え、上記画像重畳部は、上記位置検出部により検出された上記対象物の相対位置に基づいて、上記対象物が含まれる所定範囲の画像を、上記仮想空間画像において上記相対位置に応じた位置に重畳して表示させることを特徴とする請求項1〜8の何れか1項に記載の画像表示制御装置。

請求項10

上記画像重畳部は、上記対象物が含まれる所定範囲の画像を、上記仮想空間画像の所定位置に重畳して表示させることを特徴とする請求項1〜8の何れか1項に記載の画像表示制御装置。

請求項11

上記画像重畳部は、上記ヘッドマウントディスプレイに搭載された視線検出センサにより検出されるユーザの視線に応じて、上記所定範囲の画像を上記仮想空間画像に重畳させる際の上記所定領域の位置を変更することを特徴とする請求項10に記載の画像表示制御装置。

請求項12

仮想空間画像を再生してヘッドマウントディスプレイに表示させる画像再生手段、上記ヘッドマウントディスプレイに搭載されたカメラにより撮影された現実世界の動画像から、上記ヘッドマウントディスプレイから所定距離以内に存在する対象物を検出する対象物検出手段、上記対象物検出手段により上記所定距離以内の位置に上記対象物が検出されている間、上記対象物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる画像重畳手段としてコンピュータを機能させるための画像表示制御プログラム

技術分野

0001

本発明は、画像表示制御装置および画像表示制御プログラムに関し、特に、ヘッドマウントディスプレイに対して描き出される仮想空間における画像の表示を制御する装置に用いて好適なものである。

背景技術

0002

近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実VRバーチャルリアリティ)技術が広く活用されている。VRの応用例は様々であるが、ユーザがゴーグル型のHMD(ヘッドマウントディスプレイ)を装着して、コンピュータによりHMDに対して描き出された3次元仮想空間の中で、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。VRは、時間や空間という現実の制約を超えた世界をユーザに提示することも可能である。

0003

ゴーグル型のHMDを用いたVRが持つ魅力の1つは、HMDの外の現実世界が完全にシャットアウトされるため、ユーザが仮想現実の世界に没頭できるという点である。しかしながら、現実世界が完全にシャットアウトされることがVRの魅力となることがある反面、デメリットとなることもある。例えば、HMDを装着すると外界を見ることが全くできないため、HMDに描き出された仮想空間の中を歩くようにしてユーザが実際に歩いていると、周囲にある障害物衝突することがある。

0004

従来、このような問題を解決することを目的とした技術が提案されている(例えば、特許文献1,2参照)。特許文献1に記載のシステムでは、HMDに搭載されたカメラにより撮影される外界の画像から、HMDを装着したユーザにとっての障害物を検出し、検出された障害物からユーザまでの距離を計算する。そして、検出された障害物から置換した仮想オブジェクトを、HMDに表示される仮想空間内で障害物までの距離に応じた位置に合成する。

0005

特許文献2においても、HMDに表示される画像において、ユーザの近傍になどの障害物が存在することをユーザに報知するために、机に対応する仮想オブジェクトを仮想空間の画像に重畳させて表示することが開示されている。

先行技術

0006

特開2013−257716号公報
特開2017−102298号公報

発明が解決しようとする課題

0007

上記特許文献1,2に記載の技術によれば、ユーザは、HMDに表示されている仮想空間画像の外界にある障害物の存在位置を、仮想空間画像に重畳して表示される障害物の仮想オブジェクトにより把握することができるので、ユーザはHMDを装着したままの状態で障害物を避けて行動することが可能となる。これにより、現実世界が完全にシャットアウトされることに伴うVRのデメリットの1つが回避される。

0008

しかしながら、上記特許文献1,2に記載の技術を用いても、ユーザがHMDを装着したままの状態で、現実世界における作業を行うことができないという問題があった。例えば、HMDに表示された仮想空間画像を見ながら、興味のあるものを備忘録として書き取るために手元メモをとるとか、スマートフォンを操作するといったことはできない。そのため、従来は、仮想空間画像の再生をいったん停止してHMDを外し、所要の作業を行った後、再びHMDを装着して仮想空間画像の再生を再開するといった面倒な作業を行う必要があった。

0009

本発明は、このような問題を解決するために成されたものであり、ユーザがHMDを装着したままの状態で、現実世界における作業を簡単に行うことができるようにすることを目的とする。

課題を解決するための手段

0010

上記した課題を解決するために、本発明では、仮想空間画像が表示されているヘッドマウントディスプレイに搭載されたカメラにより撮影された現実世界の動画像から、ヘッドマウントディスプレイから所定距離以内に存在する対象物が検出された場合に、所定距離以内の位置に対象物が検出されている間、当該対象物が含まれる所定範囲撮影画像を仮想空間画像に重畳して表示させるようにしている。

発明の効果

0011

上記のように構成した本発明によれば、ヘッドマウントディスプレイに搭載されたカメラに写る範囲の手元でユーザが所要の作業を行うと、その手が含まれる所定範囲の撮影画像が仮想空間画像に重畳して表示されるので、ユーザは、ヘッドマウントディスプレイを装着したままの状態でも、仮想空間画像に重畳して表示された撮影画像を見ながら所要の作業を適切に行うことができる。このように、本発明によれば、ユーザがヘッドマウントディスプレイを装着したままの状態でも、現実世界における作業を簡単に行うことができる。

図面の簡単な説明

0012

第1の実施形態による画像表示制御装置の機能構成例を示すブロック図である。
本実施形態による対象物検出部の処理内容を説明するための図である。
第1の実施形態による画像重畳部の処理内容を説明するための図である。
第1の実施形態による画像表示制御装置の動作例を示すフローチャートである。
第2の実施形態による画像表示制御装置の機能構成例を示すブロック図である。
第2の実施形態による画像重畳部の処理内容を説明するための図である。
第2の実施形態による画像表示制御装置の動作例を示すフローチャートである。
第2の実施形態において重畳領域可変設定する変形例を説明するための図である。

実施例

0013

(第1の実施形態)
以下、本発明の第1の実施形態を図面に基づいて説明する。図1は、第1の実施形態による画像表示制御装置100の機能構成例を示すブロック図である。第1の実施形態による画像表示制御装置100は、VR画像記憶部300に記憶されている仮想空間画像を再生してHMD200に表示させるものである。HMD200には、姿勢検出センサ201およびカメラ202が搭載されている。第1の実施形態による画像表示制御装置100は、これら姿勢検出センサ201およびカメラ202の出力に基づいて、HMD200に表示させる画像を制御する。

0014

図1に示すように、第1の実施形態の画像表示制御装置100は、その機能構成として、画像再生部11、撮影画像取得部12、対象物検出部13、位置検出部14および画像重畳部15を備えている。これら各機能ブロック11〜15は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック11〜15は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像表示制御用プログラムが動作することによって実現される。

0015

画像再生部11は、VR画像記憶部300に記憶されている仮想空間画像を再生してHMD200に表示させる。仮想空間画像が表示されるHMD200には、ジャイロセンサ加速度センサから成る姿勢検出センサ201が搭載されており、HMD200を装着したユーザの頭の動きを検出することが可能となっている。画像再生部11は、姿勢検出センサ201により検出されたユーザの頭の動きに応じて、HMD200の表示上に実現される仮想空間画像の視界が動的に変わるように、仮想空間画像の表示を制御する。

0016

撮影画像取得部12は、HMD200に搭載されたカメラ202により撮影された現実世界の画像を取得する。カメラ202は、HMD200の前面または上面に搭載され、HMD200の前方を一定の周期で常時撮影する。撮影画像取得部12は、カメラ202により撮影された現実世界の画像を動画像(時系列に連続する複数のフレーム画像集合)として取得する。

0017

対象物検出部13は、撮影画像取得部12により取得された動画像から、HMD200から所定距離以内に存在する対象物を検出する。例えば、対象物検出部13は、公知の画像認識技術を用いて、撮影画像取得部12により取得された動画像のフレーム画像毎に、フレーム画像内に含まれている物体を検出する。そして、公知の測距技術を用いて、検出した物体についてHMD200からの距離を測定し、所定距離以内に存在する物体のみを上記対象物として検出する。

0018

ここで、対象物検出部13は、フレーム画像内に含まれている全ての物体を検出の対象としてもよいが、一定の条件を満たす物体のみを検出するようにしてもよい。例えば、所定の大きさ以上で写っている物体のみ検出するようにしてもよいし、フレーム画像の周縁部の所定範囲を除く中央領域に写っている物体のみ検出するようにしてもよい。また、検出した物体までの距離の測定は、ステレオカメラまたは単眼カメラによる撮影画像を用いて物体までの距離を測定する公知の手法により行うことが可能である。

0019

なお、ここでは撮影画像を解析して物体までの距離を測定する例について説明したが、この手法に限定されるものではない。例えば、レーザ赤外線、超音波等を用いた距離センサをHMD200に搭載し、これらによって物体までの距離を測定するようにしてもよい。その他、物体までの距離を測定する種々の公知技術を適用することが可能である。

0020

図2は、対象物検出部13の処理内容を説明するための図である。図2において、ARで示す網掛け領域は、HMD200が搭載するカメラ202の撮影範囲を示している。この撮影範囲AR内に存在する物体OBT1,OBT2が、カメラ202による撮影画像の中に含まれることになる。そして、この撮影画像が撮影画像取得部12により取得される。対象物検出部13は、撮影画像取得部12により取得された撮影画像内に含まれる物体OBT1,OBT2とHMD200(カメラ202)との距離d1,d2をそれぞれ検出し、それが所定距離以下である物体OBT1のみを対象物として検出する。なお、d1≦所定距離、d2>所定距離であるものとする。

0021

位置検出部14は、対象物検出部13により検出された対象物のHMD200に対する相対位置を検出する。相対位置とは、HMD200から対象物までの方向および距離を含む情報である。検出した対象物までの距離は、上述した公知の方法により検出することが可能である。また、検出した対象物への方向は、撮影範囲ARと撮影画像内に写っている対象物の位置との関係から公知の画像認識技術により検出することが可能である。

0022

なお、ここでは撮影画像を解析して対象物の相対位置を検出する例について説明したが、この手法に限定されるものではない。例えば、レーダやLiDARなどを用いた位置検出センサをHMD200に搭載し、当該位置検出センサによって対象物の相対位置を検出するようにしてもよい。その他、対象物の相対位置を検出する種々の公知技術を適用することが可能である。

0023

画像重畳部15は、対象物検出部13により所定距離以内の位置に対象物が検出されている間、対象物が含まれる所定範囲の画像を仮想空間画像に重畳して表示させる。ここで、画像重畳部15は、位置検出部14により検出された対象物の相対位置に基づいて、対象物が含まれる所定範囲の画像を、仮想空間画像において相対位置に応じた位置(以下、「実世界対応位置」という)に重畳して表示させる。画像重畳部15は、この処理をフレーム画像毎に行う。すなわち、画像重畳部15は、対象物が含まれる所定範囲の撮影画像を動画として仮想空間画像の実世界対応位置に重畳して表示させる。

0024

ここで、対象物が含まれる所定範囲とは、例えば、撮影画像(各フレーム画像)に対する画像認識により把握される対象物の輪郭線内接する矩形領域を基準領域とし、当該基準領域から左右方向および上下方向にそれぞれ所定幅拡張領域を付加した領域の範囲とする。なお、対象物が撮影画像の周縁部に位置しているために、何れかの方向に所定幅の拡張領域を付加できない場合は、その方向に関しては、付加できる範囲で最大の幅の拡張領域を付加するようにしてよい。以下、撮影画像に設定される対象物が含まれる所定範囲を「抽出範囲」という。

0025

HMD200から所定距離以内の対象物が対象物検出部13により1つのみ検出されている場合は、画像重畳部15は、その1つの対象物に対して抽出範囲を設定すればよい。一方、対象物検出部13により複数の対象物が検出され、かつ、当該複数の対象物が撮影画像上で重なっている場合または接している場合は、画像重畳部15は、複数の対象物ごとに抽出範囲を設定するようにしてもよいし、当該複数の対象物を1つの対象物とみなして、みなした1つの対象物に対して抽出範囲を設定するようにしてもよい。なお、複数の対象物を1つの対象物とみなした場合、当該みなした1つの対象物のHMD200に対する相対位置は、元の複数の対象物について検出された相対位置のうち何れか1つを採用する。例えば、HMD200から最も近い相対位置を採用する。

0026

対象物検出部13により複数の対象物が検出された場合でも、当該複数の対象物が撮影画像上で離間しているときは、画像重畳部15は、複数の対象物ごとに抽出範囲を設定する。なお、複数の対象物ごとに抽出範囲を設定した場合に、当該複数の抽出範囲どうしに重なりが生じる場合には、当該複数の対象物を1つの対象物とみなして、みなした1つの対象物に対して抽出範囲を設定するようにしてもよい。あるいは、重なりが生じた複数の抽出範囲が内接する1つの大きな抽出範囲を設定するようにしてもよい。以上、抽出範囲の設定方法についていくつかのパターンを説明したが、これらは一例であり、これ以外の方法で抽出範囲を設定してもよい。

0027

また、実世界対応位置とは、撮影画像から抽出して仮想空間画像に重畳して表示させる対象物の仮想空間における位置であって、仮想空間画像を表示している仮想空間におけるユーザの仮想視点から重畳表示させる対象物までの方向および距離を、現実世界におけるHMD200から対象物までの方向および距離(位置検出部14により検出されるもの)と一致させるようにして仮想空間上に設定した位置のことをいう。

0028

図3は、画像重畳部15の処理内容を説明するための図である。このうち、図3(a)は、撮影画像取得部12により取得された1フレームの撮影画像を示している。また、図3(b)は、撮影画像に設定された抽出範囲の画像を仮想空間画像に重畳して表示させた状態を示している。なお、ここでは説明を分かりやすくするために、カメラ202により撮影される撮影画像の画角(視界)と、HMD200の表示画面に表示される仮想空間画像の画角(視界)とが同じものとして図示しているが、必ずしも両者の画角は同じでなくてもよい。ただし、(撮影画像の画角)≦(仮想空間画像の画角)となるようにすることを要する。仮想空間画像の画角が撮影画像の画角より小さいと、撮影画像の周縁部に写っている対象物を仮想空間画像の実世界対応位置に重畳して表示させることができないことが生じるからである。

0029

図3(a)に示す撮影画像には、人(HMD200を装着しているユーザ)の手OBT11および当該ユーザが手に把持しているスマートフォンOBT12が写っている。人の手OBT11およびスマートフォンOBT12は、HMD200から所定距離以内の位置に存在する対象物である。なお、撮影画像内には人の手OBT11およびスマートフォンOBT12以外の物体(HMD200から所定距離以内にはない非対象物)も写っているが、図示を省略している。また、HMD200から所定距離以内の位置には、人の手OBT11およびスマートフォンOBT12以外の物体は存在しないものとする。

0030

人の手OBT11およびスマートフォンOBT12は、対象物検出部13により、HMD200から所定距離以内に存在する対象物として検出される。ここで、人の手OBT11およびスマートフォンOBT12は、撮影画像上で重なっている。よって、画像重畳部15は、人の手OBT11およびスマートフォンOBT12を1つの対象物とみなす。そして、みなした1つの対象物の輪郭線が内接する矩形領域を基準領域31とし、当該基準領域31から左右方向および上下方向に拡張領域を付加した領域を抽出範囲32として設定する。なお、図3(a)の例では、下方向に拡張領域を付加していない。これは、HMD200を装着しているユーザの手が撮影画像の下端まで写っているため、基準領域31の下端が撮影画像の下端に接していて、それより下方に拡張する領域が存在しないためである。

0031

さらに、画像重畳部15は、図3(b)に示すように、上記のように設定した抽出範囲32内の画像PTを抽出し、当該抽出した画像PTを、仮想空間画像VRPの実世界対応位置(すなわち、位置検出部14により現実世界において検出された対象物の相対位置に対応する仮想空間上の位置)に重畳して表示させる。重畳させた画像PTには矩形枠が表示されており、仮想空間画像VRPに別の画像が重畳されていることが一目で分かるようにしている。

0032

画像重畳部15は、図3に示す処理をフレーム画像毎に行う。これにより、HMD200には、仮想空間画像VRPが動画として表示されるとともに、HMD200から所定距離以内の位置に対象物(人の手OBT11およびスマートフォンOBT12)が検出されている間、撮影画像から抽出された当該対象物を含む画像PTが仮想空間画像VRP上の実世界対応位置に動画として表示される。これにより、ユーザは、HMD200を外すことなく、実世界対応位置に動画として表示される現実世界の撮影画像PTを見て、スマートフォンの操作を適切に行うことができる。

0033

なお、図3では、ユーザがスマートフォンを把持して操作している状態を例に挙げて説明したが、スマートフォンの操作に限定されるものでないことは言うまでもない。例えば、HMD200を外すことなく家電リモコンを操作したり、腕時計の時間を確認したり、手帳メモ書きをしたりすることが可能である。また、図3では、基準領域31から左右方向および上下方向に拡張領域を付加した領域を抽出範囲32として設定しているが、基準領域31をそのまま抽出範囲として設定するようにしてもよい。

0034

また、ここでは、対象物が含まれる矩形の範囲を抽出範囲とする例について説明したが、本発明はこれに限定されない。例えば、対象物(複数の対象物が重なっている場合または接している場合は、当該複数の対象物を1つとみなしたものでもよい)の輪郭線に沿って切り出される範囲を抽出範囲とするようにしてもよい。

0035

図4は、以上のように構成した第1の実施形態による画像表示制御装置100の動作例を示すフローチャートである。図4に示すフローチャートは、ユーザが仮想空間画像の再生を指示したときに開始する。なお、この図4に示すフローチャートは、対象物検出部13、位置検出部14および画像重畳部15によって実行される処理の一例を示している。これと並行して、画像再生部11によって仮想空間画像の再生および表示が継続して実行されている。

0036

画像再生部11によって仮想空間画像の再生および表示が開始されると、撮影画像取得部12は、カメラ202により撮影された1フレームの画像を取得する(ステップS1)。そして、対象物検出部13は、撮影画像取得部12により取得された画像から、HMD200から所定距離以内に存在する対象物を検出する(ステップS2)。

0037

次いで、位置検出部14は、HMD200から所定距離以内に存在する対象物が対象物検出部13により検出されたか否かを判定する(ステップS3)。ここで、HMD200から所定距離以内の対象物が検出されなかった場合、処理はステップS1に戻り、次のフレームの撮影画像の処理に移る。一方、HMD200から所定距離以内の対象物が検出された場合、位置検出部14は、その検出された対象物のHMD200に対する相対位置を検出する(ステップS4)。

0038

次いで、画像重畳部15は、位置検出部14により検出された対象物の相対位置に基づいて、対象物が含まれる所定範囲(抽出範囲)の画像を、仮想空間画像上の実世界対応位置(相対位置に応じた位置)に重畳して表示させる(ステップS5)。その後、画像再生部11による仮想空間画像の再生が終了したか否かが判定され(ステップS6)、再生が終了していない場合はステップS1に戻り、再生が終了した場合は、図4に示すフローチャートの処理を終了する。

0039

以上詳しく説明したように、第1の実施形態では、仮想空間画像が表示されているHMD200に搭載されたカメラ202により撮影された現実世界の動画像から、HMD200から所定距離以内に存在する対象物が検出された場合に、所定距離以内の位置に対象物が検出されている間、当該対象物が含まれる所定範囲の画像を仮想空間画像の実世界対応位置に重畳して表示させるようにしている。

0040

このように構成した第1の実施形態によれば、HMD200に搭載されたカメラ202に写る範囲の手元でユーザが所要の作業を行うと、ユーザの手と作業対象物(スマートフォンやリモコン、腕時計、メモ帳など)とが含まれる所定範囲の撮影画像が仮想空間画像の実世界対応位置に重畳して表示されるので、ユーザは、HMD200を装着したままの状態でも、その実世界対応位置に表示された画像を見ながら所要の作業を適切に行うことができる。これにより、第1の実施形態によれば、ユーザがHMD200を装着したままの状態でも、現実世界における作業を簡単に行うことができるようになる。

0041

なお、上記第1の実施形態では、HMD200から所定距離以内の位置に対象物が検出されたか否かを1フレーム画像毎に判定し、検出された場合には抽出範囲の画像を仮想空間画像に重畳して表示させるようにしている。このため、HMD200から所定距離以内の場所で単にユーザが手を動かしただけの場合や、何かの物体がほんのわずかな時間だけHMD200から所定距離以内の位置に存在しただけの場合にも、ユーザの手や物体が含まれる抽出範囲の画像が仮想空間画像に重畳して表示される。しかし、このようにわずかな時間だけ所定距離以内の位置に存在する物体を仮想空間画像にその都度重畳して表示させると、その表示がユーザにとっては煩わしく感じることがある。

0042

そこで、わずかな時間だけ所定距離以内の位置に存在する物体については、その物体を含む所定範囲の画像を仮想空間画像に重畳して表示させないようにしてもよい。この場合、対象物検出部13は、所定距離以内の位置に所定時間以上継続して存在する対象物を検出する。そして、画像重畳部15は、所定距離以内の位置に所定時間以上継続して存在する対象物が対象物検出部13により検出された場合に、それ以降で所定距離以内の位置に対象物が検出されている間、対象物が含まれる所定範囲(抽出範囲)の画像を仮想空間画像に重畳して表示させる。

0043

(第2の実施形態)
次に、本発明の第2の実施形態を図面に基づいて説明する。図5は、第2の実施形態による画像表示制御装置100’の機能構成例を示すブロック図である。なお、この図5において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図5に示すように、第2の実施形態による画像表示制御装置100’は、図1に示した位置検出部14および画像重畳部15に代えて、対象物判定部16および画像重畳部17を備えている。

0044

対象物判定部16は、対象物検出部13により検出された対象物に人の手が含まれるか否かを判定する。例えば、対象物判定部16は、公知のパターン認識技術を用いて、対象物検出部13により検出された対象物に人の手が含まれるか否かを判定することが可能である。あるいは、人の手について機械学習により作成した学習モデルを用いて、対象物検出部13により検出された対象物に人の手が含まれるか否かを判定するようにしてもよい。対象物判定部16は、この判定をフレーム画像毎に行う。

0045

画像重畳部17は、対象物判定部16により対象物に人の手が含まれると判定された場合、その対象物がHMD200から所定距離以内の位置に検出されている間、人の手が含まれる所定範囲の画像を仮想空間画像の所定領域に重畳して表示させる。画像重畳部17は、この処理をフレーム画像毎に行う。すなわち、画像重畳部17は、人の手が含まれる所定範囲の画像を動画として仮想空間画像の所定領域に重畳して表示させる。

0046

ここで、仮想空間画像の所定領域とは、仮想空間画像が表示されるHMD200の表示画面の全領域の中で、あらかじめ決められた位置のあらかじめ決められた大きさの矩形領域をいう。例えば、表示画面の左下コーナーにおける所定の大きさの矩形領域とすることが可能である。以下、これを「重畳領域」という。

0047

また、人の手が含まれる所定範囲とは、例えば、撮影画像(各フレーム画像)に対する画像認識により把握される人の手の輪郭線が内接する矩形領域を基準領域とし、当該基準領域から左右方向および上方向に所定幅の拡張領域を付加した領域の範囲とする。下方向に拡張領域を付加しないのは、HMD200を装着しているユーザの手が撮影画像に写っている場合は、撮影画像の下端までユーザの手が写っているため、基準領域の下端が撮影画像の下端に接していて、それより下方に拡張する領域が存在しないためである。なお、第1の実施形態と同様、対象物が撮影画像の周縁部に位置しているために、左また右の何れかの方向に所定幅の拡張領域を付加できない場合は、その方向に関しては、付加できる範囲で最大の幅の拡張領域を付加するようにしてよい。

0048

人の手の輪郭線が内接する基準領域に対して拡張領域を付加するのは、ユーザが何かを手に把持している場合に、その把持物も所定範囲の中に含まれるようにするためである。すなわち、ユーザの手および把持物が含まれる範囲の画像を撮影画像から抽出して仮想空間画像の所定領域に重畳して表示させるようにするためである。これが第2の実施形態における「抽出範囲」に相当する。

0049

抽出範囲における矩形の縦横比は、仮想空間画像上に設定される重畳領域の矩形の縦横比と同じとなるようにするのが好ましい。この場合、抽出範囲の縦横比が重畳領域の縦横比と同じとなるように、撮影画像の基準領域に対して拡張領域を付加する。ただし、このようにすることが必須ではない。例えば、基準領域から左右方向および上方向に所定長さの拡張領域を付加して抽出範囲を設定し、抽出範囲内の画像を適宜拡大または縮小することにより、拡縮された画像の縦横比が重畳領域の縦横比と同じとなるようにしてもよい。

0050

図6は、画像重畳部17の処理内容を説明するための図である。このうち、図6(a)は、撮影画像取得部12により取得された1フレームの撮影画像を示している。また、図6(b)は、撮影画像に設定された抽出範囲の画像を仮想空間画像の重畳領域に重畳して表示させた状態を示している。

0051

図6(a)に示す撮影画像には、人(HMD200を装着しているユーザ)の手OBT11および当該ユーザが手に把持しているスマートフォンOBT12が写っている。人の手OBT11およびスマートフォンOBT12は、HMD200から所定距離以内の位置に存在する対象物である。なお、撮影画像内には人の手OBT11およびスマートフォンOBT12以外の物体(HMD200から所定距離以内にはない非対象物)も写っているが、図示を省略している。また、HMD200から所定距離以内の位置には、人の手OBT11およびスマートフォンOBT12以外の物体は存在しないものとする。

0052

人の手OBT11は、対象物検出部13により、HMD200から所定距離以内に存在する対象物として検出され、対象物判定部16により、その対象物が人の手であると判定される。画像重畳部17は、人の手OBT11の輪郭線が内接する矩形領域を基準領域61とし、当該基準領域61から左右方向および上方向に拡張領域を付加した領域を抽出範囲62として設定する。図6(a)のように、抽出範囲62の中には、人の手OBT11によって把持されているスマートフォンOBT12も含まれている。

0053

さらに、画像重畳部17は、図6(b)に示すように、上記のように設定した抽出範囲62内の画像PTを抽出し、当該抽出した画像PTを、仮想空間画像VRPの左下コーナーの位置に所定の大きさで設定した重畳領域63に重畳して表示させる。このとき、重畳領域63の大きさに合うように画像PTを適宜拡大または縮小する。重畳領域63には矩形枠が表示されており、仮想空間画像VRPに別の画像が重畳されていることが一目で分かるようにしている。

0054

画像重畳部17は、図6に示す処理をフレーム画像毎に行う。これにより、HMD200には、仮想空間画像VRPが動画として表示されるとともに、HMD200から所定距離以内の位置に対象物が検出されている間、撮影画像から抽出された人の手を含む(把持物がある場合はそれも含む)画像PTが重畳領域63に動画として表示される。これにより、ユーザは、HMD200を外すことなく、重畳領域63に動画として表示される現実世界の撮影画像PTを見て、スマートフォンの操作を適切に行うことができる。

0055

なお、撮影画像取得部12により取得された撮影画像の中から、HMD200から所定距離以内に存在する人の手が対象物として検出されない場合は、画像重畳部17の処理は実行しない。よって、この場合にHMD200には仮想空間画像VRPのみが表示画面の全域に表示され、重畳領域63は設定されない(重畳領域63の矩形枠も画像PTも表示されない)。これにより、ユーザが手元で所要の作業をしていないときは、余計な画像は表示させず、仮想空間画像VRPだけを表示画面の全域に見やすく表示させることができる。また、ユーザが手元で何かの作業対象物を操作しているのではなく、何かの物体が偶然にHMD200から所定距離以内の場所に存在して対象物検出部13により対象物として検出されることがあっても、画像重畳部17の処理は実行されない。よって、この場合もHMD200には仮想空間画像VRPのみが表示画面の全域に表示され、余計な画像が重畳して表示されることを防ぐことができる。

0056

なお、図6においても、ユーザがスマートフォンを把持して操作している状態を例に挙げて説明したが、スマートフォンの操作に限定されるものでないことは言うまでもない。例えば、HMD200を外すことなく家電のリモコンを操作したり、腕時計の時間を確認したり、手帳にメモ書きをしたりすることが可能である。

0057

また、第2の実施形態においても、対象物(複数の対象物が重なっている場合または接している場合は、当該複数の対象物を1つとみなしたものでもよい)の輪郭線に沿って切り出される範囲を抽出範囲とするようにしてもよい。この場合においても、仮想空間画像の中に矩形の重畳領域63を設定し、輪郭線に沿って切り出される範囲の画像を重畳領域63に表示させるようにしてよい。あるいは、仮想空間画像の中に矩形の重畳領域63を設定せずに、輪郭線に沿って切り出される範囲の画像を仮想空間画像に重畳して表示させるようにしてもよい。

0058

図7は、以上のように構成した第2の実施形態による画像表示制御装置100’の動作例を示すフローチャートである。図7に示すフローチャートは、ユーザが仮想空間画像の再生を指示したときに開始する。なお、この図7に示すフローチャートは、対象物検出部13、対象物判定部16および画像重畳部17によって実行される処理の一例を示している。これと並行して、画像再生部11によって仮想空間画像の再生および表示が継続して実行されている。

0059

画像再生部11によって仮想空間画像の再生および表示が開始されると、撮影画像取得部12は、カメラ202により撮影された1フレームの画像を取得する(ステップS11)。そして、対象物検出部13は、撮影画像取得部12により取得された画像から、HMD200から所定距離以内に存在する対象物を検出する(ステップS12)。

0060

次いで、対象物判定部16は、HMD200から所定距離以内に存在する対象物が対象物検出部13により検出されたか否かを判定する(ステップS13)。ここで、HMD200から所定距離以内の対象物が検出されなかった場合、処理はステップS11に戻り、次のフレームの撮影画像の処理に移る。一方、HMD200から所定距離以内の対象物が検出された場合、対象物判定部16は、その検出された対象物に人の手が含まれるか否かを判定する(ステップS14)。

0061

ここで、対象物に人の手が含まれていない場合、処理はステップS11に戻り、次のフレームの撮影画像の処理に移る。一方、対象物に人の手が含まれると判定された場合、画像重畳部17は、人の手が含まれる所定範囲(抽出範囲)の画像を仮想空間画像の所定領域(重畳領域)に重畳して表示させる(ステップS15)。その後、画像再生部11による仮想空間画像の再生が終了したか否かが判定され(ステップS16)、再生が終了していない場合はステップS11に戻り、再生が終了した場合は、図7に示すフローチャートの処理を終了する。

0062

以上詳しく説明したように、第2の実施形態では、仮想空間画像が表示されているHMD200に搭載されたカメラ202により撮影された現実世界の動画像から、HMD200から所定距離以内に存在する人の手を含む対象物が検出された場合に、所定距離以内の位置に対象物が検出されている間、当該人の手が含まれる所定範囲の画像を仮想空間画像の所定領域に重畳して表示させるようにしている。

0063

このように構成した第2の実施形態によれば、HMD200に搭載されたカメラ202に写る範囲の手元でユーザが所要の作業を行うと、その手が含まれる所定範囲の撮影画像が仮想空間画像の所定領域に重畳して表示されるので、ユーザは、HMD200を装着したままの状態でも、その所定領域に表示された画像を見ながら所要の作業を適切に行うことができる。これにより、第2の実施形態によれば、ユーザがHMD200を装着したままの状態でも、現実世界における作業を簡単に行うことができるようになる。

0064

また、第2の実施形態では、人の手以外の何かの物体が偶然にHMD200から所定距離以内の場所に存在しているだけであれば、その物体を含む所定範囲の撮影画像が仮想空間画像の所定領域に重畳して表示されることはない。これにより、ユーザが手元で作業をしていないときに余計な画像が仮想空間画像に重畳して表示されることを防ぎ、仮想空間画像だけを表示画面の全域に見やすく表示させることができる。

0065

なお、第2の実施形態においても第1の実施形態と同様に、処理時間より短い間だけ所定距離以内の位置に存在する物体については、その物体を含む所定範囲の画像を仮想空間画像に重畳して表示させないようにしてもよい。このようにすれば、HMD200に搭載されたカメラ202に写る範囲の手元でユーザが所要の作業を行った場合にほぼ限定して、その手が含まれる所定範囲の撮影画像を仮想空間画像の所定領域に重畳して表示させることができる。

0066

上記第2の実施形態では、人の手が含まれる抽出範囲の撮影画像を仮想空間画像の所定領域に重畳して表示させる例について説明したが、第1の実施形態と同様に、人の手が含まれる抽出範囲の撮影画像を仮想空間画像の実世界対応位置に重畳して表示させるようにしてもよい。また、第1の実施形態のように設定した抽出範囲の撮影画像を、第2の実施形態のように仮想空間画像の所定領域に重畳して表示させるようにしてもよい。さらに、第1の実施形態のように人の手を含むか否かを問わず対象物検出部13により検出された対象物を含む範囲に設定した抽出範囲の撮影画像を、第2の実施形態のように仮想空間画像の所定領域に重畳して表示させるようにしてもよい。

0067

また、上記第2実施形態では、人の手が含まれる所定範囲を抽出範囲として、当該抽出範囲の撮影画像を仮想空間画像の所定領域に重畳して表示させる例について説明したが、本発明はこれに限定されない。例えば、対象物判定部16が、対象物検出部13により検出された対象物に人の手および当該に手による把持物が含まれるか否かを判定し、人の手および把持物が含まれると判定された場合に、画像重畳部17が、人の手および把持物が含まれる所定範囲を抽出範囲として、当該抽出範囲の撮影画像を仮想空間画像の所定領域に重畳して表示させるようにしてもよい。

0068

この場合、第1の実施形態と同様に、ユーザの手および把持物を1つの対象物とみなし、みなした1つの対象物に対して抽出範囲を設定するようにしてよい。例えば、抽出範囲は、撮影画像に対する画像認識により把握される人の手および把持物の輪郭線が内接する矩形領域の範囲とすることが可能である。あるいは、人の手および把持物の輪郭線が内接する矩形領域を基準領域とし、当該基準領域から左右方向に所定幅および上方向に所定高さの拡張領域を付加した領域を抽出範囲としてもよい。このように、撮影画像内から人の手に加えて把持物まで認識して、その把持物まで含まれる範囲を抽出範囲とすることにより、把持物が比較的大きなものであっても、抽出範囲内に把持物から確実に含まれるようにすることができる。

0069

なお、対象物判定部16により対象物に人の手および把持物が含まれるか否かを判定する例において、画像重畳部17は、対象物に人の手および把持物が含まれると判定された場合に、人の手および把持物が含まれる所定範囲の画像であって、人の手および把持物以外の物体が含まれない画像を仮想空間画像に重畳して表示させるようにしてもよい。

0070

例えば、上記のように矩形領域の範囲を抽出範囲として設定した場合に、その抽出範囲の中に、HMD200から所定距離以内にある人の手および把持物以外の物体(すなわち、HMD200からの距離が所定距離より長い位置にある物体)が遠景として写っているときは、その遠景の物体を抽出範囲の画像PTから消去した上で仮想空間画像に重畳して表示させるようにする。ここでいう遠景の物体の消去とは、例えば、画像認識により検出した当該物体の領域を、その周囲の遠景の画像から生成される推定遠景画像(その物体がないとした仮定した場合における遠景の推定画像)に置き換えることをいう。

0071

あるいは、ユーザの手および把持物を1つの対象物とみなし、みなした1つの対象物の輪郭線に沿って切り出される範囲を抽出範囲とするようにしてもよい。この場合において、画像重畳部17は、図6(b)のように仮想空間画像に矩形の重畳領域63を設定し、その重畳領域63の中に上記のように輪郭線に沿って切り出した抽出範囲の画像を表示させる。なお、矩形の重畳領域63は設定せずに、輪郭線に沿って切り出した抽出範囲の画像を仮想空間画像に重畳して表示させるようにしてもよい。

0072

また、人の手および把持物が含まれる所定範囲を抽出範囲とする例において、対象物検出部13により検出された対象物に人の手が含まれていて、把持物が含まれていない場合には、撮影画像の一部を抽出して仮想空間画像に重畳させる処理は実行しないようにしてよい。ユーザが把持物に対して所要の操作をしているという状況ではなく、ユーザの手が偶然に撮影された可能性があるからである。逆に、対象物検出部13により検出された対象物に人の手が含まれていて、把持物が含まれていない場合においても、上記第2の実施形態と同様に人の手が含まれる所定範囲の画像を抽出して仮想空間画像に重畳させるようにしてもよい。把持物ではなく、例えば腕時計型ウェアラブル端末を操作している可能性もあり得るからである。

0073

また、上記第2の実施形態では、重畳領域が仮想空間画像の固定位置(図6の例では左下コーナーの位置)に設定されている例について説明したが、重畳領域の位置をユーザの意思により変更可能に構成してもよい。例えば、HMD200に視線検出センサを搭載する。そして、画像重畳部17が、視線検出センサにより検出されるユーザの視線に応じて、所定範囲(抽出範囲)の撮影画像を仮想空間画像に重畳させる際の所定領域(重畳領域)の位置を変更する。

0074

例えば、図8のように、仮想空間画像の全領域を縦横の4象限に4分割し、ユーザの視線が位置する象限のコーナーに重畳領域を設定することが一例として考えられる。すなわち、ユーザが右上の象限に視線を向けたことが視線検出センサにより検出されたときは、画像重畳部17は、仮想空間画像の右上コーナーの位置に重畳領域63RUを設定する。ユーザが右下の象限に視線を向けたことが視線検出センサにより検出されたときは、画像重畳部17は、仮想空間画像の右下コーナーの位置に重畳領域63RDを設定する。ユーザが左上の象限に視線を向けたことが視線検出センサにより検出されたときは、画像重畳部17は、仮想空間画像の左上コーナーの位置に重畳領域63LUを設定する。ユーザが左下の象限に視線を向けたことが視線検出センサにより検出されたときは、画像重畳部17は、仮想空間画像の左下コーナーの位置に重畳領域63LDを設定する。

0075

また、上記第1および第2の実施形態では、画像表示制御装置100,100’とHMD200とを別体として構成する例について説明したが、HMD200が画像表示制御装置100,100’を備える構成としてもよい。この場合、VR画像記憶部300もHMD200が備えるようにしてもよいし、

0076

その他、上記第1および第2の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

0077

11画像再生部
12撮影画像取得部
13対象物検出部
14位置検出部 15,17 画像重畳部
16対象物判定部
100,100’画像表示制御装置
200 HMD
201姿勢検出センサ
202 カメラ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ