図面 (/)

技術 画像処理装置、画像処理方法、およびプログラム

出願人 株式会社リコー
発明者 岡本拓也吉田浩之石原里江子河田祐貴
出願日 2014年8月27日 (6年2ヶ月経過) 出願番号 2014-173041
公開日 2016年4月7日 (4年7ヶ月経過) 公開番号 2016-048455
状態 特許登録済
技術分野 イメージ処理・作成 スタジオ装置
主要キーワード 光属性 二次元モデル ロール角α ピッチ角β 方向参照 光源設定 整数変数 相対方向
関連する未来課題
重要な関連分野

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2016年4月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

容易に拡張現実による画像を提供する。

解決手段

撮影部12は、実空間を撮影する。検出部25は、撮影部12の第1姿勢情報を検出する。第1取得部14Aは、検出部25から第1姿勢情報を取得する。受付部14Cは、ユーザから設定指示受け付ける。設定部14Hは、設定指示を受け付けたときに、実空間における、仮想オブジェクトを配置する基準平面を、第1姿勢情報に応じて設定する。導出部14Nは、撮影部12の撮影方向に対する、基準平面の第1相対方向を導出する。第1算出部14Kは、第1相対方向に位置する基準平面の、第2姿勢情報を算出する。表示制御部14Gは、撮影部12によって撮影された実空間画像における、基準平面に対応する領域に、第2姿勢情報の姿勢の仮想オブジェクトを描画したオブジェクト画像重畳した重畳画像を、表示部に表示する制御を行う。

概要

背景

現実空間事象に対してコンピュータによる情報を付加する拡張現実(AR:Augmented Reality)技術が知られている。例えば、実空間にARマーカを設置し、該ARマーカを含む実空間を撮影して撮影画像を得る。そして、この撮影画像に含まれるARマーカの位置に仮想オブジェクトを合成して表示する技術が開示されている(例えば、特許文献1参照)。

概要

容易に拡張現実による画像を提供する。撮影部12は、実空間を撮影する。検出部25は、撮影部12の第1姿勢情報を検出する。第1取得部14Aは、検出部25から第1姿勢情報を取得する。受付部14Cは、ユーザから設定指示受け付ける。設定部14Hは、設定指示を受け付けたときに、実空間における、仮想オブジェクトを配置する基準平面を、第1姿勢情報に応じて設定する。導出部14Nは、撮影部12の撮影方向に対する、基準平面の第1相対方向を導出する。第1算出部14Kは、第1相対方向に位置する基準平面の、第2姿勢情報を算出する。表示制御部14Gは、撮影部12によって撮影された実空間画像における、基準平面に対応する領域に、第2姿勢情報の姿勢の仮想オブジェクトを描画したオブジェクト画像重畳した重畳画像を、表示部に表示する制御を行う。

目的

しかし、従来では、ARマーカを実空間に設置する必要があり、実空間の環境に依存せず、容易に拡張現実による画像を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

実空間を撮影する撮影部と、前記撮影部の第1姿勢情報を検出する検出部と、前記検出部から前記第1姿勢情報を取得する第1取得部と、ユーザから設定指示受け付ける受付部と、前記設定指示を受け付けたときに、実空間における、仮想オブジェクトを配置する基準平面を、前記第1姿勢情報に応じて設定する設定部と、前記撮影部の撮影方向に対する、前記基準平面の第1相対方向導出する導出部と、前記第1相対方向に位置する前記基準平面の、第2姿勢情報を算出する第1算出部と、前記撮影部によって撮影された実空間画像における、前記基準平面に対応する領域に、前記第2姿勢情報の姿勢の前記仮想オブジェクトを描画したオブジェクト画像重畳した重畳画像を、表示部に表示する制御を行う表示制御部と、を備えた画像処理装置

請求項2

前記設定部は、実空間における、前記撮影部の位置する室内を構成する複数の壁面の内の1つの壁面を、前記基準平面として、前記第1姿勢情報に応じて設定する、請求項1に記載の画像処理装置。

請求項3

前記設定部は、実空間における、前記撮影方向に対して交差する平面を、前記基準平面として設定する、請求項1または請求項2に記載の画像処理装置。

請求項4

前記設定部は、前記撮影部の撮影方向と、前記表示部の表示方向とが反対方向である場合、実空間における、前記撮影部の位置する室内を構成する複数の壁面の内、前記撮影部の撮影方向または反撮影方向に交差する壁面であって、且つ該撮影方向に直交する撮影面との成す角度の最も小さい壁面を、前記基準平面として設定する、請求項2または請求項3に記載の画像処理装置。

請求項5

前記設定部は、前記撮影部の撮影方向と、前記表示部の表示方向とが同一方向である場合、実空間における、前記撮影部の位置する室内を構成する複数の壁面の内、前記撮影部の撮影方向または反撮影方向に交差する壁面であって、且つ該撮影方向に直交する撮影面との成す角度の最も大きい壁面を、前記基準平面として設定する、請求項2または請求項3に記載の画像処理装置。

請求項6

実空間における、前記基準平面の第1位置を算出する第2算出部を備え、前記表示制御部は、前記実空間画像における、前記第1位置の前記基準平面に対応する領域に、前記第2姿勢情報の姿勢の前記仮想オブジェクトを描画したオブジェクト画像を重畳した前記重畳画像を、前記表示部に表示する制御を行う、請求項1〜請求項5の何れか1項に記載の画像処理装置。

請求項7

前記基準平面の設定時に用いた前記第1姿勢情報と、今回取得した前記第1姿勢情報と、の比較結果に基づいて、前記基準平面を設定したときから前記撮影方向が予め定めた第1相対角度以上回転したか否かを判定する判定部と、前記第1相対角度以上回転したと判定されたときに、前記基準平面を前記第1相対角度より大きい第2相対角度回転した平面を、新たな前記基準平面として再設定する再設定部と、を備えた、請求項1〜請求項6の何れか1項に記載の画像処理装置。

請求項8

前記基準平面の設定に用いた前記第1姿勢情報によって特定される姿勢の前記撮影部と前記基準平面との第1距離に対する、該撮影部と該撮影部を原点として前記撮影方向の回転角度に応じた角度該基準平面を回転させた仮平面との第2距離の、倍率を算出する第3算出部を備え、前記表示制御部は、前記撮影部によって撮影された実空間画像における、前記基準平面に対応する領域に、前記第2姿勢情報の姿勢で且つ前記基準平面の設定時に対して前記倍率に応じて拡大または縮小した大きさの前記仮想オブジェクトを描画した前記オブジェクト画像を重畳した前記重畳画像を、前記表示部に表示する制御を行う、請求項1〜請求項7の何れか1項に記載の画像処理装置。

請求項9

光源の光源効果を示す光源情報を設定する光源設定部を備え、前記表示制御部は、前記撮影部によって撮影された実空間画像における、前記基準平面に対応する領域に、前記光源情報によって示される光源効果を付与した前記オブジェクト画像を重畳した前記重畳画像を、前記表示部に表示する制御を行う、請求項1〜請求項8の何れか1項に記載の画像処理装置。

請求項10

実空間を撮影する撮影部と、前記撮影部の第1姿勢情報を検出する検出部と、を備えた画像処理装置で実行する画像処理方法であって、前記検出部から前記第1姿勢情報を取得するステップと、ユーザから設定指示を受け付けるステップと、前記設定指示を受け付けたときに、実空間における、仮想オブジェクトを配置する基準平面を、前記第1姿勢情報に応じて設定するステップと、前記撮影部の撮影方向に対する、前記基準平面の第1相対方向を導出するステップと、前記第1相対方向に位置する前記基準平面の、第2姿勢情報を算出するステップと、前記撮影部によって撮影された実空間画像における、前記基準平面に対応する領域に、前記第2姿勢情報の姿勢の前記仮想オブジェクトを描画したオブジェクト画像を重畳した重畳画像を、表示部に表示する制御を行うステップと、を含む画像処理方法。

請求項11

実空間を撮影する撮影部と、前記撮影部の第1姿勢情報を検出する検出部と、を備えたコンピュータに、前記検出部から前記第1姿勢情報を取得するステップと、ユーザから設定指示を受け付けるステップと、前記設定指示を受け付けたときに、実空間における、仮想オブジェクトを配置する基準平面を、前記第1姿勢情報に応じて設定するステップと、前記撮影部の撮影方向に対する、前記基準平面の第1相対方向を導出するステップと、前記第1相対方向に位置する前記基準平面の、第2姿勢情報を算出するステップと、前記撮影部によって撮影された実空間画像における、前記基準平面に対応する領域に、前記第2姿勢情報の姿勢の前記仮想オブジェクトを描画したオブジェクト画像を重畳した重畳画像を、表示部に表示する制御を行うステップと、を実行させるプログラム

技術分野

0001

本発明は、画像処理装置画像処理方法、およびプログラムに関する。

背景技術

0002

現実空間事象に対してコンピュータによる情報を付加する拡張現実(AR:Augmented Reality)技術が知られている。例えば、実空間にARマーカを設置し、該ARマーカを含む実空間を撮影して撮影画像を得る。そして、この撮影画像に含まれるARマーカの位置に仮想オブジェクトを合成して表示する技術が開示されている(例えば、特許文献1参照)。

発明が解決しようとする課題

0003

しかし、従来では、ARマーカを実空間に設置する必要があり、実空間の環境に依存せず、容易に拡張現実による画像を提供することは困難であった。

課題を解決するための手段

0004

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、実空間を撮影する撮影部と、前記撮影部の第1姿勢情報を検出する検出部と、前記検出部から前記第1姿勢情報を取得する第1取得部と、ユーザから設定指示受け付ける受付部と、前記設定指示を受け付けたときに、実空間における、仮想オブジェクトを配置する基準平面を、前記第1姿勢情報に応じて設定する設定部と、前記撮影部の撮影方向に対する、前記基準平面の第1相対方向導出する導出部と、前記第1相対方向に位置する前記基準平面の、第2姿勢情報を算出する第1算出部と、前記撮影部によって撮影された実空間画像における、前記基準平面に対応する領域に、前記第2姿勢情報の姿勢の前記仮想オブジェクトを描画したオブジェクト画像重畳した重畳画像を、表示部に表示する制御を行う表示制御部と、を備える。

発明の効果

0005

本発明によれば、容易に拡張現実による画像を提供することができる、という効果を奏する。

図面の簡単な説明

0006

図1は、本実施の形態の画像処理装置の模式図である。
図2は、画像処理装置の外観の概略図である。
図3は、座標の説明図である。
図4は、第1姿勢情報の説明図である。
図5は、画像処理装置の機能構成を示すブロック図である。
図6は、光源情報テーブルのデータ構造の一例を示す図である。
図7は、撮影部の姿勢の一例を示す図である。
図8は、基準平面の設定の一例を示す説明図である。
図9は、基準平面および第1相対方向の設定の一例を示す説明図である。
図10は、基準平面の設定の一例を示す説明図である。
図11は、基準平面の再設定の説明図である。
図12は、基準平面の再設定の詳細な説明図である。
図13は、第1距離に対する第2距離の倍率算出の説明図である。
図14は、重畳画像の表示の説明図である。
図15は、オブジェクト画像の表示の説明図である。
図16は、表示処理の手順を示すシーケンス図である。
図17は、画像処理装置のハードウェア構成図である。

実施例

0007

以下に添付図面を参照して、画像処理装置、画像処理方法、およびプログラムの実施の形態を詳細に説明する。

0008

図1は、本実施の形態の画像処理装置10の模式図である。

0009

画像処理装置10は、プレビュー画像を表示部20へ表示する装置である。

0010

画像処理装置10は、撮影部12、表示処理部14、記憶部16、入力部18、表示部20、および検出部25を備える。撮影部12、表示処理部14、記憶部16、入力部18、表示部20、および検出部25は、バス22により電気的に接続されている。

0011

なお、画像処理装置10は、撮影部12、表示処理部14、および検出部25と、記憶部16、入力部18、および表示部20の少なくとも1つと、を別体として設けた構成であってもよい。

0012

また、画像処理装置10は、携帯可能な携帯端末であってもよいし、固定型端末であってもよい。本実施の形態では、一例として、画像処理装置10は、撮影部12と、表示処理部14と、記憶部16と、入力部18と、表示部20と、検出部25と、を一体的に備えた携帯可能な携帯端末である場合を説明する。また、画像処理装置10は、外部装置通信するための通信部などの他の機能部を更に設けた構成であってもよい。

0013

撮影部12は、画像処理装置10の位置する実空間を撮影する。実空間は、例えば、室内などである。更に、例えば、実空間は、複数の壁面で構成された室内であり、一例としては、床面、天井面、床面と天井面とに連続する4つの壁面で構成された立方体状の室内である。なお、実空間は、画像処理装置10の位置する現実の空間であればよく、室内に限定されない。撮影部12は、撮影によって画像データを得る公知の撮影装置である。

0014

表示部20は、各種画像を表示する。表示部20は、LCD(Liquid Crystal Display)や、画像を投影するプロジェクタ等、公知の表示装置である。
本実施の形態では、表示部20には、後述する重畳画像が表示される。

0015

また、本実施の形態では、一例として、表示部20と撮影部12は、画像処理装置10の筐体において、表示部20の表示方向と、撮影部12の撮影方向と、が、反対方向(180°の関係)である場合を説明する。

0016

図2は、画像処理装置10の外観の概略図である。画像処理装置10の筐体11には、撮影部12と表示部20が設けられている。なお、筐体11の内部には、検出部25や表示処理部14や記憶部16などが設けられている。図2(A)および図2(B)に示すように、本実施の形態では、撮影部12の撮影方向A2と、表示部20の表示方向A1とは、反対方向となるように設けられている。なお、撮影部12の撮影方向A2と表示部20の表示方向A1とは、180°の関係にある場合に限定されず、同じ方向(0°の関係)であってもよいし、0°以上180°以下の範囲の何れの角度の関係であってもよい。

0017

一例として、本実施の形態では、撮影部12の撮影方向A2と、表示部20の表示方向A1とは、反対方向となるように設けられている場合を説明する。このため、例えば、画像処理装置10の位置を固定したまま、撮影部12で撮影した撮影画像を表示部20に表示した場合、表示部20に表示された撮影画像と、表示部20の背景(表示部20の表示方向A1の反対側)に位置する実空間の風景と、は略同じとなる。

0018

図1戻り、入力部18は、ユーザから各種操作を受け付ける。入力部18は、例えば、マウスマイクによる音声認識、ボタンリモコン、およびキーボード等である。

0019

なお、入力部18と表示部20とを一体的に構成してもよい。本実施の形態では、入力部18と表示部20とを一体的に構成し、UI部19とする場合を説明する。UI部19は、例えば、表示機能入力機能の双方を備えたタッチパネルである。このため、ユーザは、UI部19に表示された画像を確認しながら、UI部19の表示面上を操作することで、各種入力を行うことができる。

0020

記憶部16は、メモリハードディスクドライブ装置(HDD)等の記憶媒体であり、後述する各処理を実行するための各種プログラムや、各種データを記憶する。

0021

検出部25は、実空間における撮影部12の姿勢を示す第1姿勢情報を検出する。

0022

第1姿勢情報は、撮影部12の、実空間における姿勢を示す情報である。詳細には、第1姿勢情報は、実空間における、撮影部12の光軸の姿勢を示す情報である。なお、本実施の形態では、撮影部12の光軸方向と、撮影部12の撮影方向A2と、が一致するものとして説明する。

0023

姿勢とは、実空間における撮影部12の、基準姿勢(詳細後述)に対する傾きを示す。本実施の形態では、第1姿勢情報は、基準姿勢(詳細後述)に対する回転角ロール角αピッチ角βヨー角γ)で表す。

0024

詳細には、第1姿勢情報は、本実施の形態では、撮影部12の撮影方向A2に直交する撮影面の左右方向をX軸、上下方向をY軸、該撮影面に垂直な方向をZ軸としたカメラ座標の、X軸が東西方向と一致し、Y軸が鉛直方向と一致し、Z軸が南北方向と一致するときを基準姿勢とする。

0025

そして、本実施の形態では、第1姿勢情報は、この基準姿勢に対する撮影部12の撮影方向A2の傾き(姿勢)を示し、該基準姿勢に対する回転角(ロール角α、ピッチ角β、ヨー角γ)で示すものとして説明する。なお、以下では、撮影部12の撮影方向A2の姿勢を、単に、撮影部12の姿勢と称して説明する場合がある。

0026

なお、カメラ座標におけるXY平面は、撮影方向A2に直交する撮影面と一致する。また、本実施の形態では、撮影方向A2に直交する撮影面は、表示部20の表示面と一致する場合を説明する。また、カメラ座標の原点(0の点)は、撮影部12の撮影面の中央である。

0027

上述したように、本実施の形態では、撮影部12は、画像処理装置10に一体的に設けられている。このため、撮影部12の第1姿勢情報は、画像処理装置10、表示部20、およびUI部19の姿勢をも示すものとなる。

0028

図3は、座標の説明図である。図3(A)は、実空間の三次元座標(すなわち、ワールド座標)の説明図である。図3(B)は、撮影部12の撮影方向A2に直交する撮影面(本実施の形態では、表示部20の表示面と同一)を基準とする、カメラ座標の説明図である。図4は、第1姿勢情報の説明図である。

0029

すなわち、本実施の形態では、カメラ座標のX軸(図3(B)参照)がワールド座標の東西方向(図3(A)X軸方向参照)と一致し、カメラ座標のY軸(図3(B)参照)がワールド座標の鉛直方向(図3(A)のY軸方向参照)と一致し、カメラ座標のZ軸(図3(B)参照)がワールド座標の南北方向(図3(A)のZ軸方向参照)と一致するときを基準姿勢としている。そして、第1姿勢情報は、本実施の形態では、基準姿勢に対する撮影部12の回転角(ロール角α、ピッチ角β、ヨー角γ)で表す(図4参照)。

0030

なお、図3および図4では、説明を簡略化するために、撮影部12の姿勢の説明として、撮影部12の姿勢と同等の、表示部20およびUI部19の姿勢を図示した。

0031

検出部25には、傾きや方角(角度)を検出可能な公知の検出装置を用いる。例えば、検出部25は、ジャイロセンサ(3軸加速度計)、電子コンパス重力加速度計などである。

0032

なお、検出部25は、実空間における位置(具体的には、上記ワールド座標における位置)を検出する公知の機器を更に含む構成であってもよい。例えば、検出部25は、GPS(Global Positioning System)を備えた構成であってもよい。この場合、検出部25は、上記第1姿勢情報に加えて、実空間における撮影部12の位置(緯度経度、高度)を検出することができる。

0033

図1に戻り、表示処理部14は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などを含んで構成されるコンピュータである。なお、表示処理部14は、汎用のCPU以外の回路などであってもよい。表示処理部14は、画像処理装置10に設けられた装置各部を制御する。

0034

表示処理部14は、重畳画像を表示部20へ表示する制御を行う。重畳画像は、実空間を撮影した実空間画像に、仮想オブジェクトのオブジェクト画像を、重畳した画像である。

0035

仮想オブジェクトは、撮影された実空間画像には含まれない仮想オブジェクトである。仮想オブジェクトは、例えば、表示処理部14で扱う事の可能な画像データである。仮想オブジェクトの画像データは、例えば、外部装置や表示処理部14などで別途作成された画像の画像データや、実空間画像の撮影とは異なるタイミングで撮影された撮影画像の画像データなどであるが、これらに限定されない。

0036

表示処理部14による表示処理には、グラフィックス処理のためのプログラミングインターフェースを用いた3Dエンジンを用いる。例えば、表示処理部14は、OpenGL(Open Graphics Library)などの3Dエンジンにより、表示処理を実現する。

0037

本実施の形態では、重畳画像は、仮想三次元空間に実空間画像を配置し、仮想三次元空間に仮想オブジェクトを描画してオブジェクト画像とし、これらの実空間画像およびオブジェクト画像の配置された三次元モデルを、二次元面に投影した画像である場合を説明する。

0038

なお、重畳画像は、実空間画像、およびオブジェクト画像を二次元空間に配置した二次元モデルであってもよい。

0039

図5は、画像処理装置10の機能構成を示すブロック図である。上述したように画像処理装置10は、検出部25、撮影部12、記憶部16、UI部19、および表示処理部14を備える。検出部25、撮影部12、記憶部16、およびUI部19は、表示処理部14に信号やデータ授受可能に接続されている。

0040

表示処理部14は、第1取得部14Aと、第2取得部14Bと、受付部14Cと、設定処理部14Dと、算出部14Eと、光源設定部14Fと、表示制御部14Gと、を含む。

0041

第1取得部14A、第2取得部14B、受付部14C、設定処理部14D、算出部14E、光源設定部14F、および表示制御部14Gの一部またはすべては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(IntegratedCircuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

0042

第1取得部14Aは、検出部25から第1姿勢情報を取得する。検出部25は、連続して第1姿勢情報を検出するものとし、順次、第1取得部14Aへ出力するものとする。このため、第1取得部14Aは、最新の撮影部12の姿勢を示す第1姿勢情報を、連続して順次取得する。

0043

第2取得部14Bは、撮影部12で撮影された実空間画像を取得する。なお、本実施の形態では、ユーザによるUI部19の操作指示などによって表示処理アプリケーション起動が指示されると、撮影部12は、実空間画像の連続撮影を開始し、撮影した実空間画像を順次表示処理部14へ出力する。第2取得部14Bは、撮影部12で撮影された実空間画像を取得する。このため、第2取得部14Bは、最新の実空間画像を、連続して順次取得する。

0044

受付部14Cは、ユーザによる各種指示をUI部19(入力部18)から受け付ける。本実施の形態では、受付部14Cは、表示対象の仮想オブジェクトの指示を受け付ける。

0045

例えば、表示制御部14Gは、記憶部16に予め記憶された複数の画像データを選択するための選択画面をUI部19に表示する。ユーザは、例えば、UI部19(表示部20)に表示された選択画面を介して、表示対象の画像データを選択する。これにより、受付部14Cは、選択された画像データを、仮想オブジェクトとして受け付ける。

0046

また、受付部14Cは、後述する基準平面の設定指示を受け付ける。

0047

また、受付部14Cは、光源情報を受け付ける。光源情報は、仮想三次元空間に配置される仮想光源反射特性を示す情報である。例えば、受付部14Cは、記憶部16に予め光源情報テーブルを記憶する。そして、受付部14Cは、ユーザによるUI部19(入力部18)の操作指示によって、光源情報テーブルから選択された光源情報を受け付ける。

0048

図6は、光源情報テーブルのデータ構造の一例を示す図である。光源情報テーブルは、光源の種類を識別する光源IDと、光源名と、光源情報と、を対応づけた情報である。なお、光源情報テーブルは、データベースであってもよく、データ形式は限定されない。

0049

光源情報は、対応する光源IDによって特定される光源の、光属性を示す情報である。光属性は、重畳画像表示時の光を演出する反射量を特定するための情報である。光源情報は、光源の色温度に関する項目である鏡面光、拡散光、および環境光の各々における、RGBの色成分ごとの光量(輝度)で表される。RGBの各色成分の光の値は、最大値「1.0」であり、最小値「0」である。具体的には、図6中、鏡面光の値の一例として記載した“(1.00,0.95,0.95)”は、R成分、G成分、B成分の各々の鏡面光の光量が、各々、1.00,0.95,0.95であることを示す。

0050

表示制御部14Gは、記憶部16に記憶されている光源情報テーブルを読取り、光源情報テーブルに登録されている光源情報の一覧を、選択可能にUI部19(表示部20)に表示する。ユーザは、表示された光源情報の一覧の中から、所望の光源名に対応する光源情報を入力部18の操作指示により入力する。これにより、受付部14Cは、光源情報を受け付ける。

0051

図5に戻り、設定処理部14Dは、基準平面の設定、基準平面の撮影部12の撮影方向に対する第1相対方向の導出、基準平面の再設定などを行う。

0052

設定処理部14Dは、設定部14Hと、導出部14Nと、判定部14Iと、再設定部14Jと、を含む。

0053

設定部14Hは、基準平面の設定指示を受け付けたときに、実空間における、仮想オブジェクトを配置する基準平面を、該設定指示を受け付けたときに取得した第1姿勢情報に応じて設定する。

0054

基準平面は、実空間における平面状の領域である。例えば、実空間が、複数の壁面で構成された室内であるとする。この場合、基準平面は、この複数の壁面の内の1つの壁面である。また、実空間が、床面、天井面、床面と天井面とに連続する4つの壁面で構成された立方体状の室内であるとする。この場合、基準平面は、立方体状の室内を構成する6つの壁面の内の1つである。

0055

詳細には、設定部14Hは、設定指示を受け付けたときに検出された第1姿勢情報を、第1取得部14Aから受け付ける。そして、設定部14Hは、該第1姿勢情報を用いて、基準平面を設定する。

0056

例えば、表示制御部14Gは、表示部20に実空間画像を表示し、基準平面の設定指示を促すメッセージを表示する。ユーザは、表示部20に表示されている実空間画像を確認しながら、仮想オブジェクトを配置したい平面(天井、床面、壁面など)の方向に撮影方向が向くように調整し、設定ボタン(図示省略)を押す。すると、受付部14Cは、設定指示を受け付け、設定処理部14Dの設定部14Hへ出力する。

0057

設定部14は、この設定指示を受け付けたときに、該設定指示を受け付けたときの第1姿勢情報を用いて、基準平面を設定する。

0058

図7は、第1取得部14Aから受け付けた第1姿勢情報に応じた撮影部12(画像処理装置10、表示部20)の姿勢の一例を示す図である。

0059

第1姿勢情報によって特定される姿勢は、例えば、ランドスケープ図7(A)参照)、フェースアップ図7(B)参照)、フェースダウン図7(C)参照)、などがある。

0060

ランドスケープは、撮影部12の撮影方向A2に直交する撮影面(表示部20の表示面と同一平面)が、ワールド座標における、鉛直方向に平行な平面と一致する場合である。フェースアップとは、撮影部12の撮影方向A2に直交する撮影面(表示部20の表示面と同一平面)が、鉛直方向に垂直な垂直平面と一致し、且つ、表示部20の表示方向A1が反鉛直方向(重力方向の反対方向)と一致する場合である。フェースダウンとは、撮影部12の撮影方向A2に直交する撮影面(表示部20の表示面と同一平面)が、鉛直方向に垂直な垂直平面と一致し、且つ、表示部20の表示方向A1が鉛直方向(重力方向)と一致する場合である。

0061

基準平面の設定指示時には、ユーザは、例えば、上記ランドスケープ、フェースアップ、フェースダウンなどの姿勢となるように、画像処理装置10を把持し、設定指示を入力することが好ましい。

0062

図5に戻り、設定部14Hは、設定指示を受け付けたときに取得した第1姿勢情報を用いて、基準平面を設定する。

0063

基準平面の設定について、具体的に説明する。設定部14Hは、設定指示を受け付けたときに取得した第1姿勢情報を用いて、実空間における、撮影部12の位置する室内を構成する複数の壁面の内の1つの壁面を、基準平面として設定する。

0064

詳細には、設定部14Hは、実空間における、撮影部12の撮影方向に対して交差する平面を、基準平面として設定する。

0065

図8は、基準平面の設定の一例を示す説明図である。

0066

例えば、画像処理装置10が、実空間として、床面S1、天井面S6、床面と天井面とに連続する4つの壁面(S2〜S5)で構成された立方体状の室内であるとする。そして、画像処理装置10が、撮影部12の撮影方向A2を床面S1側とし、表示方向A1を壁面S2として位置していたとする(図8(A)参照)。

0067

図8に示す状況の場合、実空間における、第1姿勢情報によって特定される撮影方向A2に対して交差する平面は、床面S1である(図8(B)参照)。すなわち、この場合、設定部14Hは、床面S1を基準平面として設定する。

0068

ここで、設定部14Hは、設定指示を受け付けたときの、画像処理装置10における撮影部12の撮影方向A2と表示部20の表示方向A1との関係に応じて、基準平面を設定する。

0069

例えば、画像処理装置10における撮影部12の撮影方向A2と、画像処理装置10における表示部20の表示方向A1と、が反対方向(180°の関係)となるように、撮影部12および表示部20の配置が調整されていたとする。

0070

図9は、基準平面および第1相対方向の設定の一例を示す説明図である。なお、図9における壁面Sの配置は、図8(A)と同様であるとする。また、図9は、画像処理装置10における撮影部12の撮影方向A2と、画像処理装置10における表示部20の表示方向A1と、が反対方向(180°の関係)である場合を示す。

0071

撮影部12の撮影方向A2と、表示部20の表示方向A1とが反対方向である場合、設定部14Hは、実空間における、撮影部12の位置する室内を構成する複数の壁面の内、撮影部12の撮影方向A2または反撮影方向に交差する壁面であって、且つ該撮影方向A2に直交する撮影面との成す角度の最も小さい壁面を、基準平面として設定する。

0072

図9に示す例では、設定部14Hは、複数の壁面Sの内、撮影方向A2および表示方向A1に交差する、床面S1と壁面S2を特定する。

0073

そして、設定部14Hは、特定した壁面の内、撮影方向A2に直交する撮影面との成す角度の最も小さい壁面を、基準平面として設定する。図9に示す例では、特定した床面S1および壁面S2の内、撮影方向A2に直交する撮影面との成す角度(図9中、角度φ1、角度φ2参照(φ1<φ2とする))の最も小さい壁面である床面S1を基準平面として設定する。なお、角度φ1と角度φ2とが同じである場合には、特定した床面S1および壁面S2の内、撮影部12より撮影方向A2の下流側の壁面Sである床面S1を、基準平面として設定する。

0074

一方、画像処理装置10における撮影部12の撮影方向A2と、画像処理装置10における表示部20の表示方向A1と、が同一方向(0°の関係)となるように、撮影部12および表示部20の配置が調整されていたとする。

0075

図10は、基準平面の設定の一例を示す説明図である。なお、図10における壁面Sの配置は、図8(A)と同様であるとする。また、図10は、画像処理装置10における撮影部12の撮影方向A2と、画像処理装置10における表示部20の表示方向A1と、が同一方向(0°の関係)である場合を示す説明図である。

0076

設定部14Hは、撮影部12の撮影方向A2と、表示部20の表示方向A1とが同一方向である場合、実空間における、撮影部12の位置する室内を構成する複数の壁面の内、撮影部12の撮影方向A2または反撮影方向に交差する壁面であって、且つ該撮影方向A2に直交する撮影面との成す角度の最も大きい壁面を、基準平面として設定する。

0077

図10に示す例では、設定部14Hは、複数の壁面Sの内、撮影方向A2、表示方向A1、これらの反対方向の各々に交差する、床面S1と壁面S2を特定する。

0078

そして、設定部14Hは、特定した壁面の内、撮影方向A2に直交する撮影面との成す角度の最も大きい壁面を、基準平面および第1相対方向として設定する。図10に示す例では、特定した床面S1および壁面S2の内、撮影方向A2に直交する撮影面との成す角度(図10中、角度φ1、角度φ2参照(φ1<φ2とする))の最も大きい壁面である壁面S2を、基準平面として設定する。なお、角度φ1と角度φ2とが同じである場合には、特定した床面S1および壁面S2の内、撮影部12より撮影方向A2の下流側の壁面Sである壁面S2を、基準平面として設定する。

0079

図5に戻り、導出部14Nは、現在の撮影部12の撮影方向A2に対する、設定された基準平面の第1相対方向を導出する。導出部14Nは、順次検出される第1姿勢情報を用いて、現在の撮影部12の撮影方向A2を特定する。そして、導出部14Nは、特定した撮影方向A2に対する、設定部14Hで設定された基準平面の相対的な方向である第1相対方向を導出する。

0080

このため、画像処理装置10の回転などに伴い、撮影部12の撮影方向A2が回転すると、回転に伴い、回転後の現在の撮影部12の撮影方向A2に対する基準平面の第1相対方向が、順次算出されることとなる。

0081

判定部14Iは、基準平面の設定時に用いた第1姿勢情報と、今回取得した第1姿勢情報と、の比較結果に基づいて、基準平面を設定したときから撮影方向A2が予め定めた第1相対角度以上回転したか否かを判定する。今回取得した第1姿勢情報とは、最新の第1姿勢情報であり、現在の撮影部12の姿勢を示す第1姿勢情報である。すなわち、判定部14Iは、基準平面の設定時の撮影方向A2からの回転角度が、第1相対角度以上であるか否かを判定する。

0082

例えば、設定部14Hは、基準平面の設定を行う度に、設定時に用いた第1姿勢情報を、基準平面の設定時の第1姿勢情報として、記憶部16に記憶する。なお、記憶部16に、基準平面の設定時の第1姿勢情報が既に記憶されている場合には、設定部14Hは、最新の基準平面の設定時に用いた第1姿勢情報が記憶されるように、既に記憶されている基準平面の設定時の第1姿勢情報に上書きする。また、後述する基準平面の再設定が行われた場合には、再設定時に用いた第1姿勢情報が、基準平面の設定時の第1姿勢情報として、記憶部16に上書きして記憶される。

0083

例えば、設定部14Hは、基準平面の設定時に用いた第1姿勢情報(A0=(α0,β0,γ0))を、記憶部16に記憶する。α0は、基準平面設定時の、第1姿勢情報に示されるロール角αである。β0は、基準平面設定時の、第1姿勢情報に示されるピッチ角βである。γ0は、基準平面設定時の、第1姿勢情報に示されるヨー角γである。

0084

そして、現在の撮影部12の姿勢を示す、今回取得した第1姿勢情報を、例えば、At=(αt,βt,γt)とする。tは、基準平面の設定に用いた第1姿勢情報の取得からの経過時間を示す。すなわち、Atは、基準平面の設定時を時刻「0」とし、該時刻「0」から経過時間「t」経過したときの(すなわち現在の)、撮影部12の姿勢を示す第1姿勢情報である。

0085

そして、判定部14Iは、現在の撮影部12の姿勢を示す第1姿勢情報Atから、基準平面の設定時に用いた第1姿勢情報A0を減算した減算値At−A0を、基準平面の設定時からの撮影部12の撮影方向A2の回転角度として算出する。

0086

そして、判定部14Iは、この減算値At−A0によって示される回転角度(具体的には、At−A0の絶対値)が、予め定めた第1相対角度以上であるか否かを判定する。

0087

第1相対角度は、予め任意の値を設定すればよい。また、この第1相対角度は、ユーザによる入力部18の操作指示などにより、適宜変更可能である。

0088

第1相対角度は、後述する第2相対角度より小さい角度である。例えば、第2相対角度が90°である場合、第1相対角度は45°より大きく且つ90°未満の範囲であることが好ましく、80°であることが特に好ましい。

0089

また、例えば、第2相対角度が180°である場合、第1相対角度は、135°より大きく180°未満の範囲であることが好ましく、第1相対角度は170°であることが特に好ましい。

0090

再設定部14Jは、判定部14Iによって第1相対角度以上回転したと判定されたときに、基準平面を第1相対角度より大きい第2相対角度回転した平面を、新たな基準平面として再設定する。なお、基準平面の回転方向は、判定された回転の回転方向と同じとする。

0091

例えば、第2相対角度を90°に設定し、第1相対角度を80°に設定したとする。そして、立方体状の室内などの実空間において、画像処理装置10を、鉛直方向を回転軸として回転させたとする。この場合、再設定部14Jは、撮影方向A2に交差する室内の各壁面Sを、回転に応じて順に基準平面として再設定することができる。

0092

基準平面を再設定したときの、撮影部12の第1姿勢情報A0は、下記式(1)で表せる。

0093

A0=(α0+π/2×Sα,β0+π/2×Sβ,γ0+π/2×Sγ)
・・・式(1)

0094

式(1)中、Sα,Sβ,Sγは、撮影部12の姿勢の変化を示す整数変数{0,1,2,3}である。α0は、前回の(再設定前の)基準平面設定時の、第1姿勢情報に示されるロール角αである。β0は、前回の(再設定前の)基準平面設定時の、第1姿勢情報に示されるピッチ角βである。γ0は、前回の(再設定前の)基準平面設定時の、第1姿勢情報に示されるヨー角γである。

0095

そして、再設定部14Jは、再設定した基準平面の第1姿勢情報A0を、基準平面の設定時に用いた第1姿勢情報として、記憶部16に上書きして記憶する。

0096

図11は、基準平面の再設定の説明図である。図11(A)に示すように、基準平面の設定時の、第1姿勢情報によって特定される姿勢の撮影部12の撮影方向A2が、床面S1に連続する壁面S3に交差する方向であり、該壁面S3が基準平面として設定されていたとする。

0097

この状態から、例えば、画像処理装置10の回転により、撮影部12の撮影方向A2が、壁面S3に直交する方向から、壁面S3に対して90°右手側に配置された壁面S5に直交する方向に、回転されたとする(図11(B)中、矢印C方向参照)。また、第1相対角度が80°であり、第2相対角度が90°であったとする。

0098

この場合、判定部14Iによって第1相対角度(例えば、80°)以上回転したと判定されたときに、再設定部14Jは、基準平面である壁面S3を第2相対角度(例えば、90°)回転した方向の壁面S5を、新たな基準平面として再設定する。

0099

図12は、基準平面の再設定の詳細な説明図である。

0100

例えば、図12(A)に示すように、基準平面の設定時の、画像処理装置10の撮影部12の撮影方向A2が、ワールド座標における−Z軸方向に一致する方向であったとする。そして、実空間における、この撮影方向A2に交差する平面(壁面)が基準平面として設定されていたとする。

0101

そして、図12(B)に示すように、この状態から撮影部12の撮影方向A2を、Y軸を回転軸として右回り図12(B)中、矢印R1方向)に角度θ回転させたとする。この場合、基準平面の位置は動かないことから、撮影部12の撮影方向A2に対する基準平面の第1相対方向は、撮影方向A2からY軸を回転軸として左回り図12(B)中、矢印R1の反対方向)に角度−θ回転させた方向となる。

0102

そして、図12(C)に示すように、回転角度θが第1相対角度(例えば、80°)を超えたときに、上記処理により、基準平面を、Y軸を回転軸として右回り(図12(C)中、矢印R1方向)に第2相対角度(例えば、90°)回転させた方向が、新たな基準平面として再設定される。この場合、第1相対方向は、撮影方向A2からY軸を回転軸として左回り(図12(C)中、矢印R1の反対方向)に角度−θ回転させた方向となる。

0103

そして、図12(D)に示すように、新たな基準平面が再設定された後に、更に、撮影部12の撮影方向A2を、Y軸を回転軸として右回り(図12(D)中、矢印R1方向)に角度θ’回転させたとする。そして、回転角度θ’が第1相対角度(例えば、80°)を超えたときに、上記と同様に、基準平面を、Y軸を回転軸として右回り(図12(D)中、矢印R1方向)に第2相対角度(例えば、90°)回転させた方向が、新たな基準平面として再設定される。そして、撮影部12の撮影方向A2に対する新たな基準平面の方向が、第1相対方向となる。この場合、第1相対方向は、撮影方向A2からY軸を回転軸として左回り(図12(D)中、矢印R1の反対方向)に角度−θ’回転させた方向となる。

0104

すなわち、第1相対角度が80°である場合、図12(B)に示す状態では、−80<θ<80の範囲で、XY平面に平行な面が、基準平面として設定される。また、図12(C)に示すように基準平面が切り替えられて、新たな基準平面が再設定されると、図12(D)に示す状態では、−80<θ’<80の範囲で、YZ平面に平行な面が、基準平面として再設定されることとなる。

0105

図5に戻り、算出部14Eは、第2姿勢情報、第1位置、倍率などを算出する。算出部14Eは、第1算出部14Kと、第2算出部14Lと、第3算出部14Mと、を含む。

0106

第1算出部14Kは、導出部14Eで導出された第1相対方向に位置する基準平面の、第2姿勢情報を算出する。第2姿勢情報は、現在の撮影部12の撮影方向A2に対する、設定された基準平面の姿勢を示す情報である。

0107

第2姿勢情報は、第1姿勢情報と同様に、撮影部12の撮影方向A2に対する、回転角(ロール角α、ピッチ角β、ヨー角γ)で表される。

0108

第1算出部14Kは、以下のようにして第2姿勢情報を算出する。第1算出部14Kは、基準平面の設定時の撮影方向A2から現在の撮影方向A2への回転角度(At−A0)の逆方向の回転角度を算出することで、第2姿勢情報を算出する。第2姿勢情報は、下記式(2)で表せる。

0109

(A0−At)=(α0-αt,β0-βt,γ0-γt)・・・式(2)

0110

第2算出部14Lは、実空間における、基準平面の第1位置を算出する。第1位置は、実空間における、基準平面として設定された平面(壁面)における特定の位置を示す。この位置は、ユーザによって設定される。なお、第2算出部14Lは、基準平面における、基準平面の設定時の撮影方向A2との交点に相当する位置を、第1位置として算出してもよい。

0111

また、第2算出部14Lは、現在の撮影部12の撮影方向A2を、基準平面の設定時の撮影方向A2から現在の撮影方向A2への回転角度(At−A0)分、逆の回転方向に回転させた位置を、第1位置として算出してもよい。

0112

第3算出部14Mは、第1距離に対する、第2距離の倍率を算出する。第1距離は、基準平面の設定に用いた第1姿勢情報によって特定される姿勢の撮影部12と、基準平面と、の距離を示す。第2距離は、撮影部12と、撮影部12を原点として撮影方向A2の回転角度に応じた角度、基準平面を回転させた仮平面と、の距離を示す。

0113

図13は、第1距離に対する第2距離の倍率算出の説明図である。

0114

図13(A)および図13(B)に示すように、基準平面(図13(B)では、基準平面S’とする)の設定時には、撮影部12の撮影方向A2に交差する壁面(平面)が基準平面として設定される。このため、表示部20には、後述する表示制御部14Gによる処理によって、実空間画像42における該基準平面に対応する領域に仮想オブジェクトを描画したオブジェクト画像40が表示されることとなる。

0115

図13(C)および図13(D)に示すように、図13(A)および図13(B)に示す状態から、画像処理装置10を回転させる。すなわち、画像処理装置10を回転させ、撮影部12の撮影方向A2を、Y軸を回転軸として右回り(図13(C)および図13(D)中、矢印R1方向)に角度θ回転させたとする。この場合、実空間における基準平面(図13(D)中、基準平面S’参照)の位置は動かないことから、基準平面の、撮影方向A2に対する第1相対方向は、撮影方向A2からY軸を回転軸として左回りに角度−θ回転させた方向となる。

0116

そして、第3算出部14Mは、撮影部12を原点として撮影方向A2の回転角度θに応じた角度、基準平面S’を回転させた仮平面31を設定する。

0117

このとき、基準平面の設定時に用いた第1姿勢情報によって特定される姿勢の撮影部12と、基準平面S’と、の第1距離を「1」とする。すると、撮影部12と仮平面31との第2距離は、1/cosθで表せる。第3算出部14Mは、この1/cosθを、第1距離に対する第2距離の倍率として算出する。

0118

詳細は後述するが、表示制御部14Gは、基準平面に描画する仮想オブジェクトの位置を、基準平面の設定時に比べて該倍率に応じた距離、奥行き方向に配置する。具体的には、該倍率が1以上である場合、奥行き方向の手前側視点位置側)に配置し、該倍率が1未満である場合、奥行き方向の奥側(視点位置から離れる側)に配置する。

0119

また、表示制御部14Gは、基準平面の設定時に対して上記倍率に応じて拡大または縮小した大きさの仮想オブジェクトを、基準平面に対応する領域に描画する(図13(E)、図13(F)参照)。具体的には、表示制御部14Gは、表示する仮想オブジェクトの大きさを、cosθ倍した大きさとして、描画する。

0120

図5に戻り、光源設定部14Fは、光源の光源効果を示す光源情報を設定する。本実施の形態では、光源設定部14Fは、受付部14Cで受け付けた光源情報を設定する。

0121

表示制御部14Gは、撮影部12によって撮影された実空間画像における、基準平面に対応する領域に、第2姿勢情報の姿勢の仮想オブジェクトを描画したオブジェクト画像を重畳した重畳画像を、表示部20に表示する制御を行う。上述したように、表示制御部14Gは、OpenGLを用いて、重畳画像を表示する。

0122

図14は、重畳画像の表示の説明図である。図14(A)に示すように、重畳画像44は、実空間画像42に、オブジェクト画像40を重畳した画像である。

0123

まず、表示制御部14Gは、仮想三次元空間に実空間画像42を配置する。表示制御部14Gは、順次撮影される実空間画像42を順次取得し、最新の(現在の)実空間画像42を仮想三次元空間に配置する。

0124

そして、表示制御部14Gは、仮想三次元空間における、視点位置から実空間画像42の中央に向かう方向を現在の撮影方向A2とし、第1相対方向(撮影部12の撮影方向A2に対する基準平面の相対方向)に、第2姿勢情報の姿勢の仮想オブジェクトを描画して、オブジェクト画像40とする。仮想三次元空間における、第1相対方向に仮想オブジェクトを描画することで、実空間画像42における基準平面に対応する領域に、仮想オブジェクトを描画することができる。なお、このとき、表示制御部14Gは、オブジェクト画像40に、光源情報によって示される光源効果を付与することが好ましい。

0125

そして、表示制御部14Gは、OpenGLを用いて、この仮想三次元空間を、撮影方向A2の上流側の視点位置から視認した二次元画像に投影することで、実空間画像42とオブジェクト画像40とを重畳した重畳画像44を生成し、表示部20に表示する。

0126

そして、表示制御部14Gは、この表示処理を、ユーザによる表示処理の終了を示す終了指示を受付部14Cから受け付けるまで、繰り返し実行する。

0127

このため、画像処理装置10が回転することで、撮影部12の撮影方向A2が回転すると、撮影方向A2に対する第1相対方向に、第2姿勢情報の姿勢でオブジェクト画像40が表示されることとなる。このため、図14(B)に示すように、表示部20に表示された重畳画像44に含まれるオブジェクト画像40は、撮影部12の撮影方向A2の回転方向(図14(B)中、矢印R方向参照)とは逆方向(図14(B)中、矢印−R方向参照)に、回転することとなる。

0128

すなわち、設定部14Hで設定された基準平面に、オブジェクト画像40をあたかも貼り付けたかのような重畳画像44が、表示部20に表示されることとなる。また、撮影部12の回転に応じて、オブジェクト画像40は、基準平面に貼り付いたままの状態を維持したまま、表示部20の画面上において、撮影部12の回転方向とは逆方向に移動するように、表示されることとなる。

0129

また、表示制御部14Gは、実空間画像42における、第1位置の基準平面に対応する領域に、第2姿勢情報の姿勢の仮想オブジェクトを描画したオブジェクト画像40を重畳した重畳画像44を、表示部20に表示する制御を行う。

0130

このため、画像処理装置10が回転された場合であっても、オブジェクト画像40は、設定部14Hで設定された基準平面にあたかも貼り付いたかのような状態で、表示部20に表示されることとなる。

0131

図15は、オブジェクト画像40の表示の説明図である。

0132

図15(A)および図15(B)に示すように、基準平面(図15(B)では、基準平面S’とする)の設定時には、撮影部12の撮影方向A2に交差する壁面(平面)が基準平面S’として設定される。このため、表示制御部14Gによる処理によって、実空間画像42における該基準平面S’に対応する領域に仮想オブジェクトを描画したオブジェクト画像40が表示されることとなる。

0133

図15(C)および図15(D)に示すように、図15(A)および図15(B)に示す状態から、画像処理装置10を矢印R1方向に回転させたとする。すなわち、画像処理装置10を回転させ、撮影部12の撮影方向A2を、Y軸を回転軸として右回り(図15(C)および図15(D)中、矢印R1方向)に角度θ回転させたとする。この場合、実空間における基準平面S’の位置は動かないことから、基準平面S’の第1相対方向は、撮影方向A2からY軸を回転軸として左回りに角度−θ回転させた方向となる。

0134

図15(E)および図15(F)に示すように、画像処理装置10を基準として考察すると、画像処理装置10を中心にして仮想オブジェクトを角度−θ回転させたことに等しい。

0135

そして、表示制御部14Gは、現在の実空間の実空間画像における、第1位置の基準平面に対応する領域に、第2姿勢情報の姿勢の仮想オブジェクトを描画する。

0136

上述したように、第1位置は、例えば、現在の撮影部12の撮影方向A2を、基準平面の設定時の撮影方向A2から現在の撮影方向A2への回転角度(At−A0)分、逆の回転方向に回転させた位置である。このため、図15(E)および図15(F)に示すように、表示制御部14Gは、画像処理装置10(撮影部12)の回転方向とは逆方向に同じ回転角度回転させた位置である第1位置に、オブジェクト画像40が配置されるように、オブジェクト画像40を回転させる。そして、表示制御部14Gは、重畳画像をオブジェクト画像40へ表示する。

0137

このため、オブジェクト画像40は、実空間上の設定された基準平面(壁面など)に固定された状態で、表示される。

0138

図16は、画像処理装置10で実行する表示処理の手順を示すシーケンス図である。

0139

受付部14Cは、ユーザから基準平面の設定指示を受け付けると、設定処理部14Dへ出力する(SEQ100)。

0140

設定処理部14Dの設定部14Hは、設定指示を受け付けたときに第1取得部14Aで取得した第1姿勢情報を読取る(SEQ102)。そして、設定部14Hは、SEQ102で読取った第1姿勢情報を用いて、基準平面を設定する(SEQ104)。

0141

なお、導出部14Nは、検出部25で新たな第1姿勢情報が検出される度に、撮影部12の撮影方向A2に対する、設定された基準平面の第1相対方向を導出し、算出部14Eおよび表示制御部14Gへ出力する。また、第1算出部14Kは、第1相対方向が導出される度に、第2姿勢情報を算出し、算出部14Eおよび表示制御部14Gへ出力する。

0142

また、設定処理部14Dの判定部14Iが、基準平面を設定したときから撮影方向A2が予め定めた第1相対角度以上回転したか否かを判定する。

0143

そして、第1相対角度未満回転したと判定されたときは、設定された基準平面を表示制御部14Gへ通知する(SEQ106)。一方、第1相対角度以上回転したと判定されたときは、再設定部14Jが、基準平面を再設定し、再設定した基準平面を、表示制御部14Gへ通知する(SEQ106)。

0144

表示制御部14Gは、後述する表示処理によって、撮影部12で撮影された実空間画像42における、基準平面に対応する領域に、第2姿勢情報の姿勢の仮想オブジェクトを描画したオブジェクト画像40を重畳した重畳画像44を、表示部20に表示する制御を行う(SEQ107)。

0145

具体的には、画像処理装置10では、以下のSEQ108〜SEQ120の処理を繰り返し実行する。

0146

まず、表示制御部14Gが算出部14Eに、第2姿勢情報と、第1位置と、相対距離と、の算出指示を出力する(SEQ108)。

0147

算出部14Eは、第2姿勢情報、第1位置、および相対距離を算出する(SEQ110)。そして、算出部14Eは、算出した第2姿勢情報、第1位置、および相対距離を、表示制御部14Gへ出力する(SEQ112)。

0148

表示制御部14Gは、光源情報を光源設定部14Fから取得する(SEQ114)。次に、表示制御部14Gは、実空間画像42を第2取得部14Bから取得する(SEQ116)。

0149

そして、表示制御部14Gは、実空間画像42における、第1位置の基準平面に対応する領域に、第2姿勢情報の姿勢の仮想オブジェクトを描画したオブジェクト画像40を重畳した重畳画像44を生成し(SEQ118)、表示部20に表示する制御を行う(SEQ120)。そして、本シーケンスを終了する。

0150

以上説明したように、本実施の形態の画像処理装置10は、撮影部12と、検出部25と、第1取得部14Aと、受付部14Cと、設定部14Hと、導出部14Nと、第1算出部14Kと、表示制御部14Gと、を備える。撮影部12は、実空間を撮影する。検出部25は、撮影部12の第1姿勢情報を検出する。第1取得部14Aは、検出部25から第1姿勢情報を取得する。受付部14Cは、ユーザから設定指示を受け付ける。設定部14Hは、設定指示を受け付けたときに、実空間における、仮想オブジェクトを配置する基準平面を、第1姿勢情報に応じて設定する。導出部14Nは、撮影部12の撮影方向に対する、基準平面の第1相対方向を導出する。第1算出部14Kは、第1相対方向に位置する基準平面の、第2姿勢情報を算出する。表示制御部14Gは、撮影部12によって撮影された実空間画像における、基準平面に対応する領域に、第2姿勢情報の姿勢の仮想オブジェクトを描画したオブジェクト画像を重畳した重畳画像を、表示部20に表示する制御を行う。

0151

このように、本実施の形態の画像処理装置10では、実空間における基準平面を設定し、実空間画像における、基準平面に対応する領域に、仮想オブジェクトを描画して表示部20に表示する。このため、本実施の形態の画像処理装置10では、ARマーカなどを実空間に設置する必要なく、AR技術を実現することができる。

0152

従って、本実施の形態の画像処理装置10では、実空間の環境に依存せず、容易に拡張現実による画像を提供することができる。

0153

次に、上述した画像処理装置10のハードウェア構成について説明する。

0154

図17は、画像処理装置10のハードウェア構成図である。画像処理装置10は、ハードウェア構成として、装置全体を制御するCPU2901と、各種データや各種プログラムを記憶するROM2902と、各種データや各種プログラムを記憶するRAM2903と、UI装置2904と、撮影装置2905と、検出器2906と、を主に備えており、通常のコンピュータを利用したハードウェア構成となっている。なお、UI装置2904は、図1のUI部19に相当し、撮影装置2905は、撮影部12に相当し、検出器2906は、検出部25に相当する。

0155

上記実施の形態の画像処理装置10で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルCD−ROMフレキシブルディスクFD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

0156

また、上記実施の形態の画像処理装置10で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の画像処理装置10で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

0157

また、上記実施の形態の画像処理装置10で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。

0158

上記実施の形態の画像処理装置10で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記録媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

0159

なお、本発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。また、種々の変形が可能である。

0160

10画像処理装置
12撮影部
14A 第1取得部
14B 第2取得部
14C 受付部
14F光源設定部
14G表示制御部
14H 設定部
14J 再設定部
14K 第1算出部
14L 第2算出部
14M 第3算出部
14N導出部

先行技術

0161

特開2013−186691号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人