図面 (/)

技術 画像処理装置および方法

出願人 キヤノン株式会社
発明者 小林俊広守田憲司内山晋二
出願日 2007年5月18日 (13年2ヶ月経過) 出願番号 2007-133034
公開日 2008年11月27日 (11年8ヶ月経過) 公開番号 2008-287588
状態 特許登録済
技術分野 イメージ処理・作成 表示装置の制御、回路
主要キーワード アスペクト比α 視線軸 較正モード バックバッファ 多角形領域 OEM ユーザ視点 較正情報
関連する未来課題
重要な関連分野

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2008年11月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

複合現実感提示するMRシステムにおいて、主点位置を設定できない三次元CG描画プログラムを用いる場合に、適切なMR画像を提供することを目的とする。

解決手段

撮像装置101の較正処理を行い、較正情報300を記憶装置に保存する。保存された較正情報300に含まれる主点位置301を参照して、表示画面の左上を原点として設定された表示画面の領域10を含むようにウィンドウ領域30を設定し、領域10に実写画像の描画を、ウィンドウ領域30に対して仮想画像の描画を行い、ウィンドウ領域30から有効なMR画像の領域10を切り出し、表示装置に表示する。

概要

背景

現実世界仮想世界とを違和感なく自然に結合する複合現実感MR:Mixed Reality)の技術を応用したシステムMRシステム)が盛んに提案されている。これらのMRシステムは、カメラなどの撮像装置によって撮影した現実空間の画像(実写画像)に対し、三次元コンピュータグラフィックスCG:Computer Graphics)で描画した仮想空間の画像を合成する。そして、合成した画像を、ヘッドマウントディスプレイ(HMD:Head−Mounted Display)などの表示装置に表示することで、ユーザに提示している。(特許文献1参照)
これらのMRシステムは、実写画像の変化に追従させるかたちで仮想空間の画像を生成するために、ユーザ視点位置姿勢リアルタイムで取得する。ユーザ視点での位置姿勢を仮想空間での仮想カメラ視点の位置姿勢として設定し、三次元CGによって仮想空間の画像を描画して、実写画像と合成する。このことにより、MRシステムのユーザは、あたかも現実空間の中に仮想の物体が存在しているかのような画像を観察することができる。

MRシステムにおいて、現実空間と仮想空間とが自然に合成されたような複合現実感画像MR画像)を生成するためには、実写画像と仮想空間の画像とで見え方が同じになるように仮想画像を生成しなければならない。現実空間を撮像する撮像装置は三次元空間を二次元平面に射影する装置であり、現実空間中三次元座標が実写画像の各画素の点として射影されているとみなすことができる。仮想画像の見え方を実写画像の見え方と一致させるためには、仮想空間中の三次元座標が現実空間中の三次元座標と同じになるように仮想空間の世界座標系を構成し、仮想カメラに撮像装置と同じ位置姿勢を設定するのに加えて、三次元空間から二次元平面への射影が撮像装置と同じになるように仮想カメラを設定しなければならない。

ここで、三次元CGによって仮想画像を生成するための方法について説明する。三次元CGでは、コンピュータ中に仮想的に設定されたCGモデルに関して、モデリング変換視界変換、射影変換ビューポート変換を行い、仮想画像を生成する。モデリング変換では、各CGモデルに対して設定されている座標系から、仮想空間全体の基準となる世界座標系への変換を行う。視界変換では、世界座標系から仮想カメラの視点を原点とするカメラ座標系への変換を行う。射影変換では透視投影の視体積を定義し、仮想画像上にCGオブジェクトがどのように射影されるかを決定する。ビューポート変換では、透視投影後のCGモデルの座標を、実際に表示を行うウィンドウ上での座標に変換する。

射影変換では、視体積と呼ばれる立体を定義する。CGオブジェクトのうち、視体積の内部に存在する(三次元の)点のみが二次元画像上の点として射影される。透視投影の場合、視体積は図7の灰色の領域に示すような錘台に似た形状となる。視体積を設定するパラメータは、left,right,top,bottom,near,farの6種類から成る。図7はカメラ座標系で表現され、原点が仮想カメラの視点、Z軸が視線軸となっている。すなわち、図7において射影中心は原点であり、投影面上でZ軸が通過する点が仮想画像上での基準点(仮想画像上で射影中心を表す点)である。

自然な(違和感の無い)見え方のMR画像を生成するためには、実写画像を撮影した撮像装置と同じ透視投影が行われるように、視体積を設定する必要がある。left,right,top,bottomの4パラメータは撮像装置の主点位置焦点距離、画像サイズから算出される。near,farの2パラメータについては、撮像装置とは独立して別途設定される値である。

主点位置とは、撮像装置の光学中心(すなわち撮像装置の射影中心)を表す実写画像中での座標であり、撮像装置に固有の値である。理想的な撮像装置であれば、主点位置と実写画像の画像中心とは一致する。しかし現実には、撮像装置の光学系の構成や撮像装置の組み立て誤差撮像画像トリミングなどにより、主点位置と実写画像の画像中心とは一致しないことが多い。そのため、MRシステムでは、撮像装置を較正することにより主点位置をあらかじめ算出しておき、仮想空間を描画するときに、仮想画像上での射影中心が実写画像上での主点位置と一致するように視体積を設定する。このようにして生成した仮想画像を実写画像に重畳することによって、実写画像と仮想画像の射影中心が一致した自然な見え方のMR画像が生成される。なお、撮像装置の較正時には、主点位置の座標のほかにも撮像装置の焦点距離と撮像装置が撮像する画像サイズを算出する。

ここで、視体積の設定方法について、具体的に説明する。図7における視体積のパラメータをl=left,r=right,t=top,b=bottom,n=near,f=farとする。撮像装置を較正したパラメータのうち、画像中心を原点としたときの主点位置の座標を(up,vp)、撮像装置の焦点距離をf、撮像装置が撮像する画像サイズを(w,h)とすると、l,r,t,bは次のように算出することができる。
l=(up−w/2)×n/f
r=(up+w/2)×n/f
t=(vp−h/2)×n/f
b=(vp+h/2)×n/f ・・・(式1)
視線軸はZ軸であるので、up=0のとき、lとrはZ軸に関して(左右)対称となる。同様にvp=0のときもtとbはZ軸に関して(上下)対称となる。

上記のパラメータを用いて描画した仮想画像のサイズが実写画像のサイズと同じであれば、実写画像における主点位置の座標は、仮想画像上で射影中心を表す点(基準点)と一致する。

一般的なMRシステムにおいては、仮想視点の位置姿勢および撮像装置の較正によって得られた主点位置の座標、焦点距離、画像サイズから上記の方法によってl,r,t,bを算出し、三次元CG描画プログラムに渡すことによって、実写画像と射影中心が一致した仮想画像を生成することができる。実写画像と生成された仮想画像とを合成することによって,最終的なMR画像を生成する。

ところが、三次元CG描画プログラムの中には、上記l,r,t,bを任意に指定できないものが存在する。例えば、仏国Mercury Computer System社のグラフィックスライブラリであるOpen Inventor(商標)では、仮想カメラの視体積パラメータとして、アスペクト比垂直方向画角とnear,farの値を設定することができる。これらのパラメータから視体積のパラメータl,r,t,bは以下の式に基づいて算出することができる。ただし、アスペクト比をa,垂直方向画角をfovyとする。実際には、三次元CG描画プログラムの内部で以下の式に基づく演算が実行されている。
l=−n×tan(fovy/2)×a
r= n×tan(fovy/2)×a
t=−n×tan(fovy/2)
b= n×tan(fovy/2) ・・・(式2)
式2では、視線軸(Z軸)に関して、lとrおよびtとbが必ず対称となる。式1において主点位置(up,vp)が(up,vp)=(0,0)であるのと等価である。これは、仮想画像上において、主点位置が常に画像中心にあることを意味する。すなわち、例に挙げた三次元CG描画プログラムでは上下・左右対称な視体積しか設定できず、主点位置と射影中心とが一致する視体積を設定することができない。
登録3363861号公報
R.Y.Tsai,Metrology Using Off−the−Shelf TV Cameras and LensesIEEE Journal of Robotics and Automation,Vol.3,No.4,pp. 323−344,August 1987.

概要

複合現実感を提示するMRシステムにおいて、主点位置を設定できない三次元CG描画プログラムを用いる場合に、適切なMR画像を提供することを目的とする。撮像装置101の較正処理を行い、較正情報300を記憶装置に保存する。保存された較正情報300に含まれる主点位置301を参照して、表示画面の左上を原点として設定された表示画面の領域10を含むようにウィンドウ領域30を設定し、領域10に実写画像の描画を、ウィンドウ領域30に対して仮想画像の描画を行い、ウィンドウ領域30から有効なMR画像の領域10を切り出し、表示装置に表示する。

目的

本発明は、上記の課題に鑑みてなされたものであり、主点位置を設定できない三次元CG描画プログラムを用いて、実写画像と仮想画像が同じ見え方になるような画像を生成できることを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像手段で撮像された実写画像を取得する手段と、前記撮像手段の主点位置を取得する取得手段と、前記主点位置と前記実写画像とに基づいて、仮想画像を描画する仮想画像描画領域を設定する設定手段と、前記仮想画像描画領域に描画する仮想画像を生成する生成手段と、前記設定手段で設定された仮想画像描画領域に、前記仮想画像と前記実写画像とを描画する描画する描画手段と、前記仮想画像描画領域から表示手段に表示する領域の表示画像を抽出する抽出手段と、前記抽出手段で抽出した表示画像を、前記表示手段に表示する制御手段とを備えることを特徴とする画像処理装置

請求項2

前記設定手段は、前記主点位置から前記実写画像の四辺までの距離を算出し、右辺左辺および上辺下辺のそれぞれの組み合わせについて、長い距離を選択する選択手段と、仮想画像を描画するための領域について、前記主点位置を中心として、前記選択手段よって選択された距離に基づく値を描画領域のサイズに設定するサイズの設定手段とを備え、前記サイズに基づき、前記仮想画像描画領域を設定することを特徴とする請求項1に記載の画像処理装置。

請求項3

さらに、前記仮想画像描画領域から前記実写画像を描画する領域を除いた領域において、前記仮想画像の一部の領域を描画しないようにするためのマスク領域を設定するマスク領域の設定手段とを備えることを特徴とする請求項1又は2の何れか1項に記載の画像処理装置。

請求項4

前記マスク領域は、ステンシルバッファ、又は、Zバッファを用いて設定されることを特徴とする請求項3に記載の画像処理装置。

請求項5

前記表示手段は、前記サイズに等しいサイズの表示画面を有することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。

請求項6

前記取得手段は、2つの撮像手段が撮像した実写画像をそれぞれ取得し、前記描画手段は、前記2つの実写画像と、前記2つの実写画像に対応する2つの仮想画像をそれぞれ描画し、前記抽出手段は、前記2つの異なる領域から表示画像を抽出し、前記制御手段は、抽出した2つの異なる表示画像を、それぞれ異なる表示手段に表示することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。

請求項7

撮像手段で撮像された実写画像を取得する工程と、前記撮像手段の主点位置を取得する取得工程と、前記主点位置と前記実写画像とに基づいて、仮想画像を描画する仮想画像描画領域を設定する設定工程と、前記仮想画像描画領域に描画する仮想画像を生成する生成工程と、前記設定手段で設定された仮想画像描画領域に、前記仮想画像と前記実写画像とを描画する描画する描画工程と、前記仮想画像描画領域から表示手段に表示する領域の表示画像を抽出する抽出工程と、前記抽出手段で抽出した表示画像を、前記表示手段に表示する制御工程とを備えることを特徴とする画像処理方法

請求項8

コンピュータを請求項1乃至6のいずれか1項に記載の画像処理装置として機能させるためのコンピュータプログラム

請求項9

請求項8に記載のコンピュータプログラムを格納したコンピュータ可読記憶媒体

技術分野

0001

本発明は、画像処理装置および方法に関すし、特に、主点位置を設定できない三次元CG描画プログラムを用いて、実写画像仮想画像が同じ見え方になるようにMR画像を生成するための画像処理装置および方法に関する。

背景技術

0002

現実世界仮想世界とを違和感なく自然に結合する複合現実感MR:Mixed Reality)の技術を応用したシステムMRシステム)が盛んに提案されている。これらのMRシステムは、カメラなどの撮像装置によって撮影した現実空間の画像(実写画像)に対し、三次元コンピュータグラフィックス(CG:Computer Graphics)で描画した仮想空間の画像を合成する。そして、合成した画像を、ヘッドマウントディスプレイ(HMD:Head−Mounted Display)などの表示装置に表示することで、ユーザに提示している。(特許文献1参照)
これらのMRシステムは、実写画像の変化に追従させるかたちで仮想空間の画像を生成するために、ユーザ視点位置姿勢リアルタイムで取得する。ユーザ視点での位置姿勢を仮想空間での仮想カメラ視点の位置姿勢として設定し、三次元CGによって仮想空間の画像を描画して、実写画像と合成する。このことにより、MRシステムのユーザは、あたかも現実空間の中に仮想の物体が存在しているかのような画像を観察することができる。

0003

MRシステムにおいて、現実空間と仮想空間とが自然に合成されたような複合現実感画像(MR画像)を生成するためには、実写画像と仮想空間の画像とで見え方が同じになるように仮想画像を生成しなければならない。現実空間を撮像する撮像装置は三次元空間を二次元平面に射影する装置であり、現実空間中三次元座標が実写画像の各画素の点として射影されているとみなすことができる。仮想画像の見え方を実写画像の見え方と一致させるためには、仮想空間中の三次元座標が現実空間中の三次元座標と同じになるように仮想空間の世界座標系を構成し、仮想カメラに撮像装置と同じ位置姿勢を設定するのに加えて、三次元空間から二次元平面への射影が撮像装置と同じになるように仮想カメラを設定しなければならない。

0004

ここで、三次元CGによって仮想画像を生成するための方法について説明する。三次元CGでは、コンピュータ中に仮想的に設定されたCGモデルに関して、モデリング変換視界変換、射影変換ビューポート変換を行い、仮想画像を生成する。モデリング変換では、各CGモデルに対して設定されている座標系から、仮想空間全体の基準となる世界座標系への変換を行う。視界変換では、世界座標系から仮想カメラの視点を原点とするカメラ座標系への変換を行う。射影変換では透視投影の視体積を定義し、仮想画像上にCGオブジェクトがどのように射影されるかを決定する。ビューポート変換では、透視投影後のCGモデルの座標を、実際に表示を行うウィンドウ上での座標に変換する。

0005

射影変換では、視体積と呼ばれる立体を定義する。CGオブジェクトのうち、視体積の内部に存在する(三次元の)点のみが二次元画像上の点として射影される。透視投影の場合、視体積は図7の灰色の領域に示すような錘台に似た形状となる。視体積を設定するパラメータは、left,right,top,bottom,near,farの6種類から成る。図7はカメラ座標系で表現され、原点が仮想カメラの視点、Z軸が視線軸となっている。すなわち、図7において射影中心は原点であり、投影面上でZ軸が通過する点が仮想画像上での基準点(仮想画像上で射影中心を表す点)である。

0006

自然な(違和感の無い)見え方のMR画像を生成するためには、実写画像を撮影した撮像装置と同じ透視投影が行われるように、視体積を設定する必要がある。left,right,top,bottomの4パラメータは撮像装置の主点位置、焦点距離、画像サイズから算出される。near,farの2パラメータについては、撮像装置とは独立して別途設定される値である。

0007

主点位置とは、撮像装置の光学中心(すなわち撮像装置の射影中心)を表す実写画像中での座標であり、撮像装置に固有の値である。理想的な撮像装置であれば、主点位置と実写画像の画像中心とは一致する。しかし現実には、撮像装置の光学系の構成や撮像装置の組み立て誤差撮像画像トリミングなどにより、主点位置と実写画像の画像中心とは一致しないことが多い。そのため、MRシステムでは、撮像装置を較正することにより主点位置をあらかじめ算出しておき、仮想空間を描画するときに、仮想画像上での射影中心が実写画像上での主点位置と一致するように視体積を設定する。このようにして生成した仮想画像を実写画像に重畳することによって、実写画像と仮想画像の射影中心が一致した自然な見え方のMR画像が生成される。なお、撮像装置の較正時には、主点位置の座標のほかにも撮像装置の焦点距離と撮像装置が撮像する画像サイズを算出する。

0008

ここで、視体積の設定方法について、具体的に説明する。図7における視体積のパラメータをl=left,r=right,t=top,b=bottom,n=near,f=farとする。撮像装置を較正したパラメータのうち、画像中心を原点としたときの主点位置の座標を(up,vp)、撮像装置の焦点距離をf、撮像装置が撮像する画像サイズを(w,h)とすると、l,r,t,bは次のように算出することができる。
l=(up−w/2)×n/f
r=(up+w/2)×n/f
t=(vp−h/2)×n/f
b=(vp+h/2)×n/f ・・・(式1)
視線軸はZ軸であるので、up=0のとき、lとrはZ軸に関して(左右)対称となる。同様にvp=0のときもtとbはZ軸に関して(上下)対称となる。

0009

上記のパラメータを用いて描画した仮想画像のサイズが実写画像のサイズと同じであれば、実写画像における主点位置の座標は、仮想画像上で射影中心を表す点(基準点)と一致する。

0010

一般的なMRシステムにおいては、仮想視点の位置姿勢および撮像装置の較正によって得られた主点位置の座標、焦点距離、画像サイズから上記の方法によってl,r,t,bを算出し、三次元CG描画プログラムに渡すことによって、実写画像と射影中心が一致した仮想画像を生成することができる。実写画像と生成された仮想画像とを合成することによって,最終的なMR画像を生成する。

0011

ところが、三次元CG描画プログラムの中には、上記l,r,t,bを任意に指定できないものが存在する。例えば、仏国Mercury Computer System社のグラフィックスライブラリであるOpen Inventor(商標)では、仮想カメラの視体積パラメータとして、アスペクト比垂直方向画角とnear,farの値を設定することができる。これらのパラメータから視体積のパラメータl,r,t,bは以下の式に基づいて算出することができる。ただし、アスペクト比をa,垂直方向画角をfovyとする。実際には、三次元CG描画プログラムの内部で以下の式に基づく演算が実行されている。
l=−n×tan(fovy/2)×a
r= n×tan(fovy/2)×a
t=−n×tan(fovy/2)
b= n×tan(fovy/2) ・・・(式2)
式2では、視線軸(Z軸)に関して、lとrおよびtとbが必ず対称となる。式1において主点位置(up,vp)が(up,vp)=(0,0)であるのと等価である。これは、仮想画像上において、主点位置が常に画像中心にあることを意味する。すなわち、例に挙げた三次元CG描画プログラムでは上下・左右対称な視体積しか設定できず、主点位置と射影中心とが一致する視体積を設定することができない。
登録3363861号公報
R.Y.Tsai,Metrology Using Off−the−Shelf TV Cameras and LensesIEEE Journal of Robotics and Automation,Vol.3,No.4,pp. 323−344,August 1987.

発明が解決しようとする課題

0012

MRシステムにおいて、実写画像と同じ見え方の仮想画像を生成するためには、撮像装置の較正によって得られたパラメータから、仮想カメラの視体積を設定して三次元CGを描画する必要がある。しかし、三次元CG描画プログラムの中には、主点位置を設定する(すなわち、視線軸に対して上下または左右非対称な視体積を設定する)機能を持たないものが存在する。実写画像と仮想画像の射影中心を一致させる場合には、このような三次元CG描画プログラムを用いることができないため、MRシステムの実現にあたって大きな制約となっていた。

0013

本発明は、上記の課題に鑑みてなされたものであり、主点位置を設定できない三次元CG描画プログラムを用いて、実写画像と仮想画像が同じ見え方になるような画像を生成できることを目的とする。

課題を解決するための手段

0014

上記の目的を達成するために、本発明の画像処理装置は、撮像手段で撮像された実写画像を取得する手段と、前記撮像手段の主点位置を取得する取得手段と、前記主点位置と前記実写画像とに基づいて、仮想画像を描画する仮想画像描画領域を設定する設定手段と、前記仮想画像描画領域に描画する仮想画像を生成する生成手段と、前記設定手段で設定された仮想画像描画領域に、前記仮想画像と前記実写画像とを描画する描画する描画手段と、前記仮想画像描画領域から表示手段に表示する領域の表示画像を抽出する抽出手段と、前記抽出手段で抽出した表示画像を、前記表示手段に表示する制御手段とを備える。

0015

また、本発明の画像処理方法は、撮像手段で撮像された実写画像を取得する工程と、前記撮像手段の主点位置を取得する取得工程と、前記主点位置と前記実写画像とに基づいて、仮想画像を描画する仮想画像描画領域を設定する設定工程と、前記仮想画像描画領域に描画する仮想画像を生成する生成工程と、前記設定手段で設定された仮想画像描画領域に、前記仮想画像と前記実写画像とを描画する描画する描画工程と、前記仮想画像描画領域から表示手段に表示する領域の表示画像を抽出する抽出工程と、前記抽出手段で抽出した表示画像を、前記表示手段に表示する制御工程とを備える。

発明の効果

0016

本発明によれば、主点位置を設定できない三次元CG描画プログラムを用いる場合に、仮想画像描画領域を設定し、実写画像と仮想画像の描画を行い、描画した画像の適切な領域を抽出すことによって、実写画像と仮想画像が同じ見え方になるよう画像を表示装置に出力することが可能となる。

発明を実施するための最良の形態

0017

以下、添付の図面を参照して、本発明の好適な実施の形態を説明する。

0018

[第1の実施の形態]
本第1の実施の形態では、主点位置を設定できないグラフィックス・ライブラリを用いる場合に、実写画像の主点位置と仮想画像の画像中心とが一致するように仮想画像の描画領域を設定し、実写画像と仮想画像の描画を行いMR画像生成する。そして、MR画像の生成後に適切な領域を切り出すことによって、実写画像と仮想画像が同じ見え方になるように表示装置に出力する。

0019

図1は、本発明に係る画像処理装置の第1の実施の形態における概略構成を示すブロック図である。

0020

図1において、画像処理装置は、撮像装置101、表示装置102、コンピュータ200によって構成される。コンピュータ200は、さらにCPU201、RAM202、ディスク装置203、画像入力装置204、画像描画装置205、システムバス206から構成される。

0021

撮像装置101は、ビデオカメラなどの機器によって実現され、実写画像を撮像する。撮像された実写画像は、画像入力装置204によってコンピュータ200の内部に取り込まれる。

0022

表示装置102は、CRTやLCDなどのディスプレイ装置によって実現され、コンピュータ200内部の画像描画装置205から出力される表示画像を、表示画面に表示することにより、画像をユーザに提示する。

0023

CPU201は、ディスク装置203に保持されているプログラムコードをRAM202に転送し、その命令に基づいて処理を実行する。CPU201はシステムバス206に接続され、RAM202、ディスク装置203、画像入力装置204、画像描画装置205と相互に通信することで、各部を制御する。

0024

RAM202は、メモリ等の主記憶装置によって実現される。RAM202は、システムバス206を介して供給される、処理を実行するためのプログラムコードやプログラム制御情報などの各種データを一時的に保持する。

0025

ディスク装置203は、不揮発性記憶装置であり、ハードディスク等の補助記憶装置によって実現される。ディスク装置203は、本実施の形態を実現するためのプログラムのプログラムコードやプログラムの制御情報などを保持する。後述する較正情報についても、ディスク装置203に保持されている。画像処理装置が起動された後、これらのデータについてはCPU201によってディスク装置203から読み出され、RAM202に保持される。以後、CPU201はRAM202に保持されている較正情報300を用いて処理を行う。

0026

ここで、較正情報について、図2を用いて説明する。図2において、300は、較正情報を示し、本実施の形態において、主点位置301、焦点距離302、画像サイズ303の各パラメータから構成され、撮像装置101の個体に特有の値である。較正情報300は、撮像装置101の特性(例えばレンズの焦点距離)が変化しない限りにおいて、各パラメータは固定値として扱うことができる。較正情報300は、撮像装置101によって特定の指標を撮像して得られた画像(実写画像)から算出することができる。本実施の形態では、画像処理装置の起動して使用する前に、あらかじめ算出した較正情報300を、ディスク装置203に保持しておく。較正情報300の算出には、非特許文献1に記載されている手法を用いることができるため、その詳細については省略する。

0027

主点位置301は、実写画像における撮像装置101の光学中心を示す位置であり、実写画像中の特定の画素を示す座標(up,vp)として表される。

0028

焦点距離302は、撮像装置101の光学中心から撮像素子までの距離であり、その値をfと表す。

0029

画像サイズ303は、撮像装置101が撮像する画像の大きさを示す値であり、画像の横方向と縦方向とで独立の値(wr,hr)を持つ。横方向の大きさがwr、縦方向の大きさがhrである。撮像装置101の画角は、画像サイズ303を焦点距離302で除算することにより算出される。

0030

図1戻り、画像入力装置204は、キャプチャカードなどの画像入力機器やUSB、IEEE1394などの入力インタフェースを持つ装置によって実現される。画像入力装置204は、撮像装置101から入力される実写画像をコンピュータ200内部に取り込み、取り込んだ実写画像データをRAM202に書き込む。

0031

画像描画装置205は、グラフィックスカードなどの画像描画機器によって実現される。本実施の形態では、画像出力装置205は、CPU201からの指令を受け、実写およびCGの描画処理を行い、描画結果となる画像を生成し、画像描画装置205の内部に備えているフレームバッファ(非図示)に保持する。その後、画像描画装置205は、フレームバッファが保持している画像を表示装置102で表示可能な表示画像に変換したのち表示装置102へ送出する。

0032

システムバス206には、コンピュータ200を構成する各機器が接続され、上記機器が相互に通信するための通信路である。

0033

以上のような構成を備えた本実施の形態の制御について、図3に示すフローチャートを用いて説明する。

0034

図3は、本実施の形態の画像処理装置が行う動作処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施の形態の装置内のディスク装置203やRAM202などの記憶装置内に格納され、CPU201により読み出され、実行される。

0035

本実施の形態では、最初に撮像装置101の較正処理(ステップS1000)を行い、その後に描画処理(ステップS1100)を行う。以下、ステップS1000およびステップS1100において行われる処理について、詳細に説明する。

0036

図4は、ステップS1000における撮像装置101の較正処理の処理手順を示すフローチャートである。ステップS1000は、ステップS1010からS1030までの処理によって構成される。

0037

まず、ステップS1010では、画像処理装置は「較正モード」で起動される。画像処理装置が起動されると、撮像装置101は実写画像を撮像する。本実施の形態では、撮像された実写画像は、画像入力装置204を介してコンピュータ200の内部に取り込まれ、RAM202に実写画像データとして格納される。また、ユーザは、撮像装置101の位置姿勢を変えながら、複数枚の実写画像を撮像し、その結果複数の実写画像データがコンピュータ200の内部に取り込まれることになる。

0038

なお、本実施の形態では、撮像装置101はコンピュータ200の画像入力装置204に直接接続されているが、この構成に限られるものではない。例えば、撮像装置101がメモリカードなどの図示しない記憶領域を内部に備えている場合、前記記憶領域を介して実写画像をコンピュータ200の内部に取り込むようにしてもよい。すなわち、撮像した実写画像を前記記憶領域に保持させ、コンピュータ200(より正確にはCPU201)は前記記憶領域を参照して、実写画像をRAM202に格納するようにしてもよい。この場合、コンピュータ200が前記記憶領域を参照することによって画像入力装置204の機能を実現していることになる。

0039

ステップS1020において、CPU201は、RAM201内に取り込まれた実写画像を用いて、較正情報300を算出する。算出された較正情報300はRAM201内に書き込まれる。較正情報300の算出方法については、前述の通り非特許文献1に記載の方法を用いればよい。

0040

ステップS1030において、CPU201は、RAM202内の較正情報300をディスク装置203に書き込む。ディスク装置203に書き込まれた較正情報300は、ステップS1100の描画処理においてCPU201によって読み出される。なお、ステップS1100の描画処理においてCPU201が較正情報300を読み出すことができれば、較正情報300を保持するのはディスク装置203に限らない。例えば、RAM202内部に記録した較正情報300をCPU201が直接読み出すように構成してもよく、その場合にはステップS1030の処理は不要となる。

0041

なお、本実施の形態では、ステップS1010からステップS1030までを順次実行しているが、ステップS1010とステップS1020を必要に応じて繰り返し実行するようにしてもよい。例えば、ステップS1020終了時に、CPU201が自動的にあるいはユーザが較正情報300の内容を判断して、ステップS1010に戻る、またはステップS1030に進むといったことを選択するようにしてもよい。また、ステップS1030の処理を行った後もステップS1010に戻り、これを何度か繰り返した後にステップS1000の較正処理を終了するようにしてもよい。いずれにせよ、ステップS1000の処理が終了した後には、較正情報300がディスク装置203(またはRAM202)に格納されていることになる。

0042

また、較正情報300が既に得られている場合(較正情報300は撮像装置に固有のパラメータであるため、以前に算出・保存した較正情報300を繰り返し利用することが可能な場合がある)には、ステップS1000の処理を省略するようにしてもよい。

0043

図5は、図3のステップS1100における描画処理の手順を示すフローチャートである。ステップS1100は、ステップS1110からS1170までの処理によって構成される。

0044

まず、ステップS1110では、本実施の形態の画像処理装置は「描画モード」で起動される。画像処理装置が起動されると、初期化処理として、ステップS1000によって算出された較正情報300を読み込む。より具体的には、CPU201によって、ディスク装置203に格納されている較正情報300が読み出され、RAM202に保持される。なお、ステップS1000で、較正情報300をRAM202に保持したままとし、ディスク装置203に出力しないように構成している場合には、CPU201はディスク装置203から読み出すまでもなく、RAM202に較正情報300が保持されている。そのため、ステップS1110での初期化処理が不要となる。

0045

次に、ステップS1120では、較正情報300のうち主点位置301および画像サイズ303を用いて、後述するウィンドウ領域30の設定処理を行う。本実施の形態において、ウィンドウ領域の設定処理には、ウィンドウ領域30の生成、ウィンドウ領域30のサイズの設定、ウィンドウ領域30の出力範囲の設定が含まれる。

0046

図6は、ステップS1120で設定されるウィンドウ領域30(多角形abfdの領域)について示している。本実施の形態では、表示装置102に出力される基準座標(本実施の形態では、スクリーン左上隅の座標)をスクリーン座標系の原点oとし、図の右方向にu軸、下方向にv軸を取る。図6の座標はすべてスクリーン座標系を基準として記述している。また、ウィンドウ領域30中の多角形ocfeの領域10に実写画像が描画されるものとする(ステップS1140)。本実施の形態におけるウィンドウ領域30は、領域10に表示された実写画像の主点位置を中心とし、実写画像の各辺と主点位置との距離のうち、縦横それぞれについて長い距離(すなわち、横方向であれば実写画像の右辺と主点位置との距離と、実写画像10の左辺と主点位置との距離のうち、どちらか長い距離1つ)の縦横それぞれ2倍の長さを持つ領域となっている。また、ウィンドウ領域30の基準座標を原点にとっている。

0047

本実施の形態では、ウィンドウ領域30は画像描画装置205の内部に備えられている不図示のバッファ(例えばバックバッファ)として設定される。CPU201は画像描画装置205に対してウィンドウ領域30のサイズを指定することによって、バッファ内に、指定された大きさの画像を保持する領域が設定される。

0048

また、画像描画装置205はバッファのうち一部を表示装置102に表示画像20として出力する機能を備えており、ウィンドウ領域30の基準座標とウィンドウ領域30の出力サイズとを指定することによってウィンドウ領域30の出力範囲が決定される。本実施の形態では、ウィンドウ領域30の出力サイズには画像サイズ303(実写画像のサイズ(wd,hd))が設定される。

0049

ここで、本実施の形態におけるウィンドウ領域30のサイズおよび基準座標を算出する方法について、図6を用いてより詳細に説明する。

0050

まず、ウィンドウ領域30のサイズを以下の方法によって算出する。ウィンドウ領域30のサイズを(wd,hd)とする。ここでwdはウィンドウ領域30の横方向のサイズ、hdはウィンドウ領域30の縦方向のサイズである。また、既に説明したように、主点位置301を(up,vp)、画像サイズ303を(wr,hr)とする。このとき、(wd,hd)は以下の式によって算出することができる。ただし、max{a,b}は、a,bのいずれか大きい値を返す関数である。
wd=2×max{up,wr−up}
hd=2×max{vp,hr−vp} ・・・(式3)
図6の例では、wd=wr−up,hd=hr−vpとなる。

0051

上記の式3によって、ウィンドウ領域30のサイズ(wd,hd)は、主点位置301と画像の両端(画像の四辺の内の右辺と左辺、及び、上辺下辺)との間の距離のうち、それぞれの長いほうの2倍に設定される。ウィンドウ領域30のサイズ(wd,hd)と実写画像の大きさ(すなわち画像サイズ303)(wr,hr)との間には、常にwd≧wr,hd≧hrの関係が成り立つ。

0052

次に、ウィンドウ領域30の中心と主点位置301とを一致させるようにウィンドウ領域30の基準座標を定める。具体的には、以下の方法によって算出する。実写画像の左上を原点o(0,0)、ウィンドウ領域30の左上隅の座標を基準座標a(uo,vo)とすると、(uo,vo)は以下の式によって算出することができる。
uo=0(up≧wr/2 のとき)またはwr−wd(それ以外のとき)
vo=0(vp≧hr/2 のとき)またはhr−hd(それ以外のとき) ・・・(式4)
図6の例では、uo=wr−wd,vo=hr−hdとなる。

0053

図5に戻り、ステップS1130において、撮像装置101は実写画像を撮像する。撮像された実写画像は、画像入力装置204を介してコンピュータ200の内部に取り込まれ、RAM202に実写画像データとして格納される。

0054

ステップS1140において、画像描画装置205はステップS1130で取り込まれた実写画像をウィンドウ領域30に書き込む。より具体的には、CPU101はRAM202から実写画像の画像データを読み出し、ステップS1120において確保された画像描画装置205内の前記バッファに画像データを書き込む。このとき、実写画像の左上の座標がスクリーン座標系の原点と一致するように(すなわち、図6多角形領域ocfeと一致するように)描画する。

0055

ステップS1150において、CPU201(または画像描画装置205)は、ウィンドウ領域30に三次元CGを描画する。本実施の形態では、三次元CGを描画する仮想カメラの画角を、較正情報300に含まれる焦点距離302とステップS1120で得られたウィンドウ領域30のサイズ(wd,hd)とを用いて、設定する。三次元CGを描画する仮想カメラの水平画角fovw,垂直画角をfovhは以下の式によって算出することができる。
fovw=2×arctan(wd/(2×f))
fovh=2×arctan(hd/(2×f)) ・・・(式5)
なお、本実施の形態の場合、水平画角・垂直画角のうち、垂直画角fovhのみが算出できればよい。

0056

本実施の形態では、三次元CG描画プログラムには視体積のleft,right,top,bottomの代わりにアスペクト比αを、垂直方向画角fovyおよびnear,farの値を設定できるものを想定する。仮想カメラの射影パラメータの設定として、fovyには式5のfovhを設定する。また、アスペクト比にはhd/wdの値を設定する。

0057

このように仮想カメラの視体積を設定した後、画像描画装置205は三次元CGの描画処理を行い、画像描画装置205内部の前記バッファに描画結果を書き込む。このとき、ウィンドウ領域30の一部(図6の多角形領域ocfe)については、ステップS1140の処理により、実写画像が既に描画されている。そのため、三次元CGの背景部分については、前記バッファを更新せず、実写画像を上書きしないように描画結果の書き込みを行う。この結果、ウィンドウ領域30にMR画像が描画されたことになる(より正確には図6の多角形領域ocfeのみにMR画像が描画される)。

0058

ステップS1160において、画像描画装置205は、ウィンドウ領域30の一部を切り出し、表示装置102に出力する。より具体的には、画像描画装置205は、画像描画装置205の内部に保持されているバッファ(すなわちMR画像)から、スクリーン座標の原点と出力サイズとで設定される矩形の領域を切り出し、表示画像を生成して表示装置102に送出する。本実施の形態では、出力サイズには画像サイズ303(実写画像のサイズ(wd,hd))が設定されている。

0059

すなわち、ステップS1160において生成された表示画像は、図6における多角形領域ocfe(実写画像が描画された領域)に等しい。実際にはステップS1150によって、図6における多角形領域abfd(ウィンドウ領域30の全域)に三次元CGが描画されているが、ステップS1160によって、表示画像は多角形領域ocfeにトリミングされる。ウィンドウ領域30はステップS1120によって、主点位置301がウィンドウ領域30の中心座標となるように設定されている。視線軸に対して上下・左右対称の視体積が設定され、ウィンドウ領域30の中心座標が仮想カメラの射影中心となるように三次元CGが描画される。この時点で、実写画像と仮想カメラの射影中心が一致している。描画結果の画像を多角形領域ocfeにトリミングすることによって、上下・左右非対称の視体積を設定したのと同じ描画結果が得られることになる。

0060

なお、ステップS1160では、画像描画装置205がウィンドウ領域30の一部を抽出する抽出処理を行っているが、表示装置102が抽出処理を行うようにしてもよい(この場合、表示画像はトリミングされる前の画像となり、最終的な表示画像とは一致しない)。また、切り出し処理はCPU201が行ってもよいし、コンピュータ200の内部あるいは外部に切り出しを行うための電気回路を別途備えるようにしてもよい。

0061

ステップS1170では、描画処理(すなわちステップS1100の処理)を終了するか否か判断し、継続する場合は、ステップS1130に戻り、終了する場合は、本処理を終了する。

0062

以上述べたように、第1の実施の形態によれば、主点位置を設定できない三次元CG描画プログラムを用いる場合に、実写画像の主点位置と仮想画像の画像中心とが一致するように仮想画像の描画領域を設定し、実写画像と仮想画像の描画を行うことによりMR画像を生成し、MR画像の生成後に適切な領域を切り出すことによって、実写画像と仮想画像が同じ見え方になるように、表示装置に出力することが可能となる。

0063

[第2実施の形態]
本第2実施の形態では、HMDを装着したユーザに対して、右眼左眼とにそれぞれ異なる視点から観測される(実際のユーザの右眼および左眼の位置から観測される)MR画像を提示する。このとき、右眼と左眼のそれぞれに対して、実写画像の主点位置と仮想画像の画像中心とが一致するように仮想画像の描画領域を設定し、実写画像と仮想画像の描画を行うことでMR画像を生成し、MR画像の生成後に適切な領域を切り出して表示する。

0064

図8は、本発明に係る画像処理装置の第2の実施の形態における概略構成を示すブロック図である。第1の実施の形態(図1)と比較すると、撮像装置101と表示装置102がそれぞれ2つずつ備わっている。それ以外の構成要素は、第1の実施の形態と同様であり、以下では、第1の実施の形態と異なる部分についてのみ説明する。

0065

撮像装置101Aおよび撮像装置101BはHMDに備えられ、ユーザ視点の右眼および左眼視点からのそれぞれの実写画像を撮像する。以下では、撮像装置101Aで撮像した実写画像を実写画像10A、撮像装置101Bで撮像した実写画像を実写画像101Bと言う。本実施の形態では、撮像装置101Aはユーザの左眼視点からの画像を撮像し、実写画像10Aを画像入力装置2040に送出する。同様に撮像装置101Bはユーザの右眼視点からの画像を撮像し、実写画像10Bを画像入力装置2040に送出する。なお、左眼および右眼の役割を適宜入れ替えてもよい。

0066

表示装置101Aおよび表示装置102BはHMDに備えられ、ユーザの左眼および右眼からのみ観測されるように配置され、それぞれ異なる画像を表示する。以下では、表示装置101に表示される画像を表示画像20A、表示装置101Bに表示される画像を表示画像201Bと言う。本実施の形態では、表示装置101Aに入力された表示画像20Aはユーザの左眼のみで観測され、表示装置101Bに入力された表示画像20Bはユーザの右眼のみで観測される。

0067

較正情報300について、パラメータの種類については第1の実施の形態と同じであるが、本第2の実施の形態では2つの撮像装置を備えるため、較正情報300が2つ存在する。本実施の形態では撮像装置101Aに対応するものを較正情報300A、撮像装置101Bに対応するものを較正情報300Bと言う。主点位置301、焦点距離302、画像サイズ303についても同様に主点位置301A、主点位置301Bのように言い、2つの撮像装置のうち、どちらのパラメータであるかを区別する。

0068

本実施の形態では、図9に示すように、1つのウィンドウ領域を生成し、ウィンドウ領域中に左眼用のMR画像(図9中の左下り斜線で塗られた領域)と右眼用のMR画像(図9中の右下り斜線で塗られた領域)の両方を生成し、描画する。画像描画装置2050は、ウィンドウ領域から右眼用のMR画像の領域を切り出し、表示画像20Bを表示装置201Bに送出する。同様に、画像描画装置2050は、ウィンドウ領域から左眼用のMR画像の領域を切り出し、表示画像20Aを表示装置201Aに送出する。

0069

本実施の形態の画像処理装置が行う処理のフローチャートは、第1の実施の形態(図3)と同様である。本第2の実施の形態も、第1の実施の形態と同様に、最初に撮像装置101の較正処理(ステップS1000)を行い、その後に描画処理(ステップS1100)を行う。ステップS1000において行われる撮像装置101の較正処理の処理手順についても、第1の実施の形態(図4)と同じである。ただし、本実施の形態では撮像装置101は2系統(撮像装置101A、撮像装置101B)備えられているため、ステップS1000では較正情報300Aと較正情報300Bの両方を、それぞれ算出する。

0070

また、ステップS1100における本実施の形態での描画処理の手順を示すフローチャートについても、第1の実施の形態(図5)と同様である。以下、処理の内容について,第1の実施の形態と異なる部分についてのみ説明する。

0071

ステップS1120において、較正情報300A、Bのうち主点位置301A、Bおよび画像サイズ303A、Bを用いて、ウィンドウ領域30の設定処理を行う。

0072

図10では、本実施の形態において、ステップS1120で設定されるウィンドウ領域30(多角形ACNLの領域)について示している。ウィンドウ領域30の内部に右眼用・左眼用の2つのMR画像が生成されることになる。ウィンドウ領域30の内部の領域に描画される実写画像10Aの領域は多角形OEMLの領域であり、実写画像10Bの領域は多角形BCKHの領域である。

0073

図10において、多角形ODBCKIMLの領域は左眼用の仮想画像描画領域40Aおよび右眼用の仮想画像描画領域40Bである。本実施の形態においては、この領域に対して仮想画像が描画されることになる。仮想画像描画領域40A、40Bのサイズを(wd,hd)とすると、(式3)によって仮想描画領域40A、40Bのサイズを決定することができる。また、(式4)によって、仮想描画領域40Aの基準座標を決定することができる。ただし、(式4)は実写画像の左上隅の座標を原点としているため、仮想画像描画領域40Bについては、実写画像10Aの画像サイズを加える必要がある。すなわち、以下の式のように表される。
uo=wr(up≧wr/2のとき)または2×wr−wd(それ以外のとき)
vo=0(vp≧hr/2のとき)またはhr−hd(それ以外のとき) ・・(式4’)

0074

本実施の形態におけるウィンドウ領域30については、2つの仮想画像描画領域40A、40Bを内包するように定める。すなわち、図11における多角形ACNLの領域を本実施の形態でのウィンドウ領域30となるようにサイズと位置を定める。

0075

ステップS1130において、撮像装置101A、撮像装置101Bはそれぞれ実写画像10A、実写画像10Bを撮像する。撮像された実写画像10A、実写画像10Bは、画像入力装置204を介してコンピュータ200の内部に取り込まれ、RAM202に画像データとして格納される。

0076

ステップS1140において、画像描画装置2050はステップS1130で取り込まれた実写画像10Aおよび実写画像10Bをウィンドウ領域30に書き込む。実写画像10Aは図10の多角形OEMLの領域に、実写画像10Bは図10の多角形BCKHの領域にそれぞれ描画される。

0077

ステップS1150において、CPU201(または画像描画装置2050)は、ウィンドウ領域30内部の仮想画像描画領域40Aおよび40Bに三次元CGを描画する。

0078

まず、仮想画像描画領域40Aの描画処理について述べる。第1の実施の形態と同様に、仮想画像描画領域40Aに仮想画像が描画されるように仮想カメラの視体積を設定するのであるが、主点位置301Aの値によっては、仮想画像描画領域40Aと、実写画像10Bとが重なってしまう場合がある。すなわち、左眼用の仮想画像によって、右眼用の実写画像10Bの一部を上書きしてしまう場合が存在する。この場合、仮想画像描画領域40Aと実写画像10Bが重複する領域をマスク領域として、マスク処理を行うことで仮想画像を描画しないように対処する必要がある。

0079

より具体的には、主点位置301Aが画像中心303Aの右側に存在するとき、仮想画像描画領域40Aと実写画像10Bが重なってしまう(図11における点線で囲まれた領域(多角形DEIHの領域))。この場合、仮想画像描画領域40Aのうち、実写画像10Aを除く領域(図11における多角形DEMGHの領域)については、仮想画像を生成せず、実写画像10Bを上書きしないようにマスク処理を行う。

0080

本実施の形態の場合、画像描画装置205にはステンシルバッファ(非図示)が備えられている。仮想画像描画領域40Aのうち、ステンシルバッファ上の実写画像10Aを除く領域に関してフラグをオンにする。ステンシルバッファのフラグ設定を行った後で三次元CGを描画すると、図11における多角形DEMLGHの領域については仮想画像の描画が行われない。すなわち、生成される仮想画像は実写画像10Aと同じ領域のみ三次元CGが描画されており、それ以外の領域については、何も描画されていないことになる。

0081

本実施の形態では、実写画像10Aを除く領域(図11における多角形DEMLGHの領域)についてステンシルバッファのマスク領域の設定を行っているが、重複領域(図11における点線で囲まれた領域)についてのみマスク領域の設定を行うようにしてもよい。

0082

また、本実施の形態ではステンシルバッファを用いてマスク処理を行っているが、他の方法を用いてもよい。例えばZバッファ(奥行きバッファ)を用いて、実写画像10Aを除く領域に対して、最も近い奥行き値を格納するようにして、奥行き判定時にCGが描画されないようにしてもよい。

0083

仮想画像描画領域40Bの描画処理についても、仮想画像描画領域40Aの描画と同様の処理を行う(ただし、主点位置301Bが画像中心303Bの左側に存在するときに、ステンシルバッファの重複領域のフラグをオンにする)。

0084

なお、本実施の形態では仮想画像描画領域40Aに対する描画、仮想画像描画領域40Bに対する描画(すなわち、左眼用仮想画像の描画、右眼用仮想画像の描画)の順で処理を行ったが、この処理を逆にして、仮想画像描画領域40Bに対する描画処理を先に行うようにしてもよい。

0085

ステップS1160において、画像描画装置205は、ウィンドウ領域30の一部を切り出し、表示装置102Aおよび表示装置102Bに出力する。表示装置102Aには、図11における実写画像10Aの領域が、表示装置102Bには図10における実写画像10Bの領域がそれぞれ出力される。具体的な切り出し処理については、第1の実施の形態と同じである。

0086

第2の実施の形態では、左眼用の画像を左側に、右眼の画像を右側に配置して描画および切り出しを行っているが、これに限られるものではない。例えば、左右の画像の役割を逆にしてもよいし、2つの画像を水平方向ではなく、垂直方向に配置するようにしてもよい。

0087

以上述べたように、第2の実施の形態によれば、右眼と左眼のそれぞれに対して、実写画像の主点位置と仮想画像の画像中心とが一致するように仮想画像の描画領域を設定し、実写画像と仮想画像の描画を行い、MR画像の生成後に適切な領域を切り出して表示することが可能となる。

0088

[その他の実施例]
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアコンピュータプログラムコードを記録したコンピュータ可読記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)がコンピュータ可読記憶媒体に格納されたコンピュータプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

0089

この場合、コンピュータ可読記憶媒体から読出されたコンピュータプログラムコード自体が前述した実施例の機能を実現することになり、そのコンピュータプログラムコードを記憶した記憶媒体は本発明を構成することになる。

0090

コンピュータプログラムコードを供給するためのコンピュータ可読記憶媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク光磁気ディスクCD−ROM,CD−R,DVD−ROM,DVD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。

0091

また、コンピュータが読出したコンピュータプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのコンピュータプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

0092

さらに、コンピュータ可読記憶媒体から読出されたコンピュータプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

図面の簡単な説明

0093

第1の実施の形態における画像処理装置の概略構成を示すブロック図である。
較正情報の構成を説明するための図である。
第1の実施の形態における動作処理を示すフローチャートである。
第1の実施の形態における撮像装置101の較正処理の動作処理を示すフローチャートである。
第1の実施の形態における描画処理の動作処理を示すフローチャートである。
第1の実施の形態におけるウィンドウ領域30の設定を説明するための図である。
三次元CGにおける視体積を説明するための図である。
第2の実施の形態における画像処理装置の概略構成を示すブロック図である。
第2の実施の形態におけるウィンドウ領域、右眼用画像左眼用画像の関係について説明するための図である。
第2の実施の形態におけるウィンドウ領域30の設定を説明するための図である。
第2の実施の形態における重複領域を説明するための図である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人