図面 (/)

この項目の情報は公開日時点(2019年9月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題・解決手段

水平視差ステレオパノラマ取り込みシステムを開示する。当該システムは、多面選択光反射ユニット(104)、二次反射体(106)及び演算ユニット(102)を備える。多面選択光反射ユニット(104)は、(a)(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得し、(b)前記光線間で内部反射させることなく前記光線を反射させる。二次反射体(106)は、(a)多面選択光反射ユニット(104)から反射光線を取得し、(b)前記光線を前記視野開口(114)に反射させる。演算ユニット(102)は、(i)前記二次反射体(106)からの前記反射光線及び(ii)凹レンズ(116)からの前記3Dシーンの前記上側部分を歪み画像として取り込み、前記歪み画像を(a)前記左眼パノラマ及び(b)前記右眼パノラマに加工する。

概要

背景

水平視差ステレオパノラマを取り込む既存方法は、一台の移動カメラ又は多数のカメラの使用を含む。一台の移動カメラは、時間毎一連の画像として水平視差ステレオパノラマを取り込み、更に画像をつなぎ合わせるために姿勢補正及び位置合わせが必要である。また、水平視差を解消し人間が適宜消費できるようにしなければならない。一台の移動カメラを使用する際の主な欠点は、静止シーンにしか適用できないということである。多数のカメラで水平視差ステレオパノラマを取り込むという方法では、一般的に同期マルチカメラ装備が必要となり、大規模かつ高価になる。また、多数の画像のつなぎ合わせと水平視差という両課題を解消し、画像を人間が適宜消費できるようにするための計算量が膨大になる。

このため、静的シーン及び動的シーンを水平視差ステレオパノラマに取り込む小型パノラマステレオ光学ステム及び処理方法が求められている。

概要

水平視差ステレオパノラマの取り込みシステムを開示する。当該システムは、多面選択光反射ユニット(104)、二次反射体(106)及び演算ユニット(102)を備える。多面選択光反射ユニット(104)は、(a)(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得し、(b)前記光線間で内部反射させることなく前記光線を反射させる。二次反射体(106)は、(a)多面選択光反射ユニット(104)から反射光線を取得し、(b)前記光線を前記視野開口(114)に反射させる。演算ユニット(102)は、(i)前記二次反射体(106)からの前記反射光線及び(ii)凹レンズ(116)からの前記3Dシーンの前記上側部分を歪み画像として取り込み、前記歪み画像を(a)前記左眼パノラマ及び(b)前記右眼パノラマに加工する。

目的

上記に鑑みて、本実施形態は、水平視差ステレオパノラマを取り込むシステムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

(a)複数の鏡面(112A〜N)及び(b)視野開口(114)を有し、前記複数の鏡面(112A〜N)が密着形状に配置され、(a)(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得し、(b)前記光線間で内部反射させることなく前記光線を反射させる多面選択光反射ユニット(104)と、前記多面選択光反射ユニット(104)に取り付けられ、(a)前記多面選択光反射ユニット(104)からの反射光線を取得し、(b)前記光線を前記視野開口(114)に反射させる二次反射体(106)であって、前記3Dシーンの上側部分を反映させる凹レンズ(116)を有する二次反射体(106)と、(i)前記二次反射体(106)からの前記反射光線及び(ii)前記凹レンズ(116)からの前記3Dシーンの前記上側部分を歪み画像形式で前記視野開口(114)を介して取り込むカメラ(110)、並びに、前記歪み画像を(a)前記左眼パノラマ及び(b)前記右眼パノラマに加工するプロセッサを有する演算ユニット(102)と、を備える水平視差ステレオパノラマ取込システム

請求項2

前記プロセッサが前記カメラ(110)の視軸を前記演算ユニット(102)の中心軸と一致させ、前記歪み画像を校正するための(i)通常二値系列パターン及び(ii)逆二値系列パターンを含む二値光パターンを前記3Dシーンのスクリーン投影するカメラ配向モジュール(204)と、前記カメラ(110)から前記歪み画像を取得する歪み画像取得モジュール(206)と、(a)各画素において前記歪み画像から前記二値光パターンを復号することによりワールド座標系から歪み画像座標系へのマッピングを計算し、(b)(i)前記カメラ(110)及び(ii)前記多面選択光反射ユニット(104)の不具合分析し、(c)前記ワールド座標系から前記歪み画像座標系への前記マッピングを計算しつつ、分析した前記不具合を最小限に抑える校正モジュール(208)と、(a)各画素における前記歪み画像の正確な視界を判定し、(b)前記歪み画像の歪みを取り除いて(i)前記左眼パノラマ及び(ii)前記右眼パノラマにするパノラマ作成モジュール(210)と、少なくとも(a)ヘッドマウントディスプレイ、(b)三次元(3D)プロジェクタ又は(c)三次元(3D)ディスプレイのいずれか1つであるステレオ表示ユニットに(a)前記左眼パノラマ及び(b)前記右眼パノラマを表示する表示モジュール(212)と、を備えることを特徴とする請求項1に記載のシステム

請求項3

前記複数の鏡面(112A〜N)が、連続配置された(a)複数の左鏡面及び(b)複数の右鏡面を有し、(i)前記複数の左鏡面及び(ii)前記複数の右鏡面により、(a)前記左眼パノラマに対応する関連光線と(b)前記右眼パノラマに対応する関連光線とをそれぞれ取得することを特徴とする請求項1に記載のシステム。

請求項4

前記連続配置された前記複数の左鏡面及び前記複数の右鏡面は、(i)(a)前記左眼パノラマ及び(b)前記右眼パノラマのつなぎ合わせの不自然さを最小限に抑え、(ii)前記3Dシーンの死角を最小限に抑え、(iii)少なくとも(a)前記左眼パノラマを作成する連続左鏡面、又は(b)前記右眼パノラマを作成する連続右鏡面のいずれか1つの間での視点視差を最小限に抑え、(iv)前記3Dシーンから取り込んだ前記光線のむらを最小限に抑えることを特徴とする請求項3に記載のシステム。

請求項5

前記複数の鏡面(112A〜N)が湾曲形状であり、前記湾曲形状の複数の鏡面(112A〜N)により、前記3Dシーンの視野が拡大され、前記視野は(a)水平視野と(b)垂直視野を含むことを特徴とする請求項1に記載のシステム。

請求項6

前記カメラ(110)が複数のカメラに置換されることを特徴とする請求項1に記載のシステム。

請求項7

(i)前記複数の左鏡面の個々の左鏡面と(ii)前記複数の右鏡面の個々の右鏡面の鉛直断面が少なくとも(a)直線形状、(b)放物線形状、(c)双曲線形状又は(d)楕円形状のいずれか1つであり、(i)前記複数の左鏡面の前記個々の左鏡面と(ii)前記複数の右鏡面の前記個々の右鏡面の水平断面が少なくとも(a)円形状又は(b)直線形状のいずれか1つであることを特徴とする請求項3に記載のシステム。

請求項8

前記カメラ(110)が少なくとも(i)デジタルカメラセンサ、(ii)ハイパースペクトル撮像センサ、(iii)赤外線画像センサ又は(iv)暗視センサのいずれか1つであることを特徴とする請求項1に記載のシステム。

請求項9

前記カメラ(110)が、左視界及び右視界に対応する前記多面選択光反射ユニット(104)からの前記光線を、パノラマステレオディスプレイとして作用する前記スクリーンに投影するプロジェクタに置換されることを特徴とする請求項1に記載のシステム。

請求項10

前記カメラ(110)を前記二次反射体(106)の位置に配置し、前記多面選択光反射ユニット(104)からの前記反射光線を直接取得し、前記凹レンズ(116)が、前記多面選択光反射ユニット(104)の底部に配置され、前記3Dシーンの前記上側部分を前記カメラ(110)に反射することを特徴とする請求項1に記載のシステム。

請求項11

多面選択光反射ユニット(104)を使用して、(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得するステップと、前記多面選択光反射ユニット(104)を使用して、前記光線を二次反射体(106)に反射させるステップと、前記カメラ(110)を使用して、(i)前記二次反射体(106)からの歪み画像の形式の前記反射光線及び(ii)凹レンズ(116)からの前記3Dシーンの上側部分を取り込むステップと、演算ユニット(102)を使用して、前記歪み画像を(a)前記左眼パノラマ及び(b)前記右眼パノラマに加工するステップと、を備える水平視差ステレオパノラマ取込方法。

請求項12

前記加工は、カメラ配向モジュール(204)を使用して、前記カメラ(110)の視軸を前記演算ユニット(102)の中心軸と一致させるステップと、前記カメラ配向モジュール(204)を使用して、二値光パターンを前記3Dシーンのスクリーンに投影するステップと、歪み画像取得モジュール(206)を使用して、前記カメラ(110)から前記歪み画像を取得するステップと、校正モジュール(208)を使用して、ワールド座標系から歪み画像座標系へのマッピングを計算するステップと、前記校正モジュール(208)を使用して、(i)前記カメラ(110)及び(ii)前記多面選択光反射ユニット(104)の不具合を分析するステップと、前記校正モジュール(208)を使用して、前記ワールド座標系から前記歪み画像座標系へのマッピングを計算しつつ、分析した前記不具合を最小限にするステップと、パノラマ作成モジュール(210)を使用して、各画素において前記歪み画像の正確な視界を判定するステップと、前記パノラマ作成モジュール(210)を使用して、前記歪み画像の歪みを取り除いて前記左眼パノラマ及び前記右眼パノラマにするステップと、表示モジュール(212)を使用して、(a)前記左眼パノラマ及び(b)前記右眼パノラマをステレオ表示ユニットに表示するステップと、を含むことを特徴とする請求項11に記載の方法。

技術分野

0001

本書に記載の実施形態は、概ね光学ステム及び処理方法係り、特に、一台のカメラ又は多数のカメラを利用するパノラマステレオ光学システムを用いた画像や映像を含む水平視差ステレオパノラマの取り込みに関する。

背景技術

0002

水平視差ステレオパノラマを取り込む既存方法は、一台の移動カメラ又は多数のカメラの使用を含む。一台の移動カメラは、時間毎一連の画像として水平視差ステレオパノラマを取り込み、更に画像をつなぎ合わせるために姿勢補正及び位置合わせが必要である。また、水平視差を解消し人間が適宜消費できるようにしなければならない。一台の移動カメラを使用する際の主な欠点は、静止シーンにしか適用できないということである。多数のカメラで水平視差ステレオパノラマを取り込むという方法では、一般的に同期マルチカメラ装備が必要となり、大規模かつ高価になる。また、多数の画像のつなぎ合わせと水平視差という両課題を解消し、画像を人間が適宜消費できるようにするための計算量が膨大になる。

0003

このため、静的シーン及び動的シーンを水平視差ステレオパノラマに取り込む小型パノラマステレオ光学システム及び処理方法が求められている。

0004

上記に鑑みて、本実施形態は、水平視差ステレオパノラマを取り込むシステムを提供する。当該システムは、多面選択光反射ユニット二次反射体及び演算ユニットを含む。多面選択光反射ユニットは、(a)複数の鏡面及び(b)視野開口を含む。複数の鏡面が密着形状で配置され、(a)(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得し、(b)光線間で内部反射させることなく光線を反射させる。二次反射体は、多面選択光反射ユニットに取り付けるように構成される。二次反射体は、(a)多面選択光反射ユニットからの反射光線を取得し、(b)光線を視野開口に反射させる。二次反射体は、3Dシーンの上側部分を反射させる凹レンズを含む。演算ユニットは、(i)二次反射体からの反射光線及び(ii)凹レンズからの3Dシーンの上側部分を視野開口を介して歪み画像形式で取り込むカメラを含む。プロセッサは、歪み画像を(a)左眼パノラマ及び(b)右眼パノラマに加工する。

0005

一実施形態では、プロセッサは、カメラ配向モジュール、歪み画像取得モジュール校正モジュール、パノラマ作成モジュール及び表示モジュールを含む。カメラ配向モジュールは、(a)カメラの視軸を演算ユニットの中心軸と一致させ、(b)二値光パターンを3Dシーンのスクリーン投影する。二値光パターンは、(i)通常二値系列パターン及び(ii)逆二値系列パターンを含む。通常二値系列パターン及び逆二値系列パターンにより歪み画像を校正する。歪み画像取得モジュールは、カメラから歪み画像を取得する。校正モジュールは、(a)各画素における歪み画像から二値光パターンを復号することにより、ワールド座標系から歪み画像座標系へのマッピングを計算し、(b)(i)カメラ及び(ii)多面選択光反射ユニットの不具合分析し、(c)ワールド座標系から歪み画像座標系へのマッピングを計算しつつ、分析した不具合を最小限に抑える。パノラマ作成モジュールは、(a)各画素における歪み画像の正確な視界を判定し、(b)歪み画像の歪みを取り除いて(i)左眼パノラマ及び(ii)右眼パノラマにする。表示モジュールは、(a)左眼パノラマ及び(b)右眼パノラマをステレオ表示ユニットに表示する。ステレオ表示ユニットは、少なくとも(a)ヘッドマウントディスプレイ(b)三次元(3D)プロジェクタ又は(c)三次元(3D)ディスプレイのいずれか1つである。

0006

別の実施形態では、複数の鏡面は、(a)複数の左鏡面及び(b)複数の右鏡面の連続配置を含む。複数の左鏡面及び複数の右鏡面により(a)左眼パノラマに対応する関連光線及び(b)右眼パノラマに対応する関連光線がそれぞれ取得される。

0007

更に別の実施形態では、複数の左鏡面及び複数の右鏡面の連続配置により、(i)(a)左眼パノラマ及び(b)右眼パノラマのつなぎ合わせの不自然さを最小限に抑え、(ii)3Dシーンの死角を最小限に抑え、(iii)少なくとも(a)左眼パノラマを作成する連続左鏡面又は(b)右眼パノラマを作成する連続右鏡面のいずれか1つの間での視点視差を最小限に抑え、(iv)3Dシーンから取り込んだ光線のむらを最小限に抑える。

0008

更に別の実施形態では、複数の鏡面が湾曲形状である。湾曲形状の複数の鏡面により3Dシーンの視野が拡大される。視野は(a)水平視野及び(b)垂直視野を含む。更に別の実施形態では、カメラが複数のカメラに置換される。

0009

更に別の実施形態では、(i)複数の左鏡面の個々の左鏡面及び(ii)複数の右鏡面の個々の右鏡面の鉛直断面が、少なくとも(a)直線形状、(b)放物線形状、(c)双曲線形状又は(d)楕円形状のいずれか1つである。(i)複数の左鏡面の個々の左鏡面及び(ii)複数の右鏡面の個々の右鏡面の水平断面図は、少なくとも(a)円形状又は(b)直線形状のいずれか1つである。

0010

更に別の実施形態では、カメラが少なくとも(i)デジタルカメラセンサ、(ii)ハイパースペクトル撮像センサ、(iii)赤外線画像センサ又は(iv)暗視センサのいずれか1つである。

0011

更に別の実施形態では、カメラが、左視界及び右視界に対応する多面選択光反射ユニットからの光線を、パノラマステレオディスプレイとして作用するスクリーンに投影するプロジェクタに置換される。

0012

更に別の実施形態では、カメラが二次反射体の位置に配置され、多面選択光反射ユニットからの反射光線を直接取得する。凹レンズが、3Dシーンの上側部分をカメラに反射するために多面選択光反射ユニットの底面に配置される。

0013

別の態様として、水平視差ステレオパノラマを取り込む方法を開示する。この方法は、(a)多面選択光反射ユニットを使用して、(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得するステップと、(b)多面選択光反射ユニットを使用して、光線を少なくとも(i)二次反射体又は(ii)カメラのいずれか1つに反射させるステップと、(c)カメラを使用して、少なくとも(i)二次反射体又は(ii)多面選択光反射ユニットのいずれか1つからの歪み画像の形式の反射光線と、凹レンズからの3Dシーンの上側部分とを取り込むステップと、(d)演算ユニットを使用して、歪み画像を(a)左眼パノラマ及び(b)右眼パノラマに加工するステップと、を含む。

0014

一実施形態では、上記加工は(a)カメラ配向モジュールを使用して、カメラの視軸を演算ユニットの中心軸と一致させるステップと、(b)カメラ配向モジュールを使用して、二値光パターンを3Dシーンのスクリーンに投影するステップと、(c)歪み画像取得モジュールを使用して、カメラから歪み画像を取得するステップと、(d)校正モジュールを使用して、ワールド座標系から歪み画像座標系へのマッピングを計算するステップと、(e)校正モジュールを使用して、(i)カメラ及び(ii)多面選択光反射ユニットの不具合を分析するステップと、(f)校正モジュールを使用して、ワールド座標系から歪み画像座標系へのマッピングを計算しつつ、分析した不具合を最小限にするステップと、(g)パノラマ作成モジュールを使用して、各画素における歪み画像の正確な視界を判定するステップと、(h)パノラマ作成モジュールを使用して、歪み画像の歪みを取り除いて左眼パノラマ及び右眼パノラマにするステップと、(i)表示モジュールを使用して、(a)左眼パノラマ及び(b)右眼パノラマをステレオ表示ユニットに表示するステップと、を含む。

0015

パノラマステレオ光学システムは、均一な解像度で視差ステレオパノラマを取り込む。パノラマステレオ光学システムは、速やかに歪み画像を処理し、リアルタイムで水平視差ステレオパノラマにする。パノラマステレオ光学システムは、歪み画像を取り込み、更に演算装置において後処理を可能にするために使用される。

0016

本実施形態のこれら態様及びその他態様については、以下の説明ならびに添付図面と併せて検討することで一層よく認識され理解される。しかし、以下の説明は、好ましい実施形態や具体的詳細を多数示すものであるが、説明のためのものであって限定のためのものではないと理解しなければならない。本実施形態の精神から逸脱せず、本実施形態の範囲内において、様々な変更や修正を行うことができ、本実施形態は、このような修正の全てを含む。

図面の簡単な説明

0017

本実施形態は、下記の図面を参照する下記の詳細説明から一層よく理解される。

0018

図1Aは、本書の第1実施形態に係る水平視差ステレオパノラマを取り込む二次反射体を含むパノラマステレオ光学システムの側面図である。

0019

図1Bは、本書の第2実施形態に係る二次反射体のない水平視差ステレオパノラマを取り込むパノラマステレオ光学システムを示した図である。

0020

図2は、本実施形態に係る演算ユニットのプロセッサの分解図である。

0021

図3は、本実施形態に係る多面選択光反射ユニットの斜視図である。

0022

図4は、本実施形態に係る多面選択光反射ユニットの複数の鏡面の上面図である。

0023

図5は、本実施形態に係る多面選択光反射ユニットの鏡面の水平断面の典型的な実施形態を示した図である。

0024

図6は、本実施形態に係る多面選択光反射ユニットの複数の鏡面により取り込まれた視野を示した図である。

0025

図7は、第1実施形態に係る図1Aのパノラマステレオ光学システムを用いた水平視差ステレオパノラマの取込方法を示した図である。

0026

図8は、第2実施形態に係る図1Bのパノラマステレオ光学システムを用いた水平視差ステレオパノラマの取込方法を示した図である。

0027

図9は、本実施形態に係る歪み画像を左眼パノラマと右眼パノラマに処理する方法を示した図である。

0028

図10は、本実施形態に係る多面選択光反射ユニットの製造工程である。

0029

図11は、本実施形態で使用するコンピュータアーキテクチャの概略図である。

実施例

0030

本実施形態や、その種々の構成及び効果の詳細について、添付図面に示され、また、以下に詳述する非限定的実施形態を参照し、より詳しく説明する。本実施形態を必要以上に分かりづらくしないように周知の構成要素や処理技術の説明は省略する。本書の例示は、本実施形態の実施方法を理解しやすくし、更に当業者が本実施形態を実施できるようにすることを意図したものである。従って、例示により本実施形態の範囲が限定されると理解してはならない。

0031

上述のとおり、静的シーン及び動的シーンを(例えば画像や映像を含む)水平視差ステレオパノラマに取り込むシステムが求められている。本実施形態は、多面選択光反射ユニット、演算ユニット及びカメラを備え、水平視差ステレオパノラマを取り込むパノラマステレオ光学システムを提供することにより、これを達成する。図面、具体的には図1A図11を参照すると好ましい実施形態が示されており、全ての図面では一貫して同一参照符号が一致対応構成を示している。

0032

図1Aは、水平視差ステレオパノラマを取り込む二次反射体106を備える本書の第1実施形態に係るパノラマステレオ光学システムの側面図である。パノラマステレオ光学システムは、演算ユニット102、多面選択光反射ユニット104及び二次反射体106を含む。多面選択光反射ユニット104は、複数の鏡面112A〜N及び視野開口114を含む。複数の鏡面112A〜Nは、密着形状に配置され、(a)(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得し、(b)光線間で内部反射させることなく光線を反射させる。二次反射体106は、多面選択光反射ユニット104の上部に取り付けられる。二次反射体106は、(a)多面選択光反射ユニット104から反射光線を取得し、(b)光線を視野開口114に反射させる。二次反射体106は、3Dシーンの上側部分を反射させる凹レンズ116を中央に有する。演算ユニット102は、カメラ110とプロセッサを含む。一実施形態において、演算ユニット102は、スマートフォン携帯情報端末タブレット電子手帳等である。カメラ110は、(i)二次反射体106からの反射光線と、(ii)凹レンズ116からの3Dシーンの上側部分を視野開口114を通った歪み画像の形式で取り込む。歪み画像は、人間が視認することはできない。プロセッサは、歪み画像を(a)左眼パノラマ及び(b)右眼パノラマに加工する。一実施形態では、プロセッサが、後処理中遠隔ユニットにおいて歪み画像を加工する。

0033

二次反射体106は、少なくとも(i)放物面反射体又は(ii)平面反射体のいずれか一つである。放物面反射体は、光線をカメラ110に反射させるものであり、3Dシーンの上側部分よりも3Dシーンの下側部分の方が解像度がよい。パノラマステレオ光学システムは、コネクタ108を更に含み、多面選択光反射ユニット104と二次反射体106を接続する。コネクタ108は、透明であり、外界の3Dシーンからの光線を取り込む際の妨げとならない。一実施形態において、パノラマステレオ光学システムは、水平視差ステレオパノラマとともに音声を取り込む1又は2以上のマイクを含む。

0034

図1Bには、図1Aの二次反射体106なしで水平視差ステレオパノラマを取り込む本書の第2実施形態に係るパノラマステレオ光学システムが示されている。パノラマステレオ光学システムは、演算ユニット102及び多面選択光反射ユニット104を含む。多面選択光反射ユニット104は、演算ユニット102に取り付けられ、二次反射体106がないため小型構成となる。多面選択光反射ユニット104は、(a)複数の鏡面112A〜N、(b)視野開口114及び(c)凹レンズ116を含む。多面選択光反射ユニット104は、3Dシーンからの光線を受けて、二次反射体106なしで光線をカメラ110に直に反射させる。凹レンズ116は、3Dシーンの上側部分をカメラ110に反射させる。カメラ110は、多面選択光反射ユニット104からの反射光線と、凹レンズ116からの3Dシーンの上側部分とを歪み画像の形式で取得する。プロセッサは、歪み画像を(a)左眼パノラマ及び(b)右眼パノラマに加工する。

0035

図2は、本実施形態に係る演算ユニット102のプロセッサの分解図である。プロセッサには、(a)データベース202、(b)カメラ配向モジュール204、(c)歪み画像取得モジュール206、(d)校正モジュール208、(d)パノラマ作成モジュール210及び(e)表示モジュール212を含む。データベース202は、今後の参照用に歪み画像及び水平視差ステレオパノラマを記憶する。カメラ配向モジュール204は、(a)カメラ110の視軸を演算ユニット102の中心軸と一致させ、(b)二値光パターンを3Dシーンのスクリーン上に投影する。歪み画像取得モジュール206は、カメラ110から歪み画像を取得する。校正モジュール208は、(a)各画素において歪み画像から二値光パターンを復号することにより、ワールド座標系から歪み画像座標系へのマッピングを計算し、(b)(i)カメラ110及び(ii)多面選択光反射ユニット104の不具合を分析し、(c)ワールド座標系から歪み画像座標系へのマッピングを計算しつつ、分析された不具合を最小限に抑える。二値光パターンは、(i)通常二値系列パターン及び(ii)逆二値系列パターンを含む。通常二値系列パターン及び逆二値系列パターンは、歪み画像を校正し、歪みを取り除くように構成される。パノラマ作成モジュール210は、(a)歪み画像の正確な視野を各画素で判定し、(b)歪み画像の歪みを取り除いて(i)左眼パノラマ及び(ii)右眼パノラマにする。表示モジュール212は、(a)左眼パノラマ及び(b)右眼パノラマをステレオ表示ユニットに表示する。ステレオ表示ユニットは、少なくとも(a)ヘッドマウントディスプレイ(b)三次元(3D)プロジェクタ又は(c)三次元(3D)ディスプレイのいずれか1つである。

0036

図3は、本実施形態に係る多面選択光反射ユニット104の斜視図である。多面選択光反射ユニット104は、密着形状の剛性鏡であり、複数の鏡面112A〜N及び視野開口114を含む。複数の鏡面112A〜Nの鏡面数は、アプリケーションに基づいて変更してもよい。複数の鏡面112A〜Nは、(a)複数の左鏡面及び(b)複数の右鏡面の連続配置を含む。複数の左鏡面は、左眼パノラマに対応する関連光線を取得する。複数の右鏡面は、右眼パノラマに対応する関連光線を取得する。一実施形態では、複数の左鏡面及び複数の右鏡面は、視野を拡大する湾曲形状である。視野は、(a)水平視野及び(b)垂直視野を含む。

0037

図4は、本実施形態に係る多面選択光反射ユニット104の複数の鏡面112A〜Nの上面図である。複数の鏡面112A〜Nを上から見た場合、複数の鏡面112A〜Nの複数の左鏡面から得られる関連光線の方向は反時計回りである。同様に、複数の鏡面112A〜Nを上から見た場合、複数の鏡面112A〜Nの複数の右鏡面から得られる関連光線の方向は時計回りである。ある実施形態では、複数の左鏡面及び複数の右鏡面の各左鏡面及び各右鏡面の中心は、視野開口114の接線上にある。ある実施形態では、複数の鏡面112A〜Nを視野開口114に対し垂直に配置することにより子午光線を取り込む。子午光線により左眼パノラマ及び右眼パノラマが構築される。

0038

図5には、典型的な実施形態として本実施形態に係る多面選択光反射ユニット104の鏡面112Aの水平断面が示されている。水平断面は、本実施形態に係る単一設計において、左側パノラマ及び右側パノラマを取り込むための鏡面112A上の左鏡面及び右鏡面の配置を示している。鏡面112Aは、(a)右眼パノラマの関連光線を取得する右鏡面P1P2と、(b)左眼パノラマの関連光線を取得する左鏡面P2P3を含む。一実施形態では、右鏡面P1P2及び左鏡面P2P3を等しい角度距離に配置することにより、P1が円Cmin上に、P2がCmax上に存在し、右眼パノラマ及び左眼パノラマそれぞれの構築に必要な子午光線の全てを取り込む。同様に、複数の鏡面112A〜Nの連続する右鏡面及び左鏡面を等しい角度距離に配置することにより、Pi(iは偶数)が円Cmax上に、Pj(jは奇数)が円Cmin上に存在し、右眼パノラマ及び左眼パノラマそれぞれの構築に必要な子午光線の全てを取り込む。

0039

図6には、本実施形態に係る図1Aの多面選択光反射ユニット104の複数の鏡面112A〜Nにより取り込まれた視野が示されている。ある実施形態では、複数の鏡面112A〜Nは湾曲形状である。複数の鏡面112A〜Nが湾曲形状であれば視野が拡大する。視野は(a)水平視野及び(b)垂直視野を含む。水平視野は、水平方向において複数の鏡面112A〜Nにより取り込まれた3Dシーンの総量である。垂直視野は、垂直方向において複数の鏡面112A〜Nにより取り込まれた3Dシーンの総量である。一実施形態では、水平視野は多面選択光反射ユニット104の鏡面112A〜Nの数によって変動する。湾曲形状の複数の左鏡面及び複数の右鏡面の連続配置は、複数の左鏡面及び複数の右鏡面の視野の重なりを拡大させる。視野の重なりを拡大させることにより、つなぎ合わせの不自然さを最小限に抑え、3Dシーンの欠落領域を取り込むことができる。一実施形態では、複数の鏡面112A〜Nの湾曲形状は、つなぎ合わせの不自然さを解消し、複数の鏡面112A〜Nの隣接面間の相互反射を回避する最適な重なり量が得られるように限定される。(i)複数の左鏡面の個々の左鏡面又は(ii)複数の右鏡面の個々の右鏡面の少なくとも1つの鉛直断面は、少なくとも(a)直線形状、(b)放物線形状、(c)双曲線形状又は(d)楕円形状のいずれか1つである。(i)複数の左鏡面の個々の左鏡面又は(ii)複数の右鏡面の個々の右鏡面の少なくとも1つの水平断面は、少なくとも(a)円形状又は(b)直線形状のいずれか1つである。一実施形態では、水平断面を円形状にすることにより、水平視野が拡大する。鉛直断面を放物線形状にすることにより、鉛直方向の3Dシーンの解像度が均一になり、鉛直視野が拡大する。多面選択光反射ユニット104の放物線形状において鉛直方向の異なる長さを選択し、求められるサイズにスケーリングすることにより、取り込まれる3Dシーンの範囲(つまり視野)が変化する。放物線形状の土台に近い多面選択光反射ユニット104の一部を選択すると、多面選択光反射ユニット104の視野が放物線形状の土台に向かって傾斜する。一実施形態では、視野を傾斜させることにより、各種アプリケーションにおいてより高い見晴らしのよい位置(例えばドローン環境や部屋の天井等)から水平視差ステレオパノラマを取り込むことができる。

0040

図7には、本実施形態に係る図1Aのパノラマステレオ光学システムを用いた水平視差ステレオパノラマの取込方法が示されている。ステップ702では、多面選択光反射ユニット104を使用して、外界の3Dシーンからの光線を取得する。ステップ704では、多面選択光反射ユニット104を使用して、光線を二次反射体106へ反射させる。ステップ706では、カメラ110を使用して、(a)二次反射体106からの反射光線と、(b)凹レンズ116からの3Dシーンの上側部分を歪み画像の形式で取り込む。ステップ708では、演算ユニット102を使用して、歪み画像を(a)左眼パノラマ及び(b)右眼パノラマに加工する。別の実施形態では、二次反射体106が平面反射体又は放物面反射体であってもよい。

0041

図8には、本実施形態に係る図1Bのパノラマステレオ光学システムを用いた水平視差ステレオパノラマの取込方法が示されている。ステップ802では、多面選択光反射ユニット104を使用して、外界の3Dシーンからの光線を取得する。ステップ804では、多面選択光反射ユニット104を使用して、光線をカメラ110へ反射させる。ステップ806では、(a)多面選択光反射ユニット104からの反射光線と、(b)凹レンズ116からの3Dシーンの上側部分とが、カメラ110を使用して歪み画像の形式で取り込まれる。ステップ808では、演算ユニット102を使用して、歪み画像を(a)左眼パノラマ及び(b)右眼パノラマに加工する。

0042

図9には、本実施形態に係る図2の歪み画像を左眼パノラマと右眼パノラマに処理する方法が示されている。ステップ902では、カメラ配向モジュール204を使用して、カメラ110の視軸を演算ユニット102の中心軸と一致させる。ステップ904では、カメラ配向モジュール204を使用して、二値光パターンが3Dシーンのスクリーンに投影される。ステップ906では、歪み画像取得モジュール206を使用して、カメラ110から歪み画像を取得する。ステップ908では、校正モジュール208を使用して、ワールド座標系から歪み画像座標系へのマッピングが計算される。ステップ910では、校正モジュール208を使用して、カメラ110及び多面選択光反射ユニット104の不具合を分析する。ステップ912では、校正モジュール208を使用して、ワールド座標系から画像座標系へのマッピングを行う一方、分析した不具合を最小限に抑える。ステップ914では、パノラマ作成モジュール210を使用して、各画素において歪み画像の正確な視界を判定する。ステップ916では、パノラマ作成モジュール210を使用して、歪み画像の歪みを取り除いて左眼パノラマ及び右眼パノラマにする。ステップ918では、表示モジュール212を使用して、左眼パノラマ及び右眼パノラマをステレオ表示ユニットに表示する。一実施形態では、ステレオ表示ユニットは、少なくとも(a)ヘッドマウントディスプレイ(b)三次元(3D)プロジェクタ又は(c)三次元(3D)ディスプレイのいずれか1つである。

0043

図10は、本実施形態に係る多面選択光反射ユニット104の製造工程を示したフローチャートである。ステップ1002において制御点が選択され、多面選択光反射ユニット104の鉛直断面のベーススプライン(Bスプライン)表現が各アングルに生成される。ステップ1004において複数の鏡面112A〜Nの各鏡面用の非一様有理Bスプライン(NURBS)面が作成される。ステップ1006において、コンピュータ支援設計CADフォーマットへのエクスポートにより、コンピュータ数値制御CNCモデルが生成される。ステップ1008において、高精度の金型が作成され、鋳物大量生産するための真空鋳造が行われる。ステップ1010において、鋳物にアルミニウムめっきが施され、多面選択光反射ユニット104が得られる。ステップ1012において、多面選択光反射ユニット104は、カメラ110とともに組み立てられ、パノラマステレオ光学システムを形成する。一実施形態では、アプリケーションに応じて異なる値をもった制御点が生成される。ある実施形態では、コンピュータ支援設計(CAD)フォーマットは、少なくとも(i)初期グラフィック変換仕様又は(ii)CNCモデルの生成に使用されるSTEPのいずれか1つである。

0044

本実施形態を実施する代表的なハードウェア環境図11に示す。この概略図は本実施形態に係る情報取扱/演算ユニットのハードウェア構成を示す。演算ユニットは、少なくとも1つのプロセッサ、又は中央プロセッサ(CPU)10を含む。各CPU10はシステムバス12を介してランダムアクセスメモリ(RAM)14、読出し専用メモリ(ROM)16、入出力(I/O)アダプタ18等の各種装置に相互接続される。I/Oアダプタ18はディスク装置11やテープドライブ13等の周辺装置、又は演算ユニットにより読み取り可能なその他プログラム記憶装置接続可能である。演算ユニットはプログラム記憶装置上の独創的指令を読み込み、その指令に従い本実施形態の方法を実行することができる。

0045

演算ユニットは更に、キーボード15、マウス17、スピーカ24、マイク22、及び/又はタッチスクリーン装置(不図示)等のその他ユーザインターフェース装置、又は遠隔制御バス12に接続してユーザ入力収集するためのユーザインターフェースアダプタ19を含む。また、通信アダプタ20がバス12をデータ処理ネットワーク25に接続し、表示アダプタ21がバス12を、例えばモニタプリンタ送信器等の出力装置として具体化された表示ユニット23に接続する。

0046

具体的実施形態に関する上記説明は本実施形態の本質を十分に示しており、当業者は現行知識を適用し、上位概念から逸脱することなく、こうした具体的な実施形態を各種応用のために容易に修正及び/又は適合させることができ、このような適合や修正は開示した実施形態と同等の意味及び範囲に含まれると理解しなければならない。本書で採用した表現や用語は説明目的であり、限定目的ではないと理解される。このため、本実施形態を好ましい実施形態の見地から説明したが、当業者は添付請求項の精神と範囲内で本実施形態を修正して実施できると認識するであろう。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ