図面 (/)

技術 画像処理装置及び画像処理方法

出願人 株式会社日立製作所
発明者 平松義崇浜田宏一
出願日 2016年8月2日 (4年3ヶ月経過) 出願番号 2016-151653
公開日 2018年2月8日 (2年9ヶ月経過) 公開番号 2018-022255
状態 特許登録済
技術分野 画像処理 イメージ分析
主要キーワード 遅延回数 遅延タイミング シフト回数 自律移動装置 撮像平面 単視点画像 実行開始タイミング 表示画
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

非常に短い間隔で撮像された画像に対してリアルタイムで3次元情報高速に生成する。

解決手段

画像処理装置は、第1撮像部により連続的に撮影された複数の第1の画像と第2撮像部により連続的に撮影された複数の第2の画像と第1撮像部の姿勢情報とを受信し、第1及び第2の画像に基づき第1の3次元情報を算出し、第1の画像と第1の3次元情報と姿勢情報とに基づき第2の3次元情報を算出し、第1撮像部の姿勢情報に基づき、第1の3次元情報を算出するタイミングを制御し、第1の3次元情報又は第2の3次元情報を出力する。

概要

背景

近年、カメラ撮影された画像を解析し、画像に含まれる物体の3次元位置をより正確に求める研究が盛んである。例えば、特許文献1では、1台のカメラから入力された複数の時系列画像から、特徴点を検出し、各特徴点の3次元位置、特徴量、各画像内位置、各フレームにおけるカメラの位置と姿勢を算出し、検出された特徴点の数など3種類の評価値を算出し、算出された評価値が所定の条件を満たす場合のみSFM(Structure from Motion)処理に適用する画像群として選択することで精度の高い3次元情報の生成を行う情報処理装置が提案されている。

概要

非常に短い間隔で撮像された画像に対してリアルタイムで3次元情報を高速に生成する。画像処理装置は、第1撮像部により連続的に撮影された複数の第1の画像と第2撮像部により連続的に撮影された複数の第2の画像と第1撮像部の姿勢情報とを受信し、第1及び第2の画像に基づき第1の3次元情報を算出し、第1の画像と第1の3次元情報と姿勢情報とに基づき第2の3次元情報を算出し、第1撮像部の姿勢情報に基づき、第1の3次元情報を算出するタイミングを制御し、第1の3次元情報又は第2の3次元情報を出力する。B

目的

本発明は、上記のような課題を解決するためになされたものであり、非常に短い間隔で撮像された画像に対して3次元情報を高速に生成する3次元情報算出装置や3次元情報算出方法の提供を目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1撮像部により連続的に撮影された複数の第1の画像と、第2撮像部により連続的に撮影された複数の第2の画像とを受信する第1の入力部と、前記第1撮像部の姿勢情報を受信する第2の入力部と、前記第1及び前記第2の画像に基づき第1の3次元情報を算出する第1の算出部と、前記第1の画像と前記第1の3次元情報と前記姿勢情報とに基づき第2の3次元情報を算出する第2の算出部と、前記姿勢情報に基づき、前記第1の3次元情報を算出するタイミングを制御する制御部と前記第1の3次元情報又は前記第2の3次元情報を出力する出力部とを備えることを特徴とする画像処理装置

請求項2

請求項1に記載の画像処理装置であって、前記制御部が前記姿勢情報より生成される前記撮像部の動き度合いを示す評価値所定閾値を超えると判断した場合、前記第1の算出部は新たな前記第1の3次元情報を算出し、前記出力部は前記新たな第1の3次元情報を出力し、前記制御部が前記評価値が前記所定閾値を超えないと判断した場合、前記第2の算出部は新たな前記第2の3次元情報を算出し、前記出力部は前記新たな第2の3次元情報を出力することを特徴とする画像処理装置。

請求項3

請求項2に記載の画像処理装置であって、前記制御部が、前記評価値が前記所定閾値を超えず、前記第1の算出部が最新の前記第1の3次元情報を算出してから所定期間が経過したと判断した場合、前記第1の算出部は新たな前記第1の3次元情報を算出し、前記出力部は前記新たな第1の3次元情報を出力することを特徴とする画像処理装置。

請求項4

請求項3に記載の画像処理装置であって、前記制御部は、所定時間における前記回転3軸の回転角及び並列3軸の位置の差分値が第1の閾値よりも高いという条件を満たす場合の評価値を満たさない場合の評価値よりも高く設定し、連続した複数の所定時間における前記回転3軸の回転角及び並列3軸の位置の全ての差分値が第2の閾値以内という条件を満たす場合の評価値を満たさない場合の評価値よりも高く設定し、所定時間における前記回転3軸の回転角及び並列3軸の位置の差分値の符号が反転するという条件を満たす場合の評価値を満たさない場合の評価値よりも高く設定することを特徴とする画像処理装置。

請求項5

第1撮像部により連続的に撮影された複数の第1の画像と、第2撮像部により連続的に撮影された複数の第2の画像と、前記第1撮像部の姿勢情報とを受信し、前記第1及び前記第2の画像に基づき第1の3次元情報を算出し、前記第1の画像と前記第1の3次元情報と前記姿勢情報とに基づき第2の3次元情報を算出し、前記姿勢情報に基づき、前記第1の3次元情報を算出するタイミングを制御し前記第1の3次元情報又は前記第2の3次元情報を出力することを特徴とする画像処理方法

請求項6

請求項5に記載の画像処理方法であって、前記制御部が前記姿勢情報より生成される前記撮像部の動きの度合いを示す評価値が所定閾値を超えると判断した場合、前記第1の算出部は新たな前記第1の3次元情報を算出し、前記出力部は前記新たな第1の3次元情報を出力し、前記制御部が前記評価値が前記所定閾値を超えないと判断した場合、前記第2の算出部は新たな前記第2の3次元情報を算出し、前記出力部は前記新たな第2の3次元情報を出力することを特徴とする画像処理方法。

請求項7

請求項6に記載の画像処理方法であって、前記制御部が、前記評価値が前記所定閾値を超えず、前記第1の算出部が最新の前記第1の3次元情報を算出してから所定期間が経過したと判断した場合、前記第1の算出部は新たな前記第1の3次元情報を算出し、前記出力部は前記新たな第1の3次元情報を出力することを特徴とする画像処理方法。

請求項8

請求項7に記載の画像処理方法であって、所定時間における前記回転3軸の回転角及び並列3軸の位置の差分値が第1の閾値よりも高いという条件を満たす場合の評価値を満たさない場合の評価値よりも高く設定し、連続した複数の所定時間における前記回転3軸の回転角及び並列3軸の位置の全ての差分値が第2の閾値以内という条件を満たす場合の評価値を満たさない場合の評価値よりも高く設定し、所定時間における前記回転3軸の回転角及び並列3軸の位置の差分値の符号が反転するという条件を満たす場合の評価値を満たさない場合の評価値よりも高く設定することを特徴とする画像処理方法。

技術分野

0001

本発明は、画像処理装置及び画像処理方法に関する。特に、多視点画像を用いて3次元情報を生成する画像処理装置及び画像処理方法に関する。

背景技術

0002

近年、カメラ撮影された画像を解析し、画像に含まれる物体の3次元位置をより正確に求める研究が盛んである。例えば、特許文献1では、1台のカメラから入力された複数の時系列画像から、特徴点を検出し、各特徴点の3次元位置、特徴量、各画像内位置、各フレームにおけるカメラの位置と姿勢を算出し、検出された特徴点の数など3種類の評価値を算出し、算出された評価値が所定の条件を満たす場合のみSFM(Structure from Motion)処理に適用する画像群として選択することで精度の高い3次元情報の生成を行う情報処理装置が提案されている。

先行技術

0003

特許05012615号公報

発明が解決しようとする課題

0004

特許文献1に記載の発明では、評価値の算出に特徴点を検出するなどの処理が必要である。この処理は、画像全体走査して処理するため、一般的に長い処理時間を要する。したがって、非常に短い間隔で撮像された画像を用いて3次元情報を生成しようとした場合、評価値の算出中に撮影された画像の一部は、飛ばされてしまうという問題があった。

0005

本発明は、上記のような課題を解決するためになされたものであり、非常に短い間隔で撮像された画像に対して3次元情報を高速に生成する3次元情報算出装置や3次元情報算出方法の提供を目的とする。

課題を解決するための手段

0006

本発明の形態に係る3次元情報算出装置は、第1撮像部により連続的に撮影された複数の第1の画像と、第2撮像部により連続的に撮影された複数の第2の画像とを受信する第1の入力部と、前記第1撮像部の姿勢情報を受信する第2の入力部と、前記第1及び前記第2の画像に基づき第1の3次元情報を算出する第1の算出部と、前記第1の画像と前記第1の3次元情報と前記姿勢情報とに基づき第2の3次元情報を算出する第2の算出部と、前記姿勢情報に基づき、前記第1の3次元情報を算出するタイミングを制御する制御部と前記第1の3次元情報又は前記第2の3次元情報を出力する出力部とを備える。

発明の効果

0007

本発明による3次元情報算出装置は、非常に短い間隔で撮像された画像に対して3次元情報を高速に生成できる。

図面の簡単な説明

0008

自律移動装置の構成を示すブロック図である。
情報処理装置の構成を示すブロック図である。
情報処理装置の機能構成を示すブロック図である。
3次元情報算出部の機能構成を示すブロック図である。
3次元情報を算出する処理を示すフローチャートである。
物体検出装置の動作例を示すタイミングチャートである。
評価値の算出する処理を示すフローチャートである。
第2の3次元情報を算出する処理を示すフローチャートである。
第2の3次元情報を算出する処理を示すフローチャートである。

実施例

0009

以下、本発明の実施の形態を、図面を用いて説明する。なお、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。

0010

図1Aは、自律移動装置の構成を示すブロック図である。自律移動装置1は、物体検出装置2と、自律移動装置1を自律的に移動させる自律移動システム150、表示装置140と通信を行う送受信装置126と、を備える。自律移動装置としては、例えば、ステレオカメラを搭載した自動車などが想定される。

0011

物体検出装置2は、自律移動装置2の周囲を撮影する第1カメラ121、および第2カメラ122と、内界測定装置129と、第1カメラ121が撮影して得られた画像を取り込む第1画像入力部121Aと、第2カメラ122が撮影して得られた画像を取り込む第2画像入力部122Aと、内界測定装置129の出力を取り込む内界情報入力部129Aと、第1画像入力部121Aおよび第2画像入力部122Aから取り込まれた画像を処理する情報処理装置125とを備える。第1画像入力部121Aと、第2画像入力部122Aと、内界情報入力部129Aと、情報処理装置125と、送受信装置126とは、内部バスにより接続されており、相互に情報を授受する。

0012

第1カメラ121、および第2カメラ122は、自律移動装置1の周囲を撮影し、撮影して得られた画像を、それぞれ第1画像入力部121A、および第2画像入力部122Aに出力する。後述するように、第1画像入力部121Aから入力される画像が主に使用され、第2画像入力部122Aから入力される画像は、三次元位置を算出される際に使用される。

0013

自律移動システム150は、物体検出装置2を自律的に移動させるシステムであり、たとえば、外界測定装置で自律移動システム150の外部(実環境)における相対位置や絶対位置を計測し、モータ車輪とから構成される移動機構を制御して、計測された位置に基づいて目標位置まで移動する。また、物体検出装置1が物体を検出すると、その物体を避けるように移動する。

0014

情報処理装置125は、第1カメラ121、および第2カメラ122で撮影して得られた画像を処理して、自律移動装置1の前方の物体を検出する。情報処理装置125の構成は後述する。

0015

送受信装置126は、表示装置140と無線による通信を行う。送受信装置126は、ユーザによる表示装置140から自律移動装置1への指令を受信し、情報処理装置125の処理結果を表示装置140へ出力する。

0016

内界測定装置129は、たとえば、ジャイロセンサを備える。ジャイロセンサは、第1カメラ121の位置と姿勢情報算出に必要な値、すなわち回転3軸の角速度、および並進3軸の加速度を計測する。内界測定装置129は、測定値を内界情報入力部129Aに出力する。

0017

表示装置140は、例えば、通信機能GUI機能付きの表示画面を有する端末である。

0018

図1Bは、情報処理装置125の構成を示すブロック図である。

0019

情報処理装置125は、CPU131と、主記憶部132と、補助記憶部133と、バス134とを備える。CPU131と、主記憶部132と、補助記憶部133とは、バス134により接続され、相互にデータの送受信が行われる。

0020

CPU131は、主記憶部132または補助記憶部133に格納されているプログラムを読み出す。CPU131は、演算を実行し、主記憶部132や補助記憶部133や機構制御部123に演算結果を出力する。
主記憶部132は、ランダムアクセスメモリにより構成される。主記憶部132には、CPU131によって実行されるプログラムや、CPU131によって実行される演算結果や、情報処理装置125で利用される3次元情報や姿勢情報などが保存される。主記憶部132には、第1画像入力部121Aや第2画像入力部122Aが取得した画像が過去画像として一定数保存される。主記憶部132には、3次元情報や姿勢情報も保存される。

0021

補助記憶部133には、CPU131によって実行されるプログラムや、CPU131によって実行される演算の結果や、情報処理装置125で利用される設定情報が格納される。補助記憶部133は、特に、主記憶部132に格納しきれないデータの格納や、電源遮断された状態でもデータを保持する目的で使用される。補助記憶部133は、たとえば、ハードディスクドライブなどの磁気ディスクドライブ、あるいはフラッシュメモリ等の不揮発性メモリ等を、単体あるいは複数組み合わせて構成される。

0022

<情報処理装置の機能ブロック
図2Aは、情報処理装置125のCPU131が主記憶部132に格納される処理プログラムを実行することで実現される機能構成を示すブロック図である。情報処理装置125は、3次元情報算出部201、および姿勢情報算出部202を備える。3次元情報算出部201は、第1画像入力部121A、および第2画像入力部122Aから入力された画像と姿勢情報算出装置202から入力された姿勢を用いて3次元情報を出力する。詳しくは後述する。

0023

姿勢情報算出部202は、内界情報入力部129Aから内界測定装置129の測定値および、これらの測定値から算出される第1のカメラ121の位置と姿勢情報を出力する。例えば、並進3軸における基準からの位置と、回転3軸における基準からの回転角を出力する。

0024

物体検出部の詳細>
図2Bは、3次元情報算出部201の機能構成を示すブロック図である。3次元情報算出部201は、第1の3次元情報算出部211と、第2の3次元算出部212と、3次元情報算出制御部213と、3次元情報記憶装置215、とを備える。

0025

第1の3次元情報算出部211は、画像内の各画素に対応する3次元情報を、第1カメラ121が取得した第1画像と第2カメラ122が取得した第2画像間の対応点探索処理によって算出する。

0026

第2の3次元情報算出部212は、姿勢情報算出部202が算出した姿勢情報と、3次元情報記憶装置215に保存されている1つ前のタイミングで算出された3次元情報と、第1カメラ121が取得した第1画像を用いて、3次元情報を算出する。第2の3次元情報算出部212は、第1の3次元情報算出部211の処理と比較して計算量が低いものとする。

0027

3次元情報算出制御部213は、第1の第1の3次元情報算出部211の実行開始タイミングを制御し、かつ、第1の3次元情報算出部211が算出した3次元情報と、第2の3次元情報算出部212が算出した3次元情報のどちらを最終的な出力とするため、セレクタ214に信号を送る。

0028

セレクタ214は、3次元情報算出制御部213からの信号を受けて、第1の3次元情報算出部211が算出した3次元情報と、第2の3次元情報算出部212が算出した3次元情報の出力を切り替える。

0029

3次元情報記憶装置215は、不揮発性メモリにより構成される。3次元情報記憶装置215には、1タイミング前の3次元情報が保存される。保存された3次元情報は、第2の3次元情報算出部212の3次元情報算出に用いられる。

0030

<フローチャート>
図3〜6を参照して、物体検出装置2のあるタイミングにおける処理の流れ、すなわち自律移動装置1が3次元情報を算出する処理の流れを説明する。

0031

図3は物体検出装置2の情報処理装置125が実行するプログラムの動作を表すフローチャートである。以下に説明するこのフローチャートの実行主体は、情報処理装置125のCPU131である。

0032

第1カメラ121、および第2カメラ122は所定時間ごとに、自律移動装置1の周囲を撮影し、画像を取得する。内界測定装置129は所定時間ごとに、位置と姿勢情報の算出に必要な計測値、すなわち回転3軸の角速度、および並進3軸の加速度を取得する。第1カメラの自律移動装置1の周囲を撮影し、情報処理装置125は、第1カメラ121、および第2カメラ122が撮影を行い、内界測定装置129がデータを取得すると、以下のプログラムを実行する。

0033

テップS301において、情報処理装置125は、第1画像入力部121A、および第2画像入力部122Aを用いて、第1カメラ121および第2カメラ122から最新撮影画像を取得し、ステップS302に進む。以後、第1画像入力部121Aが取得した最新の画像を最新第1画像、第2画像入力部122Aが取得した最新の画像を最新第2画像、と呼ぶ。

0034

ステップS302において、情報処理装置125は、内界情報入力部129Aを用いて、内界測定装置129から計測値、すなわち回転3軸の角速度、および並進3軸の加速度を取得し、姿勢情報算出部202が、取得された回転3軸の角速度、および並進3軸の加速度から初期位置などの基準からの現在の回転3軸の回転角、および並進3軸の位置を算出し、ステップS303に進む。

0035

ステップS303において、3次元情報記憶装置215に1つ前のタイミングの3次元情報が保存されているか否かを確認する。確認の結果、3次元情報がある場合(S303,Y)は、ステップS304に進む。3次元情報がない場合(S303,N)は、ステップS305Aに進む。

0036

ステップS304において、第2の3次元情報算出部212が3次元情報を算出し、ステップS305に進む。

0037

ステップS305において、第1の3次元情報算出部211が3次元情報の算出を実行しているかどうかを確認する。確認の結果、3次元情報の算出を実行中の場合(S305,Y)は、ステップS312に進む。3次元情報の算出を実行していない場合(S305,N)は、ステップS306に進む。

0038

ステップS305Aにおいて、第1の3次元情報算出部211が3次元情報の算出を実行しているかどうかを確認する。確認の結果、3次元情報の算出を実行中の場合(S305A,Y)は、処理を終了する。3次元情報の算出を実行していない場合(S305A,N)は、ステップS309に進む。

0039

ステップS306において、3次元情報算出制御部213が姿勢情報についての評価値を算出し、ステップS307に進む。評価値の算出フローの詳細は後述する。

0040

ステップS307において、算出された評価値と予め設定されたしきい値Tより大きい場合、ステップS309に進む。算出された評価値と予め設定されたしきい値T以下の場合、ステップS308に進む。

0041

ステップS308において、遅延回数P2Tが予め設定されたしきい値Toより大きい場合、ステップS309に進む。遅延回数P2Tが予め設定されたしきい値To以下の場合、ステップS310に進む。遅延回数P2Tは、第1の3次元情報の算出するタイミングを遅らせた回数を表す変数であり、ステップS308では、第1の3次元情報の算出するタイミングがしきい値To以上遅れた場合に、ステップS309に進み、第1の3次元情報算出部211が3次元情報の算出を開始する。

0042

ステップS310において、遅延回数P2Tをインクリメントし、ステップS312に進む。

0043

ステップS309において、第1の3次元情報算出部211が3次元情報の算出を開始し、3次元情報の算出の完了を待つことなく、ステップS310に進む。

0044

ステップS311において、遅延回数P2Tをゼロに設定し、ステップS312に進む。

0045

ステップS312において、セレクタ214に入力された制御信号に基づいて、出力する3次元情報を選択し、プログラムを終了する。

0046

上述のように、評価値がしきい値よりも低い場合、自律移動装置の動きが少なく、すなわちカメラが撮影する対象物体が大きくずれていない場合、新たに取得した多視点画像から生成された3次元情報に代わり、以前に生成した3次元情報と新たに取得した単視点画像とカメラの姿勢情報とに基づき生成された3次元情報が出力される。以前に生成した3次元情報を利用して新たな3次元情報を生成する場合、画像の特徴点の抽出処理が不要になるため、非常に短い間隔で撮影された画像に合わせた3次元情報の生成が可能になる。これにより、例えば、ステレオカメラを搭載した自動車での物体検知の精度を向上させることができる。図4は、図3の各ステップを実行する際のデータフローの一例をタイミングチャートで説明する図である。以下、各タイミングにおける関連する一連の動作毎のデータフローを説明する。

0047

画像取得と姿勢情報算出>
まず、第1画像入力部121Aと第2画像入力部122Aにおける画像取得(S301)のデータフローについて説明する。
図4に示すように、一定のタイミングで、ステップS301が実行され、第1のカメラ121と第2のカメラ122が前方の空間を撮影し、第1画像入力部121Aが第1画像(Ia)を取得し、第2画像入力部122Aが第2画像(Ib)を取得する。画像が取得されるタイミングと同じタイミングでステップS302が実行され、姿勢情報算出部202が現在の回転3軸の回転角、および並進3軸(P)の位置を算出する(S302)。

0048

<第1の3次元情報算出>
第1の3次元情報算出部211における3次元情報算出の際のデータフロー(S303、S305、S305A、S306−S309)について説明する。

0049

まず、処理を開始したタイミングtaでの動作について説明する。ステップS303が実行され、このタイミングでは3次元情報がないため、ステップS305Aに進む。次にステップS305Aが実行され、第1の3次元情報の算出が実行されていないため、ステップS309に進む。ステップS309が実行され、第1の3次元情報算出部211が3次元情報の算出を開始する(C0)。

0050

続いて、第1の3次元情報の算出が開始されたタイミングta+1からta+4までの動作について説明する。タイミングta+1からタイミングta+4までは、3次元情報がないため、ステップS303からステップS305Aに進む。ステップS305Aが実行され、第1の3次元情報算出部211が3次元情報を算出中のため、処理を終了する。図4ではタイミングta+5の直前に第1の3次元情報算出が完了し、タイミングta+5の段階で3次元情報(W0)が得られている。

0051

続いて、タイミングta+5での動作について説明する。タイミングta+5では、ステップS303が実行され、3次元情報(W0)が得られていることから、ステップS304に進む。ステップS304を実行後、ステップS305に進む。ステップS305が実行され、第1の3次元情報算出は完了しているため、ステップS306に進む。ステップS306が実行され、3次元情報算出制御部213が姿勢情報の評価値を算出し、ステップS307に進む。ステップ307が実行され、算出された評価値が所定のしきい値以下のため、ステップS308に進む。ステップS308が実行され、遅延回数P2Tは0であり、To(=4)より小さいため、ステップS310に進む。ステップS310が実行され、遅延回数P2Tがインクリメントされ、1になる。

0052

続いて、タイミングta+6での動作について説明する。タイミングta+6では、ステップS303が実行され、3次元情報(W1)が得られていることから、ステップS304に進む。ステップS304を実行後、ステップS305に進む。ステップS305が実行され、第1の3次元情報算出は完了しているため、ステップS306に進む。ステップS306が実行され、3次元情報算出制御部213が姿勢情報の評価値を算出し、ステップS307に進む。ステップ307が実行され、算出された評価値が所定のしきい値以上のため、ステップS309に進む。ステップS309が実行され、第1の3次元情報算出部211が3次元情報の算出を開始し(C6)、ステップS311に進む。ステップS311が実行され、遅延回数P2Tを0にセットし、処理を終了する。

0053

続いて、タイミングta+7からta+10での動作について説明する。タイミングta+7からタイミングta+10までは、3次元情報(W1〜W5)が得られていることから、ステップS303からステップS304に進む。ステップS304を実行後、ステップS305に進む。ステップS305が実行され、第1の3次元情報算出部211が3次元情報を算出中のため、ステップS312に進み、ステップS312を実行後、処理を終了する。図4ではタイミングta+11の直前に第1の3次元情報算出が完了し、タイミングta+11の段階で3次元情報(W6)が得られている。

0054

続いて、タイミングta+11からta+14での動作について説明する。タイミングta+11からta+14では、ステップS303が実行され、3次元情報(W6)が得られていることから、ステップS304に進む。ステップS304を実行後、ステップS305に進む。ステップS305が実行され、第1の3次元情報算出は完了しているため、ステップS306に進む。ステップS306が実行され、3次元情報算出制御部213が姿勢情報の評価値を算出し、ステップS307に進む。ステップ307が実行され、算出された評価値が所定のしきい値以下のため、ステップS308に進む。ステップS308が実行され、遅延回数P2TがTo(=4)より小さいため、ステップS310に進む。ステップS310が実行され、遅延回数P2Tがインクリメントされる。

0055

続いて、タイミングta+15での動作について説明する。タイミングta+15では、ステップS303が実行され、3次元情報が得られていることから、ステップS304に進む。ステップS304を実行後、ステップS305に進む。ステップS305が実行され、第1の3次元情報算出は完了しているため、ステップS306に進む。ステップS306が実行され、3次元情報算出制御部213が姿勢情報の評価値を算出し、ステップS307に進む。ステップ307が実行され、算出された評価値が所定のしきい値以下のため、ステップS308に進む。ステップS308が実行され、遅延回数P2Tは4であり、To(=4)以上のため、ステップS309に進む。ステップS309が実行され、第1の3次元情報算出部211が3次元情報の算出を開始し(C15)、ステップS311に進む。ステップS311が実行され、遅延回数P2Tを0にセットし、処理を終了する。
<第2の3次元情報算出>
第2の3次元情報算出部212が3次元情報を算出するS304のデータフローについて説明する。

0056

図4に示すように、ステップS304は、3次元情報が得られはじめたタイミングta+5から実行され、毎タイミングで実行される。その処理に利用される画像は、初めて3次元情報が得られるまでの遅延タイミング数(4)前の第1画像を用いる。タイミングta+5においてはタイミングta+1での第1画像を使用する。

0057

<出力3次元情報の選択>
セレクタ214が入力された制御信号に基づいて出力する3次元情報を選択するフロー(S312)について説明する。

0058

3次元情報算出制御部213は、第1の3次元情報算出部211によって得られた3次元情報を優先して出力するように信号を生成する。図4ではタイミングta+5、ta+11において第1の3次元情報算出部211から3次元情報が出力されており、そのときにはセレクタ214への制御信号を0に設定される。それ以外のタイミングではセレクタ214への制御信号は1に設定される。

0059

図5は、3次元情報算出制御部213において評価値を算出するフローチャートである。

0060

ステップS501において、3次元情報算出制御部213は、姿勢情報算出部202が算出した現在の位置と姿勢情報、すなわち回転3軸の回転角、および並進3軸の位置と、前回処理タイミングにおける姿勢情報、すなわち回転3軸の回転角、および並進3軸の位置の差分を算出し、ステップS502に進む。

0061

ステップS502において、3次元情報算出制御部213は評価値を0に設定し、ステップS503に進む。

0062

ステップS503において、3次元情報算出制御部213は、算出された姿勢情報、すなわち回転3軸、および並進3軸の差分値がすべて所定の値以内を満たす場合(S503,Y)、ステップS505に進む。算出された姿勢情報と位置、すなわち回転3軸の回転角、および並進3軸の位置の差分値がすべて所定の値以内を満たさない場合(S503,N)、ステップS504に進む。ここで、閾値となる所定の値は、回転3軸と並進3軸の6つのパラメータそれぞれに設定するものとする。

0063

ステップS504において、3次元情報算出制御部213は、直前のN個の姿勢すなわち回転3軸、および並進3軸の加速度がすべて所定の値以内を満たす場合(S504,Y)、ステップS507に進む。直前のN個の姿勢情報、すなわち回転3軸の回転角、および並進3軸の位置の差分値がすべて所定の値以内を満たさない場合(S504,N)、ステップS506に進む。

0064

ステップS505において、3次元情報算出制御部213は、評価値を2に設定し、プログラムを終了する。

0065

ステップS506において、3次元情報算出制御部213は、姿勢すなわち回転3軸の回転角、および並進3軸の位置の差分値がの現在と直前で符号が反転したことを満たす場合(S506,Y)、ステップS508に進む。姿勢情報、すなわち回転3軸の回転角、および並進3軸の位置の差分値が現在と直前で符号が反転したことを満たさない場合(S506,N)、ステップS509に進む。

0066

ステップS507において、3次元情報算出制御部213は、評価値を4に設定し、プログラムを終了する。

0067

ステップS508において、3次元情報算出制御部213は、評価値を8に設定し、プログラムを終了する。

0068

ステップS509において、3次元情報算出制御部213は、評価値を6に設定し、プログラムを終了する。 以上の処理により、カメラの動きの度合い、すなわち、カメラの撮影対象の物体の動きの度合いによって、評価値に重み付けがされる。この評価値に応じて、負荷の高い多視点画像の生成有無が判断される。評価値が所定の閾値より低い場合、すなわち、カメラの撮影対象の物体の動きが少ないと判断された場合は、以前に生成した3次元情報を利用して新たな3次元情報を生成することで、3次元情報生成にかかる時間を削減することが可能になる。

0069

図6図7は第2の3次元情報算出部212の動作を表すフローチャートである。以下に説明するこのフローチャートの実行主体は、情報処理装置125のCPU131である。

0070

ステップS601において、第2の3次元情報算出部212は、直前に算出された3次元情報を取得し、ステップS602に進む。以降の説明では、直前に算出された3次元情報を第1の3次元情報と称する。

0071

ステップS602において、第1の3次元情報から物体を検出し、検出された物体ごとに第1の3次元情報を分割し、ステップS603に進む。

0072

ステップS603において、姿勢情報算出部202から現在の位置・姿勢情報を入力し、ステップS604に進む。

0073

ステップS604において、入力された位置の移動ベクトルと角度の差分ベクトルを算出し、ステップS605に進む。

0074

ステップS605において、ステップS604で算出された位置の移動ベクトルと角度の差分ベクトルを用いて、物体ごとに第1の3次元情報を平行移動・回転し、ステップS606に進む。以降の説明では、ステップS605において得られた3次元情報を第2の3次元情報と称する。

0075

ステップS606において、物体ごとに第1の3次元情報をカメラ121の仮想的な撮像平面上に投影し、第1の2次元点を算出し、ステップS607に進む。

0076

ステップS607において、物体ごとの第1の2次元点に対して画像特徴量を算出し、ステップS610に進む。以降の説明では、ステップS607において算出された画像特徴量を第1の画像特徴量と称する。

0077

ステップS608において、物体ごとに第2の3次元情報をカメラ121の仮想的な撮像平面上に投影し、第2の2次元点を算出し、ステップS607に進む。

0078

ステップS609において、物体ごとの第2の2次元点に対して画像特徴量を算出し、ステップS610に進む。以降の説明では、ステップS609において算出された画像特徴量を第2の画像特徴量と称する。

0079

ステップS610において、物体ごとに第1の画像特徴量と第2の画像特徴量の距離を算出し、ステップS611に進む。ステップS611以降は物体ごとに処理される。

0080

ステップS611において、処理対象の物体を選択し、選択された物体に対する画像特徴量の距離が所定のしきい値Tより大きい場合は、ステップS612に進む。一方、選択された物体に対する画像特徴量の距離が所定のしきい値T以下の場合は、ステップS617に進む。

0081

ステップS612において、ステップS613の処理した回数(シフト回数)が所定のしきい値Sより大きい場合は、ステップS621に進む。一方、ステップS613の処理した回数(シフト回数)が所定のしきい値S以下の場合は、ステップS613に進む。

0082

ステップS613において、処理対象の物体の第2の2次元点をシフト回数と関連付けられた場所にシフトし、ステップS614に進む。

0083

ステップS614において、シフト回数をインクリメントし、ステップS615に進む。

0084

ステップS615において、処理対象の物体のシフト後の第2の2次元点に対して画像特徴量を算出し、ステップS616に進む。

0085

ステップS616において、処理対象の物体の第1の画像特徴量とシフト後の第2の画像特徴量の距離を算出し、ステップS611に進む。

0086

ステップS617において、S613の処理した回数(シフト回数)が0であった場合、ステップS618に進む。一方、S613の処理した回数(シフト回数)が0でない場合、ステップS619に進む。

0087

ステップS618において、処理対象の物体の第2の3次元情報を出力される3次元情報に統合し、ステップS621に進む。

0088

ステップS619において、処理対象の物体の第1の2次元点と第2の2次元点の対応関係から、3次元情報を算出し、ステップS620に進む。以降の説明では、ステップS619で算出された3次元情報を第3の3次元情報と称する。

0089

ステップS620において、処理対象の物体の第3の3次元情報を出力される3次元情報に統合し、ステップS621に進む。

0090

ステップS621において、全ての物体についてS611以降の処理が完了していれば、3次元情報算出部212の処理を終了する。一方、S611以降の処理されていない物体が存在するならば、それらの中の1つを選択し、S611に進む。

0091

以上の処理及び構成により、非常に短い間隔で撮影された画像に合わせて3次元情報を高速に生成することが可能になる。

0092

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。

0093

上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリハードディスクSSD(Solid State Drive)等の記録装置ICカードSDカード、DVD等の記録媒体に格納することができる。

0094

2:物体検出装置
121:第1のカメラ
122:第2のカメラ
125:情報処理装置
126:送受信装置
129:内界測定装置
140:表示装置
150:自律移動システム
211:第1の3次元情報算出部
212:第2の3次元情報算出部
213:3次元情報算出制御
215:3次元情報記憶装置
1:自律移動装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ