図面 (/)

この項目の情報は公開日時点(2013年10月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題・解決手段

本実施形態は、立体画像ペアに基づいてセンサに適した焦点深度を決定するための方法、装置およびシステムについて考察する。特に、ある特定の実施形態は、各画像のためのキーポイントを決定することと、キーポイント間の相関性識別することと、相関性からオブジェクトの距離を引き出すことについて考察する。これらの距離は、次に、1つ以上のセンサに適した焦点深度を選択するために使用されることができる。

概要

背景

立体視(Stereopsis)は、人間の脳が左目および右目から見られるようなオブジェクト相対的変位(relative displacement)に基づいて、オブジェクトの深度解釈する処理である。立体感(stereoscopic effect)は、第1および第2の横方向オフセット視聴位置(laterally offset viewing positions)から第1および第2のシーンの画像をとることによって、および、左および右目の各々に画像を別々に表示することによって、人為的に引き起こされ得る。時間内に一連立体画像ペア(stereoscopic image pairs)をキャプチャすることによって、画像ペアは、ユーザに3次元を有しているように見える立体ムービーを形成するように、目に連続的に表示され得る。

2つの従来のカメラは、立体画像ペアの画像の各々を取得するために使用されることができる。従来のカメラは、異なる焦点深度で複数の画像をキャプチャするオートフォーカス手順を使用して適切に焦点を合わせることができる。最も高い頻度容量(the highest frequency content)に対応する焦点深度は、次に、次の画像キャプチャのために使用される。従来のムービー・カメラは、ビデオ・キャプチャの間、オートフォーカスするために、この方法を使用することができる。しかしながら、オートフォーカス機能が行われる間、フレームのキャプチャは、定期的に遅らせられる必要があるだろう。このオートフォーカス技術は、従来の単一カメラで2D画像をキャプチャすることに適しているが、立体画像キャプチャに対しては不適当であり得る。特に、前記技術は、ビデオ・ストリーム中断し、カメラの動き、たとえば、ユーザの手の動き、によって影響を受け得る。

概要

本実施形態は、立体画像ペアに基づいてセンサに適した焦点深度を決定するための方法、装置およびシステムについて考察する。特に、ある特定の実施形態は、各画像のためのキーポイントを決定することと、キーポイント間の相関性識別することと、相関性からオブジェクトの距離を引き出すことについて考察する。これらの距離は、次に、1つ以上のセンサに適した焦点深度を選択するために使用されることができる。

目的

ある特定の本実施形態は、立体画像キャプチャの幾何学的特性(geometric properties)を活用するオートフォーカス機能を提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の視点に関連付けられた第1の画像を受信することと、第2の視点に関連付けられた第2の画像を受信することと、前記第1の画像に基づいて第1の複数のキーポイントを決定することと、前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させることと、前記第1の複数のキーポイントの各々に関連付けられた複数の視差を決定することと、前記複数の視差、前記第1の視点の前記位置、および前記第2の視点の前記位置に基づいて焦点深度を決定することを含む、画像センサのための焦点深度を決定するための電子デバイスにおける方法。

請求項2

前記第2の画像に基づいて第2の複数のキーポイントを決定することをさらに含む、請求項1に記載の方法。

請求項3

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させることは、前記第1の複数のキーポイントからのキーポイントを前記第2の複数のキーポイントからのキーポイントと相関させることを含む、請求項2に記載の方法。

請求項4

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させることは、前記第2の画像における検索範囲内のピクセルを介して繰り返すことを含む、請求項1に記載の方法。

請求項5

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させることは、前記第1の画像および前記第2の画像におけるピクセル間の平均2乗誤差を決定することを含む、請求項4に記載の方法。

請求項6

前記第1の画像に基づいて第1の複数のキーポイントを決定することは、前記第1の画像に基づいてスケール不変特徴変換(SIFT)キーポイントを決定することを含む、請求項1に記載の方法。

請求項7

前記第1の画像に基づいて第1の複数のキーポイントを決定することは、前記第1の画像をサブサンプリングすることと、前記第1の画像に高域フィルタを適用することと、前記第1の画像力を計算することと、前記第1の画像を閾値処理することを含む、請求項1に記載の方法。

請求項8

前記第1の複数のキーポイントからのキーポイントをリアルタイムで生じる前記第2の画像における位置と相関させる、請求項1に記載の方法。

請求項9

前記電子デバイスは、携帯電話を含む、請求項1に記載の方法。

請求項10

コンピュータに、第1の視点に関連付けられた第1の画像を受信する、第2の視点に関連付けられた第2の画像を受信する、前記第1の画像に基づいて第1の複数のキーポイントを決定する、前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させる、前記第1の複数のキーポイントの各々に関連付けられた複数の視差を決定する、前記複数の視差、前記第1の視点の前記位置、および前記第2の視点の前記位置に基づいて焦点深度を決定するステップを行わせるように構成される命令を含む、コンピュータ可読媒体

請求項11

前記第2の画像に基づいて第2の複数のキーポイントを決定することをさらに含む、請求項10に記載のコンピュータ可読媒体。

請求項12

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させることは、前記第1の複数のキーポイントからのキーポイントを前記第2の複数のキーポイントからのキーポイントと相関させることを含む、請求項11に記載のコンピュータ可読媒体。

請求項13

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させることは、前記第2の画像における検索範囲内のピクセルを介して繰り返すことを含む、請求項10に記載のコンピュータ可読媒体。

請求項14

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させることは、前記第1の画像および前記第2の画像におけるピクセル間の平均2乗誤差を決定することを含む、請求項13に記載のコンピュータ可読媒体。

請求項15

前記第1の画像に基づいて第1の複数のキーポイントを決定することは、前記第1の画像に基づいてスケール不変特徴変換(SIFT)キーポイントを決定することを含む、請求項10に記載のコンピュータ可読媒体。

請求項16

前記第1の画像に基づいて第1の複数のキーポイントを決定することは、前記第1の画像をサブサンプリングすることと、前記第1の画像に高域フィルタを適用することと、前記第1の画像力を計算することと、前記第1の画像を閾値処理することを含む、請求項10に記載のコンピュータ可読媒体。

請求項17

前記第1の複数のキーポイントからのキーポイントをリアルタイムで生じる前記第2の画像における位置と相関させる、請求項10に記載のコンピュータ可読媒体。

請求項18

前記コンピュータは、携帯電話に位置する、請求項10に記載のコンピュータ可読媒体。

請求項19

立体キャプチャデバイス焦点を合わせるためのシステムであって、前記システムは、第1の視点に関連付けられた第1の画像を生成するように構成される第1の画像センサと、第2の視点に関連付けられた第2の画像を生成するように構成される第2の画像センサと、前記第1の画像に基づいて第1の複数のキーポイントを決定するように構成される特徴生成モジュールと、前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させるように構成されるキーポイント相関性モジュールと、前記第1の複数のキーポイントの各々に関連付けられた複数の視差を決定するように構成される視差決定モジュールと、前記複数の視差、前記第1の視点の前記位置、および前記第2の視点の前記位置に基づいて焦点深度を決定するように構成される深度決定モジュールを含む、システム。

請求項20

前記特徴生成モジュールは、前記第2の画像に基づいて第2の複数のキーポイントを決定するように構成される、請求項19に記載のシステム。

請求項21

キーポイントを相関させるように構成される前記モジュールは、前記第1の複数のキーポイントからのキーポイントを前記第2の複数のキーポイントからのキーポイントと相関させるように構成される、請求項20に記載のシステム。

請求項22

キーポイントを相関させるように構成される前記モジュールは、前記第2の画像における検索範囲内のピクセルを介して繰り返すように構成される、請求項19に記載のシステム。

請求項23

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させることは、前記第1の画像および前記第2の画像におけるピクセル間の平均2乗誤差を決定することを含む、請求項22に記載のシステム。

請求項24

前記特徴生成モジュールは、前記第1の画像に基づいてスケール不変特徴変換(SIFT)キーポイントを決定するように構成される、請求項19に記載のシステム。

請求項25

前記特徴生成モジュールは、前記第1の画像をサブサンプリングし、前記第1の画像に高域フィルタを適用し、前記第1の画像力を計算し、前記第1の画像を閾値処理するように構成される、請求項19に記載のシステム。

請求項26

キーポイントを相関させるように構成される前記モジュールは、前記第1の複数のキーポイントからのキーポイントをリアルタイムで前記第2の画像における位置と相関させる、請求項19に記載のシステム。

請求項27

前記立体キャプチャ・デバイスは、携帯電話に位置する、請求項19に記載のシステム。

請求項28

前記モジュールは、視差ヒストグラムを含む焦点深度を決定するように構成される、請求項19に記載のシステム。

請求項29

立体キャプチャ・デバイスの焦点を合わせるためのシステムであって、前記システムは、第1の視点に関連付けられた第1の画像を受信するための手段と、第2の視点に関連付けられた第2の画像を受信するための手段と、前記第1の画像に基づいて第1の複数のキーポイントを決定するための手段と、前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させるための手段と、前記第1の複数のキーポイントの各々に関連付けられた複数の視差を決定するための手段と、前記複数の視差、前記第1の視点の前記位置、および前記第2の視点の前記位置に基づいて焦点深度を決定するための手段を含む、システム。

請求項30

第1の画像を受信するための前記手段は、第1のセンサを含み、第2の画像を受信するための前記手段は、第2のセンサを含み、第1の複数のキーポイントを決定するための前記手段は、特徴生成モジュールを含み、相関させるための前記手段は、キーポイント相関性モジュールを含み、複数の視差を決定するための前記手段は、視差決定モジュールを含み、焦点深度を決定するための前記手段は、深度決定モジュールを含む、請求項29に記載のシステム。

請求項31

第1の複数のキーポイントを決定するための前記手段は、前記第2の画像に基づいて第2の複数のキーポイントを決定するように構成される、請求項29に記載のシステム。

請求項32

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させるための前記手段は、前記第1の複数のキーポイントからのキーポイントを前記第2の複数のキーポイントからのキーポイントと相関させるように構成される、請求項31に記載のシステム。

請求項33

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させるための前記手段は、前記第2の画像における検索範囲内のピクセルを介して繰り返すように構成される、請求項29に記載のシステム。

請求項34

前記第1の複数のキーポイントからのキーポイントを前記第2の画像における位置と相関させるための前記手段は、前記第1の画像および前記第2の画像におけるピクセル間の平均2乗誤差を決定するように構成される、請求項33に記載のシステム。

請求項35

第1の複数のキーポイントを決定するための前記手段は、前記第1の画像に基づいてスケール不変特徴変換(SIFT)キーポイントを決定するように構成される、請求項29に記載のシステム。

請求項36

第1の複数のキーポイントを決定するための前記手段は、前記第1の画像をサブサンプリングし、前記第1の画像に高域フィルタを適用し、前記第1の画像力を計算し、前記第1の画像を閾値処理するように構成される、請求項29に記載のシステム。

請求項37

キーポイントを相関させるための前記手段は、前記第1の複数のキーポイントからの前記キーポイントをリアルタイムで前記第2の画像における位置と相関させる、請求項29に記載のシステム。

請求項38

前記立体キャプチャ・デバイスは、携帯電話に位置する、請求項29に記載のシステム。

関連出願に対する相互参照

0001

本願は、2011年3月23日に出願された、「立体画像のためのオートフォーカス(AUTOFOCUS FOR STEREOIMAGES)」と題された、米国特許仮出願番号第61/489,231号、および、2010年8月9日に出願された、「立体画像からの瞬時オートフォーカス(INSTANTANEOUS AUTOFOCUS FROM STEREO IMAGES)」と題された、米国特許仮出願番号第61/371,979号、の利益を主張する、2011年8月8日に出願された、米国特許出願第13/205,481号に対する優先権を主張し、それらの出願はここでの参照により組み込まれる。

技術分野

0002

本実施形態は、立体画像キャプチャ(stereoscopic image capture)に関し、特に、立体画像キャプチャ・デバイスに適した焦点深度(focal depth)を決定するための方法、装置、およびシステムに関する。

背景技術

0003

立体視(Stereopsis)は、人間の脳が左目および右目から見られるようなオブジェクト相対的変位(relative displacement)に基づいて、オブジェクトの深度解釈する処理である。立体感(stereoscopic effect)は、第1および第2の横方向オフセット視聴位置(laterally offset viewing positions)から第1および第2のシーンの画像をとることによって、および、左および右目の各々に画像を別々に表示することによって、人為的に引き起こされ得る。時間内に一連立体画像ペア(stereoscopic image pairs)をキャプチャすることによって、画像ペアは、ユーザに3次元を有しているように見える立体ムービーを形成するように、目に連続的に表示され得る。

0004

2つの従来のカメラは、立体画像ペアの画像の各々を取得するために使用されることができる。従来のカメラは、異なる焦点深度で複数の画像をキャプチャするオートフォーカス手順を使用して適切に焦点を合わせることができる。最も高い頻度容量(the highest frequency content)に対応する焦点深度は、次に、次の画像キャプチャのために使用される。従来のムービー・カメラは、ビデオ・キャプチャの間、オートフォーカスするために、この方法を使用することができる。しかしながら、オートフォーカス機能が行われる間、フレームのキャプチャは、定期的に遅らせられる必要があるだろう。このオートフォーカス技術は、従来の単一カメラで2D画像をキャプチャすることに適しているが、立体画像キャプチャに対しては不適当であり得る。特に、前記技術は、ビデオ・ストリーム中断し、カメラの動き、たとえば、ユーザの手の動き、によって影響を受け得る。

0005

ある特定の実施形態は、画像センサのための焦点深度を決定するための電子デバイスにおける方法について考察する。それら方法は、第1の視点に関連付けられた第1の画像を受信することと、第2の視点に関連付けられた第2の画像を受信することと、第1の画像に基づいて第1の複数のキーポイントを決定することと、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させることと、第1の複数のキーポイントの各々に関連付けられた複数の視差(disparities)を決定することと、複数の視差、第1の視点の位置、および第2の視点の位置に基づいて焦点深度を決定することを含むことができる。

0006

ある特定の実施形態において、前記方法は、第2の画像に基づいて第2の複数のキーポイントを決定することをさらに含むことができる。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させることは、第1の複数のキーポイントからのキーポイントを第2の複数のキーポイントからのキーポイントと相関させることを含む。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させることは、第2の画像における検索範囲内のピクセルを介して繰り返すことを含む。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させることは、第1の画像および第2の画像におけるピクセル間の平均2乗誤差を決定することを含む。いくつかの実施形態において、第1の画像に基づいて第1の複数のキーポイントを決定することは、第1の画像に基づいてスケール不変特徴変換(SIFT:Scale Invariant Feature Transform)キーポイントを決定することを含む。いくつかの実施形態において、第1の画像に基づいて第1の複数のキーポイントを決定することは、第1の画像をサブサンプリングすることと、第1の画像に高域フィルタ(high-pass filter)を適用することと、第1の画像力(power of the first image)を計算することと、第1の画像を閾値処理することを含む。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントをリアルタイムで生じる第2の画像における位置と相関させる。いくつかの実施形態において、電子デバイスは、携帯電話を含む。

0007

ある特定の実施形態は、コンピュータに、第1の視点に関連付けられた第1の画像を受信し、第2の視点に関連付けられた第2の画像を受信し、第1の画像に基づいて第1の複数のキーポイントを決定し、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させ、第1の複数のキーポイントの各々に関連付けられた複数の視差を決定し、複数の視差、第1の視点の位置、および第2の視点の位置に基づいて焦点深度を決定するステップを行わせるように構成される命令を含むコンピュータ可読媒体について考察する。

0008

いくつかの実施形態において、前記命令は、また、プロセッサに、第2の画像に基づいて第2の複数のキーポイントを決定させるように構成される。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させることは、第1の複数のキーポイントからのキーポイントを第2の複数のキーポイントからのキーポイントと相関させることを含む。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させることは、第2の画像における検索範囲内のピクセルを介して繰り返すことを含む。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させることは、第1の画像および第2の画像におけるピクセル間の平均2乗誤差を決定することを含む。いくつかの実施形態において、第1の画像に基づいて第1の複数のキーポイントを決定することは、第1の画像に基づいてスケール不変特徴変換(SIFT)キーポイントを決定することを含む。いくつかの実施形態において、第1の画像に基づいて第1の複数のキーポイントを決定することは、第1の画像をサブサンプリングすることと、第1の画像に高域フィルタ(high-pass filter)を適用することと、第1の画像力を計算することと、第1の画像を閾値処理することを含む。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントをリアルタイムで生じる第2の画像における位置と相関させる。いくつかの実施形態において、コンピュータは、携帯電話に位置する。

0009

ある特定の実施形態は、立体キャプチャ・デバイスの焦点を合わせるためのシステムについて考察する。前記システムは、第1の視点に関連付けられた第1の画像を生成するように構成される第1の画像センサと、第2の視点に関連付けられた第2の画像を生成するように構成される第2の画像センサと、第1の画像に基づいて第1の複数のキーポイントを決定するように構成される特徴生成モジュールと、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させるように構成されるキーポイント相関性モジュールと、第1の複数のキーポイントの各々に関連付けられた複数の視差を決定するように構成される視差決定モジュールと、複数の視差、第1の視点の位置、および第2の視点の位置に基づいて焦点深度を決定するように構成される深度決定モジュールを含むことができる。

0010

いくつかの実施形態において、特徴生成モジュールは、第2の画像に基づいて第2の複数のキーポイントを決定するように構成され得る。いくつかの実施形態において、キーポイントを相関させるように構成されるソフトウェア・モジュールは、第1の複数のキーポイントからのキーポイントを第2の複数のキーポイントからのキーポイントと相関させるように構成される。いくつかの実施形態において、キーポイントを相関させるように構成されるソフトウェア・モジュールは、第2の画像における検索範囲内のピクセルを介して繰り返すように構成される。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させることは、第1の画像および第2の画像におけるピクセル間の平均2乗誤差を決定することを含む。

0011

いくつかの実施形態において、特徴生成モジュールは、第1の画像に基づいてスケール不変特徴変換(SIFT)キーポイントを決定するように構成される。いくつかの実施形態において、特徴生成モジュールは、第1の画像をサブサンプリングし、第1の画像に高域フィルタを適用し、第1の画像力を計算し、第1の画像を閾値処理するように構成される。

0012

いくつかの実施形態において、キーポイントを相関させるように構成されるソフトウェア・モジュールは、第1の複数のキーポイントからのキーポイントをリアルタイムで前記第2の画像における位置と相関させる。いくつかの実施形態において、立体キャプチャ・デバイスは、携帯電話に位置する。いくつかの実施形態において、焦点深度を決定するように構成されるソフトウェア・モジュールは、視差ヒストグラム(disparity histogram)を含む。

0013

ある特定の実施形態は、立体キャプチャ・デバイスの焦点を合わせるためのシステムを考察し、前記システムは、第1の視点に関連付けられた第1の画像を受信するための手段と、第2の視点に関連付けられた第2の画像を受信するための手段と、第1の画像に基づいて第1の複数のキーポイントを決定するための手段と、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させるための手段と、第1の複数のキーポイントの各々に関連付けられた複数の視差を決定するための手段と、複数の視差、第1の視点の位置、および第2の視点の位置に基づいて焦点深度を決定するための手段を含む。

0014

いくつかの実施形態において、第1の画像を受信するための手段は、第1のセンサを含み、第2の画像を受信するための手段は、第2のセンサを含み、第1の複数のキーポイントを決定するための手段は、特徴生成モジュールを含み、相関させるための手段は、キーポイント相関性モジュールを含み、複数の視差を決定するための手段は、視差決定モジュールを含み、焦点深度を決定するための手段は、深度決定モジュールを含む。いくつかの実施形態において、第1の複数のキーポイントを決定するための手段は、第2の画像に基づいて第2の複数のキーポイントを決定するように構成される。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させるための手段は、第1の複数のキーポイントからのキーポイントを第2の複数のキーポイントからのキーポイントと相関させるように構成される。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させるための手段は、第2の画像における検索範囲内のピクセルを介して繰り返すように構成される。いくつかの実施形態において、第1の複数のキーポイントからのキーポイントを第2の画像における位置と相関させるための手段は、第1の画像および第2の画像におけるピクセル間の平均2乗誤差を決定するように構成される。いくつかの実施形態において、第1の複数のキーポイントを決定するための手段は、第1の画像に基づいてスケール不変特徴変換(SIFT)キーポイントを決定するように構成される。いくつかの実施形態において、第1の複数のキーポイントを決定するための手段は、第1の画像をサブサンプリングし、第1の画像に高域フィルタを適用し、第1の画像力を計算し、第1の画像を閾値処理するように構成される。いくつかの実施形態において、キーポイントを相関させるための手段は、第1の複数のキーポイントからのキーポイントをリアルタイムで第2の画像における位置と相関させる。いくつかの実施形態において、立体キャプチャ・デバイスは、携帯電話に位置する。

図面の簡単な説明

0015

開示される態様は、以下において、同一符号が同一要素を示す添付図面と連携して説明され、開示された観点を限定することなく例示するために提供される。
図1は、立体画像のキャプチャを容易にするセンサ配置(sensor arrangement)を含む1つの可能なモバイル・デバイスを図示する一般化されたブロック図である。
図2は、図1のモバイル・デバイスのような、モバイル・デバイス中のある特定のコンポーネントのブロック図である。
図3は、キャプチャ・デバイスの立体写真(stereo pair)を使用して第1および第2の位置でオブジェクトをキャプチャすることを図示する。
図4は、特定のカメラ配置のためのオブジェクトの距離とピクセル視差(pixel disparity)の関係を図示するグラフである。
図5Aは、立体感を得るために位置付けられた2つの画像キャプチャ・センサおよび任意のシーンのトップダウンビュー(top-down view)を図示するブロック図である。
図5Bは、オーバーレイされた(overlaid)シーンにおけるオブジェクト視差の方向および規模(magnitude)を備えた図5Aのシーンが撮影された立体画像ペアのうちの1つを図示する。
図6は、図4のグラフを図示するが、オブジェクト視差ヒストグラムおよびオーバーレイされた対応するオブジェクト深度ヒストグラムを備える。
図7は、ある特定の実施形態が新しい焦点深度を決定する処理のためのフローチャートを図示する。
図8は、ある特定の実施形態がキーポイントを決定する処理のためのフローチャートを図示する。
図9は、キーポイントが画像の各々の間と相関している領域および立体画像ペアを図示する。

詳細な説明

0016

実施形態は、立体カメラにおける構成データを決定または設定するシステムおよび方法に関する。一実施形態において、構成データは、立体カメラの2つのレンズの適切な焦点距離に関する。一実施形態において、第1のカメラはシーンから第1の画像を受信し、第2のカメラは同一のシーンの第2の画像を受信する。キーポイントのセットは、第1の画像の分析から決定されている。キーポイントは、たとえば、画像の一部から一貫して再現されることができる任意のデータ構造を含むことができ、これにより画像部分の固有識別許可する。いくつかの実施形態において、キーポイントは、画像の一部に対応する複数のピクセルを含むことができる。キーポイントは、画像における位置に関連付けられ得る。第1の画像におけるキーポイントを決定した後、システムは、第2の画像において類似した位置を探す。一度、第2の画像において類似した位置が識別されると、システムは、第1の画像におけるキーポイントと、第2の画像における対応する位置との間の違いを計算する。これは、システムに、立体レンズの位置に加えて、両方のフレームにおける同一のキーポイントの位置の間の視差を周知することでシーンの焦点深度を決定することを可能にする。

0017

本実施形態は、少なくとも立体画像ペアに基づいてセンサに適した焦点深度を決定するためのシステム、装置、および方法について考察する。特に、ある特定の実施形態は、各画像のためのキーポイントを決定することと、キーポイント間の相関性を識別することと、相関性からオブジェクトの距離を引き出すことについて考察する。当業者は、これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実現され得ることを理解するだろう。立体視システム(stereoscopic system)は、モバイル・ワイヤレス通信デバイス携帯情報端末(PDAs)、ラップトップ・コンピュータ、デスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、および同類のものを含む、広範囲の電子デバイスで実現され得る。

0018

図1は、立体画像のキャプチャ、および画像を受信するための他の手段を容易にするセンサ配置を含むモバイル・デバイス100を図示する。そのようなデバイスは、携帯電話、携帯情報端末、ゲーミング・デバイス、または同様のものであり得る。デバイス100は、距離dによって分離された第1のセンサ101aおよび第2のセンサ101bを含むことができる。デバイスは、また、ユーザ入力制御102およびディスプレイ103を含むことができる。いくつかの実施形態において、ユーザが立体画像またはムービーをキャプチャするためにデバイス100を手に持つ場合、センサ101aおよび101bは、それらは垂直ではなく、水平オフセットのように位置することができる。

0019

この特定のデバイスは2つのセンサ101aおよび101bを図示するが、当業者は、おおよそ2つの画像センサを含む立体画像キャプチャ・デバイスを容易に想像することができる。たとえば、単一センサのみを備えたデバイスは、すばやく連続してセンサ101aおよび101bの位置で2つの画像を得るために、一連のレンズまたは反射面との組み合わせで動作することができる。この配置は、同様に、下記に説明される方法で使用するための立体画像ペアを得ることができ、単一センサはそれに従って焦点を合わせられることができる。従って、本願において議論される方法およびシステムは、これらの視点が画像シーンの立体描写を容易にする限り、第1および第2の視点から2つの画像を得る任意のシステムに適応できるだろう。従って、画像センサのペアへの言及は、2つの視点から画像を受信する単一画像センサの可能性を除外すると考えられるべきではない。

0020

図2は、図1に図示されたモバイル・デバイス100のような、モバイル・デバイス中のある特定のコンポーネントのブロック図である。センサ101aは、立体画像ペアの第1の画像を受信し、センサ101bは、立体画像ペアの第2の画像を受信する。いくつかの実施形態において、センサは画像を同時に受信することができる。デバイスは、ビデオ・フロントエンド102およびメモリ103を含むことができる。ビデオ・フロント・エンド102は、センサ101aおよび101bから入ってくる生データ(incoming raw image data)を処理し、データをメモリ103に記憶することができる。メモリ103は、また、モバイル・デバイス100のためのさまざまなアプリケーションおよびソフトウェア・ドライバを含むことができる。たとえば、ディスプレイ・ドライバ・モジュール104は、ディスプレイ103と通信することができる。ユーザ入力モジュール106は、同様にユーザ・インタフェース102と通信することができる。ワイヤレス通信ドライバ・モジュール107は、ワイヤレス通信ハードウェア112と通信することができる。

0021

メモリは、また、汎用プロセッサ113と通信することができる。汎用プロセッサ113は、アドバンスRISCマシン(ARM:Advanced RISC Machine)、デジタル・シグナル・プロセッサ(DSP)、またはグラフィカル処理ユニット(GPU)のような、サブ処理ユニットまたはサブプロセッサを含むことができる。これらのプロセッサは、さまざまな動作を処理するとき、ローカル・メモリと通信することができる。

0022

ある特定の本実施形態は、システム・アーキテクチャへの「焦点深度分析モジュール(Focal Depth Analysis Module)」115a、115bの追加について考察する。いくつかの実施形態において、モジュールは、専用プロセッサ115a、または汎用プロセッサに位置するプロセッサの一部の形をとることができる。いくつかの実施形態において、モジュールは、メモリ103のようなコンピュータ可読媒体に記憶されるソフトウェア・コード115bを含むことができる。いくつかの実施形態は、ファームウェア、またはソフトウェア−ハードウェアの組み合わせとしてのメモリ115bおよび専用プロセッサ115aにおいて、モジュールの一部を設置することができる。いくつかの実施形態において、モジュールは、SIFT特徴生成システムのような特徴生成システム、およびセンサ101aおよび101bへのアクセスを許可する図2において任意の位置に存在することができる。従って、モジュールは、特徴生成および/または検出のために構成される既存のハードウェアまたはソフトウェアを活用することができる。当業者は、下記に説明される実施形態が汎用プロセッサ113におけるサブプロセッサを使用して実現されることができ、メモリ103において分離したアプリケーションとして記憶されることができることを理解するだろう。いくつかの実施形態において、SIFT特徴生成システムがソフトウェアにおいて発見されることができるのに対して、他の実施形態において、SIFT特徴生成システムはハードウェアにおいて発見されることができる。

0023

ある特定の本実施形態は、立体画像キャプチャの幾何学的特性(geometric properties)を活用するオートフォーカス機能を提供する。図3は、トップダウン・ビューを経由して、立体カメラ配置を使用した第1の位置300a、および第2の位置300bにおけるオブジェクト304の立体画像キャプチャを図示する。第1の画像キャプチャ・デバイス301aは、第2の位置に位置する第2のキャプチャ・デバイス301bから横方向に分離される第1の位置に位置することができる。第1のキャプチャ・デバイス301aは、第1の位置から第1のシーンの画像をキャプチャすることができ、第2のキャプチャ・デバイス301bは、第2の位置から第2のシーンの画像をキャプチャすることができる。第1および第2の画像は、それに応じて、キャプチャ・デバイス301aおよび301bの位置、および方位に基づいて、第1および第2のシーンの視点に関連付けられるだろう。オブジェクト304は、両方の画像に現れ得る。いくつかの実施形態において、キャプチャ・デバイス301aおよびキャプチャ・デバイス301bは、図1のセンサ101aおよび101bとそれぞれ同一であり得る。キャプチャ・デバイス301a、301bは、垂直視差(vertical disparity)を有さず、かなり近い焦点距離を所持すると較正され(calibrated)得る。

0024

デバイス301aの視点の中心は、線302aに沿っていく。同様に、デバイス301bの視点の中心は、線302bに沿っていく。これら2つの中心線は、位置303で交差する。述べたように、オブジェクト304は第1および第2の画像の各々で現れる。しかしながら、位置300aに関して、オブジェクト304は、量(amount)305aによって中心線302aの右に現れ、量305bによって中心線302bの左に現れる。反対に、位置300bにおいて、オブジェクト304は、量306aによって中心線302aの左に現れ、量306bによって中心線302bの右に現れる。この方法において、z方向におけるオブジェクトの相対的位置は、左および右の画像の各々における相対的変位によって反映される。

0025

オブジェクト視差は、第2の画像におけるオブジェクトの位置と比較して第1の画像におけるオブジェクトの位置との間の違いとして定義され得る。キャプチャ・デバイス間の垂直視差がないところでは、視差は、1つの画像における位置から別の位置への横方向オフセットのみを含むことができる。当業者(one)は、左と右、または右と左の画像の間の違いとして視差を任意にとることができる。本明細書の目的について、視差は、(図3に示されるようなx方向の正(x-direction positive)を備えた)センサ301aからの画像におけるオブジェクトの位置を引いた、センサ301bからの画像におけるオブジェクトの位置として定義される。従って、負の視差(negative disparity)は、位置300aにおけるオブジェクト304の描写によりもたらされ、正の視差は、位置300bにおけるオブジェクト304の描写によりもたらされる。

0026

センサの位置および相対的方位の知識を用いて、当業者は、カメラ配置から観測される視差、およびオブジェクトの距離、または深度の関係のグラフを構成することができる。たとえば、図4は、この1つの特定のセンサ配置のための関係のグラフである。視差401が増加するにつれて、オブジェクトの距離402も増加する。初期の負の視差は、非常にカメラ配置に近いオブジェクトのために存在することができ、すなわち、これらは図3のz方向における深度402をほとんど有していない。オブジェクトがカメラ配置からさらに移動する(すなわち、深度が増加する)につれて、視差は次第に正になり、相当な距離でオブジェクトのために横ばい状態となり始める。当業者は、図4のチャートがセンサ301a、301bが垂直である角度に依存し得るということを理解することができる。同様に、センサは図1および3のように互いに平行であり得るが、センサ間のzおよびy方向における変位は、また、グラフへの修正をもたらす。そのようなグラフは、デバイスにおけるメモリ、またはクイックリファレンス(quick reference)に類似した記憶構造において記憶されることができる。

0027

図5aは、いくつかのオブジェクトを含むシーンのトップダウン・ビューである。また、画像キャプチャ・デバイス301aおよび301bは、画像501aおよび501bをそれぞれ得るために、使用され得る。オブジェクト502−504は、シーン内のさまざまな深度に位置する。その結果、画像501aおよび501bにおけるオブジェクトの位置の間の視差が観測されるだろう。図5Bは、それらが生じるピクセル位置で示されるある特定の視差の規模および方向を用いて画像501aを図示する。たとえば、複数の正の視差510は、遠くのオブジェクト504に対して出現し、複数の負の視差511は、より近いオブジェクト502に対して現れる。図4のグラフを参照して、自動システムは、各視差に関連付けられた深度を決定することができる。たとえば、図6に示されるように、同一の規模の視差は、視差ヒストグラム601を形成するために、蓄積され、プロット(plotted)されてきた。深度ヒストグラム602を生成するために、対応する深度602は、センサの関係から導出されることができる。深度ヒストグラム602は、示された深度で各最大の領域における1つ以上のオブジェクトの存在を示唆するだろう。

0028

オートフォーカス動作は、センサ101a、101bのうちの1つまたは両方に適した焦点深度の決定を含む。いくつかの実施形態において、適切な焦点深度は、オブジェクト深度ヒストグラム(object depth histogram)(または図4のようなグラフに関連したオブジェクト視差ヒストグラム)の平均値(mean)、中央値(median)、または類似した統計値をとることによって決定されることができる。特殊な順序統計フィルタ(special order statistic filter)が特定のアプリケーションを収容するために使用されることができる一方で、中央統計値は、かけ離れた値(outlying value)に対していくつかのロバスト性(robustness)を提供することができる。選択された統計値は、非常に遠くの、および非常に近くのオブジェクトが与えられる相対的な重みに依存し得る。たとえば、焦点の質は、1つの深度の範囲を通しておおよそ同じであり得るが、第2の範囲において劇的に変化する。これらの変化は、下記でより詳しく議論されている。

0029

当業者は、第1および第2の画像の各々において発見されたオブジェクトごとのすべてのピクセルの視差を決定することによって視差ヒストグラム601を生成することができるが、これは、モバイル・デバイスでは計算的費用がかかり、実用的ではない。すべてのピクセルの相関性が相当な数のピクセルを通して繰り返すことを必要とするだけでなく、各画像は、個別のピクセルの識別および各画像におけるオブジェクトへのその相関性を難解(difficult)にする、同一の値の複数のピクセルを含み得る。

0030

すべてのピクセルを分析する代わりに、ある特定の本実施形態は、画像内容の「疎な」対応する深度マップまたは「疎な」視差マップを作り出することを考察する。ある特定の実施形態において、キーポイントは、画像の各々において決定されることができ、画像におけるピクセルのすべてまたは大部分の間ではなく、キーポイント間、またはキーポイントとピクセル間の視差が、オブジェクトの深度を推測するために使用されることができる。ピクセルよりも少ないキーポイントがあるので、結果として生じる視差または深度のマップは「疎」である。キーポイントは、画像の一部から一貫して再現されることができ、これにより画像部分の固有の識別を許可する任意のデータ構造を含むことができる。キーポイントは、画像における位置に関連付けられ得る。キーポイントの固有の決定は、第2の画像に類似した、または同一部分から識別されるべきキーポイントを許可する。いくつかの実施形態において、キーポイントは、スケール不変特徴変換(SIFT)キーポイント、または、類似した特徴生成モジュールのキーポイントを含むことができる。いくつかの実施形態において、システムは、キーポイントを決定するためのサブプロセッサまたは汎用プロセッサ113において前から存在しているマシン・ビジョン・コンポーネント(machine vision components)を再利用することができる。たとえば、高域フィルタ・ブロックがキーポイント検出のために再利用されることができる。あるいは、メモリ103に記憶されるマシン・ビジョン動作を行うためのソフトウェア・ライブラリは、キーポイントを生成するために使用されることができる。この方法において、ある特定の実現は、オートフォーカスを行うためのキーポイントを生成するために他のアプリケーションに関連付けられた機能を無駄なく活用することができる。SIFT以外のアルゴリズムを適用する特徴生成モジュールのような複数のキーポイントを決定するための代替の手段が、下記でより詳しく説明されている。

0031

図7は、立体画像キャプチャのためのオートフォーカス処理700を図示するフローチャートであり、それは、ある特定の本実施形態によって実現されることができる。処理は、少なくとも立体画像ペアを得ること、または受信すること702によって、開始する701。ある特定の実施形態は、計算時間を減らすために、画像の各々から関心領域(region of interest)をトリミングする(cropping)ことを考察する。一度、画像が受信されると、システムは、第1の画像からキーポイントを決定する703。述べたように、いくつかの実施形態において、これらのキーポイントは、SIFTまたは他の特徴検出ハードウェア、ファームウェア、またはソフトウェアを使用して決定されることができる。いくつかの実施形態において、システムは、また、第2の画像においてキーポイントを決定することができる。システムは、次に、第1の画像からのキーポイントを第2の画像における(特定のピクセル位置のような)ピクセル領域と相関させることができる704。「キーポイント相関性」ソフトウェア、ファームウェア、またはハードウェア・モジュールは、この動作を行うように構成されることができる。動作のある一部は、キーポイントを相関させるための他の手段を作り出し、他のモジュール(ファームウェア、ハードウェア、またはソフトウェア)にわたって分散されることができる。この動作は、第2の画像における第1の画像における同一の画像領域を識別するためにサーブ(serve)することができる。

0032

視差Dは、次に、第1の画像の各キーポイントの位置と第2の画像の相関ピクセル位置との間で計算されることができる705。キーポイントが両方の画像のために計算されたところで、キーポイント間の視差は、相関キーポイントの各々の相対的位置を減算することによって決定されることができる。視差は、次に、図6の601に類似した視差ヒストグラムとして編成され、ヒストグラム602に類似した対応する深度ヒストグラムが決定されることができる。深度ヒストグラムは、次に、選択された統計値に基づいて、センサのための最大焦点深度を決定するために使用されることができる。「視差決定」ソフトウェア、ファームウェア、またはハードウェア・モジュールは、この動作を行うように構成されることができる。動作のある一部は、視差を決定するための他の手段を作り出す、他のモジュール(ファームウェア、ハードウェア、またはソフトウェア)にわたって分散されることができる。

0033

処理700を実現する実施形態において、計算効率を改善するために、処理700は、各視差のための深度に変換し、次に、深度の平均を決定するのではなく、視差の統計値(このケースでは、平均)を決定する706。次に、単一の統計値の深度のみが、図4のそれと類似したグラフに関して決定される必要がある707。この深度は、次に、その次の画像キャプチャの間、新しいカメラの焦点深度として使用されること708ができる。

0034

述べられたように、他の実施形態は、その代わりに、視差の各々を深度に変換することができ、次に、深度を平均する。他の実施形態は、所望の焦点深度を決定するために、平均値、中央値、またはいくつかの他の統計値を代わりにとることができる。「深度決定」ソフトウェア、ファームウェア、またはハードウェア・モジュールは、この動作を行うように構成されることができる。モジュールは、視差ヒストグラムと連動して動作することができる。動作のある一部は、焦点深度を決定するための他の手段を作り出し、他のモジュール(ファームウェア、ハードウェア、またはソフトウェア)にわたって分散されることができる。一度、焦点深度が決定されたとすると、画像センサ101aは調整され得る。センサ101bは、また、プロセッサ113によって調整されることができる、または、センサ101bはセンサ101aの焦点深度を独自に追尾することができる。上記に述べられたように、ある特定の実施形態において、単一のセンサのみが、決定された焦点深度に基づいて調整されることができる。

0035

これらの実施形態の変化において、システムは、単に視差の平均をとるのではなく、深度を決定するために、シーンからの情報を代わりに使用することができる。たとえば、平均をとる代わりに、キーポイント視差は、単一のオブジェクトにおけるそれらの存在、および照明条件に基づいて、重み付けされ得る。たとえば、ヒストグラムは、ある特定の焦点距離に関連付けられた焦点の質(focal quality)によるヒストグラムから各ポイントを重み付けることによって向上されることができる。ある特定のカメラ配置において、焦点が3メートルにセットされた場合、2メートルと無限大(infinity)との間のオブジェクトは、良質な焦点を有することができ、1メートルから2メートル間のオブジェクトは、相当の焦点を有することができ、0.5から1メートル間のオブジェクトは劣った焦点を有し得る。図6のヒストグラムは、他の範囲よりも頻繁に優先焦点範囲が選択されるように、それに応じて重み付けされる。これは、ある特定の実施形態において、「領域の重み付け特性(region weighted saliency)」と称されることができる。他の変化において、画像からの頻度情報(frequency information)が、キーポイント選択に組み込まれることができる。テクスチャを含むオブジェクトは、テクスチャなしで、またはわずかなテクスチャで、オブジェクトよりも多くのキーポイントを生成することができ、それにより平均に影響を及ぼす。従って、テクスチャ・オブジェクトに関連付けられたキーポイントは、非テクスチャ・オブジェクトから異なる重みを受信することができる。一変化において、テクスチャ内の領域が検出されることができ、これらの領域は、次に、その領域におけるキーポイントの重みを少なくするために使用される。

0036

立体ムービーをキャプチャする場合、処理700が、単一フレーム、すなわち、単一の立体画像ペアに適用され得る。次に、カメラ配置またはシーンが適切な焦点の再評価を必要とするように修正されるまで、決定された焦点深度は、次の画像キャプチャの間、画像センサによって使用され得る。従って、動作700は、任意の状態依存である必要はないというメリットを有する。すなわち、従来のオートフォーカス・システムは、ムービー・キャプチャ処理を定期的にタイムアウトする必要があり、焦点を再評価するために複数の焦点深度をキャプチャするだろう。対照的に、処理700は、それがフレーム遅延を生じさせないという点で「瞬時の」であり得る。これは、シームレスフォーカストラッキング(seamless focus tracking)を容易にする。処理は、現在の焦点位置と焦点位置推定(focus position estimation)との間にフィードバック(または、依存性)はないので、システムの安定性をさらに保証することができる。さらに、焦点動作は単一フレームで達成され得るので、ユーザの手の動きが、任意のぶれ(blur)を生成する可能性は高くないだろう。

0037

述べられたように、処理700のステップ703および704において生成されたキーポイントは、第2の画像に適用された場合、画像の一部にアイデンティティ割り当てることができ、一貫して理解される任意のデータ構造を含むことができる。述べられたように、いくつかの実施形態において、キーポイントは、SIFT特徴生成モジュールから生成されるスケール不変特徴変換(SIFT)キーポイントを含むことができる。図8は、特徴生成モジュールにおけるキーポイントを生成するための別の可能な処理を図示する。

0038

処理800は、生の立体画像ペアのうちの1つを受信すること802によって開始する801。次に、画像は、できる限り雑音に対するアルゴリズムのロバスト性を改善するため、および、計算要求を減らすために、サブサンプルされる803。次に、画像は、水平な高域フィルタを通過し得る804。いくつかの実施形態において、フィルタは、

0039

によって与えられた応答を備えた3x4カーネル(kernel)を含むことができる。

0040

次に、処理は、すなわち、各値を2乗することによって、画像力を計算すること805ができる。最終的に、処理は、雑音および低電力値(low-power values)を除去するために、値を閾値処理すること806ができる。システムは、閾値を上回る残りの値の中から、「極大値(maximum values)」を識別するだろう。いくつかの実施形態において、極大値が、閾値を上回るそれらの画像部分であり得るのに対して、他の実施形態において、極大値は、それらの局地的な隣接値(local neighbors)に関連して定義され得る。たとえば、閾値を上回る隣接ピクセル間デルタ(delta)は、極大値を識別するために使用されることができる。識別された極大値は、上記に説明された視差決定ステップのために使用され得るキーポイントの位置を示す。システムは、終了する808前に、これらのキーポイントの位置を記憶すること807ができる。この方法で画像をサブサンプリングおよび閾値処理をすることによって、キーポイントとしてサーブされ得るピクセル位置を決定することが必要とされる計算時間が、削減され得る。これらの実施形態におけるキーポイントがピクセル位置を含むので、ピクセル位置は、時折「キーポイント」と称されることができる。しかしながら、当業者は、変化を容易に理解するだろう。ここにおいて、キーポイントは、位置と、数多くの隣接ピクセル値および位置との両方を含む。キーポイントは、また、ピクセル値またはピクセル位置ではなく、画像部分の頻度容量またはピクセル値のグラディエント(gradients)を直接言及することができる。たとえば、SIFTキーポイントは、ピクセル・グラディエントを示すベクトルを含むことができる。

0041

一度、第1の画像におけるキーポイントが決定されたとすると、それは、画像部分の間の視差が決定され得るように、キーポイントを第2の画像における位置と相関させるために依然として残り得る。図8の処理800によって生成されたキーポイントのようなキーポイントかどうかを決定するための可能な方法は、画像における位置と相互に関連付けられ、図9に関して説明されるだろう。図9は、立体画像ペア900aおよび900bを図示する。画像900aおよび900bの画像ペアをキャプチャするために使用される2つのセンサの構成に基づいて、各キーポイント901周囲の検索領域902を決定することができる。探索領域902は、キャプチャ・デバイス構成の結果として、キーポイントが左右の画像において変位され得る最大距離(すなわち、最大予測視差(maximum expected disparity))を、指定することができる。いくつかの実施形態において、画像センサは垂直な視差が欠如しているので、キーポイント901は、一般に、シーンにおける垂直エッジ(vertical edges)に位置することができる。

0042

検索領域902は、画像900aおよび900bの各々の同一の絶対位置(absolute position)に位置する。図9において、検索領域902は、画像900aおよび900bの間に垂直な視差が存在しないと仮定される(すなわち、同列におけるピクセルのみが考慮される)ので、単一ピクセルの高さを有する長方形(rectangle)を含む。領域902の高さは、画像900aおよび900bの間に存在し得る垂直な視差の量に関して増加され得る。システムは、第2の画像900bの検索領域902における各ピクセルを通して繰り返すことができ、キーポイント901を囲む画像900aの一部とのピクセルの対応を決定することができる。これは、下記にさらに詳しく説明される相関メトリック(correlation metric)を使用していくつかの実施形態において達成され得る。

0043

ある特定の実施形態において、キーポイントは、単に画像900aのためではなく、画像900aと画像900bの両方のために決定され得る。画像間のキーポイントを相関させることを試みる場合、システムは、第2の画像900bにおける検索領域902内でキーポイントを識別することができる。画像900bのうちの1つのキーポイントのみが検索領域902において発見された場合、このキーポイントは、第1の画像からのキーポイントと相互に関連付けられることができる。画像900bの2つ以上のキーポイントが領域902に存在するところで、システムは、どのキーポイントが第1の画像からのキーポイント901に最も良く対応するかを決定するために、検索領域902における画像900bの各キーポイントに対して相関メトリックを適用することができる。キーポイントが1つの画像のみのためにとられる場合、メトリックが適用されるのと同様に、メトリックは、キーポイント901および901bが、画像900aおよび900bの各々における同一のシーンの一部を参照する可能性が高いことを確認するために、キーポイント901および901bのピクセル位置に隣接するピクセル値を考慮し得る。キーポイントが両方の画像のために作り出されているところで、領域内の各ピクセル間ではなく、領域902におけるキーポイント間で繰り返すことのみが必要であり得る。

0044

上記説明された実施形態において、システムは、決定されたキーポイント901に対応する検索領域902のある特定のピクセルを通して繰り返す。システムは、領域902における各ピクセルに相関メトリックを適用することができる。キーポイント901の位置を囲む領域との最大相関性を有する領域902におけるピクセルは、次に、キーポイント901と相互に関連付けられ得る。領域902における画像900bの各ピクセルを通して繰り返すための計算コスト(computational cost)は、画像900bのすべてのためのキーポイントを計算し、各キーポイント間の相関性を決定するためのコストよりも少ない。しかしながら、いくつかの実施形態において、ほんのわずかなキーポイントのみが生成されたところで、システムは、1つの画像のキーポイントに関連付けられた領域902の間で繰り返すのではなく、すべてのキーポイント間の相関性を直接決定することができる。

0045

ある特定の実施形態において、900aにおけるキーポイントに対応する画像900bにおけるキーポイントまたはピクセル位置を識別するために使用される相関性メトリックは、考慮中の画像900bにおける位置を囲むピクセル、および画像900aにおけるキーポイントの位置を囲むピクセルための平均2乗誤差の計算を含むことができる。すなわち、画像900bにおける検索領域902における位置のための隣接ピクセルおよび第1画像のピクセル隣接キーポイント901の平均2乗誤差は、相関性メトリックとして使用されることができる。平均2乗誤差は、

0046

として計算されることができ、ここで、Rは、平均2乗誤差であり、Sleftは、画像900aにおけるピクセル値を含み、Srightは、画像900bにおけるピクセル値を含み、MおよびNは、検査中の領域902のピクセル位置または現在のキーポイントのための領域902に対する画像の中に、水平および垂直オフセットを含み、Δは、検索領域902における現在の位置のために適用された水平偏移(horizontal shift)を含む(SleftおよびSrightに対する第1のパラメータは、列の位置(column position)/x軸、および第2の行の位置(row position)/y軸である)。平均2乗誤差は上記例の7x7ウィンドウ(window)内であるが、当業者は、画像解像度および適用されたサブサンプリングによって、ウィンドウ寸法(window dimensions)の範囲を容易に思い描くことできる。さらに、センサ101aおよび101bは、上記の例において1つも垂直な視差を有することがないと推定されるので、検索領域902は、水平にのみ拡大し、Δは、x軸/列の方向(column direction)にのみ現れる。より多くのロバスト・システムは、検索領域902の高さを増加させること、および垂直方向のΔを含むことによって、センサの位置付け(sensor positioning)におけるエラー補償することができる。画像がダウンサンプルされる(downsampled)につれて、サブピクセル解像度は、キーポイント901と相互に関連付けられた画像900bの領域902におけるピクセルのより正確な決定を容易にするために、いくつかの実施形態において、多項式補間(polynomial interpolation)のような、補間を使用して決定されることができる。すなわち、センサ101aに関連するセンサ101bの変位は、正確なピクセルの整数であることができない。したがって、特にサブサンプリング後、正確なキーポイント901の相関性は、検索領域902におけるピクセル間の位置を含むことを必要とし得る。キーポイント901と最大限に相互に関連付けられた画像900bの領域902における位置は、補間されたポイントにおいて、ピクセル位置の中間に位置する(fall between)。

0047

ここに開示された実現に関連して記載されたさまざまな例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路ASIC)、フィールドプログラマブルゲートアレイFPGA)または他のプログラマブル論理デバイス離散ゲートまたはトランジスタ論理、離散ハードウェア・コンポーネント、または、ここに説明される機能を実行するように設計されたこれら任意の組み合わせとともに実現または実行されることができる。汎用プロセッサは、マイクロ・プロセッサであることができるが、あるいは、プロセッサは、任意の従来のプロセッサ、コントローラマイクロコントローラ、または状態機械(state machine)であることができる。プロセッサは、また、たとえばDSPとマイクロ・プロセッサの組み合わせ、複数のマイクロ・プロセッサ、DSPコアと連動する1つ以上のマイクロ・プロセッサ、または任意の他のこのような構成であるコンピューティング・デバイスの組み合わせとして実現されることができる。

0048

ここで開示された実現に関連して説明された方法または処理のステップは、ハードウェアで直接的に、プロセッサによって実行されるソフトウェア・モジュールで、または両者の組み合わせで具現化されることができる。ソフトウェア・モジュールは、RAMメモリフラッシュ・メモリ、ROMメモリEPROMメモリ、EEPROMメモリレジスタハードディスクリムーバブル・ディスク、CD−ROM、または当該技術で周知の任意の他の形態の非一時的な記憶媒体に存在することができる。例示的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み出し、コンピュータ可読記憶媒体に情報を書き込むことができるように、プロセッサに結合される。あるいは、記憶媒体は、プロセッサと一体化されることができる。プロセッサおよび記憶媒体は、ASICに存在することができる。ASICは、ユーザ端末、カメラ、または他のデバイスに存在することができる。あるいは、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイスに離散コンポーネントとして存在することができる。

0049

見出し(headings)は、参考のために、およびさまざまなセクションの位置を特定することを支援するために、ここに含まれる。これらの見出しは、それについて説明された概念の範囲を限定するように意図されてはいない。そのような概念は、明細書全体を通して適用性を有することができる。

0050

開示の実現の先の説明は、いずれの当業者でも本発明を作り出し、使用することを可能にさせるために提供されている。これらの実現に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実現に適応することができる。このように、本発明は、ここに説明された実現に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する可能性がある最も広い範囲が付与されるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ