図面 (/)

技術 距離範囲算出装置、距離信頼度算出装置、距離画像信号補正装置、距離画像信号量子化装置、撮像装置、および方法

出願人 キヤノン株式会社
発明者 野林和哉
出願日 2015年3月17日 (5年8ヶ月経過) 出願番号 2015-053886
公開日 2016年9月29日 (4年1ヶ月経過) 公開番号 2016-173322
状態 特許登録済
技術分野 光学的距離測定
主要キーワード 発光量分布 範囲算出ステップ 発光制御情報 信頼度算出ステップ 平滑化領域 規格化定数 推定係数 信頼度算出処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年9月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

被写体が存在する奥行き方向の距離範囲を精度良く求める。

解決手段

距離範囲算出装置は、第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出手段と、前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出手段と、前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出手段と、を備える。

概要

背景

デジタルスチルカメラデジタルビデオカメラ等の撮像装置において、観賞用画像信号と同時に複数の画素位置にて撮像装置から被写体までの距離(以降、被写体距離と呼ぶ。さらに、複数の画素位置にて取得した被写体距離から構成される画像信号距離画像信号と呼ぶ)を取得できる測距機能を備えた撮像装置が提案されている。

例えば、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、位相差方式で被写体距離を検出するようにした固体撮像素子が特許文献1に提案されている。特許文献1に記載の測距方式は、撮像面にて位相差方式の測距を行うため、撮像面位相差測距方式と呼ばれる。特許文献1に記載の固体撮像素子を用いると、撮像装置が備える結像
光学系の異なる瞳領域を通過した光束により生成される像に基づく少なくとも2つの画像信号を取得することができる。2つの画像信号間の相対的な位置ズレ量を、ステレオ画像を用いた視差量検出方法と類似の手法で検出し、所定の変換係数を介してデフォーカス量に変換することで被写体距離を取得することができる。さらに、撮像面位相差測距方式では、2つの画像信号を合成することで、観賞用画像信号を生成することができる。その他の測距方式として、DFD(Depth from Defocus)方式と呼ばれる手法が特許文献2にて提案されている。DFD方式は、撮影条件絞り値、焦点距離など)を変えて2つの画像信号を時間的に連続して取得し、2つの画像間のボケ量差異から被写体距離を取得する測距方式である。DFD方式では、2つの画像信号のうち、一方の画像信号を観賞用画像信号として利用することができる。

測距機能を備えた撮像装置では、観賞用画像信号に対して、距離画像信号に基づく画像処理を施すことで、画像取得後に被写界深度制御やフォーカス位置制御を行うことができる。また、観賞用画像信号と距離画像信号から算出した被写体の距離範囲に基づき空間内の人物を抽出することで、人数計測をより高精度に行うことができる。

いずれの被写体距離算出方式も、2つの画像信号間の相関関係に基づき被写体距離を算出している。一般に、相関関係を評価する際には、領域ベースマッチング手法が用いられる。領域ベースのマッチング手法では、各画像信号から所定の照合領域に含まれる画像信号を切り出し、相関関係を評価している。2つの画像間の相関関係を精度よく評価できた場合には、高精度に被写体距離を取得することができるが、そうでない場合には、被写体距離を誤って算出するおそれがある。

相関関係を誤評価した領域と正しく評価できた領域とを切り分ける手法が特許文献3にて提案されている。特許文献3では、上層マッチング手段が所定の照合領域を用いて画像信号間の相関関係を評価し、下層マッチング手段が照合領域を分割した分割照合領域ごとに相関関係を評価している。特許文献3の手法では、上層の相関関係を評価した結果と下層の相関関係を評価した結果の間で不整合がある場合には、相関関係を正しく評価できていないと判定される。

概要

被写体が存在する奥行き方向の距離範囲を精度良く求める。距離範囲算出装置は、第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出手段と、前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出手段と、前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出手段と、を備える。

目的

本発明では、被写体が存在する奥行き方向の距離範囲を精度良く求めることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出手段と、前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出手段と、前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出手段と、を備える、距離範囲算出装置

請求項2

前記範囲算出手段は、前記距離画像信号から前記第1信頼度が閾値以上である被写体距離を抽出し、抽出した被写体距離の最大値最小値に基づいて前記距離範囲を算出する、請求項1に記載の距離範囲算出装置。

請求項3

前記範囲算出手段は、前記距離画像信号から前記第1信頼度が閾値以上である被写体距離を抽出し、抽出した被写体距離の平均値標準偏差に基づいて前記距離範囲を算出する、請求項1に記載の距離範囲算出装置。

請求項4

前記範囲算出手段は、前記距離画像信号を前記第1信頼度に基づいて重み付けして算出した被写体距離の平均値と標準偏差に基づいて前記距離範囲を算出する、請求項1に記載の距離範囲算出装置。

請求項5

前記第1の画像信号と前記第2の画像信号は、被写体までの距離に応じて相対的な位置ズレ量を有し、前記距離算出手段は、前記第1の画像信号と前記第2の画像信号間の相対的な位置ズレ量を算出することで、前記被写体距離を算出する、請求項1から4のいずれか1項に記載の距離範囲算出装置。

請求項6

前記第1信頼度算出手段は、前記第1の画像信号と前記第2の画像信号の少なくとも一方に基づき算出した画像SN比、前記第1の画像信号と前記第2の画像信号の少なくとも一方に基づき算出した被写体周期性、前記第1の画像信号と前記第2の画像信号の少なくとも一方に基づき算出した輝度飽和度のうち、少なくとも1つに基づいて前記第1信頼度を算出する、請求項5に記載の距離範囲算出装置。

請求項7

前記第1の画像信号と前記第2の画像信号は、被写体までの距離に応じて異なる変調伝達関数の特性を有するように撮像条件を変えて、時間的に連続して撮影した画像信号であり、前記距離算出手段は、前記第1の画像信号と前記第2の画像信号間の変調伝達関数の差異を検出することで、前記被写体距離を算出する、請求項1から4のいずれか1項に記載の距離範囲算出装置。

請求項8

請求項1から7のいずれか1項に記載の距離範囲算出装置と、前記被写体距離の前記奥行き方向と垂直な面内における位置の確からしさを表す第2信頼度を、前記距離範囲と前記被写体距離とに基づいて算出する第2信頼度算出手段と、を備える、距離信頼度算出装置。

請求項9

前記第2信頼度算出手段は、前記面内方向についての前記被写体距離の変化の大きさを算出し、前記被写体距離の変化の大きさを前記距離範囲の幅に基づき算出した規格化定数に基づいて規格化した値を前記第2信頼度として算出する、請求項8に記載の距離信頼度算出装置。

請求項10

前記第2信頼度算出手段は、前記距離画像信号を前記距離範囲の幅に基づき算出した規格化定数に基づいて規格化した距離画像信号を算出し、前記規格化した距離画像信号の前記面内方向についての被写体距離の変化の大きさを前記第2信頼度として算出する、請求項8に記載の距離信頼度算出装置。

請求項11

前記第2信頼度算出手段は、前記距離画像信号の前記面内方向について被写体距離の変化の大きさを算出し、前記被写体距離の変化の大きさが前記距離範囲の幅に基づいて設定した閾値以上の値を有する領域を前記第2信頼度が低い領域と設定し、前記被写体距離の変化の大きさが前記閾値よりも小さい値を有する領域を前記第2信頼度が高い領域と設定する、請求項8に記載の距離信頼度算出装置。

請求項12

請求項8から11のいずれか1項に記載の距離信頼度算出装置と、前記距離画像信号を、前記第1信頼度と前記第2信頼度に基づき補正することにより補正距離画像信号を算出する補正手段と、を備える、距離画像信号補正装置

請求項13

前記補正手段は、前記距離画像信号に、前記第1信頼度と前記第2信頼度を合成した距離信頼度が高い領域ほど重みが大きい重み付け平滑化フィルタを施すことで、前記補正距離画像信号を算出する、請求項12に記載の距離画像信号補正装置。

請求項14

前記補正手段は、前記距離画像信号を、前記第1信頼度と前記第2信頼度を合成した距離信頼度が高い領域ほど重みが大きく、且つ第1の画像信号と第2の画像信号を合成した画像信号内色差または輝度差が小さいほど重みが大きい重み付け平滑化フィルタを施すことで、前記補正距離画像信号を算出する、請求項12に記載の距離画像信号補正装置。

請求項15

前記重み付け平滑化フィルタの重みは、画素間距離が近いほど大きい、請求項13または14に記載の距離画像信号補正装置。

請求項16

撮像手段と、請求項1から7のいずれか1項に記載の距離範囲算出装置、請求項8から11のいずれか1項に記載の距離信頼度算出装置、および請求項12から14のいずれか1項に記載の距離画像信号補正装置のいずれかと、を備える、撮像装置

請求項17

請求項1から7のいずれか1項に記載の距離範囲算出装置と、発光手段と、撮像手段と、前記距離範囲算出装置が算出する距離範囲に基づき、前記発光手段における発光量を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する、発光制御手段と、を備える、撮像装置。

請求項18

前記発光制御手段は、前記距離範囲に基づいて得られる被写体距離が遠いほど、前記発光手段における発光量が多くなるように前記発光制御情報を算出する、請求項17に記載の撮像装置。

請求項19

前記発光制御手段は、前記距離範囲に基づいて得られる被写体距離の二乗に比例して、前記発光手段における発光量が多くなるように前記発光制御情報を算出する、請求項18に記載の撮像装置。

請求項20

請求項1から7のいずれか1項に記載の距離範囲算出装置と、発光手段と、撮像手段と、前記距離範囲算出装置が算出する距離範囲に基づき、前記発光手段における発光量分布を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する、発光制御手段と、を備える、撮像装置。

請求項21

前記発光制御手段は、前記距離範囲の上限値と下限値の差が閾値よりも広い場合に、前記発光手段における発光量分布を制御するための発光制御情報を算出する、請求項20に記載の撮像装置。

請求項22

前記発光制御手段は、被写体距離に応じた発光量とし、被写体距離が前記距離範囲の外側にある領域については発光量を低減することによって前記発光制御情報を算出する、請求項20または21に記載の撮像装置。

請求項23

請求項1から7のいずれか1項に記載の距離範囲算出装置と、格納手段と、前記距離範囲算出装置によって算出される距離範囲に基づいて量子化距離範囲の最大値と最小値を設定し、量子化距離範囲の最大値と最小値の間を所定の量子化数で分割し量子化距離値を設定し、前記距離画像信号を構成する前記被写体距離を最も近い値を有する量子化距離値と対応付けることで量子化距離画像信号を算出し、前記量子化距離画像信号を前記格納手段に格納する量子化手段と、を備える、距離画像量子化装置

請求項24

距離範囲算出装置が行う距離範囲算出方法であって、第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出ステップと、前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出ステップと、前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出ステップと、を含む、距離範囲算出方法。

請求項25

距離信頼度算出装置が行う距離信頼度算出方法であって、第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出ステップと、前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出ステップと、前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出ステップと、前記被写体距離の前記奥行き方向と垂直な面内における位置の確からしさを表す第2信頼度を、前記距離範囲と前記被写体距離とに基づいて算出する第2信頼度算出ステップと、を含む、距離信頼度算出方法。

請求項26

距離画像信号補正装置が行う距離画像信号補正方法であって、第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出ステップと、前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出ステップと、前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出ステップと、前記被写体距離の前記奥行き方向と垂直な面内における位置の確からしさを表す第2信頼度を、前記距離範囲と前記被写体距離とに基づいて算出する第2信頼度算出ステップと、前記距離画像信号を、前記第1信頼度と前記第2信頼度に基づき補正することにより補正距離画像信号を算出する補正ステップと、を含む、距離画像信号補正方法。

技術分野

0001

本発明は、距離範囲算出装置距離信頼度算出装置、距離画像信号補正装置、距離画像信号量子化装置撮像装置、および方法に関する。

背景技術

0002

デジタルスチルカメラデジタルビデオカメラ等の撮像装置において、観賞用画像信号と同時に複数の画素位置にて撮像装置から被写体までの距離(以降、被写体距離と呼ぶ。さらに、複数の画素位置にて取得した被写体距離から構成される画像信号を距離画像信号と呼ぶ)を取得できる測距機能を備えた撮像装置が提案されている。

0003

例えば、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、位相差方式で被写体距離を検出するようにした固体撮像素子が特許文献1に提案されている。特許文献1に記載の測距方式は、撮像面にて位相差方式の測距を行うため、撮像面位相差測距方式と呼ばれる。特許文献1に記載の固体撮像素子を用いると、撮像装置が備える結像
光学系の異なる瞳領域を通過した光束により生成される像に基づく少なくとも2つの画像信号を取得することができる。2つの画像信号間の相対的な位置ズレ量を、ステレオ画像を用いた視差量検出方法と類似の手法で検出し、所定の変換係数を介してデフォーカス量に変換することで被写体距離を取得することができる。さらに、撮像面位相差測距方式では、2つの画像信号を合成することで、観賞用画像信号を生成することができる。その他の測距方式として、DFD(Depth from Defocus)方式と呼ばれる手法が特許文献2にて提案されている。DFD方式は、撮影条件絞り値、焦点距離など)を変えて2つの画像信号を時間的に連続して取得し、2つの画像間のボケ量差異から被写体距離を取得する測距方式である。DFD方式では、2つの画像信号のうち、一方の画像信号を観賞用画像信号として利用することができる。

0004

測距機能を備えた撮像装置では、観賞用画像信号に対して、距離画像信号に基づく画像処理を施すことで、画像取得後に被写界深度制御やフォーカス位置制御を行うことができる。また、観賞用画像信号と距離画像信号から算出した被写体の距離範囲に基づき空間内の人物を抽出することで、人数計測をより高精度に行うことができる。

0005

いずれの被写体距離算出方式も、2つの画像信号間の相関関係に基づき被写体距離を算出している。一般に、相関関係を評価する際には、領域ベースマッチング手法が用いられる。領域ベースのマッチング手法では、各画像信号から所定の照合領域に含まれる画像信号を切り出し、相関関係を評価している。2つの画像間の相関関係を精度よく評価できた場合には、高精度に被写体距離を取得することができるが、そうでない場合には、被写体距離を誤って算出するおそれがある。

0006

相関関係を誤評価した領域と正しく評価できた領域とを切り分ける手法が特許文献3にて提案されている。特許文献3では、上層マッチング手段が所定の照合領域を用いて画像信号間の相関関係を評価し、下層マッチング手段が照合領域を分割した分割照合領域ごとに相関関係を評価している。特許文献3の手法では、上層の相関関係を評価した結果と下層の相関関係を評価した結果の間で不整合がある場合には、相関関係を正しく評価できていないと判定される。

先行技術

0007

特許第4915126号公報
特許第2756803号公報
特許第4537597号公報

発明が解決しようとする課題

0008

相関関係の誤評価は、要因に応じて大きく2つに分けることができる。第1は、被写体や撮影条件に起因した相関関係の誤評価である。被写体のコントラスト変化が少なかったり、画像信号に含まれるノイズ量が多かったりする場合には、被写体距離の値を誤って算出するおそれがある。第2は、相関関係を評価する際に用いる照合領域が比較的大きな領域サイズを有していることに起因した相関関係の誤評価である。照合領域内に距離の異なる複数の被写体が含まれる場合には、照合領域に含まれるいずれかの被写体の距離が算出されるが、どの被写体の距離を算出したのかが不確かになる。すなわち、ある画素の被写体距離を算出する際に、違う画素の被写体距離を誤って算出してしまうおそれがある。このように、異なる画素(位置)の被写体距離を誤って算出してしまう誤検出を、以下では、被写体距離の位置の誤算出と称する。

0009

特許文献3にて開示されている手法では、上層マッチング手段と下層マッチング手段間に不整合が生じているか否かを、規定値を用いて判定している。不整合の有無に基づき相関関係を誤評価したか否かを判定しているため、誤評価の要因が、被写体距離の値自体を誤って算出したためであるか、被写体距離の位置を誤って算出したためであるかを区別できないおそれがある。

0010

被写体距離の位置の誤算出は、主に、遠くに位置する被写体と近くに位置する被写体の境界で発生する。したがって、被写体距離自体の誤算出であるか、被写体距離位置の誤算出であるかを判別するためには、被写体距離の画素位置に応じた変化(微分)が閾値以上であるか否かを判定すればよい。ここで、被写体が存在する奥行き方向の距離範囲が広い場合に、閾値を大きく設定する必要がある。従って、閾値を固定値とした場合には、被写体の距離範囲によっては、相関関係を誤評価した領域を適切に抽出することができないおそれがある。また、相関関係を誤評価した領域を適切に抽出できない場合には、被写体の距離を誤って算出するおそれがある。

0011

以上の問題を鑑み、本発明では、被写体が存在する奥行き方向の距離範囲を精度良く求めることを目的とする。

課題を解決するための手段

0012

本発明の第1の態様は、第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出手段と、前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出手段と、前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出手段と、を備える、距離範囲算出装置である。

0013

本発明の第2の態様は、上記の距離範囲算出装置と、前記被写体距離の前記奥行き方向と垂直な面内における位置の確からしさを表す第2信頼度を、前記距離範囲と前記被写体距離とに基づいて算出する第2信頼度算出手段と、を備える、距離信頼度算出装置である。

0014

本発明の第3の態様は、上記の距離信頼度算出装置と、前記距離画像信号を、前記第1信頼度と前記第2信頼度に基づき補正することにより補正距離画像信号を算出する補正手
段と、を備える、距離画像信号補正装置である。

0015

本発明の第4の態様は、撮像手段と、上記の距離範囲算出装置、距離信頼度算出装置、およびの距離画像信号補正装置のいずれかと、を備える、撮像装置である。

0016

本発明の第5の態様は、上記の距離範囲算出装置と、発光手段と、撮像手段と、前記距離範囲算出装置が算出する距離範囲に基づき、前記発光手段における発光量を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する、発光制御手段と、を備える、撮像装置である。

0017

本発明の第6の態様は、上記の距離範囲算出装置と、発光手段と、撮像手段と、前記距離範囲算出装置が算出する距離範囲に基づき、前記発光手段における発光量分布を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する発光制御手段と、を備える、撮像装置である。

0018

本発明の第7の態様は、上記の距離範囲算出装置と、格納手段と、前記距離範囲算出装置によって算出される距離範囲に基づいて量子化距離範囲の最大値最小値を設定し、量子化距離範囲の最大値と最小値の間を所定の量子化数で分割し量子化距離値を設定し、前記距離画像信号を構成する前記被写体距離を最も近い値を有する量子化距離値と対応付けることで量子化距離画像信号を算出し、前記量子化距離画像信号を前記格納手段に格納する量子化手段と、を備える、距離画像量子化装置である。

発明の効果

0019

本発明によれば、被写体が存在する奥行き方向の距離範囲を精度良く求めることが可能となる。

図面の簡単な説明

0020

第1の実施形態の撮像装置を説明する図。
距離計測原理を説明する図。
第1の実施形態の距離範囲算出装置の処理を説明する図。
第1の実施形態の距離範囲算出装置の処理を説明する図。
第1の実施形態の距離範囲算出装置の処理を説明する図。
第1の実施形態の撮像装置の変形例を説明する図。
第2の実施形態の距離信頼度算出装置の処理を説明する図。
距離位置信頼度と被写体距離の変化の関係を説明する図。
第3の実施形態の距離画像信号補正装置の処理を説明する図。
第4の実施形態の撮像装置を説明する図。
第4の実施形態の発光制御処理を説明する図。
第5の実施形態の撮像装置を説明する図。

実施例

0021

<第1の実施形態>
以下、図を参照しながら本発明の第1の実施形態について詳細に説明する。以下の説明では、本実施形態の距離範囲算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

0022

本発明における距離範囲算出装置は、画像に含まれる被写体の奥行き方向の距離の範囲(距離範囲)を算出する装置である。本明細書では、被写体とは、画像に写されている全ての物体を指す。したがって、距離範囲算出装置は画像中に含まれる物体の最小距離最大距離を算出するともいえる。

0023

<デジタルカメラの構成>
図1(A)は、デジタルカメラ100の構成を示す図である。デジタルカメラ100は、結像光学系120、撮像素子101、距離範囲算出装置110、画像生成部(不図示)、レンズ駆動制御部(不図示)、画像信号格納部(不図示)が、カメラ筐体190の内部に配置され、構成される。距離範囲算出装置110は、論理回路を用いて構成することができる。距離範囲算出装置110の別の形態として、中央演算処理装置(CPU)と演算処理プログラムを格納するメモリとから構成してもよい。

0024

結像光学系120は、デジタルカメラ100の撮影レンズであり、被写体の像を撮像素子101上に形成する機能を有する。結像光学系120は複数のレンズ群(不図示)から構成され、撮像素子101から所定距離離れた位置に射出瞳130を有する。なお、本明細書中では、z軸を、結像光学系120の光軸140と平行とする。さらに、x軸とy軸は互いに垂直であり、且つ光軸と垂直な軸とする。

0025

<撮像素子の構成>
撮像素子101はCMOS(相補型金属酸化膜半導体)やCCD(電荷結合素子)から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系120を介して撮像素子101上に結像した被写体像は、撮像素子101により光電変換され、被写体像に基づく画像信号を生成する。取得した画像信号に対して、画像生成部により現像処理を施すことで、観賞用画像信号を生成することができる。また生成した観賞用画像を画像信号格納部に格納することができる。以下、本実施形態における撮像素子101について、図1(B)を用いてより詳細に説明する。

0026

図1(B)は、撮像素子101のxy断面図である。撮像素子101は、2行×2列の画素群150を複数配列することで構成される。画素群150は、対角方向に緑画素150G1及び150G2、他の2画素に赤画素150R及び青画素150Bが配置され、構成されている。

0027

図1(C)は、画素群150のI−I’断面を模式的に示した図である。各画素は受光層182と導光層181から構成される。受光層182には、受光した光を光電変換するための2つの光電変換部(第1の光電変換部161、第2の光電変換部162)が配置される。導光層181には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ170、所定の波長帯域の光を通過させるカラーフィルタ(不図示)、画像読み出し用及び画素駆動用配線(不図示)などが配置される。

0028

<撮像面位相差測距方式の距離計測原理説明>
本実施形態における撮像素子101が備える第1の光電変換部161及び第2の光電変換部162が受光する光束について、図2(A)を用いて説明する。図2(A)は、結像光学系120の射出瞳130と、撮像素子101中に配置される画素の代表例として緑画素150G1についてのみ示した概略図である。図2(A)に示した画素150G1内のマイクロレンズ170は、射出瞳130と受光層182が光学的に共役関係になるように配置されている。その結果、図2(A)に示すように、射出瞳130に内包される部分瞳領域である第1の瞳領域(210)を通過した光束は第1の光電変換部161に入射する。同様に部分瞳領域である第2の瞳領域(220)を通過した光束は第2の光電変換部162に入射する。

0029

第1の光電変換部161は、受光した光束を光電変換して電気信号を生成する。また同様に、第2の光電変換部162は、受光した光束を光電変換して電気信号を生成する。撮像素子101の各画素の第1の光電変換部161が生成した電気信号の集合を第1の画像信号と称する。同様に、撮像素子101の各画素の第2の光電変換部162が生成した電気信号の集合を第2の画像信号と称する。第1の画像信号から第1の瞳領域210を主に通過した光束が撮像素子101上に形成する像の強度分布を得ることができ、第2の画像信号から第2の瞳領域220を主に通過した光束が撮像素子101上に形成する像の強度分布を得ることができる。

0030

第1の画像信号と第2の画像信号間の相対的な位置ズレ量は、デフォーカス量に応じた量となる。位置ズレ量とデフォーカス量の関係について、図2(B)、(C)、(D)を用いて説明する。図2(B)、(C)、(D)は本実施形態における撮像素子101、結像光学系120について示した概略図である。光束211は第1の瞳領域210を通過する第1の光束を示す。光束221は第2の瞳領域220を通過する光束を示す。

0031

図2(B)は合焦時の状態を示しており、第1の光束211と第2の光束221が撮像素子101上で収束している。この時、第1の光束211により形成される第1の画像信号と第2の光束221により形成される第2の画像信号間の相対的な位置ズレ量は0となる。図2(C)は像側でz軸の負方向にデフォーカスした状態を示している。この時、第1の光束211により形成される第1の画像信号と第2の光束221により形成される第2の画像信号間の相対的な位置ズレ量は0とはならず、負の値を有する。図2(D)は像側でz軸の正方向にデフォーカスした状態を示している。この時、第1の光束221により形成される第1の画像信号と第2の光束221により形成される第2の画像信号間の相対的な位置ズレ量は0とはならず、正の値を有する。

0032

図2(C)と(D)の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、幾何関係から、デフォーカス量に応じた位置ズレが生じることが分かる。従って、第1の画像信号と第2の画像信号間の位置ズレ量を、後述する領域ベースのマッチング手法により検出し、検出した位置ズレ量を所定の変換係数を介してデフォーカス量に変換することができる。なお、像側のデフォーカス量から、物体側の被写体距離への変換については、結像光学系120の結像関係を用いることで容易に変換することができる。

0033

<距離範囲算出装置の説明>
本実施形態の距離範囲算出装置110について、図3を用いて説明する。図3(A)は、本実施形態の距離範囲算出装置110の処理の概要を示すブロック図であり、図3(B)は距離範囲算出装置110の動作を示すフローチャートである。

0034

距離範囲算出装置110の距離算出部311は、撮像素子101より第1の画像信号S1と第2の画像信号S2を読み出し、被写体距離算出処理S321により被写体距離の算出を複数の画素位置にて行う。

0035

被写体距離算出処理S321内の具体的な処理内容について図4(A)を用いて説明する。ステップS401では、距離算出部311は、第1の画像信号S1と第2の画像信号間S2の相対的な位置ズレ量を算出する。距離算出部311は、第1の画像信号S1内に、注目点を設定し、注目点を中心とする照合領域を設定する。距離算出部311は、次に、第2の画像信号S2内に参照点を設定し、参照点を中心とする参照領域を設定する。距離算出部311は、参照点を順次移動させながら照合領域内に含まれる第1の画像信号S1と、参照領域内に含まれる第2の画像信号S2間の相関度を算出し、最も相関が高い参
照点を対応点として決定する。距離算出部311は、注目点と対応点間の相対的な位置のズレ量を、注目点における位置ズレ量として算出する。注目点を順次移動させながら位置ズレ量を算出することで、複数の画素位置における位置ズレ量を算出することができる。

0036

相関度の算出方法としては公知の手法を用いることができ、例えば、画像信号間の正規化相互相関を評価するNCC(Normalized Cross−Correlation)と呼ばれる手法を用いることができる。ステップS402では、距離算出部311は、位置ズレ量を、所定の変換係数を用いて撮像素子101から結像光学系120の焦点までの距離であるデフォーカス量への変換を行う。所定の変換係数をGain、デフォーカス量をΔL、位置ズレ量をdとしたとき、下記数式1により、像ズレ量dをデフォーカス量ΔLに変換することができる。
ΔL=Gain ×d (数式1)

0037

ステップS403において、距離算出部311は、デフォーカス量を被写体距離に変換する。デフォーカス量から被写体距離への変換は、前述のように結像光学系120の結像関係を用いて行える。図4(A)の被写体距離算出処理を複数の画素位置にて行うことで、各画素位置の被写体距離から構成される距離画像信号Sdを生成することができる。

0038

距離値信頼度算出部312は、距離算出部311から取得した距離算出情報Icorを用いて、距離値信頼度算出処理S322により被写体距離の値の確からしさを表す信頼度R1を算出する。

0039

距離値信頼度算出処理S322の具体的な処理内容について図4(B)を用いて説明する。ステップS411では、距離値信頼度算出部312は、ステップS401にて位置ズレ量を算出した際の注目点と対応点間の相関度を距離算出情報Icorとして取得する。この時、相関度が低い場合には、画像信号に含まれるノイズなどの影響により、相関関係を誤評価している可能性が高くなる。ステップS412では、距離値信頼度算出部312は、ステップS401にて位置ズレ量を算出した際の対応点近傍の相関度を距離算出情報Icorとして取得し、対応点近傍の相関度と対応点の相関度との変化量を算出する。対応点近傍の相関度は、対応点に隣接する画素での相関度でもよいし、対応点から所定画素離れた画素での相関度でもよいし、対応点周辺の複数の画素の相関度の平均であってもよい。被写体のコントラスト変化が少ない場合には、相関度の変化量は小さくなり、この場合にも相関関係を誤算出している可能性が高くなる。ステップS413において、距離値信頼度算出部312は、コントラスト変化とノイズ量の比(画像のSN比)を、距離値信頼度R1(第1信頼度に相当)として算出する。コントラスト変化が多いほど相関度の変化量が大きい。また、ノイズ量が多いほど対応点での相関度が小さい。したがって、距離値信頼度R1は、相関度の変化量が大きいほど大きく、対応点での相関度が大きいほど大きくなるように算出すればよい。例えば、距離値信頼度R1は、(相関度の変化量)/(1−対応点での相関度)として算出できる。

0040

距離範囲算出部313は、距離算出部311から取得した距離画像信号Sdと、距離値信頼度算出部312から取得した距離値信頼度R1を用いて、距離範囲算出処理S323により被写体の距離範囲DRを算出する。

0041

距離範囲算出処理S323の具体的な処理内容について図4(C)を用いて説明する。ステップS421では、距離範囲算出部313は、距離画像信号Sdから距離値信頼度R1が高いと判定した画素位置の被写体距離を抽出する。この時、距離値信頼度R1が高いか否かの判定は、距離値信頼度R1が予め設定された閾値以上であるか否かを判定することによって行える。ステップS422では、距離範囲算出部313は、ステップS421にて抽出した被写体距離の最大値と最小値を算出する。ステップS423では、距離範囲
算出部313は、ステップS421にて算出した最大値および最小値をそれぞれ上限値および下限値として、被写体の距離範囲DRを決定する。

0042

なお、ステップS422において、抽出した被写体距離の最大値と最小値から距離範囲を算出する代わりに、被写体距離の統計量である平均値標準偏差を用いて距離範囲を算出してもよい。具体的には、距離範囲算出部313は、抽出した被写体距離の平均値と標準偏差を算出し、平均値と標準偏差を3倍した値とを加算した値を上限値、平均値から標準偏差を3倍した値を減算した値を下限値として、被写体の距離範囲DRを決定してもよい。なお、標準偏差の3倍を用いる必要はなく、標準偏差の所定数倍だけ平均値から離れた値を、上限値および下限値として決定すればよい。統計量である標準偏差を用いることで、距離値信頼度算出部312にて算出した距離値信頼度に誤った値が含まれていた場合でも、被写体の距離範囲の算出に与える影響を低減することができる。

0043

また、平均値と標準偏差を算出する際に、距離画像信号Sdを構成する被写体距離を距離値信頼度R1に基づいて重み付けして算出してもよい。具体的には、距離範囲算出部313は、距離値信頼度R1を重みとして被写体距離の重み付け平均値および重み付き標準偏差を算出し、上記と同様に被写体の距離範囲DRを算出してもよい。なお、距離値信頼度R1自体を重みとする必要はなく、距離値信頼度R1が高いほど大きな重みを与えればよい。また、距離値信頼度R1が閾値未満の被写体距離も含めて平均や標準偏差を求めてもよいし、距離値信頼度R1が閾値以上の被写体距離のみから平均や標準偏差を求めてもよい。後者は、距離値信頼度R1が閾値未満の場合に重みをゼロとする例である。距離値信頼度R1を重みに用いて平均値と標準偏差を算出することで、より精度良く距離範囲を算出することができる。

0044

本実施形態の距離範囲算出装置110を構成する距離算出部311にて算出した距離画像信号Sdには、被写体距離の値を誤って算出した領域と、被写体距離の位置を誤って算出した領域が含まれている場合がある。被写体距離の値の誤算出とは、被写体の距離値自体を誤って算出することを指す。被写体距離の値の誤算出は、被写体のコントラスト変化が少なかったり、画像信号にノイズが含まれたりすることによって生じる。また、被写体距離の位置の誤算出とは、距離算出対象の画素(位置)とは異なる画素(位置)の距離を、距離算出対象の画素(位置)の距離値として算出することを指す。被写体距離の位置の誤算出は、主に、距離の異なる物体の境界において生じる。

0045

図3(C)は横軸に被写体距離をとった説明図である。距離画像信号Sdを構成する被写体距離の値を誤って算出した領域が含まれるとき、距離画像信号に含まれる被写体距離の最大値と最小値によって決まる距離範囲は、正解の距離範囲(実際の被写体の距離範囲)と比べて広い範囲となる場合がある。一方、被写体距離の位置を誤って算出した領域は、距離範囲の算出精度に与える影響は少ない。被写体距離の位置を誤っていても、算出した距離値はいずれかの被写体の距離値だからである。本実施形態の距離範囲算出装置110においては、距離値信頼度R1を用いて被写体距離の値を誤算出した領域を抽出し、被写体距離の値を正しく算出できた領域の距離のみを用いて距離範囲を決定するので、距離範囲を精度良く算出することができる。また、被写体距離の値を誤算出した領域の抽出を簡単な処理で行っているので、余分な演算処理が不要となり、効率よく被写体の距離範囲を抽出することができる。

0046

本実施形態においては、第1の画像信号並びに第2の画像信号のコントラスト変化の高低とノイズ量の大小の比を評価して距離値信頼度R1を算出している。すなわち、画像信号のSN比(画像SN比)を評価している。画像SN比の評価は、位置ズレ量を算出した際の相関度ではなく、照合領域を設定した第1の画像信号から算出しても構わない。図5(A)は、第1の画像信号S1から距離値信頼度R1を算出するフローチャートである。
ステップS511では、距離値信頼度算出部312は、照合領域内に含まれる第1の画像信号の分散値を算出する。分散値が大きいほど、照合領域内に含まれる第1の画像信号のコントラスト変化が大きくなる。ステップS512では、距離値信頼度算出部312は、照合領域内に含まれる第1の画像信号の画素値から、画像信号に含まれるノイズ量を推定する。画像信号に含まれるノイズ量は、ノイズ量=ノイズ推定係数×画素値×ISO感度として推定できる。光電変換時に生じる光ショットノイズ量がフォトン数平方根に比例するためである。ノイズ量推定係数は、予め撮像素子101のノイズ特性計測して用いればよい。なお、ISO感度は、デジタルカメラ100の撮影時に用いたISO感度を用いる。距離値信頼度算出部312は、ステップS513で、分散値とノイズ量の比を距離値信頼度R1として算出する。

0047

被写体距離の値を誤って算出する他の要因として、撮影時に画素値が飽和する輝度飽和や被写体のコントラスト周期的に変化する周期被写体がある。従って、距離値信頼度をより精度よく評価するために、画像SN比に加えて、輝度飽和度を用いてもよい。輝度飽和度は、照合領域内における第1の画像信号が輝度飽和している領域の割合である。さらに、周期被写体に起因する相関関係の誤評価が生じているか否かを判定し、距離値信頼度の評価時に考慮してもよい。図5(B)は、周期被写体を撮影した場合の、相関度と参照点の移動量の関係を示す図である。周期被写体を撮影した場合は、コントラスト変化が周期的に変化することを反映して、相関度は周期的に極大値を有する。従って、相関度が極大値を有する参照点の移動量が周期的に並んでいるかを評価することで、周期被写体か否かを判定することができる。本実施形態の距離値信頼度算出部312は、画像SN比に加えて、輝度飽和度と被写体周期性について判定し、距離値信頼度を算出する。これにより、より高精度に距離値の確からしさを評価することができ、距離範囲算出部313における被写体の距離範囲を高精度に算出することができる。なお、被写体や撮影条件によっては、画像SN比、輝度飽和度、被写体周期性の全てを用いる必要はなく、少なくとも1つを用いて距離値信頼度を算出しても構わない。

0048

<被写体距離算出方式の他の形態>
本実施形態のデジタルカメラ100においては、1つの画素中に2つの光電変換部を配置した撮像素子101を用いることで、撮像面位相差測距方式による被写体距離算出を行っているが、他の測距原理に基づき被写体距離を算出しても構わない。本実施形態のデジタルカメラ100において、撮像素子101ではなく図6(A)にxy断面図を示す撮像素子601を用い、撮影条件を変えて撮影した第1の画像信号と第2の画像信号を用いて被写体距離を算出するDFD方式を用いても構わない。すなわち、図3(A)の距離算出部311にて、図6(D)を用いて後述する処理内容にて距離画像信号を生成している。

0049

図6(A)の撮像素子601は2行×2列の画素群650が複数配置され、構成される。画素群650は、対角方向に緑画素650G1及び緑画素650G2が配置され、他の2画素に赤画素650Gと青画素650Bが配置されている。各画素には、光電変換部661が1つのみ配置されている。

0050

図6(B)は、撮影条件として合焦位置を変えたときの第1の撮像条件MTF実線で示し、第2の撮像条件のMTFを破線で示している。横軸はデフォーカス量、縦軸はMTF(変調伝達関数:Modulation Transfer Function)である。合焦位置を変えて、時間的に連続して撮影することで、第1の撮像条件と第2の撮像条件とで、MTFのデフォーカス量依存を変えて撮像することができる。第1の撮像条件のMTFと第2の撮像条件のMTFの比をとったものが図6(C)である。デフォーカス量に依存して、MTF比が変化していることが分かる。DFD方式では、第1の撮像条件にて撮影した第1の画像信号と、第2の撮影条件にて撮影した第2の画像信号間の相関関係を評価することで、MTFの差異(すなわち、ボケ量の差異)を算出し、デフォーカ
ス量を検出することができる。検出したデフォーカス量は、前述の撮像面位相差測距方式と同様に、結像光学系120の結像関係に基づき物体距離へ変換することで、被写体距離を算出することができる。

0051

図6(D)は、距離算出部311における被写体距離算出処理S321の処理内容を説明するフローチャートである。ステップS610では、第1の画像信号と第2の画像信号間の相関度を算出する。すなわち、第1の画像信号に注目点を設定し、注目点を中心とする照合領域を設定する。次に、第2の画像信号内の注目点と対応する位置に参照点を設定し、参照点を中心とする参照領域を設定する。照合領域内に含まれる第1の画像信号と参照領域内に含まれる第2の画像信号間の相関度を算出する。ステップS611では、相関度をデフォーカス量へ変換する処理を行う。相関度からデフォーカス量への変換は、予めデジタルカメラ100が備えるメモリ(不図示)に対応関係を示すルックアップテーブルを格納し、参照することで変換することができる。例えば、相関度が高い時(相関度としてNCCを用いる場合は1)は、第1の画像信号と第2の画像信号のボケ量が略等しいと考えることができるので、図6(B)の実線と破線が交わるデフォーカス量となる。ステップS403では、図4(A)と同様に、デフォーカス量を被写体距離に変換する処理を行う。

0052

測距方式としてDFD方式を用いた距離範囲算出装置110における距離値信頼度算出部312においては、図5(A)を用いることで説明した手法で距離値信頼度を算出することができる。また、被写体距離の値を誤って算出する他の要因として、輝度飽和が挙げられる。従って、画像SN比に加えて、照合領域内に含まれる第1の画像信号に輝度飽和している領域が含まれているか否かを用いてもよい。

0053

測距方式としてDFD方式を用いた場合であっても、距離算出部311にて算出した距離画像信号には、被写体距離の値を誤って算出した領域と、被写体距離の位置を誤って算出した領域とが含まれている場合がある。そのような場合であっても、被写体距離の値を誤って算出した領域を抽出して、それ以外の距離値を用いて被写体の距離範囲を求めることで、被写体の距離範囲を精度良く求めることができる。

0054

<第2の実施形態>
本発明の第2の実施形態は、被写体距離の信頼度を算出する距離信頼度算出装置を備えた撮像装置である。以下、図を参照しながら、本発明の第2の実施形態について詳細に説明する。以下の説明では、本発明の距離信頼度算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

0055

本実施形態のデジタルカメラ100は、結像光学系120、撮像素子101、距離信頼度算出装置701、画像生成部(不図示)、レンズ駆動制御部(不図示)、画像信号格納部(不図示)が、カメラ筐体190の内部に配置され、構成される。すなわち、本実施形態のデジタルカメラ100は、第1の実施形態(図1)と比較して、距離範囲算出装置110の代わりに距離信頼度算出装置701を配置した構成となっている。距離信頼度算出装置701は、論理回路を用いて構成することができる。距離信頼度算出装置701の別の形態として、中央演算処理装置(CPU)と演算処理プログラムを格納するメモリとから構成してもよい。

0056

図7(A)は、本実施形態の距離信頼度算出装置701の処理の概要を説明するブロック図である。距離信頼度算出装置701は、撮像素子101から第1の画像信号S1と第2の画像信号S2を読み出し、距離範囲算出装置110にて、距離画像信号Sdと距離値信頼度R1と距離範囲DRの算出を行う。距離位置信頼度算出部710では、距離範囲算出装置110から距離画像信号Sdと距離範囲DRを受け取り、距離画像信号を構成する
被写体距離の撮像面内における位置の確からしさである距離位置信頼度R2の算出を行う。すなわち、距離信頼度算出装置701では、距離値信頼度R1と距離位置信頼度R2を算出し出力する。

0057

距離範囲算出装置110が行う処理内容は、第1の実施形態と同様であるため、説明は省略する。距離値信頼度R1は、距離範囲算出装置110が行う処理によって算出できる。以下、図7(B)に示すフローチャートを用いて距離位置信頼度算出部710にて行う処理内容について説明する。

0058

ステップS711では、距離位置信頼度算出部710は、距離画像信号Sd内に注目点を設定し、注目点を中心とする分散値算出領域を設定する。次に、距離位置信頼度算出部710は、分散値算出領域内に含まれる距離画像信号Sdの分散値を算出する。注目点を順次移動させながら分散値の算出を行うことで、距離画像信号Sdの各画素位置の分散値を算出する。分散値算出領域のサイズは、距離範囲算出装置110内の距離算出部311にて用いた照合領域と同じ領域サイズを用いればよい。算出した分散値が大きい領域には、距離変化が大きい領域が含まれる。したがって、分散値は、撮像面内方向についての被写体距離変化の大きさを表す指標といえる。

0059

被写体距離変化が大きい領域は被写体距離の位置が不確かである可能性が高いが、同じ分散値であっても距離範囲DRの幅によって不確かさは異なる。ステップS712において、距離位置信頼度算出部710は、距離範囲算出装置110にて算出した距離範囲DRに基づき、ステップS711にて算出した分散値を規格化するための定数規格化定数)を算出する。規格化定数は、距離範囲DRの幅(上限値と下限値の差)が大きいほど大きく算出する。ステップS713では、距離位置信頼度算出部710は、ステップS711にて算出した分散値をステップS712にて算出した規格化定数で規格化した値を、距離位置信頼度R2(第2信頼度に相当)とする。

0060

本実施形態では、距離範囲算出装置110にて算出した距離範囲DRに基づき算出した規格化定数に基づき、距離変化の大きさが規格化される。これは、距離変化の大きさが同じ値であっても、被写体の距離範囲が広い場合では信頼度をより高く評価する必要があり、また逆に狭い場合では信頼度をより低く評価する必要があるためである。その理由について、図8(A)、8(B)を用いて説明する。図8(A)および図8(B)の上図は被写体が配置されている様子をxz平面で示した図である。被写体が異なる奥行き位置に3つ配置されている。中図は、横軸に水平方向の位置を、縦軸に被写体距離を示している。下図は、縦軸に距離変化の大きさを示している。図8(A)は被写体の距離範囲が狭い場合の例であり、図8(B)は被写体の距離範囲が広い場合の例である。図8(A)に示すように被写体の距離範囲が狭い場合には、下図に示すように距離変化の大きさは小さくなる可能性が高い。一方、図8(B)に示すように被写体の距離範囲が広い場合には、下図に示すように距離変化の大きさは大きくなる可能性が高い。従って、距離範囲が広いほど大きな値となる規格化定数を設定し、距離変化の大きさを規格化することで、距離範囲によらず、距離位置の信頼度を一様に評価することが可能となる。その結果、撮影する被写体の位置関係に対してロバストに、被写体距離の位置の確からしさを示す距離位置信頼度R2を算出することができる。

0061

本実施形態の距離位置信頼度算出部710では、ステップS711における距離変化の大きさを算出するために、距離画像信号の分散値を算出しているが、分散値の平方根である標準偏差を算出しても構わない。また、距離画像信号に対して微分フィルタ(1次微分フィルタや2次微分フィルタ)を施し、撮像面内方向についての距離変化の大きさを評価しても構わない。いずれの手法であっても、距離変化の大きさを距離範囲に基づく規格化定数を用いて規格化することで距離位置信頼度R2を、被写体の位置関係に対してロバ
トに算出することができる。

0062

なお、本実施形態においてはステップS711にて算出した距離変化の大きさを、ステップS712にて算出した規格化定数にて規格化することで距離位置信頼度R2を算出しているが、被写体の距離範囲DRに応じて距離変化の大きさを規格化できればよい。例えば、距離画像信号Sdを、距離範囲DRに基づく規格化定数で規格化した規格化距離画像信号を生成し、規格化距離画像信号について距離変化の大きさを算出してもよい。

0063

また、距離位置信頼度に対して閾値処理で、信頼できる領域と信頼できない領域の2つに区分する際には、距離変化の大きさを距離範囲に基づく規格化定数で規格化するのではなく、判定するための閾値を距離範囲に応じて変えても構わない。この場合、距離変化の大きさが規格化された閾値以上の値を有する領域が、距離位置が信頼できる領域と判定され、距離変化の大きさが規格化された閾値より小さな値を有する領域が距離位置が信頼できない領域と判定される。

0064

<第3の実施形態>
本発明の第3の実施形態は、距離位置信頼度に基づいて被写体距離の補正を行う距離画像信号補正装置を備えた撮像装置である。以下、図を参照しながら、本発明の第3の実施形態について詳細に説明する。以下の説明では、本発明の距離画像信号補正装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

0065

本実施形態のデジタルカメラ100は、結像光学系120、撮像素子101、距離画像信号補正装置901、画像生成部(不図示)、レンズ駆動制御部(不図示)、画像信号格納部(不図示)が、カメラ筐体190の内部に配置され、構成される。すなわち、本実施形態のデジタルカメラは、第1の実施形態(図1)と比較して、距離範囲算出装置110の代わりに距離画像信号補正装置901(以下、補正装置901と称する)を配置した構成となっている。距離画像信号補正装置901は、論理回路を用いて構成することができる。補正装置901の別の形態として、中央演算処理装置(CPU)と演算処理プログラムを格納するメモリとから構成してもよい。

0066

図9(A)は、本実施形態の補正装置901の処理の概要を説明するブロック図である。補正装置901は、撮像素子101から第1の画像信号S1と第2の画像信号S2を読み出し、距離信頼度算出装置701にて、距離画像信号Sdと距離値信頼度R1と距離位置信頼度R2の算出を行う。距離画像信号補正部910(以下、補正部910と称する)は、距離信頼度算出装置701から、距離画像信号Sd、距離値信頼度R1、距離位置信頼度R2を受け取り、距離画像信号Sdを補正した補正距離画像信号CSdを算出し出力する。

0067

距離信頼度算出装置701が行う処理内容は、第2の実施形態と同様であるため、説明は省略する。距離信頼度算出装置701にて算出した距離画像信号Sdは、画像信号に含まれるノイズの影響によるバラつきを含んだ被写体距離や、被写体距離の値を誤って算出した領域や、被写体距離の位置を誤って算出した領域を含んでいる。

0068

補正部910は、距離値信頼度R1と距離位置信頼度R2によって重み付けした平滑化フィルタによる距離画像信号Sdの平滑化を行う。距離値信頼度R1と距離位置信頼度R2が高い領域ほど重みを大きくすることで、より信頼度の高い被写体距離を含んだ補正距離画像信号CSdを生成することができる。具体的な処理内容について、図9(B)のフローチャートを用いて説明する。

0069

ステップS911では、補正部910は、距離値信頼度R1と距離位置信頼度R2を合成した距離信頼度R0を算出する。具体的には、距離値信頼度R1と距離位置信頼度R2の加算により、距離信頼度R0を算出することができる。ステップS912では、補正部910は、距離画像信号Sdに注目点を設定し、注目点を中心とする平滑化領域を設定する。補正部910は、平滑化領域内にて、距離画像信号Sdを距離信頼度R0で重み付けした平均をとることで、注目点の補正被写体距離を算出する。すなわち、補正部910は、距離画像信号Sdに、距離信頼度R0が高い領域ほど重みが大きい重み付け平滑化フィルタを施すことで、補正被写体距離を算出する。重み付け平滑化フィルタにおける重みは、さらに、注目点との画素間距離が近いほど大きく設定することも好ましい。注目点を順次移動させながら、補正被写体距離を算出することで、補正被写体距離により構成される補正距離画像信号CSdを生成することができる。

0070

本実施形態においては、距離値信頼度R1と距離位置信頼度R2を合成した距離信頼度R0に基づき、距離画像信号の重み付け平滑化を行うため、より信頼度の高い被写体距離で構成される補正距離画像信号CSdを算出することができる。

0071

本実施形態においては、ステップS911にて距離値信頼度R1と距離位置信頼度R2を加算した距離信頼度R0を算出しているが、必ずしも合成する必要はない。距離位置信頼度R2は被写体距離の位置を誤って算出した領域であるため、距離位置信頼度R2が低い領域では、被写体距離が異なり且つ近傍領域ほど重みを大きくして平滑化処理を施しても構わない。また、第1の画像信号と第2の画像信号の少なくとも一方から観賞用画像信号を生成し、観賞用画像信号の色差または輝度差が小さい画素ほど重みを大きくするような平滑化処理を加えても構わない。さらに、重み付け平滑化フィルタにおける重みは、注目点との画素間距離が近いほど大きくしてもよい。いずれの場合においても、距離値信頼度R1と距離位置信頼度R2に応じた重み付け平均を距離画像信号に施すことで、より信頼度の高い被写体距離から構成される補正被写体距離画像CSdを算出することができる。

0072

<第4の実施形態>
本発明の第4の実施形態は、被写体の距離範囲に応じた発光量で発光を行いつつ撮影を行う撮像装置である。以下、図を参照しながら、本発明の第4の実施形態について詳細に説明する。以下の説明では、本発明の距離範囲算出装置、発光部、発光制御部を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

0073

図10(A)は本実施形態に係るデジタルカメラ1000の構成を示す図である。デジタルカメラ1000は、結像光学系120、撮像素子101、距離範囲算出装置110、発光制御部1001、発光部1010、画像生成部(不図示)、レンズ駆動制御部(不図示)、画像信号格納部(不図示)を、カメラ筐体190の内部に有する。

0074

図10(B)は、距離範囲算出装置110ならびに発光制御部1001の動作を説明するブロック図である。距離範囲算出装置110は、撮像素子101から第1の画像信号S1と第2の画像信号S2を読み出し、第1の実施形態において説明した処理と同様の処理内容で距離範囲DRの算出を行う。発光制御部1001は、距離範囲DRを距離範囲算出装置110から取得し、距離範囲DRに基づく発光制御情報Ifcを算出する。発光部1010では、発光制御情報に基づく発光量にて光を放射する。

0075

デジタルカメラ100は仮撮影を行って、距離画像信号および距離範囲を算出する。その後、デジタルカメラ1000は、距離範囲に応じて発光部1010から光を放射するのと同期して撮影を行う。これにより、暗いシーンにおける光量不足を補うことができる。
暗いシーンでの撮影の例として、例えば、夜間のポートレート撮影が挙げられる。

0076

図10(C)、(D)は、発光制御部1001における発光制御情報の算出方法について説明する説明図である。図10(C)は、被写体の距離範囲が近いシーンを示し、図10(D)は、被写体の距離範囲が遠いシーンを示す。図10(C)では、被写体の距離範囲が近いため、被写体は発光部1010から放射された光を多く受ける。このような場合において、発光部1010から放射される発光量を多くすると、輝度飽和(いわゆる白飛び)してしまい、観賞用画像の質が低下してしまう。従って、被写体の距離範囲が近い場合には、発光部1010から放射される発光量を少なくする必要がある。一方、図10(D)では、被写体の距離範囲が遠いため、被写体は発光部1010から放射された光を少なく受ける。このような場合において、発光部1010から放射される発光量を少なくすると、被写体が暗く映ってしまい、観賞用画像の質が低下してしまう。従って、被写体の距離範囲が遠い場合には、発光部1010から放射される発光量を多くする必要がある。発光部1010の大きさが、被写体距離と比べて十分小さいと考えると、被写体が受ける照度は被写体距離の二乗反比例する。従って、発光部1010から放射される発光量は、被写体距離の二乗に比例して多くすることが望ましい。

0077

発光制御部1001は、被写体の距離範囲が遠いか近いかの評価を行ったり、発光量を決定したりするためには、被写体の距離範囲を代表する被写体距離を求める。代表被写体距離として、最も近い被写体距離(距離範囲の下限値)を採用できる。また、代表被写体距離として、最も近い被写体距離(距離範囲の下限値)と最も遠い被写体距離(距離範囲の上限値)の間の距離、特に、これらの被写体距離の平均値を採用することができる。また、代表被写体距離として、被写体の距離範囲内の値を有する被写体距離を、距離画像中の画素数に応じて重み付け平均して得られる値を採用することもできる。

0078

撮影者が発光部1010と同期した撮影を行うのは、一般に夜間のポートレート撮影であることが多い。夜間のポートレート撮影では、背景領域が黒一色となるいわゆる黒つぶれになってしまうために、コントラスト変化が小さくなる。従って、背景領域の被写体距離の値は誤って算出している可能性が高い。このような撮影シーンにおいても、本実施例のデジタルカメラ1000においては、算出する距離範囲への寄与が大きい被写体距離の値の確からしさを距離値信頼度R1により評価することで、被写体の距離範囲DRを高精度に算出することができる。その結果、本実施形態のデジタルカメラ1000においては、被写体の距離範囲によらず、適切に光量不足を補い、高品質の観賞用画像を取得することができる。また、発光部1010を発光させた時の露出量を計測するために、予め発光部1010を発光させる必要がなくなるため、デジタルカメラ1000における省電力化が可能となる。

0079

本実施形態の発光制御部1001は、発光部1010における発光量を制御する発光制御情報を算出しているが、発光部1010における発光量だけではなく、発光量分布の制御を行っても構わない。すなわち、発光制御部1001は、距離範囲算出装置110から、距離範囲と距離画像信号と距離値信頼度を取得して、発光部1010の発光量分布を制御する発光制御情報を算出しても構わない。

0080

図11は、距離範囲DRと距離画像信号Sdを用いて発光量分布を制御する際の、発光制御部1001における処理を説明するフローチャートである。ステップS1101では、所定の閾値よりも距離範囲が広いか判定を行う。すなわち、発光制御部1001は、距離範囲の上限値と下限値の差が閾値よりも広いか否か判定する。広いと判定した場合には処理はステップS1102に進み、狭いと判定した場合には処理はステップS1103に進む。距離範囲が広い場合には、撮影画角内に複数の被写体が位置していることが多い、このような場合には、ステップS1102にて発光量分布を発光制御情報として設定し、
発光部1010における発光量に分布を持たせることが望ましい。一方、距離範囲が狭い場合には、撮影画角内に1つの被写体のみが位置しているか、被写体が近接配置されていることが多い。このような場合には、発光部1010における発光量の分布を制御する必要はなく、発光量のみを制御すればよい。すなわち、ステップS1103にて、発光量を発光制御情報として設定する。ステップS1102では、発光量分布を発光制御情報として算出するための処理を行う。距離画像信号から、被写体距離が近い領域ほど発光量が少なく、被写体距離が遠い領域ほど発光量が多くなるように発光量分布を設定する。さらに、距離画像信号内の被写体距離が距離範囲の外側にある領域は、距離値信頼度が低い領域や、被写体が至近、または遠い領域と考えることができる。従って、強い光を照射した場合には、観賞用画像信号の質が低下するおそれがあるため、発光量が少なくなるように発光量分布を設定することが望ましい。ステップS1103では、図10(B)を用いた説明と同様に、距離範囲に基づく発光量を設定する。ステップS1103では、距離範囲が狭いため、距離画像信号に基づく発光量分布の制御は必要なく、発光量の制御のみを行う。距離範囲に基づき、必要に応じて発光量分布の制御を行うか、発光量のみの制御を行うかを判定することで、発光制御情報の算出に係る不要な演算を省き、撮影までのタイムラグをより短くすることができる。

0081

<第5の実施形態>
本発明の第5の実施形態は、距離画像を量子化して保存する際に、被写体の距離範囲に応じて量子化方法を変化させる撮像装置である。以下、図を参照しながら、本発明の第5の実施形態について詳細に説明する。以下の説明では、本発明の距離範囲算出装置、距離画像量子化部、画像信号格納部を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

0082

図12(A)は本実施形態に係るデジタルカメラ1200の構成を示す図である。本実施形態のデジタルカメラ1200は、結像光学系120、撮像素子101、距離範囲算出装置110、量子化部1201、画像生成部(不図示)、レンズ駆動制御部(不図示)、画像信号格納部1210が、カメラ筐体190の内部に配置され、構成される。

0083

図12(B)は、距離算出装置110ならびに量子化部1201の動作を説明するブロック図である。距離範囲算出装置110は、撮像素子101から第1の画像信号S1と第2の画像信号S2を読み出し、第1の実施形態において説明した処理と同様の処理内容で距離範囲DRの算出を行う。量子化部1201は、距離範囲DRを距離範囲算出装置110から取得し、距離範囲DRに基づき距離画像信号を量子化して量子化距離画像信号QSdを算出する。画像信号格納部1210はメモリから構成され、量子化距離画像信号QSdを格納する。

0084

図12(C)は、量子化部1201における距離画像信号の量子化方法について説明する図である。図12(C)には、横方向の矢印で、被写体距離と量子化した被写体距離(量子化距離)を示している。量子化部1201は、量子化距離範囲の最小値と最大値を、距離範囲算出装置110から取得した距離範囲に基づいて設定する。量子化部1201は、量子化距離範囲の最小値と最大値の間を所定の分割数(量子化数)で分割し(例えば量子化距離画像信号を8bitで表す場合は、256分割)、各分割位置における量子化距離値を設定する。量子化部1201は、被写体距離と量子化距離値を比較し、被写体距離と最も近い値を有する量子化距離値に対応付けることで、被写体距離の量子化を行う。具体的には、被写体距離1220から最も近い量子化距離値は、量子化距離範囲の最小値である量子化距離1221となる。従って、被写体距離1220の値と対応する量子化距離値は、量子化距離1221である。また、被写体距離1230から最も近い量子化距離は、量子化距離1231である。従って、被写体距離1230の値と対応する量子化距離は、量子化距離1231である。距離画像信号を構成する各被写体距離に対して、対応する
量子化距離を算出することで、量子化距離から構成される量子化距離画像信号QSdを生成することができる。

0085

本実施形態の撮像装置においては、量子化距離範囲の最小値と最大値を、距離範囲に基づき設定することで、距離画像信号の中から、特に距離値信頼度が高い領域を高い分解能で量子化することができる。すなわち、量子化距離画像信号が必要とする画像信号格納部の容量を増やすことなく、被写体距離の量子化誤差を低減することができる。従って、観賞用画像を取得後に、量子化距離画像信号に基づく画像処理(例えば、被写界深度制御やフォーカス位置制御)を、より高精度に行うことができる。

0086

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0087

110:距離範囲算出装置
311:距離算出部 312:距離値信頼度算出部 313:距離範囲算出部
S1:第1の画像信号S2:第2の画像信号 Sd:距離画像信号

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社リコーの「 光源装置、検出装置及び電子機器」が 公開されました。( 2020/09/24)

    【課題】照射される光の照度の均一性に優れる光源装置を提供する。【解決手段】本発明の光源装置(11)は、複数の発光部(21)を備える光源(20)と、光源で発した光を照射する投光光学系(15)とを有し、投... 詳細

  • 日本電信電話株式会社の「 測距装置および測距方法」が 公開されました。( 2020/09/24)

    【課題】窓関数を用いた場合でも、物体までの距離を高精度に測定することができる測距装置および測距方法を提供することを目的とする。【解決手段】 測距装置1は、光源100からの周期的に強度変調された光を光... 詳細

  • ソニー株式会社の「 測距装置」が 公開されました。( 2020/09/24)

    【課題】計測精度を高めることができる測距装置を得る。【解決手段】本開示の測距装置は、光を検出可能な第1の受光画素および第2の受光画素と、遮光された遮光画素とを有し、第1の方向において、第1の受光画素、... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ