図面 (/)

技術 画像処理装置、画像処理方法およびプログラム

出願人 キヤノン株式会社
発明者 西山知宏井上智暁
出願日 2015年3月10日 (4年11ヶ月経過) 出願番号 2015-047631
公開日 2016年9月15日 (3年5ヶ月経過) 公開番号 2016-167234
状態 特許登録済
技術分野 画像処理 FAX原画の編集 スタジオ装置
主要キーワード 重みマップ 制御プラグ 画像データ取得処理 ノイズ感 重み決定 望遠画像 画像変形処理 エッジ周辺
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年9月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

画角違う画像同士を合成してノイズ低減を行う場合の解像度劣化を抑制する。

解決手段

画角の異なる画像同士を合成する際に、被写体像エッジに基づいて各画像の合成の重みを決定し、決定された重みを用いて画像を合成する。この際、被写体像のエッジ周辺では、画角の大きい画像の重みを小さくする。

概要

背景

画像のノイズ低減を行う方法として、同じシーン撮影した複数の画像を合成する技術が知られている。また、複数の画像を同時に撮像する撮像装置として、画角の異なる複数の撮像部を有する撮像装置がある(特許文献1)。特許文献1には、画像の拡大による仮想的なズーム処理電子ズーム)を行う際に、広角で撮影された画像と望遠で撮影された画像とを仮想画角に応じて切り替えながら電子ズームを行うことが記載されている。

概要

画角の違う画像同士を合成してノイズ低減を行う場合の解像度劣化を抑制する。 画角の異なる画像同士を合成する際に、被写体像エッジに基づいて各画像の合成の重みを決定し、決定された重みを用いて画像を合成する。この際、被写体像のエッジ周辺では、画角の大きい画像の重みを小さくする。

目的

本発明は、画角の違う画像同士を合成してノイズ低減を行う場合の解像度の劣化を抑制することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の画角を有する第1の撮像部により撮像された第1の画像と、前記第1の画角よりも小さい第2の画角を有する第2の撮像部により撮像された、前記第1の画像と同一の被写体の像を含む第2の画像とを取得する取得手段と、前記第1の画像と前記第2の画像とを、前記同一の被写体の像が重なるように位置合わせおよび変形する変形手段と、前記第1の画像と前記第2の画像とが重なる領域において、被写体像エッジを検出するエッジ検出処理を行う検出手段と、前記変形手段により位置合わせおよび変形された前記第1の画像と前記第2の画像とを重みづけ合成する際の重みを決定する決定手段と、前記変形手段により位置合わせ及び変形された前記第1の画像と前記第2の画像とを、前記決定手段により決定された前記重みを用いて重みづけ合成する合成手段とを有し、前記決定手段は、前記検出手段によってエッジとして検出された領域を含む一部の領域における前記第2の画像の重みに対する前記第1の画像の重みが、前記一部の領域以外の領域における前記第2の画像に対する前記第1の画像の重みよりも小さくなるように、前記重みを決定することを特徴とする画像処理装置

請求項2

前記決定手段は、前記一部の領域における前記第1の画像の重みを0とし、前記一部の領域以外の領域における前記第1の画像の重みを0以外の値とすることを特徴とする請求項1に記載の画像処理装置。

請求項3

前記決定手段は、前記第1の画像と前記第2の画像とが重なる領域において、前記一部の領域以外の領域における前記第1の画像の重みと前記第2の画像の重みとの比を1対1にすることを特徴とする請求項2に記載の画像処理装置。

請求項4

前記決定手段は、前記第1の画像の各画素における重みを示す重みマップを生成し、前記生成した重みマップにローパスフィルタを作用させ、前記合成手段は、前記ローパスフィルタを作用させた前記重みマップを用いて前記重みづけ合成を行うことを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。

請求項5

前記検出手段は、前記第1の画像及び前記第2の画像において、被写体像のエッジ強度導出し、前記決定手段は、前記エッジ強度が大きい画像領域ほど重みが大きくなるように前記第1の画像と前記第2の画像との重みを決定することを特徴とする請求項1に記載の画像処理装置。

請求項6

前記第1の画角よりも小さく前記第2の画角よりも大きい仮想画角を入力する入力手段を更に有し、前記変形手段は更に、前記第1の画像の、前記入力手段により入力された前記仮想画角に対応する画像領域よりも外側の画像領域をトリミングし、前記合成手段は、前記変形手段により位置合わせおよび変形された前記第1の画像と前記第2の画像とを合成することで、前記仮想画角に対応する画像データを生成することを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。

請求項7

前記取得手段は、前記第1の画角よりも大きい第3の画角を有する第3の撮像部により撮像され、前記第1の画像および前記第2の画像と同一の被写体を含む第3の画像を更に取得し、前記変形手段は、前記第3の画像を、前記同一の被写体の像が前記第1の画像及び前記第2の画像と重なるように更に位置合わせおよび変形し、前記検出手段は、前記第1の画像と前記第3の画像とが重なる領域において、被写体像のエッジを検出するエッジ検出処理を更に行い、前記決定手段は前記第1の画像と前記第2の画像と前記第3の画像とを重みづけ合成する際の前記第3の画像の重みを更に決定し、前記合成手段は前記変形手段により位置合わせ及び変形された前記第1の画像と前記第2の画像と前記第3の画像とを、前記決定手段により決定された前記重みを用いて重みづけ合成し、前記決定手段は、前記第1の画像と前記第3の画像とが重なりかつ前記第2の画像が重ならない画像領域において、前記検出手段によってエッジとして検出された領域を含む一部の領域における前記第1の画像の重みに対する前記第3の画像の重みが、前記一部の領域以外の領域における前記第1の画像に対する前記第3の画像の重みよりも小さくなるように、前記重みを決定することを特徴とする請求項6に記載の画像処理装置。

請求項8

前記決定手段は、前記第1の画像と前記第2の画像と前記第3の画像とが重なる領域において、前記検出手段によってエッジとして検出された領域を含む一部の領域における前記第2の画像の重みに対する前記第3の画像の重みが、前記一部の領域以外の領域における前記第2の画像に対する前記第3の画像の重みよりも小さくなるように、前記重みを決定することを特徴とする請求項7に記載の画像処理装置。

請求項9

前記検出手段は、前記第1の画像および前記第2の画像において、被写体像のエッジ強度を導出し、前記導出したエッジ強度が所定の閾値を超える領域をエッジとして検出することを特徴とする請求項1乃至8のいずれか一項に記載の画像処理装置。

請求項10

前記一部の領域は、前記検出手段によってエッジとして検出された領域を、所定の画素数拡張した領域であることを特徴とする請求項1乃至9のいずれか一項に記載の画像処理装置。

請求項11

前記検出手段は、ソーベルフィルタを用いて前記エッジ検出処理を行うことを特徴とする請求項1乃至10のいずれか一項に記載の画像処理装置。

請求項12

同一の被写体を互いに異なる焦点距離の撮像部を用いて撮像することで得られた複数の画像を取得する取得手段と、前記複数の画像を、前記同一の被写体の像が重なるように位置合わせおよび変形する変形手段と、前記複数の画像が重なる領域において、被写体像のエッジを検出し、前記検出されたエッジのエッジ強度を導出する導出手段と、前記変形手段により位置合わせおよび変形された前記複数の画像を重みづけ合成する際の重みを決定する決定手段と、前記変形手段により位置合わせ及び変形された前記複数の画像を、前記決定手段により決定された前記重みを用いて重みづけ合成する合成手段とを有し、前記決定手段は、前記導出手段によってエッジとして検出された領域を含む一部の領域において、前記複数の画像の前記エッジ強度を比較し、前記一部の領域における、前記エッジ強度が最も大きい画像の重みに対する前記エッジ強度が最も大きい画像以外の画像の重みが、前記一部の領域以外の領域における、前記エッジ強度が最も大きい画像の重みに対する前記エッジ強度が最も大きい画像以外の画像の重みよりも小さくなるように、前記重みを決定することを特徴とする画像処理装置。

請求項13

前記決定手段は、前記一部の領域における前記エッジ強度が最も大きい画像以外の画像の重みを0とし、前記一部の領域以外の領域における前記エッジ強度が最も大きい画像以外の画像の重みを0以外の値とすることを特徴とする請求項12に記載の画像処理装置。

請求項14

前記決定手段は、前記複数の画像が重なる領域において、前記一部の領域以外の領域における前記複数の画像の重みを等しくすることを特徴とする請求項13に記載の画像処理装置。

請求項15

第1の画角を有する第1の撮像部により撮像された第1の画像と、前記第1の画角よりも小さい第2の画角を有する第2の撮像部により撮像された、前記第1の画像と同一の被写体の像を含む第2の画像とを取得する取得工程と、前記第1の画像と前記第2の画像とを、前記同一の被写体の像が重なるように位置合わせおよび変形する変形工程と、前記第1の画像と前記第2の画像とが重なる領域において、被写体像のエッジを検出するエッジ検出処理を行う検出工程と、前記変形工程で位置合わせおよび変形された前記第1の画像と前記第2の画像とを重みづけ合成する際の重みを決定する決定工程と、前記変形手段により位置合わせ及び変形された前記第1の画像と前記第2の画像とを、前記決定手段により決定された前記重みを用いて重みづけ合成する合成工程とを含み、前記決定工程では、前記検出工程でエッジとして検出された領域を含む一部の領域における前記第2の画像の重みに対する前記第1の画像の重みが、前記一部の領域以外の領域における前記第2の画像に対する前記第1の画像の重みよりも小さくなるように、前記重みが決定されることを特徴とする画像処理方法

請求項16

同一の被写体を互いに異なる焦点距離の撮像部を用いて撮像することで得られた複数の画像を取得する取得工程と、前記複数の画像を、前記同一の被写体の像が重なるように位置合わせおよび変形する変形工程と、前記複数の画像が重なる領域において、被写体像のエッジを検出し、前記検出されたエッジのエッジ強度を導出する導出工程と、前記変形工程で位置合わせおよび変形された前記複数の画像を重みづけ合成する際の重みを決定する決定工程と、前記変形工程で位置合わせ及び変形された前記複数の画像を、前記決定手段により決定された前記重みを用いて重みづけ合成する合成工程とを有し、前記決定工程は、前記導出工程でエッジとして検出された領域を含む一部の領域において、前記複数の画像の前記エッジ強度を比較し、前記一部の領域における、前記エッジ強度が最も大きい画像の重みに対する前記エッジ強度が最も大きい画像以外の画像の重みが、前記一部の領域以外の領域における、前記エッジ強度が最も大きい画像の重みに対する前記エッジ強度が最も大きい画像以外の画像の重みよりも小さくなるように、前記重みを決定する工程であることを特徴とする画像処理装置。

請求項17

コンピュータを請求項1乃至14のいずれか一項に記載の画像処理装置として機能させるプログラム

技術分野

0001

本発明は、画角の異なる画像同士の合成処理に関する。

背景技術

0002

画像のノイズ低減を行う方法として、同じシーン撮影した複数の画像を合成する技術が知られている。また、複数の画像を同時に撮像する撮像装置として、画角の異なる複数の撮像部を有する撮像装置がある(特許文献1)。特許文献1には、画像の拡大による仮想的なズーム処理電子ズーム)を行う際に、広角で撮影された画像と望遠で撮影された画像とを仮想画角に応じて切り替えながら電子ズームを行うことが記載されている。

先行技術

0003

特許第4341019号公報

発明が解決しようとする課題

0004

画像合成によるノイズ低減の効果を最大限まで高めようとした場合、撮像された複数の画像の全てを合成することが理想である。しかしながら、特許文献1に記載の技術のように、撮像された複数の画像の中に互いに画角の異なる画像が含まれている場合、そのまま全ての画像を合成してしまうと、望遠画像で得られた解像度が合成により劣化してしまうと言う課題があった。そこで、本発明は、画角の違う画像同士を合成してノイズ低減を行う場合の解像度の劣化を抑制することを目的とする。

課題を解決するための手段

0005

上記課題を解決するために、本発明に係る画像処理装置は、第1の画角を有する第1の撮像部により撮像された第1の画像と、前記第1の画角よりも小さい第2の画角を有する第2の撮像部により撮像された、前記第1の画像と同一の被写体の像を含む第2の画像とを取得する取得手段と、前記第1の画像と前記第2の画像とを、前記同一の被写体の像が重なるように位置合わせおよび変形する変形手段と、前記第1の画像と前記第2の画像とが重なる領域において、被写体像エッジを検出するエッジ検出処理を行う検出手段と、前記変形手段により位置合わせおよび変形された前記第1の画像と前記第2の画像とを重みづけ合成する際の重みを決定する決定手段と、前記変形手段により位置合わせ及び変形された前記第1の画像と前記第2の画像とを、前記決定手段により決定された前記重みを用いて重みづけ合成する合成手段とを有し、前記決定手段は、前記検出手段によってエッジとして検出された領域を含む一部の領域における前記第2の画像の重みに対する前記第1の画像の重みが、前記一部の領域以外の領域における前記第2の画像に対する前記第1の画像の重みよりも小さくなるように、前記重みを決定することを特徴とする。

発明の効果

0006

本発明によれば、画角の違う画像同士を合成してノイズリダクションを行う場合の解像度の劣化を抑制することができる。

図面の簡単な説明

0007

実施例1に係る複数の撮像部を備えた多眼方式の撮像装置の一例を示す図。
撮像装置の内部構成の一例を示すブロック図。
撮像部の内部構成の一例を示す図。
実施例1に係る撮像装置の機能構成を示すブロック図。
実施例1に係る撮像装置で行われる処理の流れを示すフローチャート
画像変形処理概念図。
実施例1の決定部で行われる重み決定処理の流れを示すフローチャート。
実施例1に係る重みの決定方法の概念図。
実施例2に係る複数の撮像部を備えた多眼方式の撮像装置の一例を示す図。
実施例2の決定部で行われる重み決定処理の流れを示すフローチャート。
実施例2に係る重みの決定方法の概念図。
実施例3に係る重みの決定方法の概念図。
実施例4に係る重みの決定方法の概念図。
実施例5の決定部で行われる重み決定処理の流れを示すフローチャート。
実施例5のエッジ強度を比較に基づく重み決定処理の流れを示すフローチャート。

実施例

0008

以下に図面を参照して、発明の実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

0009

<実施例1>
本実施例では、画角の異なる2枚の撮像画像データとユーザの指定した仮想画角とを基に、仮想画角に対応する仮想画角画像データを生成する電子ズーム処理を行う撮像装置について説明する。この際、仮想画角を大きくすることでズーム倍率が小さい広角の仮想画角画像データが得られ、仮想画角を小さくすることでズーム倍率が大きい望遠の仮想画角画像データが得られる。すなわち、ユーザは仮想画角を変えることで、仮想画角画像データのズーム倍率を変えることができる。本実施例に記載の処理は、撮像の際のプレビュー画像データを生成する処理や撮像後に任意のズーム倍率の画像データを生成する処理として利用可能である。

0010

図1は、本実施例に係る撮像装置の構成の一例を示す図である。図1に示すように、撮像装置100はカラー画像データを取得する2個の撮像部101〜102及び撮像ボタン103を備えている。撮像部101と撮像部102は、それぞれの光軸が平行になるように配置されている。本実施例では、撮像部101と撮像部102との間の水平方向における間隔をR、撮像部101の画角をθ1、撮像部102の画角をθ2とする。なお、θ1>θ2であり、撮像部102よりも撮像部101の方が画角が大きいものとする。ユーザが撮像ボタン103を押下すると、撮像部101〜102が被写体の光情報センサ撮像素子)で受光し、受光した信号がA/D変換され、複数のデジタルデータ(撮像画像データ)が同時に得られる。なお、ここでは撮像部の数を2個としたが撮像部の数は2個に限定されず、撮像装置が複数の撮像部を有する限りにおいてその数によらず本実施例は適用可能である。

0011

図2は、撮像装置100の内部構成を示すブロック図である。中央処理装置(CPU)201は、以下に述べる各部を統括的に制御する処理回路である。RAM202は、CPU201の主メモリワークエリア等として機能するメモリである。ROM203は、CPU201で実行される制御プラグラム等を格納しているメモリである。バス204は、各種データの転送経路であり、例えば、撮像部101〜102によって取得された撮像画像データは、このバス204を介して撮像装置100内の各処理部に送られる。操作部205は、ボタンモードダイヤル等の、ユーザの指示を受け取るための操作ユニットであり、ユーザは操作部205の操作により撮像装置100に撮像指示ズーム指示を行うことができる。表示部206は撮像した画像や文字の表示を行うディスプレイである。表示部206はタッチスクリーン機能を有していても良く、その場合にはタッチスクリーンを用いた撮像指示やズーム指示などのユーザ指示を操作部205の入力として扱ってもよい。

0012

表示制御部207は、表示部206に表示される画像や文字の表示制御を行う処理回路である。撮像制御部208は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、CPU201からの指示に基づいた撮像部の制御を行う処理回路である。デジタル信号処理部209は、バス204を介して受け取った撮像画像データに対し、ホワイトバランス処理ガンマ処理ノイズ低減処理などの各種処理を行う処理回路である。

0013

エンコード部210は、撮像画像データをJPEGやMPEGなどのファイルフォーマットに変換する処理を行う処理回路である。外部メモリ制御部211は、撮像装置100を、外部メモリ213(例えば、PC、ハードディスクメモリーカードCFカードSDカードUSBメモリなどの記憶媒体)に接続するためのインターフェースである。画像処理部212は、撮像部101〜102で取得された撮像画像データ群或いは、デジタル信号処理部209から出力される撮像画像データ群を用いて画像合成などの画像処理を行う。例えば、画角の異なる複数の画像データとユーザのズーム指示によって設定された仮想画角とを用いて、仮想画角に対応した仮想画角画像データを生成する。なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。

0014

図3は、撮像部101の内部構成を示す図である。撮像部101は、レンズ301〜302、絞り303、シャッター304、光学ローパスフィルタ305、iRカットフィルタ306、カラーフィルタ307、センサ308及びA/D変形部309で構成される。レンズ301〜302は夫々、フォーカスレンズ301、ぶれ補正レンズ302である。センサ308は、例えばCMOSやCCDなどのセンサであり、上記の各レンズでフォーカスされた被写体の光量を検知する。検知された光量はアナログ値としてセンサ308から出力され、A/D変形部309によってデジタル値に変換されて、デジタルデータとなってバス204に出力される。なお、撮像部102の構成はレンズ301〜302の焦点距離以外は撮像部101と同様であるので、説明を省略する。

0015

次に、本実施例の撮像装置100で行われる処理の流れについて図4および図5を参照して説明する。図4は画像処理部212の機能ブロック図である。CPU201がROM203から読み出しプログラムをRAM202をワークメモリとして実行し、画像処理部212を制御することで、画像処理部212は図4に示す各機能ブロックとしての機能を果たす。なお、図4に示す各機能ブロックに対応する専用の処理回路を撮像装置100が有するようにしても良い。図5は画像処理部212によって実行される処理の流れを示すフローチャートである。以下では、仮想画角θ’はθ2≦θ’≦θ1の範囲にあるものとして説明する。

0016

テップS501では、画像取得部401が、撮像部101〜102から入力された撮像画像データを取得し、位置合わせ部404に出力する。以下、撮像部101で撮像された画像をI1(x,y)、撮像部102で撮像された画像をI2(x,y)とする。まず、ステップ501の画像データ取得処理において、撮像データ入力部401は撮像部101、102によって撮像された複数の撮像画像データI1(x,y)、I2(x,y)を撮像部101、102から取得する。撮像画像データは撮像部101、102から直接取得してもよいし、RAM202や外部メモリ213に記憶されたものを読み出してもよい。画像取得部401は、取得した撮像画像データを位置合わせ部404に出力する。

0017

ステップS502では、撮像パラメータ取得部402が、撮像部101の画角θ1と、撮像部102の画角θ2と、撮像部101と撮像部102との間隔Rと、を含む撮像パラメータを、ROM203や外部メモリ213などの記憶装置から取得する。撮像パラメータ取得部402は、取得した撮像パラメータを位置合わせ部404、変形部405、決定部406に出力する。

0018

ステップS503では、処理パラメータ取得部403が仮想画角θ’を含む処理パラメータを操作部205からの出力に基づいて取得する。なお、ユーザは仮想画角θ’操作部205の走査により入力する。例えば撮像装置のズームボタンの操作に伴って画角の変化を推定しても良いし、ユーザが所望の画角の数値直接入力するようにしてもよい。処理パラメータ取得部403は、取得した処理パラメータを位置合わせ部404、変形部405、決定部406に出力する。

0019

ステップS504では位置合わせ部404が、画像取得部401から入力された撮像画像データと撮像パラメータ取得部402から入力された撮像パラメータと処理パラメータ取得部403から入力された処理パラメータとを用いて、画像の位置合わせを行う。位置合わせが行われた後の画像I1(x,y)、I2(x,y)を画像J1(x,y)、J2(x,y)とする。なお、ここで行われる位置合わせ処理の詳細については後述する。位置合わせ部404は位置合わせが終了した画像J1(x,y)とJ2(x,y)を変形部405に出力する。

0020

ステップS505では、変形部405が、位置合わせ部404から入力された画像J1(x,y)、J2(x,y)に対して、仮想画角θ’に応じた拡大(縮小)処理を行う。この処理の概念を図6に示す。図6において、画像601は視点位置合わせ後の画像J1であり、画像602は視点位置合わせ後の画像J2である。先に仮定したように、撮像部101の画角θ1は、仮想画角θ’以上であり、撮像部102の画角θ2は、仮想画角θ’以下である。画像603は画像601をtanθ1/tanθ’倍に拡大したものであり、その中で画角θ’に対応する領域をトリミングしたものが画像604である。また、画像602をtanθ2/tanθ’倍に縮小したものが画像605であり、画角θ’に対応するように画像605の周辺を0で埋めた画像が画像606である。変形部405は、位置合わせ部404から入力された画像J1(x,y)、J2(x,y)を画像601および画像602とした場合の画像604および画像606を生成する。以下では、画像604をK1(x,y)、画像606をK2(x,y)と表すものとする。変形部405は、生成した画像K1(x,y)、K2(x,y)を決定部406と合成部407とに出力する。

0021

ステップS506では、決定部406が撮像部101の画角θ1、撮像部102の画角θ2、および処理パラメータに含まれる仮想画角θ’、変形後の撮像画像データK1(x,y)、K2(x,y)の特性を元に合成に用いる重み係数を決定する。ここで行われる処理の詳細については後述する。決定部406は、ここで決定した画像K1(x,y)に対応する重み係数w1(x,y)と、画像K1(x,y)に対応する重み係数w2(x,y)とを合成部407に出力する。

0022

最後にステップS507では、合成部407がK1(x,y)、K2(x,y)に重み係数w1(x,y)、w2(x,y)を乗算し、以下の式に従って加算合成する。
Isynth(x,y)=[w1(x,y)K1(x,y)+w2(x,y)K2(x,y)]/[w1(x,y)+w2(x,y)] (1)
合成部407は、生成した合成画像データIsynth(x,y)をRAM202などの記憶装置に出力して処理を終了する。

0023

以上が本実施例の撮像装置100で行われる処理の流れである、次に、各工程における処理の詳細について説明する。

0024

〔位置合わせ部404の処理〕
まず、位置合わせ部404で行われる処理(ステップS504)の詳細について説明する。位置合わせ部404は、撮像画像I1と撮像画像I2との位置合わせを行う。本実施例では、撮像部101の画角の方が撮像部102の画角に比べて大きいので、撮像部102の画像を撮像部101の視点位置に合わせるものとする。位置合わせ部404は、撮像部101の画像I1を図6の画像601と画像603の関係のように、tanθ1/tanθ2に拡大してトリミングし、この画像をI1’とする。

0025

次に、画像I2(x,y)と画像I1’(x,y)の各画素(領域)における視差を求める。このとき視差を求めるのは、図6に示す例では、画像604の領域のみである。視差を求める方法としては、公知のブロックマッチング手法を用いる。ブロックマッチングは、基準画像のある画像領域との類似度が最も高い画像ブロックを、参照画像から導出する手法である。導出された対応する画像領域同士の画像中での位置の差から、各画素位置に対応するI1’から見たI2の視差(dx(x,y),dy(x,y))を求めることができる。画素(領域)ごとに視差を求めることができる方法であれば、ブロックマッチングに限らず、例えばグラフカットなどの手法を用いてもよい。最後に画像I2(x,y)を視差(−dx(x,y),−dy(x,y))だけずらし、
I’2(x,y)=I2(x+dx(x,y),y+dy(x,y)) (2)
とし、撮像部102の画像の視点位置を撮像部101に合わせた画像を得る。なお、画像の位置合わせの方法は上記に限られず、例えば赤外線を用いた距離センサを使って被写体の距離を取得し、取得した距離と各撮像部の間の間隔とに基づいて画像をずらすようにしても良い。以上により、視点位置を合わせた画像をそれぞれ、J1(x,y)、J2(x,y)とする。以上が位置合わせ部404で行われる処理である。

0026

〔決定部406の処理〕
次に、決定部406における処理(ステップS506)の詳細について説明する。図7は決定部406の処理を示すフローチャートである。ステップS701では、決定部406が、入力された各画像について、撮像された際の画角が仮想画角θ’より大きいかどうか判定する。撮像された際の画角が仮想画角θ’より大きい場合(本実施例では、撮像部101で撮像された場合)には、ステップS702に進む。撮像された際の画角が仮想画角θ’よりも小さい場合には、ステップS704に進む。

0027

ステップS702では、決定部406が、画像のエッジの検出処理を行う。ここでは、エッジは以下のソーベルフィルタ

0028

0029

を用いて

0030

0031

の式によって強度を算出する。*は畳みこみ、Iは画像を表すものとする。式(4)の値が閾値T以上のときは、対象の画素をエッジに対応する画素であると判定する。画素値の範囲が[0,255]の場合、閾値Tとしては、例えばT=20を用いる。なお、エッジ検出の方法は以上のソーベルフィルタに限られず画像の画素値に対して微分演算を行ってエッジ検出を行うなどの処理を行っても良い。

0032

ステップS703では、決定部406が、ステップS702で検出されたエッジ情報に基づいて、画像の各画素について合成の重みを決定する。ここでは、画角θ2の範囲に含まれる、ステップS702でエッジとして検出された画素を中心としたs×sのサイズのブロックに含まれる画素の重みを0とし、その他の画素の重みは1とする。例えばブロックサイズsはs=10を用いることができる。すなわち、エッジとして検出された画素を所定の画素数拡張した一部の領域の重みが0として決定される。そして、決定部406は、決定した重みを合成部407に出力して処理を終了する。

0033

ステップS704では、決定部406が、重み決定の対象の画像の撮像時の画角(θ2)に対応する画像領域の重みは1とし、画角θ2の範囲に含まれない画像領域の重みを0とする。そして、決定部406は、決定した重みを合成部407に出力して処理を終了する。

0034

ステップS703およびS704における重みの決め方の概念図を図8に示す。図8において、領域802は、撮像部102の画角θ2の範囲を表したものであり、画像801は画像604の各画素に対応する重み係数を示した重みマップである、画像803は画像606の各画素に対応する重み係数を示した重みマップである。画像801および画像803において、白い領域には重み係数1が、黒い部分には重み係数0が格納されている。撮像された際の画角が仮想画角θ’よりも大きい場合には、領域802に含まれる画素のうち、エッジとして検出された画素を含むエッジ領域の重みが0となり、その他の画素の重みが1となっている。すなわち、領域802の中のエッジ領域以外の領域においては、望遠側の画像と広角側の画像の重みは1対1となっている。また、撮像された際の画角が仮想画角θ’よりも小さい場合には、領域802に含まれる画素全ての重みが1となり、領域802の外側の画素全ての重みが0となっている。このように、画像のエッジ領域には広角の画像の画素値を用いずに、画像のエッジ領域以外の領域では広角の画像の画素値も用いて最終的な画像の画素値を決定することにより、ノイズが低減されつつも望遠の画像の解像感が残った画像を生成することができる。

0035

なお、本実施例において、画像取得部401は、第1の画角を有する第1の撮像部により撮像された第1の画像と、前記第1の画角よりも小さい第2の画角を有する第2の撮像部により撮像された第2の画像とを取得する取得手段として機能する。また、位置合わせ部404と変形部405は前記第1の画像と前記第2の画像とを、前記同一の被写体の像が重なるように位置合わせおよび変形する変形手段として機能する。また、決定部406は、前記第1の画像と前記第2の画像とが重なる領域において、被写体像のエッジを検出するエッジ検出処理を行う検出手段として機能する。また、決定部406は、前記変形手段により位置合わせおよび変形された前記第1の画像と前記第2の画像とを重みづけ合成する際の重みを決定する決定手段としても機能する。また、合成部407は、前記変形手段により位置合わせ及び変形された前記第1の画像と前記第2の画像とを、前記決定手段により決定された前記重みを用いて重みづけ合成する合成手段として機能する。

0036

<実施例2>
実施例1では、撮像部の画角が2種類の場合について説明したが、本実施例では、画角が互いに異なる撮像部を3種類以上有する場合について説明する。図9は、本実施例に係る撮像装置の一例を示す図である。図9に示すように、撮像装置900はカラー画像データを取得する4個の撮像部901〜904を備えている。撮像部901〜撮像部904は、それぞれの光軸が平行になるように配置されている。本実施例では、撮像部901〜撮像部904の画角をθ1〜θ4とし、画角の大小関係は、θ1>θ2>θ3>θ4とする。すなわち、撮像部901が最も画角が大きく、撮像部904が最も画角が小さい。また、仮想画角θ’は、θ1>θ2>θ’>θ3>θ4の関係を満たすものとする。本実施例における基本的な処理は実施例1と同様であるが、ステップS506における重み決定の処理の内容が異なる。図10は、本実施例におけるステップS506の処理の流れを示したフローチャートである。実施例1と同様の処理については図7と同様の符号を付し、説明を省略する。

0037

ステップS1001では、決定部406が、重み決定の対象である画像の撮像時の画角が、撮像部901〜904の画角のうち、仮想画角より広角の画角の中で仮想画角に最も近いかどうかを判定する。本実施例の場合、仮想画角よりも広角でかつ仮想画角に最も近い画角は、θ2である。重み決定の対象である画像の撮像時の画角がθ2であるときは、ステップS1002に進む。そして、重み決定の対象である画像の撮像時の画角がθ2ではない場合は、ステップS1003に進む。

0038

ステップS1002では、決定部406が、ステップS702で検出されたエッジ情報に基づいて、画像の各画素について合成の重みを決定する。ここでは、重み決定の対象の画像において、撮像部901〜904の画角のうち、重み決定の対象である画像の撮像時の画角よりも一段階小さい画角(本実施例ではθ3)に含まれない領域の重みが1として決定される。そして、画角θ3の範囲に含まる、ステップS702でエッジとして検出された画素を中心としたs×sのサイズのブロックに含まれる画素の重みを0とし、その他の画素の重みは1として決定される。そして、決定部406は、決定した重み係数を合成部407に出力して処理を終了する。

0039

ステップS1003では、決定部406が、ステップS702で検出されたエッジ情報に基づいて、画像の各画素について合成の重みを決定する。このステップでは、画像中の全領域において、エッジとして検出された画素を中心としたs×sのサイズのブロックに含まれる画素の重みを0とし、その他の画素の重みを1として決定する処理が行われる。そして、決定部406は、決定した重み係数を合成部407に出力して処理を終了する。

0040

図11は、ステップS1002およびステップS1003で行われる重み決定処理の概念を示す図である。図11において、画像1101は撮像部902により撮像された画像(画角θ2)に変形処理を行ったものを、画像1103は撮像部901により撮像された画像(画角θ1)に変形処理を行ったものを示す。領域1102は、撮像部901〜904の撮像画角のうち仮想画角よりも小さい画角の中で、最も仮想画角に近い画角θ3の画角範囲を表している。画像1104は、画像1101の各画素に対応する重み係数を示した重みマップである。重み決定の対象である画像が撮像された際の画角が、仮想画角よりも大きな画角の中で最も仮想画角に近い場合(画角がθ2の場合)、領域1102に含まれない範囲では最も解像感の高い画像が得られている。そこで、エッジ領域の重みを0にするのは領域1102内のみに限定されており、領域1102に含まれない範囲の重みはエッジ領域においても1となっている。一方、重み決定の対象である画像が撮像された際の画角が、仮想画角よりも大きな画角の中で最も仮想画角に近いわけではない場合、仮想画角内の全ての領域において解像感が他の画像に比べて劣っている。そのため、画像内の全域でエッジ領域の重みが0となっている。

0041

以上が本実施例における重み決定処理の概要である。以上の処理によれば、合成する画像の画角の種類が3種類以上である場合においても、解像感の低下を抑制しつつ画像合成によるノイズ低減を行うことができる。

0042

<実施例3>
実施例1および実施例2では、決定部406が、撮像時の画角が仮想画角より小さい画像に対する重み係数を図8の重みマップ803のように決定した。しかし、このようにある領域の内側と外側で重みが0から1に急激に変化するように重みを決定すると、合成に用いる画像の枚数が切り替わる境界ノイズ量が急激に変化し、ノイズ段差が発生する。例えば実施例1の場合では、領域802の内側では加算される画像枚数が2枚であり、領域802の外側では加算される画像枚数が1枚であるため、領域802の外側では領域802の内側に比べてノイズ量が大きくなり、ノイズ段差が発生する。

0043

そこで、本実施例では、撮像時の画角が仮想画角よりも小さい場合の重み係数を以下のように決める。図12において、グラフ1201は重みマップ803の水平方向における断面図である。グラフ1201では、領域802の内側は重み係数が1、領域802の外側は重み係数が0となるように決定されている。これに対し、グラフ1202は本実施例における重みの決定方法により重み係数が決定された重みマップの水平方向における断面図である。グラフ1202では、領域802の内側において、領域802の境界に向かって重み係数が1から0になめらかに変化するように決定されている。なお、図12の例では、重み係数が直線に沿って変化するように重み値を決定しているが、重み係数が境界に向かってなめらかに変化するように決定されていれば、重み係数を直線にそって変化するように決定する必要はない。例えば、スプライン曲線シグモイド関数にそって重み値が変化するように決定してもよい。また、図12では、水平方向における重みマップの断面図のみ図示しているが、垂直方向に関しても同様に重みが滑らかに変化するように重みを決定する。

0044

以上のように、撮像時の画角が仮想画角よりも小さい画像に対する重みを決定する際に、重み係数が0になる領域と重み係数が1になる領域との境界で重みが滑らかに変化するように重みを決定することで、ノイズ段差を軽減することができる。

0045

<実施例4>
実施例1および実施例2では、撮像時の画角が仮想画角よりも大きい画像の重み係数を、エッジ領域の重み係数が0になるように決定した。しかし、エッジ領域の重み係数を単純に0にしてしまうと、実施例3で述べたようにエッジ領域の周辺でノイズ段差が発生してしまう。そこで、本実施例では、撮像時の画角が仮想画角よりも大きい画像について決定された重みマップに対してローパスフィルタを作用させ、重み係数が滑らかに変化するようにし、ノイズ段差を緩和する。図13は、本実施例における重みマップの補正処理の概要を示す図である。図13において、画像1301は、重みマップ1105にローパスフィルタを作用させたものである。このように、重みマップに対してローパスフィルタを作用させることでエッジ領域における重みの急激な変化を緩和でき、エッジ領域におけるノイズ段差を軽減することができる。

0046

なお、ここでは重みマップに対してローパスフィルタを作用させることにより、エッジ周辺部における重み係数の急激な変化を緩和したが、別の手法を用いてもよい。例えば、重み係数w(x,y)を式(4)で定義されるようなエッジ強度の関数として表してもよい。このとき、エッジ強度の関数としては、エッジ強度が強いほど、重み係数が小さくなり、ベタ部(エッジ強度が0)では重み係数が1に近づく関数を採用する。例えば以下の関数を考えることができる。

0047

0048

式(5)において、G(x,y)は式(4)で定義されるエッジ強度である。この式に従ってエッジ領域における重みを決定すれば、重みマップにローパスフィルタを作用させなくても、エッジ領域におけるノイズ段差を軽減することができる。

0049

<実施例5>
実施例1〜4では、画角が小さい画像の方が被写体像の解像度が高いという前提を置いた。しかし、実際には撮像部の画角が小さくなると被写界深度が浅くなるため、望遠側の画像ではピント面から外れた被写体にボケが発生し、広角側の画像よりも解像度が劣化している可能性がある。このような画像を実施例1〜4の手法に従って合成すると、望遠側のけが反映されて解像感のよくない画像が生成されてしまうため、画像の自然なボケよりも被写体の解像感を優先したい場合には課題となる。

0050

そこで、本実施例では、合成する各画像のエッジ強度を比較し、エッジ強度の大きい方の領域の重みを大きくすることで、解像感を維持する例について説明する。ここで用いる撮像装置の撮像部の構成は実施例2と同様であるとする。図14は、本実施例における決定部406の処理の流れを示すフローチャートである。実施例1および実施例2と同様の処理については同様の符号を付して説明を省略する。

0051

ステップS1401およびステップS1402では、決定部406が、ステップS702と同様に画像のエッジの検出処理を行う。ステップS702と異なる点は、エッジとして検出された画素について、その画素のエッジ強度も保持しておく点である。ステップS1401を行った場合はステップS1001に進み、ステップS1402を行った場合はステップS1403に進む。ステップS1403では、決定部406が、ステップS1401とステップS1402とで算出したエッジ強度を比較し、重みを決定する。この処理について詳細に説明する。

0052

図15はステップS1403の処理の流れを表したフローチャートである。ステップ1503では、画像を重なりのない複数のブロックに分割し、各ブロックに対し、処理を行うものとする。処理対象のブロックの順番は、画像の左上から開始し、左上から右下へ順次移動していくものとする。また、ステップS1403で処理の対象とする画像は、撮像時の画角が仮想画角よりも小さい画像と、撮像時の画角が仮想画角よりも大きくかつ最も仮想画角に近い画角の画像である。

0053

ステップS1501では、決定部406が、重みを計算するブロックを初期位置に設定する。ここでは、画像の左上端に設定するものとする。ステップS1502では、決定部406が、ステップS1403での重み決定の対象である画像の中に、ステップS1401またはS1402でエッジとして検出された領域が対象のブロックに含まれる画像があるかどうかを判定する。ステップS1401またはS1402でエッジとして検出された領域が対象のブロックに含まれる画像がないと判定された場合は、ステップS1503に進む。ステップS1401またはS1402でエッジとして検出された領域が対象のブロックに含まれる画像があると判定された場合は、ステップS1504に進む。

0054

ステップS1503では、決定部406が、ステップS1403での重み決定の対象となっている画像の、対象のブロックに含まれる全ての画素の重みを1にしてステップS1507に進む。

0055

ステップS1504では、決定部406が、対象のブロックにエッジが含まれる画像が複数あるかどうかを判定する。対象のブロックにエッジが含まれる画像が複数あると判定された場合はステップS1505に進む。対象のブロックにエッジが含まれる画像が複数ないと判定された場合はステップS1506に進む。

0056

ステップS1505では、決定部406が、対象のブロックにエッジが含まれるとして判定された複数の画像の、対象のブロックに含まれるエッジのエッジ強度を比較する。決定部406は、例えば対象のブロック内でエッジとして検出された画素のエッジ強度の平均同士を比較し、ブロック内でのエッジ強度の平均が最も大きい画像を判定する。

0057

ステップS1506では、決定部406が、エッジに基づいて対象のブロックの重みを決定する。決定部406は、対象ブロックにエッジが含まれる唯一の画像、又は、対象ブロックにエッジが含まれる複数の画像の中で最もエッジ強度が大きい画像の対象ブロックの画素の重みを全て1に設定する。そして、重みが1に設定された画像以外の画像の対象ブロックの画素の重みを全て0に設定する。

0058

ステップS1507では、決定部406が、画像中の全てのブロックについて重み決定の処理が終了したかどうかを判定する。画像中の全てのブロックについて重み決定の処理が終了したと判定された場合は、決定した重み値を合成部407に出力して処理を終了する。画像中の全てのブロックについて重み決定の処理が終了していないと判定された場合は、ステップS1508に進む。ステップS1508では、対象ブロックを更新してステップS1502に戻る。

0059

以上が本実施例の決定部406で行われる処理である。以上の処理によれば、望遠側の画像に暈けが発生している場合であっても、合成による解像感の低下を抑制することができる。

0060

<その他の実施例>
本発明の実施の形態は、上記の実施例に限られるものではない。例えば、上記の実施例では被写体像のエッジに基づいて画像の重みを1か0にするように重みを決定したが、重みの大小関係が上記の実施例と同じであれば、別の重みを用いるようにしてもよい。例えば、解像感とノイズ感のそれぞれをどれだけ重視するかに応じて、エッジにおける広角側の画像の重みを0以外の値としてもよい。また、エッジ強度に応じて重みを段階的に決定するようにしてもよい。

0061

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0062

401画像取得部
404 位置合わせ部
405 変形部
406 決定部
407 合成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ