図面 (/)

技術 撮像装置及び撮像方法

出願人 三星電子株式会社
発明者 劉勇
出願日 2009年12月9日 (11年0ヶ月経過) 出願番号 2009-279843
公開日 2011年6月23日 (9年6ヶ月経過) 公開番号 2011-124728
状態 特許登録済
技術分野 スタジオ装置
主要キーワード エッジ輪郭 通常光量 シャッター間隔 閉曲線状 フラクタル性 修復箇所 修復領域 ストロボ画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年6月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

水中撮影の際、ストロボ発光をするときに写り込むマリンスノーを確実かつ容易に特定することが可能な撮像装置及び撮像方法を提供する。

解決手段

撮影時にストロボ発光しないで被写体を撮影したストロボ非発光画像と、ストロボを発光して被写体を撮影したストロボ発光画像を取得する画像取得部と、ストロボ非発光画像及びストロボ発光画像をエッジ検出処理するエッジ検出処理部と、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分を算出し差分画像を生成する差分算出部と、差分画像において、ストロボ非発光画像に基づく点状エッジと点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するマリンスノー検出部とを備える。

概要

背景

デジタルスチルカメラ等の撮像装置を使用して、水中において静止画像撮影する際、ストロボを用いると、水中の砂やプランクトン等の微細物体ストロボ光反射する。その結果、微細な物体で反射した光が静止画像に白色の円や多角形となって写り込んでしまう。静止画像に写り込んだ白色の円や多角形は、微細な物体の実際のサイズよりも大きく、この現象マリンスノーと呼ばれる。

特許文献1及び特許文献2では、内蔵ストロボ及び外付けストロボ発光制御に関する技術であり、マリンスノー現象を低減するため、内蔵ストロボの光漏れを制御し、外付けストロボの発光を制御する技術が開示されている。特許文献3及び特許文献4では、ストロボ非発光画像ストロボ発光画像を比較することで、ストロボ撮影時に撮影対象物を含む領域を抽出する技術が開示されている。

特許文献5では、マリンスノーが写り込んだとき、ストロボ発光画像の白点部を面積の大小に基づいて検出し、ストロボ非発光画像から白点部に相当する領域の画像を抽出してストロボ画像に合成する技術が開示されている。非特許文献1〜3には、画像内でデータが失われた部分を修復する技術が開示されている。

概要

水中撮影の際、ストロボ発光をするときに写り込むマリンスノーを確実かつ容易に特定することが可能な撮像装置及び撮像方法を提供する。撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、ストロボを発光して被写体を撮影したストロボ発光画像を取得する画像取得部と、ストロボ非発光画像及びストロボ発光画像をエッジ検出処理するエッジ検出処理部と、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分を算出し差分画像を生成する差分算出部と、差分画像において、ストロボ非発光画像に基づく点状エッジと点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するマリンスノー検出部とを備える。

目的

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮影時にストロボ発光しないで被写体を撮影したストロボ非発光画像と、前記ストロボを発光して前記被写体を撮影したストロボ発光画像を取得する画像取得部と、前記ストロボ非発光画像及び前記ストロボ発光画像をエッジ検出処理するエッジ検出処理部と、エッジ検出処理された前記ストロボ非発光画像とエッジ検出処理された前記ストロボ発光画像との差分を算出し差分画像を生成する差分算出部と、前記差分画像において、前記ストロボ非発光画像に基づく点状エッジと前記点状エッジを囲む前記ストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するマリンスノー検出部とを備える、撮像装置

請求項2

前記マリンスノー発生部分を修復するため、前記マリンスノー発生部分と、前記マリンスノー発生部分を囲む領域の領域情報及び位置情報を作成する修復領域作成部を更に備える、請求項1に記載の撮像装置。

請求項3

前記作成された領域情報及び位置情報を記憶する保存部を更に備える、請求項2に記載の撮像装置。

請求項4

前記ストロボを発光して前記被写体を撮影したときの前記ストロボの発光量に基づいて前記ストロボ非発光画像の輝度値補正する輝度値補正部を更に備え、前記エッジ検出処理部は、前記輝度値を補正したストロボ非発光画像を用いて前記ストロボ非発光画像をエッジ検出処理する、請求項1〜3のいずれか1項に記載の撮像装置。

請求項5

エッジ検出処理された前記ストロボ非発光画像とエッジ検出処理された前記ストロボ発光画像との位置合わせをするマッチング部を更に備え、前記差分算出部は、位置合わせされた前記ストロボ非発光画像と前記ストロボ発光画像との差分を算出する、請求項1〜4のいずれか1項に記載の撮像装置。

請求項6

前記マッチング部は、前記ストロボを発光しないで被写体を撮影したときのシャッター速度に基づいて位置合わせ補正補償範囲を変化させる、請求項5に記載の撮像装置。

請求項7

撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、前記ストロボを発光して前記被写体を撮影したストロボ発光画像を取得するステップと、前記ストロボ非発光画像及び前記ストロボ発光画像をエッジ検出処理するステップと、エッジ検出処理された前記ストロボ非発光画像とエッジ検出処理された前記ストロボ発光画像との差分を算出し差分画像を生成するステップと、前記差分画像において、前記ストロボ非発光画像に基づく点状エッジと、前記点状エッジを囲む前記ストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するステップとを備える、撮像方法

技術分野

0001

本発明は、撮像装置及び撮像方法に関する。

背景技術

0002

デジタルスチルカメラ等の撮像装置を使用して、水中において静止画像撮影する際、ストロボを用いると、水中の砂やプランクトン等の微細物体ストロボ光反射する。その結果、微細な物体で反射した光が静止画像に白色の円や多角形となって写り込んでしまう。静止画像に写り込んだ白色の円や多角形は、微細な物体の実際のサイズよりも大きく、この現象マリンスノーと呼ばれる。

0003

特許文献1及び特許文献2では、内蔵ストロボ及び外付けストロボ発光制御に関する技術であり、マリンスノー現象を低減するため、内蔵ストロボの光漏れを制御し、外付けストロボの発光を制御する技術が開示されている。特許文献3及び特許文献4では、ストロボ非発光画像ストロボ発光画像を比較することで、ストロボ撮影時に撮影対象物を含む領域を抽出する技術が開示されている。

0004

特許文献5では、マリンスノーが写り込んだとき、ストロボ発光画像の白点部を面積の大小に基づいて検出し、ストロボ非発光画像から白点部に相当する領域の画像を抽出してストロボ画像に合成する技術が開示されている。非特許文献1〜3には、画像内でデータが失われた部分を修復する技術が開示されている。

0005

特開2003−140239号公報
特開2003−202618号公報
特開2008−219367号公報
特開2008−227569号公報
特開2007−189542号公報

先行技術

0006

井添慎太郎、外2名、「画像のフラクタル性に基づく遮へい領域の原画像推定」、映像メディア処理シンポジウム第6回シンポジウム資料電子情報通信学会画像工学研究専門委員会、2001年11月14日、p.39−40
井添慎太郎、外2名、「画像のフラクタル性に基づいたカーネル主成分分析による遮へい領域の原画像推定」、電子情報通信学会技術研究報告Vol.101 No.362 PRMU2001−106、電子情報通信学会、2001年10月11日、p.55−62
天野敏之、井口征士、「固有空間照合法を用いたBPLPによる画像補間」、画像の認識・理解シンポジウム講演論文集vol.1、電子情報通信学会パターン認識メディア理解研究会、2000年、p.217−222

発明が解決しようとする課題

0007

特許文献1及び特許文献2の技術は、水中撮影のために、撮像装置の内蔵ストロボに別途フィルタを設置したり、外付けストロボの発光制御を調整したりという準備が必要であり、実際の撮影を行うまでに手間がかかる。特許文献3及び特許文献4の技術は、水中撮影や水中撮影時のマリンスノー現象を考慮しておらず、撮影画像内でマリンスノーの発生箇所を特定できない。

0008

特許文献5の技術は、ストロボ発光画像から白点部を検出して、白点部の総量を算出する判定処理をしているが、マリンスノーと関係のない対象物までもマリンスノーとして検出するおそれがある。その結果、修復する必要のない物体も修復対象となり、修復箇所が増大する。また、ストロボ非発光画像を使用してストロボ画像を修復しているが、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できない。

0009

非特許文献1〜3の技術は、修復処理に関する技術であり、修復箇所を特定するにはユーザー目視で確認して手作業で一つずつ修復領域を指定していく必要がある。従って、マリンスノーが画像内に大量に発生した場合、修復領域を指定する作業が膨大な量になる。上記のとおり、従来、画像内に発生したマリンスノーを正確かつ簡易に抽出する技術は存在していなかった。

0010

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、水中撮影の際、ストロボ発光をするときに写り込むマリンスノーを確実かつ容易に特定することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

課題を解決するための手段

0011

上記課題を解決するために、本発明のある観点によれば、撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、ストロボを発光して被写体を撮影したストロボ発光画像を取得する画像取得部と、ストロボ非発光画像及びストロボ発光画像をエッジ検出処理するエッジ検出処理部と、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分を算出し差分画像を生成する差分算出部と、差分画像において、ストロボ非発光画像に基づく点状エッジと点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するマリンスノー検出部とを備える撮像装置が提供される。

0012

この構成によれば、ストロボ非発光画像とストロボ発光画像が取得され、両画像がエッジ検出処理される。そして、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分が算出されて差分画像が生成され、差分画像において、ストロボ非発光画像に基づく点状エッジと点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分がマリンスノー部分として検出される。

0013

上記マリンスノー発生部分を修復するため、マリンスノー発生部分と、マリンスノー発生部分を囲む領域の領域情報及び位置情報を作成する修復領域作成部を更に備える。また、上記作成された領域情報及び位置情報を記憶する保存部を更に備える。この構成によれば、マリンスノー発生部分と、マリンスノー発生部分を囲む領域の領域情報及び位置情報に基づいて、マリンスノー発生部分が修復される。

0014

上記ストロボを発光して被写体を撮影したときのストロボの発光量に基づいてストロボ非発光画像の輝度値補正する輝度値補正部を更に備え、エッジ検出処理部は、輝度値を補正したストロボ非発光画像を用いてストロボ非発光画像をエッジ検出処理する。この構成によれば、ストロボ発光撮影時のストロボ発光量に基づいて、ストロボ非発光画像の輝度値が補正され、輝度値が補正されたストロボ非発光画像がエッジ検出処理される。

0015

エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との位置合わせをするマッチング部を更に備え、差分算出部は、位置合わせされたストロボ非発光画像とストロボ発光画像との差分を算出する。この構成によれば、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像が位置合わせされて、両画像の差分が算出される。

0016

上記マッチング部は、ストロボを発光しないで被写体を撮影したときのシャッター速度に基づいて位置合わせ補正補償範囲を変化させる。この構成によれば、位置合わせ補正の補償範囲は、ストロボ非発光撮影時のシャッター速度に依存する。

0017

また、上記課題を解決するために、本発明の別の観点によれば、撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、ストロボを発光して被写体を撮影したストロボ発光画像を取得するステップと、ストロボ非発光画像及びストロボ発光画像をエッジ検出処理するステップと、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分を算出し差分画像を生成するステップと、差分画像において、ストロボ非発光画像に基づく点状エッジと、点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するステップとを備える撮像方法が提供される。

発明の効果

0018

以上説明したように本発明によれば、水中撮影の際、ストロボ発光をするときに写り込むマリンスノーを確実かつ容易に特定することができる。

図面の簡単な説明

0019

本実施形態に係る撮像装置100を示すブロック図である。
同実施形態に係る撮像装置100の撮影動作を示すフローチャートである。
同実施形態に係る撮像装置100の撮影動作、マリンスノー特定動作を示すフローチャートである。
同実施形態に係る撮像装置100のマリンスノー発生部分の検出動作を示すフローチャートである。
ストロボ非発光撮影によって取得される画像の例を示す説明図である。
ストロボ発光撮影によって取得される画像の例を示す説明図である。
ストロボ非発光画像に基づく非発光エッジ画像の例を示す説明図である。
ストロボ発光画像に基づく発光エッジ画像の例を示す説明図である。
非発光エッジ画像と発光エッジ画像の差分を表す差分画像の例を示す説明図である。
ストロボ発光画像における修復領域の作成例を示す説明図である。
修復領域の形状を示す説明図である。

実施例

0020

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0021

まず、図1を参照して、本発明の一実施形態に係る撮像装置100の構成について説明する。図1は、本実施形態に係る撮像装置100を示すブロック図である。

0022

撮像装置100は、例えばデジタルスチルカメラである。撮像装置100は、水中で写真を撮影して画像に生じるマリンスノーを検出できる。マリンスノーとは、水中においてストロボを用いて静止画像を撮影する際、水中の砂やプランクトン等の微細な物体がストロボ光を反射し、微細な物体で反射した光が静止画像に白色の円や多角形となって写り込む現象をいう。

0023

撮像装置100は、例えば、CCDイメージセンサ102と、画像取得部104と、ストロボ106と、カメラ制御部108と、バッファ112と、ゲインコントロール部114と、非発光画像エッジ検出部116と、発光画像エッジ検出部122と、画素マッチング部132と、差分算出部134と、修復領域作成部136と、修復領域指定情報保存部138と、ストレージ142などからなる。

0024

CCD(charge coupled device)イメージセンサ102は、被写体からの光を受けて電気信号に変換する光電変換素子である。CCDイメージセンサ102は、光に応じた電気信号を生成する。なお、本発明は、CCDイメージセンサ102に代えて、CMOS(complementary metal oxide semiconductor)センサー等の撮像素子を適用することもできる。

0025

画像取得部104は、CCDイメージセンサ102から電気信号を受けて、電気信号に対してノイズ除去増幅処理をし、アナログデジタル変換して画像信号を生成する。また、画像取得部104は、生成した画像信号をバッファ112や発光画像エッジ検出部122に出力する。

0026

ストロボ106は、露光条件に応じて算出された発光量に基づいて、撮影時に光を被写体に向けて照射する。本実施形態では、1回の撮影において、ストロボ106を発光せずに撮影を行うストロボ非発光撮影と、ストロボ106を発光させて撮影を行うストロボ発光撮影を行う。従って、ストロボ非発光撮影時には、ストロボ106は発光されない。

0027

カメラ制御部108は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置100内に設けられた各構成要素の処理を制御する。例えば、カメラ制御部108は、画像取得タイミングストロボ発光タイミングの制御、ストロボ106の発光量の算出を行う。

0028

バッファ112は、画像データを保存する。バッファ112は、ストロボ非発光撮影時に取得された画像であるストロボ非発光画像の画像データを一時的に蓄積する。

0029

ゲインコントロール部114は、ストロボ非発光画像の画像データの輝度値を補正する。ストロボ非発光画像は、通常光量不足しているため、ストロボ発光撮影時に取得された画像であるストロボ発光画像の画像データの輝度値に近づくように補正される。これにより、非発光画像エッジ検出部116において、ストロボ非発光画像におけるエッジが検出し易くなる。ストロボ非発光画像の輝度値に対する補正量は、ストロボ発光撮影時にストロボ106が照射する発光量に応じて決定される。従って、ゲインコントロール部114は、ストロボ発光撮影時の発光量をカメラ制御部108から取得する。ストロボ106の発光量が強ければ、補正量が相対的に大きくなり、ストロボ106の発光量が弱ければ、補正量が相対的に小さくなる。

0030

非発光画像エッジ検出部116は、ゲインコントロール部114で補正されたストロボ非発光画像の画像データに対してエッジ検出処理をする。エッジ検出処理は、通常用いられる技術を適用でき、本明細書では詳述しない。マリンスノーは、水中の砂やプランクトン等の微細な物体がストロボ光を反射して生じる。従って、ストロボ非発光画像には、ストロボ発光画像における白色の円や多角形のマリンスノー発生部分に対応する場所に微細な物体が存在する。よって、非発光画像エッジ検出部116がエッジ検出処理することによって、マリンスノー発生部分に点状のエッジが検出される。

0031

発光画像エッジ検出部122は、画像取得部104で取得されたストロボ発光画像の画像データに対してエッジ検出処理をする。ストロボ発光画像において、マリンスノーは白色の円又は多角形として写り込む。従って、ストロボ発光画像内にマリンスノーが発生している場合、発光画像エッジ検出部122がエッジ検出処理することによって、マリンスノー発生部分に円又は多角形等の閉曲線状のエッジが検出される。

0032

画素マッチング部132は、非発光画像エッジ検出部116でエッジ検出され生成された非発光エッジ画像と、発光画像エッジ検出部122でエッジ検出されて生成された発光エッジ画像を取得する。そして、画素マッチング部132は、例えば画素単位で、非発光エッジ画像と発光エッジ画像のエッジ輪郭の位置合わせを行う。本実施形態の1回の撮影におけるストロボ非発光撮影とストロボ発光撮影は、撮影タイミング時間差がある。従って、通常、ストロボ非発光画像とストロボ発光画像では被写体の位置にずれが生じるが、画素マッチング部132の位置合わせによって位置のずれを補正できる。

0033

ストロボ非発光撮影の後にストロボ発光撮影という順番で撮影を行う場合、位置合わせの補正補償範囲は、ストロボ非発光撮影時のシャッタースピードに応じて決定される。従って、画素マッチング部132は、ストロボ非発光撮影時のシャッタースピードをカメラ制御部108から取得する。シャッタースピードが遅ければ、後のストロボ発光画像までのタイムラグが長くなるため、補正補償範囲を相対的に広くする。一方、シャッタースピードが速ければ、補正補償範囲を相対的に小さくしてよい。

0034

差分算出部134は、位置合わせされた非発光エッジ画像と発光エッジ画像との間の差分を算出する。ストロボ非発光撮影とストロボ発光撮影は、1回の撮影で行われる撮影であり、ストロボ発光撮影は、ストロボ非発光撮影から、ストロボ非発光撮影時のシャッター間隔以上の時間間隔を開けずに行われる。従って、通常、位置合わせ後のストロボ非発光画像における被写体像とストロボ発光画像における被写体像との間の相違点はほぼ無いため、差分を算出すると、差分画像には画像データが残らない。

0035

一方、水中でストロボ撮影をして、ストロボ発光画像内にマリンスノーが発生すると、マリンスノー発生部分において、ストロボ非発光画像における被写体像とストロボ発光画像における被写体像との間に相違点が生じる。差分画像は、マリンスノー発生部分に、非発光エッジ画像における点状エッジと、発光エッジ画像における閉曲線状エッジを含む。従って、差分算出部134は、ストロボ非発光撮影時に点状のエッジであり、ストロボ発光撮影時に閉曲線状のエッジになる部分を検出する。差分算出部134は、マリンスノー検出部の一例である。

0036

修復領域作成部136は、修復領域指定情報保存部138から修復領域指定情報を取得する。そして、修復領域作成部136は、差分算出部134で検出されたマリンスノー発生部分の位置情報に基づいて、マリンスノー発生部分を修復するための修復領域に関する情報を決定する。修復領域作成部136は、マリンスノー発生部分の位置情報と、マリンスノー発生部分を修復するための修復領域に関する情報をストレージ142に送る。

0037

本実施形態では、上述した非特許文献1〜3に記載された技術のように、被修復箇所を修復することを前提とする。即ち、ストロボ非発光画像等の他の画像の画像データを使用せずに、ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復する。これにより、ストロボ非発光画像の画像データを使用した場合、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できないという問題を回避できる。ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復するには、マリンスノー発生部分を囲むマリンスノー発生部分より広い範囲の画像データを使用する。

0038

修復領域指定情報保存部138は、修復領域指定情報を保存している。修復領域指定情報は、修復領域作成部136によって読み出される。修復領域指定情報とは、図11に示すように、検出されたマリンスノー発生部分266に対する修復領域176を指定するための距離情報182等である。図11は、修復領域の形状を示す説明図である。図11では、マリンスノー発生部分が四角形状である場合について例示したが、本発明はこの例に限定されない。マリンスノー発生部分が円や四角形以外の多角形である場合も同様に距離情報などの修復領域指定情報を使用して、修復領域を指定できる。

0039

ストレージ142は、ストロボ発光画像と共に、指定された修復領域の位置情報及び領域情報を記憶しておく。記憶された修復領域の位置情報及び領域情報は、例えば、撮像装置100の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理に用いられる。修復処理が実行されることによって、ストロボ発光画像において白色の円又は多角形として写り込んだマリンスノー発生部分を除去して、マリンスノーが発生しないときの被写体像を復元できる。

0040

次に、図2を参照して、本発明の一実施形態に係る撮像装置100の撮影動作について説明する。図2は、本実施形態に係る撮像装置100の撮影動作を示すフローチャートである。

0041

まず、ユーザーによって水中で被写体の撮影が行われる(ステップS101)。ストロボを使用した撮影の場合、ストロボ発光画像にマリンスノーが発生している可能性があるため、撮像装置100は、マリンスノー発生部分を特定する(ステップS102)。特定されたマリンスノー発生部分は、撮像装置100内で記憶される。そして、記憶されたマリンスノー発生部分を使用して、撮像装置100の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理が行われる(ステップS103)。

0042

次に、図3を参照して、本発明の一実施形態に係る撮像装置100の撮影動作、マリンスノー特定動作について説明する。図3は、本実施形態に係る撮像装置100の撮影動作、マリンスノー特定動作を示すフローチャートである。

0043

ユーザーによって1回の撮影が指示され、露光条件によってストロボが発光されて撮影される場合について説明する。このとき、まず、ストロボを発光して撮影する本撮影の前にストロボを発光しないプリ撮影(ストロボ非発光撮影)が行われ、ストロボ非発光画像の画像データがバッファ112に一時的に蓄積される(ステップS111)。図5は、ストロボ非発光撮影によって取得される画像の例を示す説明図である。このときは、マリンスノーは画像152内に発生せず、水中162における被写体の人物164や、マリンスノーの原因となる微細な物体166,168が画像152に写る。なお、ストロボ非発光画像は後段のエッジ検出によって微細な物体のエッジが検出できる程度の解像度があればよく、ストロボ発光画像と同様の高解像度画像を取得しなくてもよい。

0044

また、ストロボ非発光撮影の直後に、ストロボを発光する本撮影(ストロボ発光撮影)が行われる(ステップS112)。図6は、ストロボ発光撮影によって取得される画像の例を示す説明図である。このときは、水中262における被写体の人物264と共にマリンスノー266,268が画像153に写る。以上が、撮像装置100における撮影動作である。続いて、取得されたストロボ非発光画像とストロボ発光画像に基づいて、マリンスノー特定動作を行う。

0045

ストロボ発光画像に比べて、ストロボ非発光画像は暗いため、ゲインコントロール部114において、ストロボ非発光画像の画像データの輝度値が、ストロボ発光画像の輝度値に近づくように補正される。輝度値の補正量は、ストロボ発光撮影時のストロボ106の発光量に応じて増減される。これにより、次のエッジ検出がストロボ非発光画像の画像データに対して容易になる。

0046

非発光画像エッジ検出部116において、輝度補正後のストロボ非発光画像の画像データに対してエッジ検出処理がされ、発光画像エッジ検出部122において、ストロボ発光画像の画像データに対してエッジ検出処理がされる(ステップS121)。この結果、ストロボ非発光画像とストロボ発光画像の特徴量を取得できる。図7は、ストロボ非発光画像に基づく非発光エッジ画像の例を示す説明図である。非発光エッジ画像154には、人物の輪郭364や微細な物体の輪郭366,368が検出される。図8は、ストロボ発光画像に基づく発光エッジ画像の例を示す説明図である。発光エッジ画像155には、人物の輪郭464やマリンスノーの輪郭466,468が検出される。なお、ストロボ発光画像のエッジ情報は、撮像装置100内で現像処理時に得られるエッジ情報を利用してもよいし、別途エッジ検出部を設けて、そこで得られるエッジ情報を利用してもよい。

0047

次に、非発光エッジ画像と発光エッジ画像について、両画像の位置合わせ処理をする(ステップS122)。位置合わせ処理は、ストロボ非発光撮影時のシャッタースピードに応じて、補正補償範囲を変化させる。そして、位置合わせ処理された非発光エッジ画像と発光エッジ画像の差分を算出する(ステップS123)。図9は、非発光エッジ画像と発光エッジ画像の差分を表す差分画像の例を示す説明図である。位置合わせ処理されると、図9に示すように、エッジ画像156には、図7及び図8の人物の輪郭364,464は相殺されて表れず、微細な物体の輪郭366,368と、マリンスノーの輪郭466,468のみが表れる。

0048

そこで、ストロボ非発光撮影では、点状のエッジであって、ストロボ発光撮影では円や多角形のような閉曲線のエッジとなる箇所をマリンスノー発生部分として検出する(ステップS124)。

0049

非特許文献1〜3の技術を用いて修復処理する場合、被修復箇所を修復するには被修復箇所より広い範囲の領域でマリンスノー発生部分を囲む必要がある。そこで、予め設定されている修復領域指定情報に応じて、各マリンスノー発生箇所を含む修復領域を作成する(ステップS125)。図10は、ストロボ発光画像における修復領域の作成例を示す説明図である。修復領域の作成によって、マリンスノー266,268を囲むように修復領域176,178が指定される。

0050

次に、ストロボ発光画像の撮影データと共に、修復領域の領域情報や位置情報がストレージ142に保存される(ステップS126)。以上が、撮像装置100におけるマリンスノー特定動作である。ストレージ142に保存された修復領域の位置情報及び領域情報は、例えば、撮像装置100の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理に用いられる。

0051

次に、図4を参照して、上述したステップS124におけるマリンスノー発生部分の検出動作について説明する。図4は、マリンスノー発生部分の検出動作を示すフローチャートである。

0052

まず、差分画像において、閉曲線状のエッジを検出する(ステップS131)。次に、検出された閉曲線内に点状のエッジがあるかを検出する(ステップS132)。閉曲線内に点がある場合は、その点がストロボ非発光画像によるものかを判断する(ステップS133)。閉曲線内にある点がストロボ非発光画像の微細な物体と一致する場合は、閉曲線と点の組み合わせによる部分をマリンスノー発生部分と判断する(ステップS134)。

0053

一方、差分画像において、閉曲線内に点が含まれない場合や、閉曲線内の点がストロボ非発光画像に由来しないものである場合は、マリンスノー発生部分ではないと判断し、次の閉曲線状のエッジ検出に移行する。

0054

このように、マリンスノーは、微細な物体がストロボ光を反射することによって、画像内に白色の円や多角形が生じる現象であることに着眼し、ストロボ非発光画像のエッジ画像では点状のエッジであり、ストロボ発光画像のエッジ画像では閉曲線状のエッジである部分を検出する。差分画像を用いて、閉曲線状のエッジにストロボ非発光画像由来の点状のエッジがあるかどうかを判断することによって、確実にマリンスノー発生部分を特定できる。また、ユーザーが目視で修復領域を指定する必要がなくなる。マリンスノー発生部分を特定し、その領域情報や位置情報を保存することで、水中写真の画像に含まれるマリンスノーを効率的に除去し、マリンスノーがない画像に復元できる。

0055

従来、マリンスノー発生部分を特定するためには、特許文献5のように、ストロボ発光画像の白点部を面積の大小に基づいて検出する技術があった。しかし、この技術では、マリンスノーと関係のない被写体までもマリンスノー発生部分として検出してしまう。その結果、修復する必要のない物体も修復対象となり、修復箇所が増大する。一方、本実施形態によれば、マリンスノーと関係のない被写体をマリンスノーとして検出することはなく、確実にマリンスノー発生部分を特定できる。その結果、本実施形態のマリンスノー特定動作によれば、修復箇所が増大するおそれはない。

0056

また、特許文献5では、ストロボ非発光画像を使用してストロボ画像を修復しているが、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できない。一方、本実施形態では、ストロボ非発光画像等の他の画像の画像データを使用せずに、ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復する技術を前提としており、マリンスノー発生部分を囲む領域を修復領域として指定する。従って、本実施形態のマリンスノー特定動作によって得られる修復領域の領域情報や位置情報を使用して修復処理することによって、再現性の高いマリンスノーのない画像を得られる。

0057

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

0058

100撮像装置
102CCDイメージセンサ
104画像取得部
106ストロボ
108カメラ制御部
112バッファ
114ゲインコントロール部
116非発光画像エッジ検出部
122発光画像エッジ検出部
132画素マッチング部
134差分算出部
136修復領域作成部
138 修復領域指定情報保存部
142 ストレージ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 萬里科技股ふん有限公司の「 指輪撮影用ターンテーブル及びライトボックス」が 公開されました。( 2020/10/29)

    【課題】真空ポンプの吸着力により指輪を立たせて撮影を行うターンテーブル及びライトボックスを提供する。【解決手段】本発明の指輪20撮影用ターンテーブル100は、真空ポンプ110と、中空軸122を備えるモ... 詳細

  • 广州欧享科技有限公司の「 調節に便利な自撮り棒」が 公開されました。( 2020/10/29)

    【課題】本発明は調節に便利な自撮り棒を開示した。【解決手段】本体を含み、前記本体の外側をポリプロピレンスリーブで包んでおり、前記本体の頂端にはシャッターがスライド可能に設置され、前記シャッターの底端に... 詳細

  • 富士フイルム株式会社の「 撮像装置」が 公開されました。( 2020/10/29)

    【課題・解決手段】処理負荷をかけずに所望の合成画像を撮像段階で生成できる撮像装置を提供する。デジタルカメラ(1)に備えられたファインダ装置(10)は、ファインダ接眼部から観察される光学ファインダ像に情... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ