図面 (/)

技術 画像処理装置および画像処理装置の制御方法、撮像装置、プログラム

出願人 キヤノン株式会社
発明者 山口彰太
出願日 2016年11月22日 (2年7ヶ月経過) 出願番号 2016-226621
公開日 2017年7月20日 (1年11ヶ月経過) 公開番号 2017-126979
状態 特許登録済
技術分野 スタジオ装置 記録のためのテレビジョン信号処理
主要キーワード 事後補正 深度分布 出力距離 折れ線形状 算出特性 距離スコア 入力距離 グラフ線
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年7月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

記録容量を抑えつつ、利便性の高い画像記録を行うことができる画像処理装置を提供すること。

解決手段

画像処理装置は複数の画像データ(動画像データ等)を取得して記録媒体に記録する処理を行う。画像処理装置は画像に対応する被写体の距離分布情報を取得する。記録モード制御部104は画像データに対して第1のモードで記録するか、または第2のモードで記録するかを動的に決定して記録制御を行う。記録モード制御部104は、第1のモードで記録を行う場合に画像データおよび画像データに対応する深度分布情報を記録部109により記録媒体に記録し、第2のモードで記録する場合に画像データを記録部109により記録媒体に記録する制御を行う。

概要

背景

連続的に取得された動画像の中からユーザが好みの画像を選択し、事後的に各種の画像処理を行う事で、ユーザの嗜好に合った1枚の静止画を取得する技術がある。特許文献1では、連続して撮影された画像に対して被写体が所定状態であるか否かを判別し、所定状態である画像の記録画質を相対的に高くする技術が開示されている。また、特許文献2では、撮影モードが超解像モードに変更された場合に、フレーム圧縮を行わないことで高画質な画像を取得する技術が開示されている。また、特許文献3のように、撮像画像に加えて付加情報として距離分布情報を生成することで、撮像画像のボケを画像処理で調整する技術が開示されている。

概要

記録容量を抑えつつ、利便性の高い画像記録を行うことができる画像処理装置を提供すること。画像処理装置は複数の画像データ(動画像データ等)を取得して記録媒体に記録する処理を行う。画像処理装置は画像に対応する被写体の距離分布情報を取得する。記録モード制御部104は画像データに対して第1のモードで記録するか、または第2のモードで記録するかを動的に決定して記録制御を行う。記録モード制御部104は、第1のモードで記録を行う場合に画像データおよび画像データに対応する深度分布情報を記録部109により記録媒体に記録し、第2のモードで記録する場合に画像データを記録部109により記録媒体に記録する制御を行う。

目的

本発明は、記録容量を抑えつつ、利便性の高い画像記録を行うことができる、撮像画像と付加情報を取得可能な画像処理装置の提供を目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、画像データに対応する、被写体の深度分布情報を取得する取得手段と、前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第1のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第2のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備えることを特徴とする画像処理装置。

請求項2

前記制御手段は、前記複数の画像データの記録の中で前記第1のモードと前記第2のモードを切り替えて記録処理を行い、前記複数の画像データを動画像として前記記録手段によって前記記録媒体に記録させることを特徴とする請求項1に記載の画像処理装置。

請求項3

前記記録手段は、前記複数の画像データおよび前記第1のモードで記録処理が行われた画像データに対応する深度分布情報を、1つの動画像ファイルに記録することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記記録手段は、前記動画像ファイルにおいて、前記第1のモードで記録処理が行われた画像データに対応する深度分布情報を、該画像データのメタデータとして該画像データの前または後に記録することを特徴とする請求項3に記載の画像処理装置。

請求項5

前記制御手段は、複数の被写体のうち主被写体および背景深度情報を含む前記深度分布情報を取得し、前記深度分布情報に含まれる主被写体の深度情報と背景の深度情報との差分が閾値以内である場合、前記第1のモードで記録処理を行うことを特徴とする請求項1に記載の画像処理装置。

請求項6

撮像光学系の焦点距離と前記深度分布情報に含まれる主被写体の深度情報と許容デフォーカス量から前記閾値を算出する閾値算出手段をさらに備えることを特徴とする請求項5に記載の画像処理装置。

請求項7

前記制御手段は、前記差分と前記閾値との比較結果および撮像光学系のF値により、前記第1のモードで記録処理を行うか否かを判断することを特徴とする請求項5または請求項6に記載の画像処理装置。

請求項8

前記制御手段は、フレームダイナミックレンジを示す評価値を算出し、前記評価値と閾値を比較することにより、前記第1のモードで記録処理を行うか否かを判断することを特徴とする請求項1に記載の画像処理装置。

請求項9

前記制御手段は前記評価値として、複数の被写体のうちの主被写体に係る主被写体領域と背景領域との露出段差を算出し、前記露出段差が前記閾値以上である場合に前記第1のモードで記録処理を行い、前記露出段差が前記閾値より小さい場合に前記第2のモードで記録処理を行うことを特徴とする請求項8に記載の画像処理装置。

請求項10

前記第1のモードで記録された画像データおよび深度分布情報から、複数の被写体のうちの主被写体に係る主被写体領域の情報を抽出する抽出手段と、前記抽出手段により抽出された主被写体領域の情報を取得して前記画像データの画像処理を行う画像処理手段と、をさらに備えることを特徴とする請求項1に記載の画像処理装置。

請求項11

前記画像処理手段は、前記主被写体領域の情報から画像内の背景領域を決定し、背景画像ぼかし処理を行うことを特徴とする請求項10に記載の画像処理装置。

請求項12

前記第1のモードで記録された画像データおよび深度分布情報から、複数の被写体のうちの主被写体に係る主被写体領域の情報を抽出する抽出手段と、前記抽出手段により抽出された主被写体領域の情報を取得して前記画像データの画像処理を行う画像処理手段と、をさらに備え、前記画像処理手段は、前記主被写体領域の情報から画像内の主被写体領域および背景領域を決定し、前記主被写体領域と前記背景領域にそれぞれ異なる階調補正処理を行うことを特徴とする請求項1に記載の画像処理装置。

請求項13

動画像の記録容量を取得し、当該記録容量が閾値以上である場合に、前記第1のモードで記録するフレームを絞り込むことで記録量を調整する調整手段をさらに備え、前記調整手段は、絞り込んだ前記フレームの画像データおよび前記深度分布情報を記録する制御を行うことを特徴とする請求項1に記載の画像処理装置。

請求項14

前記制御手段は、複数の被写体のうちの主被写体の位置情報およびサイズ情報の少なくとも1つ以上から算出されるスコアを閾値と比較し、前記スコアが前記閾値より大きいフレームでは前記第1のモードで記録処理を行い、前記スコアが前記閾値以下のフレームでは前記第2のモードで記録処理を行うことを特徴とする請求項1に記載の画像処理装置。

請求項15

前記制御手段は、画像間の差分からシーンの変化を検出し、前記シーンの変化が検出された場合、前記第1のモードで記録処理を行うことを特徴とする請求項1に記載の画像処理装置。

請求項16

前記制御手段は、前記取得手段により取得される時系列の複数の画像において、所定フレーム毎に前記第1のモードで記録処理を行うことを特徴とする請求項1に記載の画像処理装置。

請求項17

前記制御手段は、前記第1のモードで記録処理された動画像が再生されるときに、当該第1のモードで記録処理された画像であることを報知することを特徴とする請求項1ないし16のいずれか1項に記載の画像処理装置。

請求項18

前記深度分布情報は、複数の視点画像視差量に基づく像ずれマップ、領域ごとのデフォーカス量に基づくデフォーカスマップ、画像データにおける各被写体の相対的な距離関係を示す距離マップ、TOF法により取得された撮像装置から各被写体までの距離関係を示す距離情報のうちいずれかであることを特徴とする請求項1ないし17のいずれか1項に記載の画像処理装置。

請求項19

前記取得手段は、前記取得された画像データに対応する対を成す視差画像の視差量に基づいて、当該画像データに対応する前記深度分布情報である像ずれマップを算出して取得することを特徴とする請求項1ないし18のいずれか1項に記載の画像処理装置。

請求項20

前記取得手段は、前記取得された画像データの領域ごとのデフォーカス量に基づいて、当該画像データに対応する前記深度分布情報であるデフォーカスマップを算出して取得することを特徴とする請求項1ないし18のいずれか1項に記載の画像処理装置。

請求項21

前記取得手段は、前記取得された画像データの領域ごとのデフォーカス量と撮像光学系または撮像素子に基づいて、当該画像データに対応する前記深度分布情報である各被写体の相対的な距離関係を算出して取得することを特徴とする請求項1ないし18のいずれか1項に記載の画像処理装置。

請求項22

前記取得手段は、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うTOF法を用いて、画像データに対応する前記深度分布情報である撮像装置から各被写体までの被写体距離を取得することを特徴とする請求項1ないし18のいずれか1項に記載の画像処理装置。

請求項23

前記制御手段は、前記第1のモードにて、画像加工前RAW画像のデータを記録する制御を行うことを特徴とする請求項1ないし22のいずれか1項に記載の画像処理装置。

請求項24

前記RAW画像は、デモザイキング処理ホワイトバランス調整色変換処理、またはガンマ補正を含む画像処理が行われていない画像であることを特徴とする請求項23に記載の画像処理装置。

請求項25

請求項1から24のいずれか1項に記載の画像処理装置と、被写体を撮像する撮像手段と、を備えることを特徴とする撮像装置。

請求項26

前記撮像手段により被写体を撮像し画像データを生成する際の露出条件を制御する露出条件制御手段を備え、前記露出条件制御手段は、前記第1のモードにてフレームの画像内の被写体の動き量を取得し、前記動き量とフレーム間隔から前記フレームの次のフレームの撮像に係るシャッタ速度およびフレームレートのうちの1つ以上を決定することを特徴とする請求項25に記載の撮像装置。

請求項27

複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置の制御方法であって、画像データに対応する、被写体の深度分布情報を取得する取得工程と、前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第1のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第2のモードとを切り替えて前記複数の画像データの記録処理を行う制御工程と、を有することを特徴とする制御方法。

請求項28

請求項27に記載の各ステップを画像処理装置のコンピュータに実行させるプログラム

技術分野

0001

本発明は、画像および距離情報記録制御技術に関する。

背景技術

0002

連続的に取得された動画像の中からユーザが好みの画像を選択し、事後的に各種の画像処理を行う事で、ユーザの嗜好に合った1枚の静止画を取得する技術がある。特許文献1では、連続して撮影された画像に対して被写体が所定状態であるか否かを判別し、所定状態である画像の記録画質を相対的に高くする技術が開示されている。また、特許文献2では、撮影モードが超解像モードに変更された場合に、フレーム圧縮を行わないことで高画質な画像を取得する技術が開示されている。また、特許文献3のように、撮像画像に加えて付加情報として距離分布情報を生成することで、撮像画像のボケを画像処理で調整する技術が開示されている。

先行技術

0003

特開2011−166391号公報
特開2007−189665号公報
特開2015−119416号公報

発明が解決しようとする課題

0004

しかしながら、各種画像処理には、被写体の輪郭抽出を高精度に行う必要のある処理が含まれる。電子的に背景ぼか背景ぼかし処理や、主被写体とそれ以外の領域に対して別々に階調補正処理を行うことで高品質ダイナミックレンジ圧縮画像を得る領域別階調処理等がある。これらの技術を実現するためには、フレーム画像のデータを記録しておくだけでなく、画角内距離分布(少なくとも距離の相対関係がわかる情報)を示す距離マップを併せて取得しておくことが必要である。また、領域別階調処理においては、画像加工前RAW画像も記録しておく必要がある。

0005

一方、動画像の全フレームに対し、前記画像処理を行うために距離マップやRAW画像のデータを記録しておく形態では、記録容量が膨大になり、ユーザの負担が増すという課題がある。従って、事後処理用の情報を取得する場合にフレーム画像のデータ量を必要最小限に抑えることも非常に重要である。
本発明は、記録容量を抑えつつ、利便性の高い画像記録を行うことができる、撮像画像と付加情報を取得可能な画像処理装置の提供を目的とする。

課題を解決するための手段

0006

本発明の一実施形態の装置は、複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、画像データに対応する、被写体の深度分布情報を取得する取得手段と、前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第1のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第2のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備えることを特徴とする画像処理装置。

発明の効果

0007

本発明によれば、記録容量を抑えつつ、利便性の高い画像記録を行うことができる。

図面の簡単な説明

0008

本発明の第1実施形態に係る撮像装置の構成を示すブロック図である。
第1実施形態における記録モード制御部のブロック図である。
第1実施形態における記録モード制御部の処理を示すフローチャートである。
主被写体領域検出結果の一例を示す説明図である。
主被写体領域と背景領域の距離ヒストグラムを例示する図である。
物距離像距離を示す光学モデルの一例を示す図である。
デフォーカス量と物面距離との関係をグラフで示す図である。
第1実施形態における画像処理部のブロック図である。
第1実施形態における背景画像ぼかし処理のフローチャートである。
背景画像のぼかし処理が可能であることを知らせる画面例を示す図である。
距離マップ整形部の処理を説明する図である。
ピント被写体抽出部の処理を説明する図である。
ぼかし処理を説明する図である。
本発明の第2実施形態における記録モード制御部のブロック図である。
第2実施形態における記録モード制御部の処理を示すフローチャートである。
閾値算出部の処理を説明する図である。
第2実施形態における画像処理部のブロック図である。
第2実施形態における領域別階調補正処理のフローチャートである。
領域別階調補正処理が可能であることを知らせる画面例を示す図である。
第2実施形態における階調特性算出方法を説明する図である。
合成処理を説明する図である。
本発明の第3実施形態に係る撮像装置の構成を示すブロック図である。
第3実施形態における記録情報調整部の処理を示すフローチャートである。
主被写体スコア算出処理を説明する図である。
主被写体スコア閾値算出処理を説明する図である。
本発明の第4実施形態に係る撮像装置の構成を示すブロック図である。
第4実施形態における露出条件制御部の処理を示すフローチャートである。
画像と距離マップの記録形式を説明する図である。

実施例

0009

以下、図面を参照して本発明の各実施形態について説明する。各実施形態では、高性能領域抽出処理を伴う画像処理を、ユーザの指示に応じて後から行う画像処理装置について説明する。

0010

[第1実施形態]
本発明の第1実施形態では、画像処理装置において、記録された複数フレーム連続画像に関し、後からユーザが選択した任意のフレームに対して、背景画像のぼかし処理を行う場合を想定して説明する。そこで、本実施形態では、複数の撮像画像に対して付加情報としての深度分布情報を記録するモードと記録しないモードとを切り替えて制御可能な画像処理装置を提供する。図1は、本実施形態の画像処理装置の一例としての撮像装置に適用可能な構成を例示したブロック図である。
撮像光学系101は、ズームレンズフォーカスレンズ等のレンズ群絞り調整装置シャッタ装置を備える。撮像光学系101は、撮像部102に到達する被写体像倍率ピント位置、光量を調整する。撮像部102はCCD(電荷結合素子イメージセンサやCMOS(相補型金属酸化膜半導体)イメージセンサ等を備え、撮像光学系101を通過した被写体からの光束を光電変換によって電気信号に変換する。A(アナログ)/D(デジタル)変換部103は、入力されたアナログの電気信号をデジタル画像信号に変換する。

0011

記録モード制御部104は複数の記録モードを有し、記録部109に記録する画像の情報量を制御する。画像処理部105は、A/D変換部103から出力される画像信号の他、記録部109から読み出した画像信号に対して各種の処理を行う。例えば撮像光学系に起因する歪みやノイズ補正処理デモザイキング処理ホワイトバランス調整色変換処理ガンマ補正などの処理が実行される。また画像処理部105は、所定の画像処理の他に、本実施形態で想定している背景ぼかし処理を行う。本実施形態では、上記画像処理部105による画像処理のうち、撮像光学系に起因する歪みやノイズの補正処理以外の画像加工の少なくとも一部を行っていない画像をRAW画像とする。本実施形態では画像処理部105が再生処理を行う例を説明するが、画像処理部105とは別に再生処理部を設けてもよい。

0012

システム制御部106は、撮像装置全体の動作制御を統括する制御中枢部であり、CPU(中央演算処理装置)やメモリ等を備える。システム制御部106は、ユーザによる操作部107からの操作指示にしたがって、撮像光学系101や撮像部102の駆動制御、画像処理部105における所定の画像処理等の制御を行う。

0013

表示部108は、液晶ディスプレイ有機EL(Electro Luminescence)ディスプレイ等で構成され、撮像部102によって生成された画像信号や、記録部109から読み出した画像信号にしたがって画像を表示する。記録部109は画像信号を記録媒体へ記録する処理を行う。静止画像、動画像それぞれの記録設定に従って、静止画向けの符号化形式(例えばJPEGなど)、動画向けの符号化形式(例えばH.264,H.265など)で記録処理が行われる。また、静止画像、動画像それぞれ画像加工前のRAW画像で記録する設定である場合には、非圧縮あるいは可逆圧縮など、画像加工後の画像データの記録時よりも画質劣化の少ない、低圧縮率で圧縮、記録が行われる。記録媒体は、例えば半導体メモリが搭載されたメモリカード光磁気ディスク等の回転記録体を収容したパッケージ等を用いた情報記録媒体である。記録媒体は撮像装置に着脱可能である。

0014

バス110は、記録モード制御部104、画像処理部105、システム制御部106、表示部108、および記録部109の間で信号を送受し合うために用いられる。
以下、記録モード制御部104と画像処理部105を中心にして、本実施形態における処理の流れについて説明する。記録モード制御部104は本実施形態にて特徴的な処理ブロックである。また画像処理部105は、撮影後の操作指示に応じて背景画像のぼかし処理を行う処理ブロックである。

0015

図2および図3を参照して、記録モード制御部104の動作について説明する。
図2は記録モード制御部104のブロック図である。主被写体領域検出部201は、入力画像のデータを取得して主被写体領域を検出する。主被写体領域とは、例えば複数の被写体から選択される被写体の画像領域である。距離マップ算出部202は、入力画像のデータを取得して距離マップ(深度分布情報)を算出する。主被写体距離算出部203は、主被写体領域検出部201により検出された主被写体領域の情報と、距離マップ算出部202により算出された距離マップを取得して主被写体距離を算出する。主被写体距離は撮像装置から主被写体までの距離である。背景距離算出部204は、背景領域の情報と距離マップから背景距離を算出する。背景領域は主被写体以外の領域であり、背景距離は撮像装置から背景までの距離である。閾値算出部205は主被写体距離を取得して、主被写体と背景との距離差に対する閾値を算出する。記録モード判断部206は、主被写体距離および背景距離と閾値を取得し、主被写体距離と背景距離の差分と閾値を比較して記録モードの判断処理を行う。記録モードは、画像データおよび距離情報を記録する第1のモードと、画像データを記録する第2のモードを少なくとも含む。本実施形態では、撮像により取得された画像データを各フレームとする動画像について、各フレームの記録時に第1および第2のモードを切り替える制御について説明するが、制御としてはこれに限らない。例えば静止画撮像において、各撮像で第1および第2のモードの切替を行う実施形態も本発明に含まれる。すなわち、取得される複数の画像データについて、第1のモードと第2のモードを切り替える制御であればよい。各部の処理の詳細については後述する。

0016

図3は記録モード制御部104の処理を説明するフローチャートである。本フローチャートでは動画の取得中である場合を想定しており、ユーザによる撮影開始の指示時点から撮影動作終了の指示時点までの間、所定のフレームレートで連続的にフレーム画像が入力されるものとする。

0017

まず、S301にて主被写体領域検出部201は主被写体領域を検出する。図4を参照して具体例を説明する。図4は検出された主被写体領域の一例を示しており、顔検出枠を利用して主被写体領域が検出される。その他には、主被写体が人物でない場合、一般的な物体検出によって被写体領域が検出されるものとし、特定の検出方法には限定されない。また、図4に示すように、画像全体の領域において主被写体領域でない領域を、背景領域と定義する。

0018

次にS302で距離マップ算出部202は距離マップを算出する。距離マップの算出方法としては、例えば特許文献3に記載されているように、被写体からの光を瞳分割して複数の視点画像視差画像)を生成し、視差量を算出して被写体の深度分布情報を取得する方法がある。被写体の深度分布情報とは、撮像手段としてのカメラから被写体までの距離(被写体距離)を絶対値として距離値で表わすデータや、画像データにおける相対的な距離関係(画像の深度)を示すデータ(視差量の分布、デフォーカス量の分布等)を含む。本実施形態では距離値で表すデータとして以後の説明を行うが、深度分布情報として視差量あるいはデフォーカス量の分布を用いる場合は、距離値がそれぞれ視差量、デフォーカス量に置き換えて各処理がなされるものとする。
深度分布情報に関して、撮像画像内各被写体の奥行き方向(深さ方向)の深度に対応する情報としてさまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離(被写体距離)や深さの相対関係を表す情報であればよい。例えば、撮像部102に対して合焦位置を変更する制御が行われ、撮影された複数の撮像画像データが取得される。それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から深度分布情報を取得することができる。この他にも、撮像部102の撮像素子が瞳分割型の画素構成を有する場合、一対の像信号位相差から各画素に対する深度分布情報を取得可能である。具体的には、撮像素子は、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを電気信号に変換し、対をなす画像データを複数の光電変換部から出力する。対をなす画像データ間相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布(撮像画像の2次元平面上の分布)を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。
また、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うTOF(Time Of Flight)法を用いて画像内における撮像装置から被写体までの被写体距離を直接的に取得してもよい。TOF法では、投光手段により被写体(対象物)にパルス光投射して、その反射光を撮像部102で受光し、このパルス光の飛行時間(遅れ時間)を測定することで被写体距離(対象物までの距離)を測り、深度分布情報を取得する。
本実施形態では距離値で表すデータとして以後の説明を行うが、深度分布情報として視差量あるいはデフォーカス量の分布を用いる場合は、距離値がそれぞれ視差量、デフォーカス量に置き換えて各処理がなされるものとする。

0019

S303にて主被写体距離算出部203は、主被写体領域情報および距離マップを用いて主被写体距離(主被写体に対応する視差量、デフォーカス量)を算出する。S304にて背景距離算出部204は、背景領域情報と距離マップを用いて背景距離を算出する。図5を参照してS303およびS304の処理について具体例を説明する。図5は、主被写体距離および背景距離の算出方法を示す図である。横軸は撮像装置の光軸方向の距離を表し、縦軸は距離ヒストグラムの頻度度数)を表す。

0020

まず主被写体距離算出部203は、図5(A)に示す主被写体領域内の距離ヒストグラムを取得し、頻度が最大値となるピーク値に対応する距離を主被写体距離とする。図5(A)では2つのピーク値が存在する例を示している。主被写体距離以外にもピーク値が存在している理由は、主被写体領域の境界矩形枠で規定しているため、背景画像の一部が主被写体領域に入り込んでいるからである。

0021

次に背景距離算出部204は、図5(B)に示す背景領域内の距離ヒストグラムを取得し、頻度が最大値となるピーク値に対応する距離を背景距離とする。図5(B)では3つのピーク値が存在する例を示している。

0022

S305にて閾値算出部205は、主被写体と背景との距離差に対する閾値を算出する。閾値については、主被写体距離の値から光学モデルを用いて決定される。図6を参照して説明する。図6の光学モデルは、撮像光学系101を1つのレンズとして近似した場合における、物距離と像距離を示す。焦点距離(fと記す)のレンズに対し、物体が存在する側(図6にてレンズの左側)を物面側とし、レンズを通して物体からの光が結像する側(図6にてレンズの右側)を像面側と定義する。さらに、主被写体にピントが合っていると仮定し、以下の距離を定義する。
・主被写体距離:Dist_Obj
・背景距離:Dist_Back
主被写体像距離:Img_Obj
主被写体像距離は、主被写体からの光が像面側に結像する距離である。さらに、主被写体からの光が結像する像面側の位置をピント面とし、ピント面から、背景の光が結像する位置までの変位量をデフォーカス量defとする。ここで、デフォーカス量defの符号については、レンズに対して物面側から遠ざかる方向を正とする。従って、物面上で主被写体よりも遠い位置にある背景の光が結像する位置でのデフォーカス量は負値となる。定性的には、デフォーカス量の絶対値が大きいほど、ピント面において背景像散乱度合いが大きくなり、背景のボケが大きくなる。

0023

図6において、レンズの公式より、下記(1)式および(2)式が成立する。



ここで、(1)式および(2)式から主被写体像距離Img_objを消去し、背景距離Dist_Backについての式に変形すると、下記(3)式が得られる。



(3)式より、背景距離Dist_Backは、主被写体距離Dist_Objおよび焦点距離fが一意に定まった場合、デフォーカス量defの関数であるとみなすことができる。したがって、本実施形態では、距離マップとして主として被写体距離を算出する例を示しているが、デフォーカス量、視差量によっても目的が達成されるのである。

0024

図7は、式(3)に基づいて作成された、デフォーカス量(横軸)と物面距離(縦軸)との関係を例示したグラフである。焦点距離を50mmとし、主被写体距離Dist_objが3m(3000mm)の場合と5m(5000mm)の場合の2例を示す。主被写体にピントが合っていると仮定しているので、物体距離がDist_objと等しいときにデフォーカス量は0となる。仮に、背景が十分にぼけているとみなせる許容デフォーカス量を、-0.2mmとしたとき、対応する物体距離は、Dist_obj=3mの場合、約3911mmである。従って、被写体と背景との距離差に対する閾値は、|3911-3000|=911mmとなり、およそ90cmと算出される。
以上が、S305にて閾値算出部205が行う処理の説明である。

0025

次にS306にて記録モード判断部206は、主被写体距離と背景距離との差分と、閾値算出部205から取得した閾値とを比較する。主被写体距離と背景距離との差分が閾値以内である場合、記録モード判断部206は、背景画像のボケが十分でなく、後から電子的なぼかし処理を要する可能性があると判断してS307へ進み、第1のモードである高品質モードでの記録処理を行う。高品質モードでは通常圧縮フレームのデータの他に距離マップを記録する処理が実行される。高品質モードで記録した情報を用いて背景をぼかす処理については後述する。一方、主被写体距離と背景距離との差分が閾値よりも大きい場合、記録モード判断部206は、背景画像のボケが十分であるとみなす。つまり、記録モード判断部206は電子的なぼかし処理が不要であると判断し、S308へ進み、第2のモードである通常モードでの記録処理を行う。通常モードでは通常圧縮フレームのデータのみを記録する処理が実行される。なお、フレーム圧縮処理および現像処理に伴う所定の信号処理については、画像処理部105内で行われるものとする。記録モード制御部104による処理は撮影時に行われる。また、高品質モードで記録される画像は通常圧縮フレームに限らず、画像加工前のRAW画像でもよい。ここでRAW画像には記録時に可逆の圧縮方式圧縮処理が施されていてもよい。

0026

次に、記録後にユーザの指示に応じて行われる背景画像のぼかし処理に関して説明する。本処理は主に画像処理部105が行うが、ユーザの指示を受け付ける操作部107およびシステム制御部106も関与する。本処理は記録後に行われるため、以下では「事後ぼかし処理」と呼ぶ。図8および図9を参照して、事後ぼかし処理について説明する。

0027

図8は、事後ぼかし処理に関する画像処理部105の処理ブロック図である。距離マップ整形部801は距離マップの整形処理を行う。距離マップの整形処理について後述する。ピント被写体抽出部802はピント被写体の画像を抽出する。ピント被写体はピントが合っている主被写体である。ぼかし処理部803は、背景画像のぼかし処理を行い、処理後のフレーム画像データを出力する。各部の処理の詳細については後述する。

0028

図9は、事後ぼかし処理のフローチャートである。
まず、S901にて撮像装置は、背景画像のぼかし処理の指示をユーザから受け付ける。事後ぼかし処理が可能なフレームは高品質モードで記録したフレームのみであるので、処理可能なフレームであるか否かをユーザに知らせることが必要となる。図10は、表示部108によって、事後ぼかし処理が可能であることをユーザに通知報知)する場合の表示例を示す。背景画像のぼかし処理を行うか否かの指示を仰ぐ表示および入力処理が行われる。ユーザが動画再生時に背景画像のぼかし処理を行う事を選択した場合、システム制御部106は操作部107から操作指示を受け付け、画像処理部105に対し、S902以降の処理を行うように命令する。

0029

S902にて距離マップ整形部801はフレーム画像と距離マップのデータを取得し、距離マップの整形処理を行う。図11は、距離マップの整形処理を説明する図である。図11(A)は入力フレーム画像を例示し、図11(B)は整形処理前の入力距離マップを例示し、図11(C)は整形処理後の出力距離マップを例示する。

0030

図11(B)に示す入力距離マップの被写体輪郭は、図11(A)に示す入力フレーム画像における被写体輪郭に対し、精度が低下している場合がある。その理由としては、距離算出演算時における被写体境界部分の遠近競合の影響や、フレーム画像に対して解像度を低くして距離マップの算出が行われること等が挙げられる。背景画像のぼかし処理には高精度な輪郭抽出が必要とされる。このため、距離マップの被写体輪郭をフレーム画像の被写体輪郭に合わせる処理が必要となり、この処理を整形処理と呼ぶ。もちろん、整形処理後の距離マップは背景画像のぼかし処理以外の距離マップを必要とする処理でも活用できる汎用性の高いものである。

0031

整形処理はバイラテラルフィルタ処理によって行われる。バイラテラルフィルタ処理では、整形用画像をフレーム画像(図11(A)参照)として、着目画素位置pのフィルタ結果(Jpと記す)が、下記式(4)で表される。
Jp=(1/Kp)ΣI1q・f(|p−q|)・g(|I2p−I2q|) ・・・(4)
式(4)中の各記号の意味は以下のとおりである。
q :周辺画素位置
Ω :着目画素位置pを中心とする積算対象領域
Σ :q∈Ω範囲の積算
I1q:周辺画素位置qにおける距離マップ信号値
f(|p−q|):着目画素位置pを中心とするガウシアン関数
I2p :着目画素位置pでの整形用画像の画素値
I2q :周辺画素位置qでの整形用画像の画素値
g(|I2p−I2q|):整形用画像の画素値I2pを中心とするガウシアン関数
Kp :正規化係数であり、f・g重みの積算値
(4)式において、着目画素位置pと周辺画素位置qとが近いほど、f値が大きくなる。着目画素位置pのI2pと周辺画素位置qのI2qとの差が小さいほど、つまり整形用画像において着目画素と周辺画素の画素値が近いほど、その周辺画素のg重み(平滑化の重み)は大きくなる。f・g重みで入力距離マップの信号値I1qを重みづけ加算した出力が、整形後の出力距離マップの信号値Jpとなる。

0032

図11(D)は、図11(A)のフレーム画像の位置xにおけるプロファイル1100pfを表す。プロファイル1100pfの取得位置図11(A)のライン1100に示す。プロファイル1100pfは位置xaで変化するステップ形状である。また図11(E)は、図11(B)および(C)の距離マップの位置xにおけるプロファイルを表す。プロファイル1101pfの取得位置を図11(B)のライン1101に示し、プロファイル1102pfの取得位置を図11(C)のライン1102に示す。ライン1101の位置とライン1102の位置は同じである。

0033

図11(B)に示す入力距離マップにおいて、被写体の距離を示す信号値は被写体像の輪郭より外側にはみ出している。図11(E)に破線で示すプロファイル1101pfの変化は、図11(D)のプロファイル1100pfが変化する位置xaからずれている。バイラテラルフィルタによる整形処理が実行され、図11(C)の整形後の距離マップに対応するプロファイル1102pfが得られる。プロファイル1102pfの変化する位置は、図11(D)のプロファイル1100pfが変化する位置xaに一致し、被写体像の輪郭に合った形状となる。すなわちプロファイル1102pfは、位置xaで大きく変化するステップ形状である。

0034

図9のS903にてピント被写体抽出部802はピント被写体の抽出を行う。図12を参照して具体的に説明する。図12(A)は入力フレーム画像を例示し、図12(B)は整形後の距離マップを例示する。図12(C)は抽出特性を例示し、図12(D)はピント被写体の抽出結果を例示する。

0035

図12(B)に示す整形後の距離マップに対し、図12(C)の抽出特性が適用される。図12(C)の横軸は被写体の距離を表し、縦軸は抽出結果の出力値を表す。抽出特性は、あらかじめ定められたピント面距離範囲内の距離のみ最大値を出力し、その他の距離ではゼロまたは最小値を出力する特性である。抽出特性の適用により出力される抽出結果を図12(D)に示す。ピントが合っている主被写体のみが抽出される。

0036

図9のS904にてぼかし処理部803は、背景画像のぼかし処理を行う。図13を参照して、ぼかし処理を説明する。図13(A)は、ぼかしフィルタカーネルの形状例を示し、図13(B)はピント面抽出画像を例示する。図13(C)は着目位置に対するぼかしフィルタを例示する。

0037

レンズによる丸ぼけを模擬するために、ぼかしフィルタのカーネルの形状は、図13(A)に示すような略円形であり、フィルタ重み重み付け係数値)を一定とする。本実施形態では、フィルタサイズを5×5とする。ぼかしフィルタは、入力フレーム画像の各画像に適用される。その際、ぼかし処理部803はピント面抽出画像を参照し、背景部分のみにフィルタ処理が行われるように制御する。図13(B)は、着目位置Pが被写体の右側の位置である場合を例示する。この場合、ぼかしフィルタは、図13(C)に○の記号で図示した位置に対してフィルタ演算を行う。×の記号で図示する位置は、ピント被写体の画像領域に属する位置である。これらの位置をフィルタ演算の対象に含めると、輪郭部分が混ざってしまい、画質が劣化する可能性がある。このため、背景部分にのみフィルタ処理を施すように制御が行われる。以上の処理によって、ピント被写体以外の背景領域のみに対し、ぼかし処理を施した画像が得られる。

0038

図9のS905にて、後調整が実行される。本処理は、ぼかしの強度がユーザの嗜好に合っているかどうかを確認した結果、ユーザの嗜好に合っていない場合にぼかしの強度を調整する処理である。これにより、ユーザが望む度合のぼかし画像を得ることができる。ぼかしの強度については、図13(A)のフィルタカーネルTAP数を変更することで調整できる。画像処理部105が実行する事後ぼかし処理は、撮影後にユーザの指示に応じて行われる。最後に、画像処理部105により生成された画像データが記録部109によって記録媒体に記録される。

0039

本実施形態では、主被写体と背景との距離差に応じて、領域抽出のための追加情報を同時に取得しておくか否かが動的に切り替えられる。このため、記録量が膨大になることによるユーザへの負担を軽減し、事後ぼかし処理用の情報を事前に取得しておくことができる。事後処理が必要とされる可能性の高いフレームに対してのみ、高精度な領域抽出用の情報を記録しておくことで、記録容量を抑えつつ、ユーザメリットの高い画像記録を行うことができる。ここで、本実施形態では、主被写体と背景の距離差が大きいときには通常モードとして撮像画像のみ記録したが、主被写体と背景の距離差への応じ方はこれに限られない。主被写体と背景の距離差が閾値以上ある大きい場合には、その距離差をより強調すべく背景ぼかし処理が行いたいので高品質モードで記録する。

0040

本実施形態では、主被写体と背景との距離差に基づき、距離差と閾値との比較結果から、追加情報の取得の有無を判断した。これに限定されることなく、例えばF値から深度情報を取得し、深度情報を判断の一要素としてもよい。また本実施形態では距離マップ算出法として、瞳分割画像の視差から距離を算出した。これに限定されることなく、例えばコントラストAFオートフォーカス評価値等を用いて距離を取得してもよい。これらの事項は後述の実施形態でも同じである。

0041

[第2実施形態]
次に本発明の第2実施形態を説明する。第1実施形態では、記録された画像に対し、事後ぼかし処理を行う場合を想定した。第2実施形態では、例えば主被写体が逆光で暗くなっているフレーム画像に対し、後から領域別の階調補正処理を行う場合を想定する。逆光で暗くなっている主被写体と、それ以外の背景領域を同一の階調変換特性で処理した場合、背景の暗部が極端に明るくなってしまい、不自然な画像となる。領域別に階調補正を行う意義は、画像内の主被写体領域と背景領域とを別々の階調特性で補正して不自然さを抑制することである。一方で、この処理には高度な領域抽出処理が要求される。

0042

本実施形態における処理は第1実施形態と比較して、記録モード制御部104の動作と、後処理に関する画像処理部105の動作が異なる。以下、第1実施形態とは処理が異なる箇所を中心に説明し、第1実施形態の場合と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略する。このような説明の省略は後述の実施形態でも同じである。

0043

図14および図15を参照して、記録モード制御部104の動作について説明する。図14は、第2実施形態における記録モード制御部104の処理ブロック図である。図2に示す構成との相違点は以下の通りである。

0044

主被写体Bv値算出部1402は、主被写体領域検出部201から主被写体領域の情報を取得し、主被写体のBv値を算出する。Bv値とは、着目領域目標輝度値に対する輝度差を表す露出値である。背景Bv値算出部1403は背景領域の情報を取得し、背景のBv値を算出する。露出段差算出部1404は、主被写体および背景の各Bv値を取得して、主被写体と背景との露出段差を算出する。閾値算出部1405は主被写体のBv値から露出段差に対する閾値を算出する。記録モード判断部1406は、露出段差算出部1404が算出した主被写体と背景との露出段差、および閾値算出部1405が算出した閾値を取得する。記録モード判断部1406は露出段差と閾値を比較し、記録モードを判断する。各部の処理の詳細については後述する。

0045

図15は、記録モード制御部104の処理を説明するフローチャートである。
まず、S1501にて主被写体領域検出部201は画像内の主被写体領域を検出する。次のS1502にて主被写体Bv値算出部1402は主被写体のBv値を算出する。主被写体のBv値をBv_objと表記すると、これは、下記(5)式により算出される。
Bv_obj = log2( Y_obj / Y_obj_target ) ・・・(5)
(5)式中のlog2は、2を底とする対数関数である。Y_objは主被写体の代表輝度値であり、主被写体領域の輝度値平均値として算出される。また、Y_obj_targetは主被写体領域の目標輝度値である。目標輝度値は適正露出とみなす輝度値のことであり、予め決まった値である。目標輝度値は、主被写体が人物であるか否かに応じて変更してもよい。(5)式より、主被写体の明るさが暗いほど、Bv値は小さくなる。例えば、主被写体の代表輝度値が目標輝度値の1/2である場合、Bv値は−1となる。主被写体の代表輝度値が目標輝度値の2倍である場合、Bv値は+1となる。

0046

S1503にて背景Bv値算出部1403は、背景のBv値を算出する。背景Bv値をBv_backと表記すると、これは下記(6)式で表される。
Bv_back = log2( Y_back / Y_back_target ) ・・・(6)
(6)式中のY_backは背景の代表輝度値であり、背景領域の輝度値の平均値等で算出される。また、Y_back_targetは背景領域の目標輝度値である。

0047

次のS1504で露出段差算出部1404は、主被写体領域と背景領域との露出段差(delta_Bvと記す)を、下記(7)式により算出する。
delta_Bv = | Bv_obj - Bv_back | ・・・(7)
(5)〜(7)式から分かるように、背景が明るく主被写体が暗い場合、若しくはその逆の場合になるほど、つまり主被写体に着目した場合のDレンジダイナミックレンジ)が広くなるほど、露出段差delta_Bvの値は大きくなる。またDレンジが狭くなるほど、delta_Bvの値は小さくなる。本実施形態では、フレームのDレンジを示す評価値として露出段差を用いる。

0048

次にS1505で閾値算出部1405は、主被写体Bv値から露出段差に対する閾値を算出する。図16に示す閾値算出例を挙げて説明する。図16に示すグラフにおいて、横軸は主被写体Bv値を表し、縦軸は露出段差閾値を表す。図16の例では、Bv_minに対応する閾値がTH_minであり、主被写体Bv値がゼロ以上である場合の閾値がTH_maxである。Bv_minからゼロまでの区間において1次式線形補間を行った例を示しているが、2次以上の高次補間処理を行ってもよい。

0049

図16に示すように、定性的には、主被写体Bv値が負値である場合、すなわち、主被写体が適正露出よりも暗い場合、後から階調補正処理を行う必要性が高くなる。従って、露出段差に対する閾値が小さく設定される。一方、主被写体Bv値がゼロ近辺の場合には主被写体が適正露出に近い。よって階調補正処理の必要性が低くなるので、閾値が大きく設定される。また、主被写体Bv値が正値である場合には、主被写体が明るすぎる。この場合は階調補正本処理の対象外とするために、閾値が高く設定される(TH_max)。

0050

S1506で記録モード判断部1406は、閾値算出部1405が算出した閾値と、露出段差とを比較し、記録モードを判断する。記録モード判断部1406は露出段差が閾値以上である場合、後から階調補正が必要になる可能性が高いと判断し、S1507に進んで高品質モードでの記録処理を行う。高品質モードでは、フレームの画像と距離マップとRAW画像のデータの記録処理が行われる。画像加工前のRAW画像を記録しておく理由は、ガンマ変換等の非線形処理の前に階調補正を行うためである。一方、露出段差が閾値未満である場合、記録モード判断部1406は、後から階調補正を行う必要がないと判断し、S1508に進んで通常モードでの記録処理を行う。記録モード制御部104の処理は撮影時に行われる。

0051

次に、記録後にユーザの指示によって行われる領域別階調補正処理に関して説明を行う。本処理は、主に画像処理部105が行うが、ユーザの指示を受け付ける操作部107およびシステム制御部106も関与する。以下、記録後に行われる領域別階調補正処理を、「事後補正処理」と呼ぶ。図17および図18を参照して、事後補正処理について説明する。

0052

図17は、事後補正処理に関する画像処理部105の処理ブロック図である。図8に示す構成との相違点は以下の通りである。
第1階調特性算出部1703は、フレーム画像データを取得して第1階調特性を算出する。第1階調特性は主被写体領域の階調特性である。また第2階調特性算出部1704はフレーム画像データを取得して第2階調特性を算出する。第2階調特性は背景領域の階調特性である。第1階調補正部1705は第1階調特性を用いて、入力フレーム画像に対する階調補正処理を行う。第2階調補正部1706は第2階調特性を用いて、入力フレーム画像に対する階調補正処理を行う。合成部1707はピント被写体抽出部802からピント被写体の情報を取得し、第1階調補正部1705が階調補正を行った第1の画像、および第2階調補正部1706が階調補正を行った第2の画像を取得して合成処理を行う。各部の処理の詳細については後述する。

0053

図18は、事後補正処理を説明するフローチャートである。
まず、S1801で撮像装置は事後補正処理の指示をユーザから受け付ける。図19は表示例を示し、事後補正処理が可能な高品質記録のフレームに対し、表示部108は事後補正処理が可能であることをユーザに提示する。また、ユーザに対して事後補正処理を行うか否かの指示を仰ぐ表示および入力処理が行われる。動画再生時にユーザが撮影後の階調補正処理を行う事を選択した場合、システム制御部106は操作部107から指示を受け付け、画像処理部105に対し、S1802以降の処理を行うように命令する。

0054

S1802において、距離マップ整形部801が距離マップの整形処理を行い、S1803において、ピント被写体抽出部802がピント被写体を抽出する。S1804にて第1階調特性算出部1703は第1階調特性を算出する。S1805にて第2階調特性算出部1704は第2階調特性を算出する。図20を参照して、第1階調特性および第2階調特性の算出処理を説明する。図20(A)は入力フレーム画像を例示し、画像内の主被写体領域と背景領域を示す。つまり主被写体領域検出部201により、入力フレーム画像にて画像内の主被写体領域と背景領域とが分離して検出される。主被写体領域と背景領域に対し、別々の階調補正処理が実施される。まず、主被写体領域に対しては、一律のゲイン処理が行われる。一律のゲイン処理とする理由は、本機能が適用される場合に、逆光や日陰等で主被写体が一様に暗くなっている可能性が高いからである。一方、背景領域に対しては、輝度別のゲイン処理が行われる。その理由は、一般に背景領域には様々な輝度を持つ被写体が存在し、Dレンジが広いからである。各領域の階調性を損なわないように階調圧縮が実行される。なお、ゲイン特性に関しては、以上の考え方に限定されず、任意の形状の特性をとりうるものとする。

0055

図20(B)は、主被写体領域における、入力輝度(横軸)に対するゲイン(縦軸)の特性を例示する。ゲインは一定値(Gain_objと記す)をとる。主被写体領域の平均輝度値Y_objが適正露出とされる目標輝度値Y_obj_targetとなるように補正するために、ゲインGain_objは、下記(8)式により算出される。
Gain_obj = Y_obj_target / Y_obj ・・・(8)

0056

図20(C)は、図20(B)に示すゲイン特性で処理を行った場合の入出力輝度の特性を実線のグラフで示す。つまり、この特性は第1階調特性である。点線は、入力輝度値出力輝度値との比が1:1の場合を示す。第1階調特性のグラフ線の傾斜は、点線で示すグラフ線の傾斜よりも大きい。

0057

図20(D)は、背景領域の輝度ヒストグラムにて代表輝度値を例示する。横軸は入力輝度を表し、縦軸は頻度(度数)を表す。図20(E)は、背景領域における、入力輝度に対するゲイン特性を例示する。ゲインは入力輝度に応じて変化する。第2階調特性算出部1704はゲイン特性の算出前に、入力輝度の暗部側と明部側の代表輝度値を算出する。算出処理では、図20(D)に示すように、背景領域の輝度ヒストグラムが取得される。代表輝度値Y_back_lowは、最小輝度から所定割合画素数カウントした場合に算出される、暗部の代表輝度値である。代表輝度値Y_back_highは、最大輝度から所定割合の画素数をカウントした場合に算出される、明部の代表輝度値である。背景領域の平均輝度値Y_backが適正露出とされる目標輝度値Y_back_targetとなるように、背景領域に対する最大ゲイン(Gain_backと記す)は、下記(9)式により算出される。
Gain_back = Y_back_target / Y_back ・・・(9)

0058

図20(E)に示すゲイン特性では、入力輝度値がY_back_low以下の区間にてGain_backが一定値であり、入力輝度値がY_back_high以上の区間にて最小ゲイン量が1となる。T_back_lowとY_back_highとの間の区間では、入力輝度値に応じて単調減少となる特性である。図20(F)は、図20(D)に示すゲイン特性で処理を行った場合の入出力輝度の特性を実線のグラフで示す。この特性は第2階調特性である。第2階調特性を表す実線のグラフは、Y_back_lowにて上側に突出した折れ線形状であって、Y_back_high以上の区間では点線のグラフ線(入力輝度値と出力輝度値との比が1:1の場合)に一致する形状である。

0059

図18のS1806では、第1階調補正部1705が第1階調特性を用いて、入力フレーム画像の階調補正処理を行う。S1807では、第2階調補正部1706が第2階調特性を用いて、入力フレーム画像の階調補正処理を行う。これらの処理は、入力フレーム画像の輝度値を、図20(C)、(F)に例示した階調変換特性でそれぞれ変換する処理である。次のS1808で合成部1707は、階調補正処理が行われた2画像の合成を行う。図21を参照して、合成部1707の処理を説明する。

0060

図21(A)は入力フレーム画像を例示し、図21(B)は、ピント被写体抽出部802が抽出したピント面画像を例示する。合成処理にて、図21(B)に白色領域で示した画像内のピント面領域に対しては、第1階調特性で階調補正を行った画像が出力される。また、図21(B)に黒色領域で示した画像内の非ピント面領域(背景領域)に対しては、第2階調特性で階調補正を行った画像が出力される。この処理を行うと、図21(A)の入力フレーム画像に対し、合成処理後の画像は図21(C)に示す画像となる。図21(C)は、ピント面である主被写体領域と、非ピント面領域である背景領域に対し、それぞれに異なる階調変換特性で階調補正処理が行われた画像を示す。最後に、領域別階調補正が行われた画像のデータは記録部109によって記録媒体に記録される。

0061

本実施形態では、主被写体領域と背景領域との露出段差(明るさの差)に応じて、領域抽出のための追加情報を同時に取得しておくか否かが動的に切り替えられる。このため、記録量が膨大になることによるユーザへの負担を軽減し、事後補正処理(階調補正)用の情報を取得しておくことができる。本実施形態では、主被写体領域と背景領域との露出段差が閾値より大きいときに高品質モードで画像および深度分布情報を記録した。しかしこれに限らず、例えば主被写体領域と背景領域との露出段差が閾値より小さいときの方が大きいときよりも被写体が適切な明るさでそれぞれ撮れている、として高品質モードで記録してもよい。このとき露出段差が閾値よりも大きいときには通常モードで深度分布情報を記録せずに画像を記録する。

0062

[第3実施形態]
次に本発明の第3実施形態を説明する。本実施形態では、第1実施形態で説明した事後ぼかし処理を前提とし、特に情報の記録時において、記録容量をさらに削減することを目的とする。第1実施形態では、主被写体と背景との距離差に基づいて、例えば、背景の画像が十分にぼけていないと判断されたフレームに対して、後処理用の情報が取得される。しかし、撮影シーンによっては、常に主被写体と背景との距離が近い場合があり得る。そのような場合、ほぼ全フレームにわたって後処理用の情報が取得されてしまう。その結果、撮影された画像の記録容量が膨大になる可能性がある。そこで、本実施形態では、記録容量を適正に保つために、高品質モードで記録するフレームをさらに絞り込む処理について説明する。すなわち、本実施形態において後述する記録容量の削減の必要があるかの判定と被写体のスコア判定による記録モードの判定は、その一部あるいは全部を第1および第2の実施形態にそれぞれ組み合わせて実行され得るものである。

0063

図22は、本実施形態の撮像装置に適用可能な構成を示すブロック図である。図1に示す構成との相違は、記録情報調整部2210が追加されていることである。図23は、記録情報調整部2210の処理を示すフローチャートである。図23を参照して、記録情報調整部2210について説明する。以下の処理は、記録モード制御部104により制御される記録モードにおいて、一連の動画データを記録部109が記録した後に実行される。

0064

S2301において記録情報調整部2210は、画像の記録容量(MEMと記す)を取得し、S2302で最大記録容量(MEM_MAXと記す)を算出する。最大記録容量MEM_MAXは、下記式(10)により算出される。
MEM_MAX = MEM_FRAME×NUM_FRAME× k1 × k2 ・・・(10)
(10)式において、MEM_FRAMEは、1フレームあたりの記録量であり、この場合にはフレーム間圧縮フレーム内圧縮は行わないものとする。NUM_FRAMEは、処理対象である動画の総フレーム数である。k1は所定の圧縮レートであり、1以下の値をとる。実際の圧縮率は撮影シーンに依存して変わるが、ここでは所定の圧縮率とする。k2は付加情報の記録による容量増加率の許容値であり、1以上の値をとる。

0065

次のS2303で記録情報調整部2210は、記録容量MEMと最大記録容量MEM_MAXを比較する。MEMがMEM_MAX以下である場合、記録情報の調整は行われずに処理を終了する。また、MEMがMEM_MAXよりも大きい場合、記録情報調整部2210は記録情報の調整を行う必要があると判断し、S2304に処理を進める。

0066

本実施形態では、記録容量を削減する必要があると判断された場合、主被写体のサイズ情報および位置情報に基づいて、高品質モードで記録するフレームをさらに絞り込む処理が行われる。その理由としては、ユーザが撮影後に背景をぼかして、静止画としても記録しておきたいと思うフレームは、主被写体が良好な状態で写っているフレームであることによる。絞り込み処理によって取得されるフレームは、具体的には、主被写体の画像領域が撮像された画像中心の近くに存在し、主被写体のサイズが大きく写っているフレームである。

0067

図23のS2304で記録情報調整部2210は、主被写体のサイズ情報および位置情報を取得し、次のS2305にて、主被写体のサイズ情報と位置情報に基づいて主被写体スコアを算出する。なお、S2304以降の処理は、記録した全フレームに対して行われるものとする。図24を参照して、S2304およびS2305の処理を説明する。図24(A)は入力フレーム画像を例示する。主被写体領域の重心位置の座標を(X,Y)と表記し、主被写体領域の高さをHeightと表記し、主被写体領域の幅をWidthと表記する。

0068

S2304では、図24(A)に示す入力フレーム画像から、主被写体領域を矩形状に抽出し、幅Widthと高さHeightを取得する処理が実行される。さらに、抽出された主被写体領域の重心位置座標(X,Y)が取得される。取得した情報から、面積に相当する正規化サイズ(Sizeと記す)が、下記(11)式により算出される。
Size = Width × Height / Size_all ・・・(11)

0069

(11)式のSize_allは、画像サイズに依存しないように正規化するための正規化係数である。例えば、Size_allを画像全体の面積とする。この場合、Sizeは主被写体領域の面積が画像全体の面積に占める割合を示す。また、画像中央位置の座標を(Xc,Yc)と表記した場合、(Xc,Yc)から主被写体領域の重心位置座標(X,Y)までの正規化距離(Distと記す)は、下記(12)式により算出される。

0070

(12)式のRは、画像中央位置から画像端部までの距離に相当する正規化係数である。つまり、正規化距離Distは画像中央位置から画像端部までの距離に対する、座標(Xc,Yc)と(X,Y)との距離差の割合を示す。

0071

次にS2305にて、主被写体スコアが算出される。図24(B)および(C)を参照して説明する。図24(B)は、距離スコア算出特性を例示する。横軸は正規化距離Distを表し、縦軸は距離スコア(Score_Distと記す)を表す。図24(C)は、サイズスコアの算出特性を例示する。横軸は正規化サイズSizeを表し、縦軸はサイズスコア(Score_Sizeと記す)を表す。

0072

本実施形態では、まず、算出された正規化距離情報および正規化サイズ情報から、図24(B)および(C)に示す特性により、距離スコアScore_DistおよびサイズスコアScore_Sizeがそれぞれ算出される。図24(B)に示す距離スコアScore_Distの特性に関しては、被写体の画像が画像中央部分に近いほどスコアを大きくするために、Distに対する単調減少の特性となる。図24(B)は、2点間一次式で線形補間した特性を例示する。正規化距離Distに対する第1の閾値D1よりDist値が小さい範囲では、距離スコアScore_Distが一定である。また正規化距離Distに対する第2の閾値D2よりDist値が大きい範囲では、距離スコアScore_Distが一定である。Dist値が第1の閾値以上であって、かつ第2の閾値以下である場合には、Dist値の増加につれて距離スコアScore_Distの値が線形的に減少する。

0073

図24(C)に示すサイズスコアScore_Sizeの特性に関しては、被写体の画像サイズが大きくなるほどスコアを大きくするために、Sizeに対する単調増加の特性となる。図24(C)は、2点間を一次式で線形補間した特性を例示する。正規化サイズSizeに対する第1の閾値S1よりSize値が小さい範囲では、サイズスコアScore_Sizeが一定である。また正規化サイズSizeに対する第2の閾値S2よりSize値が大きい範囲では、サイズスコアScore_Sizeが一定である。Size値が第1の閾値以上であって、かつ第2の閾値以下である場合には、Size値の増加につれてサイズスコアScore_Sizeの値が線形的に増加する。
図24(B)および(C)に示す特性は例示であり、3点以上を設定して補間処理を行ってもよい。

0074

次に、算出された距離スコアScore_DistとサイズスコアScore_Sizeから、主被写体スコア(Scoreと記す)が、下記(13)式により算出される。
Score = w_d × Score_Dist + w_s × Score_Size ・・・(13)
(13)式において、w_dとw_sはそれぞれ任意の重み付け係数である。

0075

図23のS2306にて記録情報調整部2210は、高品質の記録フレームの絞り込み処理を行う。S2305において全フレームに亘って主被写体スコアScoreが算出されている。記録情報調整部2210は、主被写体スコアScoreを所定の閾値(TH_Scoreと記す)を比較する。主被写体スコアScoreの値が閾値TH_Scoreを超えているフレームに対し、高品質モードでの記録処理が実行される。主被写体スコアScoreの値が閾値以下であるフレームについては通常モードとなり、付加情報は削除されるので記録されない。図25を参照して具体的に説明する。横軸は閾値TH_Scoreを表し、縦軸は記録容量MEMを表す。閾値TH_Scoreが大きくなるほど、高品質のフレーム画像の数(フレーム数)は減っていくため、記録容量MEMが小さくなる。記録容量MEMが、S2302で算出された上限値MEM_MAXを下回る最大の閾値をTH_Score_minとする。閾値TH_Score_minを用いて高品質フレームの絞り込みを行うことによって、動画の記録容量をMEM_MAX以下に抑えつつ、動画を取得できる。

0076

本実施形態では、記録情報調整部2210の処理によって動画の記録容量の増加を抑えることができる。なお、本実施形態では、高品質フレームの絞り込みを行う指標として主被写体領域の位置情報とサイズ情報を利用した。
また、別の実施形態として、記録モードを切り替える別の指標として、シーンチェンジ度合いを利用してもよい。シーンチェンジ度合いとは、異なるフレーム(例えば現フレームと前フレーム)の間で画像が変化した場合のシーンの変化の大きさを表す指標である。シーンチェンジ度合いは、時系列の複数の画像、例えば現フレームと前フレームとを位置合わせし、画像間の差分を計算することで算出される。時間的に連続する2フレームの間で画像の変化がほとんどない場合には、高品質モードの追加情報を間引く処理が実行される。時間的に連続する2フレームの間で画像の大きな変化がある場合には、両方のフレームに係る追加情報を記録する処理が実行される。
上述した被写体スコアによる判定やシーンチェンジ度合いによる判定は、本実施形態では記録容量の削減の必要があると判定された場合に行っていたが、これに限られるものではない。例えば、記録容量の検出や判定を行わずに、高品質フレームの判定方法として被写体スコアやシーンチェンジ度合いを用いて記録モードを切り替えてもよい。

0077

[第4実施形態]
次に本発明の第4実施形態を説明する。本実施形態では、第1実施形態で説明した事後ぼかし処理を前提とし、各フレームの動きブレを低減させることを目的とする。高品質モードで記録する場合のシャッタ速度およびフレームレートを、主被写体の動きに合わせて変更する制御について説明する。

0078

後処理により高品質な静止画を生成する対象となるフレームについては、被写体の動きブレが無く、被写体が止まっていることが好ましい状態である。動画を撮像する場合の露出制御では、フレーム画像を連続的に鑑賞する際に被写体像の動きが不連続な状態に見えないようにシャッタ速度が制御される。つまり、シャッタ速度が速くなりすぎないように制御が行われる。一方、そのようにして撮像された動画フレームの画像の1コマを静止画として鑑賞する場合、被写体の移動速度によっては動きブレが発生している可能性がある。そこで本実施形態は、高品質モードで取得するフレーム画像の露出制御、特にシャッタ速度に関して、被写体の動きブレを抑制することを目的とする。

0079

図26は、本実施形態の撮像装置に適用可能な構成を示すブロック図である。図1に示す構成との相違は、露出条件制御部2606が設けられていることである。図27は露出条件制御部2606の処理を示すフローチャートである。図27を参照して、露出条件制御部2606について説明する。以下の処理は、記録モード制御部104の処理後に行われ、毎フレームまたは所定のフレーム間隔で行われる。

0080

まず、S2701では、記録モードが高品質モードであるか否かについて判定処理が行われる。記録モードが通常モードである場合、S2705に進み、現フレームよりも1フレーム時間だけ後の次フレームについても通常モードでの動画の露出で撮影動作が行われる。一方、記録モードが高品質モードである場合には、S2702に処理を進め、主被写体の動きに合わせた露出制御が行われる。S2702にて露出条件制御部2606は、主被写体の動きベクトルを算出する。動きベクトルの算出方法は、公知のパターンマッチング処理により行われる。

0081

次のS2703にて露出条件制御部2606は、次フレームのシャッタ速度を算出する。次フレームのシャッタ速度をTvと表記し、S2702で算出された動きベクトルの大きさをv(単位:ピクセル)と表記する。フレーム間隔をT_frame(フレームレートが60fpsの場合、1/60秒)と表記する。シャッタ速度Tvは、vおよびT_frameから、下記(14)式により算出される。
Tv = T_frame / v ・・・(14)
(14)式は、撮影時間内に、主被写体画像の移動量が1ピクセルとなるシャッタ速度としてTvを算出していることを意味している。換言すれば、Tvは動きブレが1ピクセルに収まるシャッタ速度である。例えば、T_frameを1/60秒とし、vを6ピクセルとする。この場合、主被写体画像の1ピクセルの移動に対応するシャッタ速度は、Tv=1/360秒である。従って、本実施形態の目的に沿えば、(14)式で算出したTvよりも小さい値をシャッタ速度として用いてもよい。

0082

S2704にて露出条件制御部2606は、その他の露出条件とフレームレートを決定する。その他の露出条件とは、具体的には感度と絞り値である。絞り値を変えると被写界深度が変わり、前後フレームとの連続性が失われてしまう。このため、本実施形態では、シャッタ速度Tvが変化した分については感度を変化させることで露出を一定に保つ制御が行われる。また、シャッタ速度Tvが速くなるにつれて、フレームレートを変更する制御が行われる。例えば、Tvの値が1/120秒以下となった場合、フレームレートを60fpsから120fpsへ変更する処理が実行される。この処理により、動きが速い被写体の決定的瞬間を逃し難くなるという効果が得られる。最後に露出条件制御部2606は、S2704またはS2705で決定された露出条件を撮像光学系101および撮像部102の制御にフィードバックして反映させた上で、次フレームの撮像処理を行うように制御する。

0083

本実施形態では、露出条件制御部2606の処理によって、被写体(動体)の速度に合わせた最適なシャッタ速度で撮影が可能となる。また、動画として鑑賞する場合には、画像フレームに係るシャッタ速度Tvの値が大きいために動体の動きが不連続的に見えることを回避するため、被写体の動き量に応じて、電子的に被写体画像ブラーを付与する処理等が行われる。

0084

また、上述した第1、第2、第3および第4の実施形態では、基本的にフレーム毎に記録モードの判定を行い切り替えて制御していたが、これに限られるものではない。記録データ量を削減する目的で手動あるいは自動で所定フレーム毎に高品質モードで記録するなど、周期的に記録モードを切り替えて制御を行ってもよい。
手動で設定が行われる場合、例えば操作部107を介したユーザ操作により所定フレーム数として5フレームと設定されると、5フレームに1フレーム、高品質モードとして画像とともに深度分布情報が記録される。あるいはユーザが設定する撮像のフレームレートに応じて高品質モードで記録する周期が決められてもよい。
自動で設定が行われる場合、上述した各実施形態における主被写体と背景の距離差、露出段差、被写体スコア、シーンチェンジ度合いなどの判定の少なくとも1つを定期的に行う。そして、高品質モードで記録される周期を決定して、次の判定までその周期で高品質モードでの記録が行われるように制御すればよい。

0085

<各実施形態における記録形式のパターン
上述した各実施形態において、撮像された複数の画像(フレーム)と、その一部のフレームに対応する深度分布情報を記録する形式については、下記のいずれでもよいものとする。
図28に撮像された複数の画像(フレーム)と、その一部のフレームに対応する深度分布情報を記録する形式について各パターンをイメージした図を示す。すなわち、記録形式としては、図28(A)のように、順次撮像され取得された複数の画像1、2、3と、画像1、画像3にそれぞれ対応する距離マップ1、3が全て別ファイルとして記録されている。この場合、各画像ファイルヘッダに画像と距離マップを関連づける情報(あるいは対応する距離マップがないという情報)を記録し、距離マップ側にも対応する画像の情報を記録するとよい。

0086

また、図28(B)のように、各画像が連続した画像として関連づけられ(符号化されてもよい)1つの動画像ファイルとなっており、この動画像ファイルと同期した形で複数の距離マップがそれぞれ個別に距離マップファイルとして記録されていてもよい。距離マップには対応する動画のタイムコードが記録されており、静止画切り出しを含めた動画編集の際に、画像と対応づけられて必要に応じて読み出して利用することができる。

0087

また、図28(C)のように、各画像が連続した画像として関連づけられ(符号化されてもよい)1つの動画像ファイルとなっており、この動画像ファイルと同期した形で複数の距離マップが別の1つのファイルとして記録されていてもよい。この場合、動画の各フレームのタイムコードと同期したタイムコードが、対応する距離マップに記録されて1つのファイルとして記録されていればよい。図28(B)の形態に比べて、距離マップも1つのファイルにすることで動画像ファイルと対で扱いやすく、必要に応じて距離マップ間も公知の符号化技術を用いて符号化することにより、データ量の削減も期待できる。

0088

また、図28(D)のように、画像とその前あるいは後に対応する距離マップがつながって記録され、全体で1つの動画像ファイルを形成して記録される形式でもよい。この形式では、記録処理が行われた画像に対応する深度分布情報である距離Mapを、該画像データのメタデータとして該画像データの前または後に記録する。この形式では1つのファイルで扱うことができたり、画像に対応する距離マップも隣接しているためアクセスが容易であったりなどの利点が考えられる。

0089

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0090

以上の通り、本発明によれば、記録容量を抑えつつ、利便性の高い画像記録を行うことができる。

0091

101・・・撮像光学系
102・・・撮像部
104・・・記録モード制御部
105・・・画像処理部
106・・・システム制御部
109・・・記録部
2210・・・記録情報調整部
2606・・・露出条件制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ