図面 (/)

技術 画像処理装置および方法並びにプログラム

出願人 富士フイルム株式会社
発明者 田丸雅也
出願日 2011年7月15日 (8年8ヶ月経過) 出願番号 2011-156784
公開日 2011年10月20日 (8年5ヶ月経過) 公開番号 2011-211754
状態 未査定
技術分野 写真撮影方法及び装置 立体、パノラマ写真 立体TV及びTVの試験,検査,測定等
主要キーワード 引っ込み量 表示手段毎 中間距離 モード種別 奥行き範囲 露出度 視覚疲労 中央ボタン
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年10月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

複数の人物が写っている立体視用画像について適切に立体感を調整できるようにする。

解決手段

複数の顔を距離順に並べたとき、手前から奥に向けて1:2に内分する点Aが頂点となる立体感評価関数F1に基づいて各顔毎に立体感評価値rを決定し、立体感評価値rが最も高い顔を最も優先順位の高い顔として主要被写体を決定する。次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して3次元処理を行って立体視用画像を生成する。

概要

背景

同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平行法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成することによっても立体視表示を行うことができる。この場合赤青メガネ偏光メガネ等の画像分離メガネを用いて、立体視表示された立体視用画像を融合視することにより、立体視を行うことができる(アナグリフ方式偏光フィルタ方式)。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている(スキャンバックライト方式)。

このように立体視を行う場合、立体感を適切に調整する必要があるため、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法が提案されている(特許文献1参照)。また、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法も提案されている(特許文献2参照)。また、ゲームにおいて立体感を調整する手法も提案されている(特許文献3参照)。さらに、正確に主要被写体を特定すべく、撮影時の奥行き方向の情報を取得し、主要被写体を決定する手法も提案されている(特許文献4参照)。

概要

複数の人物が写っている立体視用画像について適切に立体感を調整できるようにする。複数の顔を距離順に並べたとき、手前から奥に向けて1:2に内分する点Aが頂点となる立体感評価関数F1に基づいて各顔毎に立体感評価値rを決定し、立体感評価値rが最も高い顔を最も優先順位の高い顔として主要被写体を決定する。次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して3次元処理を行って立体視用画像を生成する。

目的

本発明は上記事情に鑑みなされたものであり、複数の人物が写っている立体視用画像について適切に立体感を調整できるようにすることを目的とする

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、前記画像中の顔を検出する顔検出手段と、各顔毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、前記画像中において顔が3つ以上検出された場合に、該3つ以上の顔の奥行き方向の距離の関係に基づいて、主要被写体を決定する主要被写体決定手段と、前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記3次元処理を行って立体視用画像を生成する3次元処理手段とを備えたことを特徴とする画像処理装置。

請求項2

前記主要被写体決定手段が、前記画像中において顔が2つ検出された場合に、該2つの顔を前記距離順に並べたとき、手前側の顔を前記主要被写体として決定する機能をさらに備えるものであることを特徴とする請求項1記載の画像処理装置。

請求項3

複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、前記画像中の顔を検出する顔検出手段と、前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、前記画像中において顔が3つ以上検出された場合に、前記各画素の距離の関係に基づいて、主要被写体を決定する主要被写体決定手段と、前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記3次元処理を行って立体視用画像を生成する3次元処理手段とを備えたことを特徴とする画像処理装置。

請求項4

前記主要被写体決定手段が、前記画像中において顔が2つ検出された場合に、該2つの顔を前記距離順に並べたとき、手前側の顔を前記主要被写体として決定する機能をさらに備えるものであることを特徴とする請求項3記載の画像処理装置。

請求項5

複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、前記画像中の顔を検出し、各顔毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出し、前記画像中において顔が3つ以上検出された場合に、該3つ以上の顔の奥行き方向の距離の関係に基づいて、主要被写体を決定し、前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記3次元処理を行って立体視用画像を生成することを特徴とする画像処理方法。

請求項6

複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、前記画像中の顔を検出し、前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出し、前記画像中において顔が3つ以上検出された場合に、前記各画素の距離の関係に基づいて、主要被写体を決定し、前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記3次元処理を行って立体視用画像を生成することを特徴とする画像処理方法。

請求項7

請求項5に記載の画像処理方法をコンピュータに実行させるためのプログラム

請求項8

請求項6に記載の画像処理方法をコンピュータに実行させるためのプログラム。

技術分野

0001

本発明は、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置および方法並びに画像処理方法コンピュータに実行させるためのプログラムに関するものである。

背景技術

0002

同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平行法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成することによっても立体視表示を行うことができる。この場合赤青メガネ偏光メガネ等の画像分離メガネを用いて、立体視表示された立体視用画像を融合視することにより、立体視を行うことができる(アナグリフ方式偏光フィルタ方式)。

0003

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている(スキャンバックライト方式)。

0004

このように立体視を行う場合、立体感を適切に調整する必要があるため、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法が提案されている(特許文献1参照)。また、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法も提案されている(特許文献2参照)。また、ゲームにおいて立体感を調整する手法も提案されている(特許文献3参照)。さらに、正確に主要被写体を特定すべく、撮影時の奥行き方向の情報を取得し、主要被写体を決定する手法も提案されている(特許文献4参照)。

先行技術

0005

特開2004−129186号公報
特開平10−90814号公報
特開平9−192349号公報
特開2009−81869号公報

発明が解決しようとする課題

0006

上記のような立体感の調整は、具体的には視線の交差位置であるクロスポイントを主要被写体に合せることで行なわれる。

0007

画像中に人物が映っている場合、その人物の顔の位置をクロスポイントとして設定することにより、好ましい立体感の画像を得ることができるが、画像中に複数の人物が映っている場合には、最も手前の人物の顔にクロスポイントを合せると、他の人物の顔が全て奥に引っ込んで立体感の乏しい画像となってしまい、逆に最も奥の人物の顔にクロスポイントを合せると、他の人物の顔が全て手前に飛び出して視覚疲労不快感を生じる画像となってしまうという問題がある。また、特許文献4に記載の主要被写体抽出手段では、奥行き方向の情報に基づき主要被写体(クロスポイント)を決定しているものの、上記した立体感等の問題を鑑みた上でのクロスポイントの調整については何ら言及されていない。

0008

本発明は上記事情に鑑みなされたものであり、複数の人物が写っている立体視用画像について適切に立体感を調整できるようにすることを目的とする。

課題を解決するための手段

0009

本発明の第1の画像処理装置は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、各顔毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、画像中において顔が3つ以上検出され、かかる3つ以上の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、主要被写体の視差が最も小さくなるように、複数の画像に対して3次元処理を行って立体視用画像を生成する3次元処理手段とを備えたことを特徴とするものである。

0010

なお、ここでいう「中間距離にある顔」とは、画像を撮影する撮像手段からの距離順(すなわち、ユーザーが立体視用画像を観賞した際にユーザー側から順)に並んだ3つ以上の顔のうち、最も手前の顔と最も奥の顔との間に挟まれている顔をいうものである。また、ここでいう「手前」とは、画像を撮影する撮像手段(立体視用画像観賞時におけるユーザー側)に対し近位であることをいうものであり、「奥」とは、画像を撮影する撮像手段(立体視用画像観賞時におけるユーザー側)に対し遠位であることをいうものである。

0011

最適な立体感を得るために必要な要件としては、「(1):主要被写体より手前に飛び出した被写体が存在すること」、「(2):主要被写体より奥に引っ込んだ被写体が存在すること」等が挙げられる。これらを実現するためには、複数の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定すればよい。

0012

ここで、中間距離にある顔、すなわち優先順位を最も高くする顔は、複数の顔を距離順に並べたとき、手前から奥に向けて1:2に内分する点に最も近い顔とすることが好ましい。

0013

その根拠について図20を用いて説明する。図20は3Dコンソーシアムが定めた立体映像に関する安全ガイドライン「GL−12:快適に見られる奥行き範囲を超えてコンテンツを表示しないこと」に示される立体視可能範囲である。なお図20中の数値の単位はcmである。

0014

このガイドラインに従えば、立体視可能な範囲について、手前側の飛び出し量(図20の表示面ISより右側)は、奥側の引っ込み量図20の表示面ISより左側)に比べて抑える必要があるとしている。この範囲を超える視差を残すようなクロスポイント調整を行えば、視覚疲労や不快感が生じる可能性がある。

0015

従って、クロスポイントとなる主要被写体は、少なくとも最も手前の被写体と最も奥の被写体の中心よりも手前にすべきであり、この目安として手前から奥に向けて概ね1:2に内分する点に最も近い被写体とすることが望ましいと言える。もちろんこれは1:2に限定するものではなく、表示システム観察者視距離によっても変わり得るが、重要なことは中心よりも手前に位置する被写体を主要被写体として設定することである。

0016

従って、画像中において顔が2つのみ検出された場合には、2つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することが好ましい。

0017

また、主要被写体決定手段は、優先順位を調整する優先順位調整手段を備えたものとすることが好ましい。

0018

この場合、優先順位調整手段は、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも1つに基づいて優先順位を調整するものとすることが好ましい。

0019

本発明の第2の画像処理装置は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、画像中において顔が3つ以上検出された場合に、各画素を距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、主要被写体の視差が最も小さくなるように、複数の画像に対して3次元処理を行って立体視用画像を生成する3次元処理手段とを備えたことを特徴とするものである。

0020

ここで、中間距離にある画素、すなわち優先順位を最も高くする顔を決めるための基準となる画素は、各画素を距離順に並べたとき、手前から奥に向けて1:2に内分する点の画素とすることが好ましい。

0021

従って、画像中において顔が2つのみ検出された場合には、2つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することが好ましい。

0022

本発明の第2の画像処理装置は、上記第1の画像処理装置と比較して、奥行き方向の距離が人物同士の中で中間付近にある人物の顔ではなく、画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにした点が異なるだけであり、その利点の根拠は上記第1の画像処理装置での説明と同様である。

0023

また、主要被写体決定手段は、優先順位を調整する優先順位調整手段を備えたものとすることが好ましい。

0024

この場合、優先順位調整手段は、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも1つに基づいて優先順位を調整するものとすることが好ましい。

0025

本発明の第1の画像処理方法は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、各顔毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出し、画像中において顔が3つ以上検出された場合に、3つ以上の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定し、主要被写体の視差が最も小さくなるように、複数の画像に対して前記3次元処理を行って立体視用画像を生成することを特徴とする方法である。

0026

本発明の第2の画像処理方法は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出し、画像中において顔が3つ以上検出された場合に、各画素を距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定し、主要被写体の視差が最も小さくなるように、複数の画像に対して3次元処理を行って立体視用画像を生成することを特徴とする方法である。

0027

なお、本発明による第1および第2の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

発明の効果

0028

本発明によれば、複数の人物が写っている立体視用画像について、奥行き方向の距離が人物同士の中で中間付近にある人物の顔、もしくは画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたので、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。

0029

ここで、主要被写体を、奥行き方向の距離が人物同士の中で手前から奥に向けて1:2に内分する点に最も近い顔、もしくは画像全体の中で手前から奥に向けて1:2に内分する点の画素に最も近い顔とすることで、より適切な立体視用画像を得ることができる。

0030

なお、画像中において顔が2つのみ検出された場合には、2つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することにより、同様の効果を得ることができる。

0031

また、主要被写体を決定する上で、優先順位を調整可能にすることで、より柔軟な調整を行なうことができる。

0032

この場合、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも1つに基づいて優先順位を調整することで、これらの条件を考慮したより適切な立体視用画像を得ることができる。

図面の簡単な説明

0033

本発明の第1の実施の形態による画像処理装置の外観構成を示す斜視図
第1の実施の形態による画像処理装置の内部構成を示す概略ブロック図
第1の実施の形態において立体感の調整時に行われる処理を示すフローチャート
左右画像間の視差量を説明するための図(その1)
表示画像の一例を示す図(その1)
立体感評価値を示す図(その1)
表示手段毎に異なる立体感評価値とした場合の図
顔の信頼度に基づいて優先度を調整する場合の説明図
表示画像の一例を示す図(その2)
顔の大きさに基づいて優先度を調整する場合の説明図
表示画像の一例を示す図(その3)
顔の表情に基づいて優先度を調整する場合の説明図
表示画像の一例を示す図(その4)
服の彩度に基づいて優先度を調整する場合の説明図
肌の露出度に基づいて優先度を調整する場合の説明図
第2の実施の形態において立体感の調整時に行われる処理を示すフローチャート
左右画像間の視差量を説明するための図(その2)
立体感評価値を示す図(その2)
その他の態様において立体感の調整時に行われる処理を示すフローチャート
3Dコンソーシアムが定めた立体映像に関する安全ガイドラインに示される立体視可能範囲を示す図

実施例

0034

以下、図面を参照して本発明の実施の形態について説明する。図1は本発明の第1の実施の形態による画像処理装置の外観構成を示す斜視図、図2は第1の実施の形態による画像処理装置の内部構成を示す概略ブロック図である。

0035

図1に示すように第1の実施の形態による画像処理装置1は、正面に液晶ディスプレイ(LCD)2および操作ボタン3を備える。また、側面にはメモリカード等の記録メディア4を挿入するスロット5を備える。そして、第1の実施の形態による画像処理装置1は、記録メディア4に記録された、互いに異なる位置において撮影を行うことにより取得した複数の画像から生成された立体視用画像を、LCD2に立体視表示するものである。なお、本実施の形態においては、2つの画像GL、GRを用いて立体視表示を行うものとして説明する。また、画像GLは立体視表示する際の左目用の画像、画像GRは右目用の画像とする。

0036

操作ボタン3は、上ボタン3U、下ボタン3D、左ボタン3L、右ボタン3Rおよび中央ボタン3Cを備える。

0037

図2に示すように、画像処理装置1は、記録制御部21、圧縮伸長処理部22、フレームメモリ23、内部メモリ24、画像処理部25、表示制御部26およびCPU27を備える。

0038

記録制御部21は、スロット5に挿入された記録メディア4に対する情報の記録および読み出しの制御を行う。

0039

圧縮/伸長処理部22は、記録メディア4から読み出した立体視表示を行うための2つの画像GL,GRの圧縮および解凍の処理を行う。画像GL、GRの画像ファイルには、Exifフォーマット等に基づいて、後述する立体感調整値および撮影日時等の付帯情報が格納されたタグが付与される。

0040

フレームメモリ23は、画像GL、GRを表す画像データに対して、後述する3次元処理を含む各種処理を行う際に使用する作業用メモリである。

0041

内部メモリ24は、画像処理装置1において設定される各種定数、およびCPU27が実行するプログラム等を記憶する。

0042

画像処理部25は、画像GL、GRをLCD2に立体視表示させるために、画像GL、GRに3次元処理を行って立体視用画像を生成する。ここで、本実施の形態における立体視表示の方式としては、公知の任意の方式を用いることができる。例えば、画像GL、GRを並べて表示して裸眼平行法により立体視を行う方式、またはLCD2にレンチキュラーレンズを貼り付け、LCD2の表示面の所定位置に画像GL、GRを表示することにより、左右の目に画像GL、GRをそれぞれ入射させて立体視表示を実現するレンチキュラー方式を用いることができる。また、LCD2に左右の目への光路を変更するパララックスバリアを貼り付け、LCD2の表示面の所定位置に画像GL、GRを表示することにより、左右の目に画像GL、GRをそれぞれ入射させて立体視表示を実現するパララックスバリア方式を用いることができる。

0043

また、画像GL、GRの色を例えば赤と青のように異ならせて重ね合わせたり、画像GL、GRの偏光方向を異ならせて重ね合わせることにより、画像GL、GRを合成して立体視表示を実現する方式(アナグリフ方式、偏光フィルタ方式)を用いることができる。さらに、LCD2のバックライトの光路を光学的に左右の目に対応するように交互に分離し、LCD2の表示面に画像GL、GRをバックライトの左右への分離にあわせて交互に表示することにより、立体視表示を実現するスキャンバックライト方式を用いることができる。

0044

なお、LCD2は画像処理部25が行う3次元処理の方式に応じた加工がなされている。例えば、立体視表示の方式がレンチキュラー方式の場合には、LCD2の表示面にレンチキュラーレンズが取り付けられており、パララックスバリア方式の場合には、LCD2の表面にパララックスバリアが取り付けられている。また、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がLCD2の表示面に取り付けられている。

0045

また、画像処理部25は、画像中の顔を検出する顔検出手段、各顔毎に複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段、複数の顔を距離順に並べたとき中間距離にある顔を最も優先順位の高い顔として主要被写体を決定する主要被写体決定手段、および主要被写体の視差が最も小さくなるように複数の画像に対して3次元処理を行って立体視用画像を生成する3次元処理手段としての機能を有する他、必要に応じて画像GL、GRに対してホワイトバランスを調整する処理、階調補正シャープネス補正、および色補正等の画像処理を施すことも可能である。

0046

表示制御部26は、3次元処理により取得される立体視用画像を立体視表示したり、画像GL、GRを2次元表示したりする。

0047

CPU27は、操作ボタン3からの指示に応じて画像処理装置1の各部を制御する。

0048

データバス28は、画像処理装置1を構成する各部およびCPU27に接続されており、画像処理装置1における各種データおよび各種情報のやり取りを行う。

0049

次に、第1の実施の形態において行われる処理について説明する。図3は第1の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図4は左右画像間の視差量を説明するための図(その1)、図5は表示画像の一例を示す図(その1)、図6は立体感評価値を示す図(その1)である。

0050

第1の実施の形態による画像処理装置1は、複数の人物が写っている立体視用画像について、奥行き方向の距離が人物同士の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。

0051

立体視用画像を生成するための2つの画像GL、GRは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像GL、GRを重ねた場合、画像GL、GRに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図4に示すように、画像GL、GRに基づいて視差マップPMの作成を行なう(ステップS1)。この視差マップPMは、画像GL、GRのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像GLを基準画像とし、視差量が大きい程高輝度で表示しているが、この態様に限定されるものではない。

0052

次いで、図5に示すように、基準画像とした左画像GL中において顔の検出を行ない(ステップS2)、各顔の代表視差の算出を行なう(ステップS3)。なお、画像中の顔の検出方法についてはどのような方法を用いてもよい。また、各顔の代表視差については、顔の中心位置や瞳の位置等どの位置を基準としてもよい。また、各顔の代表視差については、視差マップPMを参照して顔領域の視差の平均値を代表視差としてもよいし、顔の中心位置や瞳の位置等の任意の位置の視差量を代表視差としてもよい。

0053

次いで、図6に示すように、複数の顔を距離順に並べたとき、手前から奥に向けて1:2に内分する点Aが頂点となる立体感評価関数F1に基づいて各顔毎に立体感評価値rを決定し(ステップS4)、立体感評価値rが最も高い顔を最も優先順位の高い顔として主要被写体を決定する(ステップS5)。

0054

ここで、立体感評価値rの調整を行なわない場合には、立体感評価値rが最も高い顔2が主要被写体として決定されるのだが、各種の条件に基づいて各顔毎の立体感評価値rの調整を行なうようにしてもよい。以下、その条件について説明する。

0055

例えば、表示手段の特性に基づいて立体感評価値rの調整を行なうようにしてもよい。図7は表示手段毎に異なる立体感評価値とした場合の図である。

0056

LCD2(表示手段)の構成によって立体視の見え方は異なる。例えばレンチキュラーレンズが取り付けられたものの場合、レンチキュラーレンズのクロストーク特性によって立体視の見え方が異なる。クロストークが少ない場合には左右画像の視差が多少残っていてもクロスポイントがあっているように見えるため、この場合は、図7に示すように、頂点の位置は変えないものの他の部分の立体感評価値rが高い別の立体感評価関数F1aやF1bに変更する。その結果、後述の他の調整を組み合わせた場合に、各顔毎の優先順位が入れ替わり易くなる。

0057

なお、レンチキュラーレンズが取り付けられたもの以外の場合であっても、その表示手段の特性を考慮して、立体感評価関数を変更すればよい。

0058

また、各顔の信頼度に基づいて立体感評価値rの調整を行なうようにしてもよい。図8は顔の信頼度に基づいて優先度を調整する場合の説明図である。

0059

顔の信頼度とは、画像から検出された顔が本当に顔であるかの信憑性を測る度合であって、図8に示すように、顔の信頼度が高い程、顔優先度k1の値を大きくする。なお、顔の信憑性を測る方法については、既に種々の方法が提案されており、どのような方法を用いてもよい。これにより顔の誤判別の影響を小さくすることができる。この顔優先度k1は、各顔毎に立体感評価値rに乗算する係数であって、0より大きい値を有する。最終的な立体感評価値rfは式(1)に基づいて算出され、立体感評価値rfが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
rf=r×k1 (1)
また、各顔の大きさに基づいて立体感評価値rの調整を行なうようにしてもよい。図9は表示画像の一例を示す図(その2)、図10は顔の大きさに基づいて優先度を調整する場合の説明図である。

0060

図9に示すように、画像中の顔の大きさが小さい程、図10に示すように、顔優先度k2の値を大きくする。これは、一般には子供を主役として画像の撮影を行なうことが多く、顔の大きさが小さい程子供の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度k2は、各顔毎に立体感評価値rに乗算する係数であって、0より大きい値を有する。最終的な立体感評価値rfは式(2)に基づいて算出され、立体感評価値rfが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
rf=r×k2 (2)
なお、上記とは逆に画像中の顔の大きさが大きい程、顔優先度k2の値を大きくするようにしてもかまわない。

0061

また、各顔の表情に基づいて立体感評価値rの調整を行なうようにしてもよい。図11は表示画像の一例を示す図(その3)、図12は顔の表情に基づいて優先度を調整する場合の説明図である。

0062

図11に示すように、画像中の顔の表情が笑顔である程、図12に示すように、顔優先度k3の値を大きくする。なお、顔の表情を判断する方法については、既に種々の方法が提案されており、どのような方法を用いてもよい。これは、一般には笑顔で写っている人を主要被写体とした方が好ましいため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度k3は、各顔毎に立体感評価値rに乗算する係数であって、0より大きい値を有する。最終的な立体感評価値rfは式(3)に基づいて算出され、立体感評価値rfが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
rf=r×k3 (3)
なお、笑顔以外にも怒った表情等他の表情に基づいて顔優先度k3の値を調整するようにしてもかまわない。

0063

また、各顔の下部領域の色に基づいて立体感評価値rの調整を行なうようにしてもよい。図13は表示画像の一例を示す図(その4)、図14は服の彩度に基づいて優先度を調整する場合の説明図である。

0064

図13に示すように、画像中の顔の下部領域、すなわち人物の服装部分である可能性が高い領域の色の彩度が高い程、図14に示すように、顔優先度k4の値を大きくする。これは、例えば結婚式等のパーティーでは鮮やか色の服装をした人物が主役であることが多く、服装の色の彩度が高い程主役の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度k4は、各顔毎に立体感評価値rに乗算する係数であって、0より大きい値を有する。最終的な立体感評価値rfは式(4)に基づいて算出され、立体感評価値rfが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
rf=r×k4 (4)
なお、上記とは逆に画像中の顔の下部領域の色の彩度が低い程、顔優先度k4の値を大きくするようにしてもかまわない。

0065

また、各顔の下部領域の所定範囲内における肌色の割合に基づいて立体感評価値rの調整を行なうようにしてもよい。図13は表示画像の一例を示す図(その4)、図15は肌の露出度に基づいて優先度を調整する場合の説明図である。

0066

図13に示すように、画像中の顔の下部領域、すなわち人物の服装部分である可能性が高い領域の所定範囲内における肌色の割合が多い程、図15に示すように、顔優先度k5の値を大きくする。これは、例えば結婚式等のパーティーでは肌の露出が多い服装をした人物が主役であることが多く、顔の下部領域の所定範囲内における肌色の割合が多い程主役の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度k5は、各顔毎に立体感評価値rに乗算する係数であって、0より大きい値を有する。最終的な立体感評価値rfは式(5)に基づいて算出され、立体感評価値rfが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
rf=r×k5 (5)
なお、上記とは逆に顔の下部領域の所定範囲内における肌色の割合が少ない程、顔優先度k5の値を大きくするようにしてもかまわない。

0067

以上の調整を、1つもしくは複数組み合わせて主要被写体を決定することによって、ユーザのニーズに沿ったより適切な立体視用画像を得ることができる。仮に以上の調整を全て組み合わせた場合には、最終的な立体感評価値rfは式(6)に基づいて算出される。

0068

rf=r×k1×k2×k3×k4×k5 (6)
次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して3次元処理を行って立体視用画像を生成する(ステップS6)。

0069

本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、3次元処理の具体的な内容としては、LCD2上で画像GL、GRの主要被写体の表示位置が同じ位置となるように画像GL、GRの水平方向の座標を変更すればよい。なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。

0070

最後に、上記の様にして生成した立体視用画像をLCD2上に表示して処理を終了する。

0071

上記の構成とすることにより、人物のみを主体として撮影された画像の場合に、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。

0072

次いで、本発明の第2の実施の形態について説明する。なお、第2の実施の形態による画像処理装置は、第1の実施の形態による画像処理装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。図16は第2の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図17は左右画像間の視差量を説明するための図(その2)、図18は立体感評価値を示す図(その2)である。

0073

本実施の形態による画像処理装置は、複数の人物が写っている立体視用画像について、画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。

0074

立体視用画像を生成するための2つの画像GL、GRは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像GL、GRを重ねた場合、画像GL、GRに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図17に示すように、画像GL、GRに基づいて視差マップPMの作成を行なう(ステップS11)。この視差マップPMは、画像GL、GRのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像GLを基準画像とし、視差量が大きい程高輝度で表示しているが、この態様に限定されるものではない。

0075

次いで、基準画像とした左画像GL中において顔の検出を行ない(ステップS12)、各顔の代表視差の算出を行なう(ステップS13)。なお、画像中の顔の検出方法についてはどのような方法を用いてもよい。また、各顔の代表視差については、顔の中心位置や瞳の位置等どの位置を基準としてもよい。

0076

次いで、図18に示すように、各画素を距離順に並べたとき、手前から奥に向けて1:2に内分する点Bが頂点となる立体感評価関数F2に基づいて各顔毎に立体感評価値rを決定し(ステップS14)、立体感評価値rが最も高い顔を最も優先順位の高い顔として主要被写体を決定する(ステップS15)。

0077

ここで、立体感評価値rの調整を行なわない場合には、立体感評価値rが最も高い顔2が主要被写体として決定されるのだが、上記第1の実施の形態と同様に、各種の条件に基づいて各顔毎の立体感評価値rの調整を行なうようにしてもよい。

0078

次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して3次元処理を行って立体視用画像を生成する(ステップS16)。

0079

本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、3次元処理の具体的な内容としては、LCD2上で画像GL、GRの主要被写体の表示位置が同じ位置となるように画像GL、GRの水平方向の座標を変更すればよい。なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。

0080

最後に、上記の様にして生成した立体視用画像をLCD2上に表示して処理を終了する。

0081

上記の構成とすることにより、風景まで含めた全体が撮影された画像の場合に、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。

0082

なお、第1の実施の形態における処理と第2の実施の形態における処理とを切り替え可能に構成することもできる。そのような態様とした場合において行われる処理について説明する。図19はこの場合の立体感の調整時に行われる処理を示すフローチャートである。

0083

まず、視差マップの作成を行ない(ステップS21)、次いで基準画像中において顔の検出を行ない(ステップS22)、各顔の代表視差の算出を行なう(ステップS23)。

0084

次いで、撮影画像についてのモード種別の取得を行なう(ステップS24)。このモード種別とは、立体視用画像を生成するための画像が、人物のみを主体として撮影されたものか風景まで含めた全体が撮影されたものかを判断するための情報であって、撮影を行なったカメラにおいて、撮影を行なった際の撮影モード(例えば人物/風景)の情報を画像のデータに添付するようにしてもよいし、本発明の画像処理装置において、ユーザに手動入力により選択させるようにしてもよい。

0085

そして、モード種別の判定を行い(ステップS25)、風景を含むモードである場合には、図18に示すように、各画素を距離順に並べたとき、手前から奥に向けて1:2に内分する点Bが頂点となる立体感評価関数F2に基づいて各顔毎に立体感評価値rを決定し(ステップS26)、立体感評価値rが最も高い顔を最も優先順位の高い顔として主要被写体を決定する(ステップS27)。また、人物のみを主体としたモードである場合には、図6に示すように、複数の顔を距離順に並べたとき、手前から奥に向けて1:2に内分する点Aが頂点となる立体感評価関数F1に基づいて各顔毎に立体感評価値rを決定し(ステップS29)、立体感評価値rが最も高い顔を最も優先順位の高い顔として主要被写体を決定する(ステップS27)。

0086

ここで、立体感評価値rの調整を行なわない場合には、立体感評価値rが最も高い顔2が主要被写体として決定されるのだが、上記第1および第2の実施の形態と同様に、各種の条件に基づいて各顔毎の立体感評価値rの調整を行なうようにしてもよい。

0087

次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して3次元処理を行って立体視用画像を生成し(ステップS28)、最後に上記の様にして生成した立体視用画像をLCD2上に表示して処理を終了する。

0088

上記の構成とすることにより、画像の内容に応じて最適な処理を選択できるため、より適切な立体視用画像を得ることができる。

0089

また、上記第1および第2の実施の形態による画像処理装置1を、複数の撮影部を備えた複眼撮影装置に適用してもよい。この場合、撮影により取得した複数の画像を直ちに表示して、立体感の調整を行って記録メディア4に記録することが可能となる。

0090

以上、本発明の実施の形態に係る装置10について説明したが、コンピュータを、画像処理部25、記録制御部21および表示制御部26に対応する手段として機能させ、図3図16および図19に示すような処理を行わせるプログラムも、本発明の実施の形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施の形態の1つである。

0091

1画像処理装置
2 LCD
3 操作ボタン
4記録メディア
5スロット
21記録制御部
25画像処理部
26表示制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ