図面 (/)

技術 立体視画像処理装置、立体視画像処理方法及びプログラム

出願人 凸版印刷株式会社
発明者 平方雅隆
出願日 2013年10月10日 (6年5ヶ月経過) 出願番号 2013-212685
公開日 2015年4月20日 (4年11ヶ月経過) 公開番号 2015-076776
状態 未査定
技術分野 イメージ処理・作成 立体TV及びTVの試験,検査,測定等
主要キーワード 調整閾値 深度分布 引っ込み量 立体形 明度係数 境界ライン 監視者側 オブジェクト側
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年4月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

妨害オブジェクト注視オブジェクトの前面に存在した場合においても、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの注目度を低下させて注視対象オブジェクトの見辛さを軽減することができる立体視画像処理装置立体視画像処理方法及びプログラムを提供する。

解決手段

本発明の立体視画像処理装置は、入力される立体視画像における視差量を算出する視差量算出部と、視差量に基づいて、立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出部とを備える。

概要

背景

人間の脳は、一定の間隔を持った2つの目により得られる画像の違いから、3次元空間を把握する画像処理の機能を有している。左右の眼による異なる視点から得られる画像中の対応点のずれを視差(あるいは両眼視差)と呼び、視差を手掛かりの一つとして対象物位置関係立体的に把握している。このことを利用して、右眼用画像右眼に対して表示し、左眼用画像左眼に対して表示する手段を設けて、右眼用画像、左眼用画像として視差を設けた画像を提示することにより、人間の脳に対して立体視画像知覚させることが可能である。
すなわち、立体視画像とは、右眼と左眼それぞれに視差を形成する異なる画像を視覚させることによって、観察者立体感を知覚させる画像である。

立体視画像では、左右の眼における視差の量(以下、視差量と示す)が、人間が立体視を快適に観察できる視差量(以下、視差量閾値と示す)に対して大きくなるにつれ、徐々に立体視画像が観察者の眼にとってより手前側に知覚される。視差量が視差量閾値を超えて大きくなると、立体視画像が観察者の眼の近傍で知覚され、観察者にとって非常に見辛い画像となり、観察者が眼に疲労を覚える原因となりうる。

そのため、作成した立体視画像が視差量の大きい部分を有する場合、観察者の疲労を軽減することを目的として、右眼用画像及び左眼用画像の各々を修正することが行われている。従来においては、右眼用画像及び左眼用画像の修正として、以下に示す2つの処理が作成者手作業によって一般的に行われている。
(1)当該部分の視差量が小さくなるように画像を修正する。
(2)当該部分に視線が向かないように当該部分の鮮鋭度明度、色、彩度などの画像特徴を調整する。

また、立体視画像においては、立体視画像内で注視するべきオブジェクト(以下、注視オブジェクトと呼ぶ)の前面に、注視オブジェクトより大きな視差量を有し、観察者の注視オブジェクトに対する注意力を分散させるオブジェクト(以下、妨害オブジェクトと呼ぶ)が存在する場合、注視オブジェクトが注視し辛くなる特徴を持つ。すなわち、妨害オブジェクトが大きな視差量を有する場合、注視オブジェクトより前面に飛び出して観察されるため、注視オブジェクトより妨害オブジェクトに注意が向くことになる。

このような場合にも、上述した右眼用画像及び左眼用画像の修正と同様に、以下に示す2つの処理が作成者の手作業によって一般的に行われている。
(1)妨害オブジェクトの視差量が小さくなるように画像を修正する。
(2)妨害オブジェクトに視線が向かないように当該妨害オブジェクトの鮮鋭度、明度、色、彩度などの画像特徴を調整する。

立体視画像の立体感に起因する観察者の疲労を軽減するため、オブジェクトの視差量を調整する技術がある。
例えば、ディスプレイ面における立体画像の表示が所定時間継続すると、立体画像の最大視差量が閾値以内になるように画像を調整する機能を有する立体画像表示装置がある(例えば特許文献1参照)。
また、短時間で激しく視差量が変化する場合、一定時間内の視差量の変化が閾値を超えないように、画像の視差量を調整する3次元映像生成装置及び3次元映像生成方法がある(例えば特許文献2参照)。

概要

妨害オブジェクトが注視オブジェクトの前面に存在した場合においても、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの注目度を低下させて注視対象オブジェクトの見辛さを軽減することができる立体視画像処理装置、立体視画像処理方法及びプログラムを提供する。本発明の立体視画像処理装置は、入力される立体視画像における視差量を算出する視差量算出部と、視差量に基づいて、立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出部とを備える。

目的

本発明は、このような事情に鑑みてなされたもので、妨害オブジェクトが注視オブジェクトの前面に存在した場合においても、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの注目度を低下させて注視対象オブジェクトの見辛さを軽減することができる立体視画像処理装置、立体視画像処理方法及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力される立体視画像における視差量を算出する視差量算出部と、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出部とを備えることを特徴とする立体視画像処理装置

請求項2

前記対象オブジェクトの前記画像特徴量を前記画像特徴量調整値に対応して調整し、当該対象オブジェクトと他のオブジェクトとのコントラストが補正された立体視画像を生成する画像特徴量調整部をさらに備えることを特徴とする請求項1に記載の立体視画像処理装置。

請求項3

前記画像特徴量は、オブジェクトの不透明度透明度明度鮮鋭度を含む特徴量のいずれか一つ、あるいはその組合せであることを特徴とする請求項1または請求項2に記載の立体視画像処理装置。

請求項4

前記対象オブジェクトが、他のオブジェクトを観察するユーザの注意力を分散させる妨害オブジェクトであり、前記画像特徴量調整値算出部が、前記対象オブジェクトと他のオブジェクトとのコントラストを低下させ、当該対象オブジェクトへのユーザの注目を低下させる前記画像特徴量調整値を算出することを特徴とする請求項1から請求項3のいずれか一項に記載の立体視画像処理装置。

請求項5

視差量算出部が、入力される立体視画像における視差量を算出する視差量算出過程と、画像特徴量調整値算出部が、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出過程とを含むことを特徴とする立体視画像処理方法

請求項6

立体視画像処理をコンピュータに実行させるプログラムであって、前記コンピュータを、入力される立体視画像における視差量を算出する視差量算出手段、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出手段として機能させるためのプログラム。

技術分野

0001

本発明は、立体視画像を表示する立体視画像処理装置、立体視画像処理方法及びプログラムに関する。

背景技術

0002

人間の脳は、一定の間隔を持った2つの目により得られる画像の違いから、3次元空間を把握する画像処理の機能を有している。左右の眼による異なる視点から得られる画像中の対応点のずれを視差(あるいは両眼視差)と呼び、視差を手掛かりの一つとして対象物位置関係立体的に把握している。このことを利用して、右眼用画像右眼に対して表示し、左眼用画像左眼に対して表示する手段を設けて、右眼用画像、左眼用画像として視差を設けた画像を提示することにより、人間の脳に対して立体視画像を知覚させることが可能である。
すなわち、立体視画像とは、右眼と左眼それぞれに視差を形成する異なる画像を視覚させることによって、観察者立体感を知覚させる画像である。

0003

立体視画像では、左右の眼における視差の量(以下、視差量と示す)が、人間が立体視を快適に観察できる視差量(以下、視差量閾値と示す)に対して大きくなるにつれ、徐々に立体視画像が観察者の眼にとってより手前側に知覚される。視差量が視差量閾値を超えて大きくなると、立体視画像が観察者の眼の近傍で知覚され、観察者にとって非常に見辛い画像となり、観察者が眼に疲労を覚える原因となりうる。

0004

そのため、作成した立体視画像が視差量の大きい部分を有する場合、観察者の疲労を軽減することを目的として、右眼用画像及び左眼用画像の各々を修正することが行われている。従来においては、右眼用画像及び左眼用画像の修正として、以下に示す2つの処理が作成者手作業によって一般的に行われている。
(1)当該部分の視差量が小さくなるように画像を修正する。
(2)当該部分に視線が向かないように当該部分の鮮鋭度明度、色、彩度などの画像特徴を調整する。

0005

また、立体視画像においては、立体視画像内で注視するべきオブジェクト(以下、注視オブジェクトと呼ぶ)の前面に、注視オブジェクトより大きな視差量を有し、観察者の注視オブジェクトに対する注意力を分散させるオブジェクト(以下、妨害オブジェクトと呼ぶ)が存在する場合、注視オブジェクトが注視し辛くなる特徴を持つ。すなわち、妨害オブジェクトが大きな視差量を有する場合、注視オブジェクトより前面に飛び出して観察されるため、注視オブジェクトより妨害オブジェクトに注意が向くことになる。

0006

このような場合にも、上述した右眼用画像及び左眼用画像の修正と同様に、以下に示す2つの処理が作成者の手作業によって一般的に行われている。
(1)妨害オブジェクトの視差量が小さくなるように画像を修正する。
(2)妨害オブジェクトに視線が向かないように当該妨害オブジェクトの鮮鋭度、明度、色、彩度などの画像特徴を調整する。

0007

立体視画像の立体感に起因する観察者の疲労を軽減するため、オブジェクトの視差量を調整する技術がある。
例えば、ディスプレイ面における立体画像の表示が所定時間継続すると、立体画像の最大視差量が閾値以内になるように画像を調整する機能を有する立体画像表示装置がある(例えば特許文献1参照)。
また、短時間で激しく視差量が変化する場合、一定時間内の視差量の変化が閾値を超えないように、画像の視差量を調整する3次元映像生成装置及び3次元映像生成方法がある(例えば特許文献2参照)。

先行技術

0008

特開2004−207773号公報
特開2011−124941号公報

発明が解決しようとする課題

0009

しかしながら、上述した特許文献1および特許文献2では、注視オブジェクトの前面に妨害オブジェクトが存在する場合において、妨害オブジェクトが視差量閾値を超えた視差量を有する部分の当該視差量の調整を行っている。すなわち、特許文献1および特許文献2では、妨害オブジェクトに対して、視差量閾値を超えた視差量を有する部分の視差量が視差量閾値以内となるように調整を行っている。
このため、特許文献1および特許文献2においては、調整した妨害オブジェクトの形状が歪むことで画像の立体感が乏しくなり、調整後の立体視画像が知覚させる立体感に関して、その歪んだ立体形状に観察者が違和感を覚えるという問題がある。

0010

本発明は、このような事情に鑑みてなされたもので、妨害オブジェクトが注視オブジェクトの前面に存在した場合においても、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの注目度を低下させて注視対象オブジェクトの見辛さを軽減することができる立体視画像処理装置、立体視画像処理方法及びプログラムを提供することを目的とする。

課題を解決するための手段

0011

この発明は上述した課題を解決するためになされたもので、本発明の立体視画像処理装置は、入力される立体視画像における視差量を算出する視差量算出部と、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出部とを備えることを特徴とする。

0012

本発明の立体視画像処理装置は、前記対象オブジェクトの前記画像特徴量を前記画像特徴量調整値に対応して調整し、当該対象オブジェクトと他のオブジェクトとのコントラストが補正された立体視画像を生成する画像特徴量調整部をさらに備えることを特徴とする。

0013

本発明の立体視画像処理装置は、前記画像特徴量は、オブジェクトの不透明度透明度、明度、鮮鋭度を含む特徴量のいずれか一つ、あるいはその組合せであることを特徴とする。

0014

本発明の立体視画像処理装置は、前記対象オブジェクトが、他のオブジェクトを観察するユーザの注意力を分散させる妨害オブジェクトであり、前記画像特徴量調整値算出部が、
前記対象オブジェクトと他のオブジェクトとのコントラストを低下させ、当該対象オブジェクトへのユーザの注目を低下させる前記画像特徴量調整値を算出することを特徴とする。

0015

本発明の立体視画像処理方法は、視差量算出部が、入力される立体視画像における視差量を算出する視差量算出過程と、画像特徴量調整値算出部が、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出過程とを含むことを特徴とする。

0016

本発明のプログラムは、立体視画像処理をコンピュータに実行させるプログラムであって、前記コンピュータを、入力される立体視画像における視差量を算出する視差量算出手段、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出手段として機能させるためのプログラムである。

発明の効果

0017

本発明によれば、対象オブジェクトの画像特徴量を、対象オブジェクトの視差量に対応して求めた画像特徴量調整値により調整し、対象オブジェクトと他のオブジェクトとのコントラストを制御できるため、容易に妨害オブジェクトと、注視オブジェクトとのコントラストを低下させることができる。このため、本発明によれば、妨害オブジェクトが注視オブジェクトの前面に存在した場合においても、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの注目度を低下させて注視対象オブジェクトの見辛さを軽減することができる。

図面の簡単な説明

0018

図1は、本発明の一実施形態による立体視画像処理装置の構成例を示す概略ブロック図である。
視差量Sと立体視画像を構成する各画素の飛び出し量Z−及び引っ込み量Z+との関係を説明する図である。
次元画像及びこの2次元画像の奥行き画像から視差量を求める処理を説明する図である。
2次元画像である左眼用画像と右眼用画像とから視差量を求める処理を説明する図である。
視差量と不透明度係数との対応関係を示すグラフの一例である。
本発明の一実施形態における画像処理装置により補正された、立体視画像における右眼用画像と左眼用画像を示す図である。
妨害オブジェクトの不透明度を低下させ、注視オブジェクトと妨害オブジェクトとのコントラストを低下させる処理の動作例を示すフローチャートである。

実施例

0019

本発明は、立体視画像の構成要素であるオブジェクトの過度な大きさの視差量に基づく、観察者の立体視画像の見辛さを、オブジェクト間のコントラストを調整することにより軽減するものである。すなわち、本発明は、立体視画像におけるオブジェクト間のコントラストを、各オブジェクトの画像特徴量を制御することで調整し、立体視画像の見辛さを軽減する。画像特徴量は、コントラストに影響を与える画像の特徴量であり、例えば鮮鋭度、明度、不透明度(あるいは透明度)などの画像の特性を示すパラメータである。

0020

例えば、立体視画像を構成するオブジェクトにおいて、注視したいオブジェクト(以下、注視オブジェクトと示す)の前面に、監視者による注視オブジェクトの注視を阻害する(観察者の注視オブジェクトに対する注意力を分散させ、注視オブジェクトに対する注視を妨害する)オブジェクト(以下、妨害オブジェクトと示す)が存在する場合、妨害オブジェクトに対する監視者の注目を低下させる必要がある。このため、注視オブジェクトを含む他のオブジェクトに対して、妨害オブジェクトのコントラストを低下させることにより、妨害オブジェクトに対する監視者の注目を低下させる。妨害オブジェクトに対する監視者の注目が低下することにより、注視オブジェクトに対する観察者の注視の程度を向上させることができ、注視オブジェクトに対する妨害オブジェクトの妨害の程度が軽減され、立体視画像の見辛さを低減させることができる。

0021

以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明の一実施形態による立体視画像処理装置の構成例を示す概略ブロック図である。この図1において、立体視画像処理装置は、立体視画像入力部1と、視差量算出部2と、画像特徴量調整値算出部3と、画像特徴量調整部4と、立体視画像出力部5と、データベース6との各々を備えている。また、本実施形態における立体視画像は、撮像された実写画像、あるいはコンピュータグラフィックにより生成したコンピュータグラフィック画像(以下、CG画像と示す)のいずれでも良い。以下の説明においては、立体視画像がCG画像であるものとして説明する。

0022

立体視画像入力部1は、外部装置(不図示)から、CG画像である立体視画像のデータを入力し、視差量算出部2に対して出力する。
また、立体視画像入力部1は、外部装置から供給された立体視画像のデータを、データベース6に対して書き込んで記憶させる。
ここで、立体視画像は、2次元画像と、この2次元画像の各画素の奥行きを示す深度分布を示す奥行き画像とを含む画像データである。2次元画像のデータは、画像特徴量として画素の不透明度(透明度)、明度、鮮鋭度などを含んでいる。
また、立体視画像は、右眼用の2次元画像である右眼用画像と、左眼用の2次元画像である左眼用画像とを含む画像データでも良い。右眼用画像及び左眼用画像の各々のデータは、画像特徴量として画素の不透明度(透明度)、明度、鮮鋭度などを含んでいる。

0023

視差量算出部2は、立体視画像入力部1より供給された立体視画像から、視差量の算出を行う(詳細は後述)。

0024

図2は、視差量Sと立体視画像を構成する各画素の飛び出し量Z−及び引っ込み量Z+との関係を説明する図である。図2において、位置230は観察者の左眼の位置を示している。位置220は観察者の右眼の位置を示している。スクリーン240は、観察者が立体視画像を観察しているスクリーンである。

0025

位置200は引っ込み量Z+のオブジェクト(画素)の観察者の観察における位置を示している。引っ込み量Z+は、スクリーン240の表示面に対して観察者と反対側の空間における、スクリーン240の表示面からの距離を示している。すなわち、引っ込み量Z+は、観察者がスクリーン240の後方に引っ込んで、オブジェクトが観察される、スクリーン240の表示面からの深さ位置を示している。

0026

位置210は飛び出し量Z−のオブジェクト(画素)の観察者の観察における位置を示している。飛び出し量Z−は、スクリーン240の表示面に対して観察者側の空間における、スクリーン240の表示面からの距離を示している。すなわち、飛び出し量Z−は、観察者がスクリーン240の前方に飛び出して、オブジェクトが観察される、スクリーン240の表示面からの深さ位置を示している。

0027

位置212は、観察者の位置230にある左眼が位置200において画像を認識する際、スクリーン240に表示される画像の位置を示している。
また、位置212は、観察者の位置220にある右眼が位置210において画像を認識する際、スクリーン240に表示される画像の位置を示している。

0028

位置213は、観察者の位置230にある左眼が位置210において画像を認識する際、スクリーン240に表示される画像の位置を示している。
また、位置213は、観察者の位置220にある右眼が位置200において画像を認識する際、スクリーン240に表示される画像の位置を示している。

0029

視差量Sは、例えば、観察者が位置200において画像を認識した際、スクリーン240の表示面における左眼で観察する画像の位置212と、スクリーン240の表示面における右眼で観察する画像の位置213との、スクリーン240の表示面上の距離を示している。
距離Lは、スクリーン240の表示面と観察者の眼との距離を示している。また、距離IPDは、観察者の右眼と左眼との間隔を示す距離である。

0030

上述した奥行き画像における飛び出し量Z−及び引っ込み量Z+と、距離Lと、距離IPDとにより、下記(1)式と(2)とを用いて、立体視画像における画素単位の視差量Sを求める。
S=(Z−×IPD/L)−Z− …(1)
S=(Z+×IPD/L)+Z+ …(2)
上記(1)式は、画像がスクリーン240の表示面から観察者側の空間に飛び出した位置に見える場合における視差量Sを求める式である。
一方、(2)式は、画像がスクリーン240の表示面から観察者と反対側の空間に飛び出した位置に見える場合における視差量Sを求める式である。

0031

図1戻り、視差量算出部2は、例えば、立体視画像が2次元画像とこの2次元画像の深度分布を示す奥行き画像の際、上述した(1)式あるいは(2)式を用いて、立体視画像における画素の視差量Sを算出する。視差量算出部120は、画素の奥行きを示す情報が奥行き画像における飛び出し量Z−の場合、(1)式により画素の視差量Sを算出する。

0032

一方、視差量算出部120は、画素の奥行きを示す情報が奥行き画像における引っ込み量Z+の場合、(2)式により画素の視差量Sを算出する。
また、上述した(1)式及び(2)式は、データベース6に予め書き込まれて記憶されている。したがって、視差量算出部120は、データベース6から(1)式及び(2)式を読み出して、視差量の算出を行う。

0033

図3は、2次元画像及びこの2次元画像の奥行き画像から視差量を求める処理を説明する図である。
図3(a)は、立体視画像における2次元画像300を示している。2次元画像300は、各画素の階調度を示す画像データである。図3(a)において、オブジェクト301は、注視オブジェクトの画素の階調度を示している。また、オブジェクト302は、妨害オブジェクトの画素の階調度を示している。

0034

図3(b)は、立体視画像における2次元画像の各画素の深度分布を示す奥行き画像310を示している。奥行き画像310は、各画素の深度を階調度で示す画像データである。例えば、画素の深度は、飛び出し量Z−と引っ込み量Z+とを階調度0から階調度256の範囲内で対応付けて示しており、上述した(1)式及び(2)式による視差量Sの算出に用いられる。図3(b)において、オブジェクト311は、注視オブジェクトの深度の階調度を示している。また、オブジェクト312は、妨害オブジェクトの画素毎の深度の階調度を示している。

0035

図3(c)は、(1)式及び(2)の各々を用いて画素毎に得られた、左眼及び右眼での観察における視差量Sを示す視差量分布画像320を示している。視差量分布画像320は、各画素の視差量を階調度で示す画像データである。図3(c)において、オブジェクト321は、注視オブジェクトの視差量Sの階調度を示している。また、オブジェクト322は、妨害オブジェクトの画素毎の視差量Sの階調度を示している。

0036

図1に戻り、視差量算出部120は、例えば、立体視画像が奥行き画像を持たない左眼用画像と右眼用画像とである場合、左眼用画像と右眼用画像との間でステレオマッチングによる対応点検出を行なって、立体視画像における画素単位の視差量Sを算出する。

0037

図4は、2次元画像である左眼用画像と右眼用画像とから視差量を求める処理を説明する図である。
図4(a)は、右眼用画像400を示している。右眼用画像400は、各画素の階調度を示す画像データである。図4(a)において、オブジェクト401は、右眼用画像400における注視オブジェクトの画素の階調度を示している。また、オブジェクト402は、右眼用画像400における妨害オブジェクトの画素の階調度を示している。

0038

図4(b)は、左眼用画像410を示している。左眼用画像410は、各画素の階調度を示す画像データである。図4(b)において、オブジェクト411は、左眼用画像410における注視オブジェクトの画素の階調度を示している。また、オブジェクト402は、左眼用画像410における妨害オブジェクトの画素毎の階調度を示している。

0039

図4(c)は、左眼用画像と右眼用画像との間でステレオマッチングによる対応点検出を行なって得られた、左眼及び右眼での観察における視差量Sを示す視差量分布画像420を示している。視差量分布画像420は、図3(c)と同様に、各画素の視差量を階調度で示す画像データである。図4(c)において、オブジェク421は、注視オブジェクトの視差量Sの階調度を示している。また、オブジェクト342は、妨害オブジェクトの画素毎の視差量Sの階調度を示している。

0040

図1に戻り、画像特徴量調整値算出部3は、視差量算出部120の求めた視差量の大きさに基づいて、画像特徴量の調整に用いる調整値を求める。画像特徴量の調整値は、透明度(あるいは不透明度)係数、明度係数鮮鋭度係数のいずれか、あるいは組み合わせである。

0041

一般に、図3あるいは図4などにおいて、観察者が注視オブジェクトを観察する際、妨害オブジェクトが注視オブジェクトの前面にある場合、妨害オブジェクトの立体視における形状(特に、スクリーンから監視者側に飛び出した形状)が原因となり、妨害オブジェクトに対して注意が向けられて、観察者が注視オブジェクトを見辛く感じる。ここで、妨害オブジェクトと妨害オブジェクトの背景とのコントラストが小さいほど、注視オブジェクトの見辛さが軽減されることが従来からわかっている。

0042

このため、本実施形態においては、上述したような観察者(人間)の視覚特性に基づいて、妨害オブジェクトと当該背景にある注視オブジェクトを含むオブジェクトとのコントラストが小さくなるように、コントラストを変更させる画像特徴量を調整する。この画像特徴量は、すでに説明したように、妨害オブジェクトの不透明度(あるいは透明度)、妨害オブジェクトの明度、妨害オブジェクトの鮮鋭度である。

0043

画像特徴調整値算出部3は、不透明度(あるいは明度または鮮鋭度)を調整する、不透明度係数(あるいは明度係数または鮮鋭度係数)を、画素毎に算出する。不透明度係数、明度係数及び鮮鋭度係数は、画像特徴量である不透明度、明度、鮮鋭度の各々を調整するための画像特徴量調整値である。
この算出した係数により、それぞれ対応する画像特徴量を画素毎に調整することにより、妨害オブジェクトに対する監視者の注目を低減させ、注視オブジェクトに対する見辛さを軽減することができる。本実施形態においては、視差量の範囲として視差量「−1」から「−2.0」まで、−0.1単位で視差量を変化させ、視差量の変化毎に見辛さが視差量が「−1」と同程度に低減できる不透明度係数を、複数の観察者に関させて、観察者が認識する見辛さの程度を集計する実験により求めている。ここで、視差量の範囲における視差量「−1」は、背景技術で説明した視差量閾値と同等である。

0044

図5は、視差量と不透明度係数との対応関係を示すグラフの一例である。図5において、縦軸が不透明度係数を示し、横軸が視差量を示している。不透明度係数は、不透明度に乗ずる係数であり、視差量が「−1」の場合には不動明度係数が「1」であり、不透明度はそのままの数値である。しかしながら、視差量が「−2」以上の場合には不動明度係数が「0」となり、不透明度は「0」となり、完全に透明となる。

0045

すなわち、負の視差量の絶対値が増加するに従い、妨害オブジェクトの透明度が上がり、妨害オブジェクトと、注視オブジェクトを含む背景のオブジェクトとのコントラストを相対的に低下させることになる。
妨害オブジェクトの視差量が「−(負)」である場合、スクリーン240から妨害オブジェクトが観察者側に飛び出した状態で、観察者に観察されていることになる。

0046

ここで、視差量の単位は視差角を用いているが、視差量を表す単位は、画素数、表示面上の長さ、表示サイズにおける表示面上の長さの割合、など一般的に視差量として用いられるいかなる単位でも良い。
この不透明度係数は、妨害オブジェクトにおける画素毎に求められ、画素毎の不動明度が調整されることになる。

0047

図5における視差量の範囲は、複数の観察者に対し、妨害オブジェクトの視差量を変化させつつ、注視オブジェクトと妨害オブジェクトとを観察させて求めている。すなわち、注視オブジェクトの前面における妨害オブジェクトの存在により、注視オブジェクトが見辛いと感じ始める視差量(−1.0度)から、注視オブジェクトが全く見えなくなる視差量(−2.0)の範囲が決められている。

0048

図1に戻り、データベース6には、図5に示すグラフにおける視差量と不透明度係数との対応関係を示す実験式、あるいは実験式から求めた視差量と不透明度係数との対応関係を示すテーブルが予め書き込まれて記憶されている。

0049

画像特徴調整値算出部3は、データベース6に視差量と不透明度係数との対応関係を示す実験式が記憶されている場合、データベース6から実験式を読み出し、視差量を実験式に代入して、不透明度係数を算出する。
一方、画像特徴調整値算出部3は、データベース6に視差量と不透明度係数との対応関係を示すテーブルが記憶されている場合、データベース6のテーブルから、視差量に対応して記憶されている不透明度係数を読み出すことにより、不透明度係数を算出する。

0050

画像特徴量調整部4は、画像特徴調整値算出部3が求めた係数により、対応する画像特徴量を調整する。以下、不透明度係数によりコントラストを調整する処理について説明する。画像特徴量調整部4は、画像特徴調整値算出部3が画素毎に求めた不透明度係数を、妨害オブジェクトの対応する画素各々の不透明度に対して乗算し、妨害オブジェクトにおける画素毎の不透明度を調整する。

0051

ここで、画像特徴量調整部4は、以下の(3)式により、画素の不透明度の調整の演算を行い、補正した不透明度を求める。
A’=r×A …(3)
上記(3)式において、Aは補正前の不透明度であり、A’が補正後の不透明度であり、rが不透明度係数である。すなわち、画像特徴量調整部4は、画素の不透明度Aに対して、この画素に対応して求めた不透明度係数rを乗算することで、補正後の透明度A’を求めている。

0052

上述した例においては、妨害オブジェクトにおける画素の不透明度を、不透明度係数により調整することで、妨害オブジェクトと、この妨害オブジェクトの背景とのコントラストを低下させる処理を説明した。すなわち、コントラストを制御する画像特徴量を不透明度している。
また、他の例として、コントラストを制御する画像特徴量を明度としても良い。図5における視差量と不透明度係数との関係と同様に、視差量と明度係数との対応関係を示すテーブルを生成する。

0053

すなわち、視差量の範囲として視差量「−1」から「−2.0」まで、−0.1単位で視差量を変化させ、視差量の変化毎に見辛さが視差量が「−1」と同程度に低減できる明度係数を、複数の観察者に関させて、観察者が認識する見辛さの程度を集計する実験により求める。この視差量の範囲は、不透明度係数の算出により説明した方法と同様に求められている。

0054

明度係数は、例えば、明度(すなわち、階調度)に乗ずる係数であり、視差量が「−1」の場合には明度係数が「1」であり、明度はそのままの数値である。しかしながら、視差量が「−2」以上の場合には明度係数が「0」となり、明度(階調度)は「0」となり、完全に黒色となる。すなわち、負の視差量の絶対値が増加するに従い、明度が低下して、妨害オブジェクトと、注視オブジェクトを含む背景のオブジェクトとのコントラストを低下させることになる。

0055

また、他の例として、コントラストを制御する画像特徴量を鮮鋭度としても良い。図5における視差量と不透明度係数との関係と同様に、視差量とこの視差量に対応する鮮鋭度係数との対応関係を示すテーブルを生成する。すなわち、視差量の範囲として視差量「−1」から「−2.0」まで、−0.1単位で視差量を変化させ、視差量の変化毎に見辛さが視差量が「−1」と同程度に低減できる鮮鋭度係数を、実験により求める。この視差量の範囲は、不透明度係数の算出により説明した方法と同様に求められている。

0056

鮮鋭度係数は、例えば、妨害オブジェクトと妨害オブジェクトの背景との境界ラインから、この境界ラインの接線に対して垂直方向に配列した、妨害オブジェクト側及び背景側各々の画素数である。鮮鋭度の補正は、画素毎に、鮮鋭度係数として設定されている画素数単位で、階調度の平均化を行い、鮮鋭度を低下させて、コントラストを低減することになる。

0057

したがって、視差量が「−1」の場合には鮮鋭度係数が「0」であり、鮮鋭度はそのままの数値である。しかしながら、視差量が「−2」以上の場合には、例えば鮮鋭度係数が「10」となり、妨害オブジェクトと妨害オブジェクトの背景との境界ラインから、各々10画素ずつ、すなわち20画素の階調度が平均化され、妨害オブジェクトと妨害オブジェクトの背景との境界ぼやけ、鮮鋭度が低下する。すなわち、負の視差量の絶対値が増加するに従い、鮮鋭度が低下して、妨害オブジェクトと、注視オブジェクトを含む背景のオブジェクトとのコントラストを低下させることになる。

0058

立体視画像出力部5は、画像特徴量調整部4が、所定のオブジェクトの画像特徴量を調整した、例えば妨害オブジェクトの不透明度を調整した立体視画像を出力する。

0059

図6は、本発明の一実施形態における画像処理装置により補正された、立体視画像における右眼用画像と左眼用画像を示す図である。図6(a)は、外部装置から入力された立体視画像における2次元画像600である。この図6(a)において、オブジェクト640は注視オブジェクトを示し、オブジェクト650は妨害オブジェクトを示している。
図6(b)は、立体視画像の深度分布を示す奥行き画像から求めた視差量分布画像610である。オブジェクト645は、注視オブジェクトの視差量を階調度で示す画像データである。オブジェクト660は、妨害オブジェクトの視差量を階調度で示す画像データである。

0060

図6(c)は、立体視画像出力部5が出力する、不透明度が補正された左眼用画像630である。この図6(c)において、オブジェクト690は注視オブジェクトであり、オブジェクト680は妨害オブジェクトである。オブジェクト680は、不透明度が低下して透明に近くなっている。
図6(d)は、立体視画像出力部5が出力する、不透明度が補正された右眼用画像620である。この図6(d)において、オブジェクト700は注視オブジェクトであり、オブジェクト670は妨害オブジェクトである。オブジェクト670は、不透明度が低下して透明に近くなっている。

0061

次に、図1及び図7を用いて本実施形態による画像処理装置において、妨害オブジェクトの不透明度を低下させ、注視オブジェクトと妨害オブジェクトとのコントラストを低下させる処理の動作を説明する。図7は、妨害オブジェクトの不透明度を低下させ、注視オブジェクトと妨害オブジェクトとのコントラストを低下させる処理の動作例を示すフローチャートである。

0062

テップS1:
立体視画像入力部1は、外部装置から立体視画像が供給され、供給された立体視画像を視差量算出部2に対して出力する。
また、立体視画像入力部1は、供給された立体視画像をデータベース6に書き込んで記憶させる。

0063

ステップS2:
視差量算出部2は、立体視画像入力部1から立体視画像が供給されると、立体視画像における視差量分布画像を生成する。
例えば、立体視画像が2次元画像とこの2次元画像の奥行き画像とである場合、視差量算出部2は、データベース6から(1)式及び(2)式を読み出す。
そして、視差量算出部2は、画素毎に深度が飛び出し量Z−あるいは引っ込み量Z+のいずれであるかの判定を行い、飛び出し量Z−の場合に(1)式を用い、引っ込み量Z+の場合に(2)式を用い、画素毎に視差量Sを算出する。

0064

ステップS3:
画像特徴調整値算出部3は、データベース6から視差量Sに対して設定されている調整閾値を読み出す。
そして、画像特徴調整値算出部3は、妨害オブジェクトの視差量Sが調整閾値を超えているか否かの判定を行う。この調整閾値は、すでに説明した図5の視差量の範囲における「−1」、つまり視差量の範囲の下限値(視差量の絶対値において)である視差量閾値である。

0065

このとき、画像特徴調整値算出部3は、妨害オブジェクトの画素毎の視差量Sが調整閾値を超えているか否かの判定を行う。
画像特徴調整値算出部3は、妨害オブジェクトにおいて、視差量Sが調整閾値を超えている画素が検出された場合、処理をステップS4に進める。一方、画像特徴調整値算出部3は、妨害オブジェクトにおいて、視差量Sが調整閾値を超えている画素が検出されない場合、処理を終了する。

0066

このとき、画像特徴量調整値算出部3は、妨害オブジェクト内の画素の視差量Sが調整閾値を超えていると判定した場合、調整閾値を超えたと判定した画素の視差量Sと、この画素の位置情報とを対応させ、検出される毎に、データベース6に順次書き込んで記憶させる。
そして、画像特徴量調整値算出部3は、妨害オブジェクト内の画素全てに対して、視差量Sと調整閾値との比較が終了した時点で、処理をステップS4へ進める。

0067

このとき、立体視画像入力部1は、妨害オブジェクトとして付加された識別情報を、各オブジェクトを描画する際に外部装置(不図示)から受け取り、オブジェクトが妨害オブジェクトか否かの判定を行う。この識別情報は、妨害オブジェクトであるか否かを示す情報であり、監視者がオブジェクト単位メタデータとして、妨害オブジェクトに対して予め付与している。
もしくは、妨害オブジェクトの設定は、監視者がスクリーン240の画面上で表示されている立体視画像におけるオブジェクトを選択して行ってもよい。この場合、立体視画像入力部1は、監視者に選択された画像の座標が含まれる領域において輪郭抽出を行い、抽出された輪郭内の画素群を妨害オブジェクトとして認識する。
そして、立体視画像入力部1は、抽出した妨害オブジェクトの位置情報を、画像特徴調整値算出部3へ出力する。
これにより、画像特徴調整値算出部3は、立体視画像入力部1から供給される妨害オブジェクトの位置情報により、すでに述べたように、妨害オブジェクト内の画素の視差量Sが調整閾値を超えているか否かの判定を、妨害オブジェクト内の画素毎に順次行う。

0068

また、妨害オブジェクトの設定は、立体視画像入力部1がスクリーン240の画面上で表示されている立体視画像において、最も観察者側に飛び出したオブジェクトを選択するように構成しても良い。立体視画像入力部1は、最も観察者側に飛び出した画素の座標が含まれる領域の輪郭抽出を行い、抽出された輪郭内の画素群を妨害オブジェクトとして認識する。

0069

そして、立体視画像入力部1は、抽出した妨害オブジェクトの位置情報を、画像特徴調整値算出部3へ出力する。
これにより、画像特徴調整値算出部3は、立体視画像入力部1から供給される妨害オブジェクトの位置情報により、すでに述べたように、妨害オブジェクト内の画素の視差量Sが調整閾値を超えているか否かの判定を行う。

0070

ステップS4:
画像特徴調整値算出部3は、データベース6から視差量Sと画像特徴量の一つである不透明度係数との対応を示す実験式を読み出す。
そして、画像特徴調整値算出部3は、データベース6に記憶されている、調整閾値を超えたと判定した画素の視差量Sと、この画素の位置情報とを読み出す。

0071

画像特徴調整値算出部3は、画素の視差量Sを読み出した実験式に代入して、この画素の不透明度に乗算する不透明度係数を算出する。
画像特徴調整値算出部3は、調整閾値を超えたと判定した画素の視差量Sをデータベース6から順次読み出し、この画素の不透明度係数を算出して、調整閾値を超えたと判定した画素毎に対応させて、算出した不透明度係数をデータベース6に対して書き込んで記憶させる。

0072

ステップS5:
次に、画像特徴量調整部4は、調整閾値を超えたと判定した画素の不透明度を、この画素の位置情報に対応させて、データベース6に記憶されている立体視画像における画像特徴量から読み出す。
また、画像特徴量調整部4は、不透明度を読み出した画素の不透明度係数を、この画素の位置情報に対応させて、データベース6から読み出す。

0073

そして、画像特徴量調整部4は、(3)式に示すように、画素の不透明度に対し、不透明度係数を乗算し、補正した不透明度を算出する。
画像特徴量調整部4は、データベース6において、対応する画素の不透明度に対して、補正した不透明度を上書きすることにより、不透明度の変更を行う。上述した不透明度を補正する処理を、データベース6に記憶されている、調整閾値を超えたと判定した画素の全てに対して行う。

0074

次に、立体視画像出力部5は、データベース6に記憶されている補正後の立体視画像を外部装置に対して出力し、図7に示すフローチャートに示す、立体視画像に対するコントラスト調整の処理を終了する。

0075

上述した本実施形態によれば、注視オブジェクトの前に妨害オブジェクトが配置している状態において、妨害オブジェクトの画像特徴量である不透明度を調整することにより、注視オブジェクトと妨害オブジェクトとのコントラストを視差量に応じて低下させることが可能となり、監視者の注視オブジェクトの見辛さを低減させることができる。
すなわち、本実施形態によれば、妨害オブジェクトの視差量に応じて、コントラストを低下させることにより、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの監視者に対する注目度を低下させて、注視対象オブジェクトの見辛さを軽減する。

0076

また、本実施形態においては、注視オブジェクトと妨害オブジェクトとのコントラストを低下させるため、制御する画像特徴量を不透明度としている。
しかしながら、他に明度あるいは鮮鋭度といった画像特徴量を制御し、注視オブジェクトと妨害オブジェクトとのコントラストを低下させる構成としても良い。

0077

この構成により、すでに述べた実施形態と同様に、注視オブジェクトの前に妨害オブジェクトが配置している状態において、注視オブジェクトと妨害オブジェクトとのコントラストを視差量に応じて低下させることが可能となり、監視者の注視オブジェクトの見辛さを低減させることができる。すなわち、すでに述べた実施形態と同様に、妨害オブジェクトの視差量に応じて、コントラストを低下させることにより、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの監視者に対する注目度を低下させて、注視対象オブジェクトの見辛さを軽減する。

0078

また、図1における立体視画像処理装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより立体視画像の描画処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。

0079

また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

0080

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワーク電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイルであっても良い。

0081

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

0082

1…立体視画像入力部
2…視差量算出部
3…画像特徴量調整値算出部
4…画像特徴量調整部
5…立体視画像出力部
6…データベース

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ