図面 (/)

技術 イメージの明るさを調整する方法及び装置

出願人 三星電子株式会社
発明者 孫みん廷李喜世司空棟勲李基彰李炯旭
出願日 2016年9月15日 (4年2ヶ月経過) 出願番号 2016-180644
公開日 2017年3月23日 (3年8ヶ月経過) 公開番号 2017-059235
状態 未査定
技術分野 イメージ生成 イメージ処理・作成 イメージ分析 画像処理
主要キーワード 正面表面 スマート機器 強度区分 ドット積演算 目鼻立ち ブラー効果 光源タイプ 有無線通信
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年3月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

イメージの明るさを調整する装置及び方法を提供する。

解決手段

イメージの明るさを調整する方法は、オブジェクトが示される入力イメージから抽出されたオブジェクトの1つ以上の特徴点に基づいて、オブジェクトモデルをオブジェクトにマッチングするステップS110と、マッチングされたオブジェクトモデルに基づいて、2次元イメージ形式の表面ノーマルマップを入力イメージにマッピングするステップS120と、マッピングされた表面ノーマルマップ及び仮想光源に基づいて、入力イメージに対する陰影情報を生成するステップS130と、を含む。

概要

背景

スマートフォンなどのようなスマート機器が広く普及されており、このようなスマート機器は、一般的にユーザによってコンテンツ制作できるようにカメラが内蔵されている。スマート機器は、内蔵されたカメラを用いて写真及び動画などを撮影する。また、スマート機器は、撮影された写真を表示したり動画を再生する機能を提供する。

さらに、スマート機器は、ユーザがイメージなどを編集できる機能を提供する。例えば、ユーザは、スマート機器によって撮影されたイメージをユーザ自分の好みに応じてイメージの色及びの大きさなどを変更し得る。スマート機器は、ユーザがより便利でナチュラルにイメージ編集できるよう編集機能を提供することができる。

概要

イメージの明るさを調整する装置及び方法を提供する。イメージの明るさを調整する方法は、オブジェクトが示される入力イメージから抽出されたオブジェクトの1つ以上の特徴点に基づいて、オブジェクトモデルをオブジェクトにマッチングするステップS110と、マッチングされたオブジェクトモデルに基づいて、2次元イメージ形式の表面ノーマルマップを入力イメージにマッピングするステップS120と、マッピングされた表面ノーマルマップ及び仮想光源に基づいて、入力イメージに対する陰影情報を生成するステップS130と、を含む。

目的

また、スマート機器は、撮影された写真を表示したり動画を再生する機能を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

オブジェクトが示される入力イメージから抽出された前記オブジェクトの1つ以上の特徴点に基づいて、オブジェクトモデルを前記オブジェクトにマッチングするステップと、前記マッチングされたオブジェクトモデルに基づいて、2次元イメージ形式の表面ノーマルマップを前記入イメージマッピングするステップと、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて、前記入力イメージに対する陰影情報を生成するステップと、を含むことを特徴とするイメージの明るさを調整する方法。

請求項2

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点ノーマルベクトルを補間して前記表面ノーマルマップを生成するステップを含むことを特徴とする請求項1に記載のイメージの明るさを調整する方法。

請求項3

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記オブジェクトモデルに関してデータベースに予め格納された表面ノーマルモデルを前記表面ノーマルマップに変換するステップを含むことを特徴とする請求項1に記載のイメージの明るさを調整する方法。

請求項4

前記オブジェクトモデルを前記入力イメージにマッピングするステップは、前記オブジェクトモデルの特徴点の座標を前記入力イメージの特徴点の座標に変換する変換関数を決定するステップを含むことを特徴とする請求項1に記載のイメージの明るさを調整する方法。

請求項5

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記決定された変換関数を用いて、表面ノーマルモデルの各座標を変換して2次元イメージ形式の表面ノーマルマップを生成するステップを含むことを特徴とする請求項4に記載のイメージの明るさを調整する方法。

請求項6

前記陰影情報を生成するステップは、前記表面ノーマルマップのそれぞれの座標のノーマルベクトル及び前記入力イメージで該当座標における前記仮想光源による光ベクトル間のドット積演算を行うステップを含むことを特徴とする請求項1乃至5のいずれか一項に記載のイメージの明るさを調整する方法。

請求項7

前記ドット積演算を行うステップは、前記仮想光源の位置及び前記入力イメージにおける各ピクセルの該当位置間の関係又は前記仮想光源の照明方向に基づいて該当ピクセルに入射される前記光ベクトルを決定するステップを含むことを特徴とする請求項6に記載のイメージの明るさを調整する方法。

請求項8

前記陰影情報を前記入力イメージに反映して再照明されたイメージを生成するステップと、前記入力イメージの明るさヒストグラムに基づいて前記再照明されたイメージのトーンを調整するステップと、をさらに含むことを特徴とする請求項1乃至7のいずれか一項に記載のイメージの明るさを調整する方法。

請求項9

前記再照明されたイメージのトーンを調整するステップは、前記入力イメージのピクセルの全体個数に対する前記入力イメージで予め定めた明るさ範囲のピクセル数比率に基づいて、前記再照明されたイメージの少なくとも一部領域でピクセルのトーンに加重値を付加するステップを含むことを特徴とする請求項8に記載のイメージの明るさを調整する方法。

請求項10

前記仮想光源の強度、位置、色、照明方向、及びタイプのうち少なくとも1つを指示する制御信号を受信するステップをさらに含むことを特徴とする請求項1乃至9のいずれか一項に記載のイメージの明るさを調整する方法。

請求項11

前記オブジェクトは人の顔であることを特徴とする請求項1乃至10のいずれか一項に記載のイメージの明るさを調整する方法。

請求項12

請求項1乃至11のいずれか一項に記載の方法をプロセッサに実行させるコンピュータプログラム

請求項13

オブジェクトが示される入力イメージから抽出された前記オブジェクトの特徴点に基づいてオブジェクトモデルを前記オブジェクトにマッチングし、前記マッチングされたオブジェクトモデルに基づいて2次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングし、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて前記入力イメージに対する陰影情報を生成するプロセッサを含むことを特徴とするイメージの明るさを調整する装置。

請求項14

前記プロセッサは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成することを特徴とする請求項13に記載のイメージの明るさを調整する装置。

請求項15

前記オブジェクトモデルに関する表面ノーマルモデルをデータベースに格納するメモリをさらに含み、前記プロセッサは、前記表面ノーマルモデルを前記表面ノーマルマップに変換することを特徴とする請求項13に記載のイメージの明るさを調整する装置。

請求項16

前記プロセッサは、前記オブジェクトモデルの特徴点の座標を前記入力イメージの特徴点の座標に変換する変換関数を決定することを特徴とする請求項13に記載のイメージの明るさを調整する装置。

請求項17

前記プロセッサは、前記決定された変換関数を用いて表面ノーマルモデルの各座標を変換して2次元イメージ形式の表面ノーマルマップを生成することを特徴とする請求項16に記載のイメージの明るさを調整する装置。

請求項18

前記プロセッサは、前記表面ノーマルマップのそれぞれの座標のノーマルベクトル及び前記入力イメージで該当座標における前記仮想光源による光ベクトル間のドット積演算を行うことを特徴とする請求項13乃至17のいずれか一項に記載のイメージの明るさを調整する装置。

請求項19

前記プロセッサは、前記仮想光源の位置及び前記入力イメージにおける各ピクセルの位置間の関係又は前記仮想光源の照明方向のいずれか1つに基づいて前記入力イメージのピクセルで前記光ベクトルを決定することを特徴とする請求項18に記載のイメージの明るさを調整する装置。

請求項20

前記プロセッサは、前記陰影情報を前記入力イメージに反映して再照明されたイメージを生成し、前記入力イメージの明るさヒストグラムに基づいて前記再照明されたイメージのトーンを調整することを特徴とする請求項13乃至19のいずれか一項に記載のイメージの明るさを調整する装置。

請求項21

前記プロセッサは、前記入力イメージのピクセルの全体個数に対する前記入力イメージで予め定めた明るさ範囲のピクセル数の比率に基づいて、前記再照明されたイメージの少なくとも一部領域でピクセルのトーンに加重値を付加することを特徴とする請求項20に記載のイメージの明るさを調整する装置。

請求項22

オブジェクトが示される入力イメージを受信するイメージ受信部と、前記入力イメージから抽出された前記オブジェクトの特徴点に基づいてオブジェクトモデルを前記オブジェクトにマッチングし、前記マッチングされたオブジェクトモデルに基づいて2次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングし、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて前記入力イメージに対する陰影情報を生成するプロセッサと、を含むことを特徴とする装置。

請求項23

前記イメージ受信部はカメラであることを特徴とする請求項22に記載の装置。

請求項24

前記プロセッサは、前記入力イメージに前記陰影情報を適用するように構成され、前記装置は、前記入力イメージに前記陰影情報を反映して表現するディスプレイをさらに含むことを特徴とする請求項22又は23に記載の装置。

請求項25

前記プロセッサは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成することを特徴とする請求項22又は23に記載の装置。

請求項26

前記オブジェクトモデルに関する表面ノーマルモデルをデータベースに格納するメモリをさらに含み、前記プロセッサは、前記表面ノーマルモデルを前記表面ノーマルマップに変換することを特徴とする請求項22又は23に記載の装置。

請求項27

前記プロセッサは、ユーザがオブジェクトを見る方向を指示するビューベクトル及び前記仮想光源から前記オブジェクトに投射された光が前記オブジェクトによって反射した方向を指示する反射ベクトルに基づいて前記陰影情報を生成することを特徴とする請求項22乃至26のいずれか一項に記載の装置。

請求項28

映像の明るさを調整する方法において、オブジェクトモデル及び映像におけるオブジェクトの特徴点に基づいて入力映像の表面ノーマルマップを生成するステップと、仮想光源及び前記表面ノーマルマップに基づいて前記入力映像のための陰影情報を生成するステップと、前記入力映像の明るさを調整するために前記入力映像に前記陰影情報を適用するステップと、を含むことを特徴とする方法。

請求項29

前記オブジェクトモデルは、前記オブジェクトの前記特徴点に対応する特徴点及び前記オブジェクトモデルの前記特徴点に対応するノーマルベクトルを含み、前記表面ノーマルマップを生成するステップは、前記入力映像の座標でノーマルベクトルを取得するために前記オブジェクトモデルの前記ノーマルベクトルを補間するステップを含むことを特徴とする請求項28に記載の方法。

請求項30

前記表面ノーマルマップを生成するステップは、前記オブジェクトモデル及び前記オブジェクトの前記特徴点に基づいて前記表面ノーマルマップに表面ノーマルモデルを変換するステップを含むことを特徴とする請求項28に記載の方法。

請求項31

前記オブジェクトモデルの特徴点及び前記オブジェクトの前記特徴点に基づいて前記オブジェクトで前記オブジェクトモデルをマッチングさせるステップをさらに含み、前記表面ノーマルマップを生成するステップは、他の方向から前記オブジェクトのビューに対応する複数の表面ノーマルモデルを前記オブジェクトにマッチングされた前記オブジェクトモデルの前記特徴点に対してマッチングさせた結果を結合することによって前記表面ノーマルマップを生成するステップを含むことを特徴とする請求項28に記載の方法。

請求項32

前記陰影情報を生成するステップは、前記表面ノーマルマップの各座標でノーマルベクトル及び前記入力映像の対応座標で前記仮想光源の光ベクトル間のドット積を前記陰影情報として算出するステップを含むことを特徴とする請求項28乃至31のいずれか一項に記載の方法。

請求項33

前記陰影情報を生成するステップは、前記オブジェクト上の前記仮想光源から投影される光が前記オブジェクトによって反射する方向を指示する前記入力映像の各座標における反射ベクトル、及び前記オブジェクトをユーザが視聴する方向を指示するビューベクトル間のドット積を前記陰影情報として算出するステップを含むことを特徴とする請求項28乃至31のいずれか一項に記載の方法。

請求項34

前記陰影情報を生成するステップは、前記仮想光源の光ベクトル及び前記表面ノーマルマップに基づいて前記反射ベクトルを算出するステップを含むことを特徴とする請求項33に記載の方法。

請求項35

前記陰影情報を前記入力映像に適用することは再照明された映像を生成し、前記方法は前記入力映像の明るさヒストグラムに基づいて前記再照明された映像のトーンを調整するステップをさらに含むことを特徴とする請求項28乃至34のいずれか一項に記載の方法。

請求項36

前記再照明された映像のトーンを調整するステップは、前記入力映像の明るさヒストグラムに基づいて複数のトーン調整スタイルからトーン調整スタイルを選択するステップと、前記再照明された映像のトーンを調整するために前記再照明された映像に前記選択されたトーン調整スタイルを適用するステップと、を含むことを特徴とする請求項35に記載の方法。

技術分野

0001

以下、イメージの明るさを調整する技術が提供される。

背景技術

0002

スマートフォンなどのようなスマート機器が広く普及されており、このようなスマート機器は、一般的にユーザによってコンテンツ制作できるようにカメラが内蔵されている。スマート機器は、内蔵されたカメラを用いて写真及び動画などを撮影する。また、スマート機器は、撮影された写真を表示したり動画を再生する機能を提供する。

0003

さらに、スマート機器は、ユーザがイメージなどを編集できる機能を提供する。例えば、ユーザは、スマート機器によって撮影されたイメージをユーザ自分の好みに応じてイメージの色及びの大きさなどを変更し得る。スマート機器は、ユーザがより便利でナチュラルにイメージ編集できるよう編集機能を提供することができる。

発明が解決しようとする課題

0004

本発明の目的は、イメージの明るさを調整する技術が提供する。

課題を解決するための手段

0005

一実施形態によるイメージの明るさを調整する方法は、オブジェクトが示される入力イメージから抽出された前記オブジェクトの1つ以上の特徴点に基づいて、オブジェクトモデルを前記オブジェクトにマッチングするステップと、前記マッチングされたオブジェクトモデルに基づいて、2次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングするステップと、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて、前記入力イメージに対する陰影情報を生成するステップとを含む。

0006

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点ノーマルベクトルを補間して前記表面ノーマルマップを生成するステップを含む。

0007

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記オブジェクトモデルに関してデータベースに予め格納された表面ノーマルモデルを前記表面ノーマルマップに変換し得る。

0008

前記オブジェクトモデルを前記入力イメージにマッチングするステップは、前記オブジェクトモデルの特徴点の座標を前記入力イメージの特徴点の座標に変換する変換関数を決定するステップを含む。

0009

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記決定された変換関数を用いて、表面ノーマルモデルの各座標を変換して2次元イメージ形式の表面ノーマルマップを生成するステップを含む。

0010

前記陰影情報を生成するステップは、前記表面ノーマルマップのそれぞれの座標のノーマルベクトル及び前記入力イメージで該当座標における前記仮想光源による光ベクトル間のドット積演算を行うステップを含む。

0011

前記ドット積演算を行うステップは、前記仮想光源の位置及び前記入力イメージにおける各ピクセルの該当位置間の関係又は前記仮想光源の照明方向に基づいて該当ピクセルに入射される前記光ベクトルを決定するステップを含む。

0012

イメージの明るさを調整する方法は、前記陰影情報を前記入力イメージに反映して再照明されたイメージを生成するステップと、前記入力イメージの明るさヒストグラムに基づいて前記再照明されたイメージのトーンを調整するステップとをさらに含み得る。

0013

前記再照明されたイメージのトーンを調整するステップは、前記入力イメージのピクセルの全体個数に対する前記入力イメージで予め定めた明るさ範囲のピクセル数比率に基づいて、前記再照明されたイメージの少なくとも一部領域でピクセルのトーンに加重値を付加するステップを含む。

0014

イメージの明るさを調整する方法は、前記仮想光源の強度、位置、色、照明方向、及びタイプのうち少なくとも1つを指示する制御信号を受信するステップをさらに含み得る。

0015

前記オブジェクトは人の顔であり得る。

0016

一実施形態によるイメージの明るさを調整する装置は、オブジェクトが示される入力イメージから抽出された前記オブジェクトの特徴点に基づいてオブジェクトモデルを前記オブジェクトにマッチングし、前記マッチングされたオブジェクトモデルに基づいて2次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングし、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて前記入力イメージに対する陰影情報を生成するプロセッサを含む。

0017

前記プロセッサは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成し得る。

0018

装置は、前記オブジェクトモデルに関する表面ノーマルモデルをデータベースに格納するメモリをさらに含み、前記プロセッサは、前記表面ノーマルモデルを前記表面ノーマルマップに変換して前記表面ノーマルマップを生成し得る。

0019

前記プロセッサは、前記オブジェクトモデルの特徴点の座標を前記入力イメージの特徴点の座標に変換する変換関数を決定し得る。

0020

前記プロセッサは、前記決定された変換関数を用いて表面ノーマルモデルの各座標を変換して2次元イメージ形式の表面ノーマルマップを生成し得る。

0021

前記プロセッサは、前記表面ノーマルマップのそれぞれの座標のノーマルベクトル及び前記入力イメージで該当座標における前記仮想光源による光ベクトル間のドット積演算を行う。

0022

前記プロセッサは、前記仮想光源の位置及び前記入力イメージにおける各ピクセルの位置間の関係又は前記仮想光源の照明方向のいずれか1つに基づいて前記入力イメージの前記該当ピクセルで前記光ベクトルを決定し得る。

0023

前記プロセッサは、前記陰影情報を前記入力イメージに反映して再照明されたイメージを生成し、前記入力イメージの明るさヒストグラムに基づいて前記再照明されたイメージのトーンを調整し得る。

0024

前記プロセッサは、前記入力イメージのピクセルの全体個数に対する前記入力イメージで予め定めた明るさ範囲のピクセル数の比率に基づいて、前記再照明されたイメージの少なくとも一部領域でピクセルのトーンに加重値を付加し得る。

0025

他の実施形態によるイメージの明るさを調整する装置は、オブジェクトが示される入力イメージを受信するイメージ受信部と、前記入力イメージから抽出された前記オブジェクトの特徴点に基づいてオブジェクトモデルを前記オブジェクトにマッチングし、前記マッチングされたオブジェクトモデルに基づいて2次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングし、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて前記入力イメージに対する陰影情報を生成するプロセッサとを含む。

0026

前記イメージ受信部はカメラであり得る。

0027

装置は、前記入力イメージに前記陰影情報を反映して表現するディスプレイをさらに含み得る。

0028

前記プロセッサは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成し得る。

0029

装置は、前記オブジェクトモデルに関する表面ノーマルモデルをデータベースに格納するメモリをさらに含み、前記プロセッサは、前記表面ノーマルモデルを前記表面ノーマルマップに変換し得る。

0030

前記プロセッサは、ユーザがオブジェクトを見る方向を指示するビューベクトル及び前記仮想光源から前記オブジェクトに投射された光が前記オブジェクトによって反射した方向を指示する反射ベクトルに基づいて前記陰影情報を生成し得る。

0031

一実施形態による映像の明るさを調整する方法は、オブジェクトモデル及び映像におけるオブジェクトの特徴点に基づいて入力映像の表面ノーマルマップを生成するステップと、仮想光源及び前記表面ノーマルマップに基づいて前記入力映像のための陰影情報を生成するステップと、前記入力映像の明るさを調整するために前記入力映像に前記陰影情報を適用するステップとを含む。

0032

前記オブジェクトモデルは、前記オブジェクトの前記特徴点に対応する特徴点及び前記オブジェクトモデルの前記特徴点に対応するノーマルベクトルを含み、前記表面ノーマルマップを生成するステップは、前記入力映像の座標でノーマルベクトルを取得するために前記オブジェクトモデルの前記ノーマルベクトルを補間するステップを含み得る。

0033

前記表面ノーマルマップを生成するステップは、前記オブジェクトモデル及び前記オブジェクトの前記特徴点に基づいて前記表面ノーマルマップに表面ノーマルモデルを変換するステップを含み得る。

0034

前記方法は、前記オブジェクトモデルの特徴点及び前記オブジェクトの前記特徴点に基づいて前記オブジェクトで前記オブジェクトモデルをマッチングさせるステップをさらに含み、前記表面ノーマルマップを生成するステップは、他の方向から前記オブジェクトのビューに対応する複数の表面ノーマルモデルを前記オブジェクトにマッチングされた前記オブジェクトモデルの前記特徴点に対してマッチングさせた結果を結合することによって前記表面ノーマルマップを生成するステップを含み得る。

0035

前記陰影情報を生成するステップは、前記表面ノーマルマップの各座標でノーマルベクトル及び前記入力映像の対応座標で前記仮想光源の光ベクトル間のドット積を前記陰影情報として算出するステップを含み得る。

0036

前記陰影情報を生成するステップは、前記オブジェクト上の前記仮想光源から投影される光が前記オブジェクトによって反射する方向を指示する前記入力映像の各座標における反射ベクトル、及び前記オブジェクトをユーザが視聴する方向を指示するビューベクトル間のドット積を前記陰影情報として算出するステップを含み得る。

0037

前記陰影情報を生成するステップは、前記仮想光ベクトル及び前記表面ノーマルマップに基づいて前記反射ベクトルを算出するステップを含み得る。

0038

前記陰影情報を前記入力映像に適用することは再照明された映像を生成し、前記方法は前記入力映像の明るさヒストグラムに基づいて前記再照明された映像のトーンを調整するステップをさらに含み得る。

0039

前記再照明された映像のトーンを調整するステップは、前記入力映像の明るさヒストグラムに基づいて複数のトーン調整スタイルからトーン調整スタイルを選択するステップと、前記再照明された映像のトーンを調整するために前記再照明された映像に前記選択されたトーン調整スタイルを適用するステップとを含み得る。

発明の効果

0040

本発明によると、イメージの明るさを調整する技術を提供することができる。

図面の簡単な説明

0041

一実施形態によるイメージの明るさを調整する方法を概略的に示したフローチャートである。
一実施形態によるイメージの明るさを調整する方法の例示を細部的に示す図である。
一実施形態によるイメージの明るさを調整する方法の例示を細部的に示す図である。
一実施形態によるイメージの明るさを調整する方法の他の例示を細部的に示す図である。
一実施形態によるイメージの明るさを調整する方法の他の例示を細部的に示す図である。
一実施形態によるイメージの明るさを調整する方法の他の例示を細部的に示す図である。
一実施形態による光源の種類に応じる光ベクトルの例示を説明する図である。
一実施形態による光源の種類に応じる光ベクトルの例示を説明する図である。
一実施形態によるビューベクトル及び反射ベクトルに基づいた陰影情報の生成を説明する図である。
一実施形態による光源の強度に応じて再照明されたイメージを示す図である。
一実施形態による光源の位置に応じて再照明されたイメージを示す図である。
一実施形態によるイメージの明るさを調整する装置の例示的なグラフィクユーザインタフェースを示す図である。
一実施形態による再照明されたイメージにトーンが調整された例を示す図である。
一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。
一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。
一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。
一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。
一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。
一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。
一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。
一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。

実施例

0042

以下、本発明を実施するための形態の具体例を、図面を参照しながら、詳細に説明する。各図面で提示された同一の参照符号は同一の部材を示す。

0043

本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

0044

異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

0045

また、図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、それに対する重複説明を省略する。本実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。

0046

図1は、一実施形態によるイメージの明るさを調整する方法を概略的に示したフローチャートである。

0047

まず、ステップS110において、イメージの明るさを調整する装置のプロセッサは、オブジェクトが示される入力イメージから抽出されたオブジェクトの特徴点に基づいてオブジェクトモデルをオブジェクトにマッチングする。例えば、プロセッサは、オブジェクトモデルの各特徴点の座標を入力イメージでそれに対応する特徴点の座標に一致させることによって、入力イメージのオブジェクトにオブジェクトモデルをマッチングし得る。プロセッサは、オブジェクトの一般的な形態に対して指定された全ての特徴点が抽出されていない場合でも、予め定めた特徴点が抽出されたり予め定めた個数以上の特徴点が抽出されれば、入力イメージのオブジェクトにオブジェクトモデルをマッチングする。入力イメージはオブジェクトが示されるイメージとして、2次元形式のイメージであり得る。例えば、入力イメージは、停止した写真又は動画の各フレームであり得る。

0048

オブジェクトは背景と区別され、入力イメージに示される対象を示す。オブジェクトは様々なタイプであり、例えば、オブジェクトのタイプは人の顔、人の身体、動物、及びモノなどであってもよい。特徴点はオブジェクトの特徴を示す点として、例えば、人の顔タイプのオブジェクトの特徴点は目、、及び口などのように指定される。

0049

オブジェクトモデルは、特定タイプのオブジェクトに対する特徴点が予め指定されている汎用モデルを示す。例えば、オブジェクトモデルは、予め定めた大きさ(例えば、入力イメージと同一の大きさ)のイメージで各特徴点が特定座標に位置するものと定義される。オブジェクトモデルは、特定タイプのオブジェクトの一般的な形態(例えば、オブジェクトのアウトライン、及びオブジェクトの特徴点の間の幾何構造など)及びこのような一般的な形態上に特徴点が指定された位置を含む2次元イメージ形式又は3次元イメージ形式のモデルであり得る。オブジェクトモデルが3次元イメージ形式である場合、プロセッサは、オブジェクトモデルを2次元である入力イメージにマッチンすることができる。

0050

一実施形態によると、プロセッサは、オブジェクトモデルの輪郭をオブジェクトの輪郭に一致させ得る。下記では、オブジェクトが人の顔タイプである場合を仮定して説明するが、これに限定することなく、他のタイプのオブジェクトに対しても適用される。例えば、特定動物の頭に対して、該当動物の頭の特徴点及び一般的な形態を有するオブジェクトモデルを用いてもよい。

0051

例えば、プロセッサは、正確な一致のために従来における顔輪郭抽出アルゴリズムを人の顔が示される入力イメージに適用してもよい。異なる例として、リアルタイム動作優先される場合には、プロセッサは顔を楕円オブジェクトタイプに応じてオブジェクトの概略的な輪郭に対応する図形)に仮定し、各特徴点の比例により楕円を変形する。上述した顔輪郭抽出アルゴリズムは、追加的な演算時間所要されることで、プロセッサは、リアルタイムプレビューモード(例えば、下記の図10に示すイメージをメモリに格納することなく、ユーザにプレビューを提供するモード)では顔を楕円として仮定して変形する方法を適用し、再照明されたイメージを格納するとき(例えば、ユーザが撮影ボタンクリックして再照明されたイメージを格納)は、顔輪郭抽出アルゴリズムを適用して精密度を高めることができる。顔の輪郭が正確に一致すれば、陰影効果を適用するとき顔輪郭と背景との間の境界で生じる誤差が減少し得る。

0052

そして、ステップS120において、プロセッサは、マッチングされたオブジェクトモデルに基づいて2次元イメージ形式の表面ノーマルマップを入力イメージにマッピングする。表面ノーマルマップのマッピングは下記で詳細に説明する。

0053

表面ノーマルマップは、入力イメージの各ピクセルの座標に対してオブジェクトの表面に対応するノーマルベクトルがマッピングされたマップを示す。入力イメージに示されるオブジェクト上の特定ピクセルにマッピングされたノーマルベクトルは、該当ピクセルで該当オブジェクトの表面の法線上のベクトル値を有し得る。一実施形態によると、表面ノーマルマップは2次元イメージ形式として、例えば、2次元座標のそれぞれにノーマルベクトルがマッピングされる。入力イメージの解像度がm*nである場合、該当の入力イメージにノーマルベクトルがマッピングされたマップを下記の数式(1)のように示すことができる。(ここで、n、mは1以上の整数

0054

上述した数式(1)において、入力イメージの各ピクセルの座標にマッピングされるノーマルベクトルは3次元ベクトルであるwxy、uxy、vxyに表現され、wxyは(x、y)位置のピクセルに対応するノーマルベクトルのx方向成分、uxyは(x、y)位置のピクセルに対応するノーマルベクトルのy方向成分、vxyは(x、y)位置のピクセルに対応するz方向成分を示す(xは1以上n以下の整数、yは1以上m以下の整数)。例えば、x方向成分はR色値、y方向成分はG色値、z方向成分はB色値に表現されてもよい。ただし、本明細書で座標系直交座標系に限定することなく、設計に応じて様々な座標系が適用され得る。また、ノーマルベクトルもRGBカラー値に表現したが、これに限定することなく、YCbCrカラー値などのような様々な色に表現され得る。

0055

次にステップS130において、プロセッサは、マッピングされた表面ノーマルマップ及び仮想光源に基づいて入力イメージに対する陰影情報を生成する。例えば、プロセッサは、表面ノーマルマップに基づいてオブジェクトに仮想光源による光が投射される場合の陰影効果を示す陰影情報を生成する。一実施形態によると、プロセッサは、表面ノーマルマップのそれぞれの座標のノーマルベクトル及び該当座標における仮想光源による光ベクトル間のドット積演算を行い、ドット積演算の結果に基づいて陰影情報を生成する。プロセッサは、仮想光源による光ベクトルを仮想光源の位置及び入力イメージにおける各特徴点の位置間の関係に基づいて決定し、下記の図6A及び図6Bを参照して光ベクトルの算出及びドット積演算を詳細に説明することにする。

0056

陰影効果は、入力イメージの少なくとも一部領域のピクセルが明るくなったり暗くなる効果を示す。陰影情報は、入力イメージの特定ピクセルが明るくなったり暗くなる程度を示す情報である。

0057

図2及び図3は、一実施形態によるイメージの明るさを調整する方法の例示を細部的に示す図である。

0058

図2は、各特徴点にノーマルベクトルが割り当てられたオブジェクトモデルを補間して生成された表面ノーマルマップを用いてイメージの明るさを調整する方法のフローチャートであり、図3は、入力イメージが図2に示された方法によって処理される過程を示す。

0059

まず、ステップS210において、イメージの明るさを調整する装置のイメージ受信部は入力イメージ301を受信する。例えば、イメージ受信部がカメラであってもよく、カメラは入力イメージ301を撮影する。イメージ受信部が通信部である場合、通信部は有無線通信によって入力イメージ301を外部から受信することができる。

0060

そして、ステップS220において、イメージの明るさを調整する装置のプロセッサは、入力イメージ301に示されるオブジェクトの特徴点302を抽出する。プロセッサは、オブジェクトのタイプに応じて該当タイプに特化した方式によってオブジェクトの特徴点302を抽出し得る。例えば、プロセッサは、オブジェクトのタイプが人の顔である場合、人の顔の特徴点302を抽出するアルゴリズム(例えば、PCA(Principal Component Analysis)、LDA(Linear discriminate analysis)など)を用いて特徴点302を抽出する。例えば、図3に示すように、プロセッサは、人の顔で目、鼻及び口に対応する特徴点302を抽出する。プロセッサは、オブジェクトの一般的な形態に対して設定された全ての特徴点のうち少なくとも一部を抽出する。ただし、特徴点を抽出するアルゴリズムを上述の内容に限定することなく、上述した特徴点も単なる例示であって、目、鼻、及び口のように限定することはない。

0061

次に、ステップS110において、プロセッサは図1を参照して上述したように、図3に示すようにオブジェクトモデル201をオブジェクトにマッチングする。図3に示すようにオブジェクトモデル201は予めデータベースに格納される。

0062

一実施形態によると、プロセッサは、オブジェクトモデル201をオブジェクトにマッチングするための変換関数を決定する。変換関数は、オブジェクトモデル201の特徴点の座標を入力イメージの特徴点302の座標に変換する関数として、例えば、オブジェクトモデルの特徴点の座標及び入力イメージの特徴点302の座標間の関係を示す。

0063

そして、ステップS120において、プロセッサは図1を参照して上述したように表面ノーマルマップ303を入力イメージ301にマッピングする。より具体的に、ステップS230において、プロセッサは、マッチングされたオブジェクトモデル201の各特徴点が位置する地点のノーマルベクトルを補間して表面ノーマルマップ303を生成する。例えば、図2に示されたオブジェクトモデル201は、特徴点でのみノーマルベクトルが指定されており、プロセッサは、特徴点の間の空間に対してノーマルベクトルを補間し得る。そのため、プロセッサは、リアルタイムでオブジェクトに適応的な表面ノーマルマップ303を生成することができる。オブジェクトモデル201の幾何構造の精密度に応じて表面ノーマルマップ303の品質が決定される。

0064

次に、ステップS130において、プロセッサは、図1を参照して上述したように陰影情報304を生成する。プロセッサは、仮想光源設定202により仮想光源を設定する。仮想光源設定202は、仮想光源の強度、位置、色、照明方向、及びタイプのうち少なくとも1つを設定する制御信号として、ユーザによって設定されたり自動設定される。陰影情報304は、オブジェクトの各座標で明るさが増加したり減少しなければならない程度を示す加重値に関する情報を含み、図3に示された陰影情報304で明るく表示された領域は、明るさが増加する加重値を有する領域、暗く表示された領域を明るさが減少する加重値を有する領域を示す。

0065

一実施形態によると、プロセッサは、入力イメージ301上で顔の特徴点に基づいて整列された表面ノーマルマップ303とユーザによって指定された仮想光源の方向/位置、強度、タイプなどに基づいて顔に対する陰影情報304を生成する。例えば、プロセッサは、顔領域内の各ピクセルに対して表面ノーマルマップ303に割り当てられたノーマルベクトルと該当ピクセルに対して指定された光ベクトルとの間のドット積演算によって、顔領域の各ピクセルの陰影情報304を算出することができる。

0066

そして、ステップS240において、プロセッサは、陰影情報304を入力イメージ301に反映してトーンを調整する。例えば、プロセッサは、陰影情報304を入力イメージ301に反映して再照明されたイメージ309を生成する。プロセッサは、入力イメージ301の明るさヒストグラムに基づいて再照明されたイメージ309のトーンを調整する。一実施形態によると、プロセッサは、入力イメージ301の全体ピクセルに対する予め定めた明るさ範囲のピクセルの比率に基づいて再照明されたイメージ309の少なくとも一部領域に対応するピクセルのトーンに加重値を付加する。

0067

一実施形態によると、プロセッサは、顔領域内の各ピクセルごとの陰影情報304を、ユーザが指定したり自動設定されるトーン調整スタイルに応じて最終陰影情報にアップデートすることができる。プロセッサは、最終陰影情報を入力イメージ301に反映して顔領域に陰影効果を表現する。また、プロセッサは、入力イメージ301及び再照明されたイメージ309のトーンを調整する場合、オブジェクト(例えば、顔)の輪郭部分における不一致を最小化するため、オブジェクトと背景の境界領域にブラー効果などを適用する。

0068

図4図5A、及び図5Bは、一実施形態によるイメージの明るさを調整する方法の他の例示を細部的に示す図である。

0069

図4は、予め格納されたオブジェクトモデル201及びオブジェクトモデル201に関して、格納された表面ノーマルモデル401を用いてイメージの明るさを調整する方法を示すフローチャートである。図5A及び図5Bは、入力イメージ301が図4に示された方法によって処理される過程を示す。

0070

まず、ステップS210において、イメージの明るさを調整する装置のイメージ受信部は、図2を参照して上述したように入力イメージ301を受信する。そして、ステップS220において、プロセッサは図2を参照して上述したように入力イメージ301に示されるオブジェクトの特徴点302を抽出する。次に、ステップS110において、プロセッサは図1を参照して上述したように、図5Aに示すようにオブジェクトモデル201をオブジェクトにマッチングする。そして、ステップS120において、プロセッサは表面ノーマルマップ501を入力イメージ301にマッピングする。ここで、図3に示す表面ノーマルマップ303とは相違に、図5Aに示す表面ノーマルマップ501は、表面ノーマルモデル401が変換されたものである。次に、ステップS130において、プロセッサは図1を参照して上述したように、表面ノーマルマップ501及び仮想光源に基づいて陰影情報304を生成する。そして、ステップS240において、プロセッサは、図2を参照して上述したようにトーンを調整する。図4図5A及び図5Bに示された上述したステップS210、220、110、130、240は図2及び図3を参照して上述したため、具体的な説明を省略する。ただし、図4に示すステップS120は、図4のステップS430を介して詳細に説明する。

0071

一実施形態によると、ステップS430において、プロセッサは、オブジェクトモデル201に関してデータベースに図5Aに示された予め格納された表面ノーマルモデル401を変換して表面ノーマルマップ501を生成する。例えば、プロセッサは、表面ノーマルモデル401の各特徴点をステップS110でオブジェクトにマッチングされたオブジェクトモデル201の特徴点に一致させることで、表面ノーマルモデル401を変換する。一実施形態によると、プロセッサは、上述したステップS110で決定された変換関数を用いて、ステップS430で予め格納された表面ノーマルモデル401の各座標を変換し、図5Aに示すように、2次元イメージ形式の表面ノーマルマップ501を生成する。表面ノーマルマップ501は、入力イメージ301のオブジェクトの位置に合わせて整列され得る。

0072

表面ノーマルモデル401は、2次元イメージの各座標ごとに各座標に対応するノーマルベクトルがマッピングされているモデルを示す。例えば、表面ノーマルモデル401は、オブジェクトモデル201に関して予め格納された2次元イメージ形式のモデルであり得る。表面ノーマルモデル401は、図5Aに示すように、特定タイプのオブジェクトの一般的な形態上の各ピクセルの座標にノーマルベクトルが割り当てられ、特徴点が予め指定され得る。

0073

また、他の一実施形態によると、図5Bに示すように、複数の表面ノーマルモデル401〜404が様々な角度で予め格納されてもよい。この場合、ステップS430において、プロセッサは、複数の表面ノーマルモデル401〜404のそれぞれをオブジェクトにマッチングされたオブジェクトモデル201の特徴点に一致させた結果を結合して表面ノーマルマップ501を生成する。例えば、プロセッサは、オブジェクトにマッチングされたオブジェクトモデル201の特徴点と複数の表面ノーマルモデル401〜404のそれぞれの特徴点との類似度を算出し、複数の表面ノーマルモデル401〜404のそれぞれをオブジェクトモデル201の特徴点に一致させた結果を、算出された類似度の比率に応じて結合し得る。

0074

例えば、オブジェクトが特定方向を見ている場合、該当オブジェクトに対応するオブジェクトモデル201の特徴点と正面表面ノーマルモデル401、上端部表面ノーマルモデル402、下端部表面ノーマルモデル403、及び左側表面ノーマルモデル404のそれぞれの特徴点の類似度の比率がa:b:c:dに算出される(ここで、a、b、c、dは0と1との間の実数であり、a、b、c、dの総合は1)。プロセッサは、正面表面ノーマルモデル401をオブジェクトモデル201の特徴点に一致させた結果にはaの加重値、上端部表面ノーマルモデル402をオブジェクトモデル201の特徴点に一致させた結果にはbの加重値、下端部表面ノーマルモデル403をオブジェクトモデル201の特徴点に一致させた結果にはcの加重値、左側表面ノーマルモデル404をオブジェクトモデル201の特徴点に一致させた結果にはdの加重値を付与し合算することで、表面ノーマルマップ501を生成することができる。

0075

ただし、図5Bでは、4個の表面ノーマルモデル401〜404のみを示しているが、これに限定することなく、設計に応じて様々な角度の表面ノーマルモデルが予め格納されて表面ノーマルマップ501を生成するため使用され得る。また、プロセッサは、左側表面ノーマルモデル404を左右反転することによって、右側に対する表面ノーマルモデルを生成して活用することもできる。

0076

図6A及び図6Bは、一実施形態による光源の種類に応じる光ベクトルの例示を説明する図である。

0077

イメージの明るさを調整するために用いられる仮想光源の種類は、ユーザによって又は自動決定される。仮想光源は、入力イメージに照明効果を及ぼすように設定された光源として、例えば、仮想光源は、スポット光源又は方向性光源を用いてもよい。ただし、仮想光源の種類をこれに限定することはない。

0078

本明細書において、スポット光源は、特定位置に設定された仮想光源から全方向に光が放出するように設定された仮想光源を示す。方向性光源は、特定方向に光が放出するように設定された仮想光源を示し、例えば、太陽などのように極めて遠い距離に位置する光源の場合は実質的に同じ方向を有する光が達する。

0079

光ベクトルは、仮想光源から放出された光の特定地点に対する方向及びの大きさなどを示す。光ベクトルは、仮想光源による光源効果の程度及び方向を示す。以下、本明細書では正規化された大きさを有する光ベクトルを基準にして説明するが、これに限定することはない。

0080

例えば、スポット光源に対してプロセッサは、仮想光源の位置及び入力イメージにおける各ピクセルの位置間の関係に基づいて該当ピクセルに入射される光ベクトルを決定する。したがって、スポット光源に対する光ベクトルは、スポット光源の位置に応じて変わり得る。スポット光源の光ベクトルは、下記の図6Aを参照して説明する。

0081

他の例として、方向性光源に対してプロセッサは、仮想光源の照明方向に基づいて該当のピクセルに入射される光ベクトルを決定する。したがって、方向性光源に対する光ベクトルは、予め一定のベクトル値に定められる。方向性光源の光ベクトルは下記の図6Bを参照して説明する。

0082

図6Aは、スポット光源による光ベクトルを説明するための図である。

0083

一実施形態によると、入力イメージ610に示されるオブジェクト620上で任意のピクセル630に対してスポット光源601から放出された光が投射される。スポット光源601の位置情報(例えば、スポット光源601の座標)はユーザによって指定されたり自動指定される。スポット光源601による光ベクトル640は、スポット光源601の位置情報でのみ算出される。例えば、スポット光源601から該当ピクセル630に投射される光を光ベクトル640に示され、光ベクトル640は、スポット光源601と該当ピクセル630との間の正規化された位置差として示すことができる。例えば、スポット光源601の位置がSx、Sy、Sz(例えば、ユーザによって又は自動指定される)であり、任意のピクセル630の入力イメージ610上の位置がx、y、0(ここで、入力イメージ610上の全てのピクセルのz座標は0であると仮定)である場合、プロセッサは、該当ピクセル630に投射される光ベクトル640はL=[x−Sx、y−Sy、−Sz]に示し、さらに、これを正規化した値を有するよう算出することができる。例えば、光ベクトル640は、光ベクトル640の長さによってx−Sx、y−Sy、及び−Szを割ることで正規化される。

0084

例えば、表面ノーマルマップで、入力イメージ610上のx、y位置上におけるノーマルベクトル値がwxy、uxy、vxyである場合、プロセッサはx、y位置に対してスポット光源601による光ベクトルLとノーマルベクトル間のドット積演算の結果値としてwxy(x−Sx)+uxy(y−Sy)+vxy(−Sz)を算出し得る。

0085

図6Bは、方向性光源による光ベクトル680を説明するための図である。

0086

一実施形態によると、方向性光源609は、入力イメージ650から極めて遠い距離に位置すると仮定し、方向性光源から入力イメージ650のオブジェクト660上の全てのピクセル670に対して同一の光が投射され得る。方向性光源609の方向はユーザによって指定されたり自動指定される。方向性光源609は、入力イメージ650上のオブジェクト660から極めて遠い距離に位置すると仮定され、方向性光源609による光の投射方向のみが指定されると、方向性光源609によってオブジェクト660の各ピクセル670に投射される光ベクトル680は全て同一である。例えば、方向性光源609によって各ピクセル670に投射される光ベクトル680は全てL=[Lx、Ly、Lz]に示す。Lxはx軸方向に対する光の方向、Lyはy軸方向に対する光の方向、Lzはz軸方向に対する光の方向を示す。

0087

例えば、表面ノーマルマップで入力イメージ650上のx、y位置上におけるノーマルベクトル値がwxy、uxy、vxyである場合、プロセッサはx、y位置に対して方向性光源609による光ベクトルLとノーマルベクトルとの間のドット積演算の結果値としてwxyLx+uxyLy+vxyLzを算出し得る。

0088

上述した図6A及び図6Bでは、プロセッサが光ベクトル及びノーマルベクトル間のドット積演算に基づいて陰影情報を生成したが、これに限定することはない。下記、図7では他の方式の陰影情報生成について説明する。

0089

図7は、一実施形態によるビューベクトル及び反射ベクトルに基づいた陰影情報の生成を説明する図である。

0090

ビューベクトル750は、ユーザが入力イメージ710又はオブジェクト720を見る方向を指示するベクトルを示す。反射ベクトル742は、光源701から投射された光がオブジェクト720のいずれかのピクセル730に達した後、反射する光を指示するベクトルを示す。したがって、反射ベクトル742は、光ベクトル741がオブジェクト720から反射したベクトルであり得る。例えば、プロセッサは、反射ベクトル742を次式により算出する。

0091

ここで、Lは光ベクトル741、n^はノーマルベクトル743を示す。

0092

一実施形態によると、プロセッサは、ビューベクトル750及び反射ベクトル742をドット積790することで陰影情報を生成することができる。例えば、ユーザが正面から機器を観察する一般的な場合、ビューベクトル750が0、0、1であるため、プロセッサは反射ベクトル742のz方向成分のみを選択して陰影情報として生成し得る。

0093

一実施形態によると、図6A及び図6Bに示すスポット光源及び方向性光源の全てに対して、図7に示されたビューベクトル750及び反射ベクトル742に基づいた陰影情報を生成する方式が適用される。例えば、図6Aに示されたスポット光源より、図6Bに示された方向性光源のように特定方向に光が放出されるよう設定され、反射する光の方向も特定方向に示される場合にビューベクトル750に基づいて生成された陰影情報は、視点と一致するほど明るく表現され得る。

0094

図8は、一実施形態による光源の強度に応じて再照明されたイメージを示す図である。

0095

例えば、図8は、入力イメージ301の明るさが上述した図1〜図5に示す方法により調整された、再照明されたイメージ810、820、830を示す。

0096

図8に示すそれぞれの再照明されたイメージ810、820、830は互いに仮想光源の強度が相違に設定された例を示す。第1再照明されたイメージ810は仮想光源の強度が低い場合、第2再照明されたイメージ820は仮想光源の強度が中間程度である場合、第3再照明されたイメージ830は仮想光源の強度が高い場合を示す。

0097

図8に示すように、第1再照明されたイメージ810の一部領域811、812に比べて、第2再照明されたイメージ820の一部領域821、822の明るさが比較的高く調整される。また、第2再照明されたイメージ820の一部領域821、822の明るさよりも第3再照明されたイメージ830の一部領域831、832の明るさが比較的高く調整される。

0098

ただし、図8において、入力イメージ301の一部領域の明るさ増加についてのみ説明したが、これに限定することなく、仮想光源による照明効果はオブジェクトの全般的な領域に影響を与え、さらに一部領域の明るさが減少(例えば、影効果など)されることがある。

0099

一実施形態によると、仮想光源の強度に応じてイメージの明るさを調整する装置は、入力イメージ301に示されるオブジェクトの明るさを違和感なしにナチュラルに増加させたり減少させ得る。

0100

図9は、一実施形態による光源の位置に応じて再照明されたイメージを示す図である。

0101

例えば、図9は、入力イメージ301の明るさが上述した図1〜図5に示す方法により調整された再照明されたイメージ910、920、930を示す。図9において、仮想光源909は方向性光源であり得る。

0102

図9に示すそれぞれの再照明されたイメージ910、920、930は互いに仮想光源909の方向が相違に設定された例を示す。第4再照明されたイメージ910は、左側上端部からオブジェクトに向かって−45度方向に光が投射されるように設定された仮想光源909が適用された結果を示す。第5再照明されたイメージ920は、正面上端部からオブジェクトに向かって0度方向に光が投射されるように設定された仮想光源909が適用された結果を示す。第6再照明されたイメージ930は、右側上端部からオブジェクトに向かって+45度方向に光が投射されるように設定された仮想光源909が適用された結果を示す。

0103

図9に示すように、第4再照明されたイメージ910では、−45度方向に光が投射される仮想光源909によって、オブジェクト(図9では人の顔)の右側下端部領域911の明るさが減少し得る。第5再照明されたイメージ920では、正面上端部からオブジェクトに向かって光が投射される仮想光源909により、顔の下端部領域921の明るさが減少し得る。第6再照明されたイメージ930では、右側上端部からオブジェクトに向かって光が投射される仮想光源909により、顔の左側下端部領域931の明るさが減少し得る。図9では仮想光源909によってオブジェクトに発生する影効果を示すこともある。

0104

ただし、図9において、入力イメージ301の一部領域の明るさの減少(例えば、影効果)についてのみ説明したが、これに限定することなく、仮想光源909による照明効果はオブジェクトの全般的な領域に影響を与え、さらに一部領域の明るさが増加することもある。

0105

一実施形態によると、イメージの明るさを調整する装置は、仮想光源909の位置及び方向などにより、入力イメージに示されるオブジェクトの明るさを違和感なしにナチュラルに増加させたり減少させることができる。

0106

図10は、一実施形態によるイメージの明るさを調整する装置の例示的なグラフィクユーザインタフェース(Graphical User Interface:GUI)を示す図である。

0107

イメージの明るさを調整する装置1000は、例えば、スマートフォンであり得る。ただし、これに限定することはない。イメージの明るさを調整する装置1000は、上述した図1〜図5に示す方法を行う過程で求められるユーザ操作を受信する。例えば、図10は、仮想光源設定に対するユーザ操作を受信するためのグラフィクユーザインタフェースを示す。

0108

例えば、図10に示されたグラフィクユーザインタフェースは、光源タイプインタフェース1010、光源位置方向インタフェース1020、及び光源強度インタフェース1030などを含む。インタフェースの種類及びデザインなどはこれに限定することなく、設計に応じて様々なインタフェースを用いてもよい。

0109

光源タイプインタフェース1010は、ユーザから仮想光源のタイプの指定に関する操作を受信するように設定される。例えば、図10に示す装置1000は、光源タイプインタフェース1010によってユーザからスポット光源及び方向性光源のいずれか1つを指定する操作を受信する。

0110

光源位置/方向インタフェース1020は、仮想光源のタイプに応じてユーザから仮想光源の位置及び方向のうち少なくとも1つの指定に関する操作を受信するよう設定される。

0111

図10でスポット光源が選択された場合、光源位置/方向インタフェース1020は、仮想光源の位置を指定する操作を受信する。スポット光源は、光源の全方向に光を投射するためスポット光源の位置のみが指定されれば、スポット光源による光ベクトルが入力イメージのそれぞれのピクセルに対して導出(任意のピクセルにおける光ベクトルは、該当ピクセルの座標及びスポット光源の座標間の位置差に算出)され、位置のみを指定するインタフェースにも光ベクトルに基づいた光源効果の表現が可能になる。一実施形態によると、プロセッサは、予め指定された複数の位置に対するインタフェース(図示せず)をユーザに提供し、ユーザからスポット光源の位置に対する選択を受信すると、該当位置をスポット光源の位置として設定する。例えば、ユーザによって中間アイコン活性化されれば、装置1000は、仮想光源の位置をオブジェクトから正面上の予め設定された地点に設定することができる。

0112

図10で方向性光源が選択された場合、光源位置/方向インタフェース1020は、仮想光源の方向を指定する操作を受信する。方向性光源は、イメージ上の全てのピクセルに対して同じ方向を有する光を投射するものと仮定されることができるため、方向性光源の方向のみが指定されれば、方向性光源による光ベクトルが入力イメージのそれぞれのピクセルに対して導出され、方向を指定するインタフェースにも光ベクトルに基づいた光源効果の表現が可能になる。一実施形態によると、プロセッサは、予め指定された複数の方向に対するインタフェースをユーザに提供し、ユーザから方向性光源の方向に対する選択を受信すれば、該当方向を方向性光源の方向として設定する。例えば、ユーザによって右側アイコンが活性化されれば、装置1000は、仮想光源から投射される光ベクトルの方向を右側上端部からオブジェクトに向かうように設定することができる。

0113

光源強度インタフェース1030は、ユーザから仮想光源の強度の指定に関する操作を受信するように設定される。図10において、仮想光源の強度は、レベル0(例えば、仮想光源off)〜レベル5(例えば、仮想光源強度最大)まで区分され、例えば、ユーザによってレベル3に対応するアイコンが活性化されれば、装置1000は、仮想光源の強度をレベル3(中間程度)に設定する。ただし、仮想光源の強度区分を上述の内容に限定することなく、n個のレベル(ここで、nは1以上の整数)に区分されるように設定できる。

0114

プレビューインタフェースは、再照明されたイメージ1009を提供する。また、プレビューインタフェースは、再照明されたイメージ1009のトーンを調整した結果を提供できる。例えば、プレビューインタフェースは、光源設定インタフェース(図10において1010〜1030)及びトーン調整インタフェース(図示せず)などによって受信されるユーザの操作をリアルタイムに反映して生成された再照明されたイメージ1009を提供する。例えば、光源強度インタフェース1030によって光源の強度が変更されれば、装置1000は、変更された光源強度が反映された再照明されたイメージ1009をリアルタイムに表示できる。

0115

ただし、イメージの明るさを調整する装置1000のグラフィクユーザインタフェースを図10に示す内容に限定することなく、再照明されたイメージ1009のトーンを調整(例えば、図2及び図4のステップS240)するためのインタフェース、写真撮影のためのインタフェース、及び再照明されたイメージ1009の格納のためのインタフェースなどのような様々なインタフェースを提供できる。

0116

図11は、一実施形態による再照明されたイメージにトーンが調整された例を示す図である。

0117

一実施形態によると、装置のプロセッサは、図1〜図5に示すステップS240で陰影情報を入力イメージ301に反映してトーンを調整する。例えば、プロセッサは、入力イメージ301に陰影情報を反映して再照明されたイメージを生成し、再照明されたイメージのトーンを調整する。図11ではトーン調整の4種類のスタイルを図示しているが、トーン調整のスタイルをこれに限定することはない。

0118

第1スタイルはイメージで明るい領域及び暗い領域のピクセルのトーンに対して加重値を付加するスタイルを示す。第1スタイルによると、例えば、プロセッサは、明るい領域に対応するピクセルと暗い領域に対応するピクセルのトーンに同じ加重値を付加する。この場合、明るい領域が加重値によって明るくなる程度及び暗い領域が加重値によって暗くなる程度の比率が同一であり、第1スタイルによりトーンの調整された再照明されたイメージ1110は、全体的な明暗が明確になる。第1スタイルを「dark&bright」スタイルと示す。

0119

明るい領域に対応するピクセルは、ピクセルの明るさが予め定めた閾値よりも大きいピクセルを示し、暗い領域に対応するピクセルはピクセルの明るさが予め定めた閾値以下であるピクセルを示す。

0120

第2スタイルは、上述した第1スタイルと同じ加重値を付加し、さらに暗い領域に対応するピクセルに特定影色をさらに付加するスタイルを示す。第2スタイルによりトーンの調整された再照明されたイメージ1120は、人の皮膚トーン(例えば、色)と類似に設定された影色をさらに付加することで、陰影効果をよりナチュラルに示し得る。第2スタイルを「shadow color mixing」スタイルと示す。

0121

第3スタイルは、明るい領域に対応するピクセルは保持して暗い領域に対応するピクセルのトーンに加重値を付加するスタイルを示す。第3スタイルによりトーンの調整された再照明されたイメージ1130は暗い領域がより強調され、入力イメージ301が全般的に明るく撮影された場合に適する。第3スタイルを「dark tone」スタイルと示す。

0122

第4スタイルは、暗い領域に対応するピクセルを保持して明るい領域に対応するピクセルのトーンに加重値を付加するスタイルを示す。第4スタイルによりトーンの調整された再照明されたイメージ1140は明るい領域がより強調され、入力イメージ301が全般的に暗く撮影された場合に適する。第4スタイルを「bright tone」スタイルと示す。

0123

上述したトーン調整のスタイルは、グラフィクユーザインタフェースを用いて受信されるユーザ操作に応じて決定されたり自動決定される。下記の図12図15では、トーン調整のスタイルが自動決定される例示を説明する。

0124

図12図15は、一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。

0125

図12は、上述した図11に示す第1スタイルによりトーンの調整された再照明されたイメージ1210、図13は第2スタイルによりトーンの調整された再照明されたイメージ1310、図14は第3スタイルによりトーンの調整された再照明されたイメージ1410、図15は第4スタイルによりトーンの調整された再照明されたイメージ1510を示す。

0126

プロセッサは、入力イメージの明るさヒストグラム1220、1320、1420、1520に基づいてトーン調整のスタイルを決定し、決定されたスタイルにより再照明されたイメージ1210、1310、1410、1510のトーンを調整する。例えば、プロセッサは、入力イメージの全体ピクセルに対する予め定めた明るさ範囲のピクセルの比率に基づいて、再照明されたイメージ1210、1310、1410、1510の少なくとも一部領域に対応するピクセルのトーンに加重値を付加する。図12図15に示された明るさヒストグラム1220、1320、1420、1520は、入力イメージのピクセルの明るさ分布を示し、例えば、横軸は明るさを示し、縦軸入力イメージ内で横軸の明るさを有するピクセル数を示す。ただし、明るさヒストグラム1220、1320、1420、1520は、入力イメージに関するものを例にしたが、これに限定することなく、再照明されたイメージ1210、1310、1410、1510の明るさヒストグラムを用いてもよい。

0127

一実施形態によると、プロセッサは、入力イメージのピクセルの明るさが第2閾値の明るさ以下でありながら第1閾値の明るさよりも大きいピクセル数が全体ピクセルのうち予め定めた第1比率以上の個数である場合に応答して、陰影情報で暗い領域及び明るい領域に加重値を付加することができる。例えば、プロセッサは、入力イメージの図12に示された明るさヒストグラム1220のように、入力イメージの明るさが中間程度である場合、第1スタイルによりトーンを調整し得る。

0128

一実施形態によると、プロセッサは、入力イメージのピクセルの明るさが第3閾値の明るさ以下であり、第2閾値の明るさよりも大きいピクセル数が全体ピクセルのうち予め定めた第2比率以上の個数である場合に応答して、陰影情報で暗い領域及び明るい領域に加重値を付加して予め定めた影色を暗い領域に付加する。例えば、プロセッサは、入力イメージの図13に示された明るさヒストグラム1320のように入力イメージの明るさが中間程度である場合、第2スタイルによりトーンを調整し得る。

0129

一実施形態によると、プロセッサは、入力イメージのピクセルの明るさが第3閾値の明るさよりも大きいピクセル数が全体ピクセルのうち予め定めた第3比率以上の個数である場合に応答して、陰影情報で暗い領域に加重値を付加する。例えば、プロセッサは、図14に示された明るさヒストグラム1420のように入力イメージの明るさが強い明るさである場合、第3スタイルによりトーンを調整し得る。

0130

一実施形態によると、プロセッサは、入力イメージのピクセルの明るさが第1閾値の明るさ以下であるピクセル数が全体ピクセルのうち予め定めた第4比率以上の個数である場合に応答して、陰影情報で明るい領域に加重値を付加する。例えば、プロセッサは、図15に示された明るさヒストグラム1520のように入力イメージの明るさが弱い場合、第4スタイルによりトーンを調整し得る。

0131

ただし、トーン調整の各スタイルの適用を上述した内容によって限定することなく、ユーザの好み、背景イメージの状況、ユーザの操作、及び設計などに応じてスタイルの適用基準を多様に変更することができる。

0132

図16図19は、一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。

0133

一実施形態によるイメージの明るさを調整する装置1600は、図16に示すようにプロセッサ1610を含む。また、図17図19に示すように、メモリ1720、イメージ受信部1830、及びディスプレイ1940をさらに含んでもよい。

0134

プロセッサ1610は、上述した図1〜図5を参照して説明したイメージの明るさを調整する方法を行う。例えば、プロセッサ1610は、オブジェクトが示される入力イメージから抽出されたオブジェクトの特徴点に基づいてオブジェクトモデルをオブジェクトにマッチングし、マッチングされたオブジェクトモデルに基づいて2次元イメージ形式の表面ノーマルマップを入力イメージにマッピングし、マッピングされた表面ノーマルマップ及び仮想光源に基づいて入力イメージに対する陰影情報を生成する。

0135

メモリ1720は、ハードウェアと結合して一実施形態によるイメージの明るさを調整する方法を実行させるために、媒体に格納されたコンピュータプログラムを含む。また、メモリ1720は、オブジェクトモデル及びオブジェクトモデルに関する表面ノーマルモデルなどをデータベースに予め格納する。例えば、メモリ1720は、入力イメージ、再照明されたイメージ、及びトーンの調整された再照明されたイメージを格納し、陰影情報及び表面ノーマルマップなどのように図1〜図5に示す方法を行うために必要であったり実行する過程で生成されるデータを格納する。

0136

イメージ受信部1830は、外部から入力イメージを受信する。例えば、イメージ受信部1830は、カメラにより撮影された入力イメージを受信する。また、イメージ受信部1830は、有無線通信によって入力イメージを受信する。

0137

ディスプレイ1940はイメージを表示する。一実施形態によると、ディスプレイ1940は、入力イメージに陰影情報を反映して表現し得る。例えば、ディスプレイ1940は、入力イメージ、再照明されたイメージ、及びトーンが調整されたイメージなどを表示する。本明細書ではイメージを停止した写真を例に挙げて説明したが、これに限定することなくイメージの明るさを調整する装置1600は動画に対しても適用される。イメージが動画である場合、プロセッサ1610は、動画の各フレームに対して上述した図2図15に示す方法をリアルタイムに実行し、各フレームに示されるオブジェクトに対してナチュラルな陰影効果を適用できる。ディスプレイ1940は、スクリーンプロジェクター、LCD、及びOLEDなどを含む。

0138

一実施形態による装置1600は、イメージを処理することのできるプロセッサ1610を含む電子装置1600であって、例えば、スマートフォン及びカメラなどであり得る。

0139

一実施形態による装置1600は、カメラにより撮影された顔に複雑度の低いグラフィックレンダリング技術(例えば、光源による照明効果及びSoft Shading)を適用してナチュラルな陰影効果を付加的に表現することができる。スマートフォンなどのようなモバイルスマート機器において性能が制限されているが、小型スマート機器でナチュラルな陰影効果をリアルタイムに入力イメージへ反映しながらもその性能は低下しない。例えば、装置1600は、スマートフォンやカメラなどのモバイルスマート機器に内蔵されたCPU、GPU及び標準グラフィックスS/Wを活用して、照明に関する複雑な物理演算なしにオブジェクトに対して仮想光源による陰影効果をリアルタイムに表現できる。

0140

また、装置1600は、人の顔が正面で撮影された場合(例えば、selfie camera)に陰影効果をよりナチュラルに反映し得る。装置1600は、写真を撮影するとき(例えば、撮影された写真をプレビューした後格納するとき)仮想光源による陰影効果を顔領域にリアルタイムにオーバーレイすることができ、上述した方法によって撮影されたイメージを容易に編集できる。

0141

一実施形態によると、装置1600は、複雑な3D幾何構造モデルを使用することなく、簡単な幾何構造モデル(例えば、オブジェクトモデル)を利用しながらも高い品質の陰影効果を取得できる。また、装置1600は、照明演算を表面ノーマルマップを用いて光ベクトルとのドット積に単純化することにより、複雑な演算を行うことなく、リアルタイムに微細な陰影効果を表現できる。

0142

また、装置1600は、陰影効果を適用するとき撮影状況に応じてトーン調整のスタイルを手動又は自動選択することができることから、よりナチュラルな陰影効果を表現できる。装置1600は、単にイメージをフィルタリングすることに比べて、よりナチュラルで目鼻立ちがはっきりするように再照明されたイメージを取得できる。

0143

以上述した装置は、ハードウェア構成要素ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータFPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で行われる1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素及び/又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサのような、他の処理構成も可能である。

0144

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの1つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び/又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型機械、構成要素、物理的装置仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは1つ以上のコンピュータ読み取り可能な記録媒体に格納される。

0145

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイルデータ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスクフロッピー登録商標ディスク及び磁気テープのような磁気媒体CD−ROM、DVDのような光記録媒体フロティカルディスクのような磁気光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

0146

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

0147

1600イメージの明るさを調整する装置
1610プロセッサ
1720メモリ
1830 イメージ受信部
1940 ディスプレイ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 富士ゼロックス株式会社の「 画像処理装置及びプログラム」が 公開されました。( 2020/09/24)

    【課題】本開示の技術は、色見本表に対する測色の誤りを回避することができる画像処理装置及びプログラムを提供する。【解決手段】画像処理装置は、複数の色見本が行列状に配置され、前記複数の色見本に含まれる予め... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ