図面 (/)

技術 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム

出願人 セイコーエプソン株式会社
発明者 松平正年
出願日 2008年3月14日 (12年8ヶ月経過) 出願番号 2008-066204
公開日 2009年10月1日 (11年1ヶ月経過) 公開番号 2009-223523
状態 拒絶査定
技術分野 画像処理 イメージ分析
主要キーワード 操作メニュ 独立クレーム 代表距離 区分数 実サイズ 顔領域毎 デジタルズーム倍率 縦横比率
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年10月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

画像処理を被写体の特徴に適合させることができる技術を提供することを目的とする。

解決手段

対象画像における人物の顔の実際のサイズと相関のあるサイズ指標値を算出し、サイズ指標値に従って対象画像に対する特定の処理を実行する。

概要

背景

従来より、種々の画像処理が利用されている。例えば、色を補正する処理や、被写体を変形させる処理がある。また、画像処理には、このような画像自体修正する処理に限らず、画像を出力する処理や(印刷と表示とを含む)、画像を分類する処理といった、画像自体の修正の無い画像処理もある。

特開2004−318204

概要

画像処理を被写体の特徴に適合させることができる技術を提供することを目的とする。対象画像における人物の顔の実際のサイズと相関のあるサイズ指標値を算出し、サイズ指標値に従って対象画像に対する特定の処理を実行する。

目的

本発明は、上記の課題の少なくとも一部を解決するためになされたものであり、画像処理を被写体の特徴に適合させることができる技術を提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像処理装置であって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する顔領域検出部と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出するサイズ算出部と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する画像処理部と、を備える、画像処理装置。

請求項2

請求項1に記載の画像処理装置であって、前記画像処理部は、第1範囲内に前記サイズ指標値がある場合に第1処理を実行する、画像処理装置。

請求項3

請求項2に記載の画像処理装置であって、前記画像処理部は、前記第1範囲とは重ならない第2範囲内に前記サイズ指標値がある場合に、前記第1処理とは異なる第2処理を実行する、画像処理装置。

請求項4

請求項2または請求項3に記載の画像処理装置であって、前記画像処理部は、前記第1処理として、前記対象画像上における前記顔の少なくとも一部分に対してシャープネス強調処理を実行する、画像処理装置。

請求項5

請求項3に記載の画像処理装置であって、前記第2範囲は、前記第1範囲よりも大きい範囲であり、前記画像処理部は、前記第2処理として、前記対象画像上における前記顔の少なくとも一部分を小さくする処理を実行する、画像処理装置。

請求項6

請求項1ないし請求項5のいずれかに記載の画像処理装置であって、前記対象画像は撮像装置によって生成された画像であり、前記関連情報は、前記対象画像の撮像時における前記撮像装置から前記人物までの距離と相関のある撮像距離情報と、前記撮像時における前記撮像装置のレンズ焦点距離と相関のある焦点距離情報と、前記撮像装置の撮像素子上の受光領域の前記対象画像を生成した部分のサイズと関連のある撮像素子情報と、を含み、前記サイズ算出部は、前記関連情報と、前記顔のサイズを反映する前記対象画像上のサイズと、を利用して、前記サイズ指標値を算出する、画像処理装置。

請求項7

プリンタであって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する顔領域検出部と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出するサイズ算出部と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する画像処理部と、前記画像処理部による処理後の前記対象画像を印刷する印刷部と、を備えるプリンタ。

請求項8

画像処理方法であって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する工程と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出する工程と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する工程と、を備える画像処理方法。

請求項9

画像処理のためのコンピュータプログラムであって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する機能と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出する機能と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する機能と、をコンピュータに実現させるコンピュータプログラム。

技術分野

0001

本発明は、画像処理装置画像処理方法画像処理のためのコンピュータプログラムに関するものである。

背景技術

0002

従来より、種々の画像処理が利用されている。例えば、色を補正する処理や、被写体を変形させる処理がある。また、画像処理には、このような画像自体修正する処理に限らず、画像を出力する処理や(印刷と表示とを含む)、画像を分類する処理といった、画像自体の修正の無い画像処理もある。

0003

特開2004−318204

発明が解決しようとする課題

0004

ところで、画像に写る被写体は、種々の特徴を有し得る。例えば、被写体が人物である場合がある。この場合には、さらに、その人物が大きい場合や、その人物が小さい場合がある。しかし、従来は、画像処理を被写体の特徴に適合させる点に関しては十分な工夫がなされていないのが実情であった。

0005

本発明は、上記の課題の少なくとも一部を解決するためになされたものであり、画像処理を被写体の特徴に適合させることができる技術を提供することを目的とする。

課題を解決するための手段

0006

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

0007

[適用例1]画像処理装置であって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する顔領域検出部と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出するサイズ算出部と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する画像処理部と、を備える、画像処理装置。

0008

この構成によれば、顔の実際のサイズと相関のあるサイズ指標値に従って対象画像に対して特定の処理が実行されるので、対象画像に関する処理を、顔の実際のサイズに適合させることが可能である。その結果、画像処理を被写体の特徴に適合させることができる。

0009

[適用例2]適用例1に記載の画像処理装置であって、前記画像処理部は、第1範囲内に前記サイズ指標値がある場合に第1処理を実行する、画像処理装置。

0010

この構成によれば、サイズ指標値が第1範囲内にある場合に、その第1範囲内のサイズ指標値に相当する実サイズの顔を表す画像に関して、意図的に第1処理を実行することができる。

0011

[適用例3]適用例2に記載の画像処理装置であって、前記画像処理部は、前記第1範囲とは重ならない第2範囲内に前記サイズ指標値がある場合に、前記第1処理とは異なる第2処理を実行する、画像処理装置。

0012

この構成によれば、サイズ指標値が第2範囲内にある場合に、その第2範囲内のサイズ指標値に相当する実サイズの顔を表す画像に関して、第1処理とは異なる第2処理を意図的に実行することができる。

0013

[適用例4]適用例2または適用例3に記載の画像処理装置であって、前記画像処理部は、前記第1処理として、前記対象画像上における前記顔の少なくとも一部分に対してシャープネス強調処理を実行する、画像処理装置。

0014

この構成によれば、第1範囲内のサイズ指標値に相当する実サイズの顔の少なくとも一部分をくっきりさせることができる。

0015

[適用例5]適用例3に記載の画像処理装置であって、前記第2範囲は、前記第1範囲よりも大きい範囲であり、前記画像処理部は、前記第2処理として、前記対象画像上における前記顔の少なくとも一部分を小さくする処理を実行する、画像処理装置。

0016

この構成によれば、第2範囲内のサイズ指標値に相当する実サイズの顔の少なくとも一部分を小さくすることができる。

0017

[適用例6]適用例1ないし適用例5のいずれかに記載の画像処理装置であって、前記対象画像は撮像装置によって生成された画像であり、前記関連情報は、前記対象画像の撮像時における前記撮像装置から前記人物までの距離と相関のある撮像距離情報と、前記撮像時における前記撮像装置のレンズ焦点距離と相関のある焦点距離情報と、前記撮像装置の撮像素子上の受光領域の前記対象画像を生成した部分のサイズと関連のある撮像素子情報と、を含み、前記サイズ算出部は、前記関連情報と、前記顔のサイズを反映する前記対象画像上のサイズと、を利用して、前記サイズ指標値を算出する、画像処理装置。

0018

この構成によれば、関連情報に従って、適切にサイズ指標値を算出することができる。

0019

[適用例7]プリンタであって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する顔領域検出部と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出するサイズ算出部と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する画像処理部と、前記画像処理部による処理後の前記対象画像を印刷する印刷部と、を備えるプリンタ。

0020

[適用例8]画像処理方法であって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する工程と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出する工程と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する工程と、を備える画像処理方法。

0021

[適用例9]画像処理のためのコンピュータプログラムであって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する機能と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出する機能と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する機能と、をコンピュータに実現させるコンピュータプログラム。

0022

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

発明を実施するための最良の形態

0023

次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
B.第2実施例:
C.第3実施例:
D.第4実施例:
E.変形例:

0024

A.第1実施例:
図1は、本発明の一実施例としてのプリンタ100を示す説明図である。このプリンタ100は、制御部200と、印刷エンジン300と、ディスプレイ310と、操作パネル320と、カードインターフェース(I/F)330と、を備えている。

0025

制御部200は、CPU210と、RAM220と、ROM230とを含むコンピュータである。この制御部200は、プリンタ100の各構成要素を制御する。

0026

印刷エンジン300は、与えられた印刷データを利用して印刷を実行する印刷機構である。印刷機構としては、インク滴印刷媒体吐出して画像を形成する印刷機構や、トナーを印刷媒体上に転写定着させて画像を形成する印刷機構等の種々の印刷機構を採用可能である。

0027

ディスプレイ310は、制御部200からの命令に従って、操作メニューや画像を含む種々の情報を表示する。ディスプレイ310としては、液晶ディスプレイ有機ELディスプレイ等の種々のディスプレイを採用可能である。

0028

操作パネル320は、ユーザの指示を受け入れる装置である。操作パネル320は、例えば、操作ボタンダイヤルタッチパネルを含む。

0029

カードI/F330は、メモリカードMCのインターフェースである。制御部200は、メモリカードMCに格納された画像ファイルをカードI/F330を介して読み出す。そして、制御部200は、読み出した画像ファイルを利用して、印刷を実行する。

0030

図2は、ROM230(図1)に格納されたモジュールとデータとを示す説明図である。本実施例では、顔領域検出モジュール400と、サイズ算出モジュール410と、画像処理モジュール420と、印刷データ生成モジュール430と、機種サイズテーブル440と、がROM230に格納されている。これらのモジュール400〜430は、CPU210によって実行されるプログラムである。また、各モジュール400〜430は、RAM220を介して互いにデータの送受信が可能である。各モジュール400〜430の機能の詳細については後述する。

0031

図3は、機種サイズテーブル440の一例を示す概略図である。機種サイズテーブル440は、画像生成装置(例えば、デジタルスチルカメラ)の機種と、その機種の撮像素子(「受光デバイス」、あるいは、「イメージセンサ」とも呼ばれる)のサイズと、の対応関係を格納している。本実施例では、撮像素子の受光領域の形状が矩形であることとしている。そして、撮像素子のサイズとして、その受光領域(矩形)の高さSH(短辺の長さ)と幅SW(長辺の長さ)を採用している。このように、撮像素子のサイズは、画像生成装置の機種毎に予め決まっている。従って、機種は、撮像素子上の受光領域のサイズと関連がある(本実施例では、機種は、特許請求の範囲における「撮像素子情報」に相当する)。

0032

図4は、印刷処理の手順を示すフローチャートである。制御部200(図1)は、操作パネル320に入力されたユーザの指示に応答して、この印刷処理を開始する。この印刷処理では、制御部200は、ユーザの指示によって指定された画像ファイルに含まれる画像データによって表される画像を印刷する。以下、ユーザによって指定された画像ファイルを「対象画像ファイル」と呼び、対象画像ファイルに格納されている画像データを「対象画像データ」と呼び、対象画像データによって表される画像を「対象画像」とも呼ぶ。

0033

最初のステップS100では、顔領域検出モジュール400(図2)が、対象画像データを解析し、対象画像から顔領域を検出する。顔領域は、対象画像上の領域であり、顔の少なくとも一部の画像を含む領域を意味している。

0034

図5(A)、5(B)は、それぞれ、顔領域の検出結果を示す概略図である。図5(A)は、大人を表す第1対象画像IMG1からの検出結果を示し、図5(B)は、子供を表す第2対象画像IMG2からの検出結果を示している。第1対象画像IMG1からは、第1顔領域FA1が検出され、第2対象画像IMG2からは、第2顔領域FA2が検出されている。図示するように、本実施例では、両目と口との画像を含む矩形領域が、顔領域として検出される。そして、第1対象画像IMG1のように、顔が小さく写っている場合には、小さい顔領域が検出される。第2対象画像IMG2のように、顔が大きく写っている場合には、大きい顔領域が検出される。このように、顔領域のサイズは、顔の対象画像上のサイズと相関がある。なお、顔領域の縦横比は、対象画像中の顔に従って変化して良い。ただし、縦横比が固定されてもよい。また、検出される顔領域としては、顔の少なくとも一部の画像を含む任意の領域を採用可能である。例えば、顔領域が顔の全体を含んでも良い。

0035

なお、本実施例では、対象画像の形状が矩形であり、画像高さIHと画像幅IWとは、対象画像の高さ(短辺の長さ)と幅(長辺の長さ)とを、それぞれ示している(単位は画素数)。顔領域高さSIH1と顔領域幅SIW1とは、第1顔領域FA1の高さと幅とを、それぞれ示している(単位は画素数)。同様に、顔領域高さSIH2と顔領域幅SIW2とは、第2顔領域FA2の高さと幅を、それぞれ示している。

0036

顔領域検出モジュール400による顔領域の検出方法としては、公知の種々の方法を採用可能である。本実施例では、顔の器官である目のテンプレート画像と口のテンプレート画像とを用いたパターンマッチングによって、顔領域が検出される。なお、このような顔領域の検出方法としては、テンプレートを利用したパターンマッチングによる種々の方法(例えば、特開2004−318204参照)を採用可能である。

0037

なお、1つの対象画像には複数の顔が含まれる場合がある。この場合には、顔領域検出モジュール400は、1つの対象画像から複数の顔領域を検出する。

0038

次のステップS110では、サイズ算出モジュール410は、対象画像ファイルから関連情報を取得する。本実施例では、撮像装置(例えば、デジタルスチルカメラ)は、Exif(Exchangeable Image File Format)規格に則って、画像ファイルを生成する、こととしている。このような画像ファイルは、画像データに加えて、撮像装置の機種や撮像時のレンズ焦点距離といった付加情報を含んでいる。このような付加情報は、対象画像データに関連付けられた情報ということができる。

0039

本実施例では、サイズ算出モジュール410は、対象画像ファイルから以下の情報を取得する。
1)被写体距離
2)レンズ焦点距離
3)デジタルズーム倍率
4)モデル
被写体距離は、撮像時の撮像装置と被写体との間の距離を表している。レンズ焦点距離は、撮像時のいわゆるレンズ焦点距離を表している。デジタルズーム倍率は、撮像時のいわゆるデジタルズーム倍率を表している。一般には、デジタルズームとして、画像データの周辺部分をクロップするとともに、元の画素数となるように残りの画像データに対して画素補間を行う、という処理が利用されている。これらの情報は、いずれも、撮像時の撮像装置の動作設定を表している。モデル名は、撮像装置の機種(モデル)を表している。典型的な撮像装置は、撮像によって画像データを生成し、そして、画像データと付加情報とを含む画像ファイルを生成する。

0040

図4の次のステップS120では、サイズ算出モジュール410は、顔領域に対応する実サイズを算出する。図6は、画像上の画素数と実サイズとの関係を示す説明図である。図中には、被写体SBと、レンズシステムLSと、撮像素子ISと、の位置関係を示す側面図が示されている。レンズシステムLSは、複数のレンズを含み得る。ただし、図6では、簡略化のために、1つのレンズがレンズシステムLSを示している。さらに、図中には、以下の要素が示されている。すなわち、被写体の実サイズAS(実際の長さ)と、被写体距離SDと、レンズ焦点距離FLと、撮像素子ISの長さ(高さSH)と、撮像素子ISの受光面(結像面)上に形成された被写体SBを表す結像PIと、結像PIのサイズ(高さ方向の画素数SSH)と、デジタルズーム倍率DZRと、画像のサイズ(高さ方向の総画素数IH)と、画像上の被写体のサイズ(高さ方向の画素数SIH)と、である。

0041

なお、被写体SBの実サイズASは、高さ方向(撮像素子ISの高さ方向に相当する)に沿った長さを示している。ステップS110で取得された被写体距離SDは、レンズシステムLSの光学中心主点PP)と被写体SBとの間の距離とほぼ同じである。そして、レンズ焦点距離FLは、レンズシステムLSの光学中心(主点PP)と撮像素子IS上の結像面との間の距離を示している。

0042

よく知られているように、主点PPと被写体SBとで決まる三角形と、主点PPと結像PIとで決まる三角形とは、相似である。従って、以下の関係式(1)が成立する。
AS:SD=SSH:FL...(式1)
ここで、各パラメータAS、SD、SSH、FLが、同じ単位(例えば、「cm」)で表されていることとしている。また、実際には、被写体SB側からみたレンズシステムLSの主点が、結像PI側からみたレンズシステムLSの主点と、異なる場合もある。ただし、図6に示す関係においては、その差違は十分に小さいので、その差違を省略している。

0043

ここで、被写体の画像上のサイズSIHは、結像PIのサイズSSHにデジタルズーム倍率DZRを乗じて得られる値と同じである(SIH=SSH*DZR)。画像上の被写体のサイズSIHは、実際には、画素数で表される。そして、撮像素子ISの高さSHは、総画素数IHに相当する。これらから、結像PIのサイズSSHは、画素数SIHを用いて、ミリメータ単位で以下の式(2)で表される。
SSH=(SIH*SH/IH/)/DZR ...(式2)
ここで、撮像素子ISの高さSHが、ミリメータ単位で表されていることとしている。

0044

上述の式(1)と式(2)とから、被写体SBの実サイズASは、以下の式(3)で表される。
AS=(SD*100)*((SIH*SH/IH)/DZR)/FL...(式3)
ここで、各パラメータの単位が以下のように設定されていることとする。すなわち、被写体SBの実サイズASは「cm」単位で表され、被写体距離SDは「m」単位で表され、撮像素子ISの高さSHは「mm」単位で表され、レンズ焦点距離FLは「mm」単位で表されている。

0045

以上の「式3」に従って、サイズ算出モジュール410(図2)は、顔領域に対応する実サイズを算出する。図5(A)に示す第1実サイズAS1は、第1顔領域FA1の高さSIH1から算出された実サイズを示し、図5(B)に示す第2実サイズAS2は、第2顔領域FA2の高さSIH2から算出された実サイズを示している。上述したように、顔領域のサイズは、顔の対象画像上のサイズと相関がある。従って、算出された実サイズは、被写体の顔の実際のサイズ(例えば、頭の頂上からの先端までの長さ)と正の相関がある。すなわち、算出された実サイズが大きいほど、被写体の顔の実際のサイズは大きい。なお、この実サイズは、特許請求の範囲における「サイズ指標値」に相当する。

0046

図4の次のステップS130では、画像処理モジュール420(図2)は、算出された実サイズが15cmよりも大きいか否かを判断する。実サイズが15cmより大きい場合には、画像処理モジュール420は、ステップS140の処理を実行する。例えば、図5(A)に示す第1実サイズAS1が15cmよりも大きいこととする。この場合、画像処理モジュール420は、第1対象画像IMG1を処理するために、ステップS140に移行する。

0047

図7は、ステップS140の処理の概略図である。本実施例では、図4に示すように、ステップS140は、3つのステップS142、S144、S146を含んでいる。

0048

最初のステップS142は、顔を小さくする変形処理である。本実施例では、この変形処理は、顔の下半分を小さくする。換言すれば、この変形処理は、顔の顎のラインを細くする。撮像によって生成された画像は、被写体の幅が実際の幅よりも広いという印象を、観察者に与えやすい。この変形処理によって、画像の観察者が受ける印象を、実際の被写体の印象に近づけることができる。

0049

画像処理モジュール420は、このような変形処理を、公知の種々の方法に従って実行可能である。例えば、画像処理モジュール420は、変形の対象部分を表す変形領域を決定し、この変形領域内の画像を変形してもよい。変形領域は、顔の下部分を含む部分領域である。このような変形領域としては、例えば、顔領域に基づいて所定の規則に従って決まる領域を採用可能である。例えば、顔領域を所定の規則に従って拡大した領域を採用可能である。図7の実施例では、第1顔領域FA1に基づいて変形領域DA1が設定されている。また、変形領域DA1内の画像の変形方法としても、公知の種々の方法を採用可能である。例えば、変形領域DA1を所定のパターンに従って複数の小領域に分割し、各小領域を所定の規則に従って拡大、あるいは、縮小する方法を採用可能である。

0050

なお、変形処理は、顔の少なくとも一部分を小さくする処理であればよい。例えば、顔の目よりも下の部分の幅を小さくする処理を採用してもよい。また、顔の全体の幅を小さくする処理を採用してもよい。

0051

次のステップS144(図4)は、顔(特に肌)の色を補正する処理である。この色補正処理は、対象画像の観察者が受ける顔(肌)の色の印象を、実際の被写体の印象に近づけるための処理である。例えば、肌色の明るさを高めてもよい。また、肌色の色相を所定の色相に近づけてもよい。画像処理モジュール420(図2)は、このような色補正対象画素として、顔の肌色を示す画素を選択する。このような対象画素の選択方法としては、種々の方法を採用可能である。例えば、画像処理モジュール420は、顔領域内の肌色画素を選択してもよい。ここで、肌色画素は、所定の肌色範囲の色を示す画素を意味している。また、画像処理モジュール420は、顔領域内の肌色画素に加えて、顔領域の周辺部分の肌色画素を選択してもよい。

0052

次のステップS146(図4)は、顔(特に肌)のぼかし処理である。このぼかし処理は、対象画像中のノイズを低減する処理である。このようなぼかし処理としては、種々の処理を採用可能である。例えば、いわゆるアンシャープマスクを利用したシャープネス低減処理を採用可能である。なお、本実施例では、画像処理モジュール420は、ぼかし処理の対象画素として、顔の肌色を示す画素を選択する。対象画素の選択方法としては、色補正(ステップS144)の対象画素の選択方法と同様に、種々の方法を採用可能である。

0053

一方、実サイズが15cm以下である場合には、画像処理モジュール420は、ステップS150の処理を実行する(図4)。例えば、図5(B)に示す第2実サイズAS2が15cm以下であることとする。この場合、画像処理モジュール420は、第2対象画像IMG2を処理するために、ステップS150に移行する。

0054

図8は、ステップS150の処理の概略図である。本実施例では、図4に示すように、ステップS150は、2つのステップS152、S154を含んでいる。

0055

最初のステップS152では、顔領域検出モジュール400(図2)は、目領域を検出する。目領域は、目の画像を含む領域を意味している。目領域は、ステップS100で検出された顔領域から検出される。図8に示す実施例では、2つの目領域DA2a、DA2bが検出されている。本実施例では、1つの目領域は、1つの目を含むように設定される。なお、顔領域検出モジュール400は、顔領域の検出と同様に、目領域を検出する。

0056

次のステップS154では、画像処理モジュール420(図2)は、目領域のシャープネス強調処理を実行する。これにより、対象画像における目をくっきりさせることができる。なお、シャープネス強調処理としては、種々の処理を採用可能である。例えば、いわゆるアンシャープマスクを利用したシャープネス強調処理を採用可能である。

0057

サイズ算出モジュール410(図2)と画像処理モジュール420とは、図4のステップS120〜S150の処理を、検出された顔領域毎に繰り返し実行する。例えば、1枚の対象画像に大人と子供とが写っている場合には、画像処理モジュール420は、大人の顔にはステップS140の処理を実行し、子供の顔にはステップS150の処理を実行する。全ての顔領域に関する処理が完了した場合には(ステップS160:Yes)、処理がステップS170に移行する。なお、顔が検出されなかった場合には、サイズ算出モジュール410と画像処理モジュール420とは、ステップS120〜S160の処理を、キャンセルする。

0058

ステップS170では、印刷データ生成モジュール430は、画像処理モジュール420による処理後の画像データを利用して、印刷データを生成する。印刷データのフォーマットとしては、印刷エンジン300に適した任意の形式を採用可能である。例えば、本実施例では、印刷データ生成モジュール430は、解像度変換処理色変換処理ハーフトーン処理を実行することによって、各インクドット記録状態を表す印刷データを生成する。そして、印刷データ生成モジュール430は、生成した印刷データを印刷エンジン300(図1)に供給する。印刷エンジン300は、受信した印刷データに従って印刷を実行する。そして、図4の処理が完了する。なお、印刷データ生成モジュール430と印刷エンジン300(図1)との全体は、特許請求の範囲における「印刷部」に相当する。

0059

以上のように、本実施例では、画像処理モジュール420(図2)は、顔領域に対応する実サイズに応じて画像処理を実行する。従って、画像処理を、顔の実際のサイズに適合させることができる。その結果、画像処理を被写体の特徴に適合させることができる。特に、本実施例では、画像処理モジュール420は、実サイズが閾値より大きいか否かに応じて、処理を切り替えている。従って、画像処理モジュール420は、子供の顔と大人の顔とを区別して処理を実行することができる。なお、実サイズの閾値は、15cmに限らず、他の値を採用可能である。一般には、閾値を、実験的に決定すればよい。なお、本実施例では、実サイズが閾値以下の範囲は、特許請求の範囲における「第1範囲」に相当する。また、実サイズが閾値より大きい範囲は、「第2範囲」に相当する。

0060

また、画像処理モジュール420は、実サイズが閾値以下の場合には、目領域のシャープネス強調処理を実行する(図4:S150)。これにより、目をくっきりさせることができる。その結果、対象画像上の子供の顔の印象を、実際の印象に近づけることができる。

0061

なお、シャープネス強調処理の対象としては、目領域に限らず、顔の任意の部分を採用可能である。例えば、口の画像を含む口領域を採用してもよい。また、顔の全体を採用してもよい。

0062

なお、ステップS150の処理としては、シャープネス強調処理に限らず、他の任意の処理を採用可能である。例えば、目を大きくする変形処理を採用してもよい。

0063

また、画像処理モジュール420は、実サイズが閾値より大きい場合には、以下の3つの処理を実行する(図4:S140)。第1の処理は、顔を小さくする処理である。第2の処理は、顔の肌の色の補正処理である。第3の処理は、顔の肌のぼかし処理である。これらの結果、対象画像上の大人の顔の印象を、実際の印象に近づけることができる。

0064

なお、ステップS140の処理としては、これら3つの処理の全ての代わりに、3つの処理から任意に選択された1つあるいは2つの処理を採用してもよい。例えば、顔を小さくする処理のみを採用してもよい。また、顔の肌のぼかし処理のみを採用してもよい。これらの2つの処理を採用してもよい。また、ステップS140の処理としては、これらの処理に限らず、他の任意の処理を採用可能である。

0065

なお、一般には、ステップS140の処理が、ステップS150の処理では実行されない処理を含むことが好ましい。また、ステップS150が、ステップS140では実行されない処理を含むことが好ましい。

0066

B.第2実施例:
図9は、印刷処理の別の実施例を示すフローチャートである。図4に示す実施例との差違は、実サイズが15cmよりも大きい場合に、画像処理モジュール420が、実サイズの異なる2つの範囲のそれぞれに応じた処理(ステップS140A、S140B)を実行する点だけである。他の処理は、図4に示す実施例と同じである。なお、図9において、図4のステップと同じ処理を実行するステップには、図4のそのステップと同じ符号を付している。また、プリンタの構成は、図1図2に示す第1実施例のプリンタ100と同じである。

0067

画像処理モジュール420(図2)は、実サイズが15cmよりも大きい場合には、さらに、次のステップS132で、実サイズが19cmよりも大きいか否かを判断する。実サイズが19cm以下の場合には、画像処理モジュール420は、ステップS140Aの処理を実行する。ステップS140Aは、図4のステップS140と同様に、顔を小さくする変形処理(S142A)と、色補正処理(S144)と、ぼかし処理(S146)とを含んでいる。

0068

実サイズが19cmよりも大きい場合には、画像処理モジュール420は、ステップS140Bの処理を実行する。このステップS140Bも、ステップS140Aと同様に、顔を小さくする変形処理(S142B)と、色補正処理(S144)と、ぼかし処理(S146)とを含んでいる。ただし、このステップS140Bの変形処理S142Bでの変形の度合いは、ステップS140Aの変形処理S142Aでの変形の度合いよりも強い。すなわち、顔の対象画像上の大きさが同じ場合であっても、実サイズが大きい場合には、変形後の顔がより細くなる。

0069

このように、本実施例では、実サイズが大きい場合には、強い変形によって、対象画像の観察者が覚える違和感を低減できる。また、実サイズが中程度である場合には、弱い変形によって、顔の過剰な変形を防止できる。

0070

なお、実サイズの区分数としては、図4に示す2区分や、図9に示す3区分に限らず、4区分以上であってもよい。いずれの場合も、変形処理の度合いは、実サイズが大きいほど強いことが好ましい。

0071

C.第3実施例:
図10は、実サイズに応じた処理の別の実施例を示す概略図である。本実施例では、画像処理モジュール420(図2)は、複数の画像の中から、実サイズが閾値未満である顔を含む画像を選択する。そして、印刷データ生成モジュール430は、選択された画像(画像データ)を利用して、印刷データを生成する。顔領域の検出と、実サイズの算出と、印刷とは、図4に示す実施例と同様に行われる。これらの結果、複数の画像の中から、子供が写った画像を自動的に印刷することができる。なお、本実施例では、実サイズが閾値未満の範囲が、特許請求の範囲における「第1範囲」に相当する。そして、画像を選択する処理が「第1処理」に相当する。なお、閾値は、15cmに限らず、他の値を採用可能である。

0072

なお、複数の画像としては、予め準備された任意の複数の画像を採用可能である。例えば、制御部200(図1)は、メモリカードMC(図1)に格納された複数の画像(例えば、画像ファイル)から、自動的に画像を選択してもよい。また、制御部200は、ユーザによって予め選択された複数の画像から、自動的に画像を選択してもよい。

0073

また、画像処理モジュール420は、実サイズが閾値未満の顔を含む画像を選択する代わりに、実サイズが閾値より大きい顔を含む画像を選択してもよい。この場合には、複数の画像の中から、大人が写った画像を自動的に印刷することができる。また、実サイズが閾値よりも大きい範囲が、特許請求の範囲における「第1範囲」に相当する。

0074

なお、画像処理モジュール420による選択結果の用途としては、印刷に限らず、任意の用途を採用可能である。例えば、選択された画像を表す画像ファイルを、メモリカードMCの特定のフォルダコピーしてもよい。

0075

D.第4実施例:
図11は、別の実施例としてのデジタルスチルカメラ500を示す説明図である。このデジタルスチルカメラ500は、制御部200と、撮像部600と、ディスプレイ610と、操作部620と、カードI/F630と、を備えている。

0076

制御部200の構成は、図1図2に示す実施例と同じである。ただし、印刷データ生成モジュール430と機種サイズテーブル440とは省略可能である(図2)。

0077

撮像部600は、撮像によって画像データを生成する装置である。撮像部600は、レンズシステムと撮像素子と画像データ生成部とを有している(図示省略)。

0078

ディスプレイ610と、操作部620と、カードI/F630とは、図1に示すディスプレイ310と、操作パネル320と、カードI/F330と、それぞれ同様である。

0079

制御部200は、ユーザの指示に従って、撮像部600に撮像させる。撮像部600は、撮像によって画像データを生成し、生成した画像データを制御部200に供給する。制御部200は、受信した画像データを用いた画像処理を実行し、処理済みの画像データを格納する画像ファイルを、メモリ(例えば、メモリカードMC)に格納する。

0080

制御部200による画像処理としては、図4図9に示す実施例と同様の処理を採用可能である。ただし、本実施例では、ステップS170での印刷の代わりに、画像処理モジュール420(図2)が、画像ファイルをメモリカードMCに格納する。また、サイズ算出モジュール410は、被写体距離と、レンズ焦点距離と、デジタルズーム倍率とを、撮像部600から取得する。サイズ算出モジュール410は、撮像素子のサイズとしては、所定の値を利用する。

0081

以上のように、実サイズに応じた画像処理をデジタルスチルカメラ500による撮像に適用すれば、顔の実際のサイズに適した画像を、撮像によって得ることができる。

0082

E.変形例:
なお、上記各実施例における構成要素の中の、独立クレームクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

0083

変形例1:
上述の各実施例において、顔や目や口等の器官の画像を含む領域を対象画像から検出する方法としては、パターンマッチングによる方法に限らず、任意の方法を採用可能である。例えば、ブースティング(たとえばAdaBoost)や、サポートベクターマシンや、ニューラルネットワークを採用可能である。

0084

変形例2:
上述の各実施例において、サイズ指標値としては、顔の実際のサイズと相関のある種々の値を採用可能である。例えば、サイズ指標値は、顔のサイズを反映する種々のサイズに相当してよい。すなわち、サイズ指標値は、顔と関連のある種々のサイズに相当してよい。例えば、上述の各実施例のように、サイズ指標値が、顔領域のサイズに相当してもよい。ここで、撮像素子ISの幅方向(受光領域の長辺方向に相当する)の長さを利用してもよい。また、サイズ指標値が、顔内の器官の位置を基準とする2つの位置の間の距離に相当してもよい。例えば、サイズ指標値が、両目の中間位置と口との間の距離に相当してもよい。いずれの場合も、サイズ算出モジュール410は、顔のサイズを反映する種々のサイズ(対象画像上のサイズ)から、サイズ指標値を算出可能である。例えば、サイズ指標値が、両目の中間位置と口との間の距離に相当すると仮定する。この場合には、サイズ算出モジュール410は、対象画像上における両目の中間位置と口との間の距離(画素数)から、サイズ指標値を算出すればよい。ここで、サイズ算出モジュール410は、顔領域検出モジュール400によって検出された目と口とを利用すればよい。なお、サイズ指標値は、距離(長さ)に限らず面積等の種々のサイズに相当してよい。

0085

顔のサイズを反映する対象画像上のサイズ(例えば、長さ)からサイズ指標値を算出するために利用される情報は、以下の情報を含むことが好ましい。
1)対象画像の撮像時における撮像装置から人物までの距離と相関のある撮像距離情報
2)撮像時における撮像装置のレンズ焦点距離と相関のある焦点距離情報
3)撮像装置の撮像素子上の受光領域の対象画像を生成した部分のサイズと関連のある撮像素子情報
図6に示す実施例では、これらの情報に加えて、デジタルズーム倍率DZRを利用している。ただし、デジタルズーム機能を持たない撮像装置によって生成された画像データを利用する場合には、サイズ算出モジュール410(図2)は、デジタルズーム倍率DZRを利用せずにサイズ指標値を算出すればよい。

0086

撮像素子情報としては、メーカ名とモデル名との組合せを利用してもよい。また、撮像装置の中には、ユーザの指示に従って、撮像素子(全受光領域)の周辺部分の画素をクロップして画像データを生成するものがある。このような画像データを利用する場合には、サイズ算出モジュール410は、撮像素子(より具体的には全受光領域)のサイズの代わりに、クロップ後の残りの画素が占める受光領域のサイズを、利用すればよい(すなわち、受光領域の対象画像を生成した部分のサイズ)。サイズ算出モジュール410は、このような部分のサイズを、クロップ無しの画像データのサイズ(例えば、高さや幅)に対するクロップ有りの画像データのサイズの比率と、全受光領域のサイズと、から算出可能である(これらの情報が、撮像素子情報によって特定されることが好ましい)。なお、クロップ無しで対象画像(対象画像データ)が生成された場合には、撮像素子の全受光領域が、対象画像を生成した部分に相当する。いずれの場合も、撮像素子情報が、受光領域の長辺と短辺との少なくとも一方の長さを特定することが好ましい。一方の長さを特定すれば、対象画像の縦横比率から他方の長さも特定可能である。

0087

また、撮像装置の中には、被写体距離SDの代わりに、被写体距離レンジを画像ファイルに記録するものがある。このような画像ファイルを利用する場合には、サイズ算出モジュール410は、被写体距離SDの代わりに被写体距離レンジを利用すればよい。被写体距離レンジは、例えば、被写体距離を、「マクロ」、「近景」、「遠景」の3段階で示している。そこで、3段階のそれぞれに予め代表距離対応付けておき、サイズ算出モジュール410は、その代表距離を利用して実サイズを算出すればよい。

0088

なお、一般には、サイズ指標値の算出方法としては、対象画像に関連付けられた関連情報と、顔のサイズを反映する対象画像上のサイズ(例えば、長さ)と、を利用する種々の方法を採用可能である。ここで、関連情報としては、対象画像上のサイズ(例えば、長さ。単位は画素数)と実際のサイズとの対応関係を決定可能な任意の情報を採用可能である。例えば、撮像装置が、画像上の長さ(画素数)に対する、実際の長さ(例えば、センチメートル)の比率を出力してもよい。このような比率を利用可能な場合には、サイズ算出モジュール410は、この比率を利用してサイズ指標値を算出すればよい。

0089

変形例3:
上述の各実施例において、サイズ指標値(実施例での実サイズ)に従った対象画像に対する特定の処理としては、図4図9図10に示す処理に限らず、種々の処理を採用可能である。一般には、対象画像に関する処理の内容がサイズ指標値に従って変化することが好ましい。例えば、図4の実施例において、ステップS150を省略してもよい。この場合には、ステップS140の処理が、特許請求の範囲における「第1処理」に相当する。この代わりに、ステップS140を省略してもよい。この場合には、ステップS150の処理が「第1処理」に相当する。また、図9に示す実施例において、ステップS140A、S140B、S150の内の、任意の1つあるいは2つのステップを省略してもよい。いずれの場合も、対象画像に対する処理は、図4図9に示す実施例のように、対象画像自体を修正する処理であってよい。また、対象画像に対する処理は、図10に示す実施例のように、対象画像自体の修正の無い処理であってもよい。

0090

画像処理モジュール420(図2)は、サイズ指標値が第1範囲内にある場合に、第1処理を実行すればよい。こうすれば、第1範囲内のサイズ指標値に相当する実サイズの顔を表す画像に関して、意図的に第1処理を実行することができる。ここで、サイズ指標値が第1範囲外にある場合には、画像処理モジュール420は、第1処理の実行をキャンセルすることが好ましい。こうすれば、第1範囲外のサイズ指標値に相当する実サイズの顔を表す画像に関して、意図しない第1処理が実行されることを防止できる。

0091

また、第1範囲とは重ならない第2範囲内にサイズ指標値がある場合には、画像処理モジュール420は、第1処理とは異なる第2処理を実行することが好ましい。こうすれば、第2範囲内のサイズ指標値に相当する実サイズの顔を表す画像に関して、第1処理とは異なる第2処理を意図的に実行することができる。ここで、図10に示す実施例の第1処理と同様に、第2処理が対象画像自体の修正の無い処理であってもよい。例えば、画像処理モジュール420(図2)は、複数の画像を、実サイズが閾値以下の第1グループと、実サイズが閾値よりも大きい第2グループとに分類してもよい。この場合には、第1グループに分類する処理が第1処理に相当し、第2グループに分類する処理が第2処理に相当する。分類結果の用途は任意である。

0092

なお、サイズ指標値の範囲としては、閾値より小さい範囲と閾値より大きい範囲とに限らず、上限値と下限値とによって決まる範囲を採用してもよい。

0093

変形例4:
上述の各実施例において、サイズ指標値に従った処理を実行する画像処理装置としては、プリンタ100(図1)やデジタルスチルカメラ500(図11)に限らず、任意の画像処理装置を採用可能である。例えば、汎用のコンピュータがサイズ指標値に従った処理を実行してもよい。

0094

また、画像処理装置の構成としては、図1図11に示す構成に限らず、種々の構成を採用可能である。一般には、顔領域検出モジュール400とサイズ算出モジュール410と画像処理モジュール420とを有する任意の構成を採用可能である。例えば、画像処理装置は、通信ケーブルネットワークを介して画像生成装置(例えば、デジタルスチルカメラ等の撮像装置)から対象画像データを取得してもよい。また、画像処理装置が、書き換え可能な不揮発性メモリを備え、その不揮発性メモリが、機種サイズテーブル440(図2)を格納してもよい。そして、サイズ算出モジュール410が、機種サイズテーブル440を更新してもよい。更新としては、例えば、ユーザの指示に従った更新や、ネットワークを通じてダウンロードされた新しい機種サイズテーブル440への更新がある。

0095

変形例5:
上述の各実施例において、処理対象の画像データとしては、デジタルスチルカメラによって生成された画像データ(静止画像データ)に限らず、種々の画像生成装置によって生成された画像データを利用可能である。例えば、デジタルビデオカメラによって生成された画像データ(動画像データ)を利用してもよい。この場合、図2のモジュール400、410、420は、動画像に含まれる複数のフレーム画像の少なくとも一部を対象画像として利用することによって、顔領域の検出と、サイズ指標値の算出と、サイズ指標値に従った処理と、を実行すればよい。例えば、画像処理モジュール420は、複数の動画像の中から、サイズ指標値が閾値未満である顔を表すフレーム画像を含む動画像を選択してもよい。こうすれば、ユーザは、選択された動画像を利用することによって、子供が写った動画像を簡単に利用することができる。なお、対象画像(フレーム画像)を含む動画像の選択も、対象画像に対する処理(対象画像に関する処理)ということができる。

0096

変形例6:
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図1のサイズ算出モジュール410の機能を、論理回路を有するハードウェア回路によって実現してもよい。

0097

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

図面の簡単な説明

0098

本発明の一実施例としてのプリンタ100を示す説明図である。
ROM230(図1)に格納されたモジュールとデータとを示す説明図である。
機種サイズテーブル440の一例を示す概略図である。
印刷処理の手順を示すフローチャートである。
顔領域の検出結果を示す概略図である。
画像上の画素数と実サイズとの関係を示す説明図である。
ステップS140の処理の概略図である。
ステップS150の処理の概略図である。
印刷処理の別の実施例を示すフローチャートである。
実サイズに応じた処理の別の実施例を示す概略図である。
別の実施例としてのデジタルスチルカメラ500を示す説明図である。

符号の説明

0099

100…プリンタ
200…制御部
210…CPU
220…RAM
230…ROM
300…印刷エンジン
310…ディスプレイ
320…操作パネル
330…カードI/F
400…顔領域検出モジュール
410…サイズ算出モジュール
420…画像処理モジュール
430…印刷データ生成モジュール
440…機種サイズテーブル
500…デジタルスチルカメラ
600…撮像部
610…ディスプレイ
620…操作部
630…カードI/F
MC…メモリカード
PP…主点
LS…レンズシステム
IS…撮像素子

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ