図面 (/)

技術 照明光源に応じた座標変換を施して画像を再生する画像再生方法

出願人 セイコーエプソン株式会社
発明者 深沢賢二
出願日 2004年3月12日 (16年9ヶ月経過) 出願番号 2004-071038
公開日 2005年9月22日 (15年3ヶ月経過) 公開番号 2005-260693
状態 拒絶査定
技術分野 カラーテレビジョン画像信号発生装置 カラーテレビジョンの色信号処理
主要キーワード 各照明光源 画像入力回路 ルータ条件 白色灯 階調分解能 光強度情報 画像再生機器 蛍光灯用
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2005年9月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

照明光源の違いを適切に補正して高画質な画像を再生する。

解決手段

カラー画像データを、該画像データを生成する際に用いられた照明光源に応じて座標変換してから再生する。こうすれば、カラー画像データを照明光源に応じて適切に座標変換してから再生することができるので、照明光源による影響を適切に補正することができ、高画質な画像を再生することが可能となる。カラー画像データは、適切に座標変換してから出力することもできるし、照明光源に関する情報を関連づけた状態で、カラー画像データを出力して、再生する際に適切に座標変換してから画像を再生することもできる。

概要

背景

コンピュータなどに代表される電子関連技術の進歩に伴って、今日では、撮影した画像を電子的な画像データとして記録しておき、必要なときに人間が視覚的に認識可能な形態で再生することが広く行われるようになってきた。こうした電子的な画像データを生成する撮影機器としては、例えば、デジタルカメラDSC)やデジタルビデオカメラ(DVC)などが広く知られており、また、画像データを再生する機器としては、CRT(Cathode Ray Tube)モニタや、液晶モニタ、各種のプロジェクタプリンタなどが広く知られている。

これらデジタルカメラなどの撮影機器には光強度を検出する素子(例えばCCDやCMOSなど)が内蔵されており、撮影しようとする映像検出素子上に結像させて、複数(代表的には3つ)の波長領域での光強度を検出することにより、カラー画像データ(通常はRGB各色の画像データ)を生成する。また、CRTモニタなどの画像再生機器では、撮影機器で生成されたRGB画像データに基づいてR画像、G画像、B画像を再生し、これら3つの画像を重ねて表示させることでカラー画像を再生する。つまり、撮影機器では映像をRGBの3色に分解して画像データを生成し、再生機器ではRGBの3つの画像を合成することでカラー画像を再生している。このとき、撮影機器が画像を分解するために用いるRGBの各色と、再生機器がカラー画像を再生するために用いるRGBの各色とは、必ずしも一致していない。このため、画像の再生に際しては、この違いを調整するために、撮影機器で用いられているR,G,B各色の座標軸を、再生機器のR,G,B各色の座標軸に変換してから再生することが行われる。このように、画像データの座標軸を変換する処理は色変換と呼ばれている。

また、撮影機器では、ホワイトバランス調整も広く行われている。これは、人間の視覚には色順応と呼ばれる機能が備わっているため、例えば赤色がかった光源や青色がかった光源を用いても、人間は光源色を白色と認識することが可能であり、こうした機能に対応して行う処理である。すなわち、人間の視覚とは異なって、撮影機器で撮影した画像をそのまま再生したのでは、赤色がかった光源下では白色は赤っぽく写り、青色がかった光源下では青っぽく写ってしまう。そこで、得られた画像データに対してホワイトバランス調整を行い、赤色がかった光源による画像では赤色が弱まるように、また、青色がかった光源による画像では青色が弱まるように、RGB各色のゲイン調整を行うのである(例えば、特許文献1)。

特開平2−128591号公報

概要

照明光源の違いを適切に補正して高画質な画像を再生する。カラー画像データを、該画像データを生成する際に用いられた照明光源に応じて座標変換してから再生する。こうすれば、カラー画像データを照明光源に応じて適切に座標変換してから再生することができるので、照明光源による影響を適切に補正することができ、高画質な画像を再生することが可能となる。カラー画像データは、適切に座標変換してから出力することもできるし、照明光源に関する情報を関連づけた状態で、カラー画像データを出力して、再生する際に適切に座標変換してから画像を再生することもできる。

目的

この発明は、従来技術における上述した課題を解決するためになされたものであり、異なる光源下で撮影された画像でも、元の色彩を高い精度で再現することにより、高画質な画像を再生可能とする技術の提供を目的とする。

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

検出素子上に撮影対象結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生する画像再生方法であって、撮影に際して用いられた照明光源類別に関する情報たる照明光源情報を取得する第1の工程と、前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第2の工程と、前記座標変換後のカラー画像データを用いて画像を再生する第3の工程とを備え、前記第2の工程は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする画像再生方法。

請求項2

請求項1記載の画像再生方法であって、前記第2の工程は、前記変換パラメータとして、前記生成されたカラー画像データの線形変換を行う変換マトリックスを複数記憶しており、前記照明光源情報に基づいて選択した1の変換マトリックスを用いて、該カラー画像データを線形変換する工程である画像再生方法。

請求項3

請求項1記載の画像再生方法であって、前記第2の工程は、前記変換パラメータとして、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しており、前記照明光源情報に基づいて選択した1の変換テーブルを参照することにより、該カラー画像データの座標変換を行う工程である画像再生方法。

請求項4

検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生方法であって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る工程(A)と、前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う工程(B)と、前記座標変換後のカラー画像データを用いて画像を再生する工程(C)とを備え、前記工程(B)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする画像再生方法。

請求項5

検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する光源情報得手段と、前記カラー画像データに、前記照明光源に応じた所定の座標変換を行う座標変換手段と、前記座標変換後のカラー画像データを出力する画像データ出力手段とを備え、前記座標変換手段は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う手段であることを特徴とする画像データ出力装置。

請求項6

請求項5記載の画像データ出力装置であって、前記座標変換手段は、前記変換パラメータとして、前記生成されたカラー画像データの線形変換を行う変換マトリックスを複数記憶しており、前記照明光源情報に基づいて選択した1の変換マトリックスを用いて、該カラー画像データを線形変換する手段である画像データ出力装置。

請求項7

請求項6記載の画像データ出力装置であって、前記座標変換手段は、前記照明光源情報に応じた変換マトリックスが記憶されていない場合には、標準の変換マトリックスとして予め設定されているマトリックスを用いて該カラー画像データを線形変換する手段である画像データ出力装置。

請求項8

請求項5記載の画像データ出力装置であって、前記座標変換手段は、前記変換パラメータとして、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しており、前記照明光源情報に基づいて選択した1の変換テーブルを参照することにより、該カラー画像データの座標変換を行う手段である画像データ出力装置。

請求項9

請求項8記載の画像データ出力装置であって、前記座標変換手段は、前記照明光源情報に応じた変換テーブルが記憶されていない場合には、標準の変換テーブルとして予め設定されているテーブルを参照することにより、該カラー画像データの座標変換を行う手段である画像データ出力装置。

請求項10

検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する光源情報取得手段と、前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶している変換パラメータ記憶手段と、前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する画像データ出力手段とを備える画像データ出力装置。

請求項11

請求項10記載の画像データ出力装置であって、前記変換パラメータ記憶手段は、前記生成したカラー画像データを前記照明光源の類別に応じて線形変換する変換マトリックスを、複数記憶している手段であり、前記画像データ出力手段は、前記複数の変換マトリックスの中から選択されたマトリックスと、前記カラー画像データとを互いに関連づけた状態で出力する手段である画像データ出力装置。

請求項12

請求項11記載の画像データ出力装置であって、前記変換パラメータ記憶手段は、前記複数の変換マトリックスの中の1のマトリックスを、標準の変換マトリックスとして予め記憶している手段であり、前記画像データ出力手段は、前記照明光源情報に応じた変換マトリックスが記憶されていない場合には、前記標準の変換マトリックスを、前記カラー画像データに関連づけた状態で出力する手段である画像データ出力装置。

請求項13

請求項10記載の画像データ出力装置であって、前記変換パラメータ記憶手段は、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶している手段であり、前記画像データ出力手段は、前記複数の変換テーブルの中から選択されたテーブルと、前記カラー画像データとを互いに関連づけた状態で出力する手段である画像データ出力装置。

請求項14

請求項13記載の画像データ出力装置であって、前記変換パラメータ記憶手段は、前記複数の変換テーブルの中の1のテーブルを、標準の変換テーブルとして予め記憶している手段であり、前記画像データ出力手段は、前記照明光源情報に応じた変換テーブルが記憶されていない場合には、前記標準の変換テーブルを、前記カラー画像データに関連づけた状態で出力する手段である画像データ出力装置。

請求項15

検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、前記生成したカラー画像データを前記撮影対象の照明光源に応じて座標変換するための変換パラメータを、複数記憶している変換パラメータ記憶手段と、前記カラー画像データと、前記複数の変換パラメータとを互いに関連づけた状態で出力する画像データ出力手段とを備える画像データ出力装置。

請求項16

請求項15記載の画像データ出力装置であって、前記変換パラメータ記憶手段は、前記生成したカラー画像データを前記照明光源の類別に応じて線形変換する変換マトリックスを、複数記憶している手段である画像データ出力装置。

請求項17

請求項15記載の画像データ出力装置であって、前記変換パラメータ記憶手段は、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶している手段である画像データ出力装置。

請求項18

検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生装置であって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る光源情報受取手段と、前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う座標変換手段と、前記座標変換後のカラー画像データを用いて画像を再生する画像再生手段とを備え、前記座標変換手段は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う手段であることを特徴とする画像再生装置。

請求項19

請求項18記載の画像再生装置であって、前記座標変換手段は、前記変換パラメータとして、前記生成されたカラー画像データの線形変換を行う変換マトリックスを複数記憶しており、前記照明光源情報に基づいて選択した1の変換マトリックスを用いて、該カラー画像データを線形変換する手段である画像再生装置。

請求項20

請求項18記載の画像再生装置であって、前記座標変換手段は、前記変換パラメータとして、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しており、前記照明光源情報に基づいて選択した1の変換テーブルを参照することにより、該カラー画像データの座標変換を行う手段である画像再生装置。

請求項21

検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生装置であって、前記カラー画像データを前記撮影対象の照明光源に応じて座標変換するための変換パラメータを、該カラー画像データと関連づけられた状態で複数受け取る変換パラメータ受取手段と、前記受け取った複数の変換パラメータの中から選択された1のパラメータを用いて、前記カラー画像データの座標変換を行う座標変換手段と、前記座標変換後のカラー画像データを用いて画像を再生する画像再生手段とを備える画像再生装置。

請求項22

検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力方法であって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する工程(イ)と、前記カラー画像データに、前記照明光源に応じた所定の座標変換を行う工程(ロ)と、前記座標変換後のカラー画像データを出力する工程(ハ)とを備え、前記工程(ロ)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする画像データ出力方法。

請求項23

検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力方法であって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する工程(1)と、前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく工程(2)と、前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する工程(3)とを備える画像データ出力方法。

請求項24

検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生する方法を、コンピュータを用いて実現するためのプログラムであって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第1の機能と、前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第2の機能と、前記座標変換後のカラー画像データを用いて画像を再生する第3の機能とを実現するとともに、前記第2の機能は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とするプログラム。

請求項25

検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する方法を、コンピュータを用いて実現するためのプログラムであって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る機能(A)と、前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う機能(B)と、前記座標変換後のカラー画像データを用いて画像を再生する機能(C)とを実現するとともに、前記機能(B)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とするプログラム。

請求項26

検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する方法を、コンピュータを用いて実現するためのプログラムであって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能(イ)と、前記カラー画像データに、前記照明光源に応じた座標変換を行う機能(ロ)と、前記座標変換後のカラー画像データを出力する機能(ハ)とを実現するとともに、前記機能(ロ)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とするプログラム。

請求項27

検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する方法を、コンピュータを用いて実現するためのプログラムであって、撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能(1)と、前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく機能(2)と、前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する機能(3)とを実現するプログラム。

技術分野

0001

本発明は、画像データを用いて画像を再生する技術に関し、より詳しくは、撮影に用いた照明光源に関わらず、元の色彩を正確に再現可能とする技術に関する。

背景技術

0002

コンピュータなどに代表される電子関連技術の進歩に伴って、今日では、撮影した画像を電子的な画像データとして記録しておき、必要なときに人間が視覚的に認識可能な形態で再生することが広く行われるようになってきた。こうした電子的な画像データを生成する撮影機器としては、例えば、デジタルカメラDSC)やデジタルビデオカメラ(DVC)などが広く知られており、また、画像データを再生する機器としては、CRT(Cathode Ray Tube)モニタや、液晶モニタ、各種のプロジェクタプリンタなどが広く知られている。

0003

これらデジタルカメラなどの撮影機器には光強度を検出する素子(例えばCCDやCMOSなど)が内蔵されており、撮影しようとする映像検出素子上に結像させて、複数(代表的には3つ)の波長領域での光強度を検出することにより、カラー画像データ(通常はRGB各色の画像データ)を生成する。また、CRTモニタなどの画像再生機器では、撮影機器で生成されたRGB画像データに基づいてR画像、G画像、B画像を再生し、これら3つの画像を重ねて表示させることでカラー画像を再生する。つまり、撮影機器では映像をRGBの3色に分解して画像データを生成し、再生機器ではRGBの3つの画像を合成することでカラー画像を再生している。このとき、撮影機器が画像を分解するために用いるRGBの各色と、再生機器がカラー画像を再生するために用いるRGBの各色とは、必ずしも一致していない。このため、画像の再生に際しては、この違いを調整するために、撮影機器で用いられているR,G,B各色の座標軸を、再生機器のR,G,B各色の座標軸に変換してから再生することが行われる。このように、画像データの座標軸を変換する処理は色変換と呼ばれている。

0004

また、撮影機器では、ホワイトバランス調整も広く行われている。これは、人間の視覚には色順応と呼ばれる機能が備わっているため、例えば赤色がかった光源や青色がかった光源を用いても、人間は光源色を白色と認識することが可能であり、こうした機能に対応して行う処理である。すなわち、人間の視覚とは異なって、撮影機器で撮影した画像をそのまま再生したのでは、赤色がかった光源下では白色は赤っぽく写り、青色がかった光源下では青っぽく写ってしまう。そこで、得られた画像データに対してホワイトバランス調整を行い、赤色がかった光源による画像では赤色が弱まるように、また、青色がかった光源による画像では青色が弱まるように、RGB各色のゲイン調整を行うのである(例えば、特許文献1)。

0005

特開平2−128591号公報

発明が解決しようとする課題

0006

しかし、光源の違いを補正するべく、RGB各色のゲインを如何に調整しても元の色彩を正確に再現することができない場合があった。

0007

この発明は、従来技術における上述した課題を解決するためになされたものであり、異なる光源下で撮影された画像でも、元の色彩を高い精度で再現することにより、高画質な画像を再生可能とする技術の提供を目的とする。

課題を解決するための手段

0008

上述した課題の少なくとも一部を解決するために、本願発明の第1の画像再生方法は次の構成を採用した。すなわち、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生する画像再生方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第1の工程と、
前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第2の工程と、
前記座標変換後のカラー画像データを用いて画像を再生する第3の工程と
を備え、
前記第2の工程は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする。

0009

かかる第1の画像再生方法によれば、検出素子上に撮影対象を結像させることによって生成したカラー画像データを、撮影に際して用いられた照明光源に応じて所定の座標変換を施してから再生する。かかる座標変換に際しては、座標変換の内容を表す変換パラメータを、照明光源の類別に応じて複数記憶しておき、照明光源情報に基づいて選択した変換パラメータを用いて座標変換を行う。こうすれば、どのような照明光源を用いて撮影された画像でも適切に座標変換を行って、元の色彩を高い精度で再現することができ、延いては、高画質な画像を再生することが可能となる。

0010

尚、本発明は、光源の違いを補正するべくRGB各色のゲインを如何に調整しても、元の色彩を正確に再現することができない理由が次のような現象に起因することを見出すことによって完成されたものである。そこで、本発明の第1の画像再生方法によって上述の効果が得られる理由を説明するために、その準備として、先ず、本願の発明者が見出した事項について説明する。

0011

可視光の範囲で光の波長を変化させると、人間は、これを色の変化として認識する。すなわち、人間は光の波長を「色」という形態で認識すると言うことができる。また、光が何らかの波長分布を持っていれば、各波長での光強度分布スペクトル)に応じた色を認識することができる。しかし、人間は光のスペクトルそのものを検出して色を認識しているわけではなく、光強度分布を互いに独立な3つの刺激値に一旦置き換えた後、これら刺激値によって色を認識していると考えられている。このような、人間の特性を表現した値として、図17に示す等色関数x(λ),y(λ),z(λ)が知られている。これは、3つの刺激値としてX,Y,Zを選び、ある波長λの単位強さの単色光が、どのような大きさの刺激値に置き換えられているかを、それぞれの刺激値について表したものと考えることができる。また、単色光ではなく波長分布を有する光の場合は、光のスペクトルを、等色関数に相当する重みを付けながら積分することで、刺激値X,Y,Zが得られることになる。

0012

一方、デジタルカメラやビデオカメラなどの撮影機器では、カラーフィルタを用いてR,G,Bの各色成分に分解し、これら各色の成分によって色を表現している。図18は、デジタルカメラなど撮影機器の標準的な分光感度特性概念的に示す説明図である。図中に破線で示した曲線は、B色の分光感度特性を示しており、実線で示した曲線はG色の分光感度特性を、一点鎖線で示した曲線はR色の分光感度特性を示している。また、光が波長分布を有している場合は、光のスペクトルを、各色毎の分光感度特性に相当する重みを付けながら積分することで、R,G,Bの各成分が得られることになる。

0013

こうして得られたR,G,Bの各成分を線形変換することで、X,Y,Zの各刺激値が得られるのであれば(すなわち、ルータ条件を満たすのであれば)、デジタルカメラなどのRGB出力に適切な線形変換を施すことで、人間と全く同じように色を認識することが可能である。実際、図17に示した等色関数x(λ),y(λ),z(λ)と、図18に示したR,G,B各成分の分光感度特性とを比較すれば、互いに似通った傾向を示すことからも推測されるように、R,G,Bの各成分とX,Y,Zの各刺激値とは、大まかにはルータ条件を満たしており、従って、デジタルカメラで得られたRGB成分に所定の変換マトリックスを作用することで、XYZの各刺激値に変換することが行われている。

0014

とは言え、デジタルカメラなどの通常の撮影機器で得られるR,G,Bの各成分と、X,Y,Zの各刺激値とは、厳密にはルータ条件を満たしておらず、RGBからXYZへ変換する際には何某かの誤差が発生する。そこで、変換に際しては、変換誤差が最も小さくなるように最適化されたマトリックスが用いられている。こうした最適化は、照明光源を特定した上で行われる。当然、異なる照明光源が用いられた場合には、ホワイトバランス崩れてしまうので、R,G,B各成分のゲインを調整することにより、ホワイトバランス調整を行っている。

0015

しかし、RGBからXYZへ変換が厳密な意味でのルータ条件を満たしていない以上、変換誤差が発生しており、ホワイトバランスを取るためにRGB各成分のゲインを調整すると、変換誤差を拡大させる場合があると考えられる。照明光源による影響を補正しようとして、RGB各出力のゲイン調整を如何に行っても、完全には補正できないことがあるのは、こうした点に起因しているものと考えられる。

0016

本発明は上記の知見に基づいてなされたものであり、デジタルカメラなどで撮影したカラー画像データを、照明光源に応じてカラー画像データの座標軸を適切に変換してから画像を再生する。このように、一旦、照明光源に応じて座標変換を行っておけば、単にRGBの各出力のゲイン調整を行う場合よりも、元の画像の色彩を遙かに高い精度で再現することが可能となる。

0017

本発明は上記の知見に基づいてなされたものであり、デジタルカメラなどで撮影したカラー画像データを、照明光源に応じて適切に座標変換した後に、得られた画像データに基づいて画像を再生する。このように、撮影したカラー画像データを、一旦、照明光源に応じて適切に座標変換しておけば、単にRGBの各出力のゲイン調整を行う場合よりも、元の画像の色彩を遙かに高い精度で再現することが可能となる。

0018

こうした第1の画像再生方法においては、変換パラメータとして、カラー画像データの線形変換を行う変換マトリックスを複数記憶しておくこととしても良い。そして、これら複数の変換マトリックスの中から照明光源情報に基づいて選択した1の変換マトリックスを用いて、カラー画像データを線形変換することとしても良い。

0019

こうすれば、照明光源に応じて適切な座標変換をカラー画像データに施すことができ、延いては、元の色彩を精度良く再現した高精度な画像を再生することができる。また、変換マトリックスはデータ量が小さいことから、変換パラメータとして変換マトリックスを記憶しておけば、複数の変換パラメータを記憶する場合でも多大なデータ量を要しないという利点も得ることができる。

0020

あるいは、変換パラメータとして、生成したカラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しておくこととしても良い。そして、これら複数の変換テーブルの中から照明光源情報に基づいて選択した1の変換テーブルを参照することにより、カラー画像データの座標変換を行うこととしてもよい。

0021

こうしても、カラー画像データに、照明光源に応じた適切な座標変換を施して、元の色彩を精度良く再現した高精度な画像を再生することができる。また、変換テーブルには、座標変換後の画像データとして、どのようなデータを設定することも可能であることからも明らかなように、設定の自由度が高く、たとえ非線形な座標変換であっても容易に設定することが可能である。このため、照明光源に応じて、より適切な座標変換を行うことが可能となり、延いては、より高画質な画像を再生することが可能となる。

0022

また、従来技術が有する前述の課題の少なくとも一部を解決するために、本願発明の第2の画像再生方法は次の構成を採用した。すなわち、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る工程(A)と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う工程(B)と、
前記座標変換後のカラー画像データを用いて画像を再生する工程(C)と
を備え、
前記工程(B)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする。

0023

更に、上記の画像再生方法に対応する本発明の画像再生装置は、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る光源情報受取手段と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを用いて画像を再生する画像再生手段と
を備え、
前記座標変換手段は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う手段であることを特徴とする。

0024

かかる第2の画像再生方法および、これに対応する画像再生装置においては、カラー画像データを受け取って、撮影に際して用いられた照明光源に応じて所定の座標変換を行った後、座標変換後のカラー画像データを用いて画像を再生する。かかる座標変換に際しては、座標変換の内容を表す変換パラメータを、照明光源の類別に応じて複数記憶しておき、照明光源情報に基づいて選択した変換パラメータを用いて座標変換を行う。

0025

こうすれば、受け取ったカラー画像データを、照明光源に応じて適切に座標変換してから画像を再生することができるので、どのような照明光源を用いて撮影した画像でも、適切に再生することが可能となる。

0026

このとき、変換パラメータとしては、カラー画像データの線形変換を行う変換マトリックスを複数記憶しておくこととしてもよい。そして、照明光源情報に基づいて選択した1の変換マトリックスを用いて、カラー画像データを線形変換することとしても良い。

0027

あるいは、変換パラメータとして、カラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しておくこととしてもよい。そして、照明光源情報に基づいて選択した1の変換テーブルを参照することにより、カラー画像データの座標変換を行うこととしてもよい。

0028

このようにして変換マトリックスあるいは変換テーブルを用いて座標変換を行えば、カラー画像データを照明光源に応じて適切に座標変換することができるので、元の画像の色彩を精度良く再現した高画質な画像を再生することが可能となる。また、変換パラメータとして変換マトリックスを記憶した場合は、複数の変換パラメータを記憶した場合でも多大なメモリ量を要しないという利点が得られ、一方、変換パラメータとして変換テーブルを記憶した場合は、カラー画像データをより適切に座標変換することができるという利点を得ることができる。

0029

また、照明光源に応じた画像データを出力する点に着目すれば、本発明は次のような画像データ出力装置として把握することも可能である。すなわち、本発明の第1の画像データ出力装置は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する光源情報取得手段と、
前記カラー画像データに、前記照明光源に応じた所定の座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを出力する画像データ出力手段と
を備え、
前記座標変換手段は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う手段であることを特徴とする。

0030

また、上記の画像データ出力装置に対応する本発明の第1の画像データ出力方法は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する工程(イ)と、
前記カラー画像データに、前記照明光源に応じた所定の座標変換を行う工程(ロ)と、
前記座標変換後のカラー画像データを出力する工程(ハ)と
を備え、
前記工程(ロ)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする。

0031

かかる第1の画像データ出力装置および第1の画像データの出力方法においては、検出素子上に撮影対象を結像させて生成したカラー画像データに、照明光源に応じた所定の座標変換を施して、得られたカラー画像データを出力する。かかる座標変換に際しては、座標変換の内容を表す変換パラメータを、照明光源の類別に応じて複数記憶しておき、照明光源情報に基づいて選択した変換パラメータを用いて座標変換を行う。

0032

このようにして、カラー画像データに照明光源に応じた座標変換を施した状態で出力すれば、どのような照明光源を用いて撮影した画像データであっても通常の画像データと同様に再生するだけで、元の色彩を正確に再現した高画質な画像を再生することが可能となる。

0033

かかる第1の画像データ出力装置および第1の画像データの出力方法においても、変換パラメータとして、カラー画像データの線形変換を行う変換マトリックスを複数記憶しておくこととしてもよい。そして、照明光源情報に基づいて選択した1の変換マトリックスを用いて、カラー画像データを線形変換した後に、得られた画像データを出力することとしても良い。

0034

このようにして変換マトリックスを用いて座標変換を行えば、カラー画像データを照明光源に応じて適切に座標変換することができる。このため、このようにして座標変換された状態で出力された画像データは、通常の画像データと同様に再生するだけで、元の画像の色彩を精度良く再現した高画質な画像を再生することが可能となる。また、変換パラメータとして変換マトリックスを記憶しておけば、複数の変換パラメータを記憶した場合でも多大なメモリ量が必要となることがないので好ましい。

0035

このとき、複数記憶されている変換マトリックスの中に、予め標準の変換マトリックスを設定しておき、照明光源情報に応じた変換マトリックスが記憶されていない場合には、この標準の変換マトリックスを用いてカラー画像データを線形変換することとしてもよい。

0036

こうすれば、標準の変換マトリックスとして、平均的な照明光源に対応する変換マトリックスを設定しておくことで、どのような照明光源で得られた画像データでも、破綻無く自然な画像に再生することが可能となるので好ましい。

0037

あるいは、かかる第1の画像データ出力装置および第1の画像データの出力方法においては、変換パラメータとして、カラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しておくこととしてもよい。そして、照明光源情報に基づいて選択した1の変換テーブルを参照することにより、カラー画像データの座標変換を行った後、得られた画像データを出力することとしても良い。

0038

このようにして変換テーブルを用いた場合でも、カラー画像データを照明光源に応じて適切に座標変換することができる。このため、このようにして座標変換された状態で出力された画像データは、通常の画像データと同様に再生するだけで、元の画像の色彩を精度良く再現した高画質な画像を再生することが可能となる。また、変換パラメータとして変換テーブルを記憶しておけば、カラー画像データをより適切に座標変換することができるという利点を得ることができる。

0039

また、複数の変換テーブルの中に、予め標準の変換テーブルを設定しておき、照明光源情報に応じた変換テーブルが記憶されていない場合には、この標準の変換テーブルを参照してカラー画像データの座標変換を行うこととしてもよい。

0040

こうすれば、標準の変換テーブルとして、平均的な照明光源に対応する変換テーブルを設定しておくことで、どのような照明光源で得られた画像データでも、破綻無く自然な画像に再生することが可能となるので好ましい。

0041

更に、本発明は次のような画像データ出力装置として把握することも可能である。すなわち、本発明の第2の画像データ出力装置は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する光源情報取得手段と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶している変換パラメータ記憶手段と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する画像データ出力手段と
を備えることを要旨とする。

0042

また、上記の画像データ出力装置に対応する本発明の第2の画像データ出力方法は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する工程(1)と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく工程(2)と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する工程(3)と
を備えることを要旨とする。

0043

かかる第2の画像データ出力装置および第2の画像データ出力方法においては、検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することでカラー画像データを生成する。また、カラー画像データの座標変換を行うための変換パラメータを、照明光源に応じて複数記憶しておく。そして、生成したカラー画像データと、撮影に際して用いられた照明光源に応じた変換パラメータとを、互いに関連づけた状態で出力する。ここで、照明光源に応じた変換パラメータは、照明光源の類別に関する情報たる照明光源情報を取得して、該照明光源情報に応じた変換パラメータを選択する。

0044

このように、カラー画像データに関連づけて、照明光源に応じた変換パラメータを出力しておけば、該変換パラメータを用いてカラー画像データを座標変換することにより、適切に変換してから画像を再生することができるので、どのような照明光源を用いて撮影した画像データであっても、元の色彩を正確に再現した高画質な画像を再生することが可能となる。

0045

尚、カラー画像データと変換パラメータとは、例えば画像データのヘッダ部に変換パラメータを書き込んでおくなどにより、1つのデータとして受け取っても良いし、あるいは、別々のデータとして受け取ることも可能である。別々のデータとして受け取る場合は、例えば、連続して受け取ったり、データ名の一部を共通化するといった方法で、カラー画像データと変換パラメータとが何らかの形態で互いに関連づけられていればよい。

0046

こうした第2の画像データ出力装置および第2の画像データの出力方法においても、変換パラメータとして、カラー画像データの線形変換を行う変換マトリックスを複数記憶しておくき、照明光源情報に基づいて選択した1の変換マトリックスを用いて、カラー画像データを線形変換することとしてもよい。

0047

このようにしてカラー画像データを座標変換してやれば、照明光源に応じて適切に座標変換することができるので、出力されたカラー画像データを通常の画像データと同様に再生するだけで、元の画像の色彩を精度良く再現した高画質な画像を再生することが可能となる。また、変換パラメータとして変換マトリックスを記憶しておけば、複数の変換パラメータを記憶した場合でも多大なメモリ量が必要となることがないので好ましい。

0048

また、複数記憶されている変換マトリックス中に標準の変換マトリックスを予め設定しておき、照明光源情報に応じた変換マトリックスが記憶されていない場合には、この標準の変換マトリックスを用いてカラー画像データを線形変換することとしてもよい。

0049

平均的な照明光源に対応する変換マトリックスを、標準の変換マトリックスとして設定しておけば、どのような照明光源で得られた画像データでも自然な画像に再生することが可能となる。

0050

また、かかる第2の画像データ出力装置および第2の画像データの出力方法においては、カラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、変換パラメータとして複数記憶しておき、照明光源情報に基づいて選択した1の変換テーブルを参照して座標変換し、得られたカラー画像データを出力することとしても良い。

0051

こうすれば、カラー画像データを照明光源に応じて適切に座標変換することができるので、得られたカラー画像デーを通常の画像データと同様に再生するだけで、元の画像の色彩を精度良く再現した高画質な画像を再生することができる。また、変換テーブルを変換パラメータとして記憶すれば、座標変換をより柔軟に行うことができるので、カラー画像データをより適切に変換することが可能となる。

0052

また、複数の変換テーブル中に標準の変換テーブルを予め設定しておき、照明光源情報に応じた変換テーブルが記憶されていない場合には、この標準の変換テーブルを参照してカラー画像データの座標変換を行うこととしてもよい。

0053

こうすれば、平均的な照明光源に対応する変換テーブルを、標準の変換テーブルとして設定しておくことで、どのような照明光源で得られた画像データでも適切に再生することが可能となる。

0054

また、本発明は次のような画像データ出力装置として把握することも可能である。すなわち、本発明の第3の画像データ出力装置は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
前記生成したカラー画像データを前記撮影対象の照明光源に応じて座標変換するための変換パラメータを、複数記憶している変換パラメータ記憶手段と、
前記カラー画像データと、前記複数の変換パラメータとを互いに関連づけた状態で出力する画像データ出力手段と
を備えることを要旨とする。

0055

かかる第3の画像データ出力装置においては、カラー画像データと、複数の変換パラメータとを互いに関連づけた状態で出力する。こうすれば、カラー画像データとともに出力された変換パラメータの中から、より適切なパラメータを用いて座標変換を行うことができるので、どのような照明光源を用いて撮影された画像データであっても適切に再生することが可能となる。

0056

このように、変換パラメータが関連づけられたカラー画像データを受け取って画像を再生する点に着目すれば、本発明は次のような画像再生装置として把握することも可能である。すなわち、本発明の第2の画像再生装置は、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生装置であって、
前記カラー画像データを前記撮影対象の照明光源に応じて座標変換するための変換パラメータを、該カラー画像データと関連づけられた状態で複数受け取る変換パラメータ受取手段と、
前記受け取った複数の変換パラメータの中から選択された1のパラメータを用いて、前記カラー画像データの座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを用いて画像を再生する画像再生手段と
を備えることを要旨とする。

0057

かかる第2の画像再生装置においては、カラー画像データに関連づけられた状態で、複数の変換パラメータを受け取ると、これら変換パラメータの中から選択された1のパラメータを用いてカラー画像データの座標変換を行った後、得られたカラー画像データを用いて画像を再生する。

0058

こうすれば、画像の撮影者が適切な変換パラメータを選択することで、どのような照明光源で撮影された画像データであっても、より適切に座標変換を行うことができる。更には、撮影に用いた照明光源に応じた変換パラメータとは異なるパラメータを、特に意図して選択することもできる。このようにして選択した変換パラメータを用いてカラー画像データを座標変換した後、得られたカラー画像データを用いて画像を再生すれば、画像の表現自由度を大きく広げることができ、より高画質な画像を再生することも可能となる。

0059

尚、カラー画像データと変換パラメータとを互いに関連づけられた状態で出力するためには、例えば画像データのヘッダ部に変換パラメータを書き込んでおき、1つのデータとして出力することもできるし、あるいは、別々のデータとして出力することも可能である。別々のデータとして出力する場合は、例えば、連続して出力したり、データ名の一部を共通化しておいたり、更には、互いのデータにリンクを張っておくと言った種々の方法を用いることができる。

0060

こうした第3の画像データ出力装置あるいは第2の画像再生装置においては、変換パラメータとして、次のようなものを好適に使用することができる。例えば、カラー画像データを前記照明光源の類別に応じて線形変換する変換マトリックスを用いることができる。あるいは、生成したカラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、用いることもできる。

0061

変換マトリックスあるいは変換テーブルのいずれを用いても、カラー画像データを照明光源に応じて適切に座標変換することができ、延いては、元の画像の色彩が精度良く再現された高画質な画像を再生することが可能となる。また、変換パラメータとして変換マトリックスを使用すれば、複数の変換パラメータを記憶した場合でも多大なメモリ量が必要となることがないので好ましい。一方、変換テーブルを変換パラメータとして使用すれば、座標変換をより柔軟に行うことが可能となる。

0062

更に、本発明は、上述した画像再生方法あるいは画像データ出力方法を実現するためのプログラムをコンピュータに読み込ませることで、コンピュータを用いて実現することも可能である。従って本願発明は、次のようなプログラムあるいは該プログラムを記録した記録媒体として把握することも可能である。すなわち、上述した第1の画像再生方法に対応する本発明のプログラムは、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第1の機能と、
前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第2の機能と、
前記座標変換後のカラー画像データを用いて画像を再生する第3の機能と
を実現するとともに、
前記第2の機能は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。

0063

かかるプログラムに対応する記録媒体は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第1の機能と、
前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第2の機能と、
前記座標変換後のカラー画像データを用いて画像を再生する第3の機能と
をコンピュータを用いて実現するプログラムを記憶しているとともに、
前記第2の機能は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。

0064

また、上述した第2の画像再生方法に対応する本発明のプログラムは、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る機能(A)と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う機能(B)と、
前記座標変換後のカラー画像データを用いて画像を再生する機能(C)と
を実現するとともに、
前記機能(B)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。

0065

かかるプログラムに対応する記録媒体は、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る機能(A)と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う機能(B)と、
前記座標変換後のカラー画像データを用いて画像を再生する機能(C)と
をコンピュータを用いて実現するプログラムを記憶しているとともに、
前記機能(B)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。

0066

また、上述した第1の画像データ出力方法に対応する本発明のプログラムは、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能(イ)と、
前記カラー画像データに、前記照明光源に応じた座標変換を行う機能(ロ)と、
前記座標変換後のカラー画像データを出力する機能(ハ)と
を実現するとともに、
前記機能(ロ)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。

0067

かかるプログラムに対応する記録媒体は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能(イ)と、
前記カラー画像データに、前記照明光源に応じた座標変換を行う機能(ロ)と、
前記座標変換後のカラー画像データを出力する機能(ハ)と
をコンピュータを用いて実現するプログラムを記憶しているとともに、
前記機能(ロ)は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された1の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。

0068

また、上述した第2の画像データ出力方法に対応する本発明のプログラムは、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能(1)と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく機能(2)と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する機能(3)と
を実現することを要旨とする。

0069

かかるプログラムに対応する記録媒体は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能(1)と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく機能(2)と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する機能(3)と
をコンピュータを用いて実現するプログラムを記憶していることを要旨とする。

0070

これらプログラム、あるいは記録媒体に記録されているプログラムをコンピュータに読み込ませ、各種機能を実現させれば、どのような照明光源の下で撮影した画像データであっても、元の色彩を正確に再現して、高画質な画像を再生することが可能となる。

発明を実施するための最良の形態

0071

以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施例を説明する。
A.画像再生方法の概要
B.第1実施例:
B−1.装置構成
B−2.画像データ生成処理
B−3.色変換マトリックス生成方法
C.第2実施例:
C−1.第2実施例の画像データ出力処理:
C−2.第2実施例の画像再生処理

0072

A.画像再生方法の概要:
実施例の詳細な説明に入る前に、本実施例において画像を撮影してから再生するまでの大まかな流れについて簡単に説明しておく。図1は、本実施例において、撮影対象の画像データを生成して、画像を再生するまでの大まかな流れを示したブロック図である。画像データは、撮影対象の映像を検出素子上に結像させて、2次元的な光強度分布の信号を取得することによって生成される。このような検出素子としては、いわゆるCCDやCMOSなどの個体撮像素子が広く使用されている。そして、これら検出素子では、通常、R,G,Bの3つの波長領域で光強度を検出することで、それぞれR,G,Bの画像データが生成される。

0073

次いで、こうして得られた画像データに対して色変換処理が施される。画像データに色変換処理を施す理由は次のようなものである。R,G,B画像データを生成するために用いられるR,G,Bの各波長領域は、画像を再生する際に用いられるR,G,B各色の波長領域とは厳密には一致していないことが通常である。このため、受け取ったR,G,B各色の画像データを単に再生して重ね合わせただけでは、元の画像の色彩とは異なった色彩になってしまう。そこで、R,G,B画像データを受け取ると、再生する際に用いられる色空間に合わせて、予め適切に色変換しておくのである。

0074

本実施例の画像再生方法では、この色変換に際して、撮影対象の映像を検出素子上に結像させるために用いた照明光源に応じて適切な色変換を行う。尚、図1に示した例では、検出素子から得られたRGB色空間の画像データを、一旦、XYZ色空間を経由させて、画像を再生するための色空間(図1ではsRGB色空間)の画像データに座標変換している。このように、検出素子で得られた画像データに対して2段階の色変換を行っていることから、いずれの色変換の段階で、照明光源に応じた色変換を実施することも可能である。例えば、検出素子で得られたRGB色空間をXYZ色空間に座標変換する段階で、照明光源に応じた適切な色変換を行ってもよいし、あるいはXYZ色空間の画像データをsRGB色空間に変換する段階で照明光源に応じた適切な色変換を行ってもよい。もちろん、2段階ではなく、より多段階の変換を行う場合には、いずれの段階で照明光源に応じた色変換を行うこととしてもよい。

0075

こうして照明光源に応じて適切に色変換されたRGB画像データに対して、必要に応じてホワイトバランス、あるいはガンマ補正を施した後、得られたRGB各色の画像データを用いて画像を再生する。このようにして画像を再生すれば、照明光源に応じて適切に色変換することができるので、どのような照明光源を用いて撮影した画像データであっても、色彩を精度良く再現することが可能となる。

0076

更には、検出素子から得られたR,G,B画像データに、照明光源に関する情報を関連付けた状態でRAW画像データとして出力し、この画像データを再生する際に、照明光源に応じて色変換したから再生することとしてもよい。こうしたRAW画像データとしては、検出素子から得られたR,G,B画像データに限らず、照明光源を考慮することなく変換されたXYZ色空間の画像データや、sRGB色空間の画像データを用いることもできる。

0077

以上のようにして画像データを再生してやれば、異なる照明光源の下で撮影された画像でも、元の色彩を高い精度で再現することが可能となる。以下では、このようにして画像を再生する技術について、各種の実施例に基づいて詳しく説明する。

0078

B.第1実施例 :
先ず初めに、画像データを、照明光源に応じた色変換処理を行った状態で出力する第1実施例について説明する。

0079

B−1.装置構成:
図2は、いわゆるデジタルカメラを例に用いて、第1実施例における画像データ出力装置の構成を示した説明図である。もちろん、いわゆるデジタルビデオカメラやカラースキャナなどの他の機器を用いて、第1実施例の画像データ出力装置を構成することも可能である。

0080

デジタルカメラ100には、図示されているように、レンズおよびレンズの駆動機構などによって主に構成される光学系102と、CCD(Charge Coupled Device)などによって主に構成される画像取得回路104と、DSP(Degital Signal Processor)などによって主に構成される画像処理回路106と、CPUなどによって主に構成される制御回路108と、ROMやRAMなどによって主に構成される記憶回路110と、専用のLSIによって主に構成される画像出力回路112と、制御回路108に対して種々の設定を行う十字カーソル116などが搭載されている。

0081

このようなデジタルカメラ100で画像を撮影する場合には、光学系102によって画像取得回路104のCCD上に画像を結像させる。CCDの受光面には、光を電荷に変換する微細な検出素子が一面に埋め込まれており、画像を結像させると、各検出素子はそれぞれの位置での光強度に応じて電荷を発生させる。画像取得回路104は、CCDの各検出素子で発生している電荷量を検出することにより、結像した画像を構成する各画素位置での光強度情報を取得する。画像処理回路106は、画像取得回路104で取得した光強度情報に所定の画像処理を施して画像データを生成する。画像出力回路112は、こうして生成した画像データをケーブルを介して外部に出力する。あるいはメモリカードなどの記憶素子114に書き込んで、記憶素子114を介して出力することも可能である。これら光学系102や、画像取得回路104、画像処理回路106、画像出力回路112などの動作は、制御回路108によって制御されている。制御のために必要な各種プログラムやデータ類は、記憶回路110のROM内に予め記憶されており、制御回路108はこれらプログラムやデータを読み込んで制御を行う。

0082

第1実施例の画像データ出力装置では、CCD上に画像を結像させるために用いられた照明光源に応じて適切に色変換された状態のカラー画像データを出力する。以下では、こうしたカラー画像データを生成して出力する処理について説明する。

0083

B−2.画像データ出力処理 :
図3は、第1実施例の画像データ出力装置においてカラー画像データを生成して出力する処理の流れを示したフローチャートである。処理を開始すると、先ず初めに、画像取得回路104のCCD上に撮影対象の画像を結像させて、R,G,B各色のCCD出力を取得する(ステップS100)。ここで、本実施例のデジタルカメラ100は、1枚のCCDしか搭載されていない。そこで、色補間と呼ばれる処理を行うことにより、1枚のCCD出力から、RGB各色毎のCCD出力を生成する。尚、ここではCCDを用いて光の強さを電気的な信号に変換するものとしているが、光強度を検出する部品としてはCCDに限らず、例えばCMOSセンサと呼ばれる部品など、他の部品を用いることも可能である。

0084

図4は、本実施例のデジタルカメラ100内で色補間を行うことにより、1枚のCCD出力からRGB各色のCCD出力を生成している様子を概念的に示した説明図である。先ず、R色光のみを通過する小さなフィルタ(Rフィルタ)と、G色光のみを通過する小さなフィルタ(Gフィルタ)と、B色光のみを通過する小さなフィルタ(Bフィルタ)とを組み合わせたカラーフィルタをCCDの前に設けておく。こうすれば、Rフィルタの後ろの検出素子ではR色光の光強度が検出され、Gフィルタの後ろの検出素子ではG色光の光強度検出され、Bフィルタの後ろの検出素子ではB色光の光強度が、それぞれ検出されることになる。

0085

図4(a)は、CCD上で、こうして検出素子毎にR,G,B各色の光を分担して検出している様子を概念的に示した説明図である。図中に示した小さな矩形は、CCD上に設けられた微細な検出素子を模式的に表したものである。尚、実際のCCD上には、より多数の検出素子が搭載されているが、ここでは図示が煩雑となることを避けるために、5×6の30個の素子が搭載されているものとして表示している。図中で「R」と表示された検出素子はR色光の光強度を検出する素子を示し、「G」と表示された素子はG色光の光強度を、「B」と表示された素子はB色光の光強度を検出する素子を示している。このように、R,G,B各色の光強度がモザイク状に得られたデータから、各色毎に補間演算を行うことにより、図4(b)に示すようなR,G,B各色の画像データを生成する。図3に示したステップS100では、このようにして、CCD出力から、RGB各色の画像データを取得する処理を行う。

0086

尚、ここでは、RGB各色のフィルタをモザイク状に組み合わせたカラーフィルタを用いることで、1枚のCCDからRGB各色の画像データを取得するものとして説明したが、カラーセパレータを用いてRGB各色の光に分離した後、各色毎の画像をそれぞれに設けたCCD上に結像させることによって、RGB各色の画像データを取得することとしてもよい。

0087

こうしてRGB各色の画像データを取得したら、今度は、RGB各色の画像データに対してリニア補正を実施する(ステップS102)。これは、次のような処理である。前述したように、CCD上に設けられた検出素子は光強度に応じた電荷を生成するが、素子のバラツキにより、あるいは電荷の生成原理などの影響で、電荷量(すなわちCCD出力)が受光した光強度に正確に比例しているとは限らない。そこで、CCD出力を補正することで、光強度に正確に比例した出力に変換しておくのである。

0088

CCD出力のリニア補正は、1次元テーブルを参照することで実施することができる。図5は、リニア補正を行う際に参照される1次元テーブルを概念的に示した説明図である。図2に示したデジタルカメラ100の記憶回路110には、図5に示すような、CCD出力に対してリニア補正後の出力が対応付けられた1次元テーブルが、R,G,B各色毎に予め記憶されている。図3のS102では、このような1次元テーブルを参照することにより、CCD出力に基づいてRGB各色毎に得られた画像データを、光強度に正確に比例するデータに変換する処理を行う。尚、図5に示した1次元テーブルから分かるように、CCD出力は通常、大まかには光強度に比例した値となっており、リニア補正前の出力値と補正後の出力値とが大きく異なることは稀である。従って、場合によってはリニア補正処理を省略することも可能である。

0089

こうして画像データに対してリニア補正を行ったら、今度は、撮影対象の画像をCCD上に結像させるために、撮影対象の照明に用いた光源の類別(例えば、白熱灯蛍光灯太陽光など)を取得する(ステップS104)。ここでは、照明光源の類別は、デジタルカメラ100の記憶回路110に予め複数の類別が記憶されており、撮影前にデジタルカメラ100の操作者が撮影前に十字カーソル116を使用して複数の類別の中から選択し、制御回路108に設定されているものとする。もっとも、こうした方法に限らず、CCDで取得されたRGB各色光の強度分布から、照明光源の類別を推定することとしても良い。例えば、白熱灯を用いて撮影された画像は全体的に赤っぽい画像となるから、他の色に比べてR色が強ければ、照明光源の類別を白熱灯と推定することができる。このように、照明光源の類別に応じてRGB各色の強度は特徴的な比率となることが多いため、各色の強度分布を解析することで照明光源の類別を推定することも可能である。

0090

照明光源の類別を取得したら、リニア補正後のRGB画像データを、照明光源に対応する色変換マトリックスを用いて色変換する処理を行う(ステップS106)。本実施例では、CCD出力から得られたRGB画像データを、XYZ色空間の画像データに色変換している。かかる処理について説明するために、その準備として、先ず、色変換処理の概要について簡単に説明する。

0091

今、カラーフィルタを用いてR,G,B各色の光を分離して、各色の光強度r,g,bが得られたとする。この場合、R,G,B各色の光をそれぞれr,g,bの強さで混合すれば、グラスマンの法則によって元の画像と同じ色彩を再現することが可能である。しかし、カラーフィルタで分離したR,G,B各色光の中心波長は、画像を再現するために使用されるR,G,B各色光の波長とは、通常異なっている。このため、CCDの検出素子で検出したR,G,B各色の階調データをそのまま使用して画像を再生したのでは、表現される色彩は元の色彩とは異なったものとなってしまう。

0092

図2に示した本実施例のデジタルカメラ100の記録回路110には、白熱灯や蛍光灯といった照明光源の類別毎に、適切な色変換マトリックスが予め設定されている。そして、図3に示した画像データ出力処理のステップS106では、ステップS104において先に取得した照明光源の類別に応じて設定されている色変換マトリックスを、記録回路110から読み出して、リニア補正後のRGB画像データにこの色変換マトリックスを作用させることにより、照明光源に応じたXYZ色空間の画像データに座標変換する処理を行う。

0093

次いで、得られたXYZ色空間の画像データに再び色変換を行うことにより、今度はsRGB色空間の画像データに座標変換する処理を行う(ステップS108)。XYZ色空間からsRGB色空間への座標変換は、図6に示す色変換マトリックスを用いて行うことができる。こうして、画像データをsRGB色空間のデータに座標変換しておけば、モニタなどの多くの画像再生機器で自然な階調特性の画像を表示することが可能である。

0094

尚、本実施例の画像データ出力処理では、画像を再生する機器を特定することなく、できるだけ多くの機器において適切に画像を再生させることを目的として、最も標準的な色空間であるsRGB色空間に画像データを座標変換している。もちろん、画像を再生する機器が特定されている場合には、sRGB色空間ではなく、その画像再生機器で採用されている色空間に画像データを座標変換することとしても良い。

0095

また、CCDのRGB出力を、直ちにsRGB色空間のデータに座標変換するのではなく、一旦、XYZ色空間の画像データに座標変換しているのは、次のような理由によるものである。照明光源に応じた色変換マトリックスを決定する方法については後述するが、色変換マトリックスは、変換先色空間毎に異なったマトリックスとなる。例えば、ある照明光源で撮影した画像データを想定し、この画像データを2つの色空間に座標変換しようとする場合、照明光源に応じた色変換マトリックスは、変換先の色空間が違えば別のマトリックスとなってしまう。このように、変換先の色空間に応じて色変換マトリックスも異なるマトリックスとなるから、変換先の色空間はできるだけ標準的な色空間としておくことが望ましい。この点、すなわち標準的な色空間という点では、sRGB色空間も、XYZ色空間も同じである。

0096

しかし、図7を用いて前述したように、XYZ色空間はsRGB色空間よりも表現可能な色域が広く、しかも高精度の階調表現が可能である。従って、sRGB色空間に座標変換するよりもXYZ色空間に座標変換した方が、色変換の際に色域が狭くなったり、階調の分解能劣化するおそれを回避することができる。換言すれば、照明光源に応じた色変換マトリックスを設定する際に、座標変換先の色空間をsRGB色空間とした場合、照明光源に応じた色変換をするだけで、表現可能な色域が狭くなってしまったり、あるいは画像データの階調分解能が劣化してしまうことが生じ得る。これに対して、座標変換先の色空間をXYZ色空間として、照明光源に応じた色変換マトリックスを設定しておけば、照明光源に応じた色変換を行うだけでは、こうした問題が発生することがない。このため、照明光源に応じて適切に色変換した後、色変換後の画像データに対して、更に必要な座標変換を施すことで、高品質な画像を再生することが可能となる。図3に示した第1実施例の画像データ出力処理では、このような理由から、RGB画像データを、一旦、XYZ色空間に変換した後、sRGB色空間の画像データに変換しているのである。

0097

次いで、得られたsRGB色空間の画像データに対して、ホワイトバランスを調整する処理を行う(図3のステップS110)。これは次のような処理である。人間の視覚は、色順応と呼ばれる能力を備えており、どのような光源の下でも白色は白色として認識することができる。例えば、黄色がかった光源の元では白色は黄色っぽく見えているはずであり、赤色がかった光源の元では白色は赤っぽく見えているはずであるが、いずれの場合でも人間は白色を白色と認識する。ところが、CCDで撮影した場合、黄色がかった光源の下では白色が黄色っぽく写ってしまい、赤色がかった光源の下では白色が赤っぽく写ってしまう。このため、後で画像を再現すると、記憶に残っている色彩と異なるために違和感を与えることとなる。こうしたことを避けるため、白色が白色に写るように、光源に合わせてR,G,B各色のゲインを調整する処理を行う。

0098

尚、本実施例の画像データ出力処理では、ステップS106においても照明光源に応じた色変換を行っている。この色変換処理と、上述のホワイトバランス調整とは、照明光源の違いを考慮して補正する点では同じである。しかし、色変換処理とホワイトバランス処理とでは、次のように、対象としている照明光源の影響が異なっている。すなわち、色変換時に考慮される照明光源の影響は、光源による分光スペクトルの違いが、CCDのRGB出力に与える影響や人間の視覚に与える影響である。換言すれば、照明光源に応じた色変換マトリックスを用いることにより、CCDと人間の視覚との分光的感度特性の違いを補正しながら色変換処理を行っていることになる。

0099

これに対して、ホワイトバランス調整時に考慮される影響は、人間の視覚に備わった色順応という機能による影響である。換言すれば、CCDは色順応という機能を有していないので、画像データにホワイトバランス調整を行うことで、色順応に近い機能を実現していることになる。このように、照明光源に応じて行う色変換処理とホワイトバランス調整とは、それぞれ異なる影響を補正するものであることから、図3に示した画像データ出力処理では、色変換処理に加えてホワイトバランス調整を行っているのである。

0100

ホワイトバランス調整に続いて、ガンマ補正を行う(ステップS112)。ガンマ補正とは次のような処理である。一般的なモニタでは、入力と出力との関係が直線的な関係とはなっていない。これは、モニタは一般的に、印加する電圧Eと画面輝度Iとの間に、
I=k×Eγ
という関係が成り立っており、電圧Eが小さい間はなかなか画面が明るくならないが、印加する電圧Eがある程度まで大きくなると急に明るく特性を有するからである。ここで、kは比例定数であり、γ(ガンマ)は印加する電圧Eと画面の輝度Iとが直線関係から隔たっている程度を示す指標である。γ=1の場合は、輝度Iは電圧Eに比例しており、印加する電圧Eが増加するに連れて輝度Iも直線的に増加するが、γの値が1から離れる程、直線関係からの隔たりが大きくなる。

0101

図7は、本実施例の画像データ出力処理で行うガンマ補正の内容を示す説明図である。図中に示した破線のグラフは、一般的なモニタの特性を表しており、通常、γ値は1よりも大きな値を取る。このような特性のモニタでは、入力データの階調値を一定の割合で増加させても、モニタの明るさを一定の割合で増加させることはできない。そこで、図7の実線で示すように、低階調域入力値底上げするような階調変換を行う。具体的には、γ値がモニタのγ値の逆数となるような階調変換を行えば、入力データの階調値に応じてモニタの明るさを変化させることができる。図3のステップS112では、図7の実線で示した特性に従って、RGB各色の画像データを変換する処理を行う。

0102

以上のようにして、ガンマ補正を行ったら、最終的に得られたRGB各色の画像データを、モニタなどの画像再生機器に向かって出力し、図3に示す画像データ出力処理を終了する(ステップS114)。このようにして出力されたRGB画像データは、照明光源に応じた色変換マトリックスが適用されて、適切に色変換されている。このため、どのような照明光源を用いて撮影された画像データであっても、通常の画像データ通りに再生するだけで適切な画像を再生することが可能となる。

0103

B−3.色変換マトリックスの生成方法:
上述したように、本実施例の画像データ出力処理では、照明光源に応じた色変換マトリックスを用いて画像データを色変換しておくことで、照明光源によらず適切に画像を再現することを可能としている。そこで、照明光源に応じて画像データを適切に色変換するための色変換マトリックスを生成する方法について説明する。

0104

図8は、照明光源に応じた色変換マトリックスを設定するために用いるカラーチャートを例示した説明図である。図示するように、カラーチャートは複数の領域から構成されており、それぞれの領域は異なる色で塗りつぶされている。図8に示したカラーチャートでは、1番〜20番の20の領域が設けられている。照明光源に応じた色変換マトリックスは、カラーチャートに含まれる各カラーパッチの測色値を用いて設定する。

0105

図9は、照明光源に応じた色変換マトリックスを設定する方法を示した説明図である。例えば、白熱灯に応じた色変換マトリックスを設定するものとすると、図8に示したカラーチャートを白熱灯で照明した状態で、1番〜20番までの各カラーパッチを測色する。この結果、1番〜20番までのカラーパッチ毎に、白熱灯下で測色値X,Y,Zを得ることができる。ここで、X(1) ,Y(1) ,Z(1) は、1番のカラーパッチを測色して得られたX,Y,Z値を表すものとする。同様に、X(2) ,Y(2) ,Z(2) は、2番のカラーパッチを測色して得られたX,Y,Z値を表している。

0106

一方、1番〜20番までのカラーパッチを、同一条件下でデジタルカメラ100を用いて撮影することにより、RGB画像データを取得する。尚、このとき、前述した色変換や、ホワイトバランス調整、ガンマ補正などは行わない設定にしておく。このようにして、1番〜20番までの各カラーパッチについて、CCD出力にリニア補正を行っただけのRGB各色の画像データを得ることができる。ここで、R(1) ,G(1) ,B(1) は、1番のカラーパッチを測色して得られたR画像データの階調値,G画像データの階調値,B画像データの階調値を表すものとする。同様に、R(2) ,G(2) ,B(2) は、2番のカラーパッチを測色して得られたR画像データの階調値,G画像データの階調値,B画像データの階調値を表している。

0107

以上のような操作を行うことにより、白熱灯で照明したときの測色値X,Y,Zと、色変換を行う前のR,G,Bの各階調値との対応関係が、各カラーパッチについて得られたことになる。例えば、1番のカラーパッチについては、測色値X(1) ,Y(1) ,Z(1) と、これに対応するCCD出力R(1) ,G(1) ,B(1) とが得られることになる。同様に、2番のカラーパッチについては、測色値X(2) ,Y(2) ,Z(2) と、対応するCCD出力R(2) ,G(2) ,B(2) とが得られる。

0108

白熱灯下で得られたCCDのRGB出力を、適切に変換する色変換マトリックスとは、1番のカラーパッチのCCD出力R(1) ,G(1) ,B(1) を実際の測色値X(1) ,Y(1) ,Z(1) に変換するマトリックスとなるはずである。同様に、2番のカラーパッチのCCD出力R(2) ,G(2) ,B(2) については、実際の測色値X(2) ,Y(2) ,Z(2) に変換するマトリックスとなるはずである。すなわち、各カラーパッチについて得られたCCDのRGB出力を、実際の測色値XYZに変換するようなマトリックスが得られれば、そのマトリックスが、白熱灯で撮影した画像データを適切に色変換するマトリックスであると考えることができる。結局、各カラーパッチのRGB出力が、測色値XYZに出来るだけ近い値に変換されるような色変換マトリックスを決定してやればよい。

0109

このようなマトリックスを決定するために、先ず、図9(b)に示すようなマトリックスを仮定する。そして、1番のカラーパッチのCCD出力R(1) ,G(1) ,B(1) に、このマトリックスを適用して得られた計算値をX’(1) ,Y’(1) ,Z’(1) とする。前述したように、実際の測色値はX(1) ,Y(1) ,Z(1) であるから、1番のカラーパッチについては、図9(c)に示すような誤差ER(1) が生じたことになる。

0110

同様の操作を、2番〜20番までのそれぞれのカラーパッチについても行うことで、各カラーパッチについての誤差ER(2) 〜ER(20)を得ることができる。そして、これら各カラーパッチの誤差の合計値ERを求め、この値が最も小さくなるように、マトリックスに含まれる9つの定数a11、a12、a13,a21,a22,a23,a31,a32,a33を決定する。ここでは、カラーパッチは20組あるから、いわゆる最小二乗法を適用すれば、誤差の合計値ERが最も小さくなるような9つの定数を決定することが可能である。こうしてマトリックス中の9つの定数を決定してやれば、白熱灯の下で得られたCCD出力を適切なXYZ値に変換可能な色変換マトリックスが得られたことになる。

0111

以上の説明では、照明光源が白熱灯であるものとして説明したが、他の照明光源についても、全く同様にして色変換マトリックスを決定することができる。図10は、こうして得られた各照明光源に対する色変換マトリックスを概念的に示した説明図である。図示した例では、白色灯用の色変換マトリックスA、蛍光灯用の色変換マトリックスB、太陽光用の色変換マトリックスC、日陰光用の色変換マトリックスDが得られており、各マトリックスには、それぞれ最小二乗法で得られた定数が設定されている様子が示されている。

0112

図2に示したデジタルカメラ100の記憶回路110には、このような各マトリックスが照明光源の類別に対応付けられた状態で記憶されている。そして、図3に示した画像データ出力処理では、CCDから得られたRGB画像データを、このような照明光源に応じた色変換マトリックスを用いて色変換することで、測色値に近い適切なXYZ値に座標変換するのである。このように適切なXYZ値に変換しておけば、後は必要に応じて、画像を再生する機器の色空間に座標変換したり、ホワイトバランス調整やガンマ補正などの各種補正を行う適宜行うことで、元の画像の色彩を適切に再生することが可能となる。

0113

尚、上述の画像データ出力処理では、CCDによって得られたRGB画像データを、照明光源に応じて座標変換するために、色変換マトリックスを適用するものとして説明した。しかし、画像データを色変換する方法としては、色変換マトリックスを用いたものに限られるわけではなく、他の方法を用いて実現することも可能である。例えば、照明光源に応じた色変換テーブルを用いることにより、画像データを適切な色空間に座標変換することとしても良い。

0114

図11は、照明光源に応じて設定された色変換テーブルを概念的に示す説明図である。図示されているように、色変換テーブルは互いに直交する3軸にR,G,Bの各座標軸を取って、それぞれの軸を細分して生成した格子座標に、対応するXYZ値を記憶した3次元の数表と考えることができる。このような色変換テーブルを参照すれば、次のようにしてRGB画像データをXYZ色空間の画像データに座標変換することができる。例えば、RGB画像データが(r,g,b)であったとすると、図11に示したR,G,Bを3軸とする空間内に、この画像データに相当する座標点を1つ決定することができる。こうして得られた座標点が、格子点に一致している場合は、格子点に記憶されているXYZ値を読み出すだけで、RGB画像データr,g,bに対応するXYZ値を得ることができる。また、RGB画像データに対応する座標点が格子点に一致していない場合は、周囲の格子点に設定されているXYZ値から補間演算を行うことにより、RGB画像データr,g,bに対応するXYZ値を算出することができる。

0115

このようにして、色変換テーブルを参照して色変換を行うこととすれば、各格子点に適切なXYZ値を設定しておくことにより、非線形な特性の色変換も容易に実現することが可能である。従って、画像データを照明光源に応じた色空間のデータに、より適切に座標変換することが可能となる。一方、前述したように色変換マトリックスを用いて色変換する場合は、メモリ容量を節約することができるという利点が得られる。すなわち、色変換マトリックスを記憶しておくために要するメモリ量は、色変換テーブルを記憶するために要するメモリ量よりも遙かに少ないので、種々の照明光源に対応した多種類の色変換マトリックスを記憶した場合でも、多大なメモリ量が必要になることがない。

0116

C.第2実施例 :
以上に説明した第1実施例では、照明光源に応じて色変換した状態の画像データを出力する場合について説明したが、本発明による画像の再生は、画像データを受け取って、照明光源に応じて座標変換してから画像を再生する態様で実現することも可能である。以下では、こうした第2実施例について説明する。

0117

C−1.第2実施例の画像データ出力処理 :
図12は、第2実施例において、画像データを出力する処理の流れを示したフローチャートである。第2実施例の画像データ出力処理は、画像データを照明光源に応じて座標変換するのではなく、画像データとともに変換パラメータを関連づけて出力する点が、前述した第1実施例の画像データ出力処理に対して大きく異なっている。以下では、こうした相違点を中心として、第2実施例の画像データ出力処理について簡単に説明する。

0118

第2実施例の画像データ出力処理においても第1実施例と同様に、処理を開始すると先ず初めに、画像取得回路104のCCD上に撮影対象の画像を結像させて、R,G,B各色のCCD出力を取得する(ステップS200)。もちろん、CCDの代わりに、CMOSセンサなどを用いることも可能である。次いで、得られたRGB各色のCCD出力に対してリニア補正を実施することにより、RGB各色の画像データを光強度に正確に比例するデータに変換する(ステップS202)。かかる変換は、第1実施例と同様に、図5に示すような1次元テーブルを参照することによって実施することができる。もちろん、第1実施例と同様に、こうしたリニア補正処理を省略することも可能である。

0119

続いて、リニア補正後のRGB画像データと、予め記憶されている複数の色変換マトリックスとを互いに関連づけた状態で出力する(ステップS204)。デジタルカメラ100の記憶回路110には、複数の色変換マトリックスが予め記憶されている。そして、ここでは、これら複数の色変換マトリックスが、RGB画像データのヘッダ部に書き込まれた状態で出力されるものとする。尚、RGB画像データに関連づけて出力される色変換マトリックスは、例えば十字カーソル116などを使用して、適切な色変換マトリックスを選択することとしても良い。このとき、照明光源の類別(例えば、白熱灯、太陽光など)に応じて色変換マトリックスを記憶しておき、撮影に用いた照明光源に応じたマトリックスを選択することとしてもよい。もちろん、色変換マトリックスの代わりに複数の色変換テーブルを記憶しておき、これらテーブルを関連づけて出力することも可能である。

0120

図13は、ヘッダ部に色変換マトリックス(あるいは色変換テーブル)が書き込まれた画像データのデータ構造を概念的に示した説明図である。尚、RGB画像データと色変換マトリックス(あるいは色変換テーブル)とを互いに関連付ける態様は、画像データのヘッダ部に色変換マトリックス等を書き込む態様に限られるものではなく、例えば、画像データと色変換マトリックス等とを別々のファイルとして記憶しておき、ファイルのファイル名の少なくとも一部を共通化しておくことで、これらファイルを互いに関連付けたり、あるいは、ファイル間ハイパーリンクを張ることによって互いを関連付けることも可能である。

0121

以上のようにして、画像データと色変換マトリックス等とを互いに関連づけた状態で出力したら(ステップS204)、図12に示した第2実施例の画像データ出力処理を終了する。第2実施例では、このように色変換マトリックス等が関連づけられた画像データを受け取ると、次のような処理を行うことにより、照明光源に応じて適切に画像を再生する。

0122

C−2.第2実施例の画像再生処理:
図14は、第2実施例において画像データを受け取って画像を再生する画像再生機器200の大まかな構成を示した説明図である。画像再生機器200としては、液晶モニタや、CRTモニタ、プロジェクタなどを用いることができる。

0123

図示されているように、画像再生機器200は、いわゆる液晶画面やCRT画面などによって主に構成される画像出力部202と、画像出力部202を駆動する駆動回路204と、外部から供給される画像データを受け取る画像入力回路212と、画像入力回路212から入力された画像データに所定の画像処理を施す画像処理回路206と、駆動回路204や画像処理回路206、画像入力回路212の動作を制御する制御回路208と、画像処理や制御に必要な各種データが記憶されている記憶回路210と、制御回路208に対して各種の設定を行う十字カーソル216などから構成されている。また、画像出力回路212は、ケーブルを介して画像データを受け取る他に、メモリカードなどの記憶素子214を介して画像データを受け取ることもできる。

0124

以上のような構成を有する第2実施例の画像再生機器200では、画像データとともに照明光源情報を受け取って次のような処理を行うことで、照明光源によらず適切に画像を再生することが可能となっている。

0125

図15は、第2実施例の画像再生機器が、画像データと色変換マトリックス(あるいは色変換テーブル)とを受け取って画像を再生する処理の流れを示した説明図である。以下、フローチャートに従って説明する。画像再生処理を開始すると、先ず初めに画像データと色変換マトリックス(あるいは色変換テーブル)とを取得する(ステップS300)。この画像データは、図12を用いて前述した画像データ出力処理によって生成されたRGB画像データであり、色変換マトリックス(あるいは色変換テーブル)が関連づけられている。ステップS300では、このRGB画像データと色変換マトリックス(あるいは色変換テーブル)とを読み込む処理を行う。

0126

次いで、照明光源の類別(例えば、白熱灯、太陽光、蛍光灯など)についての設定を取得する(ステップS302)。照明光源の類別は、画像再生機器200の制御回路208に対して十字カーソル216を用いて設定されており、かかる設定を取得する。もちろん、デジタルカメラ100などから出力される画像データに照明光源に関する情報を関連づけておき、かかる情報に基づいて照明光源の類別を取得することとしても良い。

0127

こうして照明光源の類別を取得したら、画像データとともに読み込んだ色変換マトリックスが、照明光源に応じた色変換マトリックス(あるいは色変換テーブル)であるか否かを判断する(ステップS304)。

0128

読み込んだ色変換マトリックスが、照明光源に対応する色変換マトリックスであった場合は(ステップS304:yes)、かかる色変換マトリックスを選択する(ステップS306)。このとき、画像再生装置200の記憶回路210にも、複数の色変換マトリックスを記憶しておき、読み込んだ色変換マトリックスが照明光源に対応するマトリックスではない場合には、記憶回路内のマトリックスの中から、照明光源に対応する色変換マトリックスを選択することとしても良い。一方、照明光源に対応する色変換マトリックスが存在しない場合は(ステップS304:no)、記憶回路210に記憶されている複数の色変換マトリックスの中から、標準の色変換マトリックスとして予め設定しておいたマトリックスを選択する(ステップS308)。

0129

次いで、先に取得しておいたRGB画像データに、選択した色変換マトリックスを適用することにより、XYZ色空間のデータに座標変換する(ステップS310)。そして、今度は、得られたXYZ色空間の画像データに、図6を用いて前述した色変換マトリックスを作用させることで、今度は、sRGB色空間の画像データに座標変換する(ステップS312)。前述したように、画像データをsRGB色空間のデータに座標変換しておけば、多くの画像再生機器で、自然な画像を再生することができる。

0130

尚、外部から供給されたRGB画像データを、直ちにsRGB色空間のデータに座標変換するのではなく、一旦、XYZ色空間の画像データに座標変換している。このため、照明光源の影響を考慮して適切に色変換されたXYZ画像データを取り出して、他の機器に出力することにより、劣化のない高精度の画像データを得ることも可能である。

0131

以上のようにして、sRGB色空間の画像データが得られたら、この画像データに対して、ホワイトバランス調整を行う(ステップS314)。すなわち、人間の視覚に備わった色順応という機能に対応して、白色が白色に写るように、光源に合わせてR,G,B各色のゲインを調整する処理を行う。次いで、ホワイトバランス調整後の画像データに対してガンマ補正を行った後(ステップS316)、得られた画像データを用いて画像を再生する(ステップS318)。

0132

以上のようにして画像を再生してやれば、照明光源に応じて適切に色変換することができるため、どのような照明光源を用いて撮影された画像であっても、適切に再生することが可能となる。

0133

尚、上述した第2実施例では、画像データのヘッダ部には1つの色変換マトリックスが書き込まれるものとして説明した。しかし、画像データに複数の色変換マトリックスを関連づけておくこともできる。更には、色変換マトリックスに代えて(あるいは色変換マトリックスとともに)色変換テーブルを関連づけておくことも可能である。

0134

図16は、ヘッダ部に複数の色変換マトリックスが書き込まれた画像データのデータ構造を概念的に示した説明図である。図示した例では、画像データのヘッダ部に3つの色変換マトリックスが書き込まれている。このように、画像データに複数の色変換マトリックス(あるいは色変換テーブル)を関連づけておけば、画像データを再生する側の機器に応じて柔軟に再生することが可能となる。例えば、色変換マトリックス(1)には、撮影に用いた照明光源に対応する色変換マトリックスを書き込んでおく。そして、色変換マトリックス(2)や色変換マトリックス(3)には、異なる色変換マトリックスを書き込んでおく。こうすれば、画像データの再生側の機器で、色変換マトリックス(1)を用いて座標変換すれば、元の画像の色彩を精度良く再現した高画質な画像を再生することができる。一方、色変換マトリックス(2)あるいは色変換マトリックス(3)を用いて座標変換することで、表現の自由度を向上させて、より高画質な画像を再生することが可能となる。

0135

また、上述した第2実施例では、画像再生機器200の記憶回路210に、各種の照明光源に応じた複数の色変換マトリックスが記憶されており、照明光源に対応する色変換マトリックスあるいは標準の色変換マトリックスを読み出して使用するものとして説明した。もちろん、色変換マトリックスの代わりに、図11に示した色変換テーブルを、記憶回路210に記憶しておくことも可能である。

0136

以上、各種の実施例について説明してきたが、本発明は上記すべての実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

0137

例えば、上述した各種実施例では、画像データがRGB画像データである場合について説明した。RGB画像データを、更に、シアン(C)、マゼンタ(M)、イエロ(Y)等の各色によるCMY色空間に座標変換したり、あるいは、XYZ画像データをCMY色空間に座標変換することも可能である。

図面の簡単な説明

0138

撮影対象の画像データを生成して画像を再生するまでの大まかな流れを示したブロック図である。
第1実施例における画像データ出力装置の構成を示した説明図である。
第1実施例の画像データ出力装置においてカラー画像データを生成して出力する処理の流れを示したフローチャートである。
画像データ出力装置内で色補間を行うことにより1枚のCCD出力からRGB各色のCCD出力を生成している様子を概念的に示した説明図である。
リニア補正を行う際に参照される1次元テーブルを概念的に示した説明図である。
XYZ色空間の画像データをsRGB色空間のデータに変換するための色変換マトリックスを示した説明図である。
ガンマ補正の内容を示す説明図である。
照明光源に応じた色変換マトリックスを設定するために用いるカラーチャートを例示した説明図である。
照明光源に応じた色変換マトリックスを設定する方法を示した説明図である。
各種の照明光源に応じた色変換マトリックスを概念的に示した説明図である。
照明光源に応じた色変換テーブルを概念的に示す説明図である。
第2実施例において画像データを出力する処理の流れを示したフローチャートである。
ヘッダ部に照明光源情報が書き込まれた画像データのデータ構造を概念的に示した説明図である。
第2実施例において画像データを受け取って画像を再生する画像再生機器の大まかな構成を示した説明図である。
第2実施例の画像再生機器が画像データと照明光源情報とを受け取って画像を再生する処理の流れを示した説明図である。
ヘッダ部に複数の照明光源情報が書き込まれた画像データのデータ構造を概念的に示した説明図である。
デジタルカメラやデジタルビデオなどの標準的な分光感度特性を概念的に示す説明図である。
デジタルカメラなど撮影機器の標準的な分光感度特性を概念的に示す説明図である。

符号の説明

0139

10…デジタルカメラ、 20…ビデオカメラ、 30…スキャナ
40…コンピュータ、 50…プリンタ、 60…モニタ
100…デジタルカメラ、 102…光学系、 104…画像取得回路
106…画像処理回路、 108…制御回路、 110…記憶回路
112…画像出力回路、 114…記憶素子、 116…十字カーソル
200…画像再生機器、 202…画像出力部、 204…駆動回路
206…画像処理回路、 208…制御回路、 210…記憶回路
212…画像入力回路、 214…記憶素子、 216…十字カーソル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • キヤノン株式会社の「 光電変換装置および光電変換システム」が 公開されました。( 2020/10/29)

    【課題】 本発明によれば、感度の異なる複数の光電変換部を含む光電変換装置において、画質の低下を防ぐことができる。【解決手段】 本発明に係る光電変換装置の1つの側面は、第1光電変換部と第2光電変換部... 詳細

  • キヤノン株式会社の「 画像処理装置、画像処理方法、およびプログラム」が 公開されました。( 2020/10/22)

    【課題】光透過率可変素子の透過率を変更することによる色滲みを低減することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置は、撮像が行われた際の光透過率可変素子の光透... 詳細

  • ソニーセミコンダクタソリューションズ株式会社の「 固体撮像装置」が 公開されました。( 2020/10/22)

    【課題】混色悪化を抑制しつつ、感度を向上させることができるようにする。【解決手段】基板と、基板に設けられた複数の光電変換領域と、光電変換領域間に設けられ、基板を貫通して設けられたトレンチと、光電変換領... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ