図面 (/)

技術 画像処理装置、画像処理方法、画像処理プログラムおよび該画像処理プログラムをコンピュータに実行可能に記録した記録媒体

出願人 株式会社リコー
発明者 野村健一郎
出願日 2012年2月21日 (9年6ヶ月経過) 出願番号 2012-035077
公開日 2013年9月2日 (8年0ヶ月経過) 公開番号 2013-172308
状態 特許登録済
技術分野 カラーテレビジョン画像信号発生装置 FAX画像信号回路 カラー画像通信方式
主要キーワード 上位エリア 屋外情報 楕円枠 屋外判定 自動認識処理 成分抽出フィルタ 識別境界 モニタリング動作
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年9月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

撮影シーン屋内であるか屋外であるかの判定を高精度かつ安定して行う。

解決手段

エリアを設定する緑エリア設定手段211と、蛍光灯エリアを複数設定する蛍光灯エリア設定手段212と、ホワイトバランス評価値評価値)を取得するホワイトバランス評価値取得手段203と、取得した評価値が緑エリアに分布するか否かを判定し、緑エリアに分布する評価値の個数を取得する緑評価値判定手段206と、蛍光灯エリアのいずれかに分布するか否かを判定し、各蛍光灯エリアに分布する評価値の個数をそれぞれ取得する蛍光灯評価値判定手段207と、緑エリアと複数の蛍光灯エリアのうち、評価値の個数が多い上位複数のエリアを求める上位エリア判定手段208と、を備え、上位複数のエリアの各エリアに分布する評価値の個数を基に、屋外のシーンに対応するか否かに関する屋外情報を求める。

概要

背景

CCD(Charge Coupled Device:電荷結合素子イメージセンサ等を撮像素子として用いた撮像装置等で撮影されるデジタル画像に関し、光源色温度によるCCDの出力信号色変化を、人間の目に不自然感じさせないように補正するホワイトバランス(White Balance)補正は、必須の機能の一つである。

ホワイトバランス補正では、屋外晴天)、曇天日陰)、白熱灯蛍光灯等の撮影シーン(すなわち、光源)を判断して、撮影シーン(単に、シーンともいう)に応じた最適なホワイトバランスゲインを決定し、ホワイトバランス補正を実行する技術が知られているが、例えば、日陰(曇天)で緑のあるシーンと室内での蛍光灯下のシーンとでは明るさ(照度)及び色の分布が似ているため識別が困難であることが知られている。

そのため、撮影シーンを、屋外の緑があるシーンについて蛍光灯下のシーンと誤って判定し、屋外の緑があるシーンについてホワイトバランス補正を行った結果、緑を白く補正しようして全体的に画像がマゼンタになってしまう場合があった。

このように、従来のホワイトバランス補正技術では、屋外の緑があるシーン(屋外)と蛍光灯下のシーン(室内)との判定(屋外判定)に失敗してしまい、その判定に基づいて行われるホワイトバランス補正を精度よく行うことができない場合があった。

このような問題に対し、例えば、特許文献1には、被写体の模様に関する情報(周波数成分やエッジ量成分)に基づいて光源を推定して、ホワイトバランス補正を実行するホワイトバランス補正装置が開示されている。

また、特許文献2には、照度情報色温度情報などの特徴情報に基づいて、多次元空間における識別境界を規定し、該識別境界により屋外判定して、判定結果に応じたホワイトバランス補正を実行する画像処理装置が開示されている。

また、特許文献3には、色相データの分布から最小自乗法により回帰直線を求め、回帰直線の傾きに基づいて、緑シーンであるかどうかを判断して、ホワイトバランス補正を行うデジタルカメラが開示されている。

概要

撮影シーンが屋内であるか屋外であるかの判定を高精度かつ安定して行う。緑エリアを設定する緑エリア設定手段211と、蛍光灯エリアを複数設定する蛍光灯エリア設定手段212と、ホワイトバランス評価値評価値)を取得するホワイトバランス評価値取得手段203と、取得した評価値が緑エリアに分布するか否かを判定し、緑エリアに分布する評価値の個数を取得する緑評価値判定手段206と、蛍光灯エリアのいずれかに分布するか否かを判定し、各蛍光灯エリアに分布する評価値の個数をそれぞれ取得する蛍光灯評価値判定手段207と、緑エリアと複数の蛍光灯エリアのうち、評価値の個数が多い上位複数のエリアを求める上位エリア判定手段208と、を備え、上位複数のエリアの各エリアに分布する評価値の個数を基に、屋外のシーンに対応するか否かに関する屋外情報を求める。

目的

本発明は、処理負荷が少なく、高精度で安定した、撮影シーンの屋外判定を行うことができる画像処理装置、画像処理方法画像処理プログラムおよび該画像処理プログラムをコンピュータに実行可能に記録した記録媒体を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値分布する、白抽出範囲外のエリアを含む第1のエリアを予め設定する第1のエリア設定手段と、デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲に相当する第2のエリアを予め複数設定する第2のエリア設定手段と、デジタル画像からホワイトバランス評価値を取得するホワイトバランス評価値取得手段と、前記ホワイトバランス評価値取得手段により取得したホワイトバランス評価値が前記第1のエリアに分布するか否かを判定し、前記第1のエリアに分布するホワイトバランス評価値の個数を取得する第1のエリア判定手段と、前記ホワイトバランス評価値が複数の前記第2のエリアのいずれかに分布するか否かを判定し、前記複数の第2のエリアの各第2のエリアに分布するホワイトバランス評価値の個数をそれぞれ取得する第2のエリア判定手段と、前記第1のエリアと前記複数の第2のエリアのうち、前記第1のエリア判定手段と前記第2のエリア判定手段によって取得されたホワイトバランス評価値の個数が多い上位複数のエリアを求める上位エリア判定手段と、を備え、前記上位エリア判定手段により求められた上位複数のエリアの各エリアに分布するホワイトバランス評価値の個数を基に、前記デジタル画像が屋外のシーンに対応するか否かに関する屋外情報を求めることを特徴とする画像処理装置

請求項2

前記ホワイトバランス評価値取得手段により取得したホワイトバランス評価値が白抽出範囲内か否かを判定し、前記白抽出範囲内であると判定されたホワイトバランス評価値を基に第1のホワイトバランス補正係数を算出する第1のホワイトバランス補正係数算出手段と、前記上位エリア判定手段により求められた上位複数のエリアに分布するホワイトバランス評価値と、前記第1のホワイトバランス補正係数を基に、第2のホワイトバランス補正係数を算出する第2のホワイトバランス補正係数算出手段と、を更に備えたことを特徴とする請求項1に記載の画像処理装置。

請求項3

前記屋外情報として屋外加重率を求める屋外加重率算出手段を更に備え、前記第2のホワイトバランス補正係数算出手段は、高色温度光源に対応したホワイトバランス係数と前記第1のホワイトバランス補正係数との前記屋外加重率に基づく加重平均により前記第2のホワイトバランス補正係数を算出することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記第2のエリア判定手段によって取得されたホワイトバランス評価値の個数それぞれに対して重み付け下げる処理を行う重み付け手段を更に備え、前記上位エリア判定手段は、前記第1のエリア判定手段によって取得されたホワイトバランス評価値の個数と、前記重み付け手段により重み付けされたホワイトバランス評価値の個数とを用いて、前記第1のエリアと前記複数の第2のエリアのうち、ホワイトバランス評価値の個数が多い上位複数のエリアを求め、前記屋外加重率算出手段は、前記第1のエリア判定手段によって取得されたホワイトバランス評価値の個数と、前記重み付け手段により重み付けされたホワイトバランス評価値の個数とを用いて、前記上位エリア判定手段により求められた上位複数のエリアの各エリアに分布するホワイトバランス評価値の個数を基に前記屋外加重率を求めることを特徴とする請求項3に記載の画像処理装置。

請求項5

前記第2のエリア判定手段は、前記ホワイトバランス評価値が白色蛍光灯エリア及び昼白色蛍光灯エリアのいずれかに分布するか否かを判定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。

請求項6

光学系から入射した光を電気信号に変換して前記デジタル画像として出力する撮像手段を更に備え、前記画像処理装置はデジタルカメラであることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。

請求項7

デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲外のエリアを含む第1のエリアを予め設定する第1のエリア設定処理と、デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲に相当する第2のエリアを予め複数設定する第2のエリア設定処理と、デジタル画像からホワイトバランス評価値を取得するホワイトバランス評価値取得処理と、前記ホワイトバランス評価値取得処理により取得したホワイトバランス評価値が前記第1のエリアに分布するか否かを判定し、前記第1のエリアに分布するホワイトバランス評価値の個数を取得する第1のエリア判定処理と、前記ホワイトバランス評価値が複数の前記第2のエリアのいずれかに分布するか否かを判定し、前記複数の第2のエリアの各第2のエリアに分布するホワイトバランス評価値の個数をそれぞれ取得する第2のエリア判定処理と、前記第1のエリアと前記複数の第2のエリアのうち、前記第1のエリア判定処理と前記第2のエリア判定処理によって取得されたホワイトバランス評価値の個数が多い上位複数のエリアを求める上位エリア判定処理と、前記上位エリア判定処理により求められた上位複数のエリアの各エリアに分布するホワイトバランス評価値の個数を基に、前記デジタル画像が屋外のシーンに対応するか否かに関する屋外情報を求める処理と、を行うことを特徴とする画像処理方法

請求項8

前記ホワイトバランス評価値取得処理により取得したホワイトバランス評価値が白抽出範囲内か否かを判定し、前記白抽出範囲内であると判定されたホワイトバランス評価値を基に第1のホワイトバランス補正係数を算出する第1のホワイトバランス補正係数算出処理と、前記上位エリア判定処理により求められた上位複数のエリアに分布するホワイトバランス評価値と、前記第1のホワイトバランス補正係数を基に、第2のホワイトバランス補正係数を算出する第2のホワイトバランス補正係数算出処理と、を更に行うことを特徴とする請求項7に記載の画像処理方法。

請求項9

デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲外のエリアを含む第1のエリアを予め設定する第1のエリア設定処理と、デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲に相当する第2のエリアを予め複数設定する第2のエリア設定処理と、デジタル画像からホワイトバランス評価値を取得するホワイトバランス評価値取得処理と、前記ホワイトバランス評価値取得処理により取得したホワイトバランス評価値が前記第1のエリアに分布するか否かを判定し、前記第1のエリアに分布するホワイトバランス評価値の個数を取得する第1のエリア判定処理と、前記ホワイトバランス評価値が複数の前記第2のエリアのいずれかに分布するか否かを判定し、前記複数の第2のエリアの各第2のエリアに分布するホワイトバランス評価値の個数をそれぞれ取得する第2のエリア判定処理と、前記第1のエリアと前記複数の第2のエリアのうち、前記第1のエリア判定処理と前記第2のエリア判定処理によって取得されたホワイトバランス評価値の個数が多い上位複数のエリアを求める上位エリア判定処理と、前記上位エリア判定処理により求められた上位複数のエリアの各エリアに分布するホワイトバランス評価値の個数を基に、前記デジタル画像が屋外のシーンに対応するか否かに関する屋外情報を求める処理と、をコンピュータに実行させることを特徴とする画像処理プログラム

請求項10

請求項9に記載の画像処理プログラムをコンピュータに実行可能に記録した記録媒体

技術分野

0001

本発明は、画像処理装置画像処理方法画像処理プログラムおよび該画像処理プログラムをコンピュータに実行可能に記録した記録媒体に関する。

背景技術

0002

CCD(Charge Coupled Device:電荷結合素子イメージセンサ等を撮像素子として用いた撮像装置等で撮影されるデジタル画像に関し、光源色温度によるCCDの出力信号色変化を、人間の目に不自然感じさせないように補正するホワイトバランス(White Balance)補正は、必須の機能の一つである。

0003

ホワイトバランス補正では、屋外晴天)、曇天日陰)、白熱灯蛍光灯等の撮影シーン(すなわち、光源)を判断して、撮影シーン(単に、シーンともいう)に応じた最適なホワイトバランスゲインを決定し、ホワイトバランス補正を実行する技術が知られているが、例えば、日陰(曇天)で緑のあるシーンと室内での蛍光灯下のシーンとでは明るさ(照度)及び色の分布が似ているため識別が困難であることが知られている。

0004

そのため、撮影シーンを、屋外の緑があるシーンについて蛍光灯下のシーンと誤って判定し、屋外の緑があるシーンについてホワイトバランス補正を行った結果、緑を白く補正しようして全体的に画像がマゼンタになってしまう場合があった。

0005

このように、従来のホワイトバランス補正技術では、屋外の緑があるシーン(屋外)と蛍光灯下のシーン(室内)との判定(屋外判定)に失敗してしまい、その判定に基づいて行われるホワイトバランス補正を精度よく行うことができない場合があった。

0006

このような問題に対し、例えば、特許文献1には、被写体の模様に関する情報(周波数成分やエッジ量成分)に基づいて光源を推定して、ホワイトバランス補正を実行するホワイトバランス補正装置が開示されている。

0007

また、特許文献2には、照度情報色温度情報などの特徴情報に基づいて、多次元空間における識別境界を規定し、該識別境界により屋外判定して、判定結果に応じたホワイトバランス補正を実行する画像処理装置が開示されている。

0008

また、特許文献3には、色相データの分布から最小自乗法により回帰直線を求め、回帰直線の傾きに基づいて、緑シーンであるかどうかを判断して、ホワイトバランス補正を行うデジタルカメラが開示されている。

発明が解決しようとする課題

0009

しかしながら、上記特許文献に記載のように、ホワイトバランス補正を行うためにエッジ量成分などを検出方式では、処理量が増大し、処理時間の増加、高コスト化CPU性能メモリ容量の増大などによる)となるという問題がある。

0010

また、特徴情報に基づく識別境界や、色相データの分布に基づく最小自乗法による回帰直線によって、一律に屋外の緑があるシーン(屋外)と蛍光灯下のシーン(室内)との屋外判定を行うことは、被写体によっては難しく、屋外判定を正確に行い、適切なホワイトバランス補正を行うことが困難な場合があった。

0011

そこで本発明は、処理負荷が少なく、高精度で安定した、撮影シーンの屋外判定を行うことができる画像処理装置、画像処理方法、画像処理プログラムおよび該画像処理プログラムをコンピュータに実行可能に記録した記録媒体を提供することを目的とする。

課題を解決するための手段

0012

かかる目的を達成するため、本発明に係る画像処理装置は、デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲外のエリアを含む第1のエリアを予め設定する第1のエリア設定手段と、デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲に相当する第2のエリアを予め複数設定する第2のエリア設定手段と、デジタル画像からホワイトバランス評価値を取得するホワイトバランス評価値取得手段と、前記ホワイトバランス評価値取得手段により取得したホワイトバランス評価値が前記第1のエリアに分布するか否かを判定し、前記第1のエリアに分布するホワイトバランス評価値の個数を取得する第1のエリア判定手段と、前記ホワイトバランス評価値が複数の前記第2のエリアのいずれかに分布するか否かを判定し、前記複数の第2のエリアの各第2のエリアに分布するホワイトバランス評価値の個数をそれぞれ取得する第2のエリア判定手段と、前記第1のエリアと前記複数の第2のエリアのうち、前記第1のエリア判定手段と前記第2のエリア判定手段によって取得されたホワイトバランス評価値の個数が多い上位複数のエリアを求める上位エリア判定手段と、を備え、前記上位エリア判定手段により求められた上位複数のエリアの各エリアに分布するホワイトバランス評価値の個数を基に、前記デジタル画像が屋外のシーンに対応するか否かに関する屋外情報を求めるものである。

発明の効果

0013

本発明によれば、処理負荷が少なく、高精度で安定した、撮影シーンの屋外判定を行うことができる。

図面の簡単な説明

0014

本発明に係る画像処理装置の一実施形態であるデジタルカメラの外観図の一例であって、(a)は上面図、(b)は正面図、(c)は裏面図を示す。
デジタルカメラの機能ブロック図の一例である。
ホワイトバランス制御に係るCPUの制御ブロックの模式図である。
ホワイトバランス処理フローチャート(第1の実施形態)である。
G/Rをx軸、G/Bをy軸とする2次元色座標における白検出枠、緑評価値判定の説明図である。
G/Rをx軸、G/Bをy軸とする2次元の色座標における蛍光灯評価値判定の説明図である。
ホワイトバランス処理のフローチャート(第2の実施形態)である。

実施例

0015

以下、本発明に係る構成を図1から図7に示す実施の形態に基づいて詳細に説明する。

0016

[第1の実施形態]
本実施形態に係る画像処理装置は、デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲外のエリアを含む第1のエリア(緑エリア)を予め設定する第1のエリア設定手段(緑エリア設定手段211)と、デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲に相当する第2のエリア(蛍光灯エリア)を予め複数設定する第2のエリア設定手段(蛍光灯エリア設定手段212)と、デジタル画像からホワイトバランス評価値を取得するホワイトバランス評価値取得手段(ホワイトバランス評価値取得手段203)と、ホワイトバランス評価値取得手段により取得したホワイトバランス評価値が第1のエリアに分布するか否かを判定し、第1のエリアに分布するホワイトバランス評価値の個数を取得する第1のエリア判定手段(緑評価値判定手段206)と、ホワイトバランス評価値が複数の第2のエリアのいずれかに分布するか否かを判定し、複数の第2のエリアの各第2のエリアに分布するホワイトバランス評価値の個数をそれぞれ取得する第2のエリア判定手段(蛍光灯評価値判定手段207)と、第1のエリアと複数の第2のエリアのうち、第1のエリア判定手段と第2のエリア判定手段によって取得されたホワイトバランス評価値の個数が多い上位複数のエリアを求める上位エリア判定手段(上位エリア判定手段208)と、を備え、上位エリア判定手段により求められた上位複数のエリアの各エリアに分布するホワイトバランス評価値の個数を基に、デジタル画像が屋外のシーンに対応するか否かに関する屋外情報を求めるものである(屋外加重率算出手段209)。尚、括弧内は、実施形態での文言との対応を示している。

0017

なお、本実施形態では、画像処理装置として、撮像装置(デジタルカメラ)を例に説明するが、本発明に係る画像処理装置はこれに限定されるものではなく、携帯電話パーソナルコンピュータプリンタなどの画像形成装置等の電子機器に適用することができる。すなわち、デジタル画像(RAW−RGBデータ)を入力して、後述するホワイトバランス補正制御を実行できる電子機器で有れば良い。

0018

(撮像装置の構成)
図1はデジタルカメラの外観図を示し、(a)はカメラ上面図、(b)はカメラ正面図、(c)はカメラ裏面図を示している。

0019

図1(a)に示すように、デジタルカメラは、上面に、サブLCD1と、レリーズシャッター2(SW1)と、モードダイヤル4(SW2)とを有する。

0020

また、図1(b)に示すように、デジタルカメラは、正面に、ストロボ発光部3と、測距ユニット5と、リモコン受光部6と、レンズユニット7と、光学ファインダ(正面)11とを有する。また、メモリカードスロットル23は、SDカード等のメモリカード34を挿入するスロットルを示し、カメラ側面に設けられる。

0021

また、図1(c)に示すように、デジタルカメラは、裏面に、AFLED(オートフォーカスLED)8と、ストロボLED9と、LCDモニタ(表示手段)10と、光学ファインダ(裏面)11と、ズームボタンズームレバーTELE12(SW4)と、電源スイッチ13(SW13)と、ズームボタン(ズームレバー)WIDE14(SW3)と、セルフタイマ/削除スイッチ15(SW6)とを有する。

0022

さらに、メニュースイッチ16(SW5)と、OKスイッチ17(SW12)と、左/画像確認スイッチ18(SW11)と、下/マクロスイッチ19(SW10)と、上/ストロボスイッチ20(SW7)と、右スイッチ21(SW8)と、画像を表示するディスプレイスイッチ22(SW9)とを有する。

0023

図2図1に示したデジタルカメラの制御系の機能ブロック図を示している。以下、デジタルカメラ内部のシステム構成について説明する。

0024

図2に示すように、このデジタルカメラ内には、レンズユニット7に設置した撮影レンズ系を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのCCD121、CCD121から出力される電気信号アナログRGB画像信号)をデジタル信号に処理するフロントエンドIC(F/E)120、フロントエンドIC(F/E)120から出力されるデジタル信号を処理する信号処理IC110、データを一時的に格納するSDRAM33、制御プログラム等が記憶されたROM30、モータドライバ32等が設けられている。

0025

レンズユニット7は、ズームレンズフォーカスレンズおよびメカニカルシャッタ等からなり、モータドライバ32によって駆動される。モータドライバ32は、信号処理IC110の内部に含まれるマイクロコンピュータ(CPU、制御部)111によって制御される。

0026

CCD121は、光学画像光電変換するための固体撮像素子であって、CCDを構成する複数の画素上に色分解フィルタとしてのRGB原色フィルタが配置されており、RGB3原色に対応した電気信号(アナログRGB画像信号)が出力される。

0027

フロントエンドIC(F/E)120は、CCD出力電気信号(アナログ画像データ)についてサンプリングホールド(相関二重サンプリング)を行うCDS122、このサンプリングされたデータのゲインを調整するAGC(Auto Gain Control)123、デジタル信号変換を行うA/D変換機(A/D)124、及びCCDI/F112より垂直同期信号(VD)、水平同期信号(HD)を供給されCCD121とF/E120との駆動タイミング信号を発生するTG(タイミングジェネレータ制御信号発生器)125を有する。

0028

発振器(クロックジェネレータ)は、CPU111を含む信号処理IC110のシステムクロックとTG125等にクロックを供給している。TG125は発振器のクロックを受けて、ピクセル同期をするためのピクセルクロックを信号処理IC110内のCCDI/F112に供給する。

0029

F/E120から信号処理IC110に入力されたデジタル信号は、CCDI/F112を介して、メモリコントローラ115によりSDRAM33にRGBデータ(RAW−RGB)として一時保管される。

0030

信号処理IC110は、システム制御を行うCPU111、CCDI/F112、リサイズ処理部113、メモリコントローラ115、表示出力制御部116、圧縮伸張部117、メディアI/F部118、YUV変換部119等から構成されている。

0031

CCDI/F112は、垂直同期信号(VD)、水平同期信号(HD)の出力を行い、その同期信号に合わせてA/D124から入力されるデジタル(RGB)信号を取り込んで、メモリコントローラ115経由でSDRAM33にRGBデータの書き込みを行う。

0032

表示出力制御部116はSDRAM33に書き込まれた表示用データを表示部に送り、撮影した画像の表示を行う。表示出力制御部116は、デジタルカメラが内蔵しているLCDモニタ10に表示することも、TVビデオ信号として出力して外部装置に表示することも可能である。

0033

ここでいう、表示用データとは、自然画像のYCbCrと、撮影モードアイコンなどを表示するOSD(オンスクリーンディスプレイ)データであり、いずれもSDRAM33上に置かれたデータをメモリコントローラ115が読み出して表示出力制御部116に送り、表示出力制御部116で合成したデータをビデオデータとして出力する。

0034

圧縮伸張部117は、記録時はSDRAM33に書き込まれたYCbCrデータ圧縮してJPEG符号化されたデータを出力し、再生時は読み出したJPEG符号化データをYCbCrデータに伸張して出力する。

0035

メディアI/F118は、CPU111の指示により、メモリカード34内のデータをSDRAM33に読み出したり、SDRAM33上のデータをメモリカード34に書き込んだりする。

0036

YUV変換部119は、CPU111から設定された画像現像処理パラメータに基づき、SDRAM33に一時保管されたRGBデータを輝度Yと色差CbCrデータYUVデータ)に変換処理し、SDRAM33へ書き戻す。

0037

リサイズ処理部113は、YUVデータを読み出して、記録するために必要なサイズへのサイズ変換サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。

0038

また、全体の動作を制御する制御部であるCPU111は、起動時にROM30に格納されたカメラの制御を行う制御プログラムおよび制御データを、例えばSDRAM33にロードし、そのプログラムコードに基づいて全体の動作を制御する。

0039

CPU111は、操作部31のボタンキー等による指示、あるいは図示しないリモコン等の外部動作指示、あるいはパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像現像処理パラメータの設定、メモリコントロール表示制御等を行う。

0040

操作部31は、撮影者がデジタルカメラの動作指示を行うためのものであり、撮影者の操作によって所定の動作指示信号が制御部に入力される。例えば、図1に示すように、撮影を指示する2段(半押し、全押し)レリーズシャッター2、光学ズームおよび電子ズーム倍率を設定するズームボタン12,14等の各種ボタンキーを備えている。

0041

操作部31よりデジタルカメラの電源キーオンされたことを検出すると、CPU111は各ブロックに所定の設定を行う。この設定により、レンズユニット7を介してCCD121で受光した画像は、デジタル映像信号に変換されて信号処理IC110に入力される。

0042

信号処理IC110へ入力されたデジタル信号はCCDI/F112に入力される。CCDI/F112では光電変換されたアナログ信号黒レベル調整等の処理が行われて、SDRAM33に一旦保存される。このSDRAM33に保存されたRAW−RGB画像データは、YUV変換部119に読み出されて、ガンマ変換処理、ホワイトバランス処理、エッジエンハンス処理、YUV変換処理が行われYUV画像データとしてSDRAM33へ書き戻される。

0043

YUV画像データは表示出力制御部116に読み出され、例えば出力先NTSCシステムのTVであれば、リサイズ処理部113により、そのシステムに合わせた水平・垂直の変倍処理が施され、TVに出力される。この処理がVD毎に行われることで、スチル撮影前の確認用の表示であるモニタリングが行われる。

0044

(撮像装置の動作)
次に、デジタルカメラのモニタリング動作および静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

0045

先ず、撮影者が電源スイッチ13をONにし、モードダイヤル4を撮影モード(静止画撮影モード)に設定することで、デジタルカメラが記録モードで起動する。これをCPU111が検知すると、CPU111はモータドライバ32に制御信号を出力して、レンズユニット7を撮影可能位置に移動させ、かつ、CCD121、F/E120、信号処理IC110、SDRAM33、ROM30、LCDモニタ10等を起動させる。

0046

そして、レンズユニット7の撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がCCD121の各画素の受光面上に結像する。そして、CCD121から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS122、AGC123を介してA/D124に入力され、A/D124により12ビットのRAW−RGBデータに変換する。

0047

このRAW−RGBデータは、信号処理IC110のCCDI/F112に取り込まれてメモリコントローラ115を介してSDRAM33に保存される。そして、SDRAM33から読み出されたRAW−RGBデータは、YUV変換部119に入力されて表示可能な形式であるYUVデータに変換された後に、メモリコントローラ115を介してSDRAM33にYUVデータが保存される。

0048

そして、SDRAM33からメモリコントローラ115を介して読み出したYUVデータは、表示出力制御部116を介してLCDモニタ10へ送られ、撮影画像動画)が表示される。LCDモニタ10に撮影画像を表示しているモニタリング時においては、CCDI/F112による画素数間引き処理により1/30秒の時間で1フレームを読み出している。

0049

なお、このモニタリング動作時は、電子ファインダとして機能するLCDモニタ10に撮影画像(動画)が表示されているだけで、まだレリーズタン2が押圧(半押も含む)操作されていない状態である。

0050

この撮影画像のLCDモニタ10への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部116からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像(動画)を表示することもできる。

0051

そして、信号処理IC110のCCDI/F112は、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE自動露出)評価値、AWB(オートホワイトバランス)評価値(WB評価値、AWB評価値ともいう)を算出する。

0052

AF評価値は、例えば高周波成分抽出フィルタ出力積分値や、近接画素輝度差積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分はっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮影レンズ系内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。

0053

AE評価値とWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CCD121の全画素の受光面に対応した画面画像領域)を256ブロック(エリア)に等分割(水平16分割、垂直16分割)し、それぞれのブロックのRGB積算を算出する。なお、ブロックの分割数は一例であって、これに限られるものではない。

0054

そして、制御部は、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリア(ブロック)の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CCD121の電子シャッタ回数絞りユニットの絞り値、NDフィルタ出し入れ等)を設定する。また、AWB処理では、RGBの分布から被写体の光源の色に合わせたAWBの制御値を決定する(後述する)。このAWB処理により、YUV変換部119でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、AE処理とAWB処理は、モニタリング時には連続的に行われている。

0055

そして、モニタリング動作時に、レリーズボタンが押圧(半押しから全押し)操作される静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。

0056

即ち、レリーズボタンが押圧(半押しから全押し)操作されると、制御部からモータドライバ32への駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。

0057

AF(合焦)対象範囲無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CCDI/F112で算出されている各フォーカス位置におけるAF評価値を制御部が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

0058

そして、AE処理が行われ、露光完了時点で、制御部からモータドライバ32への駆動指令によりメカシャッタユニットが閉じられ、CCD121から静止画用のアナログRGB画像信号が出力される。そして、モニタリング時と同様に、F/E120のA/D124によりRAW−RGBデータに変換される。

0059

そして、このRAW−RGBデータは、信号処理IC110のCCDI/F112に取り込まれ、YUV変換部119でYUVデータに変換されて、メモリコントローラ115を介してSDRAM33に保存される。そして、このYUVデータはSDRAM33から読み出されて、リサイズ処理部113で記録画素数に対応するサイズに変換され、圧縮伸張部117でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、SDRAM33に書き戻された後にメモリコントローラ115を介してSDRAM33から読み出され、メディアI/F118を介してメモリカード34に保存される。

0060

(ホワイトバランス制御)
図3は、ホワイトバランス制御に係るCPU111の制御ブロックの説明図である。CPU111の各制御ブロックが実行するホワイトバランス制御について、図4に示す処理フローチャートを併せて参照しつつ説明する。

0061

なお、図3に示すブロック分割手段201、RGB積算手段202、ホワイトバランス評価値取得手段203、白抽出手段204、ホワイトバランス補正係数算出手段(1)205(第1のホワイトバランス補正係数算出手段)、緑評価値判定手段206(第1のエリア判定手段)、蛍光灯評価値判定手段207(第2のエリア判定手段)、上位エリア判定手段208、屋外加重率算出手段209、ホワイトバランス補正係数算出手段(2)210(第2のホワイトバランス補正係数算出手段)、緑エリア設定手段211(第1のエリア設定手段)、蛍光灯エリア設定手段212(第2のエリア設定手段)、重み付け手段213、ホワイトバランス補正手段214の各手段は、CPU111で実行されるソフトウェア撮像プログラム)を撮像装置で実行させることで構成でき、その実行の際に必要なデータは、例えば、SDRAM33にロードされる。

0062

先ず、上述したように、RGB積算手段202は、RAW−RGBがCCDI/F112に取り込まれた後、ブロック分割手段201により256ブロックに等分割された画像領域(CCD121の全画素の受光面に対応した画面)について、ブロック毎に出力されるR値G値B値(単に、R、G、Bともいい、RGBと総称する)それぞれの積算値(R積算値、G積算値、B積算値ともいい、RGB積算値と総称する)を取得する(S101:RGB積算値取得処理)。なお、R値、G値、B値は、例えば8ビットで表現されるが、数量化方法については特に限られるものではない。

0063

次に、ホワイトバランス評価値取得手段203は、取得した各ブロックのRGB積算値から1画素あたりのRGBそれぞれの平均値(R平均値、G平均値、B平均値ともいい、RGB平均値と総称する)を算出し、WB評価値(G/R、G/B)およびAE評価値(Y)を算出する(S102:WB評価値、AE評価値生成処理)。ここで、WB評価値(G/R、G/B)およびAE評価値(Y)の算出は、例えば、次式(1)〜(3)により算出することができる。
G/R=(G平均値×100)/R平均値 ・・・(1)
G/B=(G平均値×100)/B平均値 ・・・(2)
Y=(R平均値×3+G平均値×6+B平均値)/10 ・・・(3)
なお、WB評価値(G/R、G/B)およびAE評価値(Y)の算出方法は、上記の例に限られるものではなく、その他、公知または新規の算出方法によるものであっても良い。

0064

また、白抽出手段204は、WB評価値(G/R、G/B)に基づいて、予め設定してある白抽出範囲内であれば白抽出ブロック白ブロック)として記憶する(S103:白抽出処理)。なお、白抽出処理の具体的な処理方法は、特に限られるものではなく、公知または新規の白ブロック抽出方法を用いればよいが、例えば、図5に示すように、G/Rをx軸、G/Bをy軸とする2次元の色座標上における黒体輻射特性曲線(黒体輻射カーブ)(図5中に符号cで示す)に沿った複数の楕円若しくは矩形の枠を白検出枠として設定し、WB評価値がこの白検出枠に含まれている場合に白抽出ブロックとして検出することとすればよい。なお、図5の例では、白検出範囲は複数の楕円枠で示され、個々の楕円枠が各光源の白検出範囲に対応する白検出枠に対応している。

0065

次に、ホワイトバランス補正係数算出手段(1)205は、白抽出処理(S103)にて抽出した白抽出ブロック数が所定数以上あるかどうかを判断し、所定数以上ある場合、数式1を用いて、各白抽出ブロックのWB評価値(G/R、G/B)に対して該当ブロックのAE評価値(Y)による重み付けを行った後、積算して一画素あたりのG/R、G/B(第1のホワイトバランス補正係数)を算出する(S104:高輝度加重処理)。

0066

なお、一定数以上の白抽出ブロック数が存在しない場合は、全てのブロックのWB評価値(G/R、G/B)を積算し、一画素あたりのG/R、G/Bを算出し、求めた一画素あたりのG/R、G/Bをそれぞれ平均したものをWB補正係数Rgain、Bgainとし、ホワイトバランス補正係数乗算処理(S109)へ移行する。

0067

次に、緑評価値判定手段206は、WB評価値(G/R、G/B)に基づいて緑エリア判定を行う(S105:緑評価値判定処理)。緑評価値判定処理は、WB評価値のG/R、G/Bそれぞれについて、所定の閾値を設け、双方が閾値を超える評価値を、緑評価値と判定する(個数を取得する)。なお、緑評価値と判定されるエリアは、緑エリア設定手段211により予め設定される。

0068

例えば、図5に示すように、G/Rをx軸、G/Bをy軸とする2次元の色座標上で、G/RおよびG/B双方の値が大きい(所定の閾値X,Yを超える)領域(図5中にAで示す斜線部分である緑エリア)にある評価値を緑評価値と判定する。判定式は、G/R≧X 、且つ G/B≧Y である。

0069

次に、蛍光灯評価値判定手段207は、WB評価値(G/R、G/B)に基づいて蛍光灯エリア判定を行う(S106:蛍光灯評価値判定処理)。図6に蛍光灯エリアの模式図を示す。図6中にBで示す斜線部分が白色蛍光灯エリア、Cで示す斜線部分が昼白色蛍光灯エリアであり、この部分に位置する評価値を蛍光灯評価値と判定する(個数を取得する)。白色蛍光灯判定の判定式は数式2、昼白色蛍光灯判定の判定式は数式3で示される。なお、蛍光灯評価値と判定されるエリアは、蛍光灯エリア設定手段212により予め設定される。

0070

次に、上位エリア判定手段208は、緑エリアAと蛍光灯エリアB,Cの3つのエリアうち、判定された評価値の個数が多い上位2つのエリア(第1選択エリア、第2選択エリアという)を選択する。また、屋外加重率算出手段209は、選択されたエリアの評価値数に基づいて、数式4により屋外加重率を算出する(S107:上位エリア判定、屋外加重率算出処理)。なお、屋外加重率とは、屋外のホワイトバランス目標(晴天屋外での撮影に適したホワイトバランス設定条件)に近づけるための値であって、屋外加重率が高くなるに従って屋外に最適なWBが設定されるものである。

0071

数式4について説明する。統計的に、蛍光灯下では1つの蛍光灯エリアにWB評価値が集中するのに対して、屋外で木や花などの緑を撮影した場合、緑エリアと蛍光灯エリアの複数エリアに跨ってWB評価値が分布される(緑に対応するWB評価値が緑エリアと蛍光灯エリアの両方に分散する)ため、数式4において、上位2つのエリアに評価値が広く分布された時に、屋外加重率最大となるようにしている。例えば、上位2つのエリア評価値数の割合が50%ずつで屋外加重率が最大になるように調整係数kを25とすることができる。また、上位2つのエリア評価値数の割合を掛け合わせることで片方のエリアの評価値数が少ないとき(屋外での緑シーンの確立が低い時)は屋外加重率が低くなるようにしている。

0072

より具体的には、緑エリアとして判定されたエリアAと蛍光灯エリアとして判定されたエリアBおよびCから、WB評価値の個数が多い上位2つのエリアを選択することで、撮影シーンが屋外で緑を撮影した場合においても、少なくとも上位2つのエリアのどちらかには緑エリアAが含まれることになり、かつ蛍光灯エリアBまたはCに分布してしまった緑に対応するWB評価値についてもWB補正係数を求めるために用いることとなるため、室内蛍光灯に対応するWB補正係数になってしまうことを防ぎ、屋外の緑シーンに対応するWB補正係数を精度よく求めることが可能となるものである。

0073

上位1つのエリアのみを選択するようにすると、選択されなかった方のエリアに分布する、緑に対応するWB評価値を拾いきれず、屋外加重率が下がってしまうことに繋がる可能性があるため、上位2つのエリアを選択することにより、この問題を回避することができる。

0074

また、撮影シーンが屋外ではない室内蛍光灯下のシーンの場合では、上位2つのエリアとして蛍光灯エリアB,Cが選択されることで、室内蛍光灯に対応するWB補正係数を正しく求めることが可能となる。

0075

この屋外加重率算出処理によれば、WB評価値の分布のみに基づいて屋外加重率を算出しているので、従来方式に比べ、処理量を低減して処理時間を短くすることができる。また、明るさ情報によらず屋外の緑シーンでも安定したWBを行うことが可能となる。

0076

さらに、ホワイトバランス補正係数算出手段(2)210は、この算出した屋外加重率に基づいて、数式5に示すように、算出した一画素あたりのG/R、G/Bと、屋外WB目標との加重平均を行うことでホワイトバランス補正係数Rgain,Bgain(第2のホワイトバランス補正係数)を求める(S108:屋外加重処理)。屋外WB目標とは、高色温度光源に対応したホワイトバランス係数であって、晴天屋外で最適なホワイトバランスとなるような係数(予め記憶されている値)である。

0077

最後に、ホワイトバランス補正手段214は、画面全体のR、B画素それぞれに対して、WB補正係数Rgain、Bgainを掛けることでホワイトバランス補正を行うものである(S109:ホワイトバランス補正係数乗算処理)。

0078

なお、本実施形態では、緑に対応するWB評価値が蛍光灯エリアに分布されることについて説明したが、例えば、光源がLEDである場合であっても、所定範囲の色温度を有するLEDでは、緑に対応するWB評価値がこのLEDに対応するエリアに分布されることも考えられる。したがって、屋外加重率を求める際に用いるエリアは、蛍光灯エリアに限られるものではなく、デジタル画像上の屋外の緑の被写体に対応するホワイトバランス評価値が分布する、白抽出範囲に相当する他のエリアであれば良い。

0079

また、本実施形態では、蛍光灯エリアを、白色蛍光灯エリアBと昼白色蛍光灯エリアCの2つのエリアについて説明したが、蛍光灯エリア数はこれに限られるものではなく、2以上設定されるものであればよい。また、緑エリアAと蛍光灯エリアB、Cから上位2つのエリアを選択する例について説明したが、蛍光灯エリアの設定数に応じて選択数は適宜選択されるものであればよい。

0080

また、本実施形態では、算出した屋外加重率をホワイトバランス補正に用いているが、屋外加重率を算出する上記処理は、すなわち、ホワイトバランス評価値の分布を用いて画像の撮影シーンが屋外か否かに関する屋外情報を取得する処理(屋外判定)であるため、算出した屋外加重率は、ホワイトバランス制御に限らず、屋外判定を必要とする撮影シーンの自動認識処理やAF処理などの他の処理に適用することができることは勿論である。

0081

屋外加重率を算出する上記処理によれば、処理負荷が少なく高精度で安定した屋外加重率が求められるため、ホワイトバラン補正に限らず、屋外か否かに関する情報が必要な他の処理においても、有効に屋外加重率を利用することができる。

0082

以上説明した本実施形態に係る画像処理装置によれば、処理負荷が少なく、高精度で安定した、シーンの屋外判定を行うことができる。また、簡易的に良好なホワイトバランス補正を行うことが可能となる。

0083

[第2の実施形態]
以下、本実施形態に係る画像処理装置の他の実施形態について説明する。なお、上記第1の実施形態と同様の点についての説明は適宜省略する。

0084

上記第1の実施形態では、緑エリアAと蛍光灯エリアB,Cで判定された評価値の個数が多い上位2つのエリアを選択し、当該エリアの評価値数を基に屋外加重率を算出したが、本実施形態で蛍光灯エリアと判定された評価値の個数に対して重み付けを下げる処理を行うことで、室内蛍光灯に対応するWB補正係数をさらに良好に求めることが可能となる。

0085

以下、図7に示す処理フローチャートを参照して説明する。先ず、RGB積算値取得処理(S201)から蛍光灯評価値判定処理(S206)までの一連の処理については、第1の実施形態(S101〜S106)と同様に行う。

0086

本実施形態では、蛍光灯評価値判定手段207による蛍光灯評価値判定処理(S206)の後、重み付け手段213は蛍光灯エリアと判定された評価値数に対して重み付けを行う(S207:蛍光灯評価値数重み付け処理)。

0087

蛍光灯エリアに対する重み付け(重み係数)は、例えば、0.5とすることができる。この場合、例えば、上記数式3で白色蛍光灯エリアBと判定された評価値数が100、上記数式4で昼白色蛍光灯エリアCと判定された評価値数が120であるとすると、重み付け後の評価値数はそれぞれ50、60となる。

0088

このように、蛍光灯エリアに対する重み付けを1.0より下にすることで被写体によっては室内蛍光灯シーンでも蛍光灯エリアを含む複数のエリアに評価値が跨り屋外加重率が高くなる問題を防ぐことができる。なお、蛍光灯エリアに対する重み付けは0.5に限定されるものではなく、1.0以下の範囲で適宜設定することが可能である。

0089

以下、上位エリア判定、屋外加重率算出処理(S208)〜ホワイトバランス補正係数算出処理(S210)は、第1の実施形態(S107〜S109)と同様に行う。

0090

以上説明したように、第2の実施形態に係る画像処理装置によれば、重み付けされた蛍光灯エリアの評価値数を用いて屋外加重率の算出を行うことで、室内蛍光灯に対応するWB補正係数をさらに良好に求めることが可能となり、蛍光灯エリアと緑エリアに跨って評価値が分布される蛍光灯シーン、屋外の緑シーンでも安定してシーンの屋外判定、ホワイトバランス補正が可能となる。

0091

以上説明した画像処理装置によるホワイトバランス制御は、プログラム(画像処理プログラム)で実行させることもできる。また、当該画像処理プログラムをコンピュータで実行可能に記録した記録媒体の態様にも適用される。

0092

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

0093

1 サブLCD
2レリーズシャッター(SW1)
3ストロボ発光部
4モードダイヤル(SW2)
5 測距ユニット
6リモコン受光部
7レンズユニット
8AFLED
9ストロボLED
10LCDモニタ
11光学ファインダ
12ズームボタンTELE(SW4)
13電源スイッチ(SW13)
14 ズームボタンWIDE(SW3)
15セルフタイマ/削除スイッチ(SW5)
16メニュースイッチ(SW6)
17OKスイッチ(SW12)
18 左/画像確認スイッチ(SW11)
19 下/マクロスイッチ(SW10)
20 上/ストロボスイッチ(SW7)
21右スイッチ(SW8)
22ディスプレイスイッチ(SW9)
23メモリカードスロットル
30 ROM
31 操作部
32モータドライバ
33 SDRAM
34メモリカード
110信号処理IC
111 CPU
112 CCD I/F
113リサイズ処理部
115メモリコントローラ
116表示出力制御部
117圧縮伸長
118メディアI/F
119 YUV変換部
120 F/E
121 CCD
122 CDS
123 AGC
124 A/D変換機
125タイミングジェネレータ
201ブロック分割手段
202 RGB積算手段
203ホワイトバランス評価値取得手段
204白抽出手段
205ホワイトバランス補正係数算出手段(1)
206 緑評価値判定手段
207蛍光灯評価値判定手段
208上位エリア判定手段
209屋外加重率算出手段
210 ホワイトバランス補正係数算出手段(2)
211 緑エリア設定手段
212 蛍光灯エリア設定手段
213重み付け手段
214ホワイトバランス補正手段
c黒体輻射カーブ
A 緑エリア
B白色蛍光灯エリア
C昼白色蛍光灯エリア

先行技術

0094

特開2008−301279号公報
特開2006−174281号公報
特開2004−274367号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ