図面 (/)

技術 色の鮮鋭度を改善する方法、画像の取込または再現を行う装置、デジタル画像取込デバイス、デジタル画像、デジタル画像取込装置用のセンサ

出願人 ディーエックスオーラブズ
発明者 シャナスローランタルシュナイメネギシャールフレデリックリエージュブルーノメニエールジェローム
出願日 2013年6月6日 (7年5ヶ月経過) 出願番号 2013-119919
公開日 2013年10月17日 (7年1ヶ月経過) 公開番号 2013-214986
状態 特許登録済
技術分野 カラーテレビジョン画像信号発生装置 画像処理
主要キーワード 電子タイプ 標準センサ センサ利得 赤外範囲内 トリガ要素 相対変動 熱カメラ 画像ゾーン
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年10月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

可動ユニットなしで遅延なしで焦点合わせをデジテル復元することを可能にした色の鮮鋭度を改善する方法を提供する。

解決手段

本発明は、少なくとも2つの色(195、196)を有し、画像取込装置から発する少なくとも1つのデジタル画像(10)からとられた測定値を使用することによって機能を活動化する方法に関する。上記方法によれば−相対鮮鋭度が、画像の少なくとも1つの領域R上の少なくとも2つの色の間で測定され(190)、− 少なくとも1つの活動が、測定された相対鮮鋭度に依存して制御される(191)。

概要

背景

画像の満足視覚化鮮鋭度がそのような画像よりなおさら重要であることを必要とする小さい寸法で詳細を表現する。

その結果、下で説明するものなどの方法に従ってデジタル画像内の少なくとも1つの色の鮮鋭度を改善しようと努めることが周知である。

i)カメラのこの特定の場合に、
光学要素を移動し、画像が鋭くなる距離の変更された範囲を有することを可能にする光学焦点合わせデバイスフォーカス)を使用することが可能である。そのようなデバイスは、手動であれ電動化されたものであれ、しばしば、情景内の物体の距離に依存する移動を選択することを可能にするサーボ制御系を含む。

そのような方法の応用例が、カメラおよび映画用カメラである。これは、特に大口径で、限られた被写界深度と、電話機などの寸法の小さいデバイスに簡単には適合されないコストおよび全体寸法とを有するという不都合を有する。
− 特定の光学要素を光学系に追加し、したがって、より広い被写界深度を伴う鮮鋭度を計算することによる再構成を可能にする、wavefront codingタイプの解決策を使用することが可能である。

そのような方法の応用例は、限られており(顕微鏡法)、特定の光学要素ならびに光学系を含むハードウェアに対する調整を必要とするという短所を表す。
光学部品に関して固定された柔軟な液体レンズからなる特定の光学要素を追加する解決策を実施することが可能である。そのような方法は、情景内の物体の距離に依存して前記レンズの形状を選択することを可能にするサーボ制御系を表す。

この解決策の応用例(カメラ付き電話機およびカメラ)は、特定の製造方法であり、コストが高く、かさばる光学要素を有し、ハードウェア適合を必要とするという短所を有する。

ii)より一般的な文脈において、解決策は次の通りである。
− 「鮮鋭化」方法または任意の別の計算の方法を介して鮮鋭度を高めることによる輝度または色に対するぼけ除去アルゴリズム
そのような方法の応用例(すべての写真撮影装置)は、鮮鋭度の限られた向上を有し、したがって、被写界深度のごくわずかな増加を有するという短所を表す。

さらに、デジタルカメラまたは銀塩カメラなど、そのような画像取込装置および画像再現装置既知設計技法または実施技法は、まず装置のハードウェア要素すなわち光学系、センサ、およびサーボ制御系の特性を選択することからなる。次に、必要に応じて、装置のハードウェア要素のうちの少なくとも1つの欠陥補正するために、デジタル画像処理手段を設ける。

具体的に言うと、装置の光学系を設計するために、まず、要件仕様趣意書を編集すること、すなわち、全体的寸法、焦点距離範囲、口径範囲、含まれるフィールド画像スポット寸法またはMTFモジュラ伝達関数)のいずれかで表された性能、およびコストを述べることが必要である。そのような要件の仕様を使用することによって、光学系のタイプを選択することができ、「Zemax」ツールなどの光学計算ソフトウェアツールを使用することによって、この系のパラメータを計算でき、できる限り要件の仕様に従うことが可能になる。そのような光学系焦点合わせは、対話的に実行される。一般的に言って、光学系は、画像の中央で最高品質を表すために設計されるが、画像周辺部の品質は、通常はあまりよくない。

さらに、一般的な技法は、所定の水準の歪み、口径食、ぼけ、および被写界深度を得、したがってその光学系を他の光学系と比較することを可能にするために光学系を設計するようになっている。

さらに、デジタル写真装置について、センサ仕様すなわち、画素の品質、画素の表面積画素数マイクロレンズ行列アンチエイリアシングフィルタ、画素の幾何形状、および画素の配置も述べられる。

一般的な技法は、装置の他の部分と独立に、特に画像処理系と独立に、画像取込装置のセンサを選択することからなる。

画像取込装置および/または画像生成装置は、一般に、露出系および/または焦点合わせ系(自動焦点または「オートフォーカス」)および/またはフラッシュ制御系など、1つまたは複数のサーボ制御系をも含む。

その結果、開口および露出時間、おそらくセンサ利得活動化する露出系を指定するために、測定手段が決定され、特に、露出が測定される画像ゾーンが、各ゾーン割り当てられる重みに加えて、決定されなければならない。

焦点合わせ系について、焦点合わせに使用される画像ゾーンの個数および位置を決定しなければならない。また、例えば、駆動機構動き推奨を指定しなければならない。

どの場合であれ、そのような仕様は、画像処理用デジタル手段が存在するか否かにかかわらず適用される。

概要

可動ユニットなしで遅延なしで焦点合わせをデジテル復元することを可能にした色の鮮鋭度を改善する方法を提供する。 本発明は、少なくとも2つの色(195、196)を有し、画像取込装置から発する少なくとも1つのデジタル画像(10)からとられた測定値を使用することによって機能を活動化する方法に関する。上記方法によれば−相対鮮鋭度が、画像の少なくとも1つの領域R上の少なくとも2つの色の間で測定され(190)、− 少なくとも1つの活動が、測定された相対鮮鋭度に依存して制御される(191)。

目的

− 取込装置とデジタル画像によって結像される少なくとも1つの物体との間の距離の判定、および/または2つの結像される物体の間の相対距離の判定、
− 前記距離および/または前記相対距離に依存する活動、
− デジタル画像および/または別のデジタル画像の少なくとも1つのゾーンZ'に対する処理、
− 取込装置のサーボ制御および/または別の装置のサーボ制御、
− ユーザへの表示および/またはアラームおよび/またはアラート信号の提供、
− 画像の一部の検出、
− 色鮮鋭度の変更、
− 取込装置の位置および/または移動の判定、
− 画像内の対象の位置の判定、
− 少なくとも1つの画像仕様の変更、
− 画像の全体または一部の変更、
− 特にサーボ制御信号を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

デジタル画像、特に画像取込デバイス由来するデジタル画像の少なくとも1つの色の鮮鋭度を改善する方法であって、少なくとも1つの他の改善される色が高められた鮮鋭度を表すようにするために、前記色の中から「鮮鋭色」と称する少なくとも1つの色を選択するステップと、前記改善される色に前記鮮鋭色の鮮鋭度を反映させるステップとを含む方法。

請求項2

前記デジタル画像を領域(11.1、11.2)に分解するステップをさらに含み、前記鮮鋭色は領域ごとに選択される、請求項1に記載の方法。

請求項3

前記デジタル画像は、取込装置に由来し、前記方法は、さらに、前記取込装置と取り込まれる情景の少なくとも1つの物体との間の距離を、前記物体の画像領域内の少なくとも2つの色の鮮鋭度を使用することによって判定するステップを含む、請求項2に記載の方法。

請求項4

少なくとも1つの画像領域内の少なくとも1つの色の鮮鋭度を下げるステップをさらに含む、請求項3に記載の方法。

請求項5

焦点合わせがより少ないステップで達成され加速されるようにするために、少なくとも2つの色の鮮鋭度を使用することによって前記取込装置のサーボ制御命令を判定するステップをさらに含む、請求項3または4に記載の方法。

請求項6

前記鮮鋭色選択は、事前に決定された規則に従って最も鮮鋭な色を選択することである、請求項1から5のいずれか一項に記載の方法。

請求項7

前記「鮮鋭色」選択は、事前に決定される、請求項1から5のいずれか一項に記載の方法。

請求項8

前記デジタル画像は、取込装置に由来し、前記鮮鋭色選択は、前記取込装置と前記デジタル画像を得るために取り込まれる情景の少なくとも1つの物体との間の距離に依存する、請求項1から7のいずれか一項に記載の方法。

請求項9

前記画像装置は、マクロモードを含み、前記鮮鋭色選択は、前記マクロモードの活動化に依存する、請求項1から8のいずれか一項に記載の方法。

請求項10

前記デジタル画像は、レンズを含む取込装置に由来し、前記方法は、さらに、一連の事前に決定されたレンズの中からレンズを選択するステップを含み、前記レンズは、少なくとも2つの事前に決定された距離を有する物体の画像が別個の鮮鋭色を表し、したがって被写界深度を改善し、かつ/または前記レンズのコストを下げるようになる仕様を表す、請求項1から9のいずれか一項に記載の方法。

請求項11

少なくとも1つの他の改善される色に対する前記鮮鋭色の鮮鋭度の影響は、タイプCA=CN+F(CO−CN)の計算を使用することによって実施され、ここで、CAは、改善された色を表し、COは、処理の前の前記改善された色を表し、CNは、前記鮮鋭色を表し、Fは、フィルタすなわち低域フィルタを表す、請求項1から10のいずれか一項に記載の方法。

請求項12

前記デジタル画像は、レンズを含む取込装置に由来し、前記方法は、さらに、本発明による方法を考慮に入れることによってレンズを設計するステップを含み、前記レンズは、被写界深度および/または開口および/またはすべての他の光学仕様が改善され、かつ/あるいは光学部品のコストが減らされるようにするために、機械的焦点合わせをより少数の位置を使用することによって達成できるようにするために少なくとも2つの事前に決定された距離を有する物体の画像が別個の鮮鋭色を表すようにする仕様を表す、請求項1から11のいずれか一項に記載の方法。

請求項13

画像を取り込み、かつ/または再現する光学系(22、22')、イメージセンサ(24)および/またはイメージジェネレータ(24')ならびに/あるいはサーボ制御系(26)を含む画像の取込または再現を行う装置(20)であって、前記画像は、前記画像の取込または再現を行う装置の実施コストを最小にし、かつ/または画像の取込または再現を行う装置の性能を最適化するためにデジタル画像処理手段(28、28')によってその改善を考慮して処理され、画像の取込または再現方法は、ユーザが、請求項54から65のいずれか一項に記載の方法に従って別の色の鮮鋭度に依存してある色の鮮鋭度を改善するために、デジタル手段を介して画像を処理する能力を使用して前記光学系および/または前記センサおよび/または前記イメージジェネレータおよび/または前記サーボ制御系のパラメータを決定するか選択するようになっている画像の取込または再現を行う装置。

請求項14

請求項1から12のいずれか一項に記載の色改善方法を使用する、および/または請求項13に記載の実施形態を介して得られる、画像の取込または再現を行う装置。

請求項15

請求項1から12のいずれか一項に記載の方法を実施するデジタル画像取込デバイス。

請求項16

請求項1から12のいずれか一項に記載の方法に従ってまたは請求項14に記載の装置を使用して得られるデジタル画像。

請求項17

主にデジタル画像を生成するように働く画素と、主に前記画像の少なくとも1つの領域R上の少なくとも2つの色の間の相対鮮鋭度を測定するように働く他の画素とを含む、デジタル画像取込装置用のセンサ。

請求項18

主に前記相対鮮鋭度を測定するように働く前記画素は、主に前記画像を生成するように働く前記画素のスペクトル帯とのオーバーラップをほとんど伴わない、あるスペクトル帯内のスペクトル応答を有する、請求項17に記載のセンサ。

請求項19

主に前記画像を生成するように働く前記画素は、主に人間の目に可視の範囲内のスペクトル応答を有し、前記他の画素は、主に人間の目に可視の範囲の外のスペクトル応答を有する、請求項17または18に記載のセンサ。

請求項20

請求項17から19のいずれか一項に記載のセンサを含む取込装置。

請求項21

一方では主に人間の目に可視の範囲内のスペクトル応答画素と、他方では主に人間の目に可視のスペクトルの外のスペクトル応答を有する追加画素とを表すセンサを含むデジタル画像取込装置であって、前記画像のうちでこれらの追加画素に由来する部分の鮮鋭度は、前記取込装置と結像される情景との間の距離の少なくとも1つの範囲の中で、前記画像のうちでそのスペクトル応答が主に人間の目に可視の範囲内にある前記画素によって提供される部分の鮮鋭度を超える、デジタル画像取込装置。

請求項22

前記追加画素は、主に紫外範囲内および/または赤外範囲内のスペクトル応答を有する、請求項21に記載の装置。

技術分野

0001

本発明は、カラーデジタル画像を使用して、機能すなわち鮮鋭度の変更を活動化する方法に関する。本発明は、排他的ではなくより具体的には、デジタル画像の少なくとも1つの色の鮮鋭度の改善に関する。本発明は、そのような方法を実施するシステムならびにそのような方法によって生成される画像にも関する。

0002

本発明は、さらに、画像を取り込み、かつ/または再現する光学系、イメージセンサおよび/またはイメージジェネレータならびに/あるいはサーボ制御系を含む画像取込装置および/または画像再現装置に関し、画像は、その改善を考慮して、デジタル画像処理手段によって処理される。

0003

本発明は、そのような実施方法によって得られる装置にも関する。

背景技術

0004

画像の満足視覚化は鮮鋭度がそのような画像よりなおさら重要であることを必要とする小さい寸法で詳細を表現する。

0005

その結果、下で説明するものなどの方法に従ってデジタル画像内の少なくとも1つの色の鮮鋭度を改善しようと努めることが周知である。

0006

i)カメラのこの特定の場合に、
光学要素を移動し、画像が鋭くなる距離の変更された範囲を有することを可能にする光学焦点合わせデバイスフォーカス)を使用することが可能である。そのようなデバイスは、手動であれ電動化されたものであれ、しばしば、情景内の物体の距離に依存する移動を選択することを可能にするサーボ制御系を含む。

0007

そのような方法の応用例が、カメラおよび映画用カメラである。これは、特に大口径で、限られた被写界深度と、電話機などの寸法の小さいデバイスに簡単には適合されないコストおよび全体寸法とを有するという不都合を有する。
− 特定の光学要素を光学系に追加し、したがって、より広い被写界深度を伴う鮮鋭度を計算することによる再構成を可能にする、wavefront codingタイプの解決策を使用することが可能である。

0008

そのような方法の応用例は、限られており(顕微鏡法)、特定の光学要素ならびに光学系を含むハードウェアに対する調整を必要とするという短所を表す。
光学部品に関して固定された柔軟な液体レンズからなる特定の光学要素を追加する解決策を実施することが可能である。そのような方法は、情景内の物体の距離に依存して前記レンズの形状を選択することを可能にするサーボ制御系を表す。

0009

この解決策の応用例(カメラ付き電話機およびカメラ)は、特定の製造方法であり、コストが高く、かさばる光学要素を有し、ハードウェア適合を必要とするという短所を有する。

0010

ii)より一般的な文脈において、解決策は次の通りである。
− 「鮮鋭化」方法または任意の別の計算の方法を介して鮮鋭度を高めることによる輝度または色に対するぼけ除去アルゴリズム
そのような方法の応用例(すべての写真撮影装置)は、鮮鋭度の限られた向上を有し、したがって、被写界深度のごくわずかな増加を有するという短所を表す。

0011

さらに、デジタルカメラまたは銀塩カメラなど、そのような画像取込装置および画像再現装置の既知設計技法または実施技法は、まず装置のハードウェア要素すなわち光学系、センサ、およびサーボ制御系の特性を選択することからなる。次に、必要に応じて、装置のハードウェア要素のうちの少なくとも1つの欠陥補正するために、デジタル画像処理手段を設ける。

0012

具体的に言うと、装置の光学系を設計するために、まず、要件仕様趣意書を編集すること、すなわち、全体的寸法、焦点距離範囲、口径範囲、含まれるフィールド画像スポット寸法またはMTFモジュラ伝達関数)のいずれかで表された性能、およびコストを述べることが必要である。そのような要件の仕様を使用することによって、光学系のタイプを選択することができ、「Zemax」ツールなどの光学計算ソフトウェアツールを使用することによって、この系のパラメータを計算でき、できる限り要件の仕様に従うことが可能になる。そのような光学系焦点合わせは、対話的に実行される。一般的に言って、光学系は、画像の中央で最高品質を表すために設計されるが、画像周辺部の品質は、通常はあまりよくない。

0013

さらに、一般的な技法は、所定の水準の歪み、口径食、ぼけ、および被写界深度を得、したがってその光学系を他の光学系と比較することを可能にするために光学系を設計するようになっている。

0014

さらに、デジタル写真装置について、センサ仕様すなわち、画素の品質、画素の表面積画素数マイクロレンズ行列アンチエイリアシングフィルタ、画素の幾何形状、および画素の配置も述べられる。

0015

一般的な技法は、装置の他の部分と独立に、特に画像処理系と独立に、画像取込装置のセンサを選択することからなる。

0016

画像取込装置および/または画像生成装置は、一般に、露出系および/または焦点合わせ系(自動焦点または「オートフォーカス」)および/またはフラッシュ制御系など、1つまたは複数のサーボ制御系をも含む。

0017

その結果、開口および露出時間、おそらくセンサ利得を活動化する露出系を指定するために、測定手段が決定され、特に、露出が測定される画像ゾーンが、各ゾーン割り当てられる重みに加えて、決定されなければならない。

0018

焦点合わせ系について、焦点合わせに使用される画像ゾーンの個数および位置を決定しなければならない。また、例えば、駆動機構動き推奨を指定しなければならない。

0019

どの場合であれ、そのような仕様は、画像処理用デジタル手段が存在するか否かにかかわらず適用される。

発明が解決しようとする課題

0020

本発明は、次の観察の組合せに由来し、これらの組合せは、本発明だけにかかわる。

0021

i)画像取込装置および/または画像処理装置は、画像上で可変鮮鋭度を生成し、この可変鮮鋭度は、下で図1aおよび1bによって説明するように、考慮される色に依存する。

0022

図1aに、波長λ2に関連する焦点3.2に配置されたセンサ2を備える光学デバイス(図示せず)の収束レンズ1を示す。したがって、この長さλ2によって定義される色は、画像が距離において遠く離れた物体を表す場合にそのようなレンズによって形成される画像上で鮮鋭である。

0023

それでも、そのような調整は、次の3つの問題を伴う。
− まず第1に、レンズの焦点3.2は、この波長λ2によって定義される色に直接に関係し、波長λ1によって定義される別の色に直接に関係する焦点3.1が、センサから上流に位置するようになっている。
その結果、この第2の色(λ1)によってセンサレベルで形成される画像は、第1の色(λ2)によって形成される画像ほど鮮鋭ではなく、したがって、このセンサによって形成される画像全体の鮮鋭度が下がる。

0024

− 第2に、ある波長に関するレンズの焦点は、画像で表される物体4からそのレンズを隔てる距離に依存して可変である。
したがって、図1bに、表される物体が遠い距離(図1a)からより近い距離(図1b)に移動した時の、それぞれ波長λ1およびλ2に関連する焦点の新しい位置4.1および4.2を示す。
この後者の場合に、センサは、以前には鮮鋭な画像をもたらさなかった色(λ1)の焦点に位置すると思われる。

0025

− 第3に、ある波長および離れた物体に関するレンズの焦点は、画像で表される物体の位置に依存して可変である。

0026

ii)軸6.1による画像のスペクトル分布の例である図2に示されているように、画像は、一般に複数の色からなり、これらの色の強さ(Y軸6.2)は、類似する可能性がある。この例には、青成分5.1(波長約450nm)、緑成分5.2(波長約550nm)、および赤に近い成分(波長約600nm)が表されているが、本発明が、考慮される色および波長の分布(例えば、赤外または紫外)にかかわらず画像に適用されることは明白である。

0027

iii)標準的な鮮鋭度改善技法は、色のうちの1つを、画像で表される物体の距離に依存して他の色より鮮鋭にすることができるという事実を利用していない。

0028

iv)さらに、本発明は、標準的な装置の設計技法または実施技法が、画像処理のデジタル手段によって提供される可能性を十分に利用することを可能にしないという観察に由来する。

課題を解決するための手段

0029

その結果、本発明は、全般的な形で、デジタル画像の少なくとも1つの色の鮮鋭度改善方法であって、
画像色の中から鮮鋭色と称する少なくとも1つの色を選択するステップと、
− 少なくとも1つの他の改善される色が高められた鮮鋭度を表すようにするために、改善される色に鮮鋭色の鮮鋭度を反映させるステップと
を含む方法に関する。

0030

したがって、本発明に鑑みて、次が可能である。
− 画像の知覚される鮮鋭度を高め、
− 取込装置の被写界深度を増やし、
マクロ機能を作成し、
−露出にかかわらず被写界深度を制御し、
− 画像を使用して、結像される情景の物体の距離を測定し、
− 露出および/または焦点合わせおよび/またはフラッシュサーボ制御デバイスを改善し、
− 取込装置のコストを下げ
− 等しい性能に関して、取込装置の寸法を縮小し、
− 例えばカメラ付き電話機の、固定焦点を有する同一のレンズを使用してなど、バーコードおよび/または名刺および/または書かれたテキスト読み取り、かつ/もしくは肖像画および/または風景画を撮影し、
− 特に開口および被写界深度に関する、装置の高められた仕様を与えるレンズを設計し、かつ/または選択し、
− 少なくとも2つの色の間の相対鮮鋭度および/または結像される情景の物体の距離に依存する画像効果を作成し、
− 少なくとも2つの色の間の相対鮮鋭度および/または結像される情景の物体の距離の画像焦点をユーザがデジタルに変更することを可能にし、
− 焦点合わせ用の光学系を除去するか単純にすることによって、取込の要求と実際の画像取込との間の時間を減らす。

0031

本発明は、さらに、画像が、その改善を考慮して、デジタル画像処理手段によって処理される、光学取込系、センサ、および/またはサーボ制御系と、
取込装置の実施コストを最小にし、かつ/または取込装置の性能を最適化するために、デジタル手段を介して画像を処理する能力を使用して、ユーザが光学系および/またはセンサおよび/またはサーボ制御系のパラメータを決定しまたは選択する方法と
を含む取込装置の実施形態に関する。

0032

一実施形態で、この方法は、デジタル画像を領域に分解するステップをさらに含み、前記鮮鋭色は、領域ごとに選択される。

0033

一実施形態で、前記鮮鋭色選択は、事前に決定された規則に従って最も鮮鋭な色を選択することからなる。

0034

一実施形態で、前記「鮮鋭色」選択は、事前に決定される。

0035

一実施形態で、前記デジタル画像は、取込装置に由来し、前記鮮鋭色選択は、取込装置と前記デジタル画像を得るために取り込まれる情景の少なくとも1つの物体との間の距離に依存する。

0036

一実施形態で、前記画像取込装置は、マクロモードを含み、前記鮮鋭色選択は、マクロモードの活動化に依存する。

0037

一実施形態で、前記デジタル画像は、取込装置に由来し、前記方法は、さらに、取込装置と取り込まれる情景の少なくとも1つの物体との間の距離を、前記物体の画像領域内の少なくとも2つの色の鮮鋭度を使用することによって判定するステップを含む。

0038

一実施形態で、この方法は、少なくとも1つの画像領域内の少なくとも1つの色の鮮鋭度を下げるステップをさらに含む。

0039

一実施形態で、この方法は、焦点合わせがより少ないステップで達成され加速されるようにするために、少なくとも2つの色の鮮鋭度を使用することによって前記取込装置のサーボ制御命令を判定するステップをさらに含む。

0040

一実施形態で、前記デジタル画像は、レンズを含む取込装置に由来し、前記方法は、さらに、一連の事前に決定されたレンズの中からレンズを選択するステップを含み、前記レンズは、少なくとも2つの事前に決定された距離を有する物体の画像が別個の鮮鋭色を表し、したがって被写界深度を改善し、かつ/またはレンズのコストを下げるようになる仕様を表す。

0041

一実施形態で、前記デジタル画像は、レンズを含む取込装置に由来し、前記方法は、さらに、本発明による方法を考慮に入れることによってレンズを設計するステップを含み、前記レンズは、
−被写界深度および/または開口および/またはすべての他の光学仕様が改善され、かつ/あるいは光学部品のコストが減らされるようにするために、
機械的焦点合わせをより少数の位置を使用することによって達成できるようにするために
少なくとも2つの事前に決定された距離を有する物体の画像が別個の鮮鋭色を表すようにする仕様を表す。

0042

一実施形態で、少なくとも1つの他の改善される色に対する鮮鋭色の鮮鋭度の影響は、タイプCA=CN+F(CO−CN)の計算を使用することによって実施され、ここで、CAは、改善された色を表し、COは、処理の前の改善された色を表し、CNは、鮮鋭色を表し、Fは、フィルタすなわち低域フィルタを表す。

0043

本発明は、さらに、画像を取り込み、かつ/または再現する光学系(22、22')、イメージセンサ(24)および/またはイメージジェネレータ(24')ならびに/あるいはサーボ制御系(26)を含む画像取込装置および/または画像再現装置(20)の実施形態であって、画像は、
− 画像取込装置および/または画像再現装置の実施コストを最小にし、かつ/または画像取込装置および/または画像再現装置の性能を最適化するためにデジタル画像処理手段(28、28')によってその改善を考慮して処理され、
− その方法は、ユーザが、特に前の請求項のいずれか一項に記載の方法に従って別の色の鮮鋭度に依存する色の鮮鋭度の改善のために、デジタル手段を介して画像を処理する能力を使用して光学系および/またはセンサおよび/またはイメージジェネレータおよび/またはサーボ制御系のパラメータを決定するか選択するようになっている実施形態に関する。

0044

本発明は、前の実施形態の1つによるおよび/または前の実施形態による実施を介して得られる色改善方法を使用する画像取込装置および/または画像再現装置にも関する。

0045

本発明は、前の実施形態の1つに従う方法に従ってまたは前の実施形態に従う装置を使用して得られるデジタル画像にも関する。

0046

最後に、本発明は、前の実施形態の1つによる方法を実施するデジタル画像処理デバイスにも関する。

0047

定義
下に、使用される様々な用語の意味を注記する。

0048

−デジタル画像は、デジタル形式の下で作られる画像を意味する。この画像は、画像取込装置に由来するものとすることができる。

0049

デジタル画像は、以下では「グレイレベル」と称する一連のデジタル値によって表すことができ、各デジタル値は、色に関する感度と、表面上または体積内の相対的な幾何学的位置とにリンクされる。本発明の意味における色を、色に関するそのような同一の感度にリンクされた一連のデジタル値と称する。

0050

デジタル画像は、好ましくはモザイク除去(demosaicing)(すなわち、マトリクスを除去すること)の前の、センサからの生画像である。デジタル画像は、例えばモザイク除去または白バランス調整など、処理済みとすることもできる。本発明によれば、デジタル画像は、好ましくはサブサンプリングを受けていてはならない。

0051

−デジタル画像が画像取込装置に由来する場合に、そのような画像取込装置は、感知要素を備えたセンサを含まなければならない。感知要素とは、エネルギの流れを電気信号に変換できるセンサ要素を意味する。エネルギの流れは、特に、X線、磁束、電磁場、または音波の明瞭な流れの形をとることができる。感知要素は、場合に応じて、表面に併置し、かつ/または体積内に置くことができる。感知要素は、長方形行列、六角形行列、または任意の他の幾何形状に従って配置することができる。

0052

− 本発明は、少なくとも2つの異なるタイプの感知要素を含むセンサに適用され、各タイプは、色に関する感度を有し、各色感度は、エネルギの流れのうちでセンサの感知要素によって電気信号に変換される部分に対応する。可視イメージセンサの場合に、センサは、一般に3色を感知し、デジタル画像も3色すなわち図2に示された赤5.1、緑5.2、および青5.3を有し、図2は、垂直軸6.2上に変換されたエネルギの量、水平軸上に波の長さを示す。一部のセンサは、4色すなわち赤、緑、エメラルド、および青を感知する。

0053

− 色は、センサが発する信号の組合せ、特に線形組合せをも意味する。

0054

− 本発明は、すべての既知の鮮鋭度の様々な既知の定義を使用して適用される。例えば、色の鮮鋭度は、「BXU」と称する値の測定値に対応するものとすることができ、BXUは、「Proceedings ofIEEE,International Conference of Image Processing,Singapore 2004」で公表された、Jerome BUZZIおよびFredericGUICHARD共著の論文「Uniqueness of Blur Measure」に記載のものなど、ぼけスポット表面の測定値である。

0055

単純に言って、光学系のぼけは、鮮鋭度平面内に置かれた無限に小さい点からの「衝撃的応答(impulsive response)」と称する画像から測定される。BXUパラメータは、衝撃的応答の変動(すなわち、その平均表面)である。処理能力は、最大BXU値までに制限される可能性がある。

0056

そのような鮮鋭度の異なる測定方法が、例えば「Handbook of Image & Video processing」、Al Bovik編、Academic press刊、415から430頁などの書籍および刊行物に記載されている。

0057

パラメータは、一般に受け入れられているものなどの画像の品質を指す。一実施形態で、色の鮮鋭度は、勾配を計算することによって達成される。例えば、ある色の鮮鋭度は、検討される色の中の隣接する幾何学的位置からとられたグレイ材料の9つのレベルの勾配を計算することによって得ることができる。

0058

本発明は、少なくとも2つの色の鮮鋭度に言及する。一実施形態によれば、少なくとも2つの色の鮮鋭度は、他方に対する鮮鋭度として、相対的な形でのみ検討される。そのような実施形態について、勾配は、画像内容にかかわらず、2つの色の間の相対鮮鋭度を単純に計算することを可能にする。

0059

本発明は、複数の色の中から、「鮮鋭色」と称する少なくとも1つの色を選択することに言及する。一実施形態によれば、そのような選択は、少なくとも2つの色のうちのどの色が最も鮮鋭であるかを判定することによって可能である。そのような実施形態について、勾配は、少なくとも2つの色の中から最も鮮鋭な色を単純に判定することを可能にする。

0060

一実施形態において、
− 画像取込装置は、例えば、使い捨てカメラ、デジタルカメラ、リフレックスカメラ(デジタルまたは非デジタル)、スキャナファクシミリ機内視鏡、映画用カメラ、ビデオカメラ監視カメラ、ゲーム、電話機に、パーソナルアシスタントに、もしくはコンピュータ一体化されるかリンクされた映画用カメラまたは写真装置熱カメラ超音波装置MRI磁気共鳴画像)装置、およびX線撮影装置である。

0061

そのようなタイプの装置が少なくとも2つの色を含む画像を処理する場合に、本発明がそれらの装置に言及することに留意されたい。

0062

− 画像取込の光学系は、センサ上で画像を再現することを可能にする光学手段を意味する。

0063

− 画像取込は、画像を取り込み、かつ/または記録することを可能にする機械的手段化学的手段、または電子的手段を意味する。

0064

−サーボ制御系は、機械的タイプ、化学的タイプ電子的タイプ、または情報テクノロジタイプのいずれであれ、装置の要素またはパラメータを命令に従わせることを可能にする手段を意味する。サーボ制御系は、特に、自動焦点合わせ系(オートフォーカス)、自動白バランス制御、自動露出制御、例えば均一な画像品質を維持するための光学要素の制御、画像安定化系、光学ズーム率および/またはデジタルズーム率制御系彩度制御系、あるいはコントラスト制御系を指す。

0065

−デジタル画像処理手段は、その応用例に応じて異なる形態を採用することができる。

0066

−デジタル画像処理手段は、次の例に含まれるものなどの装置に、部分的にまたは全体的に一体化することができる。
− 変更された画像を作る画像取込装置、例えば一体化された画像処理手段を伴うデジタル写真装置。
− 変更された画像を表示しまたは印刷する画像再現装置、例えば画像処理手段を含むビデオプロジェクタまたはプリンタ
− その要素の欠陥を補正するマルチファンクション装置、例えば、画像処理手段を含むスキャナ/プリンタ/ファクシミリ機。
− 変更された画像を作るプロフェッショナル画像取込装置、例えば、画像処理手段を含む内視鏡。

0067

一実施形態によれば、
−デジタル画像処理手段は、光学系の幾何学的歪みと、光学系の色収差と、視差、被写界深度、光学系および/またはイメージセンサおよび/またはイメージジェネレータの口径食、光学系および/またはイメージセンサおよび/またはイメージジェネレータの鮮鋭度の欠如雑音モアレ現象、および/またはコントラスト補償とを含む群の少なくとも1つのパラメータを活動化することによって画像品質を改善する手段を含み、
− かつ/または、光学系の所与のまたは選択されたパラメータは、その系の光学要素の個数、光学系の光学要素を含む材料のタイプ、光学系の材料のコスト、光学表面の処理、組立公差焦点距離による視差の値、開口仕様開口機構、可能な焦点距離の範囲、焦点合わせ仕様、焦点合わせ機構、アンチエイリアシングフィルタ、全体的な寸法、被写界深度、焦点距離と焦点合わせとをリンクする仕様、幾何学的歪み、色収差、オフカンタリング(off−cantering)、口径食、鮮鋭度仕様を含む群の中から選択され、
− かつ/または、画像取込装置および/または画像生成装置の所与のまたは選択されたパラメータは、画素の品質、画素の表面積、画素数、マイクロレンズ行列、アンチエイリアシングフィルタ、画素の幾何形状、画素の配置を含む群の中から選択され、
− かつ/または、サーボ制御系の所与のまたは選択されたパラメータは、焦点合わせ測定値、露出測定値、白バランス測定値、焦点合わせ命令、開口命令、露出命令、センサ利得命令、フラッシュライト命令を含む群の中から選択される。
自動焦点合わせを可能にするサーボ制御系について、焦点合わせを、様々な形で、具体的には光学系の可動要素の位置を制御することによって、または柔軟な光学要素の幾何形状を制御することによって、実行できることを想起されたい。
− 取込装置の性能は、特に、そのコスト、その全体的寸法、発する又は受け取ることができる最小の光の量、画像品質すなわちその鮮鋭度、光学部品、センサ、およびサーボ制御の技術的仕様、ならびにその被写界深度である。

0068

その結果、被写界深度を、物体が鮮鋭な画像を生成する距離の範囲すなわち、鮮鋭度が1つの色、一般に緑について所与の閾値を超える距離の範囲と定義することができ、あるいは、ぼけスポットが事前に決定された寸法を超えない、最も近い物体平面と最も遠い物体平面との間の距離と定義することさえできることに留意されたい。

0069

緑色は、後で説明するように画像の鮮鋭度の定義について有力なので、被写界深度の定義に緑を使用することも一般的である。

0070

本発明は、上で定義したものなどの実施方法を介して得られる装置にも関する。

0071

上で説明した仕様とは別々にまたはこれらと組み合わせて使用することができる本発明の他の仕様によれば、
本発明は、少なくとも2つの色を有し、画像取込デバイスから発する少なくとも1つのデジタル画像に対して実行された測定を使用することによって機能を活動化する方法であって、
−相対鮮鋭度が、画像の少なくとも1つの領域R内の少なくとも2つの色の間で測定され、
− 機能が、測定された相対鮮鋭度に依存して活動化される方法に関する。

0072

領域とは、画像の一部または全体を意味する。領域は、隣接するまたは隣接しない、1つまたは複数の画素を含む。

0073

したがって、活動は、結像される物体と取込装置との間の距離に特に適合され、あるいは、2つの結像される物体の間の相対的な深度に適合される。

0074

相対鮮鋭度を様々な形で測定することが可能であり、例えば(次のリスト網羅的ではないが)
− 最も鮮鋭な色を判定することができ、かつ/または、
− 「鮮鋭色」と称する少なくとも1つの色を、複数の色の中から選択することができ、かつ/または、
− 複数の色の間で鮮鋭度を比較することができ、かつ/または、
− 鮮鋭度の差を計算することができ、かつ/または、
− 相対鮮鋭度を直接に計算することができる。

0075

相対鮮鋭度測定の様々な例を、下で説明し、特に図3a、3b、4、5、6、7、8、9、および10に示す。

0076

ある領域内の相対鮮鋭度および/または相対鮮鋭度の測定は、例えばその領域内の平均相対鮮鋭度を表現する単一のデジタル値によって、あるいは、その領域の様々な部分の相対鮮鋭度を表現する複数のデジタル値によって表すことができる。

0077

本発明によれば、測定された相対鮮鋭度に応じて、少なくとも1つの機能が活動化される。そのような活動は、特に次を含む(ただし、次のリストは網羅的ではない)。

0078

−デジタル画像および/または別のデジタル画像の直接のまたは間接の処理(特に、処理または距離データおよび/もしくは位置パラメータおよび/もしくは方向パラメータの提供を介する)、ならびに/あるいは、
−情景の少なくとも1つの物体または対象の少なくとも一部の距離および/または方向および/または位置および/または寸法および/または方位および/または幾何学的形態の測定、ならびに/あるいは、
− 3次元の結像される情景の幾何形状に直接にまたは間接にリンクされたデータ、ならびに/あるいは、
物体検出、特に顔および/または1つもしくは複数の主題の検出、ならびに/あるいは、
− 物体の認識および/または認証、例えば顔の認識および/または認証、ならびに/あるいは、
− 装置の位置および/または移動の測定、ならびに/あるいは、
− 装置またはロボットなどの別のデバイスのサーボ制御、ならびに/あるいは、
− 主題の自動フレーミング、ならびに/あるいは、
− 装置の1つの調整変更、ならびに/あるいは、
− 信号の作成または活動化、ならびに/あるいは、
− デジタル画像または別のデジタル画像内の物体の追加、除去、または変更、ならびに/あるいは、
−相対鮮鋭度測定値を直接にまたは間接に使用する任意の他の活動。
一実施形態によれば、活動は、次を実施する。
− デジタル画像、および/または、
− 別のデジタル画像、および/または、
− 装置のユーザによる選択、および/または、
写真撮影中の取込装置の少なくとも1つの仕様、および/または、
− 他のデータ。

0079

活動が、直接処理または間接処理に関係する場合には、処理を、次の活動のうちの1つからなるものとすることができる(ただし、次のリストは網羅的ではない)。

0080

−焦点合わせをデジタルに変更すること、および/または、
− 少なくとも2つの色の間の相対鮮鋭度および/または結像される情景の物体の距離に依存する画像効果を作成すること、および/または、
− 画像の少なくとも1つの領域内の少なくとも1つの色の鮮鋭度を下げること、および/または、
− 画像の少なくとも1つの領域内の少なくとも1つの色の鮮鋭度を上げること、および/または、
圧縮を活動化すること、および/または、
− 本明細書に記載の任意の他の処理を使用すること。
機能を活動化するのに測定された相対鮮鋭度を使用することは、特に、結像される物体の少なくとも1つの部分と測定装置との間の距離に、ならびに/あるいは物体の少なくとも1つの部分の幾何形状に、ならびに/あるいは物体の少なくとも1つの部分の位置および/または寸法に、ならびに/あるいは物体の少なくとも1つの部分の方向にその機能を適合させることを可能にする。

0081

既知の方法は、少なくとも1つの画像領域の相対鮮鋭度測定値からそのようなタイプの機能の活動化を可能にするのではなく、距離を推定するために、画像取込装置に加えて特定のデバイスを使用することを必要とする。さらに、既知の方法は、1つの特定の点または限られた個数の点での距離測定を可能にするのみであるが、本発明は、膨大な個数の点での距離を同時に測定することを可能にする。

0082

一実施形態によれば、活動化される機能は、次を含む群に含まれる。
− 取込装置とデジタル画像によって結像される少なくとも1つの物体との間の距離の判定、および/または2つの結像される物体の間の相対距離の判定、
− 前記距離および/または前記相対距離に依存する活動、
− デジタル画像および/または別のデジタル画像の少なくとも1つのゾーンZ'に対する処理、
− 取込装置のサーボ制御および/または別の装置のサーボ制御、
− ユーザへの表示および/またはアラームおよび/またはアラート信号の提供、
− 画像の一部の検出、
− 色鮮鋭度の変更、
− 取込装置の位置および/または移動の判定、
− 画像内の対象の位置の判定、
− 少なくとも1つの画像仕様の変更、
− 画像の全体または一部の変更、
− 特にサーボ制御信号を提供するための、画像の内部の関心ゾーン(zone of interest)の判定、
− 画像の全体または一部の解像度の変更、
− 画像に関係するデータの提供、
音声取込デバイスへのデータの提供、
−圧縮のパラメータ設定
− 画像の全体または一部の変更、
− 取込装置の少なくとも1つの調整。

0083

一実施形態によれば、活動化される機能は、デジタル画像および/または別のデジタル画像の少なくとも1つのゾーンZ'に対する処理を含む。

0084

ゾーンZ'は、相対鮮鋭度が測定されたデジタル画像の一部であり、あるいはそうではない。

0085

少なくとも2つの色の間の相対鮮鋭度を測定されたデジタル画像とは別々のデジタル画像に対して実行される処理の例として、まず、次の画像または別の画像を処理できるビデオシーケンスの撮影を例に挙げることができ、そのような処理は、鮮鋭度を高めることからなる(これも例として与えられるものである)。

0086

実際に、次の画像の鮮鋭度を高めることができる。というのは、これが、そのような次の画像からほとんど区別できない前の画像の測定値に基づくからである。したがって、現在のデジタル画像をメモリに保存する必要はない。

0087

もう1つの例では、鮮鋭度測定は、デジタル写真装置内で、写真の実際の撮影の前に表示される画像に対して実行され、撮影された画像は、最後の測定値または複数の最後の測定値の組合せを使用して、より後の段階で最高解像度で処理される(写真の実際の撮影の前に表示される画像に対して行われる測定は、一般により低い解像度である)。

0088

一実施形態で、ゾーンZ'は、デジタル画像領域のすべてまたは一部(それに対して相対鮮鋭度測定が行われた領域)、および/またはデジタル画像全体、および/またはデジタル画像領域とは別々のゾーン、および/または別のデジタル画像、および/または別のデジタル画像全体を構成する。

0089

ゾーンZ'がデジタル画像領域のすべてまたは一部を構成する時、例えば、被写界深度を増やす必要がある時に、ゾーンZ'は、1画素であり、相対鮮鋭度が測定されるN画素の領域は、そのような相対鮮鋭度に従って定義され、ここで、フィルタが、画素の鮮鋭度を高めるために、最も鮮鋭な色の鮮鋭度を他の色に移動するために適用される。したがって、この動作を画素ごとに繰り返すことによって、被写界深度が増やされる。

0090

処理が実行されるゾーンZ'は、特に画像全体の鮮鋭度が高められる時に、デジタル画像全体を構成するものとすることができる。

0091

デジタル画像領域の別個のゾーンに対する処理の例として、相対鮮鋭度測定が1つの領域に対して実行される事例を例に挙げることができ、これによって、処理は、デジタルズームに対応するセンタリングされた画像部分に適用される。
別のデジタル画像のゾーンおよび/または別のデジタル画像全体に適用される処理の例として、上のビデオシーケンスの例が想起され、他方のデジタル画像は、例えば、あるビデオ画像に続く画像である。他方の画像は、例えば、写真装置の最高解像度で撮影されたデジタル画像でもあるが、測定が行われる画像は、低い解像度の画像である。

0092

一実施形態で、それについて処理が活動化されるゾーンZ'は、画像の少なくとも1つの画素を含むが、領域は、デジタル画像内の対応する画素の所定の近傍を含む。処理される画像は、デジタル画像とすることができる。処理される画像は、別の画像、例えば、同一の取込装置に由来し、デジタル画像の後に取り込まれた画像とすることもできる。その場合に、これらの2つの画像の画素の間の対応は、同一の場所に置かれた2つの画像の画素を関連付けることによって達成することができる。そのような事例は、画像が短い時間枠、例えば1/15秒以内に取り込まれる場合に、問題のあるアーチファクトを一切伴わずに測定と処理との間のデジタル画像格納を防ぐという利益を有する。

0093

一実施形態で、この扱いは、1つの画像のすべての画素に適用される。処理される画像は、デジタル画像とすることができる。処理される画像は、別の画像、例えば、同一の取込装置に由来し、デジタル画像の後に取り込まれた画像とすることもできる。

0094

一実施形態で、少なくともゾーンZ'に対する処理は、鮮鋭度、コントラスト、明るさ、詳細、色、圧縮のタイプ、圧縮率、画像内容、解像度を含む群に含まれる少なくとも1つの画像仕様の変更を含む。

0095

コントラスト変更の例
例えばビデオ会議の場合に、クローズアップの物体のコントラストは、高められ、背景物体のコントラストは、下げられる。逆に、ぼけ効果を減らすために、クローズアップの物体のコントラストを下げ、背景物体のコントラストを高めることができる。

0096

明るさ変更の例
この処理を、例えばビデオ会議について、クローズアップの物体を明るくし、背景を暗くするのに用いることができる。逆に、フラッシュライトを使用して撮影された画像について、明るさ処理は、フラッシュライト効果を補償するために、背景を明るくし、クローズアップの物体を暗くすることからなるものとしなければならない。

0097

詳細変更の例
ビデオ会議について、背景物体の詳細を、主題の最高の品質を維持しながらそのような背景物体のより大きい圧縮を可能にするために減らすことができる。

0098

色変更の例
領域の色に関する彩度は、時々パープルフリンジング(purple fringing)」と称する過度軸上色収差を除去するために下げられる、すなわち、相対鮮鋭度が閾値を超える場合である。

0099

圧縮タイプ変更の例
例えばビデオ会議について、クローズアップの主題の最高の品質を維持するために遠い物体を大幅に圧縮することを可能にするために、近い物体/遠い物体の区分が、コーデックMPEG−4に提供される。

0100

圧縮率変更の例
上のビデオ会議の事例で述べたように、圧縮率を、主題よりも背景について高くすることができる。

0101

内容変更の例
この処理は、風景または装飾によって背景を置換することからなる。
一実施形態で、この処理は、各画素の所定の近傍内の画素に結び付けられた値を混合するフィルタによるゾーンZ'の各画素の鮮鋭度変更を含み、このフィルタのパラメータは、測定された相対鮮鋭度に依存する。

0102

一実施形態で、ゾーンZ'は、測定された相対鮮鋭度を使用して決定される。
例えば、Z'ゾーンは、例えば前景と背景とを別々に処理することを可能にする、画像のうちで所与の範囲の距離の中に置かれた物体を含む部分に対応する所与の範囲に相対鮮鋭度が含まれる画像部分に対応する。

0103

本発明の意味において、フランス語「arriere−plan」および「fond」は、区別が行われない場合に、英語の「background(背景)」と同一の意味を有する。

0104

一実施形態で、ゾーンZ'は、特にビジオコンファレンシング(visio−conferencing)またはビデオ会議の系を介する、特に遠隔伝送予定された、画像の背景を構成する。処理される画像は、デジタル画像とすることができる。処理される画像は、別の画像、例えば、同一の取込装置に由来し、デジタル画像の後に取り込まれた画像とすることもできる。

0105

一実施形態によれば、この処理は、ゾーンZ'の画素のすべてまたは一部について、結像される物体と取込装置との間の距離に依存するデータの提供を含み、そのようなデータの格納および/または伝送および/または使用が距離に依存して活動化される場合に、格納されるデータは、特に、データ処理ファイルすなわち画像ファイルに保存される。

0106

ゾーンZ'が、1つの点および/または1つの領域および/または複数の領域および/または画像全体および/または主題および/または背景を構成できることを想起されたい。

0107

距離に依存するデータは、例えば精度表示を伴う距離、または例えば1cm未満の距離、1cmと10cmとの間の距離、10cmと1mとの間の距離、および最後に1mを超える距離などの距離値の範囲とすることができる。距離に依存するデータは、「近すぎる」、「非常に近い」、「近い」、「遠い」、または「非常に遠い」タイプの判断基準によって表すこともできる。距離に依存するデータは、「肖像」または「風景」など、物体または対象のタイプに関する情報に変換することもできる。

0108

したがって、画像の様々な部分の距離の地図を提供することもできる。また、取込装置に関するゾーンの位置を提供することもできる。

0109

距離に依存するデータに、最小距離最大距離、平均、および通常の差など、画像の様々な要素に関する距離値を含めることもできる。

0110

本発明が、単一の画像を使用して情景内の複数の距離を測定することを可能にするが、従来技術が、立体映像を達成するために複数の位置に配置された複数のカメラ、移動するカメラ、レーザー距離計、または可視画像を得ることを可能にしない超音波ソナーを使用するなど、複雑な手段を必要とすることに留意することが重要である。

0111

一実施形態で、活動化される機能は、焦点合わせに関するサーボ制御、露出に関するサーボ制御、フラッシュに関するサーボ制御、画像フレーミングに関するサーボ制御、白バランス調整に関するサーボ制御、画像安定化に関するサーボ制御、ロボットの案内など、取込装置にリンクされた別の装置またはデバイスに関するサーボ制御によって構成される群に含まれる、取込装置に関するサーボ制御機能を含む。

0112

サーボ制御焦点合わせ機能の例
主題または関心ゾーンは、距離測定によって、鮮鋭度から検出することができ、したがって、主題または関心ゾーンは最も近いゾーンである。

0113

単一のデジタル画像から直接に行われる測定を使用して実施される、焦点合わせに関するサーボ制御は、連続する画像から測定を行う必要がある既知の焦点合わせサーボ制御すなわち「オートフォーカス」に関して特に有利である。

0114

さらに、既知の焦点合わせサーボ制御は、途中までトリガ要素押し下げ、次に完全に押し下げる前にフレーミングを移動することからなるが、本発明を用いると、焦点合わせを完全に自動的な形で達成することができ、したがって、本発明は、時間の利益およびよりよい画像を可能にする。

0115

サーボ制御露出機能の例
焦点合わせサーボ制御に似て、露出調整は、主題に対して達成され、この主題は自動的に検出され、したがって、露出は、画像フレーム内の主題の位置がどこであっても正しいものにすることができる。言い換えると、焦点合わせに似て、ユーザは、もはや、対象をねらい、フレーミングを移動する前に半分押し下げる必要はない。

0116

フラッシュライトサーボ制御の例
本発明は主題を判定することを可能にするので、明るくする機能を、主題に従って活動化することができるが、技術的現状に関して、フラッシュライトの強さは、主題すなわち特に最も近い対象の判定なしに焦点合わせに従って調整される。上で示したように、最も少ない光の中の対象を、明るくすることを介してデジタルに処理することができる。

0117

別のデバイスの制御の例
可動ロボットが移動しなければならない時に、その可動ロボットに最も近い領域が、判定され、まったく妨害のない軌跡が、可動ロボットに最も近いものとして物体から判定される。

0118

一実施形態で、活動化される機能は、デジタル画像のおよび/または焦点合わせゾーンの主焦点表示信号、ならびに/あるいはデジタルに監視され結像される情景のおよび/または結像される情景の少なくとも1つの部分の取込装置までの距離の変更を示すアラーム信号などの信号の提供を含む。

0119

例えば、デジタル写真装置で、どの主題が写真撮影中に装置によって検出されたかを写真家に知らせるための、主題を囲むフレーム、特に所定の形のフレームを有することが可能である。主題のそのような表示信号は、特に、何が最も鮮鋭な対象または物体であるかを写真家に知らせるために実際の写真撮影の前に使用することができる。

0120

そのような信号は、最も近い物体または対象が、鮮鋭になるために写真撮影装置に関して近すぎることの表示とすることもできる。その場合に、この信号は、例えば、「前景が近すぎる」という明瞭なメッセージの形、または前景のぼけの誇張の形、あるいは前景色の視覚的変更の形さえとる。

0121

情景または前景の物体が近すぎることを示す信号は、撮影される画像の最終的な宛先を考慮に入れ、特にそのような宛先について選択される解像度を考慮に入れることができる。例えば、テレビジョン受像機またはコンピュータ画面でぼけるはずの対象が、写真撮影装置で見られるタイプの小さい寸法の画面では鮮鋭である場合がある。同様に、24cm×30cm印画紙での印刷に関してぼけた対象は、10cm×15cm印画紙での印刷に関して必ずしもそうではない。
ぼけ表示信号は、対象を考慮に入れることもできる。例えば、バーコードの検出は、自然画像よりもぼけを許容する。

0122

写真撮影装置によって提供されるアラーム信号の例
物体を監視するビデオ監視系では、写真撮影装置は、2つの領域をカバーするように調整される。これらの領域の第1領域は、対象が見つかる領域であり、第2領域は、写真撮影装置の全範囲である。したがって、写真撮影範囲内の物体が、監視される物体により近くなる場合に、アラームが活動化される。

0123

一実施形態で、活動化される機能は、写真撮影中の取込装置の少なくとも1つの仕様すなわち、焦点距離、開口、焦点合わせ距離、露出パラメータ、白バランスパラメータ、解像度、圧縮、またはユーザによって行われる調整に依存する。
実際に、活動化される機能は、測定された相対鮮鋭度に依存し、少なくとも2つの色の間のそのような相対鮮鋭度は、写真撮影装置の調整すなわち、焦点距離、開口、および焦点合わせ距離に依存する。

0124

一実施形態で、デジタル画像は、取込装置のセンサに由来する生画像を構成する。

0125

そのような機能は、相対鮮鋭度機能をより簡単にする。というのは、生画像を使用する時に、測定が、モザイク除去などの処理、鮮鋭度改善フィルタ、色面積の変化、またはシェードカーブ(shade curve)によって影響されないからである。

0126

しかし、センサに由来する生画像は、処理、例えば防音デジタル利得暗いレベルの補償を受けている場合がある。

0127

相対鮮鋭度測定および/または活動化される機能は、取込装置内で実行することができる。

0128

相対鮮鋭度測定は、取込装置を超えて、例えば、デジタル画像の転送後にコンピュータ上で実行することができ、かつ/または、ユーザが、取込装置を超える機能を活動化することができる。

0129

取込装置を超えて相対鮮鋭度測定を行うことが、実際に可能であり、同様に、機能を、既に述べたものなど、取込装置を超えて活動化することができる。例えば、コンピュータ上で実施される処理プログラムが、鮮鋭度測定を使用して、焦点合わせ距離および/または被写界深度に依存する処理を実施するために、そのような距離および/または被写界深度を判定する。

0130

一実施形態で、機能は、顔の検出および/または認識など、画像の一部に関する検出および/または認識機能を含む。

0131

例えば、顔が所与の寸法を表すことが既知である。本発明による方法は、物体または対象と取込装置との間の距離を判定することを可能にする。さらに、焦点距離および画像内の物体の寸法に関するそのような距離データを使用することによって、顔の存在を演繹することができる(この顔は、所与の範囲内に含まれるある寸法を表す)。物体の寸法判断基準は、例えば色など、他の判断基準によって完成させることができる。顔の検出などの物体の検出は、特に、遠隔会議中に高い背景圧縮を自動的に実行するのに使用することができる。そのような方法は、欠陥を補正するための欠陥の検出、または赤目を補正するための赤目の検出、あるいは顔の認識(バイオメトリック応用)に使用することもできる。

0132

一実施形態で、活動化される機能は、取込装置の位置測定および/または移動測定を含む。

0133

一実施形態で、取り込まれる画像の情景内で固定されたままになる予定の1つまたは複数の物体は、メモリに格納されなければならないが、移動または位置決めは、経時的な相対鮮鋭度の変動を判定することによって検出されなければならない。そのような配置は、例えば、3次元での視覚的「マウス」タイプのコンピュータインターフェースを実施するのに使用することができる。

0134

一実施形態で、活動化される機能は、画像内の主題または対象の位置の判定を含む。

0135

デジタル画像内の主題の判定判断基準は、取込装置に関する最短距離としなければならない。それでも、そのような判断基準を、他の要因と組み合わせることができる。例えば、取込装置に近い、画像の縁にある物体を、自動処理を介して除去することができる。前に説明したように、物体の寸法判断基準を考慮に入れることも可能であり、そのような寸法は、焦点距離ならびに取込装置と物体との間の距離に依存する。

0136

一実施形態で、活動化される機能は、自動フレーミングすなわちセンタリング、またはデジタル画像の主題へのデジタル画像および/または別の画像の再フレーミングをさらに含む。再フレーミングされる画像は、デジタル画像とすることができる。再フレーミングされる画像は、別の画像、例えば、同一の取込装置に由来し、デジタル画像の後に取り込まれた画像とすることもできる。

0137

例えば、前景物体へのフレーミングを自動的に保証する「クローズアップ」モードを提供することが可能である。例えば画像の高さおよび幅の1/3以内に位置決めされるなど、前記1/3規則に従って顔のフレーミングを自動的に保証する「バスト」モードを提供することも可能である。

0138

一実施形態で、活動化される機能は、一方では相対鮮鋭度に依存し、他方ではユーザの選択判断基準に依存する処理の適用を含む。

0139

例えば、選択される判断基準は、次の通りである:画像のうちで取込装置に最も近い部分に特権を与える。その結果、機能は、実際に達成されたものより少ない被写界深度を作成するために、画像のそのような部分の鮮鋭度を高めることおよび画像の残りの鮮鋭度を下げることからなるものとすることができる。そのような条件の下で、「カメラ付き電話機」においてなど、焦点合わせであれ開口であれ、いかなる機能も有しないレンズを使用して達成される、画像内の可変焦点合わせおよび開口を有するレンズの挙動シミュレートすることが可能である。

0140

一実施形態で、活動化される機能は、画像内の相対鮮鋭度の変動に依存する、コントラストのおよび/または輝度のおよび/または色のおよび/または画像鮮鋭度の変更を含む。

0141

したがって、フラッシュライトの局所化された照明などの局所化された照明をシミュレートすることが可能であり、例えば逆光照明効果またはフラットティント効果を減らすために、フラッシュライトの効果を減らすことも可能である。
情景は、1つまたは複数の自然のまたは人工的な源によって、ならびにおそらくは本装置によって制御される1つ(または複数の)フラッシュライト(またはライト)によって照らされる。

0142

画像取込装置が、情景のデジタル画像内の測定値(例えば、飽和したゾーンの分析ヒストグラムの分析、平均色の分析)に応じて露出(露出時間、センサ利得、および必要な場合に開口)を制御し、白バランス(画像全体の中の色ごとの利得)を制御し、おそらくはフラッシュライト(フラッシュライトの持続時間および強さ)を制御し、かつ/または赤外線距離計、フラッシュライト用のプレフラッシュなどの補足デバイスを用いて行われる測定を制御することが既知であり、焦点合わせサーボ制御は、様々な焦点を用いて撮影された複数の画像の鮮鋭度を比較することによって最も鮮鋭な画像によって作られる焦点を見つけることを可能にする。そのような制御は、画像の少なくとも1つの領域Rでの少なくとも2つの色の間の相対鮮鋭度測定値を使用しないが、画像のコントラストおよび/または明るさおよび/または色を変更する。

0143

さらに、シェードカーブおよびカラーレンダリングなどの既知の処理は、画像の少なくとも1つの領域Rでの少なくとも2つの色の間の相対鮮鋭度測定値を使用しないが、画像のコントラストおよび/または明るさおよび/または色を変更する。

0144

そのような既知の方法は、情景の幾何形状に関する情報の欠如に起因して制限されている。例えば、自然に暗い物体を暗く照らされた物体と区別することは難しい。もう1つの例として、フラッシュライトは、複数の対象が変化する距離にある場合に、そのような対象を正しく照らすことができない。

0145

一実施形態で、活動化される機能は、検討される少なくとも1つの関心ゾーンの位置を露出および/または白バランスおよび/または焦点合わせのサーボ制御に提供することを含み、そのような関心ゾーンは、少なくとも2つの相対鮮鋭度測定値を比較することによって判定される。

0146

例えば、露出機能を、おそらくは画像の縁(フィールド境界)にある1つまたは複数の近い物体の除去などの別の判断基準と組み合わせて、取込装置に最も近い部分に対して実行することができる。

0147

白バランスのサーボ制御を、例えば、おそらくは異なって照明される背景を損なう、画像の中央の大きいスケールの対象に対して実行することができる。変形として、この方法は、画像内の近い部分と離れた部分を判定することからなり、白バランス機能は、複数の照明が存在するか否かを判定するためおよびこれらの領域のそれぞれについて別個の補償を実行するために、これらの領域に対して別々の測定を行う。

0148

焦点合わせサーボ制御が、関心ゾーンの位置を与えられる場合に、焦点合わせの活動化は、より高速になり、主題(関心ゾーン)が移動している場合であっても、主題に追従できるようになる。

0149

一実施形態で、活動化される機能は、画像が鮮鋭になるには近すぎて撮影されることを示す、ユーザ行きの信号の提供を含む。

0150

一実施形態で、活動化される機能は、測定された相対鮮鋭度に依存する画像解像度変更を含む。画像は、デジタル画像とすることができる。画像は、別の画像、例えば、同一の取込装置に由来し、デジタル画像の後に取り込まれた画像とすることもできる。

0151

例えば、画像が、最高解像度で鮮鋭な画像を達成するには取込装置に近すぎる距離で撮影される時に、解像度が下げられ、最終的な解像度は、鮮鋭な画像を得るために選択される。

0152

一実施形態で、活動化される機能は、デジタル画像の自動インデクシングに使用されるデータまたは信号の提供を含む。

0153

例えば、画像が、所与の限度より短い距離にある、閾値を超える寸法の対象または物体を含む場合に、インデクシングは、その画像が肖像または人のグループに関係することを示す信号の提供からなるものとすることができる。この2つの状況の間の区別は、結像される情景が1つまたは複数のクローズアップの物体または対象を含むかどうかに従って行われなければならない。物体または対象の距離が事前に決定された限度を超える場合には、その画像が風景を表すと考えることができる。

0154

一実施形態で、活動化される機能は、デジタル画像内の対象または物体の、取込装置に関する遠隔データまたは方向データを音声取込デバイスに提供することを含む。

0155

その結果、ビデオカメラまたはカメラ付き電話機において、主題または対象を判定し、これらの主題の距離および/または方向を判定し、音声取込の焦点を主題または対象に合わせ、したがって、背景雑音を除去することが可能である。音声取込の指向性機能は、2つのマイクロホンおよびこれらのマイクロホンの信号の間のディフェージングデバイスを使用することによって実行することができる。

0156

この最後の配置の特定の応用例は、ビデオ会議の場合に、広角画像取込装置および話す過程における対象の自動監視の使用である。

0157

一実施形態で、活動化される機能は、背景の高められた圧縮のおよび主題または対象の圧縮のパラメータ設定を含み、そのような主題または対象は、測定された相対鮮鋭度に基づく判断基準に従う画像ゾーンを構成するものとして判定される。

0158

その結果、例えば、ビデオ会議の場合に、出力を最小にすると同時に、主題の満足な可視性を維持することができる。後者は、本願で説明するように、画像のうちで写真撮影装置に最も近い部分を構成するものとして判定され、異なって判定される。

0159

一実施形態で、取込装置は、少なくとも2つのタイプの色付きフィルタを備えた画素を有するセンサを含み、そのようなフィルタは、そのスペクトル応答オーバーラップをほとんど伴わなくなるように選択される。

0160

そのような条件の下で、2つの色の間の鮮鋭度を最大にすることができ、したがって、相対鮮鋭度測定の精度を最適化することができる。

0161

一実施形態で、取込装置は、主に画像を作るように働く画素と、主に相対鮮鋭度を測定するように働く他の画素と有するセンサを含む。

0162

一実施形態で、主に相対鮮鋭度を測定するように働く画素は、あるスペクトル帯内のスペクトル応答を有し、このスペクトル応答は、主に画像を作るように働く画素のスペクトル帯とのオーバーラップをほとんど伴わない。

0163

一実施形態で、主に画像を作るように働く画素は、主に人間の目に可視の範囲内のスペクトル応答を有し、他の画素は、主に人間の目に可視の範囲の外のスペクトル応答を有する。

0164

本発明は、上で定義した本発明による取込装置および方法とは別々の、このように定義されるセンサにも関する。

0165

本発明は、そのようなセンサを含む取込装置にも関し、そのような取込装置は、上で定義した方法とは別々に使用することもできる。

0166

本発明は、上で定義した配置と組み合わせて(またはこれと別々に)使用できる配置による、一方ではそのスペクトル応答が主に人間の目に可視の範囲内である画素と、他方では主に人間の目に可視のスペクトルの外のスペクトル応答を有する追加画素とを表すセンサを含むデジタル画像取込装置であって、上記センサは、画像のうちでこれらの追加画素に由来する部分が、取込装置と結像される情景との間の距離の少なくとも1つの範囲の中で、画像のうちでそのスペクトル応答が主に可視の範囲内にある画素に由来する部分の鮮鋭度を超える鮮鋭度を表すようになっている、デジタル画像取込装置にも関する。

0167

追加画素は、赤外線および/または紫外線を感知するものとすることができる。紫外線を感知する画素は、短距離に関する鮮鋭度を改善するように働くことができ、赤外線を感知する画素は、より長い距離に関する鮮鋭度を改善するように働くことができる。赤外および/または紫外は、可視スペクトルの上または下のスペクトルのすべての部分、特に700nmから800nmまでまたは700nmから900nmまでなどの近赤外あるいは400nm付近近紫外を意味する。
一実施形態で、取込装置は、固定レンズすなわち、焦点合わせ用の機械的要素欠くレンズを備える。
この条件の下で、焦点合わせは、デジタルに処理することができる。

0168

一実施形態で、取込装置は、可動焦点合わせ要素または柔軟な焦点合わせ要素を有しない可変焦点距離を有するレンズを備え、画像の少なくとも1つの領域Rでの少なくとも2つの色の間の相対鮮鋭度は、焦点距離および/または装置に対する結像される物体の位置に従って可変である。

0169

その結果、より単純なズームを備えたデバイスが得られ、寸法を縮小し、コストを減らし、信頼性を高めることが可能になる。

0170

可変焦点距離を有するレンズは、例えば、単一の光学可動ユニットまたは単一の柔軟なユニットを含む。

0171

ズームが、少なくとも2つの可動ユニット、例えば焦点距離用の1つまたは2つの可動ユニットと焦点合わせ用の他の可動ユニットとを用いて実施されることが既知である。一般的に言って、焦点合わせおよび焦点距離は、互いに別々である、すなわち、焦点距離が変化する時に、焦点合わせを変更する必要はない。これによって、焦点合わせに必要な時間がなくなる。可変焦点と呼ばれる、よりコストの低い、可変焦点距離を有するレンズも存在し、この場合に、焦点合わせは、焦点距離が変化する時に変更されなければならない。最後に、複雑な形でリンクされた2つの可動光学ユニットが焦点距離を変更するために使用され、焦点合わせが第3ユニットによって実施される、無限焦点ズームが存在する。

0172

一実施形態で、デジタル画像は、少なくとも2つのセンサに由来する。
例えば、各センサは、所与の色専用である。例えば、これらのセンサ上の共通結像レンズを有する3CCDタイプのセンサを使用することが可能である。

0173

一実施形態で、活動化される機能は、デジタル画像上で測定された相対鮮鋭度に依存する、画像の内側での物体の追加および/または画像の一部の置換を含む。

0174

例えば、この方法は、主題の隣に人を追加することを可能にする。例として、画像内の所与の位置に物体を追加することも可能であり、そのような物体は、結像される情景からそのような位置までの距離を考慮に入れる場合に、画像内で正しい寸法を有する。

0175

背景を変更することまたは完全に黒にすることも可能である。

0176

自然なタイプであれ合成タイプであれ、例えばゲームの文脈で、主題など、画像の一部を抽出し、別の画像に挿入することも可能である。

0177

所与の点で情景から固定された距離に、例えば主題の後ろに、宣伝データを追加することも可能である。

0178

一実施形態で、この方法は、画像のシーケンスの取込を含み、デジタル画像は、そのシーケンスの一部であり、活動化される機能は、そのシーケンスの少なくとも1つの他の画像に対するものである。

0179

したがって、既に説明したように、相対鮮鋭度の推定を、より低い解像度での写真撮影の前の事前視覚化の画像に対して行うことができると同時に、補正を、例えば事前視覚化の画像から行われた測定から生じるフィルタの選択を使用することによって、既に記憶された画像に対して行うことができる。

0180

一実施形態で、活動化される機能は、取込装置の1つの調整すなわち、焦点距離、開口、焦点合わせの距離の変更を含む。

0181

その結果、写真撮影装置は、主題が背景の前に置かれる場合に増やされる開口など、自動調整プログラムを含むことができ、したがって、そのような背景は、ぼけるようになる。調整プログラムは、開口をグループの対象の距離に自動的に適合させることもでき、その結果、被写界深度が、グループ内のすべての対象を鮮鋭にするのに十分に適当になる。その場合に、機能が自動的に達成されるが、技術的現状では、これが手動で達成されることにも留意されたい。

0182

一実施形態で、活動化される機能は、変更された生画像を作ることを含む。

0183

デジタル画像は、好ましくは、「モザイク除去」(すなわち、すなわち、マトリクスを除去すること)の前のセンサからの生画像である。デジタル画像は、例えば白バランス調整をうけるなど、処理済みとすることもできる。デジタル画像は、好ましくはサブサンプリングを受けていてはならない。

0184

したがって、光学系、センサ、および画像処理手段のユニットが得られ、その結果、よりよい品質を表し、または例えば被写界深度の拡張などの特定の特性を有する生画像が作られると同時に、センサから直接に由来する生画像の特性に類似する特性、特に生画像を可視画像に変換する機能を実行する既知の機能ブロックまたは構成要素(「イメージパイプ」または「画像信号プロセッサ」)との互換性が維持される。

0185

変形として、生画像は、モザイク除去を受ける。一実施形態で、取込装置のレンズは、例えば、所与の焦点合わせ、開口、および焦点距離について、最良の鮮鋭度を伴う距離が




未満である少なくとも1つの色が存在するなど、大きい軸上色収差を表し、ここで、kは、0.7未満、好ましくは0.5未満の係数であり、fは、焦点距離であり、Oは、開口であり、Pは、無限遠に置かれた物体点のぼけスポットの最小の(画像のすべての色の中で)直径を有する。

0186

一実施形態で、2つの色の間の相対鮮鋭度の測定は、第1色に適用された第1測定値の結果Mと第2色に適用された第2測定の結果とを比較することによって達成され、各測定値Mは、一方では鮮鋭度および色の値関数を、他方ではデジタル画像の内容の値関数を提供し、したがって、デジタル画像内容から比較が除去される。

0187

相対鮮鋭度測定に関する定義および実施形態の例

0188

鮮鋭度の比較は、デジタル画像の画素に対する測定値Mを使用して実行される。

0189

所与の色Cのチャネルの所与の画素Pでの測定値Mは、Pの近傍内のCの変動の勾配に対応する。この測定値Mは、次の計算を介して得られる。

0190

所与の色Cについて、V(P)は、画素Pの近傍と考えられる。

0191

GMは、近傍V(P)内の勾配の振幅の平均として表され、SMは、GMと近傍V(P)内の勾配との間の差の振幅の平均値として表される。

0192

勾配は、同一色の2つの画素の値の差の振幅を介して計算される。近傍V(P)内の勾配は、近傍V(P)内の事前に決定された個数の画素対に影響する勾配に対応する。

0193

色Cを有する画素Pに対する測定値Mは、SMとGMとの間の比によって定義することができる。したがって、値M(P,C)が得られる。

0194

そのような測定値自体は、色Cの鮮鋭度の特徴を正確かつ完全に表すことを可能にはしない。実際に、鮮鋭度は、画素Pの近傍V(P)内の画像の内容(結像される情景のタイプ=テクスチャ階調など)に依存する。同一の色鮮鋭度の結像された情景内の明らかな遷移は、結像された情景内の穏やかな遷移より高い測定値Mを生成する。自然画像では、遷移は、各色に同一の形で存在し、したがって、色の間で同一の形で測定値Mに影響する。言い換えると、明らかな遷移が色Cに現れるときに、同一のタイプの遷移が、他の色に現れる。

0195

その結果、測定値Mの比較は、色C1と色C2との間の相対鮮鋭度を確立することを可能にする。

0196

画素Pで測定された、2つの色C1とC2との間の相対鮮鋭度は、例えば、2つの測定値M(P,C1)とM(P,C2)との間の比較として定義することができる。したがって、M(P,C1)>M(P,C2)は、C1がC2より鮮鋭であることを暗示する。

0197

例えば、次の式のうちの1つを使用することも可能である。
M(P,C1)−M(P,C2)、
M(P,C1)/M(P,C2)、
または、この2つの測定値の間の比較に適合された任意の他の関数F(M(P,C1),M(P,C2)。

0198

画像の領域R内の相対鮮鋭度は、領域Rのすべての画素Pに対する測定値Mを使用することによって定義することができる。

0199

画像の領域R内の相対鮮鋭度は、領域Rの画素Pについて測定された相対鮮鋭度の全範囲または部分範囲とすることができる。画像の領域R内の相対鮮鋭度は、色のそれぞれの領域Rの全画素Pに対する測定値の合計Sなど、独自の値として定義することもできる。その結果、2つの色C1およびC2について、例えば、S(C1)>S(C2)は、C1が平均して領域R内でC2より鮮鋭であることを暗示すると考えることが可能である。

0200

この2つの測定値の間の比較を可能にする任意の他の関数G(S(C1),S(C2))を使用することも可能である。

0201

一実施形態で、活動化される機能が、画像内の主題の位置を判定することからなるときに、活動化される機能は、さらに、自動フレーミングすなわち、画像を主題にセンタリングすることを含む。

0202

この方法は、画像取込または画像処理の装置またはデバイスの内部で実施することができる。そのような装置またはデバイスは、センサと一体のまたはセンサを有しない電子構成要素、一体化されたレンズ、センサ、およびおそらくは画像処理モジュール(「カメラモジュール」)を有する電子サブユニット、または上で定義した任意の他の形を含む群に含まれる。

0203

本発明の他の仕様および利益は、本発明の実施形態の一部の説明で示され、そのような説明は、本願に添付されたスケッチによって補強される。

発明の効果

0204

説明したように、本発明は、可動ユニットなしで遅延なしで焦点合わせをデジタルに復元することを可能にし、したがって、これは、少なくとも1つの可動部分を除去することによってズームの複雑さを減らすことを可能にする。例えば、対象の距離および焦点距離の距離に従って、2つの色の間の相対鮮鋭度が、可変になる可能性があるが、これは、既知の光学部品では許容されない。

図面の簡単な説明

0205

aおよびbは収束レンズの軸上色収差を示す例示的な図である。
画像の色スペクトルを示す図である。
aおよびbは本発明による同一の鮮鋭色を使用する色の鮮鋭度の改善を示す図である。
本発明による画像の別個の領域にリンクされた異なる鮮鋭色を使用する色の鮮鋭度の改善を示す図である。
本発明による画像の全部分にリンクされた異なる鮮鋭色を使用する色の鮮鋭度の改善を示す図である。
本発明による画像の全部分にリンクされた異なる鮮鋭色を使用する色の鮮鋭度の改善を示す図である。
本発明による画像の全部分にリンクされた異なる鮮鋭色を使用する色の鮮鋭度の改善を示す図である。
鮮鋭色と本発明に従って改善される色との間の鮮鋭度の差に従う装置のサーボ制御を示す図である。
物体とその物体の画像を取り込む装置との間で測定される距離を使用する鮮鋭色の選択を示す図である。
画像の少なくとも1つの領域内での少なくとも1つの色の鮮鋭度の低減を示す図である。
本発明による方法によって得られる装置を示すスケッチである。
本発明による方法のステップを示す図である。
本発明に従う調整モードを示す図である。
aおよびbは本発明の文脈で使用される調整を示す一連の図である。
図15、aおよびbは本発明による画像取込装置と従来の装置との特性を示す図である。
a、b、c、dは本発明による装置と標準的な装置との光学系の特性を示す図である。
aおよびbは本発明による装置の光学系の選択の例を示すスケッチである。
1および2は本発明による写真撮影装置の仕様を示す図で、 本発明による方法の実施の手段を示す図である。
1、2および3は複数の実施形態変形による、本発明による方法のステップを示す図である。
1および2は本発明の他の実施形態を示す図である

発明を実施するための最良の形態

0206

本発明によれば、下で説明する方法は、下で図3aおよび3bを使用して説明するように、「鮮鋭色」と称する少なくとも1つの色を画像の色の中から選択することと、鮮鋭色の鮮鋭度を少なくとも1つの他の改善される色に反映することとによって、デジタル画像の少なくとも1つの色の鮮鋭度を改善する。

0207

より正確には、図3aには、検討される画像内でその画像を取り込んだ装置に関して2つの色13.1および13.2が表す物体の距離(横座標の軸7.1)に依存する色13.1および13.2の鮮鋭度(Y軸7.2)を示す。

0208

前に説明したように、この2つの色の鮮鋭度は、そのような距離に依存して異なる形で変化するが、基本的に、この例では、第1色13.2は、この同一の画像の第2色13.1よりよい鮮鋭度を表す。

0209

したがって、本発明に従う方法によれば、第1色13.2の鮮鋭度は、第2色13.1の鮮鋭度の改善14を達成するために反映され、第2色13.1は、そのような改善の後に、高められた鮮鋭度13.3を表す。

0210

そのような例では、CA、CO、およびCNは、それぞれ、改善された色、元の色(すなわち改善されるべき色)、および鮮鋭色を表す値である。この例では、鮮鋭色は、第1色である。元の色および改善された色は、処理の前の第2色および処理の後の第2色に対応する。

0211

鮮鋭度は、
CA=CN+F(CO−CN)
というタイプの式に従うフィルタFを使用することによって、第2色に反映される。

0212

通常、フィルタFは、それが適用される画像から詳細を除去するという特殊性を示す。それを行うために、線形低域フィルタ(または平均化器)を使用することができる。例えば中央値フィルタなど、詳細を除去するという特殊性を有する多数の既知の非線形フィルタのうちの1つを使用することも可能である。

0213

この段階では、人間の網膜が、画像の詳細に関して特に緑色に敏感であることを想起することが本質的であり、したがって、光学系の調整は、一般に、ある焦点合わせ範囲に関してこの色の極端な鮮鋭度を達成することを目指す(例えば、論文「Color Appearance Models」、Mark D.Fairchild著、Addison Wesley編の30から33頁を参照されたい)。

0214

したがって、本発明に関する観察によれば、その鮮鋭度が人間の目に満足ではない画像を作る光学デバイスが、詳細を検討する時に人間の目がより鈍感である青または赤など、色のうちの1つについて満足な鮮鋭度を表す可能性がある。

0215

通常、長距離に焦点を合わせるレンズ(過焦点)について、近い物体および遠い物体を表す画像を検討する時に、遠い物体の鮮鋭度は、一般に緑色について高められて見えるが、近い物体の鮮鋭度は、青色を考慮する時に改善される。
したがって、2つの色の相対鮮鋭度に依存する異なる鮮鋭色に従って画像の領域を改善できることが重要であると思われる。

0216

その結果、本発明の一実施形態では、画像の領域に依存して色の鮮鋭度を改善するように働く鮮鋭色が選択されなければならず、そのような方法を、2つの領域11.1および11.2を含む画像10を示す図4によって下で説明する。

0217

この2つの領域では、2つの色8.2および8.3を見出すことができる。それでも、この2つの色の鮮鋭度(Y軸7.2)は、領域11.1内で色8.2が最も鮮鋭になり、領域11.2で色8.3が最も鮮鋭になるようになっている。
これから、領域11.2内の色を、鮮鋭色として色8.3を検討することによって改善し、領域11.1内の色を、鮮鋭色として色8.2を検討することによって改善する。

0218

この段階では、画像の領域を事前に決定してもしなくてもよいことに留意されたい。例えば、画素からなるデジタル画像の場合に、領域を、1つまたは複数の画素によって区切られた空間的ゾーンとすることができる。

0219

さらに、軸7.1によって表されるものなど、距離の概念にかかわらず、少なくとも互いにではあるが、他の色に関してある色の鮮鋭度を単純に比較することによって、別の色を改善するために鮮鋭色を選択することが可能である。

0220

この場合に、そのような分析は、例えば次の表として表される。
ゾーン11.1 11.2
鮮鋭度8.2>8.3 8.3>8.2
この場合に、色8.2が、領域11.1内の鮮鋭色として選択され、色8.3が、ゾーン11.2内の鮮鋭色として選択される。

0221

画像内の領域の使用にかかわらず、図5、6、および7を使用して下で説明するように、画像内の色を改善するために、様々な鮮鋭色を検討することが有利である可能性がある。

0222

より正確には、図5の図に、前記画像を得るために取り込まれた情景の少なくとも1つの物体と取込装置との間の距離(7.1)に依存する、2つの色8.2および8.3の鮮鋭度(Y軸7.2)を示す。

0223

範囲9.1で、色8.3が、色8.2の鮮鋭度と比較して高められた鮮鋭度を表すが、より大きい距離(範囲9.2)で、反対の状況が生じると思われる。

0224

その場合に、本発明に従う方法は、色8.3を、距離の範囲9.1内で色の鮮鋭度を補正するように働く鮮鋭色と考えることができ、範囲9.2内では、色8.2が、取込装置からある距離に置かれた画像を入手するために取り込まれた情景の物体に由来する色を改善するために鮮鋭色と考えられる。

0225

そのような補正の後に、その画像上の色の鮮鋭度を、図6に示されたものなどのプロファイルの方向で、すなわち、画像内の最も鮮鋭な色の併置の方向で改善することができる。

0226

図4の説明に似た形で、軸7.1によって表されるものなど、距離の概念にかかわらず、少なくとも互いにではあるが、他の色に関してある色の鮮鋭度を単純に比較することによって、別の色を改善するために鮮鋭色を選択することが可能であることは明白である。

0227

既に説明した図3a、3b、4、5、および6と後で説明する図7から10に表された鮮鋭度曲線は、画像の検討される領域の幾何学的位置および/または焦点距離、開口、焦点合わせなどの他の画像取込パラメータに従って変化する可能性がある。

0228

本発明の意味における最も鮮鋭な色を判定するために、上で示したパラメータを意識する必要はない。

0229

他の場合に、特に本発明による距離の判定および/または被写界深度の制御に関して、いくつかのパラメータならびにいくつかの鮮鋭度曲線を、少なくとも部分的にまたはそのようなパラメータのいくつかの値について近似的に、意識することが必要である。

0230

さらに、鮮鋭色の選択は、下で説明するマクロモードなど、少なくとも1つの画像取込モードソフトウェア活動化によって判定することもできる。そのような文脈では、画像を、単独の領域と考えることができる。

0231

図5および6において、閾値8.1が、必要な鮮鋭度のレベルを示すものとして表され、それを超えると、画像がぼけると考えられることに留意されたい。

0232

図7に示された標準的な処理では、そのような閾値8.1は、被写界深度すなわち、物体の画像が鮮鋭になる、前記画像を得るために取り込まれた情景の少なくとも1つの物体と取込装置との間の距離の範囲9.2を定義する。

0233

したがって、本発明の結果は、図9によって下で詳細に示すように、光学系の被写界深度の拡張を可能にすることである。この図では、当初は色8.2の鮮鋭度および鮮鋭度閾値8.1によって制限される取込装置の被写界深度が、前記画像を得るために取り込まれた情景の少なくとも1つの物体と取込装置との間の距離の新しい範囲での満足な鮮鋭度(閾値8.1未満)を表す第2色8.3を使用することによって増やされる。

0234

具体的には、そのような応用例は、カメラ付き電話機などの固定焦点写真装置内で実施される。実際に、これらの装置の光学的概念は、図5の色8.2に似た緑色を基礎とする最良でも数十cmまでの長距離に関する鮮鋭度範囲を可能にする。

0235

さらに、青色は同一の形で焦点を合わせないので、青色は、色8.3に似た、緑色にはできない、より短い距離での鮮鋭度を表すことができる。

0236

これから、本発明は、青色の鮮鋭度を緑色および他の色に帰し、その結果、装置の被写界深度を増やすことによって、カメラ付き電話機のクローズアップ画像の鮮鋭度を高めることを可能にする。

0237

図8によって示される、オートフォーカス機能を備えた取込装置により特に適合された本発明の一実施形態では、この方法は、焦点合わせがより少数のステップで、したがってよりすばやく達成される形で、取り込まれる画像の少なくとも2つの色の鮮鋭度を使用して、検討される取込装置のサーボ制御命令を決定する。

0238

例えば、結像された情景の少なくとも1つの物体とその画像を取り込む光学系1との間の距離17.1を、物体の画像に関係する領域11.3で使用される色8.2および8.3の鮮鋭度(Y軸7.2)の様々なレベルを使用して判定することができる。

0239

したがって、物体4と系1との間のそのような距離を知ることによって、取込装置6のサーボ制御命令5を決定することが可能である。そのような図8を、下でより詳細に説明する。

0240

図10によって示される本発明のもう1つの実施形態によれば、鮮鋭度は、画像の少なくとも1つの領域内で少なくとも1つの色によって下げられる。

0241

マクロ応用例
これから、図5、6、および7を参照することによって、本発明による、既知の画像取込装置用の特定の機械的デバイスを必要としないマクロ機能の実施形態により特に適合された実施形態および系を説明する。マクロ機能は、装置上のマクロ距離の範囲9.1と称する事前に決定される距離の範囲内で取込装置の近くの物体の画像実施形態を可能にすることを予定されている。通常、取込装置は、マクロ機能を実施するためにレンズのすべてまたは一部を移動することを可能にする。本発明の方法または物体系は、そのような移動なしで済ませることを可能にする。

0242

本発明によれば、マクロ距離の範囲9.1の最も鮮鋭な色は、例えば、取込装置から異なる距離に置かれた物体を使用してデジタル画像を実施することによる、色ごとに取込装置によって入手されるデジタル画像の色の鮮鋭度の測定値8.2および8.3を介して、事前に決定されなければならない。最も鮮鋭な色(図5)は、測定値8.3に対応する色である。そのような事前決定は、例えば装置(または一連の装置)を設計する時に、決定的に実施することができる。

0243

したがって、その後、この装置を使用する時に、マクロ機能を活動化する際に、鮮鋭色の鮮鋭度が、上で説明したように他の色に反映されなければならない。マクロ機能が活動化されないときには、デジタル画像の鮮鋭度は、標準的な方法によって、または距離の範囲9.2に適用される本発明による方法を使用することによって、計算することができる。

0244

その結果、可動機構なしの固定焦点合わせレンズと互換の、したがって画像取込装置の全体的寸法を変更せず、ハードウェアコストを増やしもしない、マクロ機能が達成される。したがって、マクロモードは、この装置内または任意の他の画像処理デバイス内のソフトウェアを介して活動化することができる。そのようなソフトウェア活動化は、画像取込の前に標準的な形で実行することができるが、そのような取込の後にも、取込装置のローカルデバイスまたはリモートデバイス上でも実行することができる。変形によれば、マクロモードの活動化は、例えば通常モードで生成された画像とマクロモードで生成された画像との間で最も鮮鋭な画像を判定することによって、自動的に行うことができる。

0245

本発明に従って実施されるマクロ機能は、色の鮮鋭度に対する影響を有する、デジタル画像を取り込む時の可変パラメータを含む装置、特にズームならびに/あるいは可変焦点合わせおよび/または可変開口を有するレンズを有する取込装置にも有益である。したがって、デジタル画像に従う可変パラメータの値に対応する鮮鋭度曲線8.2および8.3を使用しなければならない。

0246

マクロ機能の追加は、画像取込装置、特に電話機または写真装置を使用することによる、バーコード、名刺、あるいはテキストおよび/またはスケッチを含む手書きの撮影を可能にする。

0247

被写界深度拡張応用例
これから、図4、5、6、および7を参照することによって、既知の画像取込装置用の特定の機械的デバイスを必要としない被写界深度の拡張により特に適合された本発明による実施形態および系を説明する。被写界深度は、鮮鋭なデジタル画像を得ることを可能にする、情景の物体と画像取込装置との間の距離の範囲に対応する。通常、取込装置は、限られた被写界深度を有し、被写界深度が浅いほど、レンズ開口が大きくなる。

0248

本発明によれば、図4に表されているように、デジタル画像は、領域11.1および11.2に、例えばセンサの隣の9つの感知要素に対応する正方形領域に、あるいはより一般的には、X×Y感知要素に対応する領域または事前に決定された形状の領域もしくはデジタル画像に従って計算される領域に分割される。領域ごとに、例えば、検討される色および領域に対応するグレイレベルを使用して色ごとに勾配を計算することによって得られる値の中の最小値に対応する色など、最も鮮鋭な色が選択されなければならない。図4では、曲線8.3に対応する色が、領域11.2についてより鮮鋭であり、曲線8.2に対応する色が、領域11.1についてより鮮鋭である。

0249

その結果、領域ごとに、そのように選択された鮮鋭色の鮮鋭度が、他の色に反映される。

0250

図5を参照することによって、近いオブジェクト(取込装置に対して距離の範囲9.1内の距離5を有する)のデジタル画像は、曲線8.3に対応する色(例えば青色)について鮮鋭と考えることができるが、曲線8.2に対応する色(例えば緑)についてはより不鮮鋭である。また、離れた物体(距離9.2の範囲内に含まれる、取込装置に対する距離を有する)が、曲線8.2に対応する色については鮮鋭であるが、曲線8.3に対応する色についてはより不鮮鋭であることを知ることも可能である。目は、青の鮮鋭度より緑の鮮鋭度にはるかに敏感なので、図7の曲線8.5に対応する鮮鋭度を知覚する。8.1が、目の鮮鋭度の閾値に対応する場合に、画像は、範囲9.2内に含まれる取込装置からの距離に置かれた物体についてのみ鮮鋭になる。図6は、曲線8.4を介して、本発明による方法を使用した後に各色で得られる鮮鋭度を表し、青は、距離の範囲9.1内に置かれた近い物体について閾値8.1よりよい鮮鋭度を得ることを可能にされており、緑は、距離の範囲9.2内に置かれた遠い物体について閾値8.1よりよい鮮鋭度を得ることを可能にされている。したがって、鮮鋭なデジタル画像が、より広い範囲の被写界深度内ですべての色について達成される。

0251

これは、事前に決定された規則に従って最も鮮鋭な色を選択することすなわち、各領域内で最も先鋭な色を選択することからなる例である。

0252

その結果、被写界深度は、光学部品のコスト、複雑さ、もしくは全体的寸法を増やさずに、かつ/または露出を変更する必要なしに、したがって開口を減らす必要も、雑音レベルを高める必要も、移動ぼけを増やす必要もなしに増やされる。

0253

本発明に従って実施される被写界深度の増加は、固定レンズすなわち電話機に特に有益である。この被写界深度の増加は、画像取込装置、特に電話機または写真装置を使用することによって、バーコード、名刺、あるいはテキストおよび/またはスケッチを含む手書きの写真だけではなく、肖像または風景を撮影することも可能にする。これは、コストの高いオートフォーカス機能またはマクロ機能を使用することなく可能である。さらに、この機能は、機械式マクロ機能と比較して、ユーザによる介入なしで完全に自動的に達成される。

0254

本発明に従って実施される被写界深度の増加は、色の鮮鋭度に対する影響を有する、デジタル画像を取り込む時の可変パラメータを含む装置、特にズームならびに/あるいは可変焦点合わせおよび/または可変開口を有するレンズを有する取込装置にも有益である。したがって、デジタル画像に従う可変パラメータの値に対応する鮮鋭度曲線8.2および8.3を使用しなければならない。

0255

したがって、本発明による方法および機能は、図11から17bによって後で説明するように、取込装置が設計される時に、より限られた個数の焦点合わせ位置を有するレンズを選択しまたは設計することを可能にし、このレンズは、レンズ設計制約を減らし、したがってレンズに関するコストを減らすという利益を有する。これは、サーボ制御機構に必要な精度を下げることによる、より高速でより低コストの焦点合わせを可能にするという利益をも有する。

0256

例えば、大きい被写界深度のレンズを得るために、それぞれの色の鮮鋭距離範囲の最も大きい和集合を備えるという仕様を有するレンズを選択しまたは設計することが可能である。

0257

例えば、大開口レンズを得るために、距離の範囲のそれぞれの中で単一の鮮鋭色を備えるという仕様を有し、色のそれぞれの鮮鋭距離範囲の和集合が所望の被写界深度に対応するようになるレンズを選択しまたは設計することが可能である。
もう1つの例では、装置の開口と画像の被写界深度との両方を最適化することも可能である。

0258

デジタル画像の軸上色収差を減らすことを可能にする方法および機能も、達成される。

0259

どの取込装置がそれを作るのに使用されたかを知らずに、画像の鮮鋭度を高めることを可能にする方法および機能も、達成される。

0260

単一画像を使用する情景の物体に関する距離測定に関する応用例
これから、図8を参照することによって、距離測定ハードウェア測定デバイスを必要とせずに、単一の画像を使用して情景の物体の距離を測定するようにより特に適合された、本発明による実施形態および系を説明する。したがって、この方法は、デジタル画像の各領域に存在する物体の距離の推定値を得ることを可能にする。

0261

通常、取込装置は、とりわけ、レーザー、赤外線、またはプレフラッシュ機構に基づいて情景の物体の距離を測定するハードウェアデバイスを使用する。

0262

本発明によれば、図8に表されているように、デジタル画像は、領域11.3に、例えばセンサの隣の9つの感知要素に対応する正方形領域に、あるいはより一般的には、X×Y感知要素に対応する領域または事前に決定された形状の領域もしくはデジタル画像に従って計算される領域に分割される。その結果、領域11.3ごとに、少なくとも2つの色の鮮鋭度が測定され、そのような測定値または測定された相対値16.1および16.2は、取込装置の対応する鮮鋭度曲線8.2および8.3に報告される。したがって、物体4のうちで領域11.3内で表される部分と取込装置との間の距離17.1の推定値に対応する距離17.2が得られる。

0263

本発明に従って実施される距離測定は、固定レンズすなわち電話機に特に有益である。

0264

本発明に従って実施される距離測定は、色の鮮鋭度に対する影響を有する、デジタル画像を取り込む時の可変パラメータを含む装置、特にズームならびに/あるいは可変焦点合わせおよび/または可変開口を有するレンズを有する取込装置にも有益である。したがって、デジタル画像に従う可変パラメータの値に対応する鮮鋭度曲線8.2および8.3を使用しなければならない。

0265

したがって、この方法は、デジタル画像の各領域に存在する物体の距離の推定値を得ることを可能にする。この方法は、次を可能にする。

0266

− 画像および画像に相関する遠隔データを作るセンサおよび標準レンズによるリアルタイム低コスト距離計デバイスの作成。通常、複数の撮影が必要であり、あるいは、特定のハードウェアデバイスが必要であり、関連する画像/遠隔データは複雑である。

0267

− 例えば、距離は、リアルタイムで画像上に表示される
− 例えば、遠隔データは、ロボットを案内することを可能にする
−可変焦点合わせまたは可変焦点距離を有する取込装置の焦点合わせを加速すること。
実際に、単一の画像を使用して、例えば中央の対象へのまたはユーザによって選択される焦点合わせゾーン内での所望の焦点合わせを得るために適用されなければならないサーボ制御命令を判定することが可能である。
− 特に焦点合わせゾーン内の主題または対象の、フラッシュライトの強さを調整するための情景の様々な物体の距離を考慮に入れること
− 例えば、肖像についてユーザによって選択された焦点合わせゾーン内の主題または対象の質を高めるために、取込装置の自動露出機能のために情景の様々な物体の距離を考慮に入れること
− 主題を定義するようにユーザに求める必要なしに主題を自動的に定義すること。

0268

露出に関らない被写界深度制御に関する応用例
これから、図4、5、6、および7を参照することによって、既知の画像取込装置用の特定の機械的デバイスを必要としない被写界深度の制御により特に適合された、本発明による実施形態および系を説明する。したがって、この方法は、ある範囲の鮮鋭度および他の物体に関してぼけた画像に対応する、取込装置から離れて置かれた物体の鮮鋭な画像を得ることを可能にする。通常、取込装置は、限られた被写界深度を有し、被写界深度が浅いほど、レンズ開口が大きくなる。したがって、被写界深度および露出は、弱い照明の時に被写界深度と雑音と移動ぼけとの間で選択を行わなければならない形で関連付けられる。この実施形態によれば、露出および被写界深度を別々に制御することが可能である。

0269

本発明によれば、図4に表されているように、デジタル画像は、領域11.1および11.2に、例えばセンサの隣の9つの感知要素に対応する正方形領域に、あるいはより一般的には、X×Y感知要素に対応する領域または事前に決定された形状の領域もしくはデジタル画像に従って計算される領域に分割される。領域ごとに、例えば、検討される色および領域に対応するグレイレベルを使用して色ごとに勾配を計算することによって得られる値の中の最小値に対応する色など、最も鮮鋭な色が選択されなければならない。図4では、曲線8.2に対応する色が、領域11.2についてより鮮鋭であり、曲線8.3に対応する色が、領域11.1についてより鮮鋭である。

0270

したがって、その結果、領域ごとに、鮮鋭色の鮮鋭度が、前に説明したように他の色に反映される。したがって、上で示したように、鮮鋭なデジタル画像が、広い範囲の被写界深度内のすべての色について得られる。

0271

取込装置とデジタル画像の領域内の取り込まれた情景の物体との間の距離を判定するためには、
− 前に説明したように、各領域の少なくとも2つの色の鮮鋭度、または、
− 別のより正確な距離測定の方法またはデバイス
のいずれかを使用しなければならない。
その結果、例えばガウシアンフィルタを使用して、またはピンぼけをシミュレートするフィルタを使用して、所望の鮮鋭度の範囲を超える距離に置かれた物体を含む領域内および/またはフィールドの部分内で鮮鋭度を下げることが可能である。例えば、肖像について、ぼけた背景を得ることができ、したがって、大開口レンズを必要とせずに顔の質を高めることができる。例えば、風景について、おそらくは画像の理解を妨げる可能性がある分離された隅の物体を除いて、膨大な被写界深度を得ることができる。例えば、悪いフレーミングの結果として隅にクローズアップ物体を含む情景について、そのようなクローズアップ物体をぼかすことができる。例えば、被写界深度の選択は、装置内または後処理中のコンピュータ上のいずれかで、ユーザの裁量に委ねることができる。

0272

その結果、被写界深度は、露出を変更する必要なしに、したがって開口を変更せず、雑音レベルを高めず、移動ぼけを増やさずに制御される。

0273

本発明に従って実施される被写界深度の制御は、固定レンズすなわち電話機に特に有益である。この被写界深度の制御は、画像取込装置、特に電話機または写真装置を使用することによって、バーコード、名刺、あるいはテキストおよび/またはスケッチを含む手書きの写真だけではなく、肖像または風景を撮影することも可能にする。これは、コストの高い大開口レンズデバイスを使用することなく可能である。さらに、この機能は、ユーザによる介入なしで完全に自動的に達成することができる。

0274

本発明に従って実施される被写界深度の制御は、可動レンズ、特にズームを含む装置に特に有益である。したがって、十分に情報を持っているくろうとは、被写界深度および露出に関りなく、直接にまたは間接に制御を行うことができる。

0275

図11は、画像取込装置または画像再現装置のアーキテクチャを示すスケッチである。

0276

例えば画像を取り込む、そのような装置は、一方では、センサ124上に画像を形成することを予定された、レンズなどの1つまたは複数の光学要素を特に有する光学系122を含む。

0277

これらの例は、主に電子タイプのセンサ124に関するが、そのようなセンサは、別のタイプ、例えば「銀塩」として知られる装置の場合に写真フィルムとすることができる。

0278

そのような装置は、画像平面がセンサ124で取り込まれるようにするために、かつ/またはセンサで受け取られる光の品質が露出および/または開口時間の調整に起因して最適になるようにするために、かつ/または得られる色が白バランスサーボ制御を実行することによって正しくなるようにするために、焦点合わせを実行するために光学系122および/またはセンサ124に作用するサーボ制御系126をも含む。

0279

最後に、この装置は、デジタル画像処理手段128を含む。

0280

変形として、そのようなデジタル画像処理手段は、装置120と別々である。画像処理手段の一部を装置120内に、一部を装置120の外部に計画することも可能である。

0281

画像のデジタル処理は、センサ124による画像記録の後に実行される。

0282

画像再現装置は、画像取込装置に似た構造を表す。センサ124の代わりに、イメージジェネレータ124'が設けられ、したがって、デジタル画像処理手段128'から画像を受け取り光学投影系などの光学系122'に画像を供給する。

0283

次の部分では、露出の明瞭さを述べる時に、画像取込装置だけに言及する。
通常は前に説明した諸態様とは別々に使用できる、その態様のうちの1つによれば、手段128および128'の能力を使用する本発明は、光学系122および122'ならびに/またはイメージセンサもしくはイメージジェネレータ124および124'ならびに/またはサーボ制御系126のパラメータを判定しまたは選択するデジタル画像処理からなる。

0284

図12の図には、デジタル画像処理手段と関連する時にこの装置の構成要素のそれぞれを用いて達成できる性能のレベルが表されている。そのようなレベルは、光学系については不連続線130、センサについては不連続線132、サーボ制御については不連続線134、装置については不連続線136によって示されている。

0285

デジタル画像処理手段を用いて得ることができるそのような性能のレベルを使用することによって、処理の前には処理手段の適用の後に得られる性能レベルよりかなり低い、装置の構成要素のそれぞれの性能レベルを選択することが可能である。その結果、この光学系の性能のレベルは、レベル130'にセットすることができ、センサおよびサーボ制御系の性能のレベルは、それぞれレベル132'および134'にセットすることができる。

0286

これらの条件の下で、デジタル処理がない場合に、装置の性能レベルは、最低のレベル、例えば光学系の最低レベル130'に対応するレベル136'になるはずである。

0287

このデジタル画像処理手段は、好ましくは、次の文書に記載されたデジタル画像処理手段である。
− 欧州特許出願第02751241.7号、名称「Method and system for producing formatted data related to defects of appliances in a series of appliances and formatted data destined for image−processing means」。
− 欧州特許出願第02743349.9号、名称「Method and system for modifying the qualities of at least one image originating from or destined to a series of appliances」。
− 欧州特許出願第02747504.5号、名称「Method and system for reducing the frequency of updates for image−processing means」。
− 欧州特許出願第02748934.3号、名称「Method and system for correcting chromatic aberrations of a colour image produced by an optical system」。
− 欧州特許出願第02743348.1号、名称「Method and system for producing formatted data related to geometric distortions」。
− 欧州特許出願第02748933.5号、名称「Method and system for providing,according to a standard format,formatted data to image−processing means」。
− 欧州特許出願第02747503.7号、名称「Method and system for calculating an image transformed using a digital image and formatted data relating to a geometric transformation」。
− 欧州特許出願第02747506.0号、名称「Method and system for producing formatted data related to defects of at least one apparatus in a series,notably to blur」。
− 欧州特許出願第02745485.9号、名称「Method and system for modifying a digital image taking into account its noise」。
− PCT特許出願第PCT/FR2004/050455号、名称「Method and system for differentially and regularly modifying a digital image by pixel」。

0288

そのようなデジタル画像処理手段は、次のパラメータのうちの少なくとも1つを活動化することによる画像品質の改善を可能にする。

0289

−光学系の幾何学的歪み。光学系が画像を歪め、長方形が、その側面のそれぞれについて凸面形状を有するクッションに、またはその側面のそれぞれについて凹面形状を有する円筒に変形される可能性があることを想起されたい。

0290

−光学系の色収差。目標にされる点が、互いに関して正確に位置を有する3つの色付きのスポットによって表される場合に、色収差は、互いに関するそのようなスポットの位置の変動によって変換され、収差は、一般に、画像の中心から離れるほど大きくなる。

0291

−視差。光学系の光学要素の変形または移動によって調整を実施するときに、画像平面上で得られる画像が移動される可能性がある。調整は、例えば、焦点距離の調整または焦点合わせ調整である。

0292

そのような欠陥が、図13によって示されており、図13では、光学系140が、3つのレンズを用いて表され、ここで、画像の中央は、レンズ144が連続線によって表される位置を占める時に位置142を占める。レンズ144が、不連続線によって表される位置144'に移動される時に、画像の中央は、位置142'を採用する。

0293

−被写界深度。光学系が、決定された物体平面に焦点を合わされる時に、この平面の画像が鮮鋭なままになるだけではなく、そのような平面に近い物体の画像も鮮鋭になる。「被写界深度」は、画像が鮮鋭なままになる、最も遠い物体平面と最も近い物体平面との間の距離を指す。

0294

−口径食。画像の明るさは、一般に中央で最大になり、中央から離れるにつれて徐々に低くなる。口径食は、特定の点での明るさと最大の明るさとの間の差によって、パーセンテージ単位で測定される。

0295

−光学系および/またはイメージセンサおよび/またはイメージジェネレータの鮮鋭度の欠如は、例えば、上で定義されたものなどのBXUパラメータによって測定される。

0296

− 画像の雑音は、一般に、その異なるタイプ、その形状、雑音スポットの寸法およびその色彩によって定義される。

0297

−モアレ現象は、空間的に高い周波数の場合に発生する画像の変形である。モアレは、アンチエイリアシングフィルタのパラメータ設定によって補正される。

0298

−コントラストは、画像の詳細がそれでも可視のままである画像の最高の明るさ値と最低の明るさ値との間の比である。

0299

図14aおよび14bに表されているように、画像のコントラストを改善する(図14a)すなわち、詳細を区別できる明るさの範囲を拡張する(図14b)ことが可能である。そのような拡張は、特にコントラストおよび雑音補正アルゴリズムを使用することによって実行される。

0300

図15を参照して、これから、画像フィールド内の鮮鋭度を調和させることを可能にする実施形態を説明する。

0301

まず、物体平面の画像表面が、完全な平面を構成するのではなく、フィールドカーブ(field curve)として知られる曲線を表すことを想起されたい。そのような曲線は、焦点距離および焦点合わせを含む異なるパラメータに依存して変化する。その結果、画像平面150の位置は、焦点合わせが実行されるゾーンに依存する。図15に示された例では、平面150は、画像の中央152での焦点合わせに対応する。ゾーン154上で画像の縁の近くに焦点を合わせるために、画像平面156は、画像平面150より光学系122の近くに置かれる。
焦点合わせサーボ制御系を単純にするために、画像平面は、位置154(あるゾーン上で画像の縁の近くでの焦点合わせに対応する)と150(あるゾーン上で画像の中央での焦点合わせに対応する)との間の中間の位置158に置かれる。デジタル画像処理手段128を焦点合わせサーボ制御126と合体することによって、焦点合わせに関する平面158の移動を制限できるようになり、したがって、サーボ制御系のエネルギ消費が減り、その構成要素の体積を減らすことが可能になる。

0302

図15aの図は、最大鮮鋭度が画像の中央で得られる、標準的なサーボ制御焦点合わせ系のぼけ特性を表す。その結果、図15aのそのような図では、横座標が画像のフィールドを表し、縦座標がBXU単位で表されたぼけ値を表す。そのような標準的なサーボ制御系を使用すると、ぼけ測定値は、中央で1.3であり、画像の縁で6.6である。

0303

図15bは、図15aに似た図であり、デジタル画像処理手段が14と等しいBXU値までぼけを補正することを可能にするという前提に基づく、本発明に従って実施された装置のサーボ制御の特性を示す。したがって、図15bのこの図に表された曲線は、画像の中央でBXU値=2.6を表し、BXU値は、中央から離れるにつれて低下し、その後、画像の縁付近では4の値までもう一度増加する。そのような値が、デジタル処理手段によるぼけの補正を可能にすることに関する限度であることを想起されたい。その結果、鮮鋭な画像を、画像フィールド全体にまたがって得ることができるが、標準的な系を備える装置を使用する場合にはそうはならない。

0304

一実施形態で、デジタル画像処理手段は、焦点合わせサーボ制御の使用を控えることを可能にするように、鮮鋭度を改善する手段を含む。

0305

比較できる例として、図16a、16b、16c、および16dの図に、技術的現状に従って得られる装置の仕様および本発明による方法を使用して得られる装置の仕様を示す。

0306

標準的なデバイスは、焦点合わせ系なしでVGAセンサすなわち640×480の解像度を有する、携帯電話機と一体化されたデジタル写真装置である。
標準的な装置は、2.8の開口を有し、本発明による方法を使用して得られる装置は、1.4の開口を有する。

0307

標準的な装置に対応する図16aは、横座標が画像フィールドのパーセンテージを表し、原点が画像の中央に対応する図である。縦座標は、口径食Vを表す。図16bは、本発明に従って得られる装置に関する類似する図である。

0308

図16aの図解(標準的な装置)では、口径食は、画像の縁で0.7の値を達成するが、図16bの図では、かなりより大きい口径食すなわち約0.3を表す、本発明による装置の光学系を見ることができる。使用されるアルゴリズムの補正限度は、0.25である。言い換えると、補正アルゴリズムに起因して、かなりより大きい口径食の光学部品を使用することが可能である。

0309

図16cは、標準的な装置の画像フィールド(横座標で表される)による、BXU単位で表されたぼけ縦座標を表す図である。そのような標準的な装置を使用すると、ぼけ仕様は、中央で1.5であり、画像の縁で4である。
図16dの図も、本発明による方法を使用して得られる装置の光学部品のぼけを表す。図16dの図では、画像のフィールドは、やはり横座標で表され、ぼけは、BXU単位で縦座標で表される。図16dのそのような図は、画像の中央でのぼけが約2.2であることを示す。したがって、このぼけは、図16cの図のぼけより大きい。しかし、縁では、ぼけは、補正アルゴリズム限度を考慮に入れて、3の領域内で選択されている。

0310

言い換えると、より大きい開口をさらに用いて標準的な装置を使用する時と同一の結果を得ることが可能ではあるが、驚くべきことに、階調レンズ(gradation lens)が、中央での鮮鋭度に関して選択された。縁で、本発明による装置の光学部品が、標準的な光学部品の品質に類似する品質を表し、そのような結果が、標準レンズに関する口径食階調(vignetting gradation)に起因して可能であることにも留意されたい。

0311

図17aおよび17bの図は、本発明による方法を使用することによって取込装置を実施するためにその中から選択を行わなければならない様々な光学系の仕様を表す。

0312

図17aに表された例では、光学系は、小さい寸法を有する画像スポット1100をもたらす。そのような系は、空間周波数が横座標である図によって表される変調伝達関数(MTF)を示す。シャットオフ周波数(shut−off frequency)の値は、fcである。MTF関数は、零周波数の近傍内のステップ1110と、fc値に向かってすばやく減少する部分とを含む。
図17bの図解によって表される光学部品は、画像スポット1100よりかなり大きい寸法を有する画像スポット1114を示し、そのMTFは、図17aの事例と同一のfcシャットオフ周波数を示す。しかし、空間周波数に依存するこのMTFの変動は、異なり、そのような周波数は、その原点からシャットオフ周波数に向かって相対的に均一な形で減る。

0313

光学系の選択は、変調伝達関数の補正アルゴリズムが0.3の値から有効であるという事実に基づく。そのような条件の下で、我々は、図17bの光学部品に関して、MTFをf2、例えば約0.8fcの値まで増やすことを可能にする補正が得られるが、図17aの光学部品に関して、補正は、0.5fcの範囲内の周波数f1までに限って可能であることに注目する。

0314

言い換えると、補正アルゴリズムを用いて、図17bに表された光学部品は、図17aに表された光学部品より多くの詳細を提供し、これは、画像スポットが図17aの事例より大きい寸法を有するという事実にもかかわらず、そうなる。したがって、我々は、図17bに対応する光学部品を選択する。

0315

被写界深度の増加に関する応用例
これから、センサおよび/または光学系が被写界深度の増加により明確に適合された、本方法の実施形態変形を説明する。

0316

CMOSまたはCCDの標準センサは、しばしば、「バイエル」と称する画素のモザイクを使用して形成されるセンサである。バイエルモザイクは、2つの緑画素(すなわち、約550nmのスペクトル範囲内の光を感知するフォトサイト(photosite))、1つの赤画素(約600nmスペクトル範囲)、および1つの青画素(約450nmスペクトル範囲)によって形成される2×2画素の連続からなる。これらのスペクトル範囲は、図2に示されている。

0317

センサに応じて、緑色、赤色、および青色のスペクトル帯は、異なり、より大きいまたはより小さいオーバーラップを示す。この3つの帯の間の大きいオーバーラップは、色に対するセンサの感度を下げるという効果を有する(「色盲」になる)が、逆に、光に対する総合的な感度を高める。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ