図面 (/)

技術 画像処理装置、および画像処理方法、並びにプログラム

出願人 ソニー株式会社
発明者 青木卓佐藤竜太伊藤厚史小柳津秀紀上森丈士
出願日 2017年9月5日 (2年0ヶ月経過) 出願番号 2017-170034
公開日 2019年3月22日 (6ヶ月経過) 公開番号 2019-046276
状態 未査定
技術分野 画像処理
主要キーワード ウェアラブルデバイス 車載通信ネットワーク ウェアラブル機器 相関算出処理 霧センサ 除去強度 駆動系システム デコンボリューションフィルタ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年3月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

可視光画像ブラーぼけ)を除去または低減した高画質化処理を実行する装置、方法を提供する。

解決手段

同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、可視光画像のブラー(ぼけ)の態様を推定するブラー推定部と、ブラー推定部のブラー推定結果を入力して、可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する。ブラー推定部は、遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、ブラー除去部は、ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。

概要

背景

夜間等の暗い環境で可視光画像撮影する場合、露光時間を長くする必要があり、その結果、カメラ動きや被写体の動きに起因するぼけであるブラーが発生しやすくなる。

この問題を解決する従来技術として、例えば特許文献1(特開2003−209735号公報)に開示された技術がある。
特許文献1は、可視光カメラによって連続的に撮影された複数の画像を利用して画像の動きを解析し、この動き解析結果に基づいてぼけ補正を行う技術を開示している。

しかし、上記特許文献1に記載の構成では、複数の連続撮影された画像が必要であり、静止画に対する処理は実行できないという問題がある。また、複数の連続撮影画像から画像の動きを解析する処理が必要であり、各画像対応の即時的処理ができないという問題がある。

概要

可視光画像のブラー(ぼけ)を除去または低減した高画質化処理を実行する装置、方法を提供する。同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、可視光画像のブラー(ぼけ)の態様を推定するブラー推定部と、ブラー推定部のブラー推定結果を入力して、可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する。ブラー推定部は、遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、ブラー除去部は、ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。

目的

特開2003−209735号公報






本開示は、例えば、上記の問題点に鑑みてなされたものであり、複数の連続撮影画像を用いることなく、可視光画像と赤外線画像を用いて可視光画像のブラー(ぼけ)の解消または低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

同一被写体を同時に撮影した可視光画像遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、前記ブラー推定部は、前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、前記ブラー除去部は、前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理装置

請求項2

前記ブラー推定部は、前記可視光画像の分割領域であるブロック単位で、フィルタを選択し、前記ブラー除去部は、前記可視光画像の分割領域であるブロック単位で、前記フィルタに対応する逆フィルタを選択して適用する請求項1に記載の画像処理装置。

請求項3

前記ブラー推定部は、異なる多数の点広がり関数対応のフィルタを保持するフィルタバンクから、異なるフィルタを順次、取得して前記遠赤外画像に適用するフィルタ処理部と、前記フィルタ処理部の生成したフィルタ適用遠赤外画像と、前記可視光画像との相関を、画像の分割領域であるブロック単位で算出する相関演算部を有する請求項1に記載の画像処理装置。

請求項4

前記ブラー除去部は、前記フィルタバンクに格納されたフィルタと逆特性を持つ逆フィルタを格納した逆フィルタバンクから、前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを選択して、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する逆フィルタ処理部を有する請求項3に記載の画像処理装置。

請求項5

前記画像処理装置は、前記ブラー推定部におけるブラー推定処理の前に、前記ブラー推定部における相関算出の精度を高める前処理を実行する前処理部を有する請求項1に記載の画像処理装置。

請求項6

前記前処理部は、可視光画像と遠赤外画像の勾配画像を生成する勾配画像生成部であり、前記ブラー推定部は、前記勾配画像生成部の生成した可視光勾配画像と、遠赤外勾配画像を入力して、前記遠赤外勾配画像にフィルタを適用したフィルタ適用遠赤外勾配画像と、前記可視光勾配画像との相関を算出する請求項5に記載の画像処理装置。

請求項7

前記前処理部は、可視光画像と遠赤外画像の帯域制限画像を生成する帯域制限画像生成部であり、前記ブラー推定部は、前記帯域制限画像生成部の生成した可視光帯域制限画像と、遠赤外帯域制限画像を入力して、前記遠赤外帯域制限画像にフィルタを適用したフィルタ適用遠赤外帯域制限画像と、前記可視光帯域制限画像との相関を算出する請求項5に記載の画像処理装置。

請求項8

前記前処理部は、可視光画像に基づく疑似遠赤外画像を生成する疑似遠赤外画像生成部であり、前記ブラー推定部は、前記疑似遠赤外画像生成部の生成した疑似遠赤外画像と、遠赤外画像を入力して、前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記疑似遠赤外画像との相関を算出する請求項5に記載の画像処理装置。

請求項9

前記前処理部は、遠赤外画像に基づく疑似可視光画像を生成する疑似可視光画像生成部であり、前記ブラー推定部は、前記可視光画像と、前記疑似可視光画像生成部の生成した疑似可視光画像を入力して、前記疑似可視光画像にフィルタを適用したフィルタ適用疑似可視光画像と、前記可視光画像との相関を算出する請求項5に記載の画像処理装置。

請求項10

前記画像処理装置は、前記ブラー推定部におけるブラー推定結果の信頼度を算出する信頼度算出部を有し、前記ブラー除去部は、前記信頼度算出部の算出した信頼度が低い場合は、前記可視光画像に対する逆フィルタの適用強度を弱める処理を行う請求項1に記載の画像処理装置。

請求項11

前記信頼度算出部は、前記ブラー推定部において選択されたフィルタに対応して算出された相関値に応じて、相関値が高い場合は高信頼度、相関値が低い場合は低信頼度とする信頼度の算出を行う請求項10に記載の画像処理装置。

請求項12

前記信頼度算出部は、前記ブラー推定部において選択されたフィルタの妥当性に基づく信頼度の算出を行う請求項10に記載の画像処理装置。

請求項13

前記信頼度算出部は、前記ブラー推定部において選択されたフィルタが、複数方向のラインに沿ったブラーを発生させるようなフィルタである場合、低信頼度とし、前記ブラー推定部において選択されたフィルタが、一方向のラインに沿ったブラーを発生させるようなフィルタである場合、高信頼度とする信頼度算出処理を実行する請求項12に記載の画像処理装置。

請求項14

画像処理装置において実行する画像処理方法であり、前記画像処理装置は、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、前記ブラー推定部が、前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、前記ブラー除去部が、前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理方法。

請求項15

画像処理装置において画像処理を実行させるプログラムであり、前記画像処理装置は、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、前記プログラムは、前記ブラー推定部に、前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択させ、前記ブラー除去部に、前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるプログラム。

技術分野

0001

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、同一被写体撮影した可視光画像赤外線画像を入力して、可視光画像のブラーぼけ)を低減する画像処理装置、および画像処理方法、並びにプログラムに関する。

背景技術

0002

夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラ動きや被写体の動きに起因するぼけであるブラーが発生しやすくなる。

0003

この問題を解決する従来技術として、例えば特許文献1(特開2003−209735号公報)に開示された技術がある。
特許文献1は、可視光カメラによって連続的に撮影された複数の画像を利用して画像の動きを解析し、この動き解析結果に基づいてぼけ補正を行う技術を開示している。

0004

しかし、上記特許文献1に記載の構成では、複数の連続撮影された画像が必要であり、静止画に対する処理は実行できないという問題がある。また、複数の連続撮影画像から画像の動きを解析する処理が必要であり、各画像対応の即時的処理ができないという問題がある。

先行技術

0005

特開2003−209735号公報

発明が解決しようとする課題

0006

本開示は、例えば、上記の問題点に鑑みてなされたものであり、複数の連続撮影画像を用いることなく、可視光画像と赤外線画像を用いて可視光画像のブラー(ぼけ)の解消または低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

課題を解決するための手段

0007

本開示の第1の側面は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部は、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理装置にある。

0008

さらに、本開示の第2の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部が、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部が、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理方法にある。

0009

さらに、本開示の第3の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記プログラムは、前記ブラー推定部に、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択させ、
前記ブラー除去部に、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるプログラムにある。

0010

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

0011

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

発明の効果

0012

本開示の一実施例の構成によれば、可視光画像のブラー(ぼけ)を除去または低減した高画質化処理を実行する装置、方法が実現される。
具体的には、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、可視光画像のブラー(ぼけ)の態様を推定するブラー推定部と、ブラー推定部のブラー推定結果を入力して、可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する。ブラー推定部は、遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、ブラー除去部は、ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。
これらの処理により、可視光画像のブラー(ぼけ)を除去または低減した高画質化処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

図面の簡単な説明

0013

本開示の画像処理装置の実行する処理の概要について説明する図である。
撮影画像の種類と光の波長との対応関係について説明する図である。
可視光画像と遠赤外画像の例について説明する図である。
本開示の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例1の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例1の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例1の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例1の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
本開示の実施例2の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例2の画像処理装置の実行する処理の処理例について説明する図である。
本開示の実施例2の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例2の画像処理装置の実行する処理の処理例について説明する図である。
本開示の実施例2の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例2の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例2の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
本開示の実施例2の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
本開示の実施例3の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例3の画像処理装置の実行する処理の処理例について説明する図である。
本開示の実施例3の画像処理装置の構成例と処理例について説明する図である。
本開示の実施例3の画像処理装置の実行する処理の処理例について説明する図である。
本開示の実施例3の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
本開示の実施例4の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
本開示の実施例4の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
画像処理装置のハードウェア構成例について説明する図である。
本開示の画像処理装置の機能を有する車両制御システムの構成例について説明する図である。

実施例

0014

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.本開示の画像処理装置の構成と処理の概要について
2.本開示の画像処理装置の具体例について
3.(実施例1)基本構成例A対応の画像処理装置の構成と処理について
4.(実施例2)(A+B)ブラー推定前に前処理を行う画像処理装置の構成と処理について
5.(実施例3)(A+C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について
6.(実施例4)基本構成(A)+前処理(B)+信頼度に応じたブラー除去処理(C)の全てを実行する画像処理装置の処理について
7.画像処理装置のハードウェア構成例について
8.車両に本開示の画像処理装置を備えた車両制御システムの構成例について
9.本開示の構成のまとめ

0015

[1.本開示の画像処理装置の構成と処理の概要について]
まず、図1以下を参照して本開示の画像処理装置の構成と処理の概要について説明する。
図1は、本開示の画像処理装置の実行する処理の概要を説明する図である。
本開示の画像処理装置は、同一被写体を撮影した可視光画像と赤外線画像を入力して、可視光画像のブラー(ぼけ)を低減させる処理を実行する。

0016

夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するブラーが発生しやすくなる。
本開示の画像処理装置は、例えば、このような環境下で撮影された可視光画像のブラーを低減させるため、同じ被写体を同時に撮影した遠赤外画像を利用する。

0017

赤外線画像は、被写体から発せられる熱に応じた画素値が設定された画像であり、例えば人の体温を検出することができる。従って、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
赤外線の中でも波長の長い遠赤外線は、熱に対してより高感度であり、露光時間の短い撮影でも人等の熱を発生する被写体を比較的、明瞭に撮影することができる。

0018

夜間等、暗闇での可視光画像の撮影合には、露光時間を長くすることが必要であり、カメラや被写体の動きに応じたブラー(ぼけ)が大きくなる。
しかし、遠赤外画像は、暗闇で露光時間を短く設定して撮影しても熱を発生させる被写体、例えば人等を明瞭に撮影できる。
本開示の画像処理装置は、これら可視光画像と、遠赤外画像の特性の違いを利用して、ブラーの大きな可視光画像の補正を行う。すなわち、ブラーの少ない赤外画像参照画像として用いて補正(ブラー除去)処理を行って、ブラーを解消または低減した可視光画像を生成する。

0019

図1を参照して本開示の画像処理装置の実行する処理の概要について説明する。
図1に示すように、本開示の画像処理装置は、同一被写体を同時に撮影したブラーあり可視光画像11と、ブラーなし遠赤外画像12を入力する。

0020

本開示の画像処理装置は、まず、ステップS20において、これら2つの画像を利用して、可視光画像のブラー推定を行う。
具体的には、例えば、画像のぼけ量を示す関数である点広がり関数(PSF:Point Spread Function)の推定を行う。
PSFは、ある画素位置の画素値の周囲に対するひろがり具合、すなわちぼけ量やぼけ態様を示す関数である。

0021

ステップS20では、ブラーなし遠赤外画像12に対して、様々な点広がり関数(PSF)対応のフィルタ、すなわちブラー(ぼけ)を発生させるフィルタを適用して、故意にブラーを発生させた遠赤外画像を生成し、このフィルタ適用遠赤外画像と、ブラーあり可視光画像11を比較(相関算出)する。
この比較処理(相関算出)に基づいて、ブラーあり可視光画像11のブラー(ぼけ)と同様のブラー(ぼけ)を発生させる点広がり関数(PSF)対応のフィルタを選択する。

0022

なお、このステップS20において選択しようとするフィルタは、ブラー(ぼけ)のない可視光画像に適用した場合、ブラーあり可視光画像11が生成されるフィルタに相当する。
しかし、撮影画像として、ブラー(ぼけ)のない可視光画像は取得できていないため、その代替画像として、ブラーなし遠赤外画像12を利用するものである。
すなわち、ブラーなし遠赤外画像12に適用することで、ブラーあり可視光画像11に存在するブラー(ぼけ)と同様のブラー(ぼけ)が発生するフィルタを選択、または点広がり関数(PSF)を算出する。

0023

次に、ステップS40において、可視光画像のブラーを除去する処理を行う。
ブラー除去処理は、上記の点広がり関数:PSF=p(x,y)で示される特性を持つフィルタと逆の特性を持つ逆フィルタを生成して、生成した逆フィルタをブラーあり可視光画像11に適用する処理である。
この逆フィルタの適用処理により、ブラーあり可視光画像11から、ブラー(ぼけ)が除去され、ブラー低減可視光画像13が生成される。

0024

なお、ステップS40の可視光画像ブラー除去処理は、デコンボリューション処理とよばれる周波数領域でのフィルタ処理が適用可能である。
ブラーあり可視光画像11の点広がり関数(PSF)=p(x,y)とし、
ブラーあり可視光画像11をb(x,y)、ブラーのない真の可視光画像をs(x,y)としたとき、それぞれのフーリエ変換を、P(u,v),B(u,v),S(u,v)とすると、以下の関係式成立する。
b(x,y)=p(x,y)*s(x,y)
B(u,v)=P(u,v)・S(U,v)
なお、*はコンボリューション演算である。

0025

さらに、フーリエ変換をFT[]としたとき、
B(u,v)=FT[b(x,y)]
P(u,v)=FT[p(x,y)]
S(u,v)=FT[s(x,y)]
上記関係式が成立する。

0026

ブラーのない真の可視光画像:s(x,y)を算出する処理は、ブラーあり可視光画像11:b(x,y)から、ブラーのない真の可視光画像:s(x,y)を算出する処理(=B(u,v)からS(u,v)を算出する処理と同様)であり、この処理を行うフィルタを、デコンボリューションフィルタと呼び、このフィルタ適用処理をデコンボリューション処理と呼ぶ。
デコンボリューションフィルタは、PSF=p(x,y)で示される特性を持つフィルタと逆の特性を持つ逆フィルタである。

0027

このように、ステップS40では、ステップS20で推定したブラーあり可視光画像11のブラー態様を示すPSF=p(x,y)で示される特性を持つフィルタと逆特性を持つ逆フィルタを生成して、生成した逆フィルタをブラーあり可視光画像11に適用する。すなわち、「デコンボリューション処理」を実行して、ブラーあり可視光画像11から、ブラー(ぼけ)を除去したブラー低減可視光画像13を生成する。

0028

次に、図2を参照して可視光画像と、赤外線画像について説明する。
図2に示すように、可視光画像は、波長が約0.4μm〜0.7μmの範囲の画像であり、一般的なカメラで撮影されるRGB画像等のカラー画像である。
一方赤外線画像は、波長が.0.7μm以上の長波長光からなる画像である。赤外線画像を撮影する赤外画像撮影カメラは、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
なお、赤外線は、図2に示すように、
波長が約0.7〜1μmの近赤外線
波長が約3〜5μmの中赤外線
波長が約8〜14μmの遠赤外線、
このように区分される。

0029

以下に説明する実施例では、主に波長が約8〜14μmの遠赤外線の撮影画像である遠赤外画像を利用した画像処理例について説明する。
ただし、本開示の処理は、遠赤外画像に限らず、その他の赤外画像を利用した処理にも適用可能である。

0030

先に説明したように、夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するブラーが発生しやすくなる。一方、遠赤外画像は、露光時間を短くした撮影を行っても、人等の熱を発生する被写体を明瞭に撮影することができる。
具体的な撮影画像の例を図3に示す。

0031

図3には、夜間の交差点で撮影した可視光画像と遠赤外画像の撮影画像の例を示している。
これら2つの画像は、暗い環境での撮影画像であり、可視光画像は長時間露光を行っている。
(1)可視光画像、(2)遠赤外画像を比較すると、(1)可視光画像のブラー(ぼけ)が大きく、人の姿がほとんど認識できないが、(2)遠赤外画像には、人の姿が明瞭に示されている。
これは、遠赤外画像は、露光時間が短く、ほとんどブラー(ぼけ)が発生しないためである。

0032

本開示の画像処理装置は、このように、ほとんどブラーが発生しない遠赤外画像を参照画像として用いて、ブラーの発生した可視光画像の補正を行い、ブラーを除去または低減した可視光画像を生成するものである。

0033

[2.本開示の画像処理装置の具体例について]
次に、本開示の画像処理装置の具体例について説明する。
図4は、本開示の画像処理装置の複数の構成例を示している。
(A)基本構成例
(A+B)基本構成(A)+ブラー推定前に前処理を行う構成例
(A+C)基本構成(A)+ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
(A+B+C)基本構成(A)+前処理(B)+信頼度に応じたブラー除去処理(C)の全てを実行する構成例

0034

本開示の画像処理装置には、図4に示すような様々な構成例がある。
後段で、これらの各構成例の具体的な構成と処理について説明するが、まず、これら4種類の構成に応じた処理の概要について説明する。

0035

(A)基本構成例
この基本構成例は、図1を参照して説明した処理と同様、ステップS20におけるブラー推定処理と、ステップS40におけるブラー除去処理を行う構成例である。

0036

まず、ステップS20において、同一被写体を同時に撮影したブラーあり可視光画像11とブラーなし遠赤外画像12を入力し、これらの2つの画像を比較して、ブラーあり可視光画像11のブラー推定処理を行う。

0037

具体的には、ブラーなし遠赤外画像12に対して、様々な点広がり関数(PSF)対応のフィルタ、すなわちブラー(ぼけ)を発生させるフィルタを適用して、故意にブラーを発生させた遠赤外画像を生成し、このフィルタ適用遠赤外画像と、ブラーあり可視光画像11を比較(相関算出)する。
この比較処理(相関算出)に基づいて、ブラーあり可視光画像11のブラー(ぼけ)と同様のブラー(ぼけ)を発生させる点広がり関数(PSF)対応のフィルタを選択する。

0038

すなわち、ブラーなし遠赤外画像12に様々なフィルタを適用してブラーを発生させて、ブラーあり可視光画像11と比較することで、ブラーあり可視光画像11のブラー態様と同じブラー(ぼけ)を発生させるフィルタを選択、または点広がり関数(PSF)を算出する。
なお、フィルタ選択は、例えば、所定の画素ブロック単位で実行される。

0039

さらに、ステップS40において、ステップS20で推定したブラーあり可視光画像11のブラー態様を示すPSF特性と同様の特性を持つフィルタと逆の特性を持つ逆フィルタを選択、または生成して、選択または生成した逆フィルタをブラーあり可視光画像11に適用するデコンボリューション処理を実行して、ブラーあり可視光画像11から、ブラー(ぼけ)を除去したブラー低減可視光画像13を生成する。
なお、逆フィルタの適用処理は、例えば、所定の画素ブロック単位で実行される。

0040

(A+B)基本構成(A)+ブラー推定前に前処理を行う構成例
次に、(A+B)の構成について説明する。
この構成は、基本構成(A)の処理に追加して、「ブラー推定前の前処理」を行う構成例である。

0041

この(A+B)の構成では、図4の2番目の(A+B)の図に示すように、ステップS20におけるブラー推定処理の前段階のステップS11,S12の処理として、ブラーあり可視光画像11とブラーなし遠赤外画像12に対する前処理を実行する。

0042

これらの前処理は、可視光画像と遠赤外画像との見え方の違いを緩和するための処理である。具体的には、たとえば、以下のいずれかの処理を前処理として行う。
(1)可視光画像と遠赤外画像各々の勾配画像生成処理
(2)可視光画像と遠赤外画像各々の帯域制限画像生成処理、
(3)可視光画像からの疑似遠赤外画像の生成処理、
(4)遠赤外画像からの疑似可視光画像の生成処理、
これらいずれかの前処理を実行して、前処理後の画像を用いてステップS20のブラー推定を実行する。

0043

この前処理を行うことで、可視光画像と遠赤外画像の見え方の違いが緩和され、結果としてステップS20で実行するブラー推定処理の精度を高めることが可能となる。
なお、具体的な構成例や処理例については後段で説明する。

0044

(A+C)基本構成(A)+ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
次に、(A+C)の構成について説明する。
この構成は、基本構成(A)の処理に追加して、「ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を行う構成例である。

0045

この(A+C)の構成では、図4の3番目の(A+C)の図に示すように、ステップS20におけるブラー推定処理の後に、ステップS31においてブラー推定結果の信頼度の計算を行い、ステップS32においてブラー除去強度計算を実行する処理を追加している。
ステップS40におけるブラー除去処理において適用する逆フィルタの強度が、ステップS32で計算されたブラー除去強度情報によって調整される。

0046

具体的には、ステップS20において実行されたブラー推定結果の信頼度が低い場合は、ステップS40におけるブラー除去処理において適用する逆フィルタの強度を弱める処理を行う。なお、信頼度の算出は、例えば、所定の画素ブロック単位で実行される。
このような処理を行うことで、ブラー推定結果の信頼度に応じた逆フィルタの適用が可能となる。

0047

なお、ステップS31におけるブラー推定結果の信頼度の算出処理と、ステップS32のブラー除去強度計算処理態様には、以下の2つの態様がある。
(1)ステップS20におけるブラー推定処理時に実行するブラーなし遠赤外光画像フィルタ処理結果と、ブラーあり可視光画像との相関値に基づいて信頼度を算出し、算出した信頼度に応じて、ステップS40におけるブラー除去処理時のフィルタ適用レベルを調整する構成、
(2)ステップS20におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値算出のために実行したブラーなし遠赤外光画像のフィルタ処理に適用したフィルタの妥当性に基づく信頼度を算出し、算出した信頼度に応じて、ステップS40にのおけるブラー除去処理時のフィルタ適用レベルを調整する構成、
ステップS31〜S32では、これらいずれかの処理を実行する。
なお、具体的な構成例や処理例については後段で説明する。

0048

(A+B+C)基本構成(A)+前処理(B)+信頼度に応じたブラー除去処理(C)の全てを実行する構成例
次に、(A+B+C)の構成について説明する。
この構成は、基本構成(A)の処理に追加して、「(B)ブラー推定前の前処理」と、「(C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」の両処理を行う構成例である。
この具体的な構成例や処理例についても後段で説明する。

0049

[3.(実施例1)基本構成例A対応の画像処理装置の構成と処理について]
次に、本開示の画像処理装置の実施例1として、図4を参照して説明した(基本構成例A)対応の画像処理装置の構成と処理について説明する。

0050

図5は、基本構成例A対応の画像処理装置の構成と処理を説明する図である。
「(A)基本構成例」は、ステップS20におけるブラー推定処理と、ステップS40におけるブラー除去処理を行う構成例である。

0051

まず、ステップS20において、同一被写体を同時に撮影したブラーあり可視光画像11とブラーなし遠赤外画像12を入力し、これらの2つの画像を比較して、ブラーあり可視光画像11のブラー推定処理を行う。

0052

具体的には、ブラーなし遠赤外画像12に対して、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用して、ブラーなし遠赤外画像12に様々な態様のブラーを故意に発生させて、ブラーを故意に発生させた遠赤外画像と、ブラーあり可視光画像11との相関を算出する。

0053

フィルタバンク35には、ブラー(ぼけ)の大きさや方向の異なる多数のブラー発生用フィルタが格納されている。すなわち様々なPSF対応の多数のフィルタが格納されている。
なお、これらのフィルタの各々にはフィルタ識別子(ID)が設定されている。
ステップS20における可視光画像ブラー推定処理では、フィルタバンク35に格納されたフィルタを、順次、ブラーなし遠赤外画像12に適用してブラーを発生させた遠赤外画像と、ブラーあり可視光画像11との相関を算出する。

0054

各フィルタ適用結果に基づく相関値を比較して、最も相関の高いフィルタを、ブラーあり可視光画像11のブラーの特徴を示すフィルタとして選択する。
ステップS20では、選択したフィルタの識別子であるフィルタIDを取得し、このフィルタIDが、次のステップS40の可視光画像ブラー除去処理において利用される。
なお、これらの処理は、例えば、所定の画素ブロック単位で実行される。

0055

ステップS40において、ステップS20で推定したブラーあり可視光画像11のブラー態様を示すPSF特性と同様の特性を持つフィルタと逆の特性を持つ逆フィルタを選択または生成して、選択または生成した逆フィルタをブラーあり可視光画像11に適用するデコンボリューション処理を実行して、ブラーあり可視光画像11から、ブラー(ぼけ)を除去したブラー低減可視光画像13を生成する。

0056

なお、本実施例では、フィルタバンク35に格納されたフィルタと逆特性を持つ逆フィルタを格納した逆フィルタバンク45から逆フィルタを選択して利用する。
逆フィルタバンク45には、フィルタバンク35に格納された全てのフィルタに対応する逆特性を持つ多数の逆フィルタが格納されている。

0057

なお、これらの逆フィルタの各々には逆フィルタ識別子(ID)が設定されており、このIDは、フィルタバンク35に格納されたフィルタに設定されたフィルタIDと対応付けられた設定となっている。例えば同一のID、または一部を同一としたIDが設定されている。
すなわち、フィルタバンク35に格納されたフィルタのフィルタIDに基づいて、逆フィルタバンク45から、そのIDを持つフィルタの逆特性を持つ逆フィルタを即座に選択することができる。

0058

ステップS40では、ステップS20で選択されたフィルタIDに対応付けられた逆フィルタを逆フィルタバンク45から選択して、選択した逆フィルタをブラーあり可視光画像11に適用して、ブラーあり可視光画像11から、ブラー(ぼけ)を除去したブラー低減可視光画像13を生成する。

0059

なお、フィルタの選択、適用処理は、図6に示すように、画像をブロック領域に分割し、各ブロック単位で実行する。
これは、画像内に含まれる動く被写体領域や、製紙被写体領域によってブラーの発生態様が異なり、各ブロック領域単位で異なるブラーに応じたフィルタを選択して適用するためである。

0060

次に、図7を参照してこの「(A)基本構成例」に対応する画像処理装置の具体的な構成例と処理について説明する。
図7に示す画像処理装置A,20−Aは、可視光画像入力部21、遠赤外画像入力部22、ブラー推定部30、ブラー除去部40、フィルタバンク35、逆フィルタバンク45を有する。
さらに、ブラー推定部30は、フィルタ処理部31、相関演算部32、フィルタ決定部33を有する。
また、ブラー除去部40は、逆フィルタ処理部41を有する。

0061

可視光画像入力部21は、補正前可視光画像15をブラー推定部30と、ブラー除去部40に入力する。
また、遠赤外画像入力部22は、遠赤外画像16を、ブラー推定部30に入力する。

0062

可視光画像入力部21と遠赤外画像入力部22が入力する補正前可視光画像15と、遠赤外画像16は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像入力部21の入力する補正前可視光画像15は、長時間露光によるブラー(ぼけ)が発生している。
一方、遠赤外画像入力部22の入力する遠赤外画像16は短時間露光画像であり、ブラー(ぼけ)のほとんどない画像である。

0063

なお、補正前可視光画像15と、遠赤外画像16は、いずれも横=W画素、縦=H画素のW×H画素の画像である。図には補正前可視光画像[W*H]15と、遠赤外画像[W*H]16として示している。
また、図中に示す[WB*HB]は、先に図6を参照して説明した1つのブロック領域を示す。
1枚の画像フレームブロック数はNとする。

0064

次に、ブラー推定部30の実行する処理について説明する。
ブラー推定部30のフィルタ処理部31は、遠赤外画像16に対して、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用する。すなわち、遠赤外画像16に様々な態様のブラーを故意に発生させる。

0065

前述したように、フィルタバンク35には、ブラー(ぼけ)の大きさや方向の異なる多数のブラー発生用フィルタが格納されている。すなわち様々なPSF対応の多数のフィルタが格納されている。

0066

ブラー推定部30のフィルタ処理部31が、遠赤外画像16にフィルタを適用して生成したブラーを故意に発生させた遠赤外画像は、相関運算部32に出力される。
相関演算部32は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、補正前可視光画像15との相関を算出する。

0067

なお、このフィルタ処理部31と、相関演算部32の実行するフィルタ適用処理、および相関算出処理は、補正前可視光画像15のN個のブロック領域と、遠赤外画像16のN個のブロック領域の対応ブロック単位で実行する。

0068

フィルタ処理部31は、遠赤外画像16のN個のブロックの各々について、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用する。
相関演算部32は、遠赤外画像16のN個のブロックの各々について、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用した結果と、補正前可視光画像15との相関を算出し、N個のブロック各々についての各フィルタ対応の相関値をフィルタIDとともにフィルタ決定部33に出力する。

0069

フィルタ決定部33は、相関演算部32からの入力データ、すなわち、
N個のブロック各々についての適用フィルタIDと相関値との対応データの中から、
各ブロックについて、最も相関の高いブロック対応のフィルタを選択する。
フィルタ決定部33が選択したN個のブロック各々についてのN個のフィルタのフィルタIDは、ブラー除去部40の逆フィルタ処理部41に入力される。

0070

ブラー除去部40の逆フィルタ処理部41は、ブラー推定部30のフィルタ決定部33から、以下のデータを入力する。すなわち、
N個のブロック各々について最も相関値が高いと判定されたN個のフィルタのフィルタID、
上記N個のブロック対応のN個のフィルタIDを入力する。

0071

ブラー除去部40の逆フィルタ処理部41は、各ブロック対応のフィルタIDに基づいて、逆フィルタバンク45から、そのフィルタIDのフィルタと逆特性を持つ逆フィルタを選択し、選択した逆フィルタを、可視光画像入力部21から入力する補正前可視光画像15の該当ブロックに適用する。

0072

すなわち、逆フィルタ処理部41は、ブラー推定部30において選択された最も相関値の高いブロック対応のフィルタ、具体的には、補正前可視光画像15のブラー態様を示すPSF特性と同様の特性を持つフィルタと逆の特性を持つ逆フィルタを、逆フィルタバンク45から選択して、選択した逆フィルタを補正前可視光画像15の該当ブロックに適用する。

0073

逆フィルタバンク45には、フィルタバンク35に格納された全てのフィルタに対応する逆特性を持つ多数の逆フィルタがIDとともに格納されており、ブラー推定部30のフィルタ決定部33から入力するフィルタIDに基づいて、このフィルタID対応のフィルタの逆特性を持つ逆フィルタを抽出可能な構成となっている。

0074

逆フィルタ処理部41は、可視光画像入力部21から入力する補正前可視光画像15のN個のブロック各々について、ブラー推定部30のフィルタ決定部33から入力するフィルタIDに基づいて、逆フィルタバンク45から、各ブロックにおいて最大の相関値を示したフィルタの逆特性を持つ逆フィルタを取得して、取得した逆フィルタを、可視光画像入力部21から入力する補正前可視光画像15の該当ブロックに適用する。

0075

可視光画像入力部21から入力する補正前可視光画像15のN個のすべてのブロックに対する逆フィルタ適用処理が完了すると、この完了画像を補正後可視光画像17として出力する。
これらの処理により、補正前可視光画像15から、ブラー(ぼけ)が除去または低減された補正後可視光画像17が生成され出力される。

0076

次に、図8に示すフローチャートを参照して、図7に示す「(A)基本構成例」対応の画像処理装置の実行する処理のシーケンスについて説明する。
なお、図8に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行可能な処理であり、プログラム実行機能を有するCPU等を備えた制御部(データ処理部)の制御の下で実行することができる。
以下、図7に示すフローの各ステップの処理について、順次、説明する。

0077

(ステップS101)
まず、ステップS101において、補正対象とする可視光画像を取得する。
この処理は、図7に示す画像処理装置における可視光画像入力部21によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。

0078

(ステップS102)
次に、ステップS102において、参照画像として利用される遠赤外画像を取得する。
この処理は、図7に示す画像処理装置における遠赤外画像入力部22によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。

0079

なお、ステップS101、およびステップS102において取得する可視光画像と、遠赤外画像は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像は、長時間露光によるブラー(ぼけ)が発生している。一方、遠赤外画像は短時間露光画像であり、ブラー(ぼけ)のほとんどない画像である。

0080

(ステップS103)
次のステップS103から、ステップS110の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理ループ1)である。
なお、ブロック数はNとする。

0081

(ステップS104)
次のステップS104から、ステップS108の処理は、フィルタバンク35に格納された全てのフィルタに対応付けられたフィルタIDの全てについて、順次、繰り返し実行されるループ処理(ループ2)である。

0082

(ステップS105)
ステップS105において、フィルタ(係数)を取得する。
ステップS105〜S106の処理は、図7に示すブラー推定部30のフィルタ処理部31の実行する処理である。フィルタ処理部31は、遠赤外画像の各ブロックに適用するなフィルタ(ブラー(ぼけ)発生フィルタ)をフィルタバンク35から、順次、取得する。
なお、フィルタバンク35から、順次、取得するデータはフィルタ自体、またはフィルタの構成データであるフィルタ係数のいずれでもよい。

0083

(ステップS106)
次に、ステップS106において、ステップS105で取得したフィルタを遠赤外画像の1つのブロック、すなわち現在、処理対象として選択されているブロックに適用する。
この処理は、遠赤外画像にブラーを故意に発生させるためのフィルタ処理である。

0084

(ステップS107)
次に、ステップS107において、ステップS106でのフィルタ適用結果の遠赤外画像のブロックと、可視光画像の対応ブロックとの相関値を算出する。
この処理は、図7に示すブラー推定部30の相関演算部32の実行する処理である。
相関演算部32は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、可視光画像との相関を算出する。

0085

(ステップS108)
ステップS108は、ステップS104〜S108のループ2の終了位置である。
すなわち、ステップS105〜S107の処理を、フィルタバンク35に格納された全てのフィルタに対応付けられたフィルタIDの全てについて、順次、繰り返し実行する。

0086

(ステップS109)
1つのブロックについてのステップS102〜S108のループ2の処理が完了すると、ステップS109に進む。
すなわち、1つのブロックについて、フィルタバンク35に格納された全てのフィルタ対応の相関値算出処理が修了するとステップS109に進む。

0087

ステップS109の処理は、図7に示すブラー推定部30のフィルタ決定部33の実行する処理である。
フィルタ決定部33は、ステップS109において、ステップS104〜S108のループ2の処理が完了したブロックについて、フィルタバンク35に格納された全てのフィルタ対応の相関値中、最も高い相関値を持つフィルタのIDを選択する。

0088

(ステップS110)
ステップS110は、ステップS103〜S110のループ1の終了位置である。
すなわち、ステップS104〜S109の処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

0089

このループ処理(ループ1)が完了すると、
N個のブロック全てについて、最も高い相関値を持つフィルタのフィルタIDが決定することになる。

0090

(ステップS111)
次のステップS111からステップS114の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理(ループ3)である。
なお、ブロック数はNとする。

0091

(ステップS112)
ステップS112〜S113の処理は、図7に示すブラー除去部40の逆フィルタ処理部41の実行する処理である。

0092

逆フィルタ処理部41は、ステップS112において、処理対象として選択されたブロックに対応付けられた最大の相関値を持つフィルタのフィルタIDを、ブラー推定部30のフィルタ決定部33から入力して、このフィルタIDに基づいて、逆フィルタバンク45から、そのフィルタIDのフィルタと逆特性を持つ逆フィルタ(係数)を選択する。
なお、逆フィルタバンク45から取得するデータはフィルタ自体、またはフィルタの構成データであるフィルタ係数のいずれでもよい。

0093

(ステップS113)
次に、ブラー除去部40の逆フィルタ処理部41は、ステップS113において、ステップS112で取得した逆フィルタを、処理対象の可視光画像のブロックに適用する。

0094

(ステップS114)
ステップS114は、ステップS111〜S114のループ3の終了位置である。
すなわち、ステップS112〜S113の処理を、補正対象画像である可視光画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

0095

可視光画像のN個のすべてのブロックに対する逆フィルタ適用処理が完了すると、その完了画像を補正後可視光画像として出力する。
これらの処理により、ステップS101における入力画像である可視光画像、すなわち図7に示す補正前可視光画像15から、ブラー(ぼけ)が除去または低減され、図7に示す補正後可視光画像17が生成されて出力される。

0096

[4.(実施例2)(A+B)ブラー推定前に前処理を行う画像処理装置の構成と処理について]
次に、本開示の画像処理装置の実施例2として、図4を参照して説明した構成(A+B)、すなわち基本構成(A)に、ブラー推定前に前処理を行う構成を追加した画像処理装置の具体的構成と具体的処理について説明する。

0097

なお、先に図4を参照して説明したように、構成(A+B)における追加構成であるブラー推定前の前処理は、具体的には、たとえば、以下のいずれかの処理である。
(1)可視光画像と遠赤外画像各々の勾配画像の生成処理、
(2)可視光画像と遠赤外画像各々の帯域制限画像生成処理、
(3)可視光画像からの疑似遠赤外画像の生成処理、
(4)遠赤外画像からの疑似可視光画像の生成処理、
これらいずれかの前処理を実行して、前処理後の画像を用いてブラー推定を実行する。

0098

図9以下を参照して、上記4種類の前処理のいずれかを実行する構成を有する画像処理装置の構成例について、順次、説明する。
まず、図9を参照して、前処理として、
(1)可視光画像と遠赤外画像各々の勾配画像の生成処理、
上記処理を実行する画像処理装置の構成例について説明する。

0099

図9に示す画像処理装置AB1,20−AB1は、ブラー推定部30におけるブラー推定処理の前処理として、勾配画像生成部51において、可視光画像と遠赤外画像各々の勾配画像の生成を行う構成を有する。

0100

図9に示す画像処理装置AB1,20−AB1は、先に説明した図7に示す画像処理装置A,20−Aに勾配画像生成部51を追加した構成であり、その他の構成は、図7に示す画像処理装置A,20−Aと同一である。

0101

勾配画像生成部51の実行する処理について説明する。
勾配画像生成部51は、可視光画像入力部21と遠赤外画像入力部22が入力する補正前可視光画像15と、遠赤外画像16の見え方の違いを緩和するための処理行う。
例えば、補正前可視光画像15はRGB画素から構成されるカラー画像であり、遠赤外画像16は、熱に応じた濃淡画素から構成されるモノクロ画像である。

0102

ブラー推定部30の相関演算部32は可視光画像と、遠赤外画像とのブロック単位の相関を算出する処理を行うが、このように出力画素値が本質的に異なる画像を比較して相関値を求めようとすると、正しい相関値が得られない可能性が高くなる。
勾配画像生成部51は、この問題を解決するための前処理を行う。
すなわち、勾配画像生成部51は、可視光画像入力部21と遠赤外画像入力部22が入力する補正前可視光画像15と、遠赤外画像16の見え方の違いを緩和し、類似画素値によって構成される画像に変換する処理行う。

0103

勾配画像生成部51の実行する処理の具体例について、図10を参照して説明する。
図10には、暗がりで同一被写体を撮影した(1a)可視光画像と、(2a)遠赤外画像に対する勾配画像生成処理例を示している。
なお、(1a)可視光画像は、本来はカラー画像であるが、ここでは簡略化してモノクロ画像を例として説明する。
(1a)可視光画像にはブラー(ぼけ)が発生しており、(2a)遠赤外画像には発生していない。

0104

勾配画像とは、画素値の勾配(変化)の大小に応じて画素値を設定した画像である。例えば画素値の勾配(変化)の大きい領域は白に近く、画素値の勾配(変化)の小さい領域は黒に近い設定とした画像である。
図に示す(1a)可視光画像と、(2a)遠赤外画像においては、人の領域と背景領域との境界部分が画素値変化の大きい領域となる。

0105

従って、(1a)可視光画像に対する勾配画像生成処理によって生成される(1b)可視光勾配画像と、(2a)遠赤外画像に対する勾配画像生成処理によって生成される(2b)遠赤外勾配画像のいずれも、人の領域と背景領域との境界部分が白に近い設定となり、その他の領域、すなわち画素値変化の小さい領域は黒に近い設定とした勾配画像となる。
なお、勾配画像は、所定のフィルタ係数を持つフィルタを適用したフィルタ演算によって生成することができる。

0106

このように、勾配画像生成部51は、出力画素値の構成が異なる可視光画像と、遠赤外画像を、勾配画像に変換することで、2つの画像の出力画素構成を類似または一致させる処理を行う。
図9に示すように、勾配画像生成部51は、生成した可視光勾配画像と、遠赤外勾配画像をブラー推定部30に入力する。

0107

勾配画像生成部51が生成した可視光勾配画像は相関演算部32に入力され、遠赤外勾配画像は、フィルタ処理部31に入力される。

0108

ブラー推定部30のフィルタ処理部31は、遠赤外画像16に基づいて生成された遠赤外勾配画像に対して、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用してブラーを故意に発生させた遠赤外勾配画像を生成して、相関運算部32に出力する。

0109

相関演算部32は、以下の2つの勾配画像を入力してブロック単位の相関値算出処理を行う。
(可視光勾配画像)勾配画像生成部51が、補正前可視光画像15に基づく勾配画像生成処理を行って生成した可視光勾配画像、
(遠赤外勾配画像)勾配画像生成部51が、遠赤外画像16に基づく勾配画像生成処理を行って生成した遠赤外勾配画像に対して、フィルタ処理部31が、フィルタ適用によりブラーを故意に発生させた遠赤外勾配画像、
相関演算部32は、これら2つの勾配画像を入力してブロック単位の相関値算出処理を行う。

0110

これら2つの勾配画像は、元の入力画像に比較して、出力画素値が類似する設定であり、正しい相関値を算出しやすくなる。

0111

相関演算部32は、遠赤外勾配画像のN個のブロックの各々について、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用した結果と、補正前可視光画像15に基づいて生成された可視光勾配画像との相関を算出し、N個のブロック各々についての各フィルタ対応の相関値をフィルタIDとともにフィルタ決定部33に出力する。

0112

その後の処理は、先に図7を参照して説明した(基本構成A)の画像処理装置A,20−Aの実行する処理と同様の処理である。

0113

次に、図11を参照して、前処理として、
(2)可視光画像と遠赤外画像各々の帯域制限画像生成処理、
上記処理を実行する画像処理装置の構成例について説明する。

0114

図11に示す画像処理装置AB2,20−AB2は、ブラー推定部30におけるブラー推定処理の前処理として、帯域制限画像生成部52において、可視光画像と遠赤外画像各々の帯域制限画像の生成を行う構成を有する。

0115

図11に示す画像処理装置AB2,20−AB2は、先に説明した図7に示す画像処理装置A,20−Aに帯域制限画像生成部52を追加した構成であり、その他の構成は、図7に示す画像処理装置A,20−Aと同一である。

0116

帯域制限画像生成部52の実行する処理について説明する。
帯域制限画像生成部52は、可視光画像入力部21と遠赤外画像入力部22が入力する補正前可視光画像15と、遠赤外画像16の見え方の違いを緩和するための処理として、帯域制限画像の生成処理を行う。

0117

帯域制限画像生成部52の実行する処理の具体例について、図12を参照して説明する。
図12には、暗がりで同一被写体を撮影した(1a)可視光画像と、(2a)遠赤外画像に対する帯域制限画像生成処理例を示している。
なお、(1a)可視光画像は、本来はカラー画像であるが、ここでは簡略化してモノクロ画像を例として説明する。
(1a)可視光画像にはブラー(ぼけ)が発生しており、(2a)遠赤外画像には発生していない。

0118

帯域制限画像とは、画像ないの高帯域部分、すなわちテクスチャ等、画素値変化の大きい領域を画素値変化の少ない低帯域に変換する処理を行って生成した画像である。例えば、図12に示す(1a)可視光画像には人の衣服模様が表示されているが、このような模様部分は、画素値変化の大きい画素領域、すなわち高帯域部分である。
帯域制限処理を行うことで、このような高帯域部分が低帯域に変換される結果として衣服の模様等を消滅させた画像を生成することができる。

0119

このような被服の模様等は、可視光画像には出力されるが、温度情報を出力画素値とする遠赤外画像には出力されない。
従って、ブラー推定部30の相関演算部32における相関算出を行う場合、このような模様等の情報は正しい相関値の算出の妨げになる。

0120

この問題を解消するため、帯域制限画像生成部52が、可視光画像入力部21と遠赤外画像入力部22が入力する補正前可視光画像15と、遠赤外画像16の見え方の違いを緩和するための処理として、帯域制限画像の生成処理を行う。

0121

図12に示すように(1a)可視光画像に対する帯域制限画像生成処理によって生成される(1b)可視光帯域制限画像と、(2a)遠赤外画像に対する帯域制限画像生成処理によって生成される(2b)遠赤外帯域制限画像のいずれも、衣服の模様は出力されておらず、見え方が類似する画像となる。
なお、帯域制限画像は、所定のフィルタ係数を持つフィルタを適用したフィルタ演算によって生成することができる。

0122

このように、帯域制限画像生成部52は、出力画素値の構成が異なる可視光画像と、遠赤外画像を、帯域制限画像に変換することで、2つの画像の出力画素構成を類似または一致させる処理を行う。
図11に示すように、帯域制限画像生成部52は、生成した可視光帯域制限画像と、遠赤外帯域制限画像をブラー推定部30に入力する。

0123

帯域制限画像生成部52が生成した可視光帯域制限画像は相関演算部32に入力され、遠赤外帯域制限画像は、フィルタ処理部31に入力される。

0124

ブラー推定部30のフィルタ処理部31は、遠赤外画像16に基づいて生成された遠赤外帯域制限画像に対して、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用してブラーを故意に発生させた遠赤外帯域制限画像を生成して、相関運算部32に出力する。

0125

相関演算部32は、以下の2つの帯域制限画像を入力してブロック単位の相関値算出処理を行う。
(可視光帯域制限画像)帯域制限画像生成部52が、補正前可視光画像15に基づく帯域制限画像生成処理を行って生成した可視光帯域制限画像、
(遠赤外帯域制限画像)帯域制限画像生成部52が、遠赤外画像16に基づく帯域制限画像生成処理を行って生成した遠赤外帯域制限画像に対して、フィルタ処理部31が、フィルタ適用によりブラーを故意に発生させた遠赤外帯域制限画像、
相関演算部32は、これら2つの帯域制限画像を入力してブロック単位の相関値算出処理を行う。

0126

これら2つの帯域制限画像は、元の入力画像に比較して、出力画素値が類似する設定であり、正しい相関値を算出しやすくなる。

0127

相関演算部32は、遠赤外帯域制限画像のN個のブロックの各々について、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用した結果と、補正前可視光画像15に基づいて生成された可視光帯域制限画像との相関を算出し、N個のブロック各々についての各フィルタ対応の相関値をフィルタIDとともにフィルタ決定部33に出力する。

0128

その後の処理は、先に図7を参照して説明した(基本構成A)の画像処理装置A,20−Aの実行する処理と同様の処理である。

0129

次に、図13を参照して、前処理として、
(3)可視光画像からの疑似遠赤外画像の生成処理、
上記処理を実行する画像処理装置の構成例について説明する。

0130

図13に示す画像処理装置AB3,20−AB3は、ブラー推定部30におけるブラー推定処理の前処理として、疑似遠赤外画像生成部53において、可視光画像入力部21から入力する補正前可視光画像15に基づく疑似遠赤外画像の生成を行う構成を有する。

0131

図13に示す画像処理装置AB3,20−AB3は、先に説明した図7に示す画像処理装置A,20−Aに疑似遠赤外画像生成部53を追加した構成であり、その他の構成は、図7に示す画像処理装置A,20−Aと同一である。

0132

疑似遠赤外画像生成部53の実行する処理について説明する。
疑似遠赤外画像生成部53は、可視光画像入力部21と遠赤外画像入力部22が入力する補正前可視光画像15と、遠赤外画像16の見え方の違いを緩和するための処理として、補正前可視光画像15を疑似遠赤外画像に変換する処理を行う。

0133

この画像変換処理には、例えば、予め生成した機械学習データを利用する。
具体的には、暗闇で同一被写体を同時に撮影した可視光画像と遠赤外画像との画像ペアを大量に用意し、可視光画像に対して、どのような画像変換を実行すれば、ペアとして設定された遠赤外画像に近づけることができるかの変換関数機械学習処理によって算出する。
この学習処理によって、例えば可視光画像において肌色で丸い形は、人の顔であり、人の温度に対応する遠赤外画像の画素値に変換する処理等が可能となる。

0134

疑似遠赤外画像生成部53は、この学習データを用いて、可視光画像入力部21から入力する補正前可視光画像15に対する画像変換を行い、疑似遠赤外画像を生成する。

0135

図13に示すように、疑似遠赤外画像生成部53は、補正前可視光画像15に基づいて生成した疑似遠赤外画像をブラー推定部30の相関算出部32に入力する。
相関演算部32は、以下の2つの画像を入力してブロック単位の相関値算出処理を行う。
(疑似遠赤外画像)疑似遠赤外画像生成部53が、補正前可視光画像15に基づく疑似遠赤外画像生成処理を行って生成した疑似遠赤外画像、
(遠赤外画像)遠赤外画像16に対して、フィルタ処理部31が、フィルタ適用によりブラーを故意に発生させた遠赤外画像、
相関演算部32は、これら2つの画像を入力してブロック単位の相関値算出処理を行う。
これら2つの画像は、元の入力画像に比較して、出力画素値が類似する設定であり、正しい相関値を算出しやすくなる。

0136

相関演算部32は、遠赤外画像16のN個のブロックの各々について、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用した結果と、補正前可視光画像15に基づいて生成された疑似遠赤外画像との相関を算出し、N個のブロック各々についての各フィルタ対応の相関値をフィルタIDとともにフィルタ決定部33に出力する。

0137

その後の処理は、先に図7を参照して説明した(基本構成A)の画像処理装置A,20−Aの実行する処理と同様の処理である。

0138

次に、図14を参照して、前処理として、
(4)遠赤外画像からの疑似可視光画像の生成処理、
上記処理を実行する画像処理装置の構成例について説明する。

0139

図14に示す画像処理装置AB4,20−AB4は、ブラー推定部30におけるブラー推定処理の前処理として、疑似可視光画像生成部54において、遠赤外画像入力部22から入力する遠赤外画像16に基づく疑似可視光画像の生成を行う構成を有する。

0140

図14に示す画像処理装置AB4,20−AB4は、先に説明した図7に示す画像処理装置A,20−Aに疑似可視光画像生成部54を追加した構成であり、その他の構成は、図7に示す画像処理装置A,20−Aと同一である。

0141

疑似可視光画像生成部54の実行する処理について説明する。
疑似可視光画像生成部54は、可視光画像入力部21と遠赤外画像入力部22が入力する補正前可視光画像15と、遠赤外画像16の見え方の違いを緩和するための処理として、遠赤外画像16を疑似可視光画像に変換する処理を行う。

0142

この画像変換処理には、例えば、予め生成した機械学習データを利用する。
具体的には、暗闇で同一被写体を同時に撮影した可視光画像と遠赤外画像との画像ペアを大量に用意し、遠赤外画像に対して、どのような画像変換を実行すれば、ペアとして設定された可視光画像に近づけることができるかの変換関数を機械学習処理によって算出する。

0143

疑似可視光画像生成部54は、この学習データを用いて、遠赤外画像入力部22から入力する遠赤外画像16に対する画像変換を行い、疑似可視光画像を生成する。

0144

図14に示すように、疑似可視光画像生成部54は、遠赤外画像16に基づいて生成した疑似可視光画像を、ブラー推定部30のフィルタ処理部31に入力する。
フィルタ処理部31は、遠赤外画像16に基づいて生成された疑似可視光画像に対して、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用してブラーを故意に発生させた疑似可視光画像を生成して、相関運算部32に出力する。

0145

相関演算部32は、以下の2つの画像を入力してブロック単位の相関値算出処理を行う。
(補正前可視光画像15)可視光画像入力部21から入力される補正前可視光画像15、
(疑似可視光画像)疑似可視光画像生成部54が、遠赤外画像16に基づいて生成した疑似可視光画像に対して、フィルタ処理部31が、フィルタ適用によりブラーを故意に発生させた疑似可視光画像、
相関演算部32は、これら2つの画像を入力してブロック単位の相関値算出処理を行う。
これら2つの画像は、元の入力画像に比較して、出力画素値が類似する設定であり、正しい相関値を算出しやすくなる。

0146

相関演算部32は、遠赤外画像16に基づいて生成された疑似可視光画像のN個のブロックの各々について、フィルタバンク35に格納された様々なフィルタ(ブラー(ぼけ)発生フィルタ)を、順次、適用した結果と、補正前可視光画像15との相関を算出し、N個のブロック各々についての各フィルタ対応の相関値をフィルタIDとともにフィルタ決定部33に出力する。

0147

その後の処理は、先に図7を参照して説明した(基本構成A)の画像処理装置A,20−Aの実行する処理と同様の処理である。

0148

図9図14を参照して説明したように、
構成(A+B)における追加構成であるブラー推定前の前処理として、以下のいずれかの処理が実行される。
(1)可視光画像と遠赤外画像各々の勾配画像の生成処理(図9)、
(2)可視光画像と遠赤外画像各々の帯域制限画像生成処理(図11)、
(3)可視光画像からの疑似遠赤外画像の生成処理(図13)、
(4)遠赤外画像からの疑似可視光画像の生成処理(図14)、
これらいずれかの前処理を実行して、前処理後の画像を用いてブラー推定を実行する。

0149

これら、ブラー推定前の前処理を行う画像処理装置の実行する処理のシーケンスについて、図15図16に示すフローチャートを参照して説明する。
図15に示すフローチャートは、前処理として、以下の(1),(2)のいずれかの処理を実行する場合のフローチャートである。
(1)可視光画像と遠赤外画像各々の勾配画像の生成処理(図9)、
(2)可視光画像と遠赤外画像各々の帯域制限画像生成処理(図11)、

0150

また、図16に示すフローチャートは、前処理として、以下の(3),(4)のいずれかの処理を実行する場合のフローチャートである。
(3)可視光画像からの疑似遠赤外画像の生成処理(図13)、
(4)遠赤外画像からの疑似可視光画像の生成処理(図14)、

0151

まず、図15に示すフローチャートを参照して、以下の(1),(2)のいずれかの処理を実行する場合のフローチャートについて説明する。
(1)可視光画像と遠赤外画像各々の勾配画像の生成処理(図9)、
(2)可視光画像と遠赤外画像各々の帯域制限画像生成処理(図11)、

0152

図15に示すフローチャートは、先に、図8を参照して説明した図7の「(A)基本構成例」対応の画像処理装置の実行する処理フローのステップS101〜S114の処理に、ステップS101bと、ステップS102bの処理を追加したフローチャートである。

0153

追加処理であるステップS101bと、ステップS102b以外の処理は、図8を参照して説明したフローのステップS101〜S114の処理と同様であるので、説明を省略し、追加処理であるステップS101bと、ステップS102bの処理についてのみ説明する。

0154

(ステップS101b)
ステップS101bの処理は、ステップS101において入力した補正対象となる可視光画像に対する前処理である。
この前処理は、図9を参照して説明した勾配画像生成部51、または図11を参照して説明した帯域制限画像生成部52において実行される。

0155

ステップS101では、補正対象とする可視光画像を取得する。
この処理は、画像処理装置の可視光画像入力部21によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。

0156

ステップS101bでは、ステップS101において入力した可視光画像の勾配画像、または帯域制限画像を生成する。
ステップS103以下で実行されるブロック単位の相関値算出処理では、この可視光画像の勾配画像、または帯域制限画像を利用した相関値算出処理を実行する。

0157

(ステップS102b)
ステップS102bの処理は、ステップS102において入力した遠赤外画像に対する前処理である。
この前処理は、図9を参照して説明した勾配画像生成部51、または図11を参照して説明した帯域制限画像生成部52において実行される。

0158

ステップS102では、参照画像である遠赤外画像を取得する。
この処理は、画像処理装置の遠赤外画像入力部22によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。

0159

ステップS102bでは、ステップS102において入力した遠赤外画像の勾配画像、または帯域制限画像を生成する。
なお、ステップS101bにおいて、可視光画像の勾配画像を生成した場合は、ステップS102bでは、遠赤外画像の勾配画像を生成する。
また、ステップS101bにおいて、可視光画像の帯域制限画像を生成した場合は、ステップS102bでは、遠赤外画像の帯域制限画像を生成する。

0160

ステップS103以下で実行されるフィルタ適用処理と、ブロック単位の相関値算出処理では、
可視光画像と遠赤外画像の勾配画像を利用したフィルタ適用処理、および相関値算出処理、または、
可視光画像と遠赤外画像の帯域制限画像を利用したフィルタ適用処理、および相関値算出処理、
これらのいずれかの処理を実行する。

0161

次に、図16に示すフローチャートを参照して、以下の(3),(4)のいずれかの処理を実行する場合のフローチャートについて説明する。
(3)可視光画像からの疑似遠赤外画像の生成処理(図13)、
(4)遠赤外画像からの疑似可視光画像の生成処理(図14)、

0162

図16に示すフローチャートは、先に、図8を参照して説明した図7の「(A)基本構成例」対応の画像処理装置の実行する処理フローのステップS101〜S114の処理に、ステップS101cと、ステップS102cの処理を追加したフローチャートである。

0163

なお、ブラー推定の前処理として、
(3)可視光画像からの疑似遠赤外画像の生成処理(図13)、
を実行する場合は、ステップS101cの処理を追加処理として実行し、ステップS102cの処理は実行しない。
一方、ブラー推定の前処理として、
(4)遠赤外画像からの疑似可視光画像の生成処理(図14)、
を実行する場合は、ステップS101cの処理は実行せず、ステップS102cの処理を追加処理として実行する。

0164

追加処理であるステップS101cと、ステップS102c以外の処理は、図8を参照して説明したフローのステップS101〜S114の処理と同様であるので、説明を省略し、追加処理であるステップS101cと、ステップS102cの処理についてのみ説明する。

0165

(ステップS101c)
ステップS101cの処理は、ステップS101において入力した補正対象となる可視光画像に対する前処理である。
この前処理は、図13を参照して説明した疑似遠赤外画像生成部53において実行される。

0166

ステップS101では、補正対象とする可視光画像を取得する。
この処理は、画像処理装置の可視光画像入力部21によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。

0167

ステップS101cでは、ステップS101において入力した可視光画像に基づいて、疑似遠赤外画像を生成する。
先に図13を参照して説明したように、例えば予め生成した学習データを用いて可視光画像に基づく疑似遠赤外画像を生成する。

0168

ステップS103以下で実行されるブロック単位の相関値算出処理では、この可視光画像に基づいて生成した疑似遠赤外画像を利用した相関値算出処理を実行する。
すなわち、ステップS107では、ステップS101cで生成した疑似遠赤外画像と、ステップS102で入力した遠赤外画像のフィルタ適用結果との相関演算が行われる。

0169

(ステップS102c)
ステップS102cの処理は、ステップS102において入力した遠赤外画像に対する前処理である。
この前処理は、図14を参照して説明した疑似可視光画像生成部54において実行される。

0170

ステップS102では、参照画像である遠赤外画像を取得する。
この処理は、画像処理装置の遠赤外画像入力部22によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。

0171

ステップS102cでは、ステップS102において入力した遠赤外画像に基づいて、疑似可視光画像を生成する。
先に図14を参照して説明したように、例えば予め生成した学習データを用いて遠赤外画像に基づく疑似可視光画像を生成する。

0172

ステップS103以下で実行されるフィルタ適用処理と、ブロック単位の相関値算出処理では、この疑似可視光画像を利用したフィルタ適用処理、および相関値算出処理を実行する。
すなわち、ステップS106では、ステップS102cで生成した疑似可視光画像に対するフィルタ適用処理が行われ、また、ステップS107では、ステップS101で入力した可視光画像と、ステップS102cで生成した疑似可視光画像のフィルタ適用結果との相関演算が行われる。

0173

このように、「実施例2(A+B)ブラー推定前に前処理を行う画像処理装置」は、ブラー推定前に前処理、すなわち、
(1)可視光画像と遠赤外画像各々の勾配画像の生成処理、
(2)可視光画像と遠赤外画像各々の帯域制限画像生成処理、
(3)可視光画像からの疑似遠赤外画像の生成処理、
(4)遠赤外画像からの疑似可視光画像の生成処理、
これらいずれかの前処理を実行して、前処理後の画像を用いてブラー推定を実行する。

0174

これらの前処理を行うことで、補正前可視光画像15と、遠赤外画像16の見え方の違いが緩和され、類似画素値によって構成される画像に基づく相関値算出が可能となり、より精度の高い相関値算出が実行される。最終的に生成される補正後可視光画像17のブラー除去効果も、より高くなる。

0175

[5.(実施例3)(A+C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について]
次に、本開示の画像処理装置の実施例3として、図4を参照して説明した構成(A+C)、すなわち基本構成(A)に、ブラー推定部30の推定したブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成を追加した画像処理装置の具体的構成と具体的処理について説明する。

0176

なお、先に図4を参照して説明したように、構成(A+C)における追加構成であるブラー推定結果の信頼度適用処理構成として、以下の2つの構成がある。
(1)ステップS20におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づいて信頼度を算出し、算出した信頼度に応じて、ステップS40におけるブラー除去処理時のフィルタ適用レベルを調整する構成、
(2)ステップS20におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値算出のために実行したブラーなし遠赤外光画像のフィルタ処理に適用したフィルタの妥当性に基づく信頼度を算出し、算出した信頼度に応じて、ステップS40にのおけるブラー除去処理時のフィルタ適用レベルを調整する構成、
これら2種類の信頼度算出構成がある。

0177

図17以下を参照して、上記2種類の信頼度算出処理を実行する構成を有する画像処理装置の構成例について、順次、説明する。
まず、図17を参照して、
(1)ステップS20におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づいて信頼度を算出し、算出した信頼度に応じて、ステップS40におけるブラー除去処理時のフィルタ適用レベルを調整する構成、
上記信頼度算出構成を持つ画像処理装置の構成と処理について説明する。

0178

図17に示す画像処理装置AC1,20−AC1は、ブラー推定部30内に、信頼度算出部34aを有し、さらに、ブラー除去部40内に逆フィルタ補正部42を有する。
図17に示す画像処理装置AC1,20−AC1は、先に説明した図7に示す画像処理装置A,20−Aに信頼度算出部34aと、逆フィルタ補正部42を追加した構成であり、その他の構成は、図7に示す画像処理装置A,20−Aと同一である。

0179

信頼度算出部34aと、逆フィルタ補正部42の実行する処理について説明する。
信頼度算出部34aは、ブラー推定部30の相関演算部32が算出する相関値、すなわち、ブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づく信頼度を算出する。
信頼度算出部34aは、算出した相関値信頼度を、ブラー除去部40の逆フィルタ補正部42に出力する。

0180

逆フィルタ補正部42は、信頼度算出部34aから入力する相関値信頼度に応じて、逆フィルタ処理部41において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部34aから入力する相関値信頼度が高い場合は、逆フィルタ処理部41において適用する逆フィルタの強度を弱めることなく、逆フィルタバンク45から取得した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像15の処理対象ブロックに対して逆フィルタバンク45から取得した逆フィルタをそのまま適用する。

0181

一方、信頼度算出部34aから入力する相関値信頼度が低い場合は、逆フィルタ処理部41において適用する逆フィルタの強度を弱める。すなわち、逆フィルタバンク45から取得した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

0182

具体的には、例えば、信頼度算出部34aの算出する相関値信頼度が、
相関値信頼度α=1(高信頼度)〜0(縦い信頼度)の設定である場合、
逆フィルタ補正部42は、逆フィルタバンク45から取得した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部41に出力する。

0183

逆フィルタ処理部41は、逆フィルタ補正部42から入力する補正逆フィルタを、補正前可視光画像15の処理対象ブロックに対して適用する。
なお、ブラー推定部30の相関演算部32における相関演算はブロック単位で実行され、信頼度算出部34aの信頼度算出処理や、逆フィルタ補正部42の逆フィルタ補正処理、さらに、逆フィルタ処理部41における逆フィルタ適用処理もブロック単位の処理として実行される。

0184

信頼度算出部34aの実行する相関値信頼度の具体的な算出処理例について、図18を参照して説明する。
図18には、以下の各図を示している。
(a1)補正前可視光画像、
(a2)補正前可視光画像相関値算出ブロック、
(b1)遠赤外画像、
(b2)フィルタ適用前遠赤外画像相関値出ブロック
(b3)フィルタ適用後遠赤外画像相関値算出ブロック、

0185

入力画像は、
(a1)補正前可視光画像、
(b1)遠赤外画像、
である。
(b2)フィルタ適用前遠赤外画像相関値算出ブロック、
が、ブラー推定部30のフィルタ処理部に入力され、フィルタバンク35から選択されたフィルタによりフィルタ処理がなされる。
このフィルタ結果が、
(b3)フィルタ適用後遠赤外画像相関値算出ブロック、
である。

0186

ブラー推定部30の相関演算部32における相関演算による相関値算出対象となるブロックは、
(a2)補正前可視光画像相関値算出ブロック、
(b3)フィルタ適用後遠赤外画像相関値算出ブロック、
この2つのブロックとなる。

0187

図18に示す例では、(a1)補正前可視光画像内に示すブロック内や、(a2)補正前可視光画像相関値算出ブロックには、横長の明るく光る画像が写し出されている。
これに対して、(b1)遠赤外画像、(b2)フィルタ適用前遠赤外画像相関値算出ブロック、および(b3)フィルタ適用後遠赤外画像相関値算出ブロックには、このような横長の画像は全く見えていない。
このような現象は、この横長の明るく光る被写体が多くの熱を発していない被写体である場合に起こり得る現象である。

0188

ブラー推定部30の相関演算部32は、図18に示す、
(a2)補正前可視光画像相関値算出ブロック、
(b3)フィルタ適用後遠赤外画像相関値算出ブロック、
この2つのブロックの相関値を算出することになるが、これら2つのブロックの類似度は低いため、相関値は、極めて低い値となる。

0189

このように、ブラー推定部30の相関演算部32の算出する相関値が低い値である場合、信頼度算出部34aは、相関値信頼度を低い値に設定する。
例えば、信頼度算出部34aの算出する相関値信頼度が、
相関値信頼度α=1(高信頼度)〜0(縦い信頼度)の範囲の設定である場合、
信頼度算出部34aは、相関値信頼度α=0〜0.1程度の低い値に設定して、逆フィルタ補正部42に出力する。

0190

逆フィルタ補正部42は、逆フィルタバンク45から取得した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部41に出力する。
逆フィルタ処理部41は、逆フィルタ補正部42から入力する補正逆フィルタを、補正前可視光画像15の処理対象ブロックに対して適用する。
この結果、信頼度の低い相関値が設定されたブロックに対する逆フィルタの適用効果は、小さく抑えられることになる。
逆に、信頼度の高い相関値が設定されたブロックに対する逆フィルタの適用効果は、大きく設定される。

0191

このように、本実施例では、相関演算部32において算出する相関値の信頼度に応じた逆フィルタ適用処理が実現されることになり、相関値の高いブロックは逆フィルタの適用効果を高め、相関値信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、相関値信頼度に応じた効果的なブラー解消処理が可能となる。

0192

次に、図19を参照して、
(2)ステップS20におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値算出のために実行したブラーなし遠赤外光画像のフィルタ処理に適用したフィルタの妥当性に基づく信頼度を算出し、算出した信頼度に応じて、ステップS40にのおけるブラー除去処理時のフィルタ適用レベルを調整する構成、
上記信頼度算出構成を持つ画像処理装置の構成と処理について説明する。

0193

図19に示す画像処理装置AC2,20−AC2は、ブラー推定部30内に、信頼度算出部34bを有し、さらに、ブラー除去部40内に逆フィルタ補正部42を有する。
図19に示す画像処理装置AC2,20−AC2は、先に説明した図7に示す画像処理装置A,20−Aに信頼度算出部34bと、逆フィルタ補正部42を追加した構成であり、その他の構成は、図7に示す画像処理装置A,20−Aと同一である。

0194

信頼度算出部34bと、逆フィルタ補正部42の実行する処理について説明する。
信頼度算出部34bは、ブラー推定部30の相関演算部32における相関算出処理に利用したフィルタ処理後の遠赤外光画像に適用されたフィルタの妥当性に基づく信頼度を算出する。
信頼度算出部34bは、算出したフィルタ妥当性信頼度を、ブラー除去部40の逆フィルタ補正部42に出力する。

0195

逆フィルタ補正部42は、信頼度算出部34bから入力するフィルタ妥当性信頼度に応じて、逆フィルタ処理部41において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部34bから入力するフィルタ妥当性信頼度が高い場合は、逆フィルタ処理部41において適用する逆フィルタの強度を弱めることなく、逆フィルタバンク45から取得した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像15の処理対象ブロックに対して逆フィルタバンク45から取得した逆フィルタをそのまま適用する。

0196

一方、信頼度算出部34bから入力するフィルタ妥当性信頼度が低い場合は、逆フィルタ処理部41において適用する逆フィルタの強度を弱める。すなわち、逆フィルタバンク45から取得した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

0197

具体的には、例えば、信頼度算出部34bの算出するフィルタ妥当性信頼度が、
フィルタ妥当性信頼度α=1(高信頼度)〜0(縦い信頼度)の設定である場合、
逆フィルタ補正部42は、逆フィルタバンク45から取得した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部41に出力する。

0198

逆フィルタ処理部41は、逆フィルタ補正部42から入力する補正逆フィルタを、補正前可視光画像15の処理対象ブロックに対して適用する。
なお、ブラー推定部30の相関演算部32における相関演算はブロック単位で実行され、信頼度算出部34bの信頼度算出処理や、逆フィルタ補正部42の逆フィルタ補正処理、さらに、逆フィルタ処理部41における逆フィルタ適用処理もブロック単位の処理として実行される。

0199

信頼度算出部34bの実行する相関値信頼度の具体的な算出処理例について、図20を参照して説明する。
図20には、以下の各図を示している。
(a1)補正前可視光画像、
(a2)補正前可視光画像相関値算出ブロック、
(b1)遠赤外画像、
(b2)フィルタ適用前遠赤外画像相関値算出ブロック、
(b3)フィルタ適用後遠赤外画像相関値算出ブロック、
(b4)相関値最大のフィルタ適用後遠赤外画像相関値算出ブロック、

0200

入力画像は、
(a1)補正前可視光画像、
(b1)遠赤外画像、
である。
(b2)フィルタ適用前遠赤外画像相関値算出ブロック、
が、ブラー推定部30のフィルタ処理部に入力され、フィルタバンク35から選択されたフィルタによりフィルタ処理がなされる。
このフィルタ結果が、
(b3)フィルタ適用後遠赤外画像相関値算出ブロック、
である。

0201

ブラー推定部30の相関演算部32における相関演算による相関値算出対象となるブロックは、
(a2)補正前可視光画像相関値算出ブロック、
(b3)フィルタ適用後遠赤外画像相関値算出ブロック、
この2つのブロックとなる。

0202

このブラー推定部30の相関演算部32における相関演算による相関値算出処理の結果として、最大の相関値を持つフィルタ適用後遠赤外画像相関値算出ブロックとして選択されたブロックが、
(b4)相関値最大のフィルタ適用後遠赤外画像相関値算出ブロック、
である。

0203

図20に示す例では、ブラー推定部30の相関演算部32における相関演算による相関値算出処理の処理対象ブロックは、(a1)補正前可視光画像内に示すブロックに示すように、標識である。この標識は、X印の模様がペイントされており、さらに中央に熱発生部が設定されている。

0204

このような場合、(b1)遠赤外画像や、(b2)フィルタ適用前遠赤外画像相関値算出ブロックには、標識中央部の熱発生部の領域が丸い画像として出力されるが、X印の模様は全く出力されない結果となる。

0205

ブラー推定部30のフィルタ処理部31では、この(b2)フィルタ適用前遠赤外画像相関値算出ブロックに対して、フィルタバンク35に格納されたフィルタを順次、適用して、相関演算部32に出力する。

0206

相関演算部32は、
(a2)補正前可視光画像相関値算出ブロックと、
様々なフィルタを適用した結果として得られる(b3)フィルタ適用後遠赤外画像相関値算出ブロック、
これら2つのブロックの相関値を算出し、相関値が最大となる(b3)フィルタ適用後遠赤外画像相関値算出ブロックを選択して、その相関値を算出する。

0207

この選択結果が、図に示す
(b4)相関値最大のフィルタ適用後遠赤外画像相関値算出ブロック、
である。
この(b4)相関値最大のフィルタ適用後遠赤外画像相関値算出ブロックを生成するために適用されたフィルタは、図20に示すフィルタF1である。

0208

信頼度算出部34bは、この(b4)相関値最大のフィルタ適用後遠赤外画像相関値算出ブロックを生成するために適用されたフィルタF1の妥当性に基づく信頼度を算出する。

0209

フィルタF1は、2方向の直角にクロスするラインに流れるぼけを発生させるフィルタであり、被写体の自然な動き、あるいはカメラの自然な動きからはあり得ないブラー(ぼけ)の態様である。
通常、被写体やカメラの動きは1つのラインに沿って動くため、そのラインに沿ったブラー(ぼけ)が発生する。
このことから、図20に示すフフィルタF1は、通常の想定されるブラー(ぼけ)を発生させるフィルタのとしての信頼度が低いと判定される。

0210

このように、信頼度算出部34bは、例えば、図20に示すような複数方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、フィルタの信頼度を低いと判定する。
一方、例えば一方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、フィルタの信頼度を高いと判定する。

0211

例えば、信頼度算出部34bの算出するフィルタ妥当性信頼度が、
フィルタ妥当性頼度α=1(高信頼度)〜0(縦い信頼度)の範囲の設定である場合、図20に示すような複数方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、信頼度算出部34bは、フィルタ妥当性信頼度α=0〜0.1程度の低い値に設定して、逆フィルタ補正部42に出力する。

0212

逆フィルタ補正部42は、逆フィルタバンク45から取得した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部41に出力する。
逆フィルタ処理部41は、逆フィルタ補正部42から入力する補正逆フィルタを、補正前可視光画像15の処理対象ブロックに対して適用する。
この結果、フィルタ妥当性信頼度の低いブロックに対する逆フィルタの適用効果は、小さく抑えられることになる。
逆に、フィルタ妥当性信頼度の高いブロックに対する逆フィルタの適用効果は、大きく設定される。

0213

このように、本実施例では、遠赤外画像に適用したフィルタの妥当性信頼度に応じた逆フィルタ適用処理が実現されることになり、フィルタ妥当性の高いブロックは逆フィルタの適用効果を高め、フィルタ妥当性信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、フィルタ妥当性信頼度に応じた効果的なブラー解消処理が可能となる。

0214

次に、図17図20を参照して説明した本実施例3、すなわち、構成(A+C)であるブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置における処理シーケンスについて、図21に示すフローチャートを参照して説明する。

0215

図21に示すフローチャートは、先に、図8を参照して説明した図7の「(A)基本構成例」対応の画像処理装置の実行する処理フローのステップS101〜S114の処理に、ステップS109bと、ステップS112bの処理を追加したフローチャートである。

0216

追加処理であるステップS109bと、ステップS112b以外の処理は、図8を参照して説明したフローのステップS101〜S114の処理と同様であるので、説明を省略し、追加処理であるステップS109bと、ステップS112bの処理についてのみ説明する。

0217

(ステップS109b)
ステップS109は、相関値、または、フィルタ妥当性に基づいて、ブラー推定部30の実行したブラー推定結果の信頼度を算出する処理である。

0218

このステップS109bの処理は、図17図18を参照して説明したブラー推定部30の信頼度算出部34a、または、図19図20を参照して説明したブラー推定部30の信頼度算出部34bの実行する処理である。

0219

図17に示す画像処理装置AC1,20−AC1を利用した構成では、信頼度算出部34aが、ブラー推定部30の相関演算部32が算出する相関値、すなわち、ブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づく信頼度を算出する。

0220

先に、図18を参照して説明したように、ブラー推定部30の相関演算部32は、例えば、図18に示す以下の2つのブロック、すなわち、
(a2)補正前可視光画像相関値算出ブロック、
(b3)フィルタ適用後遠赤外画像相関値算出ブロック、
この2つのブロックの相関値を算出する。
図18に示す例では、これら2つのブロックの類似度は低いため、相関値は、極めて低い値となる。

0221

このように、ブラー推定部30の相関演算部32の算出する相関値が低い値である場合、信頼度算出部34aは、相関値信頼度を低い値に設定する。
例えば、信頼度算出部34aの算出する相関値信頼度が、
相関値信頼度α=1(高信頼度)〜0(縦い信頼度)の範囲の設定である場合、
信頼度算出部34aは、相関値信頼度α=0〜0.1程度の低い値に設定して、逆フィルタ補正部42に出力する。
逆に、2つのブロックの類似度が高い場合は、相関値は、高い値となり、信頼度算出部34aは、相関値信頼度を高い値に設定して、逆フィルタ補正部42に出力する。

0222

このように、図17に示す画像処理装置AC1,20−AC1を利用した構成では、信頼度算出部34aが、ブラー推定部30の相関演算部32が算出する相関値、すなわち、ブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づく信頼度を算出する。

0223

なお、この信頼度算出処理は、フロー中のループ1において実行される処理であり、ブロック単位で繰り返し実行される。
すなわち、信頼度算出部34aは、ブラー推定部30の相関演算部32が算出するブロック単位の相関値、すなわち、ブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像とのブロック単位の相関値に基づくブロック単位の相関値信頼度を算出する。

0224

次に、図19に示す画像処理装置AC2,20−AC2を利用した構成の場合のステップS109bの処理について説明する。
図19に示す画像処理装置AC2,20−AC2を利用した構成では、信頼度算出部34bが、ブラー推定部30の相関演算部32における相関算出処理に利用したフィルタ処理後の遠赤外光画像に適用されたフィルタの妥当性に基づく信頼度を算出する。

0225

先に、図20を参照して説明したように、信頼度算出部34bは、図20に示すような、「(b4)相関値最大のフィルタ適用後遠赤外画像相関値算出ブロック」を生成するために適用されたフィルタF1の妥当性に基づく信頼度を算出する。
例えば、図20に示すような複数方向のラインに沿ったブラー(ぼけ)を発生させるようなフィルタが、最大相関値算出ブロックに適用された場合、フィルタの信頼度を低いと判定する。
一方、一方向のラインに沿ったブラー(ぼけ)を発生させフィルタが、最大相関値算出ブロックに適用された場合、フィルタの信頼度を高いと判定する。

0226

このように、信頼度算出部34bは、ブラー推定部30の相関演算部32における相関算出処理に利用したフィルタ処理後の遠赤外光画像に適用されたフィルタの妥当性に基づく信頼度を算出する。
例えば、信頼度算出部34bの算出するフィルタ妥当性信頼度が、
フィルタ妥当性頼度α=1(高信頼度)〜0(縦い信頼度)の範囲の設定である場合、図20に示すような複数方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、信頼度算出部34bは、フィルタ妥当性信頼度α=0〜0.1程度の低い値に設定して、逆フィルタ補正部42に出力する。

0227

逆に、例えば一方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、信頼度算出部34bは、フィルタ妥当性信頼度を高い値に設定して、逆フィルタ補正部42に出力する。

0228

このように、図19に示す画像処理装置AC2,20−AC2を利用した構成では、信頼度算出部34bが、ブラー推定部30の相関演算部32における相関算出処理に利用したフィルタ処理後の遠赤外光画像に適用されたフィルタの妥当性に基づく信頼度を算出する。
なお、この信頼度算出処理は、フロー中のループ1において実行される処理であり、ブロック単位で繰り返し実行される。

0229

(ステップS112b)
次に、図21に示すフローのもう一つの追加ステップの処理であるステップS112bの処理について説明する。

0230

ステップS112bは、図17図19に示すブラー除去部40の逆フィルタ補正部42において実行する処理である。
図17に示す構成では、逆フィルタ補正部42は、信頼度算出部34aから入力するブラー推定結果信頼度である相関値信頼度に応じて、逆フィルタ処理部41において適用する逆フィルタの強度を調整する。
また、図19に示す構成では、逆フィルタ補正部42は、信頼度算出部34bから入力するブラー推定結果信頼度であるフィルタ妥当性信頼度に応じて、逆フィルタ処理部41において適用する逆フィルタの強度を調整する。

0231

例えば、信頼度算出部34a、または信頼度算出部34bから入力するブラー推定結果信頼度である相関値信頼度、またはフィルタ妥当性信頼度が高い場合は、逆フィルタ処理部41において適用する逆フィルタの強度を弱めることなく、逆フィルタバンク45から取得した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像15の処理対象ブロックに対して逆フィルタバンク45から取得した逆フィルタをそのまま適用する。

0232

一方、信頼度算出部34a、または信頼度算出部34bから入力するブラー推定結果信頼度である相関値信頼度、またはフィルタ妥当性信頼度がが低い場合は、逆フィルタ処理部41において適用する逆フィルタの強度を弱める。すなわち、逆フィルタバンク45から取得した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

0233

このように、「(実施例3)(A+C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置」は、
相関演算部32において算出する相関値信頼度、または
遠赤外画像に適用したフィルタの妥当性信頼度、
これらいずれかの信頼度をブラー推定結果の信頼度として算出し、このブラー推定結果の信頼度に応じて逆フィルタの適用効果の調整処理を行う。、

0234

この処理によりブラー推定結果の信頼度の高いブロックは逆フィルタの適用効果を高め、ブラー推定結果の信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、ブラー推定結果の信頼度に応じた最適なブラー除去処理が可能となる。

0235

[6.(実施例4)基本構成(A)+前処理(B)+信頼度に応じたブラー除去処理(C)の全てを実行する画像処理装置の処理について]
次に、本開示の画像処理装置の実施例4として、基本構成(A)+前処理(B)+信頼度に応じたブラー除去処理(C)の全てを実行する画像処理装置の処理について説明する。

0236

この実施例4は、先に図4を参照して説明した構成(A+B+C)、すなわち基本構成(A)の処理に追加して、「(B)ブラー推定前の前処理」と、「(C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」の両処理を行う構成例である。

0237

画像処理装置の構成としては、例えば、先に実施例2として説明した「(B)ブラー推定前の前処理」を実行する構成(A+B)に対応する画像処理装置である図9図11図13図14のいずれかの構成と、先に実施例3として説明した「(C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する構成(A+C)に対応する画像処理装置である図17、または図19のいずれかの構成とを組み合わせた構成となる。

0238

処理フローについては、先に実施例2として説明した「(B)ブラー推定前の前処理」を実行する処理フローである図15、または図16に示す処理フローのいずれかのフローと、先に実施例3として説明した「(C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する処理フローである図21に示す処理フローを組み合わせたフローとなる。

0239

本実施例4の処理シーケンスを説明するフローチャートを図22図23に示す。
図22に示すフローチャートは、先に実施例2として説明した「(B)ブラー推定前の前処理」を実行する処理フローである図15に示す処理フローと、先に実施例3として説明した「(C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する処理フローである図21に示す処理フローを組み合わせたフローである。

0240

この図22に示すフローは、先に、図8を参照して説明した図7の「(A)基本構成例」対応の画像処理装置の実行する処理フローのステップS101〜S114の処理に、以下の処理を追加したフローである。
(追加処理1)図15を参照して説明した「(B)ブラー推定前の前処理」を実行する(A+B)構成の画像処理装置の実行する処理ステップであるステップS101bと、ステップS102bの処理、
(追加処理2)図21を参照して説明した「(C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する(A+C)構成の画像処理装置の実行する処理ステップであるステップS109bと、ステップS112bの処理、
これらの各ステップの具体的な処理については、説明済みであるので、説明は省略する。

0241

さらに、図23に示すフローチャートは、先に実施例2として説明した「(B)ブラー推定前の前処理」を実行する処理フローである図16に示す処理フローと、先に実施例3として説明した「(C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する処理フローである図21に示す処理フローを組み合わせたフローである。

0242

この図23に示すフローは、先に、図8を参照して説明した図7の「(A)基本構成例」対応の画像処理装置の実行する処理フローのステップS101〜S114の処理に、以下の処理を追加したフローである。
(追加処理1)図16を参照して説明した「(B)ブラー推定前の前処理」を実行する(A+B)構成の画像処理装置の実行する処理ステップであるステップS101cと、ステップS102cの処理、
(追加処理2)図21を参照して説明した「(C)ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する(A+C)構成の画像処理装置の実行する処理ステップであるステップS109bと、ステップS112bの処理、
これらの各ステップの具体的な処理については、説明済みであるので、説明は省略する。

0243

本実施例4は、先に説明した実施例2のブラー推定前の前処理、および実施例3のブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理、これら2つの処理を併せて実行する構成である。

0244

ブラー推定前の前処理を行うことで、補正前可視光画像15と、遠赤外画像16の見え方の違いが緩和され、類似画素値によって構成される画像に基づく相関値算出が可能となり、より精度の高い相関値算出が実行される。最終的に生成される補正後可視光画像17のブラー除去効果も、より高くなる。
また、ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行うことで、ブラー推定結果の信頼度に応じた最適なブラー除去処理が可能となる。

0245

[7.画像処理装置のハードウェア構成例について]
次に、図24を参照して画像処理装置のハードウェア構成例について説明する。
図24は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

0246

CPU(Central Processing Unit)81は、ROM(Read Only Memory)82、または記憶部88に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)83には、CPU81が実行するプログラムやデータなどが記憶される。これらのCPU81、ROM82、およびRAM83は、バス84により相互に接続されている。

0247

CPU81はバス84を介して入出力インタフェース85に接続され、入出力インタフェース85には、可視光カメラや(遠)赤外カメラ等によって構成される撮像部95の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボードマウスマイクロフォンなどよりなる入力部86、表示部96やスピーカなどに対するデータ出力を実行する出力部87が接続されている。CPU81は、入力部86から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部87に出力する。

0248

入出力インタフェース85に接続されている記憶部88は、例えばハードディスク等からなり、CPU81が実行するプログラムや各種のデータを記憶する。通信部89は、Wi−Fi通信、ブルートゥース登録商標)(BT)通信、その他インターネットローカルエリアネットワークなどのネットワークを介したデータ通信送受信部として機能し、外部の装置と通信する。

0249

入出力インタフェース85に接続されているドライブ90は、磁気ディスク光ディスク光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア91を駆動し、データの記録あるいは読み取りを実行する。

0250

[8.車両に本開示の画像処理装置を備えた車両制御システムの構成例について]
次に、上述した本開示の画像処理装置を、車両に備え付けた車両制御システムの一構成例について説明する。
図25は、上述した処理を実行する画像処理装置を含む車両制御システム100の概略的な機能の構成例を示すブロック図である。

0251

なお、上述した本開示の画像処理装置は、図25に示す車両制御システム100の検出部131の車外情報検出部141、データ取得部102、出力制御部105、出力部106の構成の一部に対応する。

0252

上述した本開示の画像処理装置が実行する処理は、主に図25に示す車両制御システム100の検出部131の車外情報検出部141によって実行される。
図25に示す車両制御システム100のデータ取得部102は、可視光カメラと(遠)赤外カメラを含み、車外情報検出部141は、これらのカメラの撮影画像を入力して上述した処理を実行する。
なお、処理結果は、例えば、図25に示す車両制御システム100の出力部106を構成する表示部に表示され、ユーザ(ドライバ)によって確認される。
以下、図25に示す車両制御システム100の構成について説明する。

0253

なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

0254

車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。

0255

なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。

0256

入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声ジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。

0257

データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。

0258

例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ加速度センサ慣性計測装置IMU)、及び、アクセルペダル操作量ブレーキペダルの操作量、ステアリングホイール操舵角エンジン回転数モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

0259

また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、可視光カメラ、ステレオカメラ単眼カメラ、(遠)赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ霧センサ日照センサ雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサレーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。

0260

さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。

0261

また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

0262

通信部103は、車内機器104、並びに、車外の様々な機器サーバ基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である

0263

例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、又は、MHL(Mobile High−definition Link)等により、車内機器104と有線通信を行う。

0264

さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞通行規制又は所要時間等の情報を取得する。

0265

車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

0266

出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。

0267

出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置インストルメントパネルオーディオスピーカヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイスプロジェクタランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

0268

駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態通知等を行う。

0269

駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構舵角を調節するステアリング機構制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。

0270

ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。

0271

ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステムスマートキーシステムパワーウィンドウ装置パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプバックランプブレーキランプウィンカフォグランプ等)等を備える。

0272

記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

0273

自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和車間距離に基づく追従走行車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。

0274

検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。

0275

車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物構造物、道路、信号機交通標識道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。

0276

車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調覚醒度集中度疲労度視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。

0277

車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。

0278

自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。

0279

状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。

0280

マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。

0281

交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。

0282

状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。

0283

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

0284

状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。

0285

状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

0286

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

0287

状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。

0288

ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。

0289

行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進後退左折右折方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する

0290

動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。

0291

動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。

0292

緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。

0293

加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。

0294

方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。

0295

[9.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

0296

なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1)同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部は、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理装置。

0297

(2) 前記ブラー推定部は、
前記可視光画像の分割領域であるブロック単位で、フィルタを選択し、
前記ブラー除去部は、
前記可視光画像の分割領域であるブロック単位で、前記フィルタに対応する逆フィルタを選択して適用する(1)に記載の画像処理装置。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ