図面 (/)

技術 画像処理装置及び画像処理方法

出願人 三菱電機株式会社
発明者 佐藤真梨子玉川恭久
出願日 2016年4月25日 (5年1ヶ月経過) 出願番号 2016-086968
公開日 2017年11月2日 (3年7ヶ月経過) 公開番号 2017-198464
状態 特許登録済
技術分野 画像処理 イメージ分析 気象学
主要キーワード 変換係数α マルチスペクトルセンサ 雲領域 大気減衰 ハイパースペクトルセンサ 画像出力値 天頂角θ 反射率ρ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

雪氷識別して、雲の領域を検出することができる画像処理装置及び画像処理方法を得ることを目的とする。

解決手段

彩度判定部4又は人工物判定部5により検出された画素に対応する地表面での反射率推定部2により推定された可視域反射率ρ(band)と近赤外域の反射率ρ(NIR)との差分Δρを算出し、彩度判定部4又は人工物判定部5により検出された画素のうち、算出した差分Δρが差分反射率判定用閾値以下の画素を検出する雪氷判定部6を備える。

概要

背景

例えば、衛星や航空機に搭載されるマルチスペクトルセンサハイパースペクトルセンサなどによって観測された地球の観測画像には、の領域が含まれていることがある。
そして、観測対象が雲の領域内に存在している場合、観測対象を視認することができないことがある。
したがって、マルチスペクトルセンサなどから得られる複数の観測画像の中には、観測対象を視認することが可能な観測画像と、観測対象を視認することが不可能な観測画像とが混在しているため、観測画像内の雲領域を検出して、観測対象を視認することが可能な観測画像を選別する必要がある。

以下の特許文献1には、雲は輝度が高く、かつ、彩度が低いという特徴を利用して、観測画像内の雲領域を検出する画像処理装置が開示されている。

概要

雪氷と雲を識別して、雲の領域を検出することができる画像処理装置及び画像処理方法を得ることを目的とする。彩度判定部4又は人工物判定部5により検出された画素に対応する地表面での反射率推定部2により推定された可視域反射率ρ(band)と近赤外域の反射率ρ(NIR)との差分Δρを算出し、彩度判定部4又は人工物判定部5により検出された画素のうち、算出した差分Δρが差分反射率判定用閾値以下の画素を検出する雪氷判定部6を備える。

目的

この発明は上記のような課題を解決するためになされたもので、雪氷と雲を識別して、雲の領域を検出することができる画像処理装置及び画像処理方法を得ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

地球の観測画像を構成している画素画素値から、当該画素に対応する地表面での可視域反射率近赤外域の反射率を推定する反射率推定部と、前記観測画像を構成している画素のうち、前記反射率推定部により推定された前記対応する地表面での可視域の反射率が第1の閾値以上の画素を検出する第1の画素検出部と、前記第1の画素検出部により検出された画素に対応する地表面での可視域の反射率から、当該画素の彩度を算出し、前記第1の画素検出部により検出された画素のうち、彩度が第2の閾値以下の画素を検出する第2の画素検出部と、前記第2の画素検出部により検出された画素に対応する地表面での前記反射率推定部により推定された可視域の反射率と近赤外域の反射率との差分を算出し、前記第2の画素検出部により検出された画素のうち、前記差分が第3の閾値以下の画素を検出する第3の画素検出部とを備えた画像処理装置

請求項2

空間フィルタを用いて、前記第2の画素検出部又は前記第3の画素検出部により検出された画素の分布に対する空間フィルタリングを実施し、前記第2の画素検出部又は前記第3の画素検出部により検出された画素のうち、前記空間フィルタの出力値が第4の閾値以上の画素を検出する第4の画素検出部を備えたことを特徴とする請求項1記載の画像処理装置。

請求項3

前記観測画像の各波長帯における画素値のオフセットレベルを特定し、各波長帯における画素値のオフセットレベルにしたがって前記観測画像を補正する画像補正部を備え、前記画像補正部により補正された観測画像が前記反射率推定部に与えられることを特徴とする請求項1または請求項2記載の画像処理装置。

請求項4

前記第3の画素検出部により検出された画素を有する分布画像縮小画像を生成する縮小画像生成部を備えたことを特徴とする請求項1から請求項3のうちのいずれか1項記載の画像処理装置。

請求項5

前記観測画像を構成している画素の個数に対する前記第3の画素検出部により検出された画素の個数の比率雲量として算出する雲量算出部を備えたことを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像処理装置。

請求項6

反射率推定部が、地球の観測画像を構成している画素の画素値から、当該画素に対応する地表面での可視域の反射率と近赤外域の反射率を推定し、第1の画素検出部が、前記観測画像を構成している画素のうち、前記反射率推定部により推定された前記対応する地表面での可視域の反射率が第1の閾値以上の画素を検出し、第2の画素検出部が、前記第1の画素検出部により検出された画素に対応する地表面での可視域の反射率から、当該画素の彩度を算出し、前記第1の画素検出部により検出された画素のうち、彩度が第2の閾値以下の画素を検出し、第3の画素検出部が、前記第2の画素検出部により検出された画素に対応する地表面での前記反射率推定部により推定された可視域の反射率と近赤外域の反射率との差分を算出し、前記第2の画素検出部により検出された画素のうち、前記差分が第3の閾値以下の画素を検出する画像処理方法

技術分野

0001

この発明は、地球の観測画像内の雲領域を検出する画像処理装置及び画像処理方法に関するものである。

背景技術

0002

例えば、衛星や航空機に搭載されるマルチスペクトルセンサハイパースペクトルセンサなどによって観測された地球の観測画像には、の領域が含まれていることがある。
そして、観測対象が雲の領域内に存在している場合、観測対象を視認することができないことがある。
したがって、マルチスペクトルセンサなどから得られる複数の観測画像の中には、観測対象を視認することが可能な観測画像と、観測対象を視認することが不可能な観測画像とが混在しているため、観測画像内の雲領域を検出して、観測対象を視認することが可能な観測画像を選別する必要がある。

0003

以下の特許文献1には、雲は輝度が高く、かつ、彩度が低いという特徴を利用して、観測画像内の雲領域を検出する画像処理装置が開示されている。

先行技術

0004

特開2015−64753号公報

発明が解決しようとする課題

0005

従来の画像処理装置は以上のように構成されているので、雲の可能性が高い領域を検出することができるが、雪氷と雲の識別を行うことができない。このため、雪氷の領域を誤って雲の領域として検出してしまうことがあるという課題があった。

0006

この発明は上記のような課題を解決するためになされたもので、雪氷と雲を識別して、雲の領域を検出することができる画像処理装置及び画像処理方法を得ることを目的とする。

課題を解決するための手段

0007

この発明に係る画像処理装置は、地球の観測画像を構成している画素画素値から、当該画素に対応する地表面での可視域反射率近赤外域の反射率を推定する反射率推定部と、観測画像を構成している画素のうち、反射率推定部により推定された対応する地表面での可視域の反射率が第1の閾値以上の画素を検出する第1の画素検出部と、第1の画素検出部により検出された画素に対応する地表面での可視域の反射率から、当該画素の彩度を算出し、第1の画素検出部により検出された画素のうち、彩度が第2の閾値以下の画素を検出する第2の画素検出部と、第2の画素検出部により検出された画素に対応する地表面での反射率推定部により推定された可視域の反射率と近赤外域の反射率との差分を算出し、第2の画素検出部により検出された画素のうち、その差分が第3の閾値以下の画素を検出する第3の画素検出部とを備えるようにしたものである。

発明の効果

0008

この発明によれば、第2の画素検出部により検出された画素に対応する地表面での反射率推定部により推定された可視域の反射率と近赤外域の反射率との差分を算出し、第2の画素検出部により検出された画素のうち、その差分が第3の閾値以下の画素を検出する第3の画素検出部とを備えるように構成したので、雪氷と雲を識別して、雲の領域を検出することができる効果がある。

図面の簡単な説明

0009

この発明の実施の形態1による画像処理装置を示す構成図である。
この発明の実施の形態1による画像処理装置のハードウェア構成図である。
画像処理装置がソフトウェアファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
画像処理装置がソフトウェアやファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。
人工物判定部5により作成された検出画素マッピングの一例を示す説明図である。
3×3画素の空間フィルタを示す説明図である。
雲と雪氷の分光反射特性を示す説明図である。
この発明の実施の形態2による画像処理装置を示す構成図である。
この発明の実施の形態2による画像処理装置のハードウェア構成図である。
大気散乱放射輝度の分光特性を示す説明図である。
観測画像のヒストグラムにおけるマルチバンドの特性を示す説明図である。
この発明の実施の形態3による画像処理装置を示す構成図である。
この発明の実施の形態3による画像処理装置のハードウェア構成図である。
この発明の実施の形態4による画像処理装置を示す構成図である。
この発明の実施の形態4による画像処理装置のハードウェア構成図である。

実施例

0010

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。

0011

実施の形態1.
図1はこの発明の実施の形態1による画像処理装置を示す構成図であり、図2はこの発明の実施の形態1による画像処理装置のハードウェア構成図である。
図1及び図2において、データベース1は例えば図2記憶回路11で実現されるものであり、雲反射率判定用閾値ρth(第1の閾値)、彩度判定用閾値Sth(第2の閾値)、差分反射率判定用閾値Δρth(第3の閾値)、フィルタ値判定用閾値Filth(第4の閾値)を記憶している。
また、データベース1は地球の観測画像を観測しているセンサにおける輝度値感度に係る放射輝度変換係数α(band)、当該センサにおける輝度値のオフセットに係る放射輝度変換係数β(band)のほか、太陽照度Esun(band)、太陽天頂角θsunや観測画像の解像度などを記憶している。
なお、太陽照度Esun(band)は太陽天頂角θsunが0度のときの地表面における照度である。

0012

反射率推定部2は例えば図2の反射率推定回路12で実現されるものであり、地球の観測画像を構成している画素の画素値から、当該画素に対応する地表面での可視域の反射率ρ(band)と近赤外域の反射率ρ(NIR)を推定する処理を実施する。
観測画像を構成している画素の画素値には、可視域の画素値を示すデジタル値DN(band)として、赤色成分を示すデジタル値DN(R)、緑色成分を示すデジタル値DN(G)、青色成分を示すデジタル値DN(B)が含まれている。また、観測画像を構成している画素の画素値には、近赤外域の画素値を示すデジタル値DN(NIR)が含まれている。

0013

反射率判定部3は例えば図2の反射率判定回路13で実現されるものであり、観測画像を構成している画素のうち、反射率推定部2により推定された対応する地表面での可視域の反射率ρ(band)が、データベース1に記憶されている雲反射率判定用閾値ρth以上の画素を検出する第1の画素検出部である。
彩度判定部4は例えば図2の彩度判定回路14で実現されるものであり、反射率推定部2により推定された可視域の反射率ρ(band)のうち、反射率判定部3により検出された画素に対応する地表面での可視域の反射率ρ(band)から、当該画素の彩度sを算出する処理を実施する。
また、彩度判定部4は反射率判定部3により検出された画素のうち、算出した彩度Sがデータベース1に記憶されている彩度判定用閾値Sth以下の画素を検出する第2の画素検出部である。

0014

人工物判定部5は例えば図2の人工物判定回路15で実現されるものであり、空間フィルタを用いて、彩度判定部4により検出された画素の分布に対する空間フィルタリングを実施する。
また、人工物判定部5は彩度判定部4により検出された画素のうち、その空間フィルタの出力値がデータベース1に記憶されているフィルタ値判定用閾値Filth以上の画素を検出する第4の画素検出部である。
この実施の形態1では、人工物判定部5を雪氷判定部6の前段に設けているが、雪氷判定部6の後段に設けていてもよい。また、高輝度かつ低彩度な人工物等が観測画像に含まれていない状況下では、人工物判定部5を実装している必要はない。

0015

雪氷判定部6は例えば図2の雪氷判定回路16で実現されるものであり、反射率推定部2により推定された可視域の反射率ρ(band)及び近赤外域の反射率ρ(NIR)のうち、人工物判定部5により検出された画素に対応する地表面での可視域の反射率ρ(band)と近赤外域の反射率ρ(NIR)とを取得して、その可視域の反射率ρ(band)と近赤外域の反射率ρ(NIR)との差分Δρを算出する処理を実施する。
また、雪氷判定部6は人工物判定部5により検出された画素のうち、算出した差分Δρがデータベース1に記憶されている差分反射率判定用閾値Δρth以下の画素を検出する第3の画素検出部である。
なお、雪氷判定部6は、人工物判定部5が実装されていない場合、彩度判定部4により検出された画素を処理対象とする。

0016

図1では、画像処理装置の構成要素であるデータベース1、反射率推定部2、反射率判定部3、彩度判定部4、人工物判定部5及び雪氷判定部6のそれぞれが、図2に示すような専用のハードウェア、即ち、記憶回路11、反射率推定回路12、反射率判定回路13、彩度判定回路14、人工物判定回路15及び雪氷判定回路16で実現されるものを想定している。
ここで、記憶回路11は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリEPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性又は揮発性半導体メモリや、磁気ディスクフレキシブルディスク光ディスクコンパクトディスクミニディスク、DVD(Digital Versatile Disc)などが該当する。
また、反射率推定回路12、反射率判定回路13、彩度判定回路14、人工物判定回路15及び雪氷判定回路16は、例えば、単一回路、複合回路プログラム化したプロセッサ並列プログラム化したプロセッサ、ASIC(Application Specific IntegratedCircuit)、FPGA(Field−Programmable Gate Array)、または、これらを組み合わせたものが該当する。

0017

また、画像処理装置の構成要素が専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェアやファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置処理装置演算装置マイクロプロセッサマイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)などが該当する。

0018

図3は画像処理装置がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
画像処理装置がソフトウェアやファームウェアなどで実現される場合、データベース1をコンピュータのメモリ21上に構成するとともに、反射率推定部2、反射率判定部3、彩度判定部4、人工物判定部5及び雪氷判定部6の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
図4は画像処理装置がソフトウェアやファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。
また、図2では画像処理装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図3では、画像処理装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像処理装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。

0019

次に動作について説明する。
反射率推定部2は、例えば、衛星や航空機に搭載されるマルチスペクトルセンサやハイパースペクトルセンサなどによって観測された地球の観測画像を取得する。
観測画像を構成している画素の画素値には、可視域の画素値を示すデジタル値DN(band)として、赤色成分を示すデジタル値DN(R)、緑色成分を示すデジタル値DN(G)、青色成分を示すデジタル値DN(B)が含まれている。また、観測画像を構成している画素の画素値には、近赤外域の画素値を示すデジタル値DN(NIR)が含まれている。
また、反射率推定部2は、データベース1から雲反射率判定用閾値ρth、放射輝度変換係数α(band),β(band)、太陽照度Esun(band)及び太陽天頂角θsunを取得する。

0020

反射率推定部2は、地球の観測画像を取得すると、その観測画像を構成している画素の画素値から、当該画素に対応する地表面での可視域の反射率ρ(band)と近赤外域の反射率ρ(NIR)を推定する(図4のステップST1)。
地表面での可視域の反射率ρ(band)は、下記の式(1)のように表される。

0021

式(1)において、ρ(R),ρ(G),ρ(B)は、下記の式(2)〜(4)のように表される。

0022

式(2)〜(4)において、α(R)は放射輝度変換係数α(band)に含まれている赤色成分の放射輝度変換係数、α(G)は放射輝度変換係数α(band)に含まれている緑色成分の放射輝度変換係数、α(B)は放射輝度変換係数α(band)に含まれている青色成分の放射輝度変換係数である。
β(R)は放射輝度変換係数β(band)に含まれている赤色成分の放射輝度変換係数、β(G)は放射輝度変換係数β(band)に含まれている緑色成分の放射輝度変換係数、β(B)は放射輝度変換係数β(band)に含まれている青色成分の放射輝度変換係数である。
また、Esun(R)は太陽照度Esun(band)に含まれている赤色成分の太陽照度、Esun(G)は太陽照度Esun(band)に含まれている緑色成分の太陽照度、Esun(B)は太陽照度Esun(band)に含まれている青色成分の太陽照度である。
太陽天頂角θsunはセンサによって画像が観測された時刻での天頂角である。

0023

地表面での近赤外域の反射率ρ(NIR)は、下記の式(5)のように表される。



式(5)において、α(NIR)は放射輝度変換係数α(band)に含まれている近赤外域の放射輝度変換係数、β(NIR)は放射輝度変換係数β(band)に含まれている近赤外域の放射輝度変換係数である。
また、Esun(NIR)は太陽照度Esun(band)に含まれている近赤外域の太陽照度である。

0024

この実施の形態1では、式(1)〜(4)によって、可視域の反射率ρ(band)を推定するものを示しているが、下記の式(6)に示すように、観測画像に映っている既知の被写体の放射輝度変換係数α’(band),β’(band)を用いて、可視域の反射率ρ(band)を推定するようにしてもよい。
既知の被写体の放射輝度変換係数α’(band),β’(band)は、例えば、分光器によって被写体を計測することで得られる。

0025

反射率推定部2の後段に設置されている反射率判定部3では、後述するように、反射率推定部2により推定された地表面での可視域の反射率ρ(band)を用いて、雲の可能性がある高い輝度の画素が検出されるが、観測画像を構成している画素の画素値ではなく、地表面での可視域の反射率ρ(band)を用いることで、太陽天頂角θsunによる輝度変化や、センサの感度やオフセットの変化に伴う輝度変化の影響を軽減することができる。

0026

反射率判定部3は、反射率推定部2により推定された可視域の反射率ρ(band)と、データベース1に記憶されている雲反射率判定用閾値ρthとを取得する。
反射率判定部3は、観測画像を構成している画素のうち、反射率推定部2により推定された対応する地表面での可視域の反射率ρ(band)が、データベース1に記憶されている雲反射率判定用閾値ρth以上の画素を検出する(ステップST2)。
即ち、反射率判定部3は、観測画像を構成している画素毎に、下記の式(7)に示すように、反射率推定部2により推定された当該画素に対応する地表面での可視域の反射率ρ(band)と、データベース1に記憶されている雲反射率判定用閾値ρthとを比較し、可視域の反射率ρ(band)が雲反射率判定用閾値ρth以上の画素を検出する。

0027

式(7)において、雲反射率判定用閾値ρthは、雲である場合の反射率の中で、最小の輝度値が設定されることが想定される。
具体的には、観測画像の観測時において、大気散乱の影響がないと考えられる場合には、例えば、0.8程度の値を雲反射率判定用閾値ρthとして用いることができる。また、大気散乱の影響があると考えられる場合には、例えば、0.6程度の値を雲反射率判定用閾値ρthとして用いることができる。したがって、雲反射率判定用閾値ρthは、設計時に大気散乱の影響などを考慮して適宜設定される。
これにより、観測画像から雲の可能性が高い画素を検出することができる。ただし、この段階では、雲と同程度の高反射な被写体である人工物や氷雪についての画素も検出される可能性がある。

0028

彩度判定部4は、反射率推定部2から反射率判定部3により検出された画素に対応する地表面での可視域の反射率ρ(band)、即ち、可視域の反射率ρ(R),ρ(G),ρ(B)を取得する。また、データベース1に記憶されている彩度判定用閾値Sthを取得する。
彩度判定部4は、下記の式(8)に示すように、反射率判定部3により検出された画素対応する地表面での可視域の反射率ρ(R),ρ(G),ρ(B)から、当該画素の彩度Sを算出する。



式(8)において、max{ρ(R),ρ(G),ρ(B)}は、ρ(R),ρ(G),ρ(B)の中で最も大きいものを選択することを意味する。
また、min{ρ(R),ρ(G),ρ(B)}は、ρ(R),ρ(G),ρ(B)の中で最も小さいものを選択することを意味する。

0029

彩度判定部4は、反射率判定部3により検出された各画素の彩度Sを算出すると、反射率判定部3により検出された画素のうち、算出した彩度Sがデータベース1に記憶されている彩度判定用閾値Sth以下の画素を検出する(ステップST3)。
即ち、彩度判定部4は、反射率判定部3により検出された画素毎に、下記の式(9)に示すように、当該画素の彩度Sとデータベース1に記憶されている彩度判定用閾値Sthとを比較し、彩度Sが彩度判定用閾値Sth以下の画素を検出する。



雲の色は白であり、彩度は極めて小さいことが想定されるため、彩度判定用閾値Sthとして、例えば、0.1程度の値を用いることができる。
これにより、観測画像から雲の可能性が高い高輝度かつ低彩度な画素を検出することができる。ただし、この段階では、雲と同程度の高反射かつ低彩度な被写体である人工物や氷雪についての画素も検出される可能性がある。

0030

人工物判定部5は、彩度判定部4により検出された画素と、データベース1に記憶されているフィルタ値判定用閾値Filth及び観測画像の解像度とを取得する。
人工物判定部5は、観測画像の検出画素マッピングとして、例えば、図5に示すように、彩度判定部4により検出された画素の位置には“1”の値が入力され、彩度判定部4により検出されていない画素の位置には“0”の値が入力されている検出画素マッピングを作成する。
図5は人工物判定部5により作成された検出画素マッピングの一例を示す説明図であり、検出画素マッピングの解像度は、観測画像の解像度と同じである。

0031

人工物判定部5は、検出画素マッピングを作成すると、空間フィルタを用いて、彩度判定部4により検出された画素の分布に対する空間フィルタリングを実施する(図4のステップST4)。
即ち、人工物判定部5は、検出画素マッピングにおける各画素を順番注目画素として、注目画素の値と、当該注目画素の周辺に存在している周辺画素の値とから、注目画素のフィルタ値Filを算出する。
彩度判定部4により検出された画素の分布に対する空間フィルタリングとして、下記のような処理が考えられる。
例えば、空間フィルタが図6に示すような3×3画素のフィルタであるとして、3×3画素のフィルタにおける中心の画素が注目画素、注目画素の周辺に存在している8個の画素が周辺画素であるとするとき、下記の式(10)に示すように、1個の注目画素の値Pattと8個の周辺画素との値Paro(i)の平均値を、注目画素のフィルタ値Filとして算出するような処理が考えられる。

0032

雲の領域は一般的に大きな領域を有し、人工物の領域は雲の領域より一般的に小さな領域である。
したがって、雲の領域であれば、一般的には3×3画素のフィルタに対応する位置に存在している検出画素マッピングにおける9個の画素のうち、半数以上の画素が“1”であることが想定される。
一方、人工物の領域であれば、一般的には3×3画素のフィルタに対応する位置に存在している検出画素マッピングにおける9個の画素のうち、“1”の画素は1,2個程度であることが想定される。ただし、大きな人工物であれば、“1”の画素が3個以上であることはあり得る。
例えば、検出画素マッピングにおける9個の画素のうち、“1”の画素の個数が8個であれば、式(10)によって算出される注目画素のフィルタ値Filは約0.89となる。
また、“1”の画素の個数が3個であれば、式(10)によって算出される注目画素のフィルタ値Filは約0.33となる。
このため、フィルタ値判定用閾値Filthとしては、例えば、0.4や0.5などの値を用いることができる。

0033

ここでは、空間フィルタとして、3×3画素のフィルタを用いるものを示したが、フィルタサイズは3×3画素に限るものではなく、任意のサイズの空間フィルタを用いることができる。
また、ここでは、単純に9個の画素値の平均値を算出する空間フィルタを用いる例を示しているが、移動平均を算出する移動平均フィルタや、重みを持たせるガウシアンフィルタなどを用いるようにしてもよい。

0034

人工物判定部5は、検出画素マッピングにおける各々の画素を注目画素として、上記の空間フィルタリングを実施すると、検出画素マッピングにおける各画素のうち、空間フィルタの出力値がデータベース1に記憶されているフィルタ値判定用閾値Filth以上の画素を検出する(図4のステップST5)。
即ち、人工物判定部5は、検出画素マッピング内の画素毎に、下記の式(11)に示すように、当該画素についての空間フィルタの出力値である注目画素のフィルタ値Filと、データベース1に記憶されているフィルタ値判定用閾値Filthとを比較し、フィルタ値Filがフィルタ値判定用閾値Filth以上の画素を検出する。



これにより、雲より小さく、高輝度かつ低彩度な被写体である人工物や、ガラスなどによって正反射された太陽光輝点を除外することができる。

0035

雪氷判定部6は、反射率推定部2から人工物判定部5により検出された画素に対応する可視域の反射率ρ(band)と近赤外域の反射率ρ(NIR)とを取得する。また、データベース1に記憶されている差分反射率判定用閾値Δρthを取得する。
ここで、図7は雲と雪氷の分光反射特性を示す説明図である。
図7において、横軸波長を示し、縦軸は反射率を示している。
可視域では、雲及び雪氷は、共に高反射率であり、その反射率はほぼ一定である。
これに対して、近赤外域では、雪氷の反射率は徐々に低下するが、雲の反射率は短波長赤外域までほぼ低下しない特徴を有している。
そのため、可視域の反射率に対して、近赤外域の反射率が低下している場合には雪氷であると判定し、可視域の反射率に対して、近赤外域の反射率がほとんど低下していない場合には雲であると判定することが可能である。

0036

雪氷判定部6は、人工物判定部5により検出された画素毎に、下記の式(12)に示すように、当該画素に対応する地表面での可視域の反射率ρ(band)と近赤外域の反射率ρ(NIR)との差分Δρを算出する。



雪氷判定部6は、人工物判定部5により検出された画素毎に差分Δρを算出すると、人工物判定部5により検出された画素のうち、その差分Δρがデータベース1に記憶されている差分反射率判定用閾値Δρth以下の画素を検出する(図4のステップST6)。
即ち、雪氷判定部6は、人工物判定部5により検出された画素毎に、下記の式(13)に示すように、当該画素についての差分Δρと差分反射率判定用閾値Δρthを比較し、差分Δρが差分反射率判定用閾値Δρth以下の画素を検出する。



これにより、雪氷を除去して、雲を検出することができる。
雪氷判定部6は、差分Δρが差分反射率判定用閾値Δρth以下の画素から構成される画像を雲分布画像として出力する。

0037

この実施の形態1では、可視域の反射率ρ(band)として、例えば、波長600〜700nmの反射率、近赤外域の反射率ρ(NIR)として、例えば、波長1000〜2000nmの反射率を用いることを想定しているが、どの波長の反射率を用いるかは設計段階で任意に決定することができる。
また、雲である場合、可視域の反射率に対して、近赤外域の反射率がほとんど低下しないため、差分反射率判定用閾値Δρthとして、例えば、0.1や0.2などの値を用いることができる。

0038

以上で明らかなように、この実施の形態1によれば、人工物判定部5により検出された画素に対応する地表面での反射率推定部2により推定された可視域の反射率ρ(band)と近赤外域の反射率ρ(NIR)との差分Δρを算出し、人工物判定部5により検出された画素のうち、算出した差分Δρがデータベース1に記憶されている差分反射率判定用閾値Δρth以下の画素を検出する雪氷判定部6を備えるように構成したので、雪氷と雲を識別して、雲の領域を検出することができる効果を奏する。

0039

また、この実施の形態1によれば、空間フィルタを用いて、彩度判定部4により検出された画素の分布に対する空間フィルタリングを実施し、彩度判定部4により検出された画素のうち、その空間フィルタの出力値がデータベース1に記憶されているフィルタ値判定用閾値Filth以上の画素を検出する人工物判定部5を備えるように構成したので、人工物と雲を識別して、雲の領域を検出することができる効果を奏する。

0040

実施の形態2.
上記実施の形態1では、観測画像が反射率推定部2に入力されるものを示したが、地表に反射された光が衛星等に搭載されているマルチスペクトルセンサやハイパースペクトルセンサに到達するまでに、大気減衰や大気散乱の影響を受けて、反射率推定部2に入力される観測画像が劣化することがある。
そこで、この実施の形態2では、反射率推定部2に入力される観測画像を補正するものについて説明する。

0041

図8はこの発明の実施の形態2による画像処理装置を示す構成図であり、図9はこの発明の実施の形態2による画像処理装置のハードウェア構成図である。
図8及び図9において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
画像補正部7は例えば図9画像補正回路17で実現されるものであり、入力された観測画像における各波長帯のヒストグラムを解析して、各波長帯のオフセットレベルを特定し、各波長帯のオフセットレベルにしたがって観測画像を補正し、補正後の観測画像を反射率推定部2に出力する処理を実施する。

0042

図8では、画像処理装置の構成要素であるデータベース1、反射率推定部2、反射率判定部3、彩度判定部4、人工物判定部5、雪氷判定部6及び画像補正部7のそれぞれが、図9に示すような専用のハードウェア、即ち、記憶回路11、反射率推定回路12、反射率判定回路13、彩度判定回路14、人工物判定回路15、雪氷判定回路16及び画像補正回路17で実現されるものを想定している。
反射率推定回路12、反射率判定回路13、彩度判定回路14、人工物判定回路15、雪氷判定回路16及び画像補正回路17は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、または、これらを組み合わせたものが該当する。

0043

ただし、画像処理装置の構成要素が専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像処理装置がソフトウェアやファームウェアなどで実現される場合、データベース1をコンピュータのメモリ21上に構成するとともに、反射率推定部2、反射率判定部3、彩度判定部4、人工物判定部5、雪氷判定部6及び画像補正部7の処理手順をコンピュータに実行させるためのプログラムを図3に示すコンピュータのメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。

0044

次に動作について説明する。
画像補正部7以外は、上記実施の形態1と同様であるため、ここでは、画像補正部7の処理内容を説明する。
図10は大気散乱放射輝度の分光特性を示す説明図であり、図11は観測画像のヒストグラムにおけるマルチバンドの特性を示す説明図である。
可視域から近赤外域では、図10に示すように、短波長ほど大気散乱の影響を受け易い。
このため、観測画像を構成している画素の画素値に対してヒストグラム解析を行うと、図11に示すように、例えば、短波長側のバンドであるBバンドは、長波長側のバンドであるNIRバンドと比べてオフセットレベルが大きくなる傾向がある。

0045

画像補正部7は、入力された観測画像における各波長帯のヒストグラムを解析して、各波長帯のオフセットレベルを特定する。
各波長帯のオフセットレベルは、図11に示すように、各波長帯の成分である画像出力値最小値である。
この実施の形態2では、Rバンドのオフセットレベル、Gバンドのオフセットレベル、Bバンドのオフセットレベル、NIRバンドのオフセットレベルを特定する。

0046

画像補正部7は、各波長帯のオフセットレベルを特定すると、観測画像を構成している画素毎に、当該画素の画素値であるデジタル値DN(R)からRバンドのオフセットレベルを減算し、G値のデジタル値DN(G)からGバンドのオフセットレベルを減算し、B値のデジタル値DN(B)からBバンドのオフセットレベルを減算する。また、近赤外域のデジタル値DN(NIR)からNIRバンドのオフセットレベルを減算する。
このようにオフセットレベルが減算されることで、観測画像が補正され、補正後の観測画像が画像補正部7から反射率推定部2に出力される。
ここでは、画像補正部7が、観測画像における各波長帯のヒストグラムを解析して、各波長帯のオフセットレベルを特定するものを示したが、図10に示すような大気散乱放射輝度の分光特性がデータベース1に記憶されている場合、大気散乱放射輝度の分光特性を参照しながら、回帰分析によって各波長帯のオフセットレベルを推定するようにしてもよい。

0047

以上で明らかなように、この実施の形態2によれば、観測画像の各波長帯における画素値のオフセットレベルを特定し、各波長帯における画素値のオフセットレベルにしたがって観測画像を補正し、補正後の観測画像を反射率推定部2に出力する画像補正部7を備えるように構成したので、大気減衰や大気散乱の影響を低減して、雲の検出精度を高めることができる効果を奏する。

0048

実施の形態3.
上記実施の形態1,2では、雪氷判定部6が、差分Δρが差分反射率判定用閾値Δρth以下の画素から構成される画像を雲分布画像として出力するものを示したが、この実施の形態3では、その雲分布画像をダウンサンプリングして、その雲分布画像の縮小画像であるサムネイル画像を生成するものについて説明する。

0049

図12はこの発明の実施の形態3による画像処理装置を示す構成図であり、図13はこの発明の実施の形態3による画像処理装置のハードウェア構成図である。
図12及び図13において、図1,2及び図8,9と同一符号は同一または相当部分を示すので説明を省略する。
縮小画像生成部8は例えば図13縮小画像生成回路18で実現されるものであり、雪氷判定部6により検出された画素を有する雲分布画像の縮小画像であるサムネイル画像を生成し、そのサムネイル画像を出力する処理を実施する。

0050

図12では、画像処理装置の構成要素であるデータベース1、反射率推定部2、反射率判定部3、彩度判定部4、人工物判定部5、雪氷判定部6、画像補正部7及び縮小画像生成部8のそれぞれが、図13に示すような専用のハードウェア、即ち、記憶回路11、反射率推定回路12、反射率判定回路13、彩度判定回路14、人工物判定回路15、雪氷判定回路16、画像補正回路17及び縮小画像生成回路18で実現されるものを想定している。
反射率推定回路12、反射率判定回路13、彩度判定回路14、人工物判定回路15、雪氷判定回路16、画像補正回路17及び縮小画像生成回路18は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、または、これらを組み合わせたものが該当する。

0051

ただし、画像処理装置の構成要素が専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像処理装置がソフトウェアやファームウェアなどで実現される場合、データベース1をコンピュータのメモリ21上に構成するとともに、反射率推定部2、反射率判定部3、彩度判定部4、人工物判定部5、雪氷判定部6、画像補正部7及び縮小画像生成部8の処理手順をコンピュータに実行させるためのプログラムを図3に示すコンピュータのメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。

0052

次に動作について説明する。
縮小画像生成部8以外は、上記実施の形態1,2と同様であるため、ここでは、縮小画像生成部8の処理内容を説明する。
縮小画像生成部8は、雪氷判定部6から雲分布画像を受けると、その雲分布画像をダウンサンプリングすることで、その雲分布画像の縮小画像であるサムネイル画像を生成し、そのサムネイル画像を出力する。
画像のダウンサンプリング処理自体は公知の技術であるため詳細な説明を省略するが、例えば、N×N画素のカーネルを用いることで、画像のダウンサンプリングを行うことができる。
これにより、雲分布画像のデータ容量を軽量化することができる。

0053

以上で明らかなように、この実施の形態3によれば、雪氷判定部6により検出された画素を有する雲分布画像の縮小画像を生成する縮小画像生成部8を備えるように構成したので、画像データの容量を軽量化することができる効果を奏する。

0054

実施の形態4.
上記実施の形態1,2では、雪氷判定部6が、差分Δρが差分反射率判定用閾値Δρth以下の画素から構成される画像を雲分布画像として出力するものを示したが、この実施の形態4では、さらに、雲量を出力するものについて説明する。

0055

図14はこの発明の実施の形態4による画像処理装置を示す構成図であり、図15はこの発明の実施の形態4による画像処理装置のハードウェア構成図である。
図14及び図15において、図1,2,8,9,12,13と同一符号は同一または相当部分を示すので説明を省略する。
雲量算出部9は例えば図15の雲量算出回路19で実現されるものであり、観測画像を構成している画素の個数に対する雪氷判定部6により検出された画素の個数の比率を雲量として算出する処理を実施する。

0056

図14では、画像処理装置の構成要素であるデータベース1、反射率推定部2、反射率判定部3、彩度判定部4、人工物判定部5、雪氷判定部6、画像補正部7、縮小画像生成部8及び雲量算出部9のそれぞれが、図15に示すような専用のハードウェア、即ち、記憶回路11、反射率推定回路12、反射率判定回路13、彩度判定回路14、人工物判定回路15、雪氷判定回路16、画像補正回路17、縮小画像生成回路18及び雲量算出回路19で実現されるものを想定している。
反射率推定回路12、反射率判定回路13、彩度判定回路14、人工物判定回路15、雪氷判定回路16、画像補正回路17、縮小画像生成回路18及び雲量算出回路19は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、または、これらを組み合わせたものが該当する。

0057

ただし、画像処理装置の構成要素が専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像処理装置がソフトウェアやファームウェアなどで実現される場合、データベース1をコンピュータのメモリ21上に構成するとともに、反射率推定部2、反射率判定部3、彩度判定部4、人工物判定部5、雪氷判定部6、画像補正部7、縮小画像生成部8及び雲量算出部9の処理手順をコンピュータに実行させるためのプログラムを図3に示すコンピュータのメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。

0058

次に動作について説明する。
雲量算出部9以外は、上記実施の形態1,2,3と同様であるため、ここでは、雲量算出部9の処理内容を説明する。
雲量算出部9は、データベース1に記憶されている観測画像の解像度から、観測画像を構成している画素の個数Callを特定し、雪氷判定部6により検出された画素の個数Cdetを計数する。
そして、雲量算出部9は、下記の式(14)に示すように、観測画像を構成している画素の個数Callのうち、雲分布として検出された画素の個数Cdetの比率Rを雲量として算出し、その雲量を出力する。

0059

以上で明らかなように、この実施の形態4によれば、観測画像を構成している画素の個数に対する雪氷判定部6により検出された画素の個数の比率を雲量として算出する雲量算出部9を備えるように構成したので、雲量の情報を提供することができる効果を奏する。

0060

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

0061

1データベース、2反射率推定部、3 反射率判定部(第1の画素検出部)、4彩度判定部(第2の画素検出部)、5人工物判定部(第4の画素検出部)、6雪氷判定部(第3の画素検出部)、7画像補正部、8縮小画像生成部、9雲量算出部、11記憶回路、12 反射率推定回路、13 反射率判定回路、14 彩度判定回路、15 人工物判定回路、16 雪氷判定回路、17画像補正回路、18縮小画像生成回路、19 雲量算出回路、21メモリ、22プロセッサ。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ