図面 (/)

技術 壁の背後に位置するシーンの雑音のない画像を求めるシステムおよび方法

出願人 三菱電機株式会社
発明者 半田大幸ハッサン・マンソールデホン・リウウルグベック・カミロフ
出願日 2016年6月29日 (3年8ヶ月経過) 出願番号 2016-128528
公開日 2017年2月23日 (3年1ヶ月経過) 公開番号 2017-040644
状態 特許登録済
技術分野 レーダ方式及びその細部
主要キーワード 高速反復 空間グリッド 撮像サブシステム レーダーパルス 受信機モード 正則化パラメータ 和演算子 圧縮センシング
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年2月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

壁の背後に位置するシーン雑音のない画像を求めるシステムを提供する。

解決手段

送信アンテナ110が、壁の前方のそれぞれ異なるロケーションからレーダーパルスを放出し、これらのレーダーパルスは、壁40を透過して伝播し、シーンによってエコー12として反射される。一組の静止した受信アンテナ120が、それぞれ異なる各ロケーションから送信された各パルスに対応するエコー12を取得する。送信アンテナ110および一組の受信アンテナ120に接続されたレーダー撮像サブシステム130が、送信アンテナ110の各ロケーションについてシーンの雑音を有する画像131を求める。全変動ノイザー140が、各雑音を有する画像を雑音除去し、対応する雑音除去された画像141を生成する。コンバイナー150が、雑音除去された画像をインコヒーレントに組み合わせ、雑音のない画像151を生成する。

概要

背景

壁透過撮像(TWI)は、壁の背後のシーン内物体を検出するのに用いることができる。すなわち、物体は、壁によって囲まれた構造物の内部に位置決めされ、その構造物の外部から検出される。通常の用途では、1つまたは複数の送信アンテナレーダーパルスを放出する。これらのレーダーパルスは、壁を透過して伝播し、物体によってエコーとして反射される。これらのエコーは、1つまたは複数の受信アンテナによって取得される。これらのエコーは、その後、レーダー撮像システムまたは方法を用いて処理され、物体の位置および反射率を表すレーダー画像が生成される。

概要

壁の背後に位置するシーン雑音のない画像を求めるシステムを提供する。送信アンテナ110が、壁の前方のそれぞれ異なるロケーションからレーダーパルスを放出し、これらのレーダーパルスは、壁40を透過して伝播し、シーンによってエコー12として反射される。一組の静止した受信アンテナ120が、それぞれ異なる各ロケーションから送信された各パルスに対応するエコー12を取得する。送信アンテナ110および一組の受信アンテナ120に接続されたレーダー撮像サブシステム130が、送信アンテナ110の各ロケーションについてシーンの雑音を有する画像131を求める。全変動ノイザー140が、各雑音を有する画像を雑音除去し、対応する雑音除去された画像141を生成する。コンバイナー150が、雑音除去された画像をインコヒーレントに組み合わせ、雑音のない画像151を生成する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

壁の背後に位置するシーン雑音のない画像を求めるシステムであって、前記壁の前方のそれぞれ異なるロケーションからレーダーパルスを放出する送信アンテナであって、該レーダーパルスは、前記壁を透過して伝播し、前記シーンによってエコーとして反射される、送信アンテナと、それぞれ異なる各ロケーションから送信された各パルスに対応する前記エコーを取得する一組の静止した受信アンテナと、前記送信アンテナの前記各ロケーションについて前記シーンの雑音を有する画像を求める、前記送信アンテナおよび前記一組の受信アンテナに接続されたレーダー撮像サブシステムと、各雑音を有する画像を雑音除去し、対応する雑音除去された画像を生成する全変動ノイザーと、前記雑音除去された画像をインコヒーレントに組み合わせて、前記雑音のない画像を生成するコンバイナーとを備える、システム。

請求項2

前記シーンは、前記パルスを前記エコーとして反射する物体を含む、請求項1に記載のシステム。

請求項3

前記雑音を有する画像は、単一入力多出力(SIMO)画像であり、前記雑音のない画像は、多入力多出力MIMO)画像である、請求項1に記載のシステム。

請求項4

前記コンバイナーは、前記雑音除去された画像を総和する、請求項1に記載のシステム。

請求項5

前記送信アンテナは、各ロケーションについて送信モードで動作する前記一組の受信アンテナのうちの1つである、請求項1に記載のシステム。

請求項6

全ての受信アンテナは、対応する1次応答と、遅延畳み込みカーネルを誘発する同一の雑音との畳み込みとして、マルチパスの雑音を有する応答を取得する、請求項1に記載のシステム。

請求項7

前記遅延畳み込みカーネルは、スパース反転によるマルチパス除去(MESI)方法を用いて推定される、請求項6に記載のシステム。

請求項8

前記MESI方法は、スパース1次物体応答を推定するステップと、該1次物体応答を整合させる前記遅延畳み込みカーネルを推定するステップとを含む2つのステップを交互に行う、請求項7に記載のシステム。

請求項9

前記MESIは、各物体に対応する前記雑音を有する画像内の全てのピクセルからなる拡張物体反射を抽出する、請求項7に記載のシステム。

請求項10

プロセッサをさらに備え、該プロセッサは、前記各物体の前記拡張物体反射を別々に求め、前記拡張物体反射を前記エコーにおける同様のマルチパス反射に整合させる前記遅延畳み込みカーネルを取得し、前記拡張物体反射およびマルチパス反射を前記エコーから取り去り終了条件に到達するまで、上述した求めること、取得すること、および取り去ることを繰り返す、請求項9に記載のシステム。

請求項11

壁の背後に位置するシーンの雑音のない画像を求める方法であって、前記壁の前方のロケーションにおける送信アンテナを用いて、レーダーパルスを放出するステップであって、該レーダーパルスは、前記壁を透過して伝播し、前記シーンによってエコーとして反射される、放出するステップと、一組の静止した受信アンテナを用いて、送信されたパルスに対応する前記エコーを取得するステップと、前記送信アンテナおよび前記一組の受信アンテナに接続されたレーダー撮像サブシステムを用いて、前記シーンの雑音を有する画像を求めるステップと、全変動デノイザーを用いて、雑音除去された画像を生成するために前記雑音を有する画像を雑音除去するステップと、前記放出するステップ、前記取得するステップ、前記求めるステップ、および前記雑音除去するステップをそれぞれ異なるロケーションについて繰り返すステップと、その後、前記雑音除去された画像をインコヒーレントに組み合わせて、前記雑音のない画像を生成するステップとを含む、方法。

技術分野

0001

本発明は、包括的には、壁透過撮像(TWI)に関し、より詳細には、MIMOアンテナアレイおよび圧縮センシングを用いて画像を雑音除去し、壁の背後のシーン再構成することに関する。

背景技術

0002

壁透過撮像(TWI)は、壁の背後のシーン内物体を検出するのに用いることができる。すなわち、物体は、壁によって囲まれた構造物の内部に位置決めされ、その構造物の外部から検出される。通常の用途では、1つまたは複数の送信アンテナレーダーパルスを放出する。これらのレーダーパルスは、壁を透過して伝播し、物体によってエコーとして反射される。これらのエコーは、1つまたは複数の受信アンテナによって取得される。これらのエコーは、その後、レーダー撮像システムまたは方法を用いて処理され、物体の位置および反射率を表すレーダー画像が生成される。

発明が解決しようとする課題

0003

しかしながら、壁の誘電率および透過率に応じて、エコーは、雑音を有する再構成画像の原因となるゴーストアーティファクトをもたらす壁からの間接的な2次反射によって破損されることが多い。画像を雑音除去することによって、TWIの品質を大幅に改善することができる。

課題を解決するための手段

0004

本発明の実施の形態は、壁の背後のシーンの雑音を有する画像を組み合わせて、雑音のない画像を生成するシステムおよび方法を記載している。通常、シーンは、物体、例えば、人物等の反射物を含むものと仮定される。

0005

本システムは、壁の前方のそれぞれ異なるロケーションからレーダーパルスを放出する送信アンテナを備える。これらのレーダーパルスは、壁を透過して伝播し、シーンによってエコーとして反射される。一組の静止した受信アンテナが、それぞれ異なる各ロケーションから送信された各パルスに対応するエコーを取得する。

0006

送信アンテナおよび一組の受信アンテナに、例えば、コントローラーを介して接続されたレーダー撮像システムが、送信アンテナ110の各ロケーションについてシーンの単一入力多出力(SIMO)の雑音を有する画像を求める。全変動ノイザーが、各雑音を有するSIMO画像を雑音除去し、雑音除去された画像を生成する。次に、コンバイナーが、これらの雑音除去された画像をインコヒーレントに組み合わせて、対応する雑音のない画像を生成する。

0007

本発明の1つの実施の形態は、シーンの反射およびマルチパス反射に対するスパース性制約を有する構造化ブラインド逆畳み込み問題として雑音除去をモデル化する、スパース反転によるマルチパス除去(MESI)方法に基づく物体検出のために拡張物体反射の空間相関を組み込む。これは、別個の畳み込みカーネルが、検出された物体ごとに、対応するマルチパス反射を整合させるように求められることを確保することによって、雑音除去を改善する。

図面の簡単な説明

0008

本発明の実施の形態による壁の背後のシーンの雑音のない画像を求めるシステムおよび方法の概略図である。
本発明の実施の形態による送信機および静止した受信機ならびにピクセル強度プロファイルの概略図である。
本発明の実施の形態によるMESI方法のフロー図である。

実施例

0009

システムセットアップ
図1に示すように、本発明の実施の形態は、壁40の背後に位置するシーンの雑音のない画像を求めるシステムおよび方法を記載している。通常、シーンは、物体、例えば、人物50等の反射物を含む。システムセットアップ、シーンおよび壁の効果の詳細は、関連出願である2013年7月22日にMansourによって出願された米国特許出願公開第20150022390号「Method and System for Through-the-Wall Imaging using Sparse Inversion for Blind Multi-Path Elimination」に記載されている。この米国特許出願公開は、引用することによって本明細書の一部をなす。

0010

本システムは、壁40の前方のそれぞれ異なるロケーション111からレーダーパルス14を放出する送信アンテナ110を備える。これらのレーダーパルスは、壁を透過して伝播し、エコー12として反射される。通常、反射物は、人物等の物体50である。しかしながら、本発明は、任意のタイプの壁の背後のシーンに適用することができることが理解される。一組の静止した受信アンテナ120は、それぞれ異なる各ロケーションから送信された各パルスに対応するエコー12を取得する。

0011

レーダー撮像サブシステム130は、送信アンテナおよび一組の受信アンテナに、例えば、コントローラー125を介して接続され、送信アンテナの各ロケーションのシーンの雑音を有する(単一入力多出力(SIMO))画像131を求める。コントローラー125は、送信機および受信機ならびにシステムの残りの部分の動作を同期させるのに用いることができる。

0012

全変動デノイザー140は、各雑音を有する画像131を雑音除去し、雑音除去された対応する画像141を生成する。画像131を求めて画像131を生成することは、それぞれ異なるロケーションについて繰り返される(135)。

0013

その後、コンバイナー150は、雑音除去された画像141をコヒーレントまたはインコヒーレントに組み合わせ、例えば、総和し、雑音のない画像151を生成する。

0014

これらのサブシステム、デノイザーおよびコンバイナーは、当該技術分野において知られているように、メモリおよび入力/出力インターフェースに接続された1つまたは複数のプロセッサにおいて実施することができる。代替的に、これらは、個別の構成要素またはハードウェア回路として実施することができる。

0015

1つの実施の形態では、送信アンテナは、送信モードで動作するアンテナ120のうちの1つであり、レーダーパルス14を放出するそれぞれ異なるロケーションごとにそれぞれ異なるアンテナが選択される。パルスが放出された後、アンテナを受信機モードに再び切り替えることができる。

0016

信号モデル
単一の送信アンテナ110および一組のnr個の受信アンテナ120を有する図1に示すモノスタティック(送信アンテナおよび受信アンテナが同じ場所に配置される)物理開口レーダーシステムの場合、時間領域波形は、sである。シーン内にK個の物体50が存在するとき、受信アンテナn∈{1・・・nr}におけるk∈{1・・・K}によってインデックス付けされる物体の時間領域1次インパルス応答(エコー)は、gk(n)である。この結果、クラッターのない受信信号r(n)=s*gk(n)が得られる。ここで、



は、nt次元時間領域測定値であり、*は、畳み込み演算子である。

0017

シーンは、Nx×Ny空間グリッドに分割することができ、



は、xkが物体位置の支持部を除くあらゆる場所で0であるような画像領域における物体応答とすることができる。点物体の場合、インパルス応答を以下のように表すことができる。

0018

0019

周波数帯域幅は、nf個のビン離散化することができ、



は、



であるような受信アンテナnの遅延および和演算子とすることができる。ここで、τj(n)は、送信アンテナからグリッド点j∈Nx×Nyまでと、受信アンテナnまでの戻りとのラウンドトリップ時間である。

0020

あらゆる物体kについて、全ての受信アンテナは、雑音を有するマルチパス応答mk(n)を、対応する1次応答gk(n)と遅延畳み込みカーネルdkを誘発する同一の雑音との畳み込み、すなわち、mk(n)=gk(n)*dkとして取得する。その結果、受信アンテナnにおける受信信号は、以下のようにモデル化することができる。

0021

0022

ここで、dkは、受信アンテナnのロケーションに依存しない。

0023

この状況において、全てのn∈{1,・・・nr}について受信信号r(n)のみを所与としてシーン内の全ての物体の遅延畳み込みカーネルdkおよび物体応答xkが推定される。本発明者らの解は、スパース反転によるマルチパス除去(MESI)方法を高度化したものに部分的に基づいている。これについては、Mansour他「Blind multi-path elimination by sparse inversion in through-the-wall-imaging」Proc.IEEE 5th Int. Workshop on Computational Advances in Multi-Sensor Adaptive Process, (CAMSAP), pp. 256-259, December 2013および2013年7月22日にMansourによって出願された米国特許出願公開第20150022390号「Method and System for Through-the-Wall Imaging using Sparse Inversion for Blind Multi-Path Elimination」を参照されたい。

0024

スパース反転によるマルチパス除去(MESI)
MESI方法は、物体を検出し、2つのステップ、すなわち、
スパース1次物体応答を推定するステップと、
この1次物体応答を受信エコー内の可能なクラッターに整合させる遅延畳み込みカーネルを推定するステップと
を交互に行うことによって、例えば、壁クラッターに起因した雑音を除去する。

0025

MESI方法の詳細は、図3に示されている。本システムは、プロセッサ100を備える。このプロセッサは、各物体の拡張物体反射を個別に求め(310)、この拡張物体反射をエコー内の同様のマルチパス反射に整合させる遅延畳み込みカーネルを取得し(320)、拡張物体反射およびマルチパス反射をエコー329から取り去る(330)。これらのステップは、終了条件340、例えば、所定の反復回数または収束に到達するまで繰り返される。

0026

ベクトルvの周波数応答を、上付き記号の付いた



によって示す。一組の測定値が与えられると、全ての受信アンテナn∈{1,・・・nr}の受信エコーr(n)329は、ベクトル



スタックされ、遅延および和演算Wnをスタックすることによって単一送信機多受信機(SIMO)撮像行列Wが形成される。

0027

順モデルfを以下のように定義する。

0028

0029

反復kにおける残りの測定値を、



とする。ここで、gjは、式(1)を用いてxjから求められる。

0030

その後、MESI方法は、2つのステップを交互に行う。第1のステップにおいて、スパース1次物体応答の推定値



が、以下の式を解くことによって求められる。

0031

0032

ここで、eは、要素単位アダマール積であり、σxは、近似的なスパース性境界である。

0033

第2のステップにおいて、残りの測定値は、rd=rx−s*gkに更新され、1次物体応答を整合させる対応する遅延畳み込み演算子は、以下の式となる。

0034

0035

ここで、σdは、dに関するスパース性境界である。上記2つのステップは、所定の反復回数の間、または事前に設定されたデータ不整合に到達するまで繰り返される。その後、全ての反復kにわたって



を総和する(150)ことによって、雑音のない物体画像



151が求められる。

0036

全変動を用いた雑音軽減
送信アンテナ110のロケーションがシーンのいくつかのビューを取得するためにそれぞれ異なる図2に示すようなセットアップを考える。具体的に言えば、送信アンテナの特定のロケーションにそれぞれ対応するns個の異なる測定が行われる。

0037

送信アンテナおよび受信アンテナの対210のそれぞれ異なる配置の下でのシーンの観測は、再構成された画像における雑音を低減することができる。基本となる前提は、送信アンテナのロケーションを反復的に変更する(111)ことによって、同じ画像位置についての物体反射のプロファイル230は、一貫した応答を有するのに対して、間接的なパスからの反射は、ランダム雑音のような応答を有するということである。

0038

したがって、全変動(TV)雑音除去140が、雑音を有するSIMO画像131に適用される。これについては、Rudin他「Nonlinear total variation based noise removal algorithms」Physica D, vol. 60, no. 1-4, pp. 259-268, November 1992を参照されたい。TVは、過度でかつスプリアスな場合があり得る細部を有する信号は、より大きな全変動を有するという原理に基づいている。したがって、TVは、物体に対応するピクセルを様々なタイプの雑音に対応するピクセルから分離する。

0039

一組の雑音を有する画像



131が与えられると、雑音除去は、以下の最適化問題として定式化される。

0040

0041

ここで、λ>0は、適用する雑音除去の量を制御する正則化パラメーターである。TVは、物体のプロファイルを求めるという本発明者らの目的に適合した、区分的に滑らかなプロファイル230を有する信号を推定する画像処理中に適用することができる。

0042

本発明者らの実施態様は、各画像が特定の送信機ロケーションに対応する画像131に作用する高速反復縮小閾値処理アルゴリズム(FISTA:fast iterative shrinkage and thresholding algorithm)に部分的に基づいている。これについては、Beck他「Fast gradient-based algorithm for constrained total variation image denoising and deblurring problems」IEEE Trans. Image Process, vol. 18, no. 11, pp. 2419-2434, November 2009を参照されたい。

0043

拡張物体検出
従来のMESI方法の1つの限界は、所与の反復kにおいて、この方法が物体応答xk全体の取得に失敗する可能性があるということである。その結果、その反復において求められた遅延畳み込みカーネルは、必ずしも実際の物体に対応しない。これは、通常、性能の劣化をもたらす。

0044

したがって、本発明者らの方法は、特定の物体に対応する雑音を有する画像内の全てのピクセルを認識して抽出することによって、雑音のない画像の品質を大幅に改善する。これは、実際には、式(4)を以下のような最も強い反射物の検出器と置き換えることによって達成することができる。

0045

0046

次に、



の周囲の空間近傍をスキャンし、全ての接続されたピクセルを同じ物体kに割り当てることによって、拡張物体反射



が求められる。

0047

このように、本発明者らの実施態様は、最も強い反射物と近傍におけるピクセルとの間の相対エネルギー差を比較する。この相対エネルギーが所与の閾値よりも高い場合、そのピクセルは、拡張物体の一部として受け入れられ、そうでない場合、そのピクセルは、背景として廃棄される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ