図面 (/)

技術 信号処理装置、距離計測装置、および距離計測方法

出願人 株式会社東芝
発明者 井田孝五十川賢造松村淳
出願日 2018年9月14日 (2年2ヶ月経過) 出願番号 2018-172945
公開日 2020年3月26日 (7ヶ月経過) 公開番号 2020-046774
状態 未査定
技術分野 光学的距離測定 画像処理 光レーダ方式及びその細部
主要キーワード 周囲振動 基準スペクトラム 収集終了時刻 非ノイズ 信号復元装置 適用位置 データ復元プログラム 収集開始時刻
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

信号の復元精度を向上させることができる信号処理装置距離計測装置及び距離計測方法を提供する。

解決手段

信号処理装置1は、記憶部(メモリ)と、入力部と、データ復元部とを有する。記憶部は、信号のデータと信号の標本の位置に関するデータとに基づいて、信号の劣化復元した復元データを生成する学習済みモデルを記憶する。入力部は、学習済みモデルに、信号のデータと位置に関するデータとを入力する。データ復元部は、学習済みモデルを用いて、復元データを生成する。

概要

背景

写真映像撮像したときの画像に含まれるノイズは、印刷したりディスプレイに表示したりする際に見栄えが悪くなるだけでなく、防犯カメラなどでは視認性の低下、各種画像認識装置では認識率の低下など様々な悪影響を及ぼすことがある。このため、画像表示等の事前にノイズを除去することが望ましい。

画像処理によるノイズ除去は、基本的には、平滑化によってノイズの振幅を抑制することで実現される。このとき、例えば、ノイズと共に画像信号本来のエッジ輝度が急峻に変化する部分)やテクスチャ(細かい図柄)がぼやけないように、画像のパターン適応する複雑な工夫が実行されることがある。一方、近年、単純な構成の畳み込みニューラルネットワーク(以下、CNN(Convolutional Neural Network)と呼ぶ)を用いた画像ノイズ除去方式が、信号の復元精度が高いものとして提案されている。

しかしながら、上記CNNを用いた画像ノイズ除去方法では、平滑化の強弱の制御ができず全画面で同じ処理を行うため、例えば写真の暗部などノイズが多い部分ではノイズが残り、写真の明部などノイズが少ない部分では本来の信号まで平滑化されることがある。すなわち、上記CNNでは、入力画像の全領域に亘って同じ重み係数を用いて畳み込みを行うため、CNNから出力される画像において、学習時において想定されたノイズより多いノイズを有する領域ではノイズが残り、学習時において想定されたノイズより少ないノイズを有する領域では本来の画素値まで平滑化される問題がある。かといって、広い範囲のノイズ量を用いてCNNを学習させた場合、画像におけるノイズ低減の精度(信号復元の精度)が低下する問題がある。

概要

信号の復元精度を向上させることができる信号処理装置距離計測装置及び距離計測方法を提供する。信号処理装置1は、記憶部(メモリ)と、入力部と、データ復元部とを有する。記憶部は、信号のデータと信号の標本の位置に関するデータとに基づいて、信号の劣化を復元した復元データを生成する学習済みモデルを記憶する。入力部は、学習済みモデルに、信号のデータと位置に関するデータとを入力する。データ復元部は、学習済みモデルを用いて、復元データを生成する。

目的

“Beyond a Gaussian Denoiser: Residual Learning of DeepCNNfor Image Denoising,”IEEE Trans. Image Proc., vo.26, no.7, pp.3142−3155, July 2017






発明が解決しようとする課題は、信号の復元精度を向上可能な信号処理装置、距離計測装置、および距離計測方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

信号のデータと前記信号の標本の位置に関するデータとに基づいて、前記信号の劣化復元した復元データを生成する学習済みモデルを記憶する記憶部と、前記学習済みモデルに、前記信号のデータと前記位置に関するデータとを入力する入力部と、前記学習済みモデルを用いて、前記復元データを生成するデータ復元部と、を具備する信号処理装置

請求項2

前記信号のデータは、画像に関するデータであって、前記標本の位置は、前記画像における画素座標である、請求項1に記載の信号処理装置。

請求項3

前記信号は、時系列に沿った時系列信号であって、前記標本の位置は、前記標本の時刻である、請求項1に記載の信号処理装置。

請求項4

前記信号の劣化は、ノイズである、請求項1乃至3のうちいずれか一項に記載の信号処理装置。

請求項5

物体において反射されたパルスを含む反射光を受信し、前記受信された反射光を受信信号に変換する受信部と、前記受信信号のデータと前記受信信号の標本の位置に関するデータとに基づいて、前記受信信号のノイズを低減したノイズ除去データを生成する学習済みモデルを記憶する記憶部と、前記受信信号のデータと前記受信信号の標本の位置に関するデータとを、前記学習済みモデルに入力する入力部と、前記学習済みモデルを用いて、前記ノイズ除去データを生成するノイズ除去部と、前記ノイズ除去データにおいて前記パルスを検出し、前記検出されたパルスに基づいて前記物体の距離を算出する距離算出部と、を具備する距離計測装置

請求項6

物体において反射されたパルスを含む反射光を受信し、前記受信された反射光を受信信号に変換し、前記受信信号のデータと前記受信信号の標本の位置に関するデータとに基づいて前記受信信号のノイズを低減したノイズ除去データを生成する学習済みモデルに、前記受信信号のデータと、前記受信信号の標本の位置に関するデータとを入力し、前記学習済みモデルを用いて、前記ノイズ除去データを生成し、前記ノイズ除去データにおいて前記パルスを検出し、前記検出されたパルスに基づいて前記物体の距離を算出する、距離計測方法

技術分野

0001

本発明の実施形態は、信号処理装置距離計測装置、および距離計測方法に関する。

背景技術

0002

写真映像撮像したときの画像に含まれるノイズは、印刷したりディスプレイに表示したりする際に見栄えが悪くなるだけでなく、防犯カメラなどでは視認性の低下、各種画像認識装置では認識率の低下など様々な悪影響を及ぼすことがある。このため、画像表示等の事前にノイズを除去することが望ましい。

0003

画像処理によるノイズ除去は、基本的には、平滑化によってノイズの振幅を抑制することで実現される。このとき、例えば、ノイズと共に画像信号本来のエッジ輝度が急峻に変化する部分)やテクスチャ(細かい図柄)がぼやけないように、画像のパターン適応する複雑な工夫が実行されることがある。一方、近年、単純な構成の畳み込みニューラルネットワーク(以下、CNN(Convolutional Neural Network)と呼ぶ)を用いた画像ノイズ除去方式が、信号の復元精度が高いものとして提案されている。

0004

しかしながら、上記CNNを用いた画像ノイズ除去方法では、平滑化の強弱の制御ができず全画面で同じ処理を行うため、例えば写真の暗部などノイズが多い部分ではノイズが残り、写真の明部などノイズが少ない部分では本来の信号まで平滑化されることがある。すなわち、上記CNNでは、入力画像の全領域に亘って同じ重み係数を用いて畳み込みを行うため、CNNから出力される画像において、学習時において想定されたノイズより多いノイズを有する領域ではノイズが残り、学習時において想定されたノイズより少ないノイズを有する領域では本来の画素値まで平滑化される問題がある。かといって、広い範囲のノイズ量を用いてCNNを学習させた場合、画像におけるノイズ低減の精度(信号復元の精度)が低下する問題がある。

先行技術

0005

“Beyond a Gaussian Denoiser: Residual Learning of DeepCNNfor Image Denoising,”IEEE Trans. Image Proc., vo.26, no.7, pp.3142−3155, July 2017

発明が解決しようとする課題

0006

発明が解決しようとする課題は、信号の復元精度を向上可能な信号処理装置、距離計測装置、および距離計測方法を提供することである。

課題を解決するための手段

0007

本実施形態に係る信号処理装置は、記憶部と、入力部と、データ復元部とを有する。
前記記憶部は、信号のデータと前記信号の標本の位置に関するデータとに基づいて、前記信号の劣化を復元した復元データを生成する学習済みモデルを記憶する。
記入力部は、前記学習済みモデルに、前記信号のデータと前記位置に関するデータとを入力する。
前記データ復元部は、前記学習済みモデルを用いて、前記復元データを生成する。

図面の簡単な説明

0008

図1は、本実施形態に係る信号処理装置の構成例を示すブロック図。
図2は、本実施形態におけるデータ復元機能において実行される学習済みモデルの概要の一例を示す図。
図3は、本実施形態において、2次元的なノイズ除去対象画像の一例を示す図。
図4は、本実施形態において、標本位置画像の一例を示す図。
図5は、本実施形態において、2つの標本位置画像の一例を示す図。
図6は、本実施形態の入力層における組み合わせデータ出力層において生成される出力ベクトルとの一例を示す図。
図7は、本実施形態における畳み込みニューラルネットワーク(CNN)の構成の一例を示す図。
図8は、本実施形態における活性化関数の一例を示す図。
図9は、本実施形態の応用例において、データの入力の一例を示す図。
図10は、本実施形態の応用例において、標本位置画像が入力される第1の中間層の一例を示す図。
図11は、本実施形態の第1の適用例における距離計測装置の構成の一例を示す図。
図12は、本実施形態の第1の適用例におけるデータ復元処理の手順の一例を示すフローチャートの図。
図13は、本実施形態の第1の適用例において、距離計測装置と計測対象物体との距離が近い場合の受信波形の一例を示す図。
図14は、本実施形態の第1の適用例において、距離計測装置と計測対象の物体との距離が遠い場合の受信波形の一例を示す図。
図15は、本実施形態の第1の適用例における標本位置データの一例を示す図。
図16は、本実施形態の第1の適用例において、距離計測装置と計測対象の物体との距離が近い場合の復元波形の一例を示す図。
図17は、本実施形態の第1の適用例において、距離計測装置と計測対象の物体との距離が遠い場合の復元波形の一例を示す図。
図18は、本実施形態の第2の適用例における音声処理装置の構成の一例を示す図。
図19は、本実施形態の第2の適用例におけるデータ復元処理の手順の一例を示すフローチャートの図。
図20は、本実施形態の第2の適用例における音声データの一例を示す図。
図21は、本実施形態の第2の適用例において、時系列に沿ったデノイズデータの一例を示す図。
図22は、本実施形態の第3の適用例における振動計測装置の構成の一例を示す図。
図23は、本実施形態の第3の適用例におけるデータ復元処理に関する手順の一例を示すフローチャートの図。
図24は、本実施形態の第3の適用例における変換データの一例を示す図の図。
図25は、本実施形態の第3の適用例における標本位置データの一例を示す図。

実施例

0009

以下、本実施形態について、図面を参照して説明する。なお、以下の説明において、略同一の構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。

0010

図1は、本実施形態に係る信号処理装置1に搭載される処理回路141及びメモリ117の構成例を示すブロック図である。なお、距離計測装置、音声処理装置、および振動計測装置に信号処理装置1が搭載され、これらの装置で本実施形態を実現する場合については、適用例として後程説明する。

0011

処理回路141は、ハードウェア資源として図示していないプロセッサ、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリ等を有する。処理回路141は、入力機能1411とデータ復元機能1413とを有する。入力機能1411およびデータ復元機能1413にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態で不図示の記憶装置、メモリ117等の各種記憶回路へ記憶されている。処理回路141は、これら各種機能に対応するプログラムを記憶回路から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路141は、図1の処理回路141内に示された各機能を有することになる。処理回路141が有する入力機能1411およびデータ復元機能1413は、それぞれ入力部、データ復元部の一例である。また、メモリ117は、記憶部の一例である。

0012

上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphical Processing Unit)、特定用途向け集積回路(Application Specific IntegratedCircuit:ASIC)、或いはプログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。

0013

プロセッサは、記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

0014

以下、図2乃至図8を参照して、処理回路141において実行される入力機能1411およびデータ復元機能1413などについて説明する。

0015

図2は、データ復元機能1413において実行される学習済みモデル105の概要の一例を示す図である。学習済みモデル105は、多くの学習データから学習した順伝播ネットワーク学習済み機械学習モデルである。学習済みモデル105は、例えば、少なくとも一部に畳み込み層を中間層として有する深層ニューラルネットワーク(以下、DNN(Deep Neural Network)と呼ぶ)である。学習済みモデル105は、メモリ117に記憶される。

0016

以下、説明を具体的にするために、DNNとして畳み込みニューラルネットワーク(以下、CNN(Convolution Neural Network)と呼ぶ)を例にとり、説明する。学習済みモデル105は、不図示の記憶装置、メモリ等の各種記憶回路へ記憶される。なお、学習済みモデル105は、DNNおよびCNNに限定されず、他の機械学習モデルであってもよい。なお、図2に示すCNN105は、入力層103と、出力層107とを有していてもよい。CNN105は、複数の中間層を有する。以下、説明を簡単にするために、CNN105は、3つの中間層を有するものとして説明する。なお、CNN105における中間層の数は、3つに限定されず、CNNの学習前において任意に設定可能である。

0017

図2に示すように、データ復元機能1413において実行される処理は、入力層103における処理と、CNN105における処理と、出力層107における処理とを有する。入力層103には、信号劣化の復元の対象となる信号(以下、復元対象データと呼ぶ)101と、復元対象データ101における標本の位置を示すデータ(以下、標本位置データと呼ぶ)102とが、入力機能1411により設定される。標本の位置とは、例えば、標本の時間的なもしくは空間的なインデックス(またはラベル)に対応する。

0018

メモリ117は、復元対象データ101と、標本位置データ102とを記憶する。また、メモリ117は、信号のデータ(復元対象データ101)と信号の標本の位置に関するデータ(標本位置データ102)とに基づいて、信号の劣化を復元した復元データを生成する学習済みモデルを記憶する。なお、信号のデータに相当する復元対象データ101は、復元対象データを生成する各種生成器から直接、入力層103へ出力されてもよい。また、標本位置データ102は、処理回路141におけるデータ復元機能1413により、学習済モデルの生成時に用いられたデータと同様なデータであって、復元対象データ101によらず生成されてもよい。

0019

復元対象データ101などの信号のデータは、本実施形態において、例えば、2次元的な画像に関するデータであるものとする。この場合、信号の標本の位置は、画像における画素座標であって、標本位置データ102は、例えば、画素の座標値を有するデータとなる。一般的に、標本位置データ102として、標本の位置に対して、復元対象データ101に関する信号のある性質度合いに相関するデータが用いられる。また、復元対象データ101に関する信号は、時系列に沿った1次元的な時系列信号であってもよい。このとき、信号の標本の位置は、標本の時刻などに相当する。標本の時刻とは、例えば、標本が収集された収集時刻である。信号の劣化は、例えば、ノイズである。復元対象データ101が1次元的な信号に相当する場合については、後述の適用例で詳述する。

0020

メモリ117は、例えば、ROM、RAM、フラッシュメモリ等の半導体メモリ素子ハードディスクドライブ(Hard Disk Drive)、ソリッドステートドライブ(Solid State Drive)、光ディスク等である。また、メモリ117は、CD−ROMドライブDVDドライブ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。

0021

以下、説明を具体的にするために、画像のノイズ除去を例にとり説明する。このとき、復元対象データ101は、ノイズ除去対象画像に対応し、標本位置データ102は、標本位置画像に対応する。

0022

図3は、2次元的なノイズ除去対象画像101の一例を示す図である。図4は、標本位置画像102の一例を示す図である。説明を具体的するために、ノイズ除去対象画像101の総画素数は、m×n画素(mおよびnは自然数)であるものとする。このとき、標本位置画像102における複数の画素各々には、例えば図4に示すように、標本位置画像102の左上の画素の画素値を1/(m×n)、標本位置画像102の右下の画素値を1として、標本位置画像102の左から右、および標本位置画像102の上から下に向かって、単調に増加する数値割り当てられる。なお、標本位置画像102は、図4に示すような、画素の座標に対応する画像に限定されない。例えば、標本位置画像102における複数の画素各々には、標本位置画像102の左から右、および標本位置画像102の上から下に向かって、単調に減少する数値などの、画素の位置を識別する値が割り当てられてもよい。

0023

また、標本位置画像102は1枚に限定されず、例えば、図5に示すような2つの標本位置画像102であってもよい。このとき、2つの標本位置画像102のうち一方の標本位置画像には、例えば、すべての行各々において、図4に示す1行目に示す複数の画素値が割り当てられる。また、2つの標本位置画像102のうち他方の標本位置画像には、すべての列各々において、図4に示す1行目に示す複数の画素値を縦に並べた複数の画素値が割り当てられる。

0024

入力層103は、処理回路141による制御のもとで、ノイズ除去対象画像101と標本位置画像102とを組み合わせたデータ(以下、組み合わせデータと呼ぶ)104をCNN105に出力する。CNN105は、組み合わせデータ104の変換を再帰的に繰り返し、すなわち組み合わせデータ104を入力として順伝搬処理を実行し、変換後の信号106を出力層107に出力する。出力層107は、変換後の信号106を用いて、ノイズ除去対象画像101のノイズを低減させた信号(以下、デノイズ画像と呼ぶ)を、信号の劣化を復元させた復元データ108として出力する。

0025

処理回路141は、入力機能1411により、学習済みモデルに、信号のデータ(復元対象データ101)と位置に関するデータ(標本位置データ102)とを入力する。具体的には、処理回路141は、ノイズ除去対象画像101と、標本位置画像102とを、入力層103に入力する。すなわち、処理回路141は、入力層103の互いに別のチャンネルに、ノイズ除去対象画像101と、標本位置画像102とを入力する。例えば、2枚の標本位置画像102が入力層103に入力される場合、入力層103のチャンネルは、3チャンネルとなる。

0026

図6は、入力層103における組み合わせデータ104と出力層107において生成される出力ベクトル107aとの一例を示す図である。図6において、組み合わせデータ104は、入力ベクトルとして示されている。なお、組み合わせデータ104はベクトル形式に限定されず、例えば、行列形式であってもよい。説明を簡単にするために、ノイズ除去対象画像101および標本位置画像102における総画素数N(Nは自然数)は、m×n個であるものとする。

0027

処理回路141は、データ復元機能1413により、復元対象データ101と標本位置データ102とが入力された学習済みモデルを用いて、復元データを生成する。具体的には、処理回路141は、入力層103において、ノイズ除去対象画像101における複数の画素値と、標本位置画像102における複数の画素値とを組み合わせて、組み合わせデータ104を生成する。具体的には、処理回路141は、入力ベクトル104における第1の入力範囲104aに、ノイズ除去対象画像101における複数の画素値(y1、y2、…、yN)を割り当てる。また、処理回路141は、入力ベクトル104における第2の入力範囲104bに、標本位置画像102における複数の画素値(x1、x2、…、xN)を割り当てる。

0028

処理回路141は、データ復元機能1413により、入力ベクトル104を、CNN105に出力する。処理回路141は、入力層103からCNN105への出力時において、入力ベクトル104に対して畳み込み処理を実行する。処理回路141は、CNN105において畳み込み処理を再帰的に実行する。これらの畳み込み処理等については、図7を用いて後程詳細に説明する。

0029

処理回路141は、データ復元機能1413により、CNN105から出力された信号106を、出力層107において、デノイズ画像108における画素値(z1、z2、…、zN)を表すベクトル形式107aとして保持する。処理回路141は、ベクトル形式107aにおける複数の成分を複数の画素として再配列することにより、デノイズ画像108を生成する。処理回路141は、デノイズ画像108を、メモリ117等に出力する。

0030

図7は、CNN105の構成の一例を示す図である。図7において、入力層103、CNN105、第1の中間層204および出力層107は、説明の便宜上、斜視図として示されている。まず、処理回路141は、データ復元機能1413により、ノイズ除去対象画像101における複数の画素値を、入力層103における第1の入力範囲104aに含まれる複数のノードに設定する。また、処理回路141は、標本位置画像102における複数の画素値を、入力層103における第2の入力範囲104bに含まれる複数のノードに設定する。

0031

なお、2枚の標本位置画像102が入力層103に入力される場合、入力層103における入力範囲は、例えば、3層構造となる。図7において、第1の入力範囲104aおよび第2の入力範囲104b各々における9つのノードを示す丸印以外の複数のノードは、煩雑となるため省略している。第1の入力範囲104aおよび第2の入力範囲104bにおける複数のノードは、ノイズ除去対象画像101の画素数だけ用意される。

0032

次に、処理回路141は、データ復元機能1413により、ノイズ除去対象画像101と標本位置画像102とに対して、学習済みの複数の重み係数を有するフィルタを用いて畳み込み処理を行う。処理回路141は、畳み込み処理により、入力層103から第1の中間層204に入力されるデータを生成する。フィルタにおける重み係数の総数(以下、タップと呼ぶ)は、フィルタが適用される画素数より少ない。例えば、図7の入力層103において、フィルタが適用される画素数は、横3画素×縦3画素×2枚(ノイズ除去対象画像101と標本位置画像102)であるため、タップは18となる。なお、タップは、図7に示す18に限定されず、学習時において適宜設定されてもよい。

0033

処理回路141は、データ復元機能1413により、タップが18個の重み係数を有するフィルタを用いて、ノイズ除去対象画像101における9画素と、標本位置画像102における9画素とに対して積和演算を実行する。処理回路141は、第1の中間層204において、積和演算に用いられたフィルタの位置に対応するノード205に、積和演算の結果の値(以下、積和値と呼ぶ)を設定する。

0034

処理回路141は、データ復元機能1413により、ノイズ除去対象画像101及び標本位置画像102に対するフィルタの適用位置を変えながら、第1の中間層204における全ノードに対して積和値を設定する。第1の中間層204における全ノードの数は、ノイズ除去対象画像101および標本位置画像102における画素の総数と同数である。なお、全ノードの数は、ノイズ除去対象画像101および標本位置画像における画素の総数と異なっていてもよい。また、フィルタに含まれる複数の重み係数の値は、ノイズ除去対象画像101及び標本位置画像102に対するフィルタの適用位置によらず一定である。

0035

処理回路141は、データ復元機能1413により、フィルタからの出力結果、すなわち積和値Xを、活性化関数と称される非線形関数を用いて変換(活性化)する。図8は、活性化関数f(X)の一例を示す図である。処理回路141は、活性化関数として、図8に示すReLU(Rectified Linear Unit)関数を用いる。図8に示す活性化関数f(X)は、X≦0である場合、0を出力し、X>0である場合、Xを出力する関数である。

0036

なお、活性化関数は、ReLU関数に限定されず、CNN105の学習時において適宜設定可能である。なお、CNN105における複数の中間層各々は、画像の枚数に相当する複数のチャンネルを有していてもよい。例えば、図7に示すように、第1の中間層204におけるチャンネル数が8である場合、入力層103から第1の中間層204への変換において、処理回路141は、3×3×2タップのフィルタを、チャンネルごとに8種類用いる。8種類のフィルタにおいては、重み係数はそれぞれ異なる。なお、中間層各々において用いられるフィルタのタップは異なっていてもよい。

0037

以降同様に、処理回路141は、データ復元機能1413により、第i(iは、1乃至(n−1)の自然数:nは中間層の総数)の中間層から第(i+1)の中間層においてチャンネル数が8であれば、8個の3×3×8タップのフィルタと活性化関数とを用いて、画像の変換を(n−1)回繰り返す。例えば、図7に示すように中間層の総数が3である場合、処理回路141は、中間層から中間層への積和値の変換を2回実行する。

0038

出力層107のチャンネル数は、学習時において1に設定される。例えば、図7に示すような場合、処理回路141は、データ復元機能1413により、出力層107において、第3の中間層206における8チャンネル分の積和値に対して、3×3×8タップの1つのフィルタを用いて積和演算を行う。処理回路141は、この積和演算で得られた結果(積和値)を、出力層107のチャンネルに、活性化関数を用いずに画素値として設定する。処理回路141は、出力層107で設定された画素値を用いて、デノイズ画像108を生成する。

0039

なお、CNN105において用いられる複数のフィルタ各々における複数の重み係数は、データ復元機能1413の実装前に、多くの学習データを用いて、誤差逆伝播法とよばれる方法で学習される。具体的には、複数の重み係数は、ノイズを有する画像(以下、ノイズ含有画像と呼ぶ)と標本位置画像102とを入力したときの出力画像がデノイズされた画像に近づくように、学習される。多くの学習データ各々は、例えば、以下の手順により生成される。まず、ノイズがない画像(以下、非ノイズ画像と呼ぶ)と標本位置画像102とを用意する。なお、標本位置データ102は、学習時において信号の特性に応じて複数用意しておいてもよい。このとき、複数の標本位置データにそれぞれ対応する複数の学習済みモデルのうち、最良学習結果に対応する学習済みモデルが、この学習済みモデルに関連する標本位置データ102とともに、メモリ117に記憶される。

0040

非ノイズ画像は、例えば、十分に長い時間をかけて露光することにより被写体を撮影して取得された画像である。ノイズ含有画像としては、例えば、非ノイズ画像に関する撮影時間より短い時間で被写体を撮影した画像である。なお、ノイズ含有画像は、標本位置画像102の画素値に応じた、すなわち非ノイズ画像における複数の画素各々の位置に応じたノイズを非ノイズ画像における複数の画素値に加えてノイズ含有画像を生成してもよい。非ノイズ画像と標本位置画像102とノイズ含有画像とが、一つの組の学習データとして生成される。

0041

なお、本実施形態における処理回路141は、図7の構成に加えて、データ復元機能1413により、中間層における畳み込みの後にバッチ正規化とよばれる処理を行ってもよい。また、処理回路141は、データ復元機能1413により、デノイズ画像を出力するのではなく、ノイズ画像を出力し、次いでノイズ画像をノイズ除去対象画像101から減じることで、デノイズ画像を生成してもよい。このとき、複数の重み係数は、ノイズ含有画像と標本位置画像102とを入力したときの出力画像がノイズを示す画像(以下、ノイズ画像と呼ぶ)に近づくように、学習される。ノイズ画像は、例えば、標本位置画像102の画素値に応じた、すなわちノイズ画像における複数の画素各々の位置に応じたノイズを示す画像に相当する。

0042

以上に述べた構成および各種機能による処理によれば、以下の効果を得ることができる。
本実施形態の信号処理装置1における処理回路141によれば、信号のデータと信号の標本の位置に関するデータとに基づいて信号の劣化を復元した復元データを生成する学習済みモデルを記憶し、信号のデータと標本の位置に関するデータとを学習済みモデルに入力し、学習済みモデルを用いて復元データを生成することができる。すなわち、本信号処理装置1によれば、入力層103に、復元対象データ101に加えて標本位置画像102も入力されるため、CNN105の学習において、入力層103から第1の中間層204に向けて、同じ重み係数でも画像における画素の位置に応じて出力が変化する自由度が生まれる。

0043

これにより、本実施形態によれば、ノイズ除去対象画像101における画素の位置(座標値)に応じてノイズ量が決まるような場合には、ノイズ除去対象画像101の部分領域または画素ごとのノイズ量に応じた強度でノイズ除去を実行することができる。すなわち、入力層103にノイズ除去対象画像101だけを入力した場合に比べて、ノイズ除去対象画像101におけるノイズ量が画像の複数の領域各々において異なる場合であっても、復元対象データ101における部分領域ごとのノイズ量に応じた強度で、復元対象データ101におけるノイズを低減することができる。

0044

例えば、風景写真では、風景写真の上部が空で明るく、風景写真の下部が相対的に暗い場合が多い。このため、風景写真におけるノイズは上部が少なくて下部が多くなる。このように、本実施形態では、ノイズ除去の対象画像(上記例では風景写真全般)に共通する、位置に関する特性に適応することできる。なお、本実施形態によれば、ノイズ量の特性だけでなく、例えば、図3のように処理対象の画像(この例では車の前方の画像全般)の中央部分は細かい図柄が多く、中央部分の周辺平坦であるといった、本来の画像信号の位置に関する特性にも対応することができる。つまり、図3のような処理対象の画像に適用される学習済みモデルは、ノイズ除去の際に、画像の中央ほど高周波数成分が残るように学習される。

0045

これらのことから、本信号処理装置1によれば、ノイズ除去対象画像101などの復元対象データに加えて、画像の各画素における座標などを示す標本位置データ102もCNN105に入力することで、信号の復元精度を向上させることができる。

0046

(応用例)
本応用例と本実施形態との相違は、入力層103にノイズ除去対象画像101だけを入力し、標本位置画像102をCNN105における少なくとも一つの中間層に入力することにある。すなわち、本応用例における入力層103は、第1の入力範囲104aのみを有する。また、本応用例において標本位置画像102が入力される中間層は、活性化関数により活性化された積和値が入力されるチャンネルに加えて、標本位置画像102が入力されるチャンネルを有する。

0047

図9は、本応用例におけるデータの入力の一例を示す図である。以下、図9を用いて、本応用例と本実施形態との相違に関する処理について説明する。本応用例におけるCNN105に対する学習は、入力層103への入力がノイズ除去対象画像101のみであること、およびCNN105への標本位置画像102の入力が中間層であることを除いて、本実施形態と同様なため、説明は省略する。

0048

処理回路141は、入力機能1411により、ノイズ除去対象画像101を、入力層103に入力する。処理回路141は、標本位置画像102を、メモリ117から読み出してCNN105における中間層に入力する。説明を具体的にするために、標本位置画像102が入力される中間層は第1の中間層204であるものとする。なお、標本位置画像102が入力される中間層は、第1の中間層204に限定されず、複数の中間層のうちいずれの中間層に入力されてもよい。

0049

図10は、本応用例において、標本位置画像102が入力される第1の中間層204の一例を示す図である。図10に示すように、第1の中間層204は、畳み込みされかつ活性化されたデータ2041が入力層103から入力される畳み込み後入力範囲204aと、標本位置画像102が入力される標本位置入力範囲204bと、を有する。畳み込み後入力範囲204aにおける複数のノードは、第1の入力範囲104aにおける複数のノードと同様である。また、標本位置入力範囲204bにおける複数のノードは、第2の入力範囲104bにおける複数のノードと同様である。

0050

すなわち、本応用例における第1の中間層204は、本実施形態に記載のチャンネルに加えて、標本位置画像102が入力されるチャンネルを有する。このため、処理回路141は、データ復元機能1413により、第2の中間層への出力として、追加されたチャンネルの分だけチャンネル方向のタップが多いタップで畳み込みを行う。例えば、図7および図10を参照すると、処理回路141は、3×3×9タップのフィルタを用いて畳み込み処理を実行する。

0051

なお、標本位置画像102の中間層への入力は、標本位置画像用のチャンネル、上の例では標本位置入力範囲204bを用いずに、畳み込みをしてきたデータに、標本位置画像102の画素値を単純に加算してもよい。すなわち、処理回路141は、データ復元機能1413により、畳み込み後入力範囲204aに設定した値に、各ノードに対応する標本位置画像102の値(画素値)を加算してもよい。また、畳み込み後入力範囲204aが2チャンネル以上ある場合には、入力層103と同様の構成に標本位置画像102を入力し、1チャンネルから増やした出力を畳み込み後入力範囲204aの各チャンネル、各ノードに加算してもよい。

0052

なお、処理回路141は、標本位置画像102だけを別のニューラルネットワークに入力し、別のニューラルネットワークからの出力を、中間層204における標本位置入力範囲204bに入力してもよい。別のニューラルネットワークとは、例えば、標本位置画像102を入力する、入力層103とは別の入力層、別の中間層で構成し、その出力を中間層204に入力する。追加した別のニューラルネットワークも、元のニューラルネットワークと接続するので、元のニューラルネットワークと同時に誤差逆伝播法で学習される。

0053

以上に述べた構成によれば、本応用例において、本実施形態における効果と同様に、標本位置画像102が入力される中間層において、ノイズ量に応じて出力が変化する自由度が得られるため、ノイズ除去対象画像101における部分範囲ごとのノイズ量に応じた強度や特性で、ノイズ除去対象画像101のノイズを低減すること(ノイズ除去)ができる。

0054

以下、本実施形態における処理回路141およびメモリ117を搭載した距離計測装置、音声処理装置、および振動計測装置について、第1乃至第3の適用例においてそれぞれ説明する。距離計測装置、音声処理装置、および振動計測装置は、例えば、時系列に沿った1次元的な復元対象データ101と、1次元的な標本位置データ102とをCNN105に用いる一例である。このとき、標本位置データ102として、例えば、時系列信号における標本の収集時刻に対応する、標本の収集開始時刻から収集時刻までの経過時間が用いられる。

0055

(第1の適用例)
本適用例における距離計測装置は、本実施形態における処理回路141およびメモリ117を搭載する。距離計測装置において、例えば、LIDAR(Light Detection And Ranging)、光波測距儀電波測距儀などの光リモートセンシング技術が用いられる。例えば、本距離計測装置が車両に搭載された場合、本距離計測装置は、車両の周辺状況の把握、車両の進行に関する障害物を検知のために用いられる。

0056

距離計測装置に装備された受光素子において受光された反射光反射パルス)の強度が小さいほど、あるいは、反射光以外のノイズに相当する環境光などの外乱が多いほど、距離計測装置により生成された距離画像における誤差は大きくなる。このため、距離画像の生成のもととなる受信波形を復元対象データ101とし、受信波形101における複数の標本にそれぞれ対応する複数の経過時間を標本位置データ102とすることで、距離画像における距離の精度を改善することができる。

0057

受信波形101における複数の標本各々は、受光素子115により反射光が受信された時刻(上記実施形態で説明した収集時刻に対応し、以下、受光時刻と呼ぶ)に対する受信光の強度に対応する。経過時間とは、受信波形101の収集開始時刻(例えば、距離計測装置からパルス出射した時刻から収集を開始する)から、複数の標本各々における受光時刻までの時間間隔に相当する。すなわち、本適用例における標本の位置は、経過時間に対応する。

0058

図11を参考にして、本適用例における距離計測装置110の全体構成について説明する。図11は、距離計測装置110の構成の一例を示す図である。なお、以下の全体構成の説明は一例に過ぎず、一般的な距離計測装置110に本信号処理装置1が搭載されてもよい。図11に示すように、距離計測装置110は、発光素子照射部)113と、受光素子(受信部)115と、メモリ(記憶部)117と、インタフェース119と、処理回路(処理部)141とを備える。処理回路141は、図11に示すように、入力機能1411、データ復元機能1413、距離算出機能1415を有する。距離計測装置110は、被検体に向けて発光素子113から照射されたレーザーパルスが被検体で反射してくるまでの時間に基づいて、被検体までの距離を計測する。

0059

本適用例において、復元対象データ101は、図1におけるデータ復元機能1413によるデノイズ(データ復元)の処理前であって、受光素子115により取得された受信波形に相当する。受信波形101は、複数の標本各々の受光時刻に対する受信光の強度を有する。すなわち、受信波形101は、時系列に沿った受信光の強度を示す波形に相当する。一つの受光時刻に対する受信光の強度は、復元対象データにおける一つの標本に対応する。

0060

また、図6に示す組み合わせデータ104のデータ量(復元対象データ(受信波形)101のデータ量(サンプル数)、および標本位置データ102のデータ量(サンプル数))は、発光素子113および受光素子115を用いた距離の計測の対象領域(以下、計測対象領域と呼ぶ)と、計測される距離の上限(以下、計測上限と呼ぶ)とに応じて、予め規定される。すなわち、計測対象領域と計測上限とに応じて、CNN105は学習される。なお、組み合わせデータ104のデータ量は、サンプル数の代わりに、受信信号の計測時間により規定されてもよい。このとき、計測対象領域において発光素子113から出射された複数のレーザーパルス各々に応じた計測時間で取得された受信波形101が、CNN105へ入力される。

0061

本適用例に関する処理内容については、実施形態におけるノイズ除去対象画像101を受信波形に読み替えることで理解できるため、説明は省略する。また、本適用例において、データ復元機能1413は、受信波形101におけるノイズ、すなわち環境光に起因する受信強度を除去することを目的としているため、受信波形101におけるノイズを除去するノイズ除去機能に相当する。本適用例において、処理回路141が有するデータ復元機能1413、および距離算出機能1415は、それぞれノイズ除去部、距離算出部の一例である。

0062

発光素子113は、例えばレーザーダイオードに相当する。発光素子113は、不図示の基準タイミング生成回路により生成された基準タイミング信号に従って、レーザー光出射光として発生する。これにより、発光素子113は、計測対象領域において障害物へ向けてレーザー光を逐次出射(照射)する。なお、発光素子113はレーザダイオードに限定されず、任意の波長の光波を発生する光波発生器で実現されてもよい。

0063

受光素子115は、例えばフォトダイオードなどの少なくとも一つの光検出素子とA/D変換器とを有する。受光素子115は、反射光を受信し、受信された反射光を、反射光の強度に応じて電気信号(以下、受信信号と呼ぶ)に変換する。受信波形101には、物体において反射されたレーザーパルスの他に、このパルス以外の環境光に起因する受信信号が混在する。受光素子115は、受信信号を、反射光の受光時刻とともに、処理回路141に出力する。具体的には、受光素子115は、光検出素子により、物体において反射されたレーザーパルスを含む反射光を受信する。受光素子115は、A/D変換器により、受信された反射光を受信信号に変換する。

0064

より詳細には、受光素子115は、反射光の強さの時間変化を検出し、A/D変換によりデジタル化された時系列の受信信号(受信波形101)を処理回路141へ出力する。すなわち、受光素子115は、受信信号をA/D変換により、サンプリング周波数に従って標本化し、デジタル的な受信波形101を処理回路141へ出力する。デジタルデータとしての受信波形101における複数の値各々(受信波形の強度)は、受信波形101における上記標本に相当する。

0065

より詳細には、受光素子115は、発光素子113により発生されたレーザーパルスを用いて計測対象領域をスキャンすることにより取得された受信波形101を、処理回路141に出力する。このとき、受信波形101は、入力機能1411による制御のもとで、入力層103の第1の入力範囲104aに入力される。なお、受光素子115は、計測対象領域に対するレーザーパルスを用いたスキャンが完了するまで、変換された受信波形101を、受光時刻とともにメモリ117に出力してもよい。

0066

メモリ117は、受信波形を示す受信信号のデータ101と、受信信号における標本の位置に関するデータ標本位置データ102とを記憶する。また、メモリ117は、受信信号のデータと受信信号の標本の位置に関するデータとに基づいて受信信号のノイズを低減したノイズ除去データを生成する学習済みモデルを記憶する。ノイズ除去データは、図6等における復元データ108に相当する。

0067

メモリ117は、復元データ108に対応するノイズ除去データを記憶する。ノイズ除去データは、データ復元機能1413により受信波形101をノイズの劣化から復元させた復元波形108に相当する。メモリ117は、距離算出機能1415によりノイズ除去データ108を用いて算出された距離を記憶する。なお、メモリ117は、算出された距離に対応するグレースケールを、計測対象領域に亘って距離算出機能1415により配置させた距離画像を記憶してもよい。メモリ117は、処理回路141において実行される各種機能に対応するプログラムを記憶する。例えば、メモリ117は、上述の学習済みモデルに対応するCNN105を実行するためのプログラム(以下、データ復元プログラムと呼ぶ)を記憶する。

0068

インタフェース119は、本距離計測装置110に対する入出力に関する回路等に相当する。インタフェース119は、操作者による入力指示受け付ける。また、インタフェース119は、無線または有線のネットワークを介して、外部の機器から各種指示や情報入力を受け付ける。また、インタフェース119は、距離算出機能1415により生成された距離画像を、無線または有線のネットワークを介して、外部の機器等へ出力してもよい。外部の機器とは、例えば本距離計測装置110が車両に搭載された場合、インタフェース119は、距離画像を、車両における制御回路等に出力する。なお、インタフェース119は、不図示のディスプレイを有し、ユーザインタフェースとして実現されてもよい。このとき、処理回路141は、ディスプレイに距離画像を表示させる。

0069

処理回路141は、不図示のシステム制御機能により、本距離計測装置110を制御する。入力機能1411、データ復元機能1413、および距離算出機能1415にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態でメモリ117に記憶されている。処理回路141は、これら各種機能に対応するプログラムをメモリ117から読み出し、読み出したプログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路141は、図11の処理回路141内に示された複数の機能を有する。

0070

なお、図11においては単一の処理回路141にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路141を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。

0071

処理回路141は、距離算出機能1415により、データ復元機能1413から出力された復元波形108におけるパルスの最大強度に対応する受光時刻(以下、パルス時刻と呼ぶ)と、基準タイミング信号とに基づいて、距離を算出する。具体的には、処理回路141は、復元波形108においてパルスを検出し、検出されたパルスに対応するパルス時刻を特定する。次いで、処理回路141は、発光素子113におけるレーザー光の発生時刻と、パルス時刻との差に光速度乗算した乗算値を2で除することにより、障害物までの距離を計算する。乗算値を2で除することは、発光素子113により発生されたレーザーパルスが、距離計測装置110と障害物との間を往復しているためである。なお、処理回路141は、計算された距離を画素ごとに配列させることにより、距離画像を生成してもよい。

0072

以上が本適用例における距離計測装置110の全体構成についての説明である。以下、本適用例における入力機能1411、データ復元機能1413について、以下のデータ復元処理の説明において詳述する。本適用例において、復元対象データ101は、上述の実施形態において説明した2次元的な画像ではなく、時系列に沿った1次元のデータである。データ復元処理におけるCNN105は、図7において、2次元的なデータを1次元的なデータに置き換えることで理解される。すなわち、処理回路141は、入力機能1411により、ノイズ除去対象を2次元的な画像のデータではなく時系列に沿った1次元的な受信波形101とし、標本位置画像を1次元的な標本位置データ102として、入力層103に入力する。このとき、CNN105に関する入力層103と複数の中間層と出力層107とにおけるチャンネル数は、2次元のチャンネル数の代わりに1次元のチャンネル数となる。

0073

(データ復元処理)
本適用例におけるデータ復元処理は、受信信号のデータ101と受信信号の標本の位置に関するデータ102とを用いたデータ復元プログラムの実行により、復元データとしてノイズ除去データ108を生成する処理である。図12は、本適用例におけるデータ復元処理に関する手順の一例を示すフローチャートである。

0074

(ステップSa1)
受光素子115は、時系列に沿って物体による反射光を受信する。これにより、反射光に関する、時系列に沿った受信波形101が取得される。図13は、本距離計測装置110と計測対象の物体との距離が近い場合の受信波形101の一例を示す図である。図13において、受信波形101における反射光はパルスPIとして示されている。図13に示すELは、環境光に関する受信波形101の一部を示している。

0075

図13に示すように、本距離計測装置110と計測対象の物体との距離が近い場合、発光素子113から出射されたパルスは、物体で拡散反射されて比較的短い時間で受光素子115に戻ってくるため、パルスPIに関する経過時間は短くなる。加えて、発光素子113から出射されたパルスは、比較的短い時間で受光素子115に戻ってくるため、本距離計測装置110と計測対象の物体との距離が遠い場合に比べてパルスの減衰は、小さくなる。このため、本距離計測装置110と計測対象の物体との距離が近い場合、パルスPIの波高、すなわちパルスPIの強度(電圧等)は、環境光ELの強度に比べて大きくなる。

0076

図14は、本距離計測装置110と計測対象の物体との距離が遠い場合の受信波形101の一例を示す図である。図14において、受信波形101における反射光はパルスPIとして示されている。図14に示すELは、環境光に関する受信波形101の一部を示している。本距離計測装置110と計測対象の物体との距離が遠い場合、発光素子113から出射されたパルスは、物体で反射されて比較的長い時間で受光素子115に戻ってくるため、パルスPIに関する経過時間は長くなる。このとき、本距離計測装置110と計測対象の物体との距離が近い場合に比べて反射光の減衰が大きくなり、図14に示す受信波形101におけるパルスPIの波高、すなわちパルスPIの強度(電圧等)は、本距離計測装置110と計測対象の物体との距離が近い場合のパルスの波高に比べて低くなる。

0077

また、図13および図14に示すように、受信波形101における環境光ELの波高は、経過時間によらずほぼ一定となる。図13および図14に示すように、受信波形101におけるパルスPIの波高は、経過時間が短いと高くなり、経過時間が長いと低くなるという、反射光の減衰に起因する経過時間(Time−of−flight)に応じた特性を有する。図13および図14において、収集開始時刻はTsとして示され、標本の収集終了時刻は、Teで示されている。収集開始時刻Tsから標本の収集終了時刻Teまでに時間は、上述の計測時間に対応し、計測上限に応じて予め設定される。

0078

(ステップSa2)
処理回路141は、入力機能1411により、受信信号(受信波形)101の標本の位置(経過時間)に関する標本位置データ102を、メモリ117から読み出す。なお、標本位置データ102の読み出しは、ステップSa1の処理の前に実行されてもよい。

0079

図15は、標本位置データ102の一例を示す図である。図15に示すように、本適用例における標本位置データ102は、受光時刻に対する経過時間を示す場合、計測時間に亘って単調増加する線形のデータとなる。なお、標本位置データ102として、計測時間に亘って、経過時間を0乃至1に正規化した値が用いられてもよい。また、標本位置データ102は、単調増加する線形のデータに限定されず、単調減少する線形のデータであってもよいし、線形に限らず、受光時刻に対して1対1対応非線形なデータであってもよい。

0080

より一般的には、標本位置データ102は、受光時刻である標本の位置に対する経過時間の対応関係に限定されず、標本の位置に対して異なる値が設定された1対1対応のデータであれば、線形、非線形を問わずいずれの関数形状であってもよい。例えば、標本位置データ102は、複数の標本の位置にそれぞれ対応する複数の異なるインデックス値ラベル値)を有する対応表に相当するデータであってもよい。このとき、複数の異なるインデックスは、受光時刻に対して連続的に変化するもの、および複数のラベルの桁数があまり変化しないもの(例えば、0乃至3桁など)が好ましい。

0081

(ステップSa3)
処理回路141は、入力機能1411により、受信信号のデータである受信波形101と、標本位置データ102とを、学習済みモデルに入力する。具体的には、処理回路141は、受信波形101と標本位置データ102とを入力層103に入力する。より詳細には、処理回路141は、ステップSa1において取得された受信波形101における複数の標本各々の強度を、入力層103の第1の入力範囲104aにおける複数のノードに入力する。処理回路141は、ステップSa2において読み出された標本位置データ102における複数の値を、入力層103の第2の入力範囲104bにおける複数のノードに入力する。

0082

処理回路141は、データ復元機能1413により、入力層103において、受信波形101における複数の標本各々の強度と、標本位置データ102における複数の値とを組み合わせて、組み合わせデータ104を生成する。処理回路141は、組み合わせデータを、CNN105に出力する。

0083

なお、上述の応用例が本適用例に用いられる場合、処理回路141は、受信波形101を入力層103に入力し、標本位置データ102をCNN105における少なくとも一つの中間層に入力する。

0084

処理回路141は、データ復元機能1413により、受信波形101と標本位置データ102とが入力された学習済みモデルを用いて、受信信号のノイズ(環境光の影響)を低減した、またはノイズを除去したノイズ除去データ(復元波形)108を生成する。図16は、本距離計測装置110と計測対象の物体との距離が近い場合の復元波形108の一例を示す図である。図17は、本距離計測装置110と計測対象の物体との距離が遠い場合の復元波形108の一例を示す図である。図16および図17に示すように、復元波形108は、受信波形101に対して、環境光ELによる影響が低減され、または除去されている。

0085

(ステップSa4)
処理回路141は、距離算出機能1415により、学習済みモデルから出力された復元データ(復元波形)108において、パルスを検出する。具体的には、処理回路141は、検出されたパルスの受光時刻(パルス時刻)を特定する。図16および図17におけるTdは、検出されたパルスPIに対する、特定されたパルス時刻を示している。

0086

(ステップSa5)
処理回路141は、距離算出機能1415により、検出されたパルスに関する経過時間を用いて、パルスに対応する距離を計算する。具体的には、処理回路141は、検出されたパルスに関する経過時間を算出する。図16および図17において、経過時間ETは、特定されたパルス時刻Tdからパルスの出射時刻すなわち標本の収集開始時刻Tsを差分することにより、算出される。処理回路141は、経過時間ET(=Td−Ts)に光速度cを乗算し、2で除すること(ET×c/2)により、距離を算出する。

0087

上記ステップSa1乃至ステップSa5の処理は、計測対象領域における1点における処理の流れである。このため、計測対象領域の全域に亘って、ステップSa1乃至ステップSa5の処理は繰り返される。繰り返し処理各々において、CNN105には、同一の標本位置データ102が入力される。計測対象領域の全域に関する複数の距離が算出されると、処理回路141は、距離算出機能1415により、光検出素子ごとに算出された距離を用いて距離画像を生成してもよい。

0088

以上に述べた構成および各種機能による処理によれば、以下の効果を得ることができる。
本適用例における距離計測装置110によれば、物体において反射されたパルスを含む反射光を受信し、受信された反射光を受信信号に変換し、受信信号のデータ101と受信信号の標本の位置に関するデータ102とに基づいて受信信号のノイズを低減したノイズ除去データを生成する学習済みモデルに、受信信号のデータ101と、受信信号の標本の位置に関するデータ102とを入力し、学習済みモデルを用いて、ノイズ除去データ108を生成し、ノイズ除去データ108においてパルスを検出し、検出されたパルスに基づいて物体の距離を算出することができる。

0089

また、本距離計測装置110によれば、学習済みモデルとしてのニューラルネットワークにおける入力層103の互いに別のチャンネルに受信波形101と標本位置データ102とを入力することができる。また、本距離計測装置110によれば、学習済みモデルとしてのニューラルネットワークにおける入力層103に受信波形101を入力し、ニューラルネットワークにおける複数の中間層のうち少なくとも一つに標本位置データ102を入力することができる。

0090

以上のことから、本適用例における距離計測装置110によれば、反射光の強度が小さい、あるいは、反射光以外の環境光などの外乱が多かったとしても、距離画像における誤差を低減することができ、距離画像における距離の精度を向上させることができる。すなわち、本適用例における距離計測装置110によれば、受信波形101における経過時間に応じた特性に適応できるため、受信波形101における環境光をノイズとして効果的に除去することができる。すなわち、本距離計測装置110によれば、本距離計測装置110と計測対象の物体との距離が遠い場合においても、図14に示すような受信波形に101に埋もれたパルスを、図17に示すように検出することができる。これらのことから、本距離計測装置110によれば、高い精度でパルスの受光時刻を検出できるため、距離の計測精度を向上させることができる。

0091

(第2の適用例)
本適用例における音声処理装置は、本実施形態における処理回路141およびメモリ117を搭載する。図18を参考にして、本適用例における音声処理装置201の全体構成について説明する。図18は、音声処理装置201の構成の一例を示す図である。図18に示すように、音声処理装置201は、マイクロフォン202と、メモリ(記憶部)117と、インタフェース209と、処理回路(処理部)141とを備える。処理回路141は、図1と同様に入力機能1411およびデータ復元機能1413を有する。マイクロフォン202は、時系列に沿って音声を取得する音声取得部の一例である。

0092

本適用例において、復元対象データ101は、マイクロフォン202により時系列に沿って取得された音声データ(音声信号)に相当する。音声データは、時系列に沿った1次元的なデータの一例である。標本位置データ102は、例えば、音声データにおける標本の位置、すなわち複数の標本各々の収集時刻に対する経過時間に関するデータであって、図15に示すデータに相当する。具体的には、標本位置データ102は、決まった言葉による音声操作において、音声信号に対して時刻に関する特性を有するデータである。出力層107から出力される復元データ108は、環境音を低減または除去した音声データとなる。すなわち、本音処理装置201の適用例として、決まった言葉による音声操作において、時刻に関する特性が音声信号にあるため、音声データにおける話者以外の環境音を効果的に除去することができ、音声の認識率を向上させることができる。なお、本適用例において、上述の応用例に関する処理内容については、復元対象データ101を音声データに読み替えることで理解できるため、説明は省略する。

0093

マイクロフォン202は、例えば接話マイクである。マイクロフォン202は、話者の音声を取得する。また、マイクロフォン202は、指向性を有するマイクロフォンであってもよい。マイクロフォン202は、時系列に沿って取得された音声に従って、音声データを生成する。マイクロフォン202は、音声データを、処理回路141に出力する。

0094

メモリ117は、音声データ、標本位置データ102およびデータ復元機能1413により音声データにおけるノイズ(環境音)を低減した音声データ(以下、デノイズデータと呼ぶ)を記憶する。デノイズデータは、図6等における復元データ108に相当する。メモリ117は、音声データ101と標本位置データ102とに基づいて音声データ101のノイズを時系列に沿って低減したデノイズデータを生成する学習済みモデルを記憶する。メモリ117は、処理回路141において実行される各種機能に対応するプログラムを記憶する。例えば、メモリ117は、上述の学習済みモデルに対応するCNN105を実行するためのデータ復元プログラムを記憶する。

0095

インタフェース209は、本音声処理装置201に対する入出力に関する回路等に相当する。インタフェース209は、操作者による入力指示を受け付ける。また、インタフェース209は、無線または有線のネットワークを介して、外部の機器から各種指示や情報入力を受け付ける。また、インタフェース209は、データ復元機能1413により生成されたデノイズデータ108を、無線または有線のネットワークを介して、外部の機器等へ出力する。なお、インタフェース209は、不図示のスピーカを有し、操作者の指示により、デノイズデータ108に対応する音声を発生させてもよい。

0096

処理回路141は、不図示のシステム制御機能により、本音声処理装置201を制御する。入力機能1411およびデータ復元機能1413にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態でメモリ117に記憶されている。処理回路141は、これら各種機能に対応するプログラムをメモリ117から読み出し、読み出したプログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路141は、図18の処理回路141内に示された複数の機能を有する。

0097

なお、図18においては単一の処理回路141にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路141を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。

0098

以上が本適用例における音声処理装置201の全体構成についての説明である。以下、本適用例における入力機能1411、データ復元機能1413について、以下のデータ復元処理の説明において詳述する。

0099

(データ復元処理)
本適用例におけるデータ復元処理は、音声データ101と、標本位置データ102とを用いたデータ復元プログラムの実行により、復元データ108を生成する処理である。図19は、本適用例におけるデータ復元処理に関する手順の一例を示すフローチャートである。

0100

(ステップSb1)
マイクロフォン202により、音声データ101が、時系列に沿って取得される。図20は、音声データ101の一例を示す図である。図20に示すように、音声データ101には、鋸歯状のノイズが現れている。音声データ101の取得期間は、組み合わせデータ104のデータ量が有限であるため、例えば、入力層103の第1の入力範囲104aにおけるデータ量に応じて予め設定される。

0101

(ステップSb2)
処理回路141は、入力機能1411により、音声データ(音声波形)101における標本の位置(経過時間)に関する標本位置データ102を、メモリ117から読み出す。なお、標本位置データ102の読み出しは、ステップSb1の処理の前に実行されてもよい。

0102

(ステップSb3)
音声データ101と標本位置データ102とが、学習済みモデルに入力される。具体的には、処理回路141は、入力機能1411により音声データ101と標本位置データ102とを入力層103に入力する。より詳細には、処理回路141は、音声データ101における時系列に沿った音声の振幅値を、入力層103の第1の入力範囲104aにおける複数のノードに入力する。処理回路141は、標本位置データ102における時系列に沿った複数の値を、入力層103の第2の入力範囲104bにおける複数のノードに入力する。

0103

処理回路141は、データ復元機能1413により、入力層103において、音声データ101における複数の振幅値と、標本位置データ102における複数の値とを組み合わせて、組み合わせデータ104を生成する。処理回路141は、組み合わせデータを、CNN105に出力する。なお、上述の応用例が本適用例に用いられる場合、処理回路141は、音声データ101を入力層103に入力し、標本位置データ102をCNN105における少なくとも一つの中間層に入力する。

0104

(ステップSb4)
処理回路141は、データ復元機能1413により、音声データ101と標本位置データ102とが入力された学習済みモデルを用いて、音声データ101のノイズ(環境音の影響)を低減したまたは除去したデノイズデータ108を生成する。具体的には、処理回路141は、データ復元機能1413により、音声データ101と標本位置データ102とを用いたデータ復元プログラムの実行により、CNN105を用いてデノイズデータ108を生成する。

0105

図21は、時系列に沿ったデノイズデータ108の一例を示す図である。図21に示すように、図20に比べて鋸歯状のノイズが低減されている。処理回路141は、デノイズデータ108をインタフェース209に出力する。なお、インタフェース209は、操作者の指示により、デノイズデータ108を音声としてスピーカから出力してもよい。ステップSb1乃至ステップSb4の処理は、音声データの取得に応じて繰り返される。繰り返し処理各々において、CNN105には、同一の標本位置データ102が入力される。

0106

以上に述べた構成および各種機能による処理によれば、以下の効果を得ることができる。
本適用例における音声処理装置201によれば、時系列に沿って音声を取得し、取得された音声に対して時刻に関する特性を有する標本位置データ102と音声データ101とに基づいて音声のノイズを時系列に沿って低減したデノイズデータ108を生成する学習済みモデルを記憶し、学習済みモデルに音声データ101と標本位置データ102とを入力し、学習済みモデルを用いてデノイズデータ108を生成することができる。

0107

以上のことから、本適用例における音声処理装置201によれば、音声操作などの発話が開始された時刻からの経過時間に関する特性を有する音声認識において、例えば、話者以外の周囲の音をノイズとして低減または除去することで音声の認識精度を向上させることができる。すなわち、本音声処理装置201によれば、時系列に沿った1次元的な音声信号を本実施形態で説明した画像のような2次元信号と同様に、フィルタと活性化関数とを用いたニューラルネットワークを構成することができる。

0108

これにより、本音声処理装置201によれば、例えば、時系列のノイズを含んだ音声信号(音声データ)101と、同じ時系列の例えば時刻に関する特性を有する標本位置データ102とを入力層103に設定することにより、音声データ101における背景音を効果的に低減することができる。これらのことから、本音声処理装置201によれば、決まった言葉による音声操作においても、音声信号が時刻に関する特性を有するため、音声データ101における話者以外の環境音を効果的に除去することができ、音声の認識率を向上させることができる。

0109

(第3の適用例)
本適用例における振動計測装置は、本実施形態における処理回路141およびメモリ117を搭載する。振動計測装置は、構造物(橋、ビルダムなど)などに対する非破壊検査において用いられる。例えば、振動計測装置は、これらの構造物における亀裂などの罅の検出等に用いられる。図22を参考にして、本適用例における振動計測装置301の全体構成について説明する。図22は、振動計測装置301の構成の一例を示す図である。図21に示すように、振動計測装置301は、加速度センサ303と、メモリ(記憶部)117と、インタフェース309と、ディスプレイ311と、処理回路(処理部)141とを備える。処理回路141は、変換機能3131に加えて、図1と同様に入力機能1411およびデータ復元機能1413を有する。加速度センサ303は、時系列に沿って振動を計測する振動計測部の一例である。

0110

本適用例において、復元対象データ101は、加速度センサ303により時系列に沿って取得された振動のデータ(以下、振動データと呼ぶ)に対してフーリエ変換が実行されたデータ(以下、変換データと呼ぶ)に相当する。また、変換データ101は、加速度を示す振動データに基づくため、一般的に、低周波数成分において大きい強度を有する。すなわち、振動データの周波数スペクトラムを示す変換データ101において、低周波数成分は、高周波数成分より多い。このため、標本位置データ102は、例えば、変換データ101における標本の位置(周波数)に関するデータであって、例えば、低周波数成分から高周波数成分にかけて周波数に対して強度が単調減少する周波数スペクトラムに相当する。

0111

なお、標本位置データ102は、変換データ101に対して低域通過フィルタLPF:Low Pass Filter)を適用したデータであってもよい。また、標本位置データ102は、処理対象の信号の特性が周期的であれば、この特性の周期に合わせて変化するデータであってもよい。例えば、標本位置データ102は、構造物の複数の組成に起因する固有振動数に応じた周期的な振動を示す振幅値(または振幅値を正規化したもの)、複数の組成各々の固有振動数による周期的な振動の共鳴によるうなりを示すようなデータであってもよい。また、標本位置データ102は、この特性が周期的でなくても、特性の時間変化が既知の場合はその時間変化に応じたデータであってもよい。例えば、標本位置データ102は、非破壊検査が実施される構造物に関する振動の周波数特性(以下、基準スペクトラムと呼ぶ)であってもよい。基準スペクトラムは、例えば、構造物の形状、構造物の基礎地盤および非破壊検査が実施される季節などを条件として、構造物の固有振動、構造物の反響特性などをシミュレーションすることにより求められる。

0112

また、標本位置データ102は、振動の計測を始めてから次第に振動の振幅が小さくなっていくなど、振動データに経過時間の特性がある場合、図15に示すような強度が単調減少するデータであってもよい。このとき、復元対象データ101は、振動データに対応し、復元データ108は振動データにおけるノイズを低減または除去したデータとなる。加えて、標本位置データ102として図15に示すような強度が単調減少するデータが用いられる場合、変換機能3131は不要となる。なお、本適用例において、上述の応用例に関する処理内容については、復元対象データ101を変換データに読み替えることで理解できるため、説明は省略する。

0113

加速度センサ303は、例えば、MEMS(Micro Electro Mechanical Systems)により構成され、構造物における振動を計測する。加速度センサ303は、時系列に沿って計測された振動に従って、振動データを生成する。加速度センサ303は、振動データを、処理回路141に出力する。

0114

メモリ117は、振動データ、変換データ101、標本位置データ102、およびデータ復元機能1413により変換データ101におけるノイズが低減されたデータ(以下、復元変換データと呼ぶ)を記憶する。復元変換データは、図6等における復元データ108に相当する。また、メモリ117は、復元変換データ108に対して逆フーリエ変換が実行されたデータ(以下、振動デノイズデータと呼ぶ)を記憶する。メモリ117は、振動データ(または変換データ)と標本位置データ102とに基づいて振動のノイズを周波数ごとに低減した復元変換データ108を生成する学習済みモデルを記憶する。メモリ117は、処理回路141において実行される各種機能に対応するプログラムを記憶する。例えば、メモリ117は、上述の学習済みモデルに対応するCNN105を実行するためのデータ復元プログラムを記憶する。

0115

インタフェース309は、本振動計測装置301に対する入出力に関する回路等に相当する。インタフェース309は、操作者による入力指示を受け付ける。また、インタフェース309は、無線または有線のネットワークを介して、外部の機器から各種指示や情報入力を受け付ける。また、インタフェース309は、データ復元機能1413により生成された復元変換データを、無線または有線のネットワークを介して、外部の機器等へ出力してもよい。

0116

ディスプレイ311は、各種の情報を表示する。例えば、ディスプレイ311は、処理回路141における変換機能3131によって生成された振動デノイズデータを表示する。また、ディスプレイ311は、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を表示する。ディスプレイ311としては、種々の任意のディスプレイが、適宜、使用可能となっている。例えばディスプレイ311として、液晶ディスプレイCRTディスプレイ有機EL(Electro−Luminescence)ディスプレイ又はプラズマディスプレイが使用可能である。

0117

処理回路141は、不図示のシステム制御機能により、本振動計測装置301を制御する。変換機能3131、入力機能1411およびデータ復元機能1413にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態でメモリ117に記憶されている。処理回路141は、これら各種機能に対応するプログラムをメモリ117から読み出し、読み出したプログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路141は、図22の処理回路141内に示された複数の機能を有する。

0118

なお、図22においては単一の処理回路141にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路141を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。

0119

以上が本適用例における振動計測装置301の全体構成についての説明である。以下、本適用例における変換機能3131、入力機能1411、データ復元機能1413について、標本位置データ102として周波数スペクトラムを用いたデータ復元処理の説明において詳述する。

0120

(データ復元処理)
本適用例におけるデータ復元処理は、変換データ101と、標本位置データ102とを用いたデータ復元プログラムの実行により、復元データ108として復元変換データを生成する処理である。図23は、本適用例におけるデータ復元処理に関する手順の一例を示すフローチャートである。以下、説明を具体的にするために、標本位置データ102は、周波数に対して強度が単調減少するデータであるものとして説明する。

0121

(ステップSc1)
加速度センサ303は、振動データを、時系列に沿って取得する。振動データは、処理回路141に出力される。

0122

(ステップSc2)
処理回路141は、変換機能3131により、振動データに対してフーリエ変換を実行する。フーリエ変換により、処理回路141は、振動データに対応する変換データ101を生成する。図24は、変換データ101の一例を示す図である。図24に示すように、振動データの周波数スペクトラムを示す変換データ101は、加速度に関連するため、低周波数成分において、大きい強度を有する。

0123

(ステップSc3)
処理回路141は、入力機能1411により、変換データ101における標本の位置(周波数)に関する標本位置データ102を、メモリ117から読み出す。図25は、標本位置データ102の一例を示す図である。図25に示すように、標本位置データ102は、低周波数成分の強度から単調減少する周波数スペクトラムに相当する。なお、標本位置データ102の読み出しは、ステップSc1の処理の前またはステップSc2の処理の前に実行されてもよい。

0124

(ステップSc4)
変換データ101と標本位置データ102とが、学習済みモデルに入力される。具体的には、処理回路141は、入力機能1411により、変換データ101と標本位置データ102とを入力層103に入力する。より詳細には、処理回路141は、変換データ101における振動の周波数ごとの強度を、入力層103の第1の入力範囲104aにおける複数のノードに入力する。処理回路141は、標本位置データ102における振動の周波数ごとの強度を、入力層103の第2の入力範囲104bにおける複数のノードに入力する。

0125

処理回路141は、データ復元機能1413により、入力層103において、変換データ101における周波数ごとの強度と、標本位置データ102における周波数ごとの強度とを組み合わせて、組み合わせデータ104を生成する。処理回路141は、組み合わせデータを、CNN105に出力する。なお、上述の応用例が本適用例に用いられる場合、処理回路141は、変換データ101を入力層103に入力し、標本位置データ102をCNN105における少なくとも一つの中間層に入力する。

0126

(ステップSc5)
処理回路141は、データ復元機能1413により、変換データ101と標本位置データ102とが入力された学習済みモデルを用いて、復元変換データ108を生成する。具体的には、処理回路141は、データ復元機能1413により変換データ101と標本位置データ102とを用いたデータ復元プログラムの実行により、CNN105を用いて復元変換データ108を生成する。

0127

(ステップSc6)
復元変換データ108に対して逆フーリエ変換が実行されることにより、振動デノイズデータが生成される。具体的には、処理回路141は、変換機能3131により、復元変換データ108に対して逆フーリエ変換を実行する。処理回路141は、逆フーリエ変換により、振動データのノイズが低減された振動デノイズデータを生成する。処理回路141は、振動デノイズデータを、ディスプレイ311に表示させる。ステップSc1乃至ステップSc4の処理は、振動データの取得に応じて繰り返される。繰り返し処理各々において、CNN105には、同一の標本位置データ102が入力される。

0128

以上に述べた構成によれば、以下の効果を得ることができる。
本適用例における振動計測装置301によれば、時系列に沿って計測された振動データに対してフーリエ変換が実行された変換データ101と、変換データ101における標本の位置(周波数)に関する標本位置データ102とに基づいて周波数領域において振動のノイズを低減させた復元変換データ108を生成する学習済みモデルを記憶し、学習済みモデルに変換データ101と標本位置データ102とを入力し、学習済みモデルを用いて復元変換データ108を生成することができる。

0129

これにより、本適用例における振動計測装置301によれば、加速度センサで対象の振動を計測する場合において、計測対象以外の周囲の振動を事前に除去することで計測精度を向上させることができる。すなわち、例えば周囲の振動の周波数ごとの強弱が既知であるなら、計測データである振動データをフーリエ変換してから入力層103に設定し、標本位置データ102として周囲振動の周波数特性も入力層103に設定することで、出力層107からの出力信号として復元変換データ108を生成することができる。また、復元変換データ108を、必要に応じて逆フーリエ変換することで、振動デノイズデータを生成することができる。

0130

本実施形態、応用例、および各種適用例の変形例として、信号処理装置1、距離計測装置110、音声処理装置201、および振動計測装置301に関する技術的思想は、データ復元プログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク、光ディスク、半導体メモリなどの各種可搬型記憶媒体に格納して頒布することも可能である。

0131

以上に説明した実施形態、応用例、適用例に関する信号処理装置1、距離計測装置110、音声処理装置201、振動計測装置301、および距離計測方法によれば、信号の復元精度を向上させることができる。例えば、ノイズ除去対象画像101などの処理対象信号に加えて、画像の各画素の座標などの標本位置データ102もCNN105に入力することで、復元信号の精度を向上する装置を提供することができる。すなわち、本実施形態、応用例、適用例等によれば、復元対象データ101に加えて、復元対象データ101における標本の位置(時刻、画素の座標、周波数など)に関する標本位置データ102もCNN105に入力することで、データ復元の精度を向上させることができる信号処理装置1、距離計測装置110、音声処理装置201、振動計測装置301、および距離計測方法を提供することができる。

0132

以上説明した実施形態、応用例、適用例ではノイズ除去を例にとり説明したが、本来の信号の位置や時刻に関する特性がある限り、信号復元装置1に関する他の実施形態として、他の信号劣化の改善、例えば、画像撮像時のぼけ鮮鋭化や、信号のデータ圧縮による圧縮ひずみ除去にも有効である。

0133

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

0134

101復元対象データ
102標本位置データ
103入力層
104組み合わせデータ
104a 第1の入力範囲
104b 第2の入力範囲
105学習済みモデル
106 信号
107出力層
107a出力ベクトル
108復元データ
110距離計測装置
113発光素子
117メモリ
119インタフェース
141処理回路
201音声処理装置
202マイクロフォン
204 中間層
204a 畳み込み後入力範囲
204b 標本位置入力範囲
205ノード
206 第3の中間層
209 インタフェース
301振動計測装置
303加速度センサ
309 インタフェース
311ディスプレイ
1411入力機能
1413データ復元機能
1415距離算出機能
3131変換機能
2041活性化されたデータ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ