図面 (/)

技術 判定装置、判定方法、およびプログラム

出願人 エヌ・ティ・ティ・コムウェア株式会社
発明者 池松大志箕浦大祐宮下直也下鳥藤江兒玉松男阪上あずさ
出願日 2018年9月25日 (2年3ヶ月経過) 出願番号 2018-178826
公開日 2020年4月2日 (9ヶ月経過) 公開番号 2020-052520
状態 未査定
技術分野 学習型計算機 検索装置
主要キーワード 判定対象データ 正常度 特徴量抽出器 検知率 学習結果データ 検査音 判定パターン 画像判定装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年4月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

タスクによって異なる特徴量を用いて異常を判定することでユーザの利便性を向上させること。

解決手段

本発明の一態様は、判定対象データから第1のサイズの特徴量を抽出する第1の特徴量抽出部と、前記判定対象データから前記第1のサイズとは異なる第2のサイズの特徴量を抽出する第2の特徴量抽出部と、前記第1の特徴量抽出部により抽出された特徴量と、前記第2の特徴量抽出部により抽出された特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する判定部と、を備える、判定装置である行動記録や活動予定の入力を支援する。

概要

背景

例えば画像に対して画像認識を行って画像内に含まれる対象を認識する技術がある。この画像認識技術においては、近年、ニューラルネットワーク多層化したディープラーニング技術を利用して高い精度で対象を認識することが行われている。このディープラーニング技術は、一般的にはニューラルネットワークの入力層出力層との間の中間層において複数段階に亘って層を重ねることにより高い精度で対象を認識する。

上述のディープラーニング技術によって対象物体をする判定パターンとしては、検出型、分類型、レベル判定型といったものが挙げられる。検出型の判定器は、対象物体の種類、大きさ、確信度を検出する。分類型の判定器は、対象物体の異常・正常を検出する。レベル判定型の判定器は、例えば画像の不適切度などの度合いを数字で表す。

いずれの判定器も、認識処理を行うために、対象物体を撮像した正常データ、および対象物体の異常な状態を撮像した異常データを教師データとして収集し、収集した教師データを学習モデルに入力する必要がある。そして、例えば、正常データを入力した場合には正常である(正常度合いが高い)と判定し、異常データを入力した場合には異常である(異常度合いが高い)と判定するように学習モデルにおける処理パラメータを学習する必要があった。

概要

タスクによって異なる特徴量を用いて異常を判定することでユーザの利便性を向上させること。本発明の一態様は、判定対象データから第1のサイズの特徴量を抽出する第1の特徴量抽出部と、前記判定対象データから前記第1のサイズとは異なる第2のサイズの特徴量を抽出する第2の特徴量抽出部と、前記第1の特徴量抽出部により抽出された特徴量と、前記第2の特徴量抽出部により抽出された特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する判定部と、を備える、判定装置である行動記録や活動予定の入力を支援する。

目的

特開2012−073761号公報






対象物体の異常を判定するために用いる特徴量は、タスクによって使い分けることが望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

判定対象データから第1のサイズの特徴量を抽出する第1の特徴量抽出部と、前記判定対象データから前記第1のサイズとは異なる第2のサイズの特徴量を抽出する第2の特徴量抽出部と、前記第1の特徴量抽出部により抽出された特徴量と、前記第2の特徴量抽出部により抽出された特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する判定部と、を備える、判定装置

請求項2

前記第1の特徴量抽出部、および前記第2の特徴量抽出部は、正常な判定対象に関する判定対象データが学習データとして入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された学習モデルのうち、判別器により判定対象が正常であるか否かを判定するための特徴量を抽出する特徴量抽出器である、請求項1に記載の判定装置。

請求項3

前記第1の特徴量抽出部の処理パラメータを学習した学習データと、および前記第2の特徴量抽出部の処理パラメータを学習した学習データとは、同一である、請求項2に記載の判定装置。

請求項4

前記判定部は、ユーザの操作に基づいて、前記第1の特徴量抽出部により抽出された特徴量と前記第2の特徴量抽出部により抽出された特徴量との何れか一方の特徴量を用いて判定する、請求項1から3のうち何れか1項に記載の判定装置。

請求項5

前記判定部は、前記第1の特徴量抽出部により抽出された特徴量を用いた判定結果と、前記第2の特徴量抽出部により抽出された特徴量を用いた判定結果とに基づいて、判定対象が正常であるか否かを判定する、請求項1から3のうち何れか1項に記載の判定装置。

請求項6

前記判定対象データを、所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて学習モデルの処理パラメータを学習する学習処理部を更に備え、前記第1の特徴量抽出部および前記第2の特徴量抽出部のそれぞれは、前記所定の規則に従って判定対象データを分割し、分割されたデータのそれぞれを用いて前記判定対象の特徴量を抽出する、請求項2から5のうち何れか1項に記載の判定装置。

請求項7

判定対象データから第1のサイズの特徴量を抽出し、前記判定対象データから前記第1のサイズとは異なる第2のサイズの特徴量を抽出し、前記第1のサイズの特徴量と、前記第2のサイズの特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する、判定方法

請求項8

コンピュータに、判定対象データから第1のサイズの特徴量を抽出させ、前記判定対象データから前記第1のサイズとは異なる第2のサイズの特徴量を抽出させ、前記第1のサイズの特徴量と、前記第2のサイズの特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定させる、プログラム

技術分野

0001

本発明は、判定装置判定方法、およびプログラムに関する。

背景技術

0002

例えば画像に対して画像認識を行って画像内に含まれる対象を認識する技術がある。この画像認識技術においては、近年、ニューラルネットワーク多層化したディープラーニング技術を利用して高い精度で対象を認識することが行われている。このディープラーニング技術は、一般的にはニューラルネットワークの入力層出力層との間の中間層において複数段階に亘って層を重ねることにより高い精度で対象を認識する。

0003

上述のディープラーニング技術によって対象物体をする判定パターンとしては、検出型、分類型、レベル判定型といったものが挙げられる。検出型の判定器は、対象物体の種類、大きさ、確信度を検出する。分類型の判定器は、対象物体の異常・正常を検出する。レベル判定型の判定器は、例えば画像の不適切度などの度合いを数字で表す。

0004

いずれの判定器も、認識処理を行うために、対象物体を撮像した正常データ、および対象物体の異常な状態を撮像した異常データを教師データとして収集し、収集した教師データを学習モデルに入力する必要がある。そして、例えば、正常データを入力した場合には正常である(正常度合いが高い)と判定し、異常データを入力した場合には異常である(異常度合いが高い)と判定するように学習モデルにおける処理パラメータを学習する必要があった。

先行技術

0005

特開2012−073761号公報

発明が解決しようとする課題

0006

対象物体の異常を判定するために用いる特徴量は、タスクによって使い分けることが望まれている。例えば、ある空間の大まかな異常を検出したいというタスクが要望される場合や、対象物体の微小な異常を検出したいというタスクが要望される場合がある。しかしながら、上述した技術では、何層にも結合された特徴抽出器分類器との接続関係は、予め設定されており、変更することはできなかった。この結果、様々なタスクに応じて特徴量を使い分けることができなかった。

0007

本発明は、上記の課題に鑑みてなされたものであって、タスクによって異なる特徴量を用いて異常を判定することでユーザの利便性を向上させることができる判定装置、判定方法、およびプログラムを提供することを目的としている。

課題を解決するための手段

0008

(1)本発明の一態様は、判定対象データから第1のサイズの特徴量を抽出する第1の特徴量抽出部と、前記判定対象データから前記第1のサイズとは異なる第2のサイズの特徴量を抽出する第2の特徴量抽出部と、前記第1の特徴量抽出部により抽出された特徴量と、前記第2の特徴量抽出部により抽出された特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する判定部と、を備える、判定装置である。

0009

(2)本発明の一態様は、上記の判定装置であって、前記第1の特徴量抽出部、および前記第2の特徴量抽出部は、正常な判定対象に関する判定対象データが学習データとして入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された学習モデルのうち、判別器により判定対象が正常であるか否かを判定するための特徴量を抽出する特徴量抽出器である。

0010

(3)本発明の一態様は、上記の判定装置であって、前記第1の特徴量抽出部の処理パラメータを学習した学習データと、および前記第2の特徴量抽出部の処理パラメータを学習した学習データとは、同一である。

0011

(4)本発明の一態様は、上記の判定装置であって、前記判定部は、ユーザの操作に基づいて、前記第1の特徴量抽出部により抽出された特徴量と前記第2の特徴量抽出部により抽出された特徴量との何れか一方の特徴量を用いて判定する。

0012

(5)本発明の一態様は、上記の判定装置であって、前記判定部は、前記第1の特徴量抽出部により抽出された特徴量を用いた判定結果と、前記第2の特徴量抽出部により抽出された特徴量を用いた判定結果とに基づいて、判定対象が正常であるか否かを判定する。

0013

(6)本発明の一態様は、上記の判定装置であって、前記判定対象データを、所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて前記学習モデルの処理パラメータを学習する学習処理部を更に備え、前記第1の特徴量抽出部および前記第2の特徴量抽出部のそれぞれは、前記所定の規則に従って判定対象データを分割し、分割されたデータのそれぞれを用いて前記判定対象の特徴量を抽出する。

0014

(7)本発明の一態様は、判定対象データから第1のサイズの特徴量を抽出し、前記判定対象データから前記第1のサイズとは異なる第2のサイズの特徴量を抽出し、前記第1のサイズの特徴量と、前記第2のサイズの特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する、判定方法である。

0015

(8)本発明の一態様は、コンピュータに、判定対象データから第1のサイズの特徴量を抽出させ、前記判定対象データから前記第1のサイズとは異なる第2のサイズの特徴量を抽出させ、前記第1のサイズの特徴量と、前記第2のサイズの特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定させる、プログラムである。

発明の効果

0016

本発明の一態様によれば、タスクによって異なる特徴量を用いて異常を判定することでユーザの利便性を向上させることができる。

図面の簡単な説明

0017

本発明を適用した実施形態の画像判定装置1の機能的な構成を示すブロック図である。
本発明を適用した画像判定装置1の学習処理および認識処理を示す図である。
畳み込みニューラルネットワーク300の一例を示す図である。
特徴空間を変換する一例を示す図であり、(a)は、次元A,B,Cにより特定される特徴空間を表す図であり、(b)は、次元D,E,Fにより特定される特徴空間を表す図であり、(c)は、次元G,Hにより特定される特徴空間を表す図であり、(d)は、次元I,J,K,Lにより特定される特徴空間を表す図ある。
特徴空間を変換したことによる複数の特徴量のばらつきについて説明するための図であり、(a)は特徴空間(A,B,C)における特徴量の分布を示す図であり、(b)は特徴空間(D,E)における特徴量の分布を示す図である。
特徴空間に判定領域を設定する処理を示す図である。
学習処理の一例を示すフローチャートである。
正常判定処理の一例を示すフローチャートである。
入力画像を分割することを説明するための概略図である。
畳み込みニューラルネットワーク300Aの一例を示す図である。
第2の実施形態における判定処理の一例を示すフローチャートである。
第2の実施形態における判定処理の他の一例を示すフローチャートである。

実施例

0018

以下、本発明を適用した判定装置、判定方法、およびプログラムを、図面を参照して説明する。

0019

本発明を適用した実施形態の情報処理装置は、例えば、図1に示すような画像判定装置1に備えられる。図1は、本発明を適用した実施形態の画像判定装置1の機能的な構成を示すブロック図である。画像判定装置1は、認識処理の処理パラメータを学習して、認識モデル構築する。画像判定装置1は、認識モデルを用いた処理によって画像を判定するものである。画像判定装置1は、画像の判定を行うことにより、判定結果に基づいて対象物体が正常か否かを検査させることができる。なお、この実施形態の説明は、画像判定装置1が画像を認識するものについて説明するが、本発明に係る情報処理装置はこれに限定されない。情報処理装置は、例えば、対象物体の検査音や作業音などの音が正常か否かを判定するものであってもよく、後述する正常データによって認識モデルを構築し、認識モデルを用いて正常か否かを判定するものであればよい。

0020

画像判定装置1は、学習画像蓄積部10と、学習処理部20と、認識処理部30と、判定結果管理部40と、インターフェース部50と、学習制御部70とを有する。画像判定装置1は、ソフトウェアを実行する制御装置および記憶部を有するコンピュータである。画像判定装置1は、CPU(Central Processing Unit)などのプロセッサが記憶部(不図示)に記憶されているプログラムを実行することによって機能するソフトウェア機能部である。また、画像判定装置1は、LSI(Large Scale Integration)やASIC(Application Specific IntegratedCircuit)等のハードウェア機能部であってよい。画像判定装置1において情報を記憶する記憶部(14、32、42、72、74)は、例えば、HDD(Hard Disc Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory),ROM(Read Only Memory),またはRAM(Random Access Memory)等により実現される。また、記憶部には、ファームウェアアプリケーションプログラム等の各種プログラム、各種機能部による処理結果、および外部から取得した情報などが記憶される。

0021

学習画像蓄積部10は、画像変換部12と、学習画像データベース14とを有する。画像変換部12は、学習処理に使用される正例画像の入力を受け付ける。正例画像とは、例えば、正常な状態の対象物体を撮像した画像である。なお、正例画像には、当該正例画像の属性情報(タグ、クラス)が付加されない。画像変換部12は、前処理として、例えば、正例画像を、所定のサイズの画像に分割する。画像変換部12は、前処理を施した画像を学習画像として学習画像データベース14に蓄積する。学習画像データベース14には、画像変換部12により分割された正例画像が学習画像として複数蓄積される。なお、画像判定装置1には随時正例画像が供給され、正例画像が供給されたことに応じて後述する学習処理を行ってもよい。

0022

学習処理部20には、学習画像蓄積部10から出力された学習画像が供給される。学習処理部20は、学習画像を用いて認識処理を行い、判定結果を得る。学習処理部20は、正常であるという判定結果となるように認識処理部30(認識モデル32A)の処理パラメータを学習し、学習結果データを生成する。認識処理部30(認識モデル32A)の処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタ(重み、バイアスともいう)である。学習結果データは、認識処理部30における学習結果データ記憶部32に記憶される。

0023

認識処理部30は、例えば、学習結果データ記憶部32と、判定部34とを有する。学習結果データ記憶部32には、学習結果としての認識処理部30の処理パラメータが蓄積され、認識処理部30の処理パラメータは、学習処理部20によって更新される。認識処理部30は、対象物体の入力画像を取得した場合、認識処理部30の処理パラメータに基づく認識モデル32Aを用いて特徴量を抽出する。判定部34は、抽出した特徴量に基づいて、対象物体が正常であるか否かを判定する。認識処理部30は、判定部34による判定結果を判定結果管理部40に出力する。

0024

判定結果管理部40は、判定結果データ記憶部42を有する。判定結果データ記憶部42は、認識処理部30により出力された判定結果を蓄積する。判定結果管理部40は、判定情報をインターフェース部50に出力して、インターフェース部50により判定結果を出力させる。

0025

判定結果管理部40における判定結果データ記憶部42には、管理端末60が接続されていてもよい。管理端末60は、管理者が操作するユーザインターフェース部62を有するコンピュータにより実現される。ユーザインターフェース部62は、ユーザによる操作を受け付ける操作部、およびユーザに各種情報提示する表示部を有する。管理端末60は、ユーザインターフェース部62により受け付けられた操作に基づいて、異常と判定された正例画像を特定する。管理端末60は、例えば、異常と判定された正例画像のファイル名やIDなどの情報を修正結果として学習制御部70に出力する。管理端末60から学習制御部70に出力された修正結果は、再学習データ記憶部72に蓄積される。

0026

認識処理部30は、任意の画像の認識を実施する場合、外部から認識対象となる画像が供給される。認識処理部30により未知の画像に対して認識処理を行った結果は、判定結果データ記憶部42に記憶され、未知の画像と共に管理端末60に読み込まれる。そして、管理端末60によって判定結果が修正された場合、未知の画像は、修正結果が付加されて学習制御部70に供給される。

0027

学習制御部70は、再学習データ記憶部72および繰り返し学習データ記憶部74を有する。学習制御部70には、判定結果管理部40から出力された判定結果および管理端末60から出力された修正結果が供給される。学習制御部70は、異常と判定された正例画像を、再学習データ記憶部72に記憶させる。すなわち、再学習データは、正常であると判定されるべきであるが、異常と判定された正例画像である。

0028

学習制御部70は、繰り返し学習データを作成する。学習制御部70は、再学習データ記憶部72に記憶された再学習データと、学習画像データベース14に記憶された学習画像とを組み合わせて、繰り返し学習データ(学習対象データ)を作成する。この繰り返し学習データは、繰り返し学習データ記憶部74に記憶される。

0029

インターフェース部50は、画像判定装置1の外部の装置と通信を行う通信インターフェースにより実現される。インターフェース部50は、判定結果を判定結果管理部40から入力して、当該判定結果を管理端末60に出力する。インターフェース部50は、管理端末60から修正結果が供給されたことに応じて、修正結果を学習制御部70に出力する。

0030

図2は、本発明を適用した画像判定装置1の学習処理および認識処理を示す図である。学習処理部20には、正例画像100が複数供給される。認識処理部30は、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network;CNN)300により実現される。畳み込みニューラルネットワーク300は、中間層としての複数の特徴量抽出部(畳み込み層、フィルタ部とも呼ばれる)310と、判別部(出力層とも呼ばれる)320とを有する。

0031

なお、学習処理部20による学習手法は、畳み込みニューラルネットワークの処理パラメータの設定であってもよく、その他の機械学習手法でもよく、学習結果データ記憶部32には、学習手法に応じた学習結果が記憶される。認識処理部30は、学習結果データ記憶部32に記憶された学習結果に基づいて判定結果を得ることとなる。

0032

特徴量抽出部310には、判定対象として入力画像120が入力される。入力画像120には対象物体の異常を表す黒点が含まれているものとする。特徴量抽出部310は、それぞれ、例えば、入力されたデータにフィルタ係数に基づくフィルタリング乗算処理)を行い、フィルタリング後の画像(特徴)にバイアス値加算することで特徴量を抽出する。上述した認識処理部30の処理パラメータは、例えば、特徴量抽出部310におけるフィルタ係数である。特徴量抽出部310は、入力画像120に含まれる特徴量を抽出し、判定部34に供給する。

0033

判定部34は、特徴量抽出部310から供給された特徴量が所定の領域(正常領域500)に含まれる場合、正常であると判定し、特徴量抽出部310から供給された特徴量が所定の領域に含まれない場合、異常であると判定する。判定部34は、判定結果として、マップ200を生成する。マップ200は、対象物体の箇所に、当該箇所が正常であるか否かを表す画像をマッピングした画像データである。マップ200には、入力画像120において異常と判定された箇所を特定する部分画像200aが含まれる。

0034

図3は、畳み込みニューラルネットワーク300の一例を示す図である。畳み込みニューラルネットワーク300は、認識モデル32Aに相当する。畳み込みニューラルネットワーク300は、例えば、複数の特徴量抽出部310−1、310−2と、判別部320とを備える。特徴量抽出部310−1と判別部320との間には、一つの特徴量抽出部310−2があるが、これに限定されず、複数の特徴量抽出部310が存在していてもよい。

0035

特徴量抽出部310−1は、複数の要素310−1aを備える。各要素310−1aは、上述したように、フィルタ処理を行うことで画像の特徴量を抽出する。特徴量抽出部310−1の各要素310−1aには判定対象としての入力画像が入力される。要素310−1aに入力される画像は、入力画像を所定の第1のサイズに分割した画像122である。要素310−1aは、入力された画像の特徴量を抽出し、抽出した特徴量を上位層としての特徴量抽出部310−2における所定の要素310−2aに供給する。なお、特徴量抽出部310−1から特徴量が供給される特徴量抽出部310−2は、予め設定されている。

0036

特徴量抽出部310−2は、複数の要素310−2aを備える。要素310−2aは、複数の要素310−1aのそれぞれから特徴量が供給される。要素310−2aは、複数の特徴量に基づいて、上述したようにフィルタ処理を行うことで第2のサイズの画像124の特徴量を抽出する。第2のサイズの特徴量を抽出する。第2のサイズは、第1のサイズよりも大きい。要素310−2aは、抽出した特徴量を、判別部320ではなく、判定部34に供給する。

0037

判別部320は、特徴量抽出部310−2により抽出された特徴量に基づいて、判別処理を行う。判別部320は、正常であるか否かを判定するものであってもよく、正常である度合いを数値(レベル)で出力するものであってもよい。

0038

図4図5および図6は、判定部34の処理を説明するための図である。
図4は、特徴空間を変換する一例を示す図である。図4(a)は、次元A,B,Cにより特定される特徴空間を表す図であり、図4(b)は、次元D,E,Fにより特定される特徴空間を表す図であり、図4(c)は、次元G,Hにより特定される特徴空間を表す図であり、図4(d)は、次元I,J,K,Lにより特定される特徴空間を表す図ある。

0039

特徴量は、例えば、多次元特徴ベクトル(a,b,c・・・・)を表すデータとして表現される。特徴ベクトル(a,b,c・・・・)において、例えば、aはA次元の値であり、bはB次元の値であり、cはC次元の値である。特徴ベクトルの次元数は、対象物体の特徴の数に相当する。例えば、対象物体が人間の顔である場合、目(A)、(B)、口(C)、(D)という4個(4次元)の特徴があり、それぞれの特徴(A,B,C,D)に値(a,b,c,d)が存在する。

0040

判定部34は、特徴量を表す特徴ベクトルの次元、および次元数を選択することにより、特徴空間を変換する。判定部34は、特徴ベクトルに含まれる次元のうち、複数の特徴量が適度にまとまっている次元を選択する学習処理を行う。判定部34が図4(a)の特徴空間(A,B,C)を選択した場合、複数の特徴量は、当該特徴空間(A,B,C)において、特徴ベクトルの次元のうちA,B,Cの次元の値a,b,cに基づいて分布する。

0041

判定部34は、図4(a)に示す特徴空間(A,B,C)を、図4(b)に示す特徴空間(D,E,F)に変換してよい。D,E,Fという特徴は、A,B,Cという特徴とは異なる特徴である。これにより、複数の特徴量は、当該特徴空間(D,E,F)において、特徴ベクトルの次元のうちD,E,Fの次元の値d,e,fに基づいて分布する。この結果、判定部34は、特徴空間を変換することで、特徴量の分布を変更することができる。

0042

判定部34は、図4(a)に示す特徴空間(A,B,C)を、図4(c)に示す特徴空間(G,H)に変換してよい。すなわち、判定部34は、特徴を減らすことで特徴空間を変換してよい。G,Hという特徴は、A,B,Cという特徴とは異なる特徴である。これにより、複数の特徴量は、当該特徴空間(G,H)において、特徴ベクトルの次元のうちG,Hの次元の値g,hに基づいて分布する。この結果、判定部34は、特徴空間を変換することで、特徴量の分布を変更することができる。なお、判定部34は、特徴空間(A,B,C)を、同じ特徴の特徴空間(A,B)のように減じてよい。

0043

判定部34は、図4(a)に示す特徴空間(A,B,C)を、図4(d)に示す特徴空間(I,J,K,L)に変換してよい。I,J,K,Lという特徴は、A,B,Cという特徴とは異なる特徴である。すなわち、判定部34は、特徴を増やすことで特徴空間を変換してよい。これにより、複数の特徴量は、当該特徴空間(I,J,K,L)において、特徴ベクトルの次元のうちI,J,K,Lの次元の値i,j,k,lに基づいて分布する。この結果、判定部34は、特徴空間を変換することで、特徴量の分布を変更することができる。

0044

図5は、特徴空間を変換したことによる複数の特徴量のばらつきについて説明するための図である。図5(a)は特徴空間(A,B,C)における特徴量の分布を示す図であり、図5(b)は特徴空間(D,E)における特徴量の分布を示す図である。判定部34は、特徴量抽出部310から供給された特徴量を示す特徴ベクトルのうち値a,b,cに従って特徴量を分布させる。この場合、複数の特徴量は、図5(a)に示すように、特徴空間(A,B,C)における広範囲に分布している。そこで、判定部34は、特徴空間を、特徴空間(A,B,C)から特徴空間(D,E)に変換する。すると、複数の特徴量は、図5(b)に示すように、特徴空間(D,E)に対応する値d,eに従って分布する。これにより、判定部34は、特徴空間(D,E)が特徴空間(A,B,C)よりも狭い範囲に複数の特徴量を分布させることができると学習することができる。このように、判定部34は、特徴空間を変換して特徴量の分布を観測することで、対象物体の判定に適切な特徴空間を学習させることができる。

0045

図6は、特徴空間に判定領域を設定する処理を示す図である。判定部34は、特徴空間を決定した後、当該特徴空間に正常領域500を設定する。判定部34は、例えば、異常検知率および/または正常検知率を表す情報を受け付ける。判定部34は、例えば、ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付ける。異常検知率および/または正常検知率を表す情報は、異常検知率および/または正常検知率を表す値(パラメータ)であってよい。

0046

判定部34は、異常検知率を増加させ、正常検知率を減少させる場合、図6(a)のように狭い正常領域500を設定する。これにより、判定部34は、正常領域500に含まれない特徴量が発生する確率を高くすることができる。判定部34は、異常検知率を減少させ、正常検知率を増加させる場合、図6(b)のように広い正常領域500を設定する。これにより、判定部34は、正常領域500に含まれる特徴量が発生する確率を低くすることができる。

0047

判定部34は、ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付けるので、ユーザのタスク(課題)に応じて適切な正常領域500を設定することができる。すなわち、多数の対象物体のうち正常でない対象物体を厳密に抽出したい場合には、正常領域500を狭く設定することができる。多数の対象物体のうち正常な対象物体から大幅に逸脱している対象物体を主として抽出したい場合には、正常領域500を広く設定することができる。

0048

図7は、学習処理の一例を示すフローチャートである。
画像判定装置1は、まず正例画像を入力する(ステップS100)。正例画像は、学習画像データベース14に蓄積される。学習処理部20は、正例画像を用いて学習処理を行う(ステップS102)。なお、正常判定処理において入力画像を分割する場合には、ステップS102の学習処理において、入力画像を分割し、分割した複数の画像を用いて学習を行うことが望ましい。これにより、学習処理部20は、認識モデル32Aにおける処理パラメータを学習する。学習処理部20は、学習画像データベース14に蓄積された正例画像を用いた認識モデル32Aの学習が終了したか否かを判定する(ステップS104)。学習処理部20は、例えば、学習画像データベース14に蓄積された全ての正例画像を用いた場合、認識モデル32Aの学習処理が終了したと判定する(ステップS104:YES)。学習処理部20は、認識モデル32Aの学習処理が終了していない場合(ステップS104:NO)、ステップS100からの処理を繰り返す。

0049

次に、認識モデル32Aにおける特徴量抽出部310は、複数の特徴量を抽出する(ステップS106)。特徴量抽出部310は、例えば、学習処理に用いた一つの正例画像から複数の特徴量を抽出する。特徴量抽出部310は、学習処理に用いた複数の正例画像のそれぞれから複数の特徴量を抽出してよい。特徴量抽出部310は、学習処理に用いていない画像から複数の特徴量を抽出してよい。各特徴量は、上述したように、例えば要素310−2aから出力された特徴量であってよいが、要素310−1aから出力された特徴量であってもよい。

0050

次に、判定部34は、特徴空間を設定する(ステップS108)。判定部34は、例えば特徴量を表す特徴ベクトルがN(Nは自然数)次元である場合、任意の次元を複数選択することで特徴空間を設定する。判定部34は、複数の特徴量のばらつきが適切であるか否かを判定する(ステップS110)。判定部34は、複数の特徴量のばらつきが適切である場合(ステップS110:YES)、特徴空間の学習を完了してステップS112に処理を進める。判定部34は、複数の特徴量のばらつきが適切ではない場合(ステップS110:NO)、特徴空間の再設定をする(ステップS108)。

0051

次に、判定部34は、学習した特徴空間に正常領域500を設定する(ステップS112)。これにより、画像判定装置1は、認識モデル32Aの処理パラメータを学習し、特徴量が正常であるか否かを判定する特徴空間を学習し、特徴空間に正常領域500を設定することができる。

0052

図8は、正常判定処理の一例を示すフローチャートである。
まず画像判定装置1は、入力画像を取得する(ステップS200)。画像判定装置1は、取得した入力画像を分割する(ステップS202)。図9は、入力画像を分割することを説明するための概略図である。画像判定装置1は、入力画像120を、所定のサイズに分割して、複数の分割画像120Aを取得する。画像判定装置1は、分割画像120Aを、認識モデル32Aの特徴量抽出部310に入力する(ステップS204)。なお、入力画像のサイズが分割する必要が無い場合、ステップS202はスキップされる。

0053

次に判定部34は、特徴量抽出部310から特徴量を取得する(ステップS206)。判定部34は、取得した特徴量の特徴空間を、学習処理において学習済みの特徴空間に変換する(ステップS208)。例えば、取得した特徴量が特徴ベクトル(a,b,c,d,e,f,・・・・)により表現され、学習済みの特徴空間が特徴空間(D,E)である場合、特徴ベクトルのうち(d,e)を特徴量として取得し、特徴空間(D,E)にマッピングする。これにより、判定部34は、取得した特徴量の特徴空間を変換する。

0054

次に判定部34は、正常判定処理を行う(ステップS210)。正常判定処理は、取得した特徴量(d,e)が、学習済みの特徴空間(D,E)において設定した正常領域500の範囲内であるか否かを判定する。判定部34は、正常判定処理が終了したか否かを判定する(ステップS212)。判定部34は、分割画像120Aの全てについて正常判定処理を行っていない場合(ステップS212:NO)、未処理の分割画像120AについてステップS204以降の処理を行う。判定部34は、分割画像120Aの全てについて正常判定処理を行った場合(ステップS212:YES)、処理をステップS214に進める。

0055

判定部34は、正常判定処理の判定結果に基づいて、マップを作成する(ステップS214)。判定部34は、正常領域500内の特徴量が得られた入力画像位置よりも、正常領域500外の特徴量が得られた入力画像位置が目立つようにマップを作成する。判定部34は、作成したマップを、例えば管理端末60に出力する(ステップS216)。

0056

なお、本実施形態において、判定部34が取得する特徴量は、特徴量抽出部310から出力された特徴量であるものとしたが、これに限定されず、対象の特徴量を抽出することができるものであれば、認識モデル32Aの特徴量抽出部310でなくてもよい。

0057

以上説明した実施形態によれば、正常な判定対象に関する複数の特徴量の特徴空間におけるばらつきに基づいて複数の特徴量の特徴空間を変換し、変換された特徴空間において特徴量が正常であると判定するための範囲を設定する。すなわち、画像判定装置1によれば、正例のみの特徴量が適度なばらつきを持つように特徴空間を学習することができる。具体的に、画像判定装置1は、入力画像の特徴量が、学習済みの正常領域500内である場合、当該特徴量が正常であると判定し、特徴量が正常領域500内ではない場合、特徴量が異常であると判定することができる。これにより、画像判定装置1によれば、正例のみの特徴量を用いた判定処理の精度を向上することができる。

0058

また、画像判定装置1によれば、入力画像の特徴量の特徴空間を、学習した特徴空間に変換し、特徴空間が変換された入力画像の特徴量を用いて判定するので、適度なばらつきとなるように学習した特徴空間で入力画像を判定することができる。

0059

さらに、画像判定装置1によれば、ユーザの操作に基づいて正常領域500が包含する特徴空間における領域を変化させることができる。これにより、画像判定装置1によれば、タスクに応じて正常領域500を変更することができる。例えば、異常検知率を高くして異常を精密に調査したい合には正常領域500を狭く設定し、異常検知率を低くして明らかな異常を抽出したい場合には正常領域500を広く設定することができる。この結果、画像判定装置1は、ユーザの利便性を向上させることができる。

0060

さらに、画像判定装置1によれば、正例画像を所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデル32Aの処理パラメータを学習する。また、画像判定装置1によれば、入力画像を所定の規則に従って複数の画像に分割し、それぞれの画像について判定処理を行うことができる。これにより、画像判定装置1によれば、入力画像を縮小するなどの処理により対象物体の特徴がつぶれてしまい、誤判定をすることを抑制することができる。

0061

<第2の実施形態>
以下、第2の実施形態について説明する。第2の実施形態の画像判定装置1は、畳み込みニューラルネットワーク300Aにおける複数の特徴量抽出部310のうち、任意の階層の特徴量抽出部310から特徴量を抽出して、判定対象が正常であるか否かを判定する点で、第1の実施形態の画像判定装置1とは相違する。以下、当該相違点を中心に説明する。

0062

図10は、畳み込みニューラルネットワーク300Aの一例を示す図である。畳み込みニューラルネットワーク300Aは、複数の特徴量抽出部310を備える。畳み込みニューラルネットワーク300Aは、複数の畳み込みニューラルネットワーク300のうち少なくとも一つの特徴量抽出部310から複数の特徴量を判定部34に出力する。

0063

畳み込みニューラルネットワーク300Aにおける特徴量抽出部310−1、310−2のうち、下位層の特徴量抽出部310−1は、第1のサイズの特徴量300a−1を抽出して、当該複数の特徴量を判定部34に出力する。第1のサイズの特徴量300a−1は、上位層の特徴量抽出部310−2により抽出される第2のサイズの特徴量300a−2よりも、小さいサイズの特徴量である。

0064

判定部34は、特徴量抽出部310−1により抽出された特徴量300a−1と、特徴量抽出部310−2により抽出された特徴量300a−2とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する。

0065

図11は、第2の実施形態における判定処理の一例を示すフローチャートである。
画像判定装置1は、例えば、ユーザの操作に基づいて判定処理のタスクを受け付ける(ステップS300)。画像判定装置1は、例えば、対象物体の微小な異常を判定したいというタスク、または、対象物体の大きな異常を判定したいというタスクを受け付ける。対象物体の微小な異常は、例えば、対象物体(生産品など)の細かい傷である。対象物体の大きな異常は、例えば、室内などの所定の空間において存在する異物である。

0066

画像判定装置1は、特徴量抽出部310により画像を入力した後(ステップS204)ステップS300において受け付けたタスクに基づいて、特徴量抽出部310を選択する(ステップS302)。画像判定装置1は、例えば、対象物体の微小な異常を判定したいというタスクを受け付けた場合、第1のサイズの異常を抽出する特徴量抽出部310−1を選択する。画像判定装置1は、例えば、対象物体の大きな異常を判定したいというタスクを受け付けた場合、第2のサイズの異常を抽出する得特徴量抽出部310−2を選択する。次に画像判定装置1は、選択した特徴量抽出部310から特徴量を取得する(ステップS304)。そして、画像判定装置1は、取得した特徴量を用いて、特徴空間の変換(ステップS208)、および正常判定処理(ステップS210)を行う。

0067

図12は、第2の実施形態における判定処理の他の一例を示すフローチャートである。
画像判定装置1は、特徴量抽出部310により画像を入力した後(ステップS204)複数の特徴量抽出部310を選択する(ステップS302#)。複数の特徴量抽出部310は、例えば、それぞれ抽出する特徴量のサイズが異なる特徴量抽出部310である。次に画像判定装置1は、選択した複数の特徴量抽出部310から特徴量を取得する(ステップS304#)。

0068

次に画像判定装置1は、1つの特徴量抽出部310から抽出した複数の特徴量ごとに、特徴空間の変換(ステップS208#)、および正常判定処理(ステップS306#)を行う。画像判定装置1は、例えば、2つの特徴量抽出部310−1,310−2を選択した場合、特徴量抽出部310−1により抽出された複数の特徴量の特徴空間の変換および第1の正常判定処理と、特徴量抽出部310−2により抽出された複数の特徴量の特徴空間の変換および第2の正常判定処理と、を並行して実行する。

0069

画像判定装置1は、正常判定処理(ステップS306#)において、複数の正常判定処理の判定結果に基づいて、対象物体が正常であるか否かを判定する。画像判定装置1は、例えば、2つの特徴量抽出部310−1,310−2を選択した場合、第1の正常判定処理の判定結果と、第2の正常判定処理の判定結果とに基づいて、対象物体が正常であるか否かを判定する。画像判定装置1は、例えば、ある空間において第2のサイズの特徴量を用いた第2の正常判定処理の判定結果が“異常”であった場合、当該第2の特徴量を得るために用いた第1のサイズの特徴量を特定する。画像判定装置1は、特定した第1のサイズの特徴量を用いた第1の正常判定処理の判定結果に基づいて、第1のサイズ(微小)な異常を検出する。

0070

なお、画像判定装置1は、第1の正常判定処理と第2の正常判定処理とを並行して実行するのに限らず、第2の正常判定処理の判定結果に基づいて、特徴量抽出部310−1により抽出した第1のサイズの特徴量を用いた特徴空間の変換および第1の正常判定処理を実行するか否かを判定してよい。すなわち、画像判定装置1は、第2のサイズの特徴量を用いた第2の正常判定処理により異常と判定されなかった場合、第1のサイズの特徴量を用いた特徴空間の変換および第1の正常判定処理を実行せず、第2のサイズの特徴量を用いた第2の正常判定処理により異常と判定された場合、第1のサイズの特徴量を用いた特徴空間の変換および第1の正常判定処理を実行する。これにより、画像判定装置1は、まず、大まかな異常を判定し、大まかな異常がある場合に、微小な異常を判定することができる。この結果、画像判定装置1は、大まかな異常と微小な異常とに基づいて対象物体の異常を解析することができる。また、画像判定装置1は、大まかな異常がない場合、微小な異常のための処理を削減することができる。

0071

なお、画像判定装置1は、第1の正常判定処理と第2の正常判定処理とを並行して実行するのに限らず、第1の正常判定処理の判定結果に基づいて、特徴量抽出部310−2により抽出した第2のサイズの特徴量を用いた特徴空間の変換および第2の正常判定処理を実行するか否かを判定してよい。すなわち、画像判定装置1は、第1のサイズの特徴量を用いた第1の正常判定処理により異常と判定されなかった場合、第2のサイズの特徴量を用いた特徴空間の変換および第2の正常判定処理を実行せず、第1のサイズの特徴量を用いた第1の正常判定処理により異常と判定された場合、第2のサイズの特徴量を用いた特徴空間の変換および第2の正常判定処理を実行する。これにより、画像判定装置1は、まず、微小な異常を判定し、微小な異常がある場合に、大まか異常を判定することができる。この結果、画像判定装置1によれば、微小な異常がある場合に、当該微小な異常が大まかな異常に影響するかを解析することができる。また、画像判定装置1は、微小な異常がない場合、大まかな異常のための処理を削減することができる。

0072

以上説明した第2の実施形態の画像判定装置1によれば、第1のサイズの判定対象データから特徴量を抽出する第1の特徴量抽出部(310−1)と、第1のサイズとは異なる第2のサイズの判定対象データから特徴量を抽出する第2の特徴量抽出部(310−2)と、第1の特徴量抽出部により抽出された特徴量と、第2の特徴量抽出部により抽出された特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する判定部34と、を備える。これにより、画像判定装置1によれば、タスクによって異なる特徴量を用いて判定対象が正常であるか否かを判定することができ、ユーザの利便性を向上させることができる。

0073

また、第2の実施形態の画像判定装置1によれば、特徴量抽出部310および判別部320を含む畳み込みニューラルネットワーク300Aのうち、特徴量抽出部310を用いて特徴量を抽出することができる。

0074

さらに、第2の実施形態の画像判定装置1によれば、特徴量抽出部310−1、および特徴量抽出部310−2という二つの特徴量抽出部310を、同じ学習データを用いて生成することができる。

0075

さらに、第2の実施形態の画像判定装置1によれば、特徴量抽出部310−1により抽出された特徴量と特徴量抽出部310−2により抽出された特徴量との何れか一方の特徴量を用いて正常判定処理を行うので、ユーザが望むタスクに応じて二つの特徴量抽出部310を使い分けることができ、ユーザの利便性を向上させることができる。

0076

さらに、第2の実施形態の画像判定装置1によれば、特徴量抽出部310−1により抽出された特徴量と特徴量抽出部310−2により抽出された特徴量との双方の特徴量を用いて正常判定処理を行うので、例えば、大まかな異常が検出された箇所で、微小な異常を判定するなど、正常判定処理の判定精度を向上させることができる。

0077

さらに、第2の実施形態の画像判定装置1によれば、正例画像を所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデル32Aの処理パラメータを学習する。また、画像判定装置1によれば、入力画像を所定の規則に従って複数の画像に分割し、それぞれの画像について判定処理を行うことができる。これにより、画像判定装置1によれば、入力画像を縮小するなどの処理により対象物体の特徴がつぶれてしまい、誤判定をすることを抑制することができる。

0078

なお、各実施形態、各変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の1または複数の実施形態や他の1または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

0079

なお、本実施形態における画像判定装置1の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、画像判定装置1に係る上述した種々の処理を行ってもよい。

0080

なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、フラッシュメモリなどの書き込み可能不揮発性メモリCD−ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

0081

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワーク電話回線などの通信回線を介してプログラムが送信された場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic
Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

0082

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であってもよい。

0083

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

0084

1画像判定装置
10学習画像蓄積部
12画像変換部
14 記憶部
14学習画像データベース
20学習処理部
30認識処理部
32学習結果データ記憶部
32A認識モデル
34 判定部
40 判定結果管理部
42判定結果データ記憶部
50インターフェース部
60管理端末
62ユーザインターフェース部
70学習制御部
72再学習データ記憶部
74 学習データ記憶部
300、300Aニューラルネットワーク
310、310−1、310−2特徴量抽出部
320判別部
500 正常領域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ