図面 (/)

技術 異常判別プログラム、異常判別方法および異常判別装置

出願人 富士通株式会社国立研究開発法人理化学研究所学校法人昭和大学国立研究開発法人国立がん研究センター
発明者 小松正明吉田裕之酒井彬関沢明彦松岡隆浜本隆二
出願日 2018年8月24日 (1年11ヶ月経過) 出願番号 2018-157841
公開日 2020年2月27日 (5ヶ月経過) 公開番号 2020-028679
状態 未査定
技術分野 超音波診断装置 超音波による材料の調査、分析
主要キーワード 検出割合 Mモード チップ類 再構成エラー 超音波検査画像 鋭敏性 判定指示 活性化関数
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年2月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

超音波検査画像の結果に基づき、異常判定を行うことができる異常判別プログラム、異常判別方法および異常判別装置を提供する。

解決手段

異常判別プログラムは、既知の構造を有する物体に対する複数の超音波検査画像を用いた、物体の異常判別処理コンピュータに実行させる。異常判別プログラムは、複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う処理をコンピュータに実行させる。異常判別プログラムは、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する処理をコンピュータに実行させる。異常判別プログラムは、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する処理をコンピュータに実行させる。

概要

背景

対象を破壊することなく内部構造の異常の有無を検査する超音波検査が知られている。超音波検査では、例えば、検査対象に対して二次元走査断面を撮像し、当該走査断面の画像を確認することで検査を行う。走査断面の画像は、撮像に用いるプローブが、例えば人によって走査されるため、撮像環境の変化の影響を強く受ける。このため、走査断面の画像、つまり超音波検査画像の確認は、目視によって行われることが多い。

また、画像にどの様な物体が映っているかを検知する物体検知技術が知られている。物体検知技術は、例えば、機械学習によって画像内の物体を検知する手法として、DPM(Deformable Parts Model)やYOLO(You Only Look Once)が提案されている。

概要

超音波検査画像の結果に基づき、異常判定を行うことができる異常判別プログラム、異常判別方法および異常判別装置を提供する。異常判別プログラムは、既知の構造を有する物体に対する複数の超音波検査画像を用いた、物体の異常判別処理コンピュータに実行させる。異常判別プログラムは、複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う処理をコンピュータに実行させる。異常判別プログラムは、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する処理をコンピュータに実行させる。異常判別プログラムは、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する処理をコンピュータに実行させる。

目的

一つの側面では、既知の構造を有する物体に対する超音波検査画像の物体検知結果に基づき、異常判定を行うことができる異常判別プログラム、異常判別方法および異常判別装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

既知の構造を有する物体に対する複数の超音波検査画像を用いた、前記物体の異常判別プログラムであって、前記複数の超音波検査画像それぞれについて、物体検知技術を用いた前記物体の部位の検知を行い、前記検知の結果、および、前記物体の構造に基づき、前記複数の超音波検査画像それぞれについて、前記物体の複数の部位それぞれの検知結果を取得し、前記複数の部位それぞれの、前記複数の超音波検査画像の前記検知結果に基づき、前記物体の異常を判定する、処理をコンピュータに実行させる異常判別プログラム。

請求項2

前記複数の超音波検査画像は、前記物体が映っているべきことを判定して選択された画像である、請求項1に記載の異常判別プログラム。

請求項3

前記異常を判定する処理は、前記複数の部位それぞれの、前記複数の超音波検査画像における検出割合に基づいて、前記物体の異常を判定する、請求項1または2に記載の異常判別プログラム。

請求項4

前記異常を判定する処理は、前記物体の有無に基づいて、前記物体の異常を判定する、請求項1〜3のいずれか1つに記載の異常判別プログラム。

請求項5

前記複数の超音波検査画像は、前記物体上を走査して得られた画像である、請求項1〜4のいずれか1つに記載の異常判別プログラム。

請求項6

前記走査は、一方向に行われる、請求項5に記載の異常判別プログラム。

請求項7

前記複数の超音波検査画像は、前記走査の戻りの部分が含まれないように選択された画像である、請求項5に記載の異常判別プログラム。

請求項8

時間変化を伴う物体の異常を検出する異常判別プログラムであって、前記物体の走査断面を含む動画における複数フレームから前記時間変化を検出し、前記複数フレームのそれぞれから前記物体を検出するための画像認識を行い、前記複数フレームのうちで前記時間変化が検出されたフレームにおいて、前記画像認識において前記物体が検出された度合いに基づいて、前記物体の前記異常を検出する、処理をコンピュータに実行させる異常判別プログラム。

請求項9

既知の構造を有する物体に対する複数の超音波検査画像を用いた、前記物体の異常判別方法であって、前記複数の超音波検査画像それぞれについて、物体検知技術を用いた前記物体の部位の検知を行い、前記検知の結果、および、前記物体の構造に基づき、前記複数の超音波検査画像それぞれについて、前記物体の複数の部位それぞれの検知結果を取得し、前記複数の部位それぞれの、前記複数の超音波検査画像の前記検知結果に基づき、前記物体の異常を判定する、処理をコンピュータが実行する異常判別方法。

請求項10

時間変化を伴う物体の異常を検出する異常判別方法であって、前記物体の走査断面を含む動画における複数フレームから前記時間変化を検出し、前記複数フレームのそれぞれから前記物体を検出するための画像認識を行い、前記複数フレームのうちで前記時間変化が検出されたフレームにおいて、前記画像認識において前記物体が検出された度合いに基づいて、前記物体の前記異常を検出する、処理をコンピュータが実行する異常判別方法。

請求項11

既知の構造を有する物体に対する複数の超音波検査画像を用いた、前記物体の異常判別装置であって、前記複数の超音波検査画像それぞれについて、物体検知技術を用いた前記物体の部位の検知を行う検知部と、前記検知の結果、および、前記物体の構造に基づき、前記複数の超音波検査画像それぞれについて、前記物体の複数の部位それぞれの検知結果を取得する取得部と、前記複数の部位それぞれの、前記複数の超音波検査画像の前記検知結果に基づき、前記物体の異常を判定する判定部と、を有する異常判別装置。

請求項12

時間変化を伴う物体の異常を検出する異常判別装置であって、前記物体の走査断面を含む動画における複数フレームから前記時間変化を検出する第1検出部と、前記複数フレームのそれぞれから前記物体を検出するための画像認識を行う認識部と、前記複数フレームのうちで前記時間変化が検出されたフレームにおいて、前記画像認識において前記物体が検出された度合いに基づいて、前記物体の前記異常を検出する第2検出部と、を有する異常判別装置。

技術分野

0001

本発明は、異常判別プログラム、異常判別方法および異常判別装置に関する。

背景技術

0002

対象を破壊することなく内部構造の異常の有無を検査する超音波検査が知られている。超音波検査では、例えば、検査対象に対して二次元走査断面を撮像し、当該走査断面の画像を確認することで検査を行う。走査断面の画像は、撮像に用いるプローブが、例えば人によって走査されるため、撮像環境の変化の影響を強く受ける。このため、走査断面の画像、つまり超音波検査画像の確認は、目視によって行われることが多い。

0003

また、画像にどの様な物体が映っているかを検知する物体検知技術が知られている。物体検知技術は、例えば、機械学習によって画像内の物体を検知する手法として、DPM(Deformable Parts Model)やYOLO(You Only Look Once)が提案されている。

先行技術

0004

M.A.Sadeghi and D.Forsyth,“30Hz Object Detection withDPM V5”,In Computer Vision-ECCV 2014,pages 65-79,Springer,2014
Joseph Redmon,Santosh Divvala,Ross Girshick,Ali Farhadi,“You Only Look Once: Unified, Real-Time Object Detection”,arXiv:1506.02640v5 [cs.CV],9 May 2016

発明が解決しようとする課題

0005

しかしながら、超音波検査画像に対してオートエンコーダ等による異常検知技術を用いて物体の異常を検知しようとすると、画像の解像度が低く、撮像環境の変化が大きいため、背景等の違いを異常と検知してしまう場合がある。このため、超音波検査画像に基づいて、内部構造の異常判定を行うことが難しい。

0006

一つの側面では、既知の構造を有する物体に対する超音波検査画像の物体検知結果に基づき、異常判定を行うことができる異常判別プログラム、異常判別方法および異常判別装置を提供することにある。

課題を解決するための手段

0007

一つの態様では、異常判別プログラムは、既知の構造を有する物体に対する複数の超音波検査画像を用いた、前記物体の異常判別処理コンピュータに実行させる。異常判別プログラムは、前記複数の超音波検査画像それぞれについて、物体検知技術を用いた前記物体の部位の検知を行う処理をコンピュータに実行させる。異常判別プログラムは、前記検知の結果、および、前記物体の構造に基づき、前記複数の超音波検査画像それぞれについて、前記物体の複数の部位それぞれの検知結果を取得する処理をコンピュータに実行させる。異常判別プログラムは、前記複数の部位それぞれの、前記複数の超音波検査画像の前記検知結果に基づき、前記物体の異常を判定する処理をコンピュータに実行させる。

発明の効果

0008

超音波検査画像の結果に基づき、異常判定を行うことができる。

図面の簡単な説明

0009

図1は、実施例1の異常判別装置の構成の一例を示すブロック図である。
図2は、オートエンコーダによる異常検知の一例を示す図である。
図3は、異常判定の一例を示す図である。
図4は、超音波検査画像の取得の一例を示す図である。
図5は、部位検知マップの一例を示す図である。
図6は、部位検知マップの他の一例を示す図である。
図7は、超音波検査画像の一例を示す図である。
図8は、部位の検知結果の一例を示す図である。
図9は、部位検知マップの他の一例を示す図である。
図10は、超音波検査画像の他の一例を示す図である。
図11は、部位の検知結果の他の一例を示す図である。
図12は、実施例1の異常判別処理の一例を示すフローチャートである。
図13は、実施例2の検査対象および検査方法の一例を示す図である。
図14は、映っているべきコンポーネントの一例を示す図である。
図15は、異常判別プログラムを実行するコンピュータの一例を示す図である。

0010

以下、図面に基づいて、本願の開示する異常判別プログラム、異常判別方法および異常判別装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

0011

図1は、実施例1の異常判別装置の構成の一例を示すブロック図である。図1に示す異常判別装置100は、既知の構造を有する物体に対する複数の超音波検査画像を用いた、物体の異常判別を行う情報処理装置の一例である。異常判別装置100は、複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う。異常判別装置100は、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する。異常判別装置100は、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する。これにより、異常判別装置100は、超音波検査画像の結果に基づき、異常判定を行うことができる。

0012

まず、図2を用いてディープラーニングを用いた異常検知について説明する。訓練データとして異常例が豊富にあれば、ディープラーニングによる通常の教師あり学習法によって正常と異常を分別する学習モデルを学習できるが、異常検知問題においては正常例のみが豊富にあり、異常例はほとんど無い、あるいはまったく無い場合が通例である。そこで、異常検知に対しては教師なし学習法の一つであるオートエンコーダが利用される。図2は、オートエンコーダによる異常検知の一例を示す図である。図2の例は、異常検知にオートエンコーダを用いる場合である。オートエンコーダの学習時には、学習モデル11に対して、正常な入力画像12を入力すると、教師データとして入力画像12そのものを与える。つまり、学習モデル11は、正常な入力画像12とほぼ同じといえる出力画像13を再構成できるように学習が行われる。これに対し、運用時には、例えば入力画像14aと出力画像15aとを比較し、再構成エラー(reconstruction error)を算出する。このとき、出力画像15aのように、再構成エラーの値が小さければ、正常であると判定できる。一方、異常値を含む入力画像14bが学習モデル11に入力された場合、入力画像14bと出力画像15bとの再構成エラーの値が大きくなり、異常を検知することができる。なお、動画像に対して異常検知を行う場合、フレームごとに再構成エラーの値の判定を行う。

0013

この様な異常検知としては、溶接の異常検知の例、監視カメラにおける異常事象の検知の例(Learning Temporal Regularity in Video Sequences)等が挙げられる。また、動画データをキューブ状に分割し、各キューブの異常度を判定して動画像に重畳して表示する例(Dynamic video anomaly detection and localization using sparse denoising autoencoders)もある。これらの例では、背景が動かないため、オートエンコーダによる異常検知を行うことができる。

0014

図2に示すようなオートエンコーダを用いた異常検知では、ノイズに対して鋭敏であるため、画像の解像度が低い超音波検査画像では、誤検知が多く発生してしまう。また、当該異常検知では、入力画像全体が比較対象であるため、つまり、着目すべき部分を指定できないため、撮像環境の変化によって背景が変わってしまうと、誤検知が多く発生してしまう。さらに、学習モデル11の学習には、大量の正常データが必要となる。

0015

ここで、超音波検査を行う場面を考えると、検査対象の物体は、内部構造が一定であることが多い。このため、超音波検査では、プローブ位置等の情報から本来存在するべき構造を、検査における知見や設計図等を用いて推定することが可能である。そこで、本実施例では、正常な場合の内部構造が判明している検査対象に対し、機械学習を用いた物体検知技術にて検知した内部構造と、本来存在するべき正常構造とを比較することで、異常の有無について判定を行う。なお、機械学習を用いた物体検知技術は、現状では人の水準(平均精度mAP=80程度)には及ばないものの、処理結果を統計的に処理することで十分に信頼のおける結果を計算できる。また、本実施例では、検査対象として胎児心臓を一例として説明するが、他の臓器等にも適用可能である。

0016

図3は、異常判定の一例を示す図である。本実施例では、図3に示すように、超音波検査における入力走査断面(入力フレーム)に対して、現走査断面において存在すべき正常構造17と、物体検知技術によって検知した現走査断面の構造18とを比較する。比較の結果、構造18に欠損部19があると、異常があると判定することができる。なお、正常構造17は、予め人手によって入力されていてもよいし、入力フレームの画像や位置情報等から推定して求めるようにしてもよい。

0017

次に、異常判別装置100の構成について説明する。図1に示すように、異常判別装置100は、プローブ110と、表示部111と、操作部112と、記憶部120と、制御部130とを有する。なお、異常判別装置100は、図1に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイス音声出力デバイス等の機能部を有することとしてもかまわない。

0018

プローブ110は、検査対象に対して超音波照射するとともに、検査対象内部で反射した超音波を受信する探触子の一例である。プローブ110は、例えば、リニア型コンベックス型セクタ型といった各種のプローブを用いることができる。また、プローブ110は、例えば、2MHz〜20MHz程度の周波数の超音波を用いることができる。プローブ110は、受信データを制御部130に出力する。

0019

表示部111は、各種情報を表示するための表示デバイスである。表示部111は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部111は、制御部130から入力された表示画面等の各種画面を表示する。

0020

操作部112は、異常判別装置100のユーザから各種操作を受け付ける入力デバイスである。操作部112は、例えば、入力デバイスとして、キーボードマウス等によって実現される。操作部112は、ユーザによって入力された操作を操作情報として制御部130に出力する。なお、操作部112は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部111の表示デバイスと、操作部112の入力デバイスとは、一体化されるようにしてもよい。

0021

記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子ハードディスク光ディスク等の記憶装置によって実現される。記憶部120は、画像記憶部121と、物体データ記憶部122と、学習モデル記憶部123と、部位検知データ記憶部124と、異常スコア記憶部125とを有する。また、記憶部120は、制御部130での処理に用いる情報を記憶する。

0022

画像記憶部121は、プローブ110から入力された受信データに基づいて生成された複数の超音波検査画像を記憶する。ここで、複数の超音波検査画像とは、例えば、複数のフレームを持つ動画像とすることができる。なお、以下の説明では、複数の超音波検査画像を動画像と表し、動画像の1フレームの画像を検査画像と表す場合がある。

0023

物体データ記憶部122は、検査対象の物体の構造を表す物体データを記憶する。物体データは、例えば、プローブ110の現在位置や、前後のフレームの関係等を用いて推定されたルールベースのデータを用いることができる。また、物体データは、人手での入力や設計図に基づいた三次元モデル等に基づくデータを用いてもよい。すなわち、物体データは、何らかの手法を用いて取得した、時刻tにおける検査画像m_tに映っているべき部位の集合R_tと表すことができる。従って、以下の説明では、時刻tにおける検査画像m_tに映っているべき部位の集合R_tを、物体データR_tとも表現する。また、物体データR_tが存在する検査画像m_tに対応する時刻tの区間を時刻集合T_Rで表し、時刻集合T_Rに対応する検査画像m_tの集合を全検査画像Mで表す。すなわち、物体データ記憶部122は、物体データR_tとともに、時刻集合T_Rを記憶する。

0024

学習モデル記憶部123は、検査対象の物体について、物体の構造Hに関する複数の要素hを学習させた学習モデルを記憶する。学習モデルは、YOLO、SSD(Single Shot MultiBox Detector)、Faster−RNN(Recurrent Neural Network)等の物体検知アルゴリズムによって、予め物体の構造Hの各要素hを学習したものである。学習モデルは、例えば、ニューラルネットワークの各種パラメータ重み係数)等を記憶する。

0025

部位検知データ記憶部124は、検査画像m_tごとに、学習モデルを用いて物体の構造Hの各要素hを検知したデータである部位検知データを記憶する。部位検知データは、時刻tにおける検査画像m_tに映っている部位(要素h)の集合D_tと表すことができる。従って、以下の説明では、時刻tにおける検査画像m_tに映っている部位の集合D_tを、部位検知データD_tとも表現する。

0026

異常スコア記憶部125は、時刻集合T_Rに対応する全検査画像Mについて、物体データR_tおよび部位検知データD_tに基づいて算出された異常スコアを記憶する。なお、時刻集合T_Rに対応する物体データR_tは、物体データRと表し、時刻集合T_Rに対応する部位検知データD_tは、部位検知データDと表す。

0027

制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific IntegratedCircuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。制御部130は、取得部131と、第1判定部132と、検知部133と、算出部134と、第2判定部135とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

0028

取得部131は、動画像の取得の開始が指示されると、プローブ110から受信データの取得を開始する。取得部131は、取得した受信データに基づいて、動画像の生成を開始する。すなわち、取得部131は、動画像の取得を開始する。なお、受信データに基づく検査画像は、超音波を照射してから反射波が返ってくるまでの時間から距離を算出することで得られ、例えば、BモードMモードカラードップラー等の各種の検査画像を用いることができる。また、取得部131は、取得した動画像について、例えば胎児が動く等により走査方向が戻る部分がある場合には、動画像の各フレームを比較することで戻り部分のフレームを除去する。取得部131は、取得した動画像を画像記憶部121に記憶するとともに、第1判定部132に出力する。

0029

ここで、図4を用いて動画像の取得、つまり複数の超音波検査画像の取得について説明する。図4は、超音波検査画像の取得の一例を示す図である。図4の例では、母体20内の胎児21について、母体20の腹部をプローブ110で走査することで検査画像(超音波検査画像)を取得する。プローブ110は、例えば、医師によって胎児21の付近から心臓上部にかけて連続的に走査される。この場合の検査画像としては、心臓の前後の検査画像例と、心臓の検査画像例として、検査画像22〜24が取得される。検査画像22には、肋骨25、脊椎26、下行大動脈27、胃胞28および臍静脈29が映っている。

0030

検査画像23には、肋骨25、脊椎26、下行大動脈27および心臓30が映っている。また、検査画像23には、心臓30の内部構造の各部位である、右心室31、右心房32、左心室33、左心房34、心室中隔35および心交差36が映っている。ここで、心臓30は、物体の構造H、つまり心臓構造の集合に相当する。また、右心室31、右心房32、左心室33、左心房34、心室中隔35および心交差36は、各要素hに相当する。検査画像24には、肋骨25、脊椎26、下行大動脈27、肺動脈37、上行大動脈38および上大静脈39が映っている。本実施例では、走査が開始され検査画像に心臓が映っている区間(時刻集合T_R)について、物体データRと部位検知データDとを比較することで心臓の異常の有無を判定する。なお、図4における検査画像22〜24は、説明のために各部位を判りやすく描いているが、実際の検査画像では、このように明確に各部位が表示されるものではない。

0031

言い換えると、複数の超音波検査画像は、物体上を走査して得られた画像である。また、プローブ110の走査は、一方向に行われる。また、複数の超音波検査画像は、走査の戻りの部分が含まれないように選択された画像である。

0032

図1の説明に戻って、第1判定部132は、動画像の前後のフレームの関係を用いて、検査画像m_tに検査対象の物体の構造H(心臓)が映っているか否かを判定する。第1判定部132は、取得部131から動画像が入力されると、入力された動画像から1フレームの検査画像m_tを抽出する。第1判定部132は、心臓が大きく拍動していることを利用し、下記の式(1)を用いて、拍動に対応するスコア(rule_score)を算出する。つまり、第1判定部132は、動画像のフレーム間の差分に基づいて、拍動に対応するスコアを算出する。

0033

0034

式(1)において、xは画面の縦軸を示し、yは画面の横軸を示す。また、m_t(x,y)は、時刻tにおける検査画像(フレーム)の座標(x,y)の画素を示し、式(1)全体は、時刻tより時間aだけ遡った時刻の検査画像と、時刻tの検査画像の差異の総和を、スコアとして求めることを意味している。このスコアが高いほど、時間aの間で検査画像が大きく変化している、つまり拍動していると判断できる。t’はt−a、つまりtから所定の差分aを引いた値である。差分aは、例えば「1〜20」程度であり、40fpsの動画では時間単位は1/40秒であるから、「1/40秒〜1/2秒」程度となる。

0035

第1判定部132は、算出したスコアが予め設定した閾値k_rを超えたか否かを判定することで、検査画像m_tに検査対象の物体の構造H(心臓)が映っているか否かを判定する。閾値k_rは、任意の値でよいが、例えば「3.0」といった値を採用することができる。第1判定部132は、検査画像m_tに検査対象の物体の構造H(心臓)が映っていると判定した場合には、時刻tにおける検査画像m_tに映っているべき部位の集合R_tを下記の式(2)と算出する。一方、第1判定部132は、検査画像m_tに検査対象の物体の構造H(心臓)が映っていないと判定した場合には、物体データR_tを下記の式(3)(R_t=空集合)と算出する。なお、式(2)では、6つの要素hに基づいて、物体の構造Hが映っている物体データR_tを算出したが、任意の数の要素hに基づいて、物体データR_tを算出してもよい。

0036

R_t={右心室,右心房,左心室,左心房,心室中隔,心交差} ・・・(2)

0037

0038

また、第1判定部132は、物体データR_tを式(2)と算出した場合には、時刻tを時刻集合T_Rに追加する。第1判定部132は、算出した物体データR_tと、時刻集合T_Rとを物体データ記憶部122に記憶する。また、第1判定部132は、抽出した検査画像m_tを検知部133に出力する。

0039

さらに、第1判定部132は、検知部133から終了判定指示が入力されると、動画像が終了したか否かを判定する。つまり、第1判定部132は、抽出した検査画像m_tが動画像の最後のフレームであったか否かを判定する。第1判定部132は、動画像が終了していないと判定した場合には、時刻tを1つ進めて、動画像から次の検査画像m_tを抽出し、物体の構造H(心臓)が映っているか否かの判定を繰り返す。一方、第1判定部132は、動画像が終了したと判定した場合には、算出指示を算出部134に出力する。

0040

言い換えると、第1判定部132は、物体の走査断面を含む動画における複数フレームから時間変化に基づいて、特定の部位の集合が映っているべき検査画像を選択する第1判定部の一例である。また、選択した検査画像は検知部133に出力され、映っているべき部位の集合物体データR_tと時刻集合T_Rは物体データ記憶部122に記憶される。

0041

検知部133は、第1判定部132から検査画像m_tが入力されると、学習モデル記憶部123を参照し、入力された検査画像m_tに対して、学習モデルを用いて物体の構造H(心臓)の各要素h(部位)の検知を行う。すなわち、検知部133は、検査画像m_tに映っている部位(要素h)の集合D_tである部位検知データD_tを、下記の式(4)を用いて算出する。

0042

D_t={h|P_h(m_t)が閾値k_d以上} ・・・(4)

0043

式(4)において、P_hは、学習モデルを用いて要素hを検知する際に算出される、要素hの位置の確信度(probability)を示す。閾値k_dは、要素hの位置の確信度に対して、当該要素hの検知を判定するための閾値である。すなわち、検知部133は、式(4)を用いて、検査画像m_tから、各要素h(部位)の検知結果を部位検知データD_tとして算出する。なお、閾値k_dは、任意の値でよいが、例えば「3.0」といった値を採用することができる。また、閾値k_dは、その値を調整することにより、「完全な要素の欠落」〜「正常データからの逸脱」の範囲内で、検出の鋭敏性を設定することができる。検知部133は、算出した部位検知データD_tを部位検知データ記憶部124に記憶するとともに、終了判定指示を第1判定部132に出力する。

0044

言い換えると、検知部133は、第1判定部132が選択した複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う。また、検知部133は、複数フレームのそれぞれから物体を検出するための物体検知、つまり画像認識を行う認識部の一例である。また、検知部133は、複数フレームのうちで時間変化が検出されたフレームにおいて、画像認識(物体検知)において物体が検出された度合いを算出する。また、検知部133は、物体の有無を検知する。

0045

算出部134は、第1判定部132から算出指示が入力されると、物体データ記憶部122を参照し、時刻集合T_Rと、時刻集合T_Rに対応する物体データRとを取得する。また、算出部134は、部位検知データ記憶部124を参照し、時刻集合T_Rに対応する部位検知データDを取得する。算出部134は、時刻集合T_R、物体データRおよび部位検知データDに基づいて、異常スコアを下記の式(5)に示す異常スコア算出関数A(R,T_R,D)を用いて算出する。

0046

0047

式(5)において、「\」は差集合を示し、「#」は集合に含まれる要素の個数を示す。また、時刻tは、時刻集合T_Rに属するので、R_tは物体データRを示し、D_tは部位検知データDを示す。

0048

すなわち、算出部134は、時刻集合T_Rに対応する全検査画像Mについて、異常スコアを算出する。算出部134は、算出した異常スコアを異常スコア記憶部125に記憶するとともに、異常判定指示を第2判定部135に出力する。

0049

言い換えると、算出部134は、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する取得部の一例である。

0050

第2判定部135は、算出部134から異常判定指示が入力されると、異常スコア記憶部125を参照し、異常スコアに基づいて、異常の有無を判定する。すなわち、第2判定部135は、異常スコアA(R,T_R,D)が予め設定された閾値k_Aを超えたか否かを判定する。なお、閾値k_Aは、任意の値でよいが、例えば「3.0」といった値を採用することができる。第2判定部135は、閾値k_Aを超えていないと判定した場合には、検査対象の物体の構造H(心臓)について異常がないという判定結果を生成する。第2判定部135は、閾値k_Aを超えたと判定した場合には、検査対象の物体の構造H(心臓)について異常があるという判定結果を生成する。第2判定部135は、例えば、生成した判定結果に基づく画面を表示部111に出力して表示させる。

0051

言い換えると、第2判定部135は、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する判定部の一例である。また、第2判定部135は、複数の部位それぞれの、複数の超音波検査画像における検出割合(異常スコア)に基づいて、物体の異常を判定する。また、第2判定部135は、物体の有無に基づいて、物体の異常を判定する。また、第2判定部135は、複数フレームのうちで時間変化が検出されたフレームにおいて、画像認識(物体検知)において物体が検出された度合いに基づいて、物体の異常を検出する第2検出部の一例である。

0052

なお、第2判定部135は、部位検知データ記憶部124を参照し、時刻集合T_Rに対応する部位検知データDについて、部位ごとに走査方向の検知結果を表示するような部位検知マップを生成して表示部111に出力して表示させるようにしてもよい。

0053

図5は、部位検知マップの一例を示す図である。図5に示す部位検知マップ40は、要素hを縦軸、時刻tを横軸とし、部位ごとに走査方向の検知結果として確信度を表したものである。部位検知マップ40の異常例41は、心臓が映っているべき区間42において、例えば心交差の部位検知データD_tにおける確信度が低く、検知出来ていない領域が多くなっている。一方、正常例43は、心臓が映っているべき区間44において、例えば心交差の部位検知データD_tにおける確信度が高く、正しく検知出来ている。つまり、異常判別装置100は、部位検知マップ40に示すように、正常領域と異常領域との割合を見ているため、検査画像上では不明瞭であっても、異常を判定することができる。

0054

図6は、部位検知マップの他の一例を示す図である。図6に示す部位検知マップ45は、要素hを縦軸、時刻tを横軸とし、部位ごとに走査方向の検知結果として確信度を表したものである。部位検知マップ45では、例えば、未検知、検知(確信度20%未満)、検知(確信度20%以上)の3段階で表している。なお、部位検知マップ45は、未検知をグレーとし、検知(確信度20%未満)と検知(確信度20%以上)とを異なる色、例えば、白色と青色とで表すようにしてもよい。ここで、断面の235番を抜粋して超音波検査画像および部位の検知結果について説明する。また、時刻集合T_Rの領域外、つまり遷移領域の断面の一例として370番の超音波検査画像を示す。

0055

図7は、超音波検査画像の一例を示す図である。図7では、断面の235番および370番に対応する超音波検査画像を表す。370番の断面では、遷移領域であるので、心室中隔35および心交差36が映っていなくても構わない。

0056

図8は、部位の検知結果の一例を示す図である。図8では、図7の235番についての部位の検知結果を示す。235番では、右心室31、右心房32、左心室33、左心房34、心室中隔35および心交差36が検知されている。なお、異常判別装置100は、プローブ110の走査中に表示部111に表示するモニタ用の超音波検査画像に対して、図8に示すような部位の検知結果の枠をリアルタイムに表示するようにしてもよい。また、異常判別装置100は、図8に示すような部位の検知結果の枠に、例えば部位の名称等のラベルを表示するようにしてもよい。

0057

図9は、部位検知マップの他の一例を示す図である。図9に示す部位検知マップ46は、図6の部位検知マップ45と同様に、要素hを縦軸、時刻tを横軸とし、部位ごとに走査方向の検知結果として確信度を表したものである。部位検知マップ46では、心交差36の欠損を読み取ることができる。心交差36の欠損に対応する断面は、例えば131番が挙げられる。

0058

図10は、超音波検査画像の他の一例を示す図である。図10では、図9の131番に対応する超音波検査画像を表す。131番では、心交差36が欠損していることがわかる。

0059

図11は、部位の検知結果の他の一例を示す図である。図11では、図10の131番についての部位の検知結果を示す。131番では、右心室31、右心房32、左心室33、左心房34および心室中隔35が検知されているが、心交差36は欠損しているため検知されていない。つまり、部位検知マップ46から、心交差36の欠損が読み取れることに対し、対応する超音波検査画像においても欠損が認められることがわかる。

0060

次に、実施例1の異常判別装置100の動作について説明する。図12は、実施例1の異常判別処理の一例を示すフローチャートである。

0061

取得部131は、動画像の取得の開始が指示されると、プローブ110から取得した受信データに基づいて、動画像の取得を開始する(ステップS1)。取得部131は、取得した動画像を画像記憶部121に記憶するとともに、第1判定部132に出力する。

0062

第1判定部132は、取得部131から動画像が入力されると、入力された動画像から1フレームの検査画像m_tを抽出する(ステップS2)。第1判定部132は、抽出した検査画像m_tから物体データR_tを算出する(ステップS3)。第1判定部132は、検査画像m_tに検査対象の物体の構造H(心臓)が映っていると判定した場合には、時刻tを時刻集合T_Rに追加する(ステップS4)。第1判定部132は、算出した物体データR_tと、時刻集合T_Rとを物体データ記憶部122に記憶する。また、第1判定部132は、抽出した検査画像m_tを検知部133に出力する。

0063

検知部133は、第1判定部132から検査画像m_tが入力されると、学習モデル記憶部123を参照し、入力された検査画像m_tに対して、学習モデルを用いて物体の構造H(心臓)の各要素h(部位)の検知を行う。つまり、検知部133は、検査画像m_tから部位検知データD_tを算出する(ステップS5)。検知部133は、算出した部位検知データD_tを部位検知データ記憶部124に記憶するとともに、終了判定指示を第1判定部132に出力する。

0064

第1判定部132は、検知部133から終了判定指示が入力されると、動画像が終了したか否かを判定する(ステップS6)。第1判定部132は、動画像が終了していないと判定した場合には(ステップS6:否定)、時刻tを1つ進めて、つまり動画像を1フレーム進めて、ステップS2に戻る。一方、第1判定部132は、動画像が終了したと判定した場合には(ステップS6:肯定)、算出指示を算出部134に出力する。

0065

算出部134は、第1判定部132から算出指示が入力されると、時刻集合T_Rに対応する全検査画像Mについて、異常スコアを算出する(ステップS7)。算出部134は、算出した異常スコアを異常スコア記憶部125に記憶するとともに、異常判定指示を第2判定部135に出力する。

0066

第2判定部135は、算出部134から異常判定指示が入力されると、異常スコア記憶部125を参照し、異常スコアに基づいて、異常の有無を判定する(ステップS8)。第2判定部135は、例えば、判定結果に基づく画面を表示部111に出力して表示させる(ステップS9)。これにより、異常判別装置100は、超音波検査画像の結果に基づき、異常判定を行うことができる。すなわち、異常判別装置100は、物体検知技術の結果(検知できるか否か)を利用して、検知対象が正常から外れているか否か、つまり異常であるか、あるいは、欠損しているかを調べることができる。また、異常判別装置100は、学習モデルに明示的に正常構造を教示できるため、少数の教師データで学習を行うことができ、かつ、ノイズに対して頑強である。また、異常判別装置100は、物体中の任意の部位に着目して異常を判定することができる。

0067

このように、異常判別装置100は、既知の構造を有する物体に対する複数の超音波検査画像を用いた、物体の異常判別を行う。異常判別装置100は、複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う。また、異常判別装置100は、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する。また、異常判別装置100は、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する。その結果、異常判別装置100は、超音波検査画像の結果に基づき、異常判定を行うことができる。

0068

また、異常判別装置100では、複数の超音波検査画像は、物体が映っているべきことを判定して選択された画像である。その結果、異常判別装置100は、物体が映っているべきである位置に対して部位の検知を行うので、検知精度を向上させることができる。

0069

また、異常判別装置100は、複数の部位それぞれの、複数の超音波検査画像における検出割合に基づいて、物体の異常を判定する。その結果、異常判別装置100は、部位の異常を判定できる。

0070

また、異常判別装置100は、物体の有無に基づいて、物体の異常を判定する。その結果、異常判別装置100は、部位の欠損を判定できる。

0071

また、異常判別装置100では、複数の超音波検査画像は、物体上を走査して得られた画像である。その結果、異常判別装置100は、物体の内部構造の異常判定を行うことができる。

0072

また、異常判別装置100では、走査は、一方向に行われる。その結果、異常判別装置100は、物体の内部構造の異常判定を行うことができる。

0073

また、異常判別装置100では、複数の超音波検査画像は、走査の戻りの部分が含まれないように選択された画像である。その結果、異常判別装置100は、検知精度を向上させることができる。

0074

また、異常判別装置100は、時間変化を伴う物体の異常を検出する。異常判別装置100は、物体の走査断面を含む動画における複数フレームから時間変化を検出する。また、異常判別装置100は、複数フレームのそれぞれから物体を検出するための画像認識(物体検知)を行う。また、異常判別装置100は、複数フレームのうちで時間変化が検出されたフレームにおいて、画像認識(物体検知)において物体が検出された度合いに基づいて、物体の異常を検出する。その結果、異常判別装置100は、物体の走査断面を含む動画に基づき、異常判定を行うことができる。

0075

上記実施例1では、検査対象として胎児の心臓を一例として説明したが、超音波検査が可能な物体であれば適用でき、例えば半導体パッケージを検査対象としてもよく、この場合の実施の形態につき、実施例2として説明する。なお、実施例2では、実施例1の異常判別装置100と検査対象が異なるのみであるので、検査対象に関する説明を行い、重複する構成および動作の説明については省略する。

0076

近年の半導体パッケージでは、三次元実装技術発展等によって、SiP(System in Package)と呼ばれる多くのチップ類(コンポーネント)が同じパッケージ実装されることが増加している。この様な半導体パッケージは、内部構造が複雑化しているため、従来の超音波検査による探傷に留まらず、内部構造の実装の状況も確認することが求められている。

0077

図13は、実施例2の検査対象および検査方法の一例を示す図である。図13に示すパッケージ50は、半導体パッケージの一例である。パッケージ50は、基板51の上に複数のチップ52が実装され、パッケージ樹脂53で封止されている。実施例2では、パッケージ50を水槽54に沈め、水槽54の水面に対して平行にプローブ55を動かすことで、検査画像を取得する。

0078

実施例2では、異常判別装置100は、パッケージ50の設計図に基づいて、物体データR_tを算出する。つまり、実施例2では、異常判別装置100は、パッケージ50の設計図に基づいて、断面である検査画像m_tに映っているべきコンポーネントの種類と、時刻tとを求めて物体データR_tを算出する。また、異常判別装置100は、コンポーネントが映っているべき区間ごとに、時刻集合T_Rを求める。なお、物体データR_tの算出は、実施例1と同様であるので、その説明を省略する。

0079

図14は、映っているべきコンポーネントの一例を示す図である。図14に示すように、パッケージ50の平面図56には、映っているべきコンポーネントとして、複数のチップ52aがあるものとする。実施例2では、断面57をプローブ走査方向に移動させた場合に、チップ52aが断面57に現れる箇所と、断面57からチップ52aが消える箇所とに基づいて区切られた区間58ごとに、映っているべきチップ52aを推定する。つまり、時刻集合T_Rは、それぞれのチップ52aが映っているべき区間58に対応する。

0080

異常判別装置100は、検査画像m_tから部位検知データD_tを算出する。異常判別装置100は、各チップ52aにおける時刻集合T_Rに対応する全検査画像Mについて、異常スコアを算出して異常の有無を判定する。なお、部位検知データD_tの算出、および、異常スコアの算出は、実施例1と同様であるので、その説明を省略する。このように、実施例2の異常判別装置100は、検査対象が半導体パッケージであっても、超音波検査画像の結果に基づき、異常判定を行うことができる。

0081

なお、上記各実施例では、動画像の検査対象の物体が映っているべき区間について異常スコアを算出したが、これに限定されない。例えば、動画像の全区間について異常スコアを算出するようにしてもよい。この場合、検査対象の物体が映っていないはずの区間は、空集合と空集合の差となるので、検査対象の物体が映っているべき区間の異常スコアには影響を与えないことになる。

0082

上記各実施例では、正常な場合の内部構造が判明している検査対象に対し、超音波検査画像に機械学習を用いた物体検知技術を用いることで、異常の有無について判定を行っている。これにより、超音波検査画像に対する物体検知の精度が十分でない場合であっても、異常の有無の判定を行うことができる。

0083

また、上記各実施例では、プローブ110の走査方向を一方向として説明したが、これに限定されない。例えば、動画像の各フレームを比較することで走査方向を特定し、重複するフレームを除去した所定範囲の検査画像の集合から、物体データR_tと部位検知データD_tとを算出し、所定範囲の検査画像の集合から異常スコアを算出するようにしてもよい。

0084

また、上記各実施例では、物体検知アルゴリズムとして、YOLO、SSD、Faster−RNNを一例として挙げたが、これに限定されない。例えば、DPM、Fast−RNNなど様々なニューラルネットワークを用いた物体検知アルゴリズムを用いることができる。また、学習の手法も、誤差伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層(隠れ層)、出力層から構成される多段構成であり、各層は複数のノードエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。また、機械学習としては、ニューラルネットワーク以外にも、SVM(support vector machine)等の各種手法を用いてもよい。

0085

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、算出部134と第2判定部135とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序入れ替えて実施してもよい。

0086

さらに、各装置で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

0087

ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図15は、異常判別プログラムを実行するコンピュータの一例を示す図である。

0088

図15に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、データ入力を受け付ける入力装置202と、モニタ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る媒体読取装置204と、各種装置と接続するためのインタフェース装置205と、他の情報処理装置等と有線または無線により接続するための通信装置206とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM207と、ハードディスク装置208とを有する。また、各装置201〜208は、バス209に接続される。

0089

ハードディスク装置208には、図1に示した取得部131、第1判定部132、検知部133、算出部134および第2判定部135の各処理部と同様の機能を有する異常判別プログラムが記憶される。また、ハードディスク装置208には、画像記憶部121、物体データ記憶部122、学習モデル記憶部123、部位検知データ記憶部124、異常スコア記憶部125、および、異常判別プログラムを実現するための各種データが記憶される。入力装置202は、例えば、コンピュータ200のユーザから操作情報等の各種情報の入力を受け付ける。モニタ203は、例えば、コンピュータ200のユーザに対して表示画面等の各種画面を表示する。インタフェース装置205は、例えばプローブ等が接続される。通信装置206は、例えば、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。

0090

CPU201は、ハードディスク装置208に記憶された各プログラムを読み出して、RAM207に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ200を図1に示した取得部131、第1判定部132、検知部133、算出部134および第2判定部135として機能させることができる。

実施例

0091

なお、上記の異常判別プログラムは、必ずしもハードディスク装置208に記憶されている必要はない。例えば、コンピュータ200が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ200が読み出して実行するようにしてもよい。コンピュータ200が読み取り可能な記憶媒体は、例えば、CD−ROMやDVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリハードディスクドライブ等が対応する。また、公衆回線インターネット、LAN等に接続された装置にこの異常判別プログラムを記憶させておき、コンピュータ200がこれらから異常判別プログラムを読み出して実行するようにしてもよい。

0092

100 異常判別装置
110プローブ
111 表示部
112 操作部
120 記憶部
121画像記憶部
122物体データ記憶部
123学習モデル記憶部
124 部位検知データ記憶部
125 異常スコア記憶部
130 制御部
131 取得部
132 第1判定部
133 検知部
134 算出部
135 第2判定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ