図面 (/)

技術 深層学習を用いるコンピュータビジョニングを使用したデジタル品質管理

出願人 アクセンチュアグローバルソリューションズリミテッド
発明者 ボヌー,オリビエアマニ,サミデラコンブル,アロエスピーターピリュコテリュ,パトリック
出願日 2019年1月30日 (1年10ヶ月経過) 出願番号 2019-013898
公開日 2020年3月19日 (8ヶ月経過) 公開番号 2020-042756
状態 未査定
技術分野 総合的工場管理 イメージ分析
主要キーワード 視覚的描写 データ捕捉システム カウントモジュール 食品項目 角ビュー 物体検出器 信頼度閾値 連携ファイル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

製品サンプルを表すデジタルデータとして生成されるサンプルデータを受け取ることと、残差ネットワークの複数の層を介してサンプルデータを処理することによって自動的または半自動的に徹底した品質管理プロセスを実行する。

解決手段

残差ネットワークの第1の層はサンプルデータの特徴1つ以上を識別し、残差ネットワークの第2の層は第1の層の1つ以上の特徴を受け取って追加の特徴1つ以上を識別し、領域のセットと、領域のセットの中の領域中の物体少なくとも1つとを識別して、少なくとも1つの物体のタイプを判断するために、CNNを使用して特徴のセットを処理し、製品のサンプル内の汚染を示す警告を、少なくとも1つの物体のタイプに少なくとも部分的に基づいて選択的に発する。

概要

背景

企業は、製品および/またはサービス品質を確保するために品質管理プロセスを採用する。様々な産業事業を行う企業が品質管理プロセスを実装する。例示の産業には、医薬生物工学ワクチン、体外診断食品、飲料、化学、および公共事業が含まれるがこれらに限定はされない。例えば食品産業では、品質管理プロセスを使用して、販売される食品に汚染物(例えば微生物学的)が存在しない(または少なくとも閾値レベルを下回る)ことを確実にすることができる。しかし、品質管理プロセスは、手作業が多く、誤りを伴う場合がある。場合によっては、許容されない可能性のあるレベルの汚染物が、品質管理プロセスにおいて適切に検出されない。

概要

製品のサンプルを表すデジタルデータとして生成されるサンプルデータを受け取ることと、残差ネットワークの複数の層を介してサンプルデータを処理することによって自動的または半自動的に徹底した品質管理プロセスを実行する。残差ネットワークの第1の層はサンプルデータの特徴1つ以上を識別し、残差ネットワークの第2の層は第1の層の1つ以上の特徴を受け取って追加の特徴1つ以上を識別し、領域のセットと、領域のセットの中の領域中の物体少なくとも1つとを識別して、少なくとも1つの物体のタイプを判断するために、CNNを使用して特徴のセットを処理し、製品のサンプル内の汚染を示す警告を、少なくとも1つの物体のタイプに少なくとも部分的に基づいて選択的に発する。

目的

一部の実装において、アクションは、製品のサンプルを表すデジタルデータとして生成されるサンプルデータを受け取ることと、残差ネットワークの複数の層を介してサンプルデータを処理することによって特徴のセットを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

製品サンプル1つ以上に基づく品質管理のためのコンピュータ実装された方法であって、前記方法は、1つ以上のプロセッサによって実行され、前記製品のサンプルを表すデジタルデータとして生成されるサンプルデータを、前記1つ以上のプロセッサによって受け取るステップと、残差ネットワークの複数の層を介して前記サンプルデータを処理することによって、特徴のセットを前記1つ以上のプロセッサによって提供するステップであって、前記残差ネットワークの第1の層は前記サンプルデータの特徴1つ以上を識別し、前記残差ネットワークの第2の層は前記第1の層の前記1つ以上の特徴を受け取って追加の特徴1つ以上を識別する、前記提供するステップと、前記製品の前記サンプルの領域のセットを識別するために、前記特徴のセットを前記1つ以上のプロセッサによって処理するステップと、前記識別された領域のセットに基づいて、前記製品の前記サンプルの前記デジタルデータ表現分解能を、前記1つ以上のプロセッサによって変更するステップと、前記領域のセットの中の領域中の物体少なくとも1つを識別して前記少なくとも1つの物体のタイプを判断するために、前記1つ以上のプロセッサによって前記特徴のセットを処理するステップと、前記製品の前記サンプル内の汚染を示す警告を、前記少なくとも1つの物体の前記タイプに少なくとも部分的に基づいて、前記1つ以上のプロセッサによって選択的に発するステップと、を含む方法。

請求項2

前記残差ネットワークは、Resnet−101である、請求項1に記載の方法。

請求項3

前記特徴のセットは、畳み込みニューラルネットワークCNN)を使用して処理される、請求項1に記載の方法。

請求項4

前記CNNは、領域ベースCNN(R−CNN)である、請求項3に記載の方法。

請求項5

前記方法はさらに、ユーザインターフェース内に前記サンプルの視覚的描写を提供するステップを含み、前記視覚的描写は、前記サンプルにおいて識別された物体を示す1つ以上のグラフィックオーバーレイを含む、請求項1に記載の方法。

請求項6

前記方法はさらに、前記サンプルを収容しているサンプル容器を、カメラに対して相対的な或るポジションに、ロボットアームを使用して移動させるステップを含み、前記カメラは、前記サンプルデータを生成する、請求項1に記載の方法。

請求項7

前記ポジションは、前記サンプル容器内の前記サンプルの撮像のために前記カメラへと前記サンプル容器を運搬するコンベヤ上に位置する、請求項6に記載の方法。

請求項8

出力が、提供されて、前記サンプル内の前記少なくとも1つの物体を表すワンホットエンコードされたベクトルと、信頼度レベルとを含み、前記信頼度スコアは、前記少なくとも1つの物体が分類された前記タイプのものであることの信頼度の程度を表現する、請求項1に記載の方法。

請求項9

前記サンプルデータは、前記サンプルのデジタル画像1つ以上を含む、請求項1に記載の方法。

請求項10

前記特徴のセットは、前記領域の体積、および/または前記領域の面積、および/または前記領域の色を識別するために処理される、請求項1に記載の方法。

請求項11

前記製品は、生物学的物質、および/または医薬製品、および/または食料品を含む、請求項1に記載の方法。

請求項12

前記識別された領域は、水分のコロニーを含む、請求項1に記載の方法。

請求項13

前記識別された物体は、バクテリアを含む、請求項1に記載の方法。

請求項14

1つ以上のプロセッサに結合され、命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、製品のサンプル1つ以上に基づく品質管理のための動作を実行させ、前記動作は、前記製品のサンプルを表すデジタルデータとして生成されるサンプルデータを、前記1つ以上のプロセッサによって受け取ることと、残差ネットワークの複数の層を介して前記サンプルデータを処理することによって、特徴のセットを前記1つ以上のプロセッサによって提供することであって、前記残差ネットワークの第1の層は前記サンプルデータの特徴1つ以上を識別し、前記残差ネットワークの第2の層は前記第1の層の前記1つ以上の特徴を受け取って追加の特徴1つ以上を識別する、前記提供することと、前記製品の前記サンプルの領域のセットを識別するために、前記特徴のセットを前記1つ以上のプロセッサによって処理することと、前記識別された領域のセットに基づいて、前記製品の前記サンプルの前記デジタルデータ表現の分解能を、前記1つ以上のプロセッサによって変更することと、前記領域のセットの中の領域中の物体少なくとも1つを識別して前記少なくとも1つの物体のタイプを判断するために、前記1つ以上のプロセッサによって前記特徴のセットを処理することと、前記製品の前記サンプル内の汚染を示す警告を、前記少なくとも1つの物体の前記タイプに少なくとも部分的に基づいて、前記1つ以上のプロセッサによって選択的に発することと、を含む、コンピュータ可読記憶媒体。

請求項15

前記残差ネットワークは、Resnet−101である、請求項14に記載のコンピュータ可読記憶媒体。

請求項16

前記特徴のセットは、畳み込みニューラルネットワーク(CNN)を使用して処理される、請求項14に記載のコンピュータ可読記憶媒体。

請求項17

前記CNNは、領域ベースCNN(R−CNN)である、請求項16に記載のコンピュータ可読記憶媒体。

請求項18

動作はさらに、ユーザインターフェース内に前記サンプルの視覚的描写を提供することを含み、前記視覚的描写は、前記サンプルにおいて識別された物体を示す1つ以上のグラフィックオーバーレイを含む、請求項14に記載のコンピュータ可読記憶媒体。

請求項19

動作はさらに、前記サンプルを収容しているサンプル容器を、カメラに対して相対的な或るポジションに、ロボットアームを使用して移動させることを含み、前記カメラは、前記サンプルデータを生成する、請求項14に記載のコンピュータ可読記憶媒体。

請求項20

前記ポジションは、前記サンプル容器内の前記サンプルの撮像のために前記カメラへと前記サンプル容器を運搬するコンベヤ上に位置する、請求項14に記載のコンピュータ可読記憶媒体。

請求項21

出力が、提供されて、前記サンプル内の前記少なくとも1つの物体を表すワンホットエンコードされたベクトルと、信頼度レベルとを含み、前記信頼度スコアは、前記少なくとも1つの物体が分類された前記タイプのものであることの信頼度の程度を表現する、請求項14に記載のコンピュータ可読記憶媒体。

請求項22

前記サンプルデータは、前記サンプルのデジタル画像1つ以上を含む、請求項14に記載のコンピュータ可読記憶媒体。

請求項23

前記特徴のセットは、前記領域の体積、および/または前記領域の面積、および/または前記領域の色を識別するために処理される、請求項14に記載のコンピュータ可読記憶媒体。

請求項24

前記製品は、生物学的物質、および/または医薬製品、および/または食料品を含む、請求項14に記載のコンピュータ可読記憶媒体。

請求項25

前記識別された領域は、水分のコロニーを含む、請求項14に記載のコンピュータ可読記憶媒体。

請求項26

前記識別された物体は、バクテリアを含む、請求項14に記載のコンピュータ可読記憶媒体。

請求項27

1つ以上のプロセッサと、前記1つ以上のプロセッサに結合され、命令が記憶されているコンピュータ可読記憶デバイスと、を含むシステムであって、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、製品のサンプル1つ以上に基づく品質管理のための動作を実行させ、前記動作は、前記製品のサンプルを表すデジタルデータとして生成されるサンプルデータを、前記1つ以上のプロセッサによって受け取ることと、残差ネットワークの複数の層を介して前記サンプルデータを処理することによって、特徴のセットを前記1つ以上のプロセッサによって提供することであって、前記残差ネットワークの第1の層は前記サンプルデータの特徴1つ以上を識別し、前記残差ネットワークの第2の層は前記第1の層の前記1つ以上の特徴を受け取って追加の特徴1つ以上を識別する、前記提供することと、前記製品の前記サンプルの領域のセットを識別するために、前記特徴のセットを前記1つ以上のプロセッサによって処理することと、前記識別された領域のセットに基づいて、前記製品の前記サンプルの前記デジタルデータ表現の分解能を、前記1つ以上のプロセッサによって変更することと、前記領域のセットの中の領域中の物体少なくとも1つを識別して前記少なくとも1つの物体のタイプを判断するために、前記1つ以上のプロセッサによって前記特徴のセットを処理することと、前記製品の前記サンプル内の汚染を示す警告を、前記少なくとも1つの物体の前記タイプに少なくとも部分的に基づいて、前記1つ以上のプロセッサによって選択的に発することと、を含む、システム。

請求項28

前記残差ネットワークは、Resnet−101である、請求項27に記載のシステム。

請求項29

前記特徴のセットは、畳み込みニューラルネットワーク(CNN)を使用して処理される、請求項27に記載のシステム。

請求項30

前記CNNは、領域ベースCNN(R−CNN)である、請求項29に記載のシステム。

請求項31

動作はさらに、ユーザインターフェース内に前記サンプルの視覚的描写を提供することを含み、前記視覚的描写は、前記サンプルにおいて識別された物体を示す1つ以上のグラフィックオーバーレイを含む、請求項27に記載のシステム。

請求項32

動作はさらに、前記サンプルを収容しているサンプル容器を、カメラに対して相対的な或るポジションに、ロボットアームを使用して移動させることを含み、前記カメラは、前記サンプルデータを生成する、請求項27に記載のシステム。

請求項33

前記ポジションは、前記サンプル容器内の前記サンプルの撮像のために前記カメラへと前記サンプル容器を運搬するコンベヤ上に位置する、請求項32に記載のシステム。

請求項34

出力が、提供されて、前記サンプル内の前記少なくとも1つの物体を表すワンホットエンコードされたベクトルと、信頼度レベルとを含み、前記信頼度スコアは、前記少なくとも1つの物体が分類された前記タイプのものであることの信頼度の程度を表現する、請求項27に記載のシステム。

請求項35

前記サンプルデータは、前記サンプルのデジタル画像1つ以上を含む、請求項27に記載のシステム。

請求項36

前記特徴のセットは、前記領域の体積、および/または前記領域の面積、および/または前記領域の色を識別するために処理される、請求項27に記載のシステム。

請求項37

前記製品は、生物学的物質、および/または医薬製品、および/または食料品を含む、請求項27に記載のシステム。

請求項38

前記識別された領域は、水分のコロニーを含む、請求項27に記載のシステム。

請求項39

前記識別された物体は、バクテリアを含む、請求項27に記載のシステム。

技術分野

0001

本開示は、全般的に、品質管理のためのコンピュータ実装された方法および品質管理システムに関する。

背景技術

0002

企業は、製品および/またはサービス品質を確保するために品質管理プロセスを採用する。様々な産業事業を行う企業が品質管理プロセスを実装する。例示の産業には、医薬生物工学ワクチン、体外診断食品、飲料、化学、および公共事業が含まれるがこれらに限定はされない。例えば食品産業では、品質管理プロセスを使用して、販売される食品に汚染物(例えば微生物学的)が存在しない(または少なくとも閾値レベルを下回る)ことを確実にすることができる。しかし、品質管理プロセスは、手作業が多く、誤りを伴う場合がある。場合によっては、許容されない可能性のあるレベルの汚染物が、品質管理プロセスにおいて適切に検出されない。

課題を解決するための手段

0003

本開示の各実装は、全般的に、コンピュータビジョニングおよび深層学習を使用した品質管理システムを対象とする。特に、本開示の各実装は、自動的または半自動的に徹底した品質管理プロセスを実行する、人工知能AI:artificial intelligence)ベースのコンピュータビジョニングシステムを対象とする。

0004

一部の実装において、アクションは、製品のサンプルを表すデジタルデータとして生成されるサンプルデータを受け取ることと、残差ネットワークの複数の層を介してサンプルデータを処理することによって特徴のセットを提供することであって、残差ネットワークの第1の層はサンプルデータの特徴1つ以上を識別し、残差ネットワークの第2の層は第1の層の1つ以上の特徴を受け取って追加の特徴1つ以上を識別する、提供することと、製品のサンプルの領域のセットを識別するために特徴のセットを処理することと、識別された領域のセットに基づいて、製品のサンプルのデジタルデータ表現分解能を変更することと、領域のセットの中の領域中の物体少なくとも1つを識別して少なくとも1つの物体のタイプを判断するために、特徴のセットを処理することと、製品のサンプル内の汚染を示す警告を、少なくとも1つの物体のタイプに少なくとも部分的に基づいて選択的に発することと、を含む。この側面の他の実装は、対応するシステム、装置、および方法のアクションを実行するように構成されコンピュータ記憶デバイス上にエンコードされたコンピュータプログラムを含む。

0005

これらおよび他の実装はそれぞれ任意選択で、以下の特徴のうちの1つ以上を含むことができる:残差ネットワークはResnet−101であること、特徴のセットは畳み込みニューラルネットワークCNN:convolution neural network)を使用して処理されること、CNNは領域ベースCNN(R−CNN:region−based CNN)であること、アクションがさらに、ユーザインターフェース内にサンプルの視覚的描写を提供することを含み、視覚的描写はサンプルにおいて識別された物体を示す1つ以上のグラフィックオーバーレイを含むこと、アクションがさらに、サンプルを収容しているサンプル容器カメラに対して相対的な或るポジションロボットアームを使用して移動させることを含み、カメラはサンプルデータを生成すること、そのポジションは、サンプル容器内のサンプルの撮像のためにカメラへとサンプル容器を運搬するコンベヤ上に位置すること、出力が、提供されて、サンプル内の少なくとも1つの物体を表すワンホットエンコードされたベクトルと、信頼度レベルとを含み、信頼度スコアは、少なくとも1つの物体が分類されたタイプのものであることの信頼度の程度を表現すること、サンプルデータはサンプルのデジタル画像1つ以上を含むこと、特徴のセットが、領域の体積および/または領域の面積および/または領域の色を識別するために処理されること、製品が生物学的物質および/または医薬製品および/または食料品を含むこと、識別された領域が水分のコロニーを含むこと、および識別された物体がバクテリアを含むこと。

0006

本開示は、1つ以上のプロセッサに結合され、命令が記憶されているコンピュータ可読記憶媒体をさらに提供し、命令は、1つ以上のプロセッサによって実行されると1つ以上のプロセッサに本願明細書において提供された方法の実装に従った動作を実行させる。

0007

本開示はさらに、本願明細書において提供された方法を実装するシステムを提供する。システムは、1つ以上のプロセッサと、命令が記憶され1つ以上のプロセッサに結合されているコンピュータ可読記憶媒体とを含み、命令は、1つ以上のプロセッサによって実行されると1つ以上のプロセッサに本願明細書において提供された方法の実装に従った動作を実行させる。

0008

当然のことながら、本開示に従った方法は、本願明細書に記載される側面および特徴の任意の組み合わせを含むことができる。つまり、本開示に従った方法は、本願明細書に具体的に記載される側面および特徴の組み合わせに限定されず、提供される側面および特徴の任意の組み合わせも含む。

0009

本開示の1つ以上の実装の詳細は、添付の図面および以下の説明に記載される。本開示の他の特徴および利点は、本記載および図面、ならびに特許請求の範囲から明らかになるであろう。

図面の簡単な説明

0010

本開示の実装を実行することができる例示のシステムを示す。
本開示の実装に従った例示のモジュールアーキテクチャを示す。
例示のサンプルを含む例示のサンプル容器を示す。
本開示の各実装において実行できる例示のプロセスを示す。

実施例

0011

本開示の各実装は、全般的に、コンピュータビジョニングおよび深層学習を使用した品質管理システムを対象とする。特に、本開示の各実装は、自動的または半自動的に徹底した品質管理プロセスを実行する、コンピュータビジョニングを用いる人工知能(AI:artificial intelligence)ベースの品質管理プラットフォームを対象とする。一部の実装において、アクションは、製品のサンプルを表すデジタルデータとして生成されるサンプルデータを受け取ることと、残差ネットワークの複数の層を介してサンプルデータを処理することによって特徴のセットを提供することであって、残差ネットワークの第1の層はサンプルデータの特徴1つ以上を識別し、残差ネットワークの第2の層は第1の層の1つ以上の特徴を受け取って追加の特徴1つ以上を識別する、提供することと、領域のセットと、領域のセットの中の領域中の物体少なくとも1つとを識別して、少なくとも1つの物体のタイプを判断するために、畳み込みニューラルネットワーク(CNN)を使用して特徴のセットを処理することと、製品のサンプル内の汚染を示す警告を少なくとも1つの物体のタイプに少なくとも部分的に基づいて選択的に発することとを含む。

0012

図1は、本開示の実装を実行することができる例示のシステム100を示す。例示のシステム100は、データ捕捉システム102、バックエンドシステム108、およびネットワーク110を含む。一部の例では、ネットワーク110は、ローカルエリアネットワーク(LAN:local area network)、ワイドエリアネットワークWAN:wide area network)、インターネット、またはその組み合わせを含み、ウェブサイト、デバイス(例えばデータ捕捉システム102のコンポーネント)、およびバックエンドシステム(例えばバックエンドシステム108)を接続する。一部の例において、ネットワーク110は、有線および/または無線通信リンク上でアクセスできる。例えば、スマートフォンなどのモバイルコンピューティングデバイスは、セルラネットワークを利用してネットワーク110にアクセスすることができる。

0013

示されている例において、バックエンドシステム108は、少なくとも1つのサーバシステム112およびデータストア114(例えばデータベース)を含む。一部の例において、少なくとも1つのサーバシステム112は、ユーザがコンピューティングデバイスを使用して相互作用できる1つ以上のコンピュータ実装されたサービスをホストする。例えばサーバシステム112は、本開示の各実装に従って徹底した品質管理プロセスを自動的または半自動的に実行する、コンピュータ実装された品質管理プラットフォームをホストすることができる。

0014

示されている例において、データ捕捉システム102は、サンプル容器120のセット、コンベヤベルト122、ロボットアーム124、およびカメラ126を含む。サンプル容器120は、品質管理のために分析されるべき項目のサンプルを収容する任意の適切な容器(例えば保管箱ペトリ皿)を含むことができる。一部の例において、カメラ126は、デジタル画像および/またはデジタルビデオ捕捉する任意の適切なデバイスを含むことができる。一部の例において、カメラ126は、立体画像を捕捉することができる。一部の例において、カメラ126は、コンベヤベルト122に対して相対的に固定のポジションにある。一部の例において、カメラ126は自由に、コンベヤベルト122に対して相対的に移動することができる。例えばカメラ126は、第1のポジションからデジタルデータを捕捉し、移動して、第2のポジションからデジタルデータを捕捉することができる。

0015

図1には示されていないが、例示のデータ捕捉システム102はさらに、コンピューティングデバイスおよび/または1つ以上の光源を含むことができる。一部の例において、コンピューティングデバイスは、データ捕捉システム102の2つ以上のコンポーネント間アクティビティを調整する。一部の例において、コンピューティングデバイスは、デスクトップコンピュータラップトップコンピュータハンドヘルドコンピュータタブレットコンピュータ携帯情報端末(PDA:personal digital assistant)、携帯電話ネットワークアプライアンス、カメラ、スマートフォン、拡張汎用パケット無線サービス(EGPRS:enhanced general packet radio service)モバイル電話メディアプレーヤナビゲーションデバイス電子メールデバイス、ゲーム機、またはこれらのデバイスもしくは他のデータ処理デバイスの任意の2つ以上の適切な組み合わせなど、任意の適切なタイプのコンピューティングデバイスを含むことができる。一部の例において、1つ以上の光源は、サンプル容器内のサンプルを照明することができる。一部の例において、1つ以上の光源は、可視光紫外線(UV:ultra−violet)光、赤外線(IR:infra−red)光を含むことができる。一部の例では、データ捕捉システム102は、多角ビューを得るための追加のカメラ、またはバーコードスキャナ、計算されたデータを送信できるように任意の適切な情報システムへのインターフェース、および/または無菌環境で作業するための垂直ラミナーフローフードを含むことができる。

0016

一部の実装において、バックエンドシステム108は、本開示の各実装に従ったAIベースの品質管理プラットフォームをホストする。一部の例では、本願明細書にさらに詳細に記載されるように、AIベースの品質管理プラットフォームは、コンピュータビジョニングおよびAIを使用してサンプルデータを処理して、サンプル内の物体1つ以上を検出し、各物体のタイプを判断する。一部の例において、物体は、複数タイプの汚染(例えば生物学的)を含む場合がある。一部の例において、1つ以上のタイプの汚染がもたらされる。一部の例において、汚染が検出された場合、AIベースの品質管理システムは警告を提供する。一部の例において、汚染が検出され閾値レベルを上回る場合、AIベースの品質管理システムは警告を提供する。一部の例において、警告が生成された場合、警告を生じさせたサンプルを、後の分析のために保管所に移動させることができる。

0017

本願明細書にさらに詳細に記載されるように、ロボットアーム124は、選択的に、サンプル容器120をコンベヤベルト122に載せ、サンプル容器120をコンベヤベルト122から取り去る。一部の例において、サンプル容器120は保管箱および/またはペトリ皿として提供される。一部の実装において、サンプル容器120がコンベヤベルト122に載せられた後、コンベヤベルト122は、サンプル容器122をカメラ126による撮像のためのポジションへと運搬する。カメラ126は、デジタル画像および/またはデジタルビデオを捕捉する。例えばカメラ126は、サンプル容器120内に収容されたサンプルのデジタル画像および/またはデジタルビデオ1つ以上を捕捉できる。一部の例において、デジタル画像および/またはデジタルビデオは、サンプルファイルにサンプルデータを記録する。一部の例において、サンプルファイルは、本願明細書にさらに詳細に記載されるように、処理のためにAIベースの品質管理プラットフォームへ送られる。

0018

本願明細書にさらに詳細に記載されるように、本開示のAIベースの品質管理プラットフォームは、品質管理試験支援として、識別の加速され増大された信頼性、ならびに汚染のタイプの量を可能にする。さらに、分析の結果が判断された後、AIベースの品質管理プラットフォームは、結果を、任意の適切なタイプの情報システムまたはソフトウェア(例えばエンタープライズリソースプランニングERP:enterprise resource planning)システム)へ送信することができる。

0019

本開示の各実装は、非限定的な例示の状況を参照して、本願明細書にさらに詳細に記載される。例示の状況は、食品の品質管理を含む。例えば、本願明細書に記載されるように、本開示のAIベースの品質管理プラットフォームにより食品項目のサンプルを汚染について分析でき、警告を選択的に発することができる。なお、本開示の各実装は、任意の適切な状況(例えば食品、飲料、医薬、ワクチン、生物工学、化学、公共事業の各産業)において実現可能であると考えられる。

0020

図2は、本開示の実装に従った例示のモジュールアーキテクチャ200を示す。例示のモジュールアーキテクチャ200は、AIベースの品質管理プラットフォーム202を含む。本願明細書にさらに詳細に記載されるように、本開示の各実装に従い、AIベースの品質管理プラットフォーム202は、サンプルデータ204を受け取り、サンプルデータ204を処理して出力206を提供する。一部の例において、サンプルデータ204は、項目(例えば食品)のサンプルを表すデジタル画像および/またはデジタルビデオ(集合的にデジタルデータ)を含む。一部の例において、出力206は、サンプルデータ204について判断された、汚染、またはそれがないことを表すデータを含む。一部の例において、出力206は警告を含む。

0021

図2の例において、AIベースの品質管理プラットフォーム202は、インターフェースモジュール208、深層学習(DL:deep learning)物体検出器モジュール210、物体カウントモジュール212、および汚染タイプカウントモジュール214を含む。一部の例において、インターフェースモジュール208は、サンプルデータ204をDL物体検出器モジュール210に提供する。一部の例において、インターフェースモジュール208は、ユーザがAIベースの品質管理プラットフォームと相互作用できるようにする1つ以上のユーザインターフェース(UI:user interface)を提供する。例えばインターフェースモジュール208は、結果(例えば出力206のグラフィック表現)を見るため、サンプルデータ204(例えば処理されているサンプルのデジタルデータ)を見るため、および/または警告が発せられていれば警告を見るためにユーザが使用できる1つ以上のUIを提供することができる。一部の例において、1つ以上のUIは、リアルタイムの結果、解析、および/または警告を提供するダッシュボードの一部として提供される。

0022

本開示の各実装に従って、サンプルデータ204は、1つ以上のDLアルゴリズムを使用して処理される。例えばDL物体検出器モジュール210は、サンプルデータ204において検出された汚染のタイプ1つ以上を識別し、適格とし、分類するために、1つ以上のDLアルゴリズムを介してサンプルデータ204を処理する。一部の例において、DLアルゴリズムは、サンプルデータ204中の1つ以上の特徴を識別する。例示の特徴には、形状、点、水分、透明度、幅、反射屈折偏光、吸収、およびフォトルミネセンスが含まれるが、これに限定はされない。一部の例において、連続した抽象化層において1つ以上の特徴が識別される。例示の抽象化層には、基本的特徴局所的特徴複合的特徴、および大域的特徴が含まれるが、これに限定はされない。識別された特徴に基づいて、AIベースの品質管理プラットフォームは、サンプル内の1つ以上のタイプの物体(例えば微生物学的汚染、水分)を識別する。

0023

一部の実装において、本開示のDLは、畳み込みニューラルネットワーク(CNN)を使用して実装される。例示のCNNは、残差ネットワーク(resnet)バックボーンを用いて実装された領域ベースCNN(R−CNN)を含む。R−CNNは、画像内の、物体が中に位置するかもしれない領域を識別するCNNと説明することができる。例示のresnetは、Resnet−101(例えば101の層を有する残差ネットワーク)を含む。なお、本開示の各実装は、任意の適切なニューラルネットワークおよび/または残差ネットワークを使用して実現できると考えられる。

0024

一部の実装において、resnetは、正規化画像としてサンプルデータ204を処理する特徴抽出器である。一部の例において、正規化画像を提供するために、デジタル画像を処理して、すべての画素強度所定範囲の値以内となるように画素強度値の範囲を調節することができる。一部の例において、デジタル画像は画素をゼロセンタリングすることにより正規化される。一部の例において、センタリングは、事前訓練用データセットの各チャネル(例えば赤、緑、青)の平均強度に基づく。その場合、チャネルごとの平均がデジタル画像内の各画素のチャネルから減算される。

0025

一部の実装において、resnetバックボーンを介したサンプルデータ(画像)の処理は、事前訓練されたモデルに基づく。一部の例において、事前訓練されたモデルは、関心対象となり得る物体(例えば汚染物、水分)に関連する特徴の検出のために訓練される。一部の例において、事前訓練されたモデルは第三者により提供される。例示の事前訓練されたモデルには、Microsoftによって提供されているコモンオブジェクツインコンテクスト(CoCo:Common Objects in Context)モデルが含まれるが、これに限定はされない。一部の例において、本開示の状況では、事前訓練されたモデルは物体(例えば汚染物、水分)を含むサンプルのラベル付き画像に基づく。

0026

一部の実装において、処理されている画像(例えばRGB画像形式)(例えば正規化画像)は、resnetバックボーンを段階的に通過する。各層にて、画像内の特徴が識別され、精緻化される。さらに詳細には、画像は、resnetバックボーンの畳み込み層のセットを介して処理され、各層でフィルタリングされ、特徴が識別される。一部の例では、コントラストの変化(例えば左から右、水平から垂直)に基づいて特徴が識別される。次の層は、さらなる処理、および追加の特徴があればその識別のために、前の層において識別された特徴を受け取る。

0027

resnetは、特徴のセットを出力し、それらはCNNに入力される。一部の実装において、CNNは、複数ステップのプロセスにおいて特徴のセット中の特徴を処理する。例示のステップは、領域提案および分類を提供することを含む。一部の例において、領域提案は、CNNの1つ以上の層を介して判断された関心対象領域のセット(領域のセットとも呼ばれる)を含む。一部の例において、関心対象領域は、物体を含むかもしれないサンプルのエリアを含む。例示の物体には、汚染(例えば(微)生物学的汚染)および水分が含まれるがこれに限定はされない。一部の実装において、領域のセットの中の各領域は、サイズを変更され、CNNの1つ以上の層(例えば最後の層)が、存在する物体のタイプを予測する。つまり、各領域内の1つ以上の物体がタイプ(例えば汚染または水分)により分類される。

0028

一部の実装において、サンプル内で検出された物体の数が物体の閾値数よりも多ければ、サンプルデータが調節され、再処理される。一部の例において、サンプルデータの調節は、分解能を調節することを含む。つまり、画像の分解能を反復的に調節できる。一部の例では、画像が分割され、分解能が調節される。一部の例では、画像は重なり合う複数の部分(例えば重なり合う4つの部分)へと分割される。一部の例において、分割されたそれぞれの幅(個々の高さ)は完全な画像の幅(個々の高さ)の1/2+1/8=5/8である。ここで重なり合いがあるのは、コンテクストの不足(例えば生物学的なコロニーが2つに分割される)により予測が妨げられることが決してないようにするためである。非最大値抑制が、予測されたボックスに適用される。コロニーが2回発見された場合、最も信頼度の高い予測のみが保持される。

0029

一部の実装では、各物体について、信頼度スコアと、サンプル内の物体の場所を特定する境界線とが提供される。一部の例において、信頼度スコアは、物体が実際に、分類されたタイプのものである信頼度の程度を表現する。一部の例において、境界線は、物体の全部または少なくとも一部分を囲む、サンプルのデジタル画像上の視覚的なオーバーレイとして提供される。境界線は、任意の適切な形状(例えば正方形矩形楕円形)とすることができると考えられる。一部の例において、異なる物体に対して異なる境界線を提供できる。例えば、汚染に対して第1の境界線を提供でき、水分に対して第2の境界線を提供でき、第1の境界線は第2の境界線とは異なる。

0030

一部の実装において、AI処理の出力は、エンコードされた1つ以上のベクトルを含む。一部の例において、各ベクトルは、サンプル内の識別された物体(例えば微生物学的なコロニー)のタイプに対応する。一部の例において、エンコードされたベクトルは、ワンホットエンコードされたベクトルとして提供される。一部の例において、ワンホットエンコードされたベクトルは、1は個々の物体が特定のタイプのものであることを示し、0は個々の物体が特定のタイプのものでないことを示す、タイプ(カテゴリ)のベクトルを含むことができる。

0031

一部の実装において、各ベクトルは、物体が実際に、分類されたタイプのものであることの信頼度の程度を表現する個別の信頼度スコアに関連する。一部の実装において、1つ以上の信頼度閾値が規定され、これに対して信頼度スコアを比較できる。一部の例において、信頼度スコアが第1の閾値を上回る場合、予測が正確である信頼度は高い(例えば緑のレベル)。一部の例において、信頼度スコアが第2の閾値を上回るが第1の閾値を上回らない場合、予測が正確である信頼度はより低い(例えばオレンジのレベル)。一部の例において、信頼度スコアが第2の閾値を上回らない場合、予測が正確である信頼度は低い(例えば赤のレベル)。一部の例において、信頼度レベル(例えば緑、オレンジ、赤)をUIの中に視覚的に示すことができる。

0032

図3は、例示のサンプル302を含む例示のサンプル容器300を示す。図3の例は、サンプル容器300およびサンプル302のデジタル画像を含むことができる(例えばUIの中に表示される)。示されている例では、サンプル302は、サンプル302内の識別された複数の物体を含む。各物体は、デジタル画像内のグラフィックオーバーレイとしてそれぞれが提供される境界線により境界を示されていている。図3の例には、異なる2つのタイプの物体が示され、個々の境界線304、306により境界を示されている。例えば、第1のタイプの物体は、境界線304により境界を示された汚染物を含むことができ、第2のタイプの物体は、境界線306により境界を示された水分を含むことができる。

0033

一部の実装では、各タイプの物体のいくつかのインスタンスカウントに基づいて物体カウントを提供できる。図3の例では、第1のタイプの物体について第1の物体カウントを6として提供でき、第2のタイプの物体について第2の物体カウントを4として提供できる。一部の実装では、各タイプの物体の量が提供される。一部の例では、物体のタイプについて、面積に基づいて量が求められ、さらに/または体積が求められる。例えば、各タイプの物体について各境界線内の量を求めることができ、各量が合計されて各タイプの物体の総量を求めることができる。

0034

図4は、本開示の各実装において実行可能な例示のプロセス400を示す。一部の例において、例示のプロセス400は、1つ以上のコンピューティングデバイス(例えば図1のバックエンドシステム108)により実行される1つ以上のコンピュータ実行可能プログラムを使用して提供される。

0035

サンプル容器が選択される(402)。例えば、ロボットアーム124は、サンプル容器のセットからサンプル容器120を選択することができる。一部の例において、各サンプル容器120は、一意の識別子(UID:unique identifier)を含み、UIDは、サンプル容器120および/またはその中に収容されたサンプルを一意に識別する。一部の例において、サンプル容器はUIDに基づいて選択される。例えば、機械可読コード(例えばバーコードQRコード)がUIDをエンコードし、分析されるべき対象サンプル容器120を識別するためにサンプル容器120の機械可読コードが(例えばコードリーダによって)読み取られる。ロボットアーム124は、サンプル容器120をつかむ

0036

サンプル容器はコンベヤに移動される(404)。例えばロボットアーム124は、サンプル容器120を或る場所からコンベヤ122に移動させる。一部の例において、ロボットアーム124は、サンプル容器120をコンベヤ122上の他のサンプル容器120の後ろに並べて配置する。一部の例において、コンベヤ122は、カメラ126の下にサンプル容器120を運搬する。サンプルデータが生成される(406)。例えば、サンプル容器120がカメラ126の真下に配置されると、カメラ126はサンプルデータを生成する。一部の例において、サンプルデータは、1つ以上のデジタル画像および/またはデジタルビデオとして提供される。サンプルデータは正規化される(408)。一部の例において、サンプルデータを正規化するために、1つ以上の画像処理技術がサンプルデータに対して実行される。

0037

特徴のセットが判断される(410)。例えば、本願明細書にさらに詳細に記載されたように、サンプルデータはresnet(例えばResnet−101)の複数の層を介して処理され、resnetバックボーンを段階的に通過する。resnetバックボーンの各層にて、サンプルデータ(例えばデジタル画像)内の特徴が識別され、精緻化される。1つ以上の物体と、物体のタイプ1つ以上とが識別される(412)。例えば、本願明細書にさらに詳細に記載されたように、領域提案および分類を提供するために、特徴のセットの中の各特徴が、CNN(例えばR−CNN)を介して複数ステップのプロセスにおいて処理される。一部の例において、領域提案は、CNNの1つ以上の層を介して判断された関心対象領域のセット(領域のセットとも呼ばれる)を含む。一部の例において、関心対象領域は、物体を含むかもしれないサンプルのエリアを含む。一部の実装において、領域のセットの中の各領域は、サイズを変更され、CNNの1つ以上の層(例えば最後の層)が、存在する物体のタイプを予測する。一部の実装では、各物体について、信頼度スコアと、サンプル内の物体の場所を特定する境界線とが提供される。一部の例において、信頼度スコアは、物体が実際に、分類されたタイプのものである信頼度の程度を表現する。一部の例において、境界線は、物体の全部または少なくとも一部分を囲む、サンプルのデジタル画像上の視覚的なオーバーレイとして提供される。

0038

結果が記録される(414)。一部の例において、1つ以上のシステムに結果を記録できる。例示のシステムはERPシステムを含むことができる。例えば、サンプルは企業により販売される製品のものとすることができる。結果は、特定の製品および/または製品のバッチの品質管理分析を追跡するために、企業のERPシステムに記録できる。

0039

汚染が存在するかどうかが判断される(416)。例えば、結果を処理して汚染が存在するかどうかを判断できる。一部の例では、サンプル内の汚染物の単一のインスタンスが、汚染が存在することを示すことができる。一部の例において、汚染が存在するかどうかは汚染物の量に基づいて判断できる。例えば、汚染物の量が閾値量を上回れば、汚染は存在すると判断される。汚染物の量が閾値量を上回らなければ、汚染は存在しないと判断される。

0040

汚染が存在すれば、警告が発せられ(418)、サンプルは保管される(420)。例えば警告がUIの中で提供され、サンプル(例えばUID)、汚染物、および/または汚染物の量を示すことができる。一部の例において、サンプル(すなわちサンプルを収容しているサンプル容器120)は、後の検査に利用できるように、保管場所に(例えばロボットアーム124によって)移動される。汚染が存在しなければ、通知が発せられ(422)、サンプルは解放される(424)。

0041

本明細書に記載された各実装およびすべての機能動作は、デジタル電子回路において、またはこの明細書で開示された構造およびその構造上の等価物を含むコンピュータソフトウェアファームウェア、もしくはハードウェアにおいて、またはそれらのうちの1つ以上の組み合わせにおいて実現され得る。各実装は、1つ以上のコンピュータプログラム製品として、すなわちデータ処理装置により実行されまたはデータ処理装置の動作を制御するようコンピュータ可読媒体上にエンコードされたコンピュータプログラム命令の1つ以上のモジュールとして実現されてもよい。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板メモリデバイス、機械可読伝播信号をもたらす物質の構成、またはそれらのうちの1つ以上の組み合わせとされてもよい。「コンピューティングシステム」という用語は、データを処理するすべての装置、デバイス、および機械を含み、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む。この装置は、ハードウェアに加えて、プロセッサファームウェア、プロトコルスタックデータベース管理システムオペレーティングシステム、またはそれらのうちの1つ以上の組み合わせなどを構成する、対象のコンピュータプログラム(例えばコード)の実行環境を作り出すコードを含んでもよい。伝播信号とは、適切な受信機装置伝送される情報をエンコードするために生成される人工的に生成された信号(例えば機械生成された電気信号光信号、または電磁信号)である。

0042

コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションスクリプト、またはコードとしても知られる)は、コンパイル型またはインタープリタ型言語を含む任意の適切な形態のプログラミング言語で書かれてもよく、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境用に適した他のユニットとしてを含め、任意の適切な形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内ファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語ドキュメントに格納される1つ以上のスクリプト)、対象のプログラム専用の単一ファイル、または複数の連携ファイル(例えば1つ以上のモジュール、サブプログラム、またはコードの一部を格納する複数ファイル)に格納されてもよい。コンピュータプログラムは、1つのコンピュータ上または1つの場所に位置するかもしくは複数の場所に分散し通信ネットワークにより相互接続された複数のコンピュータ上で実行されるよう展開されてもよい。

0043

本明細書に記載されたプロセスおよび論理フローは、入力データに作用し出力を生成することにより機能を実行する1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行されてもよい。プロセスおよび論理フローは、専用論理回路(例えばFPGA(field programmable gate array:フィールドプログラマブルゲートアレイ)またはASIC(application specific integrated circuit:特定用途向け集積回路))によっても実行でき、装置は該専用論理回路としても実装できる。

0044

コンピュータプログラムの実行に適したプロセッサは、例として、汎用および専用両方のマイクロプロセッサ、ならびに任意の適切な種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般に、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受け取る。コンピュータの構成要素は、命令を実行するプロセッサ、ならびに命令およびデータを記憶する1つ以上のメモリデバイスを含むことができる。一般に、コンピュータはさらに、データを記憶する1つ以上の大容量記憶デバイス(例えば磁気光磁気ディスク、もしくは光ディスク)を含むか、またはそれからデータを受け取るよう、もしくはそれへデータを転送するよう動作可能に結合されるか、またはその両方である。なお、コンピュータはそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス(例えばモバイル電話、携帯情報端末(PDA:personal digital assistant)、モバイルオーディオプレーヤ衛星航法システム(GPS:Global Positioning System)受信機)に組み込まれてもよい。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含み、例として、の半導体メモリデバイス(例えばEPROM、EEPROM、およびフラッシュメモリデバイス)、磁気ディスク(例えば内蔵ハードディスクまたはリムーバブルディスク)、光磁気ディスク、ならびにCD ROMおよびDVD−ROMディスクなどが含まれる。プロセッサおよびメモリは、専用論理回路により補完されてもよく、またはそれに組み込まれてもよい。

0045

ユーザとの相互作用を提供するために、情報をユーザに表示するディスプレイデバイス(例えばCRT(cathode ray tube:陰極線管)、LCD(liquid crystal display:液晶ディスプレイ)、LED(light−emitting diode:発光ダイオードモニタ、ならびにユーザがコンピュータに入力を提供できるキーボードおよびポインティングデバイス(例えばマウスまたはトラックボール)を有するコンピュータ上で、各実装が実現されてもよい。他の種類のデバイスが、同じくユーザとの相互作用を提供するために使用されてもよい。例えば、ユーザに提供されるフィードバックは、任意の適切な形態の感覚フィードバック(例えば視覚フィードバック聴覚フィードバック、または触覚フィードバック)であってもよく、ユーザからの入力は、音響、発話、または触覚入力を含め、任意の適切な形態で受け取られてもよい。

0046

各実装は、バックエンドコンポーネントを含むコンピューティングシステム(例えばデータサーバとして)、またはミドルウェアコンポーネントを含むコンピューティングシステム(例えばアプリケーションサーバ)、またはフロントエンドコンポーネントを含むコンピューティングシステム(例えばユーザが実装と相互作用するのに用いることができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ)、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、もしくはフロントエンドコンポーネントのうちの1つ以上の任意の適切な組み合わせにおいて実現されてもよい。システムのコンポーネントは、任意の適切な形態または媒体のデジタルデータ通信(例えば通信ネットワーク)により相互接続されてもよい。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、およびワイドエリアネットワーク(「WAN」)(例えばインターネット)を含む。

0047

コンピューティングシステムは、クライアントおよびサーバを含んでもよい。クライアントおよびサーバは、一般に、互いに遠隔にあり、典型的には通信ネットワークを介して相互作用する。クライアントおよびサーバの関係は、個々のコンピュータ上で実行され互いにクライアント−サーバ関係を有するコンピュータプログラムにより生じる。

0048

本明細書は多数の詳述を含むが、これらは、本開示の範囲または特許請求の範囲に対する制限として解釈されるべきではなく、むしろ特定の実装に特有の特徴の記載として解釈されるべきである。別々の実装との関連で本明細書に記載されている特定の特徴はさらに、単一の実装に組み合わせて実装されることも可能である。逆に、単一の実装との関連で記載されている様々な特徴はさらに、複数の実装において別々に、または任意の適切な一部組み合わせにおいて実装されてもよい。さらに、各特徴は、特定の組み合わせで動作するよう上述されていることもあり、当初そのように請求されていることもあるが、一部のケースでは、請求されている組み合わせの特徴1つ以上が、その組み合わせから削除されることが可能であり、請求されている組み合わせは、一部組み合わせまたは一部組み合わせの変形物を対象とし得る。

0049

同じく、各動作は図面内に特定の順序で示されているが、これは、望ましい結果を達成するために、当該の動作が示されている特定の順序もしくは順次的な順序で実行されることまたは示されているすべての動作が実行されることを要求するものと理解されてはならない。特定の状況では、マルチタスクおよび並列処理が有利なこともある。さらに、上述の実装における様々なシステムコンポーネントの分離は、すべての実装においてそのような分離を要求するものと理解されてはならず、当然のことながら、記載されているプログラムコンポーネントおよびシステムは、一般に、単一ソフトウェア製品統合されても、または複数のソフトウェア製品にパッケージ化されてもよい。

0050

いくつかの実装について記載した。しかし、当然のことながら、本開示の意図および範囲から逸脱することなく、様々な変更が加えられ得る。例えば、ステップが並べ替え、追加、または削除された、上記で示されたフローの種々の形態が使用されてもよい。よって、他の実装は、添付の特許請求の範囲に記載の範囲内にある。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ