図面 (/)

技術 貨物の検査方法およびそのシステム

出願人 清華大學同方威視技術股フン有限公司
発明者 康克軍陳志強張麗趙自然劉耀紅張健顧建平李強張多坤
出願日 2015年4月13日 (5年8ヶ月経過) 出願番号 2017-501456
公開日 2017年4月6日 (3年8ヶ月経過) 公開番号 2017-509903
状態 特許登録済
技術分野 放射線を利用した材料分析
主要キーワード コンテナ領域 閾値制限 サブ組み合わせ 材料識別 ルール式 貨物領域 単一スタック 等価範囲
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年4月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題・解決手段

貨物検査方法及びそのシステムを開示する。当該方法は、被検査貨物の透過画像を取得するステップ(S21)と、前記透過画像を処理して、注目領域を取得するステップ(S22)と、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定するステップ(S23)と、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、該貨物に対する推薦処理意見を提供するステップ(S24)と、を含む。この方法によれば、作業者アシストして貨物を通過させるか否かを判断することができる。

概要

背景

現在の放射保安検査分野において、X線画像に対する解析は、二重エネルギーの材料識別、線判別透過試験などのみに限られている。これらは、作業者に、貨物材料の構成や形状のような貨物に対する基本的な理解を提供することに過ぎない。そのため、「この貨物が通関申告の貨物に一致しているか。」、「物を隠しやすい領域がどこであるか。」、「この時間帯に、この会社が当該貨物をこの国家輸送することが、異常ではないか。」、「その近くの貨物が何であるか。」という問題に回答することができない。現在、これらの問題は、作業者の豊富な経験および画像内容に対する真推定によってしか回答できない。税関スループットの増加と伴って、スマート的な解決案を探しなければならない。

概要

貨物の検査方法及びそのシステムを開示する。当該方法は、被検査貨物の透過画像を取得するステップ(S21)と、前記透過画像を処理して、注目領域を取得するステップ(S22)と、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定するステップ(S23)と、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、該貨物に対する推薦処理意見を提供するステップ(S24)と、を含む。この方法によれば、作業者をアシストして貨物を通過させるか否かを判断することができる。

目的

これらは、作業者に、貨物材料の構成や形状のような貨物に対する基本的な理解を提供する

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

検査貨物透過画像を取得するステップと、前記透過画像を処理して、注目領域を取得するステップと、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定するステップと、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供するステップと、を含む貨物の検査方法

請求項2

前記貨物情報は、具体的に、貨物の積み重ねモードであり、前記注目領域から特徴を抽出するステップは、前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップを含み、前記描写情報に基づいて前記透過画像の注目領域における貨物の積み重ねモードの確率を特定する請求項1に記載の貨物の検査方法。

請求項3

前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップは、注目領域を区画し、区画された領域の画像からエッジを抽出するステップと、抽出されたエッジにおける有効な位置から、テクスチャ特徴を抽出するステップと、前記テクスチャ特徴に最も近接する元素辞書から探して、前記領域のヒストグラム描写特徴を取得するステップと、を含み、前記辞書は、訓練画像サンプルに基づいて構築されたものである請求項2に記載の貨物の検査方法。

請求項4

サンプル画像ごとに等間隔のサンプリングを行い、各位置でテクスチャ特徴を抽出し、全ての位置で抽出されたテクスチャ特徴に対してクラスタリングを行い、複数のクラスタリング中心の特徴描写を取得することで、前記辞書を構築する請求項3に記載の貨物の検査方法。

請求項5

前記被検査貨物に対して貨物領域を抽出し、閾値限定によって貨物なし領域を除去することで、注目領域を特定する請求項1に記載の貨物の検査方法。

請求項6

特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供するステップは、通関申告書の積み重ねモードを条件として得られた貨物類型の確率に、透過画像に基づいて予測した積み重ねモードを条件として得られた通関申告書における積み重ねモードの確率を、掛けることによって、一致性の確率を特定し、該一致性の確率が所定値より小さい場合に、当該貨物と通関申告書における貨物とが一致しないと判断する請求項2に記載の貨物の検査方法。

請求項7

前記貨物情報は、具体的に、貨物類型であり、前記注目領域から特徴を抽出するステップは、前記注目領域から被検査貨物の貨物類型の描写情報を抽出するステップを含み、前記描写情報に基づいて前記透過画像の注目領域における貨物の貨物類型の確率を特定し、前記確率と共に、輸出入会社と輸出入時間と輸出入国家とを使用して、該貨物と通関申告書における貨物類型との一致性の確率値を取得する請求項1に記載の貨物の検査方法。

請求項8

貨物類型に対する確率は、原子番号および電子密度に基づいて特定される請求項7に記載の貨物の検査方法。

請求項9

特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて該貨物に対する推薦処理意見を提供するステップは、予測の貨物類型と通関申告書貨物類型の税金差異の比較、及び、輸出管理程度に対する解析によって、コストモデルを構築して、該貨物に対する推薦処理意見を提供する請求項7に記載の貨物の検査方法。

請求項10

画像内容検索エンジンによって、被検査貨物に類似する貨物のリストを取得するステップと、前記貨物のリストに関する輸出入会社と輸出入国家と輸出入時間に応じて、分布関係描写を構築するステップと、構築された分布関係描写に基づいて、前記貨物が正常な貨物に属するか否かを特定するステップと、をさらに含む請求項1に記載の貨物の検査方法。

請求項11

貨物類型に基づいて、検索された類似貨物画像のリストを分類し、異なる国家、異なる会社が異なる時間帯同類の貨物を輸出入する確率を算出する請求項10に記載の貨物の検査方法。

請求項12

時間軸を構築することによって、異なる時間帯に類似の貨物を輸出入する状況を表示する請求項11に記載の貨物の検査方法。

請求項13

時間帯ごとに、異なる図形によって異なる輸出入国家ペアを表示すると共に、異なる輸出入会社が類似の貨物を輸出入する確率の分布を表示する請求項10に記載の貨物の検査方法。

請求項14

主体積み重ねモードからずれた貨物領域、貨物類型を予測不可能な小さな貨物領域、又は、全般的テクスチャとの差異が大きい一部領域をユーザに提示するステップを、さらに含む請求項1に記載の貨物の検査方法。

請求項15

相互推定方法によって、スタックを独立して構成したがスタックが小さいため情報全体の推定参与することができない貨物に対して、貨物類型を特定するステップを、さらに含む請求項1に記載の貨物の検査方法。

請求項16

一部領域のテクスチャ情報に基づいて、このようなテクスチャを呈示可能な貨物の類型分布平均原子番号、又は、コンテナでの位置を推定するステップを、さらに含む請求項1に記載の貨物の検査方法。

請求項17

指定領域におけるテクスチャ特徴を抽出するステップと、画像内容の検索に基づいて、類似度が所定値より高いテクスチャブロックリストを取得するステップと、テクスチャブロックリストの貨物種類の情報を特定し、このようなテクスチャを表す貨物類型の分布を構成するステップと、をさらに含む請求項16に記載の貨物の検査方法。

請求項18

二重エネルギーの材料識別アルゴリズムによって、被検査貨物の平均原子番号を取得する請求項17に記載の貨物の検査方法。

請求項19

画像のズーム倍率および指定領域での画素位置によって、指定領域のコンテナでの実際の位置を取得する請求項17に記載の貨物の検査方法。

請求項20

被検査貨物を走査して、被検査貨物の透過画像を取得する放射線イメージングシステムと、前記透過画像を処理して注目領域を取得し、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定し、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、該貨物に対する推薦処理意見を提供するデータ処理装置と、を備える貨物の検査システム

技術分野

0001

本発明の実施例は、貨物検査に関し、具体的には貨物の放射線画像に基づいて貨物を検査することに関する。

背景技術

0002

現在の放射保安検査分野において、X線画像に対する解析は、二重エネルギーの材料識別、線判別透過試験などのみに限られている。これらは、作業者に、貨物材料の構成や形状のような貨物に対する基本的な理解を提供することに過ぎない。そのため、「この貨物が通関申告の貨物に一致しているか。」、「物を隠しやすい領域がどこであるか。」、「この時間帯に、この会社が当該貨物をこの国家輸送することが、異常ではないか。」、「その近くの貨物が何であるか。」という問題に回答することができない。現在、これらの問題は、作業者の豊富な経験および画像内容に対する真推定によってしか回答できない。税関スループットの増加と伴って、スマート的な解決案を探しなければならない。

発明が解決しようとする課題

0003

従来技術における1つ又は複数の問題に鑑みて、本発明は、スマート的に推定して処理意見を提供可能である貨物を検査する方法及びシステム提出する。

課題を解決するための手段

0004

本発明の一面は、貨物の検査方法であって、被検査貨物の透過画像を取得するステップと、前記透過画像を処理して、注目領域を取得するステップと、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定するステップと、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供するステップと、を含む。

0005

好ましくは、前記貨物情報は、具体的に、貨物の積み重ねモードであり、前記注目領域から特徴を抽出するステップは、前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップを含み、前記描写情報に基づいて前記透過画像の注目領域における貨物の積み重ねモードの確率を特定する。

0006

好ましくは、前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップは、注目領域を区画し、区画された領域の画像からエッジを抽出するステップと、抽出されたエッジにおける有効な位置から、テクスチャ特徴を抽出するステップと、前記テクスチャ特徴に最も近接する元素辞書から探して、前記領域のヒストグラム描写特徴を取得するステップと、を含み、前記辞書は、訓練画像サンプルに基づいて構築されたものである。

0007

好ましくは、サンプル画像ごとに等間隔のサンプリングを行い、各位置でテクスチャ特徴を抽出し、全ての位置で抽出されたテクスチャ特徴に対してクラスタリングを行い、複数のクラスタリング中心の特徴描写を取得することで、前記辞書を構築する。

0008

好ましくは、前記被検査貨物に対して貨物領域を抽出し、閾値限定によって貨物なし領域を除去することで、注目領域を特定する。

0009

好ましくは特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供するステップは、通関申告書の積み重ねモードを条件として得られた貨物類型の確率に、透過画像に基づいて予測した積み重ねモードを条件として得られた通関申告書における積み重ねモードの確率を、掛けることによって、一致性の確率を特定し、該一致性の確率が所定値より小さい場合に、当該貨物と通関申告書における貨物とが一致しないと判断する。

0010

好ましくは、前記貨物情報は、具体的に、貨物類型であり、前記注目領域から特徴を抽出するステップは、前記注目領域から被検査貨物の貨物類型の描写情報を抽出するステップを含み、前記描写情報に基づいて前記透過画像の注目領域における貨物の貨物類型の確率を特定し、前記確率と共に、輸出入会社と輸出入時間と輸出入国家とを使用して、該貨物と通関申告書における貨物類型との一致性の確率値を取得する。

0011

好ましくは、貨物類型に対する確率は、原子番号および電子密度に基づいて特定される。

0012

好ましくは、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて該貨物に対する推薦処理意見を提供するステップは、予測の貨物類型と通関申告書貨物類型の税金差異の比較、及び、輸出管理程度に対する解析によって、コストモデルを構築して、該貨物に対する推薦処理意見を提供する。

0013

好ましくは、画像内容の検索エンジンによって、被検査貨物に類似する貨物のリストを取得するステップと、前記貨物のリストに関する輸出入会社と輸出入国家と輸出入時間に応じて、分布関係描写を構築するステップと、構築された分布関係描写に基づいて、前記貨物が正常な貨物に属するか否かを特定するステップと、をさらに含む。

0014

好ましくは、貨物類型に基づいて、検索された類似貨物画像のリストを分類し、異なる国家、異なる会社が異なる時間帯に同類の貨物を輸出入する確率を算出する。

0015

好ましくは、時間軸を構築することによって、異なる時間帯に類似の貨物を輸出入する状況を表示する。

0016

好ましくは、時間帯ごとに、異なる図形によって異なる輸出入国家ペアを表示すると共に、異なる輸出入会社が類似の貨物を輸出入する確率の分布を表示する。

0017

好ましくは、主体積み重ねモードからずれた貨物領域、貨物類型を予測不可能な小さな貨物領域、又は、全般的テクスチャとの差異が大きい一部領域をユーザに提示するステップを、さらに含む。

0018

好ましくは、相互推定方法によって、スタックを独立して構成したがスタックが小さいため情報全体の推定に参与することができない貨物に対して、貨物類型を特定するステップを、さらに含む。

0019

好ましくは、一部領域のテクスチャ情報に基づいて、このようなテクスチャを呈示可能な貨物の類型分布平均原子番号、又は、コンテナでの位置を推定するステップを、さらに含む。

0020

好ましくは、指定領域におけるテクスチャ特徴を抽出するステップと、画像内容の検索に基づいて、類似度が所定値より高いテクスチャブロックリストを取得するステップと、テクスチャブロックリストの貨物種類の情報を特定し、このようなテクスチャを表す貨物類型の分布を構成するステップと、をさらに含む。

0021

好ましくは、二重エネルギーの材料識別アルゴリズムによって、被検査貨物の平均原子番号を取得する。

0022

好ましくは、画像のズーム倍率および指定領域での画素位置によって、指定領域のコンテナでの実際の位置を取得する。

0023

本発明の他面は、貨物の検査システムであって、被検査貨物を走査して、被検査貨物の透過画像を取得する放射線イメージングシステムと、前記透過画像を処理して注目領域を取得し、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定し、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、該貨物に対する推薦処理意見を提供するデータ処理装置と、を備える。

発明の効果

0024

上記構成によると、放射線画像の内容および通関申告書のデータに対する解析によって、異なる推定結論およびそれに対応する処理意見を提供し、作業者の効率および正確率を向上させることができる。

図面の簡単な説明

0025

本発明をよく理解するために、下記図面によって本発明の実施例を説明する。
本発明の実施例による貨物検査システムを示す構成模式図である。
本発明の実施例による貨物検査システムを示す構成模式図である。
本発明の実施例による貨物検査方法を示す模式的フローチャートである。
本発明の実施例による技術案に関する4種類の積み重ねモードを示す模式図である。
本発明の実施例による技術案が混合物を階層的に推定する模式図である。
本発明の実施例による技術案における異常事件推定の可視化模式図である。
本発明の実施例の積み重ねモードによって処理意見を予測して提供するフローチャートである。
本発明の実施例による貨物類型の予測、リスク推定及び処理意見の提供を示すフローチャートである。
本発明の実施例による類似貨物分布の推定を示すフローチャートである。

0026

図面には、実施例における全ての回路又は構成が示されていない。図面で、同じ符号は、同じ又は類似する部品又は特徴を示す。

実施例

0027

以下、本発明の具体的な実施例について詳細に説明する。なお、ここで説明する実施例は、例示的なもので、本発明を限定するものではないことに注意すべきである。以下の説明において、本発明を詳細に理解させるために、特定の細部がたくさん描かれている。しかし、当業者は、これらの特定の細部を採用しなくても本発明を実現可能であることを理解できるだろう。他の実施例においては、本発明との混同を避けるために、周知の回路、材料または方法に対する具体的な説明を省略している。

0028

本明細書において、「一の実施例」、「実施例」、「一の例示」または「例示」は、該実施例または例示を組み合わせて描いた特定の特徴、構造または特性が、本発明の少なくとも一の実施例に含まれることを意味する。したがって、本明細書の各箇所に現れている「一の実施例において」、「実施例において」、「一の例示」または「例示」は、必ず同一の実施例または例示を指すものではない。また、いずれの適宜の組み合わせ及び/又はサブ組み合わせによって、特定の特徴、構造または特性を一つ又は複数の実施例または例示に組み合わせることができる。また、当業者は、ここで提供される図面は説明のためであり、比例的に描いているものではないことを理解できるだろう。ここで、「及び/又は」という用語は、一つ又は複数の関連するアイテムの任意の組み合わせ及び全ての組み合わせを含む。

0029

貨物のX線画像及び通関申告書のデータに基づくスマート解析推定システムは、貨物の類型を自動的に解析し、物を隠しやすい領域を自動的に提供し、混合貨物の構成を自動的に推定し、異常搬送行為を自動的に判断し、リスクの程度に応じて推薦処理意見を提供するスマート化解析推定手段である。例えば、「搬送される貨物が通関申告の貨物類型に一致しているか。」、「どのように物を隠しやすい領域を作業者に快速に案内するか。」、「混合貨物が何から構成される。」、「今回の輸出入行為が異常であるか否か。」のような税関に直面される問題を効果的に解決することができる。システムは、X線画像の内容及び通関申告書のデータに対する解析によって、異なる推定結論及び対応する処理意見を段階的に提供する。

0030

従来技術の問題に対して、本発明は、被検査貨物の透過画像を取得した後に、前記透過画像を処理して注目領域を取得し、注目領域から特徴を抽出し、抽出された特徴に基づいて被検査貨物の貨物情報を特定し、さらに、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供する。

0031

図1A及び図1Bは、本発明の一実施形態による検査システムの構成模式図である。図1Aは、検査システムの上面模式図を示し、図1Bは、検査システムの正面模式図を示す。図1A及び図1Bに示すように、放射線源110から発生されたX線は、コリメータ120によって視準された後、移動するコンテナ付きトラック140に対して保安検査を行う。そして、トラックを透過する放射線検出器150に受信され、コンピュータ等のデータ処理装置160によって透過画像が取得される。

0032

本発明の実施例によれば、走査によってコンテナ付きトラック140の透過画像を取得した後に、データ処理装置160によって透過画像を処理し、注目領域例えば主体貨物領域を取得する。そして、注目領域から特徴を抽出し、抽出された特徴に基づいて被検査貨物の貨物情報を特定し、さらに、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供する。

0033

図2は、本発明の実施例による検査方法のフローチャートである。図2に示すように、ステップS21において、透過走査システムによって被検査貨物の透過画像を取得する。例えば、検出されるコンテナ付きトラックが一定の速度で検出領域を通過する時、透視画像を生じることができる。走査機器が異なると、放射線源のエネルギー/線量、検出器のサイズ、マシーンの構造、車の速度、及び、ビーム射出する周波数が異なるため、取得される画像の解像度も少々異なる。ある実施例において、必要に応じて、透視画像に対して正規化処理を行う。即ち、輝度正規化し、解像度を例えば5*5(mm/pixel)にズーミングする。

0034

ステップS22において、前記透過画像を処理し、注目領域を取得する。前処理によって、主体貨物領域を取得することができる。例えば、まず、透過画像におけるコンテナ領域を抽出してから、主体貨物領域を抽出する。例えば、妨害を避けると共に無用な算出を低減するように、主体貨物の外周領域を除去する。

0035

また、ある実施例において、画像における空気領域及び透過不可能領域の影響を除去してもよい。本発明の実施例において、直接に閾値の方法によって、透視画像における空気領域及び透過不可能領域を検出する。これによって、貨物を検出する際に、空気領域及び透過不可能領域の影響を避けることができ、検出速度を高めるとともに、エラー報告を減少することができる。

0036

ステップS23において、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定する。異なる実施例において、この貨物情報は、貨物の積み重ねモード(例えば、確率値で示す)や貨物の類型(例えば、ある特定の貨物の確率値)などである。他の実施例において、貨物の類型は、原子番号及び/又は電子密度及び/又は重量厚さなどによって特定されることができる。

0037

ステップS24において、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供する。例えば、画像処理によって得られる貨物情報と通関申告書から得られる貨物情報とを組み合わせて、推薦処理意見を提供する。例えば、両者が一致しない場合、通過させないしたり、一致性の確率に基づいて段階的に処理する。

0038

本発明の実施例において、貨物検査システムは、 (1)情報全体の推定と、(2)一部情報の推定と、(3)能動学習と、を含む。情報全体推定システムは、主に、貨物積み重ねモードの推定と、貨物類型の推定と、混合貨物の階層推定と、異常事件の推定に振り分けられる。

0039

貨物積み重ねモードの推定は、貨物のX線画像を解析することによって、貨物の積み重ねモードを予測し、通関申告における(通関申告書のデータからの)貨物類型と一致する確率を推定して、推薦処理意見を提供する。

0040

貨物類型は、税関HSCODEコードによって指定される。コンテナにおける貨物の積み重ねには、一般的なルールがあるが、主に、図3に示すような四つの積み重ねモードに振り分けられる。一般的には、貨物類型が異なると、積み重ねモードも異なる。例えば、一般的に、パルプ貨物は、積み重ねモード1になり、穀物貨物は、積み重ねモード2になり、酒類貨物は、積み重ねモード3になり、オートバイ貨物は、積み重ねモード4になる。画像解析によって、貨物積み重ねモードに対する予測を提供することができる。通関申告書の情報を検索することによって、貨物の通関申告の類型を提供して、さらに、この類型の貨物の一般的な積み重ねモードを取得することができる。両方の情報を組み合わせて、貨物と通関申告の(通関申告書のデータからの)貨物の類型との一致性を推定することができる。貨物積み重ねモードの一致性に基づいて、推薦処理意見を提供する。

0041

図6は、貨物積み重ねモードの予測および推薦処理意見のフローチャートを示す。ステップS61、S62、S63において、走査によってコンテナ付きトラックの走査画像を取得し、この走査画像からコンテナ領域を抽出してから、分割アルゴリズムによって貨物領域を抽出する。好ましくは、ここで、分割アルゴリズムは、SRM(Statistical Region Merge)アルゴリズムを用いる。分割された領域を更に処理し、閾値制限方法によって貨物なし領域を除去し、面積がコンテナ全体の1/3以下である領域を除去する。すると、残りの領域を主体貨物領域とする。

0042

ステップS64において、主体貨物領域に対して画像特徴の抽出を行う。好ましくは、ここで、Texton+BOW(Bag of Words)方法を用いるが、このような組み合わせに限定されない。例えば、前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出し、描写情報に基づいて前記透過画像の注目領域における貨物の積み重ねモードの確率を特定する。

0043

好ましくは、注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップは、注目領域を区画して、区画された画像に対してエッジを抽出するステップと、抽出されたエッジの有効な位置でテクスチャ特徴を抽出するステップと、前記テクスチャ特徴に最も近接する元素を辞書から探して、該当領域のヒストグラムを取得して特徴を描写するステップと、を含む。ここで、前記辞書は、訓練画像サンプルによって作成されたものである。好ましくは、サンプル画像ごとに等間隔でサンプリングを行い、位置ごとにテクスチャ特徴を抽出し、全ての位置で抽出されるテクスチャ特徴をクラスタリングして、複数のクラスタリング中心の特徴描写を取得することで、前記辞書を形成する。

0044

ステップS65において、最後に、SVM(Support Vector Machine)分類モデルを引き入れて分類を行うことで、予測積み重ねモードを取得する。

0045

ステップS66、S67、S68において、通関申告書を検索することによって、貨物の通関申告類型を取得し、貨物の一般的な積み重ねモードをさらに取得することができる。例えば、通関申告書に基づいて特定された積み重ねモードの貨物類型の確率に、透過画像に基づいて特定された積み重ねモードの確率を掛けることによって、一致性の確率を特定する。そして、当該一致性の確率が所定値より小さい場合、該当貨物と通関申告書における貨物とが一致しないと判断する。以下の式によって貨物類型の一致性の確率を算出する。

0046

0047

また、推薦処理意見は、「通過可能」、「少々異なるみたい」、「真剣に検査する必要があるみたい」、「真剣に検査する必要がある」という四つのレベルに振り分けられる。

0048

貨物種類の推定は、貨物のX線画像内容と、二重エネルギーの材料識別情報と、通関申告書のデータとを解析することによって、貨物の可能な類型を予測し、通関申告の (通関申告書のデータからの) 貨物類型との一致性を推定して、リスクの程度及び推薦処理意見を提供する。貨物類型は、税関HSCODEコードによって指定される。貨物類型に対する予測は、画像内容情報と、二重エネルギーの材料識別情報と、輸出入の会社や輸出入の国家、輸出入の時間等の情報のような通関申告書からのデータとに対してモデル化し、協力推定を完成することができる。結果を推定することによって、最終的に通関申告書の貨物類型との一致性を提供する。予測の貨物類型と通関申告の (通関申告書のデータからの) 貨物類型の税金の差異や、輸出管理程度に対する解析によって、コストモデルを作成し、リスク程度を提供する。これらによって、推薦処理手法を提供する。

0049

図7は、本発明の実施例による貨物類型予測、リスト推定及び推薦処理意見のフローチャートを説明する。ステップS71、S72、S73において、コンテナ付きトラックの走査画像に対してコンテナ領域の抽出を行い、分割アルゴリズムによって貨物領域を抽出する。好ましくは、ここで、分割アルゴリズムは、SRM(Structural Risk Minimization)アルゴリズムを用いる。分割された領域を更に処理し、閾値制限方法によって貨物なし領域を除去し、面積がコンテナ全体の1/3以下である領域を除去し、残りの領域を主体貨物領域とする。

0050

ステップS74において、主体貨物領域に対して画像特徴抽出を行う。好ましくは、ここで、Texton+BOW(Bag of Words)方法を用いるが、このような組み合わせに限定されない。好ましくは、ステップS75において、SVM(Support Vector Machine)分類モデルを引き入れて分類を行い、予測貨物類型を予備的に取得する。ステップS76において、確率モデルと共に通関申告書の情報を用いるが、通関申告書の情報は、輸出入会社、輸出入時間、輸出入国家を含む。

0051

確率式は、以下の通りである。

0052

0053

ステップS77において、以下の税金および貨物管理によるコストモデルによって、コスト値を算出し、ステップS78において、コスト値に基づいてリスクの程度を特定する。

0054

0055

ただし、Tmは、通関申告書における貨物類型に対して必要な税率であり、Tpは、予測貨物類型に対して必要な税率であり、Cpは、予測貨物類型が制御貨物であるか否かを示すが、制御貨物である場合に「1」を取り、そうでない場合に「0」を取る。α、βは、パラメータであるが、コストモデルに対する税率及び制御の影響程度をコントロールする。ステップS79において、「通過可能」、「少々異なるみたい」、「真剣に検査する必要があるみたい」、「真剣に検査する必要がある」という四つのレベルの推薦処理意見を提供することができる。

0056

混合貨物の階層推定は、物理数学モデルによって混合貨物を構成する成分を推定する。図4は、階層推定の模式図である。好ましくは、10個の原子番号ずつ1層を構成し、この段階の物質を表示する。スベクトル分布を有するX線を、あるエネルギーのシングルエネルギーのX線として見なす。これにより、物理化過程全体は、ある等価的なシングルエネルギーのX線が混合物質を透過する過程に簡単化される。シングルエネルギーのX線が混合物質を透過する減衰ルール式を作成することによって、入力放射線の強度と出力放射線の強度の関係を導出する。教師あり学習によって、未知の等価的なエネルギーのX線における異なる原子番号の物質の質量減衰係数を求める。実際に、混合物質の推定において、スパース方法によって、重量厚さのスパース解を算出し、混合物の構成を推定する。

0057

加速器から発生された、エネルギースペクトル分布を有するX線について、物質を透過する時の減衰ルールは、以下の通りである。

0058

0059

ただし、IE′は、エネルギーがE′であるX線の線量であり、Iは、X線が物質を透過した後の線量の合計である。μ(E′,Z)は、質量減衰係数であるが、物質の原子番号及びX線のエネルギーに関する。tmは、重量厚さであり、物質の原子番号に関する。

0060

μeff(Z)で、指定されるエネルギースペクトル分布のX線における質量減衰係数を示すが、μeff(Z)は、物質の原子番号のみに関し、等価質量減衰係数に定義される。これにより、上記式は、以下のように変化する。

0061

0062

ただし、I0は、X線の出力線量を示し、Iは、X線が物質を透過した後の線量であり、μeff(Z)は、等価質量減衰係数であり、tm(Z)は、重量厚さを示す。

0063

混合物について、上記式は以下の通りである。

0064

0065

透明度lnTの算出は、以下の通りである。

0066

0067

二重エネルギーシステムには、高エネルギー及び低エネルギーX線エネルギースペクトルがあるため、以下の式を満たす。

0068

0069

これを、以下の行列式に簡単化することができる。
Y=MX

0070

0071

異なるエネルギースペクトルに対する等価質量減衰係数が特定の定数でないため、試験によって取得することができない。好ましくは、本発明において、教師ありスパース辞書学習アルゴリズムを用いるが、これに限定されない。具体的なアルゴリズムは、以下の通りである。

0072

1)辞書学習:以下の最適化関数を作成する。

0073

0074

2)訓練サンプルに基づいて、{X,Y}について辞書学習を行い、行列Mを取得する。
3)混合物構成の成分推定:以下の最適化関数を作成する。

0075

0076

4)上記関数を最小化してスパース解Xを取得するが、非項は、可能な構成成分を表す。

0077

以上に説明した混合物成分推定アルゴリズムによって、混合物の階層表示を図ることができる。

0078

異常事件の推定は、貨物画像内容情報、輸出入会社、輸出入国家及び輸出入時間情報に基づく異常事件の推定手段である。一般的に、輸出入会社が異なると、異なる輸出入貨物を経営し、国家が異なると、ある特定の貨物類型を輸出入する傾向がある。類似品の貨物は、一定の時間内に集中して輸出入される。推定の過程は、画像内容の検索エンジンによって、現在の走査貨物に類似する貨物のリストを取得し、それに対応する輸出入会社、輸出入国家、及び、輸出入時間に基づいて、分布関係図を作成する(図5を参照)。作成された分布図及び通関申告書のデータに基づいて、現在このような類型の貨物を輸出入することが慣例的な行為に属するか否かを直観的に提供することができる。

0079

図8は、本発明の実施例による類似貨物の分布推定のフローチャートである。貨物画像に対する前処理は、貨物積み重ねモード推定における処理とほぼ同じである。このため、ステップS81、S82、S84は、図6を参照して説明されたS61、S62、S64と同じ、ここでは詳細の説明を略する。

0080

ステップS85で、貨物画像に対する特徴の描写を取得した後、画像内容に基づく検索モジュール移行し、類似度が80%以上である貨物画像リストを取得する。リストにおける画像に基づいて、対応する通関申告書のデータから、輸出入国家、輸出入会社および輸出入時間データを抽出する。貨物の類型に応じて、検索して得られた類似貨物画像リストを分類し、異なる国家や異なる会社が異なる時間帯に同類の貨物を輸出入した確率を取得する。好ましくは、ステップS86で、図5の可視化手段を利用する。時間軸を作成することによって、異なる時間帯での類似貨物を輸出入する状況を表示する。各時間帯内に、異なる楕円によって異なる輸出入国家ペアを表示し、その内部で、異なる楕円によって異なる輸出入会社が類似の貨物を輸出入する確率の分布を表示する。現在走査される貨物の輸出入国家、輸出入会社、輸出入時間及び通関申告貨物の類型に基づいて、当該類型の貨物が当該会社によって指定国家に輸出入されることが慣例的な事件に属するか否かを直観的に推定することができる。

0081

一部情報推定システムは、主に、重要領域の案内と、単一スタック貨物の推定と、ユーザ指定一部領域情報の推定に振り分けられる。

0082

重要領域の案内は、主に、ユーザが貨物のX線画像の特異性領域を注目するように快速に案内を行う。特異性領域は、主に、 (1)主体積み重ねモードからずれた貨物領域と、(2)貨物類型を予測不可能な小さな貨物領域と、(3)全般的なテクスチャとの差異が大きい一部領域と、を含む。通常、禁制品は、これらの特異性領域に挟まれている。上記(1)及び(2)の特異性領域の抽出は、画像の分割および領域の識別によって間接的に提供されてもよい。積み重ねモード又は貨物類型を識別することができない領域について、その面積が指定範囲内にある場合、特異性領域と見なすことができる。上記(3)の特異性領域の抽出は、主に、教師あり学習の方法に基づいてテクスチャの類似度の算出モデルを構築し、顕著性検出方法によって特異性領域の検出を行う。

0083

重要領域は、主体積み重ねモードからずれた領域と、貨物類型を予測不可能な小さな領域と、全般的なテクスチャとの差異が大きい一部領域という三つの異なる類型に振り分けられる。第1及び第2の重要領域は、貨物積み重ねモードの推定および貨物類型の推定によって間接的に提供されることができる。第3の重要領域を算出するには、テクスチャの類似度の定義を提供しなければならない。好ましくは、教師あり学習の手法によって人間の理解空間を構築し、テクスチャブロックの類似度の定義を作成する。しかし、これに限定されない。

0084

人間の理解空間を構築するステップは、
訓練貨物画像から異なるテクスチャブロックを採集する第1のステップと、
人間の主観的な判断によって、テクスチャブロックの類似度を比較する第2のステップと、
テクスチャブロックから特徴を抽出する第3のステップと、
Stochastic triplet embeddingアルゴリズムによって、テクスチャの類似度の比較モデルを構築する第4のステップと、を含み、これで理解空間の構築を終了する。

0085

テクスチャの類似度モデルが構築された後、顕著性検出の一般的な方法によって、第3種類の重要領域の抽出を完了することができる。

0086

単一スタック貨物の推定は、主に、スタックを独立して構成したがスタックが小さいため情報全体の推定に参与することができない貨物に対して、処理を行う手法であるが、対応する貨物類型を推定する。主に、相互推定方法を用いるが、画像内容の情報とユーザの相互情報とを組み合わせて協力して推定する必要がある。所定の画像情報での貨物類型およびユーザ相互応答の協力確率モデルを構築することによって、協力推定を実現する。

0087

単一スタック貨物の推定は、相互推定方法を採用し、画像内容及び人間の相互によって、単一スタック貨物を推定して識別する。好ましくは、確率モデルを構築する。

0088

0089

ただし、zは、貨物の類別を示し、Uは、ユーザの相互応答を示し、xは、画像内容を示す。p(z|x)は、一般的な画像識別アルゴリズムによって取得してもよいが、p(U|z,x)は、人間の相互応答によって取得しなければならない。

0090

相互情報の引き入れにより、単に画像内容に基づいて構築されるモデルの正確性を効果的に向上させることができる。どんな相互情報を選択するかは、極めて重要である。相互情報は、アルゴリズムによって画像内容の解析から直接に得られる情報と互いに補足して、より多い有効な情報を引き入れて識別に参与する。

0091

好ましくは、ここで、相互情報は、単一スタック貨物の最も代表的なテクスチャブロックを選択し、当該単一スタック貨物の画像に類似する貨物を候補リストから選択するようにして、選択される。

0092

ユーザ指定一部領域情報の推定は、主に、一部領域のテクスチャ情報に基づいて、このようなテクスチャを表す貨物類型の分布、平均原子番号、及び、コンテナでの位置を推定する。貨物類型の分布の推定は、主に、テクスチャによる画像検索手段を利用する。平均原子番号の推定は、主に、二重エネルギーX線の材料識別アルゴリズムを利用する。コンテナでの位置の推定は、画像における当該領域の位置および画像のズーム倍率に基づいて確定される。

0093

例えば、以上の推定を実現する過程は、指定領域のテクスチャ特徴を抽出する、好ましくはFisher Vectorを用いる第1のステップと、画像内容の検索に応じて、類似度が80%以上であるテクスチャブロックのリストを取得する第2のステップと、検索されたテクスチャブロックのリストに応じて、対応する貨物種類の情報を取得することで、このようなテクスチャを表す貨物類型の分布図を作成する第3のステップと、二重エネルギーの材料識別アルゴリズムによって、平均原子番号を取得する第4のステップと、画像のズーム倍率および指定領域での画素の位置から、コンテナでの座標位置を取得する第5のステップと、を含む。

0094

能動学習システムは、現在のモデルによって判別しにくい画像サンプルを能動的に発見し、それをユーザに提供して、ユーザがラベルを付けるようにして、モデルのオンライン更新を行う。能動学習モジュールは、システム全体の推定および一部システムの推定に、リアルタイムサービスを提供する。能動学習システムは、ベースアシスト・システムであり、主に、貨物積み重ねモデルの推定および貨物類型の推定のモデルにサービスを提供する。現在のモデルに基づいて識別しにくいサンプルを能動的に発見し、モデルをオンラインで更新する。

0095

以上に示す詳細の記載は、模式図、フローチャット及び/又は例示によって、検査方法およびシステムに係る複数の実施例を説明した。このような模式図、フローチャット及び/又は例示が、一つ又は複数の機能及び/又は操作を含む場合に、当業者は、このような模式図、フローチャット又は例示における各機能及び/又は操作が、色々なハードウェアソフトウェアファームウェア又は実質上のこれらの任意の組み合わせによって、個別及び/又は共同で実現可能であることを理解できるだろう。一つの実施例において、本発明の実施例の前記主題のいくつかの部品は、ASIC特定用途向け集積回路)、FPGA(field programmable gate array)、DSP(digital signal processor)、またはその他の集積フォーマットで実現できる。当業者は、ここで開示された実施例の一方が、全体または部分的に集積回路で等価的に実現されてもよいことを理解できるだろう。例えば、一つ又は複数のコンピュータで実行される一つ又は複数のコンピュータプログラム(例えば、一つ又は複数のコンピュータシステムによって実行される一つ又は複数のプログラム)によって実現されてもよく、一つ又は複数のプロセッサで実行される一つ又は複数のプログラム(例えば、一つ又は複数のマイクロプロセッサで実行される一つ又は複数のプログラム)によって実現されてもよく、ファームウェア又は実質上に上記形態のいずれの組み合わせによって実現されてもよい。また、当業者は、本開示を元に、回路の設計及び/又はソフトウェアの書き込み及び/又はファームウェアのコーディング能力を備えることになろう。また、当業者は、本開示のメカニズムは、複数の形態のプログラム製品として発行されてもよく、発行を支持する信号担体媒体の具体的な類型が何になっても、本開示の例示的な実施例は依然として適用可能であることを理解できるだろう。信号担体媒体の例示として、例えば、ソフトディスクハートディスクドライバコンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープコンピュータメモリ等の記録可能な記録媒体や、デジタル及び/又はアナログ通信媒体(例えば、光ファイバ導波管有線通信リング無線通信リング等)の搬送媒体を含むが、これらに限定されない。

0096

以上、本発明の典型的な実施例に基づいて本発明を説明したが、当業者は、使用された用語が、説明および例示のためであり、本発明を限定するものではないことを理解すべきである。また、本発明は、精神及び主旨を逸脱しない限り、色々な形態で具体的に実施できるため、上記した実施例は、前述の詳細に限らず、特許請求の範囲内で広く解釈すべきである。特許請求の範囲または等価範囲内での全ての変更や改進は、特許請求の範囲に含まれる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ