図面 (/)

技術 物体検出方法、装置及び記憶媒体

出願人 バイドゥオンラインネットワークテクノロジー(ベイジン)カンパニーリミテッド
発明者 ワン,シュエフイリ,ミンシア,ティアン
出願日 2019年7月3日 (1年7ヶ月経過) 出願番号 2019-124461
公開日 2020年3月12日 (11ヶ月経過) 公開番号 2020-038619
状態 未査定
技術分野 イメージ分析
主要キーワード 処理グラフ 寸法特徴 学習ネットワーク 参照枠 多辺形 合併集合 統合モジュール 技術問題
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出正確度をさらに向上させることができる物体検出方法、装置及びコンピュータ可読記憶媒体を提供する。

解決手段

物体検出方法は、入力画像における対象物体囲み枠を取得することと、囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することと、参照枠と囲み枠との寸法に基づいて、寸法関連特徴を生成することと、マシン学習モデルで寸法関連特徴を用いて入力画像に対する物体検出を行うことと、を含む。

概要

背景

物体検出は、人間の目には難しいことではない。グラフィックスにおける異なる色や、テクスチャエッジモジュールを検知することで対象物体を特定することは容易であるが、コンピュータRGB画素マトリックスに向かっているため、のような抽象的概念を画像から直接に取得し、その位置を特定することは困難であり、それに加えて、物体姿勢照明や複雑な背景が混在して、物体の検出がより困難になる。

コンピュータビジョンの分野では、物体検出は代表的な問題の一つであり、画像中の物体の位置を枠で表示し、物体の種別を与えることが課題となる。従来の人工デザインによる特徴に浅層分類器を加える枠組みから、深層学習に基づくエンドツーエンド検出枠組みまで、物体検出はますます成熟しつつある。

通常、検出アルゴリズムには3つの部分が含まれており、1つ目は検出窓の選択、2つ目は特徴の設計、3つ目は分類器の設計である。そのうち、特徴の設計には、異なる特徴を組み合わせて最適化する必要がある。物体を異なる次元記述することにより、検出精度をさらに向上させることができる。例えば、ヒストグラム統計を用いて物体のエッジを符号化することによって、特徴表現能力はより強くなり、物体の検出、追跡、認識等の場面で広く利用される。

画像中の物体を検出する際に、候補となる物体領域毎に対して、深層学習ネットワークの特徴を抽出する場合、同じ長さの特徴しか得られなく、且つこの特徴は物体の大きさと関連性がなくて、物体の大きさの予測根拠欠如してから、物体の大きさの予測は不正確になってしまう。例えば、画像において、遠い場所と近い場所との物体の大きさは異なるが、従来技術の手法では、このような大きさの異なる物体について抽出された特徴が同じであるため、物体の大きさの予測は不正確になる。

概要

マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出の正確度をさらに向上させることができる物体検出方法、装置及びコンピュータ可読記憶媒体を提供する。物体検出方法は、入力画像における対象物体の囲み枠を取得することと、囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することと、参照枠と囲み枠との寸法に基づいて、寸法関連特徴を生成することと、マシン学習モデルで寸法関連特徴を用いて入力画像に対する物体検出を行うことと、を含む。

目的

本発明の実施例は、従来技術における少なくとも一つ又は複数の技術問題を解決するための物体検出方法、装置及びコンピュータ可読記憶媒体を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

物体検出方法であって、入力画像における対象物体囲み枠を取得することと、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することと、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することと、マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うことと、を含むことを特徴とする物体検出方法。

請求項2

前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することは、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することと、前記重畳度に応じて前記予選枠から参照枠を選択することと、を含むことを特徴とする請求項1に記載の物体検出方法。

請求項3

前記囲み枠と前記予選枠とは、多辺形であり、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することは、前記囲み枠と前記予選枠とをその1つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせることと、前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積合併集合面積との比率を算出することと、前記比率を前記囲み枠と前記予選枠との重畳度とすること、を含むことを特徴とする請求項2に記載の物体検出方法。

請求項4

前記重畳度に応じて前記予選枠から参照枠を選択することは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、前記予選枠を参照枠として決定することを含むことを特徴とする請求項2に記載の物体検出方法。

請求項5

前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含むことを特徴とする請求項1乃至4のいずれか1項に記載の物体検出方法。

請求項6

物体種別マッチングする予選枠の集合を予め設定しておくことと、被検出体所属する物体の種別を予断することと、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することと、をさらに含むことを特徴とする請求項1乃至4のいずれか1項に記載の物体検出方法。

請求項7

物体検出装置であって、入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニットと、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するための参照枠決定ユニットと、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニットと、マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うための物体検出ユニットと、を備えることを特徴とする物体検出装置。

請求項8

前記参照枠決定ユニットは、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニットと、前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニットと、を備えることを特徴とする請求項7に記載の物体検出装置。

請求項9

前記囲み枠と前記予選枠とは、多辺形であり、前記重畳度算出サブユニットは、前記囲み枠と前記予選枠とをその1つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積と合併集合面積との比率を算出し、前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられることを特徴とする請求項8に記載の物体検出装置。

請求項10

前記参照枠選択サブユニットは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、前記予選枠を参照枠として決定するためにさらに用いられることを特徴とする請求項8に記載の物体検出装置。

請求項11

前記寸法特徴生成ユニットは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられることを特徴とする請求項7乃至10のいずれか1項に記載の物体検出装置。

請求項12

物体の種別にマッチングする予選枠の集合を予め設定しておき、被検出体の所属する物体の種別を予断し、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するための予選枠集合選択ユニットをさらに備えることを特徴とする請求項7乃至10のいずれか1項に記載の物体検出装置。

請求項13

物体検出装置であって、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶するためのメモリと、を備え、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される時、前記一つ又は複数のプロセッサが請求項1乃至6のいずれか1項に記載の物体検出方法を実現するようにすることを特徴とする物体検出装置。

請求項14

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項1乃至6のいずれか1項に記載の物体検出方法を実現することを特徴とするコンピュータ可読記憶媒体。

技術分野

0001

本発明は、情報技術分野に関し、特に、物体検出方法、装置及びコンピュータ可読記憶媒体に関する。

背景技術

0002

物体検出は、人間の目には難しいことではない。グラフィックスにおける異なる色や、テクスチャエッジモジュールを検知することで対象物体を特定することは容易であるが、コンピュータはRGB画素マトリックスに向かっているため、のような抽象的概念を画像から直接に取得し、その位置を特定することは困難であり、それに加えて、物体姿勢照明や複雑な背景が混在して、物体の検出がより困難になる。

0003

コンピュータビジョンの分野では、物体検出は代表的な問題の一つであり、画像中の物体の位置を枠で表示し、物体の種別を与えることが課題となる。従来の人工デザインによる特徴に浅層分類器を加える枠組みから、深層学習に基づくエンドツーエンド検出枠組みまで、物体検出はますます成熟しつつある。

0004

通常、検出アルゴリズムには3つの部分が含まれており、1つ目は検出窓の選択、2つ目は特徴の設計、3つ目は分類器の設計である。そのうち、特徴の設計には、異なる特徴を組み合わせて最適化する必要がある。物体を異なる次元記述することにより、検出精度をさらに向上させることができる。例えば、ヒストグラム統計を用いて物体のエッジを符号化することによって、特徴表現能力はより強くなり、物体の検出、追跡、認識等の場面で広く利用される。

0005

画像中の物体を検出する際に、候補となる物体領域毎に対して、深層学習ネットワークの特徴を抽出する場合、同じ長さの特徴しか得られなく、且つこの特徴は物体の大きさと関連性がなくて、物体の大きさの予測根拠欠如してから、物体の大きさの予測は不正確になってしまう。例えば、画像において、遠い場所と近い場所との物体の大きさは異なるが、従来技術の手法では、このような大きさの異なる物体について抽出された特徴が同じであるため、物体の大きさの予測は不正確になる。

発明が解決しようとする課題

0006

本発明の実施例は、従来技術における少なくとも一つ又は複数の技術問題を解決するための物体検出方法、装置及びコンピュータ可読記憶媒体を提供する。

課題を解決するための手段

0007

第一態様によれば、本発明の実施例は、入力画像における対象物体の囲み枠を取得することと、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することと、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することと、マシン学習モデルで前記寸法関連特徴を用いて、前記入力画像に対する物体検出を行うことと、を含む物体検出方法を提供する。

0008

第一態様に合わせて、本発明の実施例は、第一態様の第一実現形態において、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することは、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することと、前記重畳度に応じて前記予選枠から参照枠を選択することと、を含む。

0009

第一態様の第一実現形態に合わせて、本発明の実施例は、第一態様の第二実現形態において、前記囲み枠と前記予選枠とは、多辺形であり、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することは、前記囲み枠と前記予選枠とをその1つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせることと、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積合併集合面積の比率を算出することと、前記比率を前記囲み枠と前記予選枠との重畳度とすることと、を含む。

0010

第一態様の第一実現形態に合わせて、本発明の実施例は、第一態様の第三実現形態において、前記重畳度に応じて前記予選枠から参照枠を選択することは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定することを含む。

0011

第一態様、第一態様の第一実現形態、第一態様の第二実現形態、第一態様の第三実現形態に合わせて、本発明の実施例は、第一態様の第四実現形態において、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含む。

0012

第一態様、第一態様の第一実現形態、第一態様の第二実現形態、第一態様の第三実現形態に合わせて、本発明の実施例は、第一態様の第五実現形態において、物体の種別にマッチングする予選枠の集合を予め設定しておくことと、前記被検出体所属する物体の種別を予断することと、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することと、をさらに含む。

0013

第二態様によれば、本発明の実施例は、入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニットと、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するための参照枠決定ユニットと、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニットと、マシン学習モデルで前記寸法関連特徴を用いて、前記入力画像に対する物体検出を行うための物体検出ユニットと、を備える物体検出装置を提供する。

0014

第二態様に合わせて、本発明の実施例は、第二態様の第一実現形態において、前記参照枠決定ユニットは、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニットと、前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニットと、を備える。

0015

第二態様の第一実現形態に合わせて、本発明の実施例は、第二態様の第二実現形態において、前記囲み枠と前記予選枠とは、多辺形であり、前記重畳度算出サブユニットは、前記囲み枠と前記予選枠とをその1つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積と合併集合面積との比率を算出し、前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられる。

0016

第二態様の第一実現形態に合わせて、本発明の実施例は、第二態様の第三実現形態において、前記参照枠選択サブユニットは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定するためにさらに用いられる。

0017

第二態様、第二態様の第一実現形態、第二態様の第二実現形態、第二態様の第三実現形態に合わせて、本発明の実施例は、第二態様の第四実現形態において、前記寸法特徴生成ユニットは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられる。

0018

第二態様、第二態様の第一実現形態、第二態様の第二実現形態、第二態様の第三実現形態に合わせて、本発明の実施例は、第二態様の第五実現形態において、前記物体検出装置は、物体の種別にマッチングする予選枠の集合を予め設定しておくことと、前記被検出体の所属する物体の種別を予断することと、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することに用いられる予選枠集合選択ユニットをさらに備える。

0019

好ましい一つの構想において、物体検出装置の構造には、プロセッサ及びメモリが含まれ、前記メモリは、物体検出装置による上記第一態様における物体検出方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサは、前記メモリに記憶されたプログラムを実行するように配置される。前記物体検出装置は、物体検出装置と他の機器又は通信ネットワークとの通信に用いられる通信インターフェースをさらに備えてもよい。

0020

第三態様によれば、本発明の実施例は、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶するためのメモリとを備え、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される時、前記一つ又は複数のプロセッサが上記第一態様におけるいずれかの方法を実現するようにする物体検出装置を提供する。

0021

第四態様によれば、本発明の実施例は、プロセッサにより実行されると、上記第一態様におけるいずれかの方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

発明の効果

0022

上記技術案は、物体の大きさに関する特徴を用いて物体検出を行うことにより、即ち、マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出の正確度をさらに向上させるという利点又は有益な効果がある。

0023

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

図面の簡単な説明

0024

図面において、特に断りがない限り、複数の図面における同一記号は同様又は類似する部材又は要素を示す。これらの図面は比率で描かれるとは限らない。これらの図面は本発明の開示に係るいくつかの実施形態を描くものに過ぎず、本発明の範囲を制限するものと見なされるべきではないと理解すべきである。
本発明の一実施例が提供する物体検出方法のフローチャートである。
本発明の他の実施例が提供する物体検出方法における参照枠の決定のステップのフローチャートである。
本発明の他の実施例が提供する物体検出方法における重畳度の算出のステップのフローチャートである。
本発明の他の実施例が提供する物体検出方法における重畳度算出に対する共通集合面積の模式図である。
本発明の他の実施例が提供する物体検出方法における重畳度算出に対する合併集合面積の模式図である。
本発明の他の実施例が提供する物体検出方法における予選枠の集合の選択のステップのフローチャートである。
本発明の一実施例が提供する物体検出装置の構造ブロック図である。
本発明のまた一実施例が提供する物体検出装置の参照枠決定ユニットの構造ブロック図である。
本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。
本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。

実施例

0025

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

0026

図1は、本発明の一実施例が提供する物体検出方法のフローチャートである。図1に示すように、本発明の実施例の物体検出方法は、入力画像における対象物体の囲み枠を取得するステップS110と、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するステップS120と、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するステップS130と、マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うステップS140と、を含む。

0027

本発明の実施例では、物体検出を行う前に予選枠の集合を予め設定しておく。予選枠の集合には、寸法の異なる複数の予選枠が含まれている。対象物体の囲み枠を予選枠の集合における複数の予選枠と比較させ、比較結果に応じて囲み枠の寸法特徴に比較的に近い幾つかの予選枠を参照枠として選択する。参照枠と囲み枠との大きさ関係に基づいて、大きさや、アスペクト比に関する特徴、即ち、寸法関連特徴を生成する。マシン学習モデルにおける元の特徴に加えて、寸法関連特徴を元の特徴に融合した後に、物体に対する予測を行うことにより、物体の大きさの検出の正確度を向上させる。

0028

一実現形態では、先ず、あるアルゴリズムを用いて物体の囲み枠を予測する。例えば、被処理グラフィックスブロックに分割した後、各ブロックが囲み枠であるか否かについてそれぞれ判断する。また、被処理グラフィックスのカラーヒストグラムを算出する。カラーヒストグラム上に分布平坦ではない領域は、物体のエッジ領域である可能性があることにより、物体の囲み枠を予測する。

0029

図2は、本発明の他の実施例が提供する物体検出方法における参照枠の決定のステップのフローチャートである。図2に示すように、好ましい一つの実現形態では、図1において、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するステップS120は、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するステップS210と、前記重畳度に応じて前記予選枠から参照枠を選択するステップS220と、を含む。

0030

予選枠は、予め設定された寸法の異なる幾つかの矩形枠を含んでもよい。これらの矩形枠の寸法同士間の関係には、次のような様々ものがあってもよい。例えば、幅は同じであるが高さが異なり、幅が異なるが高さが同じ、幅と高さとが異なるがアスペクトが同じ、或いは幅と高さとアスペクトとが全部異なる。そのうち、一例として、アスペクトが同じであるが幅と高さとが異なる一連の複数の矩形枠が設定される。アスペクトが1:1であると、10*10画素、20*20画素及び30*30画素の3つの矩形枠を設定することができる。

0031

このような実現形態では、対象物体の囲み枠と予選枠の集合における寸法の異なる複数の予選枠との重畳領域を算出し、算出結果に応じて囲み枠の寸法特徴に比較的に近い幾つかの予選枠を選択する。

0032

図3は、本発明の他の実施例が提供する物体検出方法における重畳度の算出のステップのフローチャートである。図3に示すように、好ましい一つの実現形態では、図2において、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するステップS210は、前記囲み枠と前記予選枠とをその1つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせるステップS310と、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積と合併集合面積との比率を算出するステップS320と、前記比率を前記囲み枠と前記予選枠との重畳度とするステップS330と、を含む。

0033

このような実現形態では、IOU(Intersection over Union、重畳度)標準を用いて囲み枠と寸法の異なる複数の予選枠との重畳領域を算出する。ここで、IOUは、特定のデータ集合から対応する物体を検出する正確度を測定する標準の1つである。具体的に、囲み枠をある予選枠に位置合わせて、例えばこれら2つの矩形左上隅の頂点及び当該頂点に連結される一辺を位置合わせて、その後、2つの矩形の共通集合面積と合併集合面積との比率を算出し、囲み枠とある予選枠とのIOU値とする。この比率(IOU値)が大きいほど、2つの矩形の重畳度が大きくなることを意味する。

0034

図4aは、本発明の他の実施例が提供する物体検出方法における重畳度算出に対する共通集合面積の模式図である。図4bは、本発明の他の実施例が提供する物体検出方法における重畳度算出に対する合併集合面積の模式図である。図4a及び図4bにおいて、A1、B1、C1、D1の4つの頂点からなる矩形が囲み枠を表し、A2、B2、C2、D2の4つの頂点からなる矩形が予選枠を表す。図4a及び図4bに示すように、囲み枠と予選枠とは左上隅の頂点及び当該頂点に連結される辺によって、位置合わせられ、即ち、図面において、A1及びA2の2つの頂点及び当該頂点に連結される辺は重なっている。図4aに示すハッチング部の面積は、囲み枠と予選枠との位置合わせられた後の共通集合面積を表し、図4bに示すハッチング部の面積は、囲み枠と予選枠との位置合わせられた後の合併集合面積を表す。共通集合面積と合併集合面積との比率が大きいほど、2つの矩形の重畳度が高くなり、寸法特徴が近くなることを意味する。

0035

また、好ましい一つの実現形態では、前記重畳度に応じて前記予選枠から参照枠を選択することは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定することを含む。

0036

このような実現形態において、重畳度閾値を予め設定しておき、算出された囲み枠とある予選枠とのIOU値が予め設定された重畳度閾値よりも大きいと、当該予選枠の大きさ特徴が囲み枠に比較的に近いと認定する。このようにして、囲み枠の寸法特徴と比較的に近いTop N個(最上位のN個)の予選枠を選択して、Top N個の予選枠を参照枠として決定する。後続に特徴を抽出する時、参照枠のみを考慮してもよい。例えば、囲み枠と参照枠との大きさ関係データのみを抽出して特徴とする。参照枠以外の他の予選枠の大きさ特徴は、囲み枠に比べて、相対的に寸法の差が大きく、他の予選枠に対応する関連特徴のデータはゼロで埋められても良い。

0037

また、好ましい一つの実現形態では、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含む。

0038

このような実現形態において、参照枠と囲み枠との大きさ関係に基づいて、大きさや、アスペクト比に関する特徴を生成する。例えば、各予選枠に対して、2つの矩形の幅の比率、2つの矩形の高さの比率を抽出して寸法関連特徴とし、或は、2つの矩形の幅の比率の自然対数及び2つの矩形の高さの比率の自然対数を抽出して寸法関連特徴としてもよい。

0039

なお、囲み枠と予選枠とは、矩形に限りではなく、任意の多辺形であってもよい。

0040

上記方法で設計された特徴は物体の大きさに関し、元の特徴に加えて、物体の大きさの予測根拠が追加され、物体検出の正確程度をさらに向上させる。

0041

図5は、本発明の他の実施例が提供する物体検出方法における予選枠の集合の選択のステップのフローチャートである。図5に示すように、好ましい一つの実現形態では、物体の種別にマッチングする予選枠の集合を予め設定しておくステップS410と、前記被検出体の所属する物体の種別を予断するステップS420と、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するステップS430と、をさらに含む。

0042

このような実現形態では、例えば乗り物種別や、家具種別のような物体の種別に基づいて、物体の種別に関する寸法関連特徴を生成する。種別の予断を加えることにより、物体検出の正確度をさらに向上させることができる。

0043

まず、ステップS410では、各種別にマッチングする予選枠の集合を予め設定しておく。例えば、乗り物種別において、列車長尺状の矩形である場合があり、そのアスペクト比は非常に大きく、コンパクトカーは一般に幅が3〜4メートル、高さが1.6〜1.8メートル、アスペクト比が1.5〜2.5程度である場合がある。このことから分かるように、乗り物種別における予選枠の矩形のアスペクト比の取りうる値の範囲は比較的に大きい。また、家具種別では、予選枠の矩形のアスペクト比の取りうる値の範囲は相対的に合いであり、一般的に、家具のアスペクト比は列車よりもはるかに小さい。

0044

次に、ステップS420では、物体の種別を予断する。例えば、予断される種別は乗り物や、家具等である可能性がある。領域特徴境界特徴又は深層学習ネットワーク特徴を用いて物体の種別を予断してもよい。

0045

その後に、ステップS430では、予断された物体の種別に応じて、種別にマッチングする予選枠の集合を用いて、物体の種別に関する寸法関連特徴を生成し、物体検出の正確度をさらに向上させる。

0046

上記技術案は、物体の大きさに関する特徴を用いて物体検出を行うことにより、即ち、マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出の正確程度をさらに向上させるという利点又は有益な効果がある。

0047

図6は、本発明の一実施例が提供する物体検出装置の構造ブロック図である。図6に示すように、本発明の実施例の物体検出装置は、入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニット100と、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するための参照枠決定ユニット200と、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニット300と、マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うための物体検出ユニット400と、を備える。

0048

図7は、本発明のまた一実施例が提供する物体検出装置の参照枠決定ユニットの構造ブロック図である。図7に示すように、好ましい一つの実現形態では、前記参照枠決定ユニット200は、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニット210と、前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニット220と、を備える。

0049

また、好ましい一つの実現形態では、前記重畳度算出サブユニット210は、前記囲み枠と前記予選枠とをその1つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積と合併集合面積の比率を算出し、前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられる。

0050

また、好ましい一つの実現形態では、前記参照枠選択サブユニット220は、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定するためにさらに用いられる。

0051

また、好ましい一つの実現形態では、前記寸法特徴生成ユニット300は、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられる。

0052

図8は、本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。図8に示すように、好ましい一つの実現形態では、物体の種別にマッチングする予選枠の集合を予め設定しておき、前記被検出体の所属する物体の種別を予断し、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するための予選枠集合選択ユニット500をさらに備える。

0053

本発明の実施例の物体検出装置における各ユニットの機能は、上記方法の関連説明を参照すればよく、ここではさらに詳しく説明しない。

0054

好ましい一つの構想において、物体検出装置の構造には、プロセッサ及びメモリが含まれ、前記メモリは、物体検出装置による上記物体検出方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサは、前記メモリに記憶されたプログラムを実行するように配置される。前記物体検出装置は、物体検出装置と他の機器又は通信ネットワークとを通信させるための通信インターフェースをさらに備えてもよい。

0055

図9は、本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。図9に示すように、当該装置は、メモリ101とプロセッサ102とを備え、メモリ101にはプロセッサ102で稼働できるコンピュータプログラムが記憶されている。前記プロセッサ102は、前記コンピュータプログラムを実行すると、上記実施例における物体検出方法を実現する。前記メモリ101とプロセッサ102の数は、一つ又は複数であってもよい。

0056

当該装置は、周辺機器と通信し、データのインタラクティブ転送を行うための通信インターフェース103をさらに備える。

0057

メモリ101は、高速RAMメモリを含む可能性もあるし、更に不揮発性メモリ(non−volatile memory)、例えば少なくとも一つの磁気ディスクメモリを備える可能性もある。

0058

メモリ101、プロセッサ102及び通信インターフェース103が独立して実現する場合、メモリ101、プロセッサ102及び通信インターフェース103はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャISA、Industry Standard Architecture)バス、ペリフェラルコンポーネントPCI、Peripheral Component Interconnect)バス又は拡張業界標準アーキテクチャ(EISA、Extended Industry Standard Architecture)バス等であってもよい。前記バスはアドレスバスデータバス制御バス等に分けられてもよい。示しやすくするために、図9では1本のみの太線で示すが、1本のみのバス又は1つのタイプのみのバスを有すると示さない。

0059

選択的に、具体的に実現する時、メモリ101、プロセッサ102及び通信インターフェース103が1枚のチップ統合される場合、メモリ101、プロセッサ102及び通信インターフェース103は内部インターフェースによって相互間の通信を実現することができる。

0060

また一態様によれば、本発明の実施例は、プロセッサにより実行されると、上記物体検出方法のいずれか1項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

0061

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも1つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか1つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

0062

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも1つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は2つ又は2つ以上である。

0063

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定論理機能又は過程を実現するための1つ又は複数のステップの実行可能命令のコードを含むモジュールセグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

0064

フローチャートに示す、又はここでほかの方式で説明される論理及び/又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行ステム、装置又はデバイス(例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム)の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例(非網羅的リスト)は、1つ又は複数の配線を有する電気接続部電子装置)、ポータブルコンピュータケース磁気装置)、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、電気的消去再書込み可能な読出し専用メモリEPROM又はフラッシュメモリ)、光ファイバー装置、及び携帯型読み出し専用メモリ(CDROM)を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

0065

本発明の各部分はハードウェアソフトウェアファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路プログラマブルゲートアレイPGA)、フィールドプログラマブルゲートアレイFPGA)等の本分野での公知技術のうちのいずれか1つ又はそれらの組み合わせで実現してもよい。

0066

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの1つ又はそれらの組み合わせを含むと理解される。

0067

また、本発明の各実施例における各機能ユニットが1つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、2つ又は2つ以上のユニットが1つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、1つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

0068

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ