図面 (/)

技術 画像処理装置、画像処理方法及びプログラム

出願人 キヤノン株式会社
発明者 矢野光太郎梅田一郎
出願日 2013年11月20日 (7年0ヶ月経過) 出願番号 2013-240175
公開日 2015年5月28日 (5年5ヶ月経過) 公開番号 2015-099559
状態 特許登録済
技術分野 イメージ分析
主要キーワード スラック変数 線形カーネル クラス判別 次計画問題 タッチパネルデバイス 検出ウインドウ 非線形写像 ガウシアンカーネル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年5月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

登録した物体に対して入力画像から精度良く物体を検出して物体領域切り出すことができるようにする。

解決手段

登録画像の物体領域から抽出した画像特徴と入力画像の候補領域から抽出した画像特徴との照合を行う際に、入力画像を分割した小領域または隣接する小領域を統合した領域を候補領域として複数照合を行うようにする。更に、マスクデータから形状特徴を抽出して、画像特徴だけでなく形状特徴も用いて照合するようにして、入力画像の候補領域の境界物体境界と一致するときに照合時に背景画像の影響をなくし、高精度に認識を行うことができるようにする。

概要

背景

従来、デジタルスチルカメラカムコーダ等において、撮影中の画像から人の顔を検出する機能が知られている。このような顔検出機能は、撮影対象物体に自動的にピント露出を合せるために非常に有用である。ここで、顔検出機能は、入力画像から抽出した数多くの検出ウインドウを予め膨大な数の顔画像を用いて学習した辞書データと照合することによって実現されている。

近年、このような顔検出機能に対して、二つの機能拡張が期待されている。一つは、検出対象を人の顔に限らず、例えば、といったペットを検出する機能である。また、一方では、この機能を応用して検出した顔(あるいは、その他の物体)の領域を切り出したいという要望がある。

前者の要望に対しては、予め検出対象とする物体画像登録して物体辞書データ更新する方法が特許文献1に開示されている。一方、後者の要望に対しては、特定の物体に対して、その物体領域を表すマスク(以下、マスクデータと称す)を画像データと共に事前に学習して物体領域を自動的に切り出す方法が非特許文献1に開示されている。

概要

登録した物体に対して入力画像から精度良く物体を検出して物体領域を切り出すことができるようにする。登録画像の物体領域から抽出した画像特徴と入力画像の候補領域から抽出した画像特徴との照合を行う際に、入力画像を分割した小領域または隣接する小領域を統合した領域を候補領域として複数照合を行うようにする。更に、マスクデータから形状特徴を抽出して、画像特徴だけでなく形状特徴も用いて照合するようにして、入力画像の候補領域の境界物体境界と一致するときに照合時に背景画像の影響をなくし、高精度に認識を行うことができるようにする。

目的

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

物体を含む画像を取得する画像取得手段と、前記画像取得手段によって取得された画像を複数の小領域に分割する分割手段と、前記分割手段によって分割された小領域から、前記物体の領域の候補となる複数の候補領域を取得する候補領域取得手段と、前記候補領域取得手段によって取得された候補領域から特徴量を抽出する抽出手段と、前記抽出手段によって抽出された特徴量を、候補領域ごとに予め登録されている物体情報と照合する照合手段と、前記照合手段による照合結果を出力する出力手段とを備えることを特徴とする画像処理装置

請求項2

前記分割手段によって分割された隣接する複数の小領域を統合する統合手段をさらに備え、前記候補領域取得手段は、前記分割手段によって分割された小領域または前記統合手段によって統合された領域を候補領域とすることを特徴とする請求項1に記載の画像処理装置。

請求項3

前記画像取得手段によって取得された画像の物体領域を入力する入力手段と、前記入力手段によって入力された物体領域に基づいて前記物体情報を学習する学習手段とをさらに備え、前記抽出手段は、前記入力手段によって入力された物体領域から特徴量を抽出し、前記学習手段は、前記入力された物体領域から抽出された特徴量を用いて前記物体情報を学習することを特徴とする請求項1又は2に記載の画像処理装置。

請求項4

前記物体情報は、特徴量または該特徴量の統計量を含むことを特徴とする請求項3に記載の画像処理装置。

請求項5

前記画像取得手段は、動画像から複数の画像を取得し、前記学習手段は、前記複数の画像を用いて学習することを特徴とする請求項3又は4に記載の画像処理装置。

請求項6

前記抽出手段は、前記候補領域の画像特徴及び形状特徴を含む特徴量を抽出することを特徴とする請求項1〜5の何れか1項に記載の画像処理装置。

請求項7

前記物体情報を記憶する記憶手段をさらに備えることを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。

請求項8

物体を含む画像を取得する画像取得工程と、前記画像取得工程において取得された画像を複数の小領域に分割する分割工程と、前記分割工程において分割された小領域から、前記物体の領域の候補となる複数の候補領域を取得する候補領域取得工程と、前記候補領域取得工程において取得された候補領域から特徴量を抽出する抽出工程と、前記抽出工程において抽出された特徴量を、候補領域ごとに予め登録されている物体情報と照合する照合工程と、前記照合工程による照合結果を出力する出力工程とを備えることを特徴とする画像処理方法

請求項9

物体を含む画像を取得する画像取得工程と、前記画像取得工程において取得された画像を複数の小領域に分割する分割工程と、前記分割工程において分割された小領域から、前記物体の領域の候補となる複数の候補領域を取得する候補領域取得工程と、前記候補領域取得工程において取得された候補領域から特徴量を抽出する抽出工程と、前記抽出工程において抽出された特徴量を、候補領域ごとに予め登録されている物体情報と照合する照合工程と、前記照合工程による照合結果を出力する出力工程とをコンピュータに実行させることを特徴とするプログラム

技術分野

0001

本発明は、特に、物体を検出するために用いて好適な画像処理装置画像処理方法及びプログラムに関する。

背景技術

0002

従来、デジタルスチルカメラカムコーダ等において、撮影中の画像から人の顔を検出する機能が知られている。このような顔検出機能は、撮影対象の物体に自動的にピント露出を合せるために非常に有用である。ここで、顔検出機能は、入力画像から抽出した数多くの検出ウインドウを予め膨大な数の顔画像を用いて学習した辞書データと照合することによって実現されている。

0003

近年、このような顔検出機能に対して、二つの機能拡張が期待されている。一つは、検出対象を人の顔に限らず、例えば、といったペットを検出する機能である。また、一方では、この機能を応用して検出した顔(あるいは、その他の物体)の領域を切り出したいという要望がある。

0004

前者の要望に対しては、予め検出対象とする物体画像登録して物体辞書データ更新する方法が特許文献1に開示されている。一方、後者の要望に対しては、特定の物体に対して、その物体領域を表すマスク(以下、マスクデータと称す)を画像データと共に事前に学習して物体領域を自動的に切り出す方法が非特許文献1に開示されている。

0005

特開2011−86261号公報

先行技術

0006

Luca Bertelli, Tianli Yu, Diem Vu, and Burak Gokturk. Kernelized StructuralSVM Learning for Supervised Object Segmentation. Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition, 2011
Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk. SLIC Superpixels. EPFLTechnical Report 149300, June 2010
P. Felzenszwalb and D. Huttenlocher, Efficient graph-based image segmentation. International Journal of Computer Vision. 2004
Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2005
D. Tax and R. Duin. Support Vector Data Description. Machine Learning, 54(1):45-66, 2004
D. G. Lowe. Distinctive image features from scale-invariant key points. Proc. of Int. Journal of Computer Vision , 2004

発明が解決しようとする課題

0007

しかしながら、検出対象の形状は多種多様であり、従来の矩形の検出ウインドウでは検出対象の形状によっては検出ウインドウ中に背景の占める領域の割合が大きくなってしまう。そのため、単純に特許文献1の方法を適用すると背景画像の影響を受けて認識精度が低下する場合があるといった問題がある。これに対して、非特許文献1に開示されている方法では、物体領域を表すマスクを用いているが、予め特定の物体に対して物体の画像データおよびマスクデータを用いて学習しておく必要がある。このため、登録時に指定した物体に対して物体領域を切り出すことができない。

0008

本発明は前述の問題点に鑑み、登録した物体に対して入力画像から精度良く物体を検出して物体領域を切り出すことができるようにすることを目的としている。

課題を解決するための手段

0009

本発明に係る画像処理装置は、物体を含む画像を取得する画像取得手段と、前記画像取得手段によって取得された画像を複数の小領域に分割する分割手段と、前記分割手段によって分割された小領域から、前記物体の領域の候補となる複数の候補領域を取得する候補領域取得手段と、前記候補領域取得手段によって取得された候補領域から特徴量を抽出する抽出手段と、前記抽出手段によって抽出された特徴量を、候補領域ごとに予め登録されている物体情報と照合する照合手段と、前記照合手段による照合結果を出力する出力手段とを備えることを特徴とする。

発明の効果

0010

本発明によれば、登録した物体に対して入力画像から精度良く物体を検出して物体領域を切り出すことができる。

図面の簡単な説明

0011

本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
本発明の実施形態に係る画像処理装置による認識対象登録手順の一例を示すフローチャートである。
物体領域を入力する詳細な処理手順の一例を示すフローチャートである。
領域分割結果境界重畳した画像の一例を示す図である。
画像特徴を抽出する詳細な処理手順の一例を示すフローチャートである。
外接矩形を分割した複数のセルの一例を示す図である。
本発明の実施形態に係る画像処理装置による照合手順の一例を示すフローチャートである。
入力画像を分割した結果の一例を示す図である。
本発明の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。

実施例

0012

以下、本発明に係る実施形態について図面に基づいて説明する。
図9は、本実施形態に係る画像処理装置10のハードウェア構成例を示すブロック図である。
図9において、画像処理装置10は、CPU(Central Processing Unit)1、記憶装置2、入力装置3、及び出力装置4を含んで構成されている。なお、各装置は、互いに通信可能に構成され、バス等により接続されている。

0013

CPU1は、画像処理装置10の動作をコントロールし、記憶装置2に格納されたプログラムの実行等を行う。記憶装置2は、磁気記憶装置半導体メモリ等のストレージデバイスであり、CPU1の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、CPU1が、記憶装置2に格納されたプログラムの手順に従って処理を行うことによって、画像処理装置10における機能及び後述するフローチャートに係る処理が実現される。

0014

入力装置3は、マウスキーボードタッチパネルデバイス、ボタン等であり、各種の指示を入力する。出力装置4は、液晶パネル外部モニタ等であり、各種の情報を出力する。なお、画像処理装置10のハードウェア構成は、上述した構成に限られるものではない。例えば、画像処理装置10は、各種の装置間で通信を行うためのI/O装置を備えてもよい。この場合、I/O装置は、メモリーカードUSBケーブル等の入出力部、有線無線等による送受信部である。また、例えば、画像処理装置10は、CCD(Charge Coupled Devices)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有するカムコーダ等の撮像装置を備えてもよい。

0015

図1は、本実施形態に係る画像処理装置10の機能構成例を示すブロック図である。本実施形態に係る画像処理装置10の処理及び機能は、図1に示す各部により実現される。
図1において、画像取得部100は、カメラ等の撮像装置で生成された画像データを取得する。領域分割部110は、画像取得部100で取得した画像データを隣接した類似画素からなる複数の小領域に分割する。領域統合部120は、領域分割部110で分割した隣接する複数の小領域を統合する。

0016

候補領域取得部130は、領域分割部110で分割した小領域または領域統合部120で統合した領域から物体領域の候補となる領域を取得する。また、候補領域取得部130は後述する物体領域入力部200で入力した物体領域を候補領域として取得する。画像特徴抽出部140は、候補領域取得部130で取得した候補領域から画像データに係る物体を認識するための特徴量(以下、画像特徴と称す)を抽出する。形状特徴抽出部150は、候補領域取得部130で取得した候補領域のマスクデータに係る物体を認識するための特徴量(以下、形状特徴と称す)を抽出する。

0017

物体情報学習部160は、画像特徴抽出部140で抽出した画像特徴および形状特徴抽出部150で抽出した形状特徴を用いて物体情報を学習する。物体情報記憶部170は、物体情報学習部160で学習した物体情報を記憶するメモリである。物体情報照合部180は、画像特徴抽出部140で抽出した画像特徴および形状特徴抽出部150で抽出した形状特徴を物体情報記憶部170に記憶されている物体情報と照合する。

0018

結果統合出力部190は、物体情報照合部180で照合した複数の結果を統合して出力する。例えば、物体情報照合部180で認識対象の物体領域であると判別された候補領域を他の領域と区別できるように出力装置4に表示する。物体領域入力部200は、画像取得部100で取得した登録画像の物体領域を、入力装置3を介して入力する。

0019

以下、本実施形態の動作について説明する。まず、図2を参照しながら、認識対象を登録する際の処理の流れを説明する。本実施形態では検出対象の登録を一連動画像を用いて行う。

0020

図2は、本実施形態に係る画像処理装置10による認識対象の登録手順の一例を示すフローチャートである。
まず、画像取得部100は、カメラ等の撮像装置で認識対象を撮像した動画像から1フレーム分の画像データを登録画像として取得する(S201)。ここで取得する画像データはRGBの3つの色成分から成るカラー画像である。さらに、本実施形態では、RGBデータ輝度データに変換し、輝度画像データを以後の処理に適用する。

0021

次に、領域分割部110は、画像取得部100で取得した登録画像を隣接した類似画素からなる複数の小領域に分割する(S202)。ここで、登録画像を小領域に分割する方法としては、クラスタリンググラフ表現による公知の方法を用いる(非特許文献2及び3参照)。

0022

次に、物体領域入力部200は、画像取得部100で取得した登録画像の物体領域を、入力装置3を介して入力する(S203)。本実施形態では、ユーザが出力装置4に出力された画像データおよび領域分割部110の領域分割結果を見ながら、ユーザの操作により入力装置3を介して物体領域を入力する。詳細については後述する。

0023

次に、候補領域取得部130は、物体領域入力部200で得た物体領域を所定のデータ形式に変換し、保存する(S204)。具体的には、S203で入力された物体領域を囲む外接矩形を設定し、矩形内のマスクデータを所定のサイズ(例えば、100×100画素)に変換し、2値データとして保存する。

0024

次に、画像特徴抽出部140は、候補領域取得部130で取得した物体領域から画像特徴を抽出し、記憶装置2に記憶する(S205)。本実施形態では画像特徴としてHOG(Histogram of Oriented Gradients、非特許文献4参照)特徴量を抽出する。詳細については後述する。

0025

次に、形状特徴抽出部150は、候補領域取得部130で取得した物体領域の形状特徴を抽出し、記憶装置2に記憶する(S206)。本実施形態では、候補領域取得部130で取得した2値のマスクデータを1次元配列とし、形状特徴を表す特徴ベクトルとして抽出する。この他、2値画像モーメントを抽出し、形状特徴としてもよい。

0026

続いて、S201〜S206の処理を動画像のフレーム数分行ったか否かを判定する(S207)。この判定の結果、まだ処理を行っていないフレームが存在する場合はS201へ戻り、処理を繰り返す。

0027

一方、S207の判定の結果、動画像の数フレーム分の処理が終了した場合は、物体情報学習部160は、画像特徴抽出部140で抽出した画像特徴および形状特徴抽出部150で抽出した形状特徴を用いて物体情報を学習する(S208)。具体的には記憶装置2から画像特徴および形状特徴を読み出し、画像特徴および形状特徴の夫々について、SVDD(Support Vector Data Description、非特許文献5参照)による物体情報の学習を行う。SVDDは識別対象複数サンプルから対象が属するクラスを、超球を用いて表現し、学習を行う方法である。詳細については後述する。そして、物体情報学習部160は、学習結果を物体情報記憶部170に保存する(S209)。

0028

(物体領域入力処理の詳細)
図3は、S203において物体領域入力部200が物体領域を入力する詳細な処理手順の一例を示すフローチャートである。
まず、出力装置4に認識対象の物体が写っている画像データに領域分割結果の境界を重畳した画像を表示する(S301)。図4(a)に表示画像の一例を示す。

0029

次に、物体境界がこれで良いかどうかを確認するための画面を出力装置4に表示し、ユーザの操作により「YES」の指示が入力装置3から入力されたか否かを判定する(S302)。この判定の結果、ユーザの操作により「NO」の指示が入力された場合は、その後のユーザの操作によって指示された物体境界を入力する(S304)。この処理では、ユーザが表示された画像を見ながら入力装置3によって物体境界を入力する。そして、領域分割部110は、ユーザによって入力された物体境界を領域分割結果に反映させる(S305)。この処理では、領域分割部110の処理結果のうち、ユーザが指定した境界を含む小領域が境界に沿って分割される。境界入力後、処理をS301に移し、所望の物体境界が得られるまで処理が繰り返される。

0030

一方、S302の判定の結果、「YES」の指示が入力された場合は、物体領域がこれで良いかどうかを確認するための画面を出力装置4に表示し、ユーザの操作により「YES」の指示が入力装置3から入力されたか否かを判定する(S303)。表示画像では物体領域と背景領域とが区別して表示され、初期状態では全ての小領域が背景領域となっている。ユーザは表示された画像を見て物体領域が正しいか否かの判定結果を入力装置3によって入力する。

0031

S303の判定の結果、ユーザの操作により「YES」の指示が入力された場合は、物体領域入力処理を終了する。一方、ユーザの操作により「NO」の指示が入力された場合は、処理をS306に移す。そして、ユーザの操作に応じて物体領域のうち背景領域として表示されている領域(すなわち、修正が必要な領域)を入力装置3によって指定する(S306)。そして、S306の入力に従ってマスクデータを作成する(S307)。マスクデータは画像データ、物体境界と共に出力装置4に表示される。図4(b)には、マスクデータを含む表示画像の一例を示す。その後、処理をS303に移し、物体領域が正しく入力されるまで処理が繰り返される。

0032

(画像特徴抽出処理の詳細)
図5は、図2のS205における画像特徴抽出部140による画像特徴を抽出する詳細な処理手順の一例を示すフローチャートである。
まず、候補領域取得部130で設定した外接矩形を複数のセルに分割する(S501)。例えば、図6に示すように縦横4×4のセルに分割し、以降、ここで分割した各セルについて特徴抽出処理を行う。

0033

次に、セル内の1つの画素を選択する(S502)。そして、選択した画素について、候補領域取得部130で取得したマスクデータを参照し、該当する画素が物体領域内の画素かどうかを判定する(S503)。この判定の結果、該当する画素が物体領域内の画素でない場合はS502に戻り、次の画素を選択する。一方、該当する画素が物体領域内の画素である場合は、以下のS504〜S505において特徴抽出処理を行う。

0034

まず、画像特徴抽出部140は、物体領域内の画素について水平、垂直方向輝度勾配を算出し、算出した輝度勾配から勾配強度および方向を求める(S504)。さらに、画像特徴抽出部140は、求めた勾配方向からヒストグラム階級を求め、求めた階級に相当するビンに勾配強度を加算する(S505)。

0035

次に、すべてのセル内のすべての画素について選択したか否かを判定する(S506)。この判定の結果、まだ選択していない画素がある場合はS502に戻り、処理を繰り返す。セル内の全画素について処理を繰り返すと、セル内の物体領域の画像データに対してヒストグラム特徴を得ることができる。このとき、例えば図6のセルCについては、斜線部で示した物体領域内の画素からのみ画像特徴が抽出される。

0036

一方、S506の判定の結果、すべてのセル内のすべての画素について選択した場合、すなわち、全てのセルについてヒストグラム特徴を得た場合は、抽出したヒストグラム特徴をセルの数だけ結合して物体領域の画像特徴とする(S507)。なお、本実施形態では、HOG特徴量を抽出する例を示したが、他の方法によって画像特徴を抽出してもよい。また、マスクデータを参照して物体領域内の画素から特徴量を抽出するのであれば、HOG特徴量以外の、例えば、SIFT(非特許文献6参照)、色ヒストグラム等を抽出するようにしてもよい。

0037

(物体情報学習処理の詳細)
以下、図2のS208における物体情報の学習処理のうち、画像特徴を学習する処理について説明する。画像特徴抽出部140で抽出した複数の特徴量はSVDDにおける訓練サンプル集合であり、訓練サンプルをxi(i=1,・・・,N:Nはサンプル数)とする。SVDDでは、以下の(1)式に示す2次計画問題を解いて、訓練サンプルを包含する最小半径の超球を求める。

0038

0039

ここで、Rは超球の半径、aは超球の中心、ξiはスラック変数、Φは高次特徴空間への非線形写像、Cは超球の体積と超球の外側のサンプル数とのトレードオフを制御するパラメータである。ラグランジュ乗数αi≧0を導入すると、(1)式は以下の(2)式を解く問題として表すことができる。

0040

0041

ここで、K(xi,xj)=(Φ(xi),Φ(xj))はカーネル関数である。(2)式を満たす係数αiのうち、非ゼロの係数に対応するサンプルで球体を表すことができ、SVDDではこれらの訓練サンプルをサポートベクター(境界サンプル)として抽出する。このとき、入力サンプルzの超球の中心からの距離をRzとすると、以下の(3)式が成り立つ。

0042

0043

但し、NSVは抽出したサポートベクターの数、Σは抽出したサポートベクターに対する総和を表す。

0044

次に、画像特徴を学習する場合の具体的な処理手順を以下に示す。まず、画像特徴抽出部140が抽出した複数のヒストグラム特徴からHIK(Histogram Intersection Kernel)を計算する。HIKは以下の(4)式により求める。

0045

0046

ここで、xil,xjlは夫々、特徴量xi,xjのl番目の特徴、dは特徴量の次元、min()は小さい方の値を返す関数である。本実施形態ではこのようにSVDDのカーネル関数としてHIKを用いる。

0047

次に、求めた特徴量同士のHIKの値からSVDDによって境界サンプルを判別する。すなわち、前記(2)式を満たす係数αiのうち非ゼロの係数に対応する訓練サンプルをサポートベクター(境界サンプル)として判別する。図2のS209の物体情報保存処理においては、境界サンプルとして判別した訓練サンプルxi、および、係数αiを物体情報として物体情報記憶部170に保存する。なお、形状特徴を学習する場合には前記訓練サンプルxiに形状特徴を割り当てるものとする。

0048

次に、図7を参照しながら、登録した物体を認識した後に入力画像から物体領域を切り出す際の処理の流れについて説明する。
図7は、本実施形態に係る画像処理装置10による照合手順の一例を示すフローチャートである。
まず、画像取得部100は、認識対象を撮像した画像を入力画像として取得する(S701)。そして、領域分割部110は画像取得部100で取得した入力画像を隣接した類似画素からなる複数の小領域に分割する(S702)。S701およびS702の処理は、それぞれ登録時の処理である図2のS201、S202に準じる。

0049

次に、領域統合部120は、領域分割部110で分割した隣接する複数の小領域を統合する(S703)。以下、領域統合部120の処理内容について図8を用いて説明する。

0050

図8(a)は、領域分割部110で入力画像を分割した結果の一例を示す図である。領域統合部120では、例えば、図8(a)に示す領域A0に対して隣接する領域A1を統合して一つの領域A01とする。この他、領域A0に領域A2を統合して一つの領域A02としたり、統合した領域A01に領域A2を統合して一つの領域A012としたりするなど、統合する小領域の数、統合後の領域のサイズに限定を設けて様々な組合せで領域を統合する。これらの統合した領域には、図8(b)に示すような、登録時に図4(b)で指定した物体領域に相当する領域も含まれる。

0051

次に、候補領域取得部130は、領域分割部110で分割した小領域または領域統合部120で統合した領域から物体領域の候補となる領域を一つ取得する(S704)。このS704の処理は、登録時の処理である図2のS204に準じる。そして、画像特徴抽出部140は、候補領域取得部130で取得した物体領域から画像特徴を抽出し(S705)、形状特徴抽出部150は、候補領域取得部130で取得した物体領域の形状特徴を抽出する(S706)。このS705およびS706の処理は、それぞれ登録時の処理である図2のS205、S206に準じる。

0052

次に、物体情報照合部180は、画像特徴抽出部140で抽出した画像特徴および形状特徴抽出部150で抽出した形状特徴を、物体情報記憶部170に記憶されている物体情報と照合する(S707)。抽出した画像特徴をzとし、物体情報記憶部170に記憶されている登録画像の画像特徴から得た物体情報xiおよびαiを用いて前記(3)式によって左辺の値Rz2を得る。同様に、抽出した形状特徴と物体情報記憶部170に記憶されている登録画像の形状特徴から得た物体情報とから前記(3)式によって左辺の値Rz2を得る。そして、求めた2つの値を夫々画像特徴の照合度Sg、形状特徴の照合度SSとして、以下の(5)式によって登録物体との照合度Sを得る。

0053

0054

但し、wgおよびwSは適切な照合結果を得るための重み係数である。

0055

次に、すべての候補領域について照合を終了したか否かを判定する(S708)。この判定の結果、まだ終了していない場合はS704に戻り、処理を繰り返す。一方、すべての候補領域について照合を終了した場合は、結果統合出力部190は、物体情報照合部180で照合した複数の結果を統合して出力する(S709)。具体的には、S707で求めた照合度Sのうち、所定の値以上かつ最も高い照合度に対応する候補領域を求める。そして、求めた候補領域のマスクデータを利用して物体領域を切り出し、出力する。

0056

以上説明したように本実施形態によれば、登録画像の物体領域から抽出した画像特徴と入力画像の候補領域から抽出した画像特徴との照合を行うようにした。このとき、入力画像を分割した小領域または隣接する小領域を統合した領域を候補領域として複数照合を行うようにした。これにより、入力画像の候補領域の境界が物体境界と一致するときに照合時に背景画像の影響をなくすることができ、精度良く物体を検出することができる。また、候補領域のマスクデータを利用して検出時に物体領域を切り出すことができる。更に、マスクデータから形状特徴を抽出して、画像特徴だけでなく形状特徴も用いて照合できるので高精度に認識を行うことが可能である。また、本実施形態では、動画像から複数の画像データおよび物体領域を入力して物体情報を学習するので高精度に認識することが可能である。

0057

(その他の実施形態)
前述した実施形態では、物体情報を学習する際のカーネル関数としてHIKを用いるようにしたが、その他のカーネル関数、例えばガウシアンカーネルを用いてもよいし、線形カーネルを用いてもよい。また、HIKや線形カーネルを用いる場合には、学習した物体情報として、そのまま境界サンプルとして判別した訓練サンプルでなく、訓練サンプルを集約した統計量を保存するようにしてもよい。この場合、物体情報照合処理において訓練サンプルごとのカーネル関数の計算((3)式右辺の第二項)を、統計量を用いての計算に置き換え可能となり、処理量が削減できる。

0058

また、前述した実施形態では物体情報を学習する際に1クラス学習の一つであるSVDDを用いるようにしたが、SVM(Support Vector Machine)のような2クラス判別を行う学習方法を用いてもよい。この場合、登録時に物体領域として入力した領域以外の領域から画像特徴および形状特徴を抽出して学習するようにする。また、入力画像で照合処理を行った結果を用いて物体情報の追加学習を行うようにしてもよい。例えば、物体情報照合部180で求めた画像特徴の照合度が所定値以上のものをSVDDの訓練サンプルに追加して再学習を行う。同様にして形状特徴の照合度が所定値以上のものをSVDDの訓練サンプルに追加して再学習を行う。

0059

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0060

100画像取得部
110領域分割部
130候補領域取得部
140画像特徴抽出部
180物体情報照合部
190 結果統合出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 株式会社NGRの「 パターンマッチング方法」が 公開されました。( 2020/09/24)

    【課題】正しいマッチング位置を決定することができるパターンマッチング方法を提供する。【解決手段】パターンマッチング方法は、画像200上のパターンと、対応するCADパターン210とのマッチングを実施し、... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ