図面 (/)

技術 画像処理装置及び画像処理方法

出願人 株式会社東芝東芝デバイス&ストレージ株式会社
発明者 押切亮
出願日 2018年8月22日 (2年4ヶ月経過) 出願番号 2018-155674
公開日 2020年2月27日 (10ヶ月経過) 公開番号 2020-030598
状態 未査定
技術分野 イメージ分析
主要キーワード 対称物体 パターンマッチング回路 前方監視システム 形状差 認識結果情報 学習用画像データ 最終スコア OG特徴量
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年2月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

向きによる形状差が顕著な物体を安定して検出することができる画像処理装置を提供することである。

解決手段

実施形態の画像処理装置は、辞書部と、パターンマッチング回路と、を有する。辞書部は、複数の分割領域の各領域の特徴量を有する辞書と、前記複数の分割領域の各領域を反転させた特徴量を有する反転辞書とを備える、または、前記複数の分割領域の各領域の特徴量を有する辞書を備える。パターンマッチング回路は、入力画像に対して前記辞書を適用した際の第1のスコアと、前記入力画像に対して前記反転辞書を適用した際の第2のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第3のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第4のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定する。

概要

背景

従来、従来の画像処理装置は、1つの辞書を用いて物体の検出を行う場合、向きによる形状差が顕著な物体を検出する際の精度が低下するという問題があった。

概要

向きによる形状差が顕著な物体を安定して検出することができる画像処理装置を提供することである。実施形態の画像処理装置は、辞書部と、パターンマッチング回路と、を有する。辞書部は、複数の分割領域の各領域の特徴量を有する辞書と、前記複数の分割領域の各領域を反転させた特徴量を有する反転辞書とを備える、または、前記複数の分割領域の各領域の特徴量を有する辞書を備える。パターンマッチング回路は、入力画像に対して前記辞書を適用した際の第1のスコアと、前記入力画像に対して前記反転辞書を適用した際の第2のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第3のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第4のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定する。

目的

特開2012−221070号公報






実施形態の課題は、向きによる形状差が顕著な物体を安定して検出することができる画像処理装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の分割領域の各領域の特徴量を有する辞書と、前記複数の分割領域の各領域を反転させた特徴量を有する反転辞書とを備える、または、前記複数の分割領域の各領域の特徴量を有する辞書を備える、辞書部と、入力画像に対して前記辞書を適用した際の第1のスコアと、前記入力画像に対して前記反転辞書を適用した際の第2のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第3のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第4のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定するパターンマッチング回路と、を有することを特徴とする画像処理装置

請求項2

前記パターンマッチング回路は、前記第1のスコアと前記第2のスコアとの最大値、あるいは、平均値を最終的なスコアとし、前記入力画像に含まれる所定の対象物を判定することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記パターンマッチング回路は、前記第3のスコアと前記第4のスコアとの最大値、あるいは、平均値を最終的なスコアとし、前記入力画像に含まれる所定の対象物を判定することを特徴とする請求項1に記載の画像処理装置。

請求項4

前記各領域の特徴量は、向き情報を有し、前記反転辞書は、前記向き情報を反転させたことを特徴とする請求項1に記載の画像処理装置。

請求項5

前記反転辞書は、前記複数の分割領域の各領域の特徴量を左右方向に反転させたことを特徴とする請求項1に記載の画像処理装置。

請求項6

複数の分割領域の各領域の特徴量を有する辞書から前記各領域を反転させた特徴量を有する反転辞書を作成するステップと、入力画像に対して前記辞書を適用した際の第1のスコアと、前記入力画像に対して前記反転辞書を適用した際の第2のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第3のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第4のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定するステップと、を有することを特徴とする画像処理方法

技術分野

0001

実施の形態は、画像処理装置及び画像処理方法に関する。

背景技術

0002

従来、従来の画像処理装置は、1つの辞書を用いて物体の検出を行う場合、向きによる形状差が顕著な物体を検出する際の精度が低下するという問題があった。

先行技術

0003

特開2012−221070号公報

発明が解決しようとする課題

0004

実施形態の課題は、向きによる形状差が顕著な物体を安定して検出することができる画像処理装置を提供することを目的とする。

課題を解決するための手段

0005

実施形態の画像処理装置は、辞書部と、パターンマッチング回路と、を有する。辞書部は、複数の分割領域の各領域の特徴量を有する辞書と、前記複数の分割領域の各領域を反転させた特徴量を有する反転辞書とを備える、または、前記複数の分割領域の各領域の特徴量を有する辞書を備える。パターンマッチング回路は、入力画像に対して前記辞書を適用した際の第1のスコアと、前記入力画像に対して前記反転辞書を適用した際の第2のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第3のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第4のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定する。

図面の簡単な説明

0006

第1の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
複数の分割領域を左右方向に反転させた一例を示す図である。
画像処理装置が搭載される対象の例を示す図である。
辞書を作成する処理の流れの一例を示すフローチャートである。
反転辞書を作成する処理の流れの一例を示すフローチャートである。
対象物を認識する処理の流れの一例を示すフローチャートである。
第2の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
対象物を認識する処理の流れの一例を示すフローチャートである。
対称物体及び非対称物体の一例を説明するための図である。

実施例

0007

以下、図面を参照して実施形態について詳細に説明する。

0008

(第1の実施形態)
まず、図1に基づき、第1の実施形態に係る画像処理装置の構成について説明する。図1は、第1の実施形態に係る画像処理装置の構成の一例を示すブロック図である。

0009

図1に示すように、画像処理装置1は、画像信号を受信するインターフェース回路(以下、I/Fと略す)11と、画像取得回路12と、中央処理装置(以下、CPUと)13と、DRAM14、ROM15と、辞書作成部16と、反転辞書作成部17と、画像処理プロセッサ18と、パターンマッチング回路19と、I/F20と、バス21とを有して構成されている。画像取得回路12、CPU13、DRAM14、ROM15、辞書作成部16、反転辞書作成部17、画像処理プロセッサ18、パターンマッチング回路19、及び、I/F20は、バス21に接続され、互いにデータの送受信が可能になっている。

0010

画像処理装置1は、例えば自動車(以下、車という)などに搭載されたカメラC1からの画像信号を入力し、所定の画像認識処理を行って、認識結果情報を出力する半導体装置である。

0011

I/F11は、カメラC1からシリアル伝送される画像信号を入力し、画像信号を画像取得回路12へ出力する。

0012

画像取得回路12は、CPU13による制御の下、I/F11からの画像信号を取得して、DRAM14に格納する。DRAM14に格納された画像信号は、バス21を介してCPU13及び画像処理プロセッサ18に入力される。

0013

CPU13は、取得された画像信号に対して所定の出力信号を出力するように、画像処理装置1内の各回路を制御する制御回路である。また、CPU13は、ROM15に格納された所定の動作プログラムを実行することにより、画像処理全体の処理、及び、後述する物体の検出処理等を行う。

0014

DRAM14は、画像信号を格納したり、各回路の処理結果のデータを格納したりするための主メモリである。なお、ここでは、DRAM14は、画像処理装置1の半導体チップ内に含まれているが、画像処理装置1の半導体チップとは別のチップで、バス21に接続されていてもよい。

0015

ROM15には、辞書を作成するための学習用画像データ群22が格納されている。辞書作成部16は、ROM15の学習用画像データ群22の画像データを複数の領域に分割し、複数の分割領域毎のHOGを算出し、識別の基準となる辞書23を作成し、DRAM14に格納する。複数の分割領域毎の特徴量は、各分割領域に含まれる画素から得られるエッジ及び色の情報を含むヒストグラムであるHOG(Histograms of Oriented Gradients)特徴量である。

0016

反転辞書作成部17は、辞書23の複数の分割領域を反転させた特徴量を有する反転辞書24を作成し、DRAM14に格納する。ここでは、反転辞書24は、辞書23の複数の分割領域の各領域の特徴量を左右方向に反転させている。本実施形態では、DRAM14に格納された辞書23及び反転辞書24が辞書部を構成する。

0017

図2は、複数の分割領域を左右方向に反転させた一例を示す図である。
図2に示すように、辞書23の複数の分割領域を分割領域A、B、C及びDとした場合、複数の分割領域A、B、C及びDの各領域の特徴量を左右方向に反転させる。ここで、反転辞書24を作成する際、例えば分割領域Dの特徴量(HOG特徴量)に向き情報が含まれる場合、領域が反転するようにヒストグラムを並び替えるとともに、向き情報を反転する。一方、反転辞書24を作成する際、特徴量に向き情報が含まれない場合、領域が反転するようにヒストグラムを並び替える。なお、反転する方向は、左右方向に限定されることなく、例えば、上下方向、あるいは、上下左右方向に反転してもよい。

0018

なお、本実施形態では、学習用画像データ群22はROM15に格納されているが、これに限定されることなく、例えば、外部メモリに格納されていてもよい。この場合、辞書作成部16は、I/F20及びバス21を介して外部メモリから学習用画像データ群22を取り込み、辞書23を作成する。

0019

また、本実施形態では、画像処理装置1は、辞書23及び反転辞書24を作成する処理を行っているが、これに限定されることなく、例えば、外部装置事前に辞書23及び反転辞書24を作成し、外部装置によって作成された辞書23及び反転辞書24をROM15に予め格納するように構成してもよい。この場合、画像処理装置1は、辞書作成部16及び反転辞書作成部17を備えていなくてもよい。

0020

画像処理プロセッサ18は、DRAM14から画像信号(カメラC1の画像)の所定領域を入力画像として検出し、入力画像を複数の領域に分割し、複数の領域毎の特徴量を求めた入力画像をパターンマッチング回路19に出力する。

0021

パターンマッチング回路19は、所定の対象物を認識するための回路である。パターンマッチング回路19は、複数の領域毎の特徴量を求めた入力画像に対して辞書23及び反転辞書24を適用し、それぞれのスコアを算出する。パターンマッチング回路19は、入力画像に辞書23を適用したスコアと、入力画像に反転辞書24を適用したスコアとに基づいて、スコア判定を行い、例えば人、車などの対象物を判定し、判定結果をDRAM14に出力する。

0022

より具体的には、パターンマッチング回路19は、入力画像に辞書23を適用したスコアと、入力画像に反転辞書24を適用したスコアとの最大値、あるいは、平均値を最終的なスコアとし、スコア判定を行う。これにより、画像処理装置1は、向きによる形状差が顕著な物体を安定して検出することができる。

0023

I/F18は、他のシステムとのネットワーク(N/W)等に接続されている。I/F18は、パターンマッチング回路19のマッチング結果を出力する回路である。I/F18を介して、人などの認識された対象の情報、認識された対象までの距離の情報が出力される。ネットワークには、例えば車の制御装置が接続されている。車の制御装置は、画像処理装置1からの情報を用いて車の制御を行う。

0024

図3は、画像処理装置が搭載される対象の例を示す図である。
画像処理装置1は、ここでは車Xに、前方監視システムの一部として搭載される。車Xには、画角θ1の光学系を有するカメラC1が搭載され、カメラC1からの画像信号が画像処理装置1に入力される。カメラC1は、車Xの前方の障害物、横からの人の飛び出し、交通標識などを検知するために用いられる。

0025

次に、画像処理装置1の動作について説明する。
まず、辞書23及び反転辞書24を作成する処理について説明する。
図4は、辞書を作成する処理の流れの一例を示すフローチャートである。図4の処理は、CPU13の制御の下、辞書作成部16によって行われる。

0026

辞書作成部16は、CPU13の制御の下、ROM15から学習用画像データ群22を取得する(S1)。なお、辞書作成部16は、外部メモリから学習用画像データ群22を取得してもよい。

0027

次に、辞書作成部16は、学習用画像データ群22を学習し(S2)、辞書23を作成する(S3)。ここでは、辞書作成部16は、学習用画像データ群22の画像データを複数の領域に分割し、分割した領域毎に特徴量を算出する。辞書作成部16は、作成した辞書23をバス21を介してDRAM14に出力し、DRAM14に格納する。

0028

図5は、反転辞書を作成する処理の流れの一例を示すフローチャートである。図5の処理は、CPU13の制御の下、反転辞書作成部17によって行われる。

0029

反転辞書作成部17は、CPU13の制御の下、DRAM14から辞書23を取得する(S11)。反転辞書作成部17は、辞書23を反転し(S12)、反転辞書24を作成する(S13)。ここでは、辞書23の複数の領域に分割された特徴量を、例えば左右方向に反転した反転辞書24が作成される。反転辞書作成部17は、作成した反転辞書24をバス21を介してDRAM14に出力し、DRAM14に格納する。

0030

次に、辞書23及び反転辞書24を用いて対象物を認識する処理について説明する。
図6は、対象物を認識する処理の流れの一例を示すフローチャートである。図6の処理は、CPU13の制御の下、画像処理装置1全体で行われる。

0031

画像取得回路12は、CPU13の制御の下、カメラC1の画像の所定領域である入力画像を取得する(S21)。画像処理プロセッサ18は、CPU13の制御の下、入力画像を複数の領域に分割し、分割した複数の領域毎の特徴量を算出する(S22)。

0032

パターンマッチング回路19は、CPU13の制御の下、複数の領域毎の特徴量が算出された入力画像に対して辞書23を適用してスコアを算出する(S23)。また、パターンマッチング回路19は、複数の領域毎の特徴量が算出された入力画像に対して反転辞書24を適用してスコアを算出する(S24)。例えば、パターンマッチング回路19として、複数の辞書を同時に適用することができるHOX(Histograms of Oriented X)アクセラレータを用いることで、S23及びS24の処理を同時に行うことができる。

0033

パターンマッチング回路19は、CPU13の制御の下、辞書23のスコアと反転辞書24のスコアとに基づいてスコア判定する(S25)。ここでは、パターンマッチング回路19は、辞書23のスコアと反転辞書24のスコアとの最大値、あるいは、平均値を最終的なスコアとして判定する。パターンマッチング回路19は、判定結果をDRAM14に出力し(S26)、処理を終了する。

0034

従来、学習用画像から辞書を生成し、入力画像と辞書とをマッチングさせてスコアを算出し、特定の物体を検出画像処理装置が知られている。このような画像処理装置において、例えば、辞書を用いて人物検出を行う場合、人物は向きによって形状が若干異なるため、学習用画像にどの向きの人物が多いかによって生成される辞書も異なり、入力画像と辞書とをマッチングさせた際にスコアにばらつきが発生する。

0035

例えば、右向きの人物の学習用画像が多いと、右向きの人物の特徴量が多い人物辞書が生成される。そのため、右向きの人物画像が入力され、右向きの人物の特徴量が多い人物辞書とマッチングされた場合はスコアが大きくなる。一方、左向きの人物画像が入力され、右向きの人物の特徴量が多い人物辞書とマッチングされた場合はスコアが小さくなり、人物が検出されづらくなる。

0036

これに対して、本実施形態の画像処理装置1は、入力画像に対して辞書23と、辞書23を反転した反転辞書24とを適用し、辞書23を適用したスコアと反転辞書24を適用したスコアとの最大値、あるいは、平均値を最終スコアとすることで、辞書23の向きによるスコアのばらつきを小さくしている。

0037

よって、本実施形態の画像処理装置によれば、向きによる形状差が顕著な物体を安定して検出することができる。

0038

(第2の実施形態)
次に、第2の実施形態について説明する。
図7は、第2の実施形態に係る画像処理装置の構成の一例を示すブロック図である。なお、図7において、図1と同様の構成については、同一の符号を付して説明を省略する。

0039

図7に示すように、画像処理装置1Aは、図1の画像処理装置1の反転辞書作成部17が削除されて構成されている。すなわち、ROM15には、学習用画像データ群22が格納され、DRAM14には、学習用画像データ群22を用いて辞書作成部16により作成された辞書23が格納されている。

0040

また、画像処理装置1Aは、図1の画像処理装置1に対して、入力画像反転回路31が追加されて構成されている。

0041

画像取得回路12により取得された入力画像は、バス21を介して画像処理プロセッサ18及び入力画像反転回路31に入力される。入力画像反転回路31は、入力画像を反転した反転画像を生成し、画像処理プロセッサ18に出力する。

0042

画像処理プロセッサ18は、画像取得回路12からの入力画像と、入力画像反転回路31からの反転画像とに辞書23を適用する。本実施形態では、DRAM14に格納された辞書23が辞書部を構成する。パターンマッチング回路19は、入力画像に辞書23を適用した際のスコアと、反転画像に辞書23を適用した際のスコアとに基づいてスコア判定し、判定結果をDRAM14に出力する。

0043

図8は、対象物を認識する処理の流れの一例を示すフローチャートである。図8の処理は、CPU13の制御の下、画像処理装置1A全体で行われる。

0044

画像取得回路12は、CPU13の制御の下、カメラC1の画像の所定領域である入力画像を取得する(S31)。画像処理プロセッサ18は、CPU13の制御の下、入力画像を複数の領域に分割し、分割した複数の領域毎の特徴量を算出する(S32)。パターンマッチング回路19は、入力画像に辞書23を適用してスコアを算出する(S33)。

0045

入力画像反転回路31は、CPU13の制御の下、入力画像を判定した反転画像を生成する(S34)。画像処理プロセッサ18は、CPU13の制御の下、反転画像を複数の領域に分割し、分割した複数の領域毎の特徴量を算出する(S35)。パターンマッチング回路19は、反転画像に辞書23を適用しスコアを算出する(S36)。

0046

パターンマッチング回路19は、CPU13の制御の下、入力画像に辞書23を適用したスコアと、反転画像に辞書23を適用したスコアとに基づいてスコア判定する(S37)。ここでは、パターンマッチング回路19は、入力画像に辞書23を適用したスコアと、反転画像に辞書23を適用したスコアとの最大値、あるいは、平均値を最終的なスコアとして判定する。パターンマッチング回路19は、判定結果をDRAM14に出力し(S38)、処理を終了する。

0047

以上のように、画像処理装置1Aは、入力画像と、入力画像を反転した反転画像とに対して辞書23を適用している。このように、反転画像に対して辞書23を適用することで、第1の実施形態で行った入力画像に反転辞書24を適用した際と同様の効果を得ることができる。この結果、本実施形態の画像処理装置1Aは、第1の実施形態と同様に、向きによる形状差が顕著な物体を安定して検出することができる。

0048

(第3の実施形態)
次に、第3の実施形態について説明する。
第3の実施形態では、対称性を利用した物体検出信頼性の向上について説明する。

0049

図9は、対称物体及び非対称物体の一例を説明するための図である。図9(a)及び(b)は、交通標識の一例であり、図9(a)は対称物体であり、図9(b)は非対称物体である。

0050

対称性を有する物体の辞書23は、反転した反転辞書24を作成した場合でも同じ形状を検出する辞書となる。そのため、対称物体は、辞書23を適用した際のスコアと、反転辞書24を適用した際のスコアが同等となる。そのため、対称物体は、辞書23を適用した際のスコアと、反転辞書24を適用した際のスコアが同等の場合、検出対象の物体と判定し、辞書23を適用した際のスコアと、反転辞書24を適用した際のスコアが同等でない場合、検出対象の物体と判定することができる。

0051

一方、非対称物体は、非対称物体の辞書23を適用した際にスコアが大きくなり、反転辞書24を適用した際にスコアが小さくなる。そのため、非対称物体は、反転辞書24を適用した際にスコアが下がった場合、検出対象の物体と判定し、反転辞書24を適用した際にスコアが下がらなかった場合、検出対象の物体でないと判定することができる。

0052

以上により、画像処理装置1は、入力画像に対して辞書23及び反転辞書24を適用することで、1つの辞書を適用する場合よりも、対称物体及び非対称物体の検出の信頼を向上させることができる。

0053

なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

0054

発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0055

1,1A…画像処理装置、11,20…インターフェース回路、12…画像取得回路、13…CPU、14…DRAM、15…ROM、16…辞書作成部、17…反転辞書作成部、18…画像処理プロセッサ、19…パターンマッチング回路、21…バス、22…学習用画像データ群、23…辞書、24…反転辞書、31…入力画像反転回路。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ