図面 (/)

技術 動き判定装置

出願人 株式会社デンソー国立大学法人九州工業大学
発明者 鈴木陽介林初男中田一紀中山浩之
出願日 2007年6月7日 (13年5ヶ月経過) 出願番号 2007-151765
公開日 2008年12月18日 (11年11ヶ月経過) 公開番号 2008-305169
状態 特許登録済
技術分野 画像処理 イメージ分析
主要キーワード 軌跡信号 論理演算信号 折り返し動作 規定方向 規定閾値 軌跡領域 リスト探索 規定周期
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2008年12月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

物体動き高速で認識可能な動き判定装置の提供。

解決手段

動き判定装置10は、画像信号Piに基づき、エッジ位置であるか否かを画素毎に判定するエッジ検出ユニット15と、エッジ検出ユニット15での判定結果を画素毎に記憶するエッジ位置記憶ユニット20とを備えている。エッジ検出ユニット15での判定結果、及びエッジ位置記憶ユニット20に記憶されている判定結果に基づき、予め規定された規定方向へのエッジ位置の移動が対象画素にて検出されたか否かを判定するエッジ移動検出ユニット25と、エッジ移動検出ユニット25での判定結果に基づいて、対象画素がエッジ軌跡を構成するものであるか否かを判定し、その判定結果である軌跡情報導出するエッジ軌跡導出ユニット30と、エッジ軌跡導出ユニット30で導出された軌跡情報に基づいて、物体が動いているか否かを判定する動き判定ユニット35とを備えている。

概要

背景

従来より、先行車両運転者等(以下、物体とする)を画像に収める撮影装置と、撮影装置で撮影された画像に基づいて物体の動きを検出する画像処理プロセッサと、画像処理プロセッサで検出された物体の動きに基づいて、警報を発するブザーとを備えた警報システムが知られている。

そして、この種の画像処理プロセッサでは、画像が撮影される毎に、画像中に写り込んだ物体を抽出する抽出処理(例えば、一般的なラベリング処理)と、抽出処理で抽出された物体を追跡し、物体の動きを検出する動き検出処理がなされている(例えば、特許文献1参照)。

特に、動き検出処理では、物体として抽出された領域の座標の総和を、物体として抽出された領域の画素数で除することにより、物体の重心の座標を算出(検出)し、その算出された重心の座標をメモリに格納する重心検出処理がなされている。さらに、その重心検出処理にて検出された重心座標に対応し、過去に算出された重心座標をメモリに格納されている重心座標の中から探索し、それらの対応する重心座標の変化に従って物体の動きを検出する追跡処理がなされている。
特開2001−307107号公報

概要

物体の動きを高速で認識可能な動き判定装置の提供。 動き判定装置10は、画像信号Piに基づき、エッジ位置であるか否かを画素毎に判定するエッジ検出ユニット15と、エッジ検出ユニット15での判定結果を画素毎に記憶するエッジ位置記憶ユニット20とを備えている。エッジ検出ユニット15での判定結果、及びエッジ位置記憶ユニット20に記憶されている判定結果に基づき、予め規定された規定方向へのエッジ位置の移動が対象画素にて検出されたか否かを判定するエッジ移動検出ユニット25と、エッジ移動検出ユニット25での判定結果に基づいて、対象画素がエッジ軌跡を構成するものであるか否かを判定し、その判定結果である軌跡情報導出するエッジ軌跡導出ユニット30と、エッジ軌跡導出ユニット30で導出された軌跡情報に基づいて、物体が動いているか否かを判定する動き判定ユニット35とを備えている。

目的

つまり、従来の動き検出装置では、物体の動きを認識するまでに要する時間が長くなるという問題があった。
そこで、本発明は、物体の動きを高速で認識可能な動き判定装置を提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の画素からなる平面に三次元の実空間を投影した二次元データを、予め規定された規定周期で繰り返し取得すると共に、前記二次元データを構成する画素を一つずつ順番に抽出し、その抽出した画素を対象画素として、前記対象画素が前記二次元データに投影された物体の端部を表しているか否かを判定する端部判定ユニットと、少なくとも前記規定周期の間、前記端部判定ユニットでの判定結果を過去情報として保持する過去情報保持ユニットと、前記端部判定ユニットにて物体の端部を表していると判定された画素によって表される領域をエッジ領域として、予め規定された規定方向への前記エッジ領域の移動が前記対象画素にて検出されたか否かを、前記端部判定ユニットから前記対象画素についての判定結果が得られる毎に、その判定結果と前記過去情報保持ユニットに保持された過去情報とに基づいて判定する移動判定ユニットと、前記移動判定ユニットにて前記エッジ領域の移動が検出された画素により、前記エッジ領域の前記規定方向への移動の軌跡が表された領域を軌跡領域として、前記対象画素が前記軌跡領域を構成する画素であるか否かを表す軌跡情報を、前記移動判定ユニットでの判定結果に基づいて、前記移動判定ユニットから前記対象画素についての判定結果が得られる毎に生成する軌跡情報生成ユニットと、前記軌跡情報生成ユニットにて生成された軌跡情報に基づいて、前記物体の動きを判定する動き判定ユニットとを備えることを特徴とする動き判定装置

請求項2

前記移動判定ユニットは、前記規定方向とは反対方向から前記対象画素に隣接する画素を基準画素として、前記対象画素についての判定結果と前記基準画素についての過去情報とが、いずれも前記物体の端部であることを表している場合に、前記エッジ領域の移動が検出されたものとすることを特徴とする請求項1に記載の動き判定装置。

請求項3

前記軌跡情報生成ユニットは、過去の予め規定された規定周期分の前記移動判定ユニットでの判定結果に基づき、前記軌跡情報を生成することを特徴とする請求項1または請求項2に記載の動き判定装置。

請求項4

前記規定方向が複数存在し、前記規定方向毎に、前記移動判定ユニット、前記軌跡情報生成ユニットを設けたことを特徴とする請求項1ないし請求項3のいずれかに記載の動き判定装置。

請求項5

前記規定方向として、互いに180度異なる第一方向及び第二方向が少なくとも設定されていることを特徴とする請求項4に記載の動き判定装置。

請求項6

前記第一方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第一軌跡情報とし、前記第二方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第二軌跡情報とし、前記対象画素が軌跡領域を構成するものであることを表す前記軌跡情報を真として、前記動き判定ユニットは、前記第一軌跡情報と、前記第二軌跡情報とを論理演算する論理演算ユニットと、前記論理演算ユニットで演算された結果が真である画素のうち、隣接するもの同士をグルーピングした一つの画素群として生成するグルーピングユニットと、前記グルーピングユニットで生成された各画素群の前記規定方向に隣接する画素の数が、予め規定された閾値以上である場合、前記物体が動いているものと判定する判定ユニットとを備えることを特徴とする請求項5に記載の動き判定装置。

請求項7

前記論理演算ユニットは、前記論理演算として論理和を演算することを特徴とする請求項6に記載の動き判定装置。

請求項8

前記論理演算ユニットは、前記論理演算として排他的論理和を演算することを特徴とする請求項6に記載の動き判定装置。

請求項9

前記論理演算ユニットは、前記論理演算として論理積を演算することを特徴とする請求項6に記載の動き判定装置。

請求項10

前記対象画素が軌跡領域を構成するものであることを表す前記軌跡情報を真とし、前記第一方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第一軌跡情報とし、前記第二方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第二軌跡情報として、前記動き判定ユニットは、前記第一軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成し、その画素群の前記規定方向に隣接する画素の数である第一特徴量を算出する第一特徴量算出ユニットと、前記第二軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成し、その画素群の前記規定方向に隣接する画素の数である第二特徴量を算出する第二特徴量算出ユニットと、前記第一特徴量算出ユニットで算出された第一特徴量と、前記第二特徴量算出ユニットで算出された第二特徴量との差分を算出し、その差分が予め規定された閾値以上である場合、前記物体が動いているものと判定する判定ユニットとを備えることを特徴とする請求項5に記載の動き判定装置。

請求項11

前記規定方向として、互いに直交する第一方向及び第二方向が少なくとも設定されており、前記対象画素が軌跡領域を構成するものであることを表す前記軌跡情報を真とし、前記第一方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第一軌跡情報とし、前記第二方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第二軌跡情報として、前記動き判定ユニットは、前記第一軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成し、その画素群の前記規定方向に隣接する画素の数である第一特徴量を算出する第一特徴量算出ユニットと、前記第二軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成し、その画素群の前記規定方向に隣接する画素の数である第二特徴量を算出する第二特徴量算出ユニットと、前記第一特徴量算出ユニットで算出された第一特徴量と、前記第二特徴量算出ユニットで算出された第二特徴量とに基づき、前記物体が移動した角度と前記第一特徴量及び前記第二特徴量とを予め対応付け角度マップに従って、前記物体が移動した角度を判定する角度判定ユニットとを備えることを特徴とする請求項4に記載の動き判定装置。

請求項12

前記二次元データは、画像を撮影する撮影装置にて生成される画像データであることを特徴とする請求項1ないし請求項11のいずれかに記載の動き判定装置。

請求項13

前記二次元データは、レーダ波送受信することにより物体を検出するレーダ装置にて生成されるものであることを特徴とする請求項1ないし請求項11のいずれかに記載の動き判定装置。

請求項14

前記二次元データは、使用者入力装置を操作した時の軌跡を取得する手書きデバイスにて生成されるものであることを特徴とする請求項1ないし請求項11のいずれかに記載の動き判定装置。

技術分野

0001

本発明は、二次元データに基づき、物体動きを判定する動き判定装置に関する。

背景技術

0002

従来より、先行車両運転者等(以下、物体とする)を画像に収める撮影装置と、撮影装置で撮影された画像に基づいて物体の動きを検出する画像処理プロセッサと、画像処理プロセッサで検出された物体の動きに基づいて、警報を発するブザーとを備えた警報システムが知られている。

0003

そして、この種の画像処理プロセッサでは、画像が撮影される毎に、画像中に写り込んだ物体を抽出する抽出処理(例えば、一般的なラベリング処理)と、抽出処理で抽出された物体を追跡し、物体の動きを検出する動き検出処理がなされている(例えば、特許文献1参照)。

0004

特に、動き検出処理では、物体として抽出された領域の座標の総和を、物体として抽出された領域の画素数で除することにより、物体の重心の座標を算出(検出)し、その算出された重心の座標をメモリに格納する重心検出処理がなされている。さらに、その重心検出処理にて検出された重心座標に対応し、過去に算出された重心座標をメモリに格納されている重心座標の中から探索し、それらの対応する重心座標の変化に従って物体の動きを検出する追跡処理がなされている。
特開2001−307107号公報

発明が解決しようとする課題

0005

しかしながら、従来の動き検出処理では、重心検出処理にて、物体の重心を求めるために除算を用いているので、重心検出処理、ひいては動き検出処理における処理量が膨大なものとなっていた。

0006

そして、この重心検出処理は、動き検出処理中における重心検出処理以外の処理と比べて、その処理量が極めて大きい(即ち、処理に要する時間が長くなる)ため、一般的な高速処理の手法として用いられるパイプライン処理には不向きであるという問題があった。

0007

つまり、従来の動き検出装置では、物体の動きを認識するまでに要する時間が長くなるという問題があった。
そこで、本発明は、物体の動きを高速で認識可能な動き判定装置を提供することを目的とする。

課題を解決するための手段

0008

上記目的を達成するためになされた本発明の動き判定装置は、複数の画素からなる平面に三次元の実空間を投影した二次元データを、予め規定された規定周期で繰り返し取得すると共に、端部判定ユニットが、二次元データを構成する画素を一つずつ順番に抽出し、その抽出した画素を対象画素として、対象画素が二次元データに投影された物体の端部を表しているか否かを判定し、過去情報保持ユニットが、少なくとも規定周期の間、端部判定ユニットでの判定結果を過去情報として保持する。そして、端部判定ユニットにて物体の端部を表していると判定された画素によって表される領域をエッジ領域として、移動判定ユニットが、予め規定された規定方向へのエッジ領域の移動が対象画素にて検出されたか否かを、端部判定ユニットから対象画素についての判定結果が得られる毎に、その判定結果と過去情報保持ユニットに保持された過去情報とに基づいて判定する。それと共に、移動判定ユニットにてエッジ領域の移動が検出された画素により、エッジ領域の規定方向への移動の軌跡が表された領域を軌跡領域として、軌跡情報生成ユニットが、対象画素が軌跡領域を構成する画素であるか否かを表す軌跡情報を、移動判定ユニットでの判定結果に基づいて、移動判定ユニットから対象画素についての判定結果が得られる毎に生成し、動き判定ユニットが、軌跡情報生成ユニットにて生成された軌跡情報に基づいて、物体の動きを判定する。

0009

つまり、本発明の動き判定装置によれば、重心座標を求めること無く、物体の動きを判定することができる。したがって、本発明の動き判定装置によれば、重心座標を求めるための除算を実行する必要が無いため、従来の装置と異なり、物体の動きを判定するために必要な処理を軽くすることができ、この結果、高速で物体の動きを判定することができる。

0010

特に、本発明の動き判定装置によれば、除算等のように、他の処理と比べて処理時間が長くなる(即ち、ボトルネックとなる)処理を含まないため、従来の装置と異なり、パイプライン処理の実行に適したものを提供することができる。

0011

さらに、このような本発明の動き判定装置では、二次元データから対象画素を抽出する度に、その対象画素が物体の端部を表しているか否かを判定し、さらには、その判定結果と、過去情報保持ユニットに格納された過去情報(即ち、今回の規定周期よりも前に取得された二次元データ中の対象画素についての端部判定ユニットでの判定結果)とに基づいて、エッジ領域の移動が対象画素にて検出されたか否かを判定する。それと共に、その判定結果に基づいて、対象画素が軌跡領域を構成する画素であるか否かを判定した軌跡情報を生成している。

0012

したがって、本発明の動き判定装置によれば、今回の周期にて取得した二次元データからは、対象画素以外の画素に対する処理結果を用いること無く、軌跡情報の生成までを実行できるため、よりパイプライン処理の実行に適した動き判定装置を提供することができる。

0013

また、規定方向とは反対方向から対象画素に隣接する画素を基準画素とした場合、本発明の動き判定装置における移動判定ユニットは、請求項2に記載のように、対象画素についての判定結果と基準画素についての過去情報とが、いずれも物体の端部であることを表している場合に、エッジ領域の移動が検出されたものとするように構成されていることが望ましい。

0014

このように構成された動き判定装置によれば、移動判定ユニットにおいて、規定方向とは反対方向から対象画素に隣接する画素についての過去情報に基づいて、エッジ領域の移動が検出されるため、全ての過去情報の中から必要な過去情報を抽出するための処理(即ち、リスト探索)を実行する必要をなくすことができる。

0015

この結果、本発明の動き判定装置によれば、よりパイプライン処理の実行に適した動き判定装置を提供することができる。
さらに、本発明の動き判定装置における軌跡情報生成ユニットは、請求項3に記載のように、過去の予め規定された規定周期分の移動判定ユニットでの判定結果に基づき、軌跡情報を生成するように構成されていても良い。

0016

このように構成された本発明の動き判定装置によれば、軌跡情報を生成するために用いられる判定結果は、今回の規定周期から規定された回数の規定周期分であるため、移動判定ユニットでの過去(今回の規定周期よりも前)の判定結果に埋もれることで、新たな判定結果が利用されなくなることを低減できる。

0017

このため、例えば、本発明の動き判定装置によれば、今まで検出対象としていた物体とは異なる新たな物体が現れたとしても、その物体の動きを判定することができる。
ところで、規定方向が複数存在する場合、請求項4に記載のように、本発明の動き判定装置における移動判定ユニット、及び軌跡情報生成ユニットは、規定方向毎に設けられていても良い。つまり、本願発明の動き判定装置において、移動判定ユニットと軌跡情報生成ユニットとは、二つを一組として、規定方向毎に設けられていても良い。

0018

この場合、本発明の動き判定装置では、特に、請求項5に記載のように、規定方向として、互いに180°異なる第一方向と第二方向との二つが少なくとも設定されていることが望ましい。

0019

さらに、第一方向について軌跡情報生成ユニットが出力する軌跡情報を第一軌跡情報とし、第二方向について軌跡情報生成ユニットが出力する軌跡情報を第二軌跡情報とし、対象画素が軌跡領域を構成するものであることを表す軌跡情報を真とした場合、本発明の動き判定装置における動き判定ユニットは、請求項6に記載のように、論理演算ユニットが、第一軌跡情報と、第二軌跡情報とを論理演算し、グルーピングユニットが、論理演算ユニットで演算された結果が真である画素のうち、隣接するもの同士をグルーピングした一つの画素群として生成すると共に、判定ユニットが、グルーピングユニットで生成された各画素群の規定方向に隣接する画素の数が、予め規定された閾値以上である場合、物体が動いているものと判定するように構成されていることが望ましい。

0020

このように構成された動き判定装置によれば、論理演算の結果に応じて、物体の様々な動きを判定することができる。
ただし、ここでいうグルーピングとは、ラベリング処理等の周知の処理により、予め規定された条件を満たす画素同士を同一のグループとして分類することである。また、画素が規定方向に隣接する数(以下、隣接数とする)とは、一であっても良いし、複数であっても良い。

0021

そして、本発明の動き判定装置における論理演算ユニットは、論理演算として、請求項7に記載のように、論理和を演算するように構成されていても良いし、請求項8に記載のように、排他的論理和を演算するように構成されていても良いし、請求項9に記載のように、論理積を演算するように構成されていても良い。

0022

このように構成された本発明の動き判定装置のうち、論理演算ユニットが論理和を演算するものであれば、論理和が真となる画素に基づいて物体の動きを判定するため、二次元データに投影された物体が、静止物であるか移動物であるかを判定することができる。また、論理演算ユニットが排他的論理和を演算するものであれば、排他的論理和が真となる画素に基づいて物体の動きを判定するため、物体が一方向に移動しているか否かを判定することができる。さらに、論理演算ユニットが論理積を演算するものであれば、論理積が真となる画素に基づいて物体の動きを判定するため、物体が往復運動しているか否かを判定することができる。

0023

なお、第一方向について軌跡情報生成ユニットが出力する軌跡情報を第一軌跡情報とし、第二方向について軌跡情報生成ユニットが出力する軌跡情報を第二軌跡情報とし、対象画素が軌跡領域を構成するものであることを表す軌跡情報を真とした場合、本発明の動き判定装置における動き判定ユニットは、請求項10に記載のように、第一特徴量算出ユニットが、第一軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成して、その画素群の規定方向に隣接する画素の数である第一特徴量を算出すると共に、第二特徴量算出ユニットが、第二軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成して、その画素群の規定方向に隣接する画素の数である第二特徴量を算出し、その上で、判定ユニットが、第一特徴量算出ユニットで算出された第一特徴量と、第二特徴量算出ユニットで算出された第二特徴量との差分を算出し、その差分が予め規定された閾値以上である場合、物体が動いているものと判定するように構成されていても良い。

0024

このように構成された本発明の動き判定装置によれば、第一特徴量と、第二特徴量との差分に基づいて物体の動きを判定するため、物体が回転しているか否かを判定することができる。

0025

ただし、ここで言う第一特徴量、及び第二特徴量は、一つの画素であっても良いし、複数の画素であっても良い。
また、規定方向として、互いに直交する第一方向及び第二方向が少なくとも設定されている場合、対象画素が軌跡領域を構成するものであることを表す軌跡情報を真とし、第一方向について軌跡情報生成ユニットが出力する軌跡情報を第一軌跡情報とし、第二方向について軌跡情報生成ユニットが出力する軌跡情報を第二軌跡情報として、本発明の動き判定装置における動き判定ユニットは、請求項11に記載のように、第一特徴量算出ユニットが、第一軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成して、その画素群の規定方向に隣接する画素の数である第一特徴量を算出すると共に、第二特徴量算出ユニットが、第二軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成して、その画素群の前記規定方向に隣接する画素の数である第二特徴量を算出し、その上で、角度判定ユニットが、第一特徴量算出ユニットで算出された第一特徴量と、第二特徴量算出ユニットで算出された第二特徴量とに基づき、物体が移動した角度と、第一特徴量及び第二特徴量とを予め対応付け角度マップに従って、物体が移動した角度を判定するように構成されていても良い。

0026

このように構成された本発明の動き判定装置によれば、第一特徴量及び第二特徴量に基づいて、物体が移動した角度を判定することができる。
ただし、ここで言う第一特徴量、及び第二特徴量は、一つの画素であっても良いし、複数の画素であっても良い。

0027

なお、本発明の動き判定装置が取得する二次元データは、請求項12に記載のように、画像を撮影する撮影装置にて生成される画像データであることが望ましいが、請求項13に記載のように、レーダ波送受信することにより物体を検出するレーダ装置にて生成されるもの(いわゆる距離画像)であっても良いし、請求項14に記載のように、使用者入力装置を操作した時の軌跡を取得する手書きデバイスにて生成されるものであっても良い。

0028

ただし、ここで言うレーダ装置とは、レーザ光をレーダ波として送受信するいわゆるレーザレーダ装置や、ミリ波帯域電波をレーダ波として送受信するいわゆるミリ波レーダ装置であり、ここで言う手書きデバイスとは、タブレットや、座標認識可能な筆記用具を示すものである。

発明を実施するための最良の形態

0029

以下に本発明の実施形態を図面と共に説明する。
[第一実施形態]
〈全体構成〉
図1は、本発明が適用され、車両に搭載された動き認識ステム概略構成を示すブロック図である。なお、以下では、動き認識システムが搭載された車両を搭載車両と称す。

0030

本実施形態の動き認識システム1は、例えば、搭載車両の前方を走行する先行車両の動きを認識するためのシステムであり、認識した先行車両の動きに従って、搭載車両を自動走行させる自動走行制御等に利用される。

0031

この動き認識システム1は、搭載車両の前方の予め規定された規定領域を撮影する撮影装置5と、撮影装置5で撮影した画像に基づき、画像に投影された物体の動きを判定する動き判定装置10とを備えている。

0032

撮影装置5は、図示しないが、縦方向(以下、Y方向と称す)にM(Mは自然数)個、横方向(以下、X方向と称す)にN(Nは自然数、ただし、N>M)個の格子状に配列されたフォトダイオードを有し、レンズを介して受光した光の強度を電荷へと変換して蓄積する撮像素子(例えば、CCDイメージセンサ)と、撮像素子に蓄積された電荷を読み出し、少なくとも、各画素での輝度値の大きさを表すデジタル信号(以下、画像信号と称す)Piを生成する画像処理エンジンとを備えた、いわゆるデジタルカメラである。ただし、添え字iは、デジタル画像(以下では、撮影画像とも称す)を撮影(即ち、フォトダイオードが受光)した時の時刻、より正確にはフレーム識別するための番号であり、値が小さいほど古いことを示す。

0033

画像処理エンジンは、デジタル画像の撮影開始を制御すると共に、画像信号Piにおいて1フレームの開始位置と終了位置と(いわゆる垂直転送イミング)を示す垂直同期信号(いわゆるフレーム同期信号)、画像信号Piにおいて走査列切り替わり(いわゆる水平転送タイミング)を示す水平同期信号(いわゆるライン同期信号)を生成するように構成され、これらの同期信号を、生成した画像信号Piと共に動き判定装置10に出力する。なお、これらの垂直同期信号、水平同期信号は、動き判定装置10が、撮影画像における画素の位置を認識するためのものであり、以下では、垂直同期信号、及び水平同期信号をまとめて、同期信号と称す。

0034

つまり、撮影装置5にて生成されるデジタル画像は、図18に示すように、N個の画素が一列に配列された走査列をM列有したものであり、その画素数は、N×Mとなる。なお、以下では、x座標がn番目、y座標がm番目の画素を画素Gn,mとし、画像信号Piが表す画素Gn,mの画素値をPiGn,mとする(ただし、n,mは、n≦N,m≦Mとなる自然数)。

0035

そして、画像処理エンジンから動き判定装置10に出力される画像信号Piは、撮像素子に蓄積された電荷を、1列目の走査列から(即ち、画素G1,1から画素GN,Mまで)順に読出したもの(即ち、画素値PiG1,1から画素値PiGN,M)であり、1フレーム分が連続して出力される。

0036

つまり、撮影装置5は、予め規定された規定周期(例えば、1/30s)毎に、デジタル画像を表す1フレーム分の画素値PiGn,mを動き判定装置10に出力する。
〈動き判定装置について〉
次に、動き判定装置10について説明する。

0037

ここで、図2は、動き判定装置10の概略構成を示すブロック図である。
動き判定装置10は、撮影装置5からの画像信号Piを、隣接する画素間の輝度が不連続となる不連続点(即ち、エッジ)を強調した強調信号Qiに変換するエッジ検出フィルタ13と、エッジ検出フィルタ13にて変換された強調信号Qiに基づき、デジタル画像に写り込んだ物体の端部(即ち、物体とそれ以外の部分の境界)を示すエッジ位置であるか否かを画素毎に判定するエッジ検出ユニット15と、エッジ検出ユニット15での判定結果を画素毎に記憶するエッジ位置記憶ユニット20とを備えている。さらに、エッジ検出ユニット15での判定結果、及びエッジ位置記憶ユニット20に記憶されている判定結果に基づき、予め規定された規定方向へのエッジ位置の移動が各画素にて検出されたか否かを判定するエッジ移動検出ユニット25と、エッジ移動検出ユニット25での判定結果に基づいて、エッジ位置が規定方向へと移動した軌跡(以下、エッジ軌跡とする)を導出するエッジ軌跡導出ユニット30と、エッジ軌跡導出ユニット30で導出されたエッジ軌跡に基づいて、デジタル画像に写り込んだ物体が動いているか否かを判定する動き判定ユニット35とを備えている。

0038

ただし、エッジ移動検出ユニット25は、検出すべきエッジ位置の移動方向(即ち、規定方向とする)毎に設けられており、以下では、予め規定された第一方向(本実施形態では、撮影画像中の左から右へと向かう方向)を規定方向としたエッジ移動検出ユニット25を第一エッジ移動検出ユニット25a、第一方向とは180°異なる方向である第二方向(本実施形態では、撮影画像中の右から左へと向かう方向)を規定方向としたエッジ移動検出ユニット25を第二エッジ移動検出ユニット25bとする。

0039

また、エッジ軌跡導出ユニット30は、エッジ移動検出ユニット25毎に設けられており、以下では、第一エッジ移動検出ユニット25aに対応して設けられたエッジ軌跡導出ユニット30を第一エッジ軌跡導出ユニット30a、第二エッジ移動検出ユニット25bに対応して設けられたエッジ軌跡導出ユニット30を第二エッジ軌跡導出ユニット30bとする。
〈エッジ検出フィルタ13〉
次に、エッジ検出フィルタ13について説明する。

0040

エッジ検出フィルタ13では、画像信号Piから強調信号Qiへの変換対象となる画素を対象画素Gn,mとし、その対象画素Gn,mの画素値PiGn,mと、対象画素Gn,mの周囲(ここでは、8方向)に位置する画素の画素値とを用いてフィルタ処理を行う。

0041

具体的には、図20に示すように、撮影装置5からの画像信号Piが表す対象画素Gn,m、及び対象画素Gn,mに隣接する8つの画素についての画素値群PiGGn,m(即ち、PiGGn,m=[PiGn-1,m-1,PiGn,m-1,PiGn+1,m-1,PiGn-1,m,PiGn,m,PiGn+1,m,PiGn-1,m+1,PiGn,m+1,PiGn+1,m+1]T、ただし、Tは、転置行列を意味する)をバッファから読込み、ラプラシアンフィルタ(本実施形態では、フィルタ係数K=[1,1,1,1,−8,1,1,1,1]とする)によりフィルタ処理する。

0042

即ち、対象画素Gn,mでの強調信号Qiの信号値QiGn,mは、QiGn,m=K・PiGGn,mにより求められる(つまり、信号値QiGn,mは、フィルタ係数Kと画素値群PiGGn,mとの内積)。

0043

これを実現するために、エッジ検出フィルタ13には、撮影装置5からの画像信号Piが表す画素値PiGn,mを、先に入力されたものから順に更新しながら、予め規定された走査列分(本実施形態では、Y方向に3走査列分とする)格納するバッファ(図示せず)が備えられている。

0044

つまり、エッジ検出フィルタ13では、対象画素Gn,mから、Y方向に1画素、X方向に1画素分進んだ画素Gn+1,m+1の画素値PiGn+1,m+1が入力された時点で、フィルタ処理が実行され、対象画素Gn,mでの強調信号Qiの信号値QiGn,mをエッジ検出ユニット15に出力する。言い換えれば、画像信号Piの画素値PiG1,1がエッジ検出フィルタ13に入力されてから、強調信号Qiの信号値QiG1,1が出力されるまでに、Y方向、X方向共に1画素分の遅れが生じる。

0045

ただし、最初の強調信号Qiの信号値(即ち、QiG1,1)が出力された後は、画像信号Piによって表される1画素分の画素値が入力される毎に(即ち、対象画素Gn,mを1画素ずつずらしながら)、フィルタ処理が実行される。

0046

なお、撮影画像の上下左右の端に位置する画素(例えば、G1,1や、GN,M)が対象画素Gn,mとなった場合、画素値群PiGGn,mの中に、撮影画像には存在しない画素(例えば、G-1,-1や、GN+1,M+1等)の画素値(例えば、PiG-1,-1や、PiGN+1,M+1、以下、不在画素値とする)が含まれることになる。そして、この不在画素値については、元々、撮影装置5から出力される画像信号Piに含まれていないため、本実施形態では、その値を0として取り扱う。

0047

つまり、エッジ検出フィルタ13では、撮影装置5からの画像信号Piによって表され、対象画素Gn,mから、Y方向に1走査列、X方向に2画素分進んだ画素Gn+1,m+1の画素値PiGn+1,m+1が入力された後は、1画素分の画素値が入力される毎に、画素値群PiGGn,mをフィルタ処理することで生成した信号値QiGn,mを強調信号Qiとしてエッジ検出ユニット15に出力する。
〈エッジ検出ユニットについて〉
次に、エッジ検出ユニット15について説明する。なお、このエッジ検出ユニット15についての説明では、エッジ検出ユニット15に入力された強調信号Qiが表す信号値の画素を対象画素Gn,mとする。

0048

ここで、図3は、エッジ検出ユニット15の概略構成を示すブロック図である。
エッジ検出ユニット15では、エッジ検出フィルタ13からの強調信号Qiが表す信号値QiGn,mが、予め規定された第一閾値以上であれば、対象画素Gn,mがエッジ位置であるものとして、エッジ検出信号Eiが表す対象画素Gn,mの信号値EiGn,mをハイレベル(即ち、1)とする。一方、強調信号Qiの信号値QiGn,mが、第一閾値未満であれば、対象画素Gn,mがエッジ位置ではないものとして、エッジ検出信号Eiが表す対象画素Gn,mの信号値EiGn,mをローレベル(即ち、0)とする。
〈エッジ位置記憶ユニットについて〉
次に、エッジ位置記憶ユニット20について説明する。なお、エッジ位置記憶ユニット20についての説明では、エッジ位置記憶ユニット20に入力されるエッジ検出信号Eiが表す信号値の画素を対象画素Gn,mとする。

0049

ここで、図4は、エッジ位置記憶ユニット20の概略構成を示すブロック図である。
エッジ位置記憶ユニット20では、エッジ検出ユニット15からのエッジ検出信号Eiを、一フレーム分遅延させる。

0050

これを実現するために、エッジ位置記憶ユニット20には、エッジ検出ユニット15からのエッジ検出信号Eiが表す信号値EiGn,mを格納する第一メモリ22と、第一メモリ22への書き込み、及び第一メモリ22からの読み出しを制御するメモリコントローラ21とが備えられている。

0051

具体的に、第一メモリ22は、読出し及び書込みのいずれもが可能に構成されたものであり、N×M画素分(即ち、撮影画像一枚分)の信号値を格納するための格納領域を有している。

0052

また、メモリコントローラ21は、エッジ検出ユニット15からのエッジ検出信号Eiが表す信号値EiGn,mが入力される毎に、その信号値EiGn,mを第一メモリ22に格納する。これと共に、1フレーム前のエッジ検出信号Ei-1に対する処理にて第一メモリ22に格納され、対象画素Gn,mからX方向へ1画素先に位置する画素Gn+1,mの信号値を読み出し、エッジ移動検出ユニット25へ出力する。

0053

なお、以下では、フレームiの処理時に、第一メモリ22から読み出される1フレーム前(i−1)のエッジ検出信号Ei-1を過去検出信号Fi-1と称し、その過去検出信号Fi-1が表す画素Gn,mについての信号値をFi-1Gn,mとする。

0054

つまり、エッジ位置記憶ユニット20では、エッジ検出信号Eiが表す新たな対象画素Gn,mの信号値EiGn,mが入力される毎に、少なくとも、1フレーム先のエッジ検出信号Ei+1に対する処理が実行されるまで、エッジ検出ユニット15からのエッジ検出信号Eiが表す信号値EiGn,mを第一メモリ22に格納することで、エッジ検出信号Eiを1フレーム分遅延させている。
〈エッジ移動検出ユニットについて〉
次に、エッジ移動検出ユニット25について説明する。なお、エッジ移動検出ユニット25についての説明では、エッジ移動検出ユニット25に入力されるエッジ検出信号Eiが表す信号値の画素を対象画素Gn,mとする。

0055

ここで、図5は、エッジ移動検出ユニット25の概略構成を示すブロック図である。
エッジ移動検出ユニット25では、対象画素Gn,mから予め規定された位置関係にある画素を基準画素Gc,dとして(c,dは、[c≦N,d≦M]である)、エッジ検出ユニット15からのエッジ検出信号Eiが表す信号値EiGn,mが入力される毎に、その信号値EiGn,mと、過去検出信号Fi-1が表す基準画素Gc,dの信号値Fi-1Gc,dとを比較し、規定方向へのエッジ位置の移動が対象画素Gn,mにて検出されたか否かを判定し、判定結果を示すエッジ移動信号Siを出力する。

0056

具体的に、本実施形態では、対象画素Gn,mに規定方向とは反対方向から隣接する(即ち、規定位置関係)画素を基準画素Gc,dとしている。つまり、このエッジ移動検出ユニット25が第一エッジ移動検出ユニット25aであれば、対象画素Gn,mの左隣に位置する画素Gn-1,mを基準画素Gc,dとし(即ち、c=n−1,d=m)、このエッジ移動検出ユニット25が第二エッジ移動検出ユニット25bであれば、対象画素Gn,mの右隣に位置する画素Gn+1,mを基準画素Gc,dとする(即ち、c=n+1,d=m)。

0057

これを実現するために、エッジ移動検出ユニット25には、エッジ位置記憶ユニット20からの過去検出信号Fi-1が表す信号値Fi-1Gn+1,mを格納すると共に、基準画素Gc,dについての信号値Fi-1Gc,dを送出するバッファ26と、バッファ26から送出された過去検出信号Fi-1の信号値Fi-1Gc,dと、エッジ検出ユニット15からのエッジ検出信号Eiが表す信号値EiGn,mとを比較するエッジ移動推定部28とが備えられている。

0058

具体的には、バッファ26は、先に入力されたものから順に出力、かつ更新しながら格納するように(いわゆるFIFOにて)構成されたものであり、少なくとも、エッジ位置記憶ユニット20からの過去検出信号Fi-1が表す画素Gn+1,mから、基準画素Gc,dまでの画素分についての過去検出信号Fi-1が表す信号値を格納するための格納領域を有している。

0059

つまり、バッファ26の格納領域の大きさは、エッジ検出信号Eiが表す対象画素Gn,mの信号値EiGn,mがエッジ移動推定部28に入力された時に、規定画素Gc,dについての過去検出信号Fi-1が表す信号値Fi-1Gc,dが出力されるように設定されている。

0060

したがって、格納領域の大きさは、規定方向に応じて異なっていても良く、具体的には、規定方向が第一方向であれば、2画素分の信号値が格納可能であれば良い。また、規定方向が第二方向であれば、0画素分の信号値が格納可能であれば良い(即ち、バッファ26が省略されていても良い)。

0061

ところで、エッジ移動推定部28は、エッジ検出ユニット15からのエッジ検出信号Eiが表す信号値EiGn,mが入力される毎に、その信号値EiGn,mと、バッファ26から送出された過去検出信号Fi-1が表す基準画素Gc,dの信号値Fi-1Gc,d(本実施形態では、信号値Fi-1Gn-1,m、もしくは、信号値Fi-1Gn+1,m)とをAND(論理積)演算する。そして、その演算結果を対象画素Gn,mについての信号値SiGn,mとしたエッジ移動信号Siを、それぞれに対応するエッジ軌跡導出ユニット30に出力するように構成されている。

0062

したがって、エッジ移動推定部28では、エッジ検出信号Eiが表す信号値EiGn,mがエッジ位置であることを示しており(即ち、信号値EiGn,m=1)、かつ過去検出信号Fi-1のが表す信号値Fi-1Gc,dがエッジ位置であること(即ち、信号値Fi-1Gc,d=1)を示している場合、エッジ位置の移動が対象画素Gn,mにて検出されたものとして、ハイレベルな信号値SiGn,m(即ち、SiGn,m=1)としたエッジ移動信号Siを出力する。なお、それ以外の場合には、エッジ位置の移動が対象画素Gn,mにて検出されなかったものとして、ローレベルな信号値SiGn,m(即ち、SiGn,m=0)としたエッジ移動信号Siを出力する。

0063

なお、第一エッジ移動検出ユニット25aと、第二エッジ移動検出ユニット25bとでは、規定方向が異なるのみである。このため、第一エッジ移動検出ユニット25aと、第二エッジ移動検出ユニット25bとは、バッファ26の格納領域の大きさの他は、同一の構成を有している。

0064

また、ここで言う「エッジ位置の移動が対象画素Gn,mにて検出された」とは、i−1フレーム目の処理にてエッジ位置と判定された画素と、iフレーム目の処理にてエッジ位置と判定された画素とが規定方向に沿って隣接する場合に、エッジ位置が移動したものとみなす(推定する)ことである。
〈エッジ軌跡導出ユニットについて〉
次に、エッジ軌跡導出ユニット30について説明する。なお、第一エッジ軌跡導出ユニット30aと、第二エッジ軌跡導出ユニット30bとは、同様に構成されているため、ここでは、まとめて説明する。

0065

また、エッジ軌跡導出ユニット30についての説明では、エッジ軌跡導出ユニット30に入力されるエッジ移動信号Siが表す信号値の画素を対象画素Gn,mとする。
ここで、図6は、エッジ軌跡導出ユニット30の概略構成を示すブロック図である。

0066

エッジ軌跡導出ユニット30では、対象画素Gn,mがエッジ軌跡を構成するもの(以下、軌跡構成画素とする)であるか否かを判定し、その結果を示す軌跡信号Tiを出力する。 なお、以下では、1フレーム前(i−1)の処理までに対象画素Gn,mが軌跡画素であるか否かを判定した判定結果を累積軌跡信号Uとし、対象画素Gn,mについての信号値をUGn,mと記す。

0067

これを実現するために、エッジ軌跡導出ユニット30には、累積軌跡信号Uが表す信号値を格納する第二メモリ32と、第二メモリ32に格納された累積軌跡信号Uが表す対象画素Gn,mの信号値UGn,mと、エッジ移動信号Siが表す対象画素Gn,mの信号値SiGn,mとに基づき、軌跡信号Tiを出力する軌跡判定部31とが備えられている。

0068

第二メモリ32は、読出し及び書込みのいずれもが可能に構成されたものであり、少なくとも、累積軌跡信号Uが表すN×M画素分の信号値を格納するための格納領域を有している。

0069

一方、軌跡判定部31は、エッジ移動検出ユニット25からのエッジ移動信号Siが表す対象画素Gn,mの信号値SiGn,mが入力される毎に、累積軌跡信号Uが表す対象画素Gn,mの信号値UGn,mを第二メモリ32から読出し、その信号値UGn,mと、入力されたエッジ移動信号Siが表す信号値SiGn,mとを比較する。

0070

そして、軌跡判定部31では、比較の結果、累積軌跡信号Uが表す信号値UGn,mと、エッジ移動信号Siが表す信号値SiGn,mとの少なくともいずれか一方が、ハイレベルであれば(即ち、論理和演算の結果が真、よって、信号値SiGn,mが、エッジ位置の移動を対象画素Gn,mにて検出、もしくは、信号値UGn,mが、対象画素Gn,mが軌跡構成画素であると一度でも判定したことを示している場合)、対象画素Gn,mが軌跡構成画素であるものと判定して、対象画素Gn,mについての信号値TiGn,mをハイレベルとした軌跡信号Tiを出力する。

0071

また、軌跡判定部31では、比較の結果、信号値UGn,mと、信号値SiGn,mとのいずれもがローレベル(即ち、論理和演算の結果が)であれば、対象画素Gn,mが軌跡構成画素ではないものと判定して、対象画素Gn,mについての信号値TiGn,mをローレベルとした軌跡信号Tiを出力する。

0072

さらに、軌跡判定部31は、軌跡信号Tiが表す信号値TiGn,mを累積軌跡信号Uが表す信号値UGn,mとして第二メモリ32に格納する(即ち、累積軌跡信号Uの信号値UGn,mを更新する)。

0073

ただし、軌跡判定部31は、累積軌跡信号Uが表す対象画素Gn,mの信号値UGn,mをハイレベルとして、第二メモリ32に最初に格納してから、予め規定された規定数フレーム分(本実施形態では、150フレーム(即ち、撮影装置5から5秒間に出力されるフレームの数)とする)の処理が行われると、第二メモリ32に格納され、累積軌跡信号Uが表す対象画素Gn,mについての信号値UGn,mを初期値、即ち、ローレベルに戻すように構成されている。

0074

したがって、軌跡信号Tiが表す対象画素Gn,mの信号値TiGn,mが最初にハイレベルとなってから、規定数プラス1フレーム目に処理を実行する場合、エッジ軌跡導出ユニット30では、第二メモリ32に格納され、累積軌跡信号Uが表す信号値UGn,mがローレベルであるため、エッジ移動信号Siが表す信号値SiGn,mが、そのまま軌跡信号Tiの信号値TiGn,mとなる。

0075

なお、以下では、第一エッジ軌跡導出ユニット30aにて生成される軌跡信号Tiを第一軌跡信号T1i、第二エッジ軌跡導出ユニット30bにて生成される軌跡信号Tiを第二軌跡信号T2iと称す。
〈動き判定ユニットについて〉
次に、動き判定ユニット35について説明する。なお、動き判定ユニット35についての説明では、動き判定ユニット35に入力される軌跡信号Ti(ここでは、第一軌跡信号T1i、第二軌跡信号T2iとのいずれも)が表す信号値の画素を対象画素Gn,mとする。

0076

ここで、図7は、動き判定ユニット35の概略構成を示すブロック図である。
動き判定ユニット35は、第一エッジ軌跡導出ユニット30aから出力された第一軌跡信号T1iが表す信号値T1iGn,mと、第二エッジ軌跡導出ユニット30bから出力された第二軌跡信号T2iが表す信号値T2iGn,mとを論理演算する論理演算部36と、論理演算部36での論理演算結果に基づいて、撮影画像に写り込んだ物体が動いているか否かを判定する動き判定部41とを備えている。

0077

論理演算部36は、第一軌跡信号T1iが表す信号値T1iGn,mと、第二軌跡信号T2iが表す信号値T2iGn,mとを入力とした論理積(AND)を求め、その論理積演算の結果を対象画素Gn,mについての信号値RiGn,mとした演算結果信号Riを動き判定部41に出力するように構成されている。

0078

一方、動き判定部41は、論理演算部36からの演算結果信号Riが表す信号値RiGn,mに基づき、信号値RiGn,mがハイレベルである画素により形成される特定領域を抽出するラベリング演算部37と、ラベリング演算部37にて抽出された特定領域に基づき、物体の動きを判定するための指標である特徴量を演算する特徴量演算部38と、特徴量演算部38で演算された特徴量に基づいて、物体が動いているか否かを判定する移動判定部40とを備えている。

0079

ラベリング演算部37では、演算結果信号Riが表す信号値RiGn,mがハイレベルである画素のうち、隣接するもの同士をグルーピングして画素群を生成し、各画素群のそれぞれにラベル割り当てる周知のラベリングを実行し、ラベルが割り当てられた画素群を特定領域として抽出する。

0080

なお、本実施形態のラベリング演算部37では、演算信号Riが表す画素の入力順である第一検査方向(即ち、1回目のラベリング)と、第一検査方向とは直交する方向である第二検査方向(即ち、2回目のラベリング)との二回に渡りラベリングを実行するようにされている。また、ラベリング演算部37で割り当てられるラベルの最大数を256とする。

0081

さらに、ラベリング演算部37は、抽出された特定領域を構成する画素(以下、構成画素とする)についての情報(例えば、全構成画素の座標等、以下、座標情報とする)を特徴量演算部38に出力する。

0082

特徴量演算部38は、ラベリング演算部37から出力された座標情報をそれぞれの特徴領域毎に格納するレジスタ39を備え、レジスタ39に格納された各座標情報に基づいて、それぞれの特徴領域における規定方向に接続された画素の数を特徴量として算出するように構成されている。なお、ここで言う規定方向とは、第一方向もしくは第二方向のいずれかである。

0083

そして、移動判定部40は、特徴量演算部38で算出された特徴量が、予め規定された規定値以上であるか否かを判定し、判定の結果、規定値以上であれば、撮影画像に写り込んだ物体が往復運動したものと判定し、当該動き判定装置10に接続された各種装置(図示せず)に、物体が往復運動したことを示す動き検出信号を送信するように構成されている。

0084

つまり、動き判定ユニット35では、論理演算部36にて、第一軌跡情報T1iが表す信号値T1iGn,mと、第二軌跡情報T2iが表す信号値T2iGn,mとの論理積を画素毎に演算し、ラベリング演算部37にて、論理演算部36で演算された論理積が真である画素により形成される特徴領域を抽出する。そして、特徴量演算部38にて、各特徴領域の規定方向に隣接する画素の数を特徴量として算出し、移動判定部40にて、その特徴量が規定値以上であるか否かを判定し、規定値以上であれば、物体が動いているものと判定する。
〈動き判定装置全体の動作〉
ここで、図19は、動き判定装置10にて各信号を生成するために要する時間を説明するための説明図である。

0085

図19に示すように、エッジ検出フィルタ13では、フィルタ処理に必要な走査列分の画素値PiGn,mをバッファに蓄積する必要があるため、動き判定装置10への撮影画像(図中、画像信号Pi)の入力が開始(画像信号Piの画素値PiG1,1が入力)されてから、Y方向に1画素、X方向に1画素分遅れて、強調信号Qiの信号値QiG1,1の出力が開始される。

0086

そして、エッジ検出ユニット15、エッジ移動検出ユニット25(ここでは、第一25a,25bのいずれも)、エッジ軌跡導出ユニット30(ここでは、第一30a,30bのいずれも)、論理演算部36は、今回取得された撮影画像については、一つ前のユニットにて出力された対象画素Gn,mに対する処理結果のみを用いるため、一つ前のユニットからの出力よりも1画素分(理想的には、1クロック)遅れて、エッジ検出信号Eiの信号値EiGn,m、エッジ移動信号Siの信号値SiGn,m、軌跡信号Tiの信号値TiGn,m、論理演算信号Riの信号値RiGn,mが出力されることになる。

0087

つまり、エッジ検出ユニット15、エッジ移動検出ユニット25、エッジ軌跡導出ユニット30、論理演算部36では、いわゆるパイプライン処理のように、1画素ずつ順次処理が実行されることになる。
〈動き判定装置の動作例〉
次に、動き判定装置10の動作例について説明する。

0088

ここで、図13は、エッジ検出ユニット15、エッジ位置記憶ユニット20、及び第一エッジ軌跡導出ユニット30aから出力される各種信号概要イメージ)を説明するための説明図である。

0089

なお、図13では、画素数をN=4、M=3とし、網掛けされた画素の信号値がハイレベル(即ち、エッジ位置や、エッジ軌跡を形成する画素であることを示し)、網掛けされていない画素の信号値がローレベルであることを示すものとする。

0090

この図13では、動き判定装置10に入力された撮影画像が1フレーム目であれば、エッジ検出ユニット15は、各画素がエッジ位置であるか否かを判定し、エッジ位置であるものと判定した画素G1,2の信号値E1G1,2のみをハイレベルとし、それ以外に関しては、信号値(E1G1〜4,2,E1G2〜4,2,E1G1〜4,3)をローレベルとしたエッジ検出信号E1を出力する。

0091

一方、エッジ位置記憶ユニット20や、第一エッジ軌跡導出ユニット30aでは、これより前に動き判定装置10に撮影画像が入力されておらず、エッジ位置が移動したか否かを判定不能であるため、過去検出信号Fiの信号値F1G1〜4,1〜3や、第一軌跡信号T11の信号値T11G1〜4,1〜3は、ローレベルなものとなる。

0092

そして、動き判定装置10に入力された撮影画像が2フレーム目であれば、エッジ検出ユニット15では、撮影画像が1フレーム目であるときと同様に、各画素がエッジ位置であるか否かを判定し、エッジ位置であるものと判定した画素G2,2の信号値E2G2,2のみをハイレベルとし、それ以外に関しては、信号値(E2G1〜4,2,E2G1,2,E2G3〜4,2,E2G1〜4,3)をローレベルとしたエッジ検出信号E2を出力する。

0093

一方、この図13に示す例では、第一エッジ移動検出ユニット25aは、順次入力されるエッジ検出信号Eiの信号値E2G1〜4,1、OR1〜4,2、OR1〜4,3と、過去検出信号Fiの信号値F1G1〜4,1、OR1〜4,2、OR1〜3,3とを比較し、エッジ位置が移動したものとみなせる画素G2,2についての信号値S2G2,2のみをハイレベルとし、それ以外に関しては、ローレベルな信号値(S2G1〜4,2,S2G1,2,S2G3〜4,2,S2G1〜4,3)のエッジ移動信号S2を出力する。そして、第一エッジ軌跡導出ユニット30aは、エッジ移動信号S2がハイレベルな画素G2,2のみ、ハイレベルな第一軌跡信号T12の信号値T12G2,2を出力する。

0094

3フレーム以降、エッジ検出ユニット15、エッジ位置記憶ユニット20、第一エッジ移動検出ユニット25aは、第二フレームまでと同様に動作し、第一エッジ軌跡導出ユニット30aは、エッジ軌跡を構成するものと判定した画素(図13の3フレーム目であれば、G2,2,G2,3、4フレーム目であれば、G2,2,G2,3,G2,4)のみ、信号値(図13の3フレーム目であれば、T12G2,2,T12G2,3、4フレーム目であれば、T12G2,2,T12G2,3,T12G2,4)をハイレベルとした第一軌跡信号T12を出力する。したがって、第一エッジ軌跡導出ユニット30aから出力される第一軌跡信号T1iは、エッジ位置が移動した距離(軌跡)が長ければ長いほど、隣接する画素数が多くなることを示す。

0095

ここで、図14は、動き判定ユニット35における処理の概要(イメージ)を示した説明図である。
例えば、図14に示すように、先行車両の後部が写り込んだ撮影画像が、1フレーム目から3フレーム目までに動き判定装置10に入力されたものとする。

0096

この時、1フレーム目から2フレーム目までの間に、撮影画像に写り込んだ先行車両が第二方向へと移動した場合、第二エッジ軌跡導出ユニット30bから出力される第二軌跡信号T22は、先行車両の右端、及び左端が第二方向へと移動した軌跡(図中、着色された領域)を示したものとなる。

0097

一方、2フレーム目から3フレーム目までの間に、撮影画像に写り込んだ先行車両が第一方向へと移動した場合、第一エッジ軌跡導出ユニット30aから出力される第一軌跡信号T13は、先行車両の右端、及び左端が、第一方向へと移動した軌跡(図中、着色された領域)を示したものとなる。ただし、1フレーム目から2フレーム目までの間に、先行車両が第二方向へと移動したため、この2フレーム目から3フレーム目までの間に、第二エッジ軌跡導出ユニット30bから出力される第二軌跡信号T23は、先行車両の右端、及び左端が第二方向へと移動した軌跡を示したものとなる。

0098

さらに、撮影画像が3フレーム目であれば、動き判定ユニット35では、これら第一軌跡信号T13、及び第二軌跡信号T23の論理積を演算することで、図14に示すような第一方向への軌跡と、第二方向への軌跡の重複する領域を抽出する(図中、AND演算結果)。そして、重複する領域の規定方向への大きさが規定値以上であれば、移動判定部40が、先行車両が動いている、即ち、先行車両が往復運動しているものと判断する。

0099

つまり、本実施形態の動き判定ユニット35では、第一軌跡信号T1iが表す信号値T1iGn,mと、第二軌跡信号T2iが表す信号値T2iGn,mとの論理積を演算することにより、第一方向への軌跡と、第二方向への軌跡とが重複する領域を抽出している。

0100

なお、本実施形態において、エッジ検出ユニット15が本発明の端部判定ユニットに、エッジ位置記憶ユニット20が過去情報保持ユニットに、第一エッジ移動検出ユニット25a、及び第二エッジ移動検出ユニット25bが本発明の移動判定ユニットに、第一エッジ軌跡導出ユニット30a、第二エッジ軌跡導出ユニット30bが本発明の軌跡情報生成ユニットに、動き判定ユニット35が本発明の動き判定ユニットに相当する。
[第一実施形態の効果]
以上説明したように、上記実施形態の動き判定装置10では、撮影画像に写り込んだ物体の重心座標を求めること無く、物体の動きを判定している。したがって、動き判定装置10によれば、重心座標を求めるための除算を実行する必要が無いため、従来の動き判定装置と異なり、高速で物体の動きを判定することができる。

0101

さらに、動き判定装置10によれば、各ユニットにおいて、各信号が表す対象画素Gn,mが入力される毎に、メモリ等に格納された信号値の中から、対象画素Gn,mに対して予め規定された画素の信号を自動的に出力するように構成されているため、従来の装置と異なり、メモリ等に格納された信号値の中から必要な信号値を探索する処理(即ち、リスト探索)を不要なものとすることができる。

0102

これらの結果、動き判定装置10によれば、除算や、リスト探索等のように、物体の動きを判定するために実施される他の動作と比べて、極端に時間を要する(即ち、ボトルネックとなる)動作を含むことなく、エッジ検出ユニット15、エッジ移動検出ユニット25(ここでは、第一25a,25bのいずれも)、エッジ軌跡導出ユニット30(ここでは、第一30a,30bのいずれも)、論理演算部36までの処理を実行することができる。

0103

特に、動き判定装置10によれば、今回のフレームにて取得した撮影画像からは、対象画素Gn,m以外の画素に対する結果を用いること無く、演算結果信号Riの信号値RiGn,mまでを出力することができる。

0104

つまり、上記実施形態の動き判定装置10によれば、エッジ検出ユニット15から論理演算部36までの動作を、いわゆるパイプライン処理のように、1画素ずつ順次実行することができる。

0105

なお、上記実施形態の動き判定装置10によれば、ラベリング演算部37における1回目のラベリングを演算信号Riが表す画素の入力順に従って実施しているため、演算信号Riの出力が開始されてから2回目のラベリングが終了(即ち、特徴領域を抽出)するまでに、特徴量演算部38が待機する時間を短縮することができる。

0106

また、動き判定装置10によれば、第一軌跡信号T1iが表す信号値T1iGn,mと、第二軌跡信号T2iが表す信号値T2iGn,mとの論理積に基づいて、撮影画像に写り込んだ先行車両の動きを判定しているため、先行車両が往復運動しているか否かを判定することができる。

0107

なお、動き判定装置10によれば、エッジ軌跡導出ユニット30が、軌跡信号Tiが表す対象画素Gn,mの信号値TiGn,mが最初にハイレベルとなった後、規定数フレーム分の処理が経過すると、その対象画素Gn,mについての累積軌跡信号Uが表す信号値UGn,mを初期値に戻すように構成されているため、新たな判定結果が、過去(規定数フレームよりも前)の判定結果に埋もれることで、利用されなくなることを低減できる。

0108

このため、動き判定装置10によれば、例えば、今まで検出対象としていた物体とは異なる新たな物体が写り込んだとしても、その物体の動きを判定することができる。
[第二実施形態]
次に、第二実施形態について説明する。

0109

第一実施形態で示した動き判定装置10と第二実施形態で説明する動き判定装置とでは、動き判定ユニット35が異なるのみである。このため、第一実施形態と同様の構成については、同一符号を付して説明を省略し、第一実施形態とは異なる動き判定ユニットを中心に説明する。

0110

ここで、図8は、第二実施形態における動き判定ユニットの概略構成を示したブロック図である。
なお、動き判定ユニット35aについての説明では、動き判定ユニット35aに入力された軌跡信号Ti(ここでは、第一軌跡信号T1i、第二軌跡信号T2iとのいずれも)が表す信号値TiGm,mの画素を対象画素Gn,mとする。

0111

動き判定ユニット35aは、第一エッジ軌跡導出ユニット30aから出力された第一軌跡信号T1iが表す信号値T1iGn,mと、第二エッジ軌跡導出ユニット30bから出力された第二軌跡信号T2iが表す信号値T2iGn,mとを論理演算する論理演算部36aと、論理演算部36aでの論理演算結果に基づいて、撮影画像に写り込んだ物体が動いているか否かを判定する動き判定部41とを備えている。

0112

論理演算部36aは、第一軌跡信号T1iが表す信号値T1iGn,mと、第二軌跡信号T2iが表す信号値T2iGn,mとを入力とした論理和(OR)を求め、その論理和演算の結果を対象画素Gn,mについての信号値RiGn,mとした演算結果信号Riを動き判定部41に出力するように構成されている。

0113

なお、動き判定部41は、ラベリング演算部37が論理演算部36aから出力される論理和の演算結果に対してラベリングを実行することの他は、第一実施形態と同様であるため、ここでの説明は省略する。

0114

次に、第二実施形態における動き判定ユニット35の動作例を説明する。
図15は、動き判定ユニット35における処理の概要(イメージ)を示した説明図である。

0115

例えば、図15に示すように、先行車両の後部が写り込んだ撮影画像が、1フレーム目から3フレーム目までに動き判定装置10に入力されたものとする。
この時、1フレーム目から2フレーム目までの間に、撮影画像に写り込んだ先行車両が第二方向へと移動した場合、第二エッジ軌跡導出ユニット30bから出力される第二軌跡信号T22は、先行車両の右端、及び左端が第二方向へと移動した軌跡(図中、着色された領域)を示したものとなる。

0116

一方、2フレーム目から3フレーム目までの間に、撮影画像に写り込んだ先行車両が第一方向へと移動した場合、第一エッジ軌跡導出ユニット30aから出力される第一軌跡信号T13は、先行車両の右端、及び左端が、第一方向へと移動した軌跡(図中、着色された領域)を示したものとなる。ただし、1フレーム目から2フレーム目までの間に、先行車両が第二方向へと移動したため、この2フレーム目から3フレーム目までの間に、第二エッジ軌跡導出ユニット30bから出力される第二軌跡信号T23は、先行車両の右端、及び左端が第二方向へと移動した軌跡を示したものとなる。

0117

さらに、撮影画像が3フレーム目であれば、動き判定ユニット35では、これら第一軌跡信号T13の信号値T13Gn,mと、第二軌跡信号T23の信号値T23Gn,mとの論理和を演算することで、図15に示すような第一方向への軌跡と、第二方向への軌跡との少なくともいずれか一方が、エッジ軌跡であることを示す画素を抽出する。そして、抽出した画素の規定方向に隣接する数が規定値以上であれば、移動判定部40が、前方車両が動いている、即ち、前方車両が動体であるものと判断する。

0118

つまり、本実施形態の動き判定ユニット35aでは、第一軌跡信号T1iの信号値T1iGn,mと、第二軌跡信号T2iの信号値T2iGn,mとの論理和を演算することにより、第一方向への軌跡と、第二方向への軌跡との少なくともいずれか一方が、エッジ軌跡であることを示す領域を抽出している。
[第二実施形態の効果]
以上説明したように、本実施形態の動き判定装置によれば、第一方向への軌跡と、第二方向への軌跡との少なくともいずれか一方が、エッジ軌跡であることを示す領域を抽出するため、撮影画像に写り込んだ物体が静止物であるか移動物であるかを、従来の装置に比べて高速に判定することができる。
[第三実施形態]
次に、第三実施形態について説明する。

0119

第一実施形態で示した動き判定装置10と第三実施形態で説明する動き判定装置とでは、動き判定ユニット35が異なるのみである。このため、第一実施形態と同様の構成については、同一符号を付して説明を省略し、第一実施形態とは異なる動き判定ユニットを中心に説明する。

0120

ここで、図9は、第三実施形態における動き判定ユニットの概略構成を示したブロック図である。
なお、動き判定ユニット35bについての説明では、動き判定ユニット35bに入力された軌跡信号Ti(ここでは、第一軌跡信号T1i、第二軌跡信号T2iとのいずれも)が表す信号値TiGm,mの画素を対象画素Gn,mとする。

0121

動き判定ユニット35bは、第一エッジ軌跡導出ユニット30aから出力された第一軌跡信号T1iが表す信号値T1iGn,mと、第二エッジ軌跡導出ユニット30bから出力された第二軌跡信号T2iが表す信号値T2iGn,mとを論理演算する論理演算部36bと、論理演算部36bでの論理演算結果に基づいて、撮影画像に写り込んだ物体が動いているか否かを判定する動き判定部41とを備えている。

0122

論理演算部36bは、第一軌跡信号T1iが表す信号値T1iGn,mと、第二軌跡信号T2iが表す信号値T2iGn,mとを入力とした排他的論理和(XOR)を求め、その排他的論理和演算の結果を対象画素Gn,mについての信号値RiGn,mとした演算結果信号Riを動き判定部41に出力するように構成されている。

0123

なお、動き判定部41は、ラベリング演算部37が論理演算部36aから出力される論理和の演算結果に対してラベリングを実行することの他は、第一実施形態と同様であるため、ここでの説明は省略する。

0124

つまり、本実施形態の動き判定ユニット35bでは、第一軌跡信号T1iが表す信号値T1iGn,mと、第二軌跡信号T2iが表す信号値T2iGn,mとの排他的論理和を演算することにより、第一方向への軌跡と、第二方向への軌跡とのいずれか一方が、エッジ軌跡であることを示す領域を抽出している。
[第三実施形態の効果]
以上説明したように、本実施形態の動き判定装置によれば、撮影画像に写り込んだ物体が一方向に移動しているか否かを、従来の装置に比べて高速に判定することができる。
[第四実施形態]
次に、第四実施形態について説明する。

0125

第一実施形態で示した動き判定装置10と、第四実施形態における動き判定装置とでは、多くの構成が共通している。このため、第一実施形態と同様の構成については、同一符号を付して説明を省略し、第一実施形態とは異なる構成を中心に説明する。

0126

ここで、図10は、第四実施形態における動き判定装置の概略構成を示した説明図である。
図10に示すように、動き判定装置11は、エッジ検出フィルタ13と、エッジ検出ユニット15と、エッジ位置記憶ユニット20と、第一エッジ移動検出ユニット25aと、第一エッジ軌跡導出ユニット30aと、第二エッジ移動検出ユニット25bと、第二エッジ軌跡導出ユニット30bとを備えている。さらに、撮影装置5からの画像信号Piに基づき、撮影画像に写り込んだ物体を表す物体領域を認識する物体認識ユニット50と、第一エッジ軌跡導出ユニット30aから出力された第一軌跡信号T1i、第二エッジ軌跡導出ユニット30bから出力された第二軌跡信号T2i、及び物体認識ユニット50で認識された物体領域に基づいて、物体が動いているか否かを判定する動き判定ユニット60とを備えている。
〈物体認識ユニット〉
次に、物体認識ユニット50について説明する。

0127

ここで、図11は、物体認識ユニット50の概略構成を示したブロック図である。
物体認識ユニット50は、撮影装置5からの画像信号Piが表す画素値PiGn,mを二値化する二値化処理部51と、二値化処理部51にて二値化された二値化画像に基づき、物体領域を抽出するラベリング処理部52と、ラベリング処理部52にて抽出された物体領域の座標を求める領域演算部53とを備えている。

0128

具体的に、二値化処理部51では、撮影装置5からの画像信号Piが表す画素値PiGn,mが、予め規定された第二閾値未満であれば、信号値ViGn,mをローレベル(即ち、0)、第二閾値以上であれば、信号値ViGn,mをハイレベル(即ち、1)とした二値化信号Viを出力する。つまり、二値化処理部51では、撮影装置5にて撮影された撮影画像内において、輝度値が第二閾値以上である画素を物体を表すものとし、その画素をハイレベルとした二値化画像を生成している。

0129

また、ラベリング処理部52では、二値化処理部51から入力された二値化信号Viが表す信号値ViGn,mがハイレベルである画素のうち、隣接するもの同士をグルーピングして画素群を生成し、各画素群のそれぞれにラベルを割り当てる周知のラベリングを実行し、ラベルが割り当てられた画素群を物体領域として抽出する。

0130

なお、本実施形態のラベリング処理部52では、二値化信号Viが表す画素の入力順である第一検査方向(即ち、1回目のラベリング)と、第一検査方向とは直交する方向である第二検査方向(即ち、2回目のラベリング)との二回に渡りラベリングを実行するようにされている。また、ラベリング処理部52で割り当てられるラベルの最大数を256とする。

0131

さらに、ラベリング演算部52は、抽出された特定領域を構成する画素(以下、構成画素とする)についての情報(例えば、全構成画素の座標等、以下、座標情報とする)を領域演算部53に出力する。

0132

領域演算部53は、ラベリング処理部52にて抽出された物体領域を、それぞれ個別に格納するレジスタ54を備え、レジスタ54に格納された物体領域を構成する画素に基づき、物体領域の大きさ、及び位置を表す外接矩形を求める。

0133

具体的に、本実施形態における領域演算部53で求められる外接矩形は、物体領域を構成する画素の中で、X方向、もしくはY方向の少なくともいずれかの座標が最小、または最大となる画素(以下、この画素の座標を矩形座標とする)を検出し、それぞれの画素を通過するように各辺が設定されたものである。したがって、外接矩形は、物体領域を内包したものとなる。

0134

つまり、物体認識ユニット50では、撮影装置5から入力される画像信号Piに基づいて、撮影画像中に写り込んだ物体が位置しているものと推定される領域(即ち、外接矩形)を認識する。
〈動き判定ユニットについて〉
次に、動き判定ユニット60について説明する。

0135

ここで、図12は、動き判定ユニット60の概略構成を示したブロック図である。
動き判定ユニット60は、第一軌跡信号T1iが表すエッジ軌跡(以下、第一エッジ軌跡とする)を抽出する第一ラベリング演算部61aと、第二軌跡信号T2iが表すエッジ軌跡(以下、第二エッジ軌跡とする)を抽出する第二ラベリング演算部61bと、第一ラベリング演算部61aにて抽出された第一エッジ軌跡、第二ラベリング演算部61bで抽出された第二エッジ軌跡、及び物体認識ユニット50で認識された外接矩形に基づき、それらのエッジ軌跡と撮影画像中の物体とを対応付ける物体判定部62と、物体判定部62にて対応付けされたエッジ軌跡の特徴量を算出する特徴量演算部63と、特徴量演算部63で算出された特徴量に基づいて、物体の動きを判定する移動判定部65とを備えている。

0136

第一ラベリング演算部61a、及び第二ラベリング演算部61bは、それぞれ、第一軌跡信号T1i、及び第二軌跡信号T2iを入力として、ラベリングを実行することで、抽出される対象がエッジ軌跡となったことの他は、第一実施形態のラベリング演算部61と同様であるため、ここでの詳しい説明は省略する。

0137

また、物体判定部62は、第一ラベリング演算部61aにて抽出された第一エッジ軌跡と、第二ラベリング演算部61bにて抽出された第二エッジ軌跡とが、撮影画像中の同一物体のエッジであるか否かを判定する。

0138

具体的に、物体判定部62では、物体認識ユニット50から外接矩形(より正確には、矩形座標)を取得し、その外接矩形の内側に、第一エッジ軌跡、及び第二エッジ軌跡が位置する場合、それらの第一エッジ軌跡、及び第二エッジ軌跡が同一物体のエッジであるものとして認識する。そして、それらのエッジ軌跡に同一物体のエッジであることを示す符号を付して、特徴量演算部63に出力する。

0139

さらに、特徴量演算部63は、同一物体のエッジであることが示されたエッジ軌跡をそれぞれ対応するもの毎に格納するレジスタ64を備え、各レジスタ64に格納されたエッジ軌跡に基づいて、特徴量を算出する。

0140

具体的に、それぞれのエッジ軌跡の最小座標を示す画素(以下、最小画素とする)と、最大座標を示す画素(以下、最大画素とする)とを求め(ここでは、それぞれの規定方向に最小、最大)、その最大画素と最小画素間の規定方向の画素数を特徴量として算出する。ただし、以下では、第一エッジ軌跡から求められた特徴量を第一特徴量、第二エッジ軌跡から求められた特徴量を第二特徴量とする。

0141

そして、移動判定部65では、第一特徴量と第二特徴量の差分、さらに、その差分の絶対値を求め、その絶対値が、予め規定された規定閾値以上であるか否かを判定する。そして、判定の結果、算出された絶対値が規定閾値以上であれば、物体が回転運動をしているものと判断し、さらに、求められた差分の符号に基づいて回転の方向を判断し、当該動き判定装置10に接続された各種装置(図示せず)に、物体の動きを検出したことを示す動き検出信号を送信する。
〈動き判定装置の動作例〉
次に、動き判定装置10の動作例について説明する。

0142

ここで、図16は、動き判定ユニット60における処理の概要(イメージ)を示した説明図である。
例えば、図16に示すように、1フレーム目から4フレーム目までに、先行車両の後部が撮影された撮影画像が動き判定装置10に入力されたものとする。

0143

すると、物体認識ユニット50の二値化処理部51では、各フレーム毎に図16に示すような二値化画像、即ち、物体領域を抽出する。
そして、1フレーム目から4フレーム目までの間に、撮影画像に写り込んだ先行車両が旋回運動をしている場合、第一軌跡信号T1i、及び第二軌跡信号T2iは、先行車両の右端、及び左端の旋回の軌跡を示したものとなる。

0144

さらに、動き判定ユニット60では、これら第一軌跡信号T1i、及び第二軌跡信号T2iに基づいて、第一特徴量(図中L1)と、第二特徴量(図中L2)を算出すると共に、それらの特徴量の差分(例えば、L2−L1)の絶対値を求める。そして、その求められた絶対値が規定閾値以上であれば、先行車両が旋回運動しているものと判断すると共に、差分の符号が負であれば、先行車両が右旋回しているものと判断する。
[第四実施形態の効果]
以上説明したように、本実施形態の動き判定装置11によれば、撮影画像に写り込んだ物体が回転運動しているか否かを判定することができる。この結果、先行車両が、右左折するのか、車線変更するのかを容易に判定することができる。

0145

特に、動き判定装置11によれば、第一特徴量と第二特徴量との差分に基づいて、物体が運動しているか否かを判定しているため、物体の回転角度を変化させた複数のテンプレートと撮影画像との比較や、オプティカルフロー統合分析といった処理を実行する従来の装置と異なり、物体が回転運動しているか否かを高速で判定することができる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

0146

例えば、第四実施形態の動き判定装置11における移動判定部65は、第一特徴量と第二特徴量の差分の絶対値を求め、その絶対値が規定閾値以上であるか否かを判定するように構成されていたが、移動判定部65は、物体判定部62にて物体領域の内側に位置すると判定された第一特徴量と第二特徴量とに基づき、撮影画像に写り込んだ物体が移動した角度を求めるように構成しても良い。ただし、この場合、移動判定部65は、物体が移動した角度と、第一特徴量及び第二特徴量とを予め対応付けた角度マップを参照して、物体が移動した角度を求める必要がある。

0147

このように移動判定部65が構成された場合、第一エッジ移動検出ユニット25aが検出するエッジ位置の移動方向(即ち、第一方向)と、第二エッジ移動検出ユニット25bが検出するエッジ位置の移動方向(即ち、第二方向)とは、直交するように設定されていていることが望ましい。具体的には、撮影画像の下から上へと向かう方向を第一方向とし、撮像画像の左から右へと向かう方向を第二方向としても良い。

0148

ただし、この場合、エッジ位置記憶ユニット20のメモリコントローラ21は、対象画素Gn,mからY方向へ1画素先に位置する画素Gn,m+1の信号値を読み出し、エッジ移動検出ユニット25におけるバッファ26の格納領域の大きさは、対応する方向に応じたもの(即ち、第一方向では、0画素分の信号値を、第二方向では、N画素プラス1画素分の信号値を格納可能)である必要がある。

0149

ここで、図17は、上述した物体の移動角度を求めるように構成された動き判定装置において、第一方向(図中、下から上方向)と第二方向(図中、左から右方向)とが互いに直交する規定方向として設定された時のエッジ検出ユニット15、及びエッジ軌跡導出ユニット30から出力される各種信号の概要(イメージ)を説明するための説明図である。

0150

なお、図17では、画素数をN=6、M=6とし、網掛けされた画素の信号値がハイレベル(即ち、エッジ位置や、エッジ軌跡を形成する画素であることを示し)、網掛けされていない画素の信号値がローレベルであることを示すものとする。

0151

図17に示す例では、第一軌跡信号T1iが表す第一軌跡と、第二軌跡信号T2iが表す第二軌跡とは、フレーム数が増加するにつれて、それぞれの特徴量が均等に増加している。
このため、動き判定ユニット60では、第一特徴量と第二特徴量とに基づき、撮影画像に写りこんだ物体が、撮影画像の左下から右上へと向かう方向に45度で移動しているものと判定することができる。特に、このように構成された動き判定装置11によれば、たとえばアークタンジェントの計算により物体の移動角度を求める従来の装置と異なり、物体の移動する角度を高速で判定することができる。

0152

ただし、ここで言う特徴量とは、エッジ軌跡を構成する画素が規定方向に隣接する数に限るものではなく、エッジ軌跡を構成する画素の面積(即ち、総数)であっても良い。
また、上記実施形態のエッジ位置記憶ユニット20におけるメモリコントローラ21は、エッジ検出信号Eiが表す対象画素Gn,mの信号値EiGn,mが入力されると、対象画素Gn,mからX方向へ1画素先に位置する画素Gn,m+1の信号値を読出し、エッジ移動検出ユニット25に出力していたが、メモリーコントローラ21が読み出し出力する信号値は、これに限るものではない。つまり、過去検出信号Fi-1が表す対象画素Gn,mの信号値Fi-1Gn,mが更新される前に出力されれば(即ち、対象画素Gn,mよりも先に位置する画素についての信号値であれば)、どの画素の信号値であっても良い。ただし、規定方向が下から上方向である場合には、対象画素Gn,mからY方向へ1画素先に位置する画素Gn,m+1よりも先に位置する画素の信号値を読み出し、出力する必要がある。

0153

さらに、このような場合、エッジ移動検出ユニット25のバッファ26は、規定方向に応じて基準画素Gc,dの信号値を出力するように格納領域の大きさが設定されている必要がある。例えば、規定方向が下から上方向であり、メモリコントローラ21が対象画素Gn,mからY方向へ1画素先に位置する画素Gn,m+1を読み出す場合、バッファ26は、2×N画素(即ち、2走査列)分の信号値少なくとも格納可能な格納領域を有している必要がある。

0154

つまり、エッジ移動検出ユニット25のバッファ26は、エッジ位置記憶ユニット20のメモリコントローラ21が読み出し、エッジ移動検出ユニット25に出力する過去検出信号Fi-1の画素の位置に応じて設定されている必要がある。

0155

ところで、第四実施形態における物体認識ユニット50には、撮影装置5にて撮影された撮影画像が入力されていたが、物体認識ユニット50には、周知のビジョンチップからの出力が入力されても良い。

0156

なお、動き判定装置10におけるエッジ軌跡導出ユニット30では、軌跡信号Tiが表す対象画素Gn,mの信号値TiGn,mが最初にハイレベルとなった後、規定数フレーム分の処理が経過すると、その対象画素Gn,mについての累積軌跡信号Uの信号値UGn,mを初期値に戻すように構成されているが、予め規定された規定数フレーム分の処理が行われる毎に、累積軌跡信号Uが表す全ての信号値UGn,mを初期値に戻すように構成されていても良い。また、エッジ移動信号Siの信号値SiGn,mを一度でも、ハイレベルであると認識した場合、その対象画素Gn,mについての累積軌跡信号Uの信号値UGn,mをハイレベルに維持し続けるように構成しても良い。

0157

ところで、第一実施形態から第三実施形態における動き判定ユニット35には、ラベリング演算部37が設けられていたが、物体と背景との境界が鮮明な撮影画像を取得可能であれば、ラベリング演算部37は、省略されていても良い。

0158

また、上記実施形態の動き認識システム1では、先行車両の動きを認識し、その認識した先行車両の動きに従って、搭載車両を自動走行させる自動走行制御等に利用したが、動き認識システム1の利用方法は、これに限るものではない。例えば、運転者の頭部を撮影して、その頭部の動きを認識すると共に、その認識した頭部の動きに基づいて、運転者の眠気を推定することに利用しても良い。

0159

なお、上記実施形態の動き判定装置10,11に入力されるデータは、撮影装置5にて撮影された画像であったが、動き判定装置10,11に入力されるデータは、これに限るものではない。例えば、レーダ装置にて取得される距離画像でも良いし、使用者が入力装置を操作した時の軌跡を取得する手書きデバイスにて生成されるものであっても良い。

0160

ただし、ここで言うレーダ装置とは、レーザ光をレーダ波として送受信するいわゆるレーザレーダ装置や、ミリ波帯域の電波をレーダ波として送受信するいわゆるミリ波レーダ装置であり、ここで言う手書きデバイスとは、いわゆる周知のタブレットや、座標認識可能な筆記用具(例えば、周知のデジタルペン等)を示すものである。

0161

特に、動き判定装置10,11に入力されるデータが、手書きデバイスにて生成されるものである場合、第二実施形態における動き判定ユニットと、第三実施形態における動き判定ユニットとを併用して、物体の動きを判定するようにしても良い。この場合、例えば、折り返し動作を含む文字の入力や、ジェスチャー(I字型や幅の狭いV字型のような完全に折り返す動作と、レやTのような途中まで折り返す動作)が区別できる。

0162

また、上記実施形態での動き判定装置10,11におけるエッジ移動検出ユニット25は、第一方向と第二方向との二つの方向へのエッジ位置の移動を検出するように設けられていたが、二つの方向に限るものではなく、上下左右の各方向毎に設けられていても良い。ただし、この場合、エッジ軌跡導出ユニット30も合わせて設けられていることや、動き判定ユニット35,60がその方向に応じて特徴量を求めるように構成されている必要がある。

図面の簡単な説明

0163

動き認識システムの概略構成を示すブロック図である。
動き判定装置の概略構成を示すブロック図である。
エッジ検出ユニットの概略構成を示すブロック図である。
エッジ位置記憶ユニットの概略構成を示すブロック図である。
エッジ移動検出ユニットの概略構成を示すブロック図である。
エッジ軌跡導出ユニットの概略構成を示すブロック図である。
第一実施形態における動き判定ユニットの概略構成を示すブロック図である。
第二実施形態における動き判定ユニットの概略構成を示すブロック図である。
第三実施形態における動き判定ユニットの概略構成を示すブロック図である。
第四実施形態における動き判定装置の概略構成を示すブロック図である。
物体認識ユニットの概略構成を示すブロック図である。
第四実施形態における動き判定ユニットの概略構成を示すブロック図である。
エッジ検出ユニットからエッジ軌跡導出ユニットが出力する信号のイメージを説明するための説明図である。
第一実施形態の動き判定ユニットにおける判定のイメージを説明するための説明図である。
第二実施形態の動き判定ユニットにおける判定のイメージを説明するための説明図である。
第四実施形態の動き判定ユニットにおける判定のイメージを説明するための説明図である。
第四実施形態における動き判定装置の変形例において、エッジ検出ユニットからエッジ軌跡導出ユニットで出力される出力信号のイメージを説明するための説明図である。
撮影装置にて撮影される撮影画像、及び画像信号を説明するための説明図である。
動き判定装置にて生成される各種信号を説明するための説明図である。
フィルタ処理に用いる画素値を説明するための説明図である。

符号の説明

0164

1…動き認識システム5…撮影装置10…動き判定装置15…エッジ検出ユニット16…エッジ検出フィルタ17…二値化ユニット 20…エッジ位置記憶ユニット21…メモリコントローラ22…第一メモリ25…エッジ移動検出ユニット(25a,25b…第一,第二エッジ移動検出ユニット) 26…バッファ28…エッジ移動推定部 30…エッジ軌跡導出ユニット(30a,30b…第一,第二エッジ軌跡導出ユニット) 31…軌跡判定部 32…第二メモリ 35…動き判定ユニット36…論理演算部 37…ラベリング演算部 38…特徴量演算部 39…レジスタ40…動き判定部 50…物体認識ユニット 51…二値化処理部 52…ラベリング処理部 53…領域演算部 60…動き判定ユニット 61a,61b…第一,第二ラベリング演算部 62…物体判定部 63…特徴量演算部 65…移動判定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 富士ゼロックス株式会社の「 画像処理装置及びプログラム」が 公開されました。( 2020/09/24)

    【課題】本開示の技術は、色見本表に対する測色の誤りを回避することができる画像処理装置及びプログラムを提供する。【解決手段】画像処理装置は、複数の色見本が行列状に配置され、前記複数の色見本に含まれる予め... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ