図面 (/)

技術 画像処理方法、画像処理装置及び物体認識方法

出願人 日産自動車株式会社ルノーエス.ア.エス.
発明者 チョヒョンソン西内秀和佐藤宏
出願日 2019年2月1日 (1年11ヶ月経過) 出願番号 2019-016869
公開日 2020年8月20日 (4ヶ月経過) 公開番号 2020-126306
状態 未査定
技術分野 イメージ分析 画像処理
主要キーワード 撮影レート 最小速度 偶数回目 高解像度モニタ 奇数回目 学習データベース 被合成画像 高階調画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年8月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

動いている観測対象の全体を高画質化する画像処理方法画像処理装置及び画像処理の結果を用いた物体認識方法を提供する。

解決手段

画像データの画像中の複数の計測点について動き計測し(S21)、計測点のそれぞれについて動きに周期性があるか否かを判断し(S22)、動きに周期性があると判断された計測点のうちの1つを注目計測点に選択して注目計測点の動きの周期である動作周期位相の1つを基準位相に設定し(S23)、撮影フレームのそれぞれについて、基準位相に相当する時刻撮影された基準位相フレームであるか否か判断し(S24)、動作周期で動く他の計測点を有する観測対象が含まれるように注目計測点の周囲の画像領域を基準位相フレームから切り取り(S25)、複数の基準位相フレームの画像領域を加算処理して合成画像を生成する(S26)。

概要

背景

連続的に撮影された複数の撮影フレームにより構成される画像データを高画質化するために、複数の撮影フレームを合成する画像処理方法が用いられている。例えば、特許文献1では、被合成画像の変化量に基づいて合成画像を生成する際に、画像のサイズに応じて被合成画像の枚数を設定する。画像のサイズが大きければ被合成画像の枚数を少なくすることにより、合成画像を生成するリソースを小さくできる。

概要

動いている観測対象の全体を高画質化する画像処理方法、画像処理装置及び画像処理の結果を用いた物体認識方法を提供する。画像データの画像中の複数の計測点について動き計測し(S21)、計測点のそれぞれについて動きに周期性があるか否かを判断し(S22)、動きに周期性があると判断された計測点のうちの1つを注目計測点に選択して注目計測点の動きの周期である動作周期位相の1つを基準位相に設定し(S23)、撮影フレームのそれぞれについて、基準位相に相当する時刻に撮影された基準位相フレームであるか否か判断し(S24)、動作周期で動く他の計測点を有する観測対象が含まれるように注目計測点の周囲の画像領域を基準位相フレームから切り取り(S25)、複数の基準位相フレームの画像領域を加算処理して合成画像を生成する(S26)。

目的

本発明は、動いている観測対象の全体を高画質化する画像処理方法、画像処理装置及び画像処理の結果を用いた物体認識方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

経時的に連続して撮影した複数の撮影フレームにより構成される画像データを処理する画像処理方法において、前記画像データの画像中の複数の計測点について動き計測し、前記計測点のそれぞれについて前記計測した動きに周期性があるか否かを判断し、前記計測した動きに周期性があると判断された前記計測点のうちの1つを注目計測点に選択して前記注目計測点の動きの周期である動作周期位相の1つを基準位相に設定し、前記撮影フレームのそれぞれについて、前記基準位相に相当する時刻に撮影された基準位相フレームであるか否か判断し、前記動作周期で動く他の前記計測点を有する観測対象が含まれるように前記注目計測点の周囲の画像領域を前記基準位相フレームから切り取り、複数の前記基準位相フレームの前記画像領域を加算処理して合成画像を生成することを特徴とする画像処理方法。

請求項2

前記動作周期について複数の前記基準位相を設定し、前記撮影フレームのそれぞれについて、複数の前記基準位相のいずれかに相当する時刻に撮影された前記基準位相フレームであるか否かを判断し、前記基準位相ごとに前記基準位相フレームの前記画像領域を加算処理して複数の前記合成画像を生成することを特徴とする請求項1に記載の画像処理方法。

請求項3

前記動作周期が同一である複数の前記注目計測点を選択し、複数の前記注目計測点について互いに異なる位相をそれぞれの前記基準位相に設定し、前記撮影フレームのそれぞれについて、複数の前記注目計測点の前記基準位相のいずれかに相当する時刻に撮影された前記基準位相フレームであるか否かを判断し、前記注目計測点ごとに前記基準位相フレームの前記画像領域を加算処理して複数の前記合成画像を生成することを特徴とする請求項1に記載の画像処理方法。

請求項4

前記注目計測点の動きの履歴に基づいて算出された前記観測対象の位置変化量に応じて前記画像領域の画像を移動させながら、前記画像領域の加算処理を行うことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。

請求項5

前記画像領域の加算処理において前記画像データを高階調化した前記合成画像を生成することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。

請求項6

前記計測点の垂直方向の動きも若しくは水平方向の動きを用いて、前記計測点の動きに周期性があるか否かを判断することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理方法。

請求項7

前記注目計測点の前記動作周期の逓倍の周期で動く前記計測点を含むように前記画像領域を設定することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理方法。

請求項8

前記注目計測点の動きの速度が最大の時刻または最小の時刻を前記基準位相とすることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理方法。

請求項9

前記注目計測点の動きの速度がゼロから変化する時刻を前記基準位相とすることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理方法。

請求項10

前記注目計測点の動きの速度が前記動作周期において2回目極大値になる時刻を前記基準位相とすることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理方法。

請求項11

撮影時間の順序で1つおきに前記基準位相フレームの前記画像領域を加算処理して前記合成画像を生成することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理方法。

請求項12

前記画像領域に含まれる前記動作周期の前記計測点の個数設定値よりも少ない場合に、前記動作周期の2倍の周期について1つの前記基準位相を設定し直して、前記撮影フレームのそれぞれについて前記基準位相フレームであるか否か判断することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理方法。

請求項13

先に撮影された前記基準位相フレームから切り取られた前記画像領域の画像と、後に撮影された前記基準位相フレームから切り取られた前記画像領域の画像との相関を取り、相関値が所定の閾値以下の場合は、後に撮影された前記基準位相フレームから切り取られた前記画像領域を前記合成画像の生成に使用せず、前記合成画像の生成に使用しない前記画像領域が2回以上続いた場合には、前記注目計測点及び前記基準位相を画像合成に使用する対象から除外することを特徴とする請求項1乃至12のいずれか1項に記載の画像処理方法。

請求項14

請求項1乃至13のいずれか1項に記載の画像処理方法の処理結果を表示し、前記観測対象の様々な形状が格納された学習データベースを用いて、前記処理結果から前記観測対象の物体認識を実行することを特徴とする物体認識方法

請求項15

前記観測対象が歩行中の人間であることを特徴とする請求項14に記載の物体認識方法。

請求項16

経時的に連続して撮影した複数の撮影フレームにより構成される画像データを処理する画像処理装置であって、前記画像処理装置は、前記画像データの画像中の複数の計測点について動きを計測し、前記計測点のそれぞれについて前記計測した動きに周期性があるか否かを判断し、前記計測した動きに周期性があると判断された前記計測点のうちの1つを注目計測点に選択して前記注目計測点の動きの周期である動作周期の位相の1つを基準位相に設定し、前記撮影フレームのそれぞれについて、前記基準位相に相当する時刻に撮影された基準位相フレームであるか否か判断し、前記動作周期で動く他の前記計測点を有する観測対象が含まれるように前記注目計測点の周囲の画像領域を前記基準位相フレームから切り取り、複数の前記基準位相フレームの前記画像領域を加算処理して合成画像を生成することを特徴とする画像処理装置。

技術分野

0001

本発明は、画像処理方法画像処理装置及び物体認識方法に関する。

背景技術

0002

連続的に撮影された複数の撮影フレームにより構成される画像データを高画質化するために、複数の撮影フレームを合成する画像処理方法が用いられている。例えば、特許文献1では、被合成画像の変化量に基づいて合成画像を生成する際に、画像のサイズに応じて被合成画像の枚数を設定する。画像のサイズが大きければ被合成画像の枚数を少なくすることにより、合成画像を生成するリソースを小さくできる。

先行技術

0003

特開2006−92450号公報

発明が解決しようとする課題

0004

しかしながら、撮影フレームを単純に重ねて合成画像を生成化した場合、歩行中の人間のように動いていることにより形状が連続的に変化する観測対象は、動きのない部分のみが高画質化し、動いている部分はぼやけてしまう。

0005

本発明は、動いている観測対象の全体を高画質化する画像処理方法、画像処理装置及び画像処理の結果を用いた物体認識方法を提供することを目的とする。

課題を解決するための手段

0006

本発明の一態様に係る画像処理方法、画像処理装置及び物体認識方法は、画像データの画像中の複数の計測点について動きを計測することによって観測対象が同じ形状である撮影フレームを選択し、これらを加算処理して合成画像を生成することを要旨とする。

発明の効果

0007

本発明によれば、動いている観測対象の全体を高画質化する画像処理方法、画像処理装置及び画像処理の結果を用いた物体認識方法を提供することができる。

図面の簡単な説明

0008

本発明の第1の実施形態に係る画像処理装置の構成を示す模式図である。
歩行中の人間のオプティカルフローを示すグラフである。
歩行中の人間の足の水平方向のオプティカルフローを示すグラフである。
歩行中の人間の足の垂直方向のオプティカルフローを示すグラフである。
歩行中の人間のの水平方向のオプティカルフローを示すグラフである。
歩行中の人間の手の水平方向のオプティカルフローを示すグラフである。
歩行中の人間の頭部の垂直方向のオプティカルフローを示すグラフである。
比較例の合成画像を示す模式図である。
本発明の第1の実施形態に係る画像処理方法を説明するためのフローチャートである。
本発明の第1の実施形態に係る画像処理方法におけるオプティカルフローの計測方法を説明するための模式図である(その1)。
本発明の第1の実施形態に係る画像処理方法におけるオプティカルフローの計測方法を説明するための模式図である(その2)。
本発明の第1の実施形態に係る画像処理方法の処理結果の例を示す模式図である。
本発明の第2の実施形態に係る画像処理装置の構成を示す模式図である。
本発明の第3の実施形態に係る画像処理装置の構成を示す模式図である。

実施例

0009

以下に、図面を参照して実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

0010

(第1の実施形態)
図1に示す本発明の第1の実施形態に係る画像処理装置20は、撮像装置10により観測対象を時間的に(経時的に)連続して撮影した複数の撮影フレームにより構成される画像データについて画像処理を行う。撮像装置10は、例えば自動車に搭載されたカメラ防犯カメラなどである。撮像装置10によって撮影された画像データは、画像処理装置20に送信される。

0011

画像処理装置20は、計測部21、周期性判断部22、位相判断部23、画像格納部24、画像合成部25を備える。画像処理装置20は、計測結果記録装置261、画像記録装置262を有する記録装置26を更に備える。なお、図1には、撮像装置10、画像処理装置20、画像表示装置30及び物体認識装置40を備える画像データ処理システムを記載している。

0012

計測部21は、画像データの画像中に設定した複数の計測点について経時的な動きを計測する。例えば、時間的に連続して撮影された撮影フレームの相互間の画像を比較して、計測点の動きを計測する。計測結果は、計測結果記録装置261に格納される。例えば、計測部21は、画像データの画像の各部分の動きを示すオプティカルフローを計測する。

0013

周期性判断部22は、計測点のそれぞれについて動きに周期性があるか否かを判断する。周期性判断部22による判断の結果は、位相判断部23に出力される。

0014

位相判断部23は、動きに周期性があると判断された計測点(以下において「周期計測点」という。)のうちの1つを注目計測点Psに選択し、注目計測点Psの動きの周期である動作周期の位相の1つを基準位相Tsに設定する。更に、位相判断部23は、画像データを構成する撮影フレームのそれぞれについて、基準位相Tsに相当する時刻に撮影された基準位相フレームであるか否か判断し、複数の基準位相フレームを抽出する。

0015

画像格納部24は、注目計測点Psの周囲の画像領域を、複数の基準位相フレームそれぞれから切り取る。複数の基準位相フレームから切り取った画像領域の画像は、画像記録装置262に格納される。

0016

画像合成部25は、画像記録装置262に格納された複数の基準位相フレームの画像領域を加算処理して、合成画像を生成する。

0017

なお、基準位相フレームから切り取る画像領域は、注目計測点Psが含まれる一定の範囲である。これにより、画像領域は動作周期で動く部分を有する観測対象が含まれるように基準位相フレームから切り取られる。この画像領域の範囲は、撮像装置10から注目計測点Psまでの距離及び観測対象の大きさに応じて設定される。例えば観測対象として人間を想定する場合は、撮像装置10からの距離を用いて人間の大きさを認定し、観測対象の全体が含まれるように画像領域の範囲を設定する。

0018

以下では、計測部21がオプティカルフローを計測する場合を例示的に説明する。歩行中の人間の足、手、膝、頭の動きは周期性を有する。このため、例えば図2に示すオプティカルフローように、足の位置の計測点P1、膝の位置の計測点P2、手の位置の計測点P3、頭部の位置の計測点P4は周期計測点である。図2横軸は時刻であり、縦軸は計測点の速度(フロー速度)である。図3図7に、計測点P1〜P4のオプティカルフローの例を示す。

0019

図3に足の計測点P1の画像の水平方向のオプティカルフローの例を示し、図4に計測点P1の画像の垂直方向のオプティカルフローの例を示した。着地した状態で足は地面にしばらく留まり、その後、上方に移動する。したがって、足が着地した瞬間の速度はゼロである。計測点P1の速度は、足が地面についた瞬間に最大であり、足が地面につく前の瞬間が最小である。

0020

図5に、膝の計測点P2の水平方向のオプティカルフローの例を示した。計測点P2のオプティカルフローには、足と連結する膝が動くときの最大速度の瞬間である1回目極大値V1と、反対の足が動くときの2回目の極大値V2がある。

0021

図6に、手の計測点P3の水平方向のオプティカルフローの例を示した。手が最下点を通過する瞬間に速度が最大となる。

0022

図7に、頭部の計測点P4の垂直方向のオプティカルフローの例を示した。膝を伸ばす瞬間が最大速度であり、膝を曲げる瞬間が最小速度である。なお、歩行中の人間の頭部や胴体は、手足の左右の動きに対して同じ動きをする。このため、手や足の動きの周期は、頭部の動きの周期の2倍である。

0023

歩行中の人間の画像を単純に加算処理して合成画像を生成すると、例えば図8に示す比較例のように、動いていない部分については高解像度の画像が得られるが、動いている部分はぼやけてしまう。これに対し、第1の実施形態に係る画像処理方法によれば、動いている部分も含めて高解像度の画像が得られる。

0024

以下に、図9に示したフローチャートを参照して、図1に示した画像処理装置20による画像処理方法を説明する。なお、以下では、歩行中の人間を観測対象とする場合を例示的に説明する。

0025

図9のステップS10において、撮像装置10が撮影した処理対象の画像データが画像処理装置20に送信される。その後、ステップS20において画像データについて画像処理が行われる。

0026

ステップS21において、計測部21が、撮像装置10から送られてくる複数の撮影フレームを用いて、画像データの複数の計測点について動きを計測する。例えば、計測部21は、撮影フレームの画像の各部分の動きを示すオプティカルフローを計測する。オプティカルフローの計測は、例えば撮影フレームに含まれる画像の角や点などの追跡が容易な特徴点をオプティカルフローの計測点として抽出し、複数の撮影フレームにわたって計測点の移動を追跡して行う。

0027

ある撮影フレーム(以下、「元の撮影フレーム」という。)と、元の撮影フレームの次に撮影された撮影フレーム(以下、「次の撮影フレーム」という。)との間の計測点の追跡は、例えば以下のようにして行う。まず、計測部21は、計測点を中心にして、所定の画素数を含む大きさの画像範囲を元の撮影フレームから切り取る。そして、計測部21は、次の撮影フレームにおいて、元の撮影フレームの計測点の位置を中心として所定の探索範囲に含まれる複数の画素をそれぞれ中心に、元の撮影フレームの画像範囲と同じ大きさの画像範囲を切り取る。次に、計測部21は、次の撮影フレームから切り取られた複数の画像範囲のそれぞれと元の撮影フレームから切り取られた画像範囲について相関を取り、最も相関の大きい画像範囲の中心を次の撮影フレームでの計測点の座標とする。このようにして得られる撮影フレーム間での計測点の移動をオプティカルフローとする。

0028

例えば、図10に示すように、計測部21は、計測点Pが中心の画素Sに位置するように、画像範囲Aを元の撮影フレームから切り取る。そして、計測部21は、次の撮影フレームにおいて、図11に示すように、画素S及び画素Sに隣接する画素からなる9つの画素を探索範囲Bとして設定する。次に、計測部21は、探索範囲Bに含まれるそれぞれの画素を中心とし、画像範囲Aと同じ大きさの9つの画像範囲を、次の撮影フレームから切り取る。そして、計測部21は、次の撮影フレームから切り取られた9つの画像範囲の中から画像範囲Aとの相関が最も大きい画像範囲を選択し、選択した画像範囲の中心を次の撮影フレームでの計測点の座標とする。

0029

計測部21は、画像処理を開始した時点から設定された過去までの計測点のオプティカルフローの履歴を、周期性判断部22に出力する。設定された過去までの期間は任意であるが、少なくとも想定される観測対象の動きの周期性を確認できる程度の期間を設定する。

0030

ステップS22において、周期性判断部22は、オプティカルフローの履歴から、すべての計測点の動きについて周期性を判断し、周期性のある計測点を選択する。例えば観測対象を歩行中の人間とする場合には、人間は左右の手足を交互に動かして歩行するため、その動きは周期的で連続的に変形する。このため、自動車などの剛性が高くて変形しない被写体と人間とは、その動きによって区別できる。周期性の有無の判断は、例えば以下のようにして行われる。

0031

周期性判断部22は、計測点について計測部21から入力された水平方向若しくは垂直方向のオプティカルフローの履歴をフーリエ変換する。そして、直流成分を除いて最大の出力の周波数について、その出力が所定の閾値以上であれば、その計測点を周期計測点であると判断し、その周波数を周期計測点の基準周波数と定義する。周期性判断部22は、周期計測点とその基準周波数を位相判断部23に出力する。なお、周期計測点であると判断するための出力の閾値は、想定される観測対象の動きから設定しておくことが可能である。

0032

ステップS23において、位相判断部23が、周期性判断部22によって周期性があると判断された周期計測点の1つを、注目計測点Psとして選択する。更に、位相判断部23は、注目計測点Psの動きの周期である動作周期における位相の1つを基準位相Tsに設定する。そして、ステップS24において、位相判断部23は、画像データを構成する撮影フレームのそれぞれについて、基準位相Tsに相当する時刻に撮影された撮影フレームか否かを判断する。以下において、基準位相Tsに撮影された撮影フレームを「基準位相フレーム」とし、基準位相フレームの集合を「基準位相フレーム群Fs」という。即ち、基準位相フレーム群Fsは、動作周期を単位として画像データを構成する撮影フレームを複数のサイクルに区切ったときに、各サイクルにおける基準位相Tsに相当する時刻に撮影された撮影フレームの集合である。

0033

周期計測点を一部とする観測対象の動きは反復されるため、動作周期の同じ位相では、周期計測点は同じ位置であり、観測対象はすべて同じ形状である。つまり、基準位相フレーム群Fsは、観測対象の形状が同じ撮影フレームの集合である。

0034

例えば、位相判断部23は、動作周期に対応する周波数を基準周波数とする周期計測点の中から、画像の中央に一番近い計測点を注目計測点Psとして選択する。観測対象が歩行中の人間である場合、基準周波数は2〜3Hz程度である。そして、位相判断部23は、注目計測点Psのオプティカルフローの時間的変化から、例えばオプティカルフローの履歴における最新の動作周期である1回目の動作周期において基準位相Tsを設定する。基準位相Tsとして、例えば、注目計測点Psの水平方向の速度の大きさが最大である時刻に相当する位相が設定される。そして、位相判断部23は、オプティカルフローの履歴における2回目以降の動作周期において、撮影フレームのそれぞれについて撮影された時刻に相当する位相が基準位相Tsと同じであるか否かを判断する。位相判断部23は、撮影された時刻に相当する位相が基準位相Tsと同じであると判断された基準位相フレームを、画像格納部24に出力する。

0035

ステップS25において、画像格納部24が、注目計測点Psの周囲の画像領域を、動作周期で動く他の計測点を有する観測対象が含まれるように基準位相フレームから切り取り、この画像領域の画像を画像記録装置262に格納する。例えば、注目計測点Psから所定の距離以内にあり、且つ注目計測点Psと同じ基準周波数の周期計測点が全て含まれる領域を含む画像領域の画像が、画像記録装置262に格納される。画像領域の大きさは、撮像装置10から注目計測点Psまでの距離や想定される観測対象の大きさに対応する。

0036

ステップS26において、画像合成部25が、画像記録装置262に格納された複数の基準位相フレームの画像領域を加算処理して、合成画像を生成する。観測対象の形状が同じ画像を加算処理することにより、高画質の合成画像が得られる。画像処理装置によって生成された高画質の合成画像を用いることにより、例えば、観測対象についての物体認識の精度を向上させることができる。物体認識のために、所定の倍数に合成画像を拡大してもよい。なお、画像を加算処理として、加算平均処理をおこなってもよい。

0037

なお、画像記録装置262に格納する画像領域に、注目計測点Psの基準周波数の2倍の基準周波数の周期計測点も含まれるようにしてもよい。例えば、歩行中の人間の頭部の動きの周期は、手や足の動きの周期の半分である。このため、注目計測点Psが人間の手や足である場合に、基準周波数の2倍の周期計測点を含めることにより、頭部も画像領域に含めることができる。

0038

また、画像領域に観測対象の全体を確実に含ませるために、以下のように画像領域の範囲にマージンをもたせてもよい。即ち、対象の周期計測点が全て含まれる最小の領域の外側に一定の長さを上下左右に広げた画像領域の画像を、画像記録装置262に格納するようにしてもよい。

0039

なお、画像合成の画質を低下させる画像を画像合成の対象から除外するようにしてもよい。例えば、先に撮影された基準位相フレームから切り取られた画像領域の画像と、後に撮影された基準位相フレームから切り取られた画像領域の画像との相関を取る。つまり、先に画像記録装置262に格納された基準位相フレームの画像と、その後に格納しようとする基準位相フレームの画像との相関を取る。この画像の相関は、2つの画像における注目計測点Psの位置を合わせ、重複する部分に対して実行する。そして、画像の相関値が所定の閾値以下であれば、格納しようとする基準位相フレームの画像を画像記録装置262に格納せず、その画像を画像合成に使用しない。例えば、1回目の動作周期の基準位相フレームの画像を画像記録装置262に格納した場合、画像記録装置262に格納した画像と2回目以降の動作周期の基準位相フレームの画像との相関を取る。

0040

相関値が閾値以下であるのは観測対象の形状が大きく変形した場合であり、画像間で観測対象の形状が大きく変化した場合には合成画像の画質が低下する。画像の相関値が所定の閾値以下である画像を画像記録装置262に格納しないことにより、観測対象の画像を合成した画像の画質が悪化するのを防ぐことができる。このため、画像記録装置262に格納された画像を初期化する。

0041

なお、画像合成に使用しない画像領域が2回以上続いた場合には、その画像領域に対応する注目計測点Psや基準位相Tsを画像合成に使用する対象から除外してもよい。これにより、画質の悪い合成画像が生成されることを防止できる。

0042

ところで、画像を単純に加算処理して拡大するのみでは、画素の中に埋もれたサブピクセル単位の情報が、生成された合成画像で再現されにくい。このため、1回目の基準位相Tsの拡大された画像に2回目以降の画像を加算処理するために、注目計測点Psの動きの履歴、即ちオプティカルフローの履歴から、観測対象の位置変化量を算出する。そして、その位置変化量だけ2回目以降の基準位相Tsの画像の位置を順次移動させて、画像を加算処理する。このように観測対象の位置変化量を補正した画像の加算処理によって、画像記録装置262に格納された画像を拡大し且つサブピクセル単位の情報が再現された高画質の合成画像が観測対象について生成される。画像合成部25は、生成した合成画像を、画像表示装置30や物体認識装置40に出力する。

0043

ステップS30及びステップS40において、上記の画像処理方法による処理結果を用いた物体認識が行われる。

0044

ステップS30において、画像表示装置30が、画像合成部25から出力された高画質の合成画像を表示する。画像表示装置30は、例えば高解像度モニターなどである。画像表示装置30には、例えば所定の倍数に拡大された合成画像を表示してもよい。

0045

ステップS40において、物体認識装置40が、画像合成部25から出力された高画質の合成画像を入力とし、合成画像に含まれる観測対象の物体認識を行う。物体認識装置40は、例えば機械学習によって学習された人工知能を使用して、観測対象についての種々な形状データが格納された学習データベースを参照して、観測対象の物体認識を行う。

0046

以上に説明したように、第1の実施形態に係る画像処理方法では、撮影フレーム間での計測点の移動を示すオプティカルフローについて、周期性のある周期計測点を抽出する。そして、周期計測点から選択した注目計測点Psの動作周期の1つの時刻を基準位相Tsとし、基準位相Tsに相当する時刻に撮影された撮影フレームを抽出する。これにより、観測対象が同じ形状である基準位相フレーム群Fsが得られる。図12に示すように、基準位相フレーム群Fsの画像領域について加算処理することにより、高画質の合成画像が生成される。

0047

したがって、第1の実施形態に係る画像処理方法によれば、動きのある観測対象についても高画質の画像が得られる。この高画質の合成画像を使用することにより、画像処理をしていない画像を使用する場合よりも、観測対象の物体認識が容易であり、精度が向上する。合成画像を拡大した場合の観測対象の形状の輪郭は明確である。

0048

観測対象は任意に選択可能である。例えば、歩行中の人間を観測対象にする場合には、垂直方向若しくは水平方向の動きが周期性を有し、基準周波数が2〜3Hz程度の周期計測点を注目計測点Psとして選択する。なお、基準周波数は観測対象に応じて適宜変更可能であり、例えば走行中の人間を観測対象とする場合は、歩行中の人間を観測対象とする場合の基準周波数よりも高い基準周波数の周期計測点を注目計測点Psとして選択する。このとき、注目計測点Psの動作周期の逓倍の周期で動く周期計測点も観測対象に含まれる計測点としてもよい。これにより、全ての周期計測点の基準周波数が同一ではない観測対象に関して、多数の周期計測点を画像領域に含ませることができる。例えば、人間を想定した観測対象において、手や足を注目計測点Psにした場合に、手や足の動きの周期の2倍の周期で動く頭部を画像領域に含ませるようにできる。

0049

なお、計測点の動きの速度が最大の時刻や最小の時刻を、歩行中の人間の周期的な動きが現われる注目計測点Psの基準位相Tsとしてもよい。或いは、注目計測点Psの動きがゼロから変化する時刻、即ち注目計測点Psが静止状態から動き始める時刻を基準位相Tsとしてもよい。これにより、計測されたオプティカルフローから抽出することが容易な時刻が基準位相Tsになり、観測対象が同じ形状になる位相を容易に選択することができる。また、歩行中の人間の膝を注目計測点Psとする場合には、動作周期において速度が2回目の極大値になる時刻を基準位相Tsとしてもよい。

0050

ところで、撮像装置10の遠方の人間については、手足の動きよりも頭部の動きの方が観測されやすい。このため、頭部が注目計測点Psとして選択される可能性も高い。人間の頭部や胴体のように手足の左の動きと右の動きに対して同じ動きをする部分の周期は、手や足の動きの周期の半分である。したがって、頭部を注目計測点Psとした選択した場合には、注目計測点Psの動作周期の2倍の周期の間に1つの撮影フレームを選択することにより、観測対象が同じ形状になる撮影フレームを抽出できる。このため、撮影時間の順序で1つおきに基準位相フレームの画像領域を加算処理することにより、高画質の合成画像を生成できる。例えば、偶数回目または奇数回目の基準位相Tsについての基準位相フレームのみの画像領域を加算処理する。これは、動作周期の2倍の周期を1周期として基準位相Tsを設定し直すことに等価である。これにより、観測対象の動きの実際の周期の半分の周期の周期計測点を注目計測点Psに選択した場合に、高画質の合成画像を生成できる。

0051

例えば、撮像装置10からの距離が長い遠方では、画像データには人間の形状の特徴が殆ど見られない。このため、周期計測点が少なく検出されたときは、注目計測点Psが頭部や胴体である可能性が高い。したがって、画像領域に含まれる動作周期の計測点の個数が所定の設定値よりも少ない場合に、注目計測点Psが頭部や胴体であるとして、動作周期の2倍の周期について1つの基準位相を設定し直して、撮影フレームのそれぞれについて基準位相フレームであるか否かを判断する。この設定値は任意に設定可能であるが、周期計測点が1−2点程度であれば頭部や胴体である可能性が高いと推定される。したがって、例えば設定値を2−3としてもよい。

0052

第1の実施形態に係る画像処理方法や物体認識方法は、例えば車載カメラなどの移動体に搭載された撮像装置10により撮影された画像や、防犯カメラなどの固定された撮像装置10により撮影された画像などの画像処理に使用することができる。

0053

(第2の実施形態)
図13に示す第2の実施形態に係る画像処理装置20では、位相判断部23が、1つの注目計測点Psの動作周期について複数の基準位相Tsを設定する。そして、位相判断部23は、複数の基準位相Tsのそれぞれに関して、撮影フレームのそれぞれが基準位相Tsに相当する時刻に撮影されたか否かを判断する。つまり、1つの注目計測点Psに対して複数の基準位相Tsが設定されることが、1つの注目計測点Psについて1つの基準位相Tsが設定される第1の実施形態と異なる点である。

0054

例えば、位相判断部23は、1回目の動作周期におけるオプティカルフローから複数の基準位相Tsを設定する。以下に、3つの基準位相Tsが設定される場合を例示的に説明する。例えば、注目計測点Psの水平方向の動きの速度が最小である時刻の位相を基準位相Ts1とする。更に、動きの速度が最大である時刻の位相を基準位相Ts2とし、動きの速度がゼロから変化する時刻の位相を基準位相Ts3とする。

0055

位相判断部23は、撮影フレームのそれぞれについて、設定された基準位相Ts1、Ts2、Ts3のいずれかに相当する時刻に撮影されたか否か判断する。そして、位相判断部23は、基準位相Ts1に相当する時刻に設営された第1基準位相フレーム群Ft1、基準位相Ts2に相当する時刻に撮影された第2基準位相フレーム群Ft2、及び、基準位相Ts3に相当する時刻に撮影された第3基準位相フレーム群Ft3を画像格納部24に出力する。

0056

このとき、位相判断部23は、第1基準位相フレーム群Ft1、第2基準位相フレーム群Ft2、第3基準位相フレーム群Ft3に関するフレーム情報を、それぞれの基準位相フレーム群が判断された基準位相Tsと対応付けて画像格納部24に出力する。フレーム情報は、それぞれの撮影フレームが画像データのどの時刻に撮影されたかを示す情報であり、例えば撮影フレームに付与されたフレーム番号が記録されたタグなどである。

0057

画像格納部24は、第1基準位相フレーム群Ft1、第2基準位相フレーム群Ft2、第3基準位相フレーム群Ft3の画像を、図13に示した画像処理装置20の第1位相画像記録装置262_T1、第2位相画像記録装置262_T2、第3位相画像記録装置262_T3にそれぞれ格納する。なお、画像記録装置に格納する画像の選択方法及び相関を使った判定は第1の実施形態と同様である。例えば、前後の基準位相フレームの画像の相関値が閾値以下である場合は、画像記録装置に格納された画像を初期化する。

0058

画像合成部25は、第1の実施形態と同様に、画像記録装置に格納された画像を合成し、合成画像を生成する。このとき、基準位相Tsごとに基準位相フレーム群の画像領域を加算処理して、複数の合成画像を生成する。つまり、第1位相画像記録装置262_T1、第2位相画像記録装置262_T2、第3位相画像記録装置262_T3ごとに、格納されている画像を第1の実施形態と同様に合成して、基準位相Tsごとの合成画像を生成する。その結果、観測対象の形状が異なる3つの合成画像が生成される。

0059

第2の実施形態に係る画像処理方法では、1つの注目計測点Psについて設定された複数の基準位相Tsのそれぞれについて高画質の合成画像を生成する。このため、1つの注目計測点Psについて1つの基準位相Tsを設定する場合に比べて、合成画像が生成される間隔が短くなる。

0060

したがって、第2の実施形態に係る画像処理方法は、特に、観測対象の動きの周期が長い場合、若しくは物体認識をより短い間隔で行う場合に効果的である。例えば、撮像装置10の撮影レートに比べて人間の歩行周期がゆっくりである場合に、1つの基準位相Tsのみに基づいて画像合成を行うと、物体認識装置40には撮影レートよりも短い間隔でしか合成画像が入力しない。その結果、物体認識を行う間隔が長くなる。このため、例えば自動車の制御に物体認識の結果を反映させるには時間的余裕が十分ではない可能性がある。これに対し、第2の実施形態においては、注目計測点Psについて複数の基準位相Tsを設定することによって、物体認識を行う時間間隔を短くできる。

0061

以上に説明したように、第2の実施形態に係る画像処理方法によれば、第1の実施形態と同様に、動きのある観測対象について高画質の合成画像を生成できる。更に、第2の実施形態によれば、複数の基準位相Tsのそれぞれについて高画質の合成画像を生成するため、注目計測点Psの動作周期よりも短い時間間隔で合成画像を生成できる。短い時間間隔で生成した合成画像を用いて物体認識を行うことにより、高い頻度で遠方の物体情報を取得することも可能である。他は、第1の実施形態と実質的に同様であり、重複した説明を省略する。

0062

(第3の実施形態)
図14に示す第3の実施形態に係る画像処理装置20では、位相判断部23が、動作周期が同一である複数の注目計測点Psを選択する。これにより、観測対象について周期性のある部分が複数選択される。そして、位相判断部23は、複数の注目計測点Psについて互いに異なる位相をそれぞれの基準位相Tsに設定する。基準位相Tsが互いに異なるため、それぞれの基準位相Tsに相当する時刻における観測対象の形状は異なる。複数の注目計測点Psを選択し、それぞれの注目計測点Psについて基準位相Tsが設定されることが、1つの注目計測点Psについて1つの基準位相Tsが設定される第1の実施形態と異なる点である。

0063

位相判断部23は、例えば想定する観測対象が人間である場合、人間が歩行するときの手足の動きの周期である2〜3Hz程度の基準周波数の周期計測点から、複数の注目計測点Psを選択する。以下に、3つの注目計測点Psが選択される場合を例示的に説明する。例えば、位相判断部23は、画像の中央付近に最も近い周期計測点を第1注目計測点Ps1として選択する。更に、位相判断部23は、第1注目計測点Ps1からある程度離れた第2注目計測点Ps2、第3注目計測点Ps3を選択する。第1注目計測点Ps1、第2注目計測点Ps2及び第3注目計測点Ps3の相互の距離は、観測対象が含まれる画像の範囲によって設定される。つまり、撮像装置10から観測対象までの距離や想定される観測対象の大きさに応じて、選択される複数の注目計測点Psの相互の距離の範囲が設定される。

0064

位相判断部23は、1回目の動作周期におけるオプティカルフローから、第1注目計測点Ps1、第2注目計測点Ps2及び第3注目計測点Ps3のそれぞれの基準位相Tp1、Tp2、Tp3を設定する。例えば、水平方向の動きの速度が最小である時刻の位相を、基準位相Tp1、Tp2、Tp3とする。更に、位相判断部23は、撮影フレームのそれぞれについて、基準位相Tp1、Tp2、Tp3のいずれかに相当する時刻に撮影されたか否かを判断する。そして、位相判断部23は、基準位相Tp1、Tp2、Tp3のそれぞれに相当する時刻に撮影された第1基準位相フレーム群Fp1、第2基準位相フレーム群Fp2、第3基準位相フレーム群Fp3を、フレーム情報及び注目計測点Psの情報と対応付けて画像格納部24に出力する。

0065

画像格納部24は、第1基準位相フレーム群Fp1の画像、第2基準位相フレーム群Fp2の画像、第3基準位相フレーム群Fp3の画像を、図14に示した画像処理装置20の第1計測点画像記録装置262_P1、第2計測点画像記録装置262_P2、第3計測点画像記録装置262_P3にそれぞれ格納する。なお、画像記録装置に格納する画像の選択方法及び相関を使った判定は第1の実施形態と同様である。

0066

画像合成部25は、注目計測点Psごとに基準位相フレーム群Fsの画像領域を加算処理して、複数の合成画像を生成する。つまり、画像合成部25は、第1計測点画像記録装置262_P1、第2計測点画像記録装置262_P2、第3計測点画像記録装置262_P3ごとに、格納されている画像を第1の実施形態と同様に合成して、合成画像を生成する。注目計測点Psごとに異なる基準位相Tsを設定しているため、観測対象の形状が異なる複数の合成画像が生成される。

0067

第3の実施形態に係る画像処理方法によれば、第1の実施形態と同様に、動きのある観測対象について高画質の合成画像を生成できる。更に、第3の実施形態に係る画像処理方法では、複数の注目計測点Psのそれぞれについて高画質の合成画像を生成する。このため、1つの注目計測点Psについて1つの基準位相Tsを設定する場合に比べて、合成画像が生成される間隔が短くなる。つまり、短い時間間隔で生成される高画質の合成画像を用いて物体認識を行うことにより、高い頻度で遠方の物体情報を取得することが可能である。

0068

したがって、第3の実施形態に係る画像処理方法は、特に、観測対象の動きの周期が長い場合や物体認識をより短い間隔で行う場合に効果的である。他は、第1及び第2の実施形態と実質的に同様であり、重複した説明を省略する。

0069

(第4の実施形態)
上記に説明した画像処理方法によれば、基準位相フレーム群Fsの画像領域を加算処理することにより、高解像度の合成画像を生成することができる。また、基準位相フレーム群Fsの画像領域を加算処理することにより、高階調度の合成画像を生成することも可能である。

0070

即ち、撮影した画像を撮像装置10がアナログデジタル(AD)変換によりデジタル化した画像データを、画像合成部25によって高階調化することができる。例えば、画像合成部25は画像記録装置262に格納されている画像を用い、1回目の動作周期の画像の注目計測点Psの位置と2回目以降の動作周期の注目計測点Psの位置を合わせるように画像の位置をずらしながら、画像領域の加算処理を行う。画像の位置のずらし量は、例えば、注目計測点Psのオプティカルフローの履歴から算出される観測対象の位置変化量を用いる。画像記録装置262に格納された画像のずれを補正して加算処理することにより、高階調画像を取得することができる。例えば、撮像装置10がAD変換による8ビットのデータを各画素について出力していた場合に、16ビットまで復元した合成画像を生成する。これにより、反復的な動きをしている観測対象について合成画像のコントラスト上がりノイズを減らすことができる。

0071

第4の実施形態に係る画像処理装置は、特に、画像のコントラストが小さく、撮像装置10のAD変換によって画素間の輝度差が埋もれているときに効果がある。例えば、周囲が暗い夕方には観測対象とその周辺とのコントラストが小さく、観測対象が鮮明に見えないために物体認識が難しくなる可能性がある。この点、第4の実施形態に係る画像処理装置によれば、高階調画像を生成することにより観測対象の物体とその周辺とのコントラストの差を明確にし、観測対象が鮮明に見えるようにすることができる。

0072

(その他の実施形態)
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

0073

例えば、上記では歩行中の人間を観測対象に想定した場合について説明したが、観測対象はこれに限定されるものではなく、観測対象は自転車で走行中の人間であったり、人間以外の動物であったりしもよい。

0074

また、観測対象の周期的な動きのある部分の周期が、注目計測点Psの周期の2倍である場合だけでなく、3倍以上の場合もある。このため、2倍だけでなく逓倍の周期で動く周期計測点を含むように画像領域を設定してもよい。

0075

10…撮像装置
20…画像処理装置
21…計測部
22…周期性判断部
23…位相判断部
24…画像格納部
25…画像合成部
26…記録装置
30…画像表示装置
40…物体認識装置
261…計測結果記録装置
262…画像記録装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ