図面 (/)

技術 画像処理装置、撮像装置

出願人 日立オートモティブシステムズ株式会社
発明者 稲田圭介佐野諭野中進一
出願日 2016年9月28日 (4年1ヶ月経過) 出願番号 2016-189307
公開日 2018年4月5日 (2年7ヶ月経過) 公開番号 2018-055322
状態 特許登録済
技術分野 交通制御システム 航行(Navigation) スタジオ装置 イメージ分析 画像処理
主要キーワード 自動車駐車場 演算入力 自転車駐輪場 周辺構造物 センタ機器 割当率 観測対象物 動き特徴
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

車両周辺観測対象物の検出を行う装置を低コストで提供する。

解決手段

車両50に搭載される画像処理装置10Aは、車両50の周辺の観測対象物を含む撮像画像から観測対象物の動きを示す動き情報を生成する動き特徴抽出部111と、撮像画像に基づいて車両50から観測対象物までの距離を算出する距離特徴抽出部110と、動き特徴抽出部111と距離特徴抽出部110の処理結果に基づいて観測対象物の認識処理を行う認識処理部114とを備えており、所定の車両状態に基づいて、動き特徴抽出部111と距離特徴抽出部110の演算処理量をそれぞれ変化させる。

概要

背景

従来、車両に搭載されたステレオカメラにより得られる画像から、観測対象物までの距離と、観測対象物の動きベクトルとを算出し、これらの算出結果を観測対象物の認識処理に使用することで、歩行者を含む車両周辺の観測対象物の検出を実現する技術が知られている(特許文献1参照)。

概要

車両周辺の観測対象物の検出を行う装置を低コストで提供する。車両50に搭載される画像処理装置10Aは、車両50の周辺の観測対象物を含む撮像画像から観測対象物の動きを示す動き情報を生成する動き特徴抽出部111と、撮像画像に基づいて車両50から観測対象物までの距離を算出する距離特徴抽出部110と、動き特徴抽出部111と距離特徴抽出部110の処理結果に基づいて観測対象物の認識処理を行う認識処理部114とを備えており、所定の車両状態に基づいて、動き特徴抽出部111と距離特徴抽出部110の演算処理量をそれぞれ変化させる。

目的

本発明によれば、車両周辺の観測対象物の検出を行う装置を低コストで提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両に搭載される画像処理装置であって、前記車両の周辺観測対象物を含む撮像画像から前記観測対象物の動きを示す動き情報を生成する動き特徴抽出部と、前記撮像画像に基づいて前記車両から前記観測対象物までの距離を算出する距離特徴抽出部と、前記動き特徴抽出部と距離特徴抽出部の処理結果に基づいて前記観測対象物の認識処理を行う認識部と、を備え、所定の車両状態に基づいて、前記動き特徴抽出部と前記距離特徴抽出部の演算処理量をそれぞれ変化させる画像処理装置。

請求項2

請求項1に記載の画像処理装置において、前記動き特徴抽出部および前記距離特徴抽出部が共通に利用する演算リソース部と、前記所定の車両状態に基づいて、前記動き特徴抽出部と前記距離特徴抽出部とにそれぞれ割り当てる前記演算リソース部の割合を決定する演算リソース割当決定部と、をさらに備え、前記演算リソース割当決定部が決定した前記演算リソース部の割合に応じて、前記動き特徴抽出部と前記距離特徴抽出部の演算処理量をそれぞれ変化させる画像処理装置。

請求項3

請求項1または請求項2に記載の画像処理装置において、前記画像処理装置は、複数のカメラ部に接続されており、前記動き特徴抽出部は、前記複数のカメラ部のいずれかで取得された前記撮像画像に基づいて前記動き情報を生成し、前記距離特徴抽出部は、前記複数のカメラ部のいずれか2以上でそれぞれ取得された前記撮像画像に基づいて前記観測対象物までの距離を算出する画像処理装置。

請求項4

請求項1から3までのいずれか一項に記載の画像処理装置において、前記所定の車両状態は、前記車両の車速を含む画像処理装置。

請求項5

請求項1から4までのいずれか一項に記載の画像処理装置において、前記所定の車両状態は、前記車両の走行モードを含む画像処理装置。

請求項6

請求項1から5までのいずれか一項に記載の画像処理装置において、前記所定の車両状態は、地図上の前記車両の位置に応じた地図情報を含む画像処理装置。

請求項7

請求項1から6までのいずれか一項に記載の画像処理装置において、前記所定の車両状態は、前記車両が走行している道路交通状況を含む画像処理装置。

請求項8

請求項2に記載の画像処理装置において、前記所定の車両状態は、前記車両の車速を含み、前記演算リソース割当決定部は、前記車両の車速が所定値を下回る場合に、前記車両の車速が前記所定値以上である場合と比較して、前記動き特徴抽出部に割り当てる前記演算リソース部の割合を相対的に高くする画像処理装置。

請求項9

請求項1から8までのいずれか一項に記載の画像処理装置と、前記画像処理装置に接続されて前記撮像画像を取得する1または2以上のカメラ部と、を備える撮像装置

技術分野

0001

本発明は、画像処理装置および撮像装置に関する。

背景技術

0002

従来、車両に搭載されたステレオカメラにより得られる画像から、観測対象物までの距離と、観測対象物の動きベクトルとを算出し、これらの算出結果を観測対象物の認識処理に使用することで、歩行者を含む車両周辺の観測対象物の検出を実現する技術が知られている(特許文献1参照)。

先行技術

0003

特開2011−248640号公報

発明が解決しようとする課題

0004

特許文献1に開示された技術では、車両状態に関わらず、距離算出処理動きベクトル算出処理を、それぞれ個別に並列して行う必要がある。そのため、これらの処理を同時に実行できるような高い処理能力または回路規模を有する演算回路を使用する必要があり、製品コストの増加につながっている。

課題を解決するための手段

0005

本発明による画像処理装置は、車両に搭載されるものであって、前記車両の周辺の観測対象物を含む撮像画像から前記観測対象物の動きを示す動き情報を生成する動き特徴抽出部と、前記撮像画像に基づいて前記車両から前記観測対象物までの距離を算出する距離特徴抽出部と、前記動き特徴抽出部と距離特徴抽出部の処理結果に基づいて前記観測対象物の認識処理を行う認識部と、を備え、所定の車両状態に基づいて、前記動き特徴抽出部と前記距離特徴抽出部の演算処理量をそれぞれ変化させる。
本発明による撮像装置は、画像処理装置と、前記画像処理装置に接続されて前記撮像画像を取得する1または2以上のカメラ部と、を備える。

発明の効果

0006

本発明によれば、車両周辺の観測対象物の検出を行う装置を低コストで提供することができる。

図面の簡単な説明

0007

本発明の第1の実施形態に係る撮像装置の構成を示す図である。
本発明の第2の実施形態に係る撮像装置の構成を示す図である。
本発明の第3の実施形態に係る撮像装置の構成を示す図である。
本発明の第4の実施形態に係る撮像装置の構成を示す図である。
演算リソース部の割り当ての一例を示す図である。
画像処理装置によって実行される処理フローの一例である。
演算リソース割当決定処理の処理フローを示す図の一例である。
車速に基づく演算リソース割合の決定方法の一例を説明する図である。
車速に基づく演算リソース割合の決定方法の別の一例を説明する図である。
走行モードに基づく演算リソース割合の決定方法の一例を説明する図である。
地図情報に基づく演算リソース割合の決定方法の一例を説明する図である。
交通状況に基づく演算リソース割合の決定方法の一例を説明する図である。
地図情報と車速に基づく演算リソース割合の決定方法の一例を説明する図である。
車速に応じて距離特徴抽出部と動き特徴抽出部の演算処理量をそれぞれ変化させた場合の様子を示す図である。

実施例

0008

以下、本発明の実施形態を、図面を用いて説明する。

0009

<第1の実施形態>
図1は、本発明の第1の実施形態に係る撮像装置1Aの構成を示す図である。図1に示す撮像装置1Aは、画像処理装置10Aと、画像処理装置10Aに接続されたカメラ部20とを備えており、車両制御部60に接続されている。

0010

カメラ部20は、車両50の周辺、たとえば車両50の前方の所定範囲撮像できるように車両50に設置されており、車両50の周辺の観測対象物を含む撮像画像を取得して画像処理装置10Aに出力する。なお、車両50の周辺の観測対象物は、たとえば、車両50の周辺に存在する他の車両、歩行者、自転車障害物構造物道路標示縁石等を含む。

0011

画像処理装置10Aは、カメラ部20と共に車両50に搭載されている。画像処理装置10Aは、その機能として、距離特徴抽出部110と、動き特徴抽出部111と、認識処理部114とを備えている。カメラ部20から画像処理装置10Aに出力された撮像画像は、画像処理装置10Aにおいて、距離特徴抽出部110と動き特徴抽出部111にそれぞれ入力される。画像処理装置10Aは、たとえば不図示のCPU、ROM、RAM等を有しており、ROMに記憶された所定のプログラムをCPUにより実行することで、距離特徴抽出部110と、動き特徴抽出部111と、認識処理部114とを実現することができる。あるいは、FPGA等のハードウェアを用いてこれらを実現してもよい。

0012

距離特徴抽出部110は、カメラ部20から入力された撮像画像に基づいて、車両50から観測対象物までの距離を算出するための距離特徴抽出処理を実行する。距離特徴抽出部110は、たとえば、撮像画像における観測対象物の位置に基づき、カメラ部20の設置位置、撮像方向、画角等を考慮して周知の算出方法により、車両50から観測対象物までの距離を算出することができる。距離特徴抽出部110は、車両50から観測対象物までの距離を算出したら、その算出結果を示す距離情報を認識処理部114に出力する。

0013

動き特徴抽出部111は、カメラ部20から入力された撮像画像に基づいて、車両50から見た観測対象物の動きを抽出するための動き特徴抽出処理を実行する。動き特徴抽出部111は、たとえば、時系列順に取得された複数の撮像画像における観測対象物の位置の変化に基づき、周知の方法により、観測対象物の動きを抽出することができる。動き特徴抽出部111は、観測対象物の動きを抽出したら、その動きを示す動き情報を認識処理部114に出力する。

0014

認識処理部114は、動き特徴抽出部111、距離特徴抽出部110それぞれの演算処理結果に基づいて、観測対象物の認識処理を行う。認識処理部114は、たとえば、距離特徴抽出部110から入力された距離情報と、動き特徴抽出部111から入力された動き情報とに基づき、周知の認識処理を実行することで、車両50の走行に対する観測対象物の危険度や、車両50の進行方向を求める。認識処理部114は、観測対象物の認識処理を実行したら、その処理結果に基づく検知情報を車両制御部60に出力する。認識処理部114が出力する検知情報は、たとえば、検知した観測対象物の位置情報種類情報動作情報、危険情報などを含む。位置情報は、たとえば、車両50に対する観測対象物の方向と距離などを表す情報である。種類情報は、たとえば、歩行者、大人、子供、高齢者動物落石、自転車、周辺車両周辺構造物、縁石などを表す情報である。動作情報は、たとえば、歩行者や自転車のふらつき、飛び出し、横切り、移動方向、移動速度、移動軌跡などを表す情報である。危険情報は、たとえば、歩行者の飛び出し、落石、周辺車両の異常動作(急停止、急減速、急ハンドル等)などを表す情報である。

0015

車両制御部60は、認識処理部114の処理結果に基づいて、車両50の制御を行う。車両制御部60は、たとえば、認識処理部114から入力された検知情報に基づき、車両50のブレーキ操舵角アクセル開度、各種ランプ点灯状態警告音の出力などを制御する。また、カメラ部20の動きを制御したり、車両50とネットワークを介して接続された周辺車両やセンタ機器に対して、認識処理部114の処理結果に基づく観測対象物に関する情報を出力したりしてもよい。さらに、カメラ部20で得られた撮像画像を用いて、車両50の運転者に観測対象物を認識させるための画像表示を行ったり、車両50に搭載されたナビゲーション装置等の情報機器に対して、認識処理部114の処理結果に基づく観測対象物の情報を提供したりしてもよい。

0016

また、車両制御部60は、車両50における所定の車両状態を示す車両情報を画像処理装置10Aに出力する。この車両情報は、画像処理装置10Aにおいて、距離特徴抽出部110と動き特徴抽出部111にそれぞれ入力される。距離特徴抽出部110と動き特徴抽出部111は、車両制御部60から供給される車両情報に応じて、各々の演算処理負荷を制御する。演算処理負荷の制御の一例としては、たとえば、距離特徴抽出部110の演算処理負荷と動き特徴抽出部111演算処理負荷の合計が、所定の処理負荷を超えないように制御する方法がある。これにより、画像処理装置10Aは、車両50の状態に基づいて、動き特徴抽出部111と距離特徴抽出部110の演算処理量をそれぞれ変化させることができる。

0017

車両制御部60から出力される車両情報が表す車両状態は、たとえば、車両50の車速、加速度、操舵角、走行モードや、地図上の車両50の位置に応じた地図情報や、車両50が走行している道路の交通状況などを含む。走行モードには、たとえば、走行路に基づく走行モード、走行状況に基づく走行モード、周囲自然環境に基づく走行モード、省電力または省燃費で走行する省エネルギーモードなどがある。走行路に基づく走行モードには、たとえば、市街地走行モード、一般道走行モード、高速道路走行モードなどがある。走行状況に基づく走行モードには、たとえば、渋滞時走行モード、駐車場モード、周囲車両の位置や動きに応じた走行モードなどがある。周囲自然環境に基づく走行モードには、たとえば、夜間走行モード、逆光時走行モードなどがある。地図上の車両50の位置に応じた地図情報には、地図上における車両50の位置の属性を示す情報として、たとえば、道路種別情報、道路形状情報道路面地物情報路幅情報、車線情報道路勾配情報などがある。道路種別情報は、たとえば、路地国道高速道路などを表す情報である。道路形状情報は、たとえば、直線路カーブ路T字路交差点などを表す情報である。道路面地物情報は、たとえば、信号、車道歩道踏切道自転車駐輪場自動車駐車場横断歩道などを表す情報である。車両50が走行している道路の交通状況には、たとえば、渋滞状況速度制限通行禁止などの交通規制の有無、現在の走行ルートとは別の走行ルートの有無などがある。

0018

図14は、撮像装置1Aにおける車両情報に応じた演算処理負荷制御の例として、車両情報が車両50の車速を表しており、車速に応じて距離特徴抽出部110と動き特徴抽出部111の演算処理量をそれぞれ変化させた場合の様子を示している。図14において、横軸は車速の大きさを表し、縦軸は演算処理負荷の大きさを表している。

0019

図14に示すように、車両50の車速が小さい場合には、グラフL140に示す動き特徴抽出処理の演算処理負荷が相対的に高くなり、グラフL141に示す距離特徴抽出処理の演算処理負荷が相対的に低くなるように、動き特徴抽出部111と距離特徴抽出部110の演算処理量をそれぞれ制御する。また、ここから車両50の車速が上昇するにつれて、グラフL140に示す動き特徴抽出処理の演算処理負荷を徐々に減らす一方で、グラフL141に示す距離特徴抽出処理の演算処理負荷を徐々に増やすように、動き特徴抽出部111と距離特徴抽出部110の演算処理量をそれぞれ制御する。これにより、両処理の演算処理負荷を車速に応じて適切に変化させつつ、その総和を100%以下とすることができる。

0020

以上説明したように、本実施形態によれば、距離特徴抽出部110と動き特徴抽出部111の演算処理量の総和を100%以下としつつ、車速に応じてこれらの演算処理量を適切な配分とすることができる。すなわち、低速走行時には、車両50の周辺で近距離にある観測対象物の詳細な動き情報を抽出するために、動き特徴抽出部111の演算処理量を相対的に高くする。一方、高速走行時には、車両50の周辺で遠方にある観測対象物までのより詳細な距離情報を抽出するために、距離特徴抽出部110の演算処理量を相対的に高くする。その結果、車両50の状態に応じて距離情報と動き情報の精度を柔軟に変更することができるため、画像処理装置10Aが限られた演算処理量しか有していなくても、観測対象物を適切に検知することができる。

0021

以上説明した本発明の第1の実施形態によれば、車両50に搭載される画像処理装置10Aは、車両50の周辺の観測対象物を含む撮像画像から観測対象物の動きを示す動き情報を生成する動き特徴抽出部111と、撮像画像に基づいて車両50から観測対象物までの距離を算出する距離特徴抽出部110と、動き特徴抽出部111と距離特徴抽出部110の処理結果に基づいて観測対象物の認識処理を行う認識処理部114とを備えており、所定の車両状態に基づいて、動き特徴抽出部111と距離特徴抽出部110の演算処理量をそれぞれ変化させる。このようにしたので、車両周辺の観測対象物の検出を行う画像処理装置を低コストで提供することができる。

0022

<第2の実施形態>
図2は、本発明の第2の実施形態に係る撮像装置1Bの構成を示す図である。図2に示す撮像装置1Bは、画像処理装置10Bと、画像処理装置10Bに接続されたカメラ部20とを備えており、車両制御部60に接続されている。なお、カメラ部20および車両制御部60については、第1の実施形態で説明したものと同一であるため、以下では説明を省略する。

0023

画像処理装置10Bは、第1の実施形態で説明した画像処理装置10Aと同様に、車両50に搭載されている。画像処理装置10Bは、その機能として、画像処理装置10Aと同じ距離特徴抽出部110、動き特徴抽出部111および認識処理部114に加えて、さらに、演算リソース部112と、演算リソース割当決定部113とを備えている。

0024

演算リソース部112は、距離特徴抽出部110と動き特徴抽出部111が共通に利用する演算リソースである。演算リソース部112は、たとえば、所定の演算処理を実行するCPUや、所定の演算回路が組み込まれたFPGAなどである。

0025

本実施形態において、車両制御部60から画像処理装置10Bに出力された車両情報は、画像処理装置10Bにおいて演算リソース割当決定部113に入力される。演算リソース割当決定部113は、車両制御部60から供給される車両情報が表す車両50の状態に基づいて、動き特徴抽出部111と距離特徴抽出部110にそれぞれ割り当てる演算リソース部112の割合、すなわち演算リソース割合を決定する。そして、決定したそれぞれの演算リソース割合を表す演算リソース割当情報を、距離特徴抽出部110、動き特徴抽出部111および演算リソース部112に出力する。たとえば、動き特徴抽出部111が実行する動き特徴抽出処理または距離特徴抽出部110が実行する距離特徴抽出処理のいずれか一方に対して割り当てる演算リソース部112の割当率や、距離特徴抽出処理と動き特徴抽出処理にそれぞれ割り当てる演算リソース部112の比率などを、演算リソース割当情報として用いることができる。

0026

距離特徴抽出部110と、動き特徴抽出部111とは、演算リソース割当決定部113から供給される演算リソース割当情報に基づき、各々に対して割り当てられた演算リソース割合に応じて演算リソース部112を利用して、それぞれの演算処理を実行する。これにより、画像処理装置10Bは、車両50の状態に基づき、演算リソース割当決定部113が決定した演算リソース部112の割合に応じて、動き特徴抽出部111と距離特徴抽出部110の演算処理量をそれぞれ変化させることができる。

0027

なお、本実施形態では、演算リソース部112の割り当て対象とする処理を距離特徴抽出処理と動き特徴抽出処理の2つとしたが、3つ以上の処理に対して演算リソース部112を割り当ててもよい。

0028

図5は、演算リソース部112の割り当ての具体的な一例を示す図である。図5において黒塗り四角で示すように、演算リソース部112は、距離特徴抽出部110における距離特徴抽出処理と、動き特徴抽出部111における動き特徴抽出処理とで共通に使用される複数の演算リソース501を有する。演算リソース部112には、演算リソース割当決定部113から演算リソース割当情報500が入力される。演算リソース部112は、この演算リソース割当情報500に基づいて、演算リソース501の各々を距離特徴抽出処理と動き特徴抽出処理のどちらに割り当てるかを決定する。

0029

図5に示した例では、演算リソース部112が有する全ての演算リソース501のうち、30%の演算リソース501からなる演算リソース群502を距離特徴抽出処理に割り当て、残りの70%の演算リソース501からなる演算リソース群503を動き特徴抽出処理に割り当てた場合の一例を示している。すなわち、距離特徴抽出部110が使用する演算リソース群502には、演算リソース部112が有する総演算リソースの30%が割り当てられ、動き特徴抽出部111が使用する演算リソース群503には、演算リソース部112が有する総演算リソースの70%が割り当てられる。演算リソース群502は、距離特徴抽出部110から演算入力情報を取得し、その演算入力情報を演算処理した結果得られる演算出力情報を、距離特徴抽出部110に出力する。演算リソース群503は、動き特徴抽出部111から演算入力情報を取得し、その演算入力情報を演算処理した結果得られる演算出力情報を、動き特徴抽出部111に出力する。

0030

図6は、本発明の第2の実施形態における画像処理装置10Bによって実行される処理フローの一例である。

0031

テップS101において、画像処理装置10Bは、カメラ部20から出力される画像データを距離特徴抽出部110と動き特徴抽出部111に入力する。

0032

ステップS102において、画像処理装置10Bは、演算リソース割当決定部113により、距離特徴抽出部110が実行する距離特徴抽出処理と、動き特徴抽出部111が実行する動き特徴抽出処理とにそれぞれ割り当てる演算リソース部112の割合を決定する。ここでは、演算リソース割当決定部113は、後で説明する図7の処理フローに従い、距離特徴抽出処理と動き特徴抽出処理とにそれぞれ割り当てる演算リソース割合を決定するための演算リソース割当決定処理を実行する。そして、決定した演算リソース割合に基づく演算リソース割当情報を生成して、距離特徴抽出部110、動き特徴抽出部111および演算リソース部112に出力する。

0033

ステップS103において、画像処理装置10Bは、ステップS102で演算リソース割当決定部113から出力された演算リソース割当情報に基づき、距離特徴抽出部110により、距離特徴抽出処理を行う。この距離特徴抽出処理において、距離特徴抽出部110は、演算リソース割当情報が表す距離特徴抽出処理の演算リソース割合に従って演算リソース部112を利用して、車両50の周囲に存在する観測対象物までの距離を表す距離情報を生成する。たとえば、距離特徴抽出処理に対して割り当てられた演算リソース割合が100%である場合には、演算リソース部112が有する全ての演算リソースを距離特徴抽出処理に使用することが出来るため、高負荷の演算処理を行うことが可能となる。また、距離特徴抽出処理に対して割り当てられた演算リソース割合が0%である場合には、距離特徴抽出部110は距離特徴抽出処理を実施しない。

0034

ステップS104において、画像処理装置10Bは、ステップS102で演算リソース割当決定部113から出力された演算リソース割当情報に基づき、動き特徴抽出部111により、動き特徴抽出処理を行う。この動き特徴抽出処理において、動き特徴抽出部111は、演算リソース割当情報が表す動き特徴抽出処理の演算リソース割合に従って演算リソース部112を利用して、車両50の周囲に存在する観測対象物の動きを表す動き情報を生成する。たとえば、動き特徴抽出処理に対して割り当てられた演算リソース割合が100%である場合には、演算リソース部112が有する全ての演算リソースを動き特徴抽出処理に使用することが出来るため、高負荷の演算処理を行うことが可能となる。また、動き特徴抽出処理に対して割り当てられた演算リソース割合が0%である場合には、動き特徴抽出部111は動き特徴抽出処理を実施しない。

0035

ステップS105において、画像処理装置10Bは、ステップS103で生成した距離情報と、ステップS104で生成した動き情報とに基づき、認識処理部114により、観測対象物を検出するための認識処理を行う。ステップS105の認識処理を実行したら、画像処理装置10Bは、認識処理結果に基づく検知情報を認識処理部114から車両制御部60に出力して、図6に示す処理フローを終了する。

0036

ここで、図7を参照して、図6のステップS102で実行される演算リソース割当決定処理について説明する。図7は、演算リソース割当決定処理の処理フローを示す図の一例である。

0037

図7のステップS201において、演算リソース割当決定部113は、動き特徴抽出部111と距離特徴抽出部110の演算処理量を決定するための車両50の所定の車両状態を取得する。ここでは、車両制御部60から供給される車両情報を演算リソース割当決定部113に入力することで、車両情報が表す所定の車両状態を取得する。

0038

図7のステップS202において、演算リソース割当決定部113は、ステップS201で取得した車両状態に基づき、距離特徴抽出処理と動き特徴抽出処理に対してそれぞれ割り当てる演算リソース割合を決定する。そして、決定したそれぞれの処理に対する演算リソース割合に応じて演算リソース割当情報を生成し、距離特徴抽出部110、動き特徴抽出部111および演算リソース部112に出力する。ステップS202の処理を実行したら、演算リソース割当決定部113は、図7に示す処理フローを終了する。

0039

以下では、図8〜13を参照して、演算リソース割当決定部113における様々な車両状態に基づく演算リソース割合の決定方法について説明する。

0040

(車速に基づく演算リソース割合の決定方法)
図8は、車速に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、車両50の車速を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図8に示す車速と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図8において、横軸は車速の大きさを表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

0041

演算リソース割当決定部113は、車両情報が示す車両50の車速に基づき、以下のようにして距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。たとえば、車速が所定値SP0以下の場合には、図8において符号F80で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS0(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS0)(%)とする。また、車速が所定値SP0を上まわる場合には、符号F81で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS1(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS1)(%)とする。このとき、RS1を0%とすることで、車速が所定値SP0を上回る場合の動き情報の算出を停止することが出来る。従って、車速が所定値SP0を上回る場合には、動き特徴抽出部111の機能を停止したり、カメラ部20の動作を停止したりすることが可能となり、これによって撮像装置1Bの消費電力を低減することが出来る。

0042

以上説明したような演算リソース割合の決定方法を用いることで、車両50が市街地や路地等を低速で走行する際に、車両50の周辺に存在する観測対象物の動きをより詳細に検知することが可能となる。また、通常走行時(車速がSP0を上まわる場合)においては、距離特徴抽出処理に対して高負荷処理が可能となり、遠方の観測対象物に対する距離検知性能を向上させることが出来る。

0043

図9は、車速に基づく演算リソース割合の決定方法の別の一例を説明する図である。本例でも図8で説明した例と同様に、車両制御部60から供給される車両情報は、車両50の車速を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図9に示す車速と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図9において、横軸は車速の大きさを表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

0044

演算リソース割当決定部113は、車両情報が示す車両50の車速に基づき、図9の符号F90に示す関数に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。関数F90が表す車速と動き特徴抽出部111に対する演算リソース割当率のとの関係では、車速が0から所定値SP1の間では動き特徴抽出部111に対する演算リソース割当率がRS0であり、車速がSP1からSP2の間では動き特徴抽出部111に対する演算リソース割当率がRS0からRS1に徐々に変化する。演算リソース割当決定部113は、動き特徴抽出部111に対する演算リソース割当率を関数F90が示す値とする一方で、距離特徴抽出部110に対する演算リソース割当率を、100%から動き特徴抽出部111の演算リソース割当率を差し引いた値とする。

0045

以上説明したような演算リソース割合の決定方法を用いることで、図8で説明した例と同様に、市街地や路地等を低速で走行する際に、車両50の周辺に存在する観測対象物の動きをより詳細に検知することを可能とする。また、高速走行時においては、距離特徴抽出処理に対して高負荷処理が可能となり、遠方の観測対象物に対する距離検知性能を向上させることが出来る。さらに、中速走行時においては、車速が低下するに従い、動き特徴抽出処理に対して割り当てる演算リソース部112の割合を徐々に増加させることで、遷移期間中に動き情報と距離情報の精度において急激なギャップが発生するのを抑制することを可能とする。

0046

(走行モードに基づく演算リソース割合の決定方法)
図10は、走行モードに基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、車両50の走行モードを表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図10に示す走行モードと演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図10において、横軸は走行モードを表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

0047

演算リソース割当決定部113は、車両情報が示す車両50の走行モードに基づき、以下のようにして距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。たとえば、走行モードが市街地走行モードの場合には、図10において符号F100で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS0(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS0)(%)とする。また、走行モードが一般道走行モードの場合には、符号F101で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS2(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS2)(%)とする。走行モードが高速道路走行モードの場合には、符号F102で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS1(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS1)(%)とする。

0048

以上説明したような演算リソース割合の決定方法を用いることで、車両50が市街地を走行する際に、車両50の周辺に存在する観測対象物の動きをより詳細に検知することが可能となる。また、高速道路を走行する際に、距離特徴抽出処理に対して高負荷処理が可能となり、遠方の観測対象物に対する距離検知性能を向上させることが出来る。さらに、一般道路を走行する際には、動き特徴抽出処理と距離特徴抽出処理とをそれぞれバランス良い演算処理量で実施し、車両50の近傍では観測対象物の動きを検知しつつ、遠方の観測対象物までの距離も同時に検知することが可能となる。

0049

(地図情報に基づく演算リソース割合の決定方法)
図11は、地図情報に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、地図上の車両50の位置、すなわち自車位置に応じた地図情報を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図11に示す自車位置の地図情報と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図11において、横軸は地図情報が示す自車位置の属性を表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

0050

演算リソース割当決定部113は、車両情報が示す自車位置に応じた地図情報に基づき、以下のようにして距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。たとえば、地図情報が示す自車位置の属性が路地である場合には、図11において符号F110で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS3(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS3)(%)とする。また、地図情報が示す自車位置の属性が交差点である場合には、符号F111で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS4(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS4)(%)とする。地図情報が示す自車位置の属性が国道である場合には、符号F112で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS5(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS5)(%)とする。地図情報が示す自車位置の属性が高速道路である場合には、符号F113で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS6(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS6)(%)とする。

0051

以上説明したような演算リソース割合の決定方法を用いることで、車両50の位置が地図上でどのような属性に該当するかに応じて、動き特徴抽出処理と距離特徴抽出処理との演算処理量をそれぞれ適切に調節することができる。

0052

(交通状況に基づく演算リソース割合の決定方法)
図12は、交通状況に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、車両50が走行している道路、すなわち走行道路の交通状況を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図12に示す交通状況と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図12において、横軸は走行道路の交通状況を表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

0053

演算リソース割当決定部113は、車両情報が示す走行道路の交通状況に基づき、以下のようにして距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。たとえば、走行道路が渋滞している場合には、図12において符号F120で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS0(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS0)(%)とする。また、走行道路の交通状況が通常、すなわち渋滞していない場合には、符号F121で示すとおり、動き特徴抽出部111に対する演算リソース割当率をRS1(%)とする一方で、距離特徴抽出部110に対する演算リソース割当率を(100−RS1)(%)とする。

0054

以上説明したような演算リソース割合の決定方法を用いることで、車両50が渋滞している道路を低速で走行する際に、車両50の周辺に存在する観測対象物の動きをより詳細に検知することが可能となる。また、車両50が渋滞していない道路を通常の速度で走行する際に、距離特徴抽出処理に対して高負荷処理が可能となり、遠方の観測対象物に対する距離検知性能を向上させることが出来る。

0055

(地図情報と車速に基づく演算リソース割合の決定方法)
図13は、地図情報と車速に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、車両50の車速に加えて、地図上の車両50の位置、すなわち自車位置に応じた地図情報を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図13に示す車速と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図13において、横軸は車速の大きさを表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。

0056

演算リソース割当決定部113は、車両情報が示す自車位置に応じた地図情報に基づき、図13の符号F130〜F133に示す関数のいずれかを選択する。そして、車両情報が示す車両50の車速に基づき、選択した関数に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。たとえば、地図情報が示す自車位置の属性が路地である場合には、関数F130を選択し、動き特徴抽出部111に対する演算リソース割当率を関数F130が示す値とする。また、地図情報が示す自車位置の属性が交差点である場合には、関数F131を選択し、動き特徴抽出部111に対する演算リソース割当率を関数F131が示す値とする。地図情報が示す自車位置の属性が国道である場合には、関数F132を選択し、動き特徴抽出部111に対する演算リソース割当率を関数F132が示す値とする。地図情報が示す自車位置の属性が高速道路である場合には、関数F133を選択し、動き特徴抽出部111に対する演算リソース割当率を関数F133が示す値とする。いずれの場合においても、距離特徴抽出部110に対する演算リソース割当率を、100%から動き特徴抽出部111の演算リソース割当率を差し引いた値とする。

0057

以上説明したような演算リソース割合の決定方法を用いることで、車両50の位置が地図上でどのような属性に該当するかに応じて、車速の変化に応じて動き特徴抽出処理と距離特徴抽出処理との演算処理量の割合をそれぞれ適切に調節することができる。

0058

なお、以上説明した演算リソース割合の決定方法は、複数の方法を任意に組み合わせて用いてもよい。また、以上説明した各種の例の他にも、車両情報の種類に応じて様々な演算リソース割合の決定方法を採用することができる。すなわち、本実施形態では、車両情報が表す所定の車両状態に基づいて、動き特徴抽出部111と距離特徴抽出部110とにそれぞれ割り当てる演算リソース部112の割合を決定するものであれば、どのような演算リソース割合の決定方法でも用いることができる。

0059

以上説明した本発明の第2の実施形態によれば、車両50に搭載される画像処理装置10Bは、第1の実施形態で説明した画像処理装置1Aの構成に加えて、動き特徴抽出部111および距離特徴抽出部110が共通に利用する演算リソース部112と、所定の車両状態に基づいて、動き特徴抽出部111と距離特徴抽出部110とにそれぞれ割り当てる演算リソース部112の割合を決定する演算リソース割当決定部113と、をさらに備える。そして、演算リソース割当決定部113が決定した演算リソース部112の割合に応じて、動き特徴抽出部111と距離特徴抽出部110の演算処理量をそれぞれ変化させる。このようにしたので、第1の実施形態と同様に、車両周辺の観測対象物の検出を行う画像処理装置を低コストで提供することができる。

0060

<第3の実施形態>
図3は、本発明の第3の実施形態に係る撮像装置1Cの構成を示す図である。図3に示す撮像装置1Cは、画像処理装置10Cと、画像処理装置10Cに接続されたカメラ部20およびカメラ部30とを備えており、車両制御部60に接続されている。なお、カメラ部20および車両制御部60については、第1の実施形態で説明したものと同一であるため、以下では説明を省略する。

0061

カメラ部30は、カメラ部20と同様に、車両50の周辺、たとえば車両50の前方の所定範囲を撮像できるように車両50に設置されており、車両50の周辺の観測対象物を含む撮像画像を取得して画像処理装置10Cに出力する。

0062

画像処理装置10Cは、第1、第2の実施形態でそれぞれ説明した画像処理装置10A、10Bと同様に、車両50に搭載されている。画像処理装置10Cは、画像処理装置10Bと同様に、その機能として、距離特徴抽出部110、動き特徴抽出部111、認識処理部114、演算リソース部112および演算リソース割当決定部113を備えている。

0063

本実施形態において、距離特徴抽出部110には、カメラ部20からの撮像画像と、カメラ部30からの撮像画像とが入力される。距離特徴抽出部110は、カメラ部20およびカメラ部30からそれぞれ入力された撮像画像に基づいて、車両50から観測対象物までの距離を算出するための距離特徴抽出処理を実行する。距離特徴抽出部110は、たとえば、カメラ部20の撮像画像とカメラ部30の撮像画像との視差に基づいて、車両50から観測対象物までの距離を算出することができる。距離特徴抽出部110は、車両50から観測対象物までの距離を算出したら、第1、第2の実施形態と同様に、その算出結果を示す距離情報を認識処理部114に出力する。

0064

一方、動き特徴抽出部111には、第1、第2の実施形態と同様に、カメラ部20からの撮像画像が入力される。動き特徴抽出部111は、カメラ部20から入力された撮像画像に基づいて、第1、第2の実施形態と同様の方法により、観測対象物の動きを抽出し、その動きを示す動き情報を認識処理部114に出力する。認識処理部114は、動き特徴抽出部111、距離特徴抽出部110それぞれの演算処理結果に基づいて、第1の実施形態で説明したのと同様に、観測対象物の認識処理を行う。

0065

なお、演算リソース部112および演算リソース割当決定部113の動作や、距離特徴抽出部110および動き特徴抽出部111における演算リソース割合に応じた演算処理の実行については、第2の実施形態で説明したのと同様である。そのため、これらについての本実施形態での説明は省略する。

0066

<第4の実施形態>
図4は、本発明の第4の実施形態に係る撮像装置1Dの構成を示す図である。図4に示す撮像装置1Dは、画像処理装置10Dと、画像処理装置10Dに接続されたカメラ部20、カメラ部30およびカメラ部40とを備えており、車両制御部60に接続されている。なお、カメラ部20および車両制御部60については、第1の実施形態で説明したものと同一であるため、以下では説明を省略する。

0067

カメラ部30およびカメラ部40は、カメラ部20と同様に、車両50の周辺、たとえば車両50の前方の所定範囲を撮像できるように車両50にそれぞれ設置されており、車両50の周辺の観測対象物を含む撮像画像をそれぞれ取得して画像処理装置10Dに出力する。

0068

画像処理装置10Dは、第1〜第3の実施形態でそれぞれ説明した画像処理装置10A、10B、10Cと同様に、車両50に搭載されている。画像処理装置10Dは、画像処理装置10B、10Cと同様に、その機能として、距離特徴抽出部110、動き特徴抽出部111、認識処理部114、演算リソース部112および演算リソース割当決定部113を備えている。

0069

本実施形態において、距離特徴抽出部110には、カメラ部30からの撮像画像と、カメラ部40からの撮像画像とが入力される。距離特徴抽出部110は、カメラ部30およびカメラ部40からそれぞれ入力された撮像画像に基づいて、第3の実施形態で説明したのと同様に、車両50から観測対象物までの距離を算出し、その算出結果を示す距離情報を認識処理部114に出力する。

0070

一方、動き特徴抽出部111には、第1〜第3の実施形態と同様に、カメラ部20からの撮像画像が入力される。動き特徴抽出部111は、カメラ部20から入力された撮像画像に基づいて、第1〜第3の実施形態と同様の方法により、観測対象物の動きを抽出し、その動きを示す動き情報を認識処理部114に出力する。認識処理部114は、動き特徴抽出部111、距離特徴抽出部110それぞれの演算処理結果に基づいて、第1の実施形態で説明したのと同様に、観測対象物の認識処理を行う。

0071

なお、演算リソース部112および演算リソース割当決定部113の動作や、距離特徴抽出部110および動き特徴抽出部111における演算リソース割合に応じた演算処理の実行については、第2の実施形態で説明したのと同様である。そのため、これらについての本実施形態での説明は省略する。

0072

本発明によれば、上記の各実施形態において説明した方法を用いることで、観測対象物の動き情報と距離情報を用いて、観測対象物の認識処理を低コストで実現することが可能となる。

0073

なお、本発明は上記の各実施形態に限定されるものではなく、様々な変形例が含まれる。たとえば、上記の各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

0074

また、上記の各実施形態で説明した構成は、それらの一部または全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

0075

以上説明した実施形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

0076

1A、1B、1C、1D撮像装置
10A、10B、10C、10D画像処理装置
20、20、40カメラ部
50 車両
60車両制御部
110 距離特徴抽出部
111動き特徴抽出部
112演算リソース部
113 演算リソース割当決定部
114認識処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ