図面 (/)

技術 画像検出処理装置

出願人 石川正俊セイコーNPC株式会社
発明者 石川正俊石井抱小室孝中坊嘉宏吉田淳
出願日 2000年1月14日 (20年3ヶ月経過) 出願番号 2000-010180
公開日 2001年7月19日 (18年9ヶ月経過) 公開番号 2001-195564
状態 特許登録済
技術分野 イメージ入力 画像処理 イメージ分析
主要キーワード 衝突防止センサ Y座標 算術和 直列加算器 入力論理和 直列形 系列処理 算術加算
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2001年7月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

簡便な構成で、ターゲット重心計算等の処理速度の向上させる。

解決手段

画像検出処理装置は、それぞれ光電変換部5の出力をディジタル信号に変換し、デジタル信号入力可能とした加算回路15を備え、平面状に配列された複数の画像検出処理要素1−1乃至1−64を行列配置し、行毎に加算回路15を接続して累積加算器を構成し、直列に接続された直列型加算器2−1乃至2−8のそれぞれ行毎の累積加算器の最終段の出力を入力して累積加算可能としてあり、行デコーダ3、列デコーダ4により、上記デジタル信号を選択的に累積加算器に入力し、複数の画像検出処理要素の光電変換部5によって検出される画像の処理データを直列型加算器2−8から出力する。これにより、重心計算等の画像処理に必要な処理データをデータ転送時に生成可能とし、高速処理を可能とする。

概要

背景

従来、各種の制御機器認識装置情報入力装置に用いる画像処理装置は、ビデオカメラ等に用いられるCCD受光センサと外部の処理プロセッサなどを組み合わせてその機能を実現していた。CCD受光センサにより得られた画像データを別設の記憶装置転送して格納し、別説の処理プロセッサを介して対象物体ターゲット)の重心計算等の画像処理を行っていた。

また、研究段階のものとしては、日本ロボット学会誌13巻3号(1995年4月)333頁乃至338頁に示されているように、ワンチップに受光センサと並列信号処理回路とを一体化させ、エッジ抽出細線化等の信号処理センサ側で行い、その結果を順次出力するという構成が提案されていた。

概要

簡便な構成で、ターゲットの重心計算等の処理速度の向上させる。

画像検出処理装置は、それぞれ光電変換部5の出力をディジタル信号に変換し、デジタル信号入力可能とした加算回路15を備え、平面状に配列された複数の画像検出処理要素1−1乃至1−64を行列配置し、行毎に加算回路15を接続して累積加算器を構成し、直列に接続された直列型加算器2−1乃至2−8のそれぞれ行毎の累積加算器の最終段の出力を入力して累積加算可能としてあり、行デコーダ3、列デコーダ4により、上記デジタル信号を選択的に累積加算器に入力し、複数の画像検出処理要素の光電変換部5によって検出される画像の処理データを直列型加算器2−8から出力する。これにより、重心計算等の画像処理に必要な処理データをデータ転送時に生成可能とし、高速処理を可能とする。

目的

効果

実績

技術文献被引用数
2件
牽制数
10件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光電変換を行う光検出器と上記光検出器からの信号をデジタル信号に変換する変換器と上記デジタル信号を入力可能とした加算器とからなる画像検出処理要素複数個が平面上に配列されてなる画像検出処理装置であって、上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力せしめる制御回路と、上記光検出器によって検出される画像データに基づき上記累積加算器から出力される処理データが供給される出力部とを更に備えていることを特徴とする画像検出処理装置。

請求項2

光電変換を行う光検出器と上記光検出器からの信号をディジタル信号に変換する変換器と上記デジタル信号を入力可能とした第1の加算器とからなる画像検出処理要素の複数個が平面上に行列配列されてなる画像検出処理装置であって、上記複数の画像検出処理要素の上記第1の加算器を行毎に直列に接続してなる第1の累積加算器と、上記各行の上記第1の累積加算器の最終段の出力を入力とした上記各行に対応した第2の加算器を直列に接続してなり、上記第1の累積加算器の最終段の出力を累積加算する第2の累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記第1の累積加算器に入力せしめる制御回路と、上記光検出器によって検出される画像データに基づき上記累積加算器から出力される処理データが供給される出力部とを更に備えていることを特徴とする画像検出処理装置。

請求項3

上記制御回路によって上記画像検出処理要素の上記デジタル信号の全てを上記第1の累積加算器に入力せしめ、上記第2の累積加算器から出力される処理データを、上記画像検出処理要素群に結像される結像画像の0次モーメントとすることを特徴とする請求項2に記載の画像検出処理装置。

請求項4

上記制御回路によって上記画像検出処理要素の上記デジタル信号から選択される幾つかを上記第1の累積加算器に入力せしめ、上記第2の累積加算器から出力される処理データを、上記画像検出処理要素群に結像される結像画像のN(Nは1以上の整数)次モーメントを求めるための部分和とすることを特徴とする請求項2に記載の画像検出処理装置。

請求項5

上記変換器を第1のクロック信号に従い作動させて上記デジタル信号を発生しさせ、上記第1及び第2の累積加算器を上記第1のクロック信号とは異なる第2のクロック信号に従い動作させ、上記第2の累積加算器から上記処理データをその下位桁から順次出力することを特徴とする請求項2に記載の画像検出処理装置。

請求項6

特定の画像検出処理要素の光検出器からの出力と当該特定の画像検出処理要素の隣接する複数の画像検出処理要素からのデジタル信号とに基づいて、当該特定の画像検出処理要素から出力されるデジタル信号を生成させるようにしてあることを特徴とする請求項2に記載の画像検出処理装置。

請求項7

全ての要素が1チップに形成されていることを特徴とする請求項1乃至6のいづれかに記載の画像検出処理装置。

--

0001

本発明は、各種の制御機器認識装置情報入力装置に用いる画像検出処理装置に関し、さらに詳しくは、移動する対象物体画像処理高速処理するのに適した画像検出処理装置である。

背景技術

0002

従来、各種の制御機器や認識装置、情報入力装置に用いる画像処理装置は、ビデオカメラ等に用いられるCCD受光センサと外部の処理プロセッサなどを組み合わせてその機能を実現していた。CCD受光センサにより得られた画像データを別設の記憶装置転送して格納し、別説の処理プロセッサを介して対象物体(ターゲット)の重心計算等の画像処理を行っていた。

0003

また、研究段階のものとしては、日本ロボット学会誌13巻3号(1995年4月)333頁乃至338頁に示されているように、ワンチップに受光センサと並列信号処理回路とを一体化させ、エッジ抽出細線化等の信号処理センサ側で行い、その結果を順次出力するという構成が提案されていた。

発明が解決しようとする課題

0004

従来のものは、CCD受光センサからの信号転送スピードが制限されたり(1/60秒以上)、外部の処理プロセッサなどが大規模になったりするという課題があった。

0005

また、研究段階のものにおいても、汎用性の高い並列系列処理アーキテクチャを採用することで、多用な画像処理が可能である反面、限られたチップ面積上に多くの画素を配列するのが困難であった。また、センサから出力される画像データの転送に思いのほか時間がかかるという課題があった。

課題を解決するための手段

0006

そこで、本発明の画像検出処理装置では、光電変換を行う光検出器と上記光検出器からの信号をディジタル信号に変換する変換器と上記デジタル信号入力可能とした加算器とからなる画像検出処理要素複数個が平面状に配列されてなる画像検出処理装置とし、上記画像検出処理要素の上記加算器を順次接続して累積加算器を構成し、制御回路により、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力し、上記画像検出処理要素の上記光検出器によって検出される画像データに基づき上記累積加算器から処理データを出力する。これにより、画像検出処理装置において、重心計算等の画像処理に必要な処理データをデータ転送時に生成可能とし、高速処理を可能とする。

発明を実施するための最良の形態

0007

本発明による画像検出処理装置は、光電変換を行う光検出器と上記光検出器からの信号をデジタル信号に変換する変換器と上記デジタル信号を入力可能とした加算器とからなる画像検出処理要素の複数個が平面上に配列されてなる画像検出処理装置であって、上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力せしめる制御回路と、上記光検出器によって検出される画像データに基づき上記累積加算器から出力される処理データが供給される出力部とを更に備えている。

0008

好ましくは、画像検出処理要素は複数個が平面上に行列配列される。そして上記複数の画像検出処理要素の第1の加算器を行毎に直列に接続してなる第1の累積加算器と、上記各行の上記第1の累積加算器の最終段の出力を入力とした上記各行に対応した第2の加算器を直列に接続してなり上記第1の累積加算器の最終段の出力を累積加算する第2の累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記第1の累積加算器に入力せしめる制御回路と、上記光検出器によって検出される画像データに基づき上記累積加算器から出力される処理データが供給される出力部とが更に備えられている。

0009

また、上記制御回路によって上記画像検出処理要素の上記デジタル信号の全てを上記第1の累積加算器に入力せしめ、上記第2の累積加算器から出力される処理データを、上記画像検出処理要素群に結像される結像画像の0次モーメントとする画像検出処理装置を構成することも好ましい。

0010

上記制御回路によって上記画像検出処理要素の上記デジタル信号から選択される幾つかを上記第1の累積加算器に入力せしめ、上記第2の累積加算器から出力される処理データを、上記画像検出処理要素群に結像される結像画像のN(Nは1以上の整数)次モーメントを求めるための部分和とすることも好ましい。

0011

また、上記変換器を第1のクロック信号に従い作動させて上記デジタル信号を発生しさせ、上記第1及び第2の累積加算器を上記第1のクロック信号とは異なる第2のクロック信号に従い動作させ、上記第2の累積加算器から上記処理データをその下位桁から順次出力することも好ましい。

0012

また、特定の画像検出処理要素の光検出器からの出力と当該特定の画像検出処理要素の隣接する複数の画像検出処理要素からのデジタル信号とに基づいて、当該特定の画像検出処理要素から出力されるデジタル信号を生成させるようにしてあることも好ましい。

0013

また、全ての要素が1チップに形成されていることも好ましい。

0014

次に図面を用いて本発明の実施例を詳細に説明する。図1は本発明による画像検出処理装置の一例を説明するための説明図である。本例の画像検出処理装置は例えば、ロボット視覚センサ自動車衝突防止センサ半導体検査装置等において、検出される画像から、動作対象物体前方車両半導体基板上の特定パターン等のターゲットの画像を抽出し、その位置情報軌跡情報等を得る処理に用いるものであり、画像データを転送とともに、例えばターゲット画像の重心位置特定に用いられる0次モーメント、1次モーメントの算出に必要な処理デ−タに加工して出力するものである。外部の処理プロセッサは当該前加工された処理データを用いて位置情報、軌跡情報等を得るため、全体として処理速度の向上が可能となる。

0015

図1において、1−1〜1−64は画像検出処理要素で、8×8個のアレイ構造として平面的に配置してある。各画像検出処理要素は、後述するように、光検出器と光検出器からの信号をデジタル信号に変換する変換部とを備えている。

0016

各画像検出処理要素は、その上下左右に隣接する4個の画像検出処理要素要素に対して上記デジタル信号をターゲット画像信号として出力する。例えば、画像検出処理要素1−11は画像検出処理要素1−3、1−10、1−12、1−19に対して、ターゲット画像信号を出力する。また、画像検出処理要素では、その4個の画像検出処理要素からのターゲット画像信号とそれ自身のターゲット画像信号とに基づいてターゲットを背景から抽出するためのウィンド画像信号を生成する。詳しくは後述するが、ウィンドウ画像に含まれる画像が新たなターゲット画像とし、ターゲットを背景から抽出するのである。また、各画像検出処理要素は後述する第1の加算器を含み、各画像検出処理要素の第1の加算器はその右隣の画像検出処理要素の第1の加算器と接続され、例えば、画像検出処理要素1−11の第1の加算器の出力は画像検出処理要素1−12の第1の加算器に入力される。このように行毎の画像検出処理要素の要素の第1の加算器は順次接続されて第1の累積加算器を構成している。

0017

各画像検出処理要素に対しては、共通信号としてCLOCK1、CLOCK2、LOAD、SELの各信号が入力される。クロック信号CLOCK1、信号LOADは初期画像設定用の信号である。例えば、クロック信号CLOCK1は周波数20MHz〜100MHz程度のクロック信号である。クロック信号CLOCK2、信号SELは画像演算用の信号であり、例えば、クロック信号CLOCK2は周波数1MHz〜10MHz程度のクロック信号である。この画像検出処理要素の構成の詳細については図2に示してあり、追って説明する。

0018

2−1〜2−8は第2の加算器としての直列型加算器で、画像検出処理要素の行ごとに配置され、対応する画像検出処理要素からの出力を一方の入力に受ける。また、各直列型加算器の出力は順次隣接する直列型加算器の他方の入力に接続されて第2の累積加算回路を構成する。本例では、画像検出処理要素1−1〜1−8に対して直列型加算器2−1が対応し、画像検出処理要素1−8の出力が直列型加算器2−1の一方の入力に接続される。直列型加算器2−1の出力は、直列型加算器2−2の他方の入力に接続される。直列型加算器2−8の出力が全体の出力信号となっており、光検出器によって検出される画像データに基づく処理データが供給される出力部を構成する。それぞれの直列型加算器の構成の詳細については図3に示してあり、追って説明する。

0019

3は行デコーダ回路で、本例では、図示しないが4本の行選択信号により、Y0〜Y7までの出力信号を制御する。図4入力信号組合せ例を示す。4は列デコーダ回路で、本実施例では、図示しないが4本の列選択信号により、X0〜X7までの出力信号を制御するものであり、選択信号の設定は行デコーダ3と同様である。これら行デコーダ3、列デコーダ4は画像検出処理要素のターゲット画像信号を選択的に第1の累積加算器に入力せしめる制御回路を構成する。本例では画像検出処理要素の選択は、図示しない外部のホストから行デコーダ3、列デコーダ4に選択パターンダウンロードすることによって行うこととするが、これに限るものではない。例えば、画像検出処理要素と共にROMを1チップに集積化し、ROMに目的の画像演算に応じた選択パターンを記憶させて画像検出処理要素の選択に用いても良いし、外部からの制御信号応答して選択パターンを発生させるデコーダを設けても良い。

0020

次に各画像検出処理要素の構成の詳細について図2を参照しながら説明する。5は光検出器としての光電変換部であり、フォトダイオードからなり、入射した光の強さに応じた信号を出力する。6は2値回路であり、コンパレータからなり、光電変換部5からの信号を2値化する。本例では、光電変換部5に入力した光量に応じて、所定のしきい値より明るいときに“H”の信号を出力し、暗いときに“L”の信号を出力するものとする。本例では2値データを出力することとするが、本発明はこれに限るものではなく、諧調を持たせた多値データを処理させるようにしても良い。その場合、第1の加算器には全加算器を用いる。7は論理積(AND)回路であり、2値化回路6からの信号と後述する5入力論理和(OR)回路12からの信号が共に“H”であったとき、“H”の信号を出力する。8はマルチプレクサであり、本例では、図1の信号LOADが“H”のとき、論理積回路7からの信号を出力し、“L”のとき、後述の論理積回路11からの信号を出力する。9はフリップフロップ回路でマルチプレクサ8の信号を図1のクロック信号CLOCK1により取り込んで出力する。2値化回路6、論理積回路7、マルチプレクサ8、フリップフロップ回路9、5入力論理回路12から変換器が構成される。

0021

10は論理積回路であり、フリップフロップ回路9の出力と後述する論理積回路11の出力が共に“H”であったときに“H”の信号を出力する。11は論理積回路であり、行デコーダ3の出力と列デコーダ4の出力が共に“H”であったとき、“H”の信号を出力する。例えば、画像検出処理要素1−11では、行デコーダ3の出力Y1と列デコーダ4の出力X2がともに“H”であった場合に“H”の信号を出力する。12は5入力論理和回路で、自身のフリップフロップ回路9の出力および上下左右隣の画像検出処理要素の各フリップフロップ回路9の出力から論理和を出力する。例えば、画像検出処理要素1−11では、画像検出処理要素1−3、1−10、1−12、1−19内の各フリップフロップ回路9の出力と画像検出処理要素1−11自身のフリップフロップ回路9の出力が入力となり、どれかひとつ以上が“H”のときに出力が“H”となる。

0022

13はマルチプレクサで、この実施例では、図1の信号SELが“H”のとき、論理積回路10からの信号を出力し、“L”のときに後述するフリップフロップ回路14の信号を出力する。14はフリップフロップ回路であり、後述する加算回路15のCARRY信号図1のクロック信号CLOCK2により取り込んで出力する。15は半加算器からなる加算回路で、マルチプレクサ13の出力と隣接する画像検出処理要素の半加算回路のSUM信号との算術和を算出し、SUM信号とCARRY信号を出力する。例えば、画像検出処理要素1−11では、マルチプレクサ13の出力と画像検出処理要素1−10における加算回路15のSUM信号とが、共に“L”であればSUM信号及びCARRY信号がともに“L”となり、一方が“L”で他方が“H”であればSUM信号が“H”、CARRY信号が“L”となり、共に“H”であればSUM信号が“L”、CARRY信号が“H”となる。論理積回路10、11、マルチプレクサ13、フリップフロップ14、加算回路15から第1の加算器が構成される。

0023

次に直列型加算器の構成の詳細について図3を参照しながら説明する。16は全加算器からなる加算回路で、上記画像検出処理要素のSUM信号と後述するフリップフロップ回路17と前段の加算回路16のSUM信号との算術加算演算を行い、SUM信号とCARRY信号とを出力する。例えば、直列型加算器2−2の場合、画像検出処理要素1−16の出力と直列型加算器2−1の出力とフリップフロップ回路17の出力とを入力とし、SUM信号は2−3の直列型加算器に出力され、CARRY信号はフリップフロップ回路17に出力される。加算回路16は3つの入力の状態が、すべて“L”のときにはSUM信号及びCARRY信号がともに“L”となり、何れか一つだけ“H”のときにはSUM信号が“H”、CARRY信号が“L”となり、二つが“H”のときにはSUM信号が“L”、CARRY信号が“H”となり、全てが“H”のときにはSUM信号及びCARRY信号がともに“H”となる。17はフリップフロップ回路であり、加算回路16のCARRY信号を上述のクロック信号CLOCK2により取り込んで出力する。

0024

まず、内部回路初期化を行うため、行デコーダ3、列デコーダ4をすべて非選択となるように設定し、信号SELでマルチプレクサ13から画素選択信号が出力されるように設定する。この状態でクロック信号CLOCK2が1クロック以上入力されると各画像検出処理要素内のラッチ回路14はクリアされる。また、この状態を維持したまま更にクロック信号CLOCK2を6クロック以上入力すると、各直列加算器内のラッチ回路17も同様にクリアされる。

0025

次にウインドウ画像信号の設定を行う。ウィンドウ画像信号は背景からターゲットの画像を分離するためのものである。信号LOADでマルチプレクサ8から画素選択信号が出力されるように設定し、行デコーダ3、列デコーダ4の設定することでウインドウ画像の初期設定を行う。行デコーダ3、列デコーダ4がそれぞれすべての出力が選択されるように設定すると、ウインドウ画像の初期値画面全体となる。

0026

次に画像の取り込みが行われる。適切な結像光学系を用いて対象物体の像を、平面状に配列された画像検出処理要素上に結像させる。結像光学系は、デジタルスチルカメラ等に用いられているようなレンズ光学系のもので良い。それぞれの画像検出処理要素では、まず、光電変換部5において、対象物体の明暗の情報を、結像された画像の光量に応じたアナログ信号に変換する。このアナログ信号は2値化回路6によって、“L”あるいは“H”の値を持つ2値画像信号に変換される。

0027

2値画像信号は、論理積回路7において上記のウインドウ画像信号との論理積演算をおこないターゲット画像信号に変換される。ターゲット画像信号はマルチプレクサ8を介してフリップフロップ9に出力され、クロック信号CLOCK1のタイミングで取り込まれる。フリップフロップ9に取り込まれたターゲット画像信号は次のクロック信号CLOCK1のタイミングでのウインドウ信号を生成するために5入力論理和回路12に入力される。

0028

フリップフロップ9の出力は、同じ画像検出処理要素内の5入力論理和回路12に出力されるとともに隣接する4個の画像検出処理要素内の5入力論理和回路12にも出力されており、5入力論理和回路12からウインドウ画像信号が出力される。この様子を図5に示す。図5において(a)はウインドウ画像を生成する元となる2値化画像であり、各セル図1に示した画像検出処理要素1−1〜1−64に対応している。(b)は(a)から生成されたウインドウ画像であり、各画像要素内において5入力論理和回路12に4個のフリップフロップ9の出力により、元となる2値化画像に対して上下左右に広がったものとなる。このウインドウ画像(b)と、次のフレームにおいて変換された画像信号つまり次のフレームでの2値化画像(a)との間で論理積演算をおこなったものがターゲット画像となる。すなわち、フレーム毎にターゲット画像信号の移動に追従してウィンド画像が若干の広がりをもって形成され、これに含まれる画像が新たなターゲット画像信号として得られる。この時、次のフレームとの間隔が十分短い場合、ターゲットの移動距離は十分短く、本実施例のように簡便な回路によってもターゲットトラッキングの動作が実現できる。

0029

次に画像演算動作について説明する。まず、ターゲット画像を構成する画素の総数は、ターゲット画像の面積(0次モーメント)と見なすことができ、このような0次モーメントを求める動作について説明する。それぞれの画像検出処理要素内の論理積回路10以降の部分と直列加算器の部分とをまとめて、64入力加算器アレイとしての動作を説明する。フリップフロップ9から出力されるターゲット画像信号は、論理積回路10で、画素選択信号が“H”のときのみ13のマルチプレクサ13に入力される。ここでは、全ての画像演算回路1−1〜1−64が選択されている場合について説明する。図6において(a)はターゲット画像の状態を表わす。ここでは、“H”の画素の総数が8となっている。

0030

まず、信号SELを“H”にして、論理積回路10の出力がマルチプレクサ13により選択されるようにする。これにより、各画像検出処理要素の半加算器15にはターゲット画像に応じた“H”もしくは“L”の信号が入力される。図6においてターゲット画像(a)に対応する各画像検出処理要素の加算器と直列形加算器の状態を(b)に示す。図6の(b)において、CARRY、SUMはそれぞれ各加算器のCARRY信号、SUM信号を示してある。画像検出処理要素1−20に入力される論理積回路10の出力が“H”となっており、その加算回路15のSUM信号“H”は後段の画像検出処理要素1−21〜画像検出処理要素1−24迄順次出力され、これらの加算回路15のSUM信号を“H”としている。

0031

これを受ける直列型加算器2−3では画像検出処理要素1−24からのSUM信号“H”と前段の直列型加算器2−2の加算回路16のSUM信号“L”とを加算し、SUM信号を“H”、CARRY信号を“L”としている。また、画像検出処理要素1−27、1−28、1−29の論理積回路10の出力は何れも“H”となっており、画像検出処理要素1−28の加算回路15ではその論理積回路10の出力“H”と前段の画像検出処理要素1−27のSUM信号“H”とを加算してSUM信号を“L”、CARRY信号を“H”としている。画像検出処理要素1−29の加算回路15のSUM信号“H”により後段の画像検出処理要素1−30〜画像検出処理要素1−32迄順次出力され、これらの加算回路15のSUM信号を“H”としている。

0032

これを受ける直列型加算器2−4では、画像検出処理要素1−32からのSUM信号“H”と前段の直列型加算器2−3の加算回路16のSUM信号“H”とを加算し、SUM信号を“L”CARRY信号を“H”としている。また、画像検出処理要素1−35、1−36、1−37の論理積回路10の出力は何れも“H”となっており、画像検出処理要素1−36の加算回路15ではその論理積回路10の出力“H”と前段の画像検出処理要素1−35のSUM信号“H”とを加算してSUM信号を“L”、CARRY信号を“H”としている。画像検出処理要素1−37の加算回路15のSUM信号“H”により後段の画像検出処理要素1−30〜画像検出処理要素1−32迄順次出力され、これらの加算回路15のSUM信号を“H”としている。

0033

これを受ける直列型加算器2−5では、画像検出処理要素1−40からのSUM信号“H”と前段の直列型加算器2−4の加算回路16のSUM信号“L”とを加算し、SUM信号を“H”CARRY信号を“L”としている。また、画像検出処理要素1−44の加算回路15ではその論理積回路10の出力“H”と前段の画像検出処理要素1−43のSUM信号“L”を加算してSUM信号を“H”、CARRY信号を“L”としている。

0034

同様にして画像検出処理要素1−44の加算回路15のSUM信号“H”は後段の画像検出処理要素1−45〜画像検出処理要素1−48迄順次出力されている。これを受ける直列型加算器2−6では画像検出処理要素1−48からのSUM信号“H”と前段の直列型加算器2−5の加算回路16のSUM信号“H”とを加算し、SUM信号を“L”CARRY信号を“H”としている。直列型加算器2−6の加算回路16のSUM信号“L”は、後段の直列型加算器2−7、2−8に順次出力される。このとき、直列型加算器2−8の出力からは、ターゲット画像を構成する画素の総数を2進数表現した場合の最下位桁の値が出力されており、ターゲット画像(a)に対しては、0に対応する“L”レベルの信号が出力される。

0035

この状態で、クロック信号CLOCK2が入力されるとフリップフロップ回路14にCARRY信号が取り込まれる。信号SELを“L”にして、半加算器15に、論理積回路10の出力に代わりフリップフロップ回路14に格納されたCARRY信号が入力される。この場合の各画像検出処理要素と直列型加算器の状態を(c)に示す。(b)に示したように画像検出処理要素1−28、1−36においてフリップフロップ14に格納されたCARRY信号は“H”であり、画像検出処理要素1−29〜1−32、1−37〜1−40の加算回路15はSUM信号“H”、CARRY信号“L”としている。

0036

直列型加算器2−4の加算回路16では前段のSUM信号“L”、画像検出処理要素1−32からのSUM信号“H”、フリップフロップ回路17に格納されたCARRY信号“H”を加算して、SUM信号を“L”、CARRY信号を“H”とする。直列型加算器2−5の加算回路16では前段のSUM信号“L”、画像検出処理要素1−40からのSUM信号“H”、フリップフロップ回路17に格納されたCARRY信号“L”を加算して、SUM信号を“H”、CARRY信号を“L”とする。直列型加算器2−6の加算回路16では前段のSUM信号“H”、画像検出処理要素1−48からのSUM信号“L”、フリップフロップ回路17に格納されたCARRY信号“H”を加算して、SUM信号を“L”、CARRY信号を“H”とする。直列型加算器2−7、2−8の加算回路16ではSUM信号“L”、CARRY信号“L”とする。このとき、直列型加算器2−8の出力からは、ターゲット画像を構成する画素の総数を2進数で表現した場合の最下位+1桁目の値が出力される。ターゲット画像(a)に対しては、0に対応する“L”レベルの信号が出力される。

0037

以下、同様にクロック信号CLOCK2が入力される毎に各画像検出処理要素と直列型加算器の状態は順次(d)、(e)に示すようになる。クロック信号CLOCK2が3クロック入力された状態(e)において、直列型加算器2−8の出力から“H”が出力され、ターゲット画像を構成する画素の総数を2進数で表現した場合の最下位+3桁目の値が出力され、SEL信号“H”の入力後に直列型加算器2−8から得られた値は“1000”となり、ターゲット画像(a)を構成する画素の総数8に相当する2進数値が得られる。この後クロック信号CLOCK2が入力されても、何れのフリップフロップ回路にもCARRY信号は格納されておらず、直列型加算器2−8の出力からは“L”が出力される。

0038

以上のようにクロック信号CLOCK2が入力される毎にターゲット画像を構成する画素の総数が下位桁から順次出力される。本例ではSEL信号の入力後、クロック信号CLOCK2を7クロック入力することでターゲット画像(a)を構成する画素の総数を7桁の2進数値で得ることができる。本例では少ないクロック数にてターゲット画像を構成する画素の総数、すなわち、ターゲット画像の面積(0次モーメント)を求めることができる。従来では画素の状態をクロック毎に1つずつ読み出した後、ターゲット画像の面積を求めており、画素数64とすれば64クロック以上を要していたが、本例では7クロックで済む。

0039

次に1次モーメントを求める場合の動作について説明する。1次モーメントを求める場合は、行デコーダ3及び列デコーダ4にて適当な画素を選択して、数種の部分和を求め、外部にてその部分和の総和を計算する。この様子を図7に示す。図7において、(a)は対象となる画像である。(b)、(c)は列デコーダの選択パターン例とそれに対応する部分和の値である。ここでは、画像検出処理要素アレイの縦方向をY軸とし、座標位置を上から0、1、・・、7、横方向をX軸とし、座標位置を左から右へ0、1、・・、7とする。X軸、Y軸の1次モーメントはそれぞれ軸方向の総和に荷重値として座標位置の値を乗じたものの総和で表わされる。例えば、Y軸方向の1次モーメントを求めるには、まず、行デコーダ3の設定において一番下の列のみ選択されるようにして、上述の方法によりターゲット画像を構成する画素の総和を求める。図示しない外部処理プロセッサ(または本例画像検出処理装置とともに集積化された処理プロセッサ)により、この列のY座標は7なので、得られた値に7を乗じる。次に下から二番目の列のみ選択されるようにして、総和を求める。得られた値に荷重値として6を乗じて、先に求めた値に加算する。同様にして、順次、荷重値の係数を乗じて各列ごとの部分和を加算することで、1次モーメントの値が得られる。

0040

荷重値に関しては例えば、7=4+2+1、6=4+2、5=4+1、4=4、3=2+1、2=2、1=1のように分離できることから、行デコーダ3の設定を(c)に示すように、Y軸の座標位置7、5、3、1に対応する列をまとめて指定してこれらに含まれるターゲット画像を構成する画素の総和を求めて荷重値1を乗じ、次にY軸の座標位置7、6、3、2に対応する行をまとめて指定して総和を求めて荷重値2を乗じ、次にY軸の座標位置7、6、5、4に対応する行をまとめて指定して総和を求めて荷重値4を乗じるようにしても1次モーメントを求めることが可能である。このようにすれば、3回の部分和計算で1次モーメント計算が可能になるので、更に少ない計算時間で1次モーメントを求めることができる。

0041

X軸方向の1次モーメントについても同様に列デコーダ4の設定を制御することで容易に計算することができる。また、より高次のモーメントについても各デコーダの設定および荷重値の係数を適当に選択することで容易に実現できる。また、得られた1次モーメントを面積(0次モーメント)で割ることで、容易に重心の座標を求めることができる。

0042

本例によれば、画像検出処理装置において、重心計算等の画像処理に必要な処理データをデータ転送時に生成可能となり、外部処理プロセッサと共同で行われる画像処理の高速化が可能となる。また、フレーム間隔の制限を受けず演算子処理が行え、この点も高速処理に適している。ひいては、ロボットの視覚センサ、自動車の衝突防止センサ等に用いた場合、装置全体の処理速度の向上が可能となる。例えば図8に示すような物体81を掴む動作を行うアームロボットの視覚センサ82に本例の画像検出処理装置に組み込んだ場合、物体81、アーム83双方を画像として取り込み、その画像データに基づく処理データ84を上述の動作で処理プロセッサ85に出力し、処理プロセッサ85において、物体81、アーム83の重心位置、軌跡等を画像処理により得て、その結果をアーム83の制御86及び視覚センサ82のターゲットトラッキング制御87にフィードバックさせることも高速処理可能となる。また、視覚センサからの情報のみによっても十分高速な制御が可能となり、必要な各種センサ数を削減でき、装置規模の縮小も可能となる。

0043

また、演算結果を出力する回路系と、ビデオカメラ等と同様なアナログビデオ信号を出力する回路を同時に構成することも容易である。

0044

本例では、画像データとして2値データ(2階調のデータ)を用いることとししたが、本発明はこれに限るものではなく、画像検出処理要素内の第1の加算器として全加算器を用いることにより、画像データを多諧調とした場合にも適応できる。その場合、各画像検出処理要素の回路規模が大きくなるものの、画像データが階調を持っている場合に、その階調によって荷重値演算できるという利点がある。第1の加算器に全加算器を用いた場合の構成の変更点については後述する。

0045

さらに、第1の加算器に全加算器を用いた場合には、画像データとして2値データを用いた場合に特徴量の演算をより高速にできる。例えば、図9に示すような構成により実現できる。同図に示す画像検出処理要素では、加算回路15に代わり全加算器からなる加算回路18を設け、マルチプレクサ13に代わり論理積回路19を設けてある。この他の構成は図2に示す画像検出処理要素示と同様のものである。加算回路18は論理積回路19を介して画像検出処理要素内のターゲット画像信号を受ける。このターゲット画像信号の入力は上記のものと同様SEL信号で制御される。また、加算回路18はフリップフロップ回路14からの出力と前段の画像検出処理要素の加算回路18からの出力とを受けており、動作的には図3に示した直列加算器と同様のものである。このような構成により、1次モーメントを計算する際に、行デコーダあるいは列デコーダを順次選択することで、n×n画素の場合、3n−1クロックの演算で1次モーメントを算出することができる。例えば8×8画素の構成の場合、8クロックで1次モーメントを選出できる。

0046

次に本発明のモーメント演算処理数学的にまとめておく。

0047

画像のサイズは、画像検出処理要素をN2(N=2n)個であるとする。画像データの諧調はM=2mであるとする。X軸上の座標位置x、Y軸上の座標位置yにある画像検出処理要素の画像データをI(x,y)とする。実行時間は画像検出処理要素でのクロック数(本例におけるクロック信号CLOCK2)で示す。画像I(x,y)に対する一般モーメント量mijは次の式で定義される。

0048

1次モーメントについては次のように表される。m10は行方向の1次モーメントであり、m01は列方向の1次モーメントである。

0049

しかしながら、画像検出処理要素に乗算機能を持たせることは回路規模の制限から難しい。これに対して本例では選択パターンと画像検出処理要素内のデータとの論理積を取って総和演算をする機能(すなわち、各画像検出処理要素を選択する機能)と、荷重値をビットプレーン展開する(2進数で展開する)こととにより、1次以上のモーメント量の計算速度の向上を図ることができる。xの2進数表現をxnxn−1....x1とする。

0050

skは図7の(c)に示すような選択パターンと各画像検出処理要素内のデータとの論理積を取るとこにより得られるものであり、図7の(c)に示す選択パターンは行と列の違いこそあるが左からk=1、2、3に対応している。skを得るのに必要なクロック数はlog2(N2(M−1)/2)≒(2n+m−1)である。したがってm10は、skをK=1からnまで繰り返し、外部処理プロセッサでそれらをビットシフトしながら足し合わせることで計算され、それを得るのに必要なクロック数はn(2n+m−1)となる。

0051

本例のように画像データが1、0の2階調(以下、バイナリと言う)である場合に限り、画像データの方を選択パターンとみなし、列、行デコーダを順次選択してビットシリアルに総和演算することにより1次モーメント得られる。これに必要なクロック数は、log2(N2(N−1)/2)≒(3n−1)である。この演算には図9に示したように第1の加算器として全加算器を用いる必要がある。1次モーメントm01も同様にして求められる。

0052

また、2次モーメントm20、m02は次のように表される。

0053

画像検出処理要素に乗算機能を持たせた場合、x2I(x,y)およびy2I(x,y)を各画像検出処理要素内部で計算し、それに対して総和を計算すればよいので演算に必要なクロック数は、log2(N2(N−1)(N−1)(M−1)/6)≒(4n+m−1)である。本例のように乗算機能を持たせないものではx2、y2についてもビットプレーンに展開した選択パターンを用いれば、演算に必要なクロック数は、2nlog2(N2(M−1))≒2n(2n+m)である。画像データがバイナリの場合、演算に必要なクロック数は、log2N2(N−1)(2N−1)/6≒(4n−1)である。

0054

もう一方の2次モーメントm11は次のように表される。

0055

画像検出処理要素に乗算機能を持たせた場合、演算に必要なクロック数は、log2(N2(N−1)2(M−1)/4)≒(4n+m−2)である。本例のように乗算機能を持たせないものでも、上述したように選択パターンによってsklはlog2(N2(M−1))≒(2n+m)クロックで得られる。m11は、sklの計算をn2回繰り返し、外部処理プロセッサでそれらをビットシフトさせながら足し合わせることで計算できる。この場合、演算に必要なクロック数は、n2(2n+m)以下となる。画像データがバイナリの場合、skはlog2(N2(M−1)/2)≒(3n−1)クロックで得られ、これをn回繰り返すことにより、m11はn(3n−1)クロックで得られる。

0056

モーメント演算処理に要するクロック数と実行時間の関係は下記の表に示すとおりである。

0057

また、本発明によれば、モーメントだけでなく、次の式に示される任意の特徴量を高速に演算することが可能である。

発明の効果

0058

本発明によれば、画像検出処理装置において、重心計算等の画像処理に必要な処理データをデータ転送時に生成可能となり、高速処理が可能となる。

0059

また、画像検出処理要素を行列配置とし、行毎に加算器を直列に接続し、第1の累積加算器を構成し、行毎の第1の累積加算器最終段の出力を累積加算する第2の累積加算器を設けて、制御回路により、上記第デジタル信号を選択的に上記第1の累積加算器に入力せしめることにより、上記画像の0次モーメント、上記画像のN(Nは1以上の整数)次モーメントをもとめるための部分和等所望の処理データを高速で出力することが可能となる。

0060

また、画像取り込みと累積加算動作とを別のクロックで行うので、画像取り込みによる速度の制限を受けずに処理データの生成が可能となる。

0061

また、画像検出処理要素は隣接する画像検出処理要素からのデジタル信号と上記光検出器からの出力とに基づいて当該画像検出処理要素のデジタル信号を生成するため、背景からターゲットの分離処理等の簡単な処理を画像検出処理装置側で行うことが可能となる。

図面の簡単な説明

0062

図1本発明の画像検出処理装置の構成を説明するための説明図。
図2図1の要部、画像検出処理要素の構成を説明するための説明図。
図3図1の要部、直列型加算器の構成を説明するための説明図。
図4図1の要部、行デコーダの動作を説明するための説明図。
図5図1の動作説明のための説明図。
図6図1の動作説明のための説明図。
図7図1の動作説明のための説明図。
図8本発明の画像検出処理装置を用いたロボットの構成を説明する説明図。
図9図1の要部、画像検出処理要素の構成を説明するための説明図。

--

0063

1−1〜1−64画像検出処理要素
2−1〜2−8直列型加算器(第2の累積加算器)
3行デコーダ(制御回路)
4列デコーダ(制御回路)
5光電変換部(光検出器)
62値化回路(変換器)
7論理積回路(変換器)
8マルチプレクサ(変換器)
9フリップフロップ回路(変換器)
10 論理積回路(第1の加算器、第1の累積加算器)
11 論理積回路(第1の加算器、第1の累積加算器)
12 5入力論理和回路(変換器)
13 マルチプレクサ(第1の加算器、第1の累積加算器)
14 フリップフロップ回路
15加算回路(第1の加算器、第1の累積加算器)
16 加算回路(第2の加算器、第2の累積加算器)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ジャパンモード株式会社の「 メイクアップ支援システム、及びメイクアップ支援方法」が 公開されました。( 2020/02/13)

    【課題】 ユーザ端末と接続した状態でメイクアップの施術に関するアドバイスを行い、施術すべきメイクアップに応じたメイクアップ支援システムを提供する。【解決手段】ユーザ端末5と専門員装置3とを接続した状... 詳細

  • 株式会社デンソーテンの「 画像処理装置及び画像処理方法」が 公開されました。( 2020/02/13)

    【課題】障害物が存在する場所を自車両が通過しようとするときに、事前に通過可能かをユーザが容易に把握できる画像処理技術を提供する。【解決手段】画像処理装置は、撮影画像取得部と、表示画像生成部と、を備える... 詳細

  • エイアイビューライフ株式会社の「 情報処理装置」が 公開されました。( 2020/02/13)

    【課題】被介護者を適切かつ迅速に介護することができないこと。【解決手段】本発明の情報処理装置は、所定領域の距離画像を取得する距離画像取得手段と、距離画像に基づいて当該距離画像内の第一人物を検出する検出... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ