図面 (/)

技術 画像分割装置および画像分割方法

出願人 国立大学法人広島大学
発明者 マタウシュハンスユルゲン小出哲士山岡功佑
出願日 2008年7月31日 (12年6ヶ月経過) 出願番号 2008-542958
公開日 2012年1月5日 (9年1ヶ月経過) 公開番号 WO2010-013291
状態 特許登録済
技術分野 画像処理 イメージ分析
主要キーワード Zより 発火している 画像分割装置 当たり具合 けた分割 分数部分 最小値選択回路 追跡回路
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年1月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

画素値検出回路(1)は、入力画像の各画素RGB値を検出し、その検出したRGB値を結合重み決定回路(2)へ出力する。結合重み決定回路(2)は、隣接する2つの画素の両方が無彩色からなるとき、RGB値のみによって2つの画素間の結合重みである第1の結合重みを決定し、2つの画素の一方が無彩色からなるとき、RGB値および彩度によって結合重みを第1の結合重みよりも小さい第2の結合重みに決定し、2つの画素の両方が有彩色からなるとき、RGB値および色相によって結合重みを第1の結合重み以上の第3の結合重みに決定する。画像分割回路(3)は、結合重み決定回路(2)によって決定された結合重みを用いて入力画像を各対象物の画像に分割する。

概要

背景

従来、彩度色相差とを用いて入力画像無彩色領域有彩色領域とに分割する画像領域分割装置が知られている(特開平6−259549号公報)。

この画像領域分割装置は、画像入力部と、正規化処理部と、彩度検出部と、色相差検出部と、特徴量算出部と、2値化処理部とを備える。画像入力部は、カラー画像を取り込み、その取り込んだ画像から領域分割の対象となる対象画像を生成し、対象画像のR(赤)成分、G(緑)成分およびB(青)成分をそれぞれ示すR画像、G画像およびB画像を正規化処理部へ出力する。

正規化処理部は、画像入力部から出力された3枚のR画像、G画像およびB画像を取り込み、対象画像の各画素について、R,G,B成分を明るさで正規化したX成分とY成分とに変換する。そして、正規化処理部は、対象画像の各画素値がX成分であるX画像と、対象画像の各画素値がY成分であるY画像とを生成し、その生成したX画像およびY画像を彩度検出部および色相差検出部へ出力する。

彩度検出部は、正規化処理部から出力されたX画像およびY画像を取り込み、対象画像の各画素の彩度をX成分およびY成分から求め、対象画像の各画素の値を、求めた彩度とする彩度画像を特徴量算出部へ出力する。対象画像の画素Pk(k=1,2,・・・,N)の彩度Skは、PkのX成分をxkとし、Y成分をykとすると、Sk=(xk2+yk2)1/2によって求められる。

色相検出部は、正規化処理部から出力されたX画像およびY画像を取り込み、対象画像の各画素の色相をX成分およびY成分から求め、有彩色領域の色相θcとの色相差を算出する。そして、色相検出部は、対象画像の各画素の値を、算出した色相差とする色相差画像を特徴量算出部へ出力する。対象画像Pkの色相θkは、θk=tan−1(yk/xk)によって求められる。

特徴量算出部は、彩度検出部から彩度画像を受け取り、色相検出部から色相差画像を受け取ると、各画素の彩度と色相差とから特徴量を算出する。たとえば、特徴量算出部は、Fk=Skcos(θk−θc)によって対象画像の画素Pkの特徴量Fkを算出する。そして、特徴量算出部は、対象画像の各画素の値を、算出した特徴量Fkとする特徴量画像を2値化処理部へ出力する。

2値化処理部は、特徴量算出部から特徴量画像を受けると、特徴量画像を2値化する。そして、2値化処理部は、2値化により分割された2つの領域のうち、特徴量の小さい方を無彩色領域として出力し、特徴量の大きい方を有彩色領域として出力する。

このように、従来の画像領域分割装置は、入力画像の各点における彩度と、入力画像の各点での色相と有彩色領域の色相との色相差とを用いて入力画像を無彩色領域と有彩色領域とに分割するための特徴量を求め、その求めた特徴量を用いて入力画像を無彩色領域と有彩色領域とに分割する。

概要

画素値検出回路(1)は、入力画像の各画素のRGB値を検出し、その検出したRGB値を結合重み決定回路(2)へ出力する。結合重み決定回路(2)は、隣接する2つの画素の両方が無彩色からなるとき、RGB値のみによって2つの画素間の結合重みである第1の結合重みを決定し、2つの画素の一方が無彩色からなるとき、RGB値および彩度によって結合重みを第1の結合重みよりも小さい第2の結合重みに決定し、2つの画素の両方が有彩色からなるとき、RGB値および色相によって結合重みを第1の結合重み以上の第3の結合重みに決定する。画像分割回路(3)は、結合重み決定回路(2)によって決定された結合重みを用いて入力画像を各対象物の画像に分割する。

目的

そこで、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

2つの画素の両方が無彩色からなるとき、前記2つの画素のRGB値を用いて前記2つの画素間の結合重みである第1の結合重みを決定し、前記2つの画素の一方が無彩色からなるとき、前記第1の結合重みよりも小さい第2の結合重みを前記2つの画素間の結合重みとして決定し、前記2つの画素の両方が有彩色からなるとき、前記第1の結合重み以上の第3の結合重みを前記2つの画素間の結合重みとして決定する結合重み決定処理を1つのフレーム各画素間について実行する結合重み決定回路と、前記結合重み決定回路によって決定された第1から第3の結合重みに基づいて、前記1つのフレームを各対象物の画像に分割する画像分割回路とを備える画像分割装置

請求項2

前記結合重み決定回路は、前記2つの画素のRGB値に基づいて前記2つの画素の第1および第2の彩度演算するとともに、その演算した第1および第2の彩度を無彩色と有彩色との境界を示すしきい値と比較して前記2つの画素が前記無彩色および前記有彩色のいずれからなるかを判定し、その判定結果に基づいて前記第1から第3の結合重みのいずれかを前記2つの画素間の結合重みとして決定する、請求の範囲第1項に記載の画像分割装置。

請求項3

前記結合重み決定回路は、加算器およびシフト器とを用いて前記2つの画素のRGB値に基づいて前記2つの画素の第1および第2の彩度を演算する、請求の範囲第2項に記載の画像分割装置。

請求項4

前記結合重み決定回路は、前記演算した第1および第2の彩度の両方が前記しきい値以下であるとき、前記2つの画素の両方が前記無彩色からなると判定し、前記第1および第2の彩度の一方が前記しきい値以下であるとき、前記2つの画素の一方が前記無彩色からなり、かつ、前記2つの画素の他方が前記有彩色からなると判定し、前記第1および第2の彩度の両方が前記しきい値よりも大きいとき、前記2つの画素の両方が前記有彩色からなると判定する、請求の範囲第2項に記載の画像分割装置。

請求項5

前記結合重み決定回路は、前記2つの画素の両方が前記無彩色からなると判定したとき、前記2つの画素のRGB値のみを用いて前記第1の結合重みを決定し、前記2つの画素の一方が前記無彩色からなり、かつ、前記2つの画素の他方が前記有彩色からなると判定したとき、前記2つの画素のRGB値および彩度を用いて前記第2の結合重みを決定し、前記2つの画素の両方が前記有彩色からなると判定したとき、前記2つの画素のRGB値および色相を用いて前記第3の結合重みを決定する、請求の範囲第3項に記載の画像分割装置。

請求項6

前記結合重み決定回路は、前記RGB値のみを用いて前記第1の結合重みを演算するとともに、前記2つの画素の一方が前記無彩色からなり、かつ、前記2つの画素の他方が前記有彩色からなると判定したとき、前記演算した第1の結合重みを前記2つの画素の彩度の差である彩度差に応じて小さくすることにより前記第2の結合重みを決定し、前記2つの画素の両方が前記有彩色からなると判定したとき、前記2つの画素の色相の差である色相差に応じて前記第1の結合重みを大きくすることにより前記第3の結合重みを決定する、請求の範囲第5項に記載の画像分割装置。

請求項7

前記結合重み決定回路は、前記2つの画素の両方が前記有彩色からなると判定したとき、前記2つの画素のRGB値に基づいて前記2つの画素の第1および第2の色相を演算するとともに、その演算した第1および第2の色相の差を前記色相差として演算し、その演算した色相差を用いて前記第3の結合重みを決定する、請求の範囲第6項に記載の画像分割装置。

請求項8

前記結合重み決定回路は、加算器およびシフト器とを用いて前記2つの画素のRGB値に基づいて前記2つの画素の第1および第2の色相を演算する、請求の範囲第7項に記載の画像分割装置。

請求項9

前記結合重み決定回路は、前記2つの画素の一方が前記無彩色からなり、かつ、前記2つの画素の他方が前記有彩色からなると判定した場合において、前記彩度差が相対的に小さいとき、前記第1の結合重みからの下げ幅を相対的に小さくして前記第2の結合重みを決定し、前記彩度差が相対的に大きいとき、前記第1の結合重みからの下げ幅を相対的に大きくして前記第3の結合重みを決定する、請求の範囲第6項に記載の画像分割装置。

請求項10

前記結合重み決定回路は、前記2つの画素のRGB値の差と、前記彩度差と、前記第1の結合重みから前記彩度差に応じて小さくした修正結合重みとの対応表を保持しており、前記2つの画素の前記彩度差を演算すると、その演算した彩度差に対応する修正結合重みを前記対応表から抽出し、その抽出した修正結合重みを前記第2の結合重みとして決定する、請求の範囲第9項に記載の画像分割装置。

請求項11

前記結合重み決定回路は、前記2つの画素の両方が前記有彩色からなると判定した場合において、前記2つの画素のRGB値の差が光の反射の影響を受けていることを示すとき、前記色相差に応じて前記第1の結合重み以上の値を設定して前記第3の結合重みを決定する、請求の範囲第6項に記載の画像分割装置。

請求項12

前記結合重み決定回路は、前記2つの画素のRGB値の差が光の反射の影響を受けていないことを示すとき、前記第1の結合重みを前記第3の結合重みとして決定する、請求の範囲第11項に記載の画像分割装置。

請求項13

前記結合重み決定回路は、前記2つの画素のRGB値の差と、前記色相差と、前記第1の結合重みから前記色相差に応じて大きくした修正結合重みとの対応表を保持しており、前記2つの画素のRGB値の差が光の反射の影響を受けていることを示すとき、前記2つの画素の前記色相差を演算すると、その演算した色相差に対応する修正結合重みを前記対応表から抽出し、その抽出した修正結合重みを前記第3の結合重みとして決定する、請求の範囲第11項に記載の画像分割装置。

請求項14

2つの画素のRGB値を受付ける第1のステップと、前記受付けられた2つの画素のRGB値に基づいて、前記2つの画素の第1および第2の色相を演算する第2のステップと、前記受付けられた2つの画素のRGB値に基づいて、前記2つの画素の第1および第2の彩度を演算する第3のステップと、前記第1および第2の彩度の両方が無彩色と無彩色との境界を示すしきい値以下であるか否かを判定する第4のステップと、前記第4のステップにおいて、前記第1および第2の彩度の両方が前記しきい値以下であると判定されたとき、前記2つの画素のRGB値のみを用いて前記2つの画素間の結合重みである第1の結合重みを決定する第5のステップと、前記第4のステップにおいて、前記第1および第2の彩度の一方が前記しきい値以下であると判定されたとき、前記2つの画素のRGB値と、前記第1および第2の彩度とを用いて前記第1の結合重みよりも小さい第2の結合重みを前記2つの画素間の結合重みとして決定する第6のステップと、前記第4のステップにおいて、前記第1および第2の彩度の両方が前記しきい値よりも大きいと判定されたとき、前記2つの画素のRGB値と、前記第1および第2の色相とを用いて前記第1の結合重み以上の第3の結合重みを前記2つの画素間の結合重みとして決定する第7のステップと、前記第1のステップから前記第7のステップを1つのフレームに含まれる全ての画素間について実行する第8のステップと、前記第8のステップを実行して決定された第1から第3の結合重みに基づいて、前記1つのフレームを各対象物の画像に分割する第9のステップとを備える画像分割方法

請求項15

前記第6のステップは、前記RGB値のみを用いて前記第1の結合重みを演算する第1のサブステップと、前記演算した第1の結合重みを前記2つの画素の彩度の差である彩度差に応じて小さくすることにより前記第2の結合重みを決定する第2のサブステップとを含み、前記第7のステップは、前記RGB値のみを用いて第1の結合重みを演算する第3のサブステップと、前記2つの画素が光の反射の影響を受けていることを示すとき、前記演算した第1の結合重みを前記2つの画素の色相の差である色相差に応じて大きくすることにより前記第3の結合重みを決定する第4のサブステップと、前記2つの画素が光の反射の影響を受けていないことを示すとき、前記演算された第1の結合重みを前記第3の結合重みとして決定する第5のサブステップとを含む、請求の範囲第14項に記載の画像分割方法。

請求項16

前記第2のサブステップにおいて、前記彩度差が相対的に小さいとき、前記第1の結合重みからの下げ幅を相対的に小さくして前記第2の結合重みを決定し、前記彩度差が相対的に大きいとき、前記第1の結合重みからの下げ幅を相対的に大きくして前記第2の結合重みを決定する、請求の範囲第15項に記載の画像分割方法。

請求項17

前記光の反射の影響を受けている画素は、前記2つの画素のRGB値の差が第1の値と前記第1の値よりも大きい第2の値との間で存在する画素である、請求の範囲第15項に記載の画像分割方法。

技術分野

0001

この発明は、画像分割装置および画像分割方法に関するものである。

背景技術

0002

従来、彩度色相差とを用いて入力画像無彩色領域有彩色領域とに分割する画像領域分割装置が知られている(特開平6−259549号公報)。

0003

この画像領域分割装置は、画像入力部と、正規化処理部と、彩度検出部と、色相差検出部と、特徴量算出部と、2値化処理部とを備える。画像入力部は、カラー画像を取り込み、その取り込んだ画像から領域分割の対象となる対象画像を生成し、対象画像のR(赤)成分、G(緑)成分およびB(青)成分をそれぞれ示すR画像、G画像およびB画像を正規化処理部へ出力する。

0004

正規化処理部は、画像入力部から出力された3枚のR画像、G画像およびB画像を取り込み、対象画像の各画素について、R,G,B成分を明るさで正規化したX成分とY成分とに変換する。そして、正規化処理部は、対象画像の各画素値がX成分であるX画像と、対象画像の各画素値がY成分であるY画像とを生成し、その生成したX画像およびY画像を彩度検出部および色相差検出部へ出力する。

0005

彩度検出部は、正規化処理部から出力されたX画像およびY画像を取り込み、対象画像の各画素の彩度をX成分およびY成分から求め、対象画像の各画素の値を、求めた彩度とする彩度画像を特徴量算出部へ出力する。対象画像の画素Pk(k=1,2,・・・,N)の彩度Skは、PkのX成分をxkとし、Y成分をykとすると、Sk=(xk2+yk2)1/2によって求められる。

0006

色相検出部は、正規化処理部から出力されたX画像およびY画像を取り込み、対象画像の各画素の色相をX成分およびY成分から求め、有彩色領域の色相θcとの色相差を算出する。そして、色相検出部は、対象画像の各画素の値を、算出した色相差とする色相差画像を特徴量算出部へ出力する。対象画像Pkの色相θkは、θk=tan−1(yk/xk)によって求められる。

0007

特徴量算出部は、彩度検出部から彩度画像を受け取り、色相検出部から色相差画像を受け取ると、各画素の彩度と色相差とから特徴量を算出する。たとえば、特徴量算出部は、Fk=Skcos(θk−θc)によって対象画像の画素Pkの特徴量Fkを算出する。そして、特徴量算出部は、対象画像の各画素の値を、算出した特徴量Fkとする特徴量画像を2値化処理部へ出力する。

0008

2値化処理部は、特徴量算出部から特徴量画像を受けると、特徴量画像を2値化する。そして、2値化処理部は、2値化により分割された2つの領域のうち、特徴量の小さい方を無彩色領域として出力し、特徴量の大きい方を有彩色領域として出力する。

0009

このように、従来の画像領域分割装置は、入力画像の各点における彩度と、入力画像の各点での色相と有彩色領域の色相との色相差とを用いて入力画像を無彩色領域と有彩色領域とに分割するための特徴量を求め、その求めた特徴量を用いて入力画像を無彩色領域と有彩色領域とに分割する。

0010

しかし、従来の画像領域分割装置は、入力画像の各画素の彩度と、各画素の色相と有彩色領域の色相との色相差とを用いて画像を分割するため、分割の対象となる対象物が無彩色からなる場合、入力画像を各対象物の画像に正確に分割することが困難であるという問題がある。

0011

そこで、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割装置を提供することが望まれる。

0012

また、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割方法を提供することが望まれる。

0013

画像分割装置は、結合重み決定回路と、画像分割装置とを備える。結合重み決定回路は、2つの画素の両方が無彩色からなるとき、2つの画素のRGB値を用いて2つの画素間の結合重みである第1の結合重みを決定し、2つの画素の一方が無彩色からなるとき、第1の結合重みよりも小さい第2の結合重みを2つの画素間の結合重みとして決定し、2つの画素の両方が有彩色からなるとき、第1の結合重み以上の第3の結合重みを2つの画素間の結合重みとして決定する結合重み決定処理を1つのフレーム各画素間について実行する。画像分割回路は、結合重み決定回路によって決定された第1から第3の結合重みに基づいて、1つのフレームを各対象物の画像に分割する。

0014

結合重み決定回路は、2つの画素のRGB値に基づいて2つの画素の第1および第2の彩度を演算するとともに、その演算した第1および第2の彩度を無彩色と有彩色との境界を示すしきい値と比較して2つの画素が無彩色および有彩色のいずれからなるかを判定し、その判定結果に基づいて第1から第3の結合重みのいずれかを2つの画素間の結合重みとして決定してもよい。

0015

結合重み決定回路は、加算器およびシフト器とを用いて2つの画素のRGB値に基づいて2つの画素の第1および第2の彩度を演算してもよい。

0016

結合重み決定回路は、演算した第1および第2の彩度の両方がしきい値以下であるとき、2つの画素の両方が無彩色からなると判定し、第1および第2の彩度の一方がしきい値以下であるとき、2つの画素の一方が無彩色からなり、かつ、2つの画素の他方が有彩色からなると判定し、第1および第2の彩度の両方がしきい値よりも大きいとき、2つの画素の両方が有彩色からなると判定してもよい。

0017

結合重み決定回路は、2つの画素の両方が無彩色からなると判定したとき、2つの画素のRGB値のみを用いて第1の結合重みを決定し、2つの画素の一方が無彩色からなり、かつ、2つの画素の他方が有彩色からなると判定したとき、2つの画素のRGB値および彩度を用いて第2の結合重みを決定し、2つの画素の両方が有彩色からなると判定したとき、2つの画素のRGB値および色相を用いて第3の結合重みを決定してもよい。

0018

結合重み決定回路は、RGB値のみを用いて第1の結合重みを演算するとともに、2つの画素の一方が無彩色からなり、かつ、2つの画素の他方が有彩色からなると判定したとき、演算した第1の結合重みを2つの画素の彩度の差である彩度差に応じて小さくすることにより第2の結合重みを決定し、2つの画素の両方が有彩色からなると判定したとき、2つの画素の色相の差である色相差に応じて第1の結合重みを大きくすることにより第3の結合重みを決定してもよい。

0019

結合重み決定回路は、2つの画素の両方が有彩色からなると判定したとき、2つの画素のRGB値に基づいて2つの画素の第1および第2の色相を演算するとともに、その演算した第1および第2の色相の差を色相差として演算し、その演算した色相差を用いて第3の結合重みを決定してもよい。

0020

結合重み決定回路は、加算器およびシフト器とを用いて2つの画素のRGB値に基づいて2つの画素の第1および第2の色相を演算してもよい。

0021

結合重み決定回路は、2つの画素の一方が無彩色からなり、かつ、2つの画素の他方が有彩色からなると判定した場合において、彩度差が相対的に小さいとき、第1の結合重みからの下げ幅を相対的に小さくして第2の結合重みを決定し、彩度差が相対的に大きいとき、第1の結合重みからの下げ幅を相対的に大きくして第3の結合重みを決定してもよい。

0022

結合重み決定回路は、2つの画素のRGB値の差と、彩度差と、第1の結合重みから彩度差に応じて小さくした修正結合重みとの対応表を保持しており、2つの画素の彩度差を演算すると、その演算した彩度差に対応する修正結合重みを対応表から抽出し、その抽出した修正結合重みを第2の結合重みとして決定してもよい。

0023

結合重み決定回路は、2つの画素の両方が有彩色からなると判定した場合において、2つの画素のRGB値の差が光の反射の影響を受けていることを示すとき、色相差に応じて第1の結合重み以上の値を設定して第3の結合重みを決定してもよい。

0024

結合重み決定回路は、2つの画素のRGB値の差が光の反射の影響を受けていないことを示すとき、第1の結合重みを第3の結合重みとして決定してもよい。

0025

結合重み決定回路は、2つの画素のRGB値の差と、色相差と、第1の結合重みから色相差に応じて大きくした修正結合重みとの対応表を保持しており、2つの画素のRGB値の差が光の反射の影響を受けていることを示すとき、2つの画素の色相差を演算すると、その演算した色相差に対応する修正結合重みを対応表から抽出し、その抽出した修正結合重みを第3の結合重みとして決定してもよい。

0026

また、画像分割方法は、2つの画素のRGB値を受付ける第1のステップと、受付けられた2つの画素のRGB値に基づいて、2つの画素の第1および第2の色相を演算する第2のステップと、受付けられた2つの画素のRGB値に基づいて、2つの画素の第1および第2の彩度を演算する第3のステップと、第1および第2の彩度の両方が無彩色と無彩色との境界を示すしきい値以下であるか否かを判定する第4のステップと、第4のステップにおいて、第1および第2の彩度の両方がしきい値以下であると判定されたとき、2つの画素のRGB値のみを用いて2つの画素間の結合重みである第1の結合重みを決定する第5のステップと、第4のステップにおいて、第1および第2の彩度の一方がしきい値以下であると判定されたとき、2つの画素のRGB値と、第1および第2の彩度とを用いて第1の結合重みよりも小さい第2の結合重みを2つの画素間の結合重みとして決定する第6のステップと、第4のステップにおいて、第1および第2の彩度の両方がしきい値よりも大きいと判定されたとき、2つの画素のRGB値と、第1および第2の色相とを用いて第1の結合重み以上の第3の結合重みを2つの画素間の結合重みとして決定する第7のステップと、第1のステップから第7のステップを1つのフレームに含まれる全ての画素間について実行する第8のステップと、第8のステップを実行して決定された第1から第3の結合重みに基づいて、1つのフレームを各対象物の画像に分割する第9のステップとを備える。

0027

第6のステップは、RGB値のみを用いて第1の結合重みを演算する第1のサブステップと、演算した第1の結合重みを2つの画素の彩度の差である彩度差に応じて小さくすることにより第2の結合重みを決定する第2のサブステップとを含んでもよい。第7のステップは、RGB値のみを用いて第1の結合重みを演算する第3のサブステップと、2つの画素が光の反射の影響を受けていることを示すとき、演算した第1の結合重みを2つの画素の色相の差である色相差に応じて大きくすることにより第3の結合重みを決定する第4のサブステップと、2つの画素が光の反射の影響を受けていないことを示すとき、演算された第1の結合重みを第3の結合重みとして決定する第5のサブステップとを含んでもよい。

0028

第2のサブステップにおいて、彩度差が相対的に小さいとき、第1の結合重みからの下げ幅を相対的に小さくして第2の結合重みを決定し、彩度差が相対的に大きいとき、第1の結合重みからの下げ幅を相対的に大きくして第2の結合重みを決定してもよい。

0029

光の反射の影響を受けている画素は、2つの画素のRGB値の差が第1の値と第1の値よりも大きい第2の値との間で存在する画素であってもよい。

0030

2つの画素間の結合重みは、2つの画素の両方が無彩色からなるとき、2つの画素のRGB値を用いて第1の結合重みに決定され、2つの画素の一方が無彩色からなるとき、第1の結合重みよりも小さい第2の結合重みに決定され、2つの画素の両方が有彩色からなるとき、第1の結合重み以上の第3の結合重みに決定される。そして、その決定された結合重みに基づいて画像分割が行なわれる。その結果、結合重みが第2の結合重みからなる画像では、画像分割において領域成長が抑制され、結合重みが第3の結合重みからなる画像では、画像分割において領域成長が促進される。そして、画像分割において、彩度差のある領域が識別されて抽出され、同一色相を有する領域が同一領域として抽出される。

0031

したがって、カラー画像からなる入力画像を各対象物の画像に正確に分割できる。

図面の簡単な説明

0032

この発明の実施の形態による画像分割装置の構成を示す概略ブロック図である。
図1に示す結合重み決定回路の構成を示す概略図である。
図2に示す結合重み決定回路が結合重みを決定するときの概念図である。
図2に示す結合重み決定回路が結合重みを決定するときの他の概念図である。
HSV色空間の概念図である。
色相および彩度による画像評価に用いた画像を示す図である。
色相および彩度による画像評価に用いた他の画像を示す図である。
図6に示す領域Xの分割結果および図7に示す領域Yの分割結果を示す図である。
従来の画像分割における問題を説明するための図である。
図6に示すサンプル画像のRGB値から式(1)を用いてHue値に変換した値(0〜360度)を256階調に正規化して8ビットグレー画像とした図である。
図7に示すサンプル画像のRGB値から式(1)を用いてHue値に変換した値(0〜360度)を256階調に正規化して8ビットグレー画像とした図である。
図6に示すサンプル画像のRGB値から式(2)を用いてS値に変換した値(0〜1の範囲)を256階調に規格化して8ビットグレー画像とした図である。
図7に示すサンプル画像のRGB値から式(2)を用いてS値に変換した値(0〜1の範囲)を256階調に規格化して8ビットグレー画像とした図である。
色相(Hue)のビンの構成図である。
図2に示すHS変換回路に含まれる色相変換回路の構成を示す概略図である。
彩度(S)のビンの構成図である。
図2に示すHS変換回路に含まれる彩度変換回路の構成を示す概略図である。
結合重みを決定する方法を説明するための図である。
反射による画素値への影響を示す図である。
彩度境界を変化させたときの無彩色画素値の変化を示す図である。
R,G,Bの各成分の乱反射による影響を示す図である。
赤の車のボディーのHue値のヒストグラムを示す図である。
青の車のボディーのHue値のヒストグラムを示す図である。
図2に示す重み計算ユニットの構成図である。
画像の分割方法を説明するための図である。
この発明による画像分割方法を説明するためのフローチャートである。
図26に示すステップS2の詳細な動作を説明するためのフローチャートである。
図27に示すステップS27の詳細な動作を説明するためのフローチャートである。
図26に示すステップS3の詳細な動作を説明するためのフローチャートである。
この発明による画像分割装置を用いた物体追跡装置の構成図である。

発明を実施するための最良の形態

0033

本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

0034

図1は、この発明の実施の形態による画像分割装置の構成を示す概略ブロック図である。図1を参照して、この発明の実施の形態による画像分割装置10は、画素値検出回路1と、結合重み決定回路2と、画像分割回路3とを備える。

0035

画素値検出回路1は、1フレームの入力画像を受け、その受けた入力画像の各画素のR成分、G成分およびB成分を検出し、その検出したR成分、G成分およびB成分をRGB値として結合重み決定回路2へ出力する。

0036

結合重み決定回路2は、画素値検出回路1からRGB値を受け、その受けたRGB値に基づいて、後述する方法によって、1つのフレームを構成する複数の画素における各画素間の結合重みを決定し、その決定した結合重みを画像分割回路3へ出力する。

0037

画像分割回路3は、外部から入力画像を受け、結合重み決定回路2から結合重みを受ける。そして、画像分割回路3は、その受けた結合重みを用いて、領域成長型画像分割方法によって、1つのフレームからなる入力画像を各対象物の画像に分割する。この領域成長型画像分割方法は、たとえば、3×3の画素からリーダセルを決定し、その決定したリーダセルの領域から相対的に大きい結合重みを有する周囲の画素の領域へ領域を成長させて行く処理をリーダセルが存在しなくまで繰り返して画像を分割する方法である。

0038

図2は、図1に示す結合重み決定回路2の構成を示す概略図である。図2を参照して、結合重み決定回路2は、Dラッチ回路21,22,24,26,27,29と、FIFO回路23,28と、HS変換回路25と、選択器30,31と、重み計算ユニット32〜35とを含む。

0039

Dラッチ回路21は、画素値検出回路1からRGB値を受け、その受けたRGB値をラッチし、そのラッチしたRGB値をDラッチ回路22、重み計算ユニット33,35へ出力する。

0040

Dラッチ回路22は、Dラッチ回路21からRGB値を受け、その受けたRGB値をラッチし、そのラッチしたRGB値をFIFO回路23、重み計算ユニット32および選択器30,31へ出力する。

0041

FIFO回路23は、Dラッチ回路22からRGB値を受け、その受けたRGB値を1クロック分、保持し、その後、RGB値をDラッチ回路24、重み計算ユニット32および選択器30,31へ出力する。

0042

Dラッチ回路24は、FIFO回路23から受けたRGB値をラッチし、そのラッチしたRGB値を重み計算ユニット33,34へ出力する。

0043

HS変換回路25は、画素値検出回路1からRGB値を受け、その受けたRGB値を、後述する方法によって、色相および彩度に変換する。そして、HS変換回路25は、その変換した色相および彩度をDラッチ回路26へ出力する。

0044

Dラッチ回路26は、色相および彩度をHS変換回路25から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をDラッチ回路27および重み計算ユニット33,35へ出力する。

0045

Dラッチ回路27は、色相および彩度をDラッチ回路26から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をFIFO回路28、重み計算ユニット32および選択器30,31へ出力する。

0046

FIFO回路28は、色相および彩度をDラッチ回路27から受け、その受けた色相および彩度を1クロック分、保持し、その後、色相および彩度をDラッチ回路29、重み計算ユニット32および選択器30,31へ出力する。

0047

Dラッチ回路29は、色相および彩度をFIFO回路28から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度を重み計算ユニット33,34へ出力する。

0048

選択器30は、Dラッチ回路22およびFIFO回路23からRGB値を受け、Dラッチ回路27およびFIFO回路28から色相および彩度を受ける。そして、選択器30は、FIFO回路23から受けたRGB値と、FIFO回路28から受けた色相および彩度とを選択して重み計算ユニット34へ出力する。

0049

選択器31は、Dラッチ回路22およびFIFO回路23からRGB値を受け、Dラッチ回路27およびFIFO回路28から色相および彩度を受ける。そして、選択器31は、Dラッチ回路22から受けたRGB値と、Dラッチ回路27から受けた色相および彩度とを選択して重み計算ユニット35へ出力する。

0050

なお、選択器30がDラッチ回路22から受けたRGB値と、Dラッチ回路27から受けた色相および彩度とを選択して重み計算ユニット34へ出力する場合、選択器31は、FIFO回路23から受けたRGB値と、FIFO回路28から受けた色相および彩度とを選択して重み計算ユニット35へ出力する。

0051

重み計算ユニット32は、Dラッチ回路22およびFIFO回路23からRGB値を受け、Dラッチ回路27およびFIFO回路28から色相および彩度を受ける。そして、重み計算ユニット32は、Dラッチ回路22から受けたRGB値とDラッチ回路27から受けた色相および彩度とを1つの画素GE3に対応するRGB値、色相および彩度(RGB3,HS3)とし、FIFO回路23から受けたRGB値と、FIFO回路28から受けた色相および彩度とを別の1つの画素GE2に対応するRGB値、色相および彩度(RGB2,HS2)とする。そうすると、重み計算ユニット32は、RGB値、色相および彩度(RGB3,HS3)と、RGB値、色相および彩度(RGB2,HS2)とに基づいて、後述する方法によって、画素GE2と画素GE3との間の結合重みを演算し、その演算した結合重みを画像分割回路3へ出力する。

0052

重み計算ユニット33は、Dラッチ回路21,24からRGB値を受け、Dラッチ回路26,29から色相および彩度を受ける。そして、重み計算ユニット33は、Dラッチ回路21から受けたRGB値とDラッチ回路26から受けた色相および彩度とを1つの画素GE4に対応するRGB値、色相および彩度(RGB4,HS4)とし、Dラッチ回路24から受けたRGB値と、Dラッチ回路29から受けた色相および彩度とを別の1つの画素GE1に対応するRGB値、色相および彩度(RGB1,HS1)とする。そうすると、重み計算ユニット33は、RGB値、色相および彩度(RGB4,HS4)と、RGB値、色相および彩度(RGB1,HS1)とに基づいて、後述する方法によって、画素GE1と画素GE4との間の結合重みを演算し、その演算した結合重みを画像分割回路3へ出力する。

0053

重み計算ユニット34は、Dラッチ回路24からRGB値を受け、Dラッチ回路29から色相および彩度を受け、選択器30からRGB値、色相および彩度を受ける。そして、重み計算ユニット34は、Dラッチ回路24から受けたRGB値とDラッチ回路29から受けた色相および彩度とを1つの画素GE1に対応するRGB値、色相および彩度(RGB1,HS1)とし、選択器30から受けたRGB値、色相および彩度を別の1つの画素GE2に対応するRGB値、色相および彩度(RGB2,HS2)とする。そうすると、重み計算ユニット34は、RGB値、色相および彩度(RGB1,HS1)と、RGB値、色相および彩度(RGB2,HS2)とに基づいて、後述する方法によって、画素GE1と画素GE2との間の結合重みを演算し、その演算した結合重みを画像分割回路3へ出力する。

0054

重み計算ユニット35は、Dラッチ回路21からRGB値を受け、Dラッチ回路26から色相および彩度を受け、選択器31からRGB値、色相および彩度を受ける。そして、重み計算ユニット35は、Dラッチ回路21から受けたRGB値とDラッチ回路26から受けた色相および彩度とを1つの画素GE4に対応するRGB値、色相および彩度(RGB4,HS4)とし、選択器31から受けたRGB値、色相および彩度を別の1つの画素GE3に対応するRGB値、色相および彩度(RGB3,HS3)とする。そうすると、重み計算ユニット35は、RGB値、色相および彩度(RGB4,HS4)と、RGB値、色相および彩度(RGB3,HS3)とに基づいて、後述する方法によって、画素GE3と画素GE4との間の結合重みを演算し、その演算した結合重みを画像分割回路3へ出力する。

0055

図3は、図2に示す結合重み決定回路2が結合重みを決定するときの概念図である。また、図4は、図2に示す結合重み決定回路2が結合重みを決定するときの他の概念図である。

0056

結合重み決定回路2は、2行2列に配列された画素GE1〜GE4における結合重みを1サイクルで決定する。画素GE1〜GE4におけるRGB値RGB1〜RGB4が結合重み決定回路2へ順次入力されると、重み計算ユニット32は、FIFO回路23から画素GE2のRGB値RGB2を受け、FIFO回路28から画素GE2の色相および彩度HS2を受け、Dラッチ回路22から画素GE3のRGB値RGB3を受け、Dラッチ回路27から画素GE3の色相および彩度HS3を受ける。

0057

また、重み計算ユニット33は、Dラッチ回路24から画素GE1のRGB値RGB1を受け、Dラッチ回路29から画素GE1の色相および彩度HS1を受け、Dラッチ回路21から画素GE4のRGB値RGB4を受け、Dラッチ回路26から画素GE4の色相および彩度HS4を受ける。

0058

さらに、重み計算ユニット34は、Dラッチ回路24から画素GE1のRGB値RGB1を受け、Dラッチ回路29から画素GE1の色相および彩度HS1を受け、選択器30から画素GE2のRGB値RGB2と、画素GE2の色相および彩度HS2とを受ける。

0059

さらに、重み計算ユニット35は、Dラッチ回路21から画素GE4のRGB値RGB4を受け、Dラッチ回路26から画素GE4の色相および彩度HS4を受け、選択器31から画素GE3のRGB値RGB3と、画素GE3の色相および彩度HS3とを受ける。

0060

すなわち、重み計算ユニット32〜35は、同期して、それぞれ、画素GE2,GE3のRGB値、色相および彩度、画素GE1,GE4のRGB値、色相および彩度、画素GE1,GE2のRGB値、色相および彩度、および画素GE3,GE4のRGB値、色相および彩度を受ける。そして、重み計算ユニット32は、画素GE2と画素GE3との結合重みを決定して出力し、重み計算ユニット33は、画素GE1と画素GE4との結合重みを決定して出力し、重み計算ユニット34は、画素GE1と画素GE2との結合重みを決定して出力し、重み計算ユニット35は、画素GE3と画素GE4との結合重みを決定して出力する。

0061

つまり、重み計算ユニット32〜35は、図3に示す4個の結合重みを1サイクルで決定して出力する。

0062

なお、選択器30が画素GE3のRGB値RGB3と色相および彩度HS3とを選択し、選択器31が画素GE2のRGB値RGB2と色相および彩度HS2とを選択した場合、重み計算ユニット32〜35は、図4に示す4個の結合重みを1サイクルで決定して出力する。

0063

このように、結合重み決定回路2は、2行2列に配列された4個の画素のRGB値、色相および彩度を用いて、1サイクルで2行2列に配列された4個の画素間における4個の結合重みを決定する。

0064

上述したように、結合重み決定回路2は、各画素のRGB値、色相および彩度を用いて2つの画素間の結合重みを決定するが、以下、その理由について説明する。

0065

この発明においては、画素間の結合重みを決定するために、RGB値のみならず、色相および彩度を用いるために、RGB色空間に加え、色相(H:Hue)、彩度(S:Saturation)および輝度(V:Value)からなるHSV色空間を導入する。

0066

ここで、色相(H)は、R,G,Bなどの色の種類を表す要素である。また、彩度(S)は、色の鮮やかさを表す要素であり、無彩色(黒—灰色—白)では、“0”となる。さらに、輝度(V)は、明るさを表す要素である。

0067

図5は、HSV色空間の概念図である。図5を参照して、HSV色空間は、円錐形状からなる。そして、色相(H)は、円錐形状の底面における円環CRCに描かれ、0度〜360度の範囲で表される。そして、図5においては、赤を基準(0度)とした色相を表しており、RGB色空間における赤(255,0,0)、緑(0,255,0)および青(0,0,255)は、それぞれ、色相0度、色相120度および色相240度に対応する。

0068

彩度(S)は、円錐円形半径として表され、0〜1の範囲の値を取る。また、輝度(V)は、円錐の頂点からの距離として表され、0〜1の範囲の値を取る。

0069

図5から解るように、無彩色は、色相(H)および彩度(S)を持たない。

0070

RGB値から色相(H)への変換には、次式が用いられる。

0071

0072

なお、式(1)において、MAXは、R値G値およびB値最大値を表し、MINは、R値、G値およびB値の最小値を表す。

0073

MAX=MINであるとき、色相(H)は、定義されない。これは、R値、G値およびB値が全て等しいときであり、無彩色を表すため、円錐の中央のグレーの直線の周囲にあるため、その時のHue値は、意味を持たないからである。

0074

RGB値から彩度(S)への変換には、次式が用いられる。

0075

0076

なお、MAX=0であるとき、彩度(S)は、未定義となる。これは、MAX=0であるときの色は、完全な黒を表すため、色相も彩度も存在しないからである。

0077

RGB値から輝度(V)への変換には、次式が用いられる。

0078

0079

引き続いて、色相(Hue)および彩度(Saturation)による画像評価について説明する。図6は、色相および彩度による画像評価に用いた画像を示す図である。また、図7は、色相および彩度による画像評価に用いた他の画像を示す図である。

0080

図6は、コントラストが低い領域を含む画像を示し、図7は、外乱的な反射を含む画像を示す。

0081

図8は、図6に示す領域Xの分割結果および図7に示す領域Yの分割結果を示す図である。また、図9は、従来の画像分割における問題を説明するための図である。

0082

従来の画像分割においては、2つの画素間の結合重みWij;klは、各画素のRGB値のみを用いて次の式(4),(5)によって演算される。

0083

0084

0085

すなわち、従来の画像分割方法は、隣接画素間輝度値の差から結合重みと呼ばれる画素間の類似度を求め、その求めた類似度を指標として領域を成長させていく。結合重みWij;klは、式(4)を用いて赤、緑および青に対して演算された3個の結合重みを式(5)に代入して、赤、緑および青に対する3個の結合重みのうち、最も小さいものを画素間の結合重みWij;klとして決定する。

0086

したがって、図9に示すように、たとえば、(R,G,B)=(250,0,0)と、(R,G,B)=(125,0,0)との結合重みと、(R,G,B)=(250,0,0)と、(R,G,B)=(125,125,125)との結合重みとは、無彩色と有彩色との関係にありながら、同じ値となり、RGB色空間を用いた結合重みでは、画素の色合いを考慮していない。

0087

また、図9の(a)は、グラデーション変化を持つ領域を画素単位で示したものと、横軸をx軸、縦軸を結合重みに取ったときのグラデーション領域の結合重みの変化をグラフとして表した図である。

0088

グラデーション変化のある領域では、画素間の輝度値の差が等しいため、結合重みも等しくなっている。仮に、近傍画素の結合重みが領域成長に用いるしきい値φz以上であれば、領域は、矢印の方向に広がり続けてしまう。

0089

しかし、図9の(a)に示すグラデーションに関する問題に対しては、どこまでを同一領域として扱うかは、アプリケーションに依存する面が強く、しきい値を一意に決定することは難しい。

0090

図6に示すサンプル画像は、コントラストが低く、と人間の重なりにより境界に陰が生じ、机領域と人物領域との間に明確なエッジが現れず、色が2つの領域間で滑らかに変化する(グラデーション)画像である。そのため、従来のエッジを利用する画像分割法では、机と人物との分割が難しい(図8参照)。

0091

また、図7に示すサンプル画像では、反射が原因でカラーが変化し、ボディー領域の成長が進まずに、複数の領域に分かれたり、未分割領域として残ってしまう(図8参照)。

0092

これらの結果から、画像分割精度を向上させるためには、RGB色空間による輝度を用いた方法に加えて、黒い、赤い、青いと言った色合いを考慮することが必要である。色合いを考慮すれば、図6に示すサンプル画像であれば、人物は、黒であり、机は、色であり、2つの領域の分離が可能である。また、図7に示すサンプル画像であれば、車は、赤色の領域として抽出可能である。

0093

そこで、色相(Hue)および彩度(Saturation)による画像評価について説明する。

0094

まず、色相(Hue)による画像評価について説明する。図10は、図6に示すサンプル画像のRGB値から式(1)を用いてHue値に変換した値(0〜360度)を256階調に正規化して8ビットグレー画像とした図である。また、図11は、図7に示すサンプル画像のRGB値から式(1)を用いてHue値に変換した値(0〜360度)を256階調に正規化して8ビットグレー画像とした図である。

0095

なお、図10および図11においては、図6および図7に示す2つのサンプル画像の場合、緑および青といったHue値が高い画素値が存在しないため、無彩色を最大値の255(白)で表している。

0096

図10および図11を参照して、人間と机の境界、および道路と車両の境界がはっきりと区別できていることが解るが、背景や人間の領域にノイズ画素が目立つ。このHue画像の画像分割への適用を想定した場合、ノイズ画素による分割精度への影響が予想される。

0097

そこで、ノイズ画素の低減のために、次の方法を採用した。式(1)から解るように、厳密には、MAX−MIN=0のときのみ、無彩色として扱われるが、人間は、実際、目視により色を認識する場合、MAX−MIN=0を正確に満たしていなくても無彩色として画素を認識する。そのため、ノイズ画素を除去するために、パラメータDMAX−MINを設定した。

0098

図10および図11におけるDMAX−MINは、DMAX−MIN=MAX−MINを表し、DMAX−MINより誤差の小さい画素を無彩色(白−灰色−黒)と見なすことにする。DMAX−MIN値を“0”から“5”ずつ増加させていったときの画像への影響について評価した結果が図10および図11に示す結果である。

0099

DMAX−MIN値を大きくしていくと、無彩色は、取り除かれていき、カラー領域(有彩色領域)とグレー領域(無彩色領域)をある程度分離できることがわかった。これは、グレー領域とカラー領域との識別におけるロバスト性が向上したからである。また、カラー領域同士も、Hue値の差によって識別できる。

0100

次に、彩度(Saturation)による画像評価について説明する。図12は、図6に示すサンプル画像のRGB値から式(2)を用いてS値に変換した値(0〜1の範囲)を256階調に規格化して8ビットグレー画像とした図である。また、図13は、図7に示すサンプル画像のRGB値から式(2)を用いてS値に変換した値(0〜1の範囲)を256階調に規格化して8ビットグレー画像とした図である。

0101

彩度の場合、MAX−MIN=0またはMAX=0のときのみ、無彩色として扱っているため、道路の領域なども彩度を持っている。

0102

そこで、図5から解るように、彩度(S)が低い領域は、色相(H)による色の識別が非常に困難であることに注目し、各画素のS値の値をしきい値として、無彩色領域と有彩色領域とを2値化することを考える。

0103

図12および図13は、しきい値としての彩度(S)を0〜50まで10刻みで変化させたときの画像への影響を示す。そして、図12および図13に示す画像は、しきい値よりも小さい彩度(S)を持つ画素を白(255)、しきい値以上の彩度を持つ画素を黒(0)として2値化した画像である。

0104

図12および図13を参照して、彩度(S)値が50よりも小さい画素を無彩色、彩度(S)値が50以上である画素を有彩色として扱うことにより、無彩色領域と有彩色領域との識別に関して良い結果が得られた。他のサンプル画像に対しても評価を行なったが、彩度のしきい値を50付近に設定すると、良い結果が得られた。

0105

上述したように、HSV色空間について検討した結果、RGB色空間では、画像分割が難しかった画像(たとえば、図6に示す人と机の分離、および図7に示す車のボディー部分の抽出)に対して、HSV色空間を用いることによって、カラー領域と、人間の目から見て無彩色に近い色とを分離したり、色合いは同じでも光の当たり具合明度や彩度に違いが生じる領域を同一領域として分割できることが解った。

0106

しかし、HSV色空間は、無彩色領域の画像分割には適していない。それは、図5から解るように、彩度が低くなると、色合いを殆ど識別することができず、Hue値が意味を持たなくなるからである。

0107

そこで、この発明においては、RGB値と、HSV値との両方のカラー空間を用いて、画素間の結合重みを決定し、それぞれの色空間が苦手とする色領域をお互いが補うことにしたのである。

0108

そして、結合重み決定回路2がRGB値、色相および彩度を用いて結合重みを決定する場合、HS変換回路25は、一般的には、式(1)および式(2)を用いて、RGB値を色相(H)および彩度(S)に変換する。

0109

しかし、式(1)および式(2)を用いてRGB値を色相(H)および彩度(S)に変換する場合、HS変換回路25を除算器を用いて構成する必要があり、除算器を用いたHS変換回路25の実現方法は、演算に複数のサイクルを要するため、1サイクルでの処理の要求を満たすことができない。また、回路面積が大きくなるという問題もある。

0110

そこで、テーブルマピングによる方法が考えられる。すなわち、RGB値を式(1)および式(2)を用いて予め計算したH値およびS値をメモリに保存しておき、それぞれのRGB値に対応するアドレスから計算結果を読み出すことで使用時の処理を削減する。

0111

しかし、R,G,Bは、それぞれ、8ビットのデータであるため、((28)3×9)ビットの大容量のメモリが必要であり、デコーダの回路面積が大きくなるという問題がある。

0112

そこで、この発明においては、好ましくは、H(0〜360度)およびS(0〜1)を複数のビン(領域)に分けることで計算結果をビンの数に限定し、その上でテーブルを参照して色相(H)および彩度(S)を求める。この方法によれば、除算器を一切使用せず、回路面積を抑えたRGB値からHSV値への変換回路を実現できる。

0113

図14は、色相(Hue)のビンの構成図である。図14を参照して、色相(Hue)のビン構成は、3段構成からなり、360度のHue値を90個のビンで構成する。

0114

Hue値の決定方法について説明する。まず、1段目(最も内側の円)で、注目画素が赤(01)、緑(10)、および青(11)のどのカテゴリに属するかをMAXに基づいて決定する。

0115

次に、MINを決定し、式(1)からMAXの条件に対応した式の分数部分が正か負かを決定する。分数部分が負である場合、“0”となり、分数部分が正である場合、“1”となる(2段目)。

0116

最後に、15個のビンのうちのどのビンに対応するかを決定すれば、注目画素が90個のビンで構成されたHue値のどのビンに対応するかが解る(3段目)。

0117

上述したHue値の決定方法においては、2段目までは、R,G,B値の大小関係から容易に決定できる。そこで、3段目の1〜15のビンの決定方法について説明する。

0118

式(1)の分数部分を取出し、次の関係式を作成する。

0119

0120

式(6)において、MEDは、MAXおよびMIN以外のR,G,Bのいずれかの値、すなわち、中間値を表す。

0121

式(6)を変形すると、次式が得られる。

0122

0123

そして、式(7)におけるXの値を1から14まで変化させたときに生成される14個の不等式成立結果(1,0)からビン番号を決定する。

0124

図15は、図2に示すHS変換回路25に含まれる色相変換回路の構成を示す概略図である。HS変換回路25は、図15に示す色相変換回路250を含む。図15を参照して、色相変換回路250は、決定回路251と、データ生成回路252,253と、スイッチ254と、比較回路255〜268と、エンコーダ269とを含む。

0125

決定回路251は、画素値検出回路1から各画素のRGB値を受け、その受けたRGB値の最大値MAX、最小値MINおよび中間値MEDを決定する。そして、決定回路251は、その決定した最大値MAXをデータ生成回路252へ出力し、中間値MEDをデータ生成回路253へ出力し、最小値MINをデータ生成回路252,253へ出力する。

0126

データ生成回路252は、決定回路251から最大値MAXおよび最小値MINを受け、その受けた最大値MAXおよび最小値MINに基づいて、Xを1から14まで変化させた14個のX×(MAX−MIN)を順次演算し、その演算した14個のX×(MAX−MIN)(X=1〜14)をスイッチ254へ出力する。すなわち、データ生成回路252は、式(7)の右辺のBを演算し、その演算したBをスイッチ254へ出力する。

0127

また、データ生成回路253は、決定回路251から中間値MEDおよび最小値MINを受け、その受けた中間値MEDおよび最小値MINに基づいて、15×(MED−MIN)を演算し、その演算した15×(MED−MIN)をスイッチ254へ出力する。すなわち、データ生成回路253は、式(7)の左辺のAを演算し、その演算したAをスイッチ254へ出力する。

0128

スイッチ254は、14個のX×(MAX−MIN)(X=1〜14)をデータ生成回路252から受け、15×(MED−MIN)をデータ生成回路253から受ける。そしてスイッチ254は、1×(MAX−MIN)および15×(MED−MIN)を比較回路255へ出力し、2×(MAX−MIN)および15×(MED−MIN)を比較回路256へ出力し、以下、同様にして、14×(MAX−MIN)および15×(MED−MIN)を比較回路268へ出力する。

0129

比較回路255は、1×(MAX−MIN)および15×(MED−MIN)をスイッチ254から受け、1×(MAX−MIN)を15×(MED−MIN)と比較する。そして、比較回路255は、その比較結果をエンコーダ269へ出力する。より具体的には、比較回路255は、15×(MED−MIN)<1×(MAX−MIN)が成立するとき、“1”をエンコーダ269へ出力し、15×(MED−MIN)<1×(MAX−MIN)が成立しないとき、“0”をエンコーダ269へ出力する。

0130

比較回路256は、2×(MAX−MIN)および15×(MED−MIN)をスイッチ254から受け、2×(MAX−MIN)を15×(MED−MIN)と比較する。そして、比較回路256は、その比較結果(1または0)をエンコーダ269へ出力する。

0131

以下、同様にして、比較回路268は、14×(MAX−MIN)および15×(MED−MIN)をスイッチ254から受け、14×(MAX−MIN)を15×(MED−MIN)と比較する。そして、比較回路268は、その比較結果(1または0)をエンコーダ269へ出力する。

0132

なお、比較回路255〜268は、平行してX×(MAX−MIN)を15×(MED−MIN)と比較し、その比較結果をエンコーダ269へ出力する。したがって、エンコーダ269は、比較結果を示す14ビットのデータを比較回路255〜268から受ける。

0133

エンコーダ269は、14ビットからなる比較結果を比較回路255〜268から受け、その受けた14ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ269は、[01000000000000]の比較結果を比較回路255〜268から受けたとき、ビン番号を“2”と決定し、[00000000010000]の比較結果を比較回路255〜268から受けたとき、ビン番号を“10”と決定する。なお、エンコーダ269は、全てが“0”からなる[00000000000000]の比較結果を比較回路255〜268から受けたとき、ビン番号を“15”と決定する。

0134

そして、エンコーダ269は、その決定したビン番号をHueビン番号としてDラッチ回路26へ出力する。

0135

上述したように、データ生成回路252は、X×(MAX−MIN)を演算し、データ生成回路253は、15×(MED−MIN)を演算するので、データ生成回路252,253の各々を加算器とシフト器とを用いた簡単な回路により実現できる。

0136

次に、RGB値から彩度(S)への変換について説明する。図16は、彩度(S)のビンの構成図である。図16を参照して、0〜0.1の範囲の彩度(S)は、1のビンに割り当てられ、0.1〜0.15の範囲の彩度(S)は、2のビンに割り当てられ、0.15〜0.1625の範囲の彩度(S)は、3のビンに割り当てられ、0.1625〜0.1750の範囲の彩度(S)は、4のビンに割り当てられ、0.1750〜0.1875の範囲の彩度(S)は、5のビンに割り当てられ、0.1875〜0.2の範囲の彩度(S)は、6のビンに割り当てられる。また、0.2〜0.2125の範囲の彩度(S)は、7のビンに割り当てられ、0.2125〜0.2250の範囲の彩度(S)は、8のビンに割り当てられ、0.2250〜0.2375の範囲の彩度(S)は、9のビンに割り当てられ、0.2375〜0.25の範囲の彩度(S)は、10のビンに割り当てられ、0.25〜0.30の範囲の彩度(S)は、11のビンに割り当てられ、0.3〜1.0の範囲の彩度(S)は、12のビンに割り当てられる。

0137

このように、彩度(S)は、彩度境界である0.2付近にある程、細分されたビンに割り当てられる。

0138

RGB値から彩度(S)への変換も、RGB値から色相(H)への変換と同様な方法を用いる。彩度(S)の計算が必要になるのは、2つの画素のうちの一方の画素が無彩色領域に属し、他方の画素が有彩色領域に属する場合である。すなわち、2つの画素が彩度境界(S=0.2)を間に挟んだ関係にある場合である。

0139

そこで、図16に示すように、彩度境界(S=0.2)の付近に限定して細かいビンに分ける。彩度のビンは、次の2つの式(8),(9)の成立結果を元に12個のビンへ彩度を割り当てる。

0140

0141

0142

式(8)および式(9)の分母払うと、それぞれ、式(10)および式(11)が得られる。

0143

0144

0145

図17は、図2に示すHS変換回路25に含まれる彩度変換回路の構成を示す概略図である。HS変換回路25は、図17に示す彩度変換回路270を含む。図17を参照して、彩度変換回路270は、決定回路271と、データ生成回路272〜275と、スイッチ276と、比較回路277〜288と、エンコーダ289とを含む。

0146

決定回路271は、画素値検出回路1からRGB値を受け、その受けたRGB値の最大値MAXおよび最小値MINを決定する。そして、決定回路271は、その決定した最大値MAXをデータ生成回路272〜275へ出力し、その決定した最小値MINをデータ生成回路274,275へ出力する。

0147

データ生成回路272は、決定回路271から最大値MAXを受け、その受けた最大値MAXを用いて、Yを2,3,6と変化させたY×MAXを順次演算し、その演算した3個のY×MAX(Y=2,3,6)をスイッチ276へ出力する。すなわち、データ生成回路272は、式(10)の右辺のDを演算し、その演算したDをスイッチ276へ出力する。

0148

データ生成回路273は、決定回路271から最大値MAXを受け、その受けた最大値MAXを用いて、Zを12から20まで変化させたZ×MAXを順次演算し、その演算した9個のZ×MAX(Z=12〜20)をスイッチ276へ出力する。すなわち、データ生成回路253は、式(11)の右辺のFを演算し、その演算したFをスイッチ276へ出力する。

0149

データ生成回路274は、決定回路271から最大値MAXおよび最小値MINを受け、その受けた最大値MAXおよび最小値MINを用いて20×(MAX−MIN)を演算し、その演算した20×(MAX−MIN)をスイッチ276へ出力する。すなわち、データ生成回路274は、式(10)の左辺のCを演算し、その演算したCをスイッチ276へ出力する。

0150

データ生成回路275は、決定回路271から最大値MAXおよび最小値MINを受け、その受けた最大値MAXおよび最小値MINを用いて80×(MAX−MIN)を演算し、その演算した80×(MAX−MIN)をスイッチ276へ出力する。すなわち、データ生成回路275は、式(11)の左辺のEを演算し、その演算したEをスイッチ276へ出力する。

0151

スイッチ276は、データ生成回路272から3個のY×MAX(Y=2,3,6)を受け、データ生成回路273から9個のZ×MAX(Z=12〜20)を受け、データ生成回路274から20×(MAX−MIN)を受け、データ生成回路275から80×(MAX−MIN)を受ける。

0152

そして、スイッチ276は、2×MAXおよび20×(MAX−MIN)を比較回路277へ出力し、3×MAXおよび20×(MAX−MIN)を比較回路278へ出力し、6×MAXおよび20×(MAX−MIN)を比較回路279へ出力する。

0153

また、スイッチ276は、12×MAXおよび80×(MAX−MIN)を比較回路280へ出力し、13×MAXおよび80×(MAX−MIN)を比較回路281へ出力し、以下、同様にして、20×MAXおよび80×(MAX−MIN)を比較回路288へ出力する。

0154

比較回路277は、2×MAXおよび20×(MAX−MIN)をスイッチ276から受け、2×MAXを20×(MAX−MIN)と比較し、その比較結果をエンコーダ289へ出力する。より具体的には、比較回路277は、20×(MAX−MIN)<2×MAXが成立するとき、“1”をエンコーダ289へ出力し、20×(MAX−MIN)<2×MAXが成立しないとき、“0”をエンコーダ289へ出力する。

0155

また、比較回路278は、3×MAXおよび20×(MAX−MIN)をスイッチ276から受け、3×MAXを20×(MAX−MIN)と比較し、20×(MAX−MIN)<3×MAXが成立するとき、“1”をエンコーダ289へ出力し、20×(MAX−MIN)<3×MAXが成立しないとき、“0”をエンコーダ289へ出力する。

0156

同様にして、比較回路279は、6×MAXおよび20×(MAX−MIN)をスイッチ276から受け、6×MAXを20×(MAX−MIN)と比較し、20×(MAX−MIN)<6×MAXが成立するとき、“1”をエンコーダ289へ出力し、20×(MAX−MIN)<6×MAXが成立しないとき、“0”をエンコーダ289へ出力する。

0157

比較回路280は、12×MAXおよび80×(MAX−MIN)をスイッチ276から受け、12×AMXを80×(MAX−MIN)と比較し、その比較結果をエンコーダ289へ出力する。より具体的には、比較回路280は、80×(MAX−MIN)<12×MAXが成立するとき、“1”をエンコーダ289へ出力し、80×(MAX−MIN)<12×MAXが成立しないとき、“0”をエンコーダ289へ出力する。

0158

比較回路281は、13×MAXおよび80×(MAX−MIN)をスイッチ276から受け、13×AMXを80×(MAX−MIN)と比較し、80×(MAX−MIN)<13×MAXが成立するとき、“1”をエンコーダ289へ出力し、80×(MAX−MIN)<13×MAXが成立しないとき、“0”をエンコーダ289へ出力する。

0159

以下、同様にして、比較回路288は、20×MAXおよび80×(MAX−MIN)をスイッチ276から受け、20×AMXを80×(MAX−MIN)と比較し、80×(MAX−MIN)<20×MAXが成立するとき、“1”をエンコーダ289へ出力し、80×(MAX−MIN)<20×MAXが成立しないとき、“0”をエンコーダ289へ出力する。

0160

なお、比較回路277〜288は、上述した比較を平行して行ない、その比較結果を平行してエンコーダ289へ出力する。したがって、エンコーダ289は、12ビットのデータを比較回路277〜288から受ける。

0161

エンコーダ289は、12ビットからなる比較結果を比較回路277〜288から受け、その受けた12ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ289は、[100000000000]の比較結果を比較回路277〜288から受けたとき、ビン番号を“1”と決定し、[000000100000]の比較結果を比較回路277〜288から受けたとき、ビン番号を“7”と決定する。エンコーダ289は、その他の12ビットの比較結果を受けたときも、同様にしてビン番号を決定する。

0162

そして、エンコーダ289は、その決定したビン番号をSビン番号としてDラッチ回路26へ出力する。

0163

上述したように、データ生成回路272は、Y×MAXを演算し、データ生成回路273は、Z×MAXを演算し、データ生成回路274は、20×(MAX−MIN)を演算し、データ生成回路275は、80×(MAX−MIN)を演算するので、データ生成回路272〜275の各々を加算器とシフト器とを用いた簡単な回路により実現できる。

0164

結合重みの決定方法について説明する。図18は、結合重みを決定する方法を説明するための図である。図18を参照して、外側の円は、色相(Hue)を表しており、また、中心から円周方向へ彩度をとっている。

0165

カラー領域と、色合いを殆ど識別できない無彩色に近い色とを分離するのにしきい値Sthとして0.2付近が適していることが実験的に解ったので、0.2を彩度の境界とする。内側の円は、彩度が0.2である境界を表し、0.2よりも彩度が低い領域は、ほぼ無彩色に近い色であり、0.2よりも彩度が高い領域は、有彩色として扱う。また、図中の×は、画素を表している。

0166

2つの画素についてそれぞれ彩度S1,S2を演算し、その演算した2つの彩度S1,S2をしきい値Sth(=0.2)と比較する。

0167

そして、2つの彩度S1,S2の両方がしきい値Sth以下であるとき、2つの画素は、無彩色領域に属すると判定し(図18の(a)の場合)、RGB値のみに基づいて、式(4),(5)を用いて2つの画素間の結合重みを決定する。

0168

また、2つの彩度S1,S2のうち、いずれか一方がしきい値Sth以下であるとき、2つの画素のうち、一方が無彩色領域に属し、他方が有彩色領域に属すると判定し(図18の(b)の場合)、RGB値および彩度(S)を用いて2つの画素間の結合重みを決定する。

0169

さらに、2つの彩度S1,S2の両方がしきい値Sthよりも大きいとき、2つの画素の両方が有彩色領域に属すると判定し(図18の(c)の場合)、RGB値および色相(H)を用いて2つの画素間の結合重みを決定する。

0170

このように、この発明においては、実験的に求められたしきい値Sth(=0.2)を用いて、2つの画素が無彩色領域および有彩色領域のいずれに属するかを決定する。これによって、2つの画素がどの領域に属するかを正確に決定できる。

0171

また、しきい値Sth(=0.2)は、人間が目視によって色合いを殆ど識別できない無彩色に近い色と、カラー領域とを分離するために実験的に求められたので、人間の実際の識別に沿って2つの画素がどの領域に属するかを正確に決定できる。

0172

図18の(a)に示す場合、結合重みをHSV色空間の色相(H)を用いて計算しても、無彩色領域では、色相が意味を持たないため、領域の分割精度の向上を期待できない。HSV色空間の輝度成分(V)を用いることも可能であるが、シミュレーションによりRGB値を用いた方が精度が向上するので、図18の(a)に示す領域では、RGB値のみを用いて結合重みを決定する。

0173

また、図18の(b)に示す場合、図6に示すサンプル画像の人物の領域でリーダセルが見つかり、机の領域に領域が成長しており、無彩色領域からカラー領域へ領域が広がったために生じた分割ミスである。逆に、カラー領域から無彩色領域へ成長する場合もある。サンプル画像のように、人物と机の重なりによって発生する影の影響で色が徐々に変化し、はっきりとしたエッジが領域境界に現れない場合、RGB値だけでは、分割は難しい。

0174

この問題を解決するために、彩度(S)を用いて実験的に求めたS=0.2の彩度境界をしきい値として、カラー領域(机領域)と無彩色領域(人物領域)との境界を検出することにした。

0175

そして、2つの画素が無彩色領域と有彩色領域とに属する場合、彩度(S)を用いて無彩色領域と有彩色領域との境界を決定し、境界面に属する2つの画素間の結合重みを、RGB値の計算で求めた結合重みの値よりも小さく設定することで、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域へ領域の成長を抑制する方向に結合重みを決定する。これによって、画像分割において、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域への領域の成長が抑制され、コントラストが低い入力画像に対しても、画像を正確に分割できる。

0176

さらに、図18の(c)に示す場合、RGB値を元に決定した画素間の結合重みでは、光の反射などにより輝度および彩度に変化が生じた場合、画素間の各成分の差は大きくなるため、結合重みは小さい値になる。そのため、図7に示すサンプル画像では、同一領域をまとめて抽出することが困難であった。

0177

そこで、輝度および彩度が変化しても、色合いそのものは、さほど変化しないことに注目し、色相(H)を用いた色相判定を取り入れる。有彩色領域に属する画素同士の結合重みの決定には、まず、2つの画素の色相比較を行ない、色相の差があるしきい値以内であるか否か、つまり、2つの画素が同一色相とみなせる範囲であるか否かの判定を行なう。そして、同一色相であると判定した場合、RGB値から決定した結合重みが小さいときは(つまり、反射などの影響でRGB色空間では差が大きいとき)、領域を助長する方向へ、より大きい結合重みを与える。これにより、類似色相に属する有彩色領域の画素同士は、領域が成長し易くなり、反射などにより輝度および彩度が変化する領域を1領域としてまとめて抽出することができる。

0178

図18の(a),(b),(c)の各場合における具体的な結合重みの決定方法について説明する。

0179

図18の(a)に示す場合、結合重みは、式(4),(5)によりRGB値のみを用いて決定されるが、式(4),(5)を用いて結合重みを演算する回路をディジタル回路として実装する場合、除算器は、回路面積が大きく、複数のクロックサイクルを必要とすることから、この発明においては、デコーダを用いてテーブルマッピングによって結合重みを決定する。表1は、RGB値のみを用いて結合重みを決定するときの変換テーブルを示す。

0180

0181

表1に示す変換テーブルは、注目画素(i,j)と近傍画素(k,l)との2画素のRGB値を用いて演算した輝度Ii,jと輝度Ik,lとの差の絶対値|Ii,j−Ik,l|と、結合重みとの対応関係を示す。

0182

したがって、この発明においては、図18の(a)に示す場合、2つの画素(i,j),(k,l)のRGB値に基づいて、2つの輝度Ii,j,Ik,lを演算し、その演算した2つの輝度Ii,j,Ik,lの差の絶対値|Ii,j−Ik,l|を演算し、その演算した絶対値|Ii,j−Ik,l|に対応する結合重みを表1を参照して抽出することにより、2つの画素(i,j),(k,l)の結合重みを決定する。

0183

次に、図18の(b)に示す場合、領域が広がるのを抑制するために、RGB色空間から表1の変換テーブルを用いて得られた結合重みよりも小さい結合重みを与える。

0184

この場合、彩度境界(S=0.2)をしきい値として無彩色と有彩色との2値に分別したとき、彩度境界付近の画素間の結合重みと、彩度境界から完全に離れた彩度の全く異なる画素間の結合重みとを同様の基準で扱わないように、結合重みを決定する。

0185

図19は、反射による画素値への影響を示す図である。また、図20は、彩度境界を変化させたときの無彩色画素値の変化を示す図である。

0186

図19の(a)は、入力画像を示し、図19の(b)は、図19の(a)に示す道路の画像を、彩度境界(S=0.2)をしきい値として無彩色(0)と有彩色(1)とに2値化した画像を示し、図19の(c)は、画像分割の結果を示す。

0187

図19の(b)から解るように、画像の道路部分は、実験的に求めた彩度境界(S=0.2)を無彩色領域と有彩色領域との分別のしきい値として用いると、画像中央を境に同一領域が有彩色領域と無彩色領域とに分かれて分類されてしまう。その結果、図19の(c)に示すように、道路は、彩度境界を境に領域の成長が抑制され、分割画像は、RGB色空間を用いた場合よりも精度が低下してしまう。

0188

図20を参照して、曲線k1は、画像中にカラー領域を含む画像に対する無彩色画素数の変化を示し、曲線k2は、画像中にカラー領域を含まないグレー画像に対する無彩色画素数の変化を示す。

0189

図20から解るように、カラー領域を含む画像は、彩度境界が50〜60付近(S=0.2)を境に無彩色画素数が飽和している。一方、グレー画像の場合、無彩色画素数は、線形的に変化し続ける。

0190

この結果から、彩度境界を挟む2つの画素間の結合重みを領域が成長しない領域まで急激に下げてしまうと、彩度境界によってうまく無彩色領域と有彩色領域とを分けることができなかった場合、グレー領域の分割精度が低下する。

0191

そこで、彩度境界に近い画素同士に対しては、結合重みの下げ幅を小さくし、彩度境界から離れるに従って結合重みの下げ幅を大きくする。これによって、グレー領域の分割精度を向上できる。

0192

図18の(b)に示す場合における結合重みの変換テーブルを表2に示す。

0193

0194

表2から解るように、絶対値|Ii,j−Ik,l|が001x_xxxx,0000_1xxx,0000_01xx,0000_001x,0000_000xである場合、結合重みは、彩度差|Si,j−Sk,l|が大きくなるに従って、RGB値のみを用いて決定した結合重み(表1参照)からの下げ幅を大きくして決定される。

0195

最後に、図18の(c)に示す場合の具体的な結合重みの決定方法について説明する。カラー画像では、反射などの影響がない場合、RGB色空間による結合重みの決定によって精度の高い領域分割結果が得られることが解っている。そのため、反射の影響を受けた画素間の結合重みに対してのみ、HSV色空間を用いて結合重みを最適化することが好ましい。

0196

そこで、R,G,Bの各成分が乱反射の影響によって連続画素間でどの程度変化するかをサンプル画像を用いて調べた。図21は、R,G,Bの各成分の乱反射による影響を示す図である。

0197

図21の(a)は、評価に用いたサンプル画像を示し、図21の(b)は、図21の(a)に示す線分A−B間上の画素のR,G,B値の変化を示し、図21の(c)は、図21の(a)に示す線分C−D間上の画素のR,G,B値の変化を示す。すなわち、図21の(b)は、光の反射の影響を受ける車のボディー領域の画素値の変化を示し、図21の(c)は、光の反射の影響を受けていない道路領域の画素値の変化を示す。

0198

図21を参照して、ボディー領域は、道路領域に比べ、連続画素間で画素値の変化が大きい。そして、光の反射による画素間の変化量は、30から100の間に集中していることが反射領域を持つサンプル画像から解った。つまり、画素値の差が非常に小さい領域、または、逆に画素値の差が非常に大きい領域は、光の反射による影響を受けていないと判定することにする。

0199

そこで、この発明においては、色相(H)の評価結果を利用した結合重みの最適化を表1に示す01xx_xxxx,001x_xxxx,0001_xxxxに限定することで、RGB値によるカラー領域の分割精度を保持しつつ、色相(H)によって精度を向上させることができる。

0200

次に、2画素のHue値の差を元に、表1の01xx_xxxx,001x_xxxx,0001_xxxxにおける結合重みをどの値まで引き上げるかを検討する。色相(H)の幅を大きく取り過ぎると、異なる色まで領域が成長してしまう。たとえば、色相の近い赤と橙色の画素値が同一色相として扱われると、2領域を分離することが困難になる。

0201

逆に、色相(H)の幅を小さくし過ぎると、RGB値から色相(H)への変換計算には、除算が必要であるため、回路面積が大きくなる。

0202

そこで、実装面積と分割精度との両方を考慮してシミュレーションした結果、色相(H)の最小単位を4度に設定した場合、色相の近い色も分割できることが解った。

0203

図22は、赤の車のボディーのHue値のヒストグラムを示す図である。また、図23は、青の車のボディーのHue値のヒストグラムを示す図である。

0204

図22および図23を参照して、ヒストグラムの山を中心にして±10度幅に殆どの画素が集中して抽出されている。また、画素間のHue値の差は、同一領域(同一色)中では、約10度以内と非常に変化量が小さい。

0205

したがって、上述した実験の結果を考慮して、2画素間のHue値の差|Hij−Hkl|に対して、4度以下、5度以上8度以下、およびそれ以外の3つの判定条件を設けて、図18の(c)に示す場合の結合重みの変換テーブルを表3に示すように決定した。

0206

0207

このように、2つの画素の色相差が4度変化するごとに2つの画素間の結合重みを変化させる。そして、色相差が小さい程、大きな結合重みが与えられる。

0208

図24は、図2に示す重み計算ユニット32の構成図である。図24を参照して、重み計算ユニット32は、結合重み演算回路320と、色相差計算回路330と、彩度差計算回路340と、結合重み修正回路350,360と、セレクタ信号生成回路370と、セレクタ380とを含む。

0209

結合重み演算回路320は、Dラッチ回路22およびFIFO回路23から受けた2つのRGB値に基づいて、表1を用いて2つの画素間の結合重みを演算し、その演算した結合重みを結合重み修正回路350,360およびセレクタ380へ出力する。

0210

結合重み演算回路320は、絶対値演算器321,323,325と、エンコーダ322,324,326と、最小値選択回路327とを含む。

0211

絶対値演算器321は、Dラッチ回路22およびFIFO回路23から受けた2つのR値RA,RBに基づいて、輝度IA(R),IB(R)を演算し、その演算した輝度IA(R),IB(R)の差の絶対値|IA(R)−IB(R)|を演算する。そして、絶対値演算器321は、その演算した絶対値|IA(R)−IB(R)|をエンコーダ322へ出力する。

0212

エンコーダ322は、表1を保持しており、絶対値演算器321から絶対値|IA(R)−IB(R)|を受けると、表1を参照して、絶対値|IA(R)−IB(R)|に対応する結合重みWA,B(R)を抽出し、その抽出した結合重みWA,B(R)を最小値選択回路327へ出力する。

0213

絶対値演算器323は、Dラッチ回路22およびFIFO回路23から受けた2つのG値GA,GBに基づいて、輝度IA(G),IB(G)を演算し、その演算した輝度IA(G),IB(G)の差の絶対値|IA(G)−IB(G)|を演算する。そして、絶対値演算器323は、その演算した絶対値|IA(G)−IB(G)|をエンコーダ324へ出力する。

0214

エンコーダ324は、表1を保持しており、絶対値演算器323から絶対値|IA(G)−IB(G)|を受けると、表1を参照して、絶対値|IA(G)−IB(G)|に対応する結合重みWA,B(G)を抽出し、その抽出した結合重みWA,B(G)を最小値選択回路327へ出力する。

0215

絶対値演算器325は、Dラッチ回路22およびFIFO回路23から受けた2つのB値BA,BBに基づいて、輝度IA(B),IB(B)を演算し、その演算した輝度IA(B),IB(B)の差の絶対値|IA(B)−IB(B)|を演算する。そして、絶対値演算器325は、その演算した絶対値|IA(B)−IB(B)|をエンコーダ326へ出力する。

0216

エンコーダ326は、表1を保持しており、絶対値演算器325から絶対値|IA(B)−IB(B)|を受けると、表1を参照して、絶対値|IA(B)−IB(B)|に対応する結合重みWA,B(B)を抽出し、その抽出した結合重みWA,B(B)を最小値選択回路327へ出力する。

0217

最小値選択回路327は、エンコーダ322,324,326からそれぞれ結合重みWA,B(R),WA,B(G),WA,B(B)を受け、その受けた3個の結合重みWA,B(R),WA,B(G),WA,B(B)の中から最小の結合重みWA,Bを選択する。そして、最小値選択回路327は、その選択した結合重みWA,Bを結合重み修正回路350,360およびセレクタ380へ出力する。

0218

色相差計算回路330は、図14に示すHueビン番号の割当図を保持しており、Dラッチ回路27およびFIFO回路28からそれぞれHueビン番号AおよびHueビン番号Bを受ける。そして、色相差計算回路330は、図14に示すHueビン番号の割当図を参照して、その受けたHueビン番号AおよびHueビン番号Bに対応するHue値HA,HBを検出する。そうすると、色相差計算回路330は、色相差|HA−HB|を演算し、その演算した色相差|HA−HB|を結合重み修正回路350へ出力する。

0219

彩度差計算回路340は、図16に示すSビン番号の割当図を保持しており、Dラッチ回路27およびFIFO回路28からそれぞれSビン番号AおよびSビン番号Bを受ける。そして、彩度差計算回路340は、図16に示すSビン番号の割当図を参照して、その受けたSビン番号AおよびSビン番号Bに対応するS値SA,SBを検出する。そうすると、彩度差計算回路340は、彩度差|SA−SB|を演算し、その演算した彩度差|SA−SB|を結合重み修正回路360へ出力する。

0220

結合重み修正回路350は、表3を保持しており、結合重み演算回路320から結合重みWA,Bを受け、色相差計算回路330から色相差|HA−HB|を受ける。そして、結合重み修正回路350は、表3を参照して、結合重みWA,Bに一致する絶対値|Iij−Ikl|を抽出する。

0221

その後、結合重み修正回路350は、その抽出した絶対値|Iij−Ikl|が表3に示す1xxx_xxxx,0000_1xxx,0000_01xx,0000_001x,0000_000xのいずれかである場合、1xxx_xxxx,0000_1xxx,0000_01xx,0000_001x,0000_000xに対応する結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_Hをセレクタ380へ出力する。

0222

また、結合重み修正回路350は、その抽出した絶対値|Iij−Ikl|が表3に示す01xx_xxxxである場合、色相差|HA−HB|が“4”以下であるか否かを判定し、色相差|HA−HB|が“4”以下である場合、16からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=16)をセレクタ380へ出力する。一方、結合重み修正回路350は、色相差|HA−HB|が“4”以下でない場合、4からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=4)をセレクタ380へ出力する。

0223

さらに、結合重み修正回路350は、その抽出した絶対値|Iij−Ikl|が表3に示す001x_xxxxである場合、色相差|HA−HB|が“4”以下であるか否かを判定し、色相差|HA−HB|が“4”以下である場合、32からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=32)をセレクタ380へ出力する。一方、結合重み修正回路350は、色相差|HA−HB|が“4”以下でない場合、色相差|HA−HB|が“8”以下であるか否かをさらに判定し、色相差|HA−HB|が“8”以下である場合、16からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=16)をセレクタ380へ出力する。一方、結合重み修正回路350は、色相差|HA−HB|が“8”以下でない場合、8からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=8)をセレクタ380へ出力する。

0224

さらに、結合重み修正回路350は、その抽出した絶対値|Iij−Ikl|が表3に示す0001_xxxxである場合、色相差|HA−HB|が“4”以下であるか否かを判定し、色相差|HA−HB|が“4”以下である場合、32からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=32)をセレクタ380へ出力する。一方、結合重み修正回路350は、色相差|HA−HB|が“4”以下でない場合、16からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=16)をセレクタ380へ出力する。

0225

結合重み修正回路360は、表2を保持しており、結合重み演算回路320から結合重みWA,Bを受け、彩度差計算回路340から彩度差|SA−SB|を受ける。そして、結合重み修正回路360は、表2を参照して、結合重みWA,Bに一致する絶対値|Iij−Ikl|を抽出する。

0226

また、結合重み修正回路360は、彩度差|SA−SB|が“6”以下であるか否かを判定し、彩度差|SA−SB|が“6”以下である場合、結合重みWA,Bに一致する絶対値|Iij−Ikl|と、“if≦6”とに対応する結合重みWA,B_Sを表2から抽出し、その抽出した結合重みWA,B_Sをセレクタ380へ出力する。

0227

一方、結合重み修正回路360は、彩度差|SA−SB|が“6”以下でない場合、彩度差|SA−SB|が“9”以下であるか否かをさらに判定し、彩度差|SA−SB|が“9”以下である場合、結合重みWA,Bに一致する絶対値|Iij−Ikl|と、“else if≦9”とに対応する結合重みWA,B_Sを表2から抽出し、その抽出した結合重みWA,B_Sをセレクタ380へ出力する。

0228

一方、結合重み修正回路360は、彩度差|SA−SB|が“9”以下でない場合、彩度差|SA−SB|が“12”以下であるか否かをさらに判定し、彩度差|SA−SB|が“12”以下である場合、結合重みWA,Bに一致する絶対値|Iij−Ikl|と、“else if≦12”とに対応する結合重みWA,B_Sを表2から抽出し、その抽出した結合重みWA,B_Sをセレクタ380へ出力する。

0229

一方、結合重み修正回路360は、彩度差|SA−SB|が“12”以下でない場合、結合重みWA,Bに一致する絶対値|Iij−Ikl|と、“else”とに対応する結合重みWA,B_Sを表2から抽出し、その抽出した結合重みWA,B_Sをセレクタ380へ出力する。

0230

セレクタ信号生成回路370は、しきい値Sth(=0.2)および図16に示すSビン番号の割当図を保持しており、Dラッチ回路27およびFIFO回路28からそれぞれSビン番号AおよびSビン番号Bを受ける。そして、セレクタ信号生成回路370は、図16に示すSビン番号の割当図を参照して、その受けたSビン番号AおよびSビン番号Bに対応するS値SA,SBを検出する。

0231

そうすると、セレクタ信号生成回路370は、その検出した2つのS値SA,SBをしきい値Sthと比較する。そして、セレクタ信号生成回路370は、2つのS値SA,SBの両方がしきい値Sth以下であるとき、結合重み演算回路320から受けた結合重みWA,Bを選択するためのセレクタ信号SEL_RGBを生成し、その生成したセレクタ信号SEL_RGBをセレクタ380へ出力する。

0232

また、セレクタ信号生成回路370は、2つのS値SA,SBのいずれか一方がしきい値Sth以下であるとき、結合重み修正回路360から受けた結合重みWA,B_Sを選択するためのセレクタ信号SEL_Sを生成し、その生成したセレクタ信号SEL_Sをセレクタ380へ出力する。

0233

さらに、セレクタ信号生成回路370は、2つのS値SA,SBの両方がしきい値Sthよりも大きいとき、結合重み修正回路350から受けた結合重みWA,B_Hを選択するためのセレクタ信号SEL_Hを生成し、その生成したセレクタ信号SEL_Hをセレクタ380へ出力する。

0234

セレクタ380は、結合重み演算回路320から結合重みWA,Bを受け、結合重み修正回路350,360からそれぞれ結合重みWA,B_H,WA,B_Sを受ける。そして、セレクタ380は、セレクタ信号生成回路370からセレクタ信号SEL_RGBを受けると、結合重みWA,Bを選択し、その選択した結合重みWA,Bを結合重みCWとして出力する。また、セレクタ380は、セレクタ信号生成回路370からセレクタ信号SEL_Sを受けると、結合重みWA,B_Sを選択し、その選択した結合重みWA,B_Sを結合重みCWとして出力する。さらに、セレクタ380は、セレクタ信号生成回路370からセレクタ信号SEL_Hを受けると、結合重みWA,B_Hを選択し、その選択した結合重みWA,B_Hを結合重みCWとして出力する。

0235

図2に示す重み計算ユニット33は、図24に示す重み計算ユニット32と同じ構成からなり、Dラッチ回路21,24から受けたRGB値RGBA,RGBBと、Dラッチ回路26,29から受けたHueビン番号A、Hueビン番号B、Sビン番号A、およびSビン番号Bに基づいて、重み計算ユニット32と同じ方法によって、結合重みWA,B,WA,B_H,WA,B_Sを演算し、その演算した結合重みWA,B,WA,B_H,WA,B_Sのいずれかを結合重みCWとして選択して出力する。

0236

また、図2に示す重み計算ユニット34は、図24に示す重み計算ユニット32と同じ構成からなり、Dラッチ回路24から受けたRGB値RGBAと、Dラッチ回路29から受けたHueビン番号AおよびSビン番号Aと、選択器30から受けたRGB値RGBB、Hueビン番号BおよびSビン番号Bとに基づいて、重み計算ユニット32と同じ方法によって、結合重みWA,B,WA,B_H,WA,B_Sを演算し、その演算した結合重みWA,B,WA,B_H,WA,B_Sのいずれかを結合重みCWとして選択して出力する。

0237

さらに、図2に示す重み計算ユニット35は、図24に示す重み計算ユニット32と同じ構成からなり、Dラッチ回路21から受けたRGB値RGBAと、Dラッチ回路26から受けたHueビン番号AおよびSビン番号Aと、選択器31から受けたRGB値RGBB、Hueビン番号BおよびSビン番号Bとに基づいて、重み計算ユニット32と同じ方法によって、結合重みWA,B,WA,B_H,WA,B_Sを演算し、その演算した結合重みWA,B,WA,B_H,WA,B_Sのいずれかを結合重みCWとして選択して出力する。

0238

画像分割回路3における画像の分割方法について説明する。図25は、画像の分割方法を説明するための図である。画像分割回路3は、領域成長型画像分割方法によって1つのフレームを各対象物の画像に分割する。

0239

この領域成長型画像分割方法は、LEGIONモデル(D. L. Wang, and D. Terman, “Image segmentation based on oscillator correlation,” Neural Computation, Volume 9(4), pp. 805-836(1997).)の振動子ネットワークの各画素に対する振動子の振る舞いを自己発火(Self−Excitation)、自己発火可能(Self−Excitable)、発火(Excitation)および鎮火(Inhibition)という4つの状態で取り扱うものである。そして、この領域成長型画像分割方法は、初期化、自己発火、発火、および鎮火の4つのステップからなる。

0240

画像分割回路3は、図25の(a)に示す3×3の構成からなる入力画像を受ける。そして、画像分割回路3は、入力画像を構成する9個の画素における画素間の8個の結合重みCW1〜CW8を結合重み決定回路2から受け、その受けた8個の結合重みCW1〜CW8を各画素間に対応付けてメモリに保持する。なお、図25の(b)においては、(2,2)の画素と周囲の画素との8個の結合重みが図示されている。

0241

そうすると、画像分割回路3は、メモリに保持された8個の結合重みCW1〜CW8を読み出し、その読み出した8個の結合重みCW1〜CW8の和SUM(CW)を演算する。そして、画像分割回路3は、その演算した和SUM(CW)がリーダセルを決定するためのしきい値φPよりも大きいか否かを判定する。なお、この出願においては、SUMは、数学におけるシグマ記号によって表される和を演算することを意味する。

0242

画像分割回路3は、和SUM(CW)がしきい値φPよりも大きいと判定したとき、結合重みの計算の中心となった画素をリーダセルに設定し、リーダセルフラグpij=1を設定する。一方、画像分割回路3は、和SUM(CW)がしきい値φP以下であると判定したとき、結合重みの計算の中心となった画素をリーダセルに設定せず、リーダセルフラグpij=0を設定する。

0243

画像分割回路3は、この処理を入力画像の9個の画素の各々を結合重みの計算の中心となる画素に設定して実行し、リーダセルを決定する(図25の(c)参照)。

0244

その後、画像分割回路3は、リーダセルの1つを自己発火させる(発火フラグxij=1)(図25の(d)参照)。そして、画像分割回路3は、各セル(i,j)に隣接する8個の画素に対応するセル(k,l)∈Nijが発火していれば、セル(i,j)とセル(k,l)との間の結合重みの和SUM(k,l)∈Nij∧xkl=1Wij;klを演算し、その演算した和SUM(k,l)∈Nij∧xkl=1Wij;klがしきい値φZよりも大きく、かつ、まだ、セル(i,j)がどの分割領域にも属していない(ラベルフラグlij=0)場合に、自動的に発火(xij=1)させる(引火・領域成長)(図25の(e)参照)。この引火処理によって、領域が広がっていき、図25の(f)に示すように、新たに発火するセルが存在しなくなると、1領域の分割が終了する。

0245

その後、画像分割回路3は、この分割された領域を保存するために、図25の(g)に示すように、発火しているセルへ分割領域識別のためのラベル番号を書き込み、発火したセルが既に分割されたセルであることを示すラベルフラグをセットし(lij=1)、鎮火処理(xij=0,pij=0)を行なう。

0246

画像分割回路3は、鎮火処理が終了すると、再び、次の領域の分割のための自己発火の処理に戻る。そして、画像分割回路3は、リーダセルが存在しなくなるまで、上述した処理を繰り返し実行し、各領域を分割する。そして、画像分割回路3は、全てのリーダセルが発火した後、全ての領域にラベル付けを行ない、1フレームの画像の分割を終了する(図25の(h)参照)。

0247

図26は、この発明による画像分割方法を説明するためのフローチャートである。図26を参照して、一連の動作が開始されると、画素値検出回路1は、n×n(nは、2以上の整数)からなる入力画像の各画素GEij(1≦i≦n,1≦j≦n)のRGB値RGBij(1≦i≦n,1≦j≦n)を検出し(ステップS1)、その検出した各画素のRGB値RGBijを結合重み決定回路2へ出力する。

0248

結合重み決定回路2は、画素値検出回路1から各画素GEij(1≦i≦n,1≦j≦n)のRGB値RGBij(1≦i≦n,1≦j≦n)を受け、その受けた各画素GEij(1≦i≦n,1≦j≦n)のRGB値RGBij(1≦i≦n,1≦j≦n)を上述した方法によって色相Hij(1≦i≦n,1≦j≦n)および彩度Sij(1≦i≦n,1≦j≦n)に変換し、RGB値RGBij(1≦i≦n,1≦j≦n)、色相Hij(1≦i≦n,1≦j≦n)および彩度Sij(1≦i≦n,1≦j≦n)に基づいて、各画素間の結合重みWij;kl(1≦i≦n,1≦j≦n,1≦k≦n,1≦l≦n)を決定する(ステップS2)。そして、結合重み決定回路2は、その決定した各画素間の結合重みWij;kl(1≦i≦n,1≦j≦n,1≦k≦n,1≦l≦n)を画像分割回路3へ出力する。

0249

画像分割回路3は、外部から入力画像を受け、結合重み決定回路2から各画素間の結合重みWij;kl(1≦i≦n,1≦j≦n,1≦k≦n,1≦l≦n)を受ける。そして、画像分割回路3は、その受けた各画素間の結合重みWij;kl(1≦i≦n,1≦j≦n,1≦k≦n,1≦l≦n)を用いて1フレームの画像を分割する(ステップS3)。そして、一連の動作は、終了する。

0250

図27は、図26に示すステップS2の詳細な動作を説明するためのフローチャートである。なお、図27においては、図3に示す画素GE1を画素GEijとし、画素GE2を画素GEklとし、画素GE3を画素GEi+1,jとし、画素GE4を画素GEk+1,lとしてステップS2の詳細な動作を説明する。

0251

図27を参照して、図26に示すステップS1の後、結合重み決定回路2は、画素値検出回路1から複数の画素GEij(1≦i≦n,1≦j≦n)の複数のRGB値RGBij(1≦i≦n,1≦j≦n)を順次受ける。そして、結合重み決定回路2は、i=1,j=1,k=1,l=1を設定する(ステップS21)。

0252

そして、結合重み決定回路2は、入力画像の複数の画素GEij(1≦i≦n,1≦j≦n)のうち、画素値検出回路1から順次入力される隣接する2つの画素GEij,GEkl(1≦k≦n,1≦l≦n)を選択する(ステップS22)。

0253

その後、結合重み決定回路2は、HS変換回路25によって、画素GEijのRGB値RGBijを上述した方法によって色相Hijおよび彩度Sijに変換し(ステップS23)、画素GEklのRGB値RGBklを上述した方法によって色相Hklおよび彩度Sklに変換する(ステップS24)。

0254

そして、結合重み決定回路2において、4組の隣接画素GEij,GEkl;GEi+1,j,GEkl;GEij,GEk+1,l;GEi+1,j,GEk+1,lのRGB値が色相および彩度に変換されたか否かが判定される(ステップS25)。

0255

ステップS25において、4組の隣接画素GEij,GEkl;GEi+1,j,GEkl;GEij,GEk+1,l;GEi+1,j,GEk+1,lのRGB値が色相および彩度に変換されていないと判定されたとき、i,kのいずれかまたは両方が“1”だけ変化される(ステップS26)。その後、一連の動作は、ステップS22へ戻り、ステップS25において、4組の隣接画素GEij,GEkl;GEi+1,j,GEkl;GEij,GEk+1,l;GEi+1,j,GEk+1,lのRGB値が色相および彩度に変換されたと判定されるまで、ステップS22〜ステップS26が繰り返し実行される。

0256

そして、ステップS25において、4組の隣接画素GEij,GEkl;GEi+1,j,GEkl;GEij,GEk+1,l;GEi+1,j,GEk+1,lのRGB値が色相および彩度に変換されたと判定されると、結合重み決定回路2の4個の重み計算ユニット32〜35は、平行して隣接画素間の結合重みを決定する(ステップS27〜ステップS30)。

0257

この場合、重み計算ユニット32は、画素GEkl,GEi+1,j間の結合重みWk,l;i+1,jを決定し、重み計算ユニット33は、画素GEij,GEk+1,l間の結合重みWij;k+1,lを決定し、重み計算ユニット34は、画素GEij,GEkl間の結合重みWij;klを決定し、重み計算ユニット35は、画素GEi+1,j,GEk+1,l間の結合重みWi+1,j;k+1,lを決定する。

0258

ステップS27〜ステップS30の後、結合重み決定回路2において、i=n、かつ、j=nであるか否かが判定され(ステップS31)、i=n、かつ、j=nでないとき、i,jのいずれかまたは両方が“1”だけ変化され(ステップS32)、k=1およびl=1が設定される(ステップS33)。

0259

その後、一連の動作は、ステップS22へ戻り、ステップS31において、i=n、かつ、j=nであると判定されるまで、ステップS22〜ステップS33が繰り返し実行される。

0260

そして、ステップS31において、i=n、かつ、j=nであると判定されると、一連の動作は、図26のステップS3へ移行する。

0261

図28は、図27に示すステップS27の詳細な動作を説明するためのフローチャートである。図28を参照して、図27のステップS25の“YES”の後、重み計算ユニット32の結合重み演算回路320は、FIFO回路23から受けたRGB値RGBklと、Dラッチ回路22から受けたRGB値RGBi+1,jとに基づいて、上述した方法によって、画素GEkl,GEi+1,j間の結合重みWi+1,j;kl_RGBを決定し、その決定した結合重みWi+1,j;kl_RGBを結合重み修正回路350,360およびセレクタ380へ出力する。

0262

また、色相差計算回路330は、FIFO回路28から画素GEklのHueビン番号Aを受け、Dラッチ回路27から画素GEi+1,jのHueビン番号Bを受ける。そして、色相差計算回路330は、図14に示すHueビン番号の割当図を参照して、Hueビン番号Aに対応する色相Hklを抽出し、Hueビン番号Bに対応する色相Hi+1,jを抽出する。

0263

そうすると、色相差計算回路330は、色相Hklと色相Hi+1,jとの色相差|Hkl−Hi+1,j|を演算し、その演算した色相差|Hkl−Hi+1,j|を結合重み修正回路350へ出力する。

0264

結合重み修正回路350は、色相差計算回路330から色相差|Hkl−Hi+1,j|を受け、結合重み演算回路320から結合重みWi+1,j;kl_RGBを受ける。そして、結合重み修正回路350は、表3を参照して、結合重みWi+1,j;kl_RGBおよび色相差|Hkl−Hi+1,j|に基づいて、上述した方法によって結合重みWi+1,j;kl_Hを抽出し、その抽出した結合重みWi+1,j;kl_Hをセレクタ380へ出力する。

0265

さらに、彩度差計算回路340は、FIFO回路28から画素GEklのSビン番号Aを受け、Dラッチ回路27から画素GEi+1,jのSビン番号Bを受ける。

0266

そして、彩度差計算回路340は、図16に示すSビン番号の割当図を参照して、Sビン番号Aに対応する彩度Sklを抽出し、Sビン番号Bに対応する彩度Si+1,jを抽出する。

0267

そうすると、彩度差計算回路340は、彩度Sklと彩度Si+1,jとの彩度差|Skl−Si+1,j|を演算し、その演算した彩度差|Skl−Si+1,j|を結合重み修正回路360へ出力する。

0268

結合重み修正回路360は、彩度差計算回路340から彩度差|Skl−Si+1,j|を受け、結合重み演算回路320から結合重みWi+1,j;kl_RGBを受ける。そして、結合重み修正回路360は、表2を参照して、結合重みWi+1,j;kl_RGBおよび彩度差|Skl−Si+1,j|に基づいて、上述した方法によって結合重みWi+1,j;kl_Sを抽出し、その抽出した結合重みWi+1,j;kl_Sをセレクタ380へ出力する。

0269

一方、重み計算ユニット32のセレクタ信号生成回路370は、FIFO回路28から画素GEklのSビン番号Aを受け、Dラッチ回路27から画素GEi+1,jのSビン番号Bを受ける。

0270

そして、セレクタ信号生成回路370は、図16に示すSビン番号の割当図を参照して、Sビン番号Aに対応する彩度Sklを抽出し、Sビン番号Bに対応する彩度Si+1,jを抽出する。

0271

そうすると、セレクタ信号生成回路370は、彩度Si+1,jがしきい値Sth(=0.2)以下であり、かつ、彩度Sklがしきい値Sth(=0.2)以下であるか否かを判定する(ステップS271)。

0272

ステップS271において、彩度Si+1,jがしきい値Sth(=0.2)以下であり、かつ、彩度Sklがしきい値Sth(=0.2)以下であると判定されたとき、セレクタ信号生成回路370は、セレクタ信号SEL_RGBを生成し、その生成したセレクタ信号SEL_RGBをセレクタ380へ出力する。

0273

セレクタ380は、結合重み演算回路320から結合重みWi+1,j;kl_RGBを受け、結合重み修正回路350から結合重みWi+1,j;kl_Hを受け、結合重み修正回路360から結合重みWi+1,j;kl_Sを受ける。そして、セレクタ380は、セレクタ信号生成回路370からセレクタ信号SEL_RGBを受けると、セレクタ信号SEL_RGBに応じて、3個の結合重みWi+1,j;kl_RGB,Wi+1,j;kl_H,Wi+1,j;kl_Sから結合重みWi+1,j;kl_RGBを選択し、その選択した結合重みWi+1,j;kl_RGBを結合重みWi+1,j;klと決定する。つまり、重み計算ユニット32は、RGB値RGBi+1,j,RGBklによって結合重み結合重みWi+1,j;klを決定する(ステップS272)。そして、重み計算ユニット32は、その決定した結合重みWi+1,j;klを画像分割回路3へ出力する。

0274

一方、ステップS271において、彩度Si+1,jがしきい値Sth(=0.2)以下であり、かつ、彩度Sklがしきい値Sth(=0.2)以下でないと判定されたとき、セレクタ信号生成回路370は、彩度Si+1,j,Sklの一方のみがしきい値Sth(=0.2)以下であるか否かをさらに判定する(ステップS273)。

0275

そして、ステップS273において、彩度Si+1,j,Sklの一方のみがしきい値Sth(=0.2)以下であると判定されたとき、セレクタ信号生成回路370は、セレクタ信号SEL_Sを生成し、その生成したセレクタ信号SEL_Sをセレクタ380へ出力する。

0276

セレクタ380は、セレクタ信号生成回路370からセレクタ信号SEL_Sを受けると、セレクタ信号SEL_Sに応じて、3個の結合重みWi+1,j;kl_RGB,Wi+1,j;kl_H,Wi+1,j;kl_Sから結合重みWi+1,j;kl_Sを選択し、その選択した結合重みWi+1,j;kl_Sを結合重みWi+1,j;klと決定する。つまり、重み計算ユニット32は、RGB値RGBi+1,j,RGBklおよび彩度Si+1,j,Sklによって結合重み結合重みWi+1,j;klを決定する(ステップS274)。そして、重み計算ユニット32は、その決定した結合重みWi+1,j;klを画像分割回路3へ出力する。

0277

一方、ステップS273において、彩度Si+1,j,Sklの一方のみがしきい値Sth(=0.2)以下でないと判定されたとき、セレクタ信号生成回路370は、セレクタ信号SEL_Hを生成し、その生成したセレクタ信号SEL_Hをセレクタ380へ出力する。

0278

セレクタ380は、セレクタ信号生成回路370からセレクタ信号SEL_Hを受けると、セレクタ信号SEL_Hに応じて、3個の結合重みWi+1,j;kl_RGB,Wi+1,j;kl_H,Wi+1,j;kl_Sから結合重みWi+1,j;kl_Hを選択し、その選択した結合重みWi+1,j;kl_Hを結合重みWi+1,j;klと決定する。つまり、重み計算ユニット32は、RGB値RGBi+1,j,RGBklおよび色相Hi+1,j,Hklによって結合重み結合重みWi+1,j;klを決定する(ステップS275)。そして、重み計算ユニット32は、その決定した結合重みWi+1,j;klを画像分割回路3へ出力する。

0279

そうすると、ステップS272,S274,S275のいずれかの後、一連の動作は、図27のステップS31へ移行する。

0280

なお、ステップS274は、RGB値RGB値RGBi+1,j,RGBklのみによって結合重みWi+1,j;kl_RGBを決定するステップと、その決定した結合重みWi+1,j;kl_RGBを彩度Si+1,j,Sklの彩度差|Si+1,j−Skl|に応じて小さくするステップとからなる。

0281

また、ステップS275は、RGB値RGB値RGBi+1,j,RGBklのみによって結合重みWi+1,j;kl_RGBを決定するステップと、その決定した結合重みWi+1,j;kl_RGBを色相Hi+1,j,Hklの色相差|Hi+1,j−Hkl|に応じて大きくするステップとからなる。

0282

さらに、図27に示すステップS28〜ステップ30の各々における詳細な動作も、図28に示すステップS271〜ステップS275によって実行される。

0283

図29は、図26に示すステップS3の詳細な動作を説明するためのフローチャートである。図29を参照して、図26に示すステップS2の後、画像分割回路3は、結合重み決定回路2から1フレームを構成する複数の画素における各画素間の結合重みを受けるとともに、上述した方法によって、リーダセルを決定する(ステップS41)。

0284

そして、画像分割回路3は、自己発火可能なセルを検出したか否かを判定し(ステップS42)、自己発火可能なセルを検出したと判定したとき、上述した方法によって自己発火を行なう(ステップS43)。

0285

その後、画像分割回路3は、発火セルが存在するか否かを判定し(ステップS44)、発火セルが存在するとき、上述した方法によって周囲へ引火(領域成長)を行なう(ステップS45)。そして、一連の動作は、ステップS44へ戻り、ステップS44において、発火セルが存在しなくなるまで、ステップS44,S45が繰り返し実行される。

0286

ステップS44において、発火セルが存在しないと判定されると、画像分割回路3は、上述した方法によって、引火終了・領域決定を行なうとともに、ラベル付け(鎮火)を行なう(ステップS46)。その後、一連の動作は、ステップS42へ戻り、ステップS42において、自己発火可能なセルが検出されないと判定されるまで、ステップS42〜ステップS46が繰り返し実行される。

0287

そして、ステップS42において、自己発火可能なセルが検出されないと判定されると、一連の動作は、図26の“終了”へ移行する。

0288

なお、画像分割装置10は、図26図27図29)に示すフローチャートを繰り返し実行し、各フレームを各対象物の画像に分割する。

0289

上述したように、この発明においては、隣接する2つの画素の2つの彩度の両方がしきい値Sth以下であるとき、2つの画素のRGB値のみによって2つの画素間の結合重みを決定し(ステップS272参照)、2つの彩度の一方のみがしきい値Sth以下であるとき、2つの画素のRGB値および彩度によって2つの画素間の結合重みを決定し(ステップS274参照)、2つの画素の2つの彩度の両方がしきい値Sthよりも大きいとき、2つのRGB値および色相によって結合重みを決定する(ステップS275参照)。

0290

そして、ステップS274において決定される結合重みは、ステップS272において決定される結合重みよりも小さく、ステップS275において決定される結合重みは、ステップS272において決定される結合重み以上である。

0291

このように、2つの画素の2つの彩度の少なくとも一方の彩度がしきい値Sthよりも大きいとき、彩度または色相を用いて2つの画素間の結合重みを決定する。

0292

したがって、コントラストの低いカラー画像または光の反射による影響があるカラー画像における画素間の結合重みを正確に決定できる。

0293

また、2つの画素が無彩色領域と有彩色領域とに属するとき、結合重みが、RGB値のみによって決定した結合重みよりも小さく決定されるので(ステップS274参照)、画像分割において領域成長が抑制され、2つの画素の両方が有彩色領域に属するとき、結合重みが、RGB値のみによって決定した結合重み以上に決定されるので(ステップS275参照)、画像分割において領域成長が促進される。

0294

したがって、コントラストの低いカラー画像または光の反射による影響があるカラー画像を正確に分割できる。

0295

図30は、この発明による画像分割装置10を用いた物体追跡装置の構成図である。図30を参照して、物体追跡装置20は、画像分割装置10に追跡回路4を追加したものである。

0296

追跡回路4は、画像分割回路3から分割画像DVG1,DVG2を順次受け、その受けた分割画像DVG1,DVG2によって表された物体の特徴量CH1,CH2を抽出する。そして、追跡回路4は、その抽出した物体の特徴量CH1,CH2を用いて分割画像DVG1,DVG2間で物体のパターンマッチングを行ない、動きベクトルを検出するとともに、物体の推定位置を求める。

0297

なお、物体の特徴量CH1,CH2は、たとえば、物体の高さ、色および面積等からなる。また、パターンマッチングは、マンハッタン距離等を演算し、最小のマンハッタン距離等を求めることにより行なう。

0298

上述したように、画像分割装置10は、画像を正確に分割できるので、追跡回路4は、正確に分割された画像を用いて物体を正確に追跡できる。

0299

上記においては、RGB値から彩度(S)または色相(H)への変換は、加算器およびシフト器を用いて行なわれると説明したが、この発明においては、これに限らず、回路面積が問題とならない等の特別な制約がない場合、除算器を用いた回路によってRGB値を彩度(S)または色相(H)へ変換してもよい。

0300

また、上記においては、しきい値Sthは、0.2に設定されると説明したが、この発明においては、これに限らず、しきい値Sthは、0.2以外の値であってもよく、一般的には、画像分割の対象となる入力画像の各物体の色合いに基づいて実験的に決定される。

0301

さらに、上記においては、画像分割は、領域成長型画像分割方法を用いて行なわれると説明したが、この発明においては、これに限らず、画像分割は、“B. Jaehne, “Digital Image Processing 5th revised and extended edition,” Springer-Verlag, pp. 427-440, 2001.”の文献、“J. C. Russ, “The Image Processing Handbook,”CRCPRESS, pp. 371-429, 1999.36”の文献、“T. Braeunl, S. Feyrer, W. Rapf, and M. Reinhardt, “Parallel Image Processing,”Springer-Verlag, 2000.”の文献、および“W. Y. Ma, and B. S. Manjunath, “Edgeflow: a technique for boundary detection and segmentation,”IEEE Transactions on Image Processing, vol. 9 (8), pp. 1375-1388, 2004.”の文献のいずれかに記載された方法を用いて行なわれてもよい。

0302

なお、この発明においては、RGB値のみによって決定された結合重みは、「第1の結合重み」を構成し、RGB値および彩度(S)によって決定される結合重みは、第1の結合重みよりも小さい「第2の結合重み」を構成し、RGB値および色相(H)によって決定される結合重みは、第1の結合重み以上である「第3の結合重み」を構成する。

0303

また、表3に示す画素値の差01xx_xxxxは、「第1の値」を構成し、画素値の差0001_xxxxは、第1の値よりも大きい「第2の値」を構成する。

0304

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

0305

この発明は、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割装置に適用される。また、この発明は、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割方法に適用される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ