図面 (/)

技術 画像処理装置及びコンピュータ可読記憶媒体

出願人 東芝テック株式会社
発明者 有賀徳政平和樹石過壮
出願日 2015年6月22日 (5年6ヶ月経過) 出願番号 2015-124950
公開日 2016年12月1日 (4年1ヶ月経過) 公開番号 2016-201084
状態 特許登録済
技術分野 イメージ分析
主要キーワード 入力関数 焦点ぼけ BCD 分離度 中枢部分 停止命令 次保存 標準偏差σ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年12月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

2値画像領域の鮮明度を定量的に判定可能な画像処理装置及びコンピュータ可読記憶媒体を提供する。

解決手段

実施形態によれば、画像処理装置は、演算部と、比較判定部と、出力部を備える。前記演算部は、画像を構成する画素階調情報に基づいて標準偏差及びエントロピーを計算し、前記標準偏差と前記エントロピーとの比を計算する。前記比較判定部は、前記比と基準値とを比較する。前記出力部は、前記比較判定部による比較結果を出力する。

概要

背景

倉庫店舗の管理者は、に載せられた多くの物品を管理している。このような管理は、物品を撮影し、画像に写る物品に貼られたラベルに記載されている文字列を識別する装置によって行われている。画像における文字列部分2値画像領域である。画像の2値画像領域は、装置が文字列を識別できる程度に鮮明でなければならない。そのため、2値画像領域の鮮明度を定量的に判定可能な技術が望まれている。

概要

2値画像領域の鮮明度を定量的に判定可能な画像処理装置及びコンピュータ可読記憶媒体を提供する。実施形態によれば、画像処理装置は、演算部と、比較判定部と、出力部を備える。前記演算部は、画像を構成する画素階調情報に基づいて標準偏差及びエントロピーを計算し、前記標準偏差と前記エントロピーとの比を計算する。前記比較判定部は、前記比と基準値とを比較する。前記出力部は、前記比較判定部による比較結果を出力する。

目的

本発明の実施形態が解決しようとする課題は、2値画像領域の鮮明度を定量的に判定可能な画像処理装置及びコンピュータ可読記憶媒体を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像を構成する画素階調情報に基づいて標準偏差及びエントロピーを計算し、前記標準偏差と前記エントロピーとの比を計算する演算部と、 前記比と基準値とを比較する比較判定部と、前記比較判定部による比較結果を出力する出力部と、を備える画像処理装置

請求項2

前記画像を撮影する撮影部を備える、請求項1記載の画像処理装置。

請求項3

当該画像処理装置を移動する移動体を備える、請求項2記載の画像処理装置。

請求項4

前記移動体の動作を制御する制御部を備え、前記制御部は、前記比較結果に基づいて前記撮影部と前記画像に写る対象との距離を修正するように前記移動体を制御する、請求項3記載の画像処理装置。

請求項5

前記演算部は、前記画像を複数のブロックに分割し、各ブロックの前記標準偏差及び前記エントロピーを計算する、請求項1記載の画像処理装置。

請求項6

前記比の値に基づいて前記基準値を更新して記憶する記憶部を備える、請求項1記載の画像処理装置。

請求項7

画像を構成する画素の階調情報に基づいて標準偏差及びエントロピーを計算することと、前記標準偏差と前記エントロピーとの比を計算することと、前記比と基準値とを比較することと、前記比と基準値との比較結果を出力すること、をコンピュータに実行させるプログラムを記憶したコンピュータ可読記憶媒体

技術分野

0001

本発明の実施形態は、画像処理装置及びコンピュータ可読記憶媒体に関する。

背景技術

0002

倉庫店舗の管理者は、に載せられた多くの物品を管理している。このような管理は、物品を撮影し、画像に写る物品に貼られたラベルに記載されている文字列を識別する装置によって行われている。画像における文字列部分2値画像領域である。画像の2値画像領域は、装置が文字列を識別できる程度に鮮明でなければならない。そのため、2値画像領域の鮮明度を定量的に判定可能な技術が望まれている。

先行技術

0003

特許第4412214号公報

発明が解決しようとする課題

0004

本発明の実施形態が解決しようとする課題は、2値画像領域の鮮明度を定量的に判定可能な画像処理装置及びコンピュータ可読記憶媒体を提供することにある。

課題を解決するための手段

0005

実施形態によれば、画像処理装置は、演算部と、比較判定部と、出力部を備える。前記演算部は、画像を構成する画素階調情報に基づいて標準偏差及びエントロピーを計算し、前記標準偏差と前記エントロピーとの比を計算する。前記比較判定部は、前記比と基準値とを比較する。前記出力部は、前記比較判定部による比較結果を出力する。

図面の簡単な説明

0006

第1の実施形態に係る一例となる画像処理装置のブロック図。
第1の実施形態に係る一例となる画像処理装置の移動方向を説明する図。
第1の実施形態に係る鮮明度判定に用いられる一例となる指標を説明するための図。
第1の実施形態に係る画像処理装置により算出されるSERの値を示す図。
第1の実施形態に係る画像処理装置による一例となる処理のフローチャート
第1の実施形態に係る画像処理装置による他の例となる処理のフローチャート。
比較例となる画像を示す図。
第2の実施形態に係る画像処理装置よる鮮明度判定の手法を説明する図。
第2の実施形態に係る画像処理装置による一例となる処理のフローチャート。
第2の実施形態に係る画像処理装置による他の例となる処理のフローチャート。
第3の実施形態に係る一例となる画像処理装置のブロック図。

実施例

0007

以下、いくつかの実施の形態について、図面を参照して説明する。
(第1の実施形態)
第1の実施形態について説明する。図1は、第1の実施形態に係る一例となる画像処理装置10のブロック図である。
画像処理装置10は、倉庫や店舗の棚20に載せられた複数の物品の在庫管理等に用いられる。画像処理装置10は、移動体11と、制御部12と、撮影部13と、処理部14と、記憶部15と、表示部16と、音声出力部17を備える。なお、画像処理装置10は、これら全ての要素を必ず備えている必要はない。例えば、画像処理装置10は、少なくとも処理部14及び記憶部15を備える装置であってもよい。

0008

移動体11は、画像処理装置10を何れの方向にも移動可能な台車である。移動体11は、直線状に並べられた棚20の延在方向と平行な方向に走行することもできるし、棚20の延在方向と直交する方向に走行することもできる。

0009

制御部12は、処理部14からの信号に基づいて移動体11の動作を制御する。制御部12は、移動体11の走行方向や、走行の開始及び停止を制御する。移動体11の動作は、処理部14で判断されても、制御部12で判断されてもよい。

0010

撮影部13は、レンズ131を備え、画像を撮影するカメラである。撮影部13は、動画像を撮影するカメラであっても、静止画像を撮影するカメラであってもよい。撮影部13は、撮影した画像のデータを処理部14へ送る。

0011

処理部14は、画像処理装置10の中枢部分に相当する。処理部14は、オペレーティングシステムアプリケーションプログラムに従って、画像処理装置10の各要素を制御する。処理部14は、演算部141と、比較判定部142を備える。処理部14は、演算部141及び比較判定部142により、撮影部13が撮影した1画像中に含まれる2値画像領域の鮮明度を定量的に判定する。2値画像領域は、例えば、画像における文字や記号などが写る領域である。2値画像領域の鮮明度とは、2値画像領域の認識のし易さ、または、2値画像領域における焦点ぼけ度合いに対応する。この1画像中に含まれる2値画像領域の鮮明度の定量的な判定(以下、鮮明度判定という)の手法については、後述する。

0012

処理部14は、移動体11の動作の指示を制御部12へ送る。なお、処理部14は、処理部14による鮮明度判定の結果自体を制御部12へ送ってもよい。この場合、制御部12は、鮮明度判定に基づいて移動体11の動作を決定する。

0013

処理部14は、表示部16での表示に関する信号を表示部16へ送る。処理部14は、音声出力部17での音声出力に関する信号を音声出力部17へ送る。

0014

記憶部15は、上記オペレーティングシステムやアプリケーションプログラムを記憶するメモリを含む。さらに、記憶部15は、処理部14による処理に必要なワークエリアとなるメモリを含む。さらに、記憶部15は、処理部14による処理に必要なデータを記憶するメモリを含む。記憶部15は、複数の基準値151を記憶している。複数の基準値151は、鮮明度判定のための閾値である。

0015

表示部16は、処理部14からの信号に基づいて映像を表示するディスプレイである。音声出力部17は、処理部14からの信号に基づいて音声を出力するスピーカである。表示部16及び音声出力部17は、出力部である。

0016

図2は、第1の実施形態に係る画像処理装置10の走行方向を説明する図である。図2の左図と図2の右図とは、互いに直交した方向から見た図である。図2の左図を参照すると、画像処理装置10は、移動体11の走行によって棚20の延在方向と平行に移動する。したがって、撮影部13は、棚20の延在方向と平行に移動しながら、棚20に載せられた複数の物品に貼られているそれぞれのラベルを順次撮影することができる。

0017

図2の右図を参照すると、画像処理装置10は、棚20の延在方向と平行な方向への移動を停止し、移動体11の走行によって棚20の延在方向と直交する方向へ移動する。画像処理装置10が棚20の延在方向と直交する方向へ移動するのは、撮影部13と撮影対象(棚20、より具体的には、棚20に載っている物品)との距離を適切に保つためである。なお、撮影部13と撮影対象との距離は、移動体11と棚20との距離と言い換えられる。したがって、画像処理装置10は、撮影部13が順次撮影する各画像に含まれる2値画像領域の鮮明度を保つことができる。

0018

次に、鮮明度判定に用いられる指標について説明する。図3は、第1の実施形態に係る鮮明度判定に用いられる一例となる指標を説明するための図である。図3は、異なる3つの2値画像に関するデータを示す。3つの画像は、それぞれの画像全体が2値画像領域である。図3において「1」で示すデータは、焦点が合っている第1の画像に対応している。第1の画像は、鮮明な画像である。図3において「2」で示すデータは、第1の画像よりも焦点が少しぼけた第2の画像に対応している。第2の画像は、第1の画像よりも不鮮明な画像である。図3において「3」で示すデータは、第2の画像よりもさらに焦点がぼけた第3の画像に対応している。第3の画像は、第2の画像よりもさらに不鮮明な画像である。

0019

図3の左図は、第1の画像、第2の画像及び第3の画像それぞれの任意の1ラインのデータを入力関数として表したグラフである。横軸は1画像の任意の1ラインに含まれる各画素の座標を示し、縦軸階調画素値)を示す。処理部14は、鮮明度判定の対象となる1画像のデータから入力関数を生成する。なお、任意の1ラインは、1画像全体の横軸に対応していても、縦軸に対応していてもよい。

0020

図3の中央図は、第1の画像、第2の画像及び第3の画像それぞれのヒストグラムを表したグラフである。横軸は階調を示し、縦軸は画素数を示す。ヒストグラムは、鮮明度判定の対象となる1画像の任意の1ラインに含まれる画素の分布であり、画像を構成する画素の階調情報である。処理部14は、入力関数からヒストグラムを生成する。ヒストグラムの2つのピークは、2値画像が鮮明になるほど鋭くなる。さらに、ヒストグラムの2つのピークの位置は、2値画像が鮮明になるほど離れる。

0021

図3の右図は、第1の画像、第2の画像及び第3の画像それぞれにおける標準偏差σとエントロピーSとの比(σ/S)(以下、SERという)を表したグラフである。処理部14は、以下に示す計算式を用いてヒストグラムに基づいて標準偏差σ及びエントロピーSを計算する。その後、処理部14は、標準偏差σ及びエントロピーSに基づいてSERを計算する。

0022

標準偏差σの計算式は、以下とおりである。



ここで、



エントロピーSの計算式は、以下のとおりである。



ここで、niはヒストグラムにおける階調iの画素数、nはヒストグラムにおける全画素数である。

0023

標準偏差σは、ヒストグラムにおける少なくとも2つのピークの分離度を表す指標である。エントロピーSは、ヒストグラムにおけるピークの鋭さを表す指標である。SERは、2値画像領域の鮮明度を定量的に表す指標である。標準偏差σは、ヒストグラムの2つのピークが離れるほど大きくなる。エントロピーSは、ヒストグラムの2つのピークが鋭くなるほど小さくなる。標準偏差σが大きく、エントロピーSが小さければ、SERの値は大きい。

0024

図3の右図を参照すると、SERは、第3の画像、第2の画像、第1の画像の順で大きい。この順序は、焦点ぼけの度合いが軽減される画像の順序と一致している。SERが大きければ、2値画像領域は鮮明であるといえる。したがって、SERは、2値画像領域の鮮明度を定量的に表す指標として有効である。

0025

なお、SERは、ヒストグラムにおける少なくとも2つのピークの分離度を表す指標(一例が標準偏差σ)と、ヒストグラムにおけるピークの鋭さを表す指標(一例がエントロピーS)との比であればよい。そのため、処理部14は、標準偏差σやエントロピーS以外の指標を用いてSERを計算してもよい。例えば、標準偏差σの大きさは、画像全体の明るさによって変わる。そのため、処理部14は、標準偏差σの代わりに標準偏差σを平均値mで割った変動係数を用いてSERを計算することが好ましい。処理部14は、標準偏差σの代わりに標準偏差σの2乗である分散を用いてSERを計算してもよい。処理部14は、エントロピーSを計算する際に各階調の画素数niを全画素数nで割っているが、各階調の画素数niを全画素数nで割らなくてもよい。

0026

なお、SERは、1画像の任意の1ラインに基づいて算出される値に限られるものではない。例えば、SERは、1画像の任意の複数ラインまたは全ラインから算出される複数のSERの平均値であってもよい。

0027

次に、異なる画像におけるSERの違いについて説明する。図4は、第1の実施形態に係る処理部14によって計算されるSERを示す図である。図4は、同一の文字列ABCDが写る異なる3つの画像、それぞれのヒストグラム及びそれぞれのSERを示す。

0028

図4の左図は、焦点が合っている第4の画像を示す。第4の画像は、鮮明な2値画像である。第4の画像は、全体が2値画像領域である。図4の中央図は、第4の画像よりも焦点がぼけた第5の画像を示す。第5の画像は、第4の画像よりも不鮮明な2値画像である。第5の画像は、全体が2値画像領域である。図4の右図は、第4の画像よりも焦点がぼけているが、第5の画像よりも焦点が合っている第6の画像を示す。第6の画像は、第4の画像よりも不鮮明であるが、第5の画像よりも鮮明な画像である。ただし、第6の画像は、全体にわたって第4の画像よりもコントラストの小さい画像である。

0029

処理部14は、図3を用いて上述したように、第4の画像、第5の画像及び第6の画像それぞれの標準偏差σ、エントロピーS及びSERを計算することができる。

0030

図4の左図に示すように、第4の画像の標準偏差σは82、エントロピーSは0.6、SERは68である。図4の中央図に示すように、第5の画像の標準偏差σは71、エントロピーSは1.1、SERは31である。図4の右図に示すように、第6の画像の標準偏差σは31、エントロピーSは0.5、SERは29である。

0031

第4の画像のSERは、第5の画像のSERの2倍以上である。これは、2つの画像のエントロピーSの差が効いているからである。一方、第6の画像のSERは、第4の画像のSERの約1/2である。これは、2つの画像の標準偏差σの差が効いているからである。

0032

処理部14は、SERと基準値とを比較することで、画像に含まれる2値画像領域が鮮明か否かを判定することができる。SERが基準値よりも大きければ、処理部14は、2値画像領域は鮮明であると判断する。一方、SERが基準値よりも大きくなければ、処理部14は、2値画像領域は鮮明ではない、または、画像自体のコントラストが小さいと判断する。このように、SERは、2値画像領域の鮮明度の状態を評価できる指標であるだけではなく、画像自体のコントラストの状態も同時に評価できる指標である。したがって、SERは、2値画像領域の鮮明度を定量的に表す指標として有効である。

0033

次に、画像処理装置10による処理の一例を説明する。図5は、第1の実施形態に係る画像処理装置10による一例となる処理のフローチャートである。

0034

移動体11は、制御部12による制御に基づいて走行を開始する(Act1001)。移動体11は、棚20の延在方向と平行な方向に沿って走行する。撮影部13は、棚20に置かれている物品(撮影対象)を移動しながら撮影する(Act1002)。処理部14は、撮影部13が撮影した画像を取り込む(Act1003)。Act1003において撮影部13から処理部14へ取り込まれた画像は、鮮明度判定の対象となる画像である。処理部14は、鮮明度判定の対象となる画像のエントロピーに基づいて標準偏差σ及びエントロピーSを計算し、標準偏差σ及びエントロピーSに基づいてSERを計算する(Act1004)。Act1004は、例えば処理部14内の演算部141によって行われる。

0035

処理部14は、SERと第1の閾値とを比較する(Act1005)。Act1005は、例えば処理部14内の比較判定部142によって行われる。第1の閾値は、記憶部15に記憶されている第1の基準値に対応する。第1の基準値は、画像に含まれる2値画像領域が鮮明か否かを判断するための基準である。第1の基準値は、任意な値を予め設定できる。例えば、第1の基準値は、予め撮影された鮮明な2値画像領域を含む画像のSERに対応していてもよい。なお、SERが第1の閾値よりも大きくない場合とは、2値画像領域が鮮明ではないこと、または、画像自体に2値画像領域が含まれていないことを意味する。一方、SERが第1の閾値より大きい場合とは、2値画像領域が鮮明であることを意味する。

0036

SERが第1の閾値よりも大きくない場合(Act1005、No)、制御部12は、処理部14からの信号に基づいて移動体11の走行を停止するように制御する(Act1006)。制御部12は、処理部14からの停止命令に基づいて移動体11の走行を停止するように制御する。なお、制御部12は、処理部14から送られるSERと第1の閾値との比較結果に基づいて、移動体11の走行の停止を判断してもよい。

0037

なお、Act1005においてSERは第1の閾値よりも大きくないと処理部14が判断した場合、処理部14は、SERと第1の閾値との比較結果を表示部16及び音声出力部17の少なくとも1つに送ってよい。表示部16及び音声出力部17は、処理部14による比較結果を出力する。表示部16は、処理部14による比較結果を表示することができる。音声出力部17は、処理部14による比較結果を音声で出力することができる。一例として、比較結果はSER及び第1の閾値である。他の例として、比較結果は、2値画像領域が鮮明ではないこと、または撮影部13の焦点が合っていないことなどの警告である。表示部16または音声出力部17による出力により、管理者は、撮影部13が撮影する画像に含まれる2値画像領域の状態を認識することができる。

0038

次に、制御部12は、比較結果に基づいて撮影部13と現在の画像に写る撮影対象との距離を修正するように制御する(Act1007)。Act1007では、制御部12は、撮影部15の焦点が合うように移動体11の位置を制御する。例えば、制御部12は、移動体11と棚20との距離を縮める方向または離す方向に移動体11を所定距離走行させるように制御する。撮影対象は、棚20、より具体的には棚20に載せられた物品である。移動体11の走行距離は任意に設定可能である。Act1002に戻って、撮影部13は再び同一の撮影対象を撮影する。つまり、同一の撮影対象が写る画像のSERが第1の閾値よりも大きくなるまで、画像処理装置10は、Act1002〜Act1007により、同一の撮影対象が写る複数の画像を処理する。

0039

SERが第1の閾値よりも大きい場合(Act1005、Yes)、処理部14は、鮮明度判定の対象となっている現在の画像を記憶部15に保存する(Act1008)。Act1001に戻って、移動体11は走行を開始する。画像処理装置10は、次の撮影対象が写る画像に含まれる2値画像領域の鮮明度判定を行う。

0040

図5に示す処理によれば、画像処理装置10は、SERを用いることで画像に含まれる2値画像領域の鮮明度を定量的に判断することができる。そのため、画像処理装置10は、移動体11と棚20との距離を適切に保ちながら、異なる撮影対象が写る鮮明な各画像を順次保存することができる。

0041

次に、画像処理装置10による処理の他の例を説明する。図6は、第1の実施形態に係る画像処理装置10による他の例となる処理のフローチャートである。

0042

図6のAct2001〜Act2004及びAct2006〜Act2008は、Act1001〜Act1004及びAct1006〜Act1008それぞれと同様であるので、これらの説明を省略する。

0043

Act2005では、処理部14は、鮮明度判定の対象となる現在の画像のSERが極大か否かを判断する。Act2005は、例えば、処理部14内の比較判定部142で行われる。ここでは、鮮明度判定の対象となる画像は撮影対象Xが写る画像であると仮定して、Act2005における処理部14による処理を説明する。

0044

Act2005において、処理部14は、撮影対象Xが写る1枚目の画像のSERが極大か否かを判断する。ただし、この時点では、1枚目の画像のSERと比較する対象となる第2の閾値は記憶部15に記憶されていない。そのため、処理部14は、1枚目の画像のSERを第2の基準値として記憶部15に保存する。つまり、第2の基準値は、現在の画像と同一の撮影対象Xが写る過去の画像のSERに対応する。第2の閾値は、記憶部15に記憶されている第2の基準値に対応する。

0045

その後、Act2006、Act2007及びAct2002〜Act2004を経たAct2005において、処理部14は、撮影対象Xが写る2枚目の画像のSERが極大か否かを判断する。2枚目の画像は、鮮明度判定の対象となる現在の画像である。処理部14は、2枚目の画像のSERと第2の閾値とを比較する。2枚目の画像のSERが第2の閾値よりも大きくない場合、処理部14は、第2の閾値に対応するSERが極大であると判断する。つまり、処理部14は、SERが極大となる撮影対象Xが写る画像を見つけたと判断する。Act2008において、処理部14は、第2の閾値に対応するSERの計算の基となった画像を記憶部15に保存する。つまり、この画像の2値画像領域は鮮明であるといえる。

0046

2枚目の画像のSERが第2の閾値よりも大きい場合、処理部14は、第2の閾値に対応するSERが極大ではないと判断する。つまり、処理部14は、SERが極大となる撮影対象Xが写る画像はまだ見つかっていないと判断する。処理部14は、2枚目の画像のSERに基づいて第2の基準値を更新して記憶部15に保存する。

0047

その後、再度Act2006、Act2007及びAct2002〜Act2004を経たAct2005において、処理部14は、撮影対象Xが写る3枚目の画像のSERが極大か否かを判断する。つまり、画像処理装置10は、Act2005において第2の閾値よりも大きくないSERが見つかるまで、同一の撮影対象Xが写る異なる画像を処理し続ける。以上のように、Act2005において、処理部14は、同一の撮影対象が写る複数の画像の中で極大のSERの計算の基となる画像を判断している。

0048

なお、Act1005において鮮明度判定の対象となる現在の画像のSERが極大ではないと処理部14が判断した場合、図6を用いて説明したように、表示部16及び音声出力部17は、処理部14による比較結果を出力してもよい。一例として、比較結果はSER及び第2の閾値である。他の例として、比較結果は、2値画像領域の鮮明度が極大ではないこと、または撮影部13の焦点が合っていないことなどの警告である。

0049

図6に示す処理によれば、画像処理装置10は、図5に示す処理により得られる画像よりも2値画像領域の鮮明度が高い画像を得ることができる。

0050

(第2の実施形態)
第2の実施形態について説明する。ここでは、第1の実施形態と相違する部分について説明し、第1の実施形態と同様である部分については説明を省略する。

0051

図7は、比較例となる画像を示す図である。図7は、同一の文字列ABCDが写る異なる2つの画像、それぞれのヒストグラム及びそれぞれのSERを示す。図7の左図は、焦点が合っている第7の画像を示す。第7の画像は、鮮明な画像である。図7の右図は、第7の画像よりも焦点がぼけた第8の画像を示す。第7の画像及び第8の画像は、2値画像領域の周りを自然画像領域が囲む画像である。図7の左図に示すように、第7の画像のSERは12である。図7の右図に示すように、第8の画像のSERは8である。焦点が合っている第7の画像のSERと焦点がぼけている第8の画像のSERとの間には十分な差がない。そのため、画像処理装置10は、鮮明度判定の対象となる1画像から1つのSERを算出するだけでは、この画像に含まれる2値画像領域の鮮明度を判断することが難しい可能性がある。そこで、第2の実施形態に係る画像処理装置10は、以下で説明するように鮮明度判定の対象となる1画像を複数のブロックに分割し、各ブロックのSERを算出する。

0052

図8は、第2の実施形態に係る処理部14による鮮明度判定の手法を説明する図である。図8上段の図は、図7と同一の文字列ABCDの文字列が写された異なる2つの画像を示す。

0053

図8の左上の図は、焦点が合っている第9の画像を示す。第9の画像は、鮮明な画像である。図8の右上の図は、第9の画像よりも焦点が合っていない第10の画像を示す。第10の画像は、第9の画像よりも不鮮明な画像である。第9の画像及び第10の画像は、2値画像領域の周りを自然画像領域が囲む画像である。

0054

第2の実施形態では、処理部14は、鮮明度判定の対象となる1画像を複数のブロックに分割し、各ブロックのSERを算出する。図8の上段の図を参照すると、処理部14は、第9の画像及び第10の画像を64ブロックに分割している。処理部14は、ブロック毎の任意の1ラインのデータに基づいて第1の実施形態で説明したように各ブロックのSERを計算する。なお、任意の1ラインは、各ブロックの横軸または縦軸に対応していてもよい。また、各ブロックのSERは、各ブロックの任意の複数ラインまたは全ラインから算出される複数のSERの平均値であってもよい。なお、画像の分割数は、任意に設定可能である。

0055

図8の左中段の図は、第9の画像の各ブロックに対応する位置にヒストグラムを並べた図である。図8の左下の図は、第9の画像の各ブロックに対応する位置にSERの値を並べた図である。第9の画像では、2値画像領域に対応するブロックのSERは40以上の値である。

0056

図8の右中段の図は、第10の画像の各ブロックに対応する位置にヒストグラムを並べた図である。図8の右下の図は、第10の画像の各ブロックに対応する位置にSERの値を並べた図である。第10の画像では、2値画像領域に対応するブロックのSERは20以下の値である。2値画像領域に対応するブロックにおいて、図7に示す例とは異なり、焦点が合っている画像のSERと焦点が合っていない画像のSERとの差は大きい。そのため、画像処理装置10は、鮮明度判定の対象となる1画像から算出した1つのSERに基づいて2値画像領域の鮮明度を判断することが困難であっても、この画像の各ブロックから算出した各SERに基づいて2値画像領域の鮮明度を十分に判断することができる。

0057

処理部14は、各ブロックのSERと基準値とを比較することで、画像に含まれる2値画像領域が鮮明か否かを判定する。ブロックのSERが基準値よりも大きければ、処理部14は、このブロックに含まれる2値画像領域は鮮明であると判断する。一方、ブロックのSERが基準値よりも大きくなければ、処理部14は、このブロックに含まれる2値画像領域は鮮明ではないと判断する。SERは、自然画像領域と2値画像領域が混在する画像においても、2値画像領域の鮮明度を定量的に表す指標として有効である。

0058

次に、画像処理装置10による処理の一例を説明する。図9は、第2の実施形態に係る画像処理装置10による一例となる処理のフローチャートである。

0059

移動体11は、制御部12による制御に基づいて走行を開始する(Act3001)。移動体11は、棚20の延在方向と平行な方向に沿って走行する。撮影部13は、棚20に置かれている物体(撮影対象)を移動しながら撮影する(Act3002)。処理部14は、撮影部13が撮影した画像を取り込む(Act3003)。Act3003において撮影部13から処理部14へ取り込まれた画像は、鮮明度判定の対象となる画像である。

0060

処理部14は、この画像を複数のブロックに分割する(Act3004)。処理部14は、複数のブロックにおける各ブロックのエントロピーに基づいて各ブロックの標準偏差σ及びエントロピーSを計算し、標準偏差σ及びエントロピーSに基づいて各ブロックのSERを計算する(Act3005)。Act3005は、例えば処理部14内の演算部141で行われる。

0061

処理部14は、各SERの値に基づいてOKブロック数を取得する(Act3006)。OKブロックは、鮮明な2値画像領域を含むブロックに対応する。Act3006において、処理部14は、一例として以下のようにOKブロックの数を取得する。処理部14は、各ブロックのSERと第3の閾値とを比較する。第3の閾値は、記憶部15に記憶されている第3の基準値に対応する。第3の基準値は、各ブロックに含まれる2値画像領域が鮮明か否かを判断するための基準である。第3の基準値は、任意に予め設定できる。例えば、第3の基準値は、予め撮影された鮮明な2値画像領域を含む画像のSERの値に対応していてもよい。なお、ブロックのSERが第3の閾値よりも大きくない場合とは、このブロックに含まれる2値画像領域が鮮明ではないこと、または、このブロック自体に2値画像領域が含まれていないことを意味する。一方、ブロックのSERが第3の閾値より大きい場合とは、このブロックに含まれる2値画像領域が鮮明であることを意味する。

0062

任意のブロックのSERが第3の閾値よりも大きい場合、処理部14は、このブロックをOKブロックと判断する。一方、任意のブロックのSERが第3の閾値よりも大きくない場合、処理部14は、このブロックはOKブロックではないと判断する。処理部14は、鮮明度判定の対象となる画像を構成する全ブロックのSERと第3の閾値とを比較する。処理部14は、鮮明度判定の対象となる画像を構成する全ブロック中のOKブロックの数を取得する。ここでは、鮮明度判定の対象となる画像におけるOKブロック数を、この画像を構成する全ブロック数で割った値を第1の割合というものとする。

0063

処理部14は、第1の割合と第4の閾値とを比較する(Act3007)。第4の基準値は、画像に含まれる2値画像領域が鮮明か否かを判断するための基準である。第4の基準値は、任意に予め設定できる。一例として、第4の基準値は、予め撮影された鮮明な2値画像領域を含む画像におけるOKブロック数を、この画像を構成する全ブロック数で割った値であってもよい。

0064

なお、第1の割合が第1の閾値よりも大きくない場合とは、画像に含まれる2値画像領域が鮮明ではないこと、または、画像自体に2値画像領域が含まれていないことを意味する。一方、第1の割合が第1の閾値より大きい場合とは、画像に含まれる2値画像領域が鮮明であることを意味する。

0065

第1の割合が第4の閾値よりも大きくない場合(Act3007、No)、制御部12は、処理部14からの信号に基づいて移動体11の走行を停止するように制御する(Act3008)。Act3008において、画像処理装置10は、上述したAct1006と同様に処理してもよい。なお、Act3007において第1の割合が第4の閾値よりも大きくないと処理部14が判断した場合、図5を用いて説明したように、表示部16及び音声出力部17は、比較結果を出力してもよい。一例として、比較結果は第1の割合及び第4の閾値である。他の例として、比較結果は、2値画像領域が鮮明でないこと、または撮影部13の焦点が合っていないことなどの警告である。

0066

次に、制御部12は、撮影部15の焦点が合うように移動体11の位置を修正するように制御する(Act3009)。Act3009において、画像処理装置10は、上述したAct1007と同様に処理してもよい。Act3002に戻って、撮影部13は再び同一の撮影対象を撮影する。つまり、同一の撮影対象が写る画像における第1の割合が第4の閾値よりも大きくなるまで、画像処理装置10は、Act3002〜Act3009により、同一の撮影対象が写る複数の画像を処理する。

0067

第1の割合が第4の閾値よりも大きい場合(Act3007、Yes)、処理部14は、鮮明度判定の対象となっている現在の画像を記憶部15に保存する(Act3010)。Act3001に戻って、移動体11は走行を開始する。画像処理装置10は、次の撮影対象が写った画像に含まれる2値画像領域の鮮明度判定を行う。

0068

次に、画像処理装置10による処理の他の例を説明する。図10は、第2の実施形態に係る画像処理装置10による他の例となる処理のフローチャートである。

0069

図10のAct4001〜Act4006及びAct4008〜Act4010は、図9のAct3001〜Act3006及びAct3008〜Act3010と同様であるので、これらの説明を省略する。

0070

Act4007では、処理部14は、鮮明度判定の対象となる現在の画像の第1の割合が極大か否かを判断する。Act4007は、処理部14内の比較判定部142で行われる。ここでは、鮮明度判定の対象となる画像は撮影対象Yが写る画像であると仮定して、Act4007における処理部14による処理を説明する。

0071

Act4007において、処理部14は、撮影対象Yが写る1枚目の画像の第1の割合が極大か否かを判断する。ただし、この時点では、1枚目の画像の第1の割合と比較する対象となる第5の閾値は記憶部15に記憶されていない。そのため、処理部14は、1枚目の画像の第1の割合を第5の基準値として記憶部15に保存する。つまり、第5の基準値は、現在の画像と同一の撮影対象Yが写る過去の画像の第1の割合に対応する。第5の閾値は、記憶部15に記憶されている第5の基準値に対応する。

0072

その後、Act4008、Act4009及びAct4002〜Act4006を経たAct4007において、処理部14は、撮影対象Yが写る2枚目の画像の第1の割合が極大か否かを判断する。2枚目の画像は、鮮明度判定の対象となる現在の画像である。処理部14は、2枚目の画像の第1の割合と第5の閾値とを比較する。2枚目の画像の第1の割合が第5の閾値よりも大きくない場合、処理部14は、第5の閾値に対応する第1の割合が極大であると判断する。つまり、処理部14は、第1の割合が極大となる撮影対象Yが写る画像を見つけたと判断する。Act4010において、処理部14は、第5の閾値に対応する第1の割合の計算の基となった画像を記憶部15に保存する。つまり、この画像の2値画像領域は鮮明であるといえる。

0073

2枚目の画像の第1の割合が第5の閾値よりも大きい場合、処理部14は、第5の閾値に対応する第1の割合が極大ではないと判断する。つまり、処理部14は、第1の割合が極大となる撮影対象Yが写る画像はまだ見つかっていないと判断する。処理部14は、2枚目の画像の第1の割合に基づいて第5の基準値を更新して記憶部15に保存する。

0074

その後、再度Act4008、Act4009及びAct4002〜Act4006を経たAct4007において、処理部14は、撮影対象Yが写る3枚目の画像の第1の割合が極大か否かを判断する。つまり、画像処理装置10は、Act4007において第5の閾値よりも大きくない第1の割合が見つかるまで、同一の撮影対象Yが写る異なる画像を処理し続ける。以上のように、Act4007において、処理部14は、同一の撮影対象が写る複数の画像の中で極大の第1の割合の計算の基となる画像を判断している。

0075

なお、Act4007において鮮明度判定の対象となる現在の画像の第1の割合が極大ではないと処理部14が判断した場合、図5を用いて説明したように、表示部16及び音声出力部17は、比較結果を出力してもよい。一例として、比較結果は第1の割合及び第5の閾値である。他の例として、比較結果は、2値画像領域の鮮明度が極大ではないこと、または撮影部13の焦点が合っていないことなどの警告である。

0076

第2の実施形態に係る画像処理装置10は、第1の実施形態に係る画像処理装置10よりも、自然画像領域と2値画像領域が混在する画像における2値画像領域の鮮明度を正確に判定することができる。

0077

(第3の実施形態)
第3の実施形態について説明する。図11は、第3の実施形態に係る一例となる画像処理装置10のブロック図である。なお、第1の実施形態と同様の構成には同一の参照符号を付し、その説明を省略する。

0078

第3の実施形態に係る撮影部13は、オートフォーカス機能及びフォーカス判定機能を備えたカメラである。撮影部13は、処理部14からの信号に基づいて、フォーカスを修正する。

0079

次に、第3の実施形態に係る画像処理装置10による処理の例を説明する図5、6、9及び10を再度用いて説明する。図5のAct1007、図6のAct2007、図9のAct3009及び図10のAct4009において、第3の実施形態に係る画像処理10は、第1の実施形態及び第2の実施形態と異なる処理を行う。

0080

図5のAct1007、図6のAct2007、図9のAct3009及び図10のAct4009において、撮影部13は、比較結果に基づいて、撮影対象に対する撮影部13の焦点が合うようにフォーカスを修正する。フォーカスの修正量は任意に設定可能である。なお、撮影部13は、処理部14から送られる比較結果に基づいてフォーカスを修正しても、処理部14から送られるフォーカス修正量の情報に基づいてフォーカスを修正するようにしてもよい。

0081

図5のAct1007、図6のAct2007、図9のAct3009及び図10のAct4009の後、撮影部13は、フォーカスを修正した状態で再び同じ対象を撮影する。

0082

第3の実施形態によれば、第1の実施形態及び第2の実施形態と同様の効果を得ることができる。

0083

動作を実行する主体は例えば、ハードウェア、ハードウェアとソフトウェアとの複合体、ソフトウェア、及び実行中のソフトウェアなどといった、コンピュータに係る主体である。動作を実行する主体は例えば、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト実行ファイルスレッドプログラムおよびコンピュータであるがこれらに限るものではない。例えば、画像処理装置やそこで実行されるアプリケーションが動作を実行する主体であってもよい。プロセスやスレッドに、動作を実行する主体を複数演じさせてもよい。動作を実行する主体が1つの画像処理装置内にあってもよいし、複数の画像処理装置へ分配されたかたちであってもよい。

0084

装置内部に以上説明した機能が予め記録されていてもよいし、同様の機能をネットワークから装置にダウンロードしてもよいし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ディスクROMやメモリカード等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。

0085

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0086

10…画像処理装置、11…移動体、12…制御部、13…撮影部、14…処理部、15…記憶部、16…表示部、17…音声出力部、20…棚、131…レンズ、141…演算部、142…比較判定部、151…基準値。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ