図面 (/)

技術 画像処理装置及び画像処理プログラム

出願人 富士ゼロックス株式会社
発明者 御厨洋森太郎
出願日 2016年3月23日 (4年4ヶ月経過) 出願番号 2016-057781
公開日 2017年9月28日 (2年10ヶ月経過) 公開番号 2017-174030
状態 未査定
技術分野 イメージ分析 文字入力
主要キーワード 計算不能 携帯情報通信機器 位置合わせ対象 ゼロ除算 画像補正モジュール 帳票原稿 認識領域内 相関係数算出
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年9月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止するようにした画像処理装置を提供する。

解決手段

画像処理装置の分割手段は、2つの画像をそれぞれ複数の領域に分割し、抽出手段は、前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出し、制御手段は、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する。

概要

背景

特許文献1には、タイミングマークが不要で、かつ、中間色で印刷された帳票原稿も安定して位置合わせを行える画像処理装置の実現を課題とし、2つの同種の濃淡画像の位置を相互に対応させて合わせる画像処理を行う画像処理装置において、2つの濃淡画像のそれぞれから位置合わせの目印となる部分を抽出する目印抽出手段と、この目印抽出手段で抽出した目印の中から各画像の対応する目印を選択する対応目印選択手段と、この対応目印選択手段で対応づけられた目印同士の位置関係を基に一方の画像上の座標値から他方の画像上の対応する座標値を求める数式を演繹する変換式算出手段とを備えることが開示されている。

概要

類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止するようにした画像処理装置を提供する。画像処理装置の分割手段は、2つの画像をそれぞれ複数の領域に分割し、抽出手段は、前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出し、制御手段は、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する。

目的

本発明は、類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止するようにした画像処理装置及び画像処理プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

2つの画像をそれぞれ複数の領域に分割する分割手段と、前記2つの画像間で対応する分割画像間類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する抽出手段と、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する制御手段を有する画像処理装置

請求項2

前記予め定められた値として、類似度を示す値としての最低値以下の値又は前記配列内での最低値以下の値を用いる、請求項1に記載の画像処理装置。

請求項3

前記分割手段は、一方の画像内の第1の分割画像は他方の画像内の第2の分割画像よりも小さくし、前記類似度を示す値の配列は、第2の分割画像内で第1の分割画像をずらしながら、類似度を示す値を算出した結果の配列である、請求項1又は2に記載の画像処理装置。

請求項4

コンピュータを、2つの画像をそれぞれ複数の領域に分割する分割手段と、前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する抽出手段と、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する制御手段として機能させるための画像処理プログラム

技術分野

0001

本発明は、画像処理装置及び画像処理プログラムに関する。

背景技術

0002

特許文献1には、タイミングマークが不要で、かつ、中間色で印刷された帳票原稿も安定して位置合わせを行える画像処理装置の実現を課題とし、2つの同種の濃淡画像の位置を相互に対応させて合わせる画像処理を行う画像処理装置において、2つの濃淡画像のそれぞれから位置合わせの目印となる部分を抽出する目印抽出手段と、この目印抽出手段で抽出した目印の中から各画像の対応する目印を選択する対応目印選択手段と、この対応目印選択手段で対応づけられた目印同士の位置関係を基に一方の画像上の座標値から他方の画像上の対応する座標値を求める数式を演繹する変換式算出手段とを備えることが開示されている。

先行技術

0003

特開2000−251075号公報

発明が解決しようとする課題

0004

2つの画像の位置合わせを行うにあたって、特許文献1に記載の技術のように、相関係数を算出することが行われている。
しかし、白紙画像同士のような場合の相関係数は、一致する位置が複数発生してしまうため、位置合わせに利用するには好ましくない。
そこで、本発明は、類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

課題を解決するための手段

0005

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、2つの画像をそれぞれ複数の領域に分割する分割手段と、前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する抽出手段と、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する制御手段を有する画像処理装置である。

0006

請求項2の発明は、前記予め定められた値として、類似度を示す値としての最低値以下の値又は前記配列内での最低値以下の値を用いる、請求項1に記載の画像処理装置である。

0007

請求項3の発明は、前記分割手段は、一方の画像内の第1の分割画像は他方の画像内の第2の分割画像よりも小さくし、前記類似度を示す値の配列は、第2の分割画像内で第1の分割画像をずらしながら、類似度を示す値を算出した結果の配列である、請求項1又は2に記載の画像処理装置である。

0008

請求項4の発明は、コンピュータを、2つの画像をそれぞれ複数の領域に分割する分割手段と、前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する抽出手段と、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する制御手段として機能させるための画像処理プログラムである。

発明の効果

0009

請求項1の画像処理装置によれば、類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止することができる。

0010

請求項2の画像処理装置によれば、予め定められた値として、類似度を示す値としての最低値以下の値又は配列内での最低値以下の値を用いることができる。

0011

請求項3の画像処理装置によれば、第2の領域内で第1の領域をずらしながら、類似度を示す値を算出した結果の配列を用いることができる。

0012

請求項4の画像処理プログラムによれば、類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止することができる。

図面の簡単な説明

0013

本実施の形態の構成例についての概念的なモジュール構成図である。
本実施の形態を利用したシステム構成例を示す説明図である。
本実施の形態による処理例を示すフローチャートである。
本実施の形態による処理例を示すフローチャートである。
本実施の形態による一方の画像の例を示す説明図である。
本実施の形態による他方の画像の例を示す説明図である。
2つの画像を単純に重ね合わせた場合の例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態による処理例を示す説明図である。
本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

実施例

0014

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能ソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク一対一対応通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。

0015

本実施の形態である画像処理装置100は、2つの画像の位置合わせを行うものであって、図1の例に示すように、画像受付モジュール110、画像分割モジュール120、テンプレートマッチング処理モジュール130、画像補正モジュール170を有している。

0016

画像受付モジュール110は、画像分割モジュール120と接続されている。画像受付モジュール110は、複数の画像を受け付けて、その画像を画像分割モジュール120へ渡す。画像を受け付けるとは、例えば、スキャナカメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている画像を読み出すこと等が含まれる。画像は、2値画像多値画像カラー画像を含む)であってもよい。受け付ける画像は、複数枚である。また、画像の内容として、ビジネスに用いられる文書広告宣伝用パンフレット等であってもよい。
画像受付モジュール110が受け付ける複数の画像は、位置合わせ対象の画像である。例えば、同じテンプレート(型、雛型フォーム等)を用いた文書画像である。位置合わせは、例えば、操作者の操作によって、ある画像(一般的には1枚目の画像)に対して行われた領域指定を、他の画像(2枚目以降の画像)に対しても適用するためのものである。例えば、図5図6に示す画像のように、両者は納品書というテンプレートに記載された文書であって、内容(記載されている文字等)は異なるが、その元のテンプレート部分(矩形で囲まれた表等)は同じである。したがって、本来ならば、図5の画像に対して行われた領域指定を、そのままの座標で、図6の画像に対して行うことができるはずである。
しかし、画像を読み込んだスキャナ等の性能によって、位置ずれが発生するのが一般的である。図7の例に示す画像は、図5の画像と図6の画像とを単純に重ね合わせたものである。表の罫線等がずれているのがわかる。このように、同じテンプレートを用いた画像であっても、両者にはずれが発生している。したがって、ある画像に対して行われた領域指定を、同じテンプレートを用いた他の画像に対しても適用するためには、位置合わせ(位置ずれの補正)が必要である。

0017

画像分割モジュール120は、画像受付モジュール110、テンプレートマッチング処理モジュール130と接続されている。画像分割モジュール120は、画像受付モジュール110が受け付けた2つの画像をそれぞれ複数の領域に分割する。
「2つの画像をそれぞれ複数の領域に分割する」とは、具体的には、2つの画像に対して縦方向及び横方向に同じ数だけの領域に分割することであって、2つの画像で同じ数の分割画像を生成することである。また、分割画像は矩形画像長方形正方形を含む)となる。
また、一方の画像内の第1の分割画像は他方の画像内の第2の分割画像よりも小さい画像とする。
図8(a)に示す例は、図5に示す画像を領域分割したものである。図8(b)に示す例は、図6に示す画像を領域分割したものである。この例は、横方向に10個の領域、縦方向に15個の領域に、両者の画像を分割したものである。図8(b)に示す分割画像は、図8(a)に示す分割画像よりも小さくしている。具体的には、分割画像を、上方向、下方向、左方向、右方向にそれぞれ予め定められた画素数だけ小さくすればよい。なお、各方向における画素数は、同じであってもよいし、異なっていてもよい。例えば、上下方向に5画素ずつ、左右方向に10画素ずつ小さくしたものであってもよい。
なお、図8の例では、1枚の画像内の分割画像は全て同じ大きさとしているが、異なる大きさの分割画像に分割してもよい。ただし、2枚の画像間で、対応している分割画像が存在している必要がある。

0018

テンプレートマッチング処理モジュール130は、相関係数算出モジュール140、除外モジュール150、ずれ算出モジュール160を有しており、画像分割モジュール120、画像補正モジュール170と接続されている。
相関係数算出モジュール140は、画像分割モジュール120によって生成された、2つの画像間で対応する分割画像間の類似度を示す値を算出する。「2つの画像間で対応する分割画像」とは、2つの画像内での分割画像の位置が同じことをいう。具体的には、一方の画像の左上に位置する分割画像(A)と他方の画像の左上に位置する分割画像(a)は対応しており、分割画像(A)の右隣に位置する一方の画像の分割画像(B)と分割画像(a)の右隣に位置する他方の画像の分割画像(b)は対応しており、以下同様に、一方の画像内の全ての分割画像に対して、他方の画像内で対応する分割画像が存在する。類似度を示す値として、画像間の類似度を示す値であればよく、具体な例として、相関係数、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)等がある。以下、相関係数を例示して示すが、もちろんのことながら、他の値を用いてもよい。

0019

相関係数の算出は、既存の技術を用いればよい。例えば、式(1)を用いて算出すればよい。つまり、2組の画素値データ列{(xi,yi)}(i=1,2,…,n)から、相関係数rを式(1)を用いて算出する。xiは第1の分割画像の画素値、yiは第2の分割画像の画素値である。

0020

第2の分割画像内で第1の分割画像をずらしながら、相関係数を算出する。なお、第1の分割画像は、第2の分割画像よりも小さい。そして、第2の分割画像と第1の分割画像との位置関係に合わせて、その相関係数の配列を生成する。
図9(a1)の例に示す分割画像A:900Aは、図8(a)の例に示した1つの分割画像を示している。図9(a2)の例に示す分割画像B:910Bは、図8(b)の例に示した1つの分割画像を示している。つまり、図8(a)の分割画像A:900Aの位置に対応する図8(b)の領域B:900B内から分割画像B:910Bを抽出したものである。図9(a1)に示すように一方の分割画像A:900Aがあり、それに対応した位置に図9(a2)に示す他方の分割画像B:910Bがある。なお、分割画像B:910Bは、領域B:900B(分割画像A:900Aと同じ大きさ)を小さくしたものである。なお、説明を簡略化するために、分割画像A:900Aを縦5画素、横5画素の矩形とし、分割画像B:910Bを縦3画素、横3画素の矩形としている。この例では、領域B:900Bを上下左右に1画素ずつ小さい領域の画像を分割画像B:910Bとしているが、上側をV(Vは1以上の整数)画素、右側をW(Wは1以上の整数)画素、下側をX(Xは1以上の整数)画素、左側をY(Yは1以上の整数)画素小さくしたものであってもよい。なお、V、W、X、Yはそれぞれ異なる数値であってもよいし、同じ数値が含まれていてもよいし、全てが同じ数値であってもよい。

0021

「ずらしながら」とは、画像走査と同じであり、具体的に示すと、図9(b1)から図9(b9)の例に示すように、分割画像A:900Aの左上端の位置に分割画像B:910Bを配置させ(図9(b1))、その位置から1画素(この例では1画素としているが、1画素に限る必要はない)毎に、右方向に分割画像B:910Bを移動させ(図9(b2))、右端に到達(図9(b3))したならば、1画素下の行の左端に移動させ(図9(b4))、右下端に移動させる(図9(b9))ことである。そして、各位置で相関係数を算出する。図9(b1)から図9(b9)の例では、9つの相関係数を算出することになる。そして、この相関係数を、図9(c)の例に示す3×3の配列である相関係数配列990に格納する。つまり、図9(b1)における相関係数を相関係数配列990の(1,1)の位置に、図9(b2)における相関係数を相関係数配列990の(1,2)の位置に、図9(b3)における相関係数を相関係数配列990の(1,3)の位置に、図9(b4)における相関係数を相関係数配列990の(2,1)の位置に、図9(b5)における相関係数を相関係数配列990の(2,2)の位置に、図9(b6)における相関係数を相関係数配列990の(2,3)の位置に、図9(b7)における相関係数を相関係数配列990の(3,1)の位置に、図9(b8)における相関係数を相関係数配列990の(3,2)の位置に、図9(b9)における相関係数を相関係数配列990の(3,3)の位置に格納する。したがって、図9(c)の例に示す相関係数配列990は、分割画像A:900A内で分割画像B:910Bをずらしながら、相関係数を算出した結果の配列となる。

0022

次に、2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、その第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する。ここで、第2の値を抽出するにあたって、第1の値の近傍を対象としないで抽出すればよい。それを実現する方法として、例えば、(1)第1の値の位置の近傍を 類似度が低い値(いわゆる悪いスコア)で塗りつぶす。(2)第1の値の位置の近傍を除外するような最高値抽出の繰り返し処理によって、第2の値を抽出する、等の方法がある。以下に、この(1)の方法を採用した除外モジュール150による処理例を説明する。もちろんのことながら、(2)の方法等を採用してもよい。
除外モジュール150は、2つの画像間で対応する分割画像間の相関係数を配置した配列内で、最上位の相関係数である第1の値(配列内で最も類似していることを示す値、いわゆるピーク値)の位置を含むエリア内の相関係数の値を予め定められた値に変換する。ここで、「予め定められた値」として、相関係数の値としての最低値以下の値又はその配列内での最低値以下の値を用いるようにしてもよい。つまり、そのエリア内の値が、第2の値として抽出されることがないようにすればよい。なお、ここで「第1の値の位置を含むエリア」とは、第1の値の位置のいわゆる近傍を意味している。エリアとして、例えば、第1の値の位置を中心として予め定められた大きさの矩形(正方形を含む長方形)内のエリアとしてもよいし、第1の値の位置を中心として予め定められた半径で描かれる円内のエリア等としてもよい。
次に、除外モジュール150は、変換後の配列内での最上位の相関係数である第2の値(いわゆる悪いスコアで塗りつぶした後の配列内でのいわゆるピーク値)を抽出する。
そして、除外モジュール150は、各分割画像の相関係数のうち、第1の値と第2の値の差分が、予め定められた閾値未満又は以下である相関係数を除外して、2つの画像の位置合わせを行うように制御する。つまり、除外した相関係数以外の相関係数を、ずれ算出モジュール160に渡す。

0023

図10〜12の例は、相関係数の配列と元の分割画像を対比して示したものである。各図(b)に示す例は、元の分割画像の一方を示したものである。各図(a)に示す例は、その分割画像の(2つの画像内の対応する分割画像間の)相関係数の配列を示しており、相関係数が高い「1」に近い値を白色で示しており、相関係数が低い「0」に近い値を黒色で示している。
図10では、相関係数の高い位置(白い位置)は、左側中央に位置していることを示している。
図11では、相関係数の高い位置は、全体に位置していることを示している。なお、図11(a)に示す例では、黒くなっている。その理由は2つある。
ひとつは、ゼロ除算になっている場合である。全ての画素が同じ値だと相関係数の計算の分母が0になり、計算不能なため黒にしている。ゼロ除算であるので、全画素の値が一致していたとしても、相関係数としては「計算不能」である。計算不能を「相関が高い」とみなすわけではない。図11(a)の例では、最大値の計算や様子を出力する都合上、「計算不能」をある実数マッピングする必要がある。この場合、相関がないことを示す「0又は−1」にマッピングするのが妥当である。1にしてしまうと、「計算不能」が最大値として採用されてしまう恐れがある。
もうひとつは、紙の表面の微細凹凸が画像としてとらえられている場合である。肉眼では真っ白に見えるが、画素値の上では完全な真っ白ではなく、ノイズ等があると考えられる。この場合は、異なる紙の表面の凹凸が高い相関をもつことはまれであるので、どの場所も0に非常に近い値となり、図11(a)の例では黒となる。
図12では、相関係数の高い位置は、横中央に位置していることを示している。つまり、左右にずらしても2つの分割画像は一致していることを示している。

0024

図13〜15の例は、配列内で最上位の相関係数である第1の値の位置を含むエリア内の相関係数の値を予め定められた値に変換したことを示すものである。「配列内で最上位」であるので、相関係数が「1」に近い値とは限らず、その配列内で最上位であればよい。また、エリアは、第1の値の位置を含むものであれば、どのような形状でもよい。そして、エリアのサイズは予め定められた大きさである。ただし、エリアとして、第1の値の位置を中心とした円が好ましく、半径は予め定められた大きさである。また、ここで変換する「予め定められた値」として、相関係数の値としての最低値(−1)を用いている。
図13では、配列内で最上位の相関係数は左側中央に位置しているので、エリア1300はその位置を含む位置に配置している。
図14では、配列内で最上位の相関係数は、例えば、中央に位置しているので、エリア1400はその位置を含む位置に配置している。
図15では、配列内で最上位の相関係数は中央に位置していることを示しているので、エリア1500はその位置を含む位置に配置している。
そして、エリア1300、エリア1400、エリア1500内を最低値(−1)にする。図では、そのエリア内を黒く塗りつぶしている。

0025

次に、図13〜15の配列内で、第2の値(ピーク値)を抽出する。第2の値は第1の値以下の値になる。
そして、第1の値と第2の値の差分が、予め定められた閾値未満又は以下である場合、相関係数がピークとなった座標を位置合わせのために用いる座標のリストから除外する。図14図15の例は除外されることとなる。したがって、図13の例が位置合わせのために用いられることとなる。つまり、相関係数のピークが1点に定まっているものを採用する。
なお、最低値とする対象を、点ではなく範囲のあるエリアとした理由は、ピークの周辺はそのピークに近い値の相関係数である可能性が高いためである。

0026

図16に示す例は、ずれの算出に用いられる分割画像の中心位置をドット黒点)で表示したものである。図16(a)に示す例は図5の例に示した画像上にプロットしたものであり、図16(b)に示す例は図6の例に示した画像上にプロットしたものである。背景部分、横線のみ(又は縦線のみ)である分割画像は、除外されていることがわかる。逆に、文字、線の交点等がある分割画像が採用されている。ずれ算出モジュール160は、このドットの位置にある分割画像の相関係数を用いて、2つの画像間のずれを算出する。

0027

ずれ算出モジュール160は、除外した相関係数以外の相関係数を用いて、2つの画像間のずれを算出する。図16に示す例では、ずれ算出モジュール160は、ドットが付された分割画像における相関係数を用いて、ずれを算出する。第1の値の位置が配列内の中央にあれば、ずれはないことになる。第1の値の位置と配列内の中央の位置関係が、ずれ(2点間の距離、方向)になる。
画像補正モジュール170は、テンプレートマッチング処理モジュール130と接続されている。画像補正モジュール170は、ずれ算出モジュール160によって算出されたずれを用いて、画像を補正する。具体的には、ずれている分だけ逆方向にアフィン変換(主に、平行移動)すればよい。つまり、第1の値の位置が配列内の中央になるように、アフィン変換を施せばよい。

0028

図2は、本実施の形態を利用したシステム構成例を示す説明図である。
図2(a)に示す例は、画像処理装置100に文字認識装置210を接続したものである。前述したように、画像処理装置100は、テンプレートを用いて作成された複数枚の文書画像を読み込んで、位置合わせを行う。そして、操作者の操作によって、そのうちの1枚(一般的には、最初の文書画像)に対して、認識領域を設定する。文字認識装置210は、その認識領域内の文字を認識する。位置合わせが行われているので、操作者は、それ以外の文書画像に対して認識領域を設定する必要はない。なお、画像処理装置100による位置合わせが行われていないと、ずれが発生しているので、全ての文書画像で、認識領域を設定する必要が生じる。又は、1枚目の文書画像に対して行った認識領域の設定をそのまま流用した場合は、ずれがあるので認識率が低くなってしまう。
図2(b)に示す例は、画像読取装置220が、画像処理装置100、文字認識装置210を有しているシステム構成である。画像読取装置220が読み込んだ複数の文書画像に対して、図2(a)に示す例と同様の処理を行うことができる。

0029

図2(c)に示す例は、画像処理装置100A、文字認識装置210A、画像読取装置220、画像読取装置230、画像形成装置240が、通信回線290を介してそれぞれ接続されているシステム構成である。通信回線290は、無線有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネットイントラネット等であってもよい。また、画像処理装置100による機能は、クラウドサービスとして実現してもよい。
画像読取装置230、複合機(スキャナ、プリンタ複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)である画像形成装置240で読み込んだ文書画像を、通信回線290を介して画像処理装置100A(又は画像読取装置220内の画像処理装置100B)に送信し、位置合わせした画像を、通信回線290を介して文字認識装置210A(又は画像読取装置220内の文字認識装置210B)に送信し、文字認識結果を得るようにしてもよい。

0030

図3図4は、本実施の形態による処理例を示すフローチャートである。
テップS302では、画像受付モジュール110は、画像Aを受け付ける。
ステップS304では、画像受付モジュール110は、画像Bを受け付ける。
ステップS306では、画像分割モジュール120は、画像Aを分割することによって、分割画像Aを生成する。
ステップS308では、画像分割モジュール120は、画像Bを分割することによって、分割画像Bを生成する。ただし、分割画像Bは、分割画像Aよりも小さいものとする。

0031

ステップS310では、相関係数算出モジュール140は、分割画像Aと分割画像Bとの相関係数を算出する。
ステップS312では、相関係数算出モジュール140は、分割画像A内で分割画像Bを移動する。
ステップS314では、相関係数算出モジュール140は、走査が終了したか否かを判断し、終了した場合はステップS316へ進み、それ以外の場合はステップS310に戻る。

0032

ステップS316では、除外モジュール150は、相関係数のピークAを抽出する。
ステップS318では、除外モジュール150は、相関係数の分布において、ピークAを含む部分領域内を相関係数の低い値(例えば、最も低い値)に変更する。
ステップS320では、除外モジュール150は、ステップS318の処理後の相関係数の分布において、相関係数のピークBを抽出する。

0033

ステップS322では、除外モジュール150は、「ピークAとピークBの差分<閾値T」であるか否かを判断し、「ピークAとピークBの差分<閾値T」である場合はステップS324へ進み、それ以外の場合はステップS326へ進む。
ステップS324では、除外モジュール150は、その分割画像における相関係数は除外する。
ステップS326では、ずれ算出モジュール160は、その分割画像におけるずれ量を算出する。

0034

ステップS328では、相関係数算出モジュール140は、相関係数を算出していない分割画像はあるか否かを判断し、ある場合はステップS310に戻り、それ以外の場合はステップS330へ進む。
ステップS330では、画像補正モジュール170は、画像Bを画像Aに合わせる補正をする。
ステップS332では、画像補正モジュール170は、補正後の画像Bを出力する。

0035

図17を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図17に示す構成は、例えばパーソナルコンピュータ(PC)等によって構成されるものであり、スキャナ等のデータ読み取り部1717と、プリンタ等のデータ出力部1718を備えたハードウェア構成例を示している。

0036

CPU(Central Processing Unit)1701は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール110、画像分割モジュール120、テンプレートマッチング処理モジュール130、相関係数算出モジュール140、除外モジュール150、ずれ算出モジュール160、画像補正モジュール170等の各モジュールの実行シーケンス記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

0037

ROM(Read Only Memory)1702は、CPU1701が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)1703は、CPU1701の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバス等から構成されるホストバス1704により相互に接続されている。

0038

ホストバス1704は、ブリッジ1705を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス1706に接続されている。

0039

キーボード1708、マウス等のポインティングデバイス1709は、操作者により操作されるデバイスである。ディスプレイ1710は、液晶表示装置又はCRT(Cathode Ray Tube)等があり、各種情報テキストイメージ情報として表示する。また、ポインティングデバイス1709とディスプレイ1710の両方の機能を備えているタッチスクリーン等であってもよい。

0040

DD(Hard Disk Drive)1711は、ハードディスク(フラッシュメモリ等であってもよい)を内蔵し、ハードディスクを駆動し、CPU1701によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、画像受付モジュール110が受け付けた画像、算出した相関係数、画像補正モジュール170による処理結果等が格納される。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。

0041

ドライブ1712は、装着されている磁気ディスク光ディスク光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体1713に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース1707、外部バス1706、ブリッジ1705、及びホストバス1704を介して接続されているRAM1703に供給する。なお、リムーバブル記録媒体1713も、データ記録領域として利用可能である。

0042

接続ポート1714は、外部接続機器1715を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート1714は、インタフェース1707、及び外部バス1706、ブリッジ1705、ホストバス1704等を介してCPU1701等に接続されている。通信部1716は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部1717は、例えばスキャナであり、ドキュメント読み取り処理を実行する。データ出力部1718は、例えばプリンタであり、ドキュメントデータ出力処理を実行する。

0043

なお、図17に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図17に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific IntegratedCircuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図17に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器携帯電話スマートフォンモバイル機器ウェアラブルコンピュータ等を含む)、情報家電ロボット、複写機、ファックス、スキャナ、プリンタ、複合機などに組み込まれていてもよい。

0044

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイルディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリCD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスクFD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダムアクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分又は全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

0045

100…画像処理装置
110…画像受付モジュール
120…画像分割モジュール
130…テンプレートマッチング処理モジュール
140…相関係数算出モジュール
150…除外モジュール
160…ずれ算出モジュール
170…画像補正モジュール
210…文字認識装置
220…画像読取装置
230…画像読取装置
240…画像形成装置
290…通信回線

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社ドワンゴの「 データ補正装置およびプログラム」が 公開されました。( 2020/06/04)

    【課題】機械学習に用いられる学習データの規模を抑制しつつ、学習モデルにより動体の複数の部位の位置データを高精度に補正する。【解決手段】実施形態によれば、データ補正装置は、取得部と、分類部と、第1の補正... 詳細

  • 株式会社アイエンターの「 魚体サイズ算出装置」が 公開されました。( 2020/06/04)

    【課題】回遊中の魚の実サイズを正確に算出することができる魚体サイズ算出装置を提供する。【解決手段】魚体サイズ算出装置は、回遊中の魚を水中で撮像する撮像装置と、当該魚の実サイズを算出するための演算処理を... 詳細

  • 株式会社リコーの「 情報処理装置、情報処理システム及び情報処理方法」が 公開されました。( 2020/06/04)

    【課題】対象物の変動量を検出することで、対象物の異常の検出精度を向上させる情報処理装置を提供する。【解決手段】情報処理システムにおいて、情報処理装置は、撮像画像を取得し、撮像画像に含まれる被写体の第1... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ