図面 (/)

技術 文字認識装置及び文字認識方法

出願人 富士通フロンテック株式会社
発明者 長谷川将平江口真一川島哉金元浩一井上博貴矢吹眞紀小原勝利
出願日 2009年3月31日 (12年5ヶ月経過) 出願番号 2011-506849
公開日 2012年10月4日 (8年10ヶ月経過) 公開番号 WO2010-113217
状態 特許登録済
技術分野 文字入力 イメージ分析
主要キーワード 解析対象範囲 連続成分 矩形面積 項目セル 候補箇所 二次抽出 一次抽出 特徴要素
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年10月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

イメージデータの文字枠内の点線を除去して、文字認識率を高めることを目的とする。点線と文字との重なりが多い場合や、点線が掠れていて点線候補箇所が抽出できないことがある。このような場合に、同じ文字枠(又は関連性のある他の項目の文字枠)内の点線候補の間隔、長さ、幅等の特徴を参考にして点線候補の位置を推定し、推定した位置のイメージデータと、抽出済みの点線(又は基準点線)のイメージデータを比較して、同一の点線か否かを判定する。

概要

背景

帳票伝票など)に印刷又は手書きされた文字等をデータとして保存するために、帳票をイメージスキャナ等でカラー画像として読み取り、読み取ったカラーイメージデータ文字認識を行う文字認識装置が知られている。

帳票には文字が印刷(又は記入)される複数の項目があり、各項目の文字枠の大きさ、位置は帳票毎に異なっている。従来は、そのような種々の形式の帳票の文字を認識できるようにするために、文字枠の形状、位置、色等を指定する定義情報を予めオペレータが作成する必要があった。

しかしながら、上記のように定義情報を予め作成する方法は、オペレータの作業工数が多くなるという問題点がある。
特許文献1には、2値画像黒画素連結成分水平線垂直線、文字及び破線素に分類し、水平方向の隣接する2破線素間の間隔と、間隔を含む全長との比である白割合がしきい値以下の場合、それらの破線素を連結可能と判断することが記載されている。

特許文献2には、2値画像から矩形を抽出し、矩形内の黒画素数計数し、矩形面積に対する黒画素数を黒画素占有率として計算する。そして、黒画素占有率を基にその矩形が点線を構成するか否かを判定することが記載されている。

特許文献3には、2値画像から黒画素連続成分の矩形を抽出し、抽出した矩形から表のセルに相当する実線枠を抽出する。そして、実線枠内の点線要素に相当する矩形を抽出し、所定の距離内にある点線要素を結合させることで点線罫線を抽出することが記載されている。
特開昭61−175880号公報
特開平10−97588号公報
特開平11−242716号公報

概要

イメージデータの文字枠内の点線を除去して、文字認識率を高めることを目的とする。点線と文字との重なりが多い場合や、点線が掠れていて点線候補箇所が抽出できないことがある。このような場合に、同じ文字枠(又は関連性のある他の項目の文字枠)内の点線候補の間隔、長さ、幅等の特徴を参考にして点線候補の位置を推定し、推定した位置のイメージデータと、抽出済みの点線(又は基準点線)のイメージデータを比較して、同一の点線か否かを判定する。

目的

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

帳票イメージデータから点線候補を抽出する抽出手段と、抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集する特徴収集手段と、認識対象同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所推定する推定手段と、前記抽出手段により抽出された前記点線候補と前記推定手段により推定された前記点線候補を前記イメージデータから除去する除去手段と、前記除去手段により前記点線候補が除去されたイメージデータの文字の認識を行う文字認識手段とを備える文字認識装置

請求項2

前記推定手段は、認識対象の前記同一文字枠内又は他の文字枠内の点線候補の前記特徴情報と前記点線候補間の間隔を示す情報に基づいて、認識対象の前記文字枠内の点線候補箇所と点線の種類を推定する請求項1記載の文字認識装置。

請求項3

前記推定手段は、認識対象の前記文字枠内又は関連性のある他の文字枠内の複数の点線候補の間隔に基づいて、認識対象の前記文字枠内に抽出されていない点線候補があるか否かを推定し、点線候補があると推定された場合には、前記イメージデータの点線が存在すると推定される位置の画像データと、複数の点線候補から得られる基準点線の画像データを比較し、前記画像データの一致度基準値以上のとき、前記推定した位置に前記基準点線と同じ点線候補が存在すると推定する請求項1記載の文字認識装置。

請求項4

前記推定手段は、同一文字枠内で抽出された複数の点線候補の間隔に基づいて各点線候補間を基準とした点線候補間の間隔を示す間隔表を作成し、前記間隔表の間隔の1倍、(1/n)倍の値に対してそれぞれ異なる投票数割り当て、前記間隔表の間隔毎に投票数を累計して累計値が最も大きい間隔を、前記点線候補間の間隔と推定する請求項1記載の文字認識装置。

請求項5

帳票のイメージデータから点線候補を抽出し、抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集して記憶手段に格納し、認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定し、抽出された前記点線候補と推定された前記点線候補を前記イメージデータから除去し、前記点線候補が除去されたイメージデータの文字の認識を行う文字認識方法

請求項6

認識対象の前記同一文字枠内又は他の文字枠内の点線候補の前記特徴情報と前記点線候補間の間隔を示す情報に基づいて、認識対象の前記文字枠内の点線候補箇所と点線の種類を推定する請求項5記載の文字認識方法。

請求項7

前記同一文字枠内又は関連性のある他の文字枠の複数の点線候補の間隔に基づいて、抽出されていない点線候補があるか否かを推定し、点線候補があると推定された場合には、前記イメージデータの点線が存在すると推定される位置の画像データと、複数の点線候補から得られる基準点線の画像データを比較し、前記画像データの一致度が基準値以上のとき、前記推定した位置に前記基準点線と同じ点線候補が存在すると推定する請求項6記載の文字認識方法。

請求項8

同一文字枠内で抽出された複数の点線候補の間隔に基づいて、各点線候補間を基準とした点線候補間の間隔を示す間隔表を作成し、前記間隔表の間隔の1倍、(1/n)倍の値に対してそれぞれ異なる投票数を割り当て、間隔毎に投票数を累計して累計値が最も大きい間隔を、前記セルにおける点線間の間隔と推定する請求項5記載の文字認識方法。

技術分野

0001

本発明は、帳票等の文字を認識する文字認識装置及びその文字認識方法に関する。

背景技術

0002

帳票(伝票など)に印刷又は手書きされた文字等をデータとして保存するために、帳票をイメージスキャナ等でカラー画像として読み取り、読み取ったカラーイメージデータ文字認識を行う文字認識装置が知られている。

0003

帳票には文字が印刷(又は記入)される複数の項目があり、各項目の文字枠の大きさ、位置は帳票毎に異なっている。従来は、そのような種々の形式の帳票の文字を認識できるようにするために、文字枠の形状、位置、色等を指定する定義情報を予めオペレータが作成する必要があった。

0004

しかしながら、上記のように定義情報を予め作成する方法は、オペレータの作業工数が多くなるという問題点がある。
特許文献1には、2値画像黒画素連結成分水平線垂直線、文字及び破線素に分類し、水平方向の隣接する2破線素間の間隔と、間隔を含む全長との比である白割合がしきい値以下の場合、それらの破線素を連結可能と判断することが記載されている。

0005

特許文献2には、2値画像から矩形を抽出し、矩形内の黒画素数計数し、矩形面積に対する黒画素数を黒画素占有率として計算する。そして、黒画素占有率を基にその矩形が点線を構成するか否かを判定することが記載されている。

0006

特許文献3には、2値画像から黒画素連続成分の矩形を抽出し、抽出した矩形から表のセルに相当する実線枠を抽出する。そして、実線枠内の点線要素に相当する矩形を抽出し、所定の距離内にある点線要素を結合させることで点線罫線を抽出することが記載されている。
特開昭61−175880号公報
特開平10−97588号公報
特開平11−242716号公報

発明が解決しようとする課題

0007

帳票の数字等を記入又は印刷する文字枠内には、桁を見やすくするために点線が印刷されている。点線には通常、細い線が使用されるので、印刷状態によっては点線が掠れてしまうことがある。また、文字の印刷位置がずれて点線と重なってしまうこともある。このような場合、文字枠内の点線を正確に抽出することができなくなる。点線を正確に抽出できないと点線を除去することができず、文字認識率が低下するという問題が発生する。

0008

本発明の課題は、イメージデータの文字枠内の点線を除去して、文字認識率を高めることである。

課題を解決するための手段

0009

本発明の文字認識装置は、帳票のイメージデータから点線候補を抽出する抽出手段と、抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集する特徴収集手段と、認識対象同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所推定する推定手段と、前記抽出手段により抽出された前記点線候補と前記推定手段により推定された前記点線候補を前記イメージデータから除去する除去手段と、前記除去手段により前記点線候補が除去されたイメージデータの文字の認識を行う文字認識手段とを備える。

0010

この発明によれば、文字枠内の点線に関する定義情報の作成作業を減らし、かつ文字認識精度を確保することができる。

発明の効果

0011

本発明によれば、文字枠内の点線に関する定義情報の作成作業を減らし、かつ文字認識精度を確保することができる。

図面の簡単な説明

0012

実施の形態の文字認識装置の構成を示す図である。
点線の推定方法の説明図である。
帳票の文字認識処理フローチャート(1)である。
帳票の文字認識処理のフローチャート(2)である。
図5(A)〜(B)は、帳票のイメージデータの一例を示す図である。
図6(A)〜(E)は、画素ヒストグラムの一例を示す図である。
点線候補の一次特徴テーブルの一例を示す図である。
点線候補の二次特徴テーブルの一例を示す図である。
図9(A)〜(C)は、点線の形状特徴、点形状及び破線の形状特徴を示す図である。
図10(A)、(B)は、点線候補の分類方法の説明図である。
点線の比較方法の説明図である。
画像レベルの比較方法の説明図である。
図13(A)、(B)は、掠れのある点線の推定方法の説明図である。
図14(A)は文字と点線の重なり部分を示し、図14(B)は、点線を除去した後のイメージデータを示す図である。
投票制による点線候補推定処理のフローチャート(1)
投票制による点線候補推定処理のフローチャート(2)。
投票制による点線候補の補完及び削除の説明図である。
図18(A)、(B)は、それぞれ点線候補の間隔と間隔表を示す図である。
投票表の一例を示す図である。

発明を実施するための最良の形態

0013

以下、本発明の好適な実施の形態について説明する。図1は、実施の形態の文字認識装置11の構成を示す図である。以下、帳票等の文字枠内に印刷又は記入された文字(数字を含む)の文字認識を行う場合を例に取り説明する。

0014

イメージ入力部12は、読み取り対象の帳票等が置かれるスキャナー等の台などである。イメージ読取部13は、帳票等の文字枠、文字枠内に記入された文字等をイメージデータとして読み取る。イメージ読取部13は、例えば、スキャナーのイメージセンサなどである。

0015

イメージ表示部14は、イメージ読取部13で読み取られた帳票のイメージデータを表示する表示装置である。
解析範囲指定部15は、イメージ表示部14に表示された帳票のイメージデータの解析対象範囲を指定するためのものである。解析範囲指定部15は、例えば、ユーザが範囲を指定するためのマウスキーボード等の入力部と、入力部により指定されたイメージデータの範囲を表示装置上に表示する制御等を行うプログラムとを有する。

0016

点線・背景除去部16は、帳票全体から背景色と、例えば、認識対象範囲外の点線等を除去する。点線サンプル一次収集部17は、帳票全体から点線候補を抽出し、抽出した各点線候補をメモリ等に保存する。点線候補の一次抽出は、例えば、画素ヒストグラムを作成することにより行われる。画素ヒストグラム以外の公知の他の方法で点線を抽出しても良い。

0017

点線特徴収集部18は、点線サンプル一次収集部17で収集された点線候補から大まかな特徴を収集する。特徴要素としては、点線の長さ、間隔、太さなどの情報である。
点線サンプル二次収集部19は、点線特徴収集部18で収集した特徴情報に基づいて、帳票全体の点線候補を再収集する。

0018

点線種類特定部20は、二次収集した複数の点線候補の種類を特定する。点線種類特定部20は、例えば、帳票全体の点線候補の分布から複数の点線候補をいくつかのグループに分類し各グループの代表値を求める。

0019

解析範囲内点線評価部21は、解析対象範囲内の点線候補を、点線種類特定部20において特定した点線の形状と比較して評価する。
解析範囲内点線特定部22は、解析範囲内点線評価部21の評価に基づいて点線の種類を特定する。

0020

枠除去部23は、認識対象エリアの文字枠、文字枠内の点線を除去する。文字認識部24は、文字枠、点線等を除去したイメージデータの文字認識を行う。解析結果表示部25は、文字認識結果のデータを表示する。

0021

なお、上記の文字認識装置11の構成は一例であり、文字認識装置11が、上記の全ての機能を有する必要はない。例えば、イメージ入力部12、イメージ読取部13,イメージ表示部14等は別の装置でも良い。

0022

ここで、帳票等の点線が掠れて印刷されている場合、あるいは文字が点線と重なっている場合の点線の推定方法について、図2を参照して簡単に説明する。
図2(A)は、同じ項目のデータが連続して記録される連記帳票において、数字の印字位置がずれて数字と点線が重なっている場合の例を示している。この場合、点線と文字が重なっているために点線を正確に抽出することができない。

0023

同じ項目のデータが連続して記録される帳票では、他の明細部の点線も同じ種類の点線が使用されているので、他の明細部の点線情報(点線の太さ、長さ、間隔、色等)を利用して欠落している点線を推定することができる。

0024

図2(B)は、別の項目の点線情報から、点線の位置を推定する場合の例を示している。帳票では、他の項目で同じ種類の点線が使用されている場合が多い。帳票のこのような特徴に注目して、ある項目の点線が抽出できない場合でも、関連性のある他の項目の点線情報を参考にして、点線の位置、点線の太さ、長さ、間隔等を推定することができる。

0025

図2(B)の例では、点線が抽出できなかった依頼人欄の点線を、受取人欄の点線情報を参考にして点線を推定している。また、金額欄の点線の種類を、手数料欄の点線の特徴情報から推定している。

0026

以下、帳票をカラーイメージスキャナ等で読み取ったときに、点線と文字が重なっていて点線を抽出できない場合、あるいは点線が掠れて点線を抽出できない場合に、点線候補の位置を推定して点線を除去し、文字認識を行う処理について説明する。

0027

図3及び図4は、帳票の文字認識処理のフローチャート(1)、(2)である。
イメージ読取部13で読み取られた帳票のカラーイメージデータ31を取得し、さらに金額欄の大まかな座標32を取得する。なお、金額欄の座標は、ユーザが予め大まかな座標を指定しても良いし、後述するステップS12のセルの抽出処理において、数字が存在する領域を金額欄として抽出し、ユーザがそれを確認して座標を確定するようにしても良い。

0028

最初に、帳票のカラーイメージデータから背景色と明らかな文字を除去する(図3、S11)。
次に、帳票全体から罫線/セルを抽出する(S12)。罫線/セルの抽出方法としては、例えば、カラーイメージデータで同じ色の画素が連続する実線(罫線)を抽出し、実線で囲まれる矩形領域をセルとして抽出する。

0029

図5(A)〜(C)は、帳票のカラーイメージデータ(図5では白、黒の2値で表している)と処理後のイメージデータを示す図である。図5(A)は、帳票のイメージデータを示している。図5(B)は、背景色・文字を削除した後のイメージデータを示し、図5(C)は、イメージデータから抽出したセルを示している。

0030

図5(B)は、カラーイメージから背景色と文字を削除したものであり、受取人欄の名前は、文字として正常に認識されているので「○○商事」等の文字は削除されている。他方、依頼人欄のカタカナの文字と、金額欄の数字は残っている。

0031

図5(C)は、帳票のイメージデータから抽出したセルを示している。上記のステップS12の処理により、受取人欄からはセル41a、41bの2個のセルが抽出され、依頼人欄からも2個のセル42a、42bが抽出されている。また、金額欄から2個のセル43a、43bが抽出され、手数料欄からも2個のセル44a、44bが抽出されている。

0032

図3戻り、帳票全体から縦方向垂直方向)の点線の候補を抽出する(縦点線候補の一次抽出)(S13)。ステップS13の処理では、例えば、セル毎に垂直方向の画素ヒストグラムを作成することで縦点線候補箇所を抽出し、抽出した縦点線候補箇所をメモリに記憶する。点線は画素の無い部分(白画素の部分)が存在するので、画素ヒストグラムを作成したときに、実線に比べて画素の数が少なくなる。従って、画素ヒストグラムを作成することで点線候補箇所を推定することができる。

0033

点線候補を抽出する方法は、画素ヒストグラムを作成する方法に限らず、公知の点線抽出技術を用いることもできる。例えば、ステップS14の処理により点線候補箇所を抽出しても良い。ステップS14の処理では、イメージデータから複数の画素からなる矩形領域を抽出し、抽出した矩形領域内画素数を計数して矩形面積に対する画素占有率を計算する。そして、画素占有率が基準値以上のものを点線候補と推定する。

0034

次のステップS15で、横点候補の一次抽出を行う。このステップS15の処理では、水平方向の画素ヒストグラムを作成し、横点線候補箇所を特定する。
図6(A)〜(D)は、図5(A)のイメージデータから作成される画素ヒストグラムの一例を示す図である。

0035

図6(A)は、図5(A)及び(C)の受取人欄のセル41aの水平画素ヒストグラムと垂直画素ヒストグラムを示している。この場合、水平方向に同じ色の画素を計数して作成する水平画素ヒストグラムには、セル41aの上下の実線の画素のピーク値しか存在しないので、点線候補箇所が無いものと判断される。同様に、垂直方向に同じ色の画素を計数して作成する垂直画素ヒストグラムには、セル41aの左右の実線の画素のピーク値しか存在しないので、点線候補箇所なしと判断される。

0036

図6(B)は、図5(A)及び(C)の受取人欄のセル41bの水平画素ヒストグラムと垂直画素ヒストグラムを示している。この場合、水平方向の同じ色の画素を計数して作成する水平画素ヒストグラムには、上下の実線の画素のピーク値の約半分の高さのピーク値が存在するので、その部分が点線候補箇所として抽出される。垂直画素ヒストグラムについては、点線部分の画素がヒストグラムに現れているが、これらのピーク値は、セル41の左右の実線の画素のピーク値に比べてはるかに小さいので、点線候補箇所としては抽出されない。画素のピーク値が点線候補か否かの判定は、例えば、セルの実線部分の画素のピーク値の何十%以上のピーク値を点線候補として抽出するかを予め決めておけば良い。

0037

図6(C)は、図5(A)及び(C)の依頼人欄のセル42bの水平画素ヒストグラムと垂直画素ヒストグラムを示す図である。この場合、水平画素ヒストグラムには、セル42bの上下の実線の画素のピーク値の約半分の高さのピーク値が存在するので、その部分が点線候補箇所として抽出される。垂直画素ヒストグラムにも幾つかのピーク値が存在するが、それらのピーク値は、セル42bの左右の実線の画素のピーク値に比べて十分に小さいので点線候補箇所としては抽出されない。

0038

図6(D)は、図5(A)及び(C)の金額欄のセル43bの水平画素ヒストグラムと垂直画素ヒストグラムを示す図である。この場合、水平画素ヒストグラムには、セル43bの上下の実線の画素のピーク値の1/2以上の高さのピーク値が存在するが、そのピーク値は幅が広いので、点線以外の文字等の画素によるピーク値と判定される。画素のピーク値が点線か否かの判定は、例えば、予めピーク値の幅の基準値を決めておいて、ピーク値の幅が基準値以上の場合には文字と判定し、ピーク値の幅が基準値未満のときは点線候補と判定する。

0039

水平画素ヒストグラムには、セル43bの左右の実線の画素のピーク値の他に基準値以上のピーク値が複数存在するので、その部分が点線候補箇所として抽出される。この場合、点線にかすれがあるために、垂直画素ヒストグラムで、本来点線候補として抽出される位置に基準値以上のピーク値が存在しないので、この段階ではその部分は点線候補箇所としては抽出されないことになる。

0040

図6(E)は、図5(A)及び(C)の手数料欄のセル44bの水平画素ヒストグラムと垂直画素ヒストグラムを示す図である。水平画素ヒストグラムには、セル44bの上下の実線の画素のピーク値のみが抽出され、点線候補箇所は抽出されない。また、水平画素ヒストグラムには、セル44bの左右の実線のピーク値と、そのピーク値の1/2以上の高さのピーク値が3個存在し、ピーク値の幅も狭いので、それらのピーク値が点線候補箇所として抽出される。

0041

以上のように、セル毎に垂直方向の画素ヒストグラムと水平方向の画素ヒストグラムを作成することで、点線候補箇所を推定することができる。
図3に戻り、ステップS16において、ステップS13及びS14で収集した点線の大まかな特徴を収集する。ここで、大まかな特徴とは、後述する点線候補の二次抽出に用いる特徴であり、この段階では点線の確定した特徴ではないので大まかな特徴と呼んでいる。点線候補の特徴としては、例えば、点線の長さ、太さ、点線の間隔、色等の情報を収集する。

0042

図7は、一次抽出時の点線候補の特徴情報が格納された一次特徴テーブル51を示す図である。図7には、特徴情報に基づいて点線候補をグループ分けるときの説明図も示してある。

0043

一次特徴テーブル51には、点線候補を指定する候補番号と、点線のピッチと、点線のサイズ(長さ)と、太さと、色が格納される。この一次特徴テーブル51には、一次抽出で抽出された全ての点線候補のデータが格納される。

0044

上述したステップS13〜S16の処理によりイメージデータから点線候補箇所を抽出した場合、実際には同じピッチ、同じ長さの点線候補でも画素のかすれ、欠落等により異なるピッチ、あるいは異なる長さの点線候補として抽出される可能性がある。そこで、本実施の形態では、図7に示すように、二次元平面上に点線候補をプロットして、それらの分布から同じグループに属する可能性が高い点線候補を推定し、グループの代表値を算出している。

0045

図7の右側のグラフは、点線候補の長さを縦軸に、点線のピッチを横軸とする2次元平面上に各点線候補を配置し、一定の範囲内に入る複数の点線候補を同じグループの点線と推定している。図7の例では、一定の範囲内ある点線候補群を、点線Aと点線Bの2つのグループに分類している。このとき、同じグループに属する複数の点線候補のピッチ、点線の長さ、太さ等のそれぞれの代表値を算出し、算出した各グループの点線候補の代表値をメモリ等に保存する。体表値以外の他の値、平均値と分散などを保存しても良い。

0046

図3に戻り、点線候補の一次抽出で収集した特徴情報を利用して帳票全体の点線候補の二次抽出を行う(S17)。ステップS17の処理では、例えば、一次特徴テーブル51から作成した各グループの点線候補の代表値、色等を参考にして点線候補の再収集を行う。

0047

次に、二次抽出で抽出した全ての点線候補から形状特徴を抽出し、抽出した形状特徴を点線の太さ、長さ、ピッチ、濃度等からなる基本情報と、開始座標、色、印刷装置を示す情報等からなる補助情報としてメモリ等に保存する(S18)。

0048

ステップS18の処理にステップS19の処理を追加しても良い。ステップS19では、点線の形状が、長方形か、丸かを推定して、点線形状を補助情報としてメモリに保存する。スキャナー等で読み取った点線の画素にかすれがある場合には、正しい点線の形状が得られないので、点線の外接矩形外接図形を求めて、点線の形状を推定する。なお、印刷装置の情報を補助情報として保存するのは、帳票の印刷に使用したプリンタが、レーザプリンタか、インクジェットプリンタか、インパクトドットプリンタかにより、画素のかすれ、欠落等の傾向が異なるからである。

0049

ステップS18の処理にステップS20の処理を追加しても良い。ステップS20では、点素(点線の黒画素の部分)、破素(破線の黒画素の部分)の規則性を評価することで2点鎖線等の破線の特徴を抽出する。

0050

図8は、点線候補の二次特徴テーブル52の一例を示す図である。二次特徴テーブル52は、点線候補を指定する候補番号、点線のピッチ、点線の長さ(サイズ)、点形状、開始座標、色等の情報が格納されている。

0051

図8の例では、グループの代表値を最適閾値として用いることで、二次抽出で新たなに候補6が点線候補として抽出されている。また、点線の形状を推定することで、個補4の点線のサイズが「6」から「7」に変更されている。また、代表値に着目して抽出した結果、候補3は点線候補から除外されている。

0052

図9(A)〜(C)は、それぞれ点線の形状特徴、点線形状、破線の形状特徴を示す図である。
図9(A)に示すように、点線の形状特徴は、点線の太さ、長さ、点線のピッチが基本情報となる。そして、点線の開始座標、色、点の形状、使用された印刷装置が補助情報となる。

0053

図9(B)は、点の拡大図であり、1つの点を形成する画素の一部が掠れて(又は欠落)いる場合の例を示している。この場合、点の外接矩形を求め、その外接矩形の幅と高さを点の太さと長さと推定して保存する。

0054

図9(C)は、長さの異なる2種類の破素で構成される破線を示している。破素のピッチ等の規則性を比較することで同一の破線か否かを判定することができる。
次に、図4のステップS21において、帳票全体から二次抽出した複数の点線候補を、それらの特徴情報に基づいてグループ分けし、各グループの点線の特徴情報の代表値を算出してメモリに保存する。具体的には、点線の長さ、ピッチ、形状、色等が類似する点線候補を同じグループに分類してそれらの代表値を算出する。グループ分けの方法として、一次抽出と同じ方法を用いることができる。

0055

ステップS21の変形例として、ステップS22に示す主成分分類法を適用して点線候補をグループに分類しても良い。主成分分類法とは、二次元平面上に分布するデータを、データの分布の幅が広くなる方向に2分割し、2分割した直線と直交する方向で、かつ2つの集合の分割に適した位置で分割する方法である。

0056

図10(A)、(B)は、点線候補の分類方法の説明図である。図10(A)は、二次元平面の縦軸を点線の長さ、横軸を点線のピッチとしたときの点線候補の分布示している。この場合、同じグループの点線候補は一定範囲に入ると考えられるので、点線Aと点線Bの2種類の点線のグループに分類することができる。

0057

図10(B)は、主成分分類法の説明図である。縦軸を点線の長さ、横軸を点線のピッチとする二次元平面上に抽出した点線候補をプロットし、点線候補群の分布の幅が最も広くなる直線k1を求める。そして、その直線k1と直交し、かつ2つの集合に分割するのに適した直線k2を特定する。この直線k2で分割することで点線候補群を2つのグループに分類することができる。

0058

図4に戻り、ステップS23において、指定範囲の点線候補を評価する。ステップS23の処理では、二次抽出によりグループ分けした点線(以下、基準点線と呼ぶ)の特徴情報(基本情報、補助情報)と、指定範囲内の点線候補の特徴情報を比較して、両者の特徴情報が一致するか否かを判定する。指定範囲とは、例えば、認識対象の数字が印刷又は手書きされている罫線領域である。

0059

ステップS23の変形例として、ステップS24の処理を実行しても良い。ステップS24の処理は、抽出された点線候補が少ない場合に、過去に出現した帳票の点線の形状特徴等を記憶している点線データベース(DB)を参照して、点線候補との比較を行う。

0060

次に、ステップS25において、指定範囲内の点線を特定する。ステップS25の処理では、指定範囲内の点線候補の形状等の特徴情報が基準点線の特徴情報と一致する場合には、その点線候補を基準点線と同一の点線と判定する。他方、両者の点線の形状等の特徴情報が一致しない場合には、画像レベルで再評価を行う。画像レベルでも一致しない場合には、帳票の認識ができないので帳票をリジェクトする。画像レベルの再評価とは、例えば、認識対象の点線候補の画像と、二次抽出で抽出した基準点線の画像を重ね合わせ、画像の一致率が基準値以上か否かを判定する。画像の一致率が基準値以上のときには、指定範囲内の点線候補を基準点線と同一の点線と判定する。

0061

次に、ステップS26において、点線候補位置の再探索を行う。点線と文字との重なりが多い場合や、点線が掠れている場合には、二次抽出においても、本来存在する点線候補箇所が抽出できないことがある。このような場合には、同じセル(又は関連性のある項目セル)の点線候補(又はその点線候補のグループを代表する基準点線)間の間隔を参考にして点線候補の位置を推定する。そして、推定した位置のイメージデータと、抽出された点線候補(又は基準点線)のイメージデータを画像レベルで比較する。

0062

ステップS27は、ステップS26の変形例であり、投票制を用いて点線候補箇所を推定する処理である。投票制とは、セル内で抽出された点線候補の間隔を示す間隔表を作成し、抽出された間隔の1/1、1/2、1/3倍の間隔に対して重み付けした値を投票し、投票数累計値から点線の間隔を推定する方法である。投票制により点線の間隔を推定する処理については後に詳しく説明する。

0063

認識対象セルの点線候補箇所の推定が完了したなら、次のステップS28において、文字色と点線候補の色を確認しながら点線を削除して文字認識用のイメージデータを生成する。このとき、文字と点線が重なっているために文字色とも点線色とも異なる色となっている部分は残す。

0064

次のステップS29において、点線を削除して生成したイメージデータを利用して文字認識を行う。文字認識処理が終了したなら、点線情報(点線の基本情報、補助情報)を含む枠情報と文字認識結果33を通知する。

0065

上述したステップS23〜S30の処理の一例を、図11図14を参照して説明する。図11は、点線候補と基準点線の特徴情報を比較する場合の説明図である。
抽出した点線候補は、例えば、基準点線A、Bの基本情報と捕縄情報と比較する。図11の数字を含む指定範囲の左端の点線候補は、点線が数字と重なっていないので、基準点線の特徴情報と比較することで、どちらの点線と同じかを判定することができる。この場合、点線候補の特徴情報は、点線Aの特徴情報と一致するので(図11に一致することを○で示す)、その点線候補は点線Aと同一と判定する。

0066

その右側の数字「8」と重なる位置にある点線候補は、点線Aと点線Bの特徴情報と一致しないので、特徴情報の比較だけでは点線の種類を特定することができない。図11に比較結果を△と×で示してある。特徴情報の比較で点線の種類を特定できないときには、画像レベルでの比較を行う。

0067

図12は、点線候補を画像レベルで比較する場合の説明図である。この場合、数字と重なっている画像と、基準点線の画像を重ねて差分を取り、画像が一致するか否かを判定する。画像の一致率が基準値以上であれば、その点線候補は比較した基準点線と同一と判定する。

0068

図13は、点線に掠れがあり、さらに点線が数字と重なっている場合の点線候補の推定方法の説明図である。
図13(A)は、数字が印刷されているセル43bから、一定間隔bで2個の点線候補が抽出されているが、3番目の位置には点線候補が抽出されていない場合の例である。

0069

この場合、点線が一定の間隔で配置されていると仮定すると、左から3×bの位置に点線候補が存在するものと推定できる。そこで、図13(B)に示すように、同じセルの1番目又は2番目の点線(基準点線)の画像と、掠れている画像を画像レベル比較すると、画素が存在すると思われる位置に画素の一部が存在し、点線の画素の間隔の類似性も高いことが分かる。従って、数字「4」と重なっている位置に左隣の点線候補と同じ点線候補が存在するものと推定することができる。

0070

これにより、画素のかすれ、あるいは文字の重なりにより点線候補が抽出できない場合でも点線の位置を推定することができる。
図14(A)、(B)は、文字と点線の重なり部分と、点線を除去した後のイメージデータを示す図である。

0071

文字と点線が重なる部分(図14(A)で直角に交差している部分)の色は、文字色とも点線色が混合された色となり、点線の色とは異なるので、その部分を削除しないで残すことができる。この結果、図14(B)に示すように、点線のみが削除され、数字「97865432」がイメージデータとして残る。

0072

図15及び図16は、ステップS27の投票制による点線候補推定処理の詳細なフローチャートである。
図15のステップS41において、指定された範囲(数字が印刷されている認識対象のセル)内の各点線候補に番号を付与し、点線候補間の間隔を算出する。前述した点線候補の一次抽出と二次抽出により帳票全体の点線候補は抽出されているので、指定されたセルの点線候補の間隔を算出することができる。

0073

次に、ステップS42において、セルの点線候補の間隔表を作成する。間隔表とは、セルの外周の実線又は各点線候補を基準とした間隔を示すものである。例えば、図17の(a)、(b)に示すセルから、図18(A)に示すような点線候補a2〜a9が抽出されると、各点線候補の間隔が算出され、図18(B)に示す間隔表61が作成される。図18の例では、実線a1と点線候補a2の間隔が「30mm」、点線候補a1と点線候補a3の間隔が「90mm」となっている。点線候補a2−a3間は「60mm」、a2−a4間は「90mm」である。

0074

図15のステップS43及びS44において、ステップS42で作成した間隔表に基づいて投票表を作成する。ステップS43では、作成した間隔表の間隔の1/1倍の値に1票を投票する。ステップS44では、点線が抽出できなかったことを想定して、間隔表の間隔の1/2倍の値に2票を投票する。このとき、点線間隔としてあり得ない小さい値に対しては投票しない。

0075

次に、図16のステップS45において、点線が抽出できなかったことを想定して、間隔表の間隔の1/3倍の値に3票を投票する。このとき、点線間隔としてあり得ない小さい値に対しては投票しない。

0076

投票表の作成方法としては、例えば、図18(B)の間隔表61のそれぞれの間隔の1/1倍の値に対して1票を投票し、1/2倍の値に2票を投票し、1/3倍の値に対して3票を投票し、それぞれの間隔の投票数の累計値を算出して作成する。この投票表で投票数の累計値が最も高い間隔を正しい点線間の間隔と推定する。

0077

次に、ステップS46において、点線間隔を仮定する。ステップS46の処理では、投票表の投票数の最も多いものを点線の間隔と仮定する。
次のステップS47において、仮定した点線間隔の位置に点線を想定し、実際のイメージデータと比較する。

0078

ステップS47において、想定した点線とイメージデータの一致度が基準値以上と判定されたなら、ステップS48において、推定した点線候補の点線の太さ、長さ、間隔、点線色、開始座標等を点線情報として通知する。

0079

図17は、投票制による点線候補の補完及び削除の説明図である。図17は、一部の位置で点線候補が抽出されず、また、本来存在しない位置に点線候補が抽出された場合の例を示している。

0080

図18(A)は、図17の文字枠内の点線の間隔を示し、図18(B)は、その点線の間隔に基づいてされる間隔表61を示している。
図18(A)に示すように、文字枠の左端の実線a1と点線候補a2の間隔は30mm、点線候補a2と点線候補a3の間隔は60mmである。また、点線候補a3と点線候補a4の間隔は30mmである。実線a1と各点線候補a2〜a9を基準としてそれぞれの間隔を計算して、図18(B)に示す間隔表61を作成することができる。

0081

図18(B)に示すように、実線a1を基準とした各点線a2、a3、a4・・・a9と実線a10との間隔は、「30」、「90」、「120」・・・・「270」となる。
また、点線a1を基準とした各点線a3、a4、a5・・・a9と実線a10との間隔は、「60」、「90」、「105」・・・・「240」となる。

0082

図19は、間隔表61に基づいて作成される投票表62の一例を示している。例えば、間隔「10」に関しては、1/1倍の値に対する投票数が「1」、1/2倍の値に対する投票数が「2」、1/3倍の値に対する投票数が「15」であり、間隔「10」に対する投票数の累計値は「18」である。間隔表61の各間隔が、1/1倍、1/2倍、1/3倍の何れに該当するかにより、それぞれ投票数が設定され、累計値が計算される。

0083

図19の例では、間隔「30」に対する投票数の累計値が「32」で最大であるので、点線間隔が「30」と推定される。推定された点線間隔を参考にして、点線が存在すると推定される位置の画像レベルの比較を行うことで、点線候補箇所を推定することができる。図17の(c)に示す例では、点線間隔が「60」の中間の位置に点線候補が補完されている。また、図17の(d)の示す例では、点線候補m1、m2が、点線間隔「30」に一致しないことから削除されている。

0084

上述した実施の形態によれば、文字と点線が重なっていて点線を抽出できない場合、あるいは点線が掠れていて抽出できない場合でも、同一文字枠内の他の点線の特徴情報、あるいは関連性のある他の項目の文字枠の点線の特徴情報を参考にして、点線候補箇所を推定することができる。これにより、点線と文字とを含むイメージデータから点線を確実に除去して文字認識率を高めることができる。また、予め文字枠の定義情報をあまり作成する必要がないのでオペレータの作業負担を軽減できる。

0085

さらに、投票制を利用する場合には、同一文字枠内の点線間の間隔に基づいて点線候補箇所を推定することができる。これにより、文字枠から点線を除去し、文字認識率を高めることができる。

0086

上述した実施の形態は、カラーイメージデータを例に取り説明したが、白、黒のイメージデータにも適用できる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ