図面 (/)

技術 情報処理装置、情報処理装置の制御方法、およびプログラム

出願人 キヤノンマーケティングジャパン株式会社
発明者 鷲田真一
出願日 2017年12月7日 (1年9ヶ月経過) 出願番号 2017-234746
公開日 2018年3月8日 (1年6ヶ月経過) 公開番号 2018-037117
状態 特許登録済
技術分野 文字認識 文字入力
主要キーワード 接触割合 文書媒体 接触有無 各記入枠 接触個所 修正条件 ノイズ除去パラメータ 分布取得
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

記入文字記入枠に重なることによるOCR誤認識をより正確に補正する仕組みを提供すること。

解決手段

文字矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している。そして、文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体データ化した画像データから、前記ユーザにより記入された文字を読み取る。そして、記憶している文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、読み取った文字を置き換えるか否かを判定する判定し、判定の結果置き換えると判定された文字を、読み取った当該文字を記憶している他の文字に置き換える。

概要

背景

従来、画像化された文字テキストコードに変換する文字認識技術がある。また特に、申込用紙帳票など記入枠があるものに手書きで書かれた文字を認識する技術も存在する。

また、更に枠を認識し枠部分の内部を文字認識するだけでなく、枠を削除することによって文字認識を実施する(文字と枠とを分離する)技術も存在する。

特許文献1には、文字と枠、もしくは背景色とを分離する為に多値画像明度等を利用した文字と枠との分離方法を提案している。

特許文献2には、文字領域と非文字領域との濃度差に着目し、同一濃度と判断される画素ラベリングして構造物を判断する(文字領域を分離する)手法を提案している。

概要

記入文字が記入枠に重なることによるOCR誤認識をより正確に補正する仕組みを提供すること。文字が矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している。そして、文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体データ化した画像データから、前記ユーザにより記入された文字を読み取る。そして、記憶している文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、読み取った文字を置き換えるか否かを判定する判定し、判定の結果置き換えると判定された文字を、読み取った当該文字を記憶している他の文字に置き換える。

目的

本発明の目的は、記入文字が記入枠に重なることで発生するOCR等の読取手段における誤認識をより正確に補正する仕組みを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

文字矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している記憶手段と、文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体データ化した画像データから、前記ユーザにより記入された文字を読み取る読取手段と、前記記憶手段に記憶されている文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、前記読取手段で読み取られた文字を置き換えるか否かを判定する判定手段と、前記判定手段で置き換えると判定された文字を、前記読取手段で読み取られた当該文字を前記記憶手段に記憶された他の文字に置き換える置換え手段とを備えることを特徴とする情報処理装置

請求項2

前記読取手段は、更に、前記文字の周囲を囲う矩形座標読み取り、前記判定手段は、前記読取手段で読み取った文字と外接する矩形の座標が、隣接する座標に黒画素が存在する場合に、前記読取手段で読み取られた文字を置き換えると判定することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記記憶手段は、前記文字の情報として置き換えを行うように判定する重なり状態も記憶していることを特徴とする請求項1または2に記載の情報処理装置。

請求項4

前記読取手段で読み取られた情報から、前記記入枠と重なっていないと判定された文字の濃度と、前記記入枠と重なっていると判定された前記文字を含む前記記入枠の濃度とをそれぞれ取得する取得手段と、前記取得手段で取得した前記記入枠と重なっていないと判定された文字の濃度と、当該文字の記入された記入枠の濃度との濃度差に基づいて、前記画像データを二値化し、前記文字のみを黒画素にするための閾値を決定する閾値決定手段と、前記閾値決定手段で決定された閾値を用いて、前記画像データを二値化して前記文字のみの黒画素とする二値化手段と、をさらに備え、前記読取手段は、更に、前記二値化手段で二値化された前記画像データから前記ユーザにより記入された文字を読み取ることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。

請求項5

文字が矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している記憶手段を備える情報処理装置における情報処理方法であって、文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体をデータ化した画像データから、前記ユーザにより記入された文字を読み取る読取工程と、前記記憶手段に記憶されている文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、前記読取工程で読み取られた文字を置き換えるか否かを判定する判定工程と、前記判定工程で置き換えると判定された文字を、前記読取工程で読み取られた当該文字を前記記憶手段に記憶された他の文字に置き換える置換え工程とを備えることを特徴とする情報処理装置の制御方法

請求項6

文字が矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している記憶手段を備える情報処理装置で実行されるプログラムであって、前記情報処理装置を、文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体をデータ化した画像データから、前記ユーザにより記入された文字を読み取る読取手段と、前記記憶手段に記憶されている文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、前記読取手段で読み取られた文字を置き換えるか否かを判定する判定手段と、前記判定手段で置き換えるとと判定された文字を、前記読取手段で読み取られた当該文字を前記記憶手段に記憶された他の文字に置き換える置換え手段として機能させることを特徴とするプログラム。

技術分野

0001

本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関し、特に、記入文字記入枠に重なることによるOCR誤認識をより正確に補正する仕組みに関する。

背景技術

0002

従来、画像化された文字テキストコードに変換する文字認識技術がある。また特に、申込用紙帳票など記入枠があるものに手書きで書かれた文字を認識する技術も存在する。

0003

また、更に枠を認識し枠部分の内部を文字認識するだけでなく、枠を削除することによって文字認識を実施する(文字と枠とを分離する)技術も存在する。

0004

特許文献1には、文字と枠、もしくは背景色とを分離する為に多値画像明度等を利用した文字と枠との分離方法を提案している。

0005

特許文献2には、文字領域と非文字領域との濃度差に着目し、同一濃度と判断される画素ラベリングして構造物を判断する(文字領域を分離する)手法を提案している。

先行技術

0006

特開2001−076096号公報
特開平09−016713号公報

発明が解決しようとする課題

0007

しかしながら、記入文字が記入枠と接触している場合、特にボールペーンなどの筆記具記入された文字は筆圧インク量などにより記入文字上でも濃淡が発生し、特許文献1と特許文献2の技術を用いたとしても正確に文字と枠を分離することが難しく、分離できたとしてもOCR(Optical Character Recognition)の認識性能を満たすレベル二値画像を作成することが困難なケースが存在していた。

0008

本発明の目的は、記入文字が記入枠に重なることで発生するOCR等の読取手段における誤認識をより正確に補正する仕組みを提供することである。

課題を解決するための手段

0009

本発明は、文字が矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している記憶手段と、文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体データ化した画像データから、前記ユーザにより記入された文字を読み取る読取手段と、前記記憶手段に記憶されている文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、前記読取手段で読み取られた文字を置き換えるか否かを判定する判定手段と、前記判定手段で置き換えると判定された文字を、前記読取手段で読み取られた当該文字を前記記憶手段に記憶された他の文字に置き換える置換え手段とを備えることを特徴とする。

0010

また、本発明は、文字が矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している記憶手段を備える情報処理装置における情報処理方法であって、文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体をデータ化した画像データから、前記ユーザにより記入された文字を読み取る読取工程と、前記記憶手段に記憶されている文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、前記読取工程で読み取られた文字を置き換えるか否かを判定する判定工程と、前記判定工程で置き換えると判定された文字を、前記読取工程で読み取られた当該文字を前記記憶手段に記憶された他の文字に置き換える置換え工程とを備えることを特徴とする。

0011

また、本発明は、文字が矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している記憶手段を備える情報処理装置で実行されるプログラムであって、前記情報処理装置を、文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体をデータ化した画像データから、前記ユーザにより記入された文字を読み取る読取手段と、前記記憶手段に記憶されている文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、前記読取手段で読み取られた文字を置き換えるか否かを判定する判定手段と、前記判定手段で置き換えると判定された文字を、前記読取手段で読み取られた当該文字を前記記憶手段に記憶された他の文字に置き換える置換え手段として機能させることを特徴とする。

発明の効果

0012

本発明によれば、記入文字が記入枠に重なることで発生するOCR等の読取手段における誤認識をより正確に補正する仕組みを提供することができる。

図面の簡単な説明

0013

本発明の実施形態に係わるシステム構成の一例を示す図である。
本発明の実施形態に係わる装置のハードウェア構成の一例を示すブロック図である。
本発明の第1の実施形態に係る全体の流れを示すメインフローチャートの一例である。
本発明の実施形態に係わるOCR修正情報テーブルのデータ構成を示す一例である。
本発明の第1の実施形態に係るクライアント端末101で実行される接触文字有無判定のフローチャートの一例である。
本発明の実施形態に係わる記入枠情報テーブルのデータ構成を示す一例である。
本発明の実施形態に係わる記入枠と記入文字の二値画像を示す一例である。
本発明の実施形態に係わる記入枠をノイズ除去処理した際の二値画像を示す一例である。
本発明の実施形態に係わる記入枠をノイズ除去処理した際の除去された側の二値画像を示す一例である。
本発明の実施形態に係わる接触情報テーブルのデータ構成を示す一例である。
本発明の第1の実施形態に係るクライアント端末101で実行されるグレー枠消し処理のフローチャートの一例である。
本発明の実施形態に係わる記入枠と記入文字のそれぞれのグレー値頻度分布を示す一例である。
本発明の実施形態に係わる記入枠を消し記入文字だけを残すよう二値化処理した際の画像を示す一例である。
本発明の第1の実施形態に係るクライアント端末101で実行される枠接触部分判定処理のフローチャートの一例である。
本発明の第1および第2の実施形態に係るクライアント端末101で実行されるOCR修正判定処理のフローチャートの一例である。
本発明の第2の実施形態に係るクライアント端末101で実行される枠接触部分判定処理のフローチャートの一例である。
本発明の第2の実施形態に係る全体の流れを示すメインのフローチャートの一例である。
図3のステップS301における、記入枠に記入文字が接触している場合と、記入枠に接していない場合の文字の矩形取得方法の一例を示す図ある。

実施例

0014

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図1の説明>

0015

図1は、本発明の実施形態に係わるシステム構成の一例を示す図である。

0016

本発明のクライアント端末101(情報処理装置)は、例えば、パーソナルコンピュータであり、ネットワーク通信機能を備え、ネットワーク1(LAN、WANなど)を介してサーバ102とデータ通信が可能(接続可能)である。
図2の説明>

0017

図2は、クライアント端末101、サーバ102のハードウェア構成例を示すブロック図である。

0018

図2に示すように、クライアント端末101サーバ102は、システムバス204を介してCPU(Central Processing Unit)201、RAM(Random Access Memory)203、ROM(Read Only Memory)202、入力コントローラ205、ビデオコントローラ206、メモリコントローラ207、通信I/Fコントローラ208等が接続された構成を採る。

0019

CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。

0020

また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、各サーバあるいは各PCが実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。

0021

RAM203は、CPU201の主メモリワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。

0022

また、入力コントローラ205は、キーボードKB)209や不図示のマウス等のポインティングデバイス等からの入力を制御する。

0023

ビデオコントローラ206は、ディスプレイ210等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。

0024

メモリコントローラ207は、ブートプログラム、各種のアプリケーションフォントデータ、ユーザファイル編集ファイル、各種データ等を記憶する外部記憶装置ハードディスク(HD))や、フレキシブルディスクFD)、あるいは、PCMCIA(Personal Computer Memory Card International Association)カードスロットアダプタを介して接続されるコンパクトフラッシュ登録商標メモリ等の外部メモリ211へのアクセスを制御する。

0025

通信I/Fコントローラ208は、ネットワーク104を介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、TCP/IP(Transmission Control Protocol/Internet Protocol)を用いた通信等が可能である。

0026

尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォント展開ラスタライズ)処理を実行することにより、ディスプレイ210上に表示することが可能である。また、CPU201は、ディスプレイ210上のマウスカーソル(図示しない)等によるユーザ指示を可能とする。

0027

本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイルおよび各種情報テーブル等も、外部メモリ211に格納されており、これらについての詳細な説明についても後述する。
<第1の実施形態の説明>
図3の説明>

0028

図3は、本発明の第1の実施形態に係るクライアント端末101で実行されるOCR処理の全体の流れを示すメインのフローチャートの一例である。図3のフローチャートの各ステップは、クライアント端末101のCPU201で実行される。なお、本実施例では、記入枠にユーザにより手書きされた文書媒体(申込書や帳票等)をスキャナ等で読み取った電子データ(画像データともいう)が、あらかじめクライアント端末101の外部メモリ211に保存(文字を記入する記入枠内にユーザにより文字が記入された文書媒体をデータ化した画像データを記憶)されており、図3の処理はその電子データをOCR処理するものとする。

0029

ステップS301においては、通常のOCR処理を行う。本実施例では記入枠に記入された手書きの数字をOCRする場合を想定する。プログラムによるOCR処理がCPU201で実行され、手書きで記入された数字のOCR結果をRAM203内に記憶する。本実施例では、図10接触情報テーブルのOCR結果1003に記憶させる。

0030

なお、ステップS301は、本発明における文字を記入する記入枠を備えたフォームにユーザにより文字が記入された文書媒体をデータ化した画像データから、前記ユーザにより記入された文字を読み取る読取手段の一例である。
図10の説明>

0031

図10は、本発明の実施形態に係わる接触情報テーブルのデータ構成を示す一例である。この情報テーブルは、記入枠(矩形枠)に記入された文字が枠のどこにどれだけ接触(本実施例における「接触」という表現は「重なり」ともいう)していたかを記憶する情報テーブルである。なお、図4・6・10の各種データテーブルは、クライアント端末101の外部メモリ211に記憶されていても良い。その場合、外部メモリ211は、本発明における、文字が矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報を記憶している記憶手段の一例となる。また、RAM203に記憶する場合には、RAM203が記憶手段の一例となる。

0032

具体的には、枠番号1001、桁数1002、OCR結果1003、接触有無1004、接触個所1005、接触割合1006からなる。接触個所1005は、本実施例では記入枠の上下左右としたが、左辺上部、左辺下部など細分化しても構わない。また接触割合1006は、本実施例では枠に対する記入文字黒画素の割合としたが、接触個所によって重み付けをして点数化するなどしてもよい。

0033

図3の説明に戻る。

0034

ステップS302においては、OCR結果に指定された文字が含まれるかどうかの判定処理を行う。判定には図4に示すOCR修正情報テーブルを使用する。この情報テーブルのOCR結果文字(401)に記載される文字(図4の例では、「1」・「5」・「7」)が存在する場合はステップS303に進む。存在しない場合は処理を終了する。
図4の説明>

0035

図4は、本発明の実施形態に係わるOCR修正情報テーブルのデータ構成を示す一例である。この情報テーブルは、手書き記入文字が枠のどの個所にどの程度接触すると、OCR結果がどの文字として誤認識しやすいかの情報(文字が矩形枠と所定の位置で重なっている場合に、他の文字に置き換えるべき文字の情報)を記憶する情報テーブルである。

0036

具体的には、OCR結果文字401、接触個所(記入枠と記入文字の接触個所)402、接触割合(文字の情報として置き換えを行うように判定する重なり状態)403、認識修正文字(誤認識した場合に変換する文字)404からなる。

0037

なお、本実施例では、接触個所402は記入枠の上下左右としたが、左辺上部、左辺下部など細分化しても構わない。また接触割合403は、本実施例では枠に対する記入文字黒画素の割合としたが、接触個所によって重み付けをして点数化するなどしてもよい。

0038

本情報テーブルは事前にユーザが予め手動で作成しておいてもよいし、別途OCRを実行し人為的に誤認識を修正する過程で情報を収集し、自動で作成することも可能である。

0039

図3の説明に戻る。

0040

ステップS303においては、接触文字の有無を判定する処理を行う。この処理の詳細は図5のフローチャートで説明する。

0041

ステップS304においては、接触文字の有無を判定する処理を行う。この処理では図10に示す接触情報テーブルの情報の1004をもとに、当該枠の文字に接触個所が存在しているかを判定する。接触している個所が存在する場合はステップS305に進む。存在しない場合は処理を終了する。

0042

ステップS305においては、図10に示す接触情報テーブルで接触文字部分とされた個所のOCR結果が、図4に示すOCR修正情報テーブルで指定された修正対象文字と一致するかどうかを判定する処理を行う。一致する箇所が存在する場合はステップS306に進む。存在しない場合は処理を終了する。

0043

ステップS306においては、グレー枠消し処理を行う。この処理の詳細は図11のフローチャートで説明する。

0044

ステップS307においては、枠接触部分判定処理を行う。この処理の詳細は図14のフローチャートで説明する。

0045

ステップS308においては、OCR修正判定処理を行う。この処理の詳細は図15のフローチャートで説明する。
図5の説明>

0046

図5は、本発明の第1の実施形態に係るクライアント端末101で実行される接触文字の有無判定のフローチャートの一例である。図5のフローチャートの各ステップは、クライアント端末101のCPU201で実行される。

0047

ステップS501においては、枠サイズ情報の取得処理を行う。具体的には図6に示す枠情報テーブルの情報を取得しRAM203内に記憶する。
図6の説明>

0048

図6は、本発明の実施形態に係わる記入枠情報テーブルのデータ構成を示す一例である。この情報テーブルは、各記入枠に対して、その画像上の記入枠の位置情報を記憶する情報テーブルである。

0049

具体的には、枠番号601、桁数602、枠座標603、枠幅枠線幅)604、枠消し閾値605からなる。
枠座標603の「上」「下」については、枠番号601全体の上側の面(線)と下側の面(線)のy座標を表し、枠座標603の「左」「右」については、枠番号601全体の一番左側の面(線)と一番右側の面(線)のx座標を表している。

0050

枠座標603や枠線幅604は、本実施例では記入枠(枠番号601全体)の上下左右としたが、ひと枠ごとに情報を記憶(それぞれの前記記入枠の座標を記憶)するなど細分化しても構わない。

0051

なお、記入枠のサイズ等が決まっている場合は、事前に決定しておき与えることも可能である。

0052

図5の説明に戻る。

0053

ステップS502においては、ステップS501で得た図6に示す枠情報テーブルの情報に基づきノイズ除去パラメータ算出の処理を行う。具体的には、各記入枠の内接矩形にあたるサイズ(記入枠に内接しない程度の矩形の範囲)を計算にて求める。なお、記入枠のサイズが決まっている場合は、事前に決定しておき与えることも可能である。なお、ここでいうノイズとは、記入枠に接触せずに記入された手書き文字のことである。

0054

ステップS503においては、ステップS502で得たノイズ除去パラメータに基づき、ノイズ除去の処理を行う。この処理により、記入枠に接触せずに記入された手書き文字はノイズとして除去され、枠に接触した文字のみが画像内に残る。

0055

具体例としては、ノイズ除去の処理を実行すると図7の701に示す8ケタの記入枠に文字が記入された画像から、図8に示すような画像が作成される。なお、同時にノイズとして削除された側の画像として、図9に示す画像も生成し、RAM203内に記憶する。なお、本実施例では、図7の701にノイズ除去の処理を実行しているが、実際には701以外の記入枠についても本処理を実行する。

0056

ステップS504においては、ノイズ除去後画像のOCR処理を行う。この処理結果は一時的にRAM203内に記憶する。

0057

ステップS505においては、ステップS504におけるOCR処理の結果を参照し、OCR結果がスペース文字となったかどうかを判定する処理を行う。ステップS505は、本発明における、記憶手段に記憶されている文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、前記読取手段で読み取られた文字を置き換えるか否かを判定する判定手段の一例である。

0058

図10接触情報テーブルのOCR結果1003にスペース文字以外の認識結果があるのにスペース文字になった場合、記入枠に接触しない文字が記入されていてノイズ除去されたと判断する。ステップS505、ステップS506の処理は当該枠の1文字目から桁数(図6の602)分繰り返し処理を実行する。スペース文字になった場合はステップS507へ進む。それ以外の場合はステップS506へ進む。

0059

ステップS506においては、図10接触情報テーブルの接触有無1004に接触有のフラグを立てる。この際、無条件にフラグを立ててもよいし、ステップS504における認識結果が図10接触情報テーブルのOCR結果1003と一致することを条件にフラグを立ててもよい。

0060

ステップS507においては、当該記入枠の残りの枠があるかどうかを判断する処理を行う。まだ記入枠が存在する場合はステップS505へ進む。存在しない場合は、接触文字有無判定処理を終了する。

0061

図7は、本発明の実施形態に係わる記入枠と記入文字の二値画像を示す一例である。また、701は、本実施例における図6図10の情報テーブルの枠番号(601、1001)1にあたり、702が、図6の602、図10の1002の桁数に該当する。なお、本実施例の図8図9の説明においては、701の枠番号を例にして説明する。

0062

図8は、本発明の実施形態に係わる記入枠をノイズ除去処理した際の二値画像を示す一例である。図5のステップS503の実行結果の一例にあたる。

0063

図9は、本発明の実施形態に係わる記入枠をノイズ除去処理した際の除去された側の二値画像を示す一例である。図5のステップS503の実行結果の一例にあたる。図9に示す画像は、記入された文字のみが残っている特徴を有する。
図11の説明>

0064

図11は、本発明の第1の実施形態に係るクライアント端末101で実行されるグレー枠消し処理のフローチャートの一例である。図11のフローチャートの各ステップは、クライアント端末101のCPU201で実行される。

0065

ステップS1101においては、ノイズ除去画像のグレー値分布取得処理を行う。具体的には、図8に示す二値画像で黒画素が存在する部分について、二値化前のグレー画像からそのグレー値を取得していく処理を行う。この処理結果は一時的にRAM203内に記憶する。

0066

最終的には、図12aに示すグレー値頻度グラフ上段部のグラフに当たるデータが取得される。これにより、一部接触した記入文字のグレー値が残るものの、記入枠のグレー値頻度分布が取得可能となる。

0067

ステップS1102においては、ノイズ除去された側の画像のグレー値分布取得処理を行う。

0068

具体的には、図9に示す二値画像で黒画素が存在する部分について、二値化前のグレー画像からそのグレー値を取得していく処理を行う。この処理結果は一時的にRAM203内に記憶する。

0069

最終的には、図12bに示すグレー値頻度グラフの下段部のグラフに当たるデータが取得される。これにより、記入文字のグレー値頻度分布が取得可能となる。
ステップS1101とステップS1102の処理は、本発明における、読取手段で読み取られた情報から、前記記入枠と重なっていないと判定された文字の濃度と、前記記入枠と重なっていると判定された前記文字を含む前記記入枠の濃度とをそれぞれ取得する取得手段の一例である。

0070

ステップS1103においては、後段のステップS1104で使用する二値化閾値計算処理を行う。ステップS1101及びステップS1102で得られたグレー値分布の頻度ピーク値の間を閾値として採用する。ステップS1103は、本発明における、取得手段で取得した前記記入枠と重なっていないと判定された文字の濃度と、当該文字の記入された記入枠の濃度との濃度差に基づいて、前記画像データを二値化し、前記文字のみを黒画素にするための閾値を決定する閾値決定手段の一例である。

0071

具体的には、両者のピーク(1201と1202)の中間値(1203)や、図12aのグラフの2つの頻度ピークの間で一番低い頻度、あるいは図12a・bの頻度合計が一番少ない値を採用するなど、その閾値の決定方法は、対象となるサンプル毎に変更可能である。

0072

ステップS1104においては、枠消し画像作成の処理を行う。具体的には、ステップS1103で決定された閾値(例えば、1203)に従い、OCR対象のグレー画像を二値化する。これにより、記入枠が消え、手書き文字が残る画像を得ることが可能となる。図13は本処理を実施後の画像の一例である。なお、ステップS1104は、閾値決定手段で決定された閾値を用いて、前記画像データを二値化して前記文字のみの黒画素とする二値化手段の一例である。

0073

図12は、本発明の実施形態に係わる記入枠と記入文字のそれぞれのグレー値頻度分布を示す一例である。

0074

本実施例ではグラフとして表現したが、図11のステップS1103の処理が容易になる様、例えば分布を関数化して記憶することも可能である。

0075

図13は、本発明の実施形態に係わる記入枠を消し、記入文字だけを残すよう二値化処理した際の画像を示す一例である。図11のステップS1104の実行結果の実施例にあたる。

0076

図11の処理を実行することにより、図14の処理で、記入文字と記入枠とがどの位置でどれくらいの割合で接触しているかの判定が容易になる。

0077

なお、本実施例では、図11の処理の後に図14の処理を実行するとしたが、他の実施例として、図11の処理で得られた画像(例えば図13)を、再びOCR処理する(二値化手段で二値化された前記画像データから前記ユーザにより記入された文字を読み取る)ことで取得した文字の情報をOCR結果としても良い。
図14の説明>

0078

図14は、本発明の第1の実施形態に係るクライアント端末101で実行される枠接触部分判定処理のフローチャートの一例である。図14のフローチャートの各ステップは、クライアント端末101のCPU201で実行される。

0079

ステップS1401においては、当該記入枠の1桁毎に枠消し画像による接触個所特定処理を行う。

0080

具体的には、図13に示したような枠消し画像と図6記入枠情報テーブルの情報を元に、記入枠座標上のどこに記入文字の黒画素が存在するかを計算する。その計算結果図10の接触情報テーブルの接触個所1005に記憶する。

0081

ステップS1402においては、当該記入枠の1桁毎に枠消し画像による接触状況特定処理を行う。具体的には、図13に示したような枠消し画像と図6記入枠情報テーブルの情報(603・604)を元に、記入枠座標上にどれだけの記入文字の黒画素が存在するかを計算する。その計算結果は図10接触情報テーブルの接触割合1006に記憶する。

0082

ステップS1403においては、当該記入枠にまだ接触部分判定処理を実行していない桁が残っているかを判定する処理を行う。まだ接触部分判定処理を実行していない桁が存在すればステップS1401に進む。存在しなければ、接触部分判定処理を終了する。
図15の説明>

0083

図15は、本発明の第1および後述する第2の実施形態に係るクライアント端末101で実行されるOCR修正判定処理のフローチャートの一例である。図15のフローチャートの各ステップは、CPU201で実行される。

0084

ステップS1501においては、当該記入枠の1桁毎にOCR修正条件と一致するかの判定処理を行う。

0085

具体的には、図10の枠接触情報テーブルのそれぞれの桁(1002)について、図4と比較し、OCR結果1003とOCR結果文字401が一致し(所定の文字であり)、接触有無1004が有で、接触個所1005が接触個所402と一致(記入枠と所定の位置で接触)し、接触割合1006が接触割合403を上回っているか(所定の割合以上重なっているか)を判定する。判定結果が一致している場合はステップS1502に進む。一致しない場合はステップS1503へ進む。

0086

ステップS1502においては、当該記入枠の1桁毎に図3のステップS301で実行したOCR結果の置き換え処理を行う。

0087

ステップS1502は、本発明における、判定手段で置き換えると判定されるべき文字と判定された場合に、前記読取手段で読み取られた当該文字を前記記憶手段に記憶された他の文字に置き換える置換え手段の一例である。

0088

具体的には、該当箇所のOCR結果を、図4OCR修正情報テーブルの認識修正文字404に記載の文字に置き換える処理を実施する。

0089

ステップS1503においては、当該記入枠にまだOCR修正判定処理を行っていない桁が残っているかを判定する処理を行う。まだOCR修正判定処理を行っていない桁が存在すればステップS1501に進む。存在しなければ、OCR修正判定処理を終了する。

0090

以上の本実施例は、二値画像とともにグレー画像を使用した場合としたが、例えば後述する図16のフローチャートを実施することで、二値画像のみで行うことも可能である。
<第2の実施形態の説明>
図17の説明>

0091

図17は、本発明の第2の実施形態に係るクライアント端末101で実行されるOCR処理の全体の流れを示すメインのフローチャートの一例である。図17のフローチャートの各ステップは、クライアント端末101のCPU201で実行される。なお、本実施例では、記入枠にユーザにより手書きされた文書媒体(申込書や帳票等)をスキャナ等で読み取った電子データが、あらかじめクライアント端末101の外部メモリ211に保存されており、図17の処理はその電子データをOCR処理するものとする。なお、図3と同様の処理については、図3と同様のステップ番号を振り、詳細な説明は省略する。

0092

ステップS301においては、通常のOCR処理を行う。

0093

ステップS302においては、OCR結果に指定された文字が含まれるかどうかの判定処理を行う。判定には図4に示すOCR修正情報テーブルを使用する。この情報テーブルのOCR結果文字(401)に記載される文字(図4の例では、「1」・「5」・「7」)が存在する場合はステップS1701に進む。存在しない場合は処理を終了する。

0094

ステップS1701においては、枠接触部分判定処理を行う。この処理の詳細は、後述する図16のフローチャートで説明する。

0095

ステップS308においては、OCR修正判定処理を行う。この処理の詳細は図15のフローチャートで説明する。ステップS308の処理が終了すると、図17の処理を終了する。
図16の説明>

0096

図16は、本発明の第2の実施形態に係るクライアント端末101で実行される枠接触部分判定処理のフローチャートの一例である。図16のフローチャートの各ステップは、クライアント端末101のCPU201で実行される。

0097

ステップS1601においては、図3のステップS301で実施したOCR結果について、記入枠の1桁毎にその認識の際に使用した画像の矩形情報矩形座標ともいう)を取得する(文字と外接する矩形の座標を読み取る)。

0098

具体的には、図3のステップS301におけるOCR処理では、記入枠に記入文字が接触していなければ、記入された文字の外接矩形が取得できる(図18b)。一方で、記入枠に記入文字が接触している場合、図3のステップS301におけるOCR処理では、記入枠の位置を認識した上で、記入枠との接触位置に関しては記入枠の内側になるような矩形座標にて文字の矩形座標を取得する(図18a)。

0099

ステップS1602においては、当該記入枠の1桁毎にステップS1601で取得した矩形座標の周囲ドットに黒画素が存在するか探索処理を行う。

0100

そして、ステップS1602の処理の結果を、図10の接触情報テーブルに記録する。
なお、ステップS1602の結果、黒画像が存在した場合には、図10の接触有無1004が有(記入枠と記入文字が接触している)となる(読取手段で読み取った文字と外接する矩形の座標が、隣接する座標に黒画素が存在する場合に、前記読取手段で読み取られた文字を置き換えると判定する)。また、その場合には、どの方向にどれだけの黒画素が存在したかを図10の接触有無1004、接触個所1005、接触割合1006に記録する。

0101

ステップS1602は、本発明における、記憶手段に記憶されている文字の情報と、前記ユーザから記入された文字の記入枠との重なり状態とに基づいて、前記読取手段で読み取られた文字を置き換えるか否かを判定する判定手段の一例である。

0102

なお、この実施例の場合の接触割合は、図6記入枠情報テーブルにおける枠線上と隣り合う画素にどれだけの黒画素が存在するかの割合等を利用することができる。

0103

ステップS1603においては、当該記入枠にまだ探索処理を行っていない桁(枠)が残っているかを判定する処理を行う。まだ探索処理を行っていない桁が存在すればステップS1601に進む。存在しなければ、枠接触部分判定処理を終了する。

0104

以上のように、グレー画像を使用しなくとも枠接触部分判定の処理を実行することも可能である。

0105

以上で、接触文字のOCR結果修正処理の説明を完了する。

0106

なお、本実施例では、ステップS1701の後にステップS308の処理を実行するとしたが、他の実施例として、ステップS1701の処理を実行した後に、ステップS1601で取得した矩形座標の中の文字を再度OCR処理し、その結果認識した文字に置き換えても良い。

0107

また、上述した二つの実施形態では、図3・5・11・14〜17の処理をクライアント端末101のCPU201が実行するとしたが、他の実施例として、サーバ102のCPU201が各処理を実行しても良い。

0108

以上、本発明によると、記入文字が記入枠に重なることによるOCRの誤認識をより正確に補正する仕組みを提供することができる。

0109

また、本発明によると、記入文字と記入枠を効率よく分離することができる。

0110

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

0111

以上、本発明の実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

0112

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

0113

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

0114

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク光磁気ディスクCD−ROM、CD−R、磁気テープ不揮発性メモリカード、ROM等を用いることができる。

0115

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

0116

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

0117

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

0118

ネットワーク1
クライアント端末101
サーバ102

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ