図面 (/)

技術 情報処理装置及びプログラム

出願人 株式会社ファブリカコミュニケーションズ
発明者 大西秀典
出願日 2018年10月19日 (2年4ヶ月経過) 出願番号 2018-197926
公開日 2020年4月30日 (9ヶ月経過) 公開番号 2020-067669
状態 未査定
技術分野 文字認識 イメージ分析 文字入力 交通制御システム
主要キーワード アルゴリズム適用 歪み加工 判別アルゴリズム 登録地域 ユーザ情報取得ステップ 識別アルゴリズム 右詰め 道路交通法
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年4月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

効率的かつ高精度にナンバープレートを認識する技術を提供することを目的とする。

解決手段

複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段と、所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段と、前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段と、を備える情報処理装置を提供する。

概要

背景

近年、マーケティング安全管理などの目的において、画像から自動車ナンバープレートを認識する装置が用いられている。その認識方法には様々なものがあるが、機械学習を利用した方法が一般化してきている(例えば特許文献1参照)。
この特許文献1には、機械学習の一種であるディープラーニングを用いて、ナンバープレートを認識する技術が記載されている。

概要

効率的かつ高精度にナンバープレートを認識する技術を提供することを目的とする。複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段と、所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段と、前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段と、を備える情報処理装置を提供する。

目的

本発明は、このような状況に鑑みてなされたものであり、効率的かつ高精度にナンバープレートを認識する技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段と、所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段と、前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段と、を備える情報処理装置

請求項2

前記アルゴリズム取得手段は、前記文字を隆起させるバンプ加工手段、前記文字にノイズを加えるノイズ加工手段、前記文字に陰影を加える陰影加工手段、前記文字に歪みを加える歪み加工手段のうちの少なくとも1つの加工手段により加工された画像を含む前記学習用画像を使用して得られた前記所定のアルゴリズムを取得する、請求項1に記載の情報処理装置。

請求項3

前記複数のナンバープレート画像は、全部または一部を、ナンバープレートの四隅の一座標のデータに基づいて取得された、請求項1又は2に記載の情報処理装置。

請求項4

前記アルゴリズム取得手段は、前記学習用画像を前記ナンバープレートの地域名に係る領域、前記ナンバープレートの分類番号に係る領域、前記ナンバープレートのひらがなに係る領域、前記ナンバープレートの番号に係る領域の少なくとも4つの領域に分割され、夫々の領域に機械学習に関する手法が適用され、決定された前記所定のアルゴリズムを取得する、請求項1乃至3のいずれか1項に記載の情報処理装置。

請求項5

情報処理装置が実行するプログラムであって、複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得ステップと、所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得ステップと、前記ユーザ情報取得ステップにより取得された前記データに対して、前記アルゴリズム取得ステップより取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用ステップ、として機能させるプログラム。

技術分野

0001

本発明は、情報処理装置及びプログラムに関する。

背景技術

0002

近年、マーケティング安全管理などの目的において、画像から自動車ナンバープレートを認識する装置が用いられている。その認識方法には様々なものがあるが、機械学習を利用した方法が一般化してきている(例えば特許文献1参照)。
この特許文献1には、機械学習の一種であるディープラーニングを用いて、ナンバープレートを認識する技術が記載されている。

先行技術

0003

特開2018−120445公報

発明が解決しようとする課題

0004

しかしながら、特許文献1を含む従来技術のみでは、学習を行うために大量のナンバープレート画像等を用意する必要があり、精度やコスト等の問題が指摘されていた。

0005

本発明は、このような状況に鑑みてなされたものであり、効率的かつ高精度にナンバープレートを認識する技術を提供することを目的とする。

課題を解決するための手段

0006

上記目的を達成するため、本発明の一態様の情報処理装置は、
複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段と、
所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段と、
前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段と、
を備える。

0007

本発明の一態様のプログラムは、上述の本発明の一態様の情報処理装置に対応するプログラムである。

発明の効果

0008

本発明によれば、効率的かつ高精度にナンバープレートを認識する技術を提供することができる。

図面の簡単な説明

0009

本発明の一実施形態に係る情報処理システムの一例を示す図である。
図1の情報処理システムのうち、推論サーバハードウェア構成を示すブロック図である。
図1の情報処理システムのうちの推論サーバ、ユーザ端末、及び学習サーバ機能的構成の一例を示す機能ブロック図である。
図3の学習サーバにより実行されるナンバープレート学習処理の流れを説明するフローチャートである。
図3の推論サーバにより実行されるナンバープレート識別処理の流れを説明するフローチャートである。
図3の学習サーバにおいて、利用されるナンバープレート文字データの具体例を示す図である。
図3の学習サーバにおいて、実行されるナンバープレート画像の加工の具体例を示す図である。
図3の学習サーバにおいて、生成されるナンバープレート画像と背景画像とを合成した学習用画像の具体例を示す図である。

実施例

0010

以下、本発明の実施形態について、図面を用いて説明する。そこで、まずは図1を参照して本発明の一実施形態に係る情報処理システムの概要について説明する。
ここで、本発明の一実施形態に係る情報処理システムの適用対象となるナンバープレートの認識サービスを、以降の説明では、本サービスと呼ぶ。

0011

図1に示す情報処理システムは、推論サーバ1と、ユーザ端末2と、学習サーバ3とを含むように構成されている。
推論サーバ1と、ユーザ端末2と、学習サーバ3との夫々は、インターネット(Internet)等のネットワークNを介して相互に接続されている。
推論サーバ1は、本サービスの管理者等により、管理される。推論サーバ1は、例えば、ユーザ端末2から送信されてきたナンバープレートが撮像された画像(以下、「ナンバープレート画像」と呼ぶ)に対して、所定のアルゴリズムを適用して、ナンバープレートの認識を行うために利用される。
ユーザ端末2は、本サービスの提供を希望するユーザにより使用される。ユーザ端末2は、例えば、ユーザ等により撮像されたナンバープレートが撮像された画像を、推論サーバ1に送信するために利用される。
学習サーバ3は、本サービス管理者又は学習を担当するベンダ等により、管理される。学習サーバ3は、例えば、複数のナンバープレートが撮像された画像のデータに基づいて学習を行うために利用される。

0012

図2は、図1の情報処理システムのうち、推論サーバ1のハードウェア構成を示すブロック図である。

0013

推論サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。

0014

CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。

0015

CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。

0016

出力部16は、ディスプレイスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部17は、キーボードマウス等で構成され、各種情報を入力する。

0017

記憶部18は、ハードディスクDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(図1の例ではユーザ端末2及び学習サーバ3)との間で通信を行う。

0018

ドライブ20には、磁気ディスク光ディスク光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされてもよい。
また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。

0019

なお、図示はしないが、図1の情報処理システムのうち、ユーザ端末2と学習サーバ3のハードウェア構成は、推論サーバ1のハードウェア構成と、基本的に同様とすることができるため、ここでは説明を省略する。

0020

次に、このようなハードウェア構成を持つ推論サーバ1、ユーザ端末2、及び学習サーバ3の機能的構成について、図3を参照して説明する。
図3は、図1の情報処理システムのうちの推論サーバ1、ユーザ端末2、及び学習サーバ3の機能的構成の一例を示す機能ブロック図である。
ここで、本サービスに係る各種処理は、後述する学習処理及びナンバープレート識別処理に大別される。そこで、まずは、主として推論サーバ1及びユーザ端末2において、実行される学習処理について説明する。

0021

図3に示すように、学習サーバ3のCPU31においては、データ取得部61と、データ加工部62と、学習用画像生成部63と、位置座標データ生成部64と、学習部65とが機能する。
データ加工部62では、ナンバープレート画像生成部71と、バンプ加工部72と、ノイズ加工部73と、陰影加工部74と、歪み加工部75とが機能する。
なお、記憶部38の一領域には、ナンバープレートDB100と、学習処理DB200とが設けられている。

0022

学習サーバ3のデータ取得部61は、図示せぬデータベース等から、複数のナンバープレートが撮像された画像のデータ(以下、「ナンバープレートデータ」と呼ぶ)を取得して、その情報をナンバープレートDB100に格納する。
また、ナンバープレートDB100には、ナンバープレートデータ以外にも、ナンバープレートの構成要素である文字領域と、色領域と、背景に関するデータも格納されているものとする。

0023

データ加工部62は、ナンバープレートDB100に格納されたナンバープレートデータを適宜抽出し、それらのデータを加工する。具体的な加工は、以下のとおりである。

0024

ナンバープレート画像生成部71は、文字及び色を加工して、新たな学習用画像を生成する。
即ち、ナンバープレート画像には、地域名、分類番号ひらがな、及び番号の4種類の文字領域が含まれる。ナンバープレート画像生成部71は、例えば、ナンバープレートDB100に格納されているナンバープレート画像に含まれる文字領域の内容を、任意に選出、組み合わせることで、ナンバープレート画像に含まれる文字領域部分を決定し、学習用の新たなナンバープレートデータ(以下、「加工ナンバープレートデータ」と呼ぶ)を生成することができる。

0025

ここで、ナンバープレート画像に含まれる文字領域部分の決定方法は、特に制限されないが、例えば、地域名は、すべての地域の中から1つの地域名をランダムに1つ選び、ひらがなも同様に一文字をランダムに選び、分類番号は、2桁又は3桁のどちらかにするかをランダムに選び、桁数毎にランダムに0〜9の数字を一文字選び、番号は、0〜9999までの整数を1つ選び、4桁ある場合には2桁目と3桁目の間にハイフンを挿入し、4桁より桁数が少ない場合には、右詰めで「・」でパディングを行う、というルールで決定することができる。
また、ナンバープレート画像生成部71は、ナンバープレート画像のうちプレートの色を変更して加工ナンバープレートデータを生成してもよい。
即ち、ナンバープレート画像生成部71は、自動車の用途・軽自動車かどうかの別によって白地に緑文字、緑地白文字、黄色地黒文字黒地に黄色文字の4種類がある。ナンバープレート画像生成部71は、決定したナンバープレート画像の文字部分に対して、上記の4種類の色をランダムに選択して合成し、加工ナンバープレートデータを生成してもよい。

0026

バンプ加工部72は、ナンバープレート画像の文字領域部分に対して、文字部分を立体的隆起させるバンプ加工を行うことで、加工ナンバープレートデータを生成する。
具体的に例えば、バンプ加工部72は、ナンバープレート画像の真上を12時とした場合に、4時から8時の方向の間で陰影の方向をランダムに決定してバンプ加工を行う。
このバンプ加工により、文字部分は立体的になり、文字部分の周りハイライト及び陰影が生じる。このバンプ加工により、バンプ加工部72は、ナンバープレートの文字部分の輪郭濃淡が異なる複数の加工ナンバープレートデータを生成することができる。

0027

ノイズ加工部73は、ナンバープレート画像の文字領域部分に汚れテカリなどのノイズ加工を行うことで、加工ナンバープレートデータを生成する。
この汚れやテカリなどのノイズにより、実際のナンバープレートは文字の輪郭に影響がある場合がある。このノイズ加工により、ノイズ加工部73は、ナンバープレート画像の文字部分の輪郭が異なる複数の加工ナンバープレートデータを生成することができる。
なお、画像の保存系力によっては、その保存形式の特性によりノイズが自然に発生する場合もある(例えば、JPEGのブロックノイズ等)。

0028

陰影加工部74は、ナンバープレート画像に対して、陽の光や自動車のボディの形状などの影響による陰影を加える陰影加工を行うことで、加工ナンバープレートデータを生成する。
陰影加工部74は、ナンバープレート画像の真上を12時とした場合に、3時から9時の方向の間で上からランダムに影が落ちる様に陰影加工を行う。下から上に影が入るシチュエーションは少ないため、バンプ加工と比較して、陰影方向の角度の幅は狭くてよい。
この陰影加工により、陰影加工部74は、ナンバープレートの文字部分の輪郭の濃淡が異なる複数の加工ナンバープレートデータを生成することができる。

0029

歪み加工部75は、ナンバープレート画像を3次元方向に動かした時の歪みを加える歪み加工を行うことで、加工ナンバープレートデータを生成する。
具体的に例えば、歪み加工部75は、ナンバープレート画像が真正面を向いた状態から、ナンバープレート画像のX軸、Y軸、Z軸それぞれに対して±30度までの傾きをランダムに行う。
この歪み加工により、歪み加工部75は、ナンバープレートの文字領域部分の見え方が異なる複数の加工ナンバープレートデータを生成することができる。

0030

学習用画像生成部63は、ナンバープレートDB100に格納されたナンバープレートデータ又は上述の加工ナンバープレートデータに対して、ナンバープレートDB100に格納されている背景画像を合成することで、学習用の学習用画像を生成する。なお、合成に利用される背景画像は、例えば、ランダムに決定されてもよい。また、ここで言う背景画像とは、ナンバープレートが含まれていない画像であれば、どのようなものでも任意である。

0031

位置座標データ生成部64は、上記学習用画像の中で、ナンバープレート部分四隅の位置の座標データを生成する。この位置座標データは、後述する学習部での処理の際に、学習用画像と共に学習されるデータである。
このようにナンバープレートの四隅の位置の座標データを生成することで、ナンバープレートが設置されている周囲環境とナンバープレートとのなんらかの位置関係など、ナンバープレートの外部情報からナンバープレートの四隅を識別するアルゴリズムが生成されることを防ぐことができる。

0032

学習部65は、ナンバープレートDB100に格納されているナンバープレートデータ及び学習用画像生成部63が生成された学習用画像、ナンバープレートの文字、色、並びにナンバープレートの四隅の位置座標データ等に基づいて、機械学習に関する手法が適用して学習することで、ナンバープレートの識別アルゴリズム(以下、「識別アルゴリズム」と呼ぶ)を出力する。
ここで、学習部65が採用する機械学習に関する手法とは、特に限定されず、任意である。
さらに、学習部65は、出力した識別アルゴリズムを、学習処理DB200に格納すると共に、通信部39を介して推論サーバ1に送信する。
以上、本サービスに係る学習処理及びナンバープレート識別処理のうち、学習処理において、機能し得る各種機能的構成を簡単に説明した。続いて、ナンバープレート識別処理において、機能し得る各種機能的構成を簡単に説明する。

0033

図3に示すように、推論サーバ1のCPU11においては、データ管理部51と、アルゴリズム取得部52と、識別部53と、結果出力部54とが機能する。
なお、後述するナンバープレート識別処理においては、前提としてユーザ端末2等から推論サーバ1に対して、ユーザが識別を希望するナンバープレートを含む画像のデータ(以下、「識別希望画像データ」と呼ぶ)が送信されているものとする。

0034

推論サーバ1のデータ管理部51は、ユーザ端末2等から送信されてきた識別希望画像データを、通信部19を介して、取得する。
ここで、上述の識別希望画像データには、ナンバープレートの構成要素である文字の領域、色の領域、背景に関する各種データも含んでいる。

0035

アルゴリズム取得部52は、ナンバープレートの識別アルゴリズムを学習サーバ3から通信部19を介して取得する。

0036

識別部53は、データ管理部51が取得した識別希望画像データに対して、学習サーバ3から取得したナンバープレートの識別アルゴリズムを適用して、識別希望画像データの識別を行う。
ここで、識別希望画像データの識別とは、識別希望画像データに含まれるナンバープレート画像の文字認識を行ってもよく、ナンバープレート画像の文字情報正誤を識別してもよい。
結果出力部54は、識別部53が識別した結果を、通信部19を介してユーザ端末2に送信する。

0037

次に、図4を参照して、図2の機能的構成を有する学習サーバ3が実行するナンバープレート学習処理について説明する。
図4は、学習サーバ3により実行されるナンバープレート学習処理の流れを説明するフローチャートである。

0038

図4に示すように、学習サーバ3では次のような一連の処理が実行される。
テップS1において、ナンバープレートDB100に格納されたナンバープレートデータを適宜抽出し、それらのデータを加工する。

0039

ステップS2において、ナンバープレート画像生成部71は、ナンバープレートDB100に格納されているナンバープレートの構成要素である文字領域と、色領域とに関するデータを加工して、ナンバープレート画像を生成する。

0040

ステップS3において、バンプ加工部72は、ナンバープレート画像の文字部分を立体的に隆起させるバンプ加工を行い、加工ナンバープレートデータを生成する。

0041

ステップS4において、ノイズ加工部73は、ナンバープレート画像の文字部分に汚れやテカリなどのノイズ加工を行い、加工ナンバープレートデータを生成する。

0042

ステップS5において、陰影加工部74は、陽の光や自動車のボディの形状などの影響による陰影を加える陰影加工を行い、加工ナンバープレートデータを生成する。

0043

ステップS6において、歪み加工部75は、ナンバープレート画像を3次元方向に動かした時の歪みを加える歪み加工を行い、加工ナンバープレートデータを生成する。

0044

ステップS7において、学習用画像生成部63は、ナンバープレートDB100に格納されたナンバープレートデータ又は上述の加工ナンバープレートデータに対して、ナンバープレートDB100に格納されている背景画像を合成することで、学習用の学習用画像を生成する。

0045

ステップS8において、位置座標データ生成部64は、上記学習用画像の中で、ナンバープレート部分の四隅の位置の座標データを生成する。

0046

ステップS9において、学習部65は、データ取得部61が取得したナンバープレートデータ及び学習用画像生成部63が生成した学習用画像、ナンバープレートの文字データ、色データ、並びにナンバープレートの四隅の位置座標データに対して、機械学習に関する手法を適用し、ナンバープレートの識別アルゴリズムを生成する。

0047

ステップS10において、学習部65は、出力した識別アルゴリズムを、学習処理DB200に格納すると共に、通信部39を介して推論サーバ1に送信する。
以上の処理を経ることで、ナンバープレート学習処理は終了する。

0048

このように、ナンバープレートの処理を行うことで、大量のナンバープレートを学習し、精度の高いナンバープレートの識別アルゴリズムを生成することができる。

0049

次に、図5を参照して、図2の機能的構成を有する推論サーバ1が実行するナンバープレート識別処理について説明する。
図5は、推論サーバ1により実行されるナンバープレート識別処理の流れを説明するフローチャートである。

0050

図5に示すように、推論サーバ1では次のような一連の処理が実行される。
ステップS21において、データ管理部51は、通信部19を介してユーザ端末2から識別希望画像データを取得する。

0051

ステップS22において、アルゴリズム取得部52は、学習サーバ3から送られてきた識別アルゴリズムを取得する。
ステップS23において、識別部53は、データ管理部51が取得した識別希望画像データに対して、識別アルゴリズムを適用して、識別希望画像データの識別を行う。

0052

ステップS24において、結果出力部54は、識別希望画像データの識別結果を、通信部19を介してユーザ端末2に送信する。
ステップS25において、データ管理部51は、新たな識別希望画像データが送信されてきたかどうかを確認する。その確認の結果、新たな識別希望画像データを取得していればステップSS21に戻り、ナンバープレート識別処理を再度行う。ここで、新たな識別希望画像データを取得していなければナンバープレート識別処理は終了する。

0053

このように、新たな識別希望画像データを取得する度に、ナンバープレート識別処理を行うことにより、常に最新のアルゴリズムでナンバープレートを精度の高く識別することができる。

0054

次に、図6を用いて、学習サーバ3において、ナンバープレート画像に含まれる文字について簡単に説明する。
図6は、学習サーバ3において、ナンバープレートにおいて利用される文字の一例を示す図である。

0055

図6(a)の例では、地域名M1の一例として「なにわ」という文字が表示されている。図6(b)の例では、分類番号M2の一例として「530」という文字が表示されている。図6(c)の例では、ひらがなM3の一例として「あ」という文字が表示されている。図6(d)の例では、番号M4の一例として「00−00」という文字が記載されている。なお、実際には日本国では0から始まるナンバープレートは存在しないが、ここでは説明の便宜上、「00−00」が存在するものとする。
ここで、本実施形態における、「地域名」、「分類番号」、「ひらがな」、「番号」について説明する。「地域名」、「分類番号」、「ひらがな」、「番号」とは、日本国のナンバープレートにおける独自の表示形式である。
「地域名」とは、表示されているナンバープレートが登録されている地域名が表示されている。即ち、図6(a)の例では、例えば、「なにわ」の文字が表示されているナンバープレートP1の登録地域がなにわ(なにわ自動車検査登録事務所)であることを示している。
「分類番号」とは、ナンバープレートが設置された自動車の種類や用途等を区分するために用いられる番号である。具体的に例えば、図6(b)の例では、分類番号「530」の文字が表示されているナンバープレートP2の用途は、例えば、「小型乗用」であることを示している。
「ひらがな」とは、上述の「分類番号」と同様に、ナンバープレートが設置された自動車の用途等を区分するために用いられる。ただし、分類の内容が多少異なっている。
「番号」とは、表示されているナンバープレートを一意に特定するための番号である。
このようにナンバープレートには、予め道路交通法等で定められた所定のルールに従って表示される文字が決定される場合がある。

0056

つまり、ナンバープレートの分類番号等には、道路交通法等に基づく所定のルールが存在するため、学習サーバ3は、これらのルールを含んで学習を行えば、学習の精度が向上する可能性がある。
他方、これらのルールは、変更する可能性も十分にあるため、上述のナンバープレート画像生成部71がランダムに文字を選択して、加工ナンバープレートデータを生成したように、敢えて、これらのルールを学習に含まなくともよい。
換言すれば、学習サーバ3は、ナンバープレートに関する各種ルールのうち任意のルールのみを採用して、学習に利用してもよい。

0057

また、学習サーバ3の学習部65は、学習用画像のうち、図6の(a)〜(d)で示した構成要素の夫々を含む画像を、夫々、別々に機械学習の手法を適用して、学習を行うこともできる。
さらに、学習部65は、ナンバープレートの識別アルゴリズムを、ナンバープレート全体の識別アルゴリズムを生成するのみではなく、ナンバープレートの各構成要素毎に判別アルゴリズムを生成することができる。

0058

このように、構成要素の夫々に対して、別々に学習を行うことは、新たな学習用画像が追加され、再学習を行う際に特に有用である。
即ち、ナンバープレートの構成は、法律規則の変更によって変更がある場合がある。上記のように、ナンバープレートの各構成要素毎に機械学習を行えば、仮にナンバープレートの構成に変更があった場合でも、変更があった箇所のみに再学習を行えば、識別の制度を十分に保つことができることが期待される。

0059

次に、図7を用いて、学習サーバ3において、実行されるナンバープレート画像の加工を説明する。
図7は、学習サーバ3において、実行されるナンバープレート画像の加工の具体例を示す図である。

0060

図7(a)は、「な」の文字を立体的に隆起させてバンプ加工をした結果、陰影が生じている加工後のナンバープレートK1を示している。図7(b)は、ナンバープレートの上部を汚してノイズ加工をした加工後のナンバープレートK2を示している。図7(c)は、ナンバープレートを右側から見たように動かして歪み加工を加えた加工後のナンバープレートK3と、ナンバープレートを上部から見たように動かして歪み加工を加えた加工後のナンバープレートK4を示している。
このように、データ加工部62では、ナンバープレートに様々な加工を施すことで、学習用画像の元になる数多くのナンバープレート画像を生成することができる。

0061

次に、図8を用いて、学習サーバ3において、ナンバープレート画像と背景画像とを合成した学習用画像を説明する。
図8は、学習サーバ3において、生成されるナンバープレート画像と背景画像とを合成した学習用画像の具体例を示す図である。

0062

図8は、背景画像内にナンバープレートP5が合成された学習用画像Gを示している。
このように、学習用画像生成部63は、生成して各種の加工を施されたナンバープレート画像に、ランダムに選択した背景画像を合成することで、多量の学習用画像を生成することができる。

0063

以上、本発明の実施の形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

0064

また、ナンバープレート文字データは、推論サーバから取得したもの以外にも、所定のアルゴリズムによって、学習サーバ3で生成したものを用いてもよい。学習サーバ3が、ナンバープレートに表示する文字を生成する場合、ランダムに生成してもよいし、上述のルールを加味して、一定の制限のもとで、ナンバープレートに表示する文字を生成してもよい。
また、ナンバープレート画像の生成においては、データ加工部62は、本明細書に示した以外の各種の加工が施されていてもよい。例えば、ナンバープレートの周辺に枠を合成する枠加工をしてもよい。

0065

また例えば、上述の実施形態において、学習部65が機械学習する画像は、特に制限されず、データ取得部61が取得した画像をそのまま学習してもよい。学習用画像は、データ加工部内のすべての加工が施される必要はなく、一部の加工のみが施されていてもよく、全く加工が施されていなくてもよい。
さらに言えば、学習部65が機械学習を実行する際に、ナンバープレートの四隅の位置座標データは必ずしも必要ではなく、このデータがないデータを学習することもできる。

0066

また例えば、上述の実施形態において、推論サーバ1や学習サーバ3で各種処理を実行する場合、必要な部分のみを切り取る、不要な部分の画質を低画質にする、等を行ってもよい。
これにより、推論サーバ1又は学習サーバ3は、各種処理に必要な演算量を低減し、各種処理を短時間で行うことができる。

0067

また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用パーソナルコンピュータであってもよい。

0068

また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROMや、記憶部に含まれるハードディスク等で構成される。

0069

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップ及びセールスステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

0070

また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

0071

また例えば、図3に示す各ハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。

0072

また例えば、図3に示す機能ブロック図及び図4図5に示すフローチャートは、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行出来る機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図3の例に限定されない。
また、機能ブロックの存在場所も、図3に特に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
さらに言えば、これらの機能ブロックは、上述の推論サーバ1、ユーザ端末2及び学習サーバ3の夫々に存在する必要はなく、任意である。
具体的に例えば、ユーザ端末2や学習サーバ3が推論サーバ1の機能含んで構成されても良いし、その逆でもよい。

0073

以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置(例えば、図3の推論サーバ1)は、
複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段(例えば、図3のアルゴリズム取得部52)と、
所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段(例えば、図3のデータ管理部51)と、
前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段(例えば、図3の識別部53)と、
を備える。
これにより、ナンバープレートに関する学習データを大量に用意して、精度の高いナンバープレート認識をすることができる。

0074

また、アルゴリズム取得手段は、前記ナンバープレート画像の文字部分を立体的に隆起させるバンプ加工手段(例えば、図3のバンプ加工部72)、前記ナンバープレート画像の文字部分に汚れやテカリなどのノイズを加えるノイズ加工手段(例えば、図3のノイズ加工部73)、前記ナンバープレート画像の文字部分に陽の光や自動車のボディの形状などの影響による陰影を加える陰影加工手段(例えば、図3の陰影加工部74)、及び前記ナンバープレート画像を3次元方向に動かした時の歪みを加える歪み加工手段(例えば、図3の歪み加工部75)からなる群から選ばれる少なくとも1つの加工手段を用いて加工して作成された画像を少なくとも含む、前記学習用画像に関するデータを使用して決定された前記所定のアルゴリズムを取得することができる。
これにより、ナンバープレートに関する学習データをより大量に用意して、精度の高いナンバープレート認識をすることができる。

0075

また、情報処理装置(例えば、図3の推論サーバ1)は、
前記複数のナンバープレート画像及び前記学習用画像に関するデータの全部又は一部について、ナンバープレートの四隅の位置座標のデータに基づいて取得されることができる。
これにより、ナンバープレートの四隅の位置の座標データを生成することで、ナンバープレートが設置されている周囲環境とナンバープレートとのなんらかの位置関係など、ナンバープレートの外部情報からナンバープレートの四隅を識別するアルゴリズムが生成されることを防ぐことができる。

0076

また、情報処理装置(例えば、図3の推論サーバ1)は、
前記アルゴリズム取得手段は、前記学習用画像に関するデータに対して、前記ナンバープレートの地域名部分と、前記ナンバープレートの分類番号部分と、前記ナンバープレートのひらがな部分と、前記ナンバープレートの番号部分とのそれぞれ別々に機械学習に関する手法を適用し、決定された所定のアルゴリズムを取得することができる。
これにより、仮にナンバープレートの構成に変更があった場合でも、変更があった部分のみの再学習を行うことができる。

0077

1・・・推論サーバ、2・・・ユーザ端末、3・・・学習サーバ、11・・・CPU、12・・・ROM、13・・・RAM、14・・・バス、15・・・入出力インターフェース、16・・・表示部、17・・・入力部、18・・・記憶部、19・・・通信部、20・・・ドライブ、21・・・リムーバブルメディア、31・・・CPU、38・・・記憶部、39・・・通信部、51・・・データ管理部、52・・・アルゴリズム取得部、53・・・識別部、54・・・結果出力部、61・・・データ取得部、62・・・データ加工部、63・・・学習用画像生成部、64・・・位置座標データ生成部、65・・・学習部、71・・・ナンバープレート画像生成部、72・・・バンプ加工部、73・・・ノイズ加工部、74・・・陰影加工部、75・・・歪み加工部、100・・・ナンバープレートDB、200・・・学習処理DB

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ