図面 (/)

技術 商品棚認識装置、商品棚認識方法、プログラム及び画像処理装置

出願人 日本電気株式会社
発明者 比嘉恭太白石壮馬秋山達勇
出願日 2015年7月6日 (6年5ヶ月経過) 出願番号 2015-134861
公開日 2017年1月19日 (4年11ヶ月経過) 公開番号 2017-016539
状態 特許登録済
技術分野 特定用途計算機 陳列棚
主要キーワード 商品購入ボタン 商品認識 SIFT特徴量 文字画像情報 画像領域情報 頑健性 キー文字 カメラセンサ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

販売されている商品商品情報を、より好適に収集可能な技術を提供する。

解決手段

画像から商品を認識し、当該商品の画像領域周辺領域から前記商品の価格を認識する第1の認識手段と、前記第1の認識手段により価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する第2の認識手段と、を備える商品棚認識装置

概要

背景

市場動向調査として、店舗自動販売機などにおける商品販売状況を把握するために、それらで販売されている商品の情報を収集する活動が行われている。しかしながら、店舗や自動販売機は多数存在するため、人手商品情報を収集する場合、膨大な作業時間や人件費などのコストを要するという問題がある。そのため、このような商品情報をカメラ撮影した画像から自動的に収集する方法が求められている。

従来、例えば、画像中の文字を認識するOCR(Optical Character Reader)が広く知られている。

また、特許文献1には、画像内の被写体(例えば、店頭の商品など)を、撮影サイズ、角度の変化、および遮蔽に対して頑健に識別するSIFT(Scale Invariant Feature Transform)特徴量を用いた画像認識装置が記載されている。

OCRと特許文献1に記載の技術とを併用することにより、店頭の商品棚や自動販売機を撮影した画像から、商品とそれに付随する価格を自動的に認識できる。

概要

販売されている商品の商品情報を、より好適に収集可能な技術を提供する。画像から商品を認識し、当該商品の画像領域周辺領域から前記商品の価格を認識する第1の認識手段と、前記第1の認識手段により価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する第2の認識手段と、を備える商品棚認識装置

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像から商品を認識し、当該商品の画像領域周辺領域から前記商品の価格を認識する第1の認識手段と、前記第1の認識手段により価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する第2の認識手段と、を備える商品棚認識装置

請求項2

前記画像は、店頭の商品棚又は自動販売機を含む画像である、請求項1に記載の商品棚認識装置。

請求項3

前記第1の認識手段により認識される商品の価格の有効性を判定する有効性判定手段をさらに有し、前記第1の認識手段は、前記商品の画像領域の周辺領域から当該商品に関連する文字を価格として認識し、前記第2の認識手段は、前記認識された価格が、前記有効性判定手段により有効と判定された商品の画像領域の周辺領域の特徴情報を用いる請求項1又は2に記載の商品棚認識装置。

請求項4

前記有効性判定手段による有効とされた商品の画像領域の周辺領域の特徴情報を記憶する記憶手段をさらに有し、前記第2の認識手段は、前記記憶手段に記憶されている特徴情報を用いる請求項3に記載の商品棚認識装置。

請求項5

前記有効性判定手段は、価格を構成する文字毎の認識結果の類似度の総和から、前記有効性を判定する、請求項3又は4に記載の商品棚認識装置。

請求項6

前記有効性判定手段は、前記第1の認識手段が認識した前記文字の前記画像中の領域の幅または高さに基づいて前記有効性を判定する、請求項3〜5のいずれか1項に記載の商品棚認識装置。

請求項7

前記商品棚認識装置は、前記有効性が高いと判定された前記価格が含まれる前記画像中の領域から抽出した、複数の前記文字の特徴情報を組み合わせたパターンを生成するパターン生成手段を備える請求項3〜6のいずれか1項に記載の商品棚認識装置。

請求項8

画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識し、前記価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する、商品棚認識方法

請求項9

コンピュータに、画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識する第1の認識処理と、前記第1の認識処理により価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する第2の認識処理と、を実行させるプログラム

請求項10

画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品に関連する商品情報を認識する第1の認識手段と、前記第1の認識手段により商品情報が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品に関連する商品情報を認識する第2の認識手段と、を備える画像処理装置

技術分野

0001

本発明は、商品棚認識装置、商品棚認識方法プログラム及び画像処理装置に関する。

背景技術

0002

市場動向調査として、店舗自動販売機などにおける商品販売状況を把握するために、それらで販売されている商品の情報を収集する活動が行われている。しかしながら、店舗や自動販売機は多数存在するため、人手商品情報を収集する場合、膨大な作業時間や人件費などのコストを要するという問題がある。そのため、このような商品情報をカメラ撮影した画像から自動的に収集する方法が求められている。

0003

従来、例えば、画像中の文字を認識するOCR(Optical Character Reader)が広く知られている。

0004

また、特許文献1には、画像内の被写体(例えば、店頭の商品など)を、撮影サイズ、角度の変化、および遮蔽に対して頑健に識別するSIFT(Scale Invariant Feature Transform)特徴量を用いた画像認識装置が記載されている。

0005

OCRと特許文献1に記載の技術とを併用することにより、店頭の商品棚や自動販売機を撮影した画像から、商品とそれに付随する価格を自動的に認識できる。

先行技術

0006

米国特許第6711293号明細書
特開2013−167973号公報
特開2014−044480号公報

発明が解決しようとする課題

0007

しかしながら、価格を構成する文字の一部が商品や商品の影などで遮蔽されると、撮影画像から1文字に対応する領域が誤って切り出されたり、または、切り出された各領域内の文字が正しく認識されなかったりする。そのため、OCRの文字認識結果は必ずしも信頼できるものとは限らない。

課題を解決するための手段

0008

上記課題を解決するために、本発明の一態様に係る商品棚認識装置は、画像から商品を認識し、当該商品の画像領域周辺領域から前記商品の価格を認識する第1の認識手段と、前記第1の認識手段により価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する第2の認識手段と、を備える。

0009

また、本発明の一態様に係る商品棚認識方法は、画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識し、前記価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する。

0010

また、本発明の一態様に係る画像処理装置は、画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品に関連する商品情報を認識する第1の認識手段と、前記第1の認識手段により商品情報が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品に関連する商品情報を認識する第2の認識手段と、を備える。

0011

なお、前述した各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体も、本発明の範疇に含まれる。

発明の効果

0012

本発明は、価格を構成する文字の一部等、商品情報の一部が商品や商品の影などで遮蔽されても精度良く認識できる。

図面の簡単な説明

0013

本発明の第1の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。
本発明の第1の実施形態に係る商品棚認識装置が受信する撮影画像の一例を説明するための図である。
本発明の第1の実施形態に係る部地認識装置の第1の認識部101の機能構成の一例を示す機能ブロック図である。
商品認識結果、価格探索画像領域、および文字認識結果の一例を示す図である。
本発明の第1の実施形態に係る商品棚認識装置の有効性判定部103の機能構成の一例を示す機能ブロック図である。
本発明の第1の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。
本発明の第2の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。
本発明の第2の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。
本発明の第3の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。
本発明の第3の実施形態に係る商品棚認識装置のパターン生成部301の動作の一例を示す図である。
本発明の第3の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。
本発明の第4の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。
本発明の第4の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。
本発明の第5の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。
本発明の第5の実施形態に係る商品棚認識装置のパターン生成部501の動作の一例を示す図である。
本発明の第5の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。
本発明の第6の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。
本発明の第6の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。
本発明の第7の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。
本発明の第8の実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
本発明の各実施形態を実現可能なコンピュータ(情報処理装置)のハードウェア構成を例示的に説明する図である。
本発明の第1の実施形態に係る商品棚認識装置の動作の一例を模式的に示した図である。

実施例

0014

まず、本発明の実施形態の理解を容易にするために、本発明の背景を説明する。

0015

店頭の商品棚や自動販売機を撮影した画像から、商品とそれに付随する価格を自動的に認識し、商品情報を収集する際、価格を構成する文字の一部が商品や商品の影などで遮蔽されたような状況では、OCRの文字認識は必ずしも正確に価格を認識できない。

0016

一方、特許文献1に記載のSIFT特徴量を用いることで、価格を構成する文字の一部が商品や商品の影で遮蔽されても認識精度の低下を低減できる。しかしながら、店頭や自動販売機で販売されている商品の価格を構成する文字のフォントや、それらの文字間隔バリエーションは多数存在するため、全てのバリエーションを事前に準備することは非現実的である。以下の説明において、「文字」は、一文字を意味することもあるし、文字列を意味することもある。

0017

以下に説明される本発明の実施形態によれば、上述の課題が解決され、精度よく価格を認識することができる。

0018

なお、異なる2つの観点の照合(検索)を行うことで複数認識された商品の候補を精度良く絞り込む技術が特許文献2及び特許文献3に記載されているが、これら文献に記載の技術では上述した遮蔽の問題は解決されない。

0019

<第1の実施形態>
本発明の第1の実施形態について図面を参照して詳細に説明する。本実施の形態では、販売されている商品(物品)を説明するための情報であって、当該商品に関連付けられた情報を商品情報と呼ぶ。商品情報は、例えば、商品名などの商品を識別する識別情報と、当該商品に関連付けられた付随情報とを含む。商品の付随情報は、例えば、商品の価格を示す情報などを含む。商品の付随情報は、例えば、商品が販売されている状況(販売状況)を示す情報等を含んでも良い。商品の販売状況を示す情報とは、例えば、該商品が冷たい商品なのか暖かい商品なのかを示す情報である。なお、商品の付随情報はこれに限定されるものではなく、商品が販売中か売り切れかを示す情報を含んでもよい。この商品の販売状況を示す情報とは、文字列であってもよいし、色であってもよいし、形であってもよい。

0020

また、本実施形態における商品棚とは、商品が陳列された店舗の什器であってもよいし、自動販売機であってもよい。これについては、第2の実施形態以降も同様である。

0021

(機能構成)
図1を参照して本実施形態に係る商品棚認識装置10について説明する。図1は、本実施形態に係る商品棚認識装置10の機能構成の一例を示す機能ブロック図である。図1に示す通り、商品棚認識装置10は、第1の認識部101と、第1の記憶部102と、有効性判定部103と、第2の記憶部104と、第2の認識部105とを備えている。なお、図1に示す商品棚認識装置10は、本発明に特有な構成について示したものであり、図1に示す商品棚認識装置10が図1に示されていない部材を有してもよいことは言うまでもない。

0022

第1の認識部101は、商品の認識を実施する対象となる、店頭の商品棚や自動販売機を撮影した画像を受け取り、第1の記憶部102に記憶された特徴情報を用いて、撮影画像に写っている商品とそれに付随する価格を構成する文字を認識し、それらを有効性判定部103に供給する。

0023

撮影画像は、例えば、カメラなどの撮像装置によって撮影された画像である。撮像装置は、例えば、携帯電話端末スマートフォンデジタルカメラタブレット等の撮像機能を備えた端末であってもよいし、店舗に設置されている監視カメラであってもよい。

0024

第1の認識部101は、この撮影画像を、例えば、撮像装置から受信する。なお、第1の認識部101が撮影画像を受信する方法は特に限定されない。例えば、第1の認識部101は、商品棚認識装置10にUSB(Universal Serial Bus)ケーブルなどを用いて接続された撮像装置から撮影画像を受信するものであってもよい。また、例えば、第1の認識部101は、商品棚認識装置10とネットワークを介して接続された撮像装置から、撮像画像を受信するものであってもよい。

0025

また、第1の認識部101は、例えば、撮像画像が蓄積された記憶装置などから、撮影画像を受け取ってもよい。なお、第1の認識部101は、撮影画像とともに当該撮影画像が撮影された位置を示す位置情報を受信してもよい。

0026

また、本実施形態では、説明の便宜上、撮影画像は1枚の静止画像として説明するが、例えば、動画のように時間方向に連続して撮影された画像であってもよい。

0027

本実施形態において、撮影の対象となる店頭の商品棚あるいは自動販売機は、1つまたは複数の商品、あるいは1つまたは複数の商品を示す物体(例えば、商品の見本)が陳列されたものであってもよい。また、撮影の対象となるを含む筐体あるいは什器は、その前面に透明なパネルを有したものであってもよい。また、本実施形態において、撮影の対象となる自動販売機は、1つまたは複数の商品を示す画像がディスプレイに表示されたものであってもよい。店頭の商品棚あるいは自動販売機が、販売する商品を示す方法は、特に限定されるものではない。

0028

図2に,本実施形態で使用する撮影画像の一例を示す。図2は、本実施形態に係る商品棚認識装置10が受信する撮影画像の一例を説明するための図である。なお、図2では、自動販売機を撮影したときの撮影画像をその一例として示している。図2に示す通り、撮影画像には、複数の商品見本2101が含まれる。また、撮影画像には各商品見本2101に紐付けられた、例えば、当該商品見本2101によって特定される商品の価格を示す領域2102と、当該商品を購入するためのボタン2103とが含まれる。ここで、商品見本2101は、この商品見本2101が含まれる自動販売機で販売している商品を示すものである。以下では、商品見本2101の画像を商品画像と呼ぶ。また、図2において、各商品見本2101内のアルファベットは商品名を表しているとする。

0029

なお、本実施形態では、撮影画像は図2に示すような1つの自動販売機を撮影した画像であるとするが、複数の自動販売機を撮影したものであってもよい。また、撮影画像は1つの自動販売機の一部を撮影したものであってもよい。また、店頭の商品棚を撮影する場合も同様であってよいことは言うまでもない。

0030

第1の記憶部102には、撮影画像内に含まれる商品見本2101によって示される商品、および、商品価格を示す部分2102から価格を認識するための特徴情報が格納されている。具体的には、第1の記憶部102には、商品または商品見本の画像と、商品または商品見本の画像に含まれる特徴量の少なくとも1つが、商品を識別する情報に紐付けられて格納されている。商品を識別する情報とは、例えば、商品を識別するための識別子や商品名などである。なお、第1の記憶部102に格納される特徴情報は、商品を識別するために必要な情報であればよい。具体的には、例えば、商品画像および文字画像輝度値エッジ成分、またはHOG(Histogram Of Gradient)であってもよい。また、商品を識別するための情報は、例えば、前述の情報と、撮像装置から各ピクセルまでの距離値を含んだ距離画像とであってもよい。距離画像を用いることで、画像から商品の形状を推定できるため、デザインが同じで形状が違う商品、例えば、缶飲料ペットボトル飲料などを一意に認識できる。

0031

また、第1の記憶部102には、商品の価格を構成する文字を認識するために必要な文字データがフォントごとに格納されている。なお、第1の認識部101に格納される文字データは文字認識の際に使用するデータであればよく、その種類は特に限定されない。

0032

また、第1の記憶部102には、商品の認識を行う対象となる自動販売機(撮影対象である自動販売機)の条件に関する情報が格納されてもよい。以降、商品の認識を行う対象となる自動販売機を対象自動販売機と呼ぶ。また、自動販売機の条件に関する情報を自動販売機条件情報とも呼ぶ。自動販売機条件情報は、例えば、前述の自動販売機で取り扱う商品の価格に関する条件を示す情報や、商品見本2101の下に当該商品見本2101で示される商品の価格を示す文字列があるという条件に関する情報などを含むものであってもよい。なお、自動販売機条件情報はこれに限定されるものではなく、第1の記憶部102は、自動販売機が設置された位置を示す情報などが含まれるものであってもよい。なお、この位置を示す情報は、第1の認識部101が受信したものであってもよい。

0033

なお、商品を認識するための情報、文字データ、および、自動販売機条件情報は、同じ記憶装置(例えば、第1の記憶部102)に格納されるものであってもよいし、夫々、異なる記憶装置に格納されるものであってもよい。

0034

また、第1の記憶部102は、対象自動販売機内に内蔵されるものであってもよいし、対象自動販売機とは別個の記憶装置によって実現されるものであってもよい。

0035

次に、図3を参照して本実施形態に係る商品棚認識装置10の第1の認識部101の詳細を説明する。図3は、本発明の第1の実施形態に係る商品棚認識装置10の第1の認識部101の機能構成の一例を示す機能ブロック図である。図3に示す通り、第1の認識部101は、商品認識部1011と、文字認識部1012と、を備えている。

0036

商品認識部1011は、第1の記憶部102に格納された、商品を認識するための特徴情報を参照し、受信した撮影画像に含まれる被写体(本実施形態では商品見本2101)を認識し、認識結果に基づいて価格探索画像領域を決定し、価格探索画像領域を文字認識部1012に供給する。なお、認識結果については後述する。

0037

このとき、商品認識部1011は、例えば、撮影画像から商品見本2101が含まれる局所領域を切り出し、当該局所領域と、第1の記憶部102に格納された特徴情報とを比較し、当該局所領域に含まれる商品を認識してもよい。

0038

また、商品認識部1011は、例えば、撮影画像から商品が含まれる局所領域を切り出すことなく認識してもよい。その場合、商品認識部1011は、撮影画像から特徴的な点(特徴点)を多数検出し、各特徴点座標値スケール(大きさ)および角度(方向)に基づいて、個々の特徴点を含む局所領域ごと局所特徴量を算出してもよい。商品認識部1011は、算出した局所特徴量の集合と、商品画像から同様にして算出し第1の記憶部102に格納している局所特徴量の集合とを比較することにより、撮影画像に含まれる商品を認識してもよい。なお、商品認識部1011が商品を認識する方法は特に限定されない。

0039

図4を参照して商品認識部1011が出力する認識結果について具体的に説明する。商品認識部1011は、例えば、認識した商品見本2101を示す情報(例えば、商品名)と、当該商品に対応付けられた商品画像領域2301を示す画像領域情報とを認識結果として出力してもよい。ここで、画像領域情報とは、例えば、商品画像領域2301の位置情報である。この位置情報は、例えば、図4に示すように、商品画像領域2301が矩形であれば、その四隅の座標値であってもよいし、四隅の内のどれか1点の座標値と、商品画像領域2301の幅および高さで表されてもよい。

0040

また、商品認識部1011は、前述の認識結果に基づいて価格探索画像領域2302を決定する。価格探索画像領域2302は、例えば、図4に示すように、商品画像領域2301の周辺の画像データとしてもよい。また、例えば、図2に示すように、商品見本2101の下に商品価格があることが既知の場合は、商品画像領域2301の下の画像領域のみを価格探索画像領域2302としてもよい。

0041

次に、図3に戻って、文字認識部1012について説明する。文字認識部1012は、受信した価格探索画像領域2302から、第1の記憶部102に格納された、価格を構成する文字を認識するための特徴情報を参照し、当該価格探索画像領域2302に含まれる文字を認識する。ここで、文字とは、例えば、0から9までの数字や、「¥」「円」などの記号漢字である。文字認識部1012は、認識した文字の撮影画像内での位置情報と種類とで構成される認識結果を出力する。文字の種類とは、例えば、数字や「¥」「円」などの記号や漢字を一意に識別できる識別子であってもよい。文字認識部1012は、周知の文字認識技術を用いて、価格探索画像領域から価格を構成する文字を認識してもよい。なお、文字認識部1012が文字を認識する方法は特に限定されない。

0042

図4を参照して文字認識部1012が出力する認識結果について具体的に説明する。文字認識部1012は、例えば、認識した文字2304を示す情報(「0」や「9」などの数字、「¥」などの記号、または「円」などの漢字)と、認識した文字2304と第1の記憶部102に格納された、価格を構成する文字との類似度を示す情報と、当該文字に対応付けられた文字画像領域2303を示す文字画像領域情報とを認識結果として出力してもよい。

0043

文字2304の類似度を示す情報とは、例えば、第1の記憶部102に格納された、価格を構成する文字を認識するための特徴情報を構成する特徴量と、価格探索画像領域2302から抽出した特徴情報を構成する特徴量との間の特徴量間距離から算出してもよい。なお、本実施形態では説明の便宜上、特徴量間距離が0に近づくほど両者が類似しており、類似度が高いものとして説明する。

0044

ここで、文字画像領域情報とは、例えば、価格探索画像領域2302内の文字2304の文字画像領域2303の位置情報である。この位置情報は、例えば、図4に示すように、文字画像領域2303が矩形であれば、その四隅の座標値であってもよいし、四隅の内のどれか1点の座標値と、文字画像領域2303の幅および高さで表されてもよい。

0045

次に、図1に戻って、有効性判定部103について説明する。有効性判定部103は、第1の認識部101から認識結果を受け取り、それらを用いて価格を検出し、検出した価格が撮影画像に含まれる商品の価格として妥当であるかという有効性を判定する。有効性判定部103は、有効性の高い価格の画像領域から、それらを認識するための特徴情報を抽出し、第2の記憶部に供給する。

0046

図5を参照して本実施形態に係る商品棚認識装置10の有効性判定部103の詳細を説明する。図5は、本発明の第1の実施形態に係る商品棚認識装置10の有効性判定部103の機能構成の一例を示す機能ブロック図である。図5に示す通り、有効性判定部103は、キー文字検出部1031と、価格検出部1032と、特徴抽出部1033と、を備えている。

0047

キー文字検出部1031は、受信した認識結果から、キー文字を検出し、価格検出部1032に供給する。ここで、キー文字とは、例えば、「¥」「円」など、価格の先頭または末尾に付くシンボルであってもよい。

0048

価格検出部1032は、キー文字検出部1031から受け取ったキー文字の周辺にキー文字以外の文字認識結果が存在するか探索する。価格検出部1032は、キー文字以外の文字認識結果を見つけた場合は、それらで構成される価格が撮影画像に含まれる商品の価格として妥当であるかという有効性を判定する。価格検出部1032は、判定の結果、有効性の高い価格の画像領域情報を特徴抽出部1033に供給する。

0049

ここで、図4を参照して価格検出部1032の動作の一例を詳細に説明する。図4では、「¥」マークがキー文字であり、その右側に並んでいる文字画像領域2303がキー文字以外の文字認識結果を示している。価格検出部1032は、例えば、キー文字の右側に一列に並んだ「1」「3」「0」という文字の集まりを、当該文字で構成される価格として検出してもよい。

0050

また、価格検出部1032は、例えば、キー文字検出部1031がキー文字を検出できなかった場合は、複数の文字画像領域2303の位置に基づいて価格を検出してもよい。具体的には、例えば、一定の間隔で「1」「3」「0」という文字が並んでいるならば、価格検出部1032は、「130」を商品の価格として検出してもよい。

0051

例えば、価格検出部1032は、価格を構成する文字の類似度からその価格が撮影画像に含まれる商品の価格として妥当であるかという有効性を判定する。その場合、価格検出部1032は、例えば、類似度が特徴量間距離である場合、特徴量間距離が小さくなるほど有効性が高く、特徴量間距離が大きくなるほど有効性が低いと判定してもよい。具体的には、価格検出部1032は、例えば、類似度の総和、すなわち特徴量間距離の総和が閾値未満なら有効性を1、閾値以上なら有効性を0としてもよい。なお、本実施形態では説明の便宜上、有効性を0から1の範囲で表し、有効性が1に近づくほどよいとする。

0052

また、価格検出部1032は、例えば、類似度の総和が閾値未満の場合は、類似度の総和に応じた補間処理を行い0から1の数値を有効性として設定してもよい。具体的には、価格検出部1032は、例えば、類似度が特徴量間距離である場合、類似度の総和、すなわち特徴量間距離の総和が0のときの有効性を1、特徴量間距離の総和が閾値のときの有効性を0とし、その間を線形に補間してもよい。

0053

また、価格検出部1032は、例えば、自動販売機条件情報を参照して、対象自動販売機の商品の価格帯に基づいて検出した価格の有効性を判定してもよい。具体的には、例えば、対象自動販売機で取り扱われている商品の価格の最大値が170円、最小値が120円である場合、検出した価格が120円未満または170円より大きければ有効性を0、そうでなければ有効性を1としてもよい。

0054

また、価格検出部1032は、例えば、価格を構成する文字の配置に基づいて、個々の文字の類似度に重み係数乗算してから総和を計算し、有効性を判定してもよい。具体的には、例えば、自動販売機であれば、販売されている商品の価格帯として、百の位の数字が「1」であることが多い。そのため、価格検出部1032は、価格を構成する文字の百の位が「1」であれば、重み係数を1.0にし、そうでなければ、重み係数を0.5にし、この重みを類似度に乗算してもよい。

0055

また、価格検出部1032は、例えば、価格を構成する個々の文字を示す文字画像領域2303の幅または高さに基づいて、有効性を判定してもよい。具体的には、例えば、図4に示す、複数の文字画像領域2303の高さが等しいとき、有効性を1、それ以外なら有効性を0としてもよい。また、価格検出部1032は、例えば、複数の文字画像領域2303の高さの差が所定の閾値以内なら、有効性を1、そうでなければ有効性を0としてもよい。

0056

また、価格検出部1032は、例えば、キー文字が検出できた場合に有効性を大きくし、キー文字が検出できなかった場合に有効性を小さくしてもよい。

0057

有効性が高いと判定された価格の画像領域の位置情報(価格画像領域情報)は、例えば、価格を構成する全ての文字2304を外接する矩形の四隅の座標値で表現されてもよい。または、価格画像領域情報は、前述の矩形の四隅の内のどれか1点の座標値と、前述の矩形の幅および高さで表されてもよい。

0058

価格検出部1032は、上述した特徴量間距離、自動販売機条件情報、文字の配置、文字画像領域の幅または高さ及びキー文字検出の有無、のうち2つ以上の基準に基づき総合的に価格としての有効性を判定してもよい。

0059

次に、図5に戻って、特徴抽出部1033について説明する。特徴抽出部1033は、価格画像領域を受信し、当該価格画像領域に含まれる価格を認識するための特徴情報を抽出し、第2の記憶部104に供給する。なお、第2の記憶部104に供給される特徴情報は、価格を識別するために必要な情報であればよい。具体的には、例えば、価格画像領域の輝度値、エッジ成分、またはHOGであってもよいし、価格画像領域のRGB値でもよい。

0060

次に、図1に戻って、第2の記憶部104について説明する。第2の記憶部104には、価格画像領域に含まれる価格を認識するための前述の情報が格納されている。

0061

また、第2の記憶部104には、第1の記憶部102と同様の自動販売機条件情報が格納されていてもよい。

0062

なお、価格を認識するための特徴情報や自動販売機条件情報は、同じ記憶装置(例えば、第2の記憶部104)に格納されるものであってもよいし、夫々、異なる記憶装置に格納されるものであってもよい。

0063

また、第2の記憶部104は、対象自動販売機内に内蔵されるものであってもよいし、対象自動販売機とは別個の記憶装置によって実現されるものであってもよい。

0064

第2の認識部105は、第2の記憶部104に記憶された、価格を認識するための特徴情報を参照し、受信した撮影画像に含まれる価格を認識する。

0065

このとき、第2の認識部105は、例えば、第1の認識部101と同様の方法を用いてもよい。なお、第2の認識部105が価格を認識する方法は特に限定されない。

0066

ここで、図22を参照して、第2の記憶部104に価格画像領域の輝度値を特徴情報として格納する場合の動作の一例を説明する。図22は、本実施形態に係る商品棚認識装置10の動作の一例を模式的に示した図である。図22に示す例では、上段の商品見本2101によって特定される商品の価格を示す領域2202内の価格は全ての文字が見えている。一方、下段の商品見本2101によって特定される商品の価格を示す領域2202内の価格は、その一部が商品見本2101によって遮蔽されている。

0067

図22に示す例では、第1の認識部101は前述の方法で商品と価格を構成する文字を認識し、認識結果を有効性判定部103に供給する。有効性判定部103は、前述の方法で、供給された認識結果から価格画像領域2601を検出する。有効性判定部103は、検出した価格画像領域2601の輝度値(本例では「¥150」を含む画像)を、価格を認識するための特徴情報として第2の記憶部104に供給している。そして、第2の認識部105は、第2の記憶部104に格納された、価格画像領域2601の輝度値を参照し、撮影画像2100に含まれる当該価格画像領域と一致する画像領域を探索する。すなわち、本例では「¥150」という価格画像と撮影画像2100とを照合し、撮影画像2100に含まれる「¥150」を探索する。

0068

ここで、図22に示す例では、第2の認識部105が、撮影画像2100と価格画像領域2601との間で類似と判定した類似領域2602を点線の丸で表示している。また、撮影画像2100と価格画像領域2601との間の類似領域のペア2603を実線で示している。さらに、第2の認識部105が認識した価格画像領域2604を実線の矩形で表示している。

0069

本実施形態に係る商品棚認識装置10の認識結果は、表示装置に表示してもよいし、記憶装置に蓄積してもよい。商品棚認識装置10と、表示装置や記憶装置とは、USBケーブルで接続されていてもよいし、ネットワークを介して接続されていてもよい。また、商品棚認識装置10は、例えば、認識結果を撮影画像2100に重畳し、表示装置に表示してもよいし、記憶装置に蓄積してもよい。

0070

(動作のフローチャート)
次に、図6を参照して本実施形態に係る商品棚認識装置10の動作の流れについて説明する。図6は、本実施形態に係る商品棚認識装置10の動作の流れの一例を示すフローチャートである。

0071

まず、第1の認識部101は、第1の記憶部102に格納された、商品を認識するための特徴情報を参照し、受信した撮影画像に含まれる商品を認識する(ステップS1001)。次に、第1の認識部101は、当該商品の周辺領域を価格探索画像領域として設定する(ステップS1002)。次に、第1の認識部101は、第1の記憶部102に格納された、文字を認識するための特徴情報を参照し、価格探索画像領域内の文字を認識する(ステップS1003)。次に、有効性判定部103は、認識した文字からキー文字と価格を検出し(ステップS1004)、価格が検出できたか判定する(ステップS1005)。

0072

価格が検出できなかった場合(ステップS1005No)は、他に認識できた商品があるか判定する(ステップS1006)。他に認識できた商品がない場合(ステップS1006No)は処理を終了する。他に認識できた商品がある場合(ステップS1006Yes)は、ステップS1003に移行する。

0073

価格が検出できた場合(ステップS1005Yes)は、有効性判定部103は、検出した価格について、撮影画像に含まれる商品の価格としての有効性を算出する(ステップS1007)。次に、有効性判定部103は、価格としての有効性が高いか判定する(ステップS1008)。

0074

有効性が低い場合(ステップS1008No)は、ステップS1006に移行する。

0075

有効性が高い場合(ステップS1008Yes)は、価格画像領域から価格を認識するための特徴を抽出し(ステップS1009)、第2の記憶部104に格納する(ステップS1010)。次に、第2の認識部105は、第2の記憶部104に記憶された、価格を認識するための特徴情報を参照し、受信した撮影画像に含まれる価格を認識し(ステップS1011)、ステップS1006に移行する。

0076

(発明の効果)
以上のように、本実施形態に係る商品棚認識装置10は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、撮影画像に含まれる価格を認識する。これにより、商品棚認識装置10は、価格を構成する文字の一部が商品や商品の影などで遮蔽されても精度良く認識できるため、販売されている商品の商品情報を好適に収集することができる。

0077

<第2の実施形態>
図7を参照して、本発明の第2の実施形態に係る商品棚認識装置20ついて説明する。図7は、本実施形態に係る商品棚認識装置20の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置20は、第2の認識部の認識結果を第2の記憶部104に供給する。以下の説明では、既に説明した要素と同様の要素については、同一の符号を付し、適宜、説明を省略する。この点は、第3の実施形態以降についても同様である。

0078

(機能構成)
図7に示す通り、本実施形態に係る商品棚認識装置20は、第1の認識部101と、第1の記憶部102と、有効性判定部103と、第2の記憶部104と、第2の認識部201とを備えている。第2の認識部201の動作は、第1の実施形態と一部異なる。

0079

第2の認識部201は、第2の記憶部104に記憶された、価格を認識するための特徴情報を参照し、受信した撮影画像に含まれる価格を認識する。このとき、第2の認識部105は、例えば、第1の認識部101と同様の方法を用いてもよい。

0080

そして、第2の認識部201は、撮影画像に含まれる価格を含む画像領域を第2の記憶部に供給する。

0081

(動作のフローチャート)
次に、図8を参照して本実施形態に係る商品棚認識装置20の動作の流れについて説明する。図8は、本実施形態に係る商品棚認識装置20の動作の流れの一例を示すフローチャートである。図8に示すステップS2001〜S2011は、図6に示すステップS1001〜S1011と同様であり、説明を省略する。

0082

図8に示すステップS2001〜S2011の実行後、第2の認識部201は撮影画像に含まれる価格が認識できたか判定する(ステップS2012)。

0083

価格が認識できた場合(ステップS2012Yes)はステップS2010に移行する。価格が認識できなかった場合(ステップS2012No)はステップS2006に移行する。

0084

(発明の効果)
以上のように、本実施形態に係る商品棚認識装置20は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、撮影画像に含まれる価格を認識し、当該認識結果を記憶部に格納する。これにより、商品棚認識装置20は、同一の価格であっても照明変動カメラセンサノイズなどが異なる様々なバリエーションの価格領域画像情報を収集することができる。そのため、本実施形態によれば、第1の実施形態よりも照明変動やカメラセンサノイズに対する頑健性を向上させることができる。

0085

<第3の実施形態>
図9を参照して、本発明の第3の実施形態に係る商品棚認識装置30ついて説明する。図9は、本実施形態に係る商品棚認識装置30の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置30は、任意の価格画像領域内の文字領域から抽出した特徴情報と、別の価格画像領域内の文字領域から抽出した特徴情報とを組み合わせて価格パターンを生成する。

0086

(機能構成)
図9に示す通り、本実施形態に係る商品棚認識装置30は、第1の認識部101と、第1の記憶部102と、有効性判定部103と、パターン生成部301と、第2の記憶部104と、第2の認識部105とを備えている。

0087

有効性判定部103は、第1の実施形態における要素と同様である。なお、本実施形態では、有効性判定部103は、パターン生成部301に価格画像領域の特徴情報を供給する。

0088

パターン生成部301は、価格画像領域の特徴情報を受け取り、受け取った特徴情報の内、異なる価格画像領域内の文字領域から抽出した特徴情報を組み合わせて、新たな価格パターンを生成する。パターン生成部301は、生成した新たな価格パターンから抽出した特徴情報を第2の記憶部104に供給する。

0089

図10を参照して、パターン生成部301の動作の一例を詳細に説明する。図10は、本実施形態に係る商品棚認識装置30のパターン生成部301の動作の一例を示す図である。

0090

パターン生成部301は、価格画像領域2401内の任意の文字画像領域2402の特徴情報を選択し、価格パターン2403を生成する。図10に示す例では、パターン生成部301は、商品見本2404によって特定される価格画像領域2401内の「¥」を示す文字画像領域2402から抽出した特徴情報と、商品見本2405によって特定される価格画像領域2401内の「3」を示す文字画像領域2402から抽出した特徴情報と、商品見本2406によって特定される価格画像領域2401内の「2」および「0」を示す文字画像領域2402から抽出した特徴情報とを組み合わせて、「¥320」という価格パターン2403を生成している。

0091

これにより、撮影画像中に1つしかない「¥320」を第1の認識部101が認識できなくても、第1の認識部101が認識できた「¥120」「¥130」を用いて「¥320」を生成することができるため、第2の認識部105が「¥320」を認識できる。

0092

(動作のフローチャート)
次に、図11を参照して本実施形態に係る商品棚認識装置30の動作の流れについて説明する。図11は、本実施形態に係る商品棚認識装置30の動作の流れの一例を示すフローチャートである。図11に示すステップS3001〜S3009およびステップS3011〜S3012は、図6に示すステップS1001〜S1009およびステップS1010〜S1011と同様であり、説明を省略する。

0093

図11に示すステップS3001〜S3009の実行後、パターン生成部301は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報とを組み合わせて価格パターンを生成する(ステップS3010)。その後、ステップS3011に移行する。

0094

(発明の効果)
以上のように、本実施形態に係る商品棚認識装置30は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報とを組み合わせて価格パターンを生成する。これにより、第1の認識部が、例えば、1つしかない商品の価格を認識できなくても、第2の認識部で当該商品の価格を認識することができるため、第1の実施形態よりも好適に商品情報を収集できる。

0095

<第4の実施形態>
図12を参照して、本発明の第4の実施形態に係る商品棚認識装置40ついて説明する。図12は、本実施形態に係る商品棚認識装置40の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置40は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報とを組み合わせて価格パターンを生成し、さらに、第2の認識部の認識結果を第2の記憶部に供給する。

0096

(機能構成)
図12に示す通り、本実施形態に係る商品棚認識装置40は、第1の認識部101と、第1の記憶部102と、有効性判定部103と、パターン生成部301と、第2の記憶部104と、第2の認識部201とを備えている。

0097

(動作のフローチャート)
次に、図13を参照して本実施形態に係る商品棚認識装置40の動作の流れについて説明する。図13は、本実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。図13に示すステップS4001〜S4012は、図11に示すステップS3001〜S3012と同様であり、説明を省略する。

0098

図13に示すステップS4001〜S4012の実行後、第2の認識部201は撮影画像に含まれる価格が認識できたか判定する(ステップS4013)。

0099

価格が認識できた場合(ステップS4013Yes)はステップS4011に移行する。価格が認識できなかった場合(ステップS4013No)はステップS4006に移行する。

0100

(発明の効果)
以上のように,本実施形態に係る商品棚認識装置40は,第3の実施形態と同様の効果が得られる。また、本実施形態に係る商品棚認識装置40は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、撮影画像に含まれる価格を認識し、当該認識結果を記憶部に格納する。これにより、同一の価格であっても照明変動やカメラセンサノイズなどが異なる様々なバリエーションの価格領域画像情報を収集することができるため、第3の実施形態よりも照明変動やカメラセンサノイズに対する頑健性を向上させることができる。

0101

<第5の実施形態>
図14を参照して、本発明の第5の実施形態に係る商品棚認識装置50ついて説明する。図14は、本実施形態に係る商品棚認識装置50の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置50は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報と、記憶部に格納された、価格を認識するための特徴情報とを組み合わせて価格パターンを生成する。

0102

(機能構成)
図14に示す通り、本実施形態に係る商品棚認識装置50は、第1の認識部101と、第1の記憶部102と、有効性判定部103と、パターン生成部501と、第2の記憶部104と、第2の記憶部105とを備えている。

0103

パターン生成部501は、価格画像領域の特徴情報を受け取り、受け取った特徴情報の内、異なる価格画像領域内の文字領域から抽出した特徴情報と、第1の記憶部102に格納された、価格を認識するための特徴情報とを組み合わせて、新たな価格パターンを生成する。パターン生成部501は、生成した新たな価格パターンから抽出した特徴情報を第2の記憶部104に供給する。

0104

図15を参照して、パターン生成部501の動作の一例を詳細に説明する。図15は、本実施形態に係る商品棚認識装置50のパターン生成部501の動作の一例を示す図である。

0105

パターン生成部501は、価格画像領域2501内の任意の文字画像領域2502の特徴情報を選択し、価格パターン2503を生成する。図15に示す例では、パターン生成部501は、商品見本2504によって特定される価格画像領域2501内の「¥」を示す文字画像領域2502から抽出した特徴情報と、商品見本2505によって特定される価格画像領域2501内の「1」を示す文字画像領域2402から抽出した特徴情報と、商品見本2506によって特定される価格画像領域2501内の「0」を示す文字画像領域2502から抽出した特徴情報と、第1の記憶部102に格納された、「4」を示す文字画像情報2507から抽出した特徴情報とを組み合わせて、「¥140」という価格パターン2503を生成している。

0106

これにより、撮影画像中に1つしかない「¥140」を第1の認識部101が認識できなくても、第1の認識部101が認識できた「¥130」と、第1の記憶部102に格納されている「4」を認識するための特徴情報とを用いて「¥140」を生成することができるため、第2の認識部105が「¥140」を認識できる。

0107

(動作のフローチャート)
次に、図16を参照して本実施形態に係る商品棚認識装置50の動作の流れについて説明する。図16は、本実施形態に係る商品棚認識装置50の動作の流れの一例を示すフローチャートである。図16に示すステップS5001〜S5009およびステップS5011〜S3012は、図11に示すステップS3001〜S3009およびステップS3011〜S3012と同様であり、説明を省略する。

0108

図16に示すステップS5001〜S5009の実行後、パターン生成部501は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報と、第1の記憶部101に格納された、価格を認識するための特徴情報とを組み合わせて価格パターンを生成する(ステップS5010)。その後、ステップS5011に移行する。

0109

(発明の効果)
以上のように、本実施形態に係る商品棚認識装置50は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報と、記憶部に格納された、価格を認識するための特徴情報とを組み合わせて価格パターンを生成する。これにより、第1の認識部が認識できなかった商品の価格を構成する文字がある場合でも、第2の認識部で当該文字を含む商品の価格を認識することができるため、第1の実施形態よりも好適に商品情報を収集できる。

0110

<第6の実施形態>
図17を参照して、本発明の第6の実施形態に係る商品棚認識装置60ついて説明する。図17は、本実施形態に係る商品棚認識装置60の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置60は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報と、記憶部に格納された、価格を認識するための特徴情報を組み合わせて価格パターンを生成し、さらに、第2の認識部の認識結果を第2の記憶部に供給する。

0111

(機能構成)
図17に示す通り、本実施形態に係る商品棚認識装置60は、第1の認識部101と、第1の記憶部102と、有効性判定部103と、パターン生成部501と、第2の記憶部104と、第2の認識部201とを備えている。

0112

(動作のフローチャート)
次に、図18を参照して本実施形態に係る商品棚認識装置60の動作の流れについて説明する。図18は、本実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。図18に示すステップS6001〜S6012は、図16に示すステップS5001〜S5012と同様であり、説明を省略する。

0113

図18に示すステップS6001〜S6012の実行後、第2の認識部201は撮影画像に含まれる価格が認識できたか判定する(ステップS6013)。

0114

価格が認識できた場合(ステップS6013Yes)はステップS6011に移行する。価格が認識できなかった場合(ステップS6013No)はステップS6006に移行する。

0115

(発明の効果)
以上のように,本実施形態に係る商品棚認識装置60は,第5の実施形態と同様の効果が得られる。また、本実施形態に係る商品棚認識装置60は,撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、撮影画像に含まれる価格を認識し、当該認識結果を記憶部に格納する。これにより、同一の価格であっても照明変動やカメラセンサノイズなどが異なる様々なバリエーションの価格領域画像情報を収集することができるため、第5の実施形態よりも照明変動やカメラセンサノイズに対する頑健性を向上させることができる。

0116

<第7の実施形態>
図19を参照して、本発明の第7の実施形態に係る商品棚認識装置70ついて説明する。図19は、本実施形態に係る商品棚認識装置70の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置70は、第1の認識部が認識する文字の価格としての有効性は考慮しない。すなわち、商品棚認識装置70の第1の認識部は、文字を価格として認識する。

0117

(機能構成)
図19に示す通り、本実施形態に係る商品棚認識装置70は、第1の認識部101と、第2の認識部105とを備えている。

0118

第1の認識部101は、画像から商品を認識し、当該商品の画像領域の周辺領域から当該商品の価格を認識する。第1の認識部105が文字を認識する方法は特に限定されず、周知の文字認識の方法で良い。

0119

第2の認識部105は、第1の認識部101により価格が認識された第1の商品の画像領域の周辺領域の特徴情報と、画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、当該第2の商品の価格を認識する。

0120

(発明の効果)
以上のように,本実施形態に係る商品棚認識装置70は、撮影画像に含まれる商品の価格として認識された情報を用いて、再度、撮影画像に含まれる価格を認識する。これにより、商品棚認識装置70によれば、価格を構成する文字の一部が商品や商品の影などで遮蔽されても精度良く認識できるため、販売されている商品の商品情報を好適に収集できる。

0121

<第8の実施形態>
図20を参照して、本発明の第8の実施形態に係る画像処理装置80ついて説明する。図20は、本実施形態に係る画像処理装置80の機能構成の一例を示す機能ブロック図である。

0122

(機能構成)
図20に示す通り、本実施形態に係る画像処理装置80は、第1の認識部801と、第2の認識部805とを備えている。

0123

第1の認識部801は、画像から商品を認識し、当該商品の画像領域の周辺領域から当該商品に関連する商品情報を認識する。

0124

第2の認識部805は、第1の認識部801により商品情報が認識された第1の商品の画像領域の周辺領域の特徴情報と、画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、当該第2の商品に関連する商品情報を認識する。

0125

なお、上述したように、商品情報は、例えば、商品名などの商品を識別する識別情報や、商品の価格を示す情報、販売されている商品が冷たい商品なのか暖かい商品なのかを示す情報、商品が販売中か売り切れかを示す情報等の当該商品に関連付けられた付随情報とを含む。

0126

(発明の効果)
以上のように,本実施形態に係る画像処理装置80は、撮影画像に含まれる、認識された商品の関連する商品情報を用いて、再度、撮影画像に含まれる他の商品に関連する商品情報を認識する。これにより、商品棚認識装置70によれば、商品情報の一部が商品や商品の影などで遮蔽されても精度良く認識できるため、販売されている商品の商品情報を好適に収集できる。

0127

ハードウェアの構成例>
ここで、前述した各実施形態に係る商品棚認識装置(10、20、30、40、50、および60)を実現可能なハードウェアの構成例について説明する。前述の商品棚認識装置(10、20、30、40、50、および60)は、専用の装置として実現してもよいが、コンピュータ(情報処理装置)を用いて実現してもよい。

0128

図21は、本発明の各実施形態を実現可能なコンピュータ(情報処理装置)のハードウェア構成を例示的に説明する図である。

0129

図21に示した情報処理装置(コンピュータ)2000のハードウェアは、CPU(Central Processing Unit)2001、通信インタフェース(I/F)2008、入出力ユーザインタフェース2010、ROM(Read Only Memory)2002、RAM(Random Access Memory)2003、記憶装置2005、およびコンピュータ読み取り可能な記憶媒体2006のドライブ装置2007を備え、これらがバス2004を介して接続された構成を有する。入出力ユーザインタフェース2010は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース2008は、上述した各実施の形態に係る装置(図1図7図9図12図14図17図19および図20)が、外部装置と、通信ネットワーク2009を介して通信するための一般的な通信手段である。係るハードウェア構成において、CPU2001は、各実施の形態に係る商品棚認識装置(10、20、30、40、50、60および70)及び画像処理装置80について、全体の動作を司る。

0130

前述の各実施形態を例に説明した本発明は、例えば、前述の各実施形態において説明した処理を実現可能なプログラム(コンピュータプログラム)を、図21に示す情報処理装置2000に対して供給した後、そのプログラムを、CPU2001に読み出して実行することによって達成される。なお、係るプログラムは、例えば、前述の各実施形態の説明において参照したフローチャート(図6図8図11図13図16、および図18)に記載した各種処理や、あるいは、図1図7図9図12図14図17図19および図20に示したブロック図において当該装置内に示した各部(各ブロック)を実現可能なプログラムであってもよい。

0131

また、情報処理装置2000内に供給されたプログラムは、読み書き可能な一時記憶メモリ(2003)またはハードディスクドライブ等の不揮発性の記憶装置(2005)に格納されてもよい。即ち、記憶装置2005において、プログラム群2005Aは、例えば、前述の各実施形態における商品棚認識装置(10、20、30、40、50、60、70および80)および画像処理装置80内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報2005Bは、例えば、前述の各実施形態における撮影画像、自動販売機の位置情報、商品を認識するための情報、文字データ、自動販売機条件情報、商品情報などである。ただし、情報処理装置2000へのプログラムの実装に際して、個々のプログラム・モジュール構成単位は、ブロック図(図1図7図9図12図14図17図19および図20)に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。

0132

また、前記の場合において、当該装置内へのプログラムの供給方法は、CD(Compact Disk)−ROM、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体(2006)を介して当該装置内にインストールする方法や、インターネット等の通信回線(2009)を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード(プログラム群2005A)或いは係るコードが格納された記憶媒体(2006)によって構成されると捉えることができる。

0133

以上、本発明を、上述した模範的な実施の形態およびその実施例に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態及び実施例に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。

0134

<実施形態の他の表現>
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

0135

(付記1)
画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識する第1の認識手段と、
前記第1の認識手段により価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する第2の認識手段と、
を備える商品棚認識装置。

0136

(付記2)
前記画像は、店頭の商品棚又は自動販売機を含む画像である、
付記1に記載の商品棚認識装置。

0137

(付記3)
前記第1の認識手段により認識される商品の価格の有効性を判定する有効性判定手段をさらに有し、
前記第1の認識手段は、前記商品の画像領域の周辺領域から当該商品に関連する文字を価格として認識し、
前記第2の認識手段は、前記認識された価格が、前記有効性判定手段により有効と判定された商品の画像領域の周辺領域の特徴情報を用いる
付記1又は2に記載の商品棚認識装置。

0138

(付記4)
前記有効性判定手段による有効とされた商品の画像領域の周辺領域の特徴情報を記憶する記憶手段をさらに有し、
前記第2の認識手段は、前記記憶手段に記憶されている特徴情報を用いる
付記3に記載の商品棚認識装置。

0139

(付記5)
前記有効性判定手段は、価格を構成する文字毎の認識結果の類似度の総和から、前記有効性を判定する、
付記3又は4に記載の商品棚認識装置。

0140

(付記6)
前記有効性判定手段は、前記認識結果の位置情報に基づく重み係数が乗算された前記類似度の総和から、前記有効性を判定する、
付記5に記載の商品棚認識装置。

0141

(付記7)
前記有効性判定手段は、前記第1の認識手段が認識した前記文字の前記画像中の領域の幅または高さに基づいて前記有効性を判定する、
付記3〜6のいずれか1項に記載の商品棚認識装置。

0142

(付記8)
前記商品棚認識装置は、
前記有効性が高いと判定された前記価格が含まれる前記画像中の領域から抽出した、複数の前記文字の特徴情報を組み合わせたパターンを生成するパターン生成手段を備える付記3〜7のいずれか1項に記載の商品棚認識装置。

0143

(付記9)
前記パターン生成手段は、
前記第1の認識手段が、前記画像から前記文字を認識するために用いた、複数の特徴情報を組み合わせたパターンを生成する、
付記8に記載の商品棚認識装置。

0144

(付記10)
画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識し、
前記価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する、
商品棚認識方法。

0145

(付記11)
コンピュータに、
画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識する第1の認識処理と、
前記第1の認識処理により価格が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品の価格を認識する第2の認識処理と、
を実行させるプログラム。

0146

(付記12)
画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品に関連する商品情報を認識する第1の認識手段と、
前記第1の認識手段により商品情報が認識された第1の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第2の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第2の商品に関連する商品情報を認識する第2の認識手段と、
を備える画像処理装置。

0147

10、20、30、40、50、60、70商品棚認識装置
80画像処理装置
101 第1の認識部
102 第1の記憶部
103 有効性判定部
104 第2の記憶部
105、201 第2の認識部
301、501パターン生成部
1011商品認識部
1012文字認識部
1031キー文字検出部
1032 価格検出部
1033特徴抽出部
2001 CPU
2002 ROM
2003 RAM
2004バス
2005記憶装置
2005Aプログラム群
2005B 各種の記憶情報
2006記録媒体
2007ドライブ装置
2008通信インタフェース
2009ネットワーク
2010入出力インタフェース
2000コンピュータ
2100撮像画像
2101、2404、2405、2406、2504、2505、2506商品見本
2102、2202商品価格を示す領域
2103、2203商品購入ボタン
2301商品画像領域
2302 価格探索画像領域
2303、2402、2502文字画像領域
2304文字
2401、2501、2601、2604価格画像領域
2403、2503価格パターン
2507文字画像情報
2602類似領域
2603 類似領域のペア

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ヤフー株式会社の「 情報処理装置、情報処理方法及び情報処理プログラム」が 公開されました。( 2021/09/27)

    【課題】より適切な店づくりを支援する情報処理装置、情報処理方法及び情報処理プログラムを提供する。【解決手段】情報処理システムにおいて、情報処理装置100は、各種のログデータをログサーバ200から取得し... 詳細

  • 株式会社マグファインの「 物品展示装置、その製造方法及び使用方法」が 公開されました。( 2021/09/27)

    【課題】支持盤を基盤上で磁気浮上させて支持する物品展示装置において、基盤に磁石を配置して固定する作業を短時間で容易に行えるようにする。【解決手段】複数の凹部又は枠部が円環形に連なった磁石保持部材を用い... 詳細

  • ネレウス株式会社の「 クーポン券発行システム」が 公開されました。( 2021/09/27)

    【課題】簡略化したシステム構成で商品の訴求とクーポンの発行とが行えるクーポン券発行システムを提供する。【解決手段】クーポン券発行システム100は、商品陳列棚に備えられる電子棚札4と、店舗内の商品の価格... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ