図面 (/)

技術 商品識別装置および商品認識ナビゲーション方法

出願人 カシオ計算機株式会社
発明者 佐藤芳広
出願日 2014年12月18日 (4年6ヶ月経過) 出願番号 2014-255771
公開日 2016年6月23日 (3年0ヶ月経過) 公開番号 2016-115295
状態 特許登録済
技術分野 金銭登録機・受付機 検索装置 イメージ分析
主要キーワード 荷受け面 絞り込みステップ カゴ形 参照欄 各入出力回路 誘導ステップ バーコード表 オブジェクト認識処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年6月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

取引対象商品の候補の絞り込み精度を向上させる。

解決手段

商品識別装置2は、取扱商品毎に取扱商品の外観を表す基準画像と取扱商品の特徴部分を示す補助情報補助画像メッセージ情報など)とが記憶された記憶部と、オペレータが翳した物体撮影して物体の撮像画像を取得するカメラ27と、カメラ27によって取得された撮像画像から物体を検出する物体検出部91と、物体検出部91で検出された物体と各取扱商品の基準画像との類似度により取引の対象商品の候補を絞り込む絞り込み部93と、絞り込み部93で、所定条件の下で対象商品の候補が絞り込まれる場合に、絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分をカメラ27に翳させる誘導を行う誘導部94と、を備える。

概要

背景

従来、電子式キャッシュレジスタ商品登録装置)は、各商品識別する商品識別装置と、各取引に係る商品の売上登録精算とを行うPOS端末とを備えている。商品識別装置は、バーコード読み取り部によって商品に付与されたバーコードなどのデータコード読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品識別装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことでキャッシュレジスタオペレータの負担を軽減することができる。

しかしながら、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。そのため、従来は、青果品などに対して、商品を指し示すタン画面タッチまたは別途用意されたバーコード表から該当商品のコードを選んでスキャナで読み取る、という運用がなされていた。

近年では、青果品などをオブジェクト認識して識別する商品識別装置を有し、商品識別装置で識別された商品を売上登録する商品登録装置が普及しはじめている(例えば、特許文献1参照)。この商品登録装置の商品識別装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、商品の外観にかかる特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。この商品識別装置は、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品を識別することができるので、店舗側の負担を軽減することができる。

概要

取引の対象商品の候補の絞り込み精度を向上させる。商品識別装置2は、取扱商品毎に取扱商品の外観を表す基準画像と取扱商品の特徴部分を示す補助情報補助画像メッセージ情報など)とが記憶された記憶部と、オペレータが翳した物体を撮影して物体の撮像画像を取得するカメラ27と、カメラ27によって取得された撮像画像から物体を検出する物体検出部91と、物体検出部91で検出された物体と各取扱商品の基準画像との類似度により取引の対象商品の候補を絞り込む絞り込み部93と、絞り込み部93で、所定条件の下で対象商品の候補が絞り込まれる場合に、絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分をカメラ27に翳させる誘導を行う誘導部94と、を備える。

目的

特開2013−182323号公報(図8と段落0068)






しかしながら、従来の商品登録装置の商品識別装置は、以下に説明するように、取引の対象商品の候補の絞り込み精度を向上させることが望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、オペレータが翳した物体撮影して当該物体の撮像画像を取得する撮影手段と、前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出手段と、前記物体検出手段で検出された前記物体と各取扱商品の前記基準画像との類似度により取引対象商品の候補を絞り込む絞り込み手段と、前記絞り込み手段で、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導手段と、を備えることを特徴とする商品識別装置

請求項2

請求項1に記載の商品識別装置において、前記所定条件は、前記物体に対する類似度の閾値を規定しており、前記絞り込み手段は、前記物体に対する類似度が前記閾値以下であるものの、前記物体に対する類似度が最も高い1つの取扱商品を、前記対象商品の候補として絞り込むことを特徴とする商品識別装置。

請求項3

請求項1又は請求項2に記載の商品識別装置において、前記補助情報は、前記特徴部分を示す補助画像を含んでおり、前記誘導手段は、前記撮像画像と前記補助画像とが合成された誘導画像を生成して、当該誘導画像を表示手段に表示することによって、前記誘導を行うことを特徴とする商品識別装置。

請求項4

請求項1乃至請求項3のいずれか一項に記載の商品識別装置において、前記補助情報は、前記特徴部分を示すメッセージ情報を含んでおり、前記誘導手段は、前記メッセージ情報を表示手段にテキスト表示することによって、前記誘導を行うことを特徴とする商品識別装置。

請求項5

請求項1乃至請求項4のいずれか一項に記載の商品識別装置において、前記補助情報は、前記特徴部分を示すメッセージ情報を含んでおり、前記誘導手段は、前記メッセージ情報に対応する音声音声出力手段から出力することによって、前記誘導を行うことを特徴とする商品識別装置。

請求項6

請求項1乃至請求項5のいずれか一項に記載の商品識別装置において、前記補助情報は、前記特徴部分を示す補助画像を含んでおり、前記絞り込み手段は、前記誘導手段による誘導後に、前記物体検出手段で検出された前記物体を類似度の最も高い取扱商品の前記補助画像と比較して類似度を判断することによって、前記対象商品の候補を一意に絞り込むことを特徴とする商品識別装置。

請求項7

取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、を備える商品識別装置の制御手段が、前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出ステップと、前記制御手段が、前記物体検出ステップで検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込みステップと、前記制御手段が、前記絞り込みステップで、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導ステップと、を含むことを特徴とする商品認識ナビゲーション方法

技術分野

0001

本発明は、売上登録する商品識別する商品識別装置および商品認識ナビゲーション方法に関する。

背景技術

0002

従来、電子式キャッシュレジスタ商品登録装置)は、各商品を識別する商品識別装置と、各取引に係る商品の売上登録と精算とを行うPOS端末とを備えている。商品識別装置は、バーコード読み取り部によって商品に付与されたバーコードなどのデータコード読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品識別装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことでキャッシュレジスタオペレータの負担を軽減することができる。

0003

しかしながら、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。そのため、従来は、青果品などに対して、商品を指し示すタン画面タッチまたは別途用意されたバーコード表から該当商品のコードを選んでスキャナで読み取る、という運用がなされていた。

0004

近年では、青果品などをオブジェクト認識して識別する商品識別装置を有し、商品識別装置で識別された商品を売上登録する商品登録装置が普及しはじめている(例えば、特許文献1参照)。この商品登録装置の商品識別装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、商品の外観にかかる特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。この商品識別装置は、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品を識別することができるので、店舗側の負担を軽減することができる。

先行技術

0005

特開2013−182323号公報(図8と段落0068)

発明が解決しようとする課題

0006

しかしながら、従来の商品登録装置の商品識別装置は、以下に説明するように、取引の対象商品の候補の絞り込み精度を向上させることが望まれている、という課題があった。

0007

例えば、顧客は、スーパーマーケットで商品を購入する場合に、買物カゴなどに商品を入れた後、買物カゴをキャッシュレジスタに持って行き、買物カゴをキャッシュレジスタのオペレータに渡して、商品代金の精算を依頼する。

0008

このとき、オペレータは、この顧客が持ってきた買物カゴ(以下、「第1の買物カゴ」という)に入っている各商品を順番に商品登録装置の商品識別装置に読み込ませることによって、その商品の商品情報売上情報に仮登録させ、その商品を別の買物カゴ(以下、「第2の買物カゴ」という)に入れる、という動作を繰り返すことによって、第1の買物カゴに入っている各商品を売上登録する。

0009

その際、商品識別装置は、即座に商品を認識できない場合がある。例えば、バーコード付き商品のバーコード部分がうまく撮影できない場合、商品識別装置は、即座に商品を認識できない。この場合に、オペレータは、商品識別装置のカメラに商品をできるだけ近づける操作により、商品識別装置に商品をオブジェクト認識させる。

0010

このとき、商品識別装置は、カメラで取得された物体撮像画像と記憶部に予め記録された各商品の外観を表す基準画像との類似度を判断する。そして、商品登録装置は、商品識別装置によって商品の候補を一意に絞り込むことができた場合に、その商品の候補を取引の対象商品として仮登録する。一方、商品識別装置は、商品の候補を一意に絞り込むことができなかった場合に、対象商品の確認画面を表示部に表示したり、または、対象商品の選択画面を表示部に表示したりしていた。

0011

ここで、「対象商品の確認画面」とは、例えば、撮像画像に写る物体との類似度が比較的高い1つの商品を対象商品の候補とし、その候補が正しいか否かをオペレータに確認させて、正しければその候補を対象商品として仮登録させ、正しくなければ他の候補を検索させる構成になっている画面を意味している。また、「対象商品の選択画面」とは、例えば、撮像画像に写る物体との類似度が比較的高い複数の商品を対象商品の候補とし、複数の候補の中から対象商品をオペレータに選択させる構成になっている画面を意味している。

0012

しかしながら、対象商品の確認画面や選択画面などの画面が表示された場合に、オペレータは、何らかの情報の入力操作を行う必要がある。そのため、オペレータは、入力操作のための時間と手間とが必要になる。したがって、商品識別装置としては、対象商品の確認画面や選択画面などの画面の表示をできるだけ抑制することが好ましく、これらの画面の表示が抑制されるように、取引の対象商品の候補の絞り込み精度を向上させることが望まれていた。

0013

そこで、本発明は、商品の候補の絞り込み精度を向上させる商品識別装置および商品認識ナビゲーション方法を提供することを課題とする。

課題を解決するための手段

0014

第1の発明は、上記目的を達成するため、
取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、
オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、
前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出手段と、
前記物体検出手段で検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込み手段と、
前記絞り込み手段で、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導手段と、を備える
ことを特徴とする商品識別装置である。

0015

また第2の発明は、上記目的を達成するため、
取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、を備える商品識別装置の制御手段が、前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出ステップと、
前記制御手段が、前記物体検出ステップで検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込みステップと、
前記制御手段が、前記絞り込みステップで、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導ステップと、を含む
ことを特徴とする商品認識ナビゲーション方法である。

発明の効果

0016

本発明によれば、取引の対象商品の候補の絞り込み精度を向上させる商品識別装置および商品認識ナビゲーション方法を提供することが可能となる。

図面の簡単な説明

0017

実施形態に係る商品識別装置を含む商品登録装置の外観を示す斜視図である。
実施形態に係る商品識別装置を含む商品登録装置の概略を示す構成図である。
実施形態に係る商品識別装置を含む商品登録装置の概略を示す機能ブロック図である。
実施形態に係る商品識別装置の正面図である。
実施形態で用いる特徴量ファイルの構成を示す図である。
ウサギのぬいぐるみの基準画像と抽出用画像補助画像の一例を示す図である。
クマのぬいぐるみの基準画像と抽出用画像と補助画像の一例を示す図である。
実施形態に係る商品識別装置を含む商品登録装置の動作を示すフローチャートである。
表示画面の一例を示す説明図である。

実施例

0018

以下、図面を参照して、本発明の実施の形態(以下、「本実施形態」と称する)につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

0019

[実施形態]
本実施形態に係る商品識別装置は、店舗陳列して販売する取扱商品の特徴部分を示す補助情報を記憶手段に予め記憶している。具体的には、商品識別装置は、取扱商品の特徴量の比較的多い領域(以下、「高特徴領域」という)を取扱商品の特徴部分とし、高特徴領域(特徴部分)を含む画像をオブジェクト認識の際に補助的に用いる補助画像とし、補助画像を補助情報として記憶手段に予め記憶している。

0020

そして、商品識別装置は、基準画像に基づいて物体(商品)のオブジェクト認識を行った場合で、かつ、所定条件の下で、取引の対象商品の候補が絞り込まれるとき(例えば、物体に対する類似度が閾値以下であるものの、対象商品の候補が1つに絞り込まれるとき)に、絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の高特徴領域(特徴部分)を撮影手段に翳させる誘導を行う。これによって、商品識別装置は、高特徴領域を含む撮像画像を取得し、取得された撮像画像と補助画像との類似度に基づいて、対象商品の候補を一意に絞り込む。その結果、商品識別装置は、対象商品の候補の絞り込み精度を向上させることができる。

0021

なお、本実施形態では、補助情報が商品の特徴部分を示す補助画像情報(以下、単に「補助画像」という)である場合を想定して説明する。しかしながら、補助情報は、補助画像と、取扱商品の特徴部分を示すメッセージ情報とを含むようにしてもよい。

0022

<商品登録装置の外部構成>
以下、図1を参照して、実施形態に係る商品識別装置2を含む商品登録装置1の外部構成につき説明する。図1は、実施形態に係る商品識別装置2を含む商品登録装置1の外観を示す斜視図である。

0023

図1に示すように、商品登録装置1は、各商品を識別する商品識別装置2と、各取引に係る商品の売上登録と精算とを行うPOS端末3とを備える。
商品識別装置2は、商品に関する情報を読み取って登録するPOS接続用スキャナである。商品識別装置2は、横長テーブル状カウンタ台5の長手方向の中央に設置されている。商品識別装置2は、薄型直方体状のハウジング51を備える。このハウジング51の正面には、読取窓52を介してカメラ27(図2参照)が配置されている。

0024

ハウジング51の上部には、表示・操作部22が取り付けられている。表示・操作部22には、ディスプレイ221が設けられている。このディスプレイ221の表面には、タッチパネル222(図2参照)が積層されている。ディスプレイ221の右隣には、キーボード23が配置されている。キーボード23の右隣には、不図示のカードリーダカード読取溝が設けられている。表示・操作部22の左奥側には、顧客に情報を提供するための顧客用ディスプレイ24が裏向きに設置されている。

0025

POS端末3は、チェックアウト台6上のドロワ37の上面に載置されている。このドロワ37は、現金収納部であり、POS端末3によって開放動作の制御を受ける。
POS端末3の上面には、オペレータ(店員)が操作するためのキーボード33が配置されている。このオペレータから見てキーボード33の上部奥側には、情報を表示するディスプレイ321が設けられている。このディスプレイ321の表面には、タッチパネル322(図2参照)が積層されている。ディスプレイ321よりもさらに奥側には、情報を表示する顧客用ディスプレイ34が左右方向に回転可能に設置されている。なお、図1に示す顧客用ディスプレイ34は、図の手前側に向いている。この顧客用ディスプレイ34は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。

0026

POS端末3が載置されているチェックアウト台6とL字を形成するようにして、横長テーブル状のカウンタ台5が配置されている。カウンタ台5の上面には、荷受け面が形成されている。顧客は、図1の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台5の荷受け面には、商品を収納する第1の買物カゴ4Lと、第2の買物カゴ4Rとが載置される。以下、第1の買物カゴ4Lと、第2の買物カゴ4Rとを特に区別しないときには、単に買物カゴ4と記載する場合がある。これら買物カゴ4は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ4は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。

0027

第1の買物カゴ4Lは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第2の買物カゴ4Rは、第1の買物カゴ4Lから商品識別装置2を挟んだ位置に載置される。第1の買物カゴ4L内の商品は、商品識別装置2を操作するオペレータにより取り出され、第2の買物カゴ4Rに移動される。この移動過程で、商品が商品識別装置2の読取窓52に翳(かざ)される。このとき、読取窓52内に配置されたカメラ27(図2参照)は商品を撮影して商品の撮像画像を取得する。

0028

商品識別装置2では、カメラ27により取得された撮像画像に含まれる物体(商品)が、後記する特徴量ファイル361(図2参照)に記録されたどの商品(取扱商品)に対応するかを識別してディスプレイ221に表示する。商品識別装置2は、更に、識別された商品の商品IDをPOS端末3に通知する。POS端末3は、商品識別装置2から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価などの売上登録に係る商品情報を、売上マスタファイル(不図示)などに記録して、売上登録を行う。

0029

<商品登録装置の内部構成>
以下、図2を参照して、商品登録装置1の内部構成につき説明する。図2は、商品登録装置1の概略を示す構成図である。
図2に示すように、商品登録装置1は、商品識別装置2とPOS端末3とを含んで構成される。
商品識別装置2は、マイクロコンピュータ21と、表示・操作部22と、インタフェース25と、カメラ27と、スピーカ28と、電源29とを含んで構成される。
マイクロコンピュータ21は、CPU(Central Processing Unit)211にROM(Read Only Memory)212とRAM(Random Access Memory)213とがバス接続されて構成されている。ROM212には、CPU211によって実行されるプログラムが記憶される。
CPU211には、表示・操作部22と、インタフェース25と、カメラ27、スピーカ28とが、内部バス各入出力回路(不図示)を介して接続される。

0030

表示・操作部22は、ディスプレイ221と、タッチパネル222と、顧客用ディスプレイ24と、キーボード23とを含んで構成され、CPU211によって動作が制御される。
ディスプレイ221は、CPU211の指示により、オペレータに対する情報を表示する表示手段である。タッチパネル222は、ディスプレイ221により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ24は、CPU211の指示により、顧客に対する情報を表示する。
キーボード23は、複数の操作キーで構成され、オペレータの操作入力受け付ける。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。

0031

カメラ27は、カラーCCDイメージセンサやカラーCMOSイメージセンサなどを備える撮影手段である。カメラ27は、CPU211の制御の下で、読取窓52(図1参照)に翳された物体(商品)の撮影を行う。カメラ27は、例えば30[fps]の動画像の撮影を行う。カメラ27が所定のフレームレートで順次撮影したフレーム画像(撮像画像)は、RAM213に保存される。

0032

スピーカ28は、予め設定された警告音などを発生する音声出力手段である。スピーカ28は、CPU211の制御の下で警告音や音声による報知を行う。
電源29は、この商品識別装置2の各部に電力を供給する。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。

0033

POS端末3は、マイクロコンピュータ31と、ディスプレイ321と、タッチパネル322と、キーボード33と、顧客用ディスプレイ34と、インタフェース35と、HDD36と、ドロワ37と、プリンタ38と、電源39とを含んで構成される。
マイクロコンピュータ31は、情報処理を実行する。このマイクロコンピュータ31は、各種演算処理を実行し各部を制御するCPU311に、ROM312とRAM313とがバス接続されて構成される。CPU311には、ドロワ37と、キーボード33と、ディスプレイ321と、タッチパネル322と、顧客用ディスプレイ34と、HDD36(Hard Disk Drive)とが、内部バスや各入出力回路を介して接続されている。これらは、CPU311による制御を受ける。

0034

ディスプレイ321は、CPU311の指示により、オペレータに対する情報を表示する。タッチパネル322は、ディスプレイ321により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ34は、CPU311の指示により、顧客に対する情報を表示する。
キーボード33は、仮締めキー331と、締めキー332と、テンキー333とを含んで構成され、オペレータの操作入力を受け付ける。テンキー333は、0から9までの数字キーと各種演算子キーとで構成される。

0035

HDD36は、プログラムや各種ファイルが記憶された記憶手段である。HDD36に記憶されているプログラムや各種ファイルは、POS端末3の起動時に、その全部または一部がRAM313にコピーされてCPU311により実行される。HDD36には、例えば、商品販売データ処理用のプログラムや、特徴量ファイル361などが格納される。

0036

特徴量ファイル361は、店舗に陳列して販売する取扱商品の各々について、取扱商品の売上登録にかかる情報と、取扱商品の外観を表す画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する。「取扱商品の外観を表す画像」は、カメラ27で撮像されたフレーム画像(撮像画像)に写る物体のオブジェクト認識を行う際に、物体と取扱商品との類似度を算出するための基準として用いられる。以下、取扱商品の外観を表す画像を「基準画像」という。

0037

インタフェース35は、商品識別装置2に接続され、商品識別装置2との間でデータ送受信を可能とする。
プリンタ38は、レシートなどに印字を行う。POS端末3は、CPU311の制御の下で、各取引の取引内容をレシートに印字する。
電源39は、このPOS端末3の各部に電力を供給する。

0038

図3は、商品登録装置の概略を示す機能ブロック図である。以下の説明では、適宜図1図2とを参照する。
図3に示すように、商品識別装置2のCPU211(図2参照)は、ROM212(図2参照)に格納されるプログラムを実行することにより、画像取得部90と、物体検出部91、類似度演算部92、絞り込み部93、誘導部94、確定通知部95、入力取得部96、情報出力部97の各部を具現化する。また、同様に、POS端末3のCPU311(図2参照)は、HDD36(図2参照)に格納されるプログラムを実行することにより、売上登録部99を具現化する。POS端末3のHDD36(図2参照)には、更に、特徴量ファイル361が格納される。

0039

画像取得部90は、カメラ27に撮像オン信号を出力して、このカメラ27に撮像動作を開始させる。更に、画像取得部90は、カメラ27が撮影してRAM213に保存されたフレーム画像(撮像画像)を順次取り込む。画像取得部90によるフレーム画像の取り込みは、RAM213に保存された順に行われる。

0040

物体検出部91は、画像取得部90によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓52に向けると、画像取得部90は、カメラ27によって、この商品を撮影してフレーム画像を取得する。物体検出部91は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部91は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出(認識)する。

0041

別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓52に向けると、画像取得部90は、カメラ27によって、この商品および手の画像を撮影する。物体検出部91は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、オペレータの手が検出された場合に、物体検出部91は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部91は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。

0042

類似度演算部92は、カメラ27が撮影した物体(商品)のフレーム画像(撮像画像)から、この物体(商品)の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。このとき、類似度演算部92は、この物体(商品)の輪郭や大きさを考慮しない。これにより類似度演算部92は、処理時間を短縮することができる。
類似度演算部92は、更に、特徴量ファイル361に記録された各取扱商品の基準画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、フレーム画像(撮像画像)に含まれている物体(商品)の特徴量と基準画像に含まれている各取扱商品の特徴量とをそれぞれ比較することで、撮影した物体(商品)と特徴量ファイル361に記録された取扱商品との類似度を算出する。ここで、「類似度」とは、特徴量ファイル361に記録されている各取扱商品が想定する基準画像を100%の類似度とした場合に、物体(商品)の全部または一部の画像が取扱商品の基準画像とどの程度まで類似しているかを示すものである。なお、類似度演算部92は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。

0043

このように、フレーム画像(撮像画像)中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット評価ベンチマークを行い、更にその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1−24頁,[平成26年9月8日検索],インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ−TCVIM−Yanai.pdf>

0044

また、フレーム画像(撮像画像)をオブジェクト毎領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottenら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008.CVPR 2008.IEEE Conference on,[平成26年9月8日検索],インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/down1oad?doi=10.1.1.145.3036&rep=rep1&type=pdf>

0045

なお、撮影された物体(商品)のフレーム画像(撮像画像)と特徴量ファイル361に記録された取扱商品の基準画像との類似度の算出方法は、特に問わないものとする。例えば、商品の撮像画像と、特徴量ファイル361に記録された各取扱商品の基準画像との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

0046

類似度を絶対評価として算出する場合は、撮影された物体(商品)のフレーム画像(撮像画像)と、特徴量ファイル361に記録された各取扱商品の基準画像とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合は、各取扱商品に対する類似度の総和が1.0(100%)となるように算出する。例えば、特徴量ファイル361に4つの取扱商品#1〜#4が記録されていたとする。このとき撮影された物体(商品)は、例えば、取扱商品#1に対する類似度が0.65、取扱商品#2に対する類似度が0.2、取扱商品#3に対する類似度が0.1、取扱商品#4に対する類似度が0.05などのように算出する。

0047

絞り込み部93は、画像取得部90が取り込んだフレーム画像(撮像画像)毎に、物体(商品)のフレーム画像(撮像画像)と、特徴量ファイル361に記録されている各取扱商品の基準画像との類似度を比較することによって、取引の対象となる対象商品を検索して、撮像画像上の物体(商品)に該当する対象商品の候補を絞り込む。

0048

本実施形態では、取扱商品の基準画像と、物体(商品)のフレーム画像(撮像画像)との類似度は、複数の条件が設けられている。絞り込み部93は、これら満たされる条件に応じて取扱商品の確定あるいは商品認識のナビゲーション(誘導)を選定する。類似度に関する条件は特に限定されるものではないが、以下では、それぞれ、閾値SM,SN(ただし、SM>SN)を規定する条件M,Nを用いる場合について説明する。

0049

ここで、条件Mは、フレーム画像(撮像画像)上の物体を、特徴量ファイル361に記録された取扱商品のうちの一つとして一意に絞り込む(確定する)ための閾値SMを規定する条件である。また、条件Nは、特徴量ファイル361に記録された全ての取扱商品の中から、フレーム画像(撮像画像)上の物体に該当するいくつかの対象商品の候補を抽出する(絞り込む)ための閾値SNを規定する条件である。各閾値SM,SNは、運用に応じて、任意の値に適宜設定することができる。

0050

絞り込み部93は、例えば、条件Mを満たす取扱商品(すなわち、物体との類似度が条件Mによって規定された閾値SMを超える取扱商品)を、フレーム画像(撮像画像)上の物体に対して一意に絞り込まれた(確定された)商品であると判定する。そして、絞り込み部93は、特徴量ファイル361に記録された各取扱商品の中から条件Mを満たす取扱商品を抽出することにより、撮影した物体(商品)に該当する1つ取扱商品を対象商品の候補として絞り込むことができる。

0051

また、絞り込み部93は、条件Mを満たさないものの、条件Nを満たす取扱商品(すなわち、物体に対する類似度が、条件Mによって規定された閾値SM以下であるものの、条件Nによって規定された閾値SNを超える取扱商品)を、取引の対象商品として確定した確定商品ではなく、カメラ27が撮影した物体(商品)に該当するいくつかの取扱商品の候補のうちの一つであると判定する。そして、絞り込み部93は、特徴量ファイル361に記録された各取扱商品の中から条件Nを満たす取扱商品を抽出することにより、撮影した物体(商品)に該当するいくつかの取扱商品の候補を対象商品の候補として絞り込むことができる。このとき、絞り込み部93は、例えば、条件Mによって規定された閾値SM以下であるものの、物体に対する類似度が最も高い1つの取扱商品を、対象商品の候補として絞り込むこともできる。

0052

誘導部94は、絞り込み部93で所定条件M,Nの下で対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報(補助画像やメッセージ情報など)に基づいて、オペレータに対して物体の高特徴領域(特徴部分)をカメラ27に翳させる誘導を行う。

0053

本実施形態では、補助情報が補助画像として構成されており、誘導部94は、絞り込まれた候補に対応する補助画像に基づいて誘導画像GP(図9(b)参照)を作成し、作成された誘導画像GPをディスプレイ221に表示させるものとして説明する。

0054

より詳細には、誘導部94は、撮像画像に写っている物体との類似度が最も高い取扱商品に該当する特徴量ファイル361の誘導時参照欄361g(図5参照)を参照して、その取扱商品の抽出用画像と補助画像とを取得し、取得された抽出用画像と補助画像とをフレーム画像(撮像画像)に合成して誘導画像GP(図9(b)参照)を作成し、作成された誘導画像GPをディスプレイ221に表示させる。

0055

なお、誘導画像GPがディスプレイ221に表示されていても、画像取得部90による画像の取得処理と、物体検出部91による物体の検出処理と、類似度演算部92による類似度の演算処理とは、継続される。

0056

ただし、誘導部94は、例えば、「ぬいぐるみの尻尾部分をカメラに翳して下さい」などのメッセージ情報が補助情報の中に含まれている場合に、メッセージ情報をディスプレイ221にテキスト表示することによって、誘導を行うようにしてもよい。また、誘導部94は、このような場合に、メッセージ情報に対応する音声をスピーカ28(図2参照)から出力することによって、誘導を行うようにしてもよい。

0057

確定通知部95は、カメラ27によって撮影された物体(商品)が、条件を満たした取扱商品であり、取引の対象商品として一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。

0058

より詳細には、確定通知部95は、条件を満たす取引の対象商品が、カメラ27によって撮影された物体(商品)として抽出された場合に、取引の対象商品が確定商品として一意的に確定されたことを示す確定画面をディスプレイ221に表示させるとともに、確定商品に関する情報をスピーカ28に出力する。スピーカ28は、入力された情報を音声で出力することにより、確定商品を示す情報をオペレータや客に報知する。

0059

入力取得部96は、タッチパネル222またはキーボード23を介してディスプレイ221の表示に対応する各種入力操作を受け付ける。
情報出力部97は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名や値引き情報など)を、インタフェース25を介してPOS端末3に出力する。

0060

なお、情報出力部97は、タッチパネル222またはキーボード23を介して別途入力された販売個数を、商品IDなどと共にPOS端末3に出力してもよい。また、情報出力部97がPOS端末3に出力する情報としては、情報出力部97が特徴量ファイル361から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、または、基準画像、写真画像ファイル名をPOS端末3に通知してもよい。

0061

POS端末3の売上登録部99は、情報出力部97から出力された商品IDと販売個数とに基づいて、取引の対象商品の売上登録を行う。具体的にいうと、売上登録部99は、特徴量ファイル361を参照して、通知された商品IDと、これに対応する商品分類や、商品名、単価、販売個数を売上マスタファイルなどに記録して、取引の対象商品の売上登録(仮登録)を行う。

0062

<商品識別装置のディスプレイ周りの構成>
以下、図4を参照して、商品識別装置2のディスプレイ221周りの構成につき説明する。図4は、実施形態に係る商品識別装置2の正面図である。

0063

図4に示すように、商品識別装置2は、カウンタ台5に設置されている。商品識別装置2は、薄型の直方体状のハウジング51と、このハウジング51の上部に取り付けられた表示・操作部22と、表示・操作部22の左奥側に裏向きに設置された顧客用ディスプレイ24とを含んで構成される。
このハウジング51の正面には、読取窓52が設けられる。
読取窓52には、照明271とカメラ27(撮影手段)とが配置される。認識領域8Mは、カメラ27が物体を撮影し、この物体を検知して商品を識別する領域である。
この商品識別装置2は、カメラ27による物体を検知し、物体の商品名などを識別し、POS端末3に商品登録処理を行わせる。

0064

<主な情報の概要
以下、図5図7を参照して、実施形態で用いる主な情報の概要につき説明する。図5は、実施形態で用いる特徴量ファイル361の構成を示す図である。図6は、ウサギのぬいぐるみの基準画像と抽出用画像と補助画像の一例を示す図である。図7は、クマのぬいぐるみの基準画像と抽出用画像と補助画像の一例を示す図である。ここでは、顧客が購入しようとしている商品(取引の対象商品)が「ウサギのぬいぐるみ」であり、商品識別装置2が「ウサギのぬいぐるみ」のオブジェクト認識を行い、その結果、「ウサギのぬいぐるみ」と「クマのぬいぐるみ」とが取引の対象商品の候補として抽出される場合を想定して説明する。本実施形態では、「ウサギのぬいぐるみ」の尻尾部分と「クマのぬいぐるみ」の尻尾部分の形状が相違しており、尻尾部分が高特徴領域になっているものとして説明する。

0065

図5に示すように、特徴量ファイル361の各レコードは、特徴量欄361a、画像リンク欄361b、種別欄361c、商品ID欄361d、単価欄361e、商品名欄361f、誘導時参照欄361gの各欄を含んでいる。この特徴量ファイル361には、商品毎に、オブジェクト認識の際に用いる各商品の基準画像や、高特徴領域を抽出するための抽出用画像、高特徴領域を含む補助画像などの画像と、各画像の特徴量との組み合わせが格納される。

0066

特徴量欄361aは、この商品に対応する画像の特徴量を格納する欄である。特徴量欄361aの格納情報は、後記する画像リンク欄361bの画像を分析して得られるものである。

0067

画像リンク欄361bは、この商品に対応する画像のリンク情報を格納する欄である。例えば、図5に示す例では、商品IDが「N0001」となっている取扱商品に対し、基準画像(N0001F.jpg)と抽出用画像(N0001B.jpg)と補助画像(N0001SP.jpg)とを対応付けるリンク情報が格納されている。なお、各画像を表す符号の末尾に付された英文字について、「F」が取扱商品の正面画像を意味しており、「B」が取扱商品の背面画像を意味しており、「SP」が取扱商品の高特徴領域の拡大画像を意味している。

0068

ここでは、取扱商品の正面画像が基準画像になっている場合を想定して説明する。しかしながら、取扱商品によっては、他の方向の画像が基準画像になる場合もある。また、ここでは、取扱商品の高特徴領域が取扱商品の背面画像の中に含まれている場合を想定して説明する。しかしながら、取扱商品の高特徴領域が他の方向の画像(例えば、正面画像)の中に含まれている場合もある。仮に、取扱商品の高特徴領域が正面画像中に含まれている場合に、その正面画像が抽出用画像となるため、その正面画像のリンク情報が抽出用画像の画像リンク欄361bに登録される。

0069

本実施形態では、リンク情報によって各取扱商品の商品IDにリンク付けされた「補助画像」が「補助情報」として用いられている。なお、特徴量ファイル361は、例えば、各取扱商品の商品IDに対応して「ぬいぐるみの尻尾部分をカメラに翳して下さい」などのメッセージ情報を「補助情報」として含むようにしてもよい。

0070

種別欄361cは、画像リンク欄361bでリンクされた画像(以下、「リンク画像」という)の種別情報を格納する欄である。例えば、図5に示す例では、種別欄361cには、リンク画像が基準画像であることを表す「基準」、リンク画像が抽出用画像であることを表す「抽出用」、リンク画像が補助画像であることを表す「補助」の3種類の種別情報が格納されている。

0071

商品ID欄361dは、この商品を識別する情報を格納する欄である。
単価欄361eは、この商品の単価を格納する欄である。
商品名欄361fは、この商品の名称を格納する欄である。

0072

誘導時参照欄361gは、誘導部94によって誘導画像GP(図9(b)参照)が作成される際に参照される画像(以下、「参照画像」と称する)を指定する参照情報が格納されている。例えば、図5に示す例では、商品IDが「N0001」となっている取扱商品の誘導時参照欄361gには、基準画像(N0001F.jpg)に対して抽出用画像(N0001B.jpg)を指定する参照情報が格納されており、また、抽出用画像(N0001B.jpg)に対して補助画像(N0001SP.jpg)を指定する参照情報が格納されている。これらの参照情報は、補助画像が取扱商品のどこの部位の画像であるのかを指し示す情報となっている。

0073

図6(a)は、「ウサギのぬいぐるみ」の正面方向の基準画像(N0001F.jpg)を示しており、また、図6(b)は、「ウサギのぬいぐるみ」の抽出用画像(N0001B.jpg)を示しており、また、図6(c)は、「ウサギのぬいぐるみ」の補助画像(N0001SP.jpg)を示している。図6(c)に示す補助画像(N0001SP.jpg)は、図6(b)に示す抽出用画像(N0001B.jpg)に含まれている高特徴領域SP1を撮影した画像である。

0074

一方、図7(a)は、「クマのぬいぐるみ」の正面方向の基準画像(N0002F.jpg)を示しており、また、図7(b)は、「クマのぬいぐるみ」の抽出用画像(N0002B.jpg)を示しており、また、図7(c)は、「クマのぬいぐるみ」の補助画像(N0002SP.jpg)を示している。図7(c)に示す補助画像(N0002SP.jpg)は、図7(b)に示す抽出用画像(N0002B.jpg)に含まれている高特徴領域SP2を撮影した画像である。

0075

一般的に、ぬいぐるみなどは、正面方向の基準画像が最もオブジェクト認識に適した方向である。商品識別装置2は、撮像画像に写っている物体(ここでは、顧客の購入しようとしている「ウサギのぬいぐるみ」)のオブジェクト認識を行う場合に、特徴量ファイル361の画像リンク欄361bのリンク情報で指定された基準画像に基づいて商品検索を行って、対象商品を絞り込む。

0076

この絞り込みにおいて、例えば、物体に対する類似度が閾値以下であるものの、対象商品の候補が1つに絞り込まれる場合に、商品識別装置2は、1つに絞り込まれた候補の補助画像に基づいて対象商品の候補を一意に絞り込む(確定する)ことを試みる。また、この絞り込みにおいて、例えば、物体に対する類似度が閾値を超えるいくつかの取扱商品の候補に絞り込まれる場合に、商品識別装置2は、物体に対する類似度が最も高い候補の補助画像に基づいて対象商品を一意に絞り込む(確定する)ことを試みる。これにより、商品識別装置2は、対象商品の候補の絞り込み精度を向上させる。

0077

<商品登録装置の動作>
本実施形態では、商品登録装置1の商品識別装置2は、基準画像に基づいて物体(商品)のオブジェクト認識を行った場合で、かつ、所定条件の下で対象商品の候補が絞り込まれるとき(例えば、物体に対する類似度が閾値以下であるものの、商品の候補が1つに絞り込まれるとき)に、補助画像に基づくオブジェクト認識で対象商品の候補を一意に絞り込むことを試みる。その際に、商品識別装置2は、補助情報に基づいて、物体の高特徴領域をカメラ27に翳すように、オペレータに対して誘導を行う。

0078

以下、図8及び図9を参照して、商品登録装置1の動作につき説明する。図8は、商品登録装置1の動作を示すフローチャートである。図9は、商品識別装置2のディスプレイ221(図1参照)に表示される表示画面の一例を示す説明図である。

0079

商品登録装置1は、オペレータによって商品登録処理の開始が指示されることにより、動作を開始する。実施形態の商品仮登録処理は、例えば、オペレータ(店員)が、第1の買物カゴ4L(図1参照)に入っている物品(商品)であるウサギのぬいぐるみを取り出して、読取窓52のカメラ27に翳して、このウサギのぬいぐるみを取引の対象商品として仮登録して第2の買物カゴ4Rに入れるまでの一連の処理である。

0080

図8に示すように、ステップS11において、画像取得部90は、カメラ27に撮像オン信号を出力してカメラ27による商品のフレーム画像(撮像画像)のキャプチャ(撮像)を開始する。画像取得部90は、カメラ27が撮像してRAM213に保存したフレーム画像(撮像画像)を取り込む。

0081

商品登録装置1の商品識別装置2は、画像取得部90に取り込まれたフレーム画像(撮像画像)をディスプレイ221(図1参照)に表示する。ここでは、商品識別装置2が撮像画像CP(図9(a)参照)をディスプレイ221に表示した場合を想定して説明する。

0082

ステップS12において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。これにより、物体検出部91は、物体検出処理を行う。

0083

ステップS13において、物体検出部91は、商品である物体の全部または一部の認識に成功したか否かを判断する。商品である物体の認識に成功した(Yes)場合に、処理は、ステップS14に進み、一方、商品である物体の認識に成功しなかった(No)場合に、処理は、ステップS11に戻る。
ステップS11〜S13を具体的にいうと、オペレータが商品を読取窓52のカメラ27に翳し、商品識別装置2が、この商品である物体の検出(認識)に成功する一連の処理である。

0084

ステップS14において、類似度演算部92は、商品の全部または一部の画像から商品の特徴量を読み取る。更に、絞り込み部93は、物体に対する類似度が閾値SMを超える取扱商品が特徴量ファイル361にあるか否かを判定する。また、絞り込み部93は、物体に対する類似度が閾値SM以下であるものの、閾値SNを超える取扱商品が特徴量ファイル361にあるか否かを判定する。そして、絞り込み部93は、該当する1乃至複数の取扱商品がある場合に、各取扱商品を対象商品の候補とし、対象商品の候補の商品IDや商品名、商品単価、などの商品情報を検索して呼び出す。そして、類似度演算部92は、絞り込み処理を行って、対象商品の候補の絞り込みを試みる。

0085

ステップS15において、絞り込み部93は、候補を絞り込めたか否かを判定する。ステップS15において、候補を絞り込めた(Yes)と判定された場合に、処理は、ステップS16に進み、一方、候補を絞り込められなかった(No)と判定された場合に、ステップS11に戻る。

0086

ここで、「候補を絞り込めた(Yes)と判定された場合」とは、物体に対する類似度が閾値SMを超えるいくつかの取扱商品を抽出することができた場合と、物体に対する類似度が閾値SM以下であるものの、閾値SNを超えるいくつかの取扱商品を抽出することができた場合との双方を意味している。

0087

また、「候補を絞り込められなかった(No)と判定された場合」とは、物体に対する類似度が閾値SN以下である取扱商品しか抽出することができなかった場合を意味している。

0088

ステップS15で候補を絞り込められなかった(No)と判定された場合に、ステップS16において、誘導部94は、絞り込み部93によって抽出された対象商品の候補のうち、撮像画像CPに写っている物体との類似度が最も高い取扱商品(ここでは、商品IDを「N0001」とする「ウサギのぬいぐるみ」)に該当する特徴量ファイル361の誘導時参照欄361g(図5参照)を参照する。

0089

次に、ステップS17において、誘導部94は、その取扱商品の抽出用画像(N0001B.jpg(図6(b)参照))と補助画像(N0001SP.jpg(図6(c)参照))とを取得する。

0090

そして、ステップS18において、誘導部94は、対象商品の候補の絞り込み精度を向上させるために、取得された抽出用画像(N0001B.jpg)と補助画像(N0001SP.jpg)とをフレーム画像(撮像画像)CPに合成して誘導画像GP(図9(b)参照)を作成し、作成された誘導画像GPを商品のナビゲーションとしてディスプレイ221に表示させる。これにより、誘導部94は、オペレータに対して誘導処理を行う。

0091

このとき、誘導部94は、商品のナビゲーションとして、例えば、「ぬいぐるみの尻尾部分をカメラに翳して下さい」などのメッセージ情報をディスプレイ221にテキスト表示したり、メッセージ情報に対応する音声をスピーカ28(図2参照)から出力したりすることによって、誘導処理を行ってもよい。

0092

オペレータは、商品のナビゲーション(例えば、誘導画像GPの表示)に従って、物体の高特徴領域をカメラ27に翳すように、物体の向きを変えたり又は移動させたりする操作を行う。これにより、商品登録装置1は、物体の高特徴領域が写っているフレーム画像(撮像画像)を取得する。そして、絞り込み部93は、物体検出部91で検出された物体を類似度の最も高い取扱商品の補助画像と比較して類似度を判断することによって、対象商品の候補を一意に絞り込むことを試みる。

0093

次に、ステップS19において、絞り込み部93は、補助画像に基づく類似度の判断において、物体に対する類似度が所定閾値を超えるか否かを判定することにより、対象商品の候補を一意に絞り込めたか否かを判断する。

0094

ステップS19で対象商品の候補を一意に絞り込められなかった(No)場合に、処理は、ステップS11に戻る。一方、ステップS19で対象商品の候補を一意に絞り込めた(Yes)場合に、処理は、ステップS21に進む。この場合に、ステップS21において、確定通知部95は、一意に絞り込まれた対象商品の候補を確定商品とし、確定商品の画像とともに、商品名と単価とをウインドウ表示し、確定商品に関する情報をスピーカ28に出力する。これにより確定通知部95は、対象商品の候補を一意に絞り込めたこと(すなわち、確定商品を確定したこと)をオペレータに知らせることができる。

0095

ステップS22において、情報出力部97は、確定商品について、その商品を示す情報(例えば、商品IDや商品名や値引き情報など)を、インタフェース25を介してPOS端末3に出力し、図8の処理を終了する。POS端末3は、この商品を仮登録し、精算の指示と共に商品マスタファイルに登録する。

0096

係る構成において、商品識別装置2は、基準画像に基づいて物体(商品)のオブジェクト認識を行った場合で、かつ、所定条件の下で対象商品の候補が絞り込まれるとき(例えば、物体に対する類似度が閾値以下であるものの、対象商品の候補が1つに絞り込まれるときや、物体に対する類似度が閾値を超える少数の対象商品の候補に絞り込まれるとき)に、補助情報に基づいて、物体の高特徴領域をカメラ27に翳すように、オペレータに対して誘導を行う。これによって、商品識別装置2は、高特徴領域を含む撮像画像を取得し、取得された撮像画像と補助画像との類似度に基づいて、対象商品の候補を一意に絞り込むことを試みることができる。その結果、商品識別装置2は、対象商品の候補の絞り込み精度(特定精度)を向上させることができる。

0097

なお、特徴量ファイル361や抽出画像、補助画像などの内容は、取扱商品に応じて、また、運用に応じて適宜変更することができる。例えば、補助画像は、1つだけでなく、複数あってもよい。また、補助画像は、取扱商品の上面や、下面、右面、左面、及び、背面などの各部位の中のいずれかの1乃至複数の部位の画像であってもよい。

0098

また、商品識別装置2は、類似度の高低の判断結果にかかわらず、オペレータがカメラ27の前で物体(商品)の翳し操作を行っている場合に、撮像画像を逐次モニタリングし、対象商品の候補がある程度推定されるときに、どのように物体(商品)の翳し操作を行えばよいのかを示す誘導画面をディスプレイ221に表示させるようにしてもよい。

0099

以上の通り、本実施形態に係る商品識別装置2によれば、対象商品の候補の絞り込み精度を向上させることができる。

0100

なお、本発明は、前記した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。

0101

例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本発明は、実施形態の構成の一部を他の構成に置き換えることができる。また、本発明は、実施形態の構成から一部の構成を削除することができる。

0102

また、例えば、商品識別装置2は、撮像画像として物体の正面画像を取得している場合で、かつ、物体の高特徴領域(特徴部分)が物体の正面側にあるときに、その高特徴領域がカメラ27に翳されるように、物体を水平移動させたり又はカメラ27に近づけさせたりする内容の誘導画面GPをディスプレイ221に表示してもよい。

0103

また、例えば、本発明は、店員がオペレータとなって操作するキャッシュレジスタに限定されるものではなく、所謂「セルフレジ」と称される、顧客自らがオペレータとなって操作するキャッシュレジスタに適用してもよい。

0104

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、
オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、
前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出手段と、
前記物体検出手段で検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込み手段と、
前記絞り込み手段で、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導手段と、を備える
ことを特徴とする商品識別装置。
<請求項2>
請求項1に記載の商品識別装置において、
前記所定条件は、前記物体に対する類似度の閾値を規定しており、
前記絞り込み手段は、前記物体に対する類似度が前記閾値以下であるものの、前記物体に対する類似度が最も高い1つの取扱商品を、前記対象商品の候補として絞り込む
ことを特徴とする商品識別装置。
<請求項3>
請求項1又は請求項2に記載の商品識別装置において、
前記補助情報は、前記特徴部分を示す補助画像を含んでおり、
前記誘導手段は、前記撮像画像と前記補助画像とが合成された誘導画像を生成して、当該誘導画像を表示手段に表示することによって、前記誘導を行う
ことを特徴とする商品識別装置。
<請求項4>
請求項1乃至請求項3のいずれか一項に記載の商品識別装置において、
前記補助情報は、前記特徴部分を示すメッセージ情報を含んでおり、
前記誘導手段は、前記メッセージ情報を表示手段にテキスト表示することによって、前記誘導を行う
ことを特徴とする商品識別装置。
<請求項5>
請求項1乃至請求項4のいずれか一項に記載の商品識別装置において、
前記補助情報は、前記特徴部分を示すメッセージ情報を含んでおり、
前記誘導手段は、前記メッセージ情報に対応する音声を音声出力手段から出力することによって、前記誘導を行う
ことを特徴とする商品識別装置。
<請求項6>
請求項1乃至請求項5のいずれか一項に記載の商品識別装置において、
前記補助情報は、前記特徴部分を示す補助画像を含んでおり、
前記絞り込み手段は、前記誘導手段による誘導後に、前記物体検出手段で検出された前記物体を類似度の最も高い取扱商品の前記補助画像と比較して類似度を判断することによって、前記対象商品の候補を一意に絞り込む
ことを特徴とする商品識別装置。
<請求項7>
取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、を備える商品識別装置の制御手段が、前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出ステップと、
前記制御手段が、前記物体検出ステップで検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込みステップと、
前記制御手段が、前記絞り込みステップで、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導ステップと、を含む
ことを特徴とする商品認識ナビゲーション方法。

0105

1商品登録装置
2商品識別装置
21マイクロコンピュータ(制御手段)
211 CPU
212 ROM
213 RAM
22 表示・操作部
221ディスプレイ(表示手段)
222タッチパネル
27カメラ(撮影手段)
3POS端末
36 HDD(記憶手段)
361特徴量ファイル
90画像取得部
91物体検出部(物体検出手段)
92類似度演算部
93絞り込み部(絞り込み手段)
94誘導部(誘導手段)
95確定通知部
96 入力取得部
97情報出力部
99売上登録部
CP撮像画像
GP誘導画像
N0001F.jpg,N0002F.jpg基準画像
N0001B.jpg,N0002B.jpg抽出用画像
N0001SP.jpg,N0002SP.jpg補助画像
SP1,SP2 高特徴領域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ