図面 (/)

技術 商品登録装置、及び、当該商品登録装置の商品特定方法

出願人 カシオ計算機株式会社
発明者 榎本茂輝
出願日 2014年12月15日 (4年7ヶ月経過) 出願番号 2014-252815
公開日 2016年6月23日 (3年0ヶ月経過) 公開番号 2016-115113
状態 特許登録済
技術分野 金銭登録機・受付機 イメージ分析
主要キーワード サイン形状 荷受け面 カゴ形 各入出力回路 類似度判断 オブジェクト認識処理 基準画像情報 選択肢情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年6月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

オブジェクト認識の処理速度を向上させる。

解決手段

取扱商品毎に取扱商品に関する商品情報GIと取扱商品の外観を表す基準画像に関する基準画像情報SPとを関連付ける商品辞書D1が記憶された記憶部と、物体撮像画像を取得する撮像部と、撮像部で取得された撮像画像と商品辞書に登録された各取扱商品の基準画像との類似度を判断して、取引対象商品を特定する類似度判断部93と、類似度判断部で特定された対象商品の商品情報を売上情報D4に登録する登録部99と、取扱商品に係る指示情報を検知する指示検知部94と、を備え、類似度判断部は、指示検知部で指示情報が検知されたときに、指示情報に基づいて、取扱商品を絞り込み、撮像部で取得された撮像画像と、指示情報に基づいて絞り込まれた取扱商品の基準画像との類似度を判断して、対象商品を特定する。

概要

背景

従来、電子式キャッシュレジスタ商品登録装置)は、バーコード読み取り部によって商品に付与されたバーコードなどのデータコード読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことでキャッシュレジスタオペレータの負担を軽減することができる。

しかしながら、包装されていない商品、例えば青果品やぬいぐるみなどは、バーコードを個々に貼り付けることが極めて煩雑であり、時間とコストとが掛かる。そのため、従来は、青果品やぬいぐるみなどに対して、オペレータが商品コード金額キーボードで入力する、という運用がなされていた。

近年では、青果品やぬいぐるみなどをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている(例えば、特許文献1及び特許文献2参照)。この商品登録装置は、青果品やぬいぐるみなどを撮影した画像情報から外観の特徴量を抽出し、予め用意されたデータベース登録されている各取扱商品の特徴量と比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。

概要

オブジェクト認識の処理速度を向上させる。取扱商品毎に取扱商品に関する商品情報GIと取扱商品の外観を表す基準画像に関する基準画像情報SPとを関連付ける商品辞書D1が記憶された記憶部と、物体撮像画像を取得する撮像部と、撮像部で取得された撮像画像と商品辞書に登録された各取扱商品の基準画像との類似度を判断して、取引対象商品を特定する類似度判断部93と、類似度判断部で特定された対象商品の商品情報を売上情報D4に登録する登録部99と、取扱商品に係る指示情報を検知する指示検知部94と、を備え、類似度判断部は、指示検知部で指示情報が検知されたときに、指示情報に基づいて、取扱商品を絞り込み、撮像部で取得された撮像画像と、指示情報に基づいて絞り込まれた取扱商品の基準画像との類似度を判断して、対象商品を特定する。

目的

特開2013−182323号公報
特開2013−182457号公報






しかしながら、従来の商品登録装置は、以下に説明するように、オブジェクト認識の処理速度を向上させることが望まれている

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体撮像して、前記物体の撮像画像を取得する撮像部と、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断部と、前記類似度判断部で特定された前記対象商品の前記商品情報を、商品売上情報に登録する登録部と、前記取扱商品に係る指示情報を検知する指示検知部と、を備え、前記類似度判断部は、前記指示検知部で前記指示情報が検知されたときに、前記指示情報に基づいて、前記取扱商品を絞り込み、前記撮像部で取得された前記撮像画像と、前記指示情報に基づいて絞り込まれた前記取扱商品の前記基準画像との類似度を判断して、前記対象商品を特定することを特徴とする商品登録装置

請求項2

請求項1に記載の商品登録装置において、前記類似度判断部は、前記指示検知部で前記指示情報が検知されたときに、類似度の判断に用いる閾値下げて、前記対象商品を特定することを特徴とする商品登録装置。

請求項3

請求項1又は請求項2に記載の商品登録装置において、前記記憶部には、前記売上情報に登録された前記対象商品である仮登録商品に関する仮登録商品情報が記憶されており、前記指示検知部で検知された前記指示情報が前記仮登録商品の追加登録を指定しているときに、前記類似度判断部は、前記仮登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する仮登録商品を特定し、前記登録部は、前記類似度判断部で特定された前記仮登録商品の前記商品情報を、前記売上情報に追加登録することを特徴とする商品登録装置。

請求項4

請求項1乃至請求項3のいずれか一項に記載の商品登録装置において、前記記憶部には、前記売上情報に登録された前記対象商品である仮登録商品に関する仮登録商品情報が記憶されており、前記指示検知部で検知された前記指示情報が前記仮登録商品のキャンセルを指定しているときに、前記類似度判断部は、前記仮登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する仮登録商品を特定し、前記登録部は、前記類似度判断部で特定された前記仮登録商品の前記商品情報を、前記売上情報から取り消すことを特徴とする商品登録装置。

請求項5

請求項1乃至請求項4のいずれか一項に記載の商品登録装置において、前記記憶部には、特定処理の対象となる取扱商品が事前に登録された事前登録商品情報が記憶されており、前記指示検知部で検知された前記指示情報が特定処理を指定しているときに、前記類似度判断部は、前記事前登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する取扱商品を特定し、前記登録部は、前記類似度判断部で特定された前記取扱商品の前記商品情報を、前記売上情報に登録することを特徴とする商品登録装置。

請求項6

請求項1乃至請求項5のいずれか一項に記載の商品登録装置において、前記指示情報は、前記撮像画像の中に写っているオペレータジェスチャー又は手の形状に応じて予め規定された内容の情報であり、前記記憶部には、前記指示情報を規定する規定情報が予め記憶されていることを特徴とする商品登録装置。

請求項7

請求項1乃至請求項5のいずれか一項に記載の商品登録装置において、前記指示情報は、オペレータによって音声入力部から入力される音声の内容に応じて予め規定された内容の情報であり、前記記憶部には、前記指示情報を規定する規定情報が予め記憶されていることを特徴とする商品登録装置。

請求項8

請求項1乃至請求項5のいずれか一項に記載の商品登録装置において、前記指示情報は、オペレータによってキー入力部から入力されるキー情報に応じて予め規定された内容の情報であり、前記記憶部には、前記指示情報を規定する規定情報が予め記憶されていることを特徴とする商品登録装置。

請求項9

取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置が、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断ステップと、前記商品登録装置が、前記類似度判断ステップで特定された前記対象商品の前記商品情報を、商品の売上を表す売上情報に登録する登録ステップと、前記商品登録装置が、前記取扱商品に係る指示情報を検知する指示検知ステップと、を含んでおり、前記指示検知ステップで前記指示情報が検知されたときに、前記商品登録装置は、前記類似度判断ステップで、前記指示情報に基づいて前記取扱商品を絞り込み、前記撮像部で取得された前記撮像画像と、前記指示情報に基づいて絞り込まれた前記取扱商品の前記基準画像との類似度を判断して、前記対象商品を特定することを特徴とする商品登録装置の商品特定方法

技術分野

0001

本発明は、商品売上登録する商品登録装置、及び、当該商品登録装置の商品特定方法に関する。

背景技術

0002

従来、電子式キャッシュレジスタ(商品登録装置)は、バーコード読み取り部によって商品に付与されたバーコードなどのデータコード読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことでキャッシュレジスタオペレータの負担を軽減することができる。

0003

しかしながら、包装されていない商品、例えば青果品やぬいぐるみなどは、バーコードを個々に貼り付けることが極めて煩雑であり、時間とコストとが掛かる。そのため、従来は、青果品やぬいぐるみなどに対して、オペレータが商品コード金額キーボードで入力する、という運用がなされていた。

0004

近年では、青果品やぬいぐるみなどをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている(例えば、特許文献1及び特許文献2参照)。この商品登録装置は、青果品やぬいぐるみなどを撮影した画像情報から外観の特徴量を抽出し、予め用意されたデータベース登録されている各取扱商品の特徴量と比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。

先行技術

0005

特開2013−182323号公報
特開2013−182457号公報

発明が解決しようとする課題

0006

しかしながら、従来の商品登録装置は、以下に説明するように、オブジェクト認識の処理速度を向上させることが望まれている、という課題があった。

0007

例えば、顧客は、スーパーマーケットで商品を購入する場合に、買物カゴなどに商品を入れた後、買物カゴをキャッシュレジスタに持って行き、買物カゴをキャッシュレジスタのオペレータに渡して、商品代金精算依頼する。

0008

このとき、キャッシュレジスタのオペレータは、この顧客が持ってきた買物カゴ(以下、「第1の買物カゴ」という)に入っている各商品を順番に商品登録装置に読み込ませることによって、その商品の商品情報売上情報に仮登録させ、その商品を別の買物カゴ(以下、「第2の買物カゴ」という)に入れる、という動作を繰り返すことによって、第1の買物カゴに入っている各商品を売上登録する。

0009

その際に、オペレータは、複数個の同じ商品が第1の買物カゴに入っているにもかかわらず、そのことに気付かずに別の商品を商品登録装置に読み込ませてしまい、その後に、以前に読み込ませた商品と同じ商品を見つけて、その商品の追加登録処理を行うときがある。

0010

このとき、従来の商品登録装置は、全ての取扱商品を対象にして商品検索を行うため、オブジェクト認識に時間を要する傾向にあった。したがって、従来の商品登録装置は、オブジェクト認識の処理速度を向上させることが望まれていた。

0011

この点について、本発明の発明者は、例えば、直近の処理でオブジェクト認識が行われた取扱商品や特定処理の対象となる取扱商品などのように、オブジェクト認識を行う対象を限定することができる限定可能商品については、全ての取扱商品を検索対象とする商品検索を行わずに、限定可能商品を検索対象とする商品検索を行うようにすれば、オブジェクト認識に要する時間を短縮することができ、もって、オブジェクト認識の処理速度を向上させることができる、と考えた。

0012

本発明は、前記した課題を解決するためになされたものであり、オブジェクト認識の処理速度を向上させる商品登録装置、及び、当該商品登録装置の商品特定方法を提供することを主な目的とする。

課題を解決するための手段

0013

第1の発明は、前記した課題を解決するため、
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、
物体撮像して、前記物体の撮像画像を取得する撮像部と、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断部と、
前記類似度判断部で特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録部と、
前記取扱商品に係る指示情報を検知する指示検知部と、を備え、
前記類似度判断部は、前記指示検知部で前記指示情報が検知されたときに、前記指示情報に基づいて、前記取扱商品を絞り込み、前記撮像部で取得された前記撮像画像と、前記指示情報に基づいて絞り込まれた前記取扱商品の前記基準画像との類似度を判断して、前記対象商品を特定する
ことを特徴とする商品登録装置である。

0014

第2の発明は、
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置が、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断ステップと、
前記商品登録装置が、前記類似度判断ステップで特定された前記対象商品の前記商品情報を、商品の売上を表す売上情報に登録する登録ステップと、
前記商品登録装置が、前記取扱商品に係る指示情報を検知する指示検知ステップと、を含んでおり、
前記指示検知ステップで前記指示情報が検知されたときに、前記商品登録装置は、前記類似度判断ステップで、前記指示情報に基づいて前記取扱商品を絞り込み、前記撮像部で取得された前記撮像画像と、前記指示情報に基づいて絞り込まれた前記取扱商品の前記基準画像との類似度を判断して、前記対象商品を特定する
ことを特徴とする商品登録装置の商品特定方法である。

発明の効果

0015

本発明によれば、オブジェクト認識の処理速度を向上させることができる。

図面の簡単な説明

0016

実施形態に係る商品登録装置の外観を示す斜視図である。
実施形態に係る商品登録装置の一部を構成する商品識別装置の正面図である。
実施形態に係る商品登録装置の概略を示す構成図である。
実施形態に係る商品登録装置の概略を示す機能ブロック図である。
実施形態で用いる商品辞書に登録された商品情報の一例を示す図である。
実施形態で用いる商品辞書に登録された基準画像情報の一例を示す図である。
実施形態で用いる限定可能商品情報の一例を示す図である。
実施形態で用いる規定情報の一例を示す図である。
実施形態で用いる売上情報の一例を示す図である。
実施形態に係る商品登録装置の動作を示すフローチャート(1)である。
実施形態に係る商品登録装置の動作を示すフローチャート(2)である。
実施形態に係る商品登録装置の動作を示すフローチャート(3)である。
実施形態に係る商品登録装置の動作を示すフローチャート(4)である。
実施形態に係る商品登録装置の動作を示すフローチャート(5)である。

実施例

0017

以下、図面を参照して、本発明の実施の形態(以下、「本実施形態」と称する)につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

0018

[実施形態]
<商品登録装置の構成>
以下、図1を参照して、本実施形態に係る商品登録装置の全体構成につき説明する。図1は、実施形態に係る商品登録装置1の外観を示す斜視図である。
図1に示すように、商品登録装置1は、各商品を登録する商品識別装置2と、各取引に係る商品の売上登録と精算とを行うPOS端末3とを備える。
商品識別装置2は、商品に関する情報を読み取って登録するPOS接続用スキャナである。商品識別装置2は、横長テーブル状カウンタ台5の長手方向の中央に設置されている。商品識別装置2は、薄型長方体状のハウジング51を備える。このハウジング51の正面には、読取窓52を介してカメラ(撮像部)27(図2参照)が配置されている。

0019

ハウジング51の上部には、表示・操作部22が取り付けられている。表示・操作部22には、ディスプレイ221が設けられている。このディスプレイ221の表面には、タッチパネル222(図3参照)が積層されている。ディスプレイ221の右隣には、キーボード23が配置されている。キーボード23の右隣には、不図示のカードリーダカード読取溝が設けられている。表示・操作部22の左奥側には、顧客に情報を提供するための顧客用ディスプレイ24が裏向きに設置されている。

0020

POS端末3は、チェックアウト台6上のドロワ37の上面に載置されている。このドロワ37は、現金収納部であり、POS端末3によって開放動作の制御を受ける。
POS端末3の上面には、オペレータ(店員)が操作するためのキーボード33が配置されている。このオペレータから見てキーボード33の上部奥側には、情報を表示するディスプレイ321が設けられている。このディスプレイ321の表面には、タッチパネル322(図3参照)が積層されている。ディスプレイ321よりもさらに奥側には、情報を表示する顧客用ディスプレイ34が左右方向に回転可能に設置されている。なお、図1に示す顧客用ディスプレイ34は、図の手前側に向いている。この顧客用ディスプレイ34は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。

0021

POS端末3が載置されているチェックアウト台6とL字を形成するようにして、横長テーブル状のカウンタ台5が配置されている。カウンタ台5の上面には、荷受け面が形成されている。顧客は、図1の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台5の荷受け面には、商品を収納する第1の買物カゴ4Lと、第2の買物カゴ4Rとが載置される。以下、第1の買物カゴ4Lと、第2の買物カゴ4Rとを特に区別しないときには、単に買物カゴ4と記載する場合がある。これら買物カゴ4は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ4は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。
第1の買物カゴ4Lは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第2の買物カゴ4Rは、第1の買物カゴ4Lから商品識別装置2を挟んだ位置に載置される。第1の買物カゴ4L内の商品は、商品識別装置2を操作するオペレータにより取り出され、第2の買物カゴ4Rに移動される。この移動過程で、商品が商品識別装置2の読取窓52にかざされる。このとき、読取窓52内に配置されたカメラ27(図2参照)は商品を撮像する。

0022

図2は、商品識別装置2の正面図である。
図2に示すように、商品識別装置2は、カウンタ台5に設置されている。商品識別装置2は、薄型の長方体状のハウジング51と、このハウジング51の上部に取り付けられた表示・操作部22と、表示・操作部22の左奥側に裏向きに設置された顧客用ディスプレイ24とを含んで構成される。
このハウジング51の正面には、読取窓52が設けられる。
読取窓52には、照明271とカメラ27(撮像部)とが配置される。

0023

商品識別装置2では、カメラ27により撮像された撮像画像に含まれる物体(商品)が、後記する商品辞書D1(図3参照)に記録されたどの商品(取扱商品)に対応するかを指定させるための画面をディスプレイ221に表示する。商品識別装置2は、更に、指定された商品の商品IDをPOS端末3に通知する。POS端末3は、商品識別装置2から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価などの売上登録に係る商品情報を、売上情報D4(図3参照)などに記録して、売上登録を行う。

0024

以下、図3を参照して、商品登録装置1の内部構成につき説明する。図3は、商品登録装置1の概略を示す構成図である。
図3に示すように、商品登録装置1は、商品識別装置2とPOS端末3とを含んで構成される。
商品識別装置2は、マイクロコンピュータ21と、表示・操作部22と、インタフェース25と、カメラ27と、スピーカ28と、電源29とを含んで構成される。
マイクロコンピュータ21は、CPU(Central Processing Unit)211にROM(Read Only Memory)212とRAM(Random Access Memory)213とがバス接続されて構成されている。ROM212には、CPU211によって実行されるプログラムが記憶される。
CPU211には、表示・操作部22と、インタフェース25と、カメラ27、スピーカ28とが、内部バス各入出力回路(不図示)を介して接続される。

0025

表示・操作部22は、ディスプレイ221と、タッチパネル222と、顧客用ディスプレイ24と、キーボード23とを含んで構成され、CPU211によって動作が制御される。
ディスプレイ221は、CPU211の指示により、オペレータに対する情報を表示する。タッチパネル222は、ディスプレイ221により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ24は、CPU211の指示により、顧客に対する情報を表示する。
キーボード23は、複数の操作キーで構成され、オペレータの操作入力受け付ける。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。

0026

カメラ27は、カラーCCDイメージセンサやカラーCMOSイメージセンサなどを備える撮像部である。カメラ27は、CPU211の制御の下で、読取窓52(図1参照)にかざされた物体(商品)の撮像を行う。カメラ27は、例えば30[fps]の動画像の撮像を行う。カメラ27が所定のフレームレートで順次撮像した撮像画像(フレーム画像)は、RAM213に保存される。

0027

スピーカ28は、予め設定された警告音などを発生する音声出力部である。スピーカ28は、CPU211の制御の下で警告音や音声による報知を行う。
電源29は、この商品識別装置2の各部に電力を供給する。

0028

インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。

0029

POS端末3は、マイクロコンピュータ31と、ディスプレイ321と、タッチパネル322と、キーボード33と、顧客用ディスプレイ34と、インタフェース35と、HDD36と、ドロワ37と、プリンタ38と、電源39とを含んで構成される。
マイクロコンピュータ31は、情報処理を実行する。このマイクロコンピュータ31は、各種演算処理を実行し各部を制御するCPU311に、ROM312とRAM313とがバス接続されて構成される。CPU311には、ドロワ37と、キーボード33と、ディスプレイ321と、タッチパネル322と、顧客用ディスプレイ34と、HDD36(Hard Disk Drive)とが、内部バスや各入出力回路を介して接続されている。これらは、CPU311による制御を受ける。

0030

ディスプレイ321は、CPU311の指示により、オペレータに対する情報を表示する。タッチパネル322は、ディスプレイ321により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ34は、CPU311の指示により、顧客に対する情報を表示する。
キーボード33は、仮締めキー331と、締めキー332と、テンキー333とを含んで構成され、オペレータの操作入力を受け付ける。テンキー333は、0から9までの数字キーと各種演算子キーとで構成される。

0031

HDD36には、プログラムや各種ファイルが記憶されている。HDD36に記憶されているプログラムや各種ファイルは、POS端末3の起動時に、その全部または一部がRAM313にコピーされてCPU311により実行される。HDD36には、例えば、商品販売データ処理用のプログラムや、商品辞書D1、限定可能商品情報D2、規定情報D3、売上情報D4などが記録される。

0032

商品辞書D1は、店舗陳列して販売する取扱商品の辞書として機能する情報である。商品辞書D1は、取扱商品毎に、取扱商品に関する商品情報GI図4及び図5参照)と、取扱商品の外観を表す基準画像に関する基準画像情報SP(図4及び図6参照)とを関連付けている。なお、「基準画像」は、商品検索時に類似度判断の基準として用いる画像である。商品情報GI及び基準画像情報SPの具体例については、後記する。
限定可能商品情報D2は、取扱商品の一部である限定可能商品に関する情報である。ここで、「限定可能商品」とは、例えば、直近の処理でオブジェクト認識が行われた取扱商品や特定処理の対象となる取扱商品などのように、オブジェクト認識を行う対象を限定することができる取扱商品を意味している。本実施形態では、仮登録商品情報D2a(図7(a)参照)及び事前登録商品情報D2b(図7(b)参照)を限定可能商品情報D2として用いる場合を想定して説明する。仮登録商品情報D2a及び事前登録商品情報D2bの具体例については、後記する。
規定情報D3は、所定処理の実行を指示する指示情報を規定する情報である。規定情報D3の具体例については、後記する。
売上情報D4は、商品の売上を表す情報である。売上情報D4の具体例については、後記する。

0033

インタフェース35は、商品識別装置2に接続され、商品識別装置2との間でデータ送受信を可能とする。
プリンタ38は、レシートなどに印宇を行う。POS端末3は、CPU311の制御の下で、各取引の取引内容をレシートに印字する。
電源39は、このPOS端末3の各部に電力を供給する。

0034

以下、図4を参照して、実施形態に係る商品登録装置1の機能ブロック構成につき説明する。図4は、商品登録装置1の概略を示す機能ブロック図である。以下の説明では、適宜図1図3とを参照する。
図4に示すように、商品識別装置2のCPU211(図3参照)は、ROM212(図3参照)に格納されるプログラムを実行することにより、画像取得部90と、物体検出部91、類似度演算部92、類似度判断部93、指示検知部94、確定通知部95、入力取得部96、情報出力部97の各部を具現化する。また、同様に、POS端末3のCPU311(図3参照)は、HDD36(図3参照)に格納されるプログラムを実行することにより、売上登録部99を具現化する。POS端末3のHDD36(図3参照)には、更に、前記した商品辞書D1や、限定可能商品情報D2、規定情報D3、売上情報D4などが格納される。

0035

画像取得部90は、カメラ27に撮像オン信号を出力して、このカメラ27に撮像動作を開始させる。更に、画像取得部90は、カメラ27が撮像してRAM213に保存された撮像画像(フレーム画像)を順次取り込む。画像取得部90による撮像画像の取り込みは、RAM213(図3参照)に保存された順に行われる。

0036

物体検出部91は、画像取得部90によって取り込まれた撮像画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓52に向けると、画像取得部90は、カメラ27によって、この商品を撮像して撮像画像を取得する。物体検出部91は、取り込まれた撮像画像を二値化して輪郭線を抽出する。次いで物体検出部91は、前回の撮像画像から抽出された輪郭線と、今回の撮像画像から抽出された輪郭線とを比較して、この商品である物体を検出する。

0037

別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓52に向けると、画像取得部90は、カメラ27によって、この商品及び手の画像を撮影する。物体検出部91は、取り込まれた撮像画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部91は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部91は、手の形状を示す輪郭更検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。

0038

類似度演算部92は、カメラ27が撮像した物体(商品)の撮像画像から、この物体(商品)の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。このとき、類似度演算部92は、この物体(商品)の輪郭や大きさは考慮しない。これにより類似度演算部92は、処理時間を短縮することができる。
類似度演算部92は、更に、商品辞書D1の基準画像情報SPに記録された各取扱商品の基準画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮像画像に含まれている物体(商品)の特徴量と基準画像に含まれている各取扱商品の特徴量とをそれぞれ比較することで、撮像した物体(商品)と商品辞書D1に記録された取扱商品との類似度を算出する。ここで類似度とは、商品辞書D1に記録されている各取扱商品が想定する基準画像を100%の類似度とした場合に、物体(商品)の全部または一部の画像が取扱商品の基準画像とどの程度まで類似しているかを示すものである。なお、類似度演算部92は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。

0039

このように、撮像画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット評価ベンチマークを行い、更にその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1−24頁,[平成26年9月8日検索],インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ−TCVIM−Yanai.pdf>

0040

また、撮像画像をオブジェクト毎領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottenら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008.CVPR 2008.IEEE Conference on,[平成26年9月8日検索],インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/down1oad?doi=10.1.1.145.3036&rep=rep1&type=pdf>

0041

なお、撮像された物体(商品)の撮像画像と、商品辞書D1に記録された取扱商品の基準画像との類似度の算出方法は、特に問わないものとする。例えば、撮像された物体(商品)の撮像画像と、商品辞書D1に記録された各取扱商品の基準画像との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

0042

類似度を絶対評価として算出する場合は、撮像された物体(商品)の撮像画像と、商品辞書D1に記録された各取扱商品の基準画像とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合は、各取扱商品に対する類似度の総和が1.0(100%)となるように算出する。例えば、商品辞書D1に4つの取扱商品#1〜#4が記録されていたとする。このとき撮像された物体(商品)は、例えば、取扱商品#1に対する類似度が0.65、取扱商品#2に対する類似度が0.2、取扱商品#3に対する類似度が0.1、取扱商品#4に対する類似度が0.05などのように算出する。

0043

類似度判断部93は、画像取得部90が取り込んだ撮像画像毎に、物体(商品)の撮像画像と、商品辞書D1に記録されている各取扱商品の基準画像との類似度を比較することによって、取引の対象となる対象商品を検索して、撮像画像上の物体(商品)に該当する対象商品を特定する。

0044

本実施形態では、取扱商品の基準画像と、物体(商品)の撮像画像との類似度は、複数の条件が設けられている。類似度判断部93は、これら満たされる条件に応じて取扱商品の確定あるいは商品の候補を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件X,Y,Zを用いる場合について説明する。

0045

ここで、条件X及び条件Yは、撮像画像上の物体を、商品辞書D1に記録された取扱商品のうちの一つとして確定するための条件である。また、条件Zは、撮像画像上の物体から、商品辞書D1に記録された取扱商品の候補を抽出するための条件である。

0046

類似度判断部93は、例えば、条件Xまたは/及び条件Yを満たす取扱商品を、撮像画像上の物体に1対1で対応する商品であると判定する。また、類似度判断部93は、条件Zを満たす取扱商品を、取引の対象商品として確定した確定商品ではなく、カメラ27が撮像した商品の候補であると判定する。そして、類似度判断部93は、商品辞書D1に記録された複数の取扱商品から条件Zを満たす取扱商品を抽出することにより、撮像した物体に該当する商品の候補を抽出する。

0047

条件X〜Zは、類似度に応じて段階的に設定されれば、その詳細が特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件X〜Zを設けることができる。ここでは、閾値Tx〜Tzによって条件X〜Zを設定する場合について説明する。なお、閾値Tx〜Tzは、順に小さくなるものとする。

0048

類似度判断部93は、取扱商品に対する類似度が予め定められた閾値Tx以上となった回数カウントし、この回数が所定回数以上となった場合に条件Xが満たされたと判定する。

0049

また、類似度判断部93は、取扱商品に対する類似度が閾値Tx未満、かつ、閾値Ty以上となった場合に、条件Yが満たされたと判定する。そして、条件Yを満たした取扱商品は、取引の対象商品として確定した確定商品ではあるが、オペレータによる確認操作を要すると判定する。
更に、類似度判断部93は、取扱商品に対する類似度が閾値Ty未満、かつ、閾値Tz以上である場合に、条件Zが満たされたと判定する。

0050

なお、各条件X〜Zは、類似度の大きさなどに応じて適宜設定可能であり、前記した例に限定されるものではない。

0051

指示検知部94は、所定処理の実行を指示する指示情報の入力を検知する。
具体的には、例えば、オペレータが規定情報D3(図8参照)に指示情報として登録されている所定の手の形状やジェスチャーなどが含まれている撮像画像をカメラ27に撮像させる。すると、指示検知部94は、規定情報D3(図8参照)に基づいて、撮像画像から指示情報の入力を検知し、入力された指示情報に対応付けられた処理内容を特定する。そして、指示検知部94は、特定された処理内容の実行を所定の各部(例えば、類似度判断部93や売上登録部94など)に指示する。

0052

確定通知部95は、カメラ27によって撮像された物体(商品)が、条件Xまたは/及び条件Yを満たした取扱商品であり、取引の対象商品として一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。

0053

より詳細には、確定通知部95は、条件Xを満たす取引の対象商品が、カメラ27によって撮像された物体(商品)として抽出された場合に、取引の対象商品が確定商品として一意的に確定されたことを示す確定画面をディスプレイ221に表示させるとともに、確定商品に関する情報をスピーカ28に出力する。スピーカ28は、入力された情報を音声で出力することにより、確定商品を示す情報をオペレータや客に報知する。

0054

また、確定通知部95は、条件Yを満たす取引の対象商品が、カメラ27によって撮像された物体(商品)として抽出された場合に、抽出された取引の対象商品が確定商品であるか否かの最終確認操作を受け付ける確認画面をディスプレイ221に表示する。

0055

なお、確定通知部95は、確認画面が表示されるタイミングに合わせて、確定商品に関する情報をスピーカ28に音声を出力する。

0056

なお、商品登録装置1は、条件Zを満たす取引の対象商品がある場合に、その対象商品に関する情報を、商品候補としてディスプレイ221に表示させる。より詳細には、商品登録装置1は、条件Zを満たす取引の対象商品の写真画像及び商品名を商品辞書D1から抽出して、写真画像及び商品名を類似度の高いものから順にディスプレイ221に表示する。

0057

このとき、商品登録装置1は、ディスプレイ221に商品候補の写真画像が表示されていても、これら商品候補に対する選択操作を受け付けない場合には、画像取得部90による撮像画像の取得処理と、物体検出部91による物体の検出処理と、類似度演算部92による類似度の演算処理とを継続する。

0058

入力取得部96は、タッチパネル222またはキーボード23を介してディスプレイ221の表示に対応する各種入力操作を受け付ける。例えば入力取得部96は、表示された写真画像に係る取引の対象商品が確定商品であることを最終確認した旨の入力操作(確認操作)を受け付ける。確定通知部95は、入力取得部96が確認操作を受け付けた場合に確定画面をディスプレイ221に表示する。

0059

入力取得部96は、ディスプレイ221に表示された商品候補の写真画像の中からいずれか1つの写真画像に対する選択操作を受け付ける。入力取得部96は、選択された写真画像の取扱商品を、確定商品であるとして受け付ける。なお、物体検出部91が複数の物体(商品)を検出可能である場合には、入力取得部96は、各物体に対応する商品候補の中から、確定商品の選択操作を受け付けてもよい。確定通知部95は、入力取得部96が選択操作を受け付けた場合に、受け付けた商品候補を確定商品として表示させた確定画面をディスプレイ221に表示させる。

0060

情報出力部97は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名や特定処理内容などの情報など)を、インタフェース25を介してPOS端末3に出力する。

0061

なお、情報出力部97は、タッチパネル222またはキーボード23を介して別途入力された販売個数を、商品IDなどと共にPOS端末3に出力してもよい。また、情報出力部97がPOS端末3に出力する情報としては、情報出力部97が商品辞書D1から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、または、基準画像、写真画像のファイル名をPOS端末3に通知してもよい。

0062

POS端末3の売上登録部99は、情報出力部97から出力された商品IDと販売個数とに基づいて、取引の対象商品の売上登録を行う。具体的にいうと、売上登録部99は、商品辞書D1を参照して、通知された商品IDと、これに対応する商品名や、単価などとともに、販売個数を売上情報D4(図3参照)などに記録して、取引の対象商品の売上登録(仮登録)を行う。

0063

<商品登録装置で用いられる主な情報の概要
以下、図5図9を参照して、本実施形態で用いる主な情報の概要につき説明する。ただし、各図に示す情報は、一例に過ぎず、運用に応じて適宜変更することができる。

0064

図5は、商品辞書D1(図4参照)に登録された商品情報GIの一例を示す図である。図5に示す例では、商品情報GIは、取扱商品毎に、商品IDや、商品名、単価、在庫数などの情報を含む構成になっている。商品IDは、取扱商品毎に一意に設定されている。類似度演算部92や類似度判断部93などは、商品IDを参照することで、その商品IDに対応する取扱商品の商品情報GIや基準画像情報SPなどを商品辞書D1から読み出すことができる。

0065

図6は、商品辞書D1(図4参照)に登録された基準画像情報SPの一例を示す図である。図6(a)〜図6(f)に示す基準画像情報SPには、それぞれ、商品ID(図5参照)が「N001」となっているウサギのぬいぐるみの正面、背面、上面、下面、右面、左面側の基準画像SPN001F,SPN001B,SPN001T,SPN001U,SPN001R,SPN001Lが記録されている。

0066

図7は、限定可能商品情報D2の一例を示す図である。図7(a)は、限定可能商品情報D2の一形態である仮登録商品情報D2aの一例を示している。また、図7(b)は、限定可能商品情報D2の一形態である事前登録商品情報D2bの一例を示している。

0067

仮登録商品情報D2aは、売上情報D4に仮登録されている仮登録物品(仮登録商品)に関する情報である。仮登録物品(仮登録商品)は、顧客によってキャッシュレジスタに持って来られ、直近の処理でオブジェクト認識が行われて、第1の買物カゴ4L(図1参照)から第2の買物カゴ4R(図1参照)に移された物品(商品)である。図7(a)に示す例では、仮登録商品情報D2aは、仮登録物品(仮登録商品)の商品IDや、商品名などの情報を含む構成になっている。

0068

仮登録商品情報D2aは、以下のようにして、更新される。
例えば、商品登録装置1は、仮登録物品(仮登録商品)の商品情報GI(又は、その一部)が売上情報D4に仮登録される度に、その仮登録物品(仮登録商品)の商品情報GI(又は、その一部)を仮登録商品情報D2aに登録する。そして、商品登録装置1は、取引が終了したとき(すなわち、顧客が商品の代金をオペレータに支払ったとき)に、それまでの取引に係る仮登録商品情報D2aを消去して、次の取引に係る仮登録商品情報D2aを生成する。

0069

事前登録商品情報D2bは、特定処理の対象となる取扱商品が事前に登録された情報である。ここで、「事前」とは、物体(商品)のオブジェクト認識が行われる前を意味している。以下、「特定処理の対象となる取扱商品」を「事前登録商品」という。「事前登録商品」としては、例えば、特別なキャンペーンの対象になっているキャンペーン商品や、チラシ掲載された特売商品タイムセールの対象になっている特売商品、1人当たりの販売数を限定している販売数限定商品などがある。図7(b)に示す例では、事前登録商品情報D2bは、事前登録商品の商品IDや、商品名、単価、値引き率値引き後価格種目、期間、特定処理内容などの情報を含む構成になっている。なお、「種目」情報は、キャンペーン商品や特売商品、販売数限定商品等のように、事前登録商品情報D2bに登録された登録理由の種目を表している。また、「期間」情報は、特定処理を行う期間を表している。また、「特定処理内容」情報は、特定処理に該当する処理内容(例えば、事前登録商品が一部のキャンペーン商品や特売商品などの値引き処理を行う商品である場合に、値引き処理を行ったり、事前登録商品が販売数限定商品である場合で、販売数をカウントして、カウント数が予め設定された限定数超過したときに、オペレータに通知を行ったりするなど)を表している。

0070

事前登録商品情報D2bは、以下のようにして、更新される。
例えば、店舗の店員は、キャンペーン商品や特売商品、販売数限定商品などの事前登録商品がある場合に、任意のタイミングで図示せぬコンピュータや図示せぬ携帯型POS端末を操作して事前登録商品に関する情報(例えば、商品IDや値引き率、期間、特定処理内容などの情報)を図示せぬコンピュータに登録する。なお、「特定処理内容」は、好ましくは、事前に、複数の選択肢情報コード化されて図示せぬコンピュータに登録されており、その中から選択される構成になっているとよい。図示せぬコンピュータは、登録された事前登録商品の商品IDに基づいて、図示せぬデータベースから事前登録商品の商品情報GIを取得し、取得された商品情報GI(又は、その一部)を有線又は無線で各商品登録装置1に配信する。このとき、図示せぬコンピュータは、好ましくは、値引き率に基づいて値引き後価格を算出し、算出された値引き後価格を表す情報を商品情報GIに組み込み、その商品情報GIを各商品登録装置1に配信するとよい。商品登録装置1は、商品情報GI(又は、その一部)が配信される度に、配信された商品情報GI(又は、その一部)を事前登録商品情報D2bに登録する。また、図示せぬコンピュータは、登録されている期間を過ぎた事前登録商品が発生した場合に、任意のタイミングでその商品に該当する商品情報GIの消去を各商品登録装置1に指示する。これに応答して、各商品登録装置1は、該当する商品情報GIを事前登録商品情報D2bから消去する。なお、商品登録装置1は、事前登録商品情報D2bに登録されている「期間」情報に基づいて、自発的に、任意のタイミングで該当する商品情報GIを事前登録商品情報D2bから消去するようにしてもよい。

0071

図8は、規定情報D3の一例を示す図である。図8に示す例では、規定情報D3は、指示情報(入力情報)や、処理内容、参照情報などの情報を含む構成になっている。「指示情報(入力情報)」は、例えば、所定の手の形状やジェスチャーなどのオペレータによって入力される情報を表している。また、「処理内容」は、商品登録装置1に実行させる処理内容を示している。例えば、図8に示す規定情報D3には、「(指の)Vサイン形状」や、「手の左右移動ジェスチャー」、「親指を横向きにした握り手形状」などの手の形状やジェスチャーなどの入力情報が指示情報として登録されており、これらの入力情報に対応して、「追加登録」や、「キャンセル」、「特定処理」などの処理が処理内容として登録されている。また、「参照情報」は、指示情報が入力されたときに、参照する情報(ここでは、仮登録商品情報D2aや事前登録商品情報D2bなどの限定可能商品情報D2(図7参照))を表している。ただし、規定情報D3の内容は、運用に応じて適宜変更することができる。

0072

ここで、「追加登録」処理とは、売上情報D4に仮登録されている仮登録商品と同じ商品の商品情報GI(又は、その一部)を売上情報D4に追加して登録する処理を意味している。また、「キャンセル」処理とは、売上情報D4に仮登録されている仮登録商品の商品情報GI(又は、その一部)を売上情報D4から取り消す処理を意味している。また、「特定」処理とは、各事前登録商品に対応して予め設定された動作を実行する処理(例えば、事前登録商品情報D2b(図7(b)参照)に登録された特定処理内容に該当する処理)を意味している。例えば、図7(b)に示す例では、事前登録商品が一部のキャンペーン商品や特売商品である場合に、特定処理は、対象商品の価格として値引き後価格を適用して仮登録する処理となる。また、事前登録商品が販売数限定商品である場合に、特定処理は、販売数をカウントして、カウント数が予め設定された限定数を超過したときに、オペレータに通知を行う処理となる。

0073

なお、本実施形態では、規定情報D3には、所定の手の形状やジェスチャーなどの情報が指示情報として登録されている場合を想定して説明する。しかしながら、規定情報D3には、所定の手の形状やジェスチャーなどの情報の代わりに(又は、所定の手の形状やジェスチャーなどの情報に追加して)、タッチパネル222(図3参照)やキーボード23(図3参照)から入力される特定のキー入力情報や、図示せぬマイクから入力される特定の音声入力情報などの情報が指示情報として登録されるようにしてもよい。この場合に、指示検知部94は、キー入力情報や音声入力情報などの指示情報がオペレータによって入力されると、規定情報D3(図8参照)に基づいて、その入力を検知し、入力された指示情報に対応付けられた処理内容を特定する。そして、指示検知部94は、特定された処理内容の実行を所定の各部(例えば、類似度判断部93や売上登録部94など)に指示する。

0074

図9は、売上情報D4の一例を示す図である。図9に示す例では、売上情報D4は、日時や、レジ番号、商品ID、商品名、単価、個数小計未確定/確定、合計などの情報を含む構成になっている。なお、「未確定/確定」情報は、売上情報が未確定状態であるか、または、確定状態であるかを表している。「未確定/確定」情報は、売上情報が清算処理前の仮登録された状態である場合に未確定状態になり、売上情報が清算処理後の本登録された状態である場合に確定状態になる。

0075

<商品登録装置の動作>
本実施形態に係る商品登録装置1は、指示検知部94で規定情報D3(図8参照)に規定された指示情報が検知されたときに、類似度判断部93が、指示情報に基づいて、取扱商品を絞り込み、カメラ27で取得された撮像画像と、指示情報に基づいて絞り込まれた取扱商品の基準画像との類似度を判断して、対象商品を特定することを特徴としている。つまり、商品登録装置1は、商品登録処理を行う際に、オブジェクト認識を行う対象を限定することができる限定可能商品については、商品辞書D1の商品情報GIに基づく商品検索(すなわち、全ての取扱商品を検索対象とする商品検索)を行わずに、限定可能商品情報D2に基づく商品検索(すなわち、限定可能商品を検索対象とする商品検索)を行うことを特徴としている。

0076

以下、図4図10A図10B、及び、図11A図11Cを参照して、商品登録装置1の動作につき説明する。図10A図10B、及び、図11A図11Cは、それぞれ、商品登録装置1の動作を示すフローチャートである。ここでは、オペレータが所定の手の形状やジェスチャーなどが含まれている撮像画像をカメラ27に撮像させることによって指示情報を商品登録装置1に入力し、その後に、オペレータが指示情報に対応する処理の対象商品の撮像画像をカメラ27に撮像させることによって対象商品に対して指示情報に対応する処理を商品登録装置1に行わせる場合を想定して説明する。

0077

なお、本実施形態の商品登録装置1は、図示せぬタイマによって計測された時間に基づいて動作する。また、本実施形態の商品登録装置1の一連の動作は、記憶部に読み出し自在に予め格納されたプログラムによって規定されている。また、各情報は、記憶部に読み出し自在に一旦格納されてから、その後の処理を行う所要の構成要素に出力される。以下、これらの点については、情報処理では常套手段であるので、その詳細な説明を省略する。

0078

商品登録装置1は、オペレータによって商品登録処理の開始が指示されることにより、動作を開始する。実施形態の商品登録処理は、例えば、オペレータ(店員)が、第1の買物カゴ4L(図1参照)に入っている物品(商品)を取り出して、読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに入れるまでに行われる一連の処理である。

0079

図10Aに示すように、ステップS105において、商品識別装置2の画像取得部90は、物品(商品)の連続撮像画像の取得を行う。このとき、画像取得部90は、カメラ27に撮像オン信号を出力して、カメラ27に商品の撮像を開始させる。カメラ27は、物品(商品)を連続して撮像し、これによって取得された撮像画像(フレーム画像)をRAM213に保存する。画像取得部90は、カメラ27によって撮像された撮像画像(フレーム画像)をRAM213から取り込む。

0080

ステップS110において、物体検出部91は、画像取得部90が取り込んだ撮像画像に対してオブジェクト認識処理を実行する。これにより、物体検出部91は、商品である物体の全部または一部の認識(検出)を試みる

0081

そして、ステップS115において、物体検出部91は、撮像画像から何らかの物体(ここでは、商品又はオペレータの手)が認識されたか否かを判定する。ステップS115で、物体検出部91によって、物体(商品又はオペレータの手)が認識されていない(No)と判定された場合に、処理は、ステップS105に戻る。一方、ステップS115で、物体検出部91によって、物体(商品又はオペレータの手)が認識された(Yes)と判定された場合に、処理は、ステップS120に進む。

0082

そして、ステップS120において、指示検知部94は、指示情報の入力が検知されたか否かを判定する。ステップS120で、指示情報の入力が検知された(Yes)と判定された場合に、処理は、ステップS125に進む。そして、ステップS125において、指示検知部94は、規定情報D3に基づいて、指示情報に対応付けられた処理内容(例えば、追加登録や、キャンセル、特定処理等の処理)を判別する。そして、指示検知部94は、ステップS130において、該当する処理の実行を指定する処理実行フラグを図示せぬ管理情報に登録する。この後、処理は、ステップS105に戻る。その結果、商品登録装置1は、ステップS105以降の処理を繰り返す。

0083

一方、ステップS120で、指示情報の入力が検知されていない(No)と判定された場合に、処理は、符号「A1」を介して図10Bに示すステップS135に進む。そして、図10Bに示すように、ステップS135において、指示検知部94は、図示せぬ管理情報に登録されたフラグの指定する処理内容を判別する。なお、「ステップS135に進む場合」とは、撮像画像に写っている物体が主に商品であることを意味する。

0084

ステップS135において、図示せぬ管理情報にフラグが登録されていないと判別された場合に、指示検知部94は、商品辞書D1に基づく商品検索を類似度演算部92及び類似度判断部93に指示する。これに応答して、ステップS140において、類似度演算部92及び類似度判断部93は、商品辞書D1に基づく商品検索を行う。

0085

このとき、類似度演算部92は、ステップS105で連続して取得された複数枚の撮像画像から物体(商品)の特徴量を取得し、撮像画像に含まれている物体(商品)の特徴量と商品辞書D1に記録された基準画像に含まれている各取扱商品の特徴量とをそれぞれ比較することで、撮像画像に写る物体(商品)と商品辞書D1に記録された各取扱商品との類似度を算出する。次に、類似度判断部93は、類似度が所定閾値以上となる取扱商品が商品辞書D1にあるか否かを判定することによって、この物体(商品)に該当する取扱商品を取引の対象商品として検索する。そして、類似度判断部93は、この検索で抽出された対象商品の商品IDに基づいて、対象商品の商品名と商品単価とを商品辞書D1から取得する。

0086

この後、ステップS145において、類似度判断部93は、対象商品が一意に識別されたか否かを判定する。例えば、前記した検索で対象商品が1つだけ抽出されている場合に、類似度判断部93は、対象商品が一意に識別された(Yes)と判定する。一方、前記した検索で複数の対象商品の候補が抽出されている場合や対象商品がまったく抽出されていない場合は、類似度判断部93は、対象商品が一意に識別されていない(No)と判定する。

0087

ステップS145で、対象商品が一意に識別された(Yes)と判定された場合に、処理は、ステップS160に進む。この場合に、情報出力部97は、一意に識別された対象商品(確定商品)の商品IDを売上登録部99に出力する。

0088

一方、ステップS145で、対象商品が一意に識別されていない(No)と判定された場合に、処理は、ステップS150に進む。この場合に、ステップS150において、入力取得部96は、複数の対象商品の候補の中から確定商品をオペレータに選択させる図示せぬ選択画面(又は、商品名などの情報に基づいて対象商品を検索する検索画面)をディスプレイ221に表示する。これに応答して、オペレータは、タッチパネル222から確定商品を指定する指定情報を入力する。すると、ステップS155において、入力取得部96は、指定情報の入力を受け付けて、指定された候補を確定商品として認識する。この後、情報出力部97は、確定商品の商品IDを売上登録部99に出力する。

0089

ステップS145で対象商品が一意に識別された(Yes)と判定された場合、又は、ステップS155の後に、ステップS160において、売上登録部99は、入力された商品IDに基づいて商品辞書D1から確定商品の商品情報GIを取得し、取得された確定商品の商品情報GI(又は、その一部)を売上情報D4に仮登録する。このとき、確定通知部95は、仮登録された物体(商品)の商品名などを、画像出力や音声出力などによってオペレータや客に報知する。この後、処理は、ステップS165に進む。

0090

また、ステップS135において、図示せぬ管理情報に登録されたフラグが追加登録処理を指定していると判別された場合に、指示検知部94は、追加登録処理を類似度演算部92と類似度判断部93と売上登録部99とに指示する。これに応答して、類似度演算部92と類似度判断部93と売上登録部99とが、ステップS205において、追加登録処理を行う。

0091

図11Aに、ステップS205で行われる追加登録処理の詳細を示す。
図11Aに示すように、ステップS205の追加登録処理では、まず、ステップS210において、類似度演算部92及び類似度判断部93が、仮登録商品情報D2a(図7(a)参照)に基づく商品検索を行う。

0092

このとき、類似度演算部92は、ステップS211において、商品辞書D1に登録された各取扱商品の基準画像情報SPの中から、仮登録商品情報D2a(図7(a)参照)に記録された各仮登録商品の商品IDに基づいて、各仮登録商品の基準画像を抽出する。次に、類似度演算部92は、ステップS212において、ステップS105で連続して取得された複数枚の撮像画像から物体(商品)の特徴量を取得し、撮像画像に含まれている物体(商品)の特徴量とステップS211で抽出された基準画像に含まれている各仮登録商品の特徴量とをそれぞれ比較することで、撮像画像に写る物体(商品)と仮登録商品情報D2aに記録された各仮登録商品との類似度を算出する。

0093

次に、類似度判断部93は、ステップS213において、類似度判別用の閾値を商品辞書D1に基づく商品検索(ステップS140(図10B参照))時よりも低い値に下げる。次に、類似度判断部93は、ステップS214において、類似度がその閾値以上となる取扱商品が仮登録商品の中にあるか否かを判定することによって、この物体(商品)に該当する仮登録商品を取引の対象商品として検索する。このとき、類似度判断部93は、取扱商品よりも数の少ない仮登録商品の中から対象商品を検索するため、確度の高い1つの対象商品を抽出すること(すなわち、対象商品を一意に識別すること)ができる。このようにして、ステップS210の処理が行われる。ステップS210で抽出された対象商品は、追加登録処理に該当する商品である。

0094

この後、ステップS220において、売上登録部99は、ステップS214で抽出された対象商品の商品IDに基づいて、対象商品の商品情報GIを商品辞書D1から取得し、取得された商品情報GI(又は、その一部)を確定商品の商品情報GIとして売上情報D4に追加登録する。このとき、確定通知部95は、追加登録された物体(商品)の商品名や価格などを、画像出力や音声出力などによってオペレータや客に報知する。この後、処理は、ステップS165に進む。

0095

また、図10Bに示すステップS135において、図示せぬ管理情報に登録されたフラグがキャンセル処理を指定していると判別された場合に、指示検知部94は、キャンセル処理を類似度演算部92と類似度判断部93と売上登録部99とに指示する。これに応答して、類似度演算部92と類似度判断部93と売上登録部99とが、ステップS305において、キャンセル処理を行う。

0096

図11Bに、ステップS305で行われるキャンセル処理の詳細を示す。
図11Bに示すように、ステップS305のキャンセル処理では、まず、ステップS310において、ステップS210(図11A参照)と同様に、類似度演算部92及び類似度判断部93が、仮登録商品情報D2a(図7(a)参照)に基づく商品検索を行う。すなわち、類似度演算部92が、ステップS311,S312において、ステップS212,S212と同様の処理を行い、その後に、類似度判断部93が、ステップS313,S314において、ステップS213,S214と同様の処理を行う。ステップS310で抽出された対象商品は、キャンセル処理に該当する商品である。

0097

この後、ステップS320において、売上登録部99は、ステップS214で抽出された対象商品に該当する商品情報GI(すなわち、ステップS214で抽出された対象商品の商品IDに対応付けられて売上情報D4に登録されている商品情報GI)を売上情報D4から取り消す。このとき、確定通知部95は、取り消された物体(商品)の商品名などを、画像出力や音声出力などによってオペレータや客に報知する。この後、処理は、ステップS165に進む。

0098

また、図10Bに示すステップS135において、図示せぬ管理情報に登録されたフラグが特定処理を指定していると判別された場合に、指示検知部94は、特定処理の実行を類似度演算部92と類似度判断部93と売上登録部99とに指示する。これに応答して、類似度演算部92と類似度判断部93と売上登録部99とが、ステップS405において、特定処理を行う。

0099

図11Cに、ステップS405で行われる特定処理の詳細を示す。
図11Cに示すように、ステップS405の特定処理では、まず、ステップS410において、類似度演算部92及び類似度判断部93が、事前登録商品情報D2b(図7(b)参照)に基づく商品検索を行う。

0100

このとき、類似度演算部92は、ステップS411において、商品辞書D1に登録された各取扱商品の基準画像情報SPの中から、事前登録商品情報D2b(図7(b)参照)に記録された各事前登録商品の商品IDに基づいて、各事前登録商品の基準画像を抽出する。次に、類似度演算部92は、ステップS412において、ステップS105で連続して取得された複数枚の撮像画像から物体(商品)の特徴量を取得し、撮像画像に含まれている物体(商品)の特徴量とステップS411で抽出された基準画像に含まれている各事前登録商品の特徴量とをそれぞれ比較することで、撮像画像に写る物体(商品)と事前登録商品情報D2bに記録された各事前登録商品との類似度を算出する。

0101

次に、類似度判断部93は、ステップS413において、類似度判別用の閾値を商品辞書D1に基づく商品検索(ステップS140(図10B参照))時よりも低い値に下げる。次に、類似度判断部93は、ステップS414において、類似度がその閾値以上となる取扱商品が事前登録商品の中にあるか否かを判定することによって、この物体(商品)に該当する事前登録商品を取引の対象商品として検索する。このとき、類似度判断部93は、取扱商品よりも数の少ない事前登録商品の中から対象商品を検索するため、確度の高い1つの対象商品を抽出すること(すなわち、対象商品を一意に識別すること)ができる。

0102

この後、ステップS415において、類似度判断部93(又は、図示せぬ機能手段)は、抽出された対象商品に対応して事前登録商品情報D2bに登録されている特定処理内容を識別する。そして、ステップS416において、類似度判断部93(又は、図示せぬ機能手段)は、特定処理内容が値引き後価格を適用した仮登録処理であるか否かを判定する。

0103

ステップS416で、特定処理内容が値引き後価格を適用した仮登録処理である(Yes)と判定された場合に、ステップS420において、売上登録部99は、ステップS414で抽出された対象商品の商品IDに基づいて、対象商品の商品情報GIを事前登録商品情報D2bから取得し(又は、対象商品の商品情報GIを商品辞書D1から取得するとともに、値引きに関する情報を事前登録商品情報D2bから取得し)、値引き後価格を含む、取得された商品情報GI(又は、その一部)を確定商品の商品情報GIとして売上情報D4に仮登録する。このとき、確定通知部95は、仮登録された物体(商品)の商品名や値引き後価格などを、画像出力や音声出力などによってオペレータや客に報知する。この後、処理は、ステップS165に進む。

0104

一方、ステップS416で、特定処理内容が値引き後価格を適用した仮登録処理でない(No)と判定された場合に、ステップS430において、商品登録装置1は、ステップS415で識別された特定処理内容に該当する処理を実行する。この後、処理は、ステップS165に進む。

0105

図10Bに示すステップS160,S205,S305,S405のいずれかの処理の後に、ステップS165において、入力取得部96は、オペレータによって清算処理が指示されたか否かを判定する。

0106

ステップS165で、清算処理が指示されていない(No)と判定された場合に、処理は、符号「B1」を介して、図10Aに示すステップS105に戻る。その結果、商品登録装置1は、ステップS105以降の処理を繰り返す。なお、「清算処理が指示されていない(No)と判定された場合」とは、売上情報D4に仮登録されていない商品が第1の買物カゴ4Lに残る場合や、キャンセル処理を行う商品が第2の買物カゴ4Rに入っている場合などである。

0107

一方、ステップS165で、清算処理が指示された(Yes)と判定された場合に、ステップS170において、売上登録部99は、売上情報D4を確定登録する。このとき、売上登録部99は、売上情報D4に含まれている「未確定/確定」情報を未確定状態から確定状態に変更する。これにより、一連のルーチンの処理が終了する。

0108

本実施形態に係る商品登録装置1は、商品登録処理を行う際に、オブジェクト認識を行う対象を限定することができる限定可能商品については、限定可能商品情報D2に基づく商品検索を行う。このような商品登録装置1は、限定可能商品情報D2の取扱商品の数が商品辞書D1の商品情報GIの取扱商品の数よりも少ない(すなわち、限定可能商品情報D2のデータ量が商品辞書D1の商品情報GIのデータ量よりも少ない)ため、オブジェクト認識に要する時間を短縮することができ、もって、オブジェクト認識の処理速度を向上させることができる。更に、対象商品の候補が指示情報によって限定されるため、例えば、A産地リンゴのみが特売されており、B産地のリンゴが特売されていない場合のように、紛らわしい取扱商品がある場合に、紛らわしい取扱商品に対して、対象商品を一意に識別することができる。

0109

以上の通り、本実施形態に係る商品登録装置1によれば、オブジェクト認識の処理速度を向上させることができる。

0110

なお、本発明は、前記した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。

0111

例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本発明は、実施形態の構成の一部を他の構成に置き換えることができる。また、本発明は、実施形態の構成から一部の構成を削除することができる。

0112

また、例えば、前記した実施形態では、オペレータが所定の手の形状やジェスチャーなどが含まれている撮像画像をカメラ27に撮像させることによって指示情報を商品登録装置1に入力している。しかしながら、商品登録装置1は、タッチパネル222(図3参照)やキーボード23(図3参照)から特定のキー入力情報を指示情報として入力したり、図示せぬマイクから特定の音声入力情報を指示情報として入力したりする構成にすることができる。

0113

また、例えば、商品登録装置1は、所定の手の形状やジェスチャーなどの指示情報と商品とが一緒に写っている撮像画像に基づいて、指示情報の検知動作、指示情報に対応付けられた処理内容の特定動作、及び、商品検索動作を行うように構成してもよい。ここで、「指示情報と商品とが一緒に写っている撮像画像」とは、例えば、指を特殊な形に曲げた状態で商品を握り、その状態で撮像された撮像画像などのように、予め規定された状態で商品が握られている撮像画像を意味している。

0114

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、
物体を撮像して、前記物体の撮像画像を取得する撮像部と、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断部と、
前記類似度判断部で特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録部と、
前記取扱商品に係る指示情報を検知する指示検知部と、を備え、
前記類似度判断部は、前記指示検知部で前記指示情報が検知されたときに、前記指示情報に基づいて、前記取扱商品を絞り込み、前記撮像部で取得された前記撮像画像と、前記指示情報に基づいて絞り込まれた前記取扱商品の前記基準画像との類似度を判断して、前記対象商品を特定する
ことを特徴とする商品登録装置。
<請求項2>
請求項1に記載の商品登録装置において、
前記類似度判断部は、前記指示検知部で前記指示情報が検知されたときに、類似度の判断に用いる閾値を下げて、前記対象商品を特定する
ことを特徴とする商品登録装置。
<請求項3>
請求項1又は請求項2に記載の商品登録装置において、
前記記憶部には、前記売上情報に登録された前記対象商品である仮登録商品に関する仮登録商品情報が記憶されており、
前記指示検知部で検知された前記指示情報が前記仮登録商品の追加登録を指定しているときに、
前記類似度判断部は、前記仮登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する仮登録商品を特定し、
前記登録部は、前記類似度判断部で特定された前記仮登録商品の前記商品情報を、前記売上情報に追加登録する
ことを特徴とする商品登録装置。
<請求項4>
請求項1乃至請求項3のいずれか一項に記載の商品登録装置において、
前記記憶部には、前記売上情報に登録された前記対象商品である仮登録商品に関する仮登録商品情報が記憶されており、
前記指示検知部で検知された前記指示情報が前記仮登録商品のキャンセルを指定しているときに、
前記類似度判断部は、前記仮登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する仮登録商品を特定し、
前記登録部は、前記類似度判断部で特定された前記仮登録商品の前記商品情報を、前記売上情報から取り消す
ことを特徴とする商品登録装置。
<請求項5>
請求項1乃至請求項4のいずれか一項に記載の商品登録装置において、
前記記憶部には、特定処理の対象となる取扱商品が事前に登録された事前登録商品情報が記憶されており、
前記指示検知部で検知された前記指示情報が特定処理を指定しているときに、
前記類似度判断部は、前記事前登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する取扱商品を特定し、
前記登録部は、前記類似度判断部で特定された前記取扱商品の前記商品情報を、前記売上情報に登録する
ことを特徴とする商品登録装置。
<請求項6>
請求項1乃至請求項5のいずれか一項に記載の商品登録装置において、
前記指示情報は、前記撮像画像の中に写っているオペレータのジェスチャー又は手の形状に応じて予め規定された内容の情報であり、
前記記憶部には、前記指示情報を規定する規定情報が予め記憶されている
ことを特徴とする商品登録装置。
<請求項7>
請求項1乃至請求項5のいずれか一項に記載の商品登録装置において、
前記指示情報は、オペレータによって音声入力部から入力される音声の内容に応じて予め規定された内容の情報であり、
前記記憶部には、前記指示情報を規定する規定情報が予め記憶されている
ことを特徴とする商品登録装置。
<請求項8>
請求項1乃至請求項5のいずれか一項に記載の商品登録装置において、
前記指示情報は、オペレータによってキー入力部から入力されるキー情報に応じて予め規定された内容の情報であり、
前記記憶部には、前記指示情報を規定する規定情報が予め記憶されている
ことを特徴とする商品登録装置。
<請求項9>
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置が、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断ステップと、
前記商品登録装置が、前記類似度判断ステップで特定された前記対象商品の前記商品情報を、商品の売上を表す売上情報に登録する登録ステップと、
前記商品登録装置が、前記取扱商品に係る指示情報を検知する指示検知ステップと、を含んでおり、
前記指示検知ステップで前記指示情報が検知されたときに、前記商品登録装置は、前記類似度判断ステップで、前記指示情報に基づいて前記取扱商品を絞り込み、前記撮像部で取得された前記撮像画像と、前記指示情報に基づいて絞り込まれた前記取扱商品の前記基準画像との類似度を判断して、前記対象商品を特定する
ことを特徴とする商品登録装置の商品特定方法。

0115

1商品登録装置
2商品識別装置
21マイクロコンピュータ
211 CPU(制御手段)
212 ROM
213 RAM
22 表示・操作部
221ディスプレイ
222タッチパネル
23キーボード
24顧客用ディスプレイ
25インタフェース
27カメラ(撮像部)
271照明
28スピーカ
29電源
3POS端末
31 マイクロコンピュータ
311 CPU
312 ROM
313 RAM
33 キーボード
321 ディスプレイ
322 タッチパネル
34 顧客用ディスプレイ
35 インタフェース
36 HDD
37ドロワ
38プリンタ
39 電源
4買物カゴ
5カウンタ台
51ハウジング
52 読取窓
6チェックアウト台
7商品
90画像取得部
91物体検出部
92類似度演算部
93類似度判断部
94 指示検知部
95確定通知部
96 入力取得部
97情報出力部
99売上登録部
D1商品辞書
D2 限定可能商品情報
D2a 仮登録商品情報
D2b事前登録商品情報
D3規定情報
D4売上情報
GI商品情報
SP基準画像情報
SP001F,SP001B,SP001T,SP001U,SP001R,SP001L 基準画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ