図面 (/)

技術 商品登録装置および商品登録方法

出願人 カシオ計算機株式会社
発明者 藤本正樹
出願日 2015年3月19日 (4年4ヶ月経過) 出願番号 2015-056021
公開日 2016年10月6日 (2年9ヶ月経過) 公開番号 2016-177433
状態 特許登録済
技術分野 金銭登録機・受付機 イメージ分析
主要キーワード 体感速度 各入出力回路 負担感 オブジェクト認識処理 商品認識 バックライト照射 商品マスタ情報 会計作業
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年10月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

顧客が商品登録処理感じ負担感ストレス)を低減できる。

解決手段

商品登録装置1は、商取引における商品登録を行うものであって、同時に取得した情報から複数の商品を認識する商品認識処理手段としてのオブジェクト認識処理部120と、前記複数の商品の認識結果を所定の時間間隔順番に出力手段に出力する認識結果出力手段としての顧客用情報出力部172と、を備える。認識結果出力手段は、例えば、前記複数の商品の認識結果を一定の時間間隔で出力するか、前記複数の商品の認識結果を徐々に短い時間間隔で出力するか、または前記複数の商品の認識結果を徐々に長い時間間隔で出力する。

概要

背景

従来、物品撮影した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ(特徴量)と比較することで、当該物品の種別等を認識する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、青果品等商品識別に用いて、識別された商品を売上登録する商品登録装置が提案されている(特許文献1参照)。ここで、特許文献1に記載される技術を用いれば、例えば、トレー上に置かれた複数のパン(商品)を撮影し、撮影した画像からパンの種類を識別して売上登録することも可能である。商品登録装置は、例えば、商品の認識結果を顧客用ディスプレイに表示し、顧客は自身が買った商品が正確に登録されているかを顧客用ディスプレイに表示される商品名や金額等で確認する。

概要

顧客が商品登録処理感じ負担感ストレス)を低減できる。商品登録装置1は、商取引における商品の登録を行うものであって、同時に取得した情報から複数の商品を認識する商品認識処理手段としてのオブジェクト認識処理部120と、前記複数の商品の認識結果を所定の時間間隔順番に出力手段に出力する認識結果出力手段としての顧客用情報出力部172と、を備える。認識結果出力手段は、例えば、前記複数の商品の認識結果を一定の時間間隔で出力するか、前記複数の商品の認識結果を徐々に短い時間間隔で出力するか、または前記複数の商品の認識結果を徐々に長い時間間隔で出力する。

目的

本発明は、前記問題に鑑みてなされたものであり、顧客が商品登録処理に感じる負担感(ストレス)を低減できる商品登録装置および商品登録方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

商取引における商品登録を行う商品登録装置であって、同時に取得した情報から複数の商品を認識する商品認識処理手段と、前記複数の商品の認識結果を所定の時間間隔順番に出力手段に出力する認識結果出力手段と、を備えることを特徴とする商品登録装置。

請求項2

商取引における商品を認識して商品登録を行う商品登録装置であって、複数の商品から取得した情報に基づいて、その複数の商品を順次認識処理する商品認識処理手段と、前記商品認識処理手段で認識処理された前記複数の商品の認識結果を、その各商品の認識処理の処理時間に拘わらず、顧客が識別可能な所定の時間間隔で順番に出力手段に出力する認識結果出力手段と、を備えることを特徴とする商品登録装置。

請求項3

前記認識結果出力手段は、前記複数の商品の認識結果を一定の時間間隔で出力するか、前記複数の商品の認識結果を徐々に短い時間間隔で出力するか、または前記複数の商品の認識結果を徐々に長い時間間隔で出力する、ことを特徴とする請求項1または請求項2に記載の商品登録装置。

請求項4

前記出力手段は、前記複数の商品を撮影した撮影画像および各商品の認識結果をまとめた認識結果リストを並べて表示する表示手段であって、前記認識結果出力手段は、前記表示手段に表示される撮影画像の各商品に対してそれぞれの認識処理が終了したことを表示すると共に、当該商品の認識結果を前記撮影画像に関連付けて前記認識結果リストに表示する、ことを特徴とする請求項1ないし請求項3の何れか一項に記載の商品登録装置。

請求項5

前記複数の商品のうち何れかの商品の認識が完了した時点で、当該商品の認識結果を他の出力手段に出力する他の認識結果出力手段をさらに備える、ことを特徴とする請求項1ないし請求項4の何れか一項に記載の商品登録装置。

請求項6

前記認識結果出力手段は、前記複数の商品の認識結果の出力が完了したこと、または、前記複数の商品の認識結果の出力を行っている最中であることの何れか一方を示す情報を前記他の出力手段に出力する、ことを特徴とする請求項5に記載の商品登録装置。

請求項7

商取引における商品の登録を行う商品登録装置の商品登録方法であって、同時に取得した情報から複数の商品を認識する商品認識ステップ、前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、ことを特徴とする商品登録方法。

請求項8

商取引における商品を認識して商品登録を行う商品登録装置の商品登録方法であって、複数の商品から取得した情報に基づいて、その複数の商品を順次認識処理する商品認識ステップ、認識処理された前記複数の商品の認識結果を、その各商品の認識処理の処理時間に拘わらず、顧客が識別可能な所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、ことを特徴とする商品登録方法。

技術分野

0001

本発明は、商品登録装置および商品登録方法に関する。

背景技術

0002

従来、物品撮影した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ(特徴量)と比較することで、当該物品の種別等を認識する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、青果品等商品識別に用いて、識別された商品を売上登録する商品登録装置が提案されている(特許文献1参照)。ここで、特許文献1に記載される技術を用いれば、例えば、トレー上に置かれた複数のパン(商品)を撮影し、撮影した画像からパンの種類を識別して売上登録することも可能である。商品登録装置は、例えば、商品の認識結果を顧客用ディスプレイに表示し、顧客は自身が買った商品が正確に登録されているかを顧客用ディスプレイに表示される商品名や金額等で確認する。

先行技術

0003

特開2014−232538号公報

発明が解決しようとする課題

0004

しかしながら、従来の商品登録装置は、顧客による商品の確認作業が行い易いものであるとはいえなかったので、顧客が商品登録処理負担感ストレス)を感じる場合があった。
例えば、従来の商品登録装置では、すべての商品の認識結果が出るまで個々の商品についての認識結果を表示していなかった。その為、顧客は、商品の識別結果が表示されるとすべての商品の確認作業を瞬時に行わなければならないので、商品の数が増えるに従って顧客の目が追い付かないという問題があった。なお、RFIDなどの技術を用いて一瞬のうちにすべての商品の認識結果を顧客用ディスプレイに表示する場合も同様である。
また、商品の数が増えるに従って認識処理に要すよう時間が長くなり、それに伴って認識結果を画面に表示するまでの時間も長くなってしまうという問題があった。この場合、商品の認識結果が画面に表示されるまでがわずかな時間であっても、顧客は店員オペレータ)に商品を渡してから手持ちぶさたになるので、待たされているという事をより強く感じることになる。

0005

本発明は、前記問題に鑑みてなされたものであり、顧客が商品登録処理に感じる負担感(ストレス)を低減できる商品登録装置および商品登録方法を提供することを課題とする。

課題を解決するための手段

0006

前記課題を解決するため、本発明に係る商品登録装置は、同時に取得した情報から複数の商品を認識する商品認識処理手段と、前記複数の商品の認識結果を所定の時間間隔順番に出力手段に出力する認識結果出力手段と、を備えることを特徴とする。

0007

また、本発明に係る登録方法は、商取引における商品の登録を行う商品登録装置の商品登録方法であって、同時に取得した情報から複数の商品を認識する商品認識ステップ、前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、ことを特徴とする。

発明の効果

0008

本発明によれば、顧客が商品登録処理に感じる負担感(ストレス)を低減できる。

図面の簡単な説明

0009

本発明の実施形態における商品登録装置を示す外観斜視図である。
本発明の実施形態における商品登録装置を示す概略の構成図である。
本発明の実施形態における商品登録装置を示す論理ブロック図である。
本発明の実施形態における商品登録装置が行う、商品の判定処理を説明するための図である。
本発明の実施形態に係る商品マスタ情報データ構成例を示す図である。
本発明の実施形態に係る商品販売登録情報のデータ構成例を示す図である。
本発明の実施形態に係る顧客用表示処理を説明するための図であり、(a)はオブジェクト認識した時刻の例示であり、(b)は一定の時間間隔で商品を顧客用表示画面に表示した場合を示しており、(c)は商品を徐々に短い時間間隔で表示する場合を示しており、(d)は商品を徐々に長い時間間隔で表示する場合を示している。
本発明の実施形態における商品登録処理の顧客用表示画面の遷移を例示した図であり、(a)は一つ目の商品を顧客用表示画面に表示した状態を示し、(b)は二つ目の商品を顧客用表示画面に表示した状態を示している。
本発明の実施形態における商品登録処理の顧客用表示画面の遷移を例示した図であり、(a)は三つ目の商品を顧客用表示画面に表示した状態を示し、(b)はすべての商品を顧客用表示画面に表示した後の状態を示している。
本発明の実施形態における商品登録装置の商品登録処理の全体動作を示すフローチャートを例示した図である。
本発明の実施形態における商品登録装置の顧客用表示処理の全体動作を示すフローチャートを例示した図である。

実施例

0010

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

0011

<実施形態に係る商品登録装置の構成>
図1は、本発明の実施形態に係る商品登録装置1の外観の概略図である。図1に示すように、商品登録装置1は、顧客用ディスプレイ11、タッチディスプレイ12、キャッシュドロワ13、プリンタ14、撮影装置15、撮影台16、バックライト光源17を備え、商品販売店カウンタ台2に設置される。なお、商品の会計を行う際、商品登録装置1を扱うオペレータ(店員)は、カウンタ台2の図面手前側立ち、商品を購入する顧客はカウンタ台2の図面奥側に立つ。
商品登録装置1は、POSレジスタ端末として機能し、商品の種類(識別情報)や個数等の情報を受け付け合計代金等の表示や、販売管理売上実績管理等のための情報を入出力する。

0012

顧客用ディスプレイ11は、例えば液晶表示装置であり、顧客側である図面奥を向いている。顧客用ディスプレイ11は、顧客に対して商品の会計に関する情報(商品名、金額など)を表示する。
タッチディスプレイ12は、例えば液晶表示装置であるディスプレイ12A(図2参照)の表面にタッチパネル12B(図2参照)が積層されたものであり、オペレータ側である図面手前を向いている。このタッチディスプレイ12は、オペレータに対して撮影画像や各種情報(商品名、金額など)を表示するとともに、オペレータによるタッチ操作入力を受け付ける。

0013

キャッシュドロワ13は、商品の会計時に扱われる紙幣貨幣金券などを保管する引き出しである。
プリンタ14は、商品の会計時に会計の内容(商品名、金額など)をレシート印字する。

0014

撮影装置15は、撮影台16に置かれたトレー3上の商品を撮影する。この撮影装置15には、照明装置(不図示)が隣接して取り付けられており、撮影装置15の撮影領域151を照射する。
撮影台16は、商品を購入する顧客が会計時に商品を載せたトレー3を置く台である。
撮影領域151は、撮影台16における撮影装置15によって撮影可能な領域である。

0015

バックライト光源17は、撮影台16の内部に収容されており、撮影装置15によってトレー3上の商品を撮影する際に商品の撮影画像がより鮮明になるように、トレー3の下からバックライトを上向きに照射する。バックライト光源17は、例えば、LED(Light Emitting Diode)で実現することができるが、これに限定されない。
また、トレー3は、光を透過するように半透明になっている。そして、トレー3に載った状態の商品を撮影装置15により撮影する際には、照明装置から照射光が照射されるとともに、トレー3の下からは、バックライト光源17によりバックライトが上向きに照射される。これにより、商品の周囲に形成される影を可及的に排除し得る。

0016

次に、図2を参照(適宜図1も参照)して、商品登録装置1の構成について説明する。
図2は、本発明の実施形態に係る商品登録装置1のハードウェア構成を示す図である。
商品登録装置1は、図1において示した構成以外に、CPU(Central Processing Unit)20、RAM(Random Access Memory)21、ROM(Read Only Memory)22、記憶部23を備えている。なお、各構成は、内部バス各入出力回路(不図示)を介して互いに通信可能に接続されている。

0017

CPU20は、中央制御装置であり、商品登録装置1全体の制御を司る。
RAM21は、CPU20によって使用される一時記憶手段である。CPU20が実行するプログラムに係る画像データ等を一時的に記憶する。
ROM22は、不揮発性の記憶手段であり、CPU20によって実行されるプログラム等を記憶する。

0018

顧客用ディスプレイ11は、CPU20によって制御され、顧客に対して商品等の撮影画像や商品の会計に関する情報(商品名、金額など)を表示する。
ディスプレイ12Aは、CPU20によって制御され、オペレータに対して商品等の撮影画像や商品の会計に関する情報(商品名、金額など)を表示する。
タッチパネル12Bは、ディスプレイ12Aにより表示した情報に対するオペレータのタッチ操作入力を受け付ける。

0019

記憶部23は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)等により構成され、各種プログラムや各種ファイルを記憶する。記憶部23に記憶されている各種プログラムや各種ファイルは、商品登録装置1の起動時に、その全部または一部がRAM21にコピーされてCPU20により実行される。記憶部23には、図3を参照して後記する、商品マスタ情報100および商品販売登録情報400等が記憶されている。

0020

撮影装置15は、カラーCCD(Charge Coupled Device)イメージセンサやカラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等から構成され、CPU20の制御の下で撮影を行う撮影手段である。撮影装置15は、例えば30fps(frame per second)の動画像の撮影を行う。撮影装置15が所定のフレームレートで順次撮影したフレーム画像(撮影画像)は、RAM21に保存される。

0021

バックライト光源17は、CPU20の制御の下で、撮影装置15によってトレー3やトレー3上の商品を撮影する際に撮影画像がより鮮明になるように、トレー3の下からバックライトを上向きに照射する。これにより、撮影装置15に隣接して取り付けられた照明装置等によって形成される撮影領域151内の影を薄くし、画像処理の精度を高めることができる。バックライト光源17によるバックライト照射のタイミングは、例えば、撮影装置15の撮影のタイミングに合わせてもよいし、常時でもよい。

0022

キャッシュドロワ13は、商品の会計時に扱われる紙幣、貨幣、金券などを保管し、CPU20の指示により開放される。
プリンタ14は、例えば、熱転写プリンタであり、レシートを印字する。具体的には、プリンタ14は、商品の会計時にCPU20の指示により、会計の内容をレシートに印字する。

0023

次に、図3を参照(適宜図1、2も参照)して、商品登録装置1の機能について説明する。図3は、本発明の実施形態に係る商品登録装置1の機能ブロック図である。
商品登録装置1のCPU20は、ROM22に格納されたプログラムを実行することにより、処理部10の各機能を具現化する。処理部10は、撮影手段によって撮影された物体を撮影画像に基づき認識し、認識した商品を登録する。この処理部10は、画像記憶部110、オブジェクト認識処理部120、入力取得部150、販売情報登録部160および情報出力部170を備える。

0024

画像記憶部110は、撮影装置15によって撮影されRAM21に保存されたフレーム画像(カラーデジタル画像)を順次取り込む。この画像記憶部110によるフレーム画像の取り込みは、RAM21に保存された順に行われる。

0025

オブジェクト認識処理部120は、画像記憶部110が取り込んだフレーム画像について、パターンマッチング技術などを用いて、商品の画像を背景から分離することで、物体を検出する。この背景分離技術は、具体的には、例えば、フレーム画像を二値化して各輪郭線を抽出、確定してそれらの領域の画像を区画分離することで実行される。なお、商品の画像を背景から分離した状態の画像を、以下、物体認識画像分離画像と称することがある。以下、具体的に説明する。

0026

このオブジェクト認識処理部120は、物体領域判定部121と、商品検出部122とを含んで構成される。
物体領域判定部121は、画像記憶部110が取り込んだフレーム画像について、オブジェクト認識することにより、所定の領域(例えば、トレー3の縁部30(図4参照))と重なる物体であるか否かを判定する。そして、物体領域判定部121は、所定の領域と重ならないと判定した物体については、その物体が商品であるとして、その物体認識画像(分離画像)を商品検出部122に引き渡す。

0027

図4は、本発明の実施形態に係る商品登録装置1が行う、商品の判定処理を説明するための図である。図4は、商品が物体a(カレーパン)、物体b(メロンパン)、物体c(あんパン)の場合を示す。図4に示す例においては、物体領域判定部121は、3つの物体(物体a、物体b、物体c)およびトレー3(縁部30)を認識する。そして、物体領域判定部121は、物体a、物体bおよび物体cを商品であると判定して、その物体認識画像(分離画像)を商品検出部122に引き渡す。

0028

図3戻り、商品検出部122は、商品に対するオブジェクト(物体)認識の全体を司り、商品類似度演算部123および商品類似度判断部124を備える。
商品類似度演算部123は、取得した物体認識画像(分離画像)について、形状、大きさ、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。商品類似度演算部123はさらに、演算した分離画像の特徴量と、記憶部23内の商品マスタ情報100(後記する、図5参照)の一部として予め記憶されている各商品の特徴量と比較し、類似度を算出する。ここで、類似度とは、商品マスタ情報100に記憶されている商品が想定する特徴量を100%の類似度とした場合に、物体認識画像(分離画像)がどの程度まで類似しているかを示すものである。なお、類似度を算出する際、特徴量が複数種類ある場合には、複数の特徴量に基づいて総合評価するが、そのとき、特徴量ごとに重み付けをしてもよい。

0029

図5は、本発明の実施形態に係る商品マスタ情報100のデータ構成例を示す図である。図5に示すように、商品マスタ情報100には、商品IDに対応付けて、商品名、その商品の単価、特徴量が格納される。ここで、特徴量は、その商品の代表画像であってもよいし、形状、大きさ、色合い等の特徴を示すデータであってもよく、商品類似度演算部123の類似度の算出方法に適した情報の形式で格納される。

0030

このように、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。下記の井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット評価ベンチマークを行い、さらにその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成27年3月2日検索],インターネットCVIM-Yanai.pdf>

0031

また、画像をオブジェクト(物体)ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008.CVPR 2008.IEEE Conference on,[平成27年3月2日検索],インターネット

0032

なお、撮影された商品の画像と、商品マスタ情報100に登録された登録商品商品画像(代表画像)等の類似度の算出方法は特に問わないものとする。例えば、撮影された商品の画像と、商品マスタ情報100に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

0033

類似度を絶対評価として算出する場合には、分離画像の特徴量と、商品マスタ情報100に記憶された各商品の特徴量とを1対1で比較し、この比較の結果算出される類似度(0〜100%)をそのまま採用すればよい。

0034

また、類似度を相対評価として算出する場合には、各商品との類似度の総和が1.0(100%)となるよう算出する。例えば、商品マスタ情報100として商品A、B、C、Dの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Aに対して類似度が0.65、商品Bに対しては類似度が0.2、商品Cに対しては類似度が0.1、商品Dに対しては類似度が0.05、などのように算出する。

0035

図3に戻り、商品類似度判断部124は、物体の分離画像ごとに、商品類似度演算部123が算出した類似度に基づいて、例えば、対応する商品等に関して次の3択で判断する。
(1)分離画像に対応する商品が一意に決定された。
(2)分離画像に対応する商品の候補が1つ以上存在する。
(3)分離画像に対応する商品が無いと決定する。

0036

この判断のための条件として、例えば、記憶部23は、条件X,Yを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

0037

条件Xは、充足すれば上記(1)と判断するための条件である。条件Xは、例えば、「類似度の一番大きい商品の類似度が90%以上」、かつ、「類似度の一番大きい商品の類似度と、類似度の二番目に大きい商品の類似度の差が20%以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度95%の商品Aで、その次が類似度60%の商品Bであったとする。このとき条件Xを満たすので、分離画像に対応する商品Aは、一意に決定される。

0038

条件Xを満たさない場合、条件Yが用いられる。
条件Yは、充足すれば上記(2)と判断するための条件である。条件Yは、例えば、「類似度60%以上の商品が1つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度80%の商品Aで、二番目が類似度75%の商品Bで、三番目が類似度65%の商品Cで、四番目が類似度55%の商品Dであったとする。このとき条件Yを満たすので、分離画像に対応する候補として類似度60%以上の対象である商品A,B,Cが存在する。

0039

条件X、Yを両方とも満たさない場合、上記(3)と判断する。なお、上記した条件X、Yは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

0040

入力取得部150は、タッチパネル12Bを介してディスプレイ12Aの表示に対応する各種入力操作を受け付ける。例えば、上記(1)または(2)と判断され、商品の候補の1つ以上の画像がディスプレイ12Aに表示された場合、オペレータによるタッチパネル12Bを用いた商品選択タッチ入力操作を受け付ける。なお、商品の確定は、入力取得部150を介して、オペレータによる入力操作を受け付けることにより行われてもよい。

0041

販売情報登録部160は、入力取得部150により確定された商品や販売関連情報について、記憶部23内の商品販売登録情報400に登録を行う。図6は、本発明の実施形態に係る商品販売登録情報400のデータ構成例を示す図である。図6に示すように、商品販売登録情報400には、販売ID、販売時刻、商品ID、商品名、単価(定価)、値引き額、個数、売上金額客層情報などが登録される。
ここで、販売情報登録部160は、販売IDおよび販売時刻に対応付けて、販売が確定された商品について、商品マスタ情報100を参照し、商品ID、商品名、単価(定価)を取得して登録する。そして、販売情報登録部160は、確定された商品毎の販売個数に基づき、売上金額を計算して登録する。

0042

情報出力部170は、撮影装置15で撮影された撮影画像や、前記のようにして認識された商品の商品名、単価等を顧客用ディスプレイ11、ディスプレイ12Aに表示し、また、プリンタ14に出力する。ここで、情報出力部170は、オペレータ用情報出力部171と、顧客用情報出力部172とを有する。
オペレータ用情報出力部171は、商品検出部122が検出した商品の情報(商品の識別情報や単価等)をオペレータが使用するディスプレイ12Aに表示する。オペレータ用情報出力部171がこれらの情報を表示するタイミングは特に限定されずに、例えば、各々の商品が認識されたタイミングで各商品を表示してもよいし、または、すべての商品の認識が完了した時点ですべての商品を表示してもよい。

0043

顧客用情報出力部172は、商品検出部122が検出した商品の情報(商品の識別情報や単価等)を、予め決められた所定の時間間隔で顧客用ディスプレイ11に表示する。また、顧客用情報出力部172は、すべての商品の表示が終了した時点で商品の表示が終了したことを示す情報をオペレータが使用するディスプレイ12Aに表示するのがよい。顧客用情報出力部172は、すべての商品の表示が終了する前の時点で商品の表示を行っている最中であることを示す情報(例えば、砂時計のマークのような処理中を示す画像)をオペレータが使用するディスプレイ12Aに表示してもよい。図7を参照して、認識された商品を顧客用情報出力部172が顧客用ディスプレイ11に表示するタイミングについて説明する。

0044

図7(a)は、オブジェクト認識処理部120が商品を認識するタイミングの例示であり、ここでは、商品A〜Eの5つの商品を「商品A→商品B→商品C→商品D→商品E」の順番に認識している。商品を認識するタイミングは、例えば、(1)分離画像に対応する商品が一意に決定されたときにはその時点、また、分離画像に対応する商品の候補が1つ以上存在するときには、オペレータによるタッチパネル12Bを用いた商品選択のタッチ入力操作を受け付けた時点である。図7(a)では、オブジェクト認識処理部120が、商品の認識処理を開始してから時間tA後に商品Aを認識し、商品Aの認識から時間tB後に商品Bを認識し、商品Bの認識から時間tC後に商品Cを認識し、商品Cの認識から時間tD後に商品Dを認識し、商品Dの認識から時間tE後に商品Eを認識している。

0045

図7(b)〜(d)は、顧客用情報出力部172が商品を顧客用ディスプレイ11に表示するタイミングの例示であり、ここでは、商品A〜Eの5つの商品を「商品A→商品B→商品C→商品D→商品E」の順番に表示している。ここで、商品を表示するタイミングは、商品が認識した時刻よりも遅く、かつ、顧客が認識された商品の確認作業を行い易い所定の時間間隔にするのがよい。商品を表示するタイミングは、例えば、実験により最適な時間間隔を導き出しておき、図示しないタイマを用いて管理してもよい。

0046

なお、表示する商品の順番は、特に限定されない。例えば、商品を認識した順番に合わせてもよいし、また、同一種類の商品を認識済みの場合には、同一商品の表示が連続するようにしてもよい。後者の場合、同一種類の商品を表示する時間間隔は、他の商品を表示する時間間隔よりも短くしてもよいし、同時に表示してもかまわない。

0047

図7(b)では、顧客用情報出力部172が、商品を等間隔(同じ時間間隔)で表示する場合を示している。つまり、ここでは、顧客用情報出力部172が、商品の認識処理を開始してから時間TA後に商品Aを表示し、商品Aの表示から時間TB後に商品Bを表示し、商品Bの表示から時間TC後に商品Cを表示し、商品Cの表示から時間tD後に商品Dを表示し、商品Dの表示から時間tE後に商品Eを表示しており、商品を表示する時間間隔はすべて同じである(TA=TB=TC=TD=TE)。

0048

図7(c)では、顧客用情報出力部172が、商品を徐々に短い時間間隔で表示する場合を示している。つまり、ここでは、顧客用情報出力部172が、商品の認識処理を開始してから時間TA後に商品Aを表示し、商品Aの表示から時間TB後に商品Bを表示し、商品Bの表示から時間TC後に商品Cを表示し、商品Cの表示から時間tD後に商品Dを表示し、商品Dの表示から時間tE後に商品Eを表示しており、商品を表示する時間間隔は徐々に短くなっている(TA>TB>TC>TD>TE)。

0049

図7(d)では、顧客用情報出力部172が、商品を徐々に長い時間間隔で表示する場合を示している。つまり、ここでは、顧客用情報出力部172が、商品の認識処理を開始してから時間TA後に商品Aを表示し、商品Aの表示から時間TB後に商品Bを表示し、商品Bの表示から時間TC後に商品Cを表示し、商品Cの表示から時間tD後に商品Dを表示し、商品Dの表示から時間tE後に商品Eを表示しており、商品を表示する時間間隔は徐々に長くなっている(TA<TB<TC<TD<TE)。

0050

次に、図8および図9を参照して、顧客用情報出力部172が顧客用ディスプレイ11に表示する顧客用表示画面900について説明する。顧客用表示画面900は、撮影画像表示部910と、商品情報表示部920とからなる。撮影画像表示部910には、撮影装置15で撮影された撮影画像が表示される。商品情報表示部920には、撮影画像表示部910に表示される商品の情報がリスト(認識結果リスト)として表示される。
ここでは、商品「カレーパン」、「メロンパン」、「あんパン」の三つの商品の登録を行う場合を想定して説明する。これらの商品は、オブジェクト認識処理部120によって「カレーパン」→「メロンパン」→「あんパン」の順番に認識されるものとする。

0051

顧客用情報出力部172は、商品「カレーパン」が認識された後に、図8(a)に示すように、撮影画像表示部910に表示される商品「カレーパン」の画像を強調して表示する。また、顧客用情報出力部172は、商品「カレーパン」の名称および単価を撮影画像表示部910ならびに商品情報表示部920に表示する。この際に、撮影画像表示部910に表示される商品「カレーパン」の画像と商品情報表示部920に表示される商品「カレーパン」の領域とを矢印等で関連付けるのがよい。これにより、顧客は、商品「カレーパン」が認識されたことを一目で理解できるので、確認作業が容易となる。これで、一つ目の商品「カレーパン」の顧客用表示処理が終了する。

0052

続いて、顧客用情報出力部172は、商品「メロンパン」が認識された後であり、かつ一つ目の商品「カレーパン」を表示してから所定時間が経過した後に、図8(b)に示すように、撮影画像表示部910に表示される商品「メロンパン」の画像を強調して表示する。また、顧客用情報出力部172は、商品「メロンパン」の名称および単価を撮影画像表示部910ならびに商品情報表示部920に表示する。この際に、撮影画像表示部910に表示される商品「メロンパン」の画像と商品情報表示部920に表示される商品「メロンパン」の領域とを矢印等で関連付けるのがよい。顧客の確認作業が容易にするためである。これで、二つ目の商品「メロンパン」の顧客用表示処理が終了する。なお、撮影画像表示部910への商品の名称および単価の表示は、画面が煩雑になってしまう場合等には行わなくてもよい。

0053

続いて、顧客用情報出力部172は、商品「あんパン」が認識された後であり、かつ二つ目の商品「メロンパン」を表示してから所定時間が経過した後に、図9(a)に示すように、撮影画像表示部910に表示される商品「あんパン」の画像を強調して表示する。また、顧客用情報出力部172は、商品「あんパン」の名称および単価を撮影画像表示部910ならびに商品情報表示部920に表示する。この際に、撮影画像表示部910に表示される商品「あんパン」の画像と撮影画像表示部910に表示される商品「あんパン」の領域とを矢印等で関連付けるのがよい。顧客の確認作業が容易にするためである。これで、三つ目の商品「あんパン」の顧客用表示処理が終了する。

0054

続いて、顧客用情報出力部172は、消費税の金額および合計金額を商品情報表示部920に表示する。そして、顧客用情報出力部172は、すべての商品の表示が終了したことをオペレータが使用するディスプレイ12Aに表示する。これによって、オペレータは、顧客が商品の確認作業を完了したと判断できるので、顧客に対して会計作業依頼するタイミングを知ることができる。

0055

<実施形態に係る商品登録装置の動作>
次に、商品登録装置1を用いた商品登録処理について説明する。図10は、本発明の実施形態に係る商品登録装置1の商品登録処理の流れを示すフローチャートである。
商品登録装置1は、撮影台16の撮影領域151を撮影装置15によって、常時撮影し続ける。または、顧客がトレー3を撮影台16に載せ、オペレータがタッチディスプレイ12上の撮影ボタンタッチすることにより、商品登録装置1の処理部10が撮影装置15からの画像を取り込み、一連の処理を開始する。

0056

先ず、処理部10は、撮影装置15からの画像のキャプチャを開始する(ステップS10)。画像記憶部110は、撮影装置15が撮影したフレーム画像(撮影画像)をRAM21に記憶する。
次に、オブジェクト認識処理部120は、画像記憶部110が記憶したフレーム画像に対して、オブジェクト認識処理を行う。具体的には、オブジェクト認識処理部120の物体領域判定部121が、撮影画像上のオブジェクト(商品)を背景から分離することで、物体認識画像(分離画像)を生成する(ステップS11)。

0057

次に、商品検出部122は、物体領域判定部121から取得したオブジェクト(物体認識画像)ごとに次のステップS12〜S15の処理を繰り返す。
まず、商品検出部122の商品類似度演算部123は、取得した物体認識画像(分離画像)について、形状、大きさ、色合い等の特徴量を演算し、記憶部23内の商品マスタ情報100(図5参照)と比較することにより類似度を算出する(ステップS13)。

0058

続いて、商品検出部122の商品類似度判断部124は、商品類似度演算部123が算出した類似度に基づいて、物体認識画像(分離画像)に対応する商品を検出する(ステップS14)。ここで、対応する商品が複数検出された場合には、その候補の商品の画像をディスプレイ12Aや顧客用ディスプレイ11に表示し、入力取得部150が、オペレータによるタッチパネル12Bを用いた商品選択のタッチ入力操作を受け付けることにより、商品を選択する。

0059

そして、商品検出部122は、物体領域判定部121から取得した物体認識画像(分離画像)のすべてについて処理を繰り返したかを判断する(ステップS15)。商品検出部122は、取得したすべての物体認識画像(分離画像)について処理を繰り返していなかったならば、ステップS12の処理に戻り、取得したすべての物体認識画像(分離画像)について処理を繰り返したならば、ステップS16に進む。
ステップS16において、オペレータ用情報出力部171は、商品検出部122が検出した商品の情報(商品の識別情報や単価、個数、合計金額等)を、ディスプレイ12Aに表示する。

0060

続いて、処理部10は、会計内容が確定されたか否かを判断する(ステップS17)。そして、会計内容が確定されていないと処理部10が判断したならば(ステップS17→No)、ステップS10に戻り処理を続ける。一方、会計内容が確定したと判断したならば(ステップS17→Yes)、次のステップS18に進む。
ステップS18において、販売情報登録部160は、確定された商品の情報と販売関連情報について、記憶部23内の商品販売登録情報400(図12参照)に登録を行い、処理を終了する。

0061

次に、商品登録装置1を用いた顧客用表示画面の表示処理ついて説明する。図11は、本発明の実施形態に係る商品登録装置1の顧客用表示画面の表示処理の流れを示すフローチャートである。
図11に示す処理は、図10で示した商品登録処理と並行して行われる。この一連の処理は、例えば、商品検出部122によるステップS12〜S15の処理が開始されるのと同時に開始される。

0062

先ず、顧客用情報出力部172は、顧客用ディスプレイ11に開始画面を表示する(ステップS31)。開始画面の構成は、特に限定されるものではなく、様々な構成であってよい。例えば、認識した商品が順番に表示されることを顧客に説明する文章を表示してもよいし、何れの商品も認識していない状態の顧客用表示画面900(図8参照)を表示してもよい。

0063

次に、顧客用情報出力部172は、開始画面の表示から所定時間だけ待機する(ステップS32)。待機する時間は、図7で説明した顧客が認識された商品の確認作業を行い易い時間間隔であるのがよい。
所定時間が経過した後、顧客用情報出力部172は、商品の認識結果を顧客用表示画面900に画像として表示する(ステップS33)。具体的には、顧客用情報出力部172は、撮影画像表示部910に表示される商品の中から商品検出部122の処理により認識された商品の画像を強調して表示する(図8参照)。また、顧客用情報出力部172は、商品の認識結果を顧客用表示画面900にリスト(認識結果リスト)として表示する(ステップS34)。具体的には、顧客用情報出力部172は、認識した商品の名称および単価を商品情報表示部920に表示する(図8参照)。なお、ステップS33およびステップS34の処理は、同時に行ってもよい。そして、顧客用情報出力部172は、現在までの小計金額を顧客用表示画面900の商品情報表示部920に表示する(ステップS35)。

0064

次に、顧客用情報出力部172は、すべての商品の表示が終了したか否かを判断する(ステップS36)。顧客用情報出力部172は、すべての商品の表示が終了していなかったならば、ステップS32の処理に戻り、商品検出部122の処理により次に認識された商品の顧客用ディスプレイ11への表示を行う。一方、すべての商品の表示が終了したならば、ステップS37に進む。
ステップS37において、顧客用情報出力部172は、顧客用表示画面900の商品情報表示部920に合計金額を表示する(ステップS37)。

0065

以上のように、実施形態に係る商品登録装置1は、顧客が商品の確認作業を行い易い時間間隔で顧客用ディスプレイ11に商品の認識結果を表示する。したがって、実施形態に係る商品登録装置1では、顧客が余裕を持って商品の確認作業を行える。
また、実施形態に係る商品登録装置1では、すべての商品の認識処理が終了する前に順番に商品の認識結果を表示する。したがって、顧客が待たされていると感じることなく商品を順番に確認することができるので、すべての商品を認識する実際の処理時間に対して顧客が直感的に感じる認識処理に要する体感速度も向上する。
これにより、実施形態に係る商品登録装置1は、顧客が商品登録処理に感じる負担感(ストレス)を低減できる。

0066

[変形例]
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。各実施形態の変形例を以下に示す。

0067

実施形態では、オブジェクト認識処理部120が一般物体認識技術を用いて撮影画像中に含まれる商品を認識していたが、商品を認識する方法はこれに限定されるものではない。例えば、複数の商品のバーコードを撮影し、撮影画像中のバーコードを読み取ることで商品を認識してもよい。また、RFID(Radio Frequency Identification)技術を用いて、商品に取り付けられたRFタグからID(Identification)情報を電波電磁波)によって同時に読み取り、読み取った情報から商品を認識してもよい。

0068

また、実施形態では、トレー3上の複数の商品を撮影装置15によって上方から撮影することで、商品認識の基になる商品情報を同時に取得していた。しかしながら、商品情報を取得するタイミングはこれに限定されるものではない。例えば、撮影装置15の撮影領域内にオペレータが商品を一つずつ運び入れることにより、商品の情報を手操作で順次取得するようにしてもよい。この場合でも、実施形態で説明した通りに、商品を認識する処理時間に拘わらず、顧客(人間)が確認作業を行い易い時間間隔で商品の認識結果を顧客用ディスプレイ11に表示する。

0069

また、実施形態では、顧客用ディスプレイ11に商品の認識結果を表示するタイミングを予め決定していたが、これに限定されるものではない。例えば、すべての商品を認識するまでの時間を商品数等から予測し、予測した時間を商品数で割る等して各商品の認識結果を表示する時刻を決定してもよい。また、顧客の特徴(例えば、年齢)に応じて商品の認識結果を表示するタイミングを調整してもよい。例えば、10〜30の顧客に比べて30〜50歳の顧客の時間間隔を長くし、50歳以上の顧客の時間間隔をさらに長くするようにしてもよい。

0070

また、実施形態では、顧客用ディスプレイ11に商品を表示することを想定していたが、他の手段で商品の認識結果を伝えてもよい。例えば、音声を用いて商品の認識結果を顧客に伝えてもよい。

0071

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
商取引における商品の登録を行う商品登録装置であって、
同時に取得した情報から複数の商品を認識する商品認識処理手段と、
前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力手段と、
を備えることを特徴とする商品登録装置。
<請求項2>
商取引における商品を認識して商品登録を行う商品登録装置であって、
複数の商品から取得した情報に基づいて、その複数の商品を順次認識処理する商品認識処理手段と、
前記商品認識処理手段で認識処理された前記複数の商品の認識結果を、その各商品の認識処理の処理時間に拘わらず、顧客が識別可能な所定の時間間隔で順番に出力手段に出力する認識結果出力手段と、
を備えることを特徴とする商品登録装置。
<請求項3>
前記認識結果出力手段は、
前記複数の商品の認識結果を一定の時間間隔で出力するか、前記複数の商品の認識結果を徐々に短い時間間隔で出力するか、または前記複数の商品の認識結果を徐々に長い時間間隔で出力する、
ことを特徴とする請求項1または請求項2に記載の商品登録装置。
<請求項4>
前記出力手段は、前記複数の商品を撮影した撮影画像および各商品の認識結果をまとめた認識結果リストを並べて表示する表示手段であって、
前記認識結果出力手段は、
前記表示手段に表示される撮影画像の各商品に対してそれぞれの認識処理が終了したことを表示すると共に、当該商品の認識結果を前記撮影画像に関連付けて前記認識結果リストに表示する、
ことを特徴とする請求項1ないし請求項3の何れか一項に記載の商品登録装置。
<請求項5>
前記複数の商品のうち何れかの商品の認識が完了した時点で、当該商品の認識結果を他の出力手段に出力する他の認識結果出力手段をさらに備える、
ことを特徴とする請求項1ないし請求項4の何れか一項に記載の商品登録装置。
<請求項6>
前記認識結果出力手段は、
前記複数の商品の認識結果の出力が完了したこと、または、前記複数の商品の認識結果の出力を行っている最中であることの何れか一方を示す情報を前記他の出力手段に出力する、
ことを特徴とする請求項5に記載の商品登録装置。
<請求項7>
商取引における商品の登録を行う商品登録装置の商品登録方法であって、
同時に取得した情報から複数の商品を認識する商品認識ステップ、
前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、
ことを特徴とする商品登録方法。
<請求項8>
商取引における商品を認識して商品登録を行う商品登録装置の商品登録方法であって、
複数の商品から取得した情報に基づいて、その複数の商品を順次認識処理する商品認識ステップ、
認識処理された前記複数の商品の認識結果を、その各商品の認識処理の処理時間に拘わらず、顧客が識別可能な所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、
ことを特徴とする商品登録方法。

0072

1商品登録装置
11顧客用ディスプレイ(出力手段)
12タッチディスプレイ(他の出力手段)
120オブジェクト認識処理部(商品認識処理手段)
170情報出力部
171オペレータ用情報出力部(他の認識結果出力手段)
172顧客用情報出力部(認識結果出力手段)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ