図面 (/)

技術 商品注文装置、商品注文方法、商品価格出力装置および商品価格出力方法

出願人 カシオ計算機株式会社
発明者 勝村典嘉
出願日 2014年12月1日 (4年9ヶ月経過) 出願番号 2014-242913
公開日 2016年6月9日 (3年3ヶ月経過) 公開番号 2016-105228
状態 特許登録済
技術分野 特定用途計算機 金銭登録機・受付機 イメージ分析
主要キーワード セルフ方式 各入出力回路 出来たて 類似度判断 ハンバーガ オブジェクト認識処理 ミルク容器 割り箸
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年6月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

任意の商品を自動でキッチン等に注文する。

解決手段

商品注文装置1は、商品と共に顧客に提供される副提供物ごとに、この副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶部と、撮影装置12によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、これに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するCPUとを備える。

概要

背景

セルフ方式のうどん屋において顧客は、トングを用いて陳列台から所望のちくわ天ぷらなどを取ってトレー上の皿に載せて、POS端末レジ)で代金精算を受ける。ここでPOSとは、販売時点情報管理(Point Of Sale system)の略称である。このようなうどん屋では、ちくわや天ぷらなどの調理品は、陳列台にそのまま陳列することが多い。これにより、出来たての調理品をそのまま味や食感を落とすことなしに顧客に提供でき、かつ皿に載せる工数を省略することができる。その反面、調理品を皿に載せないことによりこの調理品を電子的に管理することが困難であるという問題がある。

調理品の種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。うどん屋の店員は、トレー上の調理品の種類を正確に見分けて手作業でPOS端末に入力する必要がある。よって、店員に対する所定の訓練期間が必要であった。
このため近年では、トレー上の食品カメラ撮影し、この画像情報からトレー上の食品の種類と数量とを自動認識して、商品登録を自動化するPOS端末が出現している。これにより、店員の訓練期間を短縮することができる。

特許文献1の課題には、「画像認識によりパンの種類を正確に識別する。」と記載され、構成には、「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」と記載されている。

概要

任意の商品を自動でキッチン等に注文する。商品注文装置1は、商品と共に顧客に提供される副提供物ごとに、この副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶部と、撮影装置12によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、これに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するCPUとを備える。

目的

本発明は、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置および商品価格出力方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、を備えたことを特徴とする商品注文装置

請求項2

前記制御手段は、副提供物を認識した場合に、該認識してから所定時間の経過後に前記商品の注文情報を出力する、ことを特徴とする請求項1に記載の商品注文装置。

請求項3

前記注文情報を出力するまでの時間をカウントダウン表示する表示手段を備えた、ことを特徴とする請求項2に記載に記載の商品注文装置。

請求項4

商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、を有することを特徴とする商品注文方法。

請求項5

商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格を出力する制御手段と、を備えたことを特徴とする商品価格出力装置

請求項6

商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、を有することを特徴とする商品価格出力方法

技術分野

0001

本発明は、オブジェクト認識を利用した商品注文装置商品注文方法、商品価格出力装置および商品価格出力方法に関する。

背景技術

0002

セルフ方式のうどん屋において顧客は、トングを用いて陳列台から所望のちくわ天ぷらなどを取ってトレー上の皿に載せて、POS端末レジ)で代金精算を受ける。ここでPOSとは、販売時点情報管理(Point Of Sale system)の略称である。このようなうどん屋では、ちくわや天ぷらなどの調理品は、陳列台にそのまま陳列することが多い。これにより、出来たての調理品をそのまま味や食感を落とすことなしに顧客に提供でき、かつ皿に載せる工数を省略することができる。その反面、調理品を皿に載せないことによりこの調理品を電子的に管理することが困難であるという問題がある。

0003

調理品の種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。うどん屋の店員は、トレー上の調理品の種類を正確に見分けて手作業でPOS端末に入力する必要がある。よって、店員に対する所定の訓練期間が必要であった。
このため近年では、トレー上の食品カメラ撮影し、この画像情報からトレー上の食品の種類と数量とを自動認識して、商品登録を自動化するPOS端末が出現している。これにより、店員の訓練期間を短縮することができる。

0004

特許文献1の課題には、「画像認識によりパンの種類を正確に識別する。」と記載され、構成には、「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」と記載されている。

先行技術

0005

特開2011−170745号公報

発明が解決しようとする課題

0006

うどん屋は、顧客が店内で飲食できるように構成されている。そのような店舗において顧客は、トングを用いて調理品の陳列台から所望の調理品をトレーに取り、店員に飲み物注文する。このとき店員は、顧客が要求する飲み物をキッチンバックヤード等に注文(オーダ)して、この飲み物を作成させると共に、これを売上登録することが必要である。

0007

飲み物は液体であり、それ自体では固有の形態を有さない。また、飲み物の容器は、商品の種類によらず共通のものが提供される。よって、飲み物またはその容器の外観によって、商品の種類を識別することは困難である。また、カメラで撮影する際に、所定の高さを有する飲み物の容器は、背の低い調理品と共にフォーカスできず、明瞭に撮影できない虞がある。更に飲み物をオブジェクト認識して売上登録する場合でも、この飲み物をキッチンやバックヤード等に注文する手間を省くことはできない。

0008

そこで、本発明は、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置および商品価格出力方法を提供することを課題とする。

課題を解決するための手段

0009

本発明は、上記目的を達成するため、
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置である。

0010

上記目的を達成するため、
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法である。

0011

上記目的を達成するため、
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置である。

0012

上記目的を達成するため、
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法である。

発明の効果

0013

本発明によれば、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置および商品価格出力方法を提供することが可能となる。

図面の簡単な説明

0014

本実施形態における商品注文装置を示す斜視図である。
商品注文装置を示す概略の構成図である。
商品注文装置を示す論理ブロック図である。
画面遷移の例を示す図である。
商品注文装置の動作を示すアクティビティ図である。
オブジェクト認識用データの一例を示す図である。
商品内容データの一例を示す図である。
商品等の認識処理を示すフローチャートである。
商品等の登録処理を示すシーケンス図である。

実施例

0015

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、複数の図面において、同一の要素には同一の符号を付与し、重複する説明を適宜省略する。
図1は、本実施形態における商品注文装置1−1,1−2を示す斜視図である。
図1に示すように、商品注文装置1−1は、顧客用ディスプレイ11と、撮影装置12と、照明装置13とを備えており、店舗のレーン15に設置される。商品注文装置1−2も、商品注文装置1−1と同様に構成され、レーン15に設置される。以下、商品注文装置1−1,1−2を特に区別しないときには、単に商品注文装置1と記載する。なお、店員は、接客するにあたりレーン15の図面奥側に立つ。顧客は、レーン15の図面手前側の左端付近立ち、レーン15にトレー3を載せて左から右に移動する。
レーン15には、複数種類コースター5aが置かれ、その右側には、商品注文装置1−1が設置されている。このコースター5aまたはその近傍には、このコースター5aと共に顧客が提供を受けるコーヒーとその種別が記載されている。この商品注文装置1−1は、顧客によってトレー3に置かれたコースター5aを認識して、このコースター5aに対応する飲み物を注文する。
商品注文装置1−1の右側にはストロー5bが置かれ、更にその右側には、商品注文装置1−2が設置されている。このストロー5bまたはその近傍には、このストロー5bと共に顧客が提供を受けるジュースとその種別が記載されている。この商品注文装置1−2は、顧客によってトレー3に置かれたストロー5bを認識して、このストロー5bに対応する飲み物を注文する。なお、商品注文装置1−2は、ストロー5bを認識するが、コースター5aを認識せず、これに対応するコーヒーの注文を出力しない。これにより、下流側の商品注文装置1−2は、重ねて同一の飲み物を注文しないように動作する。
本実施形態のコースター5aに対応するコーヒーは、ストロー5bに対応するジュースよりも作成期間が長い。よって、作成期間が相対的に長いコーヒーに対して、より多くの準備期間割り当てることができる。これにより、商品登録システム7(図2参照)は、顧客を待たせることが少なくなり、より多くの顧客の注文を受けることが可能となる。
商品注文装置1は、飲料の注文情報を受けると、キッチンに設置されたキッチンプリンタ4(図2参照)により注文を印刷する。この動作については、後記する図4から図9で詳細に説明する。

0016

顧客用ディスプレイ11は、例えば液晶表示装置であり、顧客側である図面手前側を向いている。顧客用ディスプレイ11は、顧客に対して取扱商品に関する情報(商品名、金額等)を表示する。

0017

撮影装置12は、レーン15に置かれたトレー3、および、トレー3の上の取扱商品または/および副提供物を真上から撮影する。副提供物とは、例えばコースター5a、ストロー5b、割り箸5c(図4参照)、スプーンフォークナイフ砂糖袋、ガムシロップ容器、ミルク容器ナプキン等であり、取扱商品に付随して顧客に提供するものである。以下、取扱商品と副提供物のことを、「取扱商品等」と記載する場合がある。撮影領域121は、撮影装置12によって撮影可能なレーン15上の領域である。
照明装置13は、例えばLED(Light Emitting Diode)光源であり、撮影装置12に隣接して設置される。照明装置13は、レーン15に置かれたトレー3、および、トレー3の上の取扱商品または/および副提供物に真上から照らす。これにより、撮影装置12は、トレー3の上の取扱商品等をより鮮明に撮影することができる。撮影装置12が撮影する際、トレー3上のコースター5aには、照明装置13の照明光照射される。このトレー3の色は白色または淡色とすることが望ましい。更にトレー3は、その上面に微細マット加工を付すことが望ましい。これにより、照明光や環境光反射を抑止することができる。
顧客は、トレー3に副提供物であるコースター5aを載せて、このトレー3を滑らせて撮影領域121に移動させる。図1の例では1枚のコースター5aがトレー3の上に載せられている。店員は、商品注文装置1−2よりも右側でPOS端末2(図2参照)を操作している。店員は、POS端末2により顧客の注文を精算すると共に、取扱商品である飲み物をキッチンから受け取ってコースター5aの上に載せる。

0018

商品注文装置1は、撮影装置12によって撮影された画像を処理することで、トレー3の上の取扱商品を特定する。商品注文装置1は更に、コースター5a、ストロー5b、スプーン、、砂糖袋、ガムシロップ容器、ミルク容器等の副提供物に基づいて、飲み物の種類を判定し、判定した飲み物(取扱商品)のオーダ情報をキッチンプリンタ4により印刷する。これにより、商品注文装置1は、外部であるキッチン側に飲み物のオーダを通知することができる。商品注文装置1は更に、外部であるPOS端末2に、飲み物の商品名、個数、価格等の情報を送信し、この飲み物を売上登録させる。即ち、商品注文装置1は、取扱商品の価格情報を出力する商品価格出力装置として機能する。

0019

図2は、商品注文装置1−1,1−2と、これらを含む商品登録システム7とを示す概略の構成図である。
商品注文装置1−1は、図1で示した構成以外に、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、記憶部104と、通信部14とを備えている。各構成は、内部バス各入出力回路(不図示)を介して互いに通信可能に接続されている。商品注文装置1−1は、ネットワークを介してキッチンプリンタ4とPOS端末2とに接続されている。商品注文装置1−2も同様に、ネットワークを介してキッチンプリンタ4とPOS端末2とに接続されている。

0020

CPU101は、中央制御装置であり、商品注文装置1全体の制御を司る制御手段である。
RAM102は、CPU101によって使用される一時記憶手段であり、CPU101が実行するプログラムに係る画像データや各種変数等を一時的に記憶する。
ROM103は、不揮発性の記憶手段であり、CPU101によって実行されるプログラム等を記憶する。

0021

顧客用ディスプレイ11は、CPU101によって制御され、顧客に対して取扱商品等の撮影画像や取扱商品の会計に関する情報(商品名、金額等)を表示する表示手段である。

0022

記憶部104は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等によって構成され、各種プログラムや各種ファイルを記憶する記憶手段である。記憶部104に記憶されている各種プログラムや各種ファイルは、商品注文装置1の起動時に、その全部または一部がRAM102にコピーされてCPU101により実行される。この記憶部104には、各種のデータが記憶されている。

0023

撮影装置12は、カラーCCD(Charge Coupled Device)イメージセンサやカラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等から構成される。撮影装置12は、CPU101の制御の下で撮影を行う撮影手段である。撮影装置12は、例えば30fps(frame per second)の動画像の撮影を行う。撮影装置12が所定のフレームレートで順次撮影したフレーム画像(撮影画像)は、RAM102に保存される。

0024

照明装置13は、CPU101の制御の下で、撮影装置12によってトレー3やトレー3の上の取扱商品等を撮影する際に撮影画像がより鮮明になるように、トレー3の上から下向きに光を照射する。これにより、画像処理の精度を高めることができる。照明装置13による光の照射のタイミングは、例えば、撮影装置12の撮影のタイミングに合わせてもよいし、あるいは、常時でもよい。

0025

通信部14は、例えばネットワークインタフェースコントローラであり、キッチンプリンタ4とPOS端末2とに接続されている。CPU101は、この通信部14を介して、オーダ内容をキッチンプリンタ4に印字させ、POS端末2に商品登録させる。
POS端末2は、会計を登録する端末である。POS端末2は、商品注文装置1−1,1−2から取扱商品であるちくわや天ぷら等の識別情報と、飲料の識別情報とを受信し、合計代金等の表示や、販売管理売上実績管理等の演算入出力を実行する。

0026

図3は、商品注文装置1を示す論理ブロック図である。
商品注文装置1のCPU101(図2参照)は、ROM103(図2参照)に格納された不図示のプログラムを実行することにより、処理部8を具現化する。処理部8は、画像記憶部81と、オブジェクト認識処理部82と、確定通知部83と、オーダ印刷部84と、情報出力部85とを含んで構成される。このオブジェクト認識処理部82は、物体検出部821と、類似度演算部822と、類似度判断部823とを備えている。
処理部8は、記憶部104に格納されたオブジェクト認識用データ105と、商品内容データ106と、売上マスタ107とを参照する。処理部8は、撮影装置12によって撮影された物体が取扱商品であるか否かを、物体の画像情報に基づいて認識する。また、処理部8は、撮影装置12によって撮影された物体が副提供物であると認識された場合に、この認識された副提供物に対応づけられて記憶されている取扱商品の注文情報をキッチンプリンタ4(図2参照)などに出力する。
なお、処理部8は、記憶部104に格納されたオブジェクト認識用データ105と、商品内容データ106と、売上マスタ107とを参照する。

0027

オブジェクト認識用データ105は、調理品や副提供物の種類毎にモデル化された特徴量を組み合わせたテンプレート情報等が予め登録されている。即ち、オブジェクト認識用データ105は、店舗に陳列して販売する取扱商品等の各々について、商品名または商品IDと、その取扱商品等の特徴量との関連付けが設定されたデータファイルであり、取扱商品等の認識用の辞書として機能する。オブジェクト認識用データ105には、取扱商品と共に顧客に提供される副提供物ごとに、副提供物またはその組み合わせと共に顧客に提供されることとなる取扱商品が対応づけて記憶されている。
ここで、各商品注文装置1が格納するオブジェクト認識用データ105には、各装置が認識対象とする調理品や副提供物に関する情報が格納される。これにより、各商品注文装置1が対象とする調理品や副提供物のみをそれぞれキッチンに注文するので、商品の注文が重複することがなくなる。

0028

商品内容データ106は、取扱商品の内容情報が設定されたデータファイルである。商品内容データ106には、取扱商品の内容情報として、商品ID(IDentifier)、商品名、単価値引き情報等が設定される。
売上マスタ107は、取扱商品の売上登録を記録するデータファイルであり、顧客に売り上げた商品IDと、これに対応する商品分類、商品名、単価、販売個数等が記録される。
画像記憶部81は、撮影されて撮影装置12が撮影したフレーム画像(カラーデジタル画像)を順次取り込んで記憶する。

0029

物体検出部821は、エッジ検出等の技術を用いて、取り込んだフレーム画像における取扱商品等の候補となる画像を背景から分離する、すなわち識別対象の物体だけを切り出して検出する。具体的にいうと、処理部8は、常に撮影装置12によってレーン15上の撮影領域121を所定周期で撮影する。物体検出部821は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部821は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して画像を各領域に分離して、物体を検出する。

0030

類似度演算部822は、個々の取扱商品等の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部822は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合等の表面の状態を特徴量として演算する。類似度演算部822は更に、各分離画像の特徴量と、オブジェクト認識用データ105に記録された取扱商品等の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ105に記録された取扱商品等との類似度をそれぞれ算出する。
即ち、類似度とは、オブジェクト認識用データ105に記録されている取扱商品等が想定する特徴量を100%の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。つまり類似度は、物体の分離画像と、取扱商品等に想定される基準画像とがどの程度まで類似しているかを示している。なお、類似度演算部822は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

0031

このように、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。下記の井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット評価ベンチマークを行い、更にその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成26年10月31日検索],インターネットCVIM-Yanai.pdf>

0032

また、画像をオブジェクト(物体)ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008.CVPR 2008.IEEE Conference on,[平成26年10月31日検索],インターネット

0033

なお、撮影された商品画像等の特徴量と、オブジェクト認識用データ105に記録された取扱商品の商品画像等の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された商品画像等の特徴量と、オブジェクト認識用データ105に記録された各取扱商品等の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

0034

類似度を絶対評価として算出する場合には、分離画像の特徴量と、オブジェクト認識用データ105として記憶された取扱商品等の特徴量とを1対1で比較し、この比較の結果算出される類似度(0〜100%)をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各取扱商品等との類似度の総和が1.0(100%)となるよう算出する。例えば、オブジェクト認識用データ105として商品A,B、副提供物M,Nの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Aに対して類似度が0.65、商品Bに対しては類似度が0.2、副提供物Mに対しては類似度が0.1、副提供物Nに対しては類似度が0.05、等のように算出する。

0035

類似度判断部823は、物体の分離画像ごとに、類似度演算部822が算出した類似度に基づいて、対応する取扱商品等を一意に決定する。

0036

確定通知部83は、類似度判断部823が取扱商品等を一意に決定した分離画像の物体について、この取扱商品等が一意に確定されたことを、顧客用ディスプレイ11への表示や音声出力等によって顧客に報知する。
より詳細には、確定通知部83は、類似度判断部823が取扱商品等を一意に決定した分離画像を、緑の枠線と共に顧客用ディスプレイ11に表示することで、分離画像に対応した取扱商品等が一意に確定されたことを示す。

0037

オーダ印刷部84は、キッチンプリンタ4に飲み物の注文を印刷させる。これにより顧客は、店員に対して口頭で飲み物の注文を伝えることなしに、キッチンに飲み物の注文情報を伝えることができる。なお、商品注文装置1は、顧客用ディスプレイ11に飲み物が注文された旨を表示するように構成されてもよい。

0038

情報出力部85は、上述のようにして確定された確定商品等の商品IDに基づいて商品内容データ106を参照し、これに対応する商品分類、商品名、単価、販売個数等を取得する。情報出力部85は、取得した情報を顧客用ディスプレイ11に表示すると共に、POS端末2に送信する。

0039

図4(a)〜(c)は、画面遷移の例を示す図である。この画面は、顧客用ディスプレイ11(図1参照)に表示される。

0040

図4(a)は、黒色のコースター5aとちくわ6と割り箸5cを載せたトレー3がレーン15上の撮影領域121に移動されたときの画面の例を示す図である。黒色のコースター5aは、ホットコーヒーと共に顧客に提供する副提供物であり、かつ、このホットコーヒーの注文を示す指標である。
顧客用ディスプレイ11には、撮影装置12によるスルー画が常に表示される。顧客は、トレー3にちくわ6とコースター5aと割り箸5cとを載せて、トレー3を撮影領域121に移動させる。これにより、顧客用ディスプレイ11には、図4(b)の画面が表示される。
この画面では、コースター5aには緑の輪郭が付与され、コースター5aの分離画像に対応した副提供物が一意に確定されたことを示す。コースター5aの上には、これに対応する商品の内容を示す、「ホットコーヒーS・100円」のウインドウ51が表示される。

0041

ちくわ6は、取扱商品そのものである。この画面では、ちくわ6には緑の輪郭が付与され、ちくわ6の分離画像に対応した取扱商品が一意に確定されたことを示す。ちくわ6の上には、これに対応する商品の内容を示す、「ちくわ・180円」のウインドウ61が表示される。
割り箸5cは、取扱商品を示す指標ではない。割り箸5cは、この商品注文装置1の認識対象ではないため、輪郭やウインドウは表示されない。
画面最上部には、「あと5秒でキッチンにオーダします」のメッセージが表示されている。ここで5秒とは、商品の注文情報を出力するまでの時間である。このメッセージは顧客用ディスプレイ11に、リアルタイムカウントダウン表示される。5秒が経過すると、図4(b)の画面に遷移する。

0042

図4(b)は、キッチンに飲み物がオーダされたときの画面の例を示す図である。
図4(b)の例では、トレー3が撮影領域121の右側に移動している。画面最上部には、「キッチンにコーヒーをオーダしました」のメッセージが表示されている。このメッセージは、所定時間の経過後に消去される。こののち顧客は、取扱商品であるコーヒー・Sサイズを店員から受け取る。
商品注文装置1は、所定時間だけトレー3を認識しつづけることにより、この飲み物の注文を確定して、この注文情報をキッチンプリンタ4に印刷する。これにより、商品注文装置1は、非接触で顧客の商品注文を確定することができ、衛生的である。なお、顧客が注文を取り消すときには、所定時間内に、トレー3または黒のコースター5aを商品注文装置1の撮影領域121から外せばよい。これにより、商品注文装置1は、非接触で顧客の商品注文のキャンセル処理が行える。

0043

図5は、商品注文装置1の動作を示すアクティビティ図である。
商品注文装置1は、電源オンされると、モードM10のトレー認識処理に遷移する。
モードM10は、トレー認識処理モードである。このとき商品注文装置1は、撮影装置12による撮影画像にオブジェクト認識処理を行い、新規のトレーを認識する。モードM10においてトレー認識処理が終了すると、商品注文装置1はモードM11に遷移する。
モードM11は、スルー画表示モードである。このとき商品注文装置1は、撮影装置12のスルー画をそのまま顧客用ディスプレイ11に表示し、モードM12に遷移する。具体的にいうと、このスルー画の表示とは、図4(a)に例示した画面である。
モードM12は、スルー画表示モードにおける判断である。このとき商品注文装置1は、撮影画像に新規トレーが検知されたならば、モードM13に遷移し、その他の場合は、モードM10に戻り、トレーの認識処理を繰り返す。

0044

モードM13は、商品等認識処理モードである。このとき商品注文装置1は、撮影装置12による撮影画像にオブジェクト認識処理を行い、取扱商品等を認識する。モードM13において商品等認識処理が終了すると、商品注文装置1はモードM14に遷移する。
モードM14は、認識結果表示モードである。このとき商品注文装置1は、商品等認識処理の結果を顧客用ディスプレイ11に表示する。具体的にいうと、この商品等認識処理の結果の表示とは、図4(a)に例示した画面である。
モードM15は、認識結果表示モードにおける判断である。このとき商品注文装置1は、所定時間が経過したならば、モードM16に遷移し、所定時間内ならば、モードM13に戻り、商品等の認識処理を繰り返す。

0045

モードM16は、所定時間経過後の判断である。このとき商品注文装置1は、コースターなどの指標および取扱商品を検知したならば、モードM17に遷移し、取扱商品のみを検知したならば、モードM18に遷移し、指標を検知していないならば(非検知)、図5の動作を終了する。
モードM17は、キッチンへのオーダ印刷処理モードである。このとき商品注文装置1は、コースター等の指標に対応した取扱商品の注文を、キッチンプリンタ4により印刷する。
モードM18は、POS端末2への通知モードである。このとき商品注文装置1は、撮影装置12で認識した取扱商品の注文と、コースター等の指標に対応した取扱商品の注文とを、POS端末2へ通知する。
モードM19は、オーダ済モードである。このとき商品注文装置1は、オーダした旨を表示する。具体的にいうと、このオーダした旨の表示とは、図4(b)に例示した画面である。モードM19のオーダ済モードが終了すると、図5の動作を終了する。

0046

図6は、オブジェクト認識用データ105の一例を示す図である。
オブジェクト認識用データ105は、取扱商品等に係る特徴量欄105aと、画像リンク欄105bと、種別欄105cと、大きさ欄105dと、商品名欄105eとを含んで構成される。
特徴量欄105aは、この取扱商品等に係る種類毎にモデル化された特徴量を格納する。

0047

画像リンク欄105bは、この取扱商品等に係るリファレンス画像リンクを格納する。特徴量欄105aに格納された特徴量は、このリファレンス画像の形状、色合い、表面の状態等を示す情報である。類似度判断部823は、特徴量欄105aを参照することにより、分離画像に係る物体がどの取扱商品等と類似度が高いかを判断することができる。

0048

種別欄105cは、この取扱商品等が、取扱商品そのものであるか、または取扱商品を指し示す指標であるかの種別を格納する。本実施形態において取扱商品を指し示す指標は、取扱商品に付随して顧客に提供される副提供物であり、コースター、ストロー、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器、ナプキン等である。

0049

大きさ欄105dは、この取扱商品等のサイズ情報を格納する。確定通知部83は、この大きさ欄105dを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の大きさに応じて、それぞれ異なるサイズの取扱商品や、異なる種類の商品をキッチンに注文することが可能となる。

0050

商品名欄105eは、この取扱商品等の商品名を格納する。種別欄105cに「商品」が格納されているとき、商品名欄105eには、取扱商品の商品名が格納される。種別欄105cに「指標」が格納されているとき、商品名欄105eには、この指標に対応する商品名が格納される。確定通知部83は、一意に確定した取扱商品等に係る種別欄105cが「指標」であるとき、副提供物であると判断し、キッチンプリンタ4に前記した指標に対応する商品名欄105eの注文を印刷させる。

0051

図7は、商品内容データ106の一例を示す図である。
商品内容データ106には、商品名欄106aと、商品画像リンク欄106bと、単価欄106cとを含んで構成される。なお、商品内容データ106は、これらの欄に限定されず、値引き情報など取扱商品に係る任意の情報欄を含んでもよい。
商品名欄106aには、取扱商品の商品名が格納される。
商品画像リンク欄106bには、取扱商品の画像リンクが格納される。
単価欄106cには、取扱商品の単価が格納される。商品注文装置1の確定通知部83は、この単価欄106cを参照して、顧客用ディスプレイ11に単価を表示する。

0052

図8は、商品等認識処理を示すフローチャートである。適宜、図1から図3を参照して説明する。
顧客がトレー3をレーン15に載せて、撮影領域121に移動させると、処理部8はこのトレー3を認識して一連の処理を開始する。
ステップS30において、処理部8は、タイマを設定する。このタイマは、トレー3を認識してから、トレー3上のコースター等に対応した飲み物を決定してキッチンに注文するまでの時間を測定するものである。このタイマの値は、後記するステップS41の処理で参照される。
ステップS31において、処理部8は、撮影装置12に撮影オン信号を出力して商品画像のキャプチャ(撮影)を開始する。画像記憶部81は、撮影装置12が撮影したフレーム画像(撮影画像)をRAM102に記憶する。
ステップS32において、オブジェクト認識処理部82は、画像記憶部81が記憶したフレーム画像に対して、一連のオブジェクト認識処理を行う。この処理において、物体検出部821は、取扱商品等である物体の分離画像の認識(検出)を試みる。類似度演算部822は、検出した分離画像から特徴量を読み取る。更に類似度判断部823が、特徴量の類似度が所定閾値以上となる取扱商品等がオブジェクト認識用データ105に存在するか否かを判定する。

0053

具体的にいうと、トレー3にちくわと黒コースターとが載っているとき、物体検出部821は、ちくわの分離画像と黒コースターの分離画像とを検出する。類似度演算部822は、ちくわの分離画像と黒コースターの分離画像とから、それぞれの特徴量を読み取る。類似度判断部823は、ちくわの分離画像の特徴量に基づいてオブジェクト認識用データ105を検索することにより、即ち、ちくわの分離画像の特徴量とオブジェクト認識用データ105の各特徴量との類似度を判定することにより、このオブジェクトがちくわであると判定する。更に類似度判断部823は、黒コースターの分離画像の特徴量に基づいてオブジェクト認識用データ105を検索することにより、即ち、黒コースターの分離画像の特徴量とオブジェクト認識用データ105の各特徴量との類似度を判定することにより、このオブジェクトが黒コースターであると判定する。

0054

ステップS33〜S39において、処理部8は、認識したオブジェクトについて処理を繰り返す。この繰り返し処理により、キッチンプリンタ4への注文とPOS端末2の商品登録が行われる。
ステップS34において、類似度判断部823は、このオブジェクトがトレー上に新たに載置された指標であるか否かを判断する。類似度判断部823は、このオブジェクトが新たに載置された指標であったならば(Yes)、ステップS35の処理に進み、このオブジェクトが新たに載置された指標でなかったならば(No)、ステップS37の処理に進む。具体的にいうと、商品注文装置1が商品等認識処理を繰り返し実行しているときに、顧客が新たな副提供物をトレー上に載せたならば、ステップS35,S36の処理が1回だけ行われる。ここで指標とは、認識した副提供物のことをいう。

0055

ステップS36において、類似度判断部823は、オブジェクト認識用データ105(図6参照)を検索して商品名や商品ID(不図示)を決定し、商品内容データ106を検索してこの商品の商品単価を決定する。これにより、商品注文装置1は、この取扱商品を確定することができる。

0056

ステップS37において、類似度判断部823は、このオブジェクトがトレー上に新たに載置された取扱商品であるか否かを判断する。類似度判断部823は、このオブジェクトが新たに載置された取扱商品であったならば(Yes)、ステップS38の処理に進み、このオブジェクトが新たに載置された取扱商品でなかったならば(No)、ステップS39の処理に進む。
ステップS38において、類似度判断部823は、オブジェクト認識用データ105を検索して取扱商品を特定し、商品内容データ106を検索してこの取扱商品の商品単価を決定する。

0057

ステップS39において、処理部8は、認識した全オブジェクトについて処理を繰り返したか判断する。処理部8は、認識した全オブジェクトについて処理を繰り返していなかったならば(No)、ステップS33の処理に戻り、認識した全オブジェクトについて処理を繰り返したならば(Yes)、ステップS40の処理に進む。
ステップS40において、確定通知部83は、顧客用ディスプレイ11に商品名と単価とを表示する。このとき商品注文装置1は、商品の価格を出力する商品価格出力装置として機能する。
ステップS41において、処理部8は、ステップS30の処理から所定時間が経過したか否かを判断する。処理部8は、所定時間が経過していないと判断したならば(No)、ステップS31の処理に戻り、所定時間が経過したと判断したならば(Yes)、図8の処理を終了する。
このように処理することにより、商品注文装置1は、顧客がトレー3上にコースター5a等の副提供物を載せて、このトレー3を撮影領域121に移動させることにより、この副提供物が指し示す飲み物の注文情報を確定させることができる。確定した注文情報は、キッチンプリンタ4により印刷される。

0058

図9は、商品等の登録処理を示すシーケンス図である。
顧客がトレー3を持ち、このトレー3に取扱商品や副提供物を載せて商品注文装置1−1の位置を通ると、シーケンスQ10の動作が開始する。
シーケンスQ10において、商品注文装置1−1は、撮影画像によって新規のトレー3を検出し、トレー3上の取扱商品と副提供物とを認識する。商品注文装置1−1は、この副提供物に対応づけられて記憶部104に記憶されている取扱商品を特定する。
シーケンスQ11において、商品注文装置1−1は、特定した取扱商品の注文情報をキッチンプリンタ4に出力する。
シーケンスQ12において、キッチンプリンタ4は、受信した取扱商品の注文情報を所定の用紙に印字する。これにより、キッチン側の店員は、顧客か選んだ当該副提供物と共に顧客に提供されることとなる取扱商品を知ることができる。また、商品注文装置1−1は、この顧客の注文情報を最も早くキッチンに伝えることができるので、もっとも準備時間の掛かる取扱商品の注文を好適に行うことができる。
シーケンスQ13において、商品注文装置1−1は、取扱商品の価格等の情報をPOS端末2に出力する。
シーケンスQ14において、POS端末2は、商品注文装置1−1から受信した取扱商品の価格等の情報により、この取扱商品を仮登録する。

0059

更にこの顧客が、このトレー3に取扱商品や副提供物を載せて商品注文装置1−2の位置を通ると、シーケンスQ20の動作が開始する。
シーケンスQ20において、商品注文装置1−2は、撮影画像によって新規のトレー3を検出し、トレー3上の取扱商品と副提供物とを認識する。商品注文装置1−2は、この副提供物に対応づけられて記憶部104に記憶されている取扱商品を特定する。
シーケンスQ21において、商品注文装置1−2は、特定した取扱商品の注文情報をキッチンプリンタ4に出力する。特定した取扱商品は、この商品注文装置1−2が新たに認識したものである。
シーケンスQ22において、キッチンプリンタ4は、受信した取扱商品の注文情報を印刷する。これにより、キッチン側の店員は、顧客が選んだ当該副提供物と共に顧客に提供されることとなる取扱商品を知ることができる。
シーケンスQ23において、商品注文装置1−2は、取扱商品の価格等の情報をPOS端末2に出力する。
シーケンスQ24において、POS端末2は、受信した取扱商品の価格等の情報により、この取扱商品を追加で仮登録する。

0060

更にこの顧客が、このトレー3に取扱商品や副提供物を載せてPOS端末2の位置を通ると、シーケンスQ30の動作が開始する。
シーケンスQ30において、POS端末2の店員は、キッチンから注文商品受け取り、この注文商品をトレー3上に置いて引き渡す。
シーケンスQ31において、POS端末2は、この顧客に係る注文商品の精算処理を行い、図9の処理を終了する。

0061

(変形例)
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の(a)〜(d)のようなものがある。

0062

(a)商品注文装置は、ちくわ・天ぷら等の調理品以外の食品、例えばパンや、キャベツやにんじん等に代表される野菜や、リンゴや梨等に代表される果物を認識するように動作してもよい。つまり、形態として完全な同一物ではないが、同じような似通った形態を有する製造物生産品が、オブジェクト認識を利用した商品注文装置の認識対象となり得る。
(b) 上記実施形態では、一例として、うどん屋における取扱商品の注文に商品登録システムを用いることを記載している。しかし、これに限られず、店内で飲食可能なベーカリーや、ハンバーガやチキンドーナッツサンドイッチ等を提供するファーストフード店に、この商品登録システムを適用してもよい。
(c) 上記実施形態では、コースター、ストロー、スプーン、砂糖袋、ガムシロップ容器、ミルク容器等によって取扱商品である飲み物を注文している。しかし、これに限られず、取扱商品は、食べ物または飲食物以外であってもよい。また、副提供物としては、例えば取扱商品と共に提供するフォーク、ナイフ、レンゲ紙エプロンであってもよく、限定されない。
(d) 上記実施形態において、商品注文装置1は、トレー3や副提供物等を認識してから所定時間に亘って認識し続けると注文を確定し、この副提供物と共に顧客に提供する取扱商品の注文情報をキッチンプリンタ4により印刷している。しかし、これに限られず、商品注文装置1は、例えば、撮影領域121の右端をトレー3が通り過ぎたときに、取扱商品の注文を確定してもよい。更に商品注文装置1は、例えばレーン15かつ撮影領域121の右端に近接センサを設けて、この近接センサがトレー3を検知したときに、取扱商品の注文を確定してもよい。これにより、商品注文装置1は、非接触で顧客の注文を確定させることができる。

0063

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置。
<請求項2>
前記制御手段は、副提供物を認識した場合に、該認識してから所定時間の経過後に前記商品の注文情報を出力する、
ことを特徴とする請求項1に記載の商品注文装置。
<請求項3>
前記注文情報を出力するまでの時間をカウントダウン表示する表示手段を備えた、
ことを特徴とする請求項2に記載に記載の商品注文装置。
<請求項4>
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法。
<請求項5>
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置。
<請求項6>
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法。

0064

1,1−1,1−2商品注文装置(商品価格出力装置)
11顧客用ディスプレイ(表示手段)
12撮影装置(撮影手段)
121 撮影領域
13照明装置
14通信部
15レーン
101 CPU (制御手段)
102 RAM
103 ROM
104 記憶部 (記憶手段)
105オブジェクト認識用データ
106商品内容データ
107 売上マスタ
2POS端末
3トレー
4キッチンプリンタ
5aコースター(副提供物)
5bストロー(副提供物)
51ウインドウ
6 ちくわ
61 ウインドウ
7商品登録システム
8 処理部 (制御手段)
81画像記憶部
82オブジェクト認識処理部
821物体検出部
822類似度演算部
823類似度判断部
83確定通知部
84オーダ印刷部
85情報出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ