図面 (/)

技術 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法

出願人 カシオ計算機株式会社
発明者 勝村典嘉
出願日 2014年12月1日 (4年9ヶ月経過) 出願番号 2014-242902
公開日 2016年6月9日 (3年3ヶ月経過) 公開番号 2016-105225
状態 特許登録済
技術分野 特定用途計算機 金銭登録機・受付機 イメージ分析
主要キーワード 未確定情報 各入出力回路 ホットドリンク マドラー 出来たて 類似度判断 ハンバーガ 提示モード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年6月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

飲み物を自動でキッチン注文可能な商品注文装置を提供する。

解決手段

商品注文装置1は、商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶部104と、撮影装置15によって撮影された物体が、商品と共に顧客に提供される副提供物であると物体の画像情報に基づいて認識された場合に、この副提供物の載置された位置または/および載置された向きに対応づけられて記憶部104に記憶されている商品の注文情報を出力するCPU101とを備えた。

概要

背景

自家製のパン販売するベーカリー(パン屋)において顧客は、トングを用いてパンの陳列台から所望のパンをトレーに取り、トレーにパンを載せた状態で、POS端末レジ)で代金精算を受ける。ここでPOSとは、販売時点情報管理(Point Of Sale system)の略称である。このようなベーカリーでは、自家製のパンを袋詰めせず、陳列台にそのまま陳列することが多い。これにより、出来たてのパンをそのまま味や食感を落とすことなしに顧客に提供でき、かつパンの包装工数を省略することができる。その反面、パンを袋詰めしないことにより、パンをバーコードで管理できないという問題がある。

自家製のパンの種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。ベーカリーの店員は、トレー上のパンの種類を正確に見分けて手作業でPOS端末に入力する必要がある。よって、店員に対する所定の訓練期間が必要であった。
このため近年では、トレー上のパンをカメラ撮影し、この画像情報からトレー上のパンの種類と数量とを自動認識して、商品登録を自動化するベーカリー用のPOS端末が出現している。これにより、ベーカリーの店員の訓練期間を短縮することができる。

特許文献1の課題には、「画像認識によりパンの種類を正確に識別する。」と記載され、構成には、「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」と記載されている。

概要

飲み物を自動でキッチン注文可能な商品注文装置を提供する。商品注文装置1は、商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶部104と、撮影装置15によって撮影された物体が、商品と共に顧客に提供される副提供物であると物体の画像情報に基づいて認識された場合に、この副提供物の載置された位置または/および載置された向きに対応づけられて記憶部104に記憶されている商品の注文情報を出力するCPU101とを備えた。

目的

本発明は、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法価格情報出力装置および価格情報出力方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、を備えたことを特徴とする商品注文装置

請求項2

前記制御手段は、副提供物が新たに認識される度に商品の注文情報を出力する、ことを特徴とする請求項1に記載の商品注文装置。

請求項3

商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、を有することを特徴とする商品注文方法。

請求項4

商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、を備えたことを特徴とする商品価格出力装置

請求項5

商品と共に顧客に提供される副提供物か載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、を有することを特徴とする商品価格出力方法

請求項6

商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて記憶されている記憶手段と、撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、を備えたことを特徴とする商品注文装置。

請求項7

商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて、予め記憶手段に記憶させておくステップと、撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、を有することを特徴とする商品注文方法。

請求項8

商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて記憶されている記憶手段と、撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、を備えたことを特徴とする価格情報出力装置。

請求項9

商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて、予め記憶手段に記憶させておくステップと、撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、を有することを特徴とする価格情報出力方法。

技術分野

0001

本発明は、オブジェクト認識を利用した商品注文装置商品注文方法、商品価格出力装置、商品価格出力方法価格情報出力装置および価格情報出力方法に関する。

背景技術

0002

自家製のパン販売するベーカリー(パン屋)において顧客は、トングを用いてパンの陳列台から所望のパンをトレーに取り、トレーにパンを載せた状態で、POS端末レジ)で代金精算を受ける。ここでPOSとは、販売時点情報管理(Point Of Sale system)の略称である。このようなベーカリーでは、自家製のパンを袋詰めせず、陳列台にそのまま陳列することが多い。これにより、出来たてのパンをそのまま味や食感を落とすことなしに顧客に提供でき、かつパンの包装工数を省略することができる。その反面、パンを袋詰めしないことにより、パンをバーコードで管理できないという問題がある。

0003

自家製のパンの種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。ベーカリーの店員は、トレー上のパンの種類を正確に見分けて手作業でPOS端末に入力する必要がある。よって、店員に対する所定の訓練期間が必要であった。
このため近年では、トレー上のパンをカメラ撮影し、この画像情報からトレー上のパンの種類と数量とを自動認識して、商品登録を自動化するベーカリー用のPOS端末が出現している。これにより、ベーカリーの店員の訓練期間を短縮することができる。

0004

特許文献1の課題には、「画像認識によりパンの種類を正確に識別する。」と記載され、構成には、「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」と記載されている。

先行技術

0005

特開2011−170745号公報

発明が解決しようとする課題

0006

ベーカリーには、店内で飲食するように構成されている店舗も存在する。そのような店舗において顧客は、トングを用いてパンの陳列台から所望のパンをトレーに取り、トレーにパンを載せた状態で、POS端末にて飲み物注文する。このとき店舗は、顧客が要求する飲み物をキッチンバックヤード等に注文(オーダ)して、この飲み物を作成させると共に、これを売上登録することが必要である。

0007

飲み物は液体であり、それ自体では固有の形態を有さない。また、飲み物の容器は、商品の種類によらず共通のものが提供される。よって、飲み物またはその容器の外観によって、商品の種類を識別することは困難である。また、カメラで撮影する際に、所定の高さを有する飲み物の容器は、背の低いパンと共にフォーカスできず、明瞭に撮影できない虞がある。更に飲み物をオブジェクト認識して売上登録する場合でも、この飲み物をキッチンやバックヤード等に注文する手間を省くことはできない。

0008

そこで、本発明は、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法を提供することを課題とする。

課題を解決するための手段

0009

本発明は、上記目的を達成するため、
商品と共に顧客に提供される副提供物か載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置である。

0010

上記目的を達成するため、
商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法である。

0011

上記目的を達成するため、
商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置である。

0012

上記目的を達成するため、
商品と共に顧客に提供される副提供物か載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法である。

0013

上記目的を達成するため、
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて記憶されている記憶手段と、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置である。

0014

上記目的を達成するため、
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて記憶されている記憶手段と、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、
を備えたことを特徴とする価格情報出力装置である。

0015

上記目的を達成するため、
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて、予め記憶手段に記憶させておくステップと、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする価格情報出力方法である。

発明の効果

0016

本発明によれば、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法を提供することが可能となる。

図面の簡単な説明

0017

第1の実施形態における商品注文装置を示す斜視図である。
第1の実施形態における商品注文装置を示す概略の構成図である。
第1の実施形態における商品注文装置を示す論理ブロック図である。
第1の実施形態における画面遷移の例を示す図である。
第1の実施形態における商品注文装置の動作を示すアクティビティ図である。
第1の実施形態におけるオブジェクト認識用データの一例を示す図である。
第1の実施形態における商品内容データの一例を示す図である。
第1の実施形態における商品等の認識処理を示すフローチャートである。
第2の実施形態における画面遷移の例を示す図である。
第2の実施形態におけるマスタデータの一例を示す図である。
第2の実施形態における商品等の認識処理を示すフローチャートである。
第2の実施形態における商品注文装置の動作を示すアクティビティ図である。

実施例

0018

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、複数の図面において、同一の要素には同一の符号を付与し、重複する説明を適宜省略する。
(第1の実施形態)
図1は、第1の実施形態における商品注文装置1を示す斜視図である。
図1に示すように、商品注文装置1は、顧客用ディスプレイ11と、タッチディスプレイ12と、キャッシュドロワ13と、プリンタ14と、撮影装置15と、撮影台16とを備えており、店舗のカウンタ台2に設置される。なお、商品の会計を行う際、商品注文装置1を扱うオペレータ(店員)は、カウンタ台2の図面手前側に立つ。顧客は、カウンタ台2の図面奥側に立つ。
商品注文装置1は、POS端末として機能し、取扱商品であるパンの種類と個数との識別情報と、飲料の識別情報とを受けて、合計代金等の表示や、販売管理売上実績管理等の演算入出力を実行する。

0019

顧客用ディスプレイ11は、例えば液晶表示装置であり、顧客側である図面奥側を向いている。顧客用ディスプレイ11は、顧客に対して商品の会計に関する情報(商品名、金額等)を表示する。
タッチディスプレイ12は、例えば液晶表示装置であるディスプレイ12A(図2参照)の表面にタッチパネル12Bが積層されたものであり、オペレータ側である図面手前側を向いている。このタッチディスプレイ12は、オペレータに対して撮影画像や各種情報(商品名、金額等)を表示するとともに、オペレータによるタッチ操作入力受け付ける。

0020

キャッシュドロワ13は、商品の会計時に扱われる紙幣貨幣金券等を保管する引出しであり、タッチディスプレイ12の直下に位置している。
プリンタ14は、タッチディスプレイ12の左下に位置しており、商品の会計時に会計の内容(商品名、金額等)をレシート印字する。

0021

撮影装置15は、撮影台16に置かれたトレー3、および、トレー3の上の取扱商品または/および副提供物を真上から撮影する。照明装置(不図示)は、この撮影装置15に隣接して取り付けられており、撮影装置15による撮影領域151を照明する。取扱商品とは、例えば自家製のパンである。副提供物とは、例えばコースターストロースプーン砂糖袋、ガムシロップ容器、ミルク容器ナプキン等であり、取扱商品に付随して顧客に提供するものである。以下、取扱商品と副提供物のことを、「取扱商品等」と記載する場合がある。撮影装置15が撮影する際、トレー3上のパン6には、照明装置から照明光照射され、トレー3の下からは、バックライト光源17からのバックライトが上向きに照射される。このトレー3は、透明ではないものの、上下方向に光を透過するよう半透明で、かつ、模様等のない単一色に形成されている。トレー3の色は白色または淡色とすることが望ましい。更にトレー3は、その上面に微細マット加工を付すことが望ましい。これにより、照明装置からの照明光の反射を抑止することができる。
顧客は、トレー3に取扱商品である任意数のパン6を載せて、このトレー3を撮影台16に載せる。オペレータ(店員)は、顧客から飲み物の注文を受けると、このトレー3に副提供物であるコースター5を載せる。図1の例では1個のパン6と1枚のコースター5とがトレー3の上に載せられている。そののちオペレータ(店員)は、取扱商品である飲み物をキッチンから受け取り、コースター5の上に載せる。
撮影台16は、取扱商品を購入する顧客が会計時に取扱商品を載せたトレー3を置く台である。
撮影領域151は、撮影台16における撮影装置15によって撮影可能な領域である。

0022

バックライト光源17は、撮影台16の内部に収容されており、撮影装置15によってトレー3の上の商品を撮影する際に取扱商品の撮影画像がより鮮明になるように、トレー3の下からバックライトを上向きに照射する。バックライト光源17は、例えば、LED(Light Emitting Diode)で実現することができるが、これに限定されない。
トレー3は、前記したように半透明である。そして、トレー3に載った状態のパン6を撮影装置15により撮影する際には、そのトレー3の背後である裏面側に、バックライト光源17からバックライトを照射する。これにより、照明装置からの照明光によって取扱商品であるパン6の周囲に形成される影を可及的に排除し得る。撮影装置15により撮影する際にバックライト光源17からバックライトが照射された状態にするには、常にバックライト光源17を点灯させる。しかし、これに限られず、バックライト光源17の点灯と撮影装置15の撮影とを同期させてもよい。これを実現するため、商品注文装置1が撮影装置15とバックライト光源17を統括して制御してもよく、撮影装置15の撮影時にバックライト光源17が同期して点灯するように構成してもよい。

0023

商品注文装置1は、撮影装置15によって撮影された画像を処理することで、トレー3の上の取扱商品を特定する。商品注文装置1は更に、コースター5、ストロー、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器等の副提供物に基づいて、飲み物の種類を特定し、特定した飲み物(取扱商品)のオーダ情報キッチンプリンタ4によって印刷する。本実施形態の商品注文装置1は、黒色のコースター5によってコーヒーを特定する。これにより、商品注文装置1は、外部であるキッチン側に飲み物のオーダを通知すると共に、この飲み物を売上登録することができる。

0024

図2は、第1の実施形態における商品注文装置1を示す概略の構成図である。
商品注文装置1は、図1で示した構成以外に、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、記憶部104と、通信部18と、スピーカ19とを備えている。なお、撮影台16以外の各構成は、内部バス各入出力回路(不図示)を介して互いに通信可能に接続されている。

0025

CPU101は、中央制御装置であり、商品注文装置1全体の制御を司る。
RAM102は、CPU101によって使用される一時記憶手段であり、CPU101が実行するプログラムに係る画像データや各種変数等を一時的に記憶する。
ROM103は、不揮発性の記憶手段であり、CPU101によって実行されるプログラム等を記憶する。

0026

顧客用ディスプレイ11は、CPU101によって制御され、顧客に対して取扱商品等の撮影画像や取扱商品の会計に関する情報(商品名、金額等)を表示する。
ディスプレイ12Aは、CPU101によって制御され、オペレータに対して取扱商品等の撮影画像や取扱商品の会計に関する情報(商品名、金額等)を表示する。
タッチパネル12Bは、ディスプレイ12Aに表示した情報に対するオペレータのタッチ操作入力を受け付ける。

0027

記憶部104(記憶手段)は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等によって構成され、各種プログラムや各種ファイルを記憶する。記憶部104に記憶されている各種プログラムや各種ファイルは、商品注文装置1の起動時に、その全部または一部がRAM102にコピーされてCPU101により実行される。この記憶部104には、各種のデータが記憶されている。

0028

撮影装置15は、カラーCCD(Charge Coupled Device)イメージセンサやカラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等から構成される。撮影装置15は、CPU101の制御の下で撮影を行う撮影手段である。撮影装置15は、例えば30fps(frame per second)の動画像の撮影を行う。撮影装置15が所定のフレームレートで順次撮影したフレーム画像(撮影画像)は、RAM102に保存される。

0029

バックライト光源17は、CPU101の制御の下で、撮影装置15によってトレー3やトレー3の上の取扱商品等を撮影する際に撮影画像がより鮮明になるように、トレー3の下からバックライトを上向きに照射する。これにより、照明装置からの照明光や店内の他の照明によって形成される撮影領域151内の影を薄くし、画像処理の精度を高めることができる。

0030

キャッシュドロワ13は、CPU101の指示により開放される。
プリンタ14は、例えば熱転写プリンタであり、レシートを発行する。具体的には、プリンタ14は、商品の会計時にCPU101の指示により、会計の内容をレシート用紙に印字する。
通信部18は、例えばネットワークインタフェースコントローラであり、キッチンプリンタ4に接続されている。キッチンプリンタ4は、キッチンに設置されたプリンタである。CPU101は、この通信部18を介して、オーダ内容をキッチンプリンタ4によって所定の用紙に印字させ、キッチンに注文情報を伝える。
スピーカ19は、予め設定された報知音等を発生する。スピーカ19は、CPU101の制御の下で警告音音声による報知を行う。

0031

図3は、第1の実施形態における商品注文装置1を示す論理ブロック図である。
商品注文装置1のCPU101(図2参照)は、ROM103(図2参照)に格納された不図示のプログラムを実行することにより、処理部9を具現化する。この処理部9は、画像記憶部91と、オブジェクト認識処理部92と、確定通知部93と、候補商品提示部94と、入力取得部95と、オーダ印刷部96と、売上登録部97と、情報出力部98とを含んで構成される。このオブジェクト認識処理部92は、物体検出部921と、類似度演算部922と、類似度判断部923とを備えている。
処理部9は、撮影手段によって撮影された物体が取扱商品等であるか否かを、物体の画像情報に基づいて識別する。また、処理部9は、撮影手段によって撮影された物体が副提供物であると識別した場合に、この副提供物が載置された位置または/および載置された向きを判別し、この識別された副提供物やこの判別された位置または/および載置された向きに対応づけられて記憶されている取扱商品の注文情報をキッチンプリンタ4などに出力する。
なお、処理部9は、記憶部104に格納されたオブジェクト認識用データ105と、商品内容データ106と、売上マスタ107とを参照する。
オブジェクト認識用データ105は、取扱商品等(パンや副提供物)の種類毎にモデル化された特徴量を組み合わせたテンプレート情報等で構成される。これらの情報は、オブジェクト認識用データ105に予め登録されている。オブジェクト認識用データ105は、店舗に陳列して販売する取扱商品等の各々について、商品名または商品IDと、その取扱商品等の特徴量との関連付けが設定されたデータファイルであり、取扱商品等の認識用の辞書として機能する。

0032

商品内容データ106は、取扱商品の内容情報が設定されたデータファイルである。商品内容データ106には、取扱商品の内容情報として、商品ID(IDentifier)、商品名、単価値引き情報等が設定される。
売上マスタ107は、取扱商品の売上登録を記録するファイルであり、顧客に売り上げた商品IDと、これに対応する商品分類、商品名、単価、販売個数等が記録される。
画像記憶部91は、撮影されて撮影装置15が撮影したフレーム画像(カラーデジタル画像)を順次取り込んで記憶する。

0033

物体検出部921は、エッジ検出等の技術を用いて、取り込んだフレーム画像における取扱商品等の候補となる画像を背景から分離する、すなわち識別対象の物体だけを切り出して検出する。具体的には、顧客がトレー3を撮影台16に載せて、オペレータが撮影を指示すると、処理部9は、撮影装置15によって撮影台16上の撮影領域151を撮影する。物体検出部921は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部921は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、画像を輪郭線に囲まれた各領域に分離して、物体を検出する。

0034

類似度演算部922は、個々の取扱商品等の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部922は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合等の表面の状態を特徴量として演算する。類似度演算部922は更に、各分離画像の特徴量と、オブジェクト認識用データ105に記録された取扱商品等の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ105に記録された取扱商品等との類似度をそれぞれ算出する。ここで類似度とは、オブジェクト認識用データ105に記録されている取扱商品等がリファレンスとして想定する特徴量を100%の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。
即ち、類似度とは、物体の分離画像と、取扱商品等か想定するリファレンス画像(外観)とがどの程度まで類似しているかを示すものである。なお、類似度演算部922は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

0035

このように、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。下記の井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット評価ベンチマークを行い、更にその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成26年10月31日検索],インターネットCVIM-Yanai.pdf>

0036

また、画像をオブジェクト(物体)ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008.CVPR 2008.IEEE Conference on,[平成26年10月31日検索],インターネット

0037

なお、撮影された商品画像等の特徴量と、オブジェクト認識用データ105に記録された取扱商品の商品画像等の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された商品画像等の特徴量と、オブジェクト認識用データ105に記録された各取扱商品等の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

0038

類似度を絶対評価として算出する場合には、分離画像の特徴量と、オブジェクト認識用データ105として記憶された取扱商品等の特徴量とを1対1で比較し、この比較の結果算出される類似度(0〜100%)をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各取扱商品等との類似度の総和が1.0(100%)となるよう算出する。例えば、オブジェクト認識用データ105として商品A,B、副提供物M,Nの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Aに対して類似度が0.65、商品Bに対しては類似度が0.2、副提供物Mに対しては類似度が0.1、副提供物Nに対しては類似度が0.05、等のように算出する。

0039

類似度判断部923は、物体の分離画像ごとに、類似度演算部922が算出した類似度に基づいて、例えば、対応する取扱商品等に関して次の3択で判断する。
(1)分離画像に対応する取扱商品等(商品、副提供物)が一意に決定された。
(2)分離画像に対応する取扱商品等(商品、副提供物)の候補が1つ以上存在する。
(3)分離画像に対応する取扱商品等(商品、副提供物)が無いと決定する。

0040

この判断のための条件として、例えば、記憶部104は、次に説明する条件X,Yを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

0041

条件Xは、充足すれば上記(1)と判断するための条件である。条件Xは、例えば、「類似度の一番大きい取扱商品等の類似度が90%以上」、かつ、「類似度の一番大きい取扱商品等の類似度と、類似度の二番目に大きい取扱商品等の類似度の差が20%以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい取扱商品等が類似度が95%の商品Aで、その次が類似度60%の商品Bであったとする。このとき条件Xを満たすので、分離画像に対応する商品Aは、一意に決定される。

0042

条件Xを満たさない場合、条件Yが用いられる。
条件Yは、充足すれば上記(2)と判断するための条件である。条件Yは、例えば、「類似度60%以上の取扱商品等が1つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい取扱商品等が類似度80%の商品Aで、二番目が類似度75%の商品Bで、三番目が類似度65%の商品Cで、四番目が類似度55%の商品Dであったとする。このとき条件Yを満たすので、分離画像に対応する候補として類似度60%以上の対象である商品A,B,Cが存在する。

0043

条件X,Yを両方とも満たさない場合、上記(3)と判断する。なお、上記した条件X,Yは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

0044

確定通知部93は、類似度判断部923が上記(1)と判断した分離画像の物体について、取扱商品等が一意に確定されたことを、ディスプレイ12Aや顧客用ディスプレイ11への表示や音声出力等によってオペレータや顧客に報知する。
より詳細には、確定通知部93は、類似度判断部923が上記(1)と判断した分離画像を、例えば、緑の枠線と共に顧客用ディスプレイ11やディスプレイ12Aに表示することで、分離画像に対応した取扱商品等が一意に確定されたことを示す。

0045

候補商品提示部94は、類似度判断部923が上記(2)と判断した分離画像を、例えば、黄色の枠線と共にディスプレイ12Aや顧客用ディスプレイ11に表示することで、分離画像に対応した取扱商品等の候補が1つ以上存在することを示す。更に、この分離画像をオペレータがタッチパネル12Bを介してタッチすることで、ディスプレイ12Aには、取扱商品等の候補である写真画像および商品名が、類似度の高いものから順に表示される。
このとき候補商品提示部94は、条件Yを満たした取扱商品等の写真画像および商品名をオブジェクト認識用データ105および商品内容データ106から読み出し、類似度演算部922が算出した類似度の高いものから、ディスプレイ12Aに順次出力する。

0046

なお、ディスプレイ12Aに取扱商品等の候補の写真画像が表示されていても、これら取扱商品等の候補に対する選択操作を受け付けない場合には、撮影装置15による撮影と、画像記憶部91による画像の記憶処理と、物体検出部921による物体の検出処理と、類似度演算部922による類似度の演算処理とは継続される。

0047

入力取得部95は、タッチパネル12Bを介してディスプレイ12Aの表示に対応する各種入力操作を受け付ける。例えば、上記(2)と判断され、黄色の枠線と共にディスプレイ12Aに分離画像が表示された場合、入力取得部95は、オペレータによるタッチパネル12Bを用いた分離画像の選択のタッチ入力操作を受け付ける。更に、取扱商品等の候補の1つ以上の画像がディスプレイ12Aに表示された場合、オペレータによるタッチパネル12Bを用いた商品選択のタッチ入力操作を受け付ける。

0048

オーダ印刷部96は、キッチンプリンタ4に飲み物の注文を印刷させる。これによりオペレータは、キッチンに出向くことなしに、キッチンに飲み物の注文情報を伝えることができる。オーダ印刷部96は、キッチンプリンタ4によって飲み物の価格情報も注文内容として出力してもよい。このとき商品注文装置1は、商品の価格を出力する商品価格出力装置としても機能し、価格情報を出力する価格情報出力装置としても機能する。オーダ印刷部96の詳細な動作は、後記する図8で詳細に説明する。

0049

売上登録部97は、商品IDに基づいて商品内容データ106を参照し、その商品の内容情報を取得して商品の売上登録を行う。商品の内容情報とは、例えば、商品ID(IDentifier)、商品名、単価、値引き情報等である。具体的には、売上登録部97は、商品IDおよび、これに対応する商品分類、商品名、単価、販売個数等を一時的にRAM102等に記録して売上の仮登録を行う。売上登録部97は更に、RAM102等に記録した売上の仮登録情報を売上マスタ107等に記録して、売上登録を行う。

0050

情報出力部98は、上述のようにして確定された確定商品等の商品IDと、これに対応する商品分類、商品名、単価、販売個数等を顧客用ディスプレイ11、ディスプレイ12Aに表示し、プリンタ14に出力する。

0051

図4(a)〜(c)は、第1の実施形態における画面遷移の例を示す図である。この画面は、ディスプレイ12A(図2参照)に表示される。
なお、以下の説明では、黒色のコースター5は、コーヒーの注文を意味している。

0052

図4(a)は、メロンパン6を載せたトレー3が撮影台16に置かれたときの画面の例を示す図である。
当初、ディスプレイ12Aには、撮影装置15によるスルー画が表示される。顧客は、トレー3に取扱商品であるパン6(メロンパン)を載せて、このトレー3を撮影台16に載せる。顧客は、所望の飲み物をオペレータである店員に注文する。
オペレータは、画面右下の撮影ボタンにタッチして撮影を開始すると共に、顧客からホットコーヒー・Sサイズの注文を受けると、このトレー3に副提供物である黒色かつ小型のコースター5を載せる。これにより、ディスプレイ12Aには、図4(b)の画面が表示される。

0053

図4(b)は、トレー3にコースター5とメロンパン6とが置かれたときの画面の例を示す図である。
図4(b)の例では、黒色かつ小型のコースター5がトレー3に載せられている。この画面でパン6には緑の輪郭(破線で図示)が付与され、パン6の分離画像に対応した取扱商品等が一意に確定されたことを示す。パン6の上には、商品内容を示す「メロンパン・180円」のウインドウ61が表示される。更にコースター5にも緑の輪郭(破線で図示)が付与され、コースター5の分離画像に対応した取扱商品等が一意に確定されたことを示す。コースター5の上には、これに対応する商品内容を示す、「ホットコーヒーS・100円」のウインドウ51が表示される。
こののちオペレータ(店員)は、取扱商品である飲み物をキッチンから受け取り、コースター5の上に載せて確定ボタンをタッチする。これにより、ディスプレイ12Aには、図4(c)の画面が表示される。
なお、オペレータ(店員)が確定ボタンをタッチするタイミングは、コースター5の上に飲み物を載せる前であってもよい。

0054

図4(c)は、精算画面の例を示す図である。
ディスプレイ12Aには、商品名と単価と個数とが列挙して表示され、更に合計金額が表示される。オペレータは、画面右下の精算ボタンにタッチして精算を実行し、これら商品の売上げを売上マスタ107に登録する。

0055

図5は、第1の実施形態における商品注文装置1の動作を示すアクティビティ図である。
商品注文装置1は、電源オンされると、モードM10のスルー画表示モードに遷移する。
モードM10は、スルー画表示モードである。このとき商品注文装置1は、撮影装置15のスルー画をそのままディスプレイ12Aに表示する。モードM10において画面上の撮影ボタンがタッチされると、商品注文装置1はモードM11に遷移する。具体的にいうと、このスルー画の表示とは、図4(a)に例示した画面である。

0056

モードM11は、商品等認識処理モードである。このとき商品注文装置1は、撮影装置15による撮影画像にオブジェクト認識処理を行い、取扱商品等を認識する。商品等認識処理の詳細は、後記する図8で詳細に説明する。モードM11において商品等認識処理が終了すると、商品注文装置1はモードM12に遷移する。
モードM12は、認識結果表示モードである。このとき商品注文装置1は、商品等認識処理の結果を表示する。具体的にいうと、この商品等認識処理の結果の表示とは、図4(b)に例示した画面である。

0057

モードM13は、認識結果表示モードにおける判断である。このとき商品注文装置1は、画面上の確定ボタンがタッチされたならば、モードM15に遷移し、画面上の未確定商品にタッチされたならば、モードM14に遷移し、その他の場合は、モードM11に戻り、商品等の認識処理を繰り返す。
モードM14は、候補商品提示モードである。このとき商品注文装置1は、指定された未確定商品の候補を画面に列挙して提示する。モードM10において画面上の候補商品にタッチされると、商品注文装置1はモードM11に遷移する。
なお、モードM14への遷移は、モードM13において未確定商品が存在した場合にのみ遷移可能に制御される。

0058

モードM15は、精算画面表示モードである。このとき商品注文装置1は、精算画面を表示してオペレータに確認を促す。モードM15において精算ボタンにタッチされると、商品注文装置1は、顧客への売上登録の一連の処理を終了する。

0059

図6は、第1の実施形態におけるオブジェクト認識用データ105の一例を示す図である。
オブジェクト認識用データ105は、取扱商品等に係る特徴量欄105aと、画像リンク欄105bと、種別欄105cと、大きさ欄105dと、位置欄105eと、方向欄105fと、商品名欄105gとを含んで構成される。
特徴量欄105aは、この取扱商品等に係る(パンや副提供物)の種類毎にモデル化された特徴量を格納する。
画像リンク欄105bは、この取扱商品等に係るリファレンス画像のリンクを格納する。特徴量欄105aに格納された特徴量は、このリファレンス画像の形状、色合い、表面の状態等を示す情報である。類似度判断部923は、特徴量欄105aを参照することにより、分離画像に係る物体がどの取扱商品等と類似度が高いかを判断することができる。

0060

種別欄105cは、この取扱商品等が、取扱商品そのものであるか、または取扱商品を指し示す指標であるかの種別を格納する。本実施形態において取扱商品を指し示す指標は、取扱商品に付随して顧客に提供される副提供物であり、コースター、ストロー、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器、ナプキン等である。

0061

大きさ欄105dは、この取扱商品等のサイズ情報を格納する。確定通知部93は、この大きさ欄105dを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の大きさに応じて、それぞれ異なるサイズの取扱商品や、異なる種類の商品をキッチンに注文することが可能となる。

0062

位置欄105eは、この取扱商品等のトレー上の位置情報を格納する。確定通知部93は、この位置欄105eを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の大きさに応じて、それぞれ異なるサイズの取扱商品をキッチンに注文することが可能となる。
方向欄105fは、この取扱商品等のトレー上の方向情報を格納する。この方向欄105fを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の載置された向きに応じて、それぞれ異なる取扱商品をキッチンに注文することが可能となる。例えば、縦向き(例えば長方形のトレーにおける短辺に対して平行な向き)に置かれたストローは、取扱商品であるアップルジュースに対応する。また、横向き(例えば長方形のトレーにおける長辺に対して平行な向き)に置かれたストローは、取扱商品であるオレンジジュースに対応するなどである。

0063

商品名欄105gは、この取扱商品等の商品名を格納する。種別欄105cに「商品」が格納されているとき、商品名欄105gには、取扱商品の商品名が格納される。種別欄105cに「指標」が格納されているとき、商品名欄105gには、この指標に対応する商品名が格納される。確定通知部93は、一意に確定した取扱商品等に係る種別欄105cが「指標」であるとき、キッチンプリンタ4に、前記した指標に対応する商品名欄105gの注文を印刷させる。

0064

図7は、第1の実施形態における商品内容データ106の一例を示す図である。
商品内容データ106には、商品の内容情報として、商品名欄106aと、商品画像リンク欄106bと、単価欄106cとを含んで構成される。なお、商品内容データ106は、これらの欄に限定されず、値引き情報など取扱商品に係る任意の情報欄を含んでもよい。
商品名欄106aには、取扱商品の商品名が格納される。
商品画像リンク欄106bには、取扱商品の画像リンクが格納される。図5に示した候補商品提示モードにおいて、商品注文装置1の候補商品提示部94は、この商品画像リンク欄106bを参照して、候補となる取扱商品の画像を提示する。
単価欄106cには、取扱商品の単価が格納される。商品注文装置1の売上登録部97は、この単価欄106cを参照して、売上を算出する。

0065

図8は、第1の実施形態における商品等認識処理を示すフローチャートである。
顧客がトレー3を撮影台16に載せて、オペレータがタッチディスプレイ12上の撮影ボタンをタッチすると、処理部9は、一連の処理を開始する。
ステップS20において、処理部9は、撮影装置15に撮影オン信号を出力して商品画像のキャプチャ(撮影)を開始する。画像記憶部91は、撮影装置15が撮影したフレーム画像(撮影画像)をRAM102に記憶する。
ステップS21において、オブジェクト認識処理部92は、画像記憶部91が記憶したフレーム画像に対して、一連のオブジェクト認識処理を行う。この処理において、物体検出部921は、取扱商品等である物体の分離画像の認識(検出)を試みる。類似度演算部922は、検出した分離画像から特徴量を読み取る。更に類似度判断部923が、特徴量の類似度が所定閾値以上となる取扱商品等がオブジェクト認識用データ105に存在するか否かを判定する。

0066

具体的にいうと、トレー3にメロンパンと黒コースターとが載っているとき、物体検出部921は、メロンパンの分離画像と黒コースターの分離画像とをこれらが載置されている位置情報とともに検出する。類似度演算部922は、メロンパンの分離画像と黒コースターの分離画像とから、それぞれの特徴量を読み取る。類似度判断部923は、メロンパンの分離画像の特徴量に基づいてオブジェクト認識用データ105を検索することにより、即ち、メロンパンの分離画像の特徴量とオブジェクト認識用データ105の各特徴量との類似度を判定することにより、このオブジェクトがメロンパンであると判定する。更に類似度判断部923は、黒コースターの分離画像の特徴量に基づいてオブジェクト認識用データ105を検索することにより、即ち、黒コースターの分離画像の特徴量とオブジェクト認識用データ105の各特徴量との類似度を判定することにより、このオブジェクトが黒コースターであると判定する。

0067

ステップS22〜S31において、処理部9は、認識したオブジェクトについて処理を繰り返す。この繰り返し処理により、キッチンプリンタ4への注文と売上の仮登録とが行われる。ここで売上の仮登録とは、売上マスタ107以外の任意の記憶領域に、この売上情報を一時的に格納することをいう。
ステップS23において、類似度判断部923は、このオブジェクトがトレー上に新たに載置された指標であるか否かを判断する。類似度判断部923は、このオブジェクトが新たに載置された指標であったならば(Yes)、ステップS24の処理に進み、このオブジェクトが新たに載置された指標でなかったならば(No)、ステップS28の処理に進む。具体的にいうと、商品注文装置1が商品等認識処理を繰り返し実行しているときに、オペレータが新たな副提供物をトレー上に載せたならば、ステップS24〜S27の処理が1回だけ行われる。
ステップS24において、類似度判断部923は、指標の大きさ、位置、方向(向き)を判断する。ここで指標とは、認識した副提供物のことをいう。

0068

ステップS25において、類似度判断部923は、オブジェクト認識用データ105を検索して指標の大きさ、位置、方向に対応する商品名や商品ID(不図示)を決定し、商品内容データ106を検索してこの商品の商品単価を決定する。これにより、商品注文装置1は、この商品を確定することができる。即ち、類似度判断部923は、副提供物の載置された位置または/および載置された向きに対応づけられてオブジェクト認識用データ105に記憶されている取扱商品を決定する。
ステップS26において、売上登録部97は、確定した取扱商品の商品IDや商品名等を仮登録する。
ステップS27において、オーダ印刷部96は、確定した取扱商品である飲み物の商品名等をキッチンプリンタ4に印刷させる。ここで飲み物の商品名等は、商品の注文情報である。これによりオーダ印刷部96は、飲み物をキッチンに注文することができる。ステップS27の処理が終了すると、ステップS31の処理に進む。

0069

ステップS28において、類似度判断部923は、このオブジェクトがトレー上に新たに載置された取扱商品であるか否かを判断する。処理部9は、このオブジェクトが新たに載置された取扱商品であったならば(Yes)、ステップS29の処理に進み、このオブジェクトが新たに載置された取扱商品でなかったならば(No)、ステップS31の処理に進む。
ステップS29において、類似度判断部923は、オブジェクト認識用データ105を検索してオブジェクトに対応する商品名や商品IDを決定し、商品内容データ106を検索してこの取扱商品の商品単価を読み出す。これにより、商品注文装置1は、この取扱商品を確定することができる。
ステップS30において、売上登録部97は、確定した取扱商品の商品ID等を仮登録する。

0070

ステップS31において、処理部9は、認識した全オブジェクトについて処理を繰り返したか判断する。処理部9は、認識した全オブジェクトについて処理を繰り返していなかったならば(No)、ステップS22の処理に戻り、認識した全オブジェクトについて処理を繰り返したならば(Yes)、ステップS32の処理に進む。
ステップS32において、確定通知部93は、タッチディスプレイ12と顧客用ディスプレイ11とに商品名と単価とを表示する。
このときにおいても、商品注文装置1は、商品の価格を出力する商品価格出力装置として機能する。
ステップS33において、処理部9は、確定ボタンがタッチされたか否かを判断する。処理部9は、確定ボタンがタッチされていないと判断したならば(No)、ステップS20の処理に戻り、確定ボタンがタッチされたと判断したならば(Yes)、図8の処理を終了する。
このように処理することにより、商品注文装置1は、オペレータがトレー3上にコースター5等の副提供物を載せるごとに、この副提供物が指し示す飲み物の注文情報をキッチンプリンタ4に印刷させることができるので、オペレータは、キッチンに出向くことなしに、キッチンに飲み物の注文情報を伝えることができる。更に商品注文装置1は、この飲み物を売上登録することができる。
なお、顧客は、副提供物で指し示された飲み物等を注文を行った会計カウンタで受けとってもよいし、この会計カウンタとは別の商品受取カウンタで受け取れるようにしてもよい。この場合オペレータは、顧客が持つトレーに載置されている副提供物を目で見て確認することにより、多数の顧客が商品受取カウンタに居た場合でも、真の引渡し相手を比較的容易に識別することができる。

0071

(第2の実施形態)
第1の実施形態において、コースター等の副提供物は、単体毎にこの副提供物が提供されることとなる取扱商品を指し示す場合について説明したが、第2の実施形態では、複数の副提供物の組み合わせで取扱商品を指し示す場合について説明する。

0072

図9(a)〜(c)は、第2の実施形態における画面遷移の例を示す図である。
図9(a)は、トレー3にコースター5とメロンパン6とが置かれたときの画面の例を示す図である。
図9(a)の画面例では、黒色の小型のコースター5がトレー3に載せられている。この画面でコースター5には、例えば赤色の輪郭が付与され、コースター5の分離画像に対応した取扱商品等が確定していないことを示している。コースター5の上には、これに対応する商品の更なる詳細分類または属性を示す、「コーヒーS・ホットアイス?」のウインドウ51が表示される。
商品注文装置1は、赤色の輪郭により商品の大分類が特定されたものの詳細分類までは未確定であることを示している。これによりオペレータは、商品の詳細分類または属性が未確定であることを容易に視認可能である。更に商品注文装置1は、商品に係る未確定情報を示す「ホット/アイス?」を表示する。これによりオペレータは、この未確定情報である「ホット/アイス?」を補完するように副提供物を選択することができる。

0073

パン6には、例えば緑の輪郭が付与され、パン6の分離画像に対応した取扱商品等が一意に確定されたことを示す。パン6の上には、ウインドウ61が表示され、このウインドウ61内には商品内容として例えば「メロンパン・180円」が表示される。
こののちオペレータ(店員)は、飲み物がホットのときに用いられるマドラーと砂糖袋とをトレー3に載せる。これにより、ディスプレイ12Aには、図9(b)の画面が表示される。

0074

図9(b)は、トレー3にコースター5とメロンパン6とが置かれ、更にマドラー5aと砂糖袋5bとが置かれたときの画面の例を示す図である。
この画面でコースター5、マドラー5a、砂糖袋5bには、それぞれ緑色の輪郭が付与され、各分離画像に対応した取扱商品等が一意に確定したことを示す。コースター5の上には、これに対応する商品の内容を示す、「ホットコーヒーS・100円」のウインドウ51が表示される。
こののちオペレータ(店員)は、取扱商品であるホットコーヒー・Sサイズをキッチンから受け取り、コースター5の上に載せて確定ボタンをタッチする。これにより、ディスプレイ12Aには、図9(c)の画面が表示される。
なお、オペレータ(店員)が確定ボタンをタッチするタイミングは、コースター5の上に飲み物を載せる前であってもよい。

0075

図9(c)は、精算画面の例を示す図であり、図4(c)の精算画面と同様である。オペレータは、画面右下の精算ボタンにタッチして精算を実行し、これら商品の売上げを登録する。

0076

図10は、第2の実施形態におけるオブジェクト認識用データ105Aの一例を示す図である。第1の実施形態のオブジェクト認識用データ105と同一の要素には同一の符号を付与している。
第2の実施形態のオブジェクト認識用データ105Aは、第1の実施形態のオブジェクト認識用データ105と同様な欄に加えて、商品指定欄105hを含んで構成される。
この商品指定欄105hには、商品指定に係る未確定な詳細情報と、この未確定な詳細情報を補完する属性情報とが格納される。商品指定に係る未確定な詳細情報とは、例えば「ホット/アイス未確定」のような確定されていないことを示す報知内容のことをいう。この未確定な詳細情報を補完する属性情報とは、例えば「アイス指定」または「ホット指定」のような確定されていることを示す報知内容のことをいう。
つまり、取扱商品の大分類を指し示す副提供物と取扱商品の属性を指し示す副提供物とを予め定めておき、取扱商品の大分類を指し示す副提供物に対しては商品指定欄105hに商品指定に係る未確定な詳細情報を割り当て、取扱商品の属性を指し示す副提供物に対しては商品指定欄105hに未確定な詳細情報を補完する属性情報を割り当てている。そして、このように設定することにより、複数の副提供物をマトリクス的に組み合わせて、よりわかり易く種々の取扱商品を指し示すことが可能になる。

0077

第2の実施形態でオペレータは、副提供物である黒コースターとマドラーの組み合わせ、または、黒コースターと砂糖袋の組み合わせ、黒コースターと粉末クリームの組み合わせにより、商品であるホットコーヒーをキッチンに注文することができる。このように副提供物の組み合わせで取扱商品を指定するので、より多くの取扱商品に対してまたはより詳細に取扱商品を指定することができる。
更に、副提供物に、商品の属性を指定するという意味を持たせているので、オペレータは、容易にこの副提供物と提供商品との関係を学習することができる。

0078

オペレータは更に、取扱商品であるアイスコーヒーをキッチンに注文するときには、副提供物である黒コースターと、ストロー、ガムシロップ容器、液体クリーム容器のうちいずれかとの組み合わせをトレー3上に載せてもよい。
これに限られず、オペレータが取扱商品であるホットドリンクをキッチンに注文するときには、副提供物であるマドラーで飲み物の種類を指定し、これと砂糖袋または粉末クリーム袋を組み合わせて、この飲み物がホットであることを指定してもよい。更に、砂糖袋と粉末クリーム袋を組み合わせて、所定のホットドリンクを指定してもよい。

0079

オペレータが取扱商品であるコールドドリンクをキッチンに注文するときには、副提供物であるストローで飲み物の種類を指定し、これとガムシロップまたは液体クリームを組み合わせて、この飲み物がアイスであることを指定してもよい。更に、ガムシロップと液体クリームを組み合わせて、所定のコールドドリンクをキッチンに注文してもよい。

0080

図11は、第2の実施形態における商品等の認識処理を示すフローチャートである。図8に示す第1の実施形態のフローチャートと同一の要素には同一の符号を付与している。
顧客がトレー3を撮影台16に載せて、オペレータがタッチディスプレイ12上の撮影ボタンをタッチすると、処理部9は、一連の処理を開始する。
ステップS20,S21の処理は、図8に示したステップS20,S21の処理と同様である。

0081

ステップS22〜S31において、処理部9は、認識したオブジェクトについて処理を繰り返す。この繰り返し処理により、キッチンプリンタ4への注文と売上の仮登録とが行われる。
ステップS23〜S25の処理は、図8に示したステップS23〜S25の処理と同様である。
ステップS25Aにおいて、類似度判断部923は、ステップS25の処理によって取扱商品の指定が構成完了されたか否かを判断する。ここで、類似度判断部923は、副提供物によって取扱商品が指定され、かつ商品指定にかかる未確定な情報が全て補完されていることにより、取扱商品の指定が構成完了されていると判断する。具体的にいうと、トレー3上にコースター5のみが載せられているときには、コーヒーSサイズがアイス/ホットのうちいずれかが未確定であり、取扱商品の指定が構成完了されていない。トレー3上に更にマドラー5aが載せられたならば、アイスコーヒーであることが確定する。このとき類似度判断部923は、取扱商品の指定が構成完了されていると判断する。
類似度判断部923は、新たに取扱商品の指定が構成完了されたと判断したならば(Yes)、ステップS26の処理に進み、新たな取扱商品の指定が構成完了されていないと判断したならば(No)、ステップS31の処理に進む。

0082

ステップS26〜S33の処理は、図8に示したステップS26〜S33の処理と同様である。
このように処理することにより、複数の副提供物で取扱商品を指定することが可能となり、より多くの取扱商品に対してまたはより詳細に取扱取扱商品を指定することができる。

0083

図12は、第2の実施形態における商品注文装置1の動作を示すアクティビティ図である。図5に示す第1の実施形態のアクティビティ図と同一の要素には同一の符号を付与している。
モードM10〜M14は、第1の実施形態と同様である。モードM13において、商品注文装置1は、画面上の確定ボタンがタッチされたならば、モードM16に遷移する。
モードM16は、認識結果表示モードにおける第2の判断である。このとき商品注文装置1は、未確定の商品が存在するならば、即ち、副提供物の組み合わせが完了しておらず取扱商品の指定が中途な状態となっていることにより未注文の商品が存在するならば、モードM17に遷移し、未注文の商品が存在しないならば、モードM15に遷移する。

0084

モードM17は、補完情報入力モードである。このとき商品注文装置1は、未確定の商品情報を補完する情報を入力する画面を強調表示する。商品注文装置1は、補完情報が入力されたならば、モードM18に遷移する。
具体的にいうと、コーヒーが注文され、ホット/アイスが未確定であったならば、このコーヒーがホット/アイスのうちいずれかを入力する画面を表示する。オペレータは、ホット/アイスの属性を入力することにより、補完情報を入力する。また、これに限られず、ホット/アイスのうちいずれかを示すストロー、マドラー、砂糖袋、ガムシロップ容器などをトレー3に載せてもよい。

0085

モードM18において、商品注文装置1は、キッチンへの注文処理を行う。オーダ印刷部96は、未注文の商品である飲み物の商品名等をキッチンプリンタ4に印刷させる。商品注文装置1は、モードM18の処理が終了すると、モードM15に遷移する。
モードM15は、第1の実施形態と同様な精算画面表示モードである。このとき商品注文装置1は、精算画面を表示してオペレータに確認を促す。モードM15において精算ボタンにタッチされると、商品注文装置1は、顧客への売上登録の一連の処理を終了する。
このように処理することで、飲み物が未注文のまま確定ボタンがタッチされても、オペレータに補完情報を入力させる画面を表示して、漏れなくキッチンに飲み物を注文することができる。
なお、副提供物の組み合わせが完了しておらず取扱商品の指定が中途な状態となっている期間は、確定ボタンに対するタッチ操作無効化する構成としてもよい。
また、第2の実施形態においても、第1の実施形態と同様に、複数の副提供物が載置された位置または/および載置された向きに対応づけて互いに異なる取扱商品が指定される構成としてもよい。

0086

(変形例)
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の(a)〜(e)のようなものがある。

0087

(a)商品注文装置は、パン以外の食品、例えばキャベツやにんじん等に代表される野菜や、リンゴや梨等に代表される果物や、ちくわ天ぷら等に代表される調理品を認識するように動作してもよい。つまり、形態として完全な同一物ではないが、同じような似通った形態を有する製造物生産品が、オブジェクト認識を利用した商品注文装置の認識対象となり得る。
(b) 上記実施形態では、店内で飲食可能なベーカリーを前提としている。しかし、これに限られず、ハンバーガやチキンドーナッツサンドイッチ等を提供するファーストフード店に適用してもよい。
(c) 上記実施形態では、コースター、ストロー、スプーン、砂糖袋、ガムシロップ容器、ミルク容器等によって取扱商品である飲み物を注文している。しかし、これに限られず、取扱商品は、食べ物または飲食物以外であってもよい。また、副提供物としては、例えば取扱商品と共に提供するフォークナイフレンゲ紙エプロンであってもよく、限定されない。
(d) 第2の実施形態では、未確定の商品情報が存在し、かつ確定ボタンをタッチしたときには、モードM17に示す補完情報入力モードに遷移している。しかし、これに限られず、未確定の商品は、デフォルトの情報で補完してキッチンへの注文処理を行うように処理してもよく、限定されない。
(e) 上記実施形態では、バックライトによって半透明なトレー上のパンやコースターなどを照らして撮影している。しかし、これに限られず、不透明なトレーを使い、上方からの照明によってトレー上のパンやコースターなどを照らして撮影してもよい。

0088

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置。
<請求項2>
前記制御手段は、副提供物が新たに認識される度に商品の注文情報を出力する、
ことを特徴とする請求項1に記載の商品注文装置。
<請求項3>
商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法。
<請求項4>
商品と共に顧客に提供される副提供物が載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置。
<請求項5>
商品と共に顧客に提供される副提供物か載置される所定の位置または/および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または/および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法。
<請求項6>
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて記憶されている記憶手段と、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置。
<請求項7>
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて、予め記憶手段に記憶させておくステップと、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法。
<請求項8>
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて記憶されている記憶手段と、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、
を備えたことを特徴とする価格情報出力装置。
<請求項9>
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて、予め記憶手段に記憶させておくステップと、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする価格情報出力方法。

0089

1商品注文装置
101 CPU (制御手段の一例)
102 RAM
103 ROM
104 記憶部 (記憶手段の一例)
105オブジェクト認識用データ (記憶手段の一例)
106商品内容データ
107 売上マスタ
11顧客用ディスプレイ
12タッチディスプレイ
12Aディスプレイ
12Bタッチパネル
13キャッシュドロワ
14プリンタ
15撮影装置(撮影手段の一例)
151 撮影領域
16撮影台
17バックライト光源
18通信部
19スピーカ
3トレー
4キッチンプリンタ
5コースター(副提供物の一例)
5aマドラー(副提供物の一例)
5b砂糖袋 (副提供物の一例)
51ウインドウ
6パン(取扱商品の一例)
61 ウインドウ
9 処理部
91画像記憶部
92オブジェクト認識処理部
921物体検出部
922類似度演算部
923類似度判断部
93確定通知部
94候補商品提示部
95 入力取得部
96オーダ印刷部
97売上登録部
98情報出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ