図面 (/)

技術 商品登録装置、緊急通報方法及び緊急通報装置

出願人 カシオ計算機株式会社
発明者 佐藤芳広鈴木秀夫赤尾弘荻島清志
出願日 2014年12月15日 (4年7ヶ月経過) 出願番号 2014-253449
公開日 2016年6月23日 (3年0ヶ月経過) 公開番号 2016-115150
状態 特許登録済
技術分野 金銭登録機・受付機
主要キーワード 各入出力回路 類似度判断 オブジェクト認識処理 スタンド型 証拠資料 バックライト照射 防犯ベル 絶対評価
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年6月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

秘匿性の高い操作で緊急通報を行う。

解決手段

商品登録装置1は、現金を収容するキャッシュドロワ開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段としての緊急時オブジェクト認識処理部98と、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段としての緊急通報部99とを備える。

概要

背景

従来、物品撮影した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ(特徴量)と比較することで、当該物品の種別等を認識する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、青果品等商品識別に用いて、識別された商品を売上登録する商品登録装置が提案されている(特許文献1参照)。

また、従来、商品登録装置が設置される店舗では、防犯上の観点から種々の対応が行われている。例えば、防犯カメラ防犯ベルを店舗内に設置することや、店員防犯ブザー所持することが一般的に知られている。

概要

秘匿性の高い操作で緊急通報を行う。商品登録装置1は、現金を収容するキャッシュドロワ開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段としての緊急時オブジェクト認識処理部98と、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段としての緊急通報部99とを備える。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像撮影により商品を認識することによって当該商品の売上登録処理を行う商品登録装置であって、現金を収容するキャッシュドロワ開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段と、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、を備える商品登録装置。

請求項2

前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定する、ことを特徴とする請求項1に記載の商品登録装置。

請求項3

前記緊急状態を示す事象は、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーである、ことを特徴とする請求項2に記載の商品登録装置。

請求項4

前記緊急状態を示す事象は、最高紙幣であることを特徴とする請求項2に記載の商品登録装置。

請求項5

現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定ステップと、前記判定ステップによる判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報ステップと、を有する緊急通報方法

請求項6

商取引における商品を撮影する撮影手段によって、現金を収容するキャッシュドロワが開放されている期間中に撮影された撮影画像から緊急状態を判定する判定手段と、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、を備える緊急通報装置

請求項7

現金を収容するキャッシュドロワの状態を取得する取得手段と、商取引における商品を撮影する撮影手段によって、前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段と、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、を備える緊急通報装置。

請求項8

前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定する、ことを特徴とする請求項6または7に記載の緊急通報装置。

請求項9

前記緊急状態を示す事象は、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーである、ことを特徴とする請求項8に記載の緊急通報装置。

請求項10

前記緊急状態を示す事象は、最高額紙幣であることを特徴とする請求項8に記載の緊急通報装置。

請求項11

撮影手段を用いて商取引における商品の登録処理を行う商品登録装置のコンピュータを、緊急通報処理を行うように制御する緊急通報方法であって、前記コンピュータを、現金を収容するキャッシュドロワの状態を取得する取得手段、前記撮影手段によって前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段、として機能させるようにした緊急通報方法。

技術分野

0001

本発明は、商品登録装置、緊急通報方法及び緊急通報装置に関する。

背景技術

0002

従来、物品撮影した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ(特徴量)と比較することで、当該物品の種別等を認識する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、青果品等商品識別に用いて、識別された商品を売上登録する商品登録装置が提案されている(特許文献1参照)。

0003

また、従来、商品登録装置が設置される店舗では、防犯上の観点から種々の対応が行われている。例えば、防犯カメラ防犯ベルを店舗内に設置することや、店員防犯ブザー所持することが一般的に知られている。

先行技術

0004

特許第5518918号公報

発明が解決しようとする課題

0005

しかしながら、防犯カメラの設置は、強盗などの犯罪抑止効果があると共に、撮影した映像が犯罪の証拠資料となる点で有効であるが、実際に犯行が行われた場合に、その事を外部に即時かつ確実に連絡することが出来ない。

0006

一方、防犯ベルの設置や防犯ブザーの所持は、強盗などの犯行が実際に行われた場合に、その事を外部に即時かつ確実に連絡することが可能であるが、防犯ベル等を操作する意図を犯人に知られた場合に、危害を加えられる虞がある。また、防犯ベル等の存在やその操作方法を犯人に予め知られていた場合に、犯人に防犯ベル等の操作を妨害されてしまう虞がある。

0007

本発明の課題は、秘匿性の高い操作で緊急通報を行うことである。

課題を解決するための手段

0008

前記課題を解決するため、本発明の商品登録装置は、画像撮影により商品を認識することによって当該商品の売上登録処理を行う商品登録装置であって、現金を収容するキャッシュドロワ開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段と、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、を備える。

発明の効果

0009

本発明によれば、秘匿性の高い操作で緊急通報を行うことができる。

図面の簡単な説明

0010

第1の実施形態における商品登録装置を示す外観斜視図である。
第1の実施形態における商品登録装置を示す概略の構成図である。
第1の実施形態における商品登録装置を示す論理ブロック図である。
第1の実施形態における商品登録装置の商品登録処理の全体動作を示すフローチャートを例示した図である。
第1の実施形態における商品登録処理の画面遷移の例を示す図である。
第1の実施形態における商品登録装置の緊急通報処理の全体動作を示すフローチャートを例示した図である。
第1の実施形態における緊急通報処理の画面例を示す図であり、(a)は最高紙幣を撮影した場合を示し、(b)は犯行に利用される物を撮影した場合を示し、(c)はオペレータ(店員)が持った状態の最高額紙幣を撮影した場合を示す。
第2の実施形態における商品登録装置を示す論理ブロック図である。
第2の実施形態における商品登録装置の緊急通報処理の全体動作を示すフローチャートを例示した図である。
第2の実施形態における緊急通報処理の画面例を示す図であり、(a)は両手を広げた状態を撮影した場合を示し、(b)は両手を握った場合を示し、(c)は手を左右に移動させた動作を撮影した場合を示す。
変形例における商品登録装置を示す外観斜視図である。

実施例

0011

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

0012

[第1の実施形態]
図1は、第1の実施形態における商品登録装置1を示す斜視図である。
図1に示すように、商品登録装置1は、キャッシュレジスタ1aと、商品識別装置1bとを備え、商品販売店カウンタ台2に設置される。
キャッシュレジスタ1aは、顧客用ディスプレイ11と、タッチディスプレイ12と、キャッシュドロワ13と、プリンタ14を備えて構成される。商品識別装置1bは、撮影装置15と、撮影台16、バックライト光源17を備えて構成される。

0013

商品識別装置1bは、撮影装置15によって撮影された画像を処理することで、トレー3の上の取扱商品6(例えば、パン)の種類と個数とを識別し、識別情報としてキャッシュレジスタ1aに送信する。ここで、取扱商品とは、商品登録装置1が設置されている店舗で販売されている(取り扱っている)商品を意味する。キャッシュレジスタ1aは、識別情報を受けて、合計代金等の表示や、販売管理売上実績管理等の演算入出力を実行する。
なお、取扱商品の会計を行う際、商品登録装置1を扱うオペレータ(店員)は、カウンタ台2の図面手前側に立つ。一方、顧客は、カウンタ台2の図面奥側に立つ。

0014

顧客用ディスプレイ11は、例えば液晶表示装置であり、顧客側である図面奥を向いている。顧客用ディスプレイ11は、顧客に対して取扱商品の会計に関する情報(商品名、金額など)を表示する。
タッチディスプレイ12は、例えば液晶表示装置であるディスプレイ12A(図2参照)の表面にタッチパネル12Bが積層されたものであり、オペレータ側である図面手前を向いている。このタッチディスプレイ12は、オペレータに対して撮影画像や各種情報(商品名、金額など)を表示するとともに、オペレータによるタッチ操作入力受け付ける。

0015

キャッシュドロワ(省略して「ドロワ」とよぶ場合がある)13は、取扱商品の会計時に扱われる紙幣、硬貨金券などを保管する引出しであり、タッチディスプレイ12の直下に位置している。キャッシュドロワ13は、オペレータ(店員)によるタッチディスプレイ12の操作により、図面手前側(破線で示した位置)にスライドすることで開放される。
プリンタ14は、タッチディスプレイ12の左下に位置しており、取扱商品の会計時に会計の内容(商品名、金額など)をレシート印字する。

0016

撮影装置15は、撮影台16に置かれたトレー3、および、トレー3の上の取扱商品を真上から撮影する。照明装置(不図示)は、この撮影装置15に隣接して取り付けられており、撮影装置15による撮影領域151を照射する。取扱商品とは、例えば自家製のパンである。撮影装置15が撮影する際、トレー3上のパン6には、照明装置から照明光が照射され、トレー3の下からは、バックライト光源17からのバックライトが上向きに照射される。このトレー3は、透明ではないものの、上下方向に光を透過するよう半透明で、かつ、模様等のない単一色に形成されている。トレー3の色は白色または淡色とすることが望ましい。更にトレー3は、その上面に微細マット加工を付すことが望ましい。これにより、照明装置からの照明光の反射を抑止することができる。
顧客は、トレー3に取扱商品である任意数のパン6を載せて、このトレー3を撮影台16に載せる。図1の例では2個のパン6がトレー3の上に載せられている。
撮影台16は、取扱商品を購入する顧客が会計時に取扱商品を載せたトレー3を置く台である。
撮影領域151は、撮影台16における撮影装置15によって撮影可能な領域である。

0017

バックライト光源17は、撮影台16の内部に収容されており、撮影装置15によってトレー3の上の取扱商品を撮影する際に取扱商品の撮影画像がより鮮明になるように、トレー3の下からバックライトを上向きに照射する。バックライト光源17は、例えば、LED(Light Emitting Diode)で実現することができるが、これに限定されない。
トレー3は、光を透過するように半透明となっている。そして、トレー3に載った状態のパン6を撮影装置15により撮影する際には、そのトレー3の背後である裏面側に、バックライト光源17からバックライトを照射する。これにより、照明装置からの照明光によって取扱商品であるパン6の周囲に形成される影を可及的に排除し得る。撮影装置15により撮影する際にバックライト光源17からバックライトが照射された状態にするには、常にバックライト光源17を点灯させる。しかし、これに限られず、バックライト光源17の点灯と撮影装置15の撮影とを同期させてもよい。これを実現するため、商品識別装置1bが撮影装置15とバックライト光源17を統括して制御してもよく、撮影装置15の撮影時にバックライト光源17が同期して点灯するように構成してもよい。

0018

図2は、第1の実施形態における商品登録装置1を示す概略の構成図である。
商品登録装置1は、図1で示した構成以外に、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、記憶部104と、通信部18とを備えている。なお、図2に示す商品登録装置1の各構成は、内部バス各入出力回路(不図示)を介して互いに通信可能に接続されている。

0019

CPU101は、中央制御装置であり、商品登録装置1全体の制御を司る。
RAM102は、CPU101によって使用される一時記憶手段であり、CPU101が実行するプログラムに係る画像データや各種変数などを一時的に記憶する。
ROM103は、不揮発性の記憶手段であり、CPU101によって実行されるプログラムなどを記憶する。

0020

顧客用ディスプレイ11は、CPU101によって制御され、顧客に対して取扱商品の撮影画像や取扱商品の会計に関する情報(商品名、金額など)などを表示する。
ディスプレイ12Aは、CPU101によって制御され、オペレータに対して取扱商品の撮影画像や取扱商品の会計に関する情報(商品名、金額など)を表示する。
タッチパネル12Bは、ディスプレイ12Aに表示した情報に対するオペレータのタッチ操作入力を受け付ける。

0021

記憶部104は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)などによって構成され、各種プログラムや各種ファイルを記憶する。記憶部104に記憶されている各種プログラムや各種ファイルは、商品登録装置1の起動時に、その全部または一部がRAM102にコピーされてCPU101により実行される。この記憶部104には、各種のデータが記憶されている。

0022

撮影装置15は、カラーCCD(Charge Coupled Device)イメージセンサやカラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから構成され、CPU101の制御の下で撮影を行う撮影手段である。撮影装置15は、例えば30fps(frame per second)の動画像の撮影を行う。撮影装置15が所定のフレームレートで順次撮影したフレーム画像(撮影画像)は、RAM102に保存される。

0023

バックライト光源17は、CPU101の制御の下で、撮影装置15によってトレー3の上の取扱商品を撮影する際に撮影画像がより鮮明になるように、トレー3の下からバックライトを上向きに照射する。これにより、照明装置からの照明光や店内の他の照明によって形成される撮影領域151内の影を薄くし、画像処理の精度を高めることができる。バックライト光源17によるバックライト照射のタイミングは、例えば、撮影装置15の撮影のタイミングに合わせてもよいし、あるいは、常時でもよい。

0024

キャッシュドロワ13は、CPU101の指示により開放される。キャッシュドロワ13は、ドロワ開閉センサ13aを備えている。ドロワ開閉センサ13aは、例えば、キャッシュドロワ13の開放状態および閉鎖状態の内の少なくとも何れか一方の状態を検出し、検出結果をCPU101に対して送信してもよいし、キャッシュドロワ13が開放状態から閉鎖状態に状態変化した場合および閉鎖状態から開放状態に状態変化した場合に状態変化を検出し、検出結果をCPU101に対して送信してもよい。
プリンタ14は、例えば熱転写プリンタであり、レシートを発行する。具体的には、プリンタ14は、取扱商品の会計時にCPU101の指示により、会計の内容をレシート用紙に印字する。

0025

通信部18は、例えばネットワークインタフェースコントローラであり、ネットワークを介して外部装置4に接続されている。外部装置4は、商品登録装置1が設置されている空間と隔離された空間に設置される装置であり、例えば、バックヤード、本社、データセンターセキュリティ会社などに設置される。CPU101は、この通信部18を用いて、後記する緊急通報を外部装置4に送信させる。

0026

図3は、第1の実施形態における商品登録装置1を示す論理ブロック図である。
商品登録装置1のCPU101(図2参照)は、ROM103(図2参照)に格納された不図示のプログラムを実行することにより、処理部9として、画像記憶部91と、注文オブジェクト認識処理部92と、確定通知部93と、候補商品提示部94と、入力取得部95と、売上登録部96と、情報出力部97と、緊急時オブジェクト認識処理部98と、緊急通報部99との各部を具現化する。この注文時オブジェクト認識処理部92は、物体検出部921と、類似度演算部922と、類似度判断部923とを備えている。また、緊急時オブジェクト認識処理部98は、物体検出部981と、類似度演算部982と、類似度判断部983とを備えている。
処理部9は、記憶部104に格納された注文時オブジェクト認識用データ105と、商品内容データ106と、売上マスタ107と、緊急時オブジェクト認識用データ108とを参照する。

0027

注文時オブジェクト認識用データ105は、取扱商品の種類毎にモデル化された特徴量を組み合わせたテンプレート情報が予め登録される。注文時オブジェクト認識用データ105は、例えば、店舗に陳列して販売する取扱商品の各々について、商品名または商品IDと、その取扱商品の特徴量との関連付けが設定されたデータファイルであり、取扱商品の認識用の辞書として機能する。
商品内容データ106は、取扱商品の内容情報が設定されたデータファイルである。商品内容データ106には、取扱商品の内容情報として、商品ID(IDentifier)、商品名、単価値引き情報などが設定される。
売上マスタ107は、取扱商品の売上登録を記録するファイルであり、顧客に売り上げた商品IDと、これに対応する商品分類、商品名、単価、販売個数などが記録される。

0028

緊急時オブジェクト認識用データ108は、緊急状態を示す事象毎にモデル化された特徴量を組み合わせたテンプレート情報が予め登録される。緊急時オブジェクト認識用データ108は、例えば、商品登録装置1の周辺で発生する緊急状態を示す事象について、緊急状態の内容とその緊急状態を示す事象の特徴量との関連付けが設定されたデータファイルであり、緊急状態の認識用の辞書として機能する。
緊急状態とは、第三者の行為によりオペレータ(店員)が助けを求める必要が生じている状態であり、本実施形態では、第三者がオペレータに対してキャッシュドロワ13内の紙幣の提供を要求する場合(強盗や恐喝などの犯罪行為)を想定する。
緊急状態を示す事象とは、例えば、犯人が提供を要求する物(紙幣、硬貨、防犯ブザー、外部との連絡が可能な携帯型電話機など)、犯行に利用される物(店舗や車両の鍵、武器など)などが挙げられる。ここで、日本国における場合を想定すると、紙幣の種類は、千円札二千円札五千円札一万円札があるが、緊急状態を示す事象としては特に最高額紙幣である一万円札が有効である。それは、最高額紙幣は商取引のお釣りとして使用されることがないので、緊急状態を示す事象として最高額紙幣を用いることで後記する緊急通報の誤送信を防止することができる。

0029

画像記憶部91は、撮影されて撮影装置15が撮影したフレーム画像(カラーデジタル画像)を順次取り込んで記憶する。

0030

物体検出部921は、エッジ検出等の技術を用いて、取り込んだフレーム画像における取扱商品の候補となる画像を背景から分離する、すなわち識別対象物体だけを切り出して検出する。具体的には、顧客がトレー3を撮影台16に載せて、オペレータが撮影を指示すると、処理部9は、撮影装置15によって撮影台16上の撮影領域151を撮影する。物体検出部921は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部921は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して画像を各領域に分離して、物体を検出する。

0031

類似度演算部922は、個々の取扱商品の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部922は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。類似度演算部922は更に、各分離画像の特徴量と、注文時オブジェクト認識用データ105に記録された取扱商品の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ105に記録された取扱商品との類似度をそれぞれ算出する。ここで類似度とは、注文時オブジェクト認識用データ105に記録されている取扱商品が想定する特徴量を100%の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部922は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

0032

このように、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。下記の井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット評価ベンチマークを行い、更にその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成26年10月31日検索],インターネットCVIM-Yanai.pdf>

0033

また、画像をオブジェクト(物体)ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008.CVPR 2008.IEEE Conference on,[平成26年10月31日検索],インターネット

0034

なお、撮影された商品画像の特徴量と、注文時オブジェクト認識用データ105に記録された取扱商品の商品画像の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された商品画像の特徴量と、注文時オブジェクト認識用データ105に記録された各取扱商品の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

0035

類似度を絶対評価として算出する場合には、分離画像の特徴量と、注文時オブジェクト認識用データ105として記憶された取扱商品の特徴量とを1対1で比較し、この比較の結果算出される類似度(0〜100%)をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が1.0(100%)となるよう算出する。例えば、注文時オブジェクト認識用データ105として取扱商品A、Bの特徴量が記憶されていたとする。このとき分離画像について、例えば、取扱商品Aに対して類似度が0.65、取扱商品Bに対しては類似度が0.2、などのように算出する。

0036

類似度判断部923は、物体の分離画像ごとに、類似度演算部922が算出した類似度に基づいて、例えば、対応する取扱商品に関して次の3択で判断する。
(1)分離画像に対応する取扱商品が一意に決定された。
(2)分離画像に対応する取扱商品の候補が1つ以上存在する。
(3)分離画像に対応する取扱商品が無いと決定する。
この判断のための条件として、例えば、記憶部104は、条件X,Yを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

0037

条件Xは、充足すれば上記(1)と判断するための条件である。条件Xは、例えば、「類似度の一番大きい取扱商品の類似度が90%以上」、かつ、「類似度の一番大きい取扱商品の類似度と、類似度の二番目に大きい取扱商品の類似度の差が20%以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい取扱商品の類似度が95%の取扱商品Aで、その次が類似度60%の取扱商品Bであったとする。このとき条件Xを満たすので、分離画像に対応する取扱商品Aは、一意に決定される。

0038

条件Xを満たさない場合、条件Yが用いられる。
条件Yは、充足すれば上記(2)と判断するための条件である。条件Yは、例えば、「類似度60%以上の取扱商品が1つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい取扱商品が類似度80%の取扱商品Aで、二番目が類似度75%の取扱商品Bで、三番目が類似度65%の取扱商品Cで、四番目が類似度55%の取扱商品Dであったとする。このとき条件Yを満たすので、分離画像に対応する候補として類似度60%以上の対象である取扱商品A,B,Cが存在する。

0039

条件X、Yを両方とも満たさない場合、上記(3)と判断する。なお、上記した条件X、Yは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

0040

確定通知部93は、類似度判断部923が上記(1)と判断した分離画像の物体について、取扱商品が一意に確定されたことを、ディスプレイ12Aや顧客用ディスプレイ11への表示や音声出力などによってオペレータや顧客に報知する。
より詳細には、確定通知部93は、類似度判断部923が上記(1)と判断した分離画像を、緑の枠線と共に顧客用ディスプレイ11やディスプレイ12Aに表示することで、分離画像に対応した取扱商品が一意に確定されたことを示す。

0041

候補商品提示部94は、類似度判断部923が上記(2)と判断した分離画像を、黄色の枠線と共にディスプレイ12Aや顧客用ディスプレイ11に表示することで、分離画像に対応した取扱商品の候補が1つ以上存在することを示す。更に、この分離画像をオペレータがタッチパネル12Bを介してタッチすることで、ディスプレイ12Aには、取扱商品の候補である写真画像および商品名が、類似度の高いものから順に表示される。
このとき候補商品提示部94は、条件Yを満たした取扱商品の写真画像および商品名を注文時オブジェクト認識用データ105および商品内容データ106から読み出し、類似度演算部922が算出した類似度の高いものから、ディスプレイ12Aに順次出力する。

0042

なお、ディスプレイ12Aに取扱商品の候補の写真画像が表示されていても、これら取扱商品の候補に対する選択操作を受け付けない場合には、撮影装置15による撮影と、画像記憶部91による画像の記憶処理と、物体検出部921による物体の検出処理と、類似度演算部922による類似度の演算処理とは継続される。

0043

入力取得部95は、タッチパネル12Bを介してディスプレイ12Aの表示に対応する各種入力操作を受け付ける。例えば、上記(2)と判断され、黄色の枠線と共にディスプレイ12Aに分離画像が表示された場合、入力取得部95は、オペレータによるタッチパネル12Bを用いた分離画像の選択のタッチ入力操作を受け付ける。更に、取扱商品の候補の1つ以上の画像がディスプレイ12Aに表示された場合、オペレータによるタッチパネル12Bを用いた商品選択のタッチ入力操作を受け付ける。

0044

売上登録部96は、情報出力部97から出力された商品IDに基づいて、対応する取扱商品の売上登録を行う。具体的には、売上登録部96は、通知された商品IDおよび、これに対応する商品分類、商品名、単価、販売個数などを売上マスタ107などに記録して売上登録を行う。

0045

情報出力部97は、上述のようにして確定された取扱商品について、商品内容データ106を参照して、その取扱商品を示す情報(例えば、商品ID(IDentifier)、商品名、値引き情報など)を顧客用ディスプレイ11、ディスプレイ12A、プリンタ14に出力する。

0046

物体検出部981は、エッジ検出等の技術を用いて、取り込んだフレーム画像における緊急状態を示す事象(例えば、紙幣)の候補となる画像を背景から分離する、すなわち識別対象の事象だけを切り出して検出する。具体的には、キャッシュドロワ13の開放をドロワ開閉センサ13aが検出すると、処理部9は、撮影装置15によって撮影台16上の撮影領域151を撮影する。物体検出部981は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部981は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して画像を各領域に分離して、緊急状態を示す事象を検出する。

0047

類似度演算部982は、緊急状態を示す事象(例えば、紙幣)を、検出された各物体の分離画像に基づいて識別する。類似度演算部982は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。類似度演算部982は更に、各分離画像の特徴量と、緊急時オブジェクト認識用データ108に記録された緊急状態を示す事象の各特徴量とをそれぞれ比較することで、各分離画像と緊急時オブジェクト認識用データ108に記録された緊急状態を示す事象との類似度をそれぞれ算出する。ここで類似度とは、緊急時オブジェクト認識用データ108に記録されている緊急状態を示す事象が想定する特徴量を100%の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部982は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

0048

なお、撮影された緊急状態を示す事象(例えば、紙幣)の画像の特徴量と、緊急時オブジェクト認識用データ108に記録された緊急状態を示す事象の画像の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された事象の特徴量と、緊急時オブジェクト認識用データ108に記録された各緊急状態を示す事象の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

0049

類似度を絶対評価として算出する場合には、分離画像の特徴量と、緊急時オブジェクト認識用データ108として記憶された緊急状態を示す事象(例えば、紙幣)の特徴量とを1対1で比較し、この比較の結果算出される類似度(0〜100%)をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各緊急状態を示す事象との類似度の総和が1.0(100%)となるよう算出する。例えば、緊急時オブジェクト認識用データ108として事象A、Bの特徴量が記憶されていたとする。このとき分離画像について、例えば、事象Aに対して類似度が0.65、事象Bに対しては類似度が0.2、などのように算出する。

0050

類似度判断部983は、物体の分離画像ごとに、類似度演算部982が算出した類似度に基づいて、例えば、対応する事象に関して次の2択で判断する。
(4)分離画像に対応する事象が一意に決定された。
(5)分離画像に対応する事象が無いと決定する。
この判断のための条件として、例えば、記憶部104は、条件Zを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

0051

条件Zは、充足すれば上記(4)と判断するための条件である。条件Zは、例えば、「類似度の一番大きい事象の類似度が90%以上」、かつ、「類似度の一番大きい事象の類似度と、類似度の二番目に大きい事象の類似度の差が20%以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい事象の類似度が95%の事象Aで、その次が類似度60%の事象Bであったとする。このとき条件Zを満たすので、分離画像に対応する事象Aは、一意に決定される。この場合、上記(4)と判断した分離画像の物体について、緊急状態を示す事象が一意に確定されたことを、ディスプレイ12Aや顧客用ディスプレイ11への表示や音声出力などによって報知しないことが望ましい。第三者(特に、犯人)に緊急通報の判断を行っていることを知らせないためである。

0052

条件Zを満たさない場合、上記(5)と判断する。類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。
なお、上記した条件Zは一例であり、これらに限定されない。例えば、条件Zは、「類似度60%以上の事象が1つ以上あること」であってもよい。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい事象が類似度80%の事象Aで、二番目が類似度75%の事象Bであったとする。このとき条件Zを満たすので、分離画像に対応する候補として類似度60%以上の対象である事象A,Bが存在することになる。その場合、分離画像に対応した事象の候補が1つ以上存在することをディスプレイ12Aや顧客用ディスプレイ11に表示しないことが望ましい。第三者(特に、犯人)に緊急通報の判断を行っていることを知らせないためである。

0053

緊急通報部99は、緊急状態であると判断した場合(例えば、上記(4)と判断した場合)に、通信部18(図2参照)を介して緊急通報を外部装置4に送信する。緊急通報の手段および内容は種々のものが想定される。例えば、単純に緊急状態である事のみを情報として送信してもよいし、緊急状態であると判断した撮影画像を送信してもよい。また、緊急状態である事および緊急状態であると判断した撮影画像を併せて送信してもよい。

0054

(商品登録処理)
次に、商品登録装置1を用いた商品登録処理について図4および図5を参照して説明する(適宜、図1ないし図3参照)。図4は、商品登録装置1の商品登録処理の全体動作を示すフローチャートを例示した図である。図5は、商品登録装置1の画面遷移の例を示す図である。

0055

最初に、処理部9は、撮影装置15に撮影オン信号を出力して撮影を開始させる(ステップS1)。撮影装置15が撮影したフレーム画像(カラーデジタル画像)は、順次取り込まれて画像記憶部91に記憶される。物体検出部921は、画像記憶部91に保存されたフレーム画像(撮影画像)を取り込み(ステップS2)、取り込んだ画像から取扱商品の認識を行う(ステップS3)。具体的にいうと、オペレータが取扱商品の撮影指示を行うと、この取扱商品がオブジェクトとして認識される(図5(a)参照)。図5(a)では、2個の取扱商品6がオブジェクトとして認識されている。

0056

続いて、類似度演算部922は、取扱商品の画像から取扱商品の特徴量を読み取り、注文時オブジェクト認識用データ105に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する(ステップS4)。次に、類似度判断部923は、取扱商品が一意に決定された場合には、その取扱商品を登録商品として確定し、一方、取扱商品が一意に決定できずに複数の候補が存在する場合には、候補商品提示部94が候補商品を表す情報をディスプレイ12Aに表示し、オペレータによる選択操作により登録商品を確定する(ステップS5)。そして、確定通知部93は、確定した登録商品を表す情報(確定画面)をディスプレイ12Aおよび顧客用ディスプレイ11に表示する(ステップS6)。図5(b)では、「カレーパン」および「メロンパン」が取扱商品として決定され、これらの取扱商品が登録商品として確定されている(図5(c)参照)。そして、オペレータは精算を行う。

0057

続いて、処理部9は、オペレータから業務の終了の指示が行われたか否かを判定する(ステップS7)。業務を継続する場合(ステップS7で“No”)、処理部9は、ステップS2へ処理を戻して次の商品登録処理を継続させる。オペレータの指示により業務を終了する場合(ステップS7で“Yes”)、処理部9は、撮影装置15に撮影オフ信号を出力して撮影装置15による撮影を終了する(ステップS8)。

0058

(緊急通報処理)
次に、商品登録装置1を用いた緊急通報処理について図6を参照して説明する(適宜、図1ないし図3参照)。図6は、商品登録装置1の緊急通報処理の全体動作を示すフローチャートを例示した図である。
ここでは、犯人が取扱商品の購入を装い、商品登録装置1のオペレータ(店員)に金銭を要求する場合を想定する。犯人は、金銭を要求した後、指示に従わせる為および外部への連絡を行わせないようにするために、所持している武器(ナイフ拳銃)で威嚇すると共にオペレータの動向を厳しく観察する。したがって、オペレータは、大声で助けを求めたり、非常ベルを操作することができない。その為、オペレータは、仕方なく犯人の指示に従い、キャッシュドロワ13内部の一万円札(紙幣)を犯人に渡すことになる。なお、この時点では、キャッシュドロワ13は閉じられている。

0059

オペレータ(店員)がキャッシュドロワ13(図2参照)を開放すると、ドロワ開閉センサ13a(図2参照)がキャッシュドロワ13の開放を検出し、処理部9は、撮影装置15に撮影オン信号を出力して撮影を開始させる(ステップS11)。撮影装置15が撮影したフレーム画像(カラーデジタル画像)は、順次取り込まれて画像記憶部91(図3参照)に記憶される。具体的にいうと、キャッシュドロワ13から取り出した一万円札51をオペレータが撮影台16の上に置くと、その一万円札51を撮影装置15が撮影する(図7(a)参照)。

0060

続いて、物体検出部981は、画像記憶部91に保存されたフレーム画像(撮影画像)を取り込み(ステップS12)、取り込んだ画像から撮影対象物の検出を行う(ステップS13)。具体的にいうと、オペレータにより撮影台16の上に置かれた紙幣がオブジェクトとして認識される。

0061

続いて、類似度演算部982は、撮影した画像から撮影対象物の特徴量を読み取り、緊急時オブジェクト認識用データ108に登録された各緊急状態を示す事象(例えば、紙幣)の特徴量と比較することで緊急状態を示す事象との類似度を算出する(ステップS14)。
続いて、類似度判断部983は、撮影対象物が緊急状態を示す事象の何れかに類似するか否かを判定する(ステップS15)。類似する場合(ステップS15で“Yes”)に処理をステップS16に進め、一方、類似しない場合(ステップS15で“No”)に処理をステップS18に進める。類似しない場合には、何も撮影されていない場合も含まれている。

0062

撮影対象物が緊急状態を示す事象の何れかに類似する場合(ステップS15で“Yes”)に、処理部9は、キャッシュドロワ13が開放された時点で撮影対象物が撮影台16の上に置かれていたか否かを判定する(ステップS16)。この処理は、誤って緊急通報を送信するのを防ぐものであり、例えば、顧客が買い物をした際に、撮影台16の上に誤って落とした紙幣を撮影した場合を想定している。その為、この処理を行わなくてもよいし、緊急通報の誤送信を防ぐ他の処理であってもよい。
開放された時点で撮影対象物が撮影台16の上に置かれていない場合(ステップS16で“No”)に、処理をステップS17に進め、一方、開放された時点で撮影対象物が撮影台16の上に置かれていた場合(ステップS16で“Yes”)に処理をステップS19に進める。

0063

開放された時点で撮影対象物が撮影台16の上に置かれていない場合(ステップS16で“No”)に、緊急通報部99は、通信部18を介して外部装置4や警察警備会社等の予め設定されている通報先に緊急通報を送信する(ステップS17)。そして、この緊急通報を受信した外部装置4の操作者は、例えば、商品登録装置1が設置されている店舗の防犯カメラや店舗に連絡を取り、その後の対応を行う。ステップS17に続いて、処理はステップS19に進む。

0064

撮影対象物が緊急状態を示す事象の何れかに類似しない場合(ステップS15で“No”)に、処理部9は、ドロワ開閉センサ13aがキャッシュドロワ13の閉鎖を検出したか否かを判定する(ステップS18)。キャッシュドロワ13が閉鎖されていない場合(ステップS18で“No”)に、処理をステップS12に戻して新たに画像データを取り込み、所定の間隔で撮影対象物の検出を続ける。一方、キャッシュドロワ13が閉鎖されている場合(ステップS18で“Yes”)に、処理をステップS19に進める。具体的にいうと、オペレータがキャッシュドロワ13を開放している期間中、撮影台16に緊急状態を示す事象が出現していないかを検出している。

0065

ステップS16またはステップS18で“Yes”と判定された場合、ならびにステップS17に続いて、処理部9は、撮影装置15に撮影オフ信号を出力して撮影を終了させる(ステップS19)。

0066

なお、ここでは、図7(a)に示すように最高額紙幣である一万円札51を撮影した場合を説明したが、図7(b)に示すように鍵52やスマートフォン53を撮影した場合に緊急状態であると判定してもよい。また、ここでは、撮影台16の上に置かれた一万円札51を撮影した場合を説明したが、図7(c)に示すようにオペレータ(店員)が持った状態の一万円札54を撮影した場合に緊急状態であると判定してもよい。

0067

以上のように、第1実施形態に係る商品登録装置1は、キャッシュドロワ13が開放されている期間中に撮影した撮影対象物と緊急状態を示す事象(例えば、紙幣)とを比較することで、緊急状態を示す事象に対する類似度を判定する。ここで、緊急状態とは、第三者の行為によりオペレータ(店員)が助けを求める必要が生じている状態であり、本実施形態では、第三者がオペレータに対してキャッシュドロワ13内の紙幣の提供を要求する場合(強盗や恐喝などの犯罪行為)を想定していた。また、緊急状態を示す事象とは、例えば、犯人が提供を要求する物(犯行目的の紙幣、防犯ブザー、外部との連絡が可能な携帯型電話機など)、犯行に利用される物(店舗や車両の鍵、武器など)が挙げられる。そして、撮影対象物が緊急状態を示す事象に類似するかを類似度に応じて判定し、類似している場合に、緊急通報を外部に送信する。その為、商品登録装置1を用いることで、物体認識技術を用いた秘匿性の高い操作で緊急通報を行うことができる。

0068

[第2の実施形態]
第1の実施形態に係る商品登録装置1では、犯人が提供を要求する物(犯行目的の紙幣、外部との連絡が可能な携帯型電話機など)、犯行に利用される物(キャッシュドロワ13の鍵、店舗や車両の鍵、武器など)などを、キャッシュドロワ13が開放された状態において撮影装置15で撮影した場合に緊急状態であると判定し、緊急通報を外部装置4に対して送信していた。しかしながら、犯人の指示の仕方によっては、緊急通報を外部装置4や警察、警備会社等の予め設定されている通報先に送信できない虞がある。例えば、犯人がキャッシュドロワ13の開放だけを指示し、犯人自らがカウンタ台2(図1参照)越しに手を伸ばしてキャッシュドロワ13内の紙幣を取るような場合である。この場合には、撮影台16に犯人が提供を要求する物(例えば、紙幣)などが置かれる可能性が低いので、緊急通報を外部装置4に送信できない。

0069

そこで、第2の実施形態に係る商品登録装置1では、オペレータ(店員)が行う特定のジェスチャーを撮影装置15で撮影した場合に緊急状態であると判定し、緊急通報を外部装置4に対して送信する。犯行時、犯人は自分の目の届かない所でのオペレータの行動警戒するが、犯人の目の届く範囲の動作に対しては警戒心が薄い場合がある。例えば、前記した犯人自らがカウンタ台2越しに手を伸ばしてキャッシュドロワ13内の紙幣を取るような場合を考えると、犯人の意識は、キャッシュドロワ13内の紙幣や犯人の死角となるカウンタ台2の下部におけるオペレータの動作に向いている。その為、犯人の目の前に差し出された手の動作を犯人が不審に感じる可能性は低いと考えられる。以下、第2の実施形態に係る商品登録装置1の具体的な構成などについて説明する。

0070

図8は、第2の実施形態における商品登録装置を示す論理ブロック図である。
第2の実施形態では、記憶部104内の緊急時オブジェクト認識用データ108Aの内容、および緊急時オブジェクト認識処理部98Aが第1の実施形態と異なっている。以下では、第1の実施形態との相違点について説明する。

0071

緊急時オブジェクト認識用データ108Aは、緊急状態を示す事象毎にモデル化された特徴量を組み合わせたテンプレート情報が予め登録される。
ここで、第2の実施形態で想定する緊急状態を示す事象とは、犯行時(緊急状態時)に実行が可能な手形状やジェスチャーであり、望ましくは犯人を刺激しない動作やそれが緊急状態を外部に連絡しているものだということを犯人に知られない自然な動作であるのが望ましい。例えば、指を伸ばした状態の手形状や指を曲げた状態の手形状であってもよいし、手を開いたり閉じたりする動作や手を上下または左右に振る動作であってもよい。この緊急状態を示す手形状やジェスチャーは、オペレータに事前に通知されているものとする。

0072

緊急時オブジェクト認識処理部98Aは、物体検出部981Aと、類似度演算部982Aと、類似度判断部983とを備えている。
物体検出部981Aは、第1の実施形態における物体検出部981の機能である識別対象の事象(例えば、手形状やジェスチャー)だけを切り出して検出することに加えて、検出した事象の位置を特定する。これにより、識別対象の事象が手形状やジェスチャーの場合に、手がオペレータ側から差し出されたものなのか、顧客側から差し出されたものなのかを検出する。顧客は緊急通報を行うジェスチャーを知らないので、顧客側から手が差し出された場合には、緊急通報を行わないようにする。

0073

類似度演算部982Aは、個々の取扱商品の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部982Aは、各分離画像について、大きさ、形状、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。類似度演算部982は更に、各分離画像の特徴量と、緊急時オブジェクト認識用データ108Aに記録された緊急状態を示す事象(例えば、手形状やジェスチャー)の各特徴量とをそれぞれ比較することで、各分離画像と緊急時オブジェクト認識用データ108に記録された緊急状態を示す事象との類似度をそれぞれ算出する。ここで類似度とは、緊急時オブジェクト認識用データ108Aに記録されている緊急状態を示す事象が想定する特徴量を100%の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部982Aは、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

0074

なお、撮影された商品画像の特徴量と、緊急時オブジェクト認識用データ108Aに記録された緊急状態を示す事象(例えば、手形状やジェスチャー)の画像の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された事象の特徴量と、緊急時オブジェクト認識用データ108Aに記録された各緊急状態を示す事象の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

0075

次に、第2の実施形態に係る商品登録装置1の緊急通報処理について図9を参照して説明する。ステップS21〜ステップS23の処理は、図6に示すステップS11〜ステップS13の処理と同様であり、また、ステップS27〜ステップS29の処理は、図6に示すステップS17〜ステップS19の処理と同様である。その為、これらの処理の説明については省略する。

0076

ステップS23に続いて、類似度演算部982Aは、撮影した画像から撮影対象物の特徴量を読み取り、緊急時オブジェクト認識用データ108Aに登録された各緊急状態を示す事象(例えば、手形状やジェスチャー)の特徴量と比較することで緊急状態を示す事象との類似度を算出する(ステップS24)。この際、撮影対象物の位置を特定することで、識別対象の事象が手形状やジェスチャーの場合には、手がオペレータ側から差し出されたものなのか、顧客側から差し出されたものなのかを検出する。

0077

続いて、類似度判断部983は、撮影対象物が緊急状態を示す事象(例えば、手形状やジェスチャー)の何れかに類似するか否かを判定する(ステップS25)。類似する場合(ステップS25で“Yes”)に処理をステップS26に進め、一方、類似しない場合(ステップS25で“No”)に処理をステップS28に進める。類似しない場合には、何も撮影されていない場合も含まれている。具体的にいうと、両手を開いた状態や両手を握った状態が緊急状態を示すと事前に決められていた場合に、図10(a)に示すように、指を開いた状態の手55,55を撮影したときや、図10(b)に示すように、指を閉じた状態の手56,56を撮影したときに、撮影対象物が緊急状態を示す事象に類似すると判定される。また、手を左右に移動させるジェスチャーが緊急状態を示すと事前に決められていた場合に、図10(c)に示すように、手57を左右に移動させる動作を撮影したときに、撮影対象物が緊急状態を示す事象に類似すると判定される。

0078

撮影対象物が緊急状態を示す事象の何れかに類似する場合(ステップS25で“Yes”)に、処理部9は、手がオペレータ(店員)側から差し出されているか否かを判定する(ステップS26)。この処理は、誤って緊急通報を送信するのを防ぐものであり、例えば、誤って撮影台16の上に差し出した顧客の手を撮影した場合を想定している。その為、この処理を行わなくてもよいし、緊急通報の誤送信を防ぐ他の処理であってもよい。手がオペレータ側から差し出されている場合(ステップS26で“Yes”)に、処理をステップS27に進め、一方、手がオペレータ側から差し出されていない場合(ステップS26で“No”)に、処理をステップS29に進める。

0079

以上のように、第2の実施形態に係る商品登録装置1は、事前に決められた手形状やジェスチャーを撮影装置15で撮影した場合に緊急状態であると判定し、緊急通報を外部装置4や警察、警備会社等の予め設定されている通報先に対して送信する。その為、犯人の指示に関わらずに緊急通報を行うことができる。

0080

[変形例]
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。各実施形態の変形例を以下に示す。

0081

第1および第2の実施形態では、緊急通報装置として、撮影台16に置かれた取扱商品を真上から撮影するスタンド型の撮影装置15を備える商品登録装置1を想定して説明した。しかしながら、商品登録装置1はこれに限定されるものではなく、種々の構成にすることが可能である。例えば、図11に示すように、カウンタ台2の上部に設置される薄型矩形状のハウジング2aを有する構成でもよい。このハウジング2aの正面には、読取窓を介して撮影装置15が配置されている。

0082

また、第1の実施形態では、紙幣などを撮影装置15で撮影した場合に緊急状態であると判定し、緊急通報を外部装置4に対して送信していた。しかしながら、緊急状態の判定はこれに限定されず、撮影した紙幣の合計金額や撮影した物の組合せまたは順番で緊急状態を判定してもよい。これにより、商取引で誤って紙幣を撮影装置15で撮影した場合でも、緊急通報の誤送信を防止することができる。
具体的には、店舗における一回の商取引で使用される金額よりも撮影装置15で撮影された紙幣の合計金額が大きい場合に緊急状態であると判定してもよい。
また、通常の商取引で使用される可能性が低い紙幣の組合せを撮影装置15で撮影した場合に緊急状態であると判定してもよい。商取引で使用される可能性が低い紙幣の組合せとは、例えば、五千円札を2枚以上撮影した場合や千円札を10枚以上撮影したような場合である。
また、通常の商取引で使用される可能性が低い順番で撮影装置15が撮影を撮影した場合に緊急状態であると判定してもよい。商取引で使用される可能性が低い順番とは、例えば、一万円札を撮影した数秒後にまた一万円札を撮影したような場合である。

0083

また、第2の実施形態では、事前に決められた手形状やジェスチャーを撮影装置15で撮影した場合に緊急状態であると判定し、緊急通報を外部装置4や警察、警備会社等の予め設定されている通報先に対して送信していた。しかしながら、緊急状態の判定はこれに限定されず、犯行時(緊急状態時)に撮影が可能であるなら手形状やジェスチャーでなくてもよく、例えば、事前に決められた特定の物を撮影した場合に緊急状態であると判定してもよい。その場合、商品登録を行う取扱商品と区別できるように、緊急状態の判定に用いる物は、店舗で取り扱っていない商品であることが望ましい。店舗で取り扱っていない商品には、架空の物(例えば、赤色の大根)も含まれる。この緊急状態の判定に用いる物は、例えば、商品登録装置1の側に常に置かれているのがよい。

0084

また、第1および第2の実施形態では、商品登録装置1が外部装置4や警察、警備会社等の予め設定されている通報先に対して緊急通報を送信していたが、緊急通報に代えてヘルプサイン等の他の情報を送信してもよい。

0085

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
画像撮影により商品を認識することによって当該商品の売上登録処理を行う商品登録装置であって、
現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段と、
前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、
を備える商品登録装置。
<請求項2>
前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定する、
ことを特徴とする請求項1に記載の商品登録装置。
<請求項3>
前記緊急状態を示す事象は、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーである、
ことを特徴とする請求項2に記載の商品登録装置。
<請求項4>
前記緊急状態を示す事象は、最高額紙幣であることを特徴とする請求項2に記載の商品登録装置。
<請求項5>
現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定ステップと、
前記判定ステップによる判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報ステップと、
を有する緊急通報方法。
<請求項6>
商取引における商品を撮影する撮影手段によって、現金を収容するキャッシュドロワが開放されている期間中に撮影された撮影画像から緊急状態を判定する判定手段と、
前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、
を備える緊急通報装置。
<請求項7>
現金を収容するキャッシュドロワの状態を取得する取得手段と、
商取引における商品を撮影する撮影手段によって、前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段と、
前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、
を備える緊急通報装置。
<請求項8>
前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定する、
ことを特徴とする請求項6または7に記載の緊急通報装置。
<請求項9>
前記緊急状態を示す事象は、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーである、
ことを特徴とする請求項8に記載の緊急通報装置。
<請求項10>
前記緊急状態を示す事象は、最高額紙幣であることを特徴とする請求項8に記載の緊急通報装置。
<請求項11>
撮影手段を用いて商取引における商品の登録処理を行う商品登録装置のコンピュータを、緊急通報処理を行うように制御する緊急通報方法であって、
前記コンピュータを、
現金を収容するキャッシュドロワの状態を取得する取得手段、
前記撮影手段によって前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段、
前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段、
として機能させるようにした緊急通報方法。

0086

1商品登録装置
1aキャッシュレジスタ
1b商品識別装置
2カウンタ台
4 外部装置
6パン(商品)
11顧客用ディスプレイ
12タッチディスプレイ
13キャッシュドロワ
13aドロワ開閉センサ
15撮影装置
16撮影台
18通信部
91画像記憶部
92注文時オブジェクト認識処理部
93確定通知部
94候補商品提示部
95 入力取得部
96売上登録部
97情報出力部
98,98A 緊急時オブジェクト認識処理部(判定手段)
99 緊急通報部(通報手段)
105 注文時オブジェクト認識用データ
108,108A 緊急時オブジェクト認識用データ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 東芝テック株式会社の「 返品受付装置」が 公開されました。( 2019/05/09)

    【課題】 返品の受付に関わる店員の手間を軽減できる返品受付装置を提供することである。【解決手段】 実施形態の返品受付装置は、判定手段及び払戻制御手段を備える。判定手段は、商品の状態が、その商品の返... 詳細

  • スター精密株式会社の「 印刷装置、及び情報処理システム」が 公開されました。( 2019/05/09)

    【課題】ユーザの負担を軽減しつつ、周辺機器の設定に関する情報を印刷することができる印刷装置、及び、情報処理システムを実現する。【解決手段】印刷装置(100)は、周辺機器を検知する検知部(111)と、検... 詳細

  • 株式会社寺岡精工の「 商品販売データ処理装置及びプログラム」が 公開されました。( 2019/05/09)

    【課題】店員が登録した商品と客が登録した商品とを十分に判別する。【解決手段】客側に向けられた客側表示部と店員側に向けられた店員側表示部とを有し、商品の販売に用いる商品販売データ処理装置であって、店員側... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ