図面 (/)

技術 物体認識装置、物体認識方法及び物体認識プログラム

出願人 グローリー株式会社
発明者 善本秀法石田良介
出願日 2019年2月14日 (1年9ヶ月経過) 出願番号 2019-024438
公開日 2020年8月31日 (2ヶ月経過) 公開番号 2020-135105
状態 未査定
技術分野 イメージ分析 金銭登録機・受付機
主要キーワード ケース枠体 外周フレーム 商品領域 基準指標 外周角 物体認識システム 配置エリア 集合領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年8月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

機器位置ずれが生じた場合でも、物体目視することにより認識結果を適切に把握可能な物体認識装置物体認識方法及び物体認識プログラムを提供する。

解決手段

物体を配置可能な配置部13と、配置部13を撮像する撮像部11と、撮像部11で撮像された画像に基づいて物体を認識可能な制御部15と、物体の表面又は配置部13に対して、制御部15が認識した認識結果を出力する出力部13aと、を備え、制御部15は、画像に基づいて出力部13aと所定の位置関係にある基準指標を認識し、画像における基準指標の位置に基づき、出力部13aが認識結果を出力する位置を補正するように制御する。

概要

背景

従来、複数の商品物体)をカメラ撮像し、撮像画像から商品を認識した認識結果を表示する物体認識装置が知られている(例えば、特許文献1〜2参照)。

特許文献1に記載の物体認識装置は、店員が複数の仕切りが設けられた紙箱購入者注文したドーナツを収容し、この紙箱に収容された複数のドーナツの撮像画像に基づいてドーナツの種類を認識する。そして、認識されたドーナツの商品名や単価などの商品情報等とドーナツが収容された紙箱の画像とを同時に購入者に表示するものである。

特許文献2に記載の物体認識装置は、購入者がパンを載せたトレイカウンタ台に置き、このトレイに配置された複数のパンの撮像画像に基づいてパンの種類を認識する。そして、パンの種類を認識できたか否か、及び、認識されたパンの種類や単価などの商品情報で構成される認識結果を、投影機によりパンの表面又はパンの近傍に投影する。投影機により認識結果を投影する際、撮像画像から商品の位置を特定し、特定した位置に向けてレーザ光照射する。

概要

機器位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握可能な物体認識装置、物体認識方法及び物体認識プログラムを提供する。物体を配置可能な配置部13と、配置部13を撮像する撮像部11と、撮像部11で撮像された画像に基づいて物体を認識可能な制御部15と、物体の表面又は配置部13に対して、制御部15が認識した認識結果を出力する出力部13aと、を備え、制御部15は、画像に基づいて出力部13aと所定の位置関係にある基準指標を認識し、画像における基準指標の位置に基づき、出力部13aが認識結果を出力する位置を補正するように制御する。

目的

そこで、機器に位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握可能な物体認識装置、物体認識方法及び物体認識プログラムが望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

物体を配置可能な配置部と、前記配置部を撮像する撮像部と、前記撮像部で撮像された画像に基づいて前記物体を認識可能な制御部と、前記物体の表面又は前記配置部に対して、前記制御部が認識した認識結果を出力する出力部と、を備え、前記制御部は、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御することを特徴とする物体認識装置

請求項2

前記制御部は、前記出力部が、前記配置部のうち、前記物体の近傍に前記認識結果を出力するように制御することを特徴とする請求項1に記載の物体認識装置。

請求項3

前記認識結果とは、前記物体の位置を示す枠であり、前記制御部は、前記画像における前記物体の位置を認識し、前記出力部が前記物体の周囲に前記枠を出力するように制御することを特徴とする請求項1又は2に記載の物体認識装置。

請求項4

前記制御部は、前記物体の種別を認識し、前記物体の種別を認識できたか否かによって、前記出力部が前記枠を異なる態様で出力するように制御することを特徴とする請求項3に記載の物体認識装置。

請求項5

前記制御部は、前記画像における前記基準指標が所定の数未満の場合に警告をするように制御することを特徴とする請求項1〜4の何れか一項に記載の物体認識装置。

請求項6

前記出力部は、前記配置部の表面に前記認識結果を表示する表示部であることを特徴とする請求項1〜5の何れか一項に記載の物体認識装置。

請求項7

前記基準指標は、前記表示部により所定の位置に表示される基準マークであることを特徴とする請求項6に記載の物体認識装置。

請求項8

前記基準指標は、前記表示部の周辺に設けられている基準マークであることを特徴とする請求項6に記載の物体認識装置。

請求項9

前記基準マークは、前記配置部を収容するケース枠体外周角部であることを特徴とする請求項8に記載の物体認識装置。

請求項10

前記出力部は、前記認識結果を投影する投影機であることを特徴とする請求項1〜5の何れか一項に記載の物体認識装置。

請求項11

前記基準指標は、前記投影機により投影される基準マークであることを特徴とする請求項10に記載の物体認識装置。

請求項12

前記配置部は、前記投影機により投影された投影画面であることを特徴とする請求項10又は11に記載の物体認識装置。

請求項13

前記制御部は、前記配置部に前記物体が存在しない場合、前記投影機により投影された前記基準指標を、前記画像から認識することを特徴とする請求項10〜12の何れか一項に記載の物体認識装置。

請求項14

物体を配置可能な配置部を撮像部で撮像する撮像ステップと、前記撮像部の撮像範囲に前記物体が存在する場合、前記撮像部で撮像された画像に基づいて前記物体を認識する制御ステップと、前記物体の表面又は前記配置部に対して、前記制御ステップで認識した認識結果を出力部により出力する出力ステップと、を備え、前記制御ステップは、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御することを特徴とする物体認識方法

請求項15

物体を配置可能な配置部を撮像部で撮像して生成された画像を取得する取得処理と、前記撮像部の撮像範囲に前記物体が存在する場合、前記画像に基づいて前記物体を認識する制御処理と、前記物体の表面又は前記配置部に対して、前記制御処理で認識した認識結果を出力部に出力させる出力処理と、を備え、前記制御処理は、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御することを特徴とするコンピュータに実行させるための物体認識プログラム

技術分野

0001

本発明は、配置部に配置された物体撮像し、撮像画像から物体を認識した認識結果を出力する物体認識装置物体認識方法及び物体認識プログラムに関する。

背景技術

0002

従来、複数の商品(物体)をカメラで撮像し、撮像画像から商品を認識した認識結果を表示する物体認識装置が知られている(例えば、特許文献1〜2参照)。

0003

特許文献1に記載の物体認識装置は、店員が複数の仕切りが設けられた紙箱購入者注文したドーナツを収容し、この紙箱に収容された複数のドーナツの撮像画像に基づいてドーナツの種類を認識する。そして、認識されたドーナツの商品名や単価などの商品情報等とドーナツが収容された紙箱の画像とを同時に購入者に表示するものである。

0004

特許文献2に記載の物体認識装置は、購入者がパンを載せたトレイカウンタ台に置き、このトレイに配置された複数のパンの撮像画像に基づいてパンの種類を認識する。そして、パンの種類を認識できたか否か、及び、認識されたパンの種類や単価などの商品情報で構成される認識結果を、投影機によりパンの表面又はパンの近傍に投影する。投影機により認識結果を投影する際、撮像画像から商品の位置を特定し、特定した位置に向けてレーザ光照射する。

先行技術

0005

特開2012−043371号公報
特開2016−173657号公報

発明が解決しようとする課題

0006

特許文献1に記載の物体認識装置は、商品情報と撮像された紙箱の画像とを合わせて表示しているため、画像上の商品と実際の商品とを目視で照らし合わせる作業が必要となり、煩雑である。特許文献2に記載の物体認識装置は、認識結果をパンの表面又はパンの近傍に投影しているため、実際の商品を目視すれば認識結果を把握できるため、特許文献1に記載の物体認識装置に比べて利便性が高い。

0007

しかしながら、特許文献2に記載の物体認識装置では、例えば、購入者がカメラ又は投影機と接触等することにより、カメラ又は投影機の位置が所定の位置からずれた場合、撮像画像上の座標位置と投影機によるレーザ光の照射位置とがずれてしまい、実際の商品を目視しても認識結果を把握できないおそれがある。認識結果を出力する機器位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握するためには、位置ずれしたカメラ又は投影機を所定位置にセットし直す必要があり、煩わしさに耐えない。

0008

そこで、機器に位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握可能な物体認識装置、物体認識方法及び物体認識プログラムが望まれている。

課題を解決するための手段

0009

本発明に係る物体認識装置の特徴構成は、物体を配置可能な配置部と、前記配置部を撮像する撮像部と、前記撮像部で撮像された画像に基づいて前記物体を認識可能な制御部と、前記物体の表面又は前記配置部に対して、前記制御部が認識した認識結果を出力する出力部と、を備え、前記制御部は、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する点にある。

0010

また、本発明に係る物体認識方法の特徴は、物体を配置可能な配置部を撮像部で撮像する撮像ステップと、前記撮像部の撮像範囲に前記物体が存在する場合、前記撮像部で撮像された画像に基づいて前記物体を認識する制御ステップと、前記物体の表面又は前記配置部に対して、前記制御ステップで認識した認識結果を出力部により出力する出力ステップと、を備え、前記制御ステップは、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する点にある。

0011

また、本発明に係るコンピュータに実行させるための物体認識プログラムの特徴構成は、物体を配置可能な配置部を撮像部で撮像して生成された画像を取得する取得処理と、前記撮像部の撮像範囲に前記物体が存在する場合、前記画像に基づいて前記物体を認識する制御処理と、前記物体の表面又は前記配置部に対して、前記制御処理で認識した認識結果を出力部に出力させる出力処理と、を備え、前記制御処理は、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する点にある。

0012

上記構成又は方法によると、物体の表面又は物体を配置可能な配置部に対して、認識結果を出力している。その結果、物体を目視することにより同時に認識結果を把握することができるため、利用者にとって利便性が高い。

0013

また、上記構成又は方法では、撮像部で撮像された画像に基づいて出力部と所定の位置関係にある基準指標を認識し、該画像上の基準指標の位置に基づいて、出力部が認識結果を出力する位置を補正している。つまり、撮像部又は出力部が位置ずれした場合には、画像上の基準指標の位置が本来の基準指標の位置からずれており、このずれ量に基づいて認識結果の出力位置が補正される。これにより、認識結果が適正な位置に出力されるため、物体を目視することにより認識結果を適切に把握することができる。このように、機器に位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握可能な物体認識装置、物体認識方法及び物体認識プログラムを提供できた。

0014

他の特徴構成は、前記制御部は、前記出力部が、前記配置部のうち、前記物体の近傍に前記認識結果を出力するように制御する点にある。

0015

本構成のように物体の近傍に認識結果を出力すれば、配置部に複数の物体が配置されている場合でも、配置部を目視することにより夫々の物体の認識結果を迅速に把握することができる。

0016

他の特徴構成は、前記認識結果とは、前記物体の位置を示す枠であり、前記制御部は、前記画像における前記物体の位置を認識し、前記出力部が前記物体の周囲に前記枠を出力するように制御する点にある。

0017

本構成のように、物体の周囲に物体の位置を示す枠を出力すれば、どの物体を示す認識結果であるのかを容易に把握することができる。

0018

他の特徴構成は、前記制御部は、前記物体の種別を認識し、前記物体の種別を認識できたか否かによって、前記出力部が前記枠を異なる態様で出力するように制御する点にある。

0019

本構成のように物体の種別を認識できたか否かによって認識結果が異なる態様で出力されるので、物体の種別を容易に把握することができる。

0020

他の特徴構成は、前記制御部は、前記画像における前記基準指標が所定の数未満の場合に警告をするように制御する点にある。

0021

本構成では、撮像部が極端に位置ずれしている場合や物体が基準指標に重なっている場合のように、基準指標が撮像部の撮像領域外となって所定の数未満となったときに警告する。これにより、装置に問題が発生したことを確実に理解でき、物体の配置を変更したり、撮像部の位置を修正したりする対応が可能となる。

0022

他の特徴構成は、前記出力部は、前記配置部の表面に前記認識結果を表示する表示部である点にある。

0023

本構成のように、出力部が配置部の表面に形成された表示部であれば、物体を配置した利用者が物体を目視することにより同時に認識結果を把握することができる。

0024

他の特徴構成は、前記基準指標は、前記表示部により所定の位置に表示される基準マークである点にある。

0025

本構成のように、基準指標を表示部により所定の位置に表示される基準マークで構成すれば、物理的な基準マークを別途設ける必要がない。

0026

他の特徴構成は、前記基準指標は、前記表示部の周辺に設けられている基準マークである点にある。

0027

本構成のように、基準指標を表示部の周辺に設けられた基準マークで構成すれば、基準マークが物体で隠れる可能性が低い。つまり、表示部に物体がランダムに置かれている場合でも、出力部による認識結果の出力位置が適正なものとなり、表示部に配置された物体を目視することにより認識結果を確実に把握することができる。

0028

他の特徴構成は、前記基準マークは、前記配置部を収容するケース枠体外周角部であるにある。

0029

本構成のように、配置部を収容するケース枠体の外周角部を基準マークとすれば、基準マークが物体で隠れている場合でも、ケース枠体の各辺の交点を求めることにより基準マークを演算することができる。

0030

他の特徴構成は、前記出力部は、前記認識結果を投影する投影機である点にある。

0031

本構成のように、出力部を投影機で構成すれば、物体上に重ねて認識結果を投影することが可能となるため、利用者に認識結果を把握させ易くなる。

0032

他の特徴構成は、前記基準指標は、前記投影機により投影される基準マークである点にある。

0033

本構成のように、基準指標を投影機により投影される基準マークで構成すれば、物理的な基準マークを別途設ける必要がない。

0034

他の特徴構成は、前記配置部は、前記投影機により投影された投影画面である点にある。

0035

本構成のように、配置部を投影画面で構成すれば、配置部を別途設ける必要がなく、製造コストを低減できる。

0036

他の特徴構成は、前記配置部に前記物体が存在しない場合、前記投影機により投影された前記基準指標を、前記画像から認識する点にある。

0037

本構成のように、配置部に物体が存在しない場合に基準指標を投影機により投影すれば、物体が障害となって基準指標の認識精度が低下することなく、基準指標に基づく出力部の出力位置の補正が正確なものとなる。

図面の簡単な説明

0038

物体認識装置の全体概略図である。
物体認識装置のブロック図である。
認識結果の表示例を示す図である。
認識結果の他の表示例を示す図である。
認識結果の他の表示例を示す図である。
商品の検出方法を説明する図である。
タッチパネルの表示例を示す図である。
認識結果の出力位置を補正する処理のフロー図である。
認識結果の出力位置を補正する処理の説明図である。
購入処理のフロー図である。
別実施形態に係る物体認識装置のブロック図である。
別実施形態に係る認識結果の表示例を示す図である。
別実施形態に係る認識結果の出力位置を補正する処理のフロー図である。
別実施形態に係る認識結果の出力位置を補正する処理の説明図である。

実施例

0039

以下に、本発明に係る物体認識装置、物体認識方法及び物体認識プログラムの実施形態について、図面に基づいて説明する。本実施形態では、物体認識装置、物体認識方法及び物体認識プログラムとして、病院介護施設又はオフィスビル等に設置される小規模コンビニエンスストアにおいて、店員の介入無しに購入者(操作者)が自ら会計を行うセルフレジステムX(物体認識システム)が備えるセルフ購入装置1を用いて説明する。ただし、以下の実施形態に限定されることなく、その要旨を逸脱しない範囲内で種々の変形が可能である。

0040

図1図2に示すように、セルフレジシステムXは、購入者用端末14を有する複数(本実施形態では2つ)のセルフ購入装置1(物体認識装置の一例)と、上位サーバー2と、を備えている。購入者用端末14と上位サーバー2とは、有線又は無線ネットワーク接続されており、セルフ購入装置1での売上情報等が上位サーバー2に送信されるように構成されている。

0041

セルフ購入装置1は、基台10と撮像部11と距離センサ12と配置部13とケース枠体16と購入者用端末14とを備えている。購入者用端末14と、撮像部11,距離センサ12及び配置部13とは、有線又は無線でネットワーク接続されている。

0042

基台10は、撮像部11,距離センサ12,配置部13,購入者用端末14及びケース枠体16を支持する筺体であり、配置部13の横には、買い物かご(不図示)を載置可能なスペース10Aが設けられている。また、基台10には、つり銭となる貨幣貯留する貨幣貯留部(不図示)も内蔵されている。

0043

撮像部11は、CCDやCMOS等の撮像素子を内蔵した可視光カメラである。撮像部11の撮像範囲は、配置部13を撮影可能な範囲に設定されている。「配置部13を撮影可能な範囲」とは、配置部13の表面の一部又は全体だけでなく、配置部13の周辺も含まれる。撮像部11は、配置部13に配置された商品(物体の一例)を撮影し、その画像を後述する通信部14Fを介して後述する認識部15Bに送信する。認識部15Bでは、受信した画像に基づいて、公知の物体認証技術により商品を認識する。距離センサ12は、LED等の光源から光を照射し、商品で反射された反射光受光して距離に換算するセンサである。距離センサ12は、配置部13の表面に配置された商品の高さを計測すること可能であり、その計測値を通信部14Fを介して認識部15Bに送信する。認識部15Bでは、受信した計測値と、後述する記憶部14Cに記憶された登録商品の高さとを比較して、商品が複数重なって配置されている状態を認識する。

0044

配置部13の表面には、買い物かごに収容された商品を、購入者の手によって配置する(買い物かごから移し替える)ための配置領域が形成されている。配置部13は、基台10に埋め込まれた表示部13a(出力部の一例)で構成されており、平面状の配置領域が表示部13aで表示され、購入者が視認できる状態となっている。表示部13aは、平面状の配置領域として液晶画面等で構成されるディスプレイを有しており、図3図4に示すようにディスプレイにより枠を点灯表示したり、図5に示すように配置部13に区分された各エリア数字で表示したりする。購入者は、表示部13aに1つずつ商品を配置する。

0045

図3図4には、表示部13aの一例として、「可変エリア表示方式」が示されている。配置部13では、後述する検出部15Aにより検出された商品の配置場所に応じて、各々の配置エリアが特定される。この際、検出部15Aにより検出された商品の輪郭よりも外側にある仮想線のうち最も近接する仮想線で囲まれた枠を特定する。そして、この枠の内側領域が、商品が配置された配置領域に対して区分された各々の配置エリアとなる。図3図4に示す「可変エリア表示方式」は、検出部15Aが検出した商品の配置場所に応じて配置エリアを特定するので、配置領域の如何なる場所に商品が配置された場合でも商品の適正な配置場所が報知される。このため、購入者は、商品のサイズや形状に関らず無作為に商品を配置部13の表面に配置することが可能となるため、利便性が高い。

0046

図5には、表示部13aの一例として、「固定枠表示方式」が示されている。配置部13の両側方には、各々の配置エリアを区分する複数の固定枠が等間隔に設定されており、一対の線分の間には、各々の配置エリアの指標となる数字(本実施形態では1〜6)が順番に表示されている。また、配置部13の両側方の間の中央部分は、商品が各々の配置エリアから中央部分にはみ出しても良いように空白となっている。この「固定枠表示方式」は、予めテンプレートとして記憶部14Cに記憶しておき、管理者(操作者)がタッチパネル14Aで選択する形式が好ましい。また、「手動入力」として、管理者がタッチペンにより区画線デジタル入力しても良いし、管理者がマジックテープ等で配置部13に固定枠をアナログ入力し、撮像部11で撮像した画像に基づいて各々のエリアを特定しても良い。

0047

図1に示すように、ケース枠体16は、基台10に埋め込まれており、配置部13を収容するプラスチック等で構成されるケースである。ケース枠体16の外周が矩形状に形成されており、内周で囲まれる空間が配置部13を収容する収容空間となっている。詳細は後述するが、本実施形態では、ケース枠体16の外周角部の4点を基準マークP(基準指標の一例)としている(図9参照)。この基準マークPは、表示部13aに対して所定の位置関係(本実施形態では表示部13aの角部外側の4隅)にある。ケース枠体16の外周角部が丸みを帯びている場合は、各辺が交差する4点を基準マークPとしても良いし、ケース枠体16が四角形以外の多角形である場合は、各辺が交差する複数の点を基準マークPとしても良い。なお、表示部13aに対して所定の位置関係にある基準マークPは、表示部13aと同一平面上にある場合に限定されず、表示部13aに対して高さ方向にずらして配置されていても良いし、基準マークP自体を立体的に構成しても良い。つまり、表示部13aと基準マークPとの所定の位置関係は、2次元空間上の位置関係であっても良いし、3次元空間上の位置関係であっても良い。

0048

図1図2に示すように、購入者用端末14は、CPUやメモリ中核とするコンピュータで構成されており、タッチパネル14Aと精算部14Bと記憶部14Cとスピーカ14Dとバーコードリーダ14Eと通信部14Fと制御部15とを有している。制御部15は、検出部15Aと認識部15Bと出力制御部15Cと報知制御部15Dと表示制御部15Eとを有している。制御部15は、CPUにより実行される各種プログラムであるソフトウェアで構成されており、タッチパネル14A,精算部14B,スピーカ14D,バーコードリーダ14E及び通信部14Fは、ハードウェアとソフトウェアの両方で構成されており、記憶部14CはRAMやHDDといったハードウェアで構成されている。

0049

タッチパネル14Aは、購入者や管理者により指やタッチペン等で画面操作可能な表示デバイスである。タッチパネル14Aは、配置部13の表示方式の指定を受け付ける受付部としての機能と、認識部15Bが認識した結果を報知する機能と、撮像部11が撮像した画像を表示する機能と、の少なくとも何れか一つの機能を備えている。

0050

精算部14Bは、貨幣処理装置及びカードリーダ等で構成されている。認識部15Bやバーコードリーダ14Eで全ての商品が認識されたとき、認識された商品に対応する、記憶部14Cに記憶された商品IDに関連付けられた商品名及び金額を取得する。そして、タッチパネル14Aに商品名,数量及び金額(合計金額含む)を表示し、購入者がタッチパネル14Aを確認した後に精算ボタン(不図示)を押下することにより、精算部14Bは、貨幣やクレジットカード等での決済を受け付ける。決済完了後は、不図示のプリンタによりレシート印字して発行すると共に、つり銭等を返金する。なお、精算部14Bでの決済方法として、スマートフォン画面バーコードを表示して決済する方法や、生体認証(カメラを用いた顔認証等)により決済する方法等であっても良い。

0051

記憶部14Cには、各種プログラムが記憶されていると共に、商品IDに関連付けて商品分類,商品名,単価及び画像データ(登録商品特徴量を含む)が記憶されている。また、記憶部14Cには、配置部13の表示部13aにおける表示方式のテンプレートが記憶されている。また、記憶部14Cには、商品の向き毎の高さが記憶されており、認識部15Bは、上述した距離センサ12により測定された商品の高さと記憶部14Cに記憶された登録商品の高さとを比較して、1つの商品であるか否かを認識することができる。さらに、記憶部14Cには、後述する検出部15Aで商品の配置場所を特定するための基準フレームDB1の画像データ(図6も参照)と、配置部13の周囲に設けられたケース枠体16の外周フレームF(基準マークPを含む)の画像データ(図9も参照)とが記憶されている。

0052

通信部14Fは、撮像部11が撮像した画像や距離センサ12の測定情報を有線LAN又は無線LAN等で構成されるネットワークを介して受信するためのインターフェースである。また、通信部14Fは、配置部13及び上位サーバー2に対して有線LAN又は無線LAN等で構成されるネットワークを介して各種情報を送信するためのインターフェースである。

0053

検出部15Aは、図3に示す「可変エリア表示方式」において、配置部13に配置された商品の配置場所を検出する。検出部15Aは、撮像部11で撮像された画像から商品の輪郭を検出する。そして、検出部15Aは、配置部13における商品の輪郭の位置座標を検出する。また、図5に示す「固定枠表示方式」においても、検出部15Aが配置部13の表面に配置された商品の配置場所を検出するように構成されている。

0054

図6には、検出部15Aにおける商品の配置場所の検出例が示されている。図6上段図に示すように、撮像部11で撮像した商品を配置するための配置領域を含んだ画像に基づいて、当該画像に含まれる配置領域を複数のメッシュM(分割領域の一例)に分割する。一例として、画像を一定間隔のメッシュMに分割(例えば、500×400画素の画像を50×40分割した場合、各メッシュMは10×10画素)する。記憶部14Cには、配置領域に商品が置かれる前の基準フレームDB1(商品が配置されていない配置領域を含む画像、背景画像)が予め撮像部11で撮像されて記憶されている。そして、記憶部14Cに記憶された基準フレームDB1を複数のメッシュMに分割する。この基準フレームDB1を作成するにあたり、配置領域には、所定のパターンが付与されていても良い。ここで、所定のパターンとは、商品に使用されにくいパターン(模様、色等)等である。

0055

次いで、図6中段図に示すように、分割された各メッシュMの特徴量(輝度、色等)を抽出する。そして、基準フレームDB1の各メッシュMの特徴量と基準フレームDB1の各メッシュMに対応する撮像画像の各メッシュMの特徴量とを比較し、メッシュM同士の類似度(例えば正規化相関係数)を類似度情報として算出する。ここで、例えば正規化相関係数が高いほどメッシュM同士の類似度が高いことを示し、新たな撮像画像の特徴量が入力される度に、メッシュM同士の類似度を算出し、類似度の算出結果を類似度情報DB2として記憶部14Cに記憶する。

0056

次いで、分割領域(各メッシュM)の類似度情報DB2に基づき、この分割領域に含まれる商品を検出する。図6下段図に示すように、基準フレームDB1の各メッシュM(商品が配置されていない配置領域を含む画像の分割領域)の特徴量と基準フレームDB1の各メッシュMに対応する撮像画像の各メッシュM(商品が配置された配置領域を含む画像の分割領域)の特徴量とを比較して算出された類似度情報DB2が予め定められた閾値以下であれば、商品が存在するメッシュMであると判定する。つまり、記憶部14Cには基準フレームDB1を分割したメッシュM毎の特徴量が記憶されており、検出部15Aは、リアルタイムに撮像された撮像画像に基づいてメッシュM毎に類似度情報DB2を都度算出し、算出された類似度情報DB2が予め定められた閾値以下であるか否かを判定し、閾値以下であるメッシュMを商品が存在するメッシュMであると判定する。そして、検出部15Aにおいて商品が存在すると判定された各メッシュMが隣接する集合領域が、商品の配置場所となる。本実施形態では、明るさの変動の影響を受けにくい類似度(例えば正規化相関係数)を用いることにより、照明が変動する状況においても安定して商品領域を検出することが可能となる。

0057

認識部15Bは、配置部13の各々のエリアに配置された商品を撮像部11により撮影された画像に基づいて、公知の物体認識技術により商品を認識する。ここで、「商品を認識する」とは、配置部13の各々のエリアに配置された商品について、商品IDと商品IDに関連付けられた商品分類及び商品名等を認識する(種別認識)ことに加え、商品の配置位置を認識する(位置認識)ことも含まれる。公知の物体認識技術について詳細な説明を省略するが、物体の輪郭、色合い及び表面形状や物体に付された文字等の対象商品特徴量と、記憶部14Cに記憶された商品情報(登録商品特徴量)とを比較してスコア一致度、100%であれば完全一致)を算出する。そして、認識部15Bは、該スコアが所定の閾値(例えば90%)以上であれば認識部15Bで認識された商品(正常認識商品)であるとし、該スコアが所定の閾値未満であれば認識部15Bで認識されなかった商品(不明商品)として判定する。認識部15Bによる不明商品としての認識には、距離センサ12による配置部13の表面に配置された商品の高さの計測値により、商品が複数重なって配置されている状態と認識することも含まれる。

0058

また、認識部15Bは、配置部13を含む領域(基準マークPを含む領域)を撮像部11により撮影された画像に基づいて、公知の特徴点検出技術により基準マークPを画像上マークPv(画像における基準指標の一例)として認識する(図9も参照)。例えば、撮像部11により撮影された外周フレームFを画像上外周フレームFvとして認識し、画像上外周フレームFvにおける方向ベクトルの横方向量および縦方向量に基づいて抽出された縦横両エッジ点を画像上マークPvとして認識する。なお、画像上外周フレームFvから画像上マークPvを認識するのに代えて、目立つ指標で構成された基準マークPを公知の物体認識技術により認識しても良い。また、画像上外周フレームFvと記憶部14Cに記憶された外周フレームFのテンプレートとを比較して、テンプレートマッチング等により画像上マークPvを認識しても良い。

0059

出力制御部15Cは、配置部13に対して、認識部15Bが認識した認識結果(種別認識結果等)を出力する表示部13aの報知形態を制御する。ここで、認識結果には、商品の位置(枠等)、及び、商品の種別(不明商品の場合はNG等)が含まれる。また、出力制御部15Cは、認識部15Bが認識した商品の種別に応じ、異なった態様にて購入者に報知するように制御する。図3図4に示す表示部13aの例では、認識部15Bで認識された商品(正常認識商品)を囲む枠の点灯色(例えば青色)に対して、認識部15Bで認識されなかった商品(不明商品)を囲む枠の点灯色(例えば赤色)を異ならせて強調表示している。また、図4に示す表示部13aの例では、認識部15Bで認識された商品(正常認識商品)について、商品の近傍に商品名と単価を表示している。図5に示す表示部13aの例では、画面下部に、認識部15Bで認識された商品(正常認識商品)を○、認識部15Bで認識されなかった商品(不明商品)を×で表示している。

0060

詳細は後述するが、出力制御部15Cは、表示部13aにて報知する際、撮像部11で撮像された画像上において認識部15Bが認識した画像上マークPvの位置に基づき、表示部13aが認識結果を出力する位置を補正するように制御する。この補正制御は、配置部13に商品が配置されていない場合に撮像部11で撮像された画像に基づいて実行されても良いし、配置部13に商品が配置されている場合に撮像部11で撮像された画像に基づいて実行されても良い。

0061

報知制御部15Dは、タッチパネル14Aやスピーカ14Dでの報知形態を制御する。報知制御部15Dは、認識部15Bが認識した結果に応じ、異なった態様にて購入者に報知するように制御する。例えば、図7に示すタッチパネル14Aの例では、認識部15Bで認識された商品(正常認識商品)についてOK表示し、認識部15Bで認識されなかった商品(不明商品)についてNG表示する。また、認識部15Bで認識された商品(正常認識商品)を囲む枠の点灯色(例えば青色)に対して、認識部15Bで認識されなかった商品(不明商品)を囲む枠の点灯色(例えば赤色)を異ならせて強調表示する。

0062

さらに、不明商品である場合、報知制御部15Dは、商品を再度所定のエリアに置き直したり、商品に付されたバーコードをバーコードリーダ14Eに読み取らせたりするように、スピーカ14Dの音声やタッチパネル14Aの画面表示にて購入者に報知する制御を実行する。さらに、報知制御部15Dは、候補となる商品をタッチパネル14Aに表示して購入者に選択させるように報知制御しても良い。

0063

図2に示すように、上位サーバー2は、販売情報記憶部21と販売管理制御部22と表示装置23とを備えている。

0064

販売情報記憶部21は、購入者用端末14から送信された商品の売上情報が記憶されている。商品の売上情報としては、購入された商品に関する商品IDに関連付けた商品分類,商品名,販売金額及び販売数量等が記憶されている。販売管理制御部22は、販売情報記憶部21に対して売上登録制御を実行すると共に、表示装置23の画面の表示制御を実行するCPUで構成されている。表示装置23は、管理者が販売管理するための画面を表示する表示デバイスである。

0065

続いて、図8図9を用いて、出力制御部15Cにおいて、表示部13aが認識結果を出力する位置を補正する処理について説明する。

0066

図9の上図に示すように、表示部13aに認識部15Bが認識した結果を出力する際、例えば、購入者が撮像部11に接触して撮像部11の位置が所定位置からずれた場合、撮像部11が撮像した画像(破線表示)が、実際に目視できる配置部13(実線表示)に対して位置ずれすることがある。この場合、表示部13aにおいて、撮像部11で撮像された画像に基づいて認識結果を出力した場合、図9下図に示すように、破線の枠線が商品の周囲からずれて表示される。そこで、本実施形態では、認識部15Bは、撮像部11が撮像した画像に基づいて表示部13aと所定の位置関係にある基準マークPを認識し、出力制御部15Cは、当該画像における画像上マークPvの位置に基づき、表示部13aが認識結果を出力する位置を補正するように制御することとしている。

0067

図8に示すように、撮像部11が配置部13を含む領域を撮像して、画像を生成する(#31、撮像ステップの一例)。そして、撮像部11で撮像された画像が購入者用端末14に送信され、通信部14Fが当該画像を取得する(取得処理の一例)。次いで、認識部15Bは、撮像部11で撮像された画像に基づいて基準マークPを画像上マークPv(基準指標)として認識する(#32、図9参照)。このとき、認識部15Bは、画像上マークPvの数が所定の数(本実施形態では3つ)以上であるか否かを判定する(#33)。ここで、所定の数は、ケース枠体16の外周フレームFが2次元で構成されているので、少なくとも2つあれば良いが、3つ以上あれば、外周フレームFにおける3次元の捻れも検出できるため好ましい。

0068

#33の判定の結果、画像上マークPvが所定の数未満であれば、撮像部11が極端に位置ずれしている可能性や基準マークP上に商品が重なっている可能性があるとして、報知制御部15Dがスピーカ14Dやタッチパネル14Aで警告するように制御する(#34)。この警告は、例えば、「カメラの位置が正しくセットされていない可能性があります」や「商品が枠からはみ出している可能性があります」等である。警告を受けた購入者又は管理者が、撮像部11の位置を修正したり、基準マークPに重なっている商品を移動させたりすることにより、再度#31の処理が再開される。

0069

#33の判定の結果、画像上マークPvが所定の数以上であれば、出力制御部15Cは、画像上マークPvの座標と記憶部14Cに記憶された外周フレームFの角部に位置する基準マークPの座標とを比較する。図9の上図に示す例では、破線で示される画像上外周フレームFvが撮像部11で撮像された画像であり、実線で示される外周フレームFが、記憶部14Cに記憶されたケース枠体16の外周である。出力制御部15Cは、基準マークPの座標と画像上マークPvの座標との差分から、補正量を演算する(#35)。具体的には、複数の画像上マークPvを結んだ画像上外周フレームFvの内側にある夫々の座標(画素)を、複数の基準マークPを結んだ外周フレームFの内側にある夫々の座標(画素)に変換するための補正量を演算する。

0070

図8戻り、検出部15Aが検出した商品の配置場所に応じて、認識部15Bが商品を認識する(#36Yes、制御ステップの一例、制御処理の一例)。認識部15Bは、配置部13に配置された商品の特徴量と、記憶部14Cに記憶された登録商品特徴量とを比較してスコアを算出し、該スコアが所定の閾値(例えば90%)以上であれば認識部15Bで認識された商品(正常認識商品)であるとして認識結果を生成し、該スコアが所定の閾値未満であれば認識部15Bで認識されなかった商品(不明商品)として認識結果を生成する(#37)。次いで、出力制御部15Cは、演算した補正量に基づいて、表示部13aが認識結果を出力する位置を補正するように制御する(#38、制御ステップの一例、制御処理の一例)。図9の下図に示す例では、出力制御部15Cは、破線で示される枠の座標を補正量に基づいて実線で示される枠の座標に変換している。次いで、表示部13aが認識結果を出力する(#39、出力ステップの一例、出力処理の一例)。図9の下図に示す例では、出力制御部15Cは、正常認識商品を囲む実線で示される枠の点灯色を青色で表示すると共に、不明商品を囲む実線で示される枠の点灯色を赤色で表示するように表示部13aを制御している。

0071

続いて、図10を用いて、購入者が商品を購入する購入処理について説明する。

0072

買い物かごに商品を入れた購入者は、基台10のスペース10Aに買い物かごを置き、配置部13の表面に商品を配置する(♯41Yes)。次いで、撮像部11で撮像された商品の画像に基づいて、検出部15Aが商品の配置場所を検出し、認識部15Bが商品を認識する(♯42)。そして、出力制御部15Cにより補正された認識結果を表示部13aで表示して購入者に報知する(♯43)。図3に示す表示部13aの例では、認識部15Bで認識された商品(正常認識商品)を囲む枠の点灯色(例えば青色)に対して、認識部15Bで認識されなかった商品(不明商品)を囲む枠の点灯色(例えば赤色)を異ならせて強調表示している。また、図4に示す表示部13aの例では、図3の表示例に加えて、認識部15Bで認識された正常認識商品について、商品の近傍に商品名と単価を表示している。図5に示す表示部13aの例では、画面下部に、認識部15Bで認識された商品を○、認識部15Bで認識されなかった商品を×で表示している。これにより、認識部15Bにより商品の種類が認識できた場合と認識部15Bにより商品の種類が認識できなかった場合とを明確に区分して購入者に報知することができる。

0073

次いで、不明商品ありの場合(♯44Yes)、購入者は、1つずつ方向を変えて商品を置き直すか、商品に付されたバーコードをバーコードリーダ14Eにより読み取らせるかの指示を行う。次いで、購入者が商品に付されたバーコードをバーコードリーダ14Eにかざして読み取った場合(♯45Yes)、再度、♯43に戻り、認識結果を報知し、不明商品があるか否かの判定(♯44)を行う。一方、購入者が方向を変えて商品を置き直した場合(♯45No)、再度、♯41に戻り、配置部13に商品が配置されたか否かの判定(♯41)から不明商品があるか否かの判定(♯44)までを繰り返す。

0074

そして、不明商品がなく、全ての商品が正常に認識された場合(♯44No)、精算部14Bによる精算処理を実行する(♯46)。このように、購入者が商品を配置する配置部13において認識結果が報知されるため、認識結果の確認作業が容易であり、不明商品が何れの商品であるかを容易に認識することができる。

0075

[別実施形態]
図11図14には、別実施形態に係る物体認識装置、物体認識方法及び物体認識プログラムが示されている。本実施形態では、上述した実施形態のように認識結果を表示部13aで出力するのに代えて、認識結果を投影機17(出力部の一例)で出力する点が異なっている。以下の説明において、上述した実施形態における同様の構成については、同一の名称及び符号を用いて説明し、詳細な説明を省略する。

0076

投影機17は、プロジェクタ等で構成されており、撮像部11と別体として基台10に支持されている。図12に示すように、配置部13は、投影機17により基台10の上面に投影された投影画面で構成されており、複数(本実施形態では4つ)の基準マークP(基準指標の一例)は、投影機17と所定の位置関係となるように投影されている(図14の上図参照)。この投影機17と基準マークPとの所定の位置関係は、高さ方向も含む立体的な(3次元空間上の)位置関係である。図12に示す例では、配置部13の両側方には、各々のエリアを区分する複数の線分が等間隔に引かれており、一対の線分の間には、各々のエリアの指標となる数字(本実施形態では1〜6)が順番に表示されている。さらに、認識部15Bで認識した認識結果を、投影機17で配置部13に投影している。図12に示す例では、2番,3番が認識部15Bで認識された商品(正常認識商品)として、商品名及び単価が投影機17により商品の上に投影されており、7番が認識部15Bで認識されなかった商品(不明商品)としてNGの文字が投影機17により商品の上に投影されている。

0077

図13図14を用いて、出力制御部15Cにおいて、投影機17が認識結果を出力する位置を補正する処理について説明する。本実施形態では、配置部13に商品が存在しない場合に、認識部15Bは、投影機17により投影された基準マークP(基準指標)を、撮像部11で撮像された画像から認識し、出力制御部15Cは、画像における画像上マークPv(画像における基準指標の一例)の位置に基づき、投影機17が認識結果を出力する位置を補正する(図14参照)。

0078

図13に示すように、配置部13に商品が存在しない場合に、投影機17により基台10の上面に基準マークP(基準指標)を投影する(#51)。そして、図14に示すように、撮像部11が基準マークP(基準指標)を撮像する(#52、撮像ステップの一例)。次いで、撮像部11で撮像された画像が購入者用端末14に送信され、通信部14Fが当該画像を取得する(取得処理の一例)。次いで、認識部15Bは、撮像部11で撮像された画像に基づいて基準マークPを画像上マークPv(画像上の基準指標)として認識する(#53、図14の上段図参照)。このとき、認識部15Bは、画像上マークPvの数が所定の数(本実施形態では3つ)以上であるか否かを判定する(#54)。

0079

#54の判定の結果、画像上マークPvが所定の数未満であれば、撮像部11又は投影機17が極端に位置ずれしている可能性があるとして、報知制御部15Dがスピーカ14Dやタッチパネル14Aで警告するように制御する(#55)。警告を受けた管理者等が、撮像部11又は投影機17の位置を修正することにより、再度#51の処理が再開される。この際、投影機17が正しい位置にある基準マークPを投影しても良い。これにより、正しい位置にある基準マークPが映るように撮像部11の撮像範囲等を修正すれば良く、利便性が高まる。

0080

#54の判定の結果、画像上マークPvが所定の数以上であれば、出力制御部15Cは、画像上マークPvの座標と記憶部14Cに記憶された基準マークPの座標とを比較する。図14の上段図に示す例では、破線で示される画像上マークPvが撮像部11で撮像された基準マークPの画像であり、実線で示される基準マークPが記憶部14Cに記憶された投影機17で投影されるべき画像である。出力制御部15Cは、基準マークPの中心座標と画像上マークPvの中心座標との差分から、補正量を演算する(#56)。具体的には、複数の画像上マークPvを結んだ仮想画像上外周フレームの内側にある夫々の座標(画素)を、複数の基準マークPを結んだ仮想外周フレームの内側にある夫々の座標(画素)に変換するための補正量を演算する。そして、出力制御部15Cは、この補正量に基づいて、投影機17が投影する投影画面(配置部13)を補正する(#56)。これによって、図14の中段図に示す配置部13が、投影機17により投影される。

0081

次いで、検出部15Aが検出した商品の配置場所に応じて、認識部15Bが商品を認識する(#57Yes、制御ステップの一例、制御処理の一例)。認識部15Bは、配置部13に配置された商品の特徴量と、記憶部14Cに記憶された登録商品特徴量とを比較してスコアを算出し、該スコアが所定の閾値(例えば90%)以上であれば認識部15Bで認識された商品(正常認識商品)であるとして認識結果を生成し、該スコアが所定の閾値未満であれば認識部15Bで認識されなかった商品(不明商品)として認識結果を生成する(#58)。次いで、出力制御部15Cは、演算した補正量に基づいて、投影機17が認識結果を配置部13に投影する位置を補正するように制御する(#59、制御ステップの一例、制御処理の一例)。図14の下段図に示す例では、出力制御部15Cは、破線で示される枠の座標を補正量に基づいて実線で示される枠の座標に変換している。次いで、投影機17が認識結果を出力する(#60)。図14の下段図に示す例では、出力制御部15Cは、投影機17により正常認識商品の周囲に青色の枠を投影するように制御すると共に、投影機17により不明商品の周囲に赤色の枠を投影しつつ不明商品の上にNGの文字を投影するように制御している。

0082

以上説明したように、認識部15Bが撮像部11で撮像された画像に基づいて表示部13a又は投影機17と所定の位置関係にある基準マークPを認識し、出力制御部15Cは、該画像上の基準マークPの位置に基づいて、表示部13a又は投影機17が認識結果を出力する位置を補正している。つまり、撮像部11又は投影機17が位置ずれした場合には、画像上マークPvの座標が本来の基準マークPの座標からずれており、このずれ量に基づいて認識結果の出力位置が補正される。これにより、認識結果が適正な位置に出力されるため、商品を目視することにより認識結果を適切に把握することができる。

0083

[その他の実施形態]
(1)上述した認識部15Bにおける認識結果の表示例は一例にすぎず、例えば、商品の近傍に認識結果として○×表示やOK,NG表示をしても良いし、不明商品である場合、商品の周囲を点滅した枠で囲んでも良いし、正常認識商品である場合、商品の近傍に商品の位置座標を表示しても良く、特に限定されない。
(2)商品を配置する配置部13や基準マークPは、投影機17により3次元で投影しても良い。また、配置部13を透明に構成して、投影機17により下部から認識結果を投影しても良い。

0084

(3)基準マークPは、表示部13aの所定の位置(例えば表示部13aの4隅)に表示されても良い。この場合、物理的な基準マークP(例えばケース枠体16)を別途設ける必要がない。また、基準指標を基準マークPのように点状の図形で構成せずに、ケース枠体16の外周フレームFのように枠状の図形で構成しても良く、特に限定されない。
(4)上述した別実施形態では、配置部13に商品が存在しない場合に、認識部15Bは、投影機17により投影された基準マークPを認識したが、配置部13に商品が存在している場合に、認識部15Bは、投影機17により投影された基準マークPを認識しても良い。
(5)可視光カメラで構成される撮像部11に距離センサ12を内蔵しても良い。また、配置部13を透明に構成して、下部から光を照射することで商品を浮かび上がらせ、可視光カメラで商品や基準マークPを立体的に撮影しても良い。

0085

(6)認識部15Bはスコアを多段階の閾値で判定し、認識部15Bの認識結果に応じて出力制御部15Cや報知制御部15Dが異なる態様で報知制御しても良い。例えば、第一閾値(例えば90%)以上であれば認識部15Bで認識された商品(正常認識商品)であるとし、第二閾値(例えば70%)以上第一閾値未満であれば候補となる商品を購入者に選択させ、第二閾値未満であれば商品に付されたバーコードをバーコードリーダ14Eに読み取らせるように構成しても良い。また、商品毎に閾値を異ならせても良い。

0086

(7)バーコードリーダ14EにQRコード登録商標)を読み取る機能を持たせても良い。
(8)上述した実施形態における制御部15の機能を上位サーバー2に受け持たせて、購入者用端末14と上位サーバー2とを有線又は無線で双方向通信するように構成しても良い。また、セルフレジシステムXは、1つのセルフ購入装置1と上位サーバー2とで構成しても良いし、上位サーバー2の機能をセルフ購入装置1に内蔵しても良い。また、物体認識装置としてセルフ購入装置1を例示したが、配置部13及び購入者用端末14で物体認識装置を構成しても良い。
(9)セルフレジシステムXは、小規模のコンビニエンスストアに適用する場合に限定されず、大規模のコンビニエンスストアやスーパー等にも適用可能である。また、上述した実施形態における物体認識装置、物体認識方法及び物体認識プログラムは、店員が介入する有人レジにも適用可能である。

0087

本発明は、配置部に配置された物体を撮像し、撮像画像から物体を認識した認識結果を出力する物体認識装置、物体認識方法及び物体認識プログラムに利用可能である。

0088

1 :セルフ購入装置(物体認識装置)
11 :撮像部
13 :配置部
13a :表示部(出力部)
15 :制御部
16 :ケース枠体
17 :投影機(出力部)
P :基準マーク(基準指標)
Pv :画像上マーク(画像における基準指標)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ