図面 (/)

技術 画像認識システム

出願人 株式会社マーケットヴィジョン
発明者 谷井成吉
出願日 2018年3月7日 (2年0ヶ月経過) 出願番号 2018-041332
公開日 2019年9月19日 (5ヶ月経過) 公開番号 2019-159433
状態 特許登録済
技術分野 イメージ分析 画像処理
主要キーワード 外れ度合い 平均移動量 可搬型通信端末 略凸状 関係線 採取領域 標本情報 領域画像情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

画像情報に写っている商品などの対象物識別情報の特定を精度よく行うための画像認識システムを提供することを目的とする。

解決手段

商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部と,対応する画像情報における,特定した商品識別情報の候補を比較することで,画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部と,を有する画像認識システムである。

概要

背景

小売業界においては,商品陳列状況が商品の販売に影響することが知られている。そのため,商品の製造会社,販売会社としては,自社または他社のどのような商品が店舗に陳列されているのかを把握することで,自社商品の開発戦略販売戦略につなげることができる。

一方,その実現のためには,店頭に陳列されている商品の正確な特定が重要である。そこで,店舗の陳列棚撮影し,その画像情報から陳列されている商品を,人間が手作業で特定をすることが考えられる。この場合,ほぼ正確に商品を特定することができる。しかし,商品の陳列状況を継続的に把握するためには,一定期間ごとにその陳列状況を把握しなければならないが,店舗の陳列棚を撮影した画像情報から毎回,人間が商品を特定するのは負担が大きく,また非効率である。

そこで店舗の陳列棚を撮影した画像情報から,そこに陳列されている商品を自動的に特定し,商品の陳列状況を把握することが求められる。たとえば商品ごと標本画像をもとに,店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として,たとえば,下記特許文献1乃至特許文献3に示すような技術を用いて,商品の陳列状況を管理するシステムが存在する。

また小売業界以外においても,何らかの対象物を撮影し,撮影した画像情報に写っている対象物を特定することが求められる場合もある。

概要

画像情報に写っている商品などの対象物の識別情報の特定を精度よく行うための画像認識システムを提供することを目的とする。 商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部と,対応する画像情報における,特定した商品識別情報の候補を比較することで,画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部と,を有する画像認識システムである。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

商品陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部と,対応する画像情報における,前記特定した商品識別情報の候補を比較することで,前記画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部と,を有することを特徴とする画像認識システム

請求項2

前記識別情報比較処理部は,前記複数の画像情報における商品識別情報の候補の有無または尤度に基づいて,前記画像情報に写っている商品の商品識別情報を特定する,ことを特徴とする請求項1に記載の画像認識システム。

請求項3

前記画像情報処理部は,前記陳列棚を撮影した撮影画像情報に対して正値化処理を実行して正置画像情報を生成する撮影画像情報正置化処理部と,前記正置画像情報に写っている前記陳列棚における一部の領域の画像情報と,商品の標本情報とを比較することで,前記領域に写っている商品の商品識別情報の候補を特定する識別情報特定処理部と,を有することを特徴とする請求項1または請求項2に記載の画像認識システム。

請求項4

前記識別情報特定処理部は,前記領域に写っている商品の商品識別情報の候補を特定できなかった場合には,商品識別情報の入力を受け付け,少なくとも前記商品識別情報の入力を受け付けた領域について,前記識別情報比較処理部における処理を実行せずに,前記受け付けた商品識別情報を,その領域の商品識別情報として特定する,ことを特徴とする請求項3に記載の画像認識システム。

請求項5

前記画像情報処理部は,前記正置画像情報に写っている前記陳列棚において,フェイスの領域を特定するフェイス特定処理部,を有しており,前記識別情報特定処理部は,処理対象となる正置画像情報におけるフェイス領域の画像情報と,その正置画像情報に対応するほかの正置画像情報における,前記フェイス領域から所定範囲のフェイス領域の画像情報とを比較することで,処理対象となる正置画像情報におけるフェイス領域に写っている商品の商品識別情報の候補を特定する,ことを特徴とする請求項3または請求項4に記載の画像認識システム。

請求項6

同一の陳列棚を異なる角度から撮影した複数の画像情報に基づいて,一つの画像情報を生成する画像情報加工処理部と,前記生成した画像情報に基づいて,その画像情報に写っている商品の商品識別情報を特定する識別情報特定処理部と,を有することを特徴とする画像認識システム。

請求項7

前記画像情報加工処理部は,前記複数の画像情報について,対応する基準単位の領域ごとに,明度に基づく指標値を比較することで,その領域の画像情報を特定し,特定した各領域の画像情報を合成することで,前記一つの画像情報を生成する,ことを特徴とする請求項6に記載の画像認識システム。

請求項8

前記画像情報加工処理部は,前記複数の画像情報のそれぞれについて,基準単位ごとにメッシュ区切り,そのメッシュの領域における明度に基づく指標値を算出し,前記複数の画像情報について,対応するメッシュの領域における前記指標値を比較することで,そのメッシュの領域の画像情報を特定し,特定した各メッシュの領域の画像情報を合成することで,前記一つの画像情報を生成する,ことを特徴とする請求項6に記載の画像認識システム。

請求項9

商品を陳列した陳列棚が写っている画像情報の一部または全部と,商品と撮影装置との相対位置を変更せずに商品と光源との相対位置を変更して撮影した複数の画像情報に基づく商品の標本情報とを比較することで,前記陳列棚が写っている画像情報における商品の商品識別情報を特定する識別情報特定処理部,を有することを特徴とする画像認識システム。

請求項10

商品と撮影装置との相対位置を変更せずに商品と光源との相対位置を変更して撮影した撮影した複数の画像情報の入力を受け付け,入力を受け付けた前記画像情報の一部を切り出して一つの画像情報に合成することで,前記商品の標本情報を生成する,ことを特徴とする画像認識システム。

請求項11

撮影対象物を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている特定対象物の識別情報の候補を特定する第1の処理部と,対応する画像情報における,前記特定した識別情報の候補を比較することで,前記画像情報に写っている特定対象物の識別情報を特定する第2の処理部と,を有することを特徴とする画像認識システム。

請求項12

撮影対象物を異なる角度から撮影した複数の画像情報に基づいて,一つの画像情報を生成する第1の処理部と,前記生成した画像情報に基づいて,その画像情報に写っている特定対象物の識別情報を特定する第2の処理部と,を有することを特徴とする画像認識システム。

請求項13

対象物と撮影装置との相対位置を変更せずに対象物と光源との相対位置を変更して撮影した複数の画像情報の入力を受け付け,入力を受け付けた前記画像情報の一部を切り出して一つの画像情報に合成することで,前記対象物の標本情報を生成する,ことを特徴とする画像認識システム。

請求項14

対象物と撮影装置との相対位置を変更せずに対象物と光源との相対位置を変更して,その対象物の複数の画像情報を撮影し,前記撮影した画像情報における写り込みがない領域を切り出して,一つの画像情報に合成することで,対象物の標本情報を生成する,ことを特徴とする対象物の標本情報の生成方法

請求項15

コンピュータを,商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部,対応する画像情報における,前記特定した商品識別情報の候補を比較することで,前記画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部,として機能させることを特徴とする画像認識プログラム

請求項16

コンピュータを,同一の陳列棚を異なる角度から撮影した複数の画像情報に基づいて,一つの画像情報を生成する画像情報加工処理部,前記生成した画像情報に基づいて,その画像情報に写っている商品の商品識別情報を特定する識別情報特定処理部,として機能させることを特徴とする画像認識プログラム。

請求項17

コンピュータを,商品を陳列した陳列棚が写っている画像情報の一部または全部と,商品と撮影装置との相対位置を変更せずに商品と光源との相対位置を変更して撮影した複数の画像情報に基づく商品の標本情報とを比較することで,前記陳列棚が写っている画像情報における商品の商品識別情報を特定する識別情報特定処理部,として機能させることを特徴とする画像認識プログラム。

請求項18

コンピュータにおいて,商品と撮影装置との相対位置を変更せずに商品と光源との相対位置を変更して撮影した複数の画像情報の入力を受け付けるステップと,入力を受け付けた前記画像情報の一部を切り出して一つの画像情報に合成することで,前記商品の標本情報を生成するステップと,を実行させることを特徴とする画像認識プログラム。

請求項19

コンピュータを,撮影対象物を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている特定対象物の識別情報の候補を特定する第1の処理部,対応する画像情報における,前記特定した識別情報の候補を比較することで,前記画像情報に写っている特定対象物の識別情報を特定する第2の処理部,として機能させることを特徴とする画像認識プログラム。

請求項20

コンピュータを,撮影対象物を異なる角度から撮影した複数の画像情報に基づいて,一つの画像情報を生成する第1の処理部,前記生成した画像情報に基づいて,その画像情報に写っている特定対象物の識別情報を特定する第2の処理部,として機能させることを特徴とする画像認識プログラム。

請求項21

コンピュータにおいて,対象物と撮影装置との相対位置を変更せずに対象物と光源との相対位置を変更して撮影した複数の画像情報の入力を受け付けるステップと,入力を受け付けた前記画像情報の一部を切り出して一つの画像情報に合成することで,前記対象物の標本情報を生成するステップと,を実行させることを特徴とする画像認識プログラム。

技術分野

0001

本発明は,画像情報に写っている商品などの対象物識別情報の特定を精度よく行うための画像認識システムに関する。

背景技術

0002

小売業界においては,商品の陳列状況が商品の販売に影響することが知られている。そのため,商品の製造会社,販売会社としては,自社または他社のどのような商品が店舗に陳列されているのかを把握することで,自社商品の開発戦略販売戦略につなげることができる。

0003

一方,その実現のためには,店頭に陳列されている商品の正確な特定が重要である。そこで,店舗の陳列棚撮影し,その画像情報から陳列されている商品を,人間が手作業で特定をすることが考えられる。この場合,ほぼ正確に商品を特定することができる。しかし,商品の陳列状況を継続的に把握するためには,一定期間ごとにその陳列状況を把握しなければならないが,店舗の陳列棚を撮影した画像情報から毎回,人間が商品を特定するのは負担が大きく,また非効率である。

0004

そこで店舗の陳列棚を撮影した画像情報から,そこに陳列されている商品を自動的に特定し,商品の陳列状況を把握することが求められる。たとえば商品ごと標本画像をもとに,店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として,たとえば,下記特許文献1乃至特許文献3に示すような技術を用いて,商品の陳列状況を管理するシステムが存在する。

0005

また小売業界以外においても,何らかの対象物を撮影し,撮影した画像情報に写っている対象物を特定することが求められる場合もある。

先行技術

0006

特開平5−342230号公報
特開平5−334409号公報
国際公開2012/029548

発明が解決しようとする課題

0007

特許文献1の発明は,商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため,実際に陳列されている商品を把握することはできない。また特許文献2は,商品の陳列を支援する棚割支援システムにおいて,商品画像の入力を支援するシステムである。しかし特許文献2のシステムでは,棚割支援システムを利用する際の商品画像の入力を支援するのみであって,このシステムを用いたとしても,実際に陳列されている商品を把握することはできない。

0008

特許文献3は,陳列棚に空き空間がある場合に,その空き空間に陳列すべき商品を特定したり,陳列棚に陳列すべき商品を置き間違えた場合にそれを通知する発明である。この発明でも,商品と,陳列棚に陳列されている商品との画像マッチング処理を行って,陳列棚に陳列されている商品を特定しているが,認識精度が低いのが実情である。

0009

陳列棚を撮影した画像に対して,商品の標本画像をもとに画像認識技術を用いる場合,標本画像と,陳列棚を撮影した画像における商品の陳列部分の部分画像との画像特徴量同士の類似性を利用して商品を認識する。一方,陳列棚を撮影した画像または標本画像においては,商品パッケージの表面が光を反射する場合,店舗内の照明外光撮影者撮影装置などの不要な物体が,撮影装置との位置関係によって商品の表面に写り込む場合がある。このようなことは,本来の画像特徴量を得られないため,画像認識の精度低下に影響を及ぼす要因となる。

0010

また陳列棚に陳列されている商品の特定に限らず,同様の問題は,一般的な対象物を撮影した画像情報から,その対象物を特定する場合にも該当する。そして,上述の各特許文献を用いたとしても,光の写り込み等による課題を解決することはできない。

課題を解決するための手段

0011

本発明者は上記課題に鑑み,光等が画像に写り込んでいる場合でも,従来よりも精度よく商品などの対象物の識別情報の特定が行える画像認識システムを発明した。

0012

請求項1に記載の発明は,商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部と,対応する画像情報における,前記特定した商品識別情報の候補を比較することで,前記画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部と,を有する画像認識システムである。

0013

本発明のように構成することで,陳列棚を撮影した画像情報に,光等の写り込みがあったとしても,従来よりも精度よく商品の認識を行うことができる。

0014

上述の発明において,前記識別情報比較処理部は,前記複数の画像情報における商品識別情報の候補の有無または尤度に基づいて,前記画像情報に写っている商品の商品識別情報を特定する,画像認識システムのように構成することができる。

0015

各画像情報における商品識別情報の候補から,商品識別情報を特定する場合,本発明のように特定することが好ましい。すなわち,商品識別情報の候補が特定されている場合と,特定されていない場合があれば,特定されている商品識別情報の候補を商品識別情報として特定する。また,それぞれに商品識別情報の候補がある場合,もっとも尤度が高い商品識別情報を特定することができる。また候補が尤度に応じて複数ある場合には,尤度に基づく値より商品識別情報を特定することができる。

0016

上述の発明において,前記画像情報処理部は,前記陳列棚を撮影した撮影画像情報に対して正値化処理を実行して正置画像情報を生成する撮影画像情報正置化処理部と,前記正置画像情報に写っている前記陳列棚における一部の領域の画像情報と,商品の標本情報とを比較することで,前記領域に写っている商品の商品識別情報の候補を特定する識別情報特定処理部と,を有する画像認識システムのように構成することができる。

0017

陳列棚を撮影した画像情報は,ゆがみ等が発生しているので,正値化処理を実行した上で処理を行うと認識精度が高くなる。また,陳列棚には複数の商品が陳列されていることが多いので,たとえば商品ごとの領域について標本情報と比較処理を実行することで,商品識別情報の候補を特定することが好ましい。

0018

上述の発明において,前記識別情報特定処理部は,前記領域に写っている商品の商品識別情報の候補を特定できなかった場合には,商品識別情報の入力を受け付け,少なくとも前記商品識別情報の入力を受け付けた領域について,前記識別情報比較処理部における処理を実行せずに,前記受け付けた商品識別情報を,その領域の商品識別情報として特定する,画像認識システムのように構成することができる。

0019

商品識別情報の候補を特定できなかった場合には,その入力を受け付けてもよい。その場合,入力される商品識別情報は,確度が高いと考えられるので,比較処理を実行せずに,そのまま特定した(確定した)商品識別情報とすると,処理時間の軽減等につなげられる。

0020

上述の発明において,前記画像情報処理部は,前記正置画像情報に写っている前記陳列棚において,フェイスの領域を特定するフェイス特定処理部,を有しており,前記識別情報特定処理部は,処理対象となる正置画像情報におけるフェイス領域の画像情報と,その正置画像情報に対応するほかの正置画像情報における,前記フェイス領域から所定範囲のフェイス領域の画像情報とを比較することで,処理対象となる正置画像情報におけるフェイス領域に写っている商品の商品識別情報の候補を特定する,画像認識システムのように構成することができる。

0021

標本情報との画像マッチング処理などで商品識別情報を特定するのは,処理負荷が大きい。そこで,商品が陳列されている領域であるフェイスが特定されているのであれば,そのフェイス同士を比較することで,画像マッチング処理の回数を減らすことができ,全体の処理負荷を軽減することができる。

0022

請求項6に記載の発明は,同一の陳列棚を異なる角度から撮影した複数の画像情報に基づいて,一つの画像情報を生成する画像情報加工処理部と,前記生成した画像情報に基づいて,その画像情報に写っている商品の商品識別情報を特定する識別情報特定処理部と,を有する画像認識システムである。

0023

本発明のように構成した場合であっても,請求項1に記載の発明と同様の技術的効果を得ることができる。すなわち,陳列棚を撮影した画像情報に,光等の写り込みがあったとしても,従来よりも精度よく商品の認識を行うことができる。

0024

上述の発明において,前記画像情報加工処理部は,前記複数の画像情報について,対応する基準単位の領域ごとに,明度に基づく指標値を比較することで,その領域の画像情報を特定し,特定した各領域の画像情報を合成することで,前記一つの画像情報を生成する,画像認識システムのように構成することができる。

0025

上述の発明において,前記画像情報加工処理部は,前記複数の画像情報のそれぞれについて,基準単位ごとにメッシュ区切り,そのメッシュの領域における明度に基づく指標値を算出し,前記複数の画像情報について,対応するメッシュの領域における前記指標値を比較することで,そのメッシュの領域の画像情報を特定し,特定した各メッシュの領域の画像情報を合成することで,前記一つの画像情報を生成する,画像認識システムのように構成することができる。

0026

光が写り込む場合には,その画像情報の明度は高くなる。そのため,これらの発明のように構成することで,光の写り込みを除去した画像情報を生成することができ,光の写り込みによる認識精度の低下の抑止につながる。

0027

請求項9に記載の発明は,商品を陳列した陳列棚が写っている画像情報の一部または全部と,商品と撮影装置との相対位置を変更せずに商品と光源との相対位置を変更して撮影した複数の画像情報に基づく商品の標本情報とを比較することで,前記陳列棚が写っている画像情報における商品の商品識別情報を特定する識別情報特定処理部,を有する画像認識システムである。

0028

比較処理において用いる商品の標本情報は,光等の写り込みがないものを利用することが精度向上につながる。そこで,商品と撮影装置との相対位置を変更せずに光源との相対位置を変更して撮影した複数の画像情報に基づいた商品の標本情報を用いることで,比較処理における精度の向上につなげることができる。

0029

請求項10に記載の発明は,商品と撮影装置との相対位置を変更せずに商品と光源との相対位置を変更して撮影した撮影した複数の画像情報の入力を受け付け,入力を受け付けた前記画像情報の一部を切り出して一つの画像情報に合成することで,前記商品の標本情報を生成する,画像認識システムである。

0030

比較処理において用いる商品の標本情報は,光等の写り込みがないものを利用することが精度向上につながる。そこで,商品の標本情報は,本発明のように生成することが好ましい。

0031

請求項11に記載の発明は,撮影対象物を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている特定対象物の識別情報の候補を特定する第1の処理部と,対応する画像情報における,前記特定した識別情報の候補を比較することで,前記画像情報に写っている特定対象物の識別情報を特定する第2の処理部と,を有する画像認識システムのように構成することができる。

0032

請求項1に記載の発明では,陳列棚に陳列されている商品の識別情報を特定する画像認識システムであったが,それに限定するものではなく,撮影対象物を複数の角度から撮影した画像情報において,その画像情報に写っている特定対象物の識別情報を特定する場合であっても適用することができる。すなわち,請求項1に記載の発明と同様に,撮影した画像情報に,光等の写り込みがあったとしても,従来よりも精度よく特定対象物の識別情報の認識を行うことができる。

0033

請求項12に記載の発明は,撮影対象物を異なる角度から撮影した複数の画像情報に基づいて,一つの画像情報を生成する第1の処理部と,前記生成した画像情報に基づいて,その画像情報に写っている特定対象物の識別情報を特定する第2の処理部と,を有する画像認識システムである。

0034

請求項6に記載の発明では,陳列棚に陳列されている商品の識別情報を特定する画像認識システムであったが,それに限定するものではなく,撮影対象物を複数の角度から撮影した画像情報において,その画像情報に写っている特定対象物の識別情報を特定する場合であっても適用することができる。すなわち,請求項6に記載の発明と同様に,撮影した画像情報に,光等の写り込みがあったとしても,従来よりも精度よく特定対象物の識別情報の認識を行うことができる。

0035

請求項13に記載の発明は,対象物と撮影装置との相対位置を変更せずに対象物と光源との相対位置を変更して撮影した複数の画像情報の入力を受け付け,入力を受け付けた前記画像情報の一部を切り出して一つの画像情報に合成することで,前記対象物の標本情報を生成する,画像認識システムである。

0036

請求項9に記載の発明は,陳列棚に陳列されている商品の識別情報を特定する画像認識システムであったが,それに限定するものではなく,撮影対象物を複数の角度から撮影した画像情報において,その画像情報に写っている特定対象物の識別情報を特定する場合であっても適用することができる。すなわち,比較処理において用いる商品の標本情報は,光等の写り込みがないものを利用することが精度向上につながるので,商品と撮影装置との相対位置を変更せずに撮影した複数の画像情報に基づいた対象物の標本情報を用いることで,比較処理における精度の向上につなげることができる。

0037

請求項14に記載の発明は,対象物と撮影装置との相対位置を変更せずに対象物と光源との相対位置を変更して,その対象物の複数の画像情報を撮影し,前記撮影した画像情報における写り込みがない領域を切り出して,一つの画像情報に合成することで,対象物の標本情報を生成する,対象物の標本情報の生成方法である。

0038

画像認識処理を行う場合,写り込みがない標本情報を用いることが,認識精度の向上の要因となる。そこで,本発明の方法で標本情報を生成することで,写り込みがない標本情報を生成することができる。

0039

請求項1に記載の発明は,本発明のプログラムコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,商品を陳列した陳列棚を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている商品の商品識別情報の候補を特定する画像情報処理部,対応する画像情報における,前記特定した商品識別情報の候補を比較することで,前記画像情報に写っている商品の商品識別情報を特定する識別情報比較処理部,として機能させる画像認識プログラムのように構成することができる。

0040

請求項6に記載の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,同一の陳列棚を異なる角度から撮影した複数の画像情報に基づいて,一つの画像情報を生成する画像情報加工処理部,前記生成した画像情報に基づいて,その画像情報に写っている商品の商品識別情報を特定する識別情報特定処理部,として機能させる画像認識プログラムのように構成することができる。

0041

請求項9に記載の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,商品を陳列した陳列棚が写っている画像情報の一部または全部と,商品と撮影装置との相対位置を変更せずに商品と光源との相対位置を変更して撮影した複数の画像情報に基づく商品の標本情報とを比較することで,前記陳列棚が写っている画像情報における商品の商品識別情報を特定する識別情報特定処理部,として機能させる画像認識プログラムのように構成することができる。

0042

請求項10に記載の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータにおいて,商品と撮影装置との相対位置を変更せずに商品と光源との相対位置を変更して撮影した複数の画像情報の入力を受け付けるステップと,入力を受け付けた前記画像情報の一部を切り出して一つの画像情報に合成することで,前記商品の標本情報を生成するステップと,を実行させる画像認識プログラムのように構成することができる。

0043

請求項11に記載の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,撮影対象物を複数の角度から撮影した画像情報のそれぞれについて,その画像情報に写っている特定対象物の識別情報の候補を特定する第1の処理部,対応する画像情報における,前記特定した識別情報の候補を比較することで,前記画像情報に写っている特定対象物の識別情報を特定する第2の処理部,として機能させる画像認識プログラムのように構成することができる。

0044

請求項12に記載の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,撮影対象物を異なる角度から撮影した複数の画像情報に基づいて,一つの画像情報を生成する第1の処理部,前記生成した画像情報に基づいて,その画像情報に写っている特定対象物の識別情報を特定する第2の処理部,として機能させる画像認識プログラムのように構成することができる。

0045

請求項13に記載の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータにおいて,対象物と撮影装置との相対位置を変更せずに対象物と光源との相対位置を変更して撮影した複数の画像情報の入力を受け付けるステップと,入力を受け付けた前記画像情報の一部を切り出して一つの画像情報に合成することで,前記対象物の標本情報を生成するステップと,を実行させる画像認識プログラムのように構成することができる。

発明の効果

0046

本発明の画像認識システムを用いることによって,光等が画像情報に写り込んでいる場合でも,従来よりも精度よく,商品などの対象物の特定が行える。

図面の簡単な説明

0047

本発明の画像認識システムの構成の一例を模式的に示すブロック図である。
本発明の画像認識システムにおける画像情報処理部の構成の一例を模式的に示すブロック図である。
本発明の画像認識システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。
本発明の画像認識システムにおける全体の処理プロセスの一例を示すフローチャートである。
本発明の画像情報処理部における処理プロセスの一例を示すフローチャートである。
本発明の識別情報比較処理部における処理プロセスの一例を示すフローチャートである。
標本情報記憶部の一例を模式的に示す図である。
店舗の陳列棚について,同一の機会に異なる角度から撮影した撮影画像情報の一例を示す図である。
店舗の陳列棚について,同一の機会に異なる角度から撮影した撮影画像情報のほかの一例を示す図である。
図8の撮影画像情報について,台形補正処理が実行された正置画像情報の一例を示す図である。
図9の撮影画像情報について,台形補正処理が実行された正置画像情報の一例を示す図である。
図10の撮影画像情報において,棚段領域が特定された状態を示す図である。
図11の撮影画像情報において,棚段領域が特定された状態を示す図である。
本発明の画像認識システムにおける代表的な処理の一例のイメージ図である。
N−1回目の撮影画像情報に対して特徴量採取領域を設定した状態の一例を示す図である。
N回目の撮影画像情報に対して特徴量採取領域を設定した状態の一例を示す図である。
N−1回目の特徴量採取領域と,N回目の特徴量採取領域とのペアの関係を示す図である。
N−1回目の撮影画像情報における棚位置Cを,関数Fにより,N回目の撮影画像情報における棚位置Dとして射影する状態を示す図である。
撮影画像情報の一例を示す図である。
N−1回目の撮影画像情報に特徴量採取領域を設定した状態を示す図である。
N回目の撮影画像情報に特徴量採取領域を設定した状態を示す図である。
N回目の撮影が自乗法において,棚位置D1乃至D4を特定した状態の一例を示す図である。
識別情報特定処理部におけるN回目の処理を模式的に示す図である。
実施例5における画像認識システムの構成の一例を模式的に示すブロック図である。
実施例5における画像情報処理部の構成の一例を模式的に示すブロック図である。
実施例5における画像認識システムの全体の処理プロセスの一例を示すフローチャートである。
実施例5における加工済正置画像情報の生成処理の処理プロセスの一例を示すフローチャートである。
正置画像情報において,所定の基準単位ごとにメッシュで区切った状態の一例を示す図である。
所定の条件を充足することで特定されたメッシュの領域の画像情報を並べて配置することで加工済正置画像情報を生成する処理を模式的に示す図である。
商品を撮影する状態を上方からみた場合の一例を示す図である。
撮影した複数の画像情報において,写り込みが生じていない部分を切り出して互いに合成することで,適切な標本情報を生成する処理を模式的に示す図である。
標本とする商品の外観の一例を模式的に示す図である。
商品の外観の形状が第1のケースの場合の撮影方法の一例を示す図である。
商品の外観の形状が第2のケースの場合の撮影方法の一例を示す図である。
商品の外観の形状が第3のケースの場合の撮影方法の一例を示す図である。

0048

本発明の画像認識システム1のシステム構成の一例を図1に示す。画像認識システム1は,管理端末2と撮影画像情報入力端末3とを用いる。

0049

管理端末2は,画像認識システム1を運営する企業等の組織が利用するコンピュータである。また,撮影画像情報入力端末3は,店舗の陳列棚を撮影した画像情報の入力を行う端末である。

0050

画像認識システム1における管理端末2,撮影画像情報入力端末3は,コンピュータを用いて実現される。図3にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,情報を表示するディスプレイなどの表示装置72と,情報の入力が可能なキーボードマウスなどの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74とを有している。

0051

コンピュータがタッチパネルディスプレイを備えている場合には,表示装置72と入力装置73とが一体的に構成されていてもよい。タッチパネルディスプレイは,たとえばタブレット型コンピュータスマートフォンなどの可搬型通信端末などで利用されることが多いが,それに限定するものではない。

0052

タッチパネルディスプレイは,そのディスプレイ上で,直接,所定の入力デバイスタッチパネル用のペンなど)や指などによって入力を行える点で,表示装置72と入力装置73の機能が一体化した装置である。

0053

撮影画像情報入力端末3は,上記の各装置のほか,カメラなどの撮影装置を備えていてもよい。撮影画像情報入力端末3として,携帯電話,スマートフォン,タブレット型コンピュータなどの可搬型通信端末を用いることもできる。

0054

本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は,その処理順序を適宜変更することもできる。また,処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合,正置化処理をしていない画像情報に対する処理を実行することができる。

0055

画像認識システム1は,撮影画像情報記憶部20と標本情報記憶部21と識別情報候補記憶部22と識別情報記憶部23と画像情報処理部24と識別情報比較処理部25とを有する。

0056

撮影画像情報記憶部20は,撮影画像情報入力端末3から受け付けた撮影画像情報,撮影日時,店舗識別情報,画像情報識別情報などを対応づけて記憶する。撮影画像情報とは,台形補正処理を実行する対象となる画像情報であればよく,一つの陳列棚を複数枚で撮影した場合に,それが一つの画像情報として合成された画像情報も含まれる。また,歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

0057

標本情報記憶部21は,正置画像情報に写っている陳列棚の棚段における各フェイスの商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は,陳列棚に陳列される可能性のある商品を,上下,左右,斜めなど複数の角度から撮影をした画像情報である。図7に標本情報記憶部21に記憶される標本情報の一例を示す。図7では,標本情報として,缶ビールをさまざまな角度から撮影をした場合を示しているが,缶ビールに限られない。標本情報記憶部21は,標本情報と,商品識別情報とを対応付けて記憶する。

0058

なお,標本情報記憶部21には,標本情報とともに,または標本情報に代えて,標本情報から抽出された,類似性の算出に必要となる情報,たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報には,類似性の算出に必要となる情報も含むとする。この場合,識別情報特定処理部246は,フェイスの領域の画像情報と,標本情報とのマッチング処理を行う際に,標本情報について毎回,画像特徴量を算出せずともよくなり,計算時間を短縮することができる。

0059

識別情報候補記憶部22は,撮影画像情報ごとに,陳列棚の棚段の各フェイスに表示されている商品の商品識別情報の候補を記憶する。たとえば,商品識別情報の候補に対応付けて,撮影日時情報店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報に対応づけて識別情報候補記憶部22に記憶する。ここで記憶する商品識別情報の候補は,撮影画像情報ごとに記憶している。そのため,同一の陳列棚について複数の撮影画像情報があるので,同一の陳列棚の棚段の対応するフェイスには,撮影画像情報ごとに特定した商品識別情報の候補が記憶されていることとなる。

0060

識別情報記憶部23は,陳列棚の棚段の各フェイスに表示されている商品の特定(確定)した商品識別情報を記憶する。たとえば,商品識別情報に対応付けて,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報に対応づけて識別情報記憶部23に記憶する。

0061

画像情報処理部24は,撮影画像情報入力端末3から受け付けた撮影画像情報において,その撮影画像情報に写っている陳列棚における棚段に陳列されている商品の商品識別情報の候補を特定する処理を実行する。

0062

画像情報処理部24は,撮影画像情報入力受付処理部241と撮影画像情報正置化処理部242と棚段位置特定処理部243と棚段領域切出処理部244とフェイス特定処理部245と識別情報特定処理部246と棚段画像マッチング処理部247とを有する。

0063

撮影画像情報入力受付処理部241は,撮影画像情報入力端末3で撮影した店舗の陳列棚の画像情報(撮影画像情報)の入力を受け付け,撮影画像情報記憶部20に記憶させる。撮影画像情報入力端末3からは,撮影画像情報のほか,撮影日時,店舗名などの店舗識別情報,画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図8図9に撮影画像情報の一例を示す。図8図9では,陳列棚に3段の棚段があり,そこに商品が陳列されている撮影画像情報である。

0064

撮影画像情報正置化処理部242は,撮影画像情報記憶部20に記憶した撮影画像情報に対して台形補正処理を実行して正置化した,正置画像情報を生成する。台形補正処理は,撮影画像情報に写っている陳列棚の棚段が水平に,そこに陳列されている商品に対する商品タグが垂直になるように行う補正処理である。正置化とは,撮影装置のレンズ光軸撮影対象である平面の垂線方向に沿って,十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり,たとえば台形補正処理がある。

0065

撮影画像情報正置化処理部242が実行する台形補正処理は,撮影画像情報において4頂点の指定の入力を受け付け,その各頂点を用いて台形補正処理を実行する。指定を受け付ける4頂点としては,陳列棚の棚段の4頂点であってもよいし,陳列棚の棚位置の4頂点であってもよい。また,2段,3段の棚段のまとまりの4頂点であってもよい。4頂点としては任意の4点を指定できる。図10および図11に正置化処理がされた撮影画像情報(正置画像情報)の一例を示す。

0066

棚段位置特定処理部243は,撮影画像情報または正置画像情報から棚段の領域(棚段領域)を特定する。すなわち,撮影画像情報および正置画像情報に写っている陳列棚には,商品が陳列される棚段領域と,そこに陳列される商品に対する商品タグが取り付けられている商品タグ配置領域とがある。そのため,正置画像情報から棚段領域を特定する。棚段領域の特定としては,管理端末2の操作者手動で棚段領域を指定し,それを棚段位置特定処理部243が受け付けてもよいし,初回に手動で入力を受け付けた棚段領域の情報に基づいて,二回目以降は自動で棚段領域を特定してもよい。図12図13に棚段領域が特定された状態を示す。

0067

棚段領域切出処理部244は,棚段位置特定処理部243で特定した棚段の領域の画像情報を棚段領域画像情報として切り出す。棚段領域切出処理部244は,実際に,画像情報として切り出してもよいし,実際には画像情報としては切り出さずに,棚段領域を構成する座標を特定することで,仮想的に切り出すのでもよい。なお,陳列棚に棚段が複数ある場合には,それぞれが棚段領域画像情報として切り出される。また棚段の領域を示す座標としては,その領域を特定するために必要な頂点の座標であり,正置画像情報におけるたとえば4点,右上と左下,左上と右下の2点の座標などでよい。また,正置画像情報における陳列棚など,画像情報における所定箇所(たとえば陳列棚の左上の頂点)を基準とした相対座標である。

0068

フェイス特定処理部245は,正置画像情報における棚段領域における棚段ごとに,商品が置かれているフェイス(商品が置かれている領域)を特定する。フェイス特定処理部245は,初回のフェイスの特定処理と,二回目以降のフェイスの特定処理とに分かれる。

0069

フェイス特定処理部245における初回のフェイスの特定処理は,棚段位置特定処理部243で特定した棚段の座標で構成される領域(好ましくは矩形領域)の範囲内において,商品が置かれている領域(フェイス)を特定する。具体的には,商品と商品との間に生じる細く狭い陰影を特定する,画像の繰り返しパターンを特定する,パッケージ上辺段差を特定する,商品幅が同一であるなどの制約に基づいて区切り位置を特定する,などによって,フェイスの領域を特定する。フェイスの特定処理としては,商品のカテゴリや商品の形態によって,任意の方法を採用可能であり,上記に限定するものではない。また,自動的に特定したフェイスに対して,担当者による修正入力を受け付けてもよい。さらに,担当者からフェイスの位置の入力を受け付けるのでもよい。特定したフェイスを構成する領域の座標は,正置画像情報におけるフェイスの領域の座標に,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報とを対応づけて管理する。またフェイスの領域を示す座標としては,矩形領域を特定するために必要な頂点の座標であり,正置画像情報におけるたとえば4点,右上と左下,左上と右下の2点の座標などでよい。また,正置画像情報における陳列棚など,画像情報における所定箇所(たとえば陳列棚の左上の頂点)を基準とした相対座標である。

0070

フェイス特定処理部245における二回目以降のフェイスの特定処理は,同一の陳列棚の同一の棚段について,前回(N−1回目)の正置画像情報で特定したフェイスの領域の座標を今回(N回目)の正置画像情報で特定したフェイスの領域の座標とするようにしてもよい。

0071

識別情報特定処理部246は,陳列棚の棚段ごとに,フェイスに表示されている商品の商品識別情報の候補を特定する。商品識別情報としては,商品名のほか,その商品に対して割り当てられているJANコードなどがあるが,それに限定されない。商品を識別することができる情報であればいかなるものでもよい。

0072

識別情報特定処理部246は,以下のような処理を実行する。すなわち,フェイスごとに,フェイスの画像情報と,標本情報記憶部21に記憶する商品の標本情報とマッチングすることで,そのフェイスに表示されている商品の商品識別情報の候補を特定する。具体的には,まず,処理対象となるフェイスの座標で構成される領域の画像情報と,標本情報記憶部21に記憶する標本情報との類似性を判定し,その類似性がもっとも高い標本情報に対応する商品識別情報を特定し,上記座標で構成されるフェイスに表示されている商品の商品識別情報の候補として特定をする。

0073

ここでフェイスの画像情報と標本情報との類似性を判定するには,以下のような処理を行う。まず,識別情報特定処理部246における商品識別情報の候補の特定処理の前までの処理において,正置画像情報の棚段におけるフェイスの領域の画像情報と,標本情報との方向が同じ(横転倒立していない)となっており,また,それぞれの画像情報の大きさが概略同じとなっている(所定範囲以上で画像情報の大きさが異なる場合には,類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく)。

0074

識別情報特定処理部246は,フェイスの画像情報と,標本情報との類似性を判定するため,フェイスの画像情報の画像特徴量(たとえば局所特徴量)に基づく特徴点と,標本情報との画像特徴量(たとえば局所特徴量)に基づく特徴点を,それぞれ抽出する。そして,フェイスの画像情報の特徴点と,標本情報の特徴点とでもっとも類似性が高いペアを検出し,それぞれで対応する点の座標の差を求める。そして,差の平均値を求める。差の平均値は,フェイスの画像情報と,標本情報との全体の平均移動量を示している。そして,すべての特徴点のペアの座標差を平均の座標差と比較し,外れ度合いの大きなペアを除外する。そして,残った対応点の数で類似性を順位付ける。

0075

以上のような方法でフェイスの画像情報と,標本情報との類似性を算出できる。また,その精度を向上させるため,さらに,色ヒストグラム同士のEMD(Earth Movers Distance)を求め,類似性の尺度としてもよい。これによって,撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ,高精度で特定をすることができる。

0076

類似性の判定としては,ほかにも,各フェイスの領域の画像情報のシグネチャ(画像特徴量と重みの集合)同士のEMDを求め,類似性の尺度としてもよい。シグネチャの画像特徴量としては,たとえばフェイス領域の画像情報のHSV色空間内の頻度分布を求め,色相彩度に関してグルーピングを行って,特徴の個数とHSV色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは,撮影条件に大きく左右されないように,明度への依存度下げるためである。

0077

また,処理の高速化のため,シグネチャとEMDの代わりに,適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のL2距離等の類似性を用いることもできる。

0078

類似性の判定は,上述に限定をするものではない。特定した商品識別情報の候補は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報に対応づけて識別情報候補記憶部22に記憶する。なお,ここで特定した商品識別情報の候補は,ある撮影画像情報に基づく正置画像情報におけるフェイスに写っている商品の商品識別情報の候補であるので,確定した商品識別情報ではない。

0079

以上のようにして特定した商品識別情報の候補は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報に対応づけて識別情報候補記憶部22に記憶する。

0080

棚段画像マッチング処理部247は,前回(N−1回目)の正置画像情報における棚段の領域の画像情報と,今回(N回目)の正置画像情報における棚段の領域の画像情報とに基づいて,その類似性が高ければその棚段における各フェイスの商品識別情報の候補は同一と判定する。この類似性の判定処理は,上述のように,前回(N−1回目)の正置画像情報における棚段の領域の画像情報の画像特徴量と,今回(N回目)の正置画像情報における棚段の領域の画像情報とに基づく類似性の判定でもよいし,色ヒストグラム同士のEMDを用いたものであってもよい。また,それらに限定するものではない。そして,識別情報特定処理部246におけるフェイス単位ごとの特定処理ではなく,識別情報特定処理部246に,N回目の正置画像情報におけるその棚段における各フェイスの商品識別情報の候補を,N−1回目の同一の棚段における各フェイスの商品識別情報の候補と同一として,識別情報候補記憶部22に記憶させる。これによって,あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など,変化がほとんど生じない棚段についての処理を省略することができる。なお,棚段画像マッチング処理部247による処理は設けなくてもよい。

0081

棚段画像マッチング処理部247における処理は,N回目とN−1回目の比較の際に用いるほか,N回目に同一の陳列棚を異なる角度で撮影した正置画像情報の比較の処理の際に用いてもよい。

0082

識別情報比較処理部25は,識別情報特定処理部246で特定した商品識別情報の候補に基づいて,同一の陳列棚を同一の機会に異なる角度で撮影した撮影画像情報(正置画像情報)において,対応するフェイス同士の商品識別情報の候補を比較し,そのフェイスに写っている商品の商品識別情報を特定(確定)する処理を実行する。識別情報比較処理部25の処理のイメージ図を図14に示す。

0083

識別情報比較処理部25は,同一の陳列棚を同一の機会,たとえば同一日に撮影した異なる撮影画像情報に基づく正置画像情報において,画像情報処理部24で特定したフェイスごとの商品識別情報の候補を,それぞれ識別情報候補記憶部22から特定する。たとえば同一のフェイス識別情報に対応する商品識別情報の候補を,それぞれ特定する。そして,それぞれの商品識別情報の候補について,所定の条件と比較し,当該フェイスに対応する商品識別情報を特定(確定)する。たとえば,図14に示すように,同一の陳列棚を同一の機会に撮影した,角度が異なる2つの撮影画像情報(撮影画像情報1,撮影画像情報2)があるとする。このとき,撮影画像情報1を正置化した正置画像情報1におけるフェイスAには商品識別情報の候補として商品識別情報1が対応づけられており,撮影画像情報2を正置化した正置画像情報2におけるフェイスAには商品識別情報の候補が存在していない(正置画像情報2に基づいてはフェイスAの商品識別情報が特定できなかった)場合とする。この場合には,正置画像情報1に基づく商品識別情報1をフェイスAの商品識別情報として特定する。また,別の例として,撮影画像情報1を正置化した正置画像情報1におけるフェイスAには商品識別情報の候補として商品識別情報1が尤度40%で対応づけられており,撮影画像情報2を正置化した正置画像情報2におけるフェイスAには商品識別情報の候補として商品識別情報2が尤度90%で対応づけられていた場合には,尤度がもっとも高い商品識別情報2をフェイスAの商品識別情報として特定する。

0084

このように識別情報比較処理部25は,同一の陳列棚を同一の機会に撮影した異なる角度の画像情報において,それぞれ特定した商品識別情報の候補を,商品識別情報の候補の有無,商品識別情報の候補の尤度に基づいて,当該フェイスに対応する商品識別情報として特定をする。なお,一つの画像情報における一つのフェイスに,尤度に応じた複数の商品識別情報の候補がある場合,尤度をそれぞれ演算してもよい。たとえば撮影画像情報1を正置化した正置画像情報1におけるフェイスAには商品識別情報の候補として商品識別情報1が尤度65%,商品識別情報2が尤度30%で対応づけられており,撮影画像情報2を正置化した正置画像情報2におけるフェイスAには商品識別情報の候補として商品識別情報2が尤度70%,商品識別情報1が尤度25%で対応づけられていた場合,同一の商品識別情報については,尤度に基づく値同士を加算乗算等の演算をして値を算出し,その値に基づいていずれか一つの商品識別情報に特定をしてもよい。たとえば上述の場合,商品識別情報1を90,商品識別情報2を100として比較して,商品識別情報2に特定してもよい。このように,識別情報比較処理部25は,同一の撮影対象物である陳列棚を同一の機会に撮影した異なる角度による複数の画像情報から特定した商品識別情報の候補を,所定条件で比較し,当該フェイスに対応する商品識別情報を特定する。なお,フェイス単位で処理を実行すると精度が向上するが,それに限定するものではなく,商品識別情報の候補を比較さえすればよい。

0085

なお,本明細書における画像認識システム1は,陳列棚に陳列した商品を撮影した画像情報から,そこに写っている商品の商品識別情報を特定する処理に適用することができるが,それに限定するものではなく,何らかの対象物が写っている画像情報から,その対象物の識別情報を特定する場合にも適用することができる。

0086

本発明の画像認識システム1を用いた処理プロセスを,図1および図2のブロック図,図4乃至図6のフローチャートを用いて説明する。なお,以下の説明では,同一の陳列棚について,2方向から撮影した2枚の撮影画像情報を用いる場合を説明するが,3枚以上であっても,同様に処理が実行できる。

0087

店舗の陳列棚の撮影担当者は,同一の陳列棚について,同一の機会に,光等の写り込みが重ならないように,複数の角度から撮影を行う。そして店舗の陳列棚について,同一の機会に異なる角度から撮影された撮影画像情報(図8図9)は,撮影画像情報入力端末3から入力され,管理端末2の画像情報処理部24における撮影画像情報入力受付処理部241でその入力を受け付ける(S100,S110)。また,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報の入力を受け付ける。そして,撮影画像情報入力受付処理部241は,入力を受け付けた撮影画像情報,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部20に記憶させる。

0088

管理端末2において所定の操作入力を受け付けると,撮影画像情報正置化処理部242は,撮影画像情報記憶部20に記憶する撮影画像情報を抽出し,台形補正処理を行うための頂点である棚位置(陳列棚の位置)の4点の入力を受け付け,台形補正処理を実行する(S120)。このようにして台形補正処理が実行された撮影画像情報(正置画像情報)の一例が,図10図11である。

0089

そして,正置画像情報に対して,管理端末2において所定の操作入力を受け付けることで,棚段位置特定処理部243は,棚段領域を特定する(S130)。すなわち,正置画像情報における棚段領域の入力を受け付ける。図12および図13が,棚段領域が特定された状態を示す図である。

0090

以上のようにして,棚段領域を特定すると,棚段領域切出処理部244は,S130で入力を受け付けた棚段の領域に基づいて,正置画像情報から棚段領域の画像情報を切り出す(S140)。そして,棚段領域画像情報における棚段ごとに,フェイスを特定する処理を実行する(S150)。具体的には,棚段領域における棚段について,4点の座標で構成される矩形領域の範囲内において,商品と商品との間に生ずる細く狭い陰影を特定する,画像の繰り返しパターンを特定する,パッケージの上辺の段差を特定する,商品幅が同一であるなどの制約に基づいて区切り位置を特定する,などによって,フェイスを特定する。特定したフェイスには,フェイスを識別するためのフェイス識別情報を付す。このフェイス識別情報は,同一の陳列棚を撮影した画像情報については,異なる画像情報であっても,対応するフェイスであることを識別可能とするため,同一のフェイス識別情報とするか,あるいはフェイス識別情報の対応関係を記憶しておく。

0091

そして,特定した各フェイスの座標は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイスを識別するためのフェイス識別情報と対応付けて記憶させる。なお,フェイスの座標は4点を記憶せずとも,矩形領域を特定可能な2点であってもよい。

0092

以上のように正置画像情報の棚段領域画像情報における各棚段の各フェイスを特定すると,識別情報特定処理部246は,フェイスごとに,標本情報記憶部21に記憶する標本情報とマッチング処理を実行し,類似性が最も高い標本情報に対応する商品識別情報を特定する。そして,そのフェイスに表示されている商品の商品識別情報の候補として特定する(S160)。すなわち,ある棚段のフェイスの矩形領域(この領域のフェイスのフェイス識別情報をXとする)における画像情報と,標本情報記憶部21に記憶する各標本情報とから,それぞれの画像特徴量を算出し,特徴点のペアを求めることで,類似性を判定する。そして,もっとも類似性の高い標本情報を特定し,そのときの類似性があらかじめ定められた閾値以上であれば,その標本情報に対応する商品識別情報を標本情報記憶部21に基づいて特定する。そして,特定した商品識別情報を,そのフェイス識別情報Xのフェイスに表示されている商品の商品識別情報の候補とする。そして識別情報特定処理部246は,特定した商品識別情報の候補を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイス識別情報に対応づけて識別情報候補記憶部22に記憶する(S170)。

0093

なお,すべてのフェイスの商品識別情報を特定できるとは限らない。そこで,特定できていないフェイス(もっとも高い類似性が所定の閾値未満のフェイスなど)については,商品識別情報の入力を受け付け,入力を受け付けた商品識別情報を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイス識別情報に対応づけて,商品識別情報の候補として識別情報候補記憶部22に記憶してもよい。また,特定した商品識別情報の候補の修正処理についても同様に,入力を受け付けてもよい。なお,このようなフェイスについては,もともと確実性が高いので,後述の識別情報比較処理部25の処理を実行せずに,商品識別情報として確定し,識別情報候補記憶部22,識別情報記憶部23に記憶させてもよい。このとき,識別情報候補記憶部22には,手入力を受け付けたことを示すフラグを付し,そのフラグがある場合には識別情報比較処理部25の処理をスキップするなどができる。

0094

以上のような処理を行うことで,撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報の候補を特定することができる。

0095

そして各撮影画像情報に基づく正置画像情報におけるフェイスについて,商品識別情報の候補が特定できると,識別情報比較処理部25は,対応するフェイス同士の商品識別情報の候補を識別情報候補記憶部22から特定し,それらを所定条件に基づいて比較することで,当該フェイスにおける商品識別情報として特定する(S200)。

0096

具体的には,まず識別情報比較処理部25は,同一の陳列棚を同一の機会に撮影した角度の異なる複数の正置画像情報において,対応するフェイスを特定する(S210)。対応するフェイスの特定では,同一のフェイス識別情報に基づいて特定する,フェイスとして対応づけられているフェイスを特定するなどの方法がある。

0097

そして特定したフェイスについての商品識別情報の候補を,識別情報候補記憶部22から抽出し,対応するフェイス同士の商品識別情報の候補について,所定の条件を充足するか比較し(S220),当該フェイスについての商品識別情報として特定する(S230)。そして,特定した商品識別情報を,識別情報記憶部23に記憶させる(S240)。

0098

以上のような処理を行うことで,撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。また,複数の角度で撮影した撮影画像情報に基づいて特定しているので,光などの写り込みの影響を排除しやすくなり,商品の特定の精度を向上させることができる。

0099

また,2回目または2枚目以降の処理においては,適宜,棚段画像マッチング処理部247における処理を実行することができる。

0100

上述した実施例1では,4点を指定することで台形補正処理を実行することとしたが,その基準となる頂点を毎回,指定して入力することは負担が大きい。そこで,台形補正処理の基準となる頂点を自動的に特定するように構成してもよい。この場合の処理を説明する。

0101

この場合の撮影画像情報正置化処理部242は,初回の台形補正処理と,二回目以降の台形補正処理とに分かれる。なお,初回とは一回目のほか,頂点を自動的に特定する際のずれを修正するため,任意のタイミングで手動で行う場合も含まれる。二回目以降とは初回以外である。また,本発明では,同一の陳列棚について同一の機会に,複数の角度から撮影を行う。そのため,最初の一枚(N−1回目)について頂点を指定することで台形補正処理を実行し,二枚目以降(N回目)については,台形補正処理の基準となる頂点を自動的に特定するようにしてもよい。

0102

撮影画像情報正置化処理部242における初回の台形補正処理は,実施例1と同様に,陳列棚の長方形の領域の4頂点の指定の入力を受け付ける。陳列棚の長方形の領域の4頂点としては,陳列棚の棚位置の4頂点であってもよいし,棚段の4頂点や商品タグを取り付ける領域の4頂点であってもよい。また,2段,3段の棚段のまとまりの4頂点であってもよい。ここで指定を受け付けた4頂点は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報と対応づけて記憶させる。そして撮影画像情報正置化処理部242は,指定を受け付けた4頂点の座標に基づいて,撮影画像情報に対して台形補正処理を実行し,正置画像情報とする。

0103

撮影画像情報正置化処理部242は,二回目以降の台形補正処理を以下のように実行をする。

0104

まず,撮影画像情報正置化処理部242は,N回目の撮影画像情報に対応する同じ(ほぼ同じ)領域を撮影したN−1回目の撮影画像情報の頂点座標を,前回の処理の際に記憶した情報から特定する。N回目の撮影画像情報に対応する同じ(ほぼ同じ)領域を撮影したN−1回目の撮影画像情報の頂点座標は,撮影画像情報に対応する店舗識別情報,画像識別情報,撮影日時情報などに基づいて特定をする。そして,N−1回目の撮影画像情報に対して,特定をした4頂点の頂点座標を含む所定の大きさの矩形領域,たとえば棚段の幅の1/5程度の正方形を特徴量採取領域2420として設定をする。N−1回目の撮影画像情報に対して,特徴量採取領域2420を設定した状態の一例を図15に示す。特徴量採取領域2420は,頂点座標を含む矩形領域であればよい。一方,陳列棚の背景同士がマッチングをしてしまうと,撮影位置が少しずれるだけで背景が大きくずれてしまう。そこで,特徴量採取領域2420は,なるべく陳列棚の内側を多く含む位置に設定することが好ましい。つまり,頂点座標は,特徴量採取領域2420において,特徴量採取領域2420の中心点よりも陳列棚の外側方向に位置していることが好ましい。

0105

たとえば,頂点座標の4点は左上,右上,左下,右下に位置する。そして,特徴量採取領域2420の矩形領域を縦横の中心でそれぞれ2分割した合計4領域に分割すると,左上の頂点座標を含む特徴量採取領域2420では,その頂点座標が矩形領域のうち左上の領域に位置するように特徴量採取領域2420を設定する。同様に,右上の頂点座標を含む特徴量採取領域2420では,その頂点座標が矩形領域のうち右上の領域に位置するように特徴量採取領域2420を設定し,左下の頂点座標を含む特徴量採取領域2420では,その頂点座標が矩形領域のうち左下の領域に位置するように特徴量採取領域2420を設定し,右下の頂点座標を含む特徴量採取領域2420では,その頂点座標が矩形領域のうち右下の領域に位置するように特徴量採取領域2420を設定する。これによって,頂点座標は,特徴量採取領域2420において,特徴量採取領域2420の中心点よりも陳列棚の外側方向に位置することとなる。

0106

つぎに,撮影画像情報正置化処理部242は,N回目の撮影画像情報において,N−1回目の撮影画像情報に設定した特徴量採取領域2420を内包し,N−1回目の撮影画像情報の特徴量採取領域2420以上の大きさの特徴量採取領域2421を設定する。N回目の撮影画像情報に設定する特徴量採取領域2421は,短辺の1/2の大きさは超えない。さらに,撮影画像情報よりも外側に出る場合には,その範囲をトリミングする。N回目の撮影画像情報に対して特徴量採取領域2421を設定した状態の一例を図16に示す。

0107

そして撮影画像情報正置化処理部242は,N−1回目の撮影画像情報に対して設定した各特徴量採取領域2420において,局所特徴量を採取し,局所特徴量による特徴点とその座標のセットとを記憶する。また,N回目の撮影画像情報に対して設定した各特徴量採取領域2421において,局所特徴量を採取し,局所特徴量による特徴点とその座標のセットとを記憶する。

0108

撮影画像情報正置化処理部242は,N−1回目の撮影画像情報の特徴量採取領域2420における特徴点の局所特徴量と,N−1回目の撮影画像情報の特徴量採取領域2420に対応する位置にあるN回目の撮影画像情報の特徴量採取領域2421における特徴点の局所特徴量とを比較する。そして,N−1回目の撮影画像情報の各特徴点の各局所特徴量にもっとも近い,N回目の撮影画像情報の各局所特徴量の特徴点を特定する。そしてもっとも近い局所特徴量同士の特徴点をペアとし,ペアとなる局所特徴量による特徴点の座標を対応づける。なお,この際に,局所特徴量同士の近さ(類似性)があらかじめ定められた閾値未満のペアは除外をする。これによって,N−1回目の特徴量採取領域2420における局所特徴量の特徴点と,N回目の特徴量採取領域2421におけるもっとも近い局所特徴量の特徴点同士のペアを特定できる。N−1回目の特徴量採取領域2420の局所特徴量の特徴点と,N回目の特徴量採取領域2421の局所特徴量の特徴点とのペアの関係を図17に示す。図17では,N−1回目の特徴量採取領域2420における局所特徴量による特徴点の点群をA,N回目の特徴量採取領域2421における局所特徴量による特徴点の点群をB,N−1回目の台形補正処理に用いた頂点をCで示している。

0109

N−1回目の特徴量採取領域2420における局所特徴量による特徴点の点群Aの座標と,点群Aに対応するN回目の特徴量採取領域2421における局所特徴量による特徴点の点群Bの座標とに基づいて,点群Aを点群Bに射影する関数F(透視変換ホモグラフィー)を求める。関数Fは,サンプリング推定を反復する,ロバスト推定一種であるOpenCVのRANSACを利用するなどの方法があるが,それらに限定しない。なお,射影の関係にある関係線からずれが大きいペアは処理対象から除外をする。

0110

撮影画像情報正置化処理部242において関数Fを求めたのち,撮影画像情報正置化処理部242は,N−1回目の台形補正処理で用いた頂点Cの座標を,関数Fに基づいてN回目の撮影画像情報に射影し,N回目の台形補正処理のための頂点Dの座標として特定する。これを模式的に示すのが図18である。

0111

以上の処理を各特徴量採取領域2420,2421に対して行うことで,N回目の撮影画像情報における台形補正処理のための棚位置の4頂点を特定する。そして,撮影画像情報正置化処理部242は,特定した4頂点に基づいて,N回目の撮影画像情報に対する台形補正処理を実行して正置化し,正置画像情報を生成し,記憶する。この際に,撮影画像情報正置化処理部242は,正置画像情報に対応付けて,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報と対応づけて記憶をさせる。特定したN回目の撮影画像情報に対応する頂点の座標は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報と対応づけて記憶させる。

0112

なお,撮影画像情報正置化処理部242における台形補正処理で用いる頂点の特定処理は,本発明のように陳列棚を撮影した画像情報から商品を特定する場合に限らず,同一の撮影対象物を撮影した複数の画像情報を正置化し,正置画像情報を生成する画像認識システム1にも適用することができる。これによって,同一の撮影対象物を撮影した複数の画像情報について,それぞれ正置化して,その撮影対象物の正置画像情報を生成することができる。

0113

また,N回目の撮影画像情報における台形補正処理のための棚位置の4頂点を特定するため,上述では,N−1回目の撮影画像情報における特徴量採取領域2420での局所特徴量による特徴点の点群Aと,N回目の撮影画像情報における特徴量採取領域2421での局所特徴量による特徴点の点群Bとを用いて関数Fを求め,N−1回目の台形補正処理で用いた頂点Cの座標を,関数FによりN回目の撮影画像情報に射影し,N回目の台形補正処理のための頂点Dの座標として特定する処理を説明した。しかし,かかる処理では,N−1回目の撮影画像情報と,N回目の撮影画像情報とにおいて,類似する画像情報の対応点の座標(位置)を見つければよいので,上記の方法にするものではなく,画像情報内の箇所を特定するタイプの特徴量であればいかなるものであってもよい。たとえば,画像情報内におけるった箇所,ハイライトポイントなどがある。本明細書では,局所特徴量などの,画像情報内の箇所を特定する特徴量を画像特徴量(位置特定型画像特徴量)という。なお,本明細書の説明では,画像特徴量として,上述のように局所特徴量を用いる場合を説明する。

0114

つぎに,実施例2における台形補正処理を行うための頂点の特定処理を説明する。この場合,任意の陳列棚を撮影した撮影画像情報において台形補正処理を行うための頂点がすでに特定されており,同一の陳列棚について,同一の機会に異なる角度で撮影した撮影画像情報について行う場合を説明する。

0115

店舗の陳列棚が撮影された撮影画像情報は,撮影画像情報入力端末3から入力され,管理端末2の撮影画像情報入力受付処理部241でその入力を受け付ける。図19に,撮影画像情報の一例を示す。また,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報の入力を受け付ける。そして,撮影画像情報入力受付処理部241は,入力を受け付けた撮影画像情報,撮影日時,店舗識別情報,画像情報識別情報を対応づけて撮影画像情報記憶部20に記憶させる。

0116

管理端末2において所定の操作入力を受け付けると,撮影画像情報正置化処理部242は撮影画像情報記憶部20に記憶する撮影画像情報を抽出し,台形補正処理を実行するための,棚位置の頂点D(D1乃至D4)を特定する処理を実行する。

0117

今回(N回目)の撮影画像情報(図19)に対応する同じまたはほぼ同じ領域を撮影した前回(N−1回目)の撮影画像情報(図20)の頂点座標(たとえば頂点座標C1乃至C4とする)を特定する。前回の撮影画像情報の頂点座標は,撮影日時,店舗識別情報,撮影画像情報の画像識別情報などに基づいて特定をすればよい。

0118

撮影画像情報正置化処理部242は,撮影画像情報記憶部20からN−1回目の撮影画像情報を抽出し,それぞれの頂点C1乃至C4について,頂点を一つずつ含む所定の大きさの矩形領域を特徴量採取領域2420として,N−1回目の撮影画像情報に設定する。N−1回目の撮影画像情報に特徴量採取領域2420を設定した状態を図20に示す。

0119

また,撮影画像情報正置化処理部242は,撮影画像情報記憶部20からN回目の撮影画像情報(図19)を抽出し,N−1回目の特徴量採取領域2420よりも広い範囲の特徴量採取領域2421を,N回目の撮影画像情報に設定する。N回目の撮影画像情報に特徴量採取領域2421を設定した状態を図21に示す。N回目の撮影画像情報におけるそれぞれの特徴量採取領域2421は,N−1回目の特徴量採取領域2420を一つずつ含む。図21では,N回目の特徴量採取領域2421に,N−1回目の特徴量採取領域2420を示すことで,その包含関係を示している。

0120

そして撮影画像情報正置化処理部242は,N−1回目の撮影画像情報に対して設定した各特徴量採取領域2420において局所特徴量を採取し,局所特徴量による特徴点と座標のセットとを記憶する。また,N回目の撮影画像情報に対して設定した各特徴量採取領域2421において局所特徴量を採取し,局所特徴量による特徴点と座標のセットとを記憶する。

0121

撮影画像情報正置化処理部242は,N−1回目の撮影画像情報の特徴量採取領域2420での各特徴点の各局所特徴量にもっとも近いN回目の撮影画像情報の特徴量採取領域2421での局所特徴量の特徴点を特定し,それらをペアとなる局所特徴量の特徴点として,それぞれの座標を対応付ける。図17に示すのがN−1回目のN−1回目の特徴量採取領域2420と,N回目の特徴量採取領域2421とのペアの関係である。

0122

そして,N−1回目の特徴量採取領域2420における局所特徴量による特徴点の点群をA,N回目の特徴量採取領域2421における局所特徴量による特徴点の点群をB,N−1回目の台形補正処理に用いた頂点をC(C1乃至C4)とすると,撮影画像情報正置化処理部242は,点群Aと点群Bの座標とに基づいて,点群Aを点群Bに射影する関数F(透視変換・ホモグラフィー)を求める。

0123

そして撮影画像情報正置化処理部242は,N−1回目の台形補正処理で用いた頂点C(C1乃至C4)の座標を,求めた関数Fに基づいて射影し,N回目の台形補正処理のための頂点D(D1乃至D4)の座標として特定する。

0124

以上の処理を各特徴量採取領域2420,2421に対して行うことで,N回目の台形補正処理のための4頂点D(D1乃至D4)が自動的に特定できる。特定したN回目の頂点D(D1乃至D4)の座標は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報に対応づけて記憶させる。特定された頂点D1乃至D4を示すのが図22である。

0125

以上のようにして,N回目の撮影画像情報に対する台形補正処理のための棚位置の頂点D(D1乃至D4)を特定すると,撮影画像情報正置化処理部24222は,頂点D(D1乃至D4)に基づいて,N回目の撮影画像情報に対して台形補正処理を実行する。

0126

以上のような処理を実行することで,二回目以降の台形補正処理について,台形補正処理で用いる4頂点を指定せずとも,対応する頂点を自動的に特定することができるようになり,担当者の負担を軽減することができる。

0127

さらに実施例1のフェイス特定処理部245におけるフェイスの特定処理の変形例を説明する。本実施例では,実施例1のフェイスの特定処理を初回の処理として,二回目以降のフェイスの特定処理として,自動的にフェイスを特定する処理を行うようにしてもよい。この場合の処理を説明する。

0128

なお,初回とは一回目のほか,自動的に特定する際のずれを修正するため,任意のタイミングで実施例1の処理を行う場合も含まれる。二回目以降とは初回以外である。また,二回目以降には,同一の陳列棚を同一の機会に撮影した撮影画像情報,正置画像情報について,異なる角度で撮影した撮影画像情報,正置画像情報に対する処理を行う場合も含まれる。

0129

フェイス特定処理部245は,実施例1の処理と同様の処理を初回のフェイスの特定処理として実行する。そして,フェイス特定処理部245における二回目以降のフェイスの特定処理は,同一の陳列棚の同一の棚段について,前回(N−1回目)の正置画像情報で特定したフェイスの領域の座標を抽出し,その座標を今回(N回目)の正置画像情報で特定したフェイスの領域の座標とする。

0130

フェイスの領域の座標は,棚段の位置の座標と同様に,正置画像情報における,陳列棚内での所定箇所(たとえば陳列棚の左上の頂点C1)を基準とした相対座標である。

0131

さらに実施例1の変形例として,識別情報特定処理部246における,陳列棚の棚段ごとに,フェイスに表示されている商品の商品識別情報を特定する処理として,実施例1の処理を初回の商品識別情報の特定処理とし,二回目以降の商品識別情報の特定処理として,以下のような処理を実行する。

0132

識別情報特定処理部246は,N回目の正置画像情報におけるフェイスの商品識別情報の特定処理は,まず処理対象となるフェイスのフェイス識別情報を特定する。特定したフェイス識別情報をXとする。そして,N回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と,フェイス識別情報Xに対応する位置にあるN−1回目の正置画像情報における領域の画像情報とを比較する。類似性の判定については,上述の実施例1乃至実施例3の処理のほか,各フェイスの領域の画像情報のシグネチャ(画像特徴量と重みの集合)同士のEMDを求め,類似性の尺度とすることができる。シグネチャの画像特徴量としては,たとえばフェイス領域の画像情報のHSV色空間内の頻度分布を求め,色相と彩度に関してグルーピングを行って,特徴の個数とHSV色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは,撮影条件に大きく左右されないように,明度への依存度を下げるためである。

0133

また,処理の高速化のため,シグネチャとEMDの代わりに,適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のL2距離等の類似性を用いることもできる。

0134

フェイス領域の画像情報の類似性が一定の閾値以上であれば,N−1回目の正置画像情報におけるその領域のフェイスに対応する商品識別情報の候補を識別情報候補記憶部22から抽出し,N回目の正置画像情報におけるフェイス識別情報Xの商品識別情報の候補とする。これによって,処理対象となるN回目の正置画像情報におけるフェイス識別情報Xの商品識別情報の候補を特定できる。もし類似性が一定の閾値未満であれば,初回の場合と同様に,N回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と,標本情報記憶部21に記憶する標本情報とを比較して,類似性が所定の閾値以上で,かつ,もっとも類似性が高い商品識別情報を,N回目の正置画像情報におけるフェイス識別情報Xのフェイスの商品識別情報の候補として特定をする。

0135

なお,N−1回目の正置画像情報におけるフェイスの領域の画像情報との比較において,対応するフェイスの位置との比較のみならず,所定範囲のフェイスを比較対象として含めてもよい。たとえばN回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と比較する場合,比較対象としては,N−1回目の正置画像情報におけるフェイス識別情報Xの領域のほか,その領域から所定範囲にあるフェイスの領域,たとえばその左右方向に一または複数離隔している位置にあるフェイス,上下の棚段に位置するフェイスの領域も含めてもよい。さらに,N−1回目の正置画像情報におけるフェイス識別情報Xの領域のほか,フェイス識別情報X−2,X−1,X,X+1,X+2のように,複数の隣接するフェイスの領域を含めてもよい。

0136

この場合,N回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と,N−1回目の正置画像情報における,比較対象となる範囲のフェイスの範囲の領域のそれぞれの画像情報とを比較し,もっとも類似性が高いN−1回目の正置画像情報のフェイス識別情報を特定する。なお,類似性は一定の閾値以上であることを条件としてもよい。そして特定したN−1回目の正置画像情報のフェイス識別情報に対応する商品識別情報の候補を識別情報候補記憶部22から抽出し,N回目の正置画像情報におけるフェイス識別情報Xの商品識別情報の候補とする。この処理を模式的に示すのが図23である。図23(a)は前回(N−1回目)の正置画像情報であり,図23(b)は今回(N回目)の正置画像情報である。そして,N回目の正置画像情報の棚段1の各フェイスの領域の画像情報と,N−1回目の正置画像情報の棚段1の各フェイスの領域の画像情報とをそれぞれ比較することで類似性を判定し,もっとも類似性が高いN−1回目の正置画像情報の棚段1のフェイスの商品識別情報の候補を,N回目の正置画像情報の棚段1のフェイスの商品識別情報の候補として特定をすることを示す。図23では,N回目の正置画像情報のフェイスに対応する位置にあるN−1回目の正置画像情報のフェイスに加え,その左右2つずつのフェイスとの比較を行う場合を示している。なお同一棚段のみならず,上下の棚段のフェイス位置の画像情報との比較を行ってもよい。たとえば図23の場合,N回目の正置画像情報の棚段2の中心のフェイス位置の商品識別情報の候補を特定する際に,N−1回目の正置画像情報の棚段2の中心およびその左右2つずつのフェイスの領域の画像情報と比較するのみならず,N−1回目の正置画像情報の棚段1の中心およびその左右2つずつのフェイスの領域の画像情報,N−1回目の正置画像情報の棚段3の中心およびその左右2つずつのフェイスの領域の画像情報と類似性の比較を行ってもよい。

0137

N−1回目の正置画像情報のフェイスの画像情報との比較の結果,類似性が閾値を充足しないなどによって商品識別情報の候補を特定できなかった場合には,N回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と,標本情報記憶部21に記憶する標本情報とを比較して,類似性が所定の閾値以上で,かつ,もっとも類似性が高い商品識別情報を,N回目の正置画像情報におけるフェイス識別情報Xのフェイスの商品識別情報の候補として特定をする。この場合の類似性の判定処理は,初回の商品識別情報の特定処理と同様に行える。

0138

以上のようにして特定した商品識別情報の候補は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報に対応づけて識別情報候補記憶部22に記憶する。

0139

実施例1乃至実施例4では,同一の陳列棚を同一の機会に異なる角度で撮影した画像情報のそれぞれにおいて,フェイスにおける商品識別情報の候補を特定し,対応するフェイス同士を比較することで,当該フェイスにおける商品識別情報を確定した。本実施例では,異なる角度で撮影した画像情報のそれぞれについてフェイスにおける商品識別情報の候補を特定するのではなく,異なる角度で撮影した画像情報を先に合成して光等の写り込み部分を消し込んだ上で得られた一枚の画像情報に対して,フェイスにおける商品識別情報の特定処理を実行する場合を説明する。この場合の画像認識システム1のシステム構成のブロック図の一例を図24および図25に示す。

0140

本実施例の画像認識システム1においては,撮影画像情報記憶部20と標本情報記憶部21と識別情報記憶部23と画像情報処理部24とを有する。撮影画像情報記憶部20,標本情報記憶部21,識別情報記憶部23は,実施例1乃至実施例4と同様の構成である。

0141

画像情報処理部24は,撮影画像情報入力受付処理部241と撮影画像情報正値化処理部と棚段位置特定処理部243と棚段領域切出処理部244とフェイス特定処理部245と識別情報特定処理部246と棚段画像マッチング処理部247と画像情報加工処理部248とを有する。

0142

撮影画像情報入力受付処理部241と撮影画像情報正値化処理部とは実施例1乃至実施例4と同様の処理を実行する。すなわち,撮影画像情報入力受付処理部241は,撮影画像情報入力端末3で撮影した店舗の陳列棚の画像情報(撮影画像情報)の入力を受け付け,撮影画像情報記憶部20に記憶させる。また,撮影画像情報正置化処理部242は,撮影画像情報記憶部20に記憶した撮影画像情報に対して台形補正処理を実行して正置化した,正置画像情報を生成する。

0143

画像情報加工処理部248は,撮影画像情報に基づいて正値化処理を実行した正置画像情報の一部または全部の範囲について,それぞれ一つの画像情報に合成する処理を実行する。すなわち,同一の陳列棚を同一の機会に異なる角度で撮影した各正置画像情報の一部または全部の範囲について,所定の基準単位,たとえば10ピクセルから100ピクセル程度を基準単位としてメッシュで区切る。そして,各メッシュの領域の画像情報の明度の平均値を算出する。この明度の平均値を,異なる角度で撮影した各正置画像情報で対応するメッシュごとに比較し,明度の平均値がもっとも小さい画像情報のメッシュを特定する。この処理をすべてのメッシュについて行う。特定したメッシュの領域の画像情報を一枚の画像情報(加工済正置画像情報)として縦または横方向に並べて合成すれば,光の写り込みによる影響を低減した画像情報を生成することができる。なお,メッシュ領域の画像情報については,明度の平均値に限らず,明度についてのほかの評価基準による指標値を用いて,合成するメッシュを特定すればよい。また,画像情報加工処理部248で処理対象とする画像情報は,それらの画像情報間で,シャッター速度,絞り値等の撮影条件が同一または同等となるように補正されていることが好ましい。撮影条件が相違するまたは同等に補正されていない画像情報間で上述の明度を用いた処理を実行した場合,写り込みがない部分については,明度に基づく指標値が低い(暗い)画像情報が選ばれることとなる。この場合であっても写り込み自体は除去できるが,生成する画像情報全体コントラスト,明度が低くなる,あるいは荒れが目立つなどの問題が生じやすくなり,認識精度に影響を与える可能性があるからである。

0144

フェイス特定処理部245と識別情報特定処理部246と棚段画像マッチング処理部247における各処理は,実施例1乃至実施例4と同様であるが,その処理対象は正置画像情報の棚段領域ではなく,画像情報加工処理部248で生成した加工済正置画像情報に対して行う。また,識別情報特定処理部246は,実施例1乃至実施例4ではフェイス領域における商品の商品識別情報の候補を特定し,識別情報候補記憶部22に記憶させていたが,本実施例では,フェイス領域における商品の商品識別情報を特定し,識別情報記憶部23に特定した情報を記憶させる。

0145

このように加工済正置画像情報に対して処理を実行することで,実施例1乃至実施例4のように,フェイスにおける商品識別情報の候補を特定せずとも,棚段領域の範囲の画像情報について,画像情報加工処理部248による合成処理が実行されるので,棚段領域について光の写り込みによる影響を低減することができる。そのため,精度よく,フェイスにおける商品識別情報を直接特定することができる。

0146

画像情報加工処理部248における正置画像情報に対する処理は,棚段位置特定処理部243で特定した棚段位置の領域の画像情報,棚段領域切出処理部244で切り出した棚段領域の画像情報に対して実行することが好ましいが,それに限定されず,撮影画像情報正値化処理部で生成した正置画像情報の一部または全体の範囲に対して実行してもよい。

0147

つぎに本実施例における処理プロセスの一例を図26および図27のフローチャートを用いて説明する。

0148

店舗の陳列棚の撮影担当者は,同一の陳列棚について,光等の写り込みが重ならないように,複数の角度から撮影を行う。そして店舗の陳列棚について,同一の機会に異なる角度から撮影された撮影画像情報(図8図9)は,撮影画像情報入力端末3から入力され,管理端末2の画像情報処理部24における撮影画像情報入力受付処理部241でその入力を受け付ける(S300)。また,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報の入力を受け付ける。そして,撮影画像情報入力受付処理部241は,入力を受け付けた撮影画像情報,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部20に記憶させる。

0149

管理端末2において所定の操作入力を受け付けると,撮影画像情報正置化処理部242は,撮影画像情報記憶部20に記憶する撮影画像情報を抽出し,台形補正処理を行うための頂点である棚位置(陳列棚の位置)の4点の入力を受け付け,台形補正処理を実行する(S310)。このようにして台形補正処理が実行された撮影画像情報(正置画像情報)の一例が,図10図11である。

0150

そして,正置画像情報に対して,管理端末2において所定の操作入力を受け付けることで,棚段位置特定処理部243は,棚段領域を特定する(S320)。すなわち,正置画像情報における棚段領域の入力を受け付ける。図12および図13が,棚段領域が特定された状態を示す図である。

0151

以上のようにして,棚段領域を特定すると,棚段領域切出処理部244は,S320で入力を受け付けた棚段の領域に基づいて,正置画像情報から棚段領域の画像情報を切り出す(S330)。

0152

画像情報加工処理部248は,S330で棚段領域切出処理部244が切り出した棚段領域の画像情報について,加工済正置画像情報生成処理を実行する(S340)。

0153

まず画像情報加工処理部248は,切り出した棚段領域の正置画像情報に対して,対応する棚段領域ごとに縦,横のサイズが一致または略一致するように,倍率を変更するなどしてサイズをそろえておく。そして,切り出した棚段領域の正置画像情報に対して,所定の基準単位,たとえば10ピクセルごとにメッシュで区切る(S400)。この状態を模式的に示すのが図28である。図28(a)が図12図28(b)が図13の正置画像情報の棚段領域に対してメッシュ化した状態を示している。

0154

そして画像情報加工処理部248は,各メッシュについて,メッシュの領域の画像情報ごとの明度の平均値を算出する(S410)。なお平均値としては単純平均でもよいし,加重平均などでもよく,またメッシュの領域の画像情報ごとの明度に基づく基準値であれば,平均以外の演算による値であってもよい。

0155

そして,画像情報加工処理部248は,対応するメッシュごとに,明度の平均値(基準値)を比較し(S420),比較したうち,もっとも明度の小さいメッシュの画像情報を特定する(S430)。図28であれば,図28(a),図28(b)の各正置画像情報において,それぞれの正置画像情報の棚段領域における各メッシュについて,メッシュの領域の画像情報ごとの明度の平均値を算出する。そして,メッシュA1(図28(a))とメッシュA2(図28(b))とが対応するので,メッシュA1の明度の平均値とメッシュA2の明度の平均値とを比較する。たとえばメッシュA1の明度の平均値が小さければ,メッシュA1を特定する。また,メッシュB1(図28(a))とメッシュB2(図28(b))とが対応するので,メッシュB1の明度の平均値とメッシュB2の明度の平均値とを比較する。たとえばメッシュB2の明度の平均値が小さければ,メッシュB2を特定する。このように,対応するメッシュについての明度の比較,特定処理をすべてのメッシュについて行う。

0156

そして特定したメッシュを縦,横に並べて配置することで,一つの画像情報(加工済正置画像情報)を生成する(S440)。上述の例では,メッシュA1,メッシュB2などが特定されているので,メッシュA1,メッシュB2など,S430の処理で特定したメッシュを縦,横に並べて配置することで,当該棚段領域における一つの画像情報として合成し,生成する。この処理を模式的に示すのが図29である。なお,図29では,わかりやすさのため,図28の棚段領域のうち,最上位の棚段領域に対する処理を一例として示している。

0157

以上のような処理を実行することで,棚段領域について光の写り込みを減らした画像情報を生成できる。

0158

このように加工済正置画像情報に対して,実施例1乃至実施例4と同様に,フェイス特定処理部245がフェイスの特定処理,識別情報特定処理部246がフェイス単位での商品識別情報の特定処理を実行する(S350,S360)。すなわち,フェイス特定処理部245が,加工済正置画像情報においてフェイスの領域を特定し,識別情報特定処理部246が,標本情報記憶部21に記憶する標本情報と,フェイスの領域における画像情報との画像マッチング処理による商品識別情報の特定処理を実行することで,当該フェイスの領域における商品の商品識別情報を特定する。そして,特定した商品識別情報を,実施例1乃至実施例4と同様に,識別情報記憶部23に記憶させる(S370)。

0159

なお,本実施例による処理を用いたとしても,すべてのフェイスの商品識別情報を特定できるとは限らない。そこで,特定できていないフェイスについては,商品識別情報の入力を受け付け,入力を受け付けた商品識別情報を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイス識別情報に対応づけて,商品識別情報の候補として識別情報候補記憶部22に記憶してもよい。また,特定した商品識別情報の候補の修正処理についても同様に,入力を受け付けてもよい。

0160

以上のような処理を行うことで,撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。

0161

なお本実施例においても,実施例1乃至実施例4における各処理部の変形処理を用いることができる。

0162

標本情報記憶部21に記憶する標本情報に,光や周囲の色の写り込みなどがあるとその商品の外観(たとえばパッケージや包装)の画像的特徴(画像特徴量)に影響があるので,画像マッチング処理の精度に影響を与える。そのため,標本情報として用いる画像情報には,光や周囲の色の写り込みによって,商品の本来の色が損なわれないように撮影した画像情報を用いることが好ましい。しかし,商品の外観の形状や素材などによっては,光の反射によって,写り込みが避けがたい場合がある。たとえば,金属製のの場合,反射率が高いので照明の光の反射が写真に写り込むことが避けられない。

0163

商品の標本情報を撮影するときの写り込み等の外乱を与える要素としては,商品の撮影環境と,商品の外観の形状がある。撮影環境には,照明装置などの光源に加え,商品の背景や商品を載置する面の状態などがある。また商品の外観の形状は,商品の外観を構成する面の方向によって,撮影装置や,照明装置などの光の写り込みを生じる。

0164

そこで,本実施例では,写り込みのない標本情報を得るための処理を説明する。本実施例における処理は,実施例1乃至実施例5の標本情報に対しても適用可能である。

0165

撮影環境による写り込みに対する方法としては,以下の撮影方法を適用できる。

0166

標本情報のゆがみを防止するため,撮影装置での撮影は,商品の水平方向の正対方向から行う。この場合,反射などにより商品の外観に写り込みが生じることは避けがたい場合もあることから,写り込むものが白色や灰色などの特定の色相を持たない平板なものを写り込ませる。具体的には,特定の色相を持たない白色や灰色を背景とし,標本情報とする商品の撮影をする。商品の背景としては,白色や灰色の紙,布などを用いることがよい。そして背景とした白色や灰色の紙,布などは,商品を載置する面にも折り目なく,写り込みの結果が平板になる程度まで,商品の前面にまで広げておく。これによって,撮影環境による写り込みによる影響を軽減できる。

0167

商品の外観の形状による写り込みに対する方法としては,以下の撮影方法を適用できる。

0168

標本情報の撮影対象となる商品について,商品と撮影装置との相対的な位置(たとえば撮影装置で撮影される商品の面と,撮影装置との相対的位置)を変更せずに,商品と照明などの光源との相対的位置(たとえば光源により光が照射される商品の面と,光源との相対的位置)を変更して,商品を複数回撮影する。換言すれば,商品と撮影装置との相対的位置を変更せず,撮影装置と光源との相対的位置を変更して,商品を複数回撮影する。つまり撮影した画像情報において同じ位置,同じ大きさ(サイズ),同じ角度で商品が写るようにし,照明などの光源からの光が商品に異なる角度から照射されるようにして,複数回,撮影を行い,画像認識システム1はその入力を受け付ける。図30に商品を撮影する状態を上方からみた場合の一例を示す。図30(a)は商品の左側から照明を当てて撮影する状態の一例を示す図であり,図30(b)は商品の右側から照明を当てて撮影する状態の一例を示す図である。図30では,撮影装置を挟んで左右2カ所から撮影する場合を示しているが,3カ所以上から撮影をしてもよい。図30では,光源のもっとも撮影装置寄りから出射した光によって,商品の中心軸にもっとも近い箇所に生じる写り込みの光路破線矢印で示している。この場合,入射光の角度(入射角)と反射光の角度(反射角)とは,商品の面に対する垂線対称軸として同一となる。

0169

そして,画像認識システム1は,入力を受け付けた複数の画像情報において,写り込みが生じていない部分を切り出して互いに合成することで,適切な標本情報を得る。適切な標本情報は,標本情報記憶部21に記憶される。図31にこの処理を模式的に示す。図31(a)は図30(a)の状態で撮影した画像情報であり,図31(b)は図30(b)の状態で撮影した画像情報であり,図31(c)は,図31(a),(b)の画像情報を合成した適切な標本情報である。すなわち,図30(a)は右側から光を当てて商品を撮影しているので,商品の右側に光の写り込みが発生しやすい。また,図30(b)は左側から光を当てて商品を撮影しているので,商品の左側に光の写り込みが発生しやすい。換言すれば,図31(a)では商品の左側(A)には光の写り込みがなく,図31(b)では商品の右側(B)には光の写り込みがない。そのため,図31(a)の商品の左側(A)の領域の画像情報と,図31(b)の商品の右側(B)の領域の画像情報とをそれぞれ切り出し,一つの画像情報に合成をする(図31(c))。これによって,光の写り込みがない適切な標本情報を合成することができる。

0170

なお,図30(a),(b)において,入射角と反射角の和α,βは,同一または略同一となることが好ましい。それによって,撮影した画像情報において,商品が画像情報の横方向の中心付近に写るようになっていれば,撮影した画像情報における写り込みが発生していない左半分または右半分同士をそれぞれ切り出して合成すればよいので画像の合成処理が簡単となる。入射角と反射角の和α,βは,同一または略同一の場合,画像情報の合成処理の精度を向上させることができるが,角度α,βは同一または略同一でなくてもよい。

0171

図30および図31の処理をより具体的に説明すると,以下のようになる。撮影対象となる商品の外観の形状は,一般的には,商品の水平断面図が凸状または略凸状であることから,概略,図32に示す3種類に大別できる。すなわち,箱に入った商品のように,直方体または略直方体の場合(正面が平面)(図32(a)),飲料缶のように,円柱状等であり,側面が垂直である場合(図32(b)),ワインの瓶のように,上部に球面等の曲面があるなど,側面の一部が垂直ではない場合(図32(c))である。便宜的に,図32(a)を第1ケース,図32(b)を第2ケース,図32(c)を第3ケースとする。

0172

図33は,第1のケースを撮影装置で撮影する場合を示す図である。図33(a)は商品を撮影する場合の上方からの図,図33(b)は商品を撮影する場合の側方からの図である。第1のケースの場合,撮影装置を商品に対して正対させ,商品を照らす光が一方向から来るように,照明などの光源は,たとえば1灯とする。そして,照明装置などの光源から出射した光は,商品における撮影装置に正対している面(一点鎖線で示される範囲の反射面)に反射し,撮影装置の焦点入射する。

0173

そうすると,撮影装置の焦点と商品の反射面の右辺または左辺とを結ぶ直線を,商品の反射面から撮影装置に対する垂線を対称軸として直線を想定した場合,その直線の外側(撮影装置とは反対側)の領域(領域X,領域Y)のいずれかの位置に光源を設置すれば,商品に写り込みは生じない。ここで,撮影装置の焦点と商品の反射面の右辺または左辺とを結ぶ直線と当該垂線とから構成される角度と,領域X,Yの境界線となる線と当該垂線との角度は,入射角と反射角との関係から,ともに角度aである。したがって,領域X,領域Yのいずれか一カ所から撮影をすればよい(合成はしなくてもよい)。あるいは,図33(b)のように,商品の頂部からの水平線と撮影装置から商品の頂部に対する角度bと同一の角度bである直線(水平線を対称軸とした線)よりも上方の領域を領域Zとし,その領域Zに光源を設置して撮影を行う。第1のケースの場合,図33(a)または図33(b)のように撮影をすれば,商品への光源の写り込みはなくなる。

0174

図34は,第2のケースを撮影装置で撮影する場合を示す図である。第2のケースにおいては,図34(a)のように,図33(b)の場合と同様に,商品の頂部からの水平線と撮影装置から商品の頂部に対する角度bと同一の角度bである直線(水平線を対称軸とした線)よりも上方の領域を領域Zとし,その領域Zに光源を設置して撮影を行う。そして図34(a)のように撮影できない場合,図34(b)のように撮影を行う。図34(b)は,商品を撮影する場合の上方からの図である。図34(b)では,図30と同様に,商品と撮影装置との相対的な位置(たとえば撮影装置で撮影される商品の面と,撮影装置との相対的位置)を変更せずに,商品と照明などの光源との相対的位置(たとえば光源により光が照射される商品の面と,光源との相対的位置)を変更して,商品を複数回撮影する。そして,それぞれの位置で撮影した画像情報を,それぞれ写り込みのない部分を合成して,標本画像情報とする。

0175

すなわち,照明から出射した光は,商品の反射面で反射し,それが撮影装置の焦点に入射する。そのため,商品の左側の領域(領域X)に照明を設置した場合,その照明から出射した光は商品の左側に写り込みを生じさせ,商品の右側の領域(領域Y)に照明を設置した場合,その照明から出射した光は商品の右側に写り込みを生じさせる。そのため,商品の左側に光源を位置させた場合の画像情報ではその右側を,商品の右側に光源を位置させた場合の画像情報ではその左側を,それぞれ特定し,一つの画像情報に合成して標本情報とする。

0176

図35は,第3のケースを撮影装置で撮影する場合を示す図である。図35は,図30および図34(b)と同様に,商品と撮影装置との相対的な位置(たとえば撮影装置で撮影される商品の面と,撮影装置との相対的位置)を変更せずに,商品と照明などの光源との相対的位置(たとえば光源により光が照射される商品の面と,光源との相対的位置)を変更して,商品を複数回撮影する。そして,それぞれの位置で撮影した画像情報を,それぞれ写り込みのない部分を合成して,標本画像情報とする。

0177

以上のように,商品の標本情報を撮影する場合には,その商品の外観の形状に応じて,第1のケース乃至第3のケースに対応する撮影方法を適用すればよい。しかし,一般的に商品の外観の形状はさまざまであるから,3つのケースに分類するのではなく,第3のケース(つまり上述の図30図34(b),図35と同様の撮影方法)を用いることで,汎用的に適用することができる。

0178

以上のような撮影方法により商品の標本情報を撮影することで,撮影条件および商品の外観の形状の双方による外乱を軽減した標本情報を得ることができる。

0179

実施例6の変形例として,実施例5の処理を用いてもよい。すなわち,適切な標本情報を生成するために,商品と撮影装置との相対的位置関係を変更せずに,光源の位置を変更して撮影をした複数の画像情報について,実施例5と同様の処理を実行する。具体的には,実施例5のように商品を撮影した複数の画像情報のうち,画像情報の全部または一部(商品を含む領域)をメッシュに区切り,そのメッシュにおける明度の平均値を算出する。そして対応するメッシュごとに,明度の平均値を算出して,もっとも値が小さいメッシュの画像情報を特定する。このように特定したメッシュの画像情報を縦,横に並べて配置することで,適切な標本情報とする。

0180

本実施例における処理を用いて生成した標本情報は,実施例1乃至実施例5と同様の処理を実行することで,画像情報に写っている商品の商品識別情報を特定するほか,撮影画像情報または正置画像情報と,標本情報とを単純に画像マッチング処理を実行することで,商品識別情報を特定する処理を実行する画像認識システム1のように構成してもよい。

実施例

0181

上述の実施例1乃至実施例6では,店舗などの陳列棚に陳列されている商品の商品識別情報を,陳列棚を撮影した画像情報から特定する場合を説明したが,商品の識別情報の特定処理に限らず,画像情報から特定対象物の識別情報を特定する場合にも用いることができる。すなわち,撮影対象物(たとえば特定対象物を複数配置等する物)または特定対象物(識別情報の特定対象となる物)を,同一の機会に複数の角度から撮影した画像情報と,標本情報との類似性を比較することで,画像情報に写っている特定対象物の識別情報を特定する画像認識システム1に適用することができる。その場合の具体的な処理として実施例1乃至実施例6の処理を適用することができる。この場合,陳列棚に対する処理は撮影対象物に対する処理,商品に対する処理は特定対象物に対する処理として読み替えればよい。

0182

本発明の画像認識システム1を用いることによって,光等が画像情報に写り込んでいる場合でも,従来よりも精度よく,商品などの対象物の特定が行える。

0183

1:画像認識システム
2:管理端末
3:撮影画像情報入力端末
20:撮影画像情報記憶部
21:標本情報記憶部
22:識別情報候補記憶部
23:識別情報記憶部
24:画像情報処理部
25:識別情報比較処理部
70:演算装置
71:記憶装置
72:表示装置
73:入力装置
74:通信装置
241:撮影画像情報入力受付処理部
242:撮影画像情報正置化処理部
243:棚段位置特定処理部
244:棚段領域切出処理部
245:フェイス特定処理部
246:識別情報特定処理部
247:棚段画像マッチング処理部
248:画像情報加工処理部
2420:N−1回目の画像情報における特徴量採取領域
2421:N回目の画像情報における特徴量採取領域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ