図面 (/)

技術 制御装置、光学装置、光学システム、制御方法、および、プログラム

出願人 キヤノン株式会社
発明者 江口薫里中達明島田正太
出願日 2019年7月2日 (2年3ヶ月経過) 出願番号 2019-123814
公開日 2021年1月28日 (9ヶ月経過) 公開番号 2021-010136
状態 未査定
技術分野 スタジオ装置
主要キーワード クラウドサーバー サブ番号 メインステージ 注文物品 音楽イベント mm換算 受注通知 物品データ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年1月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

光学装置を介して観察している被写体に関連する物品注文することが可能な制御装置を提供する。

解決手段

制御装置は、ユーザー光学系を介して観察している被写体に関連付けられた物品の購入意思に関する情報を取得する取得手段(140)と、取得手段が物品の購入意思に関する情報を取得した場合、前記物品の発注情報を作成する作成手段(160)と、発注情報を受注手段(220)へ送信する発注手段(150)とを有する

概要

背景

近年、通信販売の分野において、PCやスマートフォンなどのモバイル端末を用いてインターネットに接続し、通信販売サイトを経由して物品商品)を注文するシステムが普及している。特許文献1には、テレビに映った被写体に関連した商品をその場で購入するための制御装置が開示されている。特許文献2には、撮像部の位置や向きに応じてライブビューにて広告情報を表示する電子カメラが開示されている。

概要

光学装置を介して観察している被写体に関連する物品を注文することが可能な制御装置を提供する。制御装置は、ユーザー光学系を介して観察している被写体に関連付けられた物品の購入意思に関する情報を取得する取得手段(140)と、取得手段が物品の購入意思に関する情報を取得した場合、前記物品の発注情報を作成する作成手段(160)と、発注情報を受注手段(220)へ送信する発注手段(150)とを有する

目的

本発明は、光学装置を介して観察している被写体に関連する物品を注文することを可能とすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザー光学系を介して観察している被写体に関連付けられた物品購入意思に関する情報を取得する取得手段と、前記取得手段が前記物品の購入意思に関する情報を取得した場合、前記物品の発注情報を作成する作成手段と、前記発注情報を受注手段へ送信する発注手段と、を有することを特徴とする制御装置

請求項2

前記光学系を介して観察している前記被写体を認識する認識手段と、前記被写体に関連付けられた前記物品を特定する特定手段と、を更に有することを特徴とする請求項1に記載の制御装置。

請求項3

前記特定手段は、記憶手段に記憶された被写体データおよび物品データに基づいて、前記被写体に関連付けられた前記物品を特定することを特徴とする請求項2に記載の制御装置。

請求項4

前記認識手段は、前記被写体の像に対して画像処理を行うことにより、前記被写体を認識する画像処理手段を有し、前記画像処理手段は、顔、文字、および、マーカーの少なくとも一つを用いて、前記被写体を認識することを特徴とする請求項2または3に記載の光学装置

請求項5

前記認識手段は、前記ユーザーが前記光学系を介して観察している前記被写体を特定するセンサー部を有し、前記センサー部は、光学装置の姿勢を測定することを特徴とする請求項2または3に記載の光学装置。

請求項6

前記センサー部は、更に、前記光学装置の位置、時間、または、前記光学装置から前記光学系がピントを合わせている場所までの距離の少なくとも一つを測定することを特徴とする請求項5に記載の光学装置。

請求項7

前記被写体および前記物品に関する情報を表示する表示手段を更に有することを特徴とする請求項1乃至6のいずれか一項に記載の制御装置。

請求項8

前記表示手段は、電子ビューファインダーであることを特徴とする請求項7に記載の制御装置。

請求項9

光学装置の位置に基づいて、前記物品に関する情報を前記表示手段に表示するか否かを判定する制御手段を更に有することを特徴とする請求項7または8に記載の制御装置。

請求項10

前記物品に関する情報を一時的に記憶する一時記憶手段と、を更に有し、前記制御手段は、前記光学装置の位置に基づいて前記物品に関する情報を前記表示手段に表示しないと判定した場合、前記一時記憶手段に記憶された前記物品に関する情報を消去することを特徴とする請求項9に記載の制御装置。

請求項11

光学系と、請求項1乃至10のいずれか一項に記載の制御装置と、を有することを特徴とする光学装置。

請求項12

前記光学系を介して形成された前記被写体の像を光電変換する撮像素子を更に有することを特徴とする請求項11に記載の光学装置。

請求項13

前記光学系の画角は、全画角で25度以下であることを特徴とする請求項11または12に記載の光学装置。

請求項14

光学系と、請求項1乃至10のいずれか一項に記載の制御装置と、被写体データおよび物品データを記憶する記憶手段と、を有することを特徴とする光学システム

請求項15

前記記憶手段は、前記被写体データを記憶する第一の記憶手段と、前記物品データを記憶する第二の記憶手段と、を更に有することを特徴とする請求項14に記載の光学システム。

請求項16

ユーザーが光学系を介して観察している被写体に関連付けられた物品の購入意思に関する情報を取得する取得工程と、前記取得工程で前記物品の購入意思に関する情報を取得した場合、前記物品の発注情報を作成する作成工程と、前記作成工程で作成された前記発注情報を受注手段へ送信する発注工程と、を有することを特徴とする制御方法

請求項17

請求項16に記載の制御方法をコンピュータに実行させることを特徴とするプログラム

技術分野

0001

本発明は、光学装置を利用して物品注文するための制御装置に関する。

背景技術

0002

近年、通信販売の分野において、PCやスマートフォンなどのモバイル端末を用いてインターネットに接続し、通信販売サイトを経由して物品(商品)を注文するシステムが普及している。特許文献1には、テレビに映った被写体に関連した商品をその場で購入するための制御装置が開示されている。特許文献2には、撮像部の位置や向きに応じてライブビューにて広告情報を表示する電子カメラが開示されている。

先行技術

0003

特開2002−335518号公報
特開2009−130688号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1に開示された制御装置では、商品を購入するにはユーザーマウスを操作する必要があるため、イベント鑑賞または観戦を邪魔せずに商品を購入することができない。特許文献2に開示された電子カメラでは、商品を購入するための方法について開示されていない。

0005

そこで本発明は、光学装置を介して観察している被写体に関連する物品を注文することを可能とすることを目的とする。

課題を解決するための手段

0006

本発明の一側面としての制御装置は、ユーザーが光学系を介して観察している被写体に関連付けられた物品の購入意思に関する情報を取得する取得手段と、前記取得手段が前記物品の購入意思に関する情報を取得した場合、前記物品の発注情報を作成する作成手段と、前記発注情報を受注手段へ送信する発注手段を有する。

0007

本発明の他の側面としての光学装置は、光学系と前記制御装置とを有する。

0008

本発明の他の側面としての光学システムは、光学系と、前記制御装置と、被写体データおよび物品データを記憶する記憶手段とを有する。

0009

本発明の他の側面としての制御方法は、ユーザーが光学系を介して観察している被写体に関連付けられた物品の購入意思に関する情報を取得する取得工程と、前記取得工程で前記物品の購入意思に関する情報を取得した場合、前記物品の発注情報を作成する作成工程と、前記作成工程で作成された前記発注情報を受注手段へ送信する発注工程とを有する。

0010

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

0011

本発明の他の目的及び特徴は、以下の実施例において説明される。

発明の効果

0012

本発明によれば、光学装置を介して観察している被写体に関連する物品を注文することが可能となる。

図面の簡単な説明

0013

実施例1における光学システムのブロック図である。
実施例1における物品注文方法の説明図である。
実施例1における物品注文方法のフローチャートである。
実施例1の変形例における物品注文方法の説明図である。
実施例2における光学システムのブロック図である。
実施例2における物品注文方法の説明図である。
実施例2における物品注文方法のフローチャートである。
実施例2における物品注文方法の説明図である。
実施例2における物品注文方法の説明図である。
実施例3における光学システムのブロック図である。
実施例3における物品注文方法のフローチャートである。
実施例3における物品注文方法の説明図である。
実施例3における物品注文方法の説明図である。

0014

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

0015

まず、本発明の実施例1について説明する。本実施例は、スポーツ試合開催されるスタジアムにおいて、光学装置をユーザーが使用することを想定する。そしてユーザーが光学装置で観察した被写体に関連する物品について注文を行う場合を例にとり、本実施例の概略を説明する。

0016

ユーザーが特定の被写体を光学装置で観察した際に、被写体に関連した物品情報小型ディスプレイに出力される。例えば各選手に対応したタオルキーホルダーなどの物品である。ユーザーがその物品に対して購入意思を後述する方法で示した場合は、物品取引に関する発注情報が販売者へ即時に送信される。そして注文した物品が自分の席に配達される。

0017

以下、本実施例の光学システムの構成と処理の流れについて詳述する。

0018

まず、図1を参照して、本実施例における光学システムの構成について説明する。図1は、光学システム10のブロック図である。光学システム10は、大きく分けて、ユーザー側の構成要素と販売者側の構成要素とに分かれる。

0019

まずユーザー側の構成要素を説明する。ユーザー側は主に、光学装置100で構成される。光学装置100は、光学系111と撮像素子112とを有する光学部110を備える。光学部110は、光学系111を介して形成された被写体の像を撮像素子112で光電変換画像情報に変換する。光学装置100は、画像情報を表示するための表示部(表示手段)130を有する。表示部130は、表示手段として液晶モニタ電子ビューファインダー(Electronic View Finder:EVF)などの小型のディスプレイを有する。表示手段がEVFである場合、観察する際にユーザーは没入でき、より被写体観察に集中できるため好ましい。

0020

光学系111は、全画角(対角全画角)で25度以下の画角(35mm換算で100mm相当)を有する望遠光学系であることが好ましい。より好ましくは、光学系111は、対角全画角で10度以下の画角を有する望遠光学系であることが好ましい。これにより、観察対象を容易に限定することが可能となる。逆に、光学系111が広角光学系の場合、広い範囲に存在するものが映り、どの被写体の物品情報を表示すればよいかを判定することが難しくなるため、好ましくない。

0021

光学装置100は、ユーザーの個人情報記録保持可能な記憶部180を有する。ここで「個人情報」とは、物品を購入可能にするために必要な情報であり、氏名やクレジットカードの情報などである。また、イベント会場におけるユーザーの位置情報も個人情報に含まれる。例えばユーザーの席が予め指定されている場合、席番号も個人情報に含まれる。また、座席が決まっていない場合でも、会場に設置されたビーコンやGPS(Global Positioning System)などに代表される位置情報取得装置により取得されたユーザーの位置情報を個人情報に含めてもよい。その場合、ユーザーが位置情報取得装置に対応した機器携帯している必要があり、光学装置100にその機能を含めてもよい。なお、これらの個人情報を、スポーツ観戦チケットの購入時に入力された個人情報と紐付けられるようにしても構わない。

0022

また光学装置100は、後述する物品情報(物品に関する情報)を一時的に保持するための一時記憶部(一時記憶手段)170、および、後述する外部サーバーとの通信が可能な通信部(発注手段)190を有する。また光学装置100は、通信部190を介して外部から得られた物品情報を任意のタイミングで表示部130に表示するための制御部(制御手段)150を有する。また光学装置100は、ユーザーの操作に基づいてユーザーの購入意思を判定するための意思伝達部140を有する。意思伝達部140は、購入意思に関する情報を取得する取得手段である。意思伝達部140は、ユーザーが操作可能な意思伝達手段(不図示)を有する。意思伝達手段は、ボタンダイヤルなどの操作部材、またはタッチパネル視線検知装置のようにユーザーの意思を伝達可能な装置である。

0023

また光学装置100は、ユーザーが光学系111を介して観察している被写体を認識または特定するための被写体認識部(認識手段)120を有する。本実施例では、被写体を認識するため、被写体認識部120は画像処理部121を有する。画像処理部121は、撮影映像に対して画像処理により顔認識物体認識を行って被写体を認識する画像処理手段を有する。また光学装置100は、ユーザーの購入意思に応じて、個人情報と後述する物品情報とに基づいて物品の発注情報を作成する発注情報作成部(作成手段)160を有する。発注情報作成部160により作成された発注情報は、通信部190を介して販売者側へ送信することができる。

0024

次に、販売者側の構成要素を説明する。販売者側には主に、サーバー端末230とにより構成される。サーバーは、販売する物品に関する物品情報(物品データ)を保持するための物品情報保持部(第一の記憶手段)200を有する。「物品情報」とは、物品の名称、物品の画像、物品に対する説明文、または価格情報などである。またサーバーは、被写体情報(被写体データ)を保持するための被写体情報保持部(第二の記憶手段)210を有する。「被写体情報」とは、ユーザーが特定の被写体を光学装置100で観察した際に、被写体に関連した物品情報を小型ディスプレイに出力させるために必要な情報である。被写体を顔で認識する場合、被写体の顔情報が被写体情報となる。被写体が着ているユニフォームについている背番号文字)で認識する場合、背番号情報文字情報)が被写体情報となる。特定のマーカーで被写体を認識する場合、マーカーに含まれる情報が被写体情報となる。

0025

本実施例における物品情報保持部200および被写体情報保持部210は、インターネット上に存在するクラウドサーバーである。物品情報保持部200に格納されるデータと被写体情報保持部210に格納されるデータのそれぞれには、被写体情報と物品情報とを紐付けるための情報も含まれる。具体的な例を図2に示す。

0026

図2は光学システム10を用いた物品注文方法の説明図であり、図2(a)は被写体情報保持部210の格納データ、図2(b)は物品情報保持部200の格納データをそれぞれ示す。図2(a)中の「被写体情報」には、被写体A、被写体B、および、被写体Cのそれぞれの認識に必要な被写体情報(被写体Aの顔の情報や被写体Bの背番号の情報など)が含まれる。図2(b)中の「物品情報」には、前述したように販売を行う物品の情報(タオルやキーホルダーなどの名称や価格など)の情報が含まれる。物品情報と被写体情報とを紐付けるための情報として、物品情報保持部200および被写体情報保持部210はそれぞれ、「物品情報番号」を保持している。これにより、物品情報保持部200および被写体情報保持部210が有する同じ物品情報番号同士が紐付けられる。このため、光学装置100で観察している被写体が被写体Aであると認識された場合、物品情報番号001である物品情報(この例ではタオル1とタオル2の情報)を光学装置100が取得する。また、物品情報番号001のように複数の物品情報(タオル1とタオル2)が含まれる場合、図2(b)に示されるように「物品情報サブ番号」を付与することにより、一つの被写体に複数の物品情報を持つことができる。

0027

またサーバーは、販売者の受注状況を制御するための受注部(受注手段)220を有する。本実施例において、受注部220は、インターネット上に存在するクラウドサーバーである。なお本実施例では、説明を容易にするため、物品情報保持部200、被写体情報保持部210、および、受注部220をそれぞれ独立のクラウドサーバーとして説明したが、これに限定されるものではない。例えば、一つのサーバーが物品情報保持部200、被写体情報保持部210、および、受注部220の機能を兼ね備えても構わない。また販売者は、ユーザーからの注文を実際に受け取るための端末230を有する。例えば端末230は、受注部220から受注情報を受信し、何の物品をどこへ移動または配達すればよいか指示を受けることができる。以上が、本実施例における光学システムの構成の説明である。

0028

次に、図3を参照して、本実施例の光学システム10の動作(物品注文方法)について説明する。図3は、物品注文方法のフローチャートである。図3の各ステップは、主に、制御部150により、または制御部150の指令などに基づいて光学システム10の各部により実行される。

0029

まず、事前準備として以下の3つのことを行う。
(1)ユーザーは、自分の使用する光学装置100内に自分の個人情報を記録する。個人情報の内容については前述した通りである。
(2)販売者は、販売する物品の物品情報を物品情報保持部200に登録する。
(3)販売者は、被写体情報を被写体情報保持部210に登録する。

0030

前述の事前準備が完了した後、ステップS101において、ユーザーは、光学装置100をスタジアム内のネットワークに接続する。接続方法は、無線接続でも有線接続でも構わない。続いてステップS102において、物品情報および被写体情報を物品情報保持部200および被写体情報保持部210から光学装置100にダウンロードする。物品情報や被写体情報が複数存在する場合、一括してダウンロードしても良く、または、時間を要するようであれば分割してダウンロードしても良い。また被写体情報に含まれる選手が出場する時間が決まっている場合、その時間のタイミングに合わせてダウンロードが実行されるようにしても良い。

0031

続いてステップS103において、ユーザーが光学装置100で特定の被写体を観察する。続いてステップS104において、光学装置100の制御部150は、被写体情報の中にユーザーが観察している被写体(観察被写体)が含まれているか否かを確認する。被写体情報の中に観察被写体に関する被写体情報が存在しない場合、ステップS103に戻る。一方、被写体情報の中に観察被写体に関する被写体情報が存在する場合、ステップS105に進む。ステップS105において、光学装置100は、被写体情報に基づいて被写体を認識する。続いてステップS106において、制御部150は、被写体認識結果と、被写体情報と物品情報とを紐付けるための情報(物品情報番号)とに基づいて、該当する物品情報を検索し特定する。

0032

続いてステップS107において、制御部150は、表示部130である小型ディスプレイに、ステップS106にて特定した物品情報を表示する。表示方法は、観察している映像に重ねて表示しても構わないし、画面の横や下に帯状スペースを用意して表示しても構わない。このように本実施例において、表示部130は、被写体および物品に関する情報を同時に表示することができる。ここで制御部150は、光学装置100の位置に基づいて物品情報を表示部130に表示するか否かを判定することができる。例えば光学装置100の位置がスタジアム外である場合、制御部150は、物品情報を表示部130に表示しないなどの判定を行う。これにより、スタジアム以外での場所からでは物品情報を表示することができなくなるため、不正な購入操作などを防ぐことができ好ましい。また好ましくは、制御部150が光学装置100の位置に基づいて物品情報を表示部130に表示しないと判定した場合、次の動作を行う構成とすることが好ましい。具体的には、制御部150が一時記憶部170に格納した被写体情報や物品情報を自動的に消去する構成とすることが好ましい。これにより、一時記憶部170を効率的に利用することができる。また、不正アクセスによりスタジアム外からの購入操作を防ぐことができるため好ましい。

0033

続いてステップS108において、意思伝達部140は、意思伝達手段におけるユーザー操作結果に基づいて、ユーザーの購入意思の有無を判定する。ユーザーの購入意思があると判定した場合、ステップS109に進む。ステップS109において、発注情報作成部160は、ユーザーが購入意思を示した物品情報と個人情報とに基づいて、発注情報を作成する。続いてステップS110において、制御部150は、ステップS109にて作成された発注情報を販売者側の受注部220へ送信する。

0034

続いてステップS111において、受注部220はステップS110にて送信された発注情報を受信し、発注情報のうち会場の販売員が必要な情報を端末230へ送信する。ただし、ステップS111は販売員が発注情報にアクセスできればよいため、その手段は限定されるものではない。受注通知として、受注したという事実を端末230へ通知し、通知を受け取った販売員が端末230を介して受注部220上の発注情報にアクセスする方法でも構わない。発注情報には、物品をどこで受け渡すかという情報が含まれていても構わない。座席情報などのユーザーの位置情報が発注情報に含まれている場合、即時配達も可能である。

0035

続いてステップS112において、発注情報にアクセスした販売員が実際にアクションに移す。販売員は、発注情報に基づいて、発注された物品の在庫支払いの有無、および、受け渡し方法を確認する。発注情報にユーザーの位置情報が含まれている。このため、ユーザーの席への配達希望の場合、販売員もしくは代理人がユーザーの席へ配達を行う。支払い済みであればその場で受け渡して終了となり、未払いであればその場で会計となる。そのとき本人確認として個人情報の照合を行っても良い。または、光学装置100に固有シリアルナンバーバーコードなど付けておき、発注時に使用された光学装置100であることを確認するだけでも良い。また配達ではなく、ユーザーの任意のタイミングで店舗を訪れて受け取る、もしくは受け取り専用のロッカーで受け取れるようにしても良い。ここまでが発注から受け渡しまでのステップである。

0036

一方、ステップS108にてユーザーの購入意思が無い場合、ステップS120に進む。ここで「購入意思が無い」とは、例えば意思伝達手段において購入意思を示すユーザー操作が一定時間行われなかった場合である。具体的には、物品情報が表示されているにもかかわらず購入決定ボタンを押さないでいる状態がそれに相当する。その被写体に対応する物品情報が複数ある場合、一定時間経過後に他の物品情報に表示を切り替える。この場合、物品情報の表示内容を切り替えるためにステップS107へ戻る。一方、その被写体に対応する物品情報が1つしかない場合、ステップS121に進む。ステップS121において、光学装置100は、現状の物品情報の表示を保持する、または一定時間後に表示を消去しても良い。なお、ここでは一定時間によって物品情報の切り換えを行ったが、ユーザーの操作により物品情報の表示内容を他の物品情報の内容へ表示を切り替え可能な構成にしても良い。

0037

本実施例の変形例として、次に述べるような場面でも使用可能である。例えば、スタジアムでのスポーツ観戦中における飲食物の注文にも使用することができる。スタジアムで販売員がビールなどの飲食物を販売して周っている状況で、被写体情報と物品情報を図4に示されるような構成にする。図4は、本変形例における物品注文方法の説明図であり、図4(a)は被写体情報保持部210の格納データ、図4(b)は物品情報保持部200の格納データをそれぞれ示す。

0038

図4(a)中の被写体A〜被写体Dは販売員であり、被写体Aの販売員はビール、被写体Bの販売員はハイボールというようにそれぞれの販売員は異なる物品を販売している。この例ではそれぞれの販売員が一つの物品を販売している例であるため、物品情報サブ番号は不要となる。このときの物品注文のフローは、図3と同様である。簡易的に具体例を織り交ぜて流れを説明すると、次のようになる。

0039

ユーザーがビールを注文したい場合、被写体Aの販売員を光学装置100で観察する。被写体認識部120は、顔認識などで被写体が被写体Aであることを認識する。続いて光学装置100は、通信部190を介して、被写体情報保持部210および物品情報保持部200へアクセスし、物品情報番号に基づいて検索して物品情報(ビール)を表示部130に表示させる。これにより、ユーザーにビールが販売されていることを知らせることができる。

0040

次に、ユーザーが購入意思を持っていれば、ユーザーは意思伝達部140の意思伝達手段にて購入意思を光学装置100へ伝える。これにより光学装置100は、発注情報作成部160にてユーザーの位置(もしくは光学装置100の位置)やビールの注文個数などの発注情報を作成し、通信部190を介して受注部220へ発注情報を送信する。販売員は端末230を携帯しており、受注部220から受注通知が端末230へ送信される。販売員が受注通知を確認し、ユーザーのもとにビールを配達する。支払いは配達時でも構わないし、購入意思を意思伝達手段にて光学装置100へ伝える時にクレジットカードなどで支払いも事前に済ませることができるようにしても良い。また好ましくは、販売員を光学装置100で観察した場合、注文物品配達までの予想時間や待ち人数などの情報も表示される。これにより、ユーザーは待ち時間を考慮して飲食物を注文できるため好ましい。

0041

本実施例によれば、イベントの鑑賞または観戦を邪魔せずに、ユーザーが光学装置を介して観察している被写体に対応する物品について素早く注文することが可能となる。

0042

次に、本発明の実施例2について説明する。本実施例では、アーティストライブなどが開催される音楽イベントの会場にて、光学装置100aをユーザーが使用することを想定する。

0043

まず、図5を参照して、本実施例における光学システム10aの構成について説明する。図1は、光学システム10aのブロック図である。本実施例の光学装置100aは、光学部110、被写体認識部120、および、表示部130に代えて、光学部110a、被写体認識部120a、および、表示部130aを有する点で、実施例1の光学装置100と異なる。

0044

具体的には、光学部110aは、撮像素子112を有さず、任意の距離の被写体にフォーカシングピント位置調整)が可能な光学系111のみから構成されている。表示部130aは、光学系111により形成された光学像を観察するためのファインダーを有する。図6は、物品注文方法の説明図であり、ファインダーの表示領域を示している。図6に示されるように、ファインダーは、光学像表示領域601と物品情報表示領域602とを有する。光学像表示領域601は、例えば擦りガラスガラス板一眼レフカメラにあるようないわゆるピント板)を有し、光学系111が形成する光学像を写す領域である。物品情報表示領域602は、液晶ディスプレイ有機ELディスプレイを有し、実施例1で説明したような物品情報を表示可能な領域である。

0045

被写体認識部(認識手段)120aは、ユーザーが光学系111を介して観察している被写体を特定するセンサー部122を有する。センサー部122は、光学装置100aの位置、姿勢、時間、光学装置100aから光学系111がピントを合わせている場所までの距離を測定するための測定手段を有する。具体的には、センサー部122は、GPS、ジャイロセンサ時計、および、光学系111のピント位置情報取得手段を有する。GPSで光学装置100aの位置を測定し、ジャイロセンサで光学装置100aの姿勢を測定する。また、光学系111のピント位置情報を用いて、ユーザーがどの辺りに注目して見ているかを測定する。

0046

それらの情報を組み合わせることで、被写体認識部120aは、ユーザーが被写体空間上のどの辺りを観察しているかを算出する。また時計からの時間情報取り入れることで、観察のタイミングを把握することができる。ここで、光学系111のピント位置情報取得手段とは、例えば光学部110に有する光学系111のフォーカシング用のレンズ相対位置情報に基づいて、実際に光学装置100からどのくらいの距離のところにピントを合わせているかを算出する手段である。またGPSに加えて、BLE(Bluetooth(登録商標)Low Energy)を応用したビーコンなどを有していても良い。これにより、屋内でもある程度精度が高い状態で光学装置100aの位置(すなわち、ユーザーの位置)を検出することができる。このような構成により、ユーザーがいつどこを観察しているかがわかる。しかし、ユーザーがいつどこを観察しているかはわかるが、このままでは被写体を直接認識することはできない。そこで、販売者側の構成要素である被写体情報保持部210に有する「被写体情報」に、被写体が存在する予定の時間と位置の情報を付与しておく。そして、その被写体情報に合致した位置を合致した時間にユーザーが光学装置100aで観察している場合には物品情報表示領域602に物品情報を表示する。

0047

次に、本実施例の光学システム10aの動作について説明する。まず、実施例1と同様に、事前準備として以下の3つのことを行う。
(1)ユーザーは、自分の使用する光学装置100a内に自分の個人情報を記録する。個人情報の内容については前述した通りである。
(2)販売者は、販売する物品の物品情報を物品情報保持部200に登録する。
(3)販売者は、被写体情報を被写体情報保持部210に登録する。

0048

このとき実施例1とは異なる点は、被写体情報保持部210に格納されるデータの中には、被写体情報の中に被写体名称各被写体の位置情報と時間情報とが含まれる点である。被写体名称とは、複数の被写体を区別するための名称であり、任意に付けることができる。位置情報とは、例えばGPS情報であり、緯度経度を度分秒で表す。

0049

図9は、光学システム10aを用いた物品注文方法の説明図であり、図9(a)は被写体情報保持部210の格納データ、図9(b)は物品情報保持部200の格納データをそれぞれ示す。図9(a)の被写体Aの例では、「12°34′56.7″N」や「12°34′56.7″E」がGPS情報に相当し、北緯12度34分56.7秒、東経12度34分56.7秒の意味である(最後のアルファベットE・W・S・Nは東・西を示す)。室内の会場で使用するために、GPSではなくビーコンを用いる場合、各ビーコン間の相対位置情報や各ビーコンと光学装置100aとの相対位置情報を入れておけば良い。

0050

図8は、光学システム10aを用いた物品注文方法の説明図である。例えば図8に示されるような位置関係の場合、被写体Aの位置は、ビーコン001から4mかつビーコン007から8mの位置で半径1mの円形の範囲を表す。また、被写体情報保持部210に格納されるデータの中には、各被写体における時間情報が含まれる。図9(a)の被写体Aを例にとると、「AM10:00 15秒」から「AM10:30 00秒」までの間にユーザーがメインステージ中央を観察すると、被写体Aの物品情報番号に対応する物品情報が表示部130に表示される。

0051

次に、図7を参照して、本実施例の光学システム10aの動作(物品注文方法)について説明する。図7は、物品注文方法のフローチャートである。図7の各ステップは、主に、制御部150により、または制御部150の指令などに基づいて光学システム10aの各部により実行される。

0052

まずステップS201において、ユーザーは、光学装置100aを会場内のネットワークに接続する。なお接続方法は、無線接続でも有線接続でも構わない。続いてステップS202において、光学装置100aの制御部150は、物品情報および被写体情報を物品情報保持部200および被写体情報保持部210からダウンロードする。物品情報や被写体情報が複数存在する場合、一括してダウンロードしても良いし、時間を要するようであれば分割してダウンロードしても良い。

0053

続いてステップS203において、ユーザーがある時間に光学装置100aで特定の被写体空間(実際に特定の被写体が存在していなくても構わない)を観察する。続いてステップS204において、光学装置100aは、被写体認識部120aのセンサー部122を用いて、ユーザーの位置やユーザーが見ている方向・位置・光学装置100からピントを合わせている位置までの距離を測定する。ユーザーの位置については、GPSを使用する場合はGPSが示す緯度経度の情報である。ビーコンを使用する場合、従来の技術にあるように位置が既知である2つ以上のビーコンと光学装置100aとの間で電波強度に基づいて三角測量にて測定可能である。そしてセンサー部122によって、光学装置100aの位置や光学装置100aの姿勢(ユーザーが見ている方向)、および、光学装置100aからピントを合わせている位置までの距離を測定する。

0054

続いてステップS205において、光学装置100aは、ステップS204にて測定した位置と時間とが被写体情報に含まれているか否かを確認する。位置および時間が被写体情報に含まれていない場合、ステップS204に戻る。一方、位置および時間が被写体情報に含まれている場合、ステップS206へ進む。ステップS206において、光学装置100aは、被写体情報に基づいて被写体を認識する。続いてステップS207において、光学装置100aは、被写体認識結果と、被写体情報と物品情報とを紐付けるための情報(物品情報番号)とに基づいて、該当する物品情報を検索し特定する。続いてステップS208において、図6に示される表示部130の物品情報表示領域602にステップS207にて特定した物品情報を表示する。なお本実施例において、以降のステップS209〜S213、S220、S221は、実施例1のステップS108〜112、S120、S221とそれぞれ同様であるため、それらの説明は省略する。

0055

本実施例によれば、イベントの鑑賞または観戦を邪魔せずに、ユーザーが光学装置を介して観察している被写体に対応する物品について素早く注文することが可能となる。

0056

次に、本発明の実施例3について説明する。本実施例では、スポーツの試合やアーティストのライブなどが開催されるイベント会場にて使用可能であり、実施例1や実施例2で説明した場面で使用することを想定している。

0057

まず、図10を参照して、本実施例における光学システム10bの構成について説明する。図10は、光学システム10bのブロック図である。本実施例の光学システム10bは、光学装置100bと受注部220との間にスマートフォンに代表されるような通信装置300が入ること、および、被写体情報保持部を兼ねた物品情報保持部200を有する点で、実施例1や実施例2と異なる。なお、本実施例の光学システム10bの構成は、実施例1と同様に、大きく分けてユーザー側の構成要素と販売者側の構成要素とに分かれる。

0058

まず、ユーザー側の構成要素を説明する。ユーザー側は、主に光学装置100bと通信装置300とから構成される。光学装置100bの構成は、以下の3つの点で、実施例1の光学装置100と異なる。
(1)発注情報作成部160を、後述する通信装置300に持たせているため、光学装置100b内では記述していない。また、通信装置300内にある発注情報作成部160は、ハードウエアとして有している必要はなく、ソフトウエアアプリケーションの一部)として有していても構わない。
(2)個人情報は通信装置300の記憶部に記憶されるため、光学装置100bの記憶部180に個人情報を記録する必要はない。記憶部180は、撮像した画像や映像を記憶するために用いても良い。
(3)被写体認識部120を外部のクラウドサーバーに移している。例えば、深層学習を利用した複雑な被写体認識も光学装置100bの本体に負荷掛けずに行えるようにしている。光学装置100bの画像処理部121は、撮像した画像情報をユーザーが表示部130で見やすいように明るさやコントラストなどを調整する役割を担う。

0059

次に、本実施例における通信装置300について説明する。通信装置300は、例えばスマートフォンのような携帯可能な通信装置である。通信装置300は、外部機器と通信するための通信部(発注手段)330、および、物品注文に際して必要な個人情報などを記憶するための記憶部310を有する。また通信装置300は、ユーザーの物品購入意思を確認するための意思確認部141を有する。意思確認部141は、物品の購入意思に関する情報を取得する取得手段である。意思確認部141は、ユーザーが操作可能な意思確認伝達手段(不図示)を有する。意思確認伝達手段は、例えばボタンやダイヤルなどの操作部材、またはタッチパネルなどのようにユーザーの意思確認の有無を伝達可能な装置である。また通信装置300は、ユーザーの物品購入意思確認結果に基づいて、発注情報を作成する発注情報作成部160を有する。また通信装置300は、これらを制御する制御部320を有する。通信装置300は、光学装置100bや後述する受注部220とは有線または無線のネットワークで接続可能である。以上が、ユーザー側の構成要素である。

0060

次に、販売者側の構成要素を説明する。実施例1の光学システム10は、物品情報保持部200および被写体情報保持部210を有するが、本実施例では物品情報保持部200に被写体情報を保持する構成としているため、独立した被写体情報保持部を必要としない。また本実施例では、物品情報と被写体情報とを一括で管理するため、一つのクラウドサーバーに保持する総データ量は多くなるが、被写体情報と物品情報とを紐付けるための情報が不要となるというメリットがある。

0061

図12は、光学システム10bを用いた物品注文方法の説明図であり、物品情報保持部200の格納データを示す。実施例1と同様に、「物品情報」には物品の名称、物品の画像、物品に対する説明文、そして価格情報なども含まれる。また「被写体情報」には、ユーザーが特定の被写体を光学装置で観察した際に被写体に関連した物品情報を小型ディスプレイに出力させるために必要な情報が含まれる。被写体を「顔」で認識する場合、被写体の顔情報が被写体情報となる。被写体が着ているユニフォームについている背番号で認識する場合、背番号情報が被写体情報となる。特定のマーカーで被写体を認識する場合、マーカーに含まれる情報が被写体情報となる。なお、受注部220や端末230などの他の構成は、実施例1と同様であるため、それらの説明は省略する。

0062

次に、本実施例の光学システム10bの動作について説明する。まず、事前準備として以下の2つのことを行う。
(1)ユーザーは、自分の使用する通信装置300内に自分の個人情報を記録する。または、外部のインターネットサーバー上に個人情報を保持している場合、そこにアクセスするための情報を記録しても良い。なお、個人情報の内容については、実施例1にて説明した通りである。
(2)販売者は、販売する物品の物品情報と被写体情報とを物品情報保持部200に登録する。

0063

次に、図11を参照して、本実施例の光学システム10bの動作(物品注文方法)について説明する。図11は、物品注文方法のフローチャートである。図11の各ステップは、主に、制御部150もしくは制御部320により、または制御部150もしくは制御部320の指令などに基づいて光学システム10bの各部により実行される。

0064

まずステップS301において、ユーザーは、通信装置300を会場内のネットワークに接続する。なお接続方法は、無線接続でも有線接続でも構わない。続いてステップS302において、ユーザーは、光学装置100bと通信装置300とを通信可能な状態にする。これについても、接続方法は無線接続でも有線接続でも構わない。なおステップS301とステップS302はこの順序に限定されず、順番が逆であっても良い。

0065

続いてステップS303において、ユーザーが光学装置100bで特定の被写体を観察する。続いてステップS304において、光学装置100bは、撮影映像または撮影画像を光学装置100bの通信部190を介して被写体認識部120へ転送する。本実施例において、被写体認識部120は外部のクラウドサーバーであり、図10には通信装置300と直接通信しているように記載されているが、光学装置100bと直接通信しても構わない。

0066

続いてステップS305において、被写体認識部120は、被写体情報の中に観察している被写体(観察被写体)が含まれているか否かを確認する。被写体情報の中に観察被写体についての被写体情報が存在しない場合、ステップS304に戻る。一方、被写体情報の中に観察被写体についての被写体情報が含まれている場合、ステップS306に進む。ステップS306において、光学装置100bは、転送された撮影映像または撮影画像と被写体情報とに基づいて、被写体を認識する。このとき、既存の汎用的なデータベースを用いても良いし、任意のイベントの被写体などに特化したデータベースを用いても良い。

0067

続いてステップS307において、光学装置100bは、被写体認識結果に基づいて、該当する物品情報を検索し特定する。本実施例では、被写体情報と物品情報とが一つのサーバー上に格納されているため、実施例1や実施例2で説明したようなサーバー間で通信するときに使用する「物品情報番号」は不要である。それに代えて、図12に示されるように例えば「被写体A」と「タオル1、タオル2」とが紐付いていることを示す一覧表のデータが「被写体情報と物品情報とを紐付けるための情報」となる。なお、この例ではわかりやすく一覧表にして示しているが、被写体情報と物品情報とが紐付けられれば良く、この表示方法に限定されるものではない。被写体Aの例のように物品情報が複数ある場合(タオル1とタオル2)、「物品情報サブ番号」を付与することで、実施例1や実施例2と同様に、一つの被写体に複数の物品情報を持つことができるようにしている。このとき光学装置100bは、被写体認識結果を通信装置300や光学装置100に送信し、更に被写体について分析を行っても良いし、被写体認識部120が直接物品情報保持部200にアクセスして物品情報を特定しても良い。

0068

続いてステップS308において、光学装置100bの制御部150は、表示部130である小型ディスプレイにステップS307にて特定した物品情報を表示する。表示方法は、観察している映像に重ねて表示しても構わないし、画面の横や下に帯状のスペースを用意して表示しても構わない。続いてステップS309において、意思伝達部140が有する意思伝達手段におけるユーザー操作結果に基づいて、意思伝達部140は、ユーザーの購入意思の有無を判定する。購入意思があると判定した場合、ステップS310に進む。ステップS310において、通信装置300の意思確認部141は、通信装置300におけるユーザーの操作に基づいて、ユーザーの購入意思を確認する。例えば表示部130に特定の物品情報が表示されている間にユーザーが光学装置100b内の特定のボタン(不図示)操作を行う。このとき、図13に示されるように、通信装置300(例えばスマートフォン)に購入意思の確認をユーザーに行わせるような表示を行って、ユーザーの購入意思の確認を行う。図13は、物品注文方法の説明図であり、購入意思確認の際の通信装置300の表示を示す。なお、ボタン操作は例であり、ボタン操作以外の手段を使用しても構わない。またボタン操作などの操作をユーザーにさせずに、光学装置100bの表示部130に物品情報が表示されるごとに自動的に通信装置300の画面に図13のような表示をし、ユーザーの意思確認をその都度行っても良い。その場合、ステップ309の購入意思判定は常にYESとなり、ステップS310の購入意思確認のみになる。

0069

ステップS310にて意思確認部141がユーザーに購入意思があると確認した場合、ステップS311に進む。ステップS311において、通信装置300の発注情報作成部160は、ユーザーが購入意思を示した物品情報と個人情報とに基づいて、発注情報を作成する。続いてステップS312において、通信装置300は、通信部330を介して、ステップS311にて作成した発注情報を販売者側の受注部220へ送信する。続いてステップS313において、受注部220は、ステップS312にて送信された発注情報を受信し、発注情報のうち会場の販売員が必要な情報について会場の販売店の端末230または販売員が携帯する端末230へ送信する。ただし、ステップS313は販売員が発注情報にアクセスできればよいため、その手段は限定されるものではない。受注したという事実を受注通知として端末230へ通知し、通知を受け取った販売員が端末230を介して受注部220上の発注情報にアクセスする方法でも構わない。発注情報には、物品をどこで受け渡すかという情報が含まれていても構わない。光学装置100bの位置情報が発注情報に含まれていた場合、即時配達も可能である。

0070

続いてステップS314において、発注情報にアクセスした販売員は、実際にアクションに移す。これ以降は実施例1と同様であるため、その説明は省略する。また、ステップS309にて購入意思が無いと判定された場合、またはステップ310にてユーザーの購入意思が確認できない場合、ステップS320に進む。なお、ステップS321、S322は実施例1と同様であるため、その説明は省略する。

0071

本実施例によれば、光学装置100bを利用して物品を注文するための制御方法に関し、ユーザーが光学装置100bを介して観察している被写体に対応する物品について素早く注文することが可能となる。

0072

また本実施例の変形例として、実施例1〜3にて説明した物品注文方法は、ユーザーが特定の会場内にいる場合のみ有効になることが好ましい。これにより、不必要な被写体情報のダウンロードなどを防ぐことができるため、不意に通信量が増大することを防ぐことができる。また、他の変形例として、ユーザーが特定の物品を購入しようか迷っている場合、後で購入操作ができるような意思伝達手段を意思伝達部140に設けても良い。例えば、「購入する」「購入しない」というボタンとは別に「あとで買う」ボタンを付加するなどである。

0073

(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0074

各実施例において、制御装置(光学装置100、100a、100b)は、取得手段(意思伝達部140、意思確認部141)、作成手段(発注情報作成部160)、および、発注手段(通信部190、330)を有する。取得手段は、ユーザーが光学系111を介して観察している被写体に関連付けられた物品の購入意思に関する情報を取得する(または、ユーザーによる購入意思があるか否かを判定する)。作成手段は、物品の購入意思に関する情報を取得した場合、物品の発注情報を作成する。発注手段は、発注情報を受注手段(受注部220)へ送信する。

0075

好ましくは、制御装置は、認識手段(被写体認識部120、120a)および特定手段(制御部150)を有する。認識手段は、光学系を介して観察している被写体を認識する。特定手段は、被写体に関連付けられた物品を特定する。好ましくは、特定手段は、記憶手段(物品情報保持部200、被写体情報保持部210)に記憶された被写体データ(図4(a)、図9(a)、図12)および物品データ(図4(b)、図9(b)、図12)に基づいて、被写体に関連付けられた物品を特定する。各実施例によれば、イベントの鑑賞または観戦を邪魔せずに、ユーザーが光学装置を介して観察している被写体に関連する物品を注文することが可能な制御装置、光学装置、光学システム、制御方法、および、プログラムを提供することができる。

実施例

0076

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

0077

100、100a、100b光学装置(制御装置)
140意思伝達部(取得手段)
141意思確認部(取得手段)
160発注情報作成部(作成手段)
190、330通信部(発注手段)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ