図面 (/)

技術 プログラム、情報処理方法、及び情報処理装置

出願人 neuet株式会社
発明者 横田結中村俊成稲富優衣
出願日 2019年9月4日 (1年9ヶ月経過) 出願番号 2019-161165
公開日 2021年3月11日 (3ヶ月経過) 公開番号 2021-039586
状態 未査定
技術分野 交通制御システム
主要キーワード 警告モジュール 誘導モジュール ペナルティ情報 本開示技術 利用テーブル カウントダウン情報 レンタル車両 表示制御アプリケーション
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年3月11日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

シェアリングサービスにおける乗り物返却時の管理コストの増加を軽減させるプログラム情報処理方法及び情報処理装置を提供する。

解決手段

プログラムは、情報処理装置に含まれる1又は複数のプロセッサに、撮影中の画像データから所定マーカを認識することと、撮影中の画像データに基づいて、3次元空間を作成する周囲環境マッピング処理し、3次元空間内の撮像装置の位置を推定する自己位置推定処理とを実行することと、3次元空間内における所定マーカの位置と撮像装置の位置との対応関係を特定することと、対応関係に基づき、撮像装置の位置又は向きが、所定マーカを含む対象物を撮影可能な位置又は向きに誘導することと、を実行させる。

概要

背景

近年、乗り物シェアするサービスが増えてきており、シェアする乗り物の貸出返却を管理するためのシステム開発が行われている。例えば、レンタル車両発信機を搭載し、ユーザの携帯端末通信を行うことで、車両を管理する技術が公開されている
(例えば、特許文献1参照)。

概要

シェアリングサービスにおける乗り物返却時の管理コストの増加を軽減させるプログラム情報処理方法及び情報処理装置を提供する。プログラムは、情報処理装置に含まれる1又は複数のプロセッサに、撮影中の画像データから所定マーカを認識することと、撮影中の画像データに基づいて、3次元空間を作成する周囲環境マッピング処理し、3次元空間内の撮像装置の位置を推定する自己位置推定処理とを実行することと、3次元空間内における所定マーカの位置と撮像装置の位置との対応関係を特定することと、対応関係に基づき、撮像装置の位置又は向きが、所定マーカを含む対象物を撮影可能な位置又は向きに誘導することと、を実行させる。

目的

そこで、乗り物の返却時に、乗り物を撮影した画像を、シェアリングサービスを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

情報処理装置に含まれる1又は複数のプロセッサに、撮影中の画像データから所定マーカを認識すること、前記撮影中の画像データに基づいて、3次元空間を作成する周囲環境マッピング処理と、前記3次元空間内の撮像装置の位置を推定する自己位置推定処理とを実行すること、前記3次元空間内における前記所定マーカの位置と前記撮像装置の位置との対応関係を特定すること、前記対応関係に基づき、前記撮像装置の位置又は向きが、前記所定マーカを含む対象物を撮影可能な位置又は向きに誘導することを実行させるプログラム

請求項2

前記1又は複数のプロセッサに、前記撮影中の画像データに誘導情報重畳して画面表示制御することをさらに実行させる、請求項1に記載のプログラム。

請求項3

前記表示制御することは、前記対応関係に応じて変動する誘導情報を前記画像データに重畳することを含む、請求項2に記載のプログラム。

請求項4

前記誘導することは、前記撮像装置の位置又は向きが、前記所定マーカを含む対象物を撮影可能な位置又は向きに関する所定条件を満たす場合、前記撮像装置による撮影を許可することを含む、請求項1乃至3いずれか一項に記載のプログラム。

請求項5

前記1又は複数のプロセッサに、前記撮像装置により撮像された、前記対象物を含む画像データを、他の情報処理装置に送信することをさらに実行させる、請求項4に記載のプログラム。

請求項6

前記送信することは、前記所定マーカが認識された時に前記情報処理装置の第1位置情報を前記他の情報処理装置に送信すること、及び/又は前記対象物を含む画像データが撮像された時に前記情報処理装置の第2位置情報を前記他の情報処理装置に送信することを含む、請求項5に記載のプログラム。

請求項7

前記1又は複数のプロセッサに、前記他の情報処理装置により、前記第1位置情報が所定位置にないと判定された場合、警告情報を取得すること、前記警告情報を画面に表示制御すること、をさらに実行させる請求項6に記載のプログラム。

請求項8

前記他の情報処理装置により、前記第2位置情報が前記所定位置にあると判定された場合、前記警告情報を非表示にするリクエスト情報を取得し、前記リクエスト情報に応じて、前記警告情報を非表示にする、請求項7に記載のプログラム。

請求項9

前記警告情報は、所定時間内に前記対象物を前記所定位置に移動させることを促す時間情報を含む、請求項7又は8に記載のプログラム。

請求項10

前記1又は複数のプロセッサに、前記画像データに基づき前記対象物を認識し、当該対象物が撮影条件を満たすか否かをさらに判定する、請求項1乃至9いずれか一項に記載のプログラム。

請求項11

情報処理装置に含まれる1又は複数のプロセッサが、撮影中の画像データから所定マーカを認識すること、前記撮影中の画像データに基づいて、3次元空間を作成する周囲環境マッピング処理と、前記3次元空間内の撮像装置の位置を推定する自己位置推定処理とを実行すること、前記3次元空間内における前記所定マーカの位置と前記撮像装置の位置との対応関係を特定すること、前記対応関係に基づき、前記撮像装置の位置又は向きが、前記所定マーカを含む対象物を撮影可能な位置又は向きに誘導することを実行する情報処理方法

請求項12

1又は複数のプロセッサを含む情報処理装置であって、前記1又は複数のプロセッサが、撮影中の画像データから所定マーカを認識すること、前記撮影中の画像データに基づいて、3次元空間を作成する周囲環境マッピング処理と、前記3次元空間内の撮像装置の位置を推定する自己位置推定処理とを実行すること、前記3次元空間内における前記所定マーカの位置と前記撮像装置の位置との対応関係を特定すること、前記対応関係に基づき、前記撮像装置の位置又は向きが、前記所定マーカを含む対象物を撮影可能な位置又は向きに誘導することを実行する情報処理装置。

技術分野

0001

本開示は、プログラム情報処理方法、及び情報処理装置に関する。

背景技術

0002

近年、乗り物シェアするサービスが増えてきており、シェアする乗り物の貸出返却を管理するためのシステム開発が行われている。例えば、レンタル車両発信機を搭載し、ユーザの携帯端末通信を行うことで、車両を管理する技術が公開されている
(例えば、特許文献1参照)。

先行技術

0003

特開2019−75090号公報

発明が解決しようとする課題

0004

ここで、シェアする乗り物の位置や開錠を管理するため、情報コードバーコードQRコード登録商標)、NFC等)を乗り物に付与して、乗り物等を管理することが考えられる。この場合、乗り物の返却時に、乗り物が所定の場所に返却されたかどうかや、その乗り物に不備がなかったかなどを管理したいというニーズと、その管理コストを軽減したいというニーズがある。そこで、乗り物の返却時に、乗り物を撮影した画像を、シェアリングサービスを提供する会社に送信することが考えられるが、適切な撮影が行われなければ、オペレータによる確認や連絡が発生し、却って管理コストが増大してしまうという課題がある。

0005

本開示は、シェアリングサービスにおける乗り物返却時の管理コストの増加を軽減させることが可能なプログラム、情報処理方法、及び情報処理装置を提供することを目的の一つとする。

課題を解決するための手段

0006

本開示の一実施形態に係るプログラムは、情報処理装置に含まれる1又は複数のプロセッサに、撮影中の画像データから所定マーカを認識すること、前記撮影中の画像データに基づいて、3次元空間を作成する周囲環境マッピング処理と、前記3次元空間内像装置の位置を推定する自己位置推定処理とを実行すること、前記3次元空間内における前記所定マーカの位置と前記撮像装置の位置との対応関係を特定すること、前記対応関係に基づき、前記撮像装置の位置又は向きが、前記所定マーカを含む対象物を撮影可能な位置又は向きに誘導することを実行させる。

発明の効果

0007

開示の技術によれば、シェアリングサービスにおける乗り物返却時の管理コストの増加を軽減させることが可能となる。

図面の簡単な説明

0008

実施形態における情報処理システム1の各構成例を示す図である。
実施形態に係るユーザ端末10の一例を示すブロック図である。
実施形態に係るサーバ20の一例を示すブロック図である。
実施形態に係る、ユーザ端末10により処理される処理データ134の一例を示す図である。
実施形態に係る管理データ233の第1データの一例を示す図である。
実施形態に係る管理データ233の第2データの一例を示す図である。
実施形態に係る情報処理システム1の処理の一例を示すフローチャートである。
実施形態に係る画像データの処理に関するシーケンス図である。
実施形態に係る画面遷移例を示す図である。

実施例

0009

以下、本開示の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

0010

[実施形態]
実施形態では、シェアリングサービスにおける乗り物を返却する際に、その乗り物を撮影して、サーバに送信することで、サーバ側で適切に返却がなされたかなどを管理するシステムについて説明する。実施形態では、乗り物には、位置情報や開錠などを管理するための所定マーカの一例として情報コードが付与されており、ユーザが、この情報コードを携帯端末等で読み取ることで、サーバ側では、その乗り物の鍵を開け、どの位置からユーザが利用を開始したか等を管理する。以下、乗り物は、自転車を例にして説明するが、車やバイクなどの車両でもよい。また、乗り物に付与される情報コードは、その乗り物を識別するためのIDなども含まれており、乗り物を特定するためだけなどの目的で付与されてもよい。

0011

<システムの適用例>
図1は、実施形態における情報処理システム1の各構成例を示す図である。図1に示す例では、各ユーザが利用する情報処理装置10A、10B、各ユーザが利用可能な自転車30A、30B、シェアリングサービスを管理するサーバ20AがネットワークNを介して接続される。なお、自転車30A、30Bそれぞれには、情報コード40A、40Bが付与されている。

0012

情報処理装置10A、10Bは、例えば、スマートフォン携帯電話フィーチャーフォン)、コンピュータ、PDA(Personal Digital Assistant)などであり、内蔵又は外付けの撮像装置を有する。なお、情報処理装置10A及び10Bを区別しないときは、情報処理装置10と表記する。情報処理装置10は、ユーザが利用する端末であるため、ユーザ端末10とも表記する。

0013

情報処理装置20Aは、例えばサーバであり、1又は複数の装置により構成されてもよい。また、情報処理装置20Aは、シェアリングサービスを管理する処理を実行する。以下、情報処理装置20Aは、サーバ20とも表記する。

0014

自転車30A、30Bは、基本的には所定のステーションに位置しており、ユーザにより利用されて、同じ又は別のステーションに返却される。なお、自転車30A、30Bを区別しないときは、自転車30とも表記する。情報コード40A、40Bが、画像撮影中に認識可能な所定のマーカであればよい。以下では、情報コード40A、40Bを区別しないときは、情報コード40とも表記する。なお、自転車30の数は、任意の数が用意されればよい。

0015

図1に示す例では、ユーザ端末10は、これからユーザが利用する自転車30の情報コード40を読み取り、読み取った情報をサーバ20に送信する。例えば、サーバ20は、読み取った情報に含まれる自転車IDを用いて、その自転車IDに対応する自転車30の鍵部に対し、鍵を開錠するための開錠信号を送信する。鍵部は、開錠信号を受信すると、鍵を開錠する。これにより、ユーザは、その自転車30を利用することが可能になる。

0016

ユーザは、自転車30の利用を終え、所定のステーションに自転車30を返却し、鍵をロックする。このとき、ユーザは、自転車30に付与された情報コード40を、ユーザ端末10を用いて読み取り、返却した自転車30の撮影がユーザ端末10によって促される。ユーザは、ユーザ端末10に誘導されるとおりに、ユーザ端末10を移動させ、自転車30を撮影する。この撮影によって撮像された画像データがサーバ20に送信される。これにより、シェアリングサービスを提供する企業は、誘導によって所望の画像データを取得することができ、不適切な画像データが取得されることによる管理コストの増加を防ぐことができる。

0017

なお、自転車30の撮影は返却時に毎回促される構成でなくてもよく、所定の条件を満たした場合に促される構成でもよい。所定の条件は、例えば正しく返却処理行われなかった場合(自転車30が返却された位置が所定のステーションと異なる等)や、返却された時間帯が特定の時間帯である場合や、返却したユーザが特定のユーザ空いである場合等である。

0018

<構成の一例>
図2は、実施形態に係るユーザ端末10の一例を示すブロック図である。ユーザ端末10は典型的には、1つ又は複数の処理装置(CPU)110、1つ又は複数のネットワーク又は他の通信インタフェース120、メモリ130、ユーザインタフェース150、撮像装置160、及びこれらの構成要素を相互接続するための1つ又は複数の通信バス170を含む。

0019

ユーザインタフェース150は、例えば、ディスプレイ装置151及びタッチパネル152を備えるユーザインタフェース150である。また、タッチパネル152は、キーボード及び/又はマウス(又は他の何らかのポインティングデバイス等の入力装置)でもよい。

0020

メモリ130は、例えば、DRAM、SRAM、DDR RAM又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、1つ又は複数の磁気ディスク記憶装置光ディスク記憶装置フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。

0021

また、メモリ130の他の例として、CPU110から遠隔に設置される1つ又は複数の記憶装置でもよい。ある実施形態において、メモリ130は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

0022

オペレーティングシステム131は、例えば、様々な基本的なシステムサービスを処理するとともにハードウェアを用いてタスクを実行するためのプロシージャを含む。

0023

ネットワーク通信モジュール132は、例えば、ユーザ端末10を他のコンピュータに、1つ又は複数のネットワーク通信インタフェース120及び、インターネット、他の広域ネットワークローカルエリアネットワークメトロポリタンエリアネットワークなどの1つ又は複数の通信ネットワークを介して接続するために使用される。

0024

撮像データ133は、撮像装置160により撮影中の画像データを含む。画像データは、動画像データ、静止画像データいずれでもよい。

0025

処理データ134は、撮影中の画像データを用いて、後述する画像処理モジュール136により処理されるデータを含む。例えば、処理データ134は、画像データの特徴点データや、特徴点データをもとに作成される3次元空間モデルや、作成された3次元空間モデル内における撮像装置160の位置が推定された自己位置情報などを含み、図4を用いて後述する。

0026

認識モジュール135は、撮影中の画像データに含まれる情報コード40を認識し、情報コード40に含まれる情報を読み取る。例えば、情報コード40には、コードIDや、自転車を識別する自転車IDなどを含む。読み取られた情報は、ネットワーク通信モジュール132を用いて、サーバ20に送信される。

0027

画像処理モジュール136は、撮影中の画像データに基づいて、3次元空間を作成する周囲環境マッピング処理(環境地図生成処理)と、3次元空間内の撮像装置の位置を推定する自己位置推定処理とを実行する。例えば、画像処理モジュール136は、SLAM(Simultaneous Localization and Mapping)等の技術を用いて、画像データをもとに平面や物体を認識して空間を作成する周囲環境マッピング処理と、撮影している撮像装置160の位置が空間内でどこにいるのかを推定する自己位置推定処理とを同時に行う。

0028

また、画像処理モジュール136は、Apple(登録商標)社が提供するARKit、Google社が提供するARCoreなどを用いて、VIO(Visual-Inertial Odometry)に基づき周囲環境マッピング処理と、自己位置推定処理とを行ってもよい。VIO技術では、ユーザ端末10の加速度センサジャイロセンサからのセンシング情報も用いて、自己位置推定を行う。

0029

画像処理モジュール136は、認識された情報コード40に基づいて、3次元空間内における情報コード40の位置と撮像装置160の位置との対応関係を特定する。例えば、画像処理モジュール136は、生成された3次元空間内において、認識モジュール135により認識された情報コード40の位置と、自己位置推定処理で推定された撮像装置160の位置とを対応付ける。これにより、3次元空間内において、情報コード40と撮像装置160との位置関係を特定することが可能になる。

0030

誘導モジュール137は、特定された対応関係に基づき、撮像装置160の位置又は向き(角度)が、情報コード40を含む対象物(例えば自転車30)等を撮影可能な位置又は向きに誘導する。例えば、誘導モジュール137は、3次元空間内において、情報コード40と撮像装置160との距離が設定されており、設定された距離以上になるように誘導する。誘導する方法は、ディスプレイ151に誘導情報を表示してもよいし、音や振動で誘導してもよい。ここでは、誘導情報が表示されることを例にして説明するが、この例に限られるものではない。

0031

また、誘導モジュール137は、撮像装置160の向きについてもジャイロセンサなどを用いて誘導してもよい。自転車30と撮像装置160との位置関係が条件を満たしても、向きが適切でないと自転車30を適切に撮像することができない。そこで、誘導モジュール137は、撮像装置160の位置、及び/又は、向きが撮影条件を満たすように、撮像装置160の位置、及び/又は、向きを誘導してもよい。

0032

これにより、対象物(例えば自転車30)全体が撮像装置30の画角内におさまるように誘導することが可能になり、誘導の結果、適切な画像データがサーバ20に送信されることで、管理コストの増加を軽減させることが可能になる。対象物は、自転車30以外にもステーションのポートなどを含んでもよい。また、ユーザは、情報コード40を読み取り、誘導にしたがって撮像装置160(を含むユーザ端末10)を移動させるだけでよく、例えば一連の流れの中で適切な画像を撮影することが可能になる。また、必ずしも対象物全体を撮像しなくてもよく、場合によっては、対象物の所定位置を撮像するように誘導がなされてもよい。

0033

また、表示制御モジュール138は、撮影中の画像データに誘導情報を重畳して画面に表示制御する。例えば、表示制御モジュール138は、3次元空間内における情報コード40の位置と撮像装置160の位置との対応関係に基づいて、テキストなどの誘導情報を、ディスプレイ151の画面に表示される画像データに重畳する。重畳される誘導情報は、テキストや画像(例えば矢印など)などを含む。

0034

これにより、ユーザ端末10は、自転車30等を適切に撮影するための誘導情報を表示制御することで、例えば拡張現実(AR:Augmented Reality)などの技術(AR技術)を用いて、撮像装置160の位置を視覚的に誘導することが可能になる。その結果、適切な画像の撮影を迅速に行わせ、ユーザ端末10の処理効率を向上させることが可能になる。

0035

また、表示制御モジュール138は、3次元空間内における情報コード40の位置と撮像装置160の位置との対応関係に応じて変動する誘導情報を画像データに重畳してもよい。例えば、表示制御モジュール138は、上述した対応関係に応じて、誘導情報のサイズや向きなどを変動させる。具体例としては、誘導情報として所定の画像を用いることができ、表示制御モジュール138は、AR技術を用いて、この画像のサイズや向きを所定のサイズや向きに仕向けることで、撮像装置160の位置や向きが自転車30を撮影可能な位置や向きに誘導する。例えば、重畳対象の画像は、情報コード40の検出位置に重畳されてもよい。

0036

これにより、ユーザ端末10は、自転車30等を適切に撮影するための誘導情報を、AR技術を用いて変動させながら表示制御することで、撮像装置160の位置を、より視覚的に誘導することが可能になる。その結果、適切な画像の撮影をより迅速に行わせ、ユーザ端末10の処理効率をさらに向上させることが可能になる。

0037

また、誘導モジュール137は、撮像装置160の位置又は向きが、情報コード40を含む自転車30等を撮影可能な位置又は向きに関する所定条件を満たす場合、撮像装置160による撮影を許可するように制御してもよい。例えば、誘導モジュール137は、誘導の結果、3次元空間内で、情報コード40と撮像装置160との位置に関する対応関係が、自転車30を撮影する条件を満たすか否かを判定する。判定結果が肯定の場合(条件を満たす場合)、誘導モジュール137は、撮像装置160による撮影を許可する。

0038

また、表示制御モジュール138は、撮影が許可されると、撮影を可能にするUI部品(例えば撮影ボタン)を画面に表示制御してもよい。この撮影ボタンをユーザが押下することにより、撮像装置160は、画面に写る景色を撮像し、画像データを取得する。また、表示制御モジュール138は、誘導中の画面から撮影ボタンを表示させておくことも可能であり、撮影条件が満たされない場合は、撮影ボタンを押下できない状態(無効化)にし、撮影条件が満たれた場合、撮影ボタンを押下できる状態(有効化)に変更してもよい。さらに、表示制御モジュール138は、撮影条件が満たされた場合に、撮像装置160を制御して自動で撮影してもよい。

0039

これにより、ユーザ端末10は、適切な撮影タイミングをユーザに知らせることができる。その結果、ユーザは、撮影タイミングを失うことなく、また、ユーザ端末10は、自転車30等の適切な画像を取得することが可能になる。

0040

また、ネットワーク通信モジュール132は、撮像装置160により撮像された自転車30等を含む画像データを、他の情報処理装置(例えばサーバ20)に送信してもよい。例えば、ネットワーク通信モジュール132は、誘導モジュール137の制御に基づいて、撮像装置160により撮像された画像データをサーバ20に送信する。

0041

これにより、ユーザ端末10は、自転車30等を含む画像データをサーバ20に送信することが可能になり、サーバ20は、返却時の自転車30の状況を把握することが可能になる。誘導により適切な画像が送信される可能性が高まることで、サーバ20での返却時の管理が容易になり、管理コストの増加を軽減させることができる。なお、自転車30の状況とは、例えば故障や異常がないかなどであり、これらの判定は画像認識を用いて行うことが可能である。

0042

また、ネットワーク通信モジュール132は、情報コード40が認識された時にユーザ端末10の第1位置情報を他の情報処理装置(例えばサーバ20)に送信してもよい。及び/又は、ネットワーク通信モジュール132は、自転車30等を含む画像データが撮像された時にユーザ端末10の第2位置情報を他の情報処理装置(例えばサーバ20)に送信してもよい。例えば、ユーザ端末10の位置情報は、端末が備えるGPS(Global Positioning System)機能等により取得可能な緯度経度情報などである。

0043

これにより、他の情報処理装置(例えばサーバ20)は、自転車30の情報コード40の読取時の位置情報を取得し、所定のステーションに返却されたか否かを判定することが可能になる。また、自転車30が通信機能位置計測機能等を有する場合は、鍵を施錠したときに、自転車30が位置情報を送信してもよく、この場合は、自転車30から送信された位置情報と、ユーザ端末10から送信された位置情報とを比較し、それぞれが同じステーションを示すか否かを判定してもよい。

0044

さらに、ユーザ端末10は、画像データの送信とともに第2位置情報を送信することで、画像データの送信時の第2位置情報が、所定のステーションを示すか否かを判定することが可能になる。その結果、情報コード40の読取時、画像データの送信時において、サーバ20側で、適切な場所で返却がなされた否かを把握することが可能になる。

0045

また、誘導モジュール137は、他の情報処理装置(例えばサーバ20)により、第1位置情報が所定位置にないと判定された場合、警告情報を取得してもよい。この場合、表示制御モジュール138は、警告情報を画面に表示制御してもよい。例えば、サーバ20側で、第1位置情報に基づき、所定のステーションに返却されずに乗り捨てされたと判定した場合、所定のステーションに返却することをユーザに求めるための警告情報をユーザ端末10に送信する。

0046

これにより、ユーザ端末10は警告情報を受信することで、自転車30を適切な場所に返却するようユーザに促すことができる。また、警告情報に、第1位置情報から近い所定のステーションの位置を知らせることも可能であり、所定のステーションへの返却率を向上させることも可能である。

0047

また、誘導モジュール137は、他の情報処理装置(例えばサーバ20)により、第2位置情報が所定位置(予め設定された所定のステーションの位置)にあると判定された場合、警告情報を非表示にするリクエスト情報を取得してもよい。この場合、表示制御モジュール138は、リクエスト情報に応じて、警告情報を非表示にしてもよい。例えば、第1位置情報は、乗り捨ての位置を示したとしても、第2位置情報が、適切なステーションの位置を示せば、警告情報が非表示になるように制御される。

0048

これにより、サーバ20は所定のタイミングで位置情報を取得することで、自転車30の位置を把握することができ、自転車30の位置等を適切に管理することができる。

0049

また、警告情報は、所定時間内に自転車30を所定位置に移動させることを促す時間情報を含んでもよい。例えば、画面に所定時間(例えば10分)からカウントダウン表示させる。

0050

これにより、ユーザに適切な位置への迅速な返却を促すことができる。また、所定時間内に適切な位置に返却されなかった場合は、そのユーザにペナルティ課すことも可能になる。

0051

誘導モジュール137は、画像データに基づき自転車30を認識し、この自転車30が撮影条件を満たすか否かをさらに判定してもよい。例えば、誘導モジュール137は、画像データから物体認識を行い、物体が自転車30であることを認識する。この場合、誘導モジュール137は、自転車30全体が画角内に入っているかの判定(撮影条件の判定)を行い、撮影条件を満たせば、撮影を許可してもよい。なお、物体認識は、画像処理モジュール136が行ってもよい。

0052

これにより、3次元空間内の位置関係だけではなく、撮影中の画像データから物体認識させることで、より適切な画像の取得可能性を高めることが可能になる。

0053

なお、1つ又は複数の処理装置(CPU)110は、メモリ130から、必要に応じて各モジュールを読み出して実行する。例えば、1つ又は複数の処理装置(CPU)110は、メモリ130に格納されているネットワーク通信モジュール132を実行することで、通信部を構成してもよい。また、1つ又は複数の処理装置(CPU)110は、メモリ130に格納されている画像処理モジュール136、誘導モジュール137、表示制御モジュール138をそれぞれ実行することで、画像処理部、誘導部、表示制御部を構成してもよい。

0054

他の実施形態において、画像処理モジュール136、誘導モジュール137、表示制御モジュール138は、ユーザ端末10のメモリ130に格納されるスタンドアロンアプリケーションであってもよい。スタンドアロンアプリケーションとしては、限定はされないが、画像処理アプリケーション誘導アプリケーション表示制御アプリケーションが挙げられる。さらに他の実施形態において、誘導モジュール137、表示制御モジュール138は別のアプリケーションへのアドオン又はプラグインであってもよい。

0055

上記に示した要素の各々は、先述の記憶装置の1つ又は複数に格納され得る。上記に示したモジュールの各々は、上述される機能を実行するための命令のセットに対応する。上記に示したモジュール又はプログラム(すなわち、命令のセット)は別個ソフトウェアプログラム、プロシージャ又はモジュールとして実装される必要はないとともに、従ってこれらのモジュールの様々なサブセットは様々な実施形態で組み合わされるか、或いは再構成されてもよい。ある実施形態において、メモリ130は上記に示されるモジュール及びデータ構造のサブセットを格納し得る。さらには、メモリ130は上述されない追加的なモジュール及びデータ構造を格納し得る。

0056

図3は、実施形態に係るサーバ20の一例を示すブロック図である。サーバ20は典型的には、1つ又は複数の処理装置(CPU)210、1つ又は複数のネットワーク又は他の通信インタフェース220、メモリ230、及びこれらの構成要素を相互接続するための1つ又は複数の通信バス270を含む。

0057

サーバ20は、場合によりユーザインタフェース250を含んでもよく、これとしては、ディスプレイ装置(図示せず)、及びキーボード及び/又はマウス(又は他の何らかのポインティングデバイス等の入力装置。図示せず)を挙げることができる。

0058

メモリ130は、例えば、DRAM、SRAM、DDR RAM又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、1つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。

0059

また、メモリ230の他の例は、CPU210から遠隔に設置される1つ又は複数の記憶装置を挙げることができる。ある実施形態において、メモリ230は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

0060

オペレーティングシステム231は、例えば、様々な基本的なシステムサービスを処理するとともにハードウェアを用いてタスクを実行するためのプロシージャを含む。

0061

ネットワーク通信モジュール232は、例えば、サーバ20を他のコンピュータに、1つ又は複数の通信ネットワークインタフェース220及びインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つ又は複数の通信ネットワークを介して接続するために使用される。

0062

管理データ233は、自転車30の利用状況に関する第1データと、ステーションの位置情報とを含む第2データとを含む。第1データは、例えば、自転車30を識別するためのIDや、情報コード40を識別するためのIDや、利用時間利用開始位置、返却位置などを含んでもよい。第2データは、例えば、ステーションを識別するためのIDや、位置情報や、名称等を含んでもよい。管理データ233は、図4及び5を用いて後述する。

0063

管理モジュール234は、自転車30の利用を管理する処理を実行する。例えば、管理モジュール234は、各自転車30の鍵の開錠、施錠を管理し、各自転車30の位置情報を管理し、各自転車30の利用時間を管理し、各ユーザの自転車30の利用状況を管理したりする。

0064

管理モジュール234は、警告モジュール235を含む。警告モジュール235は、ユーザ端末10から送信された位置情報が所定のステーションの位置から所定範囲内にあるか否かを判定する。位置情報が所定範囲内になければ、警告情報をユーザ端末10に送信するように制御する。このとき、警告モジュール235は、警告情報に、カウダウン情報を含めたり、近傍のステーションの情報を含めたり、ペナルティの情報を含めたりしてもよい。

0065

警告モジュール235は、ユーザ端末10から再度送信された位置情報が所定のステーションの位置から所定範囲内にあるか否かを判定する。先の位置情報が所定範囲内になくても、後の位置情報が所定範囲内にあれば、警告情報を非表示にするよう制御する。例えば、警告モジュール235は、警告情報の送信を停止したりする。

0066

なお、警告モジュール235は、ユーザ端末10から画像データを取得して、当該画像データに基づいて警告情報を送信するか否かを制御しても良い。例えば、警告モジュール235は、画像データを解析して、当該画像データが自転車とステーションとの画像を含んでいるか否かに基づいて正しく返却されたかを判断し、判断結果に基づいて警告情報を送信するか否かを制御することができる。また、警告モジュール235は、管理者が目視で画像データを確認できるように画像データを出力しても良い。

0067

上記に示した要素の各々は先述される記憶装置の1つ又は複数に格納され得る。上記に示したモジュールの各々は、上述される機能を実行するための命令のセットに対応する。上記に示したモジュール又はプログラム(すなわち、命令のセット)は別個のソフトウェアプログラム、プロシージャ又はモジュールとして実装される必要はないとともに、従ってこれらのモジュールの様々なサブセットが様々な実施形態で組み合わされるか、或いは再構成され得る。ある実施形態において、メモリ230は上記に示されるモジュール及びデータ構造のサブセットを格納し得る。さらには、メモリ230は上述されない追加的なモジュール及びデータ構造を格納し得る。1つ又は複数の処理装置(CPU)210は、メモリ230に格納されている管理モジュール234、警告モジュール235をそれぞれ実行することで、管理部、警告部を構成してもよい。

0068

図3は「サーバ」を示すが、図3は、本明細書に記載される実施形態の構造的な概略としてよりも、サーバのセットに存在し得る様々な特徴についての説明が意図されている。実際には、当業者により認識されるとおり、別個に示される項目が組み合わされ得るであろうとともに、ある項目が別個にされ得るであろう。例えば、図3において別個に示される項目は単一サーバ上に実装され得るであろうとともに、単一の項目が1台又は複数のサーバにより実装され得るであろう。

0069

<データ構造の一例>
図4は、実施形態に係る、ユーザ端末10により処理される処理データ134の一例を示す図である。図4に示す例では、処理データ134は、例えば、AR技術を用いて抽出された各特徴点や、各特徴点から生成された3次元空間モデルや、3次元空間内における撮像装置160の位置が推定された自己位置や、3次元空間内における情報コード40の位置の各情報を含む。なお、処理データ134は、さらにユーザ端末10が取得したセンサ情報カメラの傾き等)を含んでも良い。

0070

画像処理モジュール136は、生成された3次元空間内において、認識モジュール135により認識された情報コード40の位置と、自己位置推定処理で推定された撮像装置160の位置とを対応付ける。これにより、誘導モジュール137は、この対応関係が所定の撮影条件を満たすか否かを判定することが可能になる。撮影条件は、例えば、情報コード40の位置と、自己位置推定処理で推定された撮像装置160の位置とが、所定距離離れていること、撮像装置160の画角内に、所定コード40を含むことなどである。

0071

図5は、実施形態に係る管理データ233の第1データの一例を示す図である。図5に示す例では、第1データは、コードID、ステータス、位置情報1、位置情報2、利用時間等を含む。

0072

コードIDは、自転車30等の対象物を識別可能なIDであり、コードIDは、情報コード40を識別するためのIDである。ステータスは、開錠(Unlock)や施錠(Lock)を示す。位置情報1は、利用開始位置を示し、位置情報2は、返却位置を示す。利用時間は、シェアリングサービスの利用時間を示す。なお、第1データは、一例であって、各自転車30の現在のステータスと、利用履歴情報とが分けて管理されてもよい。例えば、現在のステータスには、現在位置とステータスとを含み、利用履歴情報には、利用開始位置、返却位置、利用時間を含む。

0073

なお、第1データは図5に示す構成に限定されない。例えば、第1データは利用テーブルステータステーブルとに分割されて管理される構成でもよい。この場合、利用テーブルは、例えば利用しているユーザのIDと、コードIDと、位置情報1と、位置情報2と、利用時間とを含み、ステータステーブルは、コードIDと、ステータスと、自転車30の位置情報とを含んでも良い。

0074

図6は、実施形態に係る管理データ233の第2データの一例を示す図である。図6に示す例では、第2データは、ステーションID、ステーションの位置情報を含む。ステーションの位置情報は、自転車30が適切な位置に返却されたか否かに用いられてもよい。

0075

上述したデータ構造は、あくまでも一例であって、この例に限られない。例えば管理データ233は、ユーザごとの自転車30の利用履歴情報を保持してもよい。

0076

<動作説明>
次に、実施形態に係る情報処理システム1の動作について説明する。図7は、実施形態に係る情報処理システム1の処理の一例を示すフローチャートである。

0077

(ステップS102)
ユーザ端末10の認識モジュール135は、撮影中の画面から所定マーカ(例えば情報コード40)を写すように誘導する。例えば、認識モジュール135は、画面内に情報コードの枠を表示したりする。

0078

(ステップS104)
認識モジュール135は、撮影中の画像データに含まれる情報コード40を検出し、認識する。

0079

(ステップS106)
画像処理モジュール136は、撮影中の画像データに基づいて、周囲環境マッピング処理と、自己位置推定処理とを実行する。画像処理モジュール136は、認識された情報コード40の位置と、撮像装置160の位置とを対応付ける。誘導モジュール137は、この対応関係に基づいて、撮像装置160の位置又は向きが、情報コード40を含む対象物を撮影可能な位置又は向きに誘導する。このとき、表示制御モジュール138は、ARコンテンツを表示して誘導してもよい。

0080

(ステップS108)
誘導モジュール137は、対応関係が所定の撮影条件を満たせば、撮影ボタンを有効化、又は画面上に表示制御する。

0081

(ステップS110)
撮像装置160は、ユーザが撮影ボタンを押下したタイミングで撮像し、対象物を含む画像データを取得する。なお、撮像装置160は、所定の撮影条件が満たされたときに、自動で撮像を行ってもよい。

0082

(ステップS112)
ネットワーク通信モジュール132は、誘導の結果、撮像装置160により撮像された画像データをサーバ20に送信する。これにより、適切な画像データを取得可能になり、サーバ20に適切な画像データを送信することができる。

0083

図8は、実施形態に係る画像データの処理に関するシーケンス図である。図8に示す例では、誘導モジュール137の誘導により画像データが撮像された後に行われる処理を含む。

0084

(ステップS202)
ユーザ端末10の誘導モジュール137は、撮像された画像データを取得する。

0085

(ステップS204)
誘導モジュール137は、ユーザ端末10のGPS機能等を用いて現在の位置情報を取得する。
(ステップS206)

0086

ネットワーク通信モジュール132は、画像データと位置情報とをサーバ20に送信する。

0087

(ステップS208)
サーバ20の管理モジュール234は、取得された画像データと位置情報とに基づいて、自転車30の返却判定を行う。管理モジュール234は、例えば、画像データに基づいて、自転車30が適切な位置に返却されたかを判定したり、自転車30の故障等を判定したりする。また、管理モジュール234(警告モジュール235)は、取得された位置情報が、所定のステーションの位置から所定範囲内にあるか否かを判定する。ここで、判定結果が肯定(自転車30が所定位置にあると判定)であれば、ステップS210に進み、判定結果が否定(自転車30が所定位置にないと判定)であれば、ステップS220に進む。

0088

(ステップS210)
警告モジュール235は、警告情報をユーザ端末10に送信する。警告情報は、例えば、カウントダウン情報や、ペナルティ情報や、近くの所定のステーションに返却することを促す情報を含んでもよい。

0089

(ステップS212)
ユーザ端末10の表示制御モジュール138は、警告情報を画面に表示制御する。例えば、警告情報は、ポップアップ等で画面に通知されたり、アプリケーションにおいて画面を切り替えて表示制御されたりする。

0090

(ステップS214)
ユーザは、所定のステーションに自転車30を返却し、再度自転車30を撮影したとする。このとき、ユーザ端末10の誘導モジュール137は、画像データを取得する。

0091

(ステップS216)
誘導モジュール137は、ユーザ端末10のGPS機能等を用いて現在の位置情報を取得する。

0092

(ステップS218)
ネットワーク通信モジュール132は、画像データと位置情報とをサーバ20に送信する。この後、サーバ20の管理モジュール234が再度返却判定を行う。ここでは、判定結果が肯定であったとするが、仮に、判定結果が否定であった場合、再度ステップS210が実行される。

0093

(ステップS220)
サーバ20のネットワーク通信モジュール232は、返却のレポート情報をユーザ端末10に送信する。

0094

(ステップS222)
ユーザ端末10の表示制御モジュール138は、返却のレポート情報を画面に表示制御する。例えば、レポート情報は、利用開始位置、返却位置、利用時間、費用等を含んでもよい。

0095

以上、本開示技術は、適切な画像データをサーバ20側に送信することで、シェアリングサービスにおける乗り物返却時の管理コストの増加を軽減させることが可能になる。また、本開示技術は、所定のマーカである情報コード40を読み取る処理から誘導を経て適切な画像データを取得することが可能になる。

0096

<画面例>
次に、ユーザ端末10の画面に表示される例について説明する。図9は、実施形態に係る画面の遷移例を示す図である。図9に示す左上の画面は、情報コード40の撮影を誘導する画面例である。例えば、画面内に「QRコードを写してください」と表示される。

0097

上部中央の画面は、情報コード40が認識され、ARコンテンツA10が画面に表示される画面例である。このARコンテンツA10が、撮像装置160の位置を誘導する情報である。この画面例では、ARコンテンツA10が画面内におさまっていないため、ユーザに対し、自転車30から距離をとるように誘導している。

0098

右上の画面は、ユーザが自転車30から離れる途中の画面例である。ユーザが自転車30から離れることで、ARコンテンツA10の全体が見えてきており、このARコンテンツA10は、もう少し自転車30から離れることを誘導している。

0099

右下の画面は、撮像装置160と自転車30との距離が所定距離離れたことで、撮影ボタンB10が有効化する画面例である。上部の画面例ではいずれも撮影ボタンB10は無効化されている。これにより、ユーザは、この位置で撮影すればよいことが容易に理解することができる。

0100

下部中央の画面は、撮影により取得された画像データの送信を確認する画面例である。この確認画面に表示される「送信」をユーザが押下することで、誘導により撮影されて取得された画像データをサーバ20に送信することができる。

0101

なお、ARコンテンツA10は、情報コード10と撮像装置160との位置関係に応じて変動される画像が好適であり、距離と向きとが変動される画像により表されるとよい。

0102

なお、開示技術は、上述した各実施形態に限定されるものではなく、開示技術の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記各実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

0103

本開示の各実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。 記憶媒体は、「一時的でない有形媒体」に、プログラムを記憶可能である。プログラムは、限定でなく例として、ソフトウェアプログラムやコンピュータプログラムを含む。

0104

[変形例]
また、上述した各実施形態における変形例を以下に示す。

0105

<変形例1>
変形例1では、上記実施形態において、撮像対象として、シェアリングサービスに利用される自転車30を例にしたが、所定のマーカを有するものであれば、シェアリングサービスに限らず、いずれのものでもよい。例えば、撮影の対象物は、撮像装置160の画角内に入るようなオブジェクトであればよく、例えば、家具服飾品文房具電化製品生活用品、車両などでもよい。また、所定の位置に配置されるモノであれば、本開示の技術は適用されうる。なお、変形例1でのシステム構成等は、実施形態の構成と同様である。

0106

<変形例2>
変形例2では、上記実施形態において撮影対象は、自転車30だけを例にして説明したが、その他のものを撮影することを排除することを意図していない。例えば自転車30の場合、所定ステーションに設置されたポートと自転車30とが一緒に撮像されるように、撮影距離と向き(角度)とが予め撮影条件として設定されていてもよい。

0107

1情報処理システム
10、10A、10B情報処理装置(ユーザ端末)
20、20A 情報処理装置(サーバ)
110、210処理装置(CPU)
120、220ネットワーク通信インタフェース
130、230メモリ
131、231オペレーティングシステム
132、232ネットワーク通信モジュール
133撮像データ
134 処理データ
135認識モジュール
136画像処理モジュール
137誘導モジュール
138表示制御モジュール
150ユーザインタフェース
160撮像装置
170通信バス
233 管理データ
234管理モジュール
235 警告モジュール

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ