図面 (/)

技術 情報処理システムおよび制御方法

出願人 ソニー株式会社
発明者 宮島靖
出願日 2015年10月21日 (5年4ヶ月経過) 出願番号 2016-571673
公開日 2017年11月9日 (3年3ヶ月経過) 公開番号 WO2016-121174
状態 特許登録済
技術分野 航行(Navigation) 教示用装置
主要キーワード 推定確度 会話量 取手部分 感性値 動物情報 物体検知情報 インタラクション情報 年長者
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

複数ユーザ関係性を考慮して、より最適な案内情報を生成することが可能な情報処理システムおよび制御方法を提供する。

解決手段

共に行動している複数ユーザを特定するユーザ特定部と、前記特定した複数ユーザの関係性を推定する推定部と、前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成する生成部と、を備える、情報処理システム。

概要

背景

従来から、指定した目的地までの経路を自動探索して案内するナビゲーションシステムが提案されている。このようなナビゲーションシステムは、現在地から指定された目的地までの移動距離や時間が最短になるルートを探索し、探索結果をユーザに提示したり、探索結果に基づいたルート案内をユーザに対して行ったりする。

かかるナビゲーションシステムの技術に関し、例えば下記特許文献1では、ユーザの嗜好施設情報のお勧め度に基づいて寄り道先を提案するナビゲーション装置が開示されている。

概要

複数ユーザ関係性を考慮して、より最適な案内情報を生成することが可能な情報処理システムおよび制御方法を提供する。共に行動している複数ユーザを特定するユーザ特定部と、前記特定した複数ユーザの関係性を推定する推定部と、前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成する生成部と、を備える、情報処理システム。

目的

具体的には、例えば車内で寝ている人が居る、体調の悪い人が居る、会話内容から目的地に早く到着することが望まれている

効果

実績

技術文献被引用数
4件
牽制数
6件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

共に行動している複数ユーザを特定するユーザ特定部と、前記特定した複数ユーザの関係性推定する推定部と、前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成する生成部と、を備える、情報処理システム

請求項2

前記ユーザ特定部は、センサにより検出されたユーザに関する情報に基づいて、共に行動している複数ユーザを特定する、請求項1に記載の情報処理システム。

請求項3

前記推定部は、センサにより検知されたユーザに関する情報に基づいて取得された各ユーザの性別年代に応じて、前記複数ユーザの関係性を推定する、請求項1に記載の情報処理システム。

請求項4

前記推定部は、センサにより検知されたユーザに関する情報に基づいて取得された雰囲気に応じて、前記複数ユーザの関係性を推定する、請求項1に記載の情報処理システム。

請求項5

前記センサにより検出されたユーザに関する情報は、撮像画像音声データ、生体情報、および端末間通信データの少なくともいずれかである、請求項2に記載の情報処理システム。

請求項6

前記推定部は、ユーザの感情に関連する情報に応じて、前記複数ユーザの関係性を推定する、請求項1に記載の情報処理システム。

請求項7

前記ユーザの感情に関連する情報は、センサにより検知された検出されたユーザに関する情報に基づいて生成される、請求項6に記載の情報処理システム。

請求項8

前記ユーザの感情に関連する情報は、ユーザの顔を撮像した顔画像に基づく表情解析、音声データに基づく会話内容の解析、声のトーン、および生体情報に基づく心拍数発汗量脳波、または体動の少なくともいずれかを用いて生成される、請求項7に記載の情報処理システム。

請求項9

前記推定部は、オブジェクト間インタラクション評価値蓄積して構築された感性値データベースから、前記複数ユーザに対応するオブジェクト間のインタラクション評価値に基づいて算出された感性値を、前記ユーザの感情に関連する情報として取得し、当該感性値に基づいて前記複数ユーザの関係性を推定する、請求項6に記載の情報処理システム。

請求項10

前記推定部は、前記複数ユーザの属性に応じて、前記複数ユーザの関係性を推定する、請求項1に記載の情報処理システム。

請求項11

前記生成部は、前記推定部により推定された前記複数ユーザの関係性に応じて、前記案内情報に含まれる寄り道先を決定する、請求項1に記載の情報処理システム。

請求項12

前記生成部は、感情に関連する情報を位置に紐付けマッピングした感情ヒートマップを用いて前記案内情報を生成する、請求項1に記載の情報処理システム。

請求項13

前記生成部は、環境に関連する情報を位置に紐付けてマッピングした環境情報マップと、前記感情ヒートマップとを用いて、前記案内情報を生成する、請求項12に記載の情報処理システム。

請求項14

前記環境に関連する情報は、スポット情報である、請求項13に記載の情報処理システム。

請求項15

前記情報処理システムは、前記生成した案内情報を自動走行可能な車両に送信する送信部をさらに備え、前記自動走行可能な車両は、前記案内情報としての目的地までのルート情報に従って自動走行制御を行う、請求項1に記載の情報処理システム。

請求項16

前記ルート情報には、目的地へ行く途中の寄り道先が含まれる、請求項15に記載の情報処理システム。

請求項17

前記情報処理システムは、前記生成された案内情報を情報処理端末に送信する送信部をさらに備え、前記情報処理端末は、前記案内情報をユーザに提示する、請求項1に記載の情報処理システム。

請求項18

共に行動している複数ユーザを特定部により特定することと、前記特定した複数ユーザの関係性を推定部により推定することと、前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成部により生成することと、を含む、制御方法

技術分野

0001

本開示は、情報処理システムおよび制御方法に関する。

背景技術

0002

従来から、指定した目的地までの経路を自動探索して案内するナビゲーションシステムが提案されている。このようなナビゲーションシステムは、現在地から指定された目的地までの移動距離や時間が最短になるルートを探索し、探索結果をユーザに提示したり、探索結果に基づいたルート案内をユーザに対して行ったりする。

0003

かかるナビゲーションシステムの技術に関し、例えば下記特許文献1では、ユーザの嗜好施設情報のお勧め度に基づいて寄り道先を提案するナビゲーション装置が開示されている。

先行技術

0004

特開2008−3027号公報

発明が解決しようとする課題

0005

しかしながら、従来のナビゲーションシステムでは、指定した目的地までのルートが探索されるだけであって、探索されたルート付近で寄る他のスポットはユーザが自ら探す必要があった。

0006

これに対し、上記特許文献1で開示されているナビゲーション装置では、ユーザの嗜好の程度に応じたジャンル施設から寄り道先が提案されるが、ユーザが複数居る場合における最適なルート案内については言及されていなかった。

0007

そこで、本開示では、複数ユーザ関係性を考慮して、より最適な案内情報を生成することが可能な情報処理システム、および制御方法を提案する。

課題を解決するための手段

0008

本開示によれば、共に行動している複数ユーザを特定するユーザ特定部と、前記特定した複数ユーザの関係性を推定する推定部と、前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成する生成部と、を備える情報処理システムを提案する。

0009

本開示によれば、共に行動している複数ユーザを特定することと、前記特定した複数ユーザの関係性を推定することと、前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成することと、を含む制御方法を提案する。

発明の効果

0010

以上説明したように本開示によれば、複数ユーザの関係性を考慮して、より最適な案内情報を生成することが可能となる。

0011

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

図面の簡単な説明

0012

本開示の一実施形態による情報処理システムの概要について説明する図である。
本実施形態による情報処理システムの全体構成を示す図である。
本実施形態による案内サーバの構成の一例を示すブロック図である。
本実施形態による車両の構成の一例を示すブロック図である。
本実施形態による感性サーバの構成の一例を示すブロック図である。
本実施形態による情報処理システムにおける案内情報の生成処理を示すフローチャートである。
本実施形態による環境情報マップ生成部で生成される環境情報マップの一例を示す図である。
本実施形態による感情ヒートマップ生成部で生成される感情ヒートマップの一例を示す図である。
本実施形態によるオブジェクトDBに格納されるオブジェクト詳細情報の一例を示す図である。
本実施形態による感性情報DBから抽出したインタラクション情報の一例を示す図である。
本実施形態による感性情報DBから抽出したインタラクション情報の一例を示す図である。
本実施形態による統合ヒートマップの一例を示す図である。
本実施形態による複数ユーザの関係性の推定処理の詳細を示すフローチャートである。

実施例

0013

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0014

また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.基本構成
2−1.案内サーバの構成
2−2.車両の構成
2−3.感性サーバの構成
3.動作処理
4.まとめ

0015

<<1.本開示の一実施形態による情報処理システムの概要>>
まず、本開示の一実施形態による情報処理システムの概要について図1を参照して説明する。本実施形態による情報処理システムは、複数ユーザの関係性を、各種センサから取得された情報に基づく複数ユーザの雰囲気属性会話顔認識、感情、または感性値等から推定し、推定した関係性に適した案内情報を提示する。提示される案内情報は、目的地までのルート情報や、ルート途中で寄り道先を経由するルート情報(例えば図1右に示すような寄り道先1、寄り道先2、寄り道先3を経由して目的地へ向かうルート情報)である。また、案内情報の提示は、ユーザが所持する情報処理端末(例えばスマートフォン携帯電話端末タブレット端末ウェアラブル端末等)において表示出力音声出力されてもよいし、ユーザが搭乗する車両において表示出力/音声出力されてもよい。また、ユーザが搭乗する車両が自動走行可能な車両である場合、案内情報としてのルート情報に従った自動走行が行われるようにしてもよい。

0016

背景
ここで、従来のナビゲーションシステムでは、ユーザが入力した目的地までの時間的/距離的な最短ルートが自動探索され、当該ルートに従ったナビゲーションが行われるのみであった。一方、一般的に旅行等で目的地まで移動するための時間が十分にある場合、ユーザが目的地までの移動途中観光スポット飲食店土産物店等に立ち寄ることが想定される。しかしながら、上述したように目的地までのルートのみが探索され、提示されるナビゲーションシステムを利用する場合、ユーザは自らルート途中における寄り道先を探し、寄り道先を新たな目的地として再度ナビゲーションシステムに設定しなければならなかった。寄り道先の探索はユーザにとって手間のかかる作業であって、また、ユーザの探索能力によっては最適な場所を十分に探すことができなかった。

0017

また、ユーザが複数居る場合、複数ユーザの関係性によって最適なナビゲーションが異なることが想定される。例えば、家族連れの場合には家族向けのスポットに寄り道するルートが最適であるが、恋人同士の場合には恋人向けのスポットに寄り道するルートが最適となる。また、仕事関係の場合には、寄り道をせずに目的地に最短で到着するルートが最適となる。

0018

そこで、上記点に鑑みて、本開示による情報処理システムでは、複数ユーザの関係性を考慮して、より最適な案内情報を生成することを可能とする。具体的には、本実施形態による情報処理システムは、指定された目的地までのルート付近で、複数ユーザの関係性に応じた寄り道先を自動で探索し、当該寄り道先を含む案内情報を生成し、ユーザに提示する。

0019

複数ユーザの関係性は、例えば図1に示すようなカップル(恋人同士)の他、友達同士、家族、夫婦親子、兄弟・姉妹、仕事関係等が想定される。かかる複数ユーザの関係性は、上述したように、各種センサから取得された情報に基づく複数ユーザの雰囲気、属性、会話、顔認識、感情、または感性値等から推定することが可能である。

0020

より具体的には、本実施形態による情報処理システムは、例えば情報処理端末のカメラや車両の車内カメラ撮像されたユーザの顔の撮像画像マイクロホンにより収音されたユーザの音声データ、生体センサにより検知されたユーザの生体情報に基づいて複数ユーザの性別や大まかな年代を推定し、その組み合わせから関係性を推定する。また、本実施形態による情報処理システムは、音声データに基づく会話内容解析、声のトーン、撮像画像に基づく表情認識、生体情報等に基づいて雰囲気を推定し、当該雰囲気から関係性を推定することも可能である。

0021

また、本実施形態による情報処理システムは、撮像画像に基づく顔認識、音声データに基づく話者認識、または生体情報に基づく生体認証等を用いて、予め登録された人物情報を参照し、複数ユーザの個人識別を行うことも可能である。この場合、識別した人物に予め紐付けられて登録された属性(年齢、性別、職業等)を取得し、当該属性に応じて複数ユーザの関係性を推定することができる。

0022

また、個人識別ができた場合、識別した人物に予め紐付けられて登録されたオブジェクトIDに基づいて複数ユーザの感性値を取得し、当該感性値に応じて複数ユーザの関係性を推定することも可能である。本明細書において、感性値とは、人物や物を含む複数のオブジェクト間で生じ、蓄積されたインタラクション(物の取り扱い、手入れサービス提供、会話等のオブジェクト間で発生する行為)の評価値に基づいて算出されるものであって、オブジェクトの性質性格、人となり等を数値化した指標である。例えば感性値が低い人物は、信頼性が低い人物、物の扱いが乱暴な人物、粗暴な人物といった判断を行うことができ、感性値が高い人物は、信頼できる人物、物の扱いが丁寧な人物、善良な人物といった判断を行うことができる。また、感性値を算出する際には、対象のオブジェクトIDに紐付けて蓄積されたインタラクションの評価値を用いるが、どの範囲のインタラクション履歴を用いるかは、感性値の利用目的によって異なる。例えば、本実施形態による複数ユーザの関係性を推定する際に感性値を利用する場合、特定した複数ユーザに対応するオブジェクトIDを用いて、複数ユーザ間で発生した過去のインタラクションの評価値を用いて感性値が算出される。これにより、複数ユーザのより細かな関係性(例えば恋人同士だが喧嘩中等)を推定することができる。

0023

以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態の情報処理システムの全体構成について、図2を参照して説明する。

0024

図2は、本実施形態による情報処理システムの全体構成を示す図である。図2に示すように、本実施形態による情報処理システムは、案内情報を生成する案内サーバ1と、案内サーバ1から受信した案内情報をユーザに提示する情報処理装置(例えば車両2aまたはスマートフォン2b)を含む。案内サーバ1は、図2に示すように、例えばインターネット7を介して車両2aまたはスマートフォン2bと接続する。以下、案内情報を提示する情報処理装置として、車両2aを用いて説明する。

0025

案内サーバ1は、車両2aに搭乗する複数ユーザの関係性を推定し、推定した関係性に応じて案内情報を生成する。複数ユーザの関係性は、車両2aから送信された、センサにより検出されたユーザに関する情報(撮像画像、音声データ、生体情報等)に基づいて推定される。また、案内情報は、上述したように、例えば指定された目的地までのルート情報であって、また、推定した関係性に応じた寄り道先情報を含んでいてもよい。具体的には、例えば複数ユーザが恋人同士の場合、恋人向けのスポットが寄り道先情報として含まれ、複数ユーザが家族連れの場合、家族向けのスポットが寄り道先情報として含まれる。

0026

案内サーバ1は、生成した案内情報を、インターネット7を介して車両2aに送信する。車両2aは、受信した案内情報を車両2aに設けられた表示装置(例えばカーナビゲーション装置)に表示させたり、またはスピーカから音声出力させたりすることでユーザに提示する。また、車両2aが自動走行可能な車両の場合、受信した案内情報に含まれるルート情報に従って自動的に走行する制御する。これにより車両2aの搭乗者は、関係性に応じた適切な寄り道先を経由して目的地まで移動することができ、旅行やドライブをより楽しむことができる。

0027

また、案内サーバ1が生成する案内情報は、車両2aに対する自動車ナビゲーション情報に限定されず、徒歩自転車電車、またはバス等による移動に対するナビゲーション情報であってもよい。

0028

以上、本実施形態による情報処理システムの全体構成について説明した。続いて、本実施形態の情報処理システムに含まれる各装置の基本構成について具体的に説明する。

0029

<<2.基本構成>>
<2−1.案内サーバ>
図3は、本実施形態による案内サーバ1の構成の一例を示すブロック図である。図3に示すように、本実施形態による案内サーバ1は、制御部10、通信部11、および記憶部12を有する。

0030

(制御部)
制御部10は、案内サーバ1の各構成を制御する。制御部10は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、および不揮発性メモリを備えたマイクロコンピュータにより実現される。また、本実施形態による制御部10は、図3に示すように、ユーザ特定部10a、関係性推定部10b、案内情報生成部10c、感情ヒートマップ生成部10d、および環境情報マップ生成部10eとしても機能する。

0031

ユーザ特定部10aは、車両2aから通信部11を介して受信した、センサにより検出されたユーザに関する情報に基づいて、車両2aに搭乗する(共に行動している)複数ユーザを特定する。センサにより検出されたユーザに関する情報とは、例えば車両2aに設けられた車内カメラにより撮像されたユーザの撮像画像、マイクロホンにより収音されたユーザの音声データ、または生体センサにより検知されたユーザの生体情報(例えば心拍数発汗数、脳波体動指紋等)を含む。また、ユーザに関する情報は、端末間通信データを含んでもよい。端末間通信データとは、ユーザが所持する情報処理端末(スマートフォン、携帯電話端末、タブレット端末、ウェアラブル端末等)との通信(赤外線通信、Wi−Fi(登録商標)、Bluetooth(登録商標)等)により車両2aが取得し得る、ユーザの識別情報(氏名、年齢、性別、ユーザID等)である。

0032

ユーザ特定部10aは、搭乗者の顔画像、音声データ、生体情報等を解析し、搭乗者(複数ユーザ)の性別と大まかな年齢の推定や、可能であれば個人識別を行う。個人識別は、顔画像等の解析結果と、人物DBサーバ6に予め登録されている人物情報とを参照して行われる。また、個人識別は、SNS(Social Networking Service)サーバ5から取得した人物情報を参照して行われてもよい。ユーザ特定部10aは、個人識別ができなかった人物に関して、顔画像の解析、音声認識、会話認識、生体認識等により取得した人物情報(性別、大まかな年齢、氏名、趣味・嗜好、職業、苦手な物等)を人物DBサーバ6に新たに登録してもよい。また、ユーザと共に行動する人間以外の動物が特定された場合、ユーザ特定部10aは、動物の種類(等)を属性として付与した動物情報を、人物DBに登録してもよい。また、ユーザ特定部10aは、車両2aに搭乗するユーザが自ら手入力で搭乗者に関する情報が入力され、車両2aから送信された場合、当該手入力の情報に基づいて複数ユーザを特定してもよい。そして、ユーザ特定部10aは、特定した複数ユーザに関する情報を関係性推定部10bに出力する。

0033

関係性推定部10bは、ユーザ特定部10aにより特定された複数ユーザについて、その関係性を推定する。例えば、関係性推定部10bは、ユーザ特定部10aにより特定された複数ユーザの性別や大まかな年齢の組み合わせに基づいて、親子関係、兄弟関係、友人関係、恋人関係等を推定する。また、関係性推定部10bは、性別や大まかな年齢の組み合わせに基づく関係性の候補を複数挙げて、さらに音声データに基づいて会話内容を解析・認識し、複数ユーザの関係性を推定することも可能である。

0034

また、関係性推定部10bは、顔画像に基づく表情認識、音声データに基づく会話内容の解析・認識、声のトーン(声色)、または生体情報の解析等により車内の雰囲気を取得し、取得した雰囲気に応じて、搭乗している複数ユーザの関係性を推定することも可能である。

0035

また、関係性推定部10bは、複数ユーザの感情に関連する情報に基づいて複数ユーザの関係性を推定することも可能である。感情に関連する情報は、例えば顔画像に基づく表情認識、音声データに基づく会話内容の解析・認識、声のトーン(声色)、または生体情報等により取得され得る。

0036

また、複数ユーザの個人識別が出来た場合、関係性推定部10bは、複数ユーザの感情に関連する情報として、各ユーザの感性値を感性サーバ3から取得し、当該感性値に基づいて複数ユーザの関係性を推定してもよい。具体的には、関係性推定部10bは、識別された複数ユーザのオブジェクトIDを人物DBサーバ6から取得し、当該オブジェクトIDを用いて感性サーバ3に対して感性値の要求を行う。感性サーバ3は、要求に応じて、指定されたオブジェクト間の過去のインタラクションの評価値を用いて算出した各オブジェクトの感性値を返信する。

0037

また、関係性推定部10bは、複数ユーザの個人識別が出来た場合、人物DBサーバ6から取得した人物情報に含まれる複数ユーザの属性(性別、年齢、氏名、職業等)に応じて、複数ユーザの関係性を推定することも可能である。

0038

関係性推定部10bは、推定した複数ユーザの関係性を案内情報生成部10cに出力する。なお車両2a内に複数種類の関係性が存在する可能性もあるが、この場合、関係性推定部10bは、最も人数の多い関係性を選ぶようにしてもよい。例えば5人(具体的には4人の家族と子供の友達一人の計5人)のユーザが車両2aに搭乗し、2人が友達関係、2人が兄弟関係、2人が夫婦関係、4人が家族関係である場合、関係性推定部10bは、最も人数の多い家族関係を車両2aに搭乗する複数ユーザの関係性として選択する。また、関係性推定部10bは、車両2aの持ち主年長者など、複数ユーザの中で影響力の強い人物の関係性を選ぶようにしてもよい。また、関係性推定部10bは、車両2aに搭乗するユーザが自ら手入力で関係性に関する情報が入力され、車両2aから送信された場合、当該手入力の情報に基づいて複数ユーザの関係性を推定してもよい。

0039

案内情報生成部10cは、関係性推定部10bにより推定された複数ユーザの関係性に応じて、複数ユーザに対する案内情報を生成する。例えば、案内情報生成部10cは、指定された目的地までのルート付近で複数ユーザの関係性に応じた1または複数の寄り道先を抽出し、当該寄り道先を経由するルート情報を案内情報として生成する。具体的には、案内情報生成部10cは、例えば複数ユーザが家族関係の場合、家族向けのスポットを寄り道先として抽出し、また、複数ユーザが恋人関係の場合、恋人向けのスポットを寄り道先として抽出する。

0040

また、案内情報生成部10cは、感情ヒートマップ生成部10dにより生成される感情ヒートマップ、および環境情報マップ生成部10eにより生成される環境情報マップを用いて、複数ユーザの関係性に最適な案内情報を生成してもよい。感情ヒートマップおよび環境情報マップを用いた案内情報の生成については、図7図12を参照して後述する。

0041

感情ヒートマップ生成部10dは、感情に関連する情報を位置に紐付けてマッピングした感情ヒートマップを生成する。感情に関連する情報とは、生体センサ等により検知されたセンサ値、または感性サーバ3から取得された感性値を含む。感性サーバ3に蓄積されるインタラクション情報には、各インタラクションが行われた日時の他、場所情報も紐付けられ(図10図11参照)、目的地までのルート付近のエリアにおいて行われたインタラクション履歴に基づく感性値や、スポット(寄り道先)の感性値の算出が可能である。感情ヒートマップ生成の詳細については、図8図11を参照して後述する。

0042

環境情報マップ生成部10eは、環境に関連する情報を位置に紐付けてマッピングした環境情報マップを生成する。環境に関連する情報とは、スポット情報サーバ4から取得されるスポット情報(観光地レストラン売店休憩所公園等の情報)を含む。スポット情報サーバ4に格納されるスポット情報には、各スポットの場所、営業時間、入場料等の基本情報の他、どのようなユーザ向けのスポットであるか(家族向け、恋人向け、友達同士向け、大人数向け等)、また、スポットの特徴情報夜景が綺麗、幼児入店可能、テラス席、ペット同伴可、子供が楽しめる場所等)も含まれる。また、環境情報マップ生成部10eは、案内情報生成部10cからの指示に従って、ベースルート付近の一定範囲における、複数ユーザの関係性、属性(年齢、性別、趣味・嗜好等)、時刻天候、スポットのカテゴリ等のフィルタ条件マッチするスポットを抽出して、環境情報マップを生成する。環境情報マップ生成の詳細については、図7を参照して後述する。

0043

(通信部)
通信部11は、外部装置とデータの送受信を行う。例えば通信部11は、感性サーバ3、スポット情報サーバ4、SNSサーバ5、人物DBサーバ6と接続して各種データの送受信を行う。また、通信部11は、車両2aと接続して、車両2aからセンサにより検知されたユーザに関する情報や、ナビゲーション設定情報(目的地、到着希望時間、優先道路の選択等)を受信したり、案内情報生成部10cにより生成された案内情報を車両2aに送信したりする。

0044

(記憶部)
記憶部12は、制御部10による各種処理を行うためのプログラムを記憶する。また、記憶部12は、感情ヒートマップ生成部10dにより生成された感情ヒートマップ、環境情報マップ生成部10eにより生成された環境情報マップを記憶してもよい。

0045

以上、案内サーバ1の構成について具体的に説明した。なお図3に示す案内サーバ1の構成は一例であって、本実施形態による案内サーバ1の構成はこれに限定されない。例えば、スポット情報サーバ4に格納されているスポット情報や、人物DBサーバ6に格納されている人物情報が、案内サーバ1の内部の記憶領域すなわち記憶部12に記憶されていてもよい。

0046

<2−2.車両の構成>
次に、案内情報をユーザに提示する情報処理装置の一例である車両2aの構成を説明する。図4は、本実施形態による車両2aの構成の一例を示すブロック図である。図4に示すように、車両2aは、制御部20、通信部21、自車両位置取得部22、車内カメラ23、マイクロホン24、操作入力部25、表示部26、生体センサ27、自動走行制御部28、および記憶部29を有する。

0047

(制御部)
制御部20は、例えばCPU、ROM、RAM、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、車両2aの各構成を制御する。また、制御部20は、車内カメラ23により撮像した撮像画像、マイクロホンにより収音した音声データ、または生体センサ27により検知した生体情報を、センサにより検出した搭乗者に関する情報として通信部21を介して案内サーバ1に送信するよう制御する。また、制御部20は、操作入力部25から入力された搭乗者の識別情報(性別、年齢、氏名、趣味・嗜好、ユーザID、オブジェクトID等)を案内サーバ1に送信するよう制御してもよい。また、制御部20は、操作入力部25により入力されたナビゲーション設定情報、具体的には、目的地、到着希望時間、優先道路等に関する情報を、案内サーバ1に送信するよう制御してもよい。

0048

また、制御部20は、通信部21を介して案内サーバ1から受信した案内情報を表示部26に表示するよう制御したり、スピーカ(不図示)から音声出力するよう制御したりしてもよい。また、制御部20は、案内サーバ1から受信した案内情報に含まれるルートに従って自動走行を行うよう自動走行制御部28に指示してもよい。

0049

(通信部)
通信部21は、外部装置とデータの送受信を行う。例えば通信部21は、案内サーバ1と接続し、センサにより検出した搭乗者に関する情報やナビゲーション設定情報等を送信したり、案内サーバ1で生成された案内情報を受信したりする。

0050

(自車両位置取得部)
自車両位置取得部22は、外部からの取得信号に基づいて車両2aの現在位置を検知する機能を有する。具体的には、例えば自車両位置取得部22は、GPS(Global Positioning System)測位部により実現され、GPS衛星からの電波を受信して、車両2aが存在している位置を検知し、検知した位置情報を制御部20に出力する。また、自車両位置取得部22は、GPSの他、例えばWi−Fi(登録商標)、Bluetooth(登録商標)等との送受信、または近距離通信等により位置を検知するものであってもよい。

0051

(車内カメラ)
車内カメラ23は、車両2a内部を撮像するカメラであって、例えば各座席に座っている搭乗者の顔を撮像する。車内カメラ23の設置位置および個数については特に限定しない。

0052

(マイクロホン)
マイクロホン24は、車両2a内部の音声を収音する機能を有し、例えば搭乗者の会話を収音する。マイクロホン24の設置位置および個数については特に限定しない。

0053

(操作入力部)
操作入力部25は、ユーザ操作の入力を受付け、入力情報として制御部20に出力する。例えば操作入力部25は、車両2aの運転席近傍に設けられた表示部26と一体化されたタッチパネルであってもよい。また、操作入力部25は、車内カメラ23により撮像されたユーザの撮像画像を解析してジェスチャー入力を可能としてもよいし、マイクロホン24により収音されたユーザの音声を解析して音声入力を可能としてもよい。

0054

(表示部)
表示部26は、メニュー画面ナビゲーション画面を表示し、例えば液晶ディスプレイにより実現される。また、表示部26は、運転席近傍に設けられる。また、表示部26は、案内サーバ1から送信された案内情報を表示する。また、表示部26は、車両2aのフロントガラスに画像を投影する投影部により実現されてもよい。

0055

(生体センサ)
生体センサ27は、車両2aに搭乗するユーザの生体情報を検知する。例えば生体センサ27は、車両2aのハンドル部分ドア取手部分、窓の開閉操作部分、座席部分、またはヘッドレスト部分等に1または複数設けられ、搭乗者の体温発汗量、心拍数、脳波、指紋等を検知する。

0056

(自動走行制御部)
自動走行制御部28は、車両2aの走行を制御し、運転者の操作によらない自動運転を実現する機能を有する。具体的には、自動走行制御部28は、案内サーバ1から受信した案内情報に従って走行するよう車両2aを制御する。案内情報が寄り道先を経由した目的地までのルート案内である場合、自動走行制御部28は、案内情報で示される寄り道先を経由したルートを走行するよう車両2aを制御する。また、自動走行を行う際、自動走行制御部28は、取得された車外の状況(例えば周囲の撮像画像、物体検知情報等)に応じて、車両2aのアクセル制御ブレーキ制御ハンドル制御等を行う。

0057

(記憶部)
記憶部29は、制御部20が各処理を実行するためのプログラムを記憶する。また、記憶部29は、車両2aの搭乗者に関する情報や、案内サーバ1から送信された案内情報を記憶してもよい。

0058

以上、本実施形態による車両2aの具体的な構成について説明した。なお図4に示す車両2aの構成は一例であって、本実施形態はこれに限定されない。例えば、自動走行制御部28を有さない構成であってもよいし、搭乗者に関する情報を取得する他のセンサ(例えば赤外線カメラ深度カメラ等)が設けられていてもよい。

0059

<2−3.感性サーバの構成>
続いて、本実施形態による感性サーバ3の構成について説明する。図5は、本実施形態による感性サーバ3の構成の一例を示すブロック図である。図5に示すように、感性サーバ3は、制御部30、通信部31、オブジェクトDB32、および感性情報DB34を有する。

0060

(通信部)
通信部31は、ネットワークを介して案内サーバ1と接続し、案内サーバ1から要求されたオブジェクトの感性値を返信する。また、通信部31は、各オブジェクト(人、モノ全てを含む)に装着/搭載されたセンシングデバイス(不図示)から、インタラクション情報を受信する。

0061

(制御部)
制御部30は、感性サーバ3の各構成を制御する。制御部30は、CPU、ROM、RAM、および不揮発性メモリを備えたマイクロコンピュータにより実現される。また、本実施形態による制御部30は、図5に示すように、インタラクション記憶制御部30a、評価部30b、オブジェクト管理部30c、関連オブジェクト検索部30d、および感性値算出部30eとして機能する。

0062

インタラクション記憶制御部30aは、オブジェクトに装着/搭載されたセンシングデバイスから受信したインタラクション情報を感性情報DB34に記憶するよう制御する。センシングデバイスは、湿度センサ温度センサ振動センサ赤外線センサ、カメラ、触覚センサ、またはジャイロセンサ等により実現され、オブジェクトに対する他のオブジェクトからのインタラクションを検知する。インタラクションとは、行為であって、例えば人物間では会話、電話、メール、一緒に出掛けた、プレゼント贈与等であって、人物と物体間では、物の手入れ、保管掃除鑑賞、着用等が挙げられる。

0063

評価部30bは、感性情報DB34に記憶されたインタラクションの評価を行う。インタラクションの評価方法については特に限定しないが、例えば評価部30bは、インタラクションを受けたオブジェクトにとって好ましいインタラクションである程高く評価し、具体的には−1.0〜1.0の点数を付ける。評価結果は、インタラクションに対応付けて感性情報DB34に記憶される。

0064

オブジェクト管理部30cは、オブジェクトDB32に記憶されているオブジェクトに関する情報の登録、変更、削除等の管理を行う。

0065

関連オブジェクト検索部30dは、要求されたオブジェクトIDとの間にインタラクションが発生した他のオブジェクトを関連オブジェクトとしてオブジェクトDB32や感性情報DB34から検索する。

0066

感性値算出部30eは、対象ユーザのオブジェクトIDに対応付けられたインタラクション評価に基づいて対象ユーザの感性値を算出する。例えば感性値算出部30eは、インタラクション評価値の総和により、対象ユーザのトータル感性値を算出してもよいし、インタラクション評価値の平均値により対象者のトータル感性値を算出してもよい。

0067

また、感性値算出部30eは、要求元における感性値の利用用途に応じて、所定のインタラクションのみを用いて、または所定のインタラクションに重み付けを行った上で感性値を算出してもよい。例えば、感性値が案内サーバ1で複数ユーザの関係性の推定に用いられる場合、感性値算出部30eは、指定されたオブジェクト間(すなわち複数ユーザ間)の過去のインタラクション履歴を用いて感性値を算出する。

0068

(オブジェクトDB)
オブジェクトDB32は、各オブジェクトのオブジェクトIDを格納する記憶部である。また、オブジェクトDB32には、オブジェクトIDに紐付けて、オブジェクトの氏名、年齢、性別、サービス種類サービス会社商品名、商品種類メーカーID、型番製造日時等の情報が格納される。

0069

(感性情報DB)
感性情報DB34は、オブジェクト間のインタラクション情報や、評価値を格納する記憶部である。具体的には、感性情報DB34には、オブジェクトIDに紐付けて、インタラクションが行われた日時・場所、インタラクションが発生した相手方を示す関連オブジェクトID、インタラクション種類、インタラクションの詳細、およびインタラクション評価が格納される。

0070

以上、本実施形態による感性サーバ3の構成について具体的に説明した。なお感性サーバ3の構成は図5に示す例に限定されず、例えばオブジェクトDB32、感性情報DB34がネットワーク上の外部記憶装置に格納されていてもよい。また、感性サーバ3の感性値算出部30eが案内サーバ1に設けられ、案内サーバ1により、感性サーバ3から取得した複数ユーザ間のインタラクション評価に基づいて感性値の算出が行われてもよい。

0071

<<3.動作処理>>
次に、本実施形態による情報処理システムの動作処理について図6を参照して説明する。図6は、本実施形態による情報処理システムにおける案内情報の生成処理を示すフローチャートである。

0072

図6に示すように、まず、ステップS103において、案内サーバ1のユーザ特定部10aは、車両2aから送信された、センサにより検出された搭乗者に関する情報(具体的には、例えば撮像画像、音声データ、生体情報等)に基づいて、車両2aに搭乗する複数ユーザの特定を行う。

0073

次に、ステップS106において、関係性推定部10bは、ユーザ特定部10aにより特定された複数ユーザの関係性を推定する。複数ユーザの関係性推定の詳細については、図13を参照して後述する。

0074

次いで、ステップS109において、案内情報生成部10cは、複数ユーザの移動の目的が寄り道をするのに相応しいか否かを判断する。複数ユーザの移動の目的は、複数ユーザの関係性、属性、および指定された目的地等から推定され得る。例えば、案内情報生成部10cは、複数ユーザの関係性が親子関係または兄弟/姉妹関係であって、目的地がある程度遠い観光地である場合、移動の目的は家族旅行と推定する。また、案内情報生成部10cは、複数ユーザの関係性が恋人関係であって、目的地がある程度遠い観光地である場合は移動の目的をデートと推定する。また、案内情報生成部10cは、複数ユーザの関係性が友人関係であって、目的地がある程度遠い観光地である場合は移動の目的を友達旅行と推定する。また、案内情報生成部10cは、複数ユーザの関係が仕事関係であって、目的地が企業や店舗の場合は移動の目的を仕事と推定する。また、案内情報生成部10cは、目的地が商業施設や店舗等の近場の商店である場合は、移動の目的を買い物と推定し、目的地がレストランや食堂等の近場の飲食店である場合は、移動の目的を食事と推定する。また、案内情報生成部10cは、複数ユーザの関係性が家族関係/親戚関係であって、目的地が結婚式場斎場病院である場合は、移動の目的を冠婚葬祭と推定する。そして、案内情報生成部10cは、移動の目的が「仕事」、「買い物」、「冠婚葬祭」等の目的地に早く到着することが求められるものである場合、寄り道先をするのに相応しくないと判断する。また、案内情報生成部10cは、移動の目的が「家族旅行」、「友達旅行」、「デート」等の目的地までの道でも楽しむことが求められるものである場合、寄り道先をするのに相応しいと判断する。なお、移動の目的がナビゲーション設定情報として車両2aにおいてユーザにより明示的に入力された場合、案内情報生成部10cは、入力された移動の目的に基づいて寄り道をするのに相応しいか否かを判断する。

0075

次に、移動の目的が寄り道をするのに相応しくないと判断された場合(S109において「No」)、本実施形態による寄り道先を含む案内情報の生成処理は終了する。この場合、案内情報生成部10cは、時間的/距離的に最短で目的地に到着するベースルートの検索のみを行って車両2aに提供してもよい。

0076

一方、移動の目的が寄り道をするのに相応しいと判断された場合(S109において「Yes」)、ステップS112において、案内情報生成部10cは、ユーザ指定の目的地までの時間的な余裕があるか否かを判断する。目的地までの時間的な余裕は、例えばユーザにより入力された目的地の到着希望時刻と、目的地までの移動にかかる時間とに基づいて算出され得る。時間的な余裕とは、例えば1時間以上等、寄り道先に立ち寄る時間的余裕であって、閾値はユーザによって指定することが可能である。

0077

次に、時間的な余裕が無いと判断された場合(S112において「No」)、本実施形態による寄り道先を含む案内情報の生成処理は終了する。この場合、案内情報生成部10cは、時間的/距離的に最短で目的地に到着するベースルートの検索のみを行って車両2aに提供してもよい。なお、本実施形態による寄り道先を含む案内情報の生成処理が終了する場合は上述した例に限定されず、例えば車両2aから取得した撮像画像、音声データ、生体情報等から把握される車内の状況に応じて判断してもよい。具体的には、例えば車内で寝ている人が居る、体調の悪い人が居る、会話内容から目的地に早く到着することが望まれている、といった状況が把握された場合に、案内情報の生成処理を終了させてもよい。また、ユーザにより明示的に寄り道先の案内が不要である旨が入力された場合に、案内情報の生成処理を終了させてもよい。

0078

一方、目的地までの時間的な余裕があると判断された場合(S112において「Yes」)、ステップS115において、案内情報生成部10cは、現在地から目的地までのベースルートの検索を行う。例えば、案内情報生成部10cは、目的地まで最短の時間/距離で到着する基本的なルートを、ユーザに入力された条件(有料優先一般道路優先距離優先渋滞情報等)を考慮して検索する。なおステップS115の処理は、S109およびS112よりも前、すなわち上記ステップS106の次に行われてもよい。

0079

次いで、ステップS118において、案内情報生成部10cは、検索したベースルート沿いの一定範囲のエリアの環境情報マップを環境情報マップ生成部10eから取得する。具体的には、案内情報生成部10cは、環境情報マップ生成部10eに対して、ベースルート沿いの一定範囲のエリアと、複数ユーザの関係性に応じたフィルタ条件とを指定して環境情報マップの生成を指示する。なお案内情報生成部10cは、出発地点から所定時間経過後に通過予定のベースルート沿いの一定範囲のエリアを指定してもよい。例えば車両2aに子供が同乗している場合、出発から1時間程経過すると子供が飽きてくることが想定されるので、出発から1時間経過時に通過する予定のエリア付近で寄り道先を探すことで、ユーザに最適な案内情報を提示することができる。

0080

また、案内情報生成部10cは、複数ユーザの関係性に応じたフィルタ条件として、例えば複数ユーザの関係性が「家族関係」の場合は「家族向け」をフィルタ条件とし、複数ユーザの関係性が「恋人関係」の場合は「恋人向け」をフィルタ条件とする。これにより、複数ユーザの関係性に応じた適切なスポットが抽出された指定エリアの環境情報マップを取得できる。また、環境情報マップ生成部10eに指定するフィルタ条件は、複数ユーザの関係性に応じた条件に限定されず、例えば複数ユーザの属性(年齢、性別、趣味・嗜好、職業等)、時刻、天候の条件を加えてもよい。時刻条件および天候条件は、指定したエリアをユーザが通過する予想時刻や、指定したエリアの天候(現在または通過予想時刻予想天候)が条件とされる。また、車両2aにペットが同乗している場合には「ペット同伴可」、会話認識結果により「お腹が空いた」といった会話が認識された場合やユーザが指定した食事時間に近い場合には「レストラン」「飲食店」といったフィルタ条件が加えられてもよい。

0081

ここで、本実施形態による環境情報マップの一例を図7に示す。図7に示す環境情報マップ40は、例えば複数ユーザの関係性に応じたフィルタ条件「恋人向け」と、日時・天候のフィルタ条件「雨、気温18度、夜9時」とでフィルタリングされて生成されたものである。具体的には、環境情報マップ生成部10eは、指定されたエリア(ベースルートに沿った一定範囲)に存在するスポットの情報をスポット情報サーバ4から取得し、スポット情報に含まれるスポットの基本情報や特徴情報等を参照して、「恋人向け」という条件にマッチするスポットを抽出する。また、環境情報マップ生成部10eは、「天候:雨」という条件に応じて、雨天時も営業しているスポットを抽出する。さらに、環境情報マップ生成部10eは、「気温:摂氏18度」という条件に応じて、外は肌寒いため、屋内のスポットを抽出する。さらに、環境情報マップ生成部10eは、「時刻:夜9時」という条件に応じて、飲食店やバーであって、夜9時以降も営業している店を抽出する。そして、例えば図7に示すように、「恋人向け、雨、気温18度、夜9時」のフィルタ条件にマッチしたスポット400、401、402が抽出される。なお、環境情報マップ40は、図3に示すように案内サーバ1の環境情報マップ生成部10eで生成されてもよいし、ネットワーク経由で外部の情報提供サーバ(不図示)から取得されてもよい。

0082

次いで、ステップS121において、案内情報生成部10cは、検索したベースルート沿いの一定範囲のエリアの感情ヒートマップを感情ヒートマップ生成部10dから取得する。感情ヒートマップを参照することで、各スポットや、周辺エリアで活動する人物の感性値を把握することができる。具体的には、案内情報生成部10cは、感情ヒートマップ生成部10dに対して、ベースルート沿いの一定範囲のエリアの各スポット(上記環境情報マップの生成により抽出された各スポット)、または一定範囲のエリアを指定して、感情ヒートマップの生成を指示する。

0083

ここで、本実施形態による感情ヒートマップの一例を図8に示す。図8左に示す感情ヒートマップ42は、ベースルート沿いの一定範囲のエリアにおける各スポットの感性値を用いて生成されたものである。このような感情ヒートマップ42を参照することで、案内情報生成部10cは、各スポットの感性値の高さに応じて複数ユーザに適切な寄り道先を選択することができる。

0084

また、感情ヒートマップ42を生成する際の各スポットの感性値は、複数ユーザの属性(年齢、性別、職業、趣味・嗜好等)と同様の属性の人物と、スポットとの間のインタラクションに基づいて算出された感性値であってもよい。例えば、図8左に示す感情ヒートマップ42では、複数ユーザの属性が例えば「成人(年齢:20以上)」であって、これらと同様の属性を持つ人物(すなわち成人)と、各スポット(上記環境情報マップの生成により抽出された各スポット400、401、402)との間で発生したインタラクションに基づいて算出される感性値が用いられる。これにより、案内情報を提供するユーザと同様の属性を有する人物が楽しく快適に過ごせるスポットを感性値の高さにより把握することができる。

0085

上記各スポットの感性値は、感性サーバ3から取得され得る。具体的には、感情ヒートマップ生成部10dは、各スポット(例えばレストラン「○○○○」、バー「◇◇◇◇」等)のオブジェクトIDをスポット情報サーバ4から取得し、取得したオブジェクトIDと、複数ユーザの属性情報とを併せて感性サーバ3に送信し、感性値の取得を要求する。感性サーバ3側では、感性値算出部30eにより、案内サーバ1からの要求に応じて指定されたオブジェクトIDと指定された属性を持つ人物との間に発生した過去のインタラクション履歴を用いて感性値の算出を行い、算出した感性値を案内サーバ1に返信する。

0086

具体的には、感性値算出部30eは、まず、オブジェクトDB32に格納されているオブジェクト詳細情報を参照して、指定された属性を持つ人物のオブジェクトIDを抽出する。ここで、オブジェクト詳細情報の一例を図9に示す。図9に示すように、オブジェクト詳細情報は、オブジェクトID、オブジェクト名称(氏名、店舗名、商品名等)、オブジェクト種類(人物、レストラン、バー等)、および属性情報(年齢、性別、職業、趣味・嗜好、店のカテゴリ、店の営業時間、店の場所等)を含む。感性値算出部30eは、案内サーバ1から指定された属性が「成人(年齢:20歳以上)」の場合、当該属性を持つオブジェクトとして、人物AAA(オブジェクトID:384)、人物BBB(オブジェクトID:465)、および人物CCC(オブジェクトID:679)を抽出する。次いで、感性値算出部30eは、抽出した人物のオブジェクトIDと、案内サーバ1から要求されたオブジェクトID(スポットのオブジェクトID)との間で発生した過去のインタラクションの情報だけを感性情報DB34から抽出する。若しくは、感性値算出部30eは、先にスポットのオブジェクトIDとの間でインタラクションが検知された人物を抽出し、当該人物の中から指定された属性を持つ人物を抽出することで、所定の属性の人物とスポットとの間で発生した過去のインタラクション情報を抽出してもよい。また、所定のスポットとインタラクションを行った所定の属性を持つ人物を検索する機能を案内サーバ1側に持たせて、感性サーバ3側では、案内サーバ1から指定された人物と所定のスポットとのインタラクション情報を抽出する処理を行ってもよい。ここで、感性情報DB34から抽出されるインタラクション情報の一例を図10に示す。図10に示すように、所定の属性(ここでは一例として「成人(年齢:20歳以上)」)を持つ人物であるオブジェクトと、指定されたスポットであるオブジェクトとの間のインタラクション(この場合、食事/酒の提供や飲食といった行為)の評価値が抽出される。感性値算出部30eは、このように抽出されたインタラクション情報に基づいて、各スポットの感性値を算出する。なお感性値の算出方法は特に限定しないが、例えばインタラクション評価値の平均をとって算出してもよいし、インタラクションが行われた日時に応じて重み付けを行って最近のインタラクションである程影響を大きくするようにしてもよい。

0087

以上説明した各スポットの感性値を用いて、感情ヒートマップ生成部10dは、図8左に示すような感情ヒートマップ42を生成する。図8左に示す感情ヒートマップ42では、各スポット(スポット400、401、402)の感性値が高い程薄い色で示されている。すなわち、スポット402の感性値が最も高く、次にスポット401の感性値が高く、また、スポット400の感性値が最も低いことが分かる。

0088

また、本実施形態による感情ヒートマップ生成部10dは、上述した各スポットの感性値を用いた感情ヒートマップ42の他に、図8右に示すような、周辺エリアで活動する人物の感性値を用いた感情ヒートマップ43を生成することも可能である。感情ヒートマップ43を参照することで、案内情報生成部10cは、感性値が高い、すなわち素性の良い人が集まるエリアと、感性値が低い、すなわち素性の悪い人が集まるエリアとを把握し、複数ユーザに適切な寄り道先を選択することができる。

0089

図8右に示す感情ヒートマップ43は、ベースルート周辺エリアに紐付けられたインタラクション評価に基づいて算出された感性値を用いて生成される。具体的には、感情ヒートマップ生成部10dは、感性サーバ3に対して、ベースルート周辺エリアを指定して、感性値の要求を行う。感性サーバ3の感性値算出部30eは、案内サーバ1からの要求に応じて、指定されたエリアにおいて行われたインタラクション評価だけを感性情報DB34から抽出して、当該エリアで活動する人物の感性値を算出する。ここで、感性情報DB34から抽出したインタラクション情報の一例を図11に示す。図11に示すように、インタラクション情報には、インタラクションを行った(または受けた)オブジェクトを示すオブジェクトIDと、インタラクションが行われた日時および時間と、インタラクションを受けた(または行った)オブジェクトを示す関連オブジェクトIDと、インタラクション種類、詳細、評価値とが含まれる。このように、インタラクション情報にはインタラクションの場所を示す情報が含まれるため、感性値算出部30eは、指定されたエリアで行われたインタラクション情報を抽出することができる。そして、感性値算出部30eは、抽出したインタラクションの評価値に基づいて、所定のエリアの感性値(所定のエリアで活動する人物の感性値であってもよい)を算出する。感性値の算出方法は特に限定しないが、例えばインタラクション評価値の平均をとって算出する方法であってもよい。また、インタラクションが行われた日時に応じて重み付けを行い、最近のインタラクションである程影響を大きくするようにしてもよい。

0090

感情ヒートマップ生成部10dは、感性サーバ3の感性値算出部30eにより算出された所定のエリアで活動する人物の感性値を用いて、図8右に示すような感情ヒートマップ43を生成する。図8右に示す感情ヒートマップ43では、感性値が高いエリア程薄い色で示されている。すなわち、エリア410の感性値が最も高く、次にエリア411の感性値が高く、また、エリア412の感性値が最も低いことが分かる。

0091

以上、感情ヒートマップ生成部10dによる感情ヒートマップの生成について具体的に説明した。なお、感情ヒートマップは、案内サーバ1の感情ヒートマップ生成部10dにより生成される場合に限定されず、ネットワーク経由で外部の情報提供サーバ(不図示)から取得されてもよい。

0092

次に、図6のフローチャートに戻り、ステップS124において、案内情報生成部10cは、環境情報マップおよび感情ヒートマップを統合した統合ヒートマップを取得する。本実施形態による統合ヒートマップについて図12を参照して説明する。

0093

図12は、本実施形態による統合ヒートマップの一例を示す図である。図12に示す統合ヒートマップ45は、図7に示す環境情報マップ40、図8左に示す感情ヒートマップ42、および図8右に示す感情ヒートマップ43を合成して生成されたものである。統合ヒートマップ45を参照することで、案内情報生成部10cは、ベースルートに沿った一定範囲内において、複数ユーザの関係性に適した寄り道先の候補となる各スポットの場所と、各スポットの感性値の高さと、周辺エリアの感性値の高さを把握することができる。例えば図12に示す例では、複数ユーザの関係性に適した寄り道先候補であるスポット400、401、402のうち、スポット401の感性値はスポット400より高いが周辺のエリア412の感性値が低いため、雰囲気や味等が良い店であっても周辺の治安が悪いことが分かる。なお本実施形態による統合ヒートマップは、感情ヒートマップ42および感情ヒートマップ43を合成して生成してもよいし、環境情報マップ40および感情ヒートマップ42または感情ヒートマップ43を合成して生成してもよい。

0094

次いで、ステップS127において、案内情報生成部10cは、統合ヒートマップにおいて総合点が所定の閾値以上のスポットを抽出する。かかるスポットの総合点は、例えば環境情報マップ40の生成時に用いたフィルタ条件にマッチしている程度、感情ヒートマップ42で示されるスポットの感性値、および感情ヒートマップ43で示されるスポット周辺エリアの感性値に基づいて算出される。具体的には、例えば図12に示す統合ヒートマップ45のスポット401は、スポット自体の感性値の他、周辺エリア412の感性値が低いことも考慮されて総合点が算出される。

0095

次に、ステップS130において、案内情報生成部10cは、スポットの総合点が高い順にスポットをソートして、寄り道先の候補リストを生成する。

0096

次いで、ステップS133において、案内情報生成部10cは、生成した寄り道先の候補リストのうち、最も総合点が高いスポットを取得する。

0097

続いて、ステップS136において、案内情報生成部10cは、取得したスポットのカテゴリが、複数ユーザが一定期間内に既に寄り道したカテゴリ(レストラン、バー、動物園等)と同じか否かを判断する。なおスポットのカテゴリは、スポット情報サーバ4から取得し得る。

0098

次に、既に寄り道したカテゴリと同じ場合(S136において「Yes」)、ステップS139において、案内情報生成部10cは、取得したスポットを寄り道先の候補リストから削除する。

0099

次いで、ステップS142において、案内情報生成部10cは、寄り道先の候補リストに他のスポットが残っているか否かを判断する。

0100

次に、他のスポットが残っている場合(S142において「Yes」)、上記S133に戻り、残った寄り道先の候補リストから、最も総合点が高いスポットを再度取得する。これにより、一定期間内にユーザが寄り道をしたスポットと同じカテゴリのスポットに再度案内してしまうことを避けることができる。

0101

一方、他のスポットが残っていない場合(S142において「No」)、ステップS145において、案内情報生成部10cは、スポットを抽出するための上記所定の閾値を所定値だけ下げた上で、上記S127に戻り、新たな閾値を用いてスポットの抽出を行う。

0102

続いて、取得したスポットのカテゴリが一定期間内に既に寄り道したカテゴリと同じでは無い場合(S136において「Yes」)、ステップS148において、案内情報生成部10cは、取得したスポットを寄り道先とする案内情報を生成する。具体的には、案内情報生成部10cは、寄り道先を経由して目的地に到着するルートを案内するための案内情報を生成する。または、案内情報生成部10cは、寄り道先の詳細情報を提示して、ルート変更するか否かをユーザに選択させる案内情報を生成してもよいし、複数のスポットを寄り道先候補として提示してユーザに選択させる案内情報を生成してもよい。また、案内情報生成部10cは、目的地への到着希望時間がユーザにより指定されている場合、残り時間と移動時間から換算して寄り道先における最大滞在可能時間を含む案内情報を生成してもよい。

0103

そして、ステップS151において、案内サーバ1は、生成した案内情報を車両2aに送信する。車両2aでは、当該案内情報が表示部26に表示されたり、スピーカ(不図示)から音声出力されたりする。なお、車両2aは、ユーザが寄り道先に寄らない場合にも、観光名所や特すべきスポットの近くを走行する際には、そのスポットに関する情報を音声または映像にて通知してもよい。また、車両2aが自動走行可能な車両の場合、案内情報(寄り道先を経由する目的地までのルート情報)に従った自動走行が行われ得る。

0104

以上、本実施形態による寄り道先を含む案内情報の生成処理について説明した。続いて、上記S106で示す複数ユーザの関係性の推定処理について、図13を参照して詳細に説明する。

0105

図13は、本実施形態による複数ユーザの関係性の推定処理の詳細を示すフローチャートである。図13に示すように、まず、ステップS203において、案内サーバ1のユーザ特定部10aは、車両2aに人物が搭乗したか否かを判断する。具体的には、車両2aの車内カメラ23により車両2aに搭乗した人物の顔が撮像され、車両2aから撮像画像が送信されるため、ユーザ特定部10aは、当該撮像画像に基づく顔認識により人物の搭乗を判断する。また、ユーザ特定部10aは、車両2aから送信される撮像画像の他、車両2aから送信される搭乗者の音声データ、生体情報の解析に基づいて、人物の搭乗を判断することも可能である。

0106

次に、車両2aに人物が搭乗した場合(S203において「Yes」)、ステップS208において、ユーザ特定部10aは、人物の個人識別を行う。具体的には、ユーザ特定部10aは、撮像された顔画像の解析結果と、人物DBサーバ6に予め登録されている人物情報とを参照して、搭乗者の個人識別を行う。または、ユーザ特定部10aは、搭乗者の音声認識結果や生体情報の解析結果と、人物DBサーバ6に登録されている人物情報とを参照して個人識別を行うことも可能である。

0107

次いで、搭乗者の個人識別が出来た場合(S206において「Yes」)、ステップS209において、関係性推定部10bは、識別した人物の属性を人物DBサーバ6から取得する。人物DBサーバ6に登録されている人物の属性とは、例えば年齢、性別、職業、趣味・嗜好、オブジェクトID等である。

0108

次に、ステップS212において、関係性推定部10bは、識別した搭乗者間(複数ユーザ間)のインタラクション評価に基づく感性値を感性サーバ3から取得する。

0109

一方、搭乗者の個人識別が出来なかった場合(S206において「No」)、ステップS215において、関係性推定部10bは、搭乗者により目的地が入力(または変更)されたか否かを判断する。

0110

次いで、目的地が入力された場合(S215において「Yes」)、ステップS218において、関係性推定部10bは、搭乗者の移動の目的を推定する。例えば観光地であれば「レジャー」、会社や仕事と関連する場所であれば「仕事」、スーパーや商店であれば「買い物」、マンションアパート等の個人の家であれば「遊び・用事」であることが推定される。なお関係性推定部10bは、さらに曜日と時間を参照することで、移動の目的の推定確度を上げることができる。

0111

一方、目的地が入力されていない場合(S215において「No」)、ステップS221において、ユーザ特定部10aは、車両2aの車内カメラ23、マイクロホン24、生体センサ27等により検出されたユーザに関する情報(撮像画像、音声データ、生体情報等)を取得する。

0112

次に、ステップS224において、ユーザ特定部10aは、取得したユーザに関する情報を用いた顔認識、音声解析、生体情報解析により、個人識別が出来ない場合でも搭乗者の性別、年代を特定することができる。また、車両2aに深度センサ(不図示)が設けられている場合、深度センサにより検出されたセンサ値を利用して搭乗者の体型データを取得し、性別や年代の推定確度を上げることができる。

0113

続いて、ステップS227において、関係性推定部10bは、個人識別が出来た場合は人物の属性や複数ユーザ間のインタラクション評価に基づく感性値、個人識別が出来なかった場合は推定した移動の目的や、搭乗者の性別・年代を用いて、車両2aに搭乗する複数ユーザの関係性を推定する。

0114

例えば、個人識別により運転席に座る人物が車のオーナーとして事前に登録されている人物であって、当該人物の属性「28歳・男性」が取得され、また、助手席に座る人物の個人識別は出来ないが顔認識により20代の女性であることが推定された場合を想定する。この場合、関係性推定部10bは、これら複数ユーザの関係性を、恋人、友達、会社の上司と部下、家族等の候補に絞る。さらに、関係性推定部10bは、日時、目的地、移動の目的等を考慮して、休日に観光地に向かう場合であれば恋人関係、平日に仕事関係の場所に向かう場合であれば仕事関係と推定することができる。また、関係性推定部10bは、音声データから認識した会話内容を考慮して、複数ユーザの関係性を推定してもよい。

0115

また、複数ユーザの関係性の推定は、上述した属性、感性値、移動の目的、性別・年代に限定されず、例えばカメラ、マイク、生体センサにより検出されたデータに基づく会話内容、声のトーン、車内の雰囲気、新密度等から推定されてもよい。

0116

次いで、ステップS230において、案内情報生成部10cは、関係性が更新されたか否かを判断する。車両2aに搭乗する複数ユーザの関係性の推定は継続的に行われ、新たな人物が搭乗した場合、目的地が変更された場合、車内の雰囲気が変化した場合等に、複数ユーザの関係性が更新される場合がある。案内情報生成部10cは、関係性推定部10bにより新たに複数ユーザの関係性が推定された場合、関係性が更新されたと判断する。

0117

次に、関係性が更新された場合(S230において「Yes」)、ステップS233において、案内情報生成部10cは、寄り道先を含む案内情報の生成(更新)処理を行う。案内情報の生成処理では、主に図6のS109〜S151に示す処理が行われる。

0118

次いで、ステップS236において、案内サーバ1は、車両2aが目的地に到着したか否かを判断し、目的地に到着するまで上記S203〜S233の処理が繰り返される。

0119

以上、本実施形態による複数ユーザの関係性のより具体的な推定処理について説明した。なお本実施形態は上述した処理に限定されず、例えば案内サーバ1の制御部10は、仕事の場合における移動時にはユーザが寄り道を望まないため、予め「寄り道許可モード」を用意し、ユーザが当該モードを選択した場合に、本実施形態による案内情報生成処理を行うようにしてもよい。

0120

また、案内サーバ1の制御部10は、案内した寄り道先に実際にユーザが寄り道したか否か、また、寄り道した場合における滞在時間、車両2aに戻って来てからの笑顔度会話量の変化等に基づいて、推定した関係性や案内した寄り道先の選択が正しかったか否かを判断する。また、その結果に応じて関係性の再推定が必要な場合、関係性推定部10bは複数ユーザの関係性を再度推定する。

0121

さらに、個人識別が出来た場合、案内情報生成部10cは、SNSの履歴やメールの内容に基づいて個人の趣味・嗜好や性格を把握し、より最適な寄り道先を提案することが可能である。具体的には、案内情報生成部10cは、環境情報マップの生成を環境情報マップ生成部10eに指示する際に、個人の趣味・嗜好や性格を反映させたフィルタ条件を与える。

0122

また、感性サーバ3から搭乗者間の過去のインタラクションに基づく感性値を取得して、より細かな関係性(「恋人同士だがケンカ中」等)を推定することができるため、寄り道先を選択する際に細かな関係性を影響させることが可能である。例えば、「恋人同士だがケンカ中」といった関係が推定された場合、仲直りには遊園地などの非日常体験が出来る場所がよいため、案内情報生成部10cは、環境情報マップの生成を環境情報マップ生成部10eに指示する際に、「非日常体験」といったフィルタ条件を与える。

0123

<<4.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、複数ユーザの関係性を考慮して、より最適な案内情報を生成することを可能とする。具体的には、本実施形態による情報処理システムは、複数ユーザの関係性に応じて、目的地までのベースルート付近でスポット(寄り道先)を抽出し、寄り道先を含む案内情報を生成する。

0124

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

0125

例えば、上述した案内サーバ1、車両2a、スマートフォン2b、または感性サーバ3に内蔵されるCPU、ROM、およびRAM等のハードウェアに、案内サーバ1、車両2a、スマートフォン2b、または感性サーバ3の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

0126

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

0127

なお、本技術は以下のような構成も取ることができる。
(1)
共に行動している複数ユーザを特定するユーザ特定部と、
前記特定した複数ユーザの関係性を推定する推定部と、
前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成する生成部と、
を備える、情報処理システム。
(2)
前記ユーザ特定部は、センサにより検出されたユーザに関する情報に基づいて、共に行動している複数ユーザを特定する、前記(1)に記載の情報処理システム。
(3)
前記推定部は、センサにより検知されたユーザに関する情報に基づいて取得された各ユーザの性別、年代に応じて、前記複数ユーザの関係性を推定する、前記(1)または(2)に記載の情報処理システム。
(4)
前記推定部は、センサにより検知されたユーザに関する情報に基づいて取得された雰囲気に応じて、前記複数ユーザの関係性を推定する、前記(1)〜(3)のいずれか1項に記載の情報処理システム。
(5)
前記センサにより検出されたユーザに関する情報は、撮像画像、音声データ、生体情報、および端末間通信データの少なくともいずれかである、前記(2)〜(4)のいずれか1項に記載の情報処理システム。
(6)
前記推定部は、ユーザの感情に関連する情報に応じて、前記複数ユーザの関係性を推定する、前記(1)〜(5)のいずれか1項に記載の情報処理システム。
(7)
前記ユーザの感情に関連する情報は、センサにより検知された検出されたユーザに関する情報に基づいて生成される、前記(6)に記載の情報処理システム。
(8)
前記ユーザの感情に関連する情報は、ユーザの顔を撮像した顔画像に基づく表情解析、音声データに基づく会話内容の解析、声のトーン、および生体情報に基づく心拍数、発汗量、脳波、または体動の少なくともいずれかを用いて生成される、前記(7)に記載の情報処理システム。
(9)
前記推定部は、オブジェクト間のインタラクションの評価値を蓄積して構築された感性値データベースから、前記複数ユーザに対応するオブジェクト間のインタラクション評価値に基づいて算出された感性値を、前記ユーザの感情に関連する情報として取得し、当該感性値に基づいて前記複数ユーザの関係性を推定する、前記(6)に記載の情報処理システム。
(10)
前記推定部は、前記複数ユーザの属性に応じて、前記複数ユーザの関係性を推定する、前記(1)〜(9)のいずれか1項に記載の情報処理システム。
(11)
前記生成部は、前記推定部により推定された前記複数ユーザの関係性に応じて、前記案内情報に含まれる寄り道先を決定する、前記(1)〜(10)のいずれか1項に記載の情報処理システム。
(12)
前記生成部は、感情に関連する情報を位置に紐付けてマッピングした感情ヒートマップを用いて前記案内情報を生成する、前記(1)〜(9)のいずれか1項に記載の情報処理システム。
(13)
前記生成部は、環境に関連する情報を位置に紐付けてマッピングした環境情報マップと、前記感情ヒートマップとを用いて、前記案内情報を生成する、前記(12)に記載の情報処理システム。
(14)
前記環境に関連する情報は、スポット情報である、前記(13)に記載の情報処理システム。
(15)
前記情報処理システムは、
前記生成した案内情報を自動走行可能な車両に送信する送信部をさらに備え、
前記自動走行可能な車両は、前記案内情報としての目的地までのルート情報に従って自動走行制御を行う、前記(1)〜(14)のいずれか1項に記載の情報処理システム。
(16)
前記ルート情報には、目的地へ行く途中の寄り道先が含まれる、前記(15)に記載の情報処理システム。
(17)
前記情報処理システムは、
前記生成された案内情報を情報処理端末に送信する送信部をさらに備え、
前記情報処理端末は、前記案内情報をユーザに提示する、前記(1)〜(16)のいずれか1項に記載の情報処理システム。
(18)
共に行動している複数ユーザを特定部により特定することと、
前記特定した複数ユーザの関係性を推定部により推定することと、
前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成部により生成することと、
を含む、制御方法。

0128

1案内サーバ
10 制御部
10aユーザ特定部
10b関係性推定部
10c案内情報生成部
10d感情ヒートマップ生成部
10e環境情報マップ生成部
11通信部
12 記憶部
2a 車両
20 制御部
21 通信部
22自車両位置取得部
23車内カメラ
24マイクロホン
25操作入力部
26 表示部
27生体センサ
28自動走行制御部
29 記憶部
2bスマートフォン
3感性サーバ
4スポット情報サーバ
5SNSサーバ
6人物DBサーバ
7インターネット
40 環境情報マップ
42、43 感情ヒートマップ
45統合ヒートマップ
400〜402 スポット

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ