図面 (/)

技術 情報処理装置、情報処理方法及びプログラム

出願人 キヤノン株式会社
発明者 穴吹まほろ真継優和
出願日 2011年11月30日 (5年9ヶ月経過) 出願番号 2011-262533
公開日 2013年6月10日 (4年3ヶ月経過) 公開番号 2013-114595
状態 特許登録済
技術分野 検索装置 画像処理 イメージ分析 特定用途計算機
主要キーワード 開き度合い 端末付近 身支度 変化履歴 代表写真 提示端末 程度情報 公共空間

この技術の活用可能性のある市場・分野

関連する未来課題
重要な関連分野

この技術に関連する成長市場

関連メディア astavision

  • 画像診断・生体イメージング

    医療の診断において、非侵襲的あるいは低侵襲的な検査方法として、生体組織を可視化するin vivoイメ…

  • 音声認識・音声合成・ボーカロイド

    米国Apple社は、2011年、iPhone向け知能型音声認識サービスSiriを市場に試験投入して以…

  • 太陽光発電・太陽電池・人工光合成

    2015年4月30日、米国の電気自動車ベンチャーTesla Motors社や宇宙開発ベンチャーSpa…

後で読みたい技術情報を見つけたら、ブックマークしておきましょう!

ページの右上にあるブックマークボタンからこのページをブックマークできます。
あなたがブックマークした技術情報は、いつでもマイページのリストから閲覧することが出来ます。

この項目の情報は公開日時点(2013年6月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

人物情報を得ることに対する関心度に応じた量の情報を提示する。

解決手段

人物認識部102は、撮影された画像データに含まれる人物を認識する。関心度推定部107は、人物認識部102による認識結果に基づいて、情報を得ることに対する人物の関心度を推定する。情報取得部108は、人物に提示する対象となる情報を取得する。情報編集部109は、関心度推定部107により推定された関心度に基づいて、情報取得部108により取得された情報から人物に提示する情報を選択する。情報表示部110は、情報編集部109により選択された情報を出力させる。

背景

自律的に情報提示するプッシュ型情報提示端末において、その端末付近にいる人の状況に応じて情報提示方法切り替える技術が一般に知られている。例えば、特許文献1には、人の移動方向や速度に応じた場所に情報を提示する技術が開示されている。また、特許文献2には、人の見た目移動軌跡等に応じて、その人に表示するデータを判定する技術が開示されている。また、特許文献3には、情報を表示する手段を注視する人の人数に応じて、表示するコンテンツを決定する技術が開示されている。また、特許文献4には、情報の出力手段と人との距離や人の動きに応じて、出力する情報の表示サイズや音量を制御する技術が開示されている。また、特許文献5には、情報表示面前方存在する人の動作に基づいて、表示する情報を選択する技術が開示されている。以上の従来技術を用いることにより、プッシュ型の情報提示端末はその周囲にいる人に応じた内容、場所、サイズ及び音量の情報を提示することができる。

しかしながら、情報提示端末が提示する情報の量が多すぎる場合には、例え情報の内容や提示レイアウトや音量がその周囲にいる人の状況に適切でも、その人に全情報は伝わらなかったり、途中で情報を得ることを止められてしまったりする、という問題があった。逆に、情報提示端末が提示する情報の量が少なすぎる場合には、同じく情報の内容や場所やサイズや音量がその周囲にいる人の状況に適切であっても、その人の情報欲を満たすことができない、という問題があった。

これに対し、特許文献6には、情報提示端末に情報が受信された時刻からの経過時間と情報の受け手ジャンル毎指定する関心度とに基づいて優先度を決定し、その優先度順に情報を提示する技術が開示されている。このような技術を用いれば、情報の特徴(生成日時とジャンル)に応じて提示する情報量を制御することが可能である。

概要

人物の情報を得ることに対する関心度に応じた量の情報を提示する。人物認識部102は、撮影された画像データに含まれる人物を認識する。関心度推定部107は、人物認識部102による認識結果に基づいて、情報を得ることに対する人物の関心度を推定する。情報取得部108は、人物に提示する対象となる情報を取得する。情報編集部109は、関心度推定部107により推定された関心度に基づいて、情報取得部108により取得された情報から人物に提示する情報を選択する。情報表示部110は、情報編集部109により選択された情報を出力させる。

目的

本発明の目的は、人物の情報を得ることに対する関心度に応じた量の情報を提示することにある

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮影された画像データに含まれる人物認識する認識手段と、前記認識手段による認識結果に基づいて、情報を得ることに対する前記人物の関心度推定する推定手段と、前記人物に提示する対象となる情報を取得する取得手段と、前記推定手段により推定された関心度に基づいて、前記取得手段により取得された情報から前記人物に提示する情報を選択する選択手段と、前記選択手段により選択された情報を出力手段において出力させる制御手段とを有することを特徴とする情報処理装置

請求項2

前記認識手段は、前記画像データに含まれる前記人物に該当する領域を検出し、前記推定手段は、前記認識手段により検出された前記人物に該当する領域に基づいて、情報を得ることに対する前記人物の関心度を推定することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記認識手段は、前記画像データに含まれる前記人物の姿勢及び表情のうちの少なくとも何れか一方を認識し、前記推定手段は、前記認識手段により認識された、前記人物の姿勢及び表情のうちの少なくとも何れか一方に基づいて、前記人物の情報を得ることに対する関心度を推定することを特徴とする請求項1又は2に記載の情報処理装置。

請求項4

前記認識手段は、前記画像データに含まれる前記人物の瞳孔の大きさ及び目の大きさのうちの少なくとも何れか一方を認識し、前記推定手段は、前記認識手段により認識された、前記人物の瞳孔の大きさ及び目の大きさのうちの少なくとも何れか一方に基づいて、前記人物の情報を得ることに対する関心度を推定することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。

請求項5

前記推定手段は、前記認識手段により認識された、前記人物の瞳孔の大きさ及び目の大きさのうちの少なくとも何れか一方に基づいて、前記人物の瞳孔の大きさの変化又は瞬き回数計測し、その計測結果に基づいて、前記人物の情報を得ることに対する関心度を推定することを特徴とする請求項4に記載の情報処理装置。

請求項6

前記取得手段は、前記人物に提示する対象となる各情報に対して優先順位を設定し、前記選択手段は、前記各情報に対して設定された優先順位と前記推定手段により推定された関心度に基づいて、前記人物に提示する情報を選択することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。

請求項7

前記選択手段は、前記推定手段により推定された前記人物の情報を得ることに対する関心度が高い程、高い優先順位が設定された情報から順に多くの情報を選択することを特徴とする請求項6に記載の情報処理装置。

請求項8

前記画像データに含まれる前記人物を識別する識別手段を更に有し、前記推定手段は、前記識別手段による識別結果に基づいて、情報を得ることに対する前記人物の関心度の推定方法切り替えることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。

請求項9

前記推定手段は、前記認識手段により認識された前記画像データに含まれる前記人物の数に基づいて、情報を得ることに対する前記人物の関心度の推定方法を切り替えることを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。

請求項10

前記推定手段は、前記人物の情報を得ることに対する関心度を推定するタイミングに基づいて、情報を得ることに対する前記人物の関心度の推定方法を切り替えることを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。

請求項11

前記推定手段は、時刻tにおける関心度を、時刻tにおける前記認識手段による認識結果、又は、時刻tまでの前記認識手段による認識結果の履歴に基づいて推定することを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。

請求項12

前記認識手段は、前記画像データに含まれる前記人物の視線を認識し、前記推定手段は、前記人物の視線が前記出力手段に向けられる場所頻度及び時間のうちの少なくとも何れか一つに基づいて、情報を得ることに対する前記人物の関心度を推定することを特徴とする請求項1に記載の情報処理装置。

請求項13

前記推定手段は、前記人物の視線が前記出力手段に向けられる場所、頻度及び時間のうちの少なくとも何れか一つに基づいて、前記出力手段における領域毎に情報を得ることに対する前記人物の関心度を推定し、前記選択手段は、前記推定手段により推定された関心度に基づいて、前記出力手段における前記領域毎に前記人物に提示する情報を選択することを特徴とする請求項12に記載の情報処理装置。

請求項14

情報処理装置によって実行される情報処理方法であって、撮影された画像データに含まれる人物を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、情報を得ることに対する前記人物の関心度を推定する推定ステップと、前記人物に提示する対象となる情報を取得する取得ステップと、前記推定ステップにより推定された関心度に基づいて、前記取得ステップにより取得された情報から前記人物に提示する情報を選択する選択ステップと、前記選択ステップにより選択された情報を出力手段において出力させる制御ステップとを有することを特徴とする情報処理方法。

請求項15

撮影された画像データに含まれる人物を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、情報を得ることに対する前記人物の関心度を推定する推定ステップと、前記人物に提示する対象となる情報を取得する取得ステップと、前記推定ステップにより推定された関心度に基づいて、前記取得ステップにより取得された情報から前記人物に提示する情報を選択する選択ステップと、前記選択ステップにより選択された情報を出力手段において出力させる制御ステップとをコンピュータに実行させるためのプログラム

技術分野

0001

本発明は、人物情報を得ることに対する関心度に応じて提示する情報を制御する技術に関するものである。

背景技術

0002

自律的に情報を提示するプッシュ型情報提示端末において、その端末付近にいる人の状況に応じて情報提示方法切り替える技術が一般に知られている。例えば、特許文献1には、人の移動方向や速度に応じた場所に情報を提示する技術が開示されている。また、特許文献2には、人の見た目移動軌跡等に応じて、その人に表示するデータを判定する技術が開示されている。また、特許文献3には、情報を表示する手段を注視する人の人数に応じて、表示するコンテンツを決定する技術が開示されている。また、特許文献4には、情報の出力手段と人との距離や人の動きに応じて、出力する情報の表示サイズや音量を制御する技術が開示されている。また、特許文献5には、情報表示面前方存在する人の動作に基づいて、表示する情報を選択する技術が開示されている。以上の従来技術を用いることにより、プッシュ型の情報提示端末はその周囲にいる人に応じた内容、場所、サイズ及び音量の情報を提示することができる。

0003

しかしながら、情報提示端末が提示する情報の量が多すぎる場合には、例え情報の内容や提示レイアウトや音量がその周囲にいる人の状況に適切でも、その人に全情報は伝わらなかったり、途中で情報を得ることを止められてしまったりする、という問題があった。逆に、情報提示端末が提示する情報の量が少なすぎる場合には、同じく情報の内容や場所やサイズや音量がその周囲にいる人の状況に適切であっても、その人の情報欲を満たすことができない、という問題があった。

0004

これに対し、特許文献6には、情報提示端末に情報が受信された時刻からの経過時間と情報の受け手ジャンル毎指定する関心度とに基づいて優先度を決定し、その優先度順に情報を提示する技術が開示されている。このような技術を用いれば、情報の特徴(生成日時とジャンル)に応じて提示する情報量を制御することが可能である。

先行技術

0005

特開2005−309537号公報
特開2006−113711号公報
特開2007−265125号公報
特開2009−277097号公報
特開2010−176510号公報
特許第3565288号公報

発明が解決しようとする課題

0006

しかしながら、情報量の多い、少ないが判断される基準は、情報の特徴だけに限らない。例えば、情報提示端末の付近にいる人がその場にいられる時間も、情報量の多い、少ないが判断される基準となる。情報提示端末の付近にいられる時間が非常に短ければ、例え関心のあるジャンルの情報でも、情報の受け取り手は一目で情報全体を把握できなければ情報量が多いと判断し得る。逆に、情報提示端末の付近にいなければならない時間が非常に長ければ、例え関心のないジャンルの情報でも、情報の受け取り手はある程度の分量がなければ、情報量が少ないと判断し得る。同様にして、情報の受け取り手となる人が、情報を得ること以外の行動にどの程度専念しているかも、情報量の多い、少ないを判断する基準となる。情報提示端末からどんなに関心を引く情報が提示されていたとしても、その情報の受け取り手が一緒にいる友人と話しこんでいたり、化粧をしていたりすれば、一目で情報全体を把握できなければ情報量が多いと判断され得る。つまり、情報量の多い、少ないが判断される基準には、情報の受け取り手の状況(情報提示受けられる時間や集中度)もあるといえる。

0007

そこで、本発明の目的は、人物の情報を得ることに対する関心度に応じた量の情報を提示することにある。

課題を解決するための手段

0008

本発明の情報処理装置は、撮影された画像データに含まれる人物を認識する認識手段と、前記認識手段による認識結果に基づいて、情報を得ることに対する前記人物の関心度を推定する推定手段と、前記人物に提示する対象となる情報を取得する取得手段と、前記推定手段により推定された関心度に基づいて、前記取得手段により取得された情報から前記人物に提示する情報を選択する選択手段と、前記選択手段により選択された情報を出力手段において出力させる制御手段とを有することを特徴とする。

発明の効果

0009

本発明によれば、情報を得ることに対する人物の関心度に応じた量の情報を提示することが可能となる。

図面の簡単な説明

0010

第1の実施形態に係る情報提示詳細度制御装置の構成を示す図である。
第1の実施形態に係る情報提示詳細度制御装置の処理を示すフローチャートである。
第2の実施形態に係る情報提示詳細度制御装置の構成を示す図である。
第2の実施形態に係る情報提示詳細度制御装置の処理を示すフローチャートである。
第3の実施形態に係る情報提示詳細度制御装置の構成を示す図である。
情報編集部による編集結果の例に示す図である。
情報編集部による編集結果の例に示す図である。
第3の実施形態に係る情報提示詳細度制御装置の処理を示すフローチャートである。

実施例

0011

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

0012

先ず、本発明の第1の実施形態について説明する。第1の実施形態に係る情報提示詳細度制御装置は、家庭内の例えばリビングに設置されるプッシュ型の情報提示端末に適用されるものである。

0013

図1は、第1の実施形態に係る情報提示詳細度制御装置100の構成を示す図である。図1に示すように、第1の実施形態に係る情報提示詳細度制御装置100は、映像撮影部101、人物認識部102、認識結果履歴保持部106、関心度推定部107、情報取得部108、情報編集部109及び情報表示部110を備える。なお、人物認識部102は、人物検出部103、表情認識部104及び姿勢認識部105を備える。なお、情報提示詳細度制御装置100は、情報処理装置の適用例となる構成である。

0014

映像撮影部101は、情報提示詳細度制御装置100の周囲を撮影するカメラである。複数のカメラによって映像撮影部101を構成し、情報提示詳細度制御装置100の周囲を広い範囲で撮影するようにしてもよい。また、魚眼レンズ付カメラによって映像撮影部101を構成し、1台のカメラのみで情報提示詳細度制御装置100の周囲を広い範囲で撮影するようにしてもよい。さらに、映像撮影部101を標準的なレンズを備えた1台のカメラのみで構成し、情報提示詳細度制御装置100の周囲の限られた範囲だけを撮影するようにしてもよい。第1の実施形態に係る情報提示詳細度制御装置100は、家庭内に設置されるプッシュ型の情報提示端末に適用されるものであるため、映像撮影部101によって撮影される画像データには、家庭内を行き来する人物の姿が含まれることになる。映像撮影部101によって撮影された画像データは人物認識部102に対して出力される。

0015

人物認識部102は、映像撮影部101から画像データを入力し、入力した画像データに含まれる人物を認識する処理を行う。即ち、人物検出部103、表情認識部104及び姿勢認識部105において、その処理が行われる。認識結果は、その認識処理が行われた時刻を示す情報とともに認識結果履歴保持部106に対して出力される。

0016

人物検出部103は、映像撮影部101から画像データを入力する。そして人物検出部103は、入力した画像データから人物に該当する領域を検出する。この処理は、例えば、映像撮影部101から入力した画像データから、人物の顔や頭部等の人物に起因する特徴を検出することによって実現される。人物に起因する特徴としては、ここでは局所領域における勾配方向ヒストグラム化した特徴量であるHistograms of Oriented Gradients(HOG)等を利用する。人物に起因する特徴は、人物を含む画像データを多量に集めて、それらに含まれる特徴量に共通するものを、例えばBoostingと呼ばれるアルゴリズムを用いて統計的に学習することによって決定される。このようにして決定される人物に起因する特徴が、映像撮影部101から入力された画像データに含まれていれば、人物検出部103は「特徴の検出された領域から人物が検出された」と認識する。人物が検出されると、人物に該当する領域の画像データが表情認識部104及び姿勢認識部105に対して出力される。同時に、人物に該当する領域の位置とその領域の大きさとを示す情報が、人物検出処理が行われた時刻を示す情報とともに、人物検出部103から認識結果履歴保持部106に対して出力される。

0017

表情認識部104は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の表情を認識する。例えば、表情認識部104は、予め具体的な表情をとらえた複数の画像データ群を用意しておく。そして、表情認識部104は、人物に該当する領域の画像データに含まれる人物の表情が、上記複数の画像データ群のうちの、どの群にどの程度類似しているかを認識する。本実施形態においては、「ポジティブ激しい感情の表情(喜)」、「ポジティブで落ち着いた感情の表情(楽)」、「ネガティブで激しい感情の表情(怒)」、「ネガティブで落ち着いた感情の表情(哀)」、「特に感情のないニュートラルな表情」の5つの表情をとらえた画像データ群を予め用意しておくものとする。表情の認識処理では、先ず表情認識部104は、人物に該当する領域の画像データから人物に起因する特徴が検出される領域を特定する。この特定処理においては、先に挙げたHOG等の特徴量が用いられる。次に表情認識部104は、特定した領域を正規化した画像データが、先に述べた5つの表情毎に用意された複数の画像データ群のうち、どの画像データ群にどの程度類似しているかを判定する。例えば、「ポジティブで激しい感情の表情(喜)」の画像データ群と、「特に感情のないニュートラルな表情」の画像データ群とを分別する判別軸を、線形判別分析(LDA:Linear Discriminant Analysis)を用いて作成しておく。そして表情認識部104は、その判別軸を用いて、正規化した画像データがどちらの画像データ群により類似しているかを判定する。これを各表情に対応する複数の画像データ群間での比較を繰り返すことにより、人物に該当する領域の画像データに含まれる人物の表情が、予め用意された5つの表情のうち、どの表情にどの程度類似しているかを認識することができる。

0018

また表情認識部104は、人物に該当する領域の画像データから人の感情が表出する特徴を認識してもよい。例えば、瞳孔の大きさの変化や瞬き回数には人の興味や関心度が表出することが知られている。従って、表情認識部104は、後述する関心度推定部107にて瞳孔の大きさの変化や瞬きの回数を計測できるように、瞳孔の大きさや目の大きさ(開き度合い)を認識する。この認識処理では、表情認識部104は、人物に該当する領域の画像データから人物の顔に起因する特徴が検出される領域を特定する。続いて表情認識部104は、当該領域からパターンマッチング等により目の領域を特定する。そして表情認識部104は、特定した目の領域に対して瞳孔パターン検出処理や目の輪郭抽出処理を行う。そして最後に、表情認識部104は、人物に該当する領域の画像データにおける瞳孔の大きさや目の輪郭の形状(開いている形状か閉じている形状か)を示す情報を、認識結果として生成する。表情認識部104の認識結果は、その認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部106に対して出力される。

0019

姿勢認識部105は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。ここでの姿勢とは、「人体を構成する身体パーツ同士の相対的な位置姿勢関係」や「映像撮影部101に対する各身体パーツの位置姿勢」である。この認識処理では、姿勢認識部105は、人物に該当する領域の画像データから、予め用意された人体を構成する身体パーツに起因する特徴を探索する。身体パーツとは、例えば、顔、頭、手、腕、足、、肩、、背中等である。それぞれは、撮影される向きによって特徴が異なるので、例えば顔に関しては、正面顔パーツ、横顔パーツ、下向き顔パーツ等と、方向別に複数の特徴が用意され、それらが探索される。このような探索により、画像データに含まれる身体パーツの領域上での位置及び姿勢(画像データ上での回転)が得られる。

0020

得られた各身体パーツの位置及び姿勢は、姿勢を「人体を構成する身体パーツ同士の相対的な位置姿勢関係」とする場合には、基準となる身体パーツ(例えば頭)の位置を基準にした、画像データ上における各身体パーツの位置及び姿勢として表現される。例えば、「右の肩が頭に対して映像領域上で(X、Y)画素だけ離れた位置に、X軸に対してθ度回転した姿勢である」場合に、右の肩の位置姿勢が(X、Y、θ)と表現される。

0021

姿勢を「映像撮影部101に対する各身体パーツの位置姿勢」とする場合には、得られた各身体パーツの位置及び姿勢と、画像データ上における各身体パーツの大きさとから、その「映像撮影部101に対する各身体パーツの位置及び姿勢」が算出される。例えば、「映像撮影部101に対する頭の位置及び姿勢」を算出する場合、姿勢認識部105は、人物検出部103が人物の足先に起因する特徴を検出した領域から、映像撮影部101によって撮影された画像データ中におけるその人物が立つ位置を決める。ここで、映像撮影部101の地面からの高さが既知であれば、撮影された画像データ中における人物の立つ位置から映像撮影部101と人物との位置関係が求められる。さらにここで、映像撮影部101によって撮影された画像データに含まれる人物がほぼ直立している(その人物の足元の真上に頭がある)という前提が成り立つとする。そうすると、映像撮影部101と人物との位置関係と、映像撮影部101によって撮影された画像データ中における人物の頭の位置とから、映像撮影部101に対する頭の位置を決定することができる。人物が直立している前提の妥当性は、身体パーツ同士の位置関係に基づいて評価すればよい。その結果、別の姿勢(例えば側屈をしている)であると評価されるのであれば、それを考慮して映像撮影部101と人物の頭との位置関係を求めればよい。次に、頭の姿勢であるが、例えば下記の非特許文献に開示されるような方法を用いればよい。即ち、姿勢認識部105は、一般的な3次元仮想頭部モデル仮想カメラに対して姿勢を変化させながら、その仮想カメラから撮影される画像データを生成する。姿勢認識部105は、生成された仮想頭部の画像データと、映像撮影部101によって撮影された画像データ中における人物の頭の画像データとを比較する。そして姿勢認識部105は、両者がある基準でほぼ同等の画像データになるまで、仮想頭部モデルを仮想カメラに対して姿勢を変化させる。そうすると、最終的に両者がほぼ同等の画像データになったときの仮想頭部モデルの仮想カメラに対する姿勢が、映像撮影部101に対する人物の頭部の姿勢となる。
<非特許文献>Philip DeCamp. (2007) HeadLock: Wide−Range Head Pose Estimation for Low Resolution Video. M.Sc. in Media Arts and Sciences Thesis.

0022

以上のようにして得られる姿勢認識部105の認識結果は、その認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部106に対して出力される。

0023

なお、人物認識部102は、人物検出部103、表情認識部104及び姿勢認識部105以外の構成要素を有してもよい。例えば映像撮影部101によって撮影される画像データに含まれる人物の行動を認識する行動認識部を備えてもよい。その認識結果も、その認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部106に対して出力される。

0024

認識結果履歴保持部106は、人物認識部102の人物認識結果(人物検出部103の検出結果、表情認識部104の認識結果、及び、姿勢認識部105の認識結果を含む)を、それぞれの検出又は認識がなされた時刻を示す情報とともに保持する。認識結果履歴保持部106において保持される人物認識結果は、後述する関心度推定部107により参照される。

0025

関心度推定部107は、認識結果履歴保持部106に保持される人物認識部102の人物認識結果を参照し、映像撮影部101によって撮影される画像データに含まれる人物の状況から、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。時刻tにおける関心度は、時刻tにおいて行われた人物認識処理の結果、又は、時刻t−t0から時刻tまでの間に行われた人物認識処理の結果の変化に応じて推定される。

0026

まず、時刻tにおける関心度を、時刻tにおいて行われた人物認識処理の結果に応じて推定する場合について説明する。この場合、人物認識部102の時刻tにおける人物認識結果の値を予め設定される評価関数代入し、これにより評価関数から得られる出力値を時刻tにおける関心度の推定結果とする。

0027

一つの例としての評価関数は、例えば人物検出部103の検出結果である人物が検出された領域の位置と、映像撮影部101によって撮影された画像データの中心との距離が短いほど、高い関心度を推定値として出力する。他の例の評価関数として、人物検出部103の検出結果である人物が検出された領域のサイズが大きいほど、高い関心度を推定値として出力する評価関数が挙げられる。この二例のような評価関数を用いる場合、情報提示詳細度制御装置100の近くに人がいるほど、高い関心度が推定値として出力される。即ち、関心度推定部107は、「人がプッシュ型の情報提示端末の近くにいるという状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

0028

さらに他の評価関数の例として、表情認識部104の出力がよりポジティブでより穏やかなほど、高い関心度を推定値として出力する評価関数が挙げられる。この例における評価関数の場合、情報提示詳細度制御装置100の近くにいる人がリラックスした表情(ポジティブで落ち着いた感情の表情)をしているほど、高い関心度を推定することとなる。つまり、関心度推定部107は、「人がリラックスした表情をしているという状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

0029

さらに他の評価関数の例として、姿勢認識部105の出力が身体パーツの位置関係である場合、姿勢認識部105の出力から基準となる頭に対して両肩や両手等がそれぞれ左右バランスよく離れていると判定できると、高い関心度を推定値として出力する評価関数が挙げられる。この例の評価関数では、情報提示詳細度制御装置100の近くにいる人が映像撮影部101に対して正対しているほど、高い関心度を推定することとなる。つまり関心度推定部107は、「人がプッシュ型の情報提示端末に正対しているという状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。なお、単に「頭を対する両肩や両手などの左右バランス」だけで関心度を推定しては、映像撮影部101に対して背を向けている場合にも「高い関心度がある」と推定してしまう。このようなケース対処すべく、認識結果履歴保持部106に保持される時刻tにおける人物認識結果に「顔」の認識結果がなければ、関心度推定部107は、映像撮影部101に対して背を向けていると判定して、低い関心度を出力してもよい。また、仮に「顔」の認識結果が含まれていたとしても、それが「横顔」や「下向き顔」であれば、関心度推定部107は、その人の視線は映像撮影部101を含む情報提示端末に向いていなかったとして、低い関心度を出力してもよい。姿勢認識部105の出力が映像撮影部101に対する各身体パーツの位置及び姿勢である場合にも同様でよい。即ち、関心度推定部107は、映像撮影部101と各身体パーツとの位置関係から、人が情報提示詳細度制御装置100の適用されるプッシュ型の情報提示端末に対してより正対していると判断できれば、より高い関心度を推定値として出力する。特に、頭の向きが、映像撮影部101に対してどの程度正対しているかを評価することは、その人がどの程度視線を向けているかの評価になるので、人がどの程度視線を向けているかに応じた関心度の推定を実現できる。

0030

次に、時刻tにおける関心度を、時刻t−t0から時刻tまでの間に行われた人物認識結果に応じて推定する場合について説明する。これは、人物認識部102の時刻t−t0から時刻tまでに間における人物認識結果の値の変化速度履歴を、予め設定しておく評価関数に代入したときに得られる出力値を、時刻tにおける関心度の推定結果とする場合に関する。

0031

この評価関数は、例えば人物検出部103によって検出された人物に該当する領域の位置の移動速度が遅いほど、高い関心度を推定値として出力する。また例えば、人物検出部103によって検出された人物に該当する領域のサイズの変化速度が遅いほど、評価関数は高い関心度を推定値として出力する。この二例のような評価関数を用いる場合は、情報提示詳細度制御装置100に人がゆっくり近づく、又はゆっくり遠ざかるほど、高い関心度が推定値として出力される。プッシュ型の情報提示端末に人がゆっくりと近づく、又はゆっくり遠ざかるという状況は、その人が情報提示端末の付近にいられる時間が長いという状況である。即ち、関心度推定部107は、「人がプッシュ型の情報提示端末の付近にいられる時間が長い状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

0032

また、他の評価関数の例として、表情認識部104の出力の変化速度が大きいほど、高い関心度を推定値として出力する評価関数が挙げられる。この場合、情報提示詳細度制御装置100の近くにいる人の表情の変化が大きいほど、高い関心度を推定することとなる。人の表情に表出する内面(感情)に変化があるという状況は、その人が何かの刺激に対して反応している状況である。従って、関心度推定部107は、「人がプッシュ型の情報提示端末の付近で何らかの刺激に対して反応している状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定する。

0033

また、他の評価関数の例として、表情認識部104の出力である瞳孔の大きさと目の大きさ(開き度合い)の、時刻t−t0から時刻tまでの変化履歴に応じて関心度を推定値として出力する評価関数が挙げられる。人が覚醒すると瞳孔は大きくなり、人が注意や集中した状態では瞬きの回数が減ることが一般に知られているので、時刻t−t0から時刻tまでに、瞳孔の大きさが大きくなったり、瞬きの回数が減ったりするほど、高い関心度を評価関数は出力すればよい。即ち、関心度推定部107は、「人が瞳孔を大きくしたり瞬きを減らしたりする状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

0034

また、他の評価関数の例として、姿勢認識部105の出力である身体パーツの位置関係の変化速度が遅いほど、高い関心度を推定値として出力する評価関数が挙げられる。この場合、情報提示詳細度制御装置100の近くにいる人の姿勢の変化が遅いほど、即ち動作が遅いほど、高い関心度を推定することとなる。人がプッシュ型の情報提示端末の傍でゆっくりと動作する状況は、時間的に余裕があるという状況である。従って、関心度推定部107は、「人がプッシュ型の情報提示端末の付近で時間的に余裕があるという状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。逆に言えば、人がプッシュ型の情報提示端末のそばで早く動く状況は、情報を得ること以外の行動に行っている状況である。よって関心度推定部107は、「人がプッシュ型の情報提示端末の付近で情報を得ること以外の行動に行っている状況は、その人が情報提示に対してあまり関心を持っていないことを示している」という仮定の下で、情報提示に関する人の関心度を推定する。

0035

さらに他の評価関数の例として、姿勢認識部105の出力である「映像撮影部101に対する頭部パーツの位置姿勢」の、時刻t−t0から時刻tまでの変化履歴に応じて関心度を推定値として出力する評価関数が挙げられる。これは、映像撮影部101と情報表示部110との位置関係が固定で事前に計測可能である場合には、「映像撮影部101に対する頭部パーツの位置姿勢」から「情報表示部110に対する頭部パーツの位置姿勢」を算出できることに基づくものである。「情報表示部110に対する頭部パーツの位置姿勢」を算出することができれば、それより人の視線方向が情報提示位置に向けられた頻度や時間を計測できるので、その頻度や時間が多いほど、評価関数は高い関心度を推定すればよい。即ち、関心度推定部107は、「人がプッシュ型の情報提示端末に対して視線を向ける頻度や時間が多い状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

0036

なお、上記に述べたような評価関数の中身が時刻tに応じて変わってもよい。即ち、同じ人物認識結果に対しても、評価関数を用いる(関心度を推定する)時刻tが午前中の時間帯であるときと、午後の時間帯であるときとでは、出力値が異なるような評価関数であってもよい。さらには、時間だけではなく日時や曜日等のタイミングに応じて出力値が異なるような評価関数であってもよい。

0037

ここまでに、人がどの程度、情報取得に対して関心を持っているかを示す関心度の推定方法について複数の例を挙げて説明したが、それらによる推定結果を組み合わせて、総合的に人の関心度を推定しても勿論よい。

0038

関心度推定部107は、以上説明した評価関数等を用いて、認識結果履歴保持部106に記録される人物認識部102の人物認識結果を参照し、映像撮影部101によって撮影された画像データに含まれる人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。この推定結果は、情報編集部109に対して出力される。

0039

情報取得部108は、情報提示詳細度制御装置100の適用されるプッシュ型の情報提示端末から発信される情報を取得する。即ち、情報取得部108は、その時刻の天気予報情報ニュース情報ネットワーク上から取得する。その際、情報取得部108は、単に天気予報ニュースの内容を説明するテキスト映像を取得するだけでなく、その情報の構造情報も合わせて取得する。ここでの構造情報とは、情報を構成するテキストや映像それぞれが、「見出し」、「本文」、「サマリー」、「キャプション」、「図」、「写真」、「代表写真」といった構造のどれに当たるかを示す情報である。情報取得部108は、構造情報を得ると、情報としての詳細さと重要度とを基準にして、それらに情報として提示する優先順位を付ける。例えば、「見出し」>「サマリー」>「写真」+「キャプション」>「本文」>「図」といたように優先順位を付ける。このような優先順位のついた構造情報、及び、情報の内容を説明するテキストや映像は、情報編集部109に対して出力される。なお、取得した情報に、例えば「本文」のような詳細な情報のみしか含まれていなかった場合、情報取得部108が「本文」を簡略化した情報を生成してもよい。例えば、「本文」とされる情報の、各段落の最初の1行のみを集めることで「サマリー」を生成したり、最初の1行を「見出し」として生成してもよい。

0040

情報編集部109は、関心度推定部107から入力される関心度に応じて、情報取得部108から入力される情報を編集する。それには先ず、関心度が低いほど、情報取得部108で設定された「情報として提示する優先順位」のより高いもののみが提示される情報として選択される。ここで仮に関心度が5段階で推定されているとすると、関心度が1(低い)であれば、優先順位1位の情報のみ、例えば「見出し」に相当する情報のみが提示される情報として選択される。同様に、関心度が2であれば、優先順位が2位までの情報、例えば「見出し」と「サマリー」とに相当する情報のみが提示される情報として選択される。そして関心度が5(高い)であれば、全ての情報が提示される情報として選択される。情報編集部109は、関心度推定部107より受け取る関心度に応じて、情報提示詳細度制御装置100の適用されるプッシュ型の情報提示端末の傍にいる人に提示する情報を選択すると、選択した情報の表示レイアウトを行う。そして、レイアウトされた情報は情報表示部110に対して出力される。

0041

情報表示部110は、例えばスピーカ付のディスプレイプロジェクタ等で構成され、情報編集部109より出力される情報を表示する。情報提示詳細度制御装置100の適用されるプッシュ型の情報提示端末の傍にいる人に対して、情報を提示することができる。

0042

以上のように、第1の実施形態に係る情報提示詳細度制御装置100は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況から推定される、その人の情報提示に対する関心度に応じた量の情報を提示することができる。先に述べたように、第1の実施形態に係る情報提示詳細度制御装置100は、家庭内の例えばリビングに設置されるプッシュ型の情報提示端末に適用されるものである。故に、家庭内を移動する人に対して、その人の状況から推定される、その人の情報提示に対する関心度に応じた量の情報を提示することができる。例えば、身支度をしながら忙しく情報提示端末の傍を行き来する人に対しては、人物認識部102は「その人の移動速度が速い」、「あまり情報提示端末に正対しない」、「表情はノーマル」、「姿勢の変化(手足の動きなど)が早い」といった状況を認識する。関心度推定部107は、それに応じて情報提示に対する低い関心度を推定するので、情報編集部109は優先順位の高い情報、例えば「見出し」のみを選択し、それが情報として提示されることとなる。「見出し」のみという少ない量で情報が提示されれば、朝の身支度で忙しくしている人でも、その情報を知覚しやすくなる。また例えば、夜に帰宅してゆっくりとくつろぎながらリビングで休む人に対しては、人物認識部102は「その人の移動速度が遅い」、「比較的情報提示端末に正対している」、「表情がリラックスしている」、「姿勢の変化があまりない」といった状況を認識する。関心度推定部107はそれに応じて情報提示に対する高い関心度を推定するので、情報編集部109が優先順位の低い情報まで、即ち、「見出し」から「本文」から補足情報の「図」までを選択し、それが情報として提示されることとなる。

0043

次に、図2に示すフローチャートを参照しながら、第1の実施形態に係る情報提示詳細度制御装置100の処理について説明する。

0044

ステップS201において、映像撮影部101は撮影する。これにより、情報提示詳細度制御装置100の周囲が撮影される。撮影された画像データは、人物認識部102内の人物検出部103に対して出力される。

0045

ステップS202において、人物検出部103は、映像撮影部101によって撮影された画像データから人物を検出する。具体的には、映像撮影部101によって撮影された画像データから人物の顔や頭部等の人物に起因する特徴が人物検出部103によって検出される。人物に起因する特徴が、映像撮影部101によって撮影された画像データに含まれていれば、人物検出部103は、「特徴の検出された領域から人物が検出された」と認識する。人物が検出されると、人物に該当する領域の画像データが表情認識部104及び姿勢認識部105に出力される。同時に、人物に該当する領域の位置及びサイズを示す情報が、人物検出処理が行われた時刻を示す情報とともに、人物検出部103から認識結果履歴保持部106に対して出力される。ステップS203において、人物検出部103は、映像撮影部101によって撮影された画像データから人物が検出されたか否かを判定する。人物が検出された場合、処理はステップS204に移行する。一方、人物が検出されていない場合、処理はステップS202に戻る。

0046

ステップS204において、表情認識部104は、人物に該当する領域の画像データを入力し、当該画像データに含まれる人物の表情を認識する。この認識処理では、先ず表情認識部104は、人物に該当する領域の画像データから、人物の顔に起因する特徴が検出される領域を特定する。次に表情認識部104は、特定した領域を正規化した画像データが、5つの表情別に予め用意された複数の画像データ群のうち、どの画像データ群にどの程度類似しているかを判別する。また、表情認識部104は、特定した領域に対して瞳孔パターンの検出処理や目の輪郭の抽出処理を行い、瞳孔の大きさや目の輪郭領域の形状(開いている形状か閉じている形状か)を情報化する。表情認識部104の認識結果は、その認識処理が行われた時刻を示す情報とともに、表情認識部104から認識結果履歴保持部106に対して出力される。

0047

ステップS205において、姿勢認識部105は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。この認識処理では、先ず姿勢認識部105は、人物に該当する領域の画像データから、予め用意された人体を構成する身体パーツに起因する特徴を探索する。これにより、画像データ上における身体パーツの位置及び姿勢(映像上での回転)が得られる。得られた各身体パーツの位置及び姿勢は、姿勢を「人体を構成する身体パーツ同士の相対的な位置姿勢関係」とする場合には、基準となる身体パーツ(例えば頭)の位置を基準にした、画像データ上における各身体パーツの位置及び姿勢として表現される。姿勢を「映像撮影部101に対する各身体パーツの位置及び姿勢」とする場合には、得られた各身体パーツの位置及び姿勢と各身体パーツの大きさとから、姿勢認識部105は、その「映像撮影部101に対する各身体パーツの位置及び姿勢」を算出する。このようにして得られる姿勢認識部105の認識結果は、その認識処理が行われた時刻を示す情報とともに、姿勢認識部105から認識結果履歴保持部106に対して出力される。本実施形態においては、ステップS204の後にステップS205を実行するようにしているが、ステップS205の後にステップS204を実行するようにしてもよいし、ステップS204とステップS205とを同時に実行するようにしてもよい。

0048

ステップS206において、関心度推定部107は、認識結果履歴保持部106に保持される人物認識部102の人物認識結果を参照し、映像撮影部101によって撮影された画像データに含まれる人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。時刻tにおける関心度は、時刻tにおいて行われた人物認識処理の結果、又は、時刻t−t0から時刻tまでの間に行われた人物認識処理の結果の変化や履歴に応じて推定される。その推定結果は、関心度推定部107から情報編集部109に対して出力される。

0049

ステップS207において、情報取得部108は、情報提示詳細度制御装置100の適用されるプッシュ型の情報提示端末から発信される情報を取得する。例えば、情報取得部108は、その時刻の天気予報情報やニュース情報をネットワーク上から取得する。その際、情報取得部108は、単に天気予報やニュースの内容を説明したテキストや映像を取得するだけでなく、その情報の構造情報も併せて取得する。取得された情報は情報編集部109に対して出力される。

0050

ステップS208において、情報編集部109は、関心度推定部107より入力される関心度に応じて、情報取得部108より入力される情報を編集する。ここでの編集とは、情報取得部108より入力される情報の取捨選択である。そして、情報編集部109は、編集した情報をレイアウトする。レイアウトされた情報は、情報表示部110に対して出力される。

0051

ステップS209において、情報表示部110は、例えばスピーカ付のディスプレイやプロジェクタ等において、情報編集部109から入力される情報を表示する。そして、情報提示詳細度制御装置100の適用されるプッシュ型の情報提示端末の傍にいる人に対して情報が提示される。

0052

以上により、情報提示詳細度制御装置100は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況から推定される情報取得に対する関心度に応じた量の情報を提示することができる。

0053

なお、本実施形態では、家庭内に設置されるプッシュ型の情報提示端末に適用されるものとして説明したが、公共空間、例えばショッピングモールに設置されるプッシュ型の情報提示端末に適用されても勿論よい。この場合、プッシュ型の情報提示端末はショッピングモール内を行き交う人に対して提示される情報、例えばショッピングモール内のショップに関する広告情報を提示する。例えば、第1の実施形態に係る情報提示詳細度制御装置100が適用される情報提示端末は、その傍を通る人が「移動速度が速い」、「あまり情報提示端末に正対しない」といった状況であれば、情報提示に対する関心度は低いと推定して、シンプルな広告情報を提示する。逆に、第1の実施形態に係る情報提示詳細度制御装置100の傍を通る人が「移動速度が遅い」、「比較的情報提示端末に正対している」といった状況であれば、情報提示に対する関心度は高いと推定して、詳細な広告情報を提示する。これにより、人の振る舞いに応じた適度な詳細度の広告を、その人に対して提示することができる。

0054

次に、本発明の第2の実施形態について説明する。第2の実施形態に係る情報提示詳細度制御装置も、家庭内の例えばリビングに設置されるプッシュ型の情報提示端末に適用されるものである。

0055

図3は、第2の実施形態に係る情報提示詳細度制御装置300の構成を示す図である。図3において、図1に示した第1の実施形態に係る情報提示詳細度制御装置100と同様の構成については同じ符号を付し、以下において、それらに関する説明を割愛することがある。

0056

人物検出部103は、映像撮影部101より画像データを入力する。そして人物検出部103は、入力した画像データから人物に該当する領域を検出する。なお、人物検出部103が検出する人物は一人とは限らない。撮影された画像データから複数の人物が検出された場合、人物検出部103は、検出した全ての人物に関して検出結果(人物に該当する領域の画像データ)を生成する。各検出結果は表情認識部104、姿勢認識部105及び人物識別部311の夫々に対して出力される。同時に、人物に該当する領域の位置及びサイズを示す情報が、人物検出処理が行われた時刻を示す情報とともに、人物検出部103から認識結果履歴保持部106及び人物識別部311の双方に出力される。

0057

表情認識部104は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の表情を認識する。なお、人物検出部103より複数人分の人物に該当する領域の画像データが出力された場合、表情認識部104は、各画像データに含まれる人物の表情を認識し、各認識結果を認識結果履歴保持部106に対して出力する。

0058

姿勢認識部105は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。なお、人物検出部103より複数人分の人物に該当する領域の画像データが出力された場合、姿勢認識部105は、各画像データに含まれる人物の姿勢を認識し、各認識結果を認識結果履歴保持部106に対して出力する。

0059

人物認識部102は、人物検出部103、表情認識部104及び姿勢認識部105以外の構成要素を保持してもよい。例えば映像撮影部101によって撮影される画像データに含まれる人物の行動を認識する行動認識部を備えてもよい。その認識結果も、当該認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部106に対して出力される。

0060

人物識別部311は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物を識別する。複数人分の人物に該当する領域の画像データを入力した場合、人物識別部311は、各画像データに関して人物を識別する。そのために、人物識別部311は内部に識別対象となる人物の特徴を示すデータを保持する。第2の実施形態に係る情報提示詳細度制御装置300は、家庭内に設置されるプッシュ型の情報提示端末に適用されるものであるから、識別対象となる人物は、例えばその家庭住人となる。人物の特徴を示すデータには、各住人の顔の画像データであったり、身長データであったり、シルエット特徴データであったり、性別データであったり、動きの特徴データであったりする。例えば人物識別部311は、人物に該当する領域の画像データを入力すると、当該画像データから顔領域を探索する。顔領域を探索できた場合、人物識別部311は、当該顔領域の画像データと、内部に保持する識別対象となる人物の顔の画像データと照らし合わせ、どの人物に相当するかを識別する。そして人物識別部311は、どの人物に相当するかを識別することができた場合、その人物を示す情報を識別結果とし、一方、どの人物であるとも識別できない場合、住人以外であることを示す情報を識別結果とする。

0061

なお、人物に該当する領域の画像データから顔領域を検出することができなかった場合、人物識別部311は、他の方法による人物識別を試みる。例えば、人物識別部311は、人物に該当する領域の位置とサイズと示す情報から、検出された人物の身長を推定し、内部に保持される識別対象となる人物の身長データと照らし合わせることにより、どの人物であるかを識別する。映像撮影部101は空間中に固定されるカメラであり、人は宙に浮かず必ず地面に接地していることから、人物に該当する領域の画像データにおける下端の位置より、映像撮影部101に対して人物がどの程度離れた位置にいるかをおおよそ計算することができる。そして検出された人物がほぼ真っすぐに立っているとすれば、人物に該当する領域の画像データにおける上端の位置より、検出された人物のおおよその身長を計算することができる。従って、人物に該当する領域の位置とサイズとを示す情報から、検出された人物の身長を推定し、内部に保持される識別対象の人物の身長データと照らし合わせることにより、どの人物であるかを識別することができる。勿論、識別対象の人物の中に同程度の身長の者が複数いたり、検出された人物が真っすぐに立っていなかったりする場合には、この方法では人物を識別することができない。このような場合には、例えば検出された人物のシルエット形状や、人物に該当する領域の色情報や移動速度等から、どの人物が検出されたかを識別してもよい。ここで、シルエット形状は人物の体格に対応し、人物に該当する領域の色情報は人物の服装性別に対応し、人物に該当する領域の移動速度は人物の動作速度に対応する。第2の実施形態のように、家庭内を行き来する人物を識別する際には、候補となる人物の数は少ないので、そのような特徴を用いるだけでも人物を識別することができる。人物識別部311は、人物検出部103より検出された人物に該当する領域の画像データに含まれる人物を識別すると、この人物識別結果を関心度推定部307に対して出力する。

0062

関心度推定部307は、認識結果履歴保持部106に保持される人物認識部102の認識結果を参照し、映像撮影部101によって撮影される画像データに含まれる人物の状況から、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。具体的には、人物認識部102の時刻tにおける人物認識処理の結果、又は、時刻t−t0から時刻tまでの間に行われた人物認識処理の結果を、予め設定される評価関数に代入したときに得られる出力値を、時刻tにおける関心度の推定結果とする。このとき、関心度推定部307は、評価関数を、人物識別部311より入力される人物識別結果に応じて切り替える。

0063

例えば、関心度推定部307は、時刻tにおける関心度を人物に該当する領域の位置と映像撮影部101によって撮影される画像データの中心との距離が短いほど、高い関心度を推定値として出力するものとする。このとき、人物識別部311より入力される人物識別結果が人物Aであれば、人物Aに該当する領域の位置と映像撮影部101によって撮影された画像データの中心との距離が100画素であるときに関心度5を出力する評価関数を関心度推定部307は利用する。これに対して、人物識別部311より入力される人物識別結果が人物Bであれば、同じ人物Bに該当する領域の位置と映像撮影部101によって撮影された画像データの中心との距離が100画素であるときに関心度3を出力する評価関数を関心度推定部307は利用することになる。これにより、情報提示に対する関心度の表出具合個人差に対応することができる。

0064

また、人物識別部311によって複数の人物が識別された場合、関心度推定部307は、その人数や人の組み合わせに応じても、関心度を推定する評価関数を切り替える。なお、人物識別部311によって複数の人物が識別された場合、認識結果履歴保持部106に保持される時刻tの人物認識結果も複数人分存在する。故に、そのような場合に用いられる評価関数は、複数人分の人物認識結果が入力される関数となる。これは、個別に人物認識結果を取り扱う関数でもよいし、人物認識結果の平均値中央値等の代表値を入力する関数でもよい。

0065

以上のように、関心度推定部307は、人物識別部311からの出力に応じて評価関数を切り替えながら、映像撮影部101によって撮影された画像データに含まれる人物の状況から、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。当該推定結果は情報編集部109に対して出力される。

0066

次に、図4に示すフローチャートを参照しながら、第2の実施形態に係る情報提示詳細度制御装置300の処理について説明する。図4において、図1に示した第1の実施形態に係る情報提示詳細度制御装置100と同様の処理については同じ符号を付し、以下において、それらに関する説明を割愛することがある。

0067

ステップS201は、図2のステップS201の撮影処理と同様の処理である。ステップS202において、人物検出部103は、映像撮影部101によって撮影された画像データから人物を検出する。ここで、人物検出部103が映像撮影部101によって撮影された画像データから検出する人物は一人とは限らない。撮影された画像データより複数の人物が検出された場合、人物検出部103は、検出した全ての人物に関して検出結果(人物に該当する領域の画像データ)を生成する。ステップS203において、人物検出部103は、映像撮影部101によって撮影された画像データから人物が検出されたか否かを判定する。人物が検出された場合、処理はステップS401に移行する。一方、人物が検出されていない場合、処理はステップS202に戻る。

0068

ステップS401において、人物識別部311は、人物に該当する領域の画像データを入力し、当該画像データに含まれる人物を識別する。複数人分の人物に該当する領域の画像データを入力した場合、人物識別部311は各画像データに関して人物を識別する。この識別結果は関心度推定部307に対して出力される。

0069

ステップS204において、表情認識部104は、人物に該当する領域の画像データを入力し、当該画像データに含まれる人物の表情を認識する。ここで、複数人分の人物に該当する領域の画像データを入力した場合、表情認識部104は各画像データに関して人物の表情を認識する。この認識結果は、当該認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部106に対して出力される。

0070

ステップS205において、姿勢認識部105は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。ここで、複数人分の人物に該当する領域の画像データを入力した場合、姿勢認識部105は、各画像データに関して人物の姿勢を認識する。この認識結果は、当該認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部106に対して出力される。

0071

なお、本実施形態においては、ステップS204の後にステップS205を実行するようにしているが、ステップS205の後にステップS204を実行するようにしてもよいし、ステップS204とステップS205とを同時に実行するようにしてもよい。

0072

ステップS402において、関心度推定部307は、認識結果履歴保持部106に保持される人物認識部102の認識結果を参照し、映像撮影部101によって撮影される画像データに含まれる人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。時刻tにおける関心度は、時刻tにおいて行われた人物認識処理の結果、又は、時刻t−t0から時刻tまでの間に行われた人物認識処理の結果の変化に応じて推定される。このとき、関心度推定部307は、こうした評価関数を、人物識別部311より入力される人物識別結果に応じて切り替える。その推定結果は、情報編集部109に対して出力される。

0073

以降のステップS207〜S209の処理は、図2に示した同一符号の処理と同様であるため、説明は割愛する。

0074

以上の処理によって、情報提示詳細度制御装置300は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況に応じた量の情報を、情報提示に対する関心度の表出具合の個人差に対応しながら、提示することができる。

0075

なお、本実施形態でも、家庭内に設置されるプッシュ型の情報提示端末に適用されるものとして述べたが、公共空間、例えばショッピングモールに設置されるプッシュ型の情報提示端末に適用されても勿論よい。この場合、そのプッシュ型の情報提示端末はショッピングモール内を行き交う人々に対して提示される情報、例えばショッピングモール内のショップに関する広告情報を提示する。例えば、本実施形態に係る情報提示詳細度制御装置300が適用される情報提示端末の傍を通る人々が平均的に、「移動速度が速い」、「情報提示端末に正対しない」といった状況であれば、情報提示に対する関心度は低いと推定されて、シンプルな広告情報が提示される。逆に、第2の実施形態に係る情報提示詳細度制御装置300の傍を通る人々が平均的に、「移動速度が遅い」、「比較的情報提示端末に正対している」といった状況であれば、情報提示に対する関心度は高いと推定されて、詳細な広告情報が提示される。これにより、人々の振る舞いに応じた、適度な詳細度の広告を、その人々に対して提示することができる。

0076

次に、本発明の第3の実施形態について説明する。第3の実施形態に係る情報提示詳細度制御装置は、例えば病院等に設置されるプッシュ型の情報提示端末に適用されるものである。

0077

図5は、第3の実施形態に係る情報提示詳細度制御装置500の構成を示す図である。図5において、図1に示した第1の実施形態に係る情報提示詳細度制御装置100と同様の構成については同じ符号を付し、以下において、それらに関する説明を割愛することがある。

0078

映像撮影部101は、情報提示詳細度制御装置300の前を撮影するカメラである。映像撮影部101によって撮影される画像データには、例えば、駅や病院の構内において情報提示端末の前に立ち止まる人物の姿が撮影されることとなる。撮影された画像データは人物認識部102に対して出力される。

0079

人物認識部502は、映像撮影部101より画像データを入力し、入力した画像データに含まれる人物を認識する。本実施形態においては、人物認識部502内の人物検出部103及び姿勢認識部105においてその処理が行われる。人物認識結果は、関心度推定部507に対して出力される。

0080

人物検出部103は、映像撮影部101よって撮影された画像データを入力する。そして人物検出部103は、入力した画像データから人物に該当する領域を検出する。この処理は、例えば、映像撮影部101から入力した画像データから、人物の顔や頭部や足先等の人物に起因する特徴を検出することによって実現される。人に起因する特徴が、映像撮影部101によって撮影された画像データに含まれていれば、人物検出部103は、「特徴の検出された領域から人物が検出された」と認識する。人物が検出されると、検出された人物に該当する領域の画像データが姿勢認識部105に対して出力される。

0081

姿勢認識部105は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。ここでの姿勢とは、映像撮影部101に対する頭部の位置及び姿勢である。その算出方法については第1の実施形態における姿勢認識部105による算出方法と同様である。姿勢認識部105の認識結果は関心度推定部507に対して出力される。

0082

関心度推定部507は、人物認識部502から入力される頭部の位置及び姿勢の認識結果が示す人物の視線方向に基づき、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。

0083

人物認識部502から入力される頭部の位置及び姿勢は、映像撮影部101に対する位置及び姿勢である。後述する情報表示部110と映像撮影部101との相対的な位置及び姿勢の関係は、固定的で事前に計測して既知であるか、動的でも何らかの計測手段により参照で可能であるものとする。すると、関心度推定部507は、映像撮影部101に対する頭部の位置及び姿勢から、情報表示部110に対する頭部の位置及び姿勢を算出することができる。関心度推定部507は、この頭部の方向を視線の方向であると近似して、視線方向と情報表示部110とが交差する点を算出する。即ち、関心度推定部507によって推定される関心度は、この交差点に基づいて行われる。加えて、その関心度は、情報表示部110が情報を提示する面上の座標毎に表現される。つまり、関心度推定部507が推定結果として出力するのは関心度マップである。そして、関心度推定部507は、その関心度マップが、算出した交差点上に関心度の最大値があり、そこから同心円状に離れるにつれて関心度が単調減少するものとなる、と推定する。関心度推定部507は、この推定結果を表現する関心度マップを生成し、情報編集部509に対して出力する。

0084

情報取得部508は、情報提示詳細度制御装置500の適用されるプッシュ型の情報提示端末から発信する情報を、ネットワーク等を通じて外部より取得する。第3の実施形態において情報提示端末から発信する情報は、例えばこの情報提示端末が駅に設置されていれば、情報取得部508は地図上に配置される旅に関する情報を取得する。例えばこの情報提示端末が病院に設置されていれば、情報取得部108は人体の模式図上に配置される体の各部に関する健康情報を取得する。即ち、第3の実施形態における情報取得部508は、地図や人体の模式図といった背景上の領域に紐付けられた情報を複数取得する。併せて、第3の実施形態における情報取得部508は、それら複数の情報を配置する背景を取得する。なお、各領域に紐付けられた個々の情報には、異なる詳細度の表現が複数含まれているものとする。情報取得部508が外部より得た情報とそれが配置される背景とは、情報編集部509に対して出力される。

0085

情報編集部509は、関心度推定部507より入力される関心度マップに応じて、情報取得部508より入力される情報を編集する。編集処理では、情報編集部509は、情報取得部508より入力された背景と、情報表示部110が情報を提示する面上の座標とを対応付ける。これにより、情報表示部110が情報を提示する面上の座標毎に表現された関心度マップ上の関心度と、背景の領域に紐付けられた情報(異なる詳細度で表現された情報を複数含む)とが対応付けられ、背景の領域に紐付けられた情報に関する関心度を算出することができる。例えばこれは、情報が紐付いた背景上の領域に対応する関心度の平均値である。ここで、各情報は異なる詳細度の表現が複数含まれている。情報編集部509は、それぞれの情報に関して算出された関心度に応じて、ある一つの表現を選択する。例えば、高い関心度が算出された情報については詳細な表現が選択され、低い関心度が算出された情報については詳細でない(簡単な)表現が選択される。このようにして表現が選択された情報は、それぞれの情報が紐付けられた場所との対応関係がわかるように、情報取得部508より入力された背景情報上にレイアウトされる。

0086

図6及び図7は、情報編集部509による編集結果の例に示す図である。図6は、日本地図上に旅行情報を提示する情報提示端末に情報提示詳細度制御装置500を適用した場合の例を示している。図6では、情報提示端末の前に立つ人の視線が日本の東地方に向けられている。この場合において、情報編集部509は、東北地方に関する旅情報601を詳細に表現し、それ以外の地方に関する旅情報を簡単に表現している。特に、東北地方から遠く離れている九州地方や四国地方に関する旅情報602、603は、より近い地方である関東地方や関西地方に関する旅情報604、605に比べて、さらにより簡単に表現されている。

0087

図7は、人体の模式図上に健康情報を提示する情報提示端末に情報提示詳細度制御装置500を適用した場合の例を示している。図7では、情報提示端末の前に立つ人の視線が、人体の肩に向けられている。この場合において、情報編集部509は、肩に関する健康情報701を詳細に表現し、それ以外の身体部位に関する健康情報702〜705を簡単に表現している。

0088

以上のように、情報編集部509は、関心度推定部507より入力される関心度マップに応じて、情報提示詳細度制御装置500の適用されるプッシュ型の情報提示端末の傍にいる人に提示する情報を編集し、表示レイアウトを行う。編集された情報は情報表示部110に対して出力される。情報表示部110は、例えばスピーカ付のディスプレイやプロジェクタ等において、情報編集部109より入力される情報を表示する。情報提示詳細度制御装置500の適用されるプッシュ型の情報提示端末の傍にいる人に対して、情報を提示することができる。

0089

以上により、第3の実施形態に係る情報提示詳細度制御装置500は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況に応じた量の情報を、情報提示に対する関心度の表出具合の個人差に対応しながら、提示することができる。

0090

次に、図8に示すフローチャートを参照しながら、第3の実施形態に係る情報提示詳細度制御装置500の処理について説明する。図8において、図2に示した第1の実施形態に係る情報提示詳細度制御装置100と同様の処理については同じ符号を付し、以下において、それらに関する説明を割愛することがある。

0091

ステップS201は、図2のステップS201の撮影処理と同様の処理である。ステップS202において、人物検出部103は、映像撮影部101によって撮影された画像データから人物を検出する。人物が検出されると、検出された人物に該当する領域の画像データが姿勢認識部105に対して出力される。ステップS203は、図2のステップS203と同様の判定処理である。

0092

ステップS205において、姿勢認識部105は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の頭部の位置及び姿勢を認識する。この認識結果は関心度推定部507に対して出力される。

0093

ステップS801において、関心度推定部507は、人物認識部502の認識結果に基づいて、映像撮影部101によって撮影される画像データに含まれる人物の状況から、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。この関心度は、人物認識部502から入力される頭部の位置及び姿勢の認識結果が示す人物の視線方向に基づき推定される。推定結果は、情報表示部110が情報を提示する面上の座標毎に関心度が表現される関心度マップとして表現される。推定結果である関心度マップは、情報編集部509に対して出力される。

0094

ステップS802において、情報取得部508は、情報提示詳細度制御装置500の適用されるプッシュ型の情報提示端末から発信する情報を、ネットワーク等を通じて外部より取得する。ここで取得される情報は、地図上に配置される旅に関する情報や人体の模式図上に配置される体の各部に関する健康情報等である。情報取得部508によって外部より取得された情報は情報編集部509に対して出力される。

0095

ステップS803において、情報編集部509は、関心度推定部507より入力される関心度マップに応じて、情報取得部508より入力された情報を編集する。この編集処理では、関心度推定部507より入力される関心度マップ上で高い関心度が示されている領域に紐付けられた情報は詳細に表現し、関心度マップ上で低い関心度が示されている領域に紐付けられた簡単に表現するように行われる。編集された情報は、その表示レイアウトが決定される。情報編集部509により編集され、レイアウトされた情報は、情報表示部110に対して出力される。ステップS209は、図2のステップS209と同様の処理である。

0096

以上により、第3の実施形態に係る情報提示詳細度制御装置500は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況に応じた量の情報を、情報提示に対する関心度の表出具合の個人差に対応しながら、提示することができる。特に、第3の実施形態に係る情報提示詳細度制御装置500によれば、情報提示端末の傍にいる人の視線に基づいて推定される情報取得に対する関心度に応じて、情報提示する情報の詳細度を領域毎に編集することができる。

0097

上述した実施形態では、情報提示端末の周囲にいる人の状況が、どの程度情報取得に対する関心を示しているかに応じて、表示する情報の量を制御する。例えば、人が情報提示端末の付近に長くいられるような状況であれば、それは情報取得に対して高い関心を示しているとして、表示する情報の量を制御する。また例えば、人が情報提示端末に視線を向けた姿勢であれば、それは情報取得に対して高い関心を示しているとして、表示する情報の量を制御する。また例えば、人が情報提示端末の傍で情報取得以外の行動をしていれば、それは情報取得に対して低い関心を示しているとして、表示する情報の量を制御する。

0098

即ち、上述した実施形態は、情報提示端末の周囲にいる人の、「情報を得る」ことに対する関心度の推定値に基づいて、提示する情報の詳細度を決定する。これにより、プッシュ型の情報提示端末は、周囲にいる人が「情報を得る」ことに低い関心しか持っていなくとも、それに応じて情報量を少なくしてシンプルに情報を提示することができるので、情報がその人に知覚される可能性が高まる。逆にプッシュ型の情報提示端末の周囲にいる人が「情報を得る」ことに高い関心を持っている場合には、それに応じて情報量を増やして詳細な情報を提示することができるので、その人の情報欲に応えることができる。

0099

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0100

100、300、500:情報提示詳細度制御装置、101:映像撮影部、102、502:人物認識部、103:人物検出部、104:表情認識部、105:姿勢認識部、106:認識結果履歴保持部、107、307、507:関心度推定部、108、508:情報取得部、109、509:情報編集部、110:情報表示部、311:人物識別部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する未来の課題

ページトップへ

おすすめの成長市場

関連メディア astavision

  • 人工知能

    米国Google社が2015年6月23日に発表した“A Neural Conversational …

  • 機械学習・深層学習(Deep Learning)

    2012年6月26日、Google Official Blog は、ネコと思しき1枚の画像とともにあ…

  • がん医療

    国立がん研究センターの統計予測は、2015年の国内全がん罹患者数を982,100人、同死亡数を370…

ページトップへ

新着 最近公開された関連が強い技術

  • 株式会社野村総合研究所の「航空券販売システム」が公開されました。(2017/08/10)

    【課題・解決手段】候補地の抽出および最終的な行き先の決定をシステムが行う航空券販売の仕組みにおいて、各候補地との間の往路と復路の在庫数を考慮した上で、ユーザ、販売者双方にとって効果的・効率的な在庫の販 ... 詳細

  • 楽天株式会社の「注文受付装置、設定方法、記録媒体、および、プログラム」が公開されました。(2017/08/10)

    【課題・解決手段】提示部(240)は、商品についての情報及び当該商品の購入を受け付ける購入ボタンを提示する。その際、提示部(240)は、ユーザに対する配達日が設定済みであれば、商品に応じて、設定済みの ... 詳細

  • 株式会社sizebookの「商品情報提供サーバ装置」が公開されました。(2017/08/10)

    【課題・解決手段】商品情報提供サーバ装置は、複数の商品のそれぞれについて、メーカの提供する複数のメーカサイズと、それらメーカサイズ毎の実際の寸法である複数の商品実測値と、を対応付ける商品サイズ情報を保 ... 詳細

この技術と関連性が強い人物

この技術と関連する未来の課題

関連する未来の課題一覧

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ