図面 (/)

技術 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体

出願人 パナソニック株式会社
発明者 張文利中田透
出願日 2007年2月20日 (13年9ヶ月経過) 出願番号 2007-040072
公開日 2008年9月4日 (12年2ヶ月経過) 公開番号 2008-205861
状態 拒絶査定
技術分野 立体TV及びTVの試験,検査,測定等 双方向TV,動画像配信等
主要キーワード 一致性判定 一致時間 情報比較ステップ 印象評価 生理的指標 各参照点 存在箇所 関心度合い
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2008年9月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

視聴者に特に負担を掛けることなく、精度良く視聴質を判定することができる視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体を提供すること。

解決手段

感情期待値情報生成部300は、コンテンツ視聴する際に視聴者にコンテンツの編集内容に基づいて生起すると期待される感情を示す感情期待値と、前記編集内容の存在する参照点と、を検出し、感情期待値情報を生成する。感情情報生成部200は、コンテンツを視聴する際に視聴者に生起する感情を示す感情実測値と、その生起時間と、を検出し、感情情報を生成する。視聴質データ生成部400は、感情期待値情報と感情情報について、時間一致性感情一致性を判定し、これらの判定結果を統合してコンテンツの視聴質を判定し、判定結果を示す視聴質データ情報を生成する。

概要

背景

視聴質は、放送番組などのコンテンツ視聴者がどの程度の関心を持って視聴したかを示す情報であり、コンテンツの評価指標の1つとして注目されている。コンテンツの視聴質を判定する手法として、たとえば、視聴者からアンケートをとることが従来行われているが、視聴者に負担が掛かるという問題がある。

そこで、視聴者から検出された情報に基づいて視聴質を自動で判定する技術が、たとえば特許文献1に記載されている。特許文献1記載の技術では、視聴者の視線方向や瞳孔直径、コンテンツに対する操作内容、および心拍数などの生体情報を視聴者から検出し、検出した情報に基づいて視聴質を判定する。これにより、視聴者への負担を軽減して、視聴質を判定することができる。
特開2005−142975号公報

概要

視聴者に特に負担を掛けることなく、精度良く視聴質を判定することができる視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体を提供すること。感情期待値情報生成部300は、コンテンツを視聴する際に視聴者にコンテンツの編集内容に基づいて生起すると期待される感情を示す感情期待値と、前記編集内容の存在する参照点と、を検出し、感情期待値情報を生成する。感情情報生成部200は、コンテンツを視聴する際に視聴者に生起する感情を示す感情実測値と、その生起時間と、を検出し、感情情報を生成する。視聴質データ生成部400は、感情期待値情報と感情情報について、時間一致性感情一致性を判定し、これらの判定結果を統合してコンテンツの視聴質を判定し、判定結果を示す視聴質データ情報を生成する。

目的

本発明は、かかる点に鑑みてなされたものであり、視聴者に特に負担を掛けることなく、精度良く視聴質を判定することができる視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体を提供することを目的とする。

効果

実績

技術文献被引用数
5件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンテンツ視聴する視聴者生起すると期待される感情を示す感情期待値情報を取得する感情期待値情報取得部と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報を取得する感情情報取得部と、前記感情期待値情報と前記感情情報との比較により、前記コンテンツの視聴質を判定する視聴質判定部と、を有する視聴質判定装置

請求項2

前記視聴質判定部は、前記コンテンツを時分割した部分のそれぞれに対して前記比較を実行し、複数の比較結果から前記視聴質を判定する、請求項1記載の視聴質判定装置。

請求項3

前記コンテンツを取得するコンテンツ取得部と、前記コンテンツの編集内容種別と前記感情期待値情報とをあらかじめ対応付けた感情期待値情報テーブルと、をさらに有し、前記感情期待値情報取得部は、取得された前記コンテンツの編集内容の種別を判別し、前記感情期待値情報テーブルを参照して前記感情期待値情報を取得する、請求項1記載の視聴質判定装置。

請求項4

前記視聴者の生体情報を取得するセンシング部、をさらに有し、前記感情情報取得部は、前記生体情報から前記感情情報を取得する、請求項1記載の視聴質判定装置。

請求項5

前記感情期待値情報は、前記生起すると期待される感情の生起時間を示す感情期待生起時間と、前記生起すると期待される感情の種別を示す感情期待値と、を含み、前記感情情報は、前記視聴者に生起する感情の生起時間を示す感情生起時間と、前記視聴者に生起する感情の種別を示す感情実測値と、を含み、前記視聴質判定部は、前記感情期待生起時間と前記感情生起時間が同期する時間一致性の有無を判定する時間一致性判定部と、前記感情期待値と前記感情実測値が類似する感情一致性の有無を判定する感情一致性判定部と、前記時間一致性の有無と前記感情一致性の有無とを統合して前記視聴質を判定する統合判定部と、を有する、請求項1記載の視聴質判定装置。

請求項6

前記統合判定部は、前記時間一致性と前記感情一致性の両方が有るとき、前記視聴者が関心を持って視聴したと判定し、前記時間一致性と前記感情一致性いずれも無いとき、前記視聴者が関心を持って視聴しなかったと判定する、請求項5記載の視聴質判定装置。

請求項7

前記統合判定部は、前記時間一致性と感情一致性の一方が有り他方が無いとき、前記視聴者が関心を持って視聴したか否かが不明と判定する、請求項6記載の視聴質判定装置。

請求項8

前記時間一致性判定部は、前記コンテンツに対し単位時間ごとに前記時間一致性の有無を判定し、前記感情一致性判定部は、前記コンテンツに対し前記単位時間ごとに前記感情一致性の有無を判定し、前記統合判定部は、前記時間一致性判定部および前記感情一致性判定部による判定結果から、前記視聴質を判別する、請求項6記載の視聴質判定装置。

請求項9

前記統合判定部は、前記コンテンツのうち、前記時間一致性が有り前記感情一致性が無い部分に対し、前記コンテンツの他の部分で前記時間一致性が有るとき前記視聴者が関心を持って視聴したと判定し、前記他の部分で前記時間一致性が無いとき前記視聴者が関心を持って視聴しなかったと判定する、請求項8記載の視聴質判定装置。

請求項10

前記統合判定部は、前記コンテンツのうち、前記時間一致性が無く前記感情一致性が有る部分に対し、前記コンテンツの他の部分で前記感情一致性が有るとき前記視聴者が関心を持って視聴したと判定し、前記他の部分で前記感情一致性が無いとき前記視聴者が関心を持って視聴しなかったと判定する、請求項8記載の視聴質判定装置。

請求項11

前記コンテンツは画像を含み、前記視聴者の視線方向を検出する視線方向検出部と、前記視線方向が前記コンテンツに含まれる画像に向いている視線一致性の有無を判定する視線一致性判定部と、をさらに有し、前記統合判定部は、前記時間一致性の有無と、前記感情一致性の有無と、前記視線一致性の有無とを統合して、前記視聴質を判定する、請求項5記載の視聴質判定装置。

請求項12

前記コンテンツは、音楽効果音映像ショットカメラワークの少なくとも1つを含む映像コンテンツであり、前記感情期待値情報テーブルは、音楽、効果音、映像ショット、およびカメラワークについて、それぞれの種別と前記感情期待値情報とをあらかじめ対応付け、前記感情期待値情報取得部は、音楽、効果音、映像ショット、カメラワークのうち前記コンテンツに含まれるものの種別を判別し、前記感情期待値情報テーブルを参照して前記感情期待値情報を取得する、請求項3記載の視聴質判定装置。

請求項13

前記感情期待値情報取得部は、前記感情期待値情報として感情モデルの空間の座標値を取得し前記感情情報取得部は、前記感情情報として前記感情モデルの空間の座標値を取得し、前記感情一致性判定部は、前記感情モデルの空間における前記感情期待値と前記感情実測値との距離から前記感情一致性の有無を判定する、請求項5記載の視聴質判定装置。

請求項14

コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得する情報取得テップと、前記感情期待値情報と前記感情情報とを比較する情報比較ステップと、前記感情期待値情報と前記感情情報との比較結果から前記コンテンツの視聴質を判定する視聴質判定ステップと、を有する視聴質判定方法

請求項15

コンピュータに、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得する処理と、前記感情期待値情報と前記感情情報とを比較する処理と、前記感情期待値情報と前記感情情報との比較結果から前記コンテンツの視聴質を判定する処理と、を実行させる視聴質判定プログラム

請求項16

コンピュータに、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得する処理と、前記感情期待値情報と前記感情情報とを比較する処理と、前記感情期待値情報と前記感情情報との比較結果から前記コンテンツの視聴質を判定する処理と、を実行させる視聴質判定プログラムを格納した記録媒体

技術分野

0001

本発明は、コンテンツ視聴者がどの程度の関心を持って視聴したかを示す視聴質を判定する技術に係り、特に、視聴者から検出される情報に基づいて視聴質を判定する視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納する記録媒体に関する。

背景技術

0002

視聴質は、放送番組などのコンテンツを視聴者がどの程度の関心を持って視聴したかを示す情報であり、コンテンツの評価指標の1つとして注目されている。コンテンツの視聴質を判定する手法として、たとえば、視聴者からアンケートをとることが従来行われているが、視聴者に負担が掛かるという問題がある。

0003

そこで、視聴者から検出された情報に基づいて視聴質を自動で判定する技術が、たとえば特許文献1に記載されている。特許文献1記載の技術では、視聴者の視線方向や瞳孔直径、コンテンツに対する操作内容、および心拍数などの生体情報を視聴者から検出し、検出した情報に基づいて視聴質を判定する。これにより、視聴者への負担を軽減して、視聴質を判定することができる。
特開2005−142975号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1記載の技術では、視聴者から検出される情報が、視聴者の実際のコンテンツへの関心の度合いにどの程度の影響を受けているかを判別できないため、精度良く視聴質を判定できないという問題がある。

0005

たとえば、視聴者が電話等で他者会話しながらコンテンツに視線を向けている場合には、実際にはコンテンツにあまり関心を持っていないにもかかわらず、関心を持って視聴していると誤って判定される恐れがある。また、たとえば、運動を行った直後に心拍数が高い状態であまり関心を持たずにコンテンツを視聴している場合に、やはり関心を持って視聴していると誤って判定される恐れがある。特許文献1記載の技術において視聴質判定の精度を高めるためには、視聴中の電話を禁止するなど、コンテンツへの関心の度合い以外の要素による影響を最小限に抑えるための制約を視聴者に課さなくてはならず、視聴者に負担が掛かる。

0006

本発明は、かかる点に鑑みてなされたものであり、視聴者に特に負担を掛けることなく、精度良く視聴質を判定することができる視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体を提供することを目的とする。

課題を解決するための手段

0007

本発明の視聴質判定装置は、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報を取得する感情期待値情報取得部と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報を取得する感情情報取得部と、前記感情期待値情報と前記感情情報との比較により、前記コンテンツの視聴質を判定する視聴質判定部とを具備する構成を採る。

0008

本発明の視聴質判定方法は、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得する情報取得テップと、前記感情期待値情報と前記感情情報とを比較する情報比較ステップと、前記感情期待値情報と前記感情情報との比較結果から前記コンテンツの視聴質を判定する視聴質判定ステップとを有するようにした。

発明の効果

0009

本発明によれば、視聴者から検出される感情情報と、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報とを比較するので、感情情報のうち実際のコンテンツへの関心の度合いに影響を受けているものといないものを区別でき、精度良く視聴質を判定することができる。また、コンテンツへの関心の度合い以外の要素による影響を抑えるための制約を視聴者に課す必要が無いため、視聴者に特に負担を掛けることなく、上記視聴質判定を実現できる。

発明を実施するための最良の形態

0010

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

0011

(実施の形態1)
図1は、本発明の実施の形態1に係る視聴質情報判定装置を含む視聴質データ生成装置の構成を示すブロック図である。以下、視聴質情報の判定の対象が、映画ドラマなど、音声付き映像コンテンツである場合について説明する。

0012

図1において、視聴質データ生成装置100は、感情情報生成部200、感情期待値情報生成部300、視聴質データ生成部400、および視聴質データ格納部500を有する。

0013

感情情報生成部200は、視聴質判定の対象となる視聴者に生起した感情を示す感情情報を、視聴者の生体情報から生成する。ここで、感情とは、喜怒哀楽といった情動のみならず、リラックスなどの気分をも含む精神状態全般を指し、感情の生起とは、ある精神状態から異なる精神状態へと遷移することを含むものとする。感情情報生成部200は、センシング部210および感情情報取得部220を有する。

0014

センシング部210は、センサディジタルカメラなどの検出装置(図示せず)に接続され、たとえば、視聴者の心拍数、脈拍体温、顔の筋電変化音声など、視聴者の生体情報を検出(センシング)する。

0015

感情情報取得部220は、センシング部210で得られた視聴者の生体情報から、視聴者に生起した感情を示す感情実測値を求め、感情実測値とそれぞれの感情が生起した時間(以下「感情生起時間」という)とを含む感情情報を生成する。

0016

感情期待値情報生成部300は、映像コンテンツを視聴する際に視聴する視聴者に生起すると期待される感情を示す感情期待値情報を、映像コンテンツの編集内容から生成する。感情期待値情報生成部300は、映像取得部310、映像操作属性情報取得部320、参照点感情期待値算出部330、および参照点感情期待値変換テーブル340を有する。

0017

映像取得部310は、視聴者が視聴する映像コンテンツを取得する。具体的には、映像取得部310は、たとえば、地上波放送衛星放送の受信データや、DVDやハードディスクなどの記憶媒体インターネット上の映像配信サーバから、映像コンテンツのデータを取得する。

0018

映像操作/属性情報取得部320は、映像コンテンツの番組属性情報番組操作情報を含む映像操作/属性情報を取得する。具体的には、映像操作/属性情報取得部320は、たとえば、映像コンテンツの再生を操作するリモートコントローラ操作履歴から、映像操作情報を取得する。また、映像操作/属性情報取得部320は、再生される映像コンテンツに付加された情報や、映像コンテンツ制作側の情報サーバから、映像コンテンツの属性情報を取得する。

0019

参照点感情期待値算出部330は、映像コンテンツから参照点を検出する。また、参照点感情期待値算出部330は、参照点感情期待値変換テーブル340を用いて、検出した参照点に対応する感情期待値を算出し、感情期待値と各参照点の時間とを含む感情期待値情報を生成する。ここで、参照点とは、映像コンテンツにおいて、視聴者に心理的あるいは感情的影響を与える映像編集が存在する箇所または区間であり、感情期待値とは、視聴者が映像コンテンツを視聴する際に上記映像編集の内容に基づいて各参照点で視聴者に生起すると期待される感情を示すパラメータである。

0020

参照点感情期待値変換テーブル340は、音楽BGM:background music)、効果音映像ショットカメラワークごとに、それぞれの内容と感情期待値とをあらかじめ対応付け記述する。

0021

視聴質データ生成部400は、感情情報と感情期待値情報とを比較し、視聴者が前記コンテンツをどの程度関心を持って視聴したかを判定して、判定結果を示す視聴質データ情報を生成する。視聴質データ生成部400は、時間一致性判定部410、感情一致性判定部420、および統合判定部430を有する。

0022

時間一致性判定部410は、感情情報と感情期待値情報とで感情が生起するタイミングが同期する時間一致性の有無を判定し、判定結果を示す時間一致性判定情報を生成する。

0023

感情一致性判定部420は、感情情報と感情期待値情報とで感情が類似する感情一致性の有無を判定し、判定結果を示す感情一致性判定情報を生成する。

0024

統合判定部430は、時間一致性判定情報と感情一致性判定情報とを統合して、視聴者がどの程度関心を持って映像コンテンツを見ているかを判定し、判定結果を示す視聴質データ情報を生成する。

0025

視聴質データ格納部500は、生成された視聴質データ情報を格納して保持する。

0026

視聴質データ生成装置100は、たとえば、CPU(central processing unit)、制御プログラムを格納したROM(read only memory)などの記憶媒体、RAM(random access memory)などの作業用メモリなどで実現できる。この場合、CPUが制御プログラムを実行することで、上記各部の機能は実現される。

0027

視聴質データ生成装置100の動作説明の前に、まず、視聴質データ生成装置100における感情の定義に用いられる感情モデルと、参照点感情期待値変換テーブル340の内容について説明する。

0028

図2は、視聴質データ生成装置100において用いられる2次元感情モデルの一例を示す説明図である。図2に示す2次元感情モデル600は、LANG感情モデルと呼ばれ、快と不快の度合いである快度を示す横軸と、興奮または緊張とリラックスの度合いである覚醒度を示す縦軸の2軸により形成される。2次元感情モデル600の2次元空間は、縦軸と横軸との関係から、「興奮(Excited)」、「沈静(Relaxed)」、「哀しみ(Sad)」など、感情種別ごとに領域が定義されている。2次元感情モデル600を用いることにより、縦軸の値と横軸の値との組合せで、感情を簡単に表現することができる。上記した感情期待値および感情実測値は、この2次元感情モデル600における座標値であり、間接的に感情を表現する。

0029

ここでは、たとえば、座標値(4,5)は「興奮」という感情種別の領域内に位置し、座標値(−4,−2)は「哀しみ」という感情種別の領域内に位置している。したがって、座標値(4,5)の感情期待値および感情実測値は「興奮」という感情を示し、座標値(−4,−2)の感情期待値および感情実測値は「哀しみ」という感情種別を示す。2次元感情モデル600において、感情期待値と感情実測値との距離が短い場合、それぞれが示す感情は類似したものであるといえる。

0030

なお、感情モデルとして、2次元以上の空間やLANG感情モデル以外のモデルを用いてもよい。たとえば、3次元感情モデル(快/不快、興奮/沈静、緊張/弛緩)や、6次元感情モデル(怒り、恐れ、哀しみ、喜び嫌悪、驚き)を用いる。このようなより高次元の感情モデルを用いた場合には、感情種別をより細分化して表現することができる。

0031

次に、参照点感情期待値変換テーブル340について説明する。参照点感情期待値変換テーブル340は、映像コンテンツの映像編集の種別ごとに用意された複数の変換テーブルと、これら複数の変換テーブルを管理するための参照点種別情報管理テーブルとを含む。

0032

図3は、各変換テーブルの構成の一例を示す説明図である。

0033

図3Aに示す変換テーブル341aは、映像コンテンツに含まれるBGMの内容と感情期待値とを対応付けており、「Table_BGM」というテーブル名が付けられている。BGMの内容は、調性テンポピッチリズム和声、および旋律のパラメータの組み合わせで表現され、組合せごとに、感情期待値が対応付けられている。

0034

図3Bに示す変換テーブル341bは、映像コンテンツに含まれる効果音の内容を示すパラメータと感情期待値とを対応付けており、「Table_ESound」というテーブル名が付けられている。

0035

図3Cに示す変換テーブル341cは、映像コンテンツに含まれる映像ショットの内容を示すパラメータと感情期待値とを対応付けており、「Table_Shot」というテーブル名が付けられている。

0036

図3Dに示す変換テーブル341dは、映像コンテンツに含まれるカメラワークの内容を示すパラメータと感情期待値とを対応付けており、「Table_CameraWork」というテーブル名が付けられている。

0037

たとえば、変換テーブル341bでは、「歓声音」という効果音の内容に対して、感情期待値「(4,5)」が対応付けられており、この感情期待値「(4,5)」は、上記したように感情種別「興奮」を示す。これは、映像コンテンツを視聴する際に関心を持って視聴している状態であれば、通常、歓声音が挿入された箇所で視聴者は興奮するということを意味する。また、変換テーブル341aでは、「調整:短調、テンポ:遅い、ピッチ:低い、リズム:固定、和声:複雑」というBGMの内容に対して、感情期待値「(−4,−2)」が対応付けられており、この感情期待値「(−4,−2)」は、上記したように感情種別「悲しみ」を示す。これは、映像コンテンツを視聴する際に関心を持って視聴している状態であれば、通常、上記内容のBGMが挿入された箇所で視聴者は哀しい気分になるということを意味する。

0038

図4は、参照点種別情報管理テーブルの一例を示す説明図である。図4に示す参照点種別情報管理テーブル342は、映像コンテンツから取得される参照点の種別を示す参照点種別情報に、図3に示す各変換テーブル341のテーブル名を、それぞれテーブル種別ナンバー(No.)を付した状態で対応付けている。これは、参照点がどの種別のときに、どの変換テーブル341を参照すべきかを示している。

0039

たとえば、「BGM」という参照点種別情報には、「Table_BGM」というテーブル名が対応付けられている。これは、取得した参照点の種別が「BGM」であった場合には、図3Aに示すテーブル名「Table_BGM」の変換テーブル341aを参照することを指定するものである。

0040

以下、上記構成を有する視聴質データ生成装置100の動作について説明する。

0041

図5は、視聴質データ生成装置における視聴質データ生成処理の全体的な流れの一例を示すフローチャートである。まず、視聴者から必要な生体情報を検出するためのセンサやディジタルカメラのセッティングなどが行われ、セッティングが完了すると、視聴質データ生成処理が開始される。

0042

まず、ステップS1000で、センシング部210は、映像コンテンツ視聴時の視聴者の生体情報をセンシングし、取得した生体情報を感情情報取得部220に出力する。センシング部210は、生体情報として、たとえば、脳波皮膚電気抵抗値、皮膚コンダクタンス皮膚温度心電周波数、心拍数、脈拍、体温、筋電顔画像、音声などを検出する。

0043

次いで、ステップS1100で、感情情報取得部220は、たとえば1秒など所定の時間間隔ごとに生体情報を解析し、視聴者の映像コンテンツ視聴時の感情を示す感情情報を生成して視聴質データ生成部400に出力する。人間の生理的信号は、人間の感情の変化に応じて変化することが知られている。感情情報取得部220は、この感情の変化と生理的信号の変化との関係を用いて、生体情報から感情実測値を取得する。

0044

たとえば、人間は、よりリラックスした状態にあるほど、アルファ(α)波成分の割合が大きくなることが知られている。また、驚きや恐怖心配によって皮膚電気抵抗値が上昇することや、喜びの感情が大きく生起すると皮膚温度や心電図周波数が上がること、心理的・精神的に安定している場合には心拍数や脈拍はゆっくりとした変化を示すことなどが知られている。また、上記した生理的指標以外にも、喜怒哀楽などの感情に応じて、泣く、笑う、怒るなど、表情や音声の種類が変化することが知られている。さらに、落ち込んでいるときには声が小さくなり、怒ったり喜んだりしているときには声が大きくなる傾向があることも知られている。

0045

したがって、皮膚電気抵抗値、皮膚温度、心電図周波数、心拍数、脈拍、音声レベルを検出したり、脳波から脳波のα波成分の割合を解析したり、顔の筋電変化や画像から表情認識を行ったり、音声認識を行うなどして生体情報を取得し、生体情報から感情を解析することが可能である。

0046

具体的には、たとえば、上記各生体情報の値を図2に示す2次元感情モデル600の座標値に変換するための変換テーブルや変換式を、感情情報取得部220にあらかじめ用意する。そして、感情情報取得部220は、センシング部210から入力された生体情報を、変換テーブルや変換式を用いて2次元感情モデル600の2次元空間にマッピングし、該当する座標値を感情実測値として取得する。

0047

たとえば、皮膚コンダクタンス信号(skin conductance)は、覚醒度に応じて増加し、筋電信号(electromyography:EMG)は、快度に応じて変化する。したがって、視聴者の視聴コンテンツに対する好ましさの程度に対応付けて、あらかじめ皮膚コンダクタンスを測定しておくことにより、2次元感情モデル600において、皮膚コンダクタンス信号の値を覚醒度を示す縦軸に、筋電信号の値を快度を示す横軸に、それぞれ対応付けることができる。この対応付けをあらかじめ用意しておき、皮膚コンダクタンス信号と筋電信号とを検出することにより、簡単に感情実測値を取得できる。生体情報を感情モデル空間にマッピングする具体的手法は、たとえば、“Emotion Recognition from Electromyography and Skin Conductance”(Arturo Nakasone,Helmut Prendinger,Mitsuru Ishizuka,The Fifth International Workshop on Biosignal Interpretation,BSI−05,Tokyo,Japan,2005,pp.219−222)に記載されているため、ここでの説明を省略する。

0048

図6は、感情情報取得部220から出力される感情情報の構成の一例を示す説明図である。感情情報610は、感情情報ナンバー、感情生起時間[秒]、および感情実測値を含む。感情生起時間は、対応する感情実測値が示す種別の感情が生起した時間を、基準時刻からの経過時間で示す。基準時刻は、たとえば映像開始時間である。この場合には、たとえば映像コンテンツの絶対時間であるタイムコードを用いて、感情生起時間を取得することができる。なお、基準時刻は、たとえば、視聴を行う場所の標準時で表され、感情情報610に付加される。

0049

ここでは、たとえば、「13秒」という感情生起時間に、「(−4,−2)」という感情実測値が対応付けられている。これは、感情情報取得部220が、基準時刻から13秒後に得られた視聴者の生体情報から感情実測値「(−4,−2)」を取得したこと、つまり、基準時刻から13秒後に視聴者に「哀しみ」の感情が生起したことを示す。

0050

ただし、感情情報取得部220は、感情モデルにおいて感情種別が変化する場合の情報のみを、感情情報として出力するようにしてもよい。この場合には、たとえば、感情情報ナンバー「002」、「003」の情報は、感情情報ナンバー「001」の情報と同じ感情種別に対応するため、出力されない。

0051

次に、ステップS1200で、映像取得部310は、視聴者が視聴する映像コンテンツを取得し、参照点感情期待値算出部330に出力する。視聴者が視聴する映像コンテンツは、たとえば、地上波放送や衛星放送などの映像番組や、DVDやハードディスクなどの記憶媒体に蓄積された映像データ、インターネットからダウンロードされる映像ストリーム等である。映像取得部310は、視聴者に対して再生される映像コンテンツのデータを直接に取得してもよく、視聴者に対して再生される映像と同一の映像内容の別のデータを取得してもよい。

0052

ステップS1300で、映像操作/属性情報取得部320は、映像コンテンツに対する映像操作情報や、映像コンテンツの属性情報を取得し、取得した情報から映像操作/属性情報を生成して、参照点感情期待値算出部330に出力する。映像操作情報は、視聴者がリモートコントローラなどのインタフェースを用いて、どのチャンネルからどのチャンネルへいつ変更したか、あるいは映像の再生や停止をいつ行ったかなど、視聴者による操作の内容および各操作の時間を示す情報である。属性情報は、視聴者が視聴する映像コンテンツのID(identifier)番号、放送チャンネルジャンルなど、処理の対象を識別するための映像コンテンツの属性を示す情報である。

0053

図7は、映像操作/属性情報取得部320から出力される映像操作/属性情報の構成の一例を示す説明図である。図7に示すように、映像操作/属性情報620は、インデックスナンバー(Index No.)、ユーザID、コンテンツID、コンテンツ名、ジャンル、視聴開始時相対時間[秒]、および視聴開始時絶対時間[年月日時分秒]を含む。視聴開始時相対時間は、映像コンテンツの開始時間からの経過時間を示す。視聴開始時絶対時間は、映像コンテンツの開始時間を、たとえば視聴を行う場所の標準時で表す。

0054

図7に示す映像操作/属性情報620では、たとえば、「ハリビーター」というコンテンツ名には、「Null」という視聴開始時相対時間が対応付けられている。これは、該当する映像コンテンツが、たとえば生放送の映像番組であり、映像開始時間から視聴開始までの経過時間(視聴開始時相対時間)が0秒であることを示す。この場合、視聴質判定の対象となる映像区間は、放送中の映像と同期する。一方、「羅塾門」というコンテンツ名には、「20秒」という視聴開始時相対時間が対応付けられている。これは、該当する映像コンテンツが、たとえば、録画した映像データであり、映像開始時間から20秒後に視聴が開始されたことを示す。

0055

図2のステップS1400で、参照点感情期待値算出部330は、映像コンテンツおよび映像操作/属性情報から各参照点の時間と感情期待値を算出する参照点感情期待値情報算出処理を実行する。

0056

図8は、参照点感情期待値算出部330による参照点感情期待値情報算出処理の流れの一例を示すフローチャートであり、図5のステップS1400に対応するものである。参照点感情期待値算出部330は、映像コンテンツを単位時間Sごとに分割した映像部分を1つずつ取得し、映像部分を1つ取得するごとに参照点感情期待値情報算出処理を実行する。以下、添え字のパラメータiは、ある映像部分で検出した参照点の番号を示し、初期値をi=0とする。

0057

まず、ステップS1410で、参照点感情期待値算出部330は、映像部分から、参照点Vpiを検出し、検出した参照点Vpiにおける映像編集の種別である参照点種別Typeiと、その参照点種別Typeiの映像パラメータPiと、を抽出する。

0058

参照点種別Typeとして、ここでは、「BGM」、「効果音」、「映像ショット」、および「カメラワーク」が、あらかじめ定められているものとする。図3に示す変換テーブルは、これらの参照点種別Typeに対応して用意されており、図4に示す参照点種別情報管理テーブル342に記述される参照点種別情報は、参照点種別Typeに対応している。

0059

映像パラメータPiは、それぞれの映像編集の内容を示すパラメータとしてあらかじめ定められたものであり、図3に示す各変換テーブル341に記述される各パラメータは、映像パラメータPiに対応している。たとえば、参照点種別Typeが「BGM」の場合、参照点感情期待値算出部330は、調性、テンポ、ピッチ、リズム、和声、および旋律の映像パラメータPiを抽出する。このため、参照点種別情報管理テーブル342で参照点種別情報「BGM」に対応付けられている図3Aに示す変換テーブル341aには、調性、テンポ、ピッチ、リズム、和声、および旋律のパラメータが記述されている。

0060

参照点種別Typeが「BGM」の参照点Vpの検出の具体的手法については、たとえば「複数の音符列から構成される音楽データを対象とした印象メタデータ抽出方式」(石橋直樹等、日本データベース学会Letters、Vol.2,No.2)に記載されているので、ここでの説明を省略する。

0061

また、参照点種別Typeが「効果音」の参照点Vpの検出の具体的手法については、たとえば「映画における音楽、効果音(SE)の印象評価」(濱正治等、信学技報、2000−03)に記載されているので、ここでの説明を省略する。

0062

また、参照点種別Typeが「映像ショット」の参照点Vpの検出の具体的手法については、たとえば「ショット長遷移による演出を利用した映像の編集」(本楽・吉高淳夫・平嶋宗、ヒューマン情報処理研究会、2006−1−19〜20)に記載されているので、ここでの説明を省略する。

0063

また、参照点種別Typeが「カメラワーク」の参照点Vpの検出の具体的手法については、たとえば特許文献特開2003−61112号公報(カメラワーク検出装置およびカメラワーク検出方法)、および「カメラワークを利用した演出効果の抽出」(井亮治・吉高淳夫・平嶋宗、信学技報、Technical Report ofIEICE,PRMU2004−167,2005−01)に記載されているので、ここでの説明を省略する。

0064

次いで、ステップS1420で、参照点感情期待値算出部330は、映像開始時間からの相対時間における参照点Vpiの開始時間(以下「参照点相対開始時間」という)Ti−STおよび終了時間(以下「参照点相対終了時間」という)Ti−ENを取得する。

0065

次いで、ステップS1430で、参照点感情期待値算出部330は、参照点種別情報管理テーブル342を参照し、参照点種別Typeiに対応する変換テーブル341を特定し、特定した変換テーブル341を取得する。たとえば、参照点種別Typeiが「BGM」の場合には、図3Aに示す変換テーブル341aが取得される。

0066

次いで、ステップS1440で、参照点感情期待値算出部330は、映像パラメータPiと取得した変換テーブル341に記述されたパラメータとのマッチングを行い、映像パラメータPiと一致するパラメータを検索する。一致するパラメータが存在した場合には(S1440:YES)、ステップS1450に進み、一致するパラメータが存在しない場合には(S1440:NO)、ステップS1450を経ずに、次のステップS1460に進む。

0067

ステップS1450で、参照点感情期待値算出部330は、映像パラメータPiと一致するパラメータに対応する感情期待値eiを取得し、ステップS1460に進む。たとえば、参照点種別Typeiが「BGM」であり、映像パラメータPiが「調整:短調、テンポ:遅い、ピッチ:低い、リズム:固定、和声:複雑」であった場合には、図3Aに示す「M_002」というインデックスナンバーの各パラメータが一致する。したがって、対応する感情期待値として、「(−4,−2)」が取得される。

0068

ステップS1460で、参照点感情期待値算出部330は、映像部分に他の参照点Vpが存在するか否かを判別し、存在する場合には(S1460:YES)、ステップS1470でパラメータiの値を1つ増加させ、ステップS1420へ戻って、次の参照点Vpiに対する解析を行う。映像部分の全ての参照点Vpiに対する解析が終了した場合(S1460:NO)、参照点感情期待値算出部330は、各参照点の参照点相対開始時間Ti−STおよび参照点相対終了時間Ti−ENと、参照した変換テーブルのテーブル名と、感情期待値eiとを対応付けた感情期待値情報を生成し、図1に示す時間一致性判定部410および感情一致性判定部420のそれぞれに出力して(ステップS1480)、一連の処理を終了する。そして、図2のステップS1500、S1600に進む。

0069

なお、ステップS1440でのパラメータのマッチングは、たとえば、最も類似するパラメータを一致するパラメータと判断し、ステップS1450に進むようにしてもよい。

0070

図9は、参照点感情期待値算出部330が出力する感情期待値情報の構成の一例を示す説明図である。図9に示すように、感情期待値情報630は、ユーザID、操作情報インデックスナンバー、参照点相対開始時間[秒]、参照点相対終了時間[秒]、参照点感情期待値変換テーブル名、参照点インデックスナンバー、参照点感情期待値、参照点開始絶対時間[年月日時分秒]、および参照点終了絶対時間[年月日時分秒]を含む。参照点開始絶対時間および参照点終了絶対時間は、参照点相対開始時間および参照点相対終了時間を、たとえば視聴を行う場所の標準時で表したものである。参照点感情期待値算出部330は、参照点開始絶対時間および参照点終了絶対時間を、たとえば、図7に示す映像操作/属性情報620の視聴開始時相対時間および視聴開始時絶対時間から求める。

0071

なお、図8に示す参照点感情期待値情報算出処理において、映像部分の開始位置から終了位置へと小刻みに仮の参照点を設定し、感情種別が変化する箇所を特定し、該当箇所を視聴者に感情の変化を与えることが期待される映像編集(以下単に「映像編集」という)が存在する箇所と判断し、参照点Vpiとして扱うようにしてもよい。

0072

具体的には、たとえば、映像部分の開始部分を仮の参照点に設定し、BGM、効果音、映像ショット、およびカメラワークの内容を解析し、図3に示す各変換テーブル341に記述されたパラメータで該当するものを検索して、該当するパラメータが存在した場合には対応する感情期待値を取得する。このような解析と検索とを、映像部分の終了部分へ向かって小刻みに繰り返し行う。

0073

そして、2つめ以降の感情期待値が取得されるごとに、直前に取得された感情期待値と、新たに取得された感情期待値との間で、2次元感情モデルで対応する感情種別が変化したか否か、つまり映像編集が存在するか否かを判別する。感情種別が変化した場合には、感情期待値が取得された参照点を参照点Vpiとして検出し、感情種別の変化の元となる映像部分の構成要素の種別を種別Typeiとして検出する。

0074

なお、1つ前の他の映像部分で既に参照点の解析を行っている場合には、その解析結果を用いて、1つ目の感情期待値が取得された時点で感情種別の変化の有無を判別してもよい。

0075

このようにして、視聴質データ生成部400に感情情報と感情期待値情報が入力されると、処理は図5のステップS1500およびステップS1600に進む。

0076

まず、図5のステップS1500について説明する。図5のステップS1500で、時間一致性判定部410は、感情情報と感情期待値情報との時間一致性の有無を判定する時間一致性判定処理を実行する。

0077

図10は、時間一致性判定部410による時間一致性判定処理の流れの一例を示すフローチャートであり、図5のステップS1500に対応するものである。時間一致性判定部410は、映像コンテンツの単位時間Sごとの映像部分のそれぞれについて、以下に説明する一致性判定処理を実行する。

0078

まず、ステップS1510で、時間一致性判定部410は、単位時間Sの映像部分に対応する感情期待値情報を取得する。ここで、該当する参照点が複数存在する場合には、それぞれに対応する感情期待値情報を取得する。

0079

図11は、1つの単位時間に複数の参照点が複数存在する様子を示す説明図である。ここでは、単位時間Sの映像部分において、時間T1を開始時間とする参照点種別Type1「BGM」の参照点Vp1と、時間T2を開始時間とする参照点種別Type2「映像ショット」の参照点Vp2が検出され、それぞれに対応して感情期待値e1、e2が取得された場合を示している。

0080

図10のステップS1520で、時間一致性判定部410は、感情期待値情報から、単位時間Sの映像部分を代表する参照点の参照点相対開始時間Texp_stを算出する。具体的には、時間一致性判定部410は、感情種別が変化する参照点を代表的な参照点とし、その参照点相対開始時間を、参照点相対開始時間Texp_stとして算出する。

0081

ここで、時間一致性判定部410は、映像コンテンツがリアルタイム放送映像の場合は、参照点相対開始時間Texp_st=参照点開始絶対時間とし、映像コンテンツが録画映像の場合は、参照点相対開始時間Texp_st=参照点相対開始時間とする。図11に示すように、感情種別が変化する参照点Vpが複数存在する場合には、最も早い時間、つまり最初に感情種別が変化する時間を、参照点相対開始時間Texp_stに決定する。

0082

次いで、ステップS1530で、時間一致性判定部410は、単位時間Sの映像部分に対応する感情情報を特定し、特定した感情情報から、単位時間Sの映像部分で感情種別が変化する時間を、感情生起時間Tuser_stとして取得する。該当する感情生起時間が複数存在する場合には、たとえば、参照点相対開始時間Texp_stと同様に、最も早い時間を取得すればよい。このとき、参照点相対開始時間Texp_stと感情生起時間Tuser_stが同一の時刻系で表現されるようにする。

0083

具体的には、たとえば、時間一致性判定部410は、リアルタイム放送による映像コンテンツの場合、視聴開始時絶対時間に参照点相対開始時間を加算した時間を、参照点絶対開始時間と置く。一方、蓄積された映像コンテンツの場合には、時間一致性判定部410は、視聴開始時絶対時間から視聴開始時相対時間を差し引いた時間に参照点相対開始時間を加えた時間を、参照点絶対開始時間と置く。

0084

たとえば、リアルタイム放送による映像コンテンツで、参照点相対開始時間が「20秒」、視聴開始時絶対時間が「20060901:19:10:10」の場合、参照点絶対開始時間は、「20060901:19:10:30」となる。また、たとえば、蓄積された映像コンテンツで、参照点相対開始時間が「20秒」、視聴開始時相対時間が「10秒」、視聴開始時絶対時間が「20060901:19:10:10」の場合、参照点絶対開始時間は、「20060901:19:10:20」となる。

0085

一方、視聴者から計測した感情生起時間については、時間一致性判定部410は、たとえば、感情情報610に記述された値を基準時刻に加算し、絶対時間での表現に置き換える。

0086

次いで、ステップS1540で、時間一致性判定部410は、参照点相対開始時間Texp_stと感情生起時間Tuser_stとの時間差を算出し、これら2つの時間の一致性から、単位時間Sの映像部分における時間一致性の有無を判定する。具体的には、時間一致性判定部410は、参照点相対開始時間Texp_stと感情生起時間Tuser_stとの差の絶対値があらかじめ定めた閾値Td以下であるか否かを判別し、差の絶対値が閾値Td以下の場合(S1540:YES)、ステップS1550に進み、差の絶対値が閾値Tdを超える場合(S1540:NO)、ステップS1560に進む。

0087

ステップS1550で、時間一致性判定部410は、単位時間Sの映像部分において時間一致性が有ると判断し、時間一致性の有無を示す時間一致性判定情報RTに値「1」を設定する。つまり、時間一致性の判定結果として時間一致性判定情報RT=1を取得する。そして、時間一致性判定部410は、時間一致性判定情報RTと、この時間一致性判定情報RTの取得に用いられた感情期待値情報および感情情報とを、統合判定部430に出力し、図5のステップS1700に進む。

0088

一方、ステップS1560では、時間一致性判定部410は、単位時間Sの映像部分において時間一致性が無いと判断し、時間一致性判の有無を示す時間一致性判定情報RTに値「0」を設定する。つまり、時間一致性の判定結果として時間一致性判定情報RT=0を取得する。そして、時間一致性判定部410は、時間一致性判定情報RTと、この時間一致性判定情報RTの取得に用いられた感情期待値情報および感情情報とを、統合判定部430に出力し、図5のステップS1700に進む。

0089

上記ステップS1540〜S1560の処理は、たとえば、以下の式(1)を用いることができる。

0090

次に、図5のステップS1600について説明する。図5のステップS1600で、感情一致性判定部420は、感情情報と感情期待値情報との感情一致性の有無を判定する感情一致性判定処理を実行する。

0091

図12は、感情一致性判定部420による感情一致性判定処理の流れの一例を示すフローチャートである。感情一致性判定部420は、映像コンテンツの単位時間Sごとの映像部分のそれぞれについて、以下に説明する感情一致性判定処理を実行する。

0092

ステップS1610で、感情一致性判定部420は、単位時間Sの映像部分に対応する感情期待値情報を取得する。ここで、該当する参照点が複数存在する場合には、それぞれに対応する感情期待値情報を取得する。

0093

次いで、ステップS1620で、感情一致性判定部420は、感情期待値情報から、単位時間Sの映像部分を代表する感情期待値Eexpを算出する。図11に示すように、複数の感情期待値eiが存在する場合には、感情一致性判定部420は、あらかじめ参照点種別Typeごとに定めた重みwをそれぞれの感情期待値eiに乗じることにより、各感情期待値eiを合成する。それぞれの感情期待値eiに対応する参照点種別Typeの重みをwi、感情期待値eiの総数をNとすると、感情一致性判定部420は、たとえば以下の式(2)を用いて感情期待値Eexpを決定する。

0094

ただし、それぞれの感情期待値eiに対応する参照点種別Typeの重みwiは、以下の式(3)を満たすように設定される。

0095

または、感情一致性判定部420は、参照点種別Typeごとにあらかじめ固定値で設定された重みwを用いて、以下の式(4)により感情期待値Eexpを決定してもよい。この場合には、それぞれの感情期待値eiに対応する参照点種別Typeの重みwiは、式(3)を満たさなくてもよい。

0096

たとえば、図11に示す例で、時間T1を開始時間とする参照点種別Type1「BGM」の参照点Vp1と、時間T2を開始時間とする参照点種別Type2「映像ショット」の参照点Vp2に対して、それぞれ感情期待値e1、e2が取得されたとする。また、参照点種別Type「BGM」、「映像ショット」には、相対的に7:3となる重み付けが設定されたとする。この場合、感情期待値Eexpは、たとえば、以下の式(5)のように算出される。

0097

次いで、ステップS1630で、感情一致性判定部420は、単位時間Sの映像部分に対応する感情情報を特定し、特定した感情情報から、単位時間Sの映像部分の感情実測値Euserを取得する。該当する感情実測値が複数存在する場合には、たとえば、感情期待値Eexpと同様に、複数の感情実測値を合成すればよい。

0098

次いで、ステップS1640で、感情一致性判定部420は、感情期待値Eexpと感情実測値Euserとの差分を算出し、これら2つの値の一致性から、単位時間Sの映像部分における感情一致性の有無を判定する。具体的には、感情期待値Eexpと感情実測値Euserとの差分の絶対値が、あらかじめ定めた2次元感情モデル600の2次元空間における距離の閾値Ed以下であるか否かを判別し、差分の絶対値が閾値Ed以下の場合(S1640:YES)、ステップS1650に進み、差分の絶対値が閾値Edを超える場合(S1640:NO)、ステップS1660に進む。

0099

ステップS1650で、感情一致性判定部420は、単位時間Sの映像部分において感情一致性が有ると判断し、感情一致性判の有無を示す感情一致性判定情報REに値「1」を設定する。つまり、感情一致性の判定結果として感情一致性判定情報RE=1を取得する。そして、感情一致性判定部420は、感情一致性判定情報REと、この感情一致性判定情報REの取得に用いられた感情期待値情報および感情情報とを、統合判定部430に出力し、図5のステップS1700に進む。

0100

一方、ステップS1660では、感情一致性判定部420は、単位時間Sの映像部分において感情一致性が無いと判断し、感情一致性判の有無を示す感情一致性判定情報REに値「0」を設定する。つまり、感情一致性の判定結果として感情一致性判定情報RE=0を取得する。そして、感情一致性判定部420は、感情一致性判定情報REと、この感情一致性判定情報REの取得に用いられた感情期待値情報および感情情報とを、統合判定部430に出力し、図5のステップS1700に進む。

0101

上記ステップS1640〜S1660の処理は、たとえば、以下の式(6)を用いることができる。

0102

このようにして、統合判定部430には、映像コンテンツを単位時間Sで分割した映像部分ごとに、感情期待値情報および感情情報と、時間一致性判定情報RTおよび感情一致性判定情報REとが入力される。統合判定部430は、入力されるこれらの情報を、視聴質データ格納部500に格納する。

0103

時間一致性判定情報RTと感情一致性判定情報REは、それぞれ値「1」と「0」を取り得ることから、4パターンの組合せが考えられる。

0104

時間一致性と感情一致性の両方が有るということは、映像コンテンツを視聴する際、関心を持って視聴する視聴者に映像編集に基づいて生起すると期待される感情が、該当する映像編集の存在箇所で視聴者に生起したことを示す。したがって、該当する映像部分を視聴者が関心を持って視聴したと推定できる。

0105

また、時間一致性と感情一致性のいずれも無いということは、映像コンテンツを視聴する際、関心を持って視聴する視聴者に映像編集に基づいて生起すると期待される感情が視聴者に生起せず、なんらかの感情が生起したとしても映像編集に起因するものではない可能性が高いということを示す。したがって、該当する映像部分を視聴者が関心を持って視聴しなかったと推定できる。

0106

しかしながら、時間一致性と感情一致性のいずれか一方が有り、他方が無い場合には、映像コンテンツの該当する映像部分を視聴者が関心を持って視聴したか否かを推定することは難しい。

0107

図13は、時間一致性は有るが感情一致性が無い場合の一例を示す説明図である。以下、参照点の線種は、感情種別に対応し、同一の線種は同一の感情種別であることを示し、異なる線種は異なる感情種別であることを示す。図13に示す例では、参照点相対開始時間Texp_stと感情生起時間Tuser_stはほぼ一致しているが、感情期待値Eexpと感情実測値Euserは異なる感情種別を示している。

0108

一方、図14は、感情一致性は有るが時間一致性が無い場合の一例を示す説明図である。図14に示す例では、感情期待値Eexpと感情実測値Euserの感情種別は一致しているが、参照点相対開始時間Texp_stと感情生起時間Tuser_stは大きくずれている。

0109

統合判定部430は、図13図14に示すような場合を考慮し、図5のステップS1700で、時間一致性判定結果と感情一致性判定結果とを統合して最終的な視聴質判定を行う統合判定処理を、映像コンテンツを単位時間Sで分割した各映像部分に対して実行する。

0110

図15は、統合判定部430による統合判定処理の流れの一例を示すフローチャートであり、図5のステップS1700に対応するものである。

0111

まず、ステップS1710で、統合判定部430は、映像コンテンツを単位時間Sで分割した映像部分を1つ選択し、対応する時間一致性判定情報RTおよび感情一致性判定情報REを取得する。

0112

次いで、ステップS1720で、統合判定部430は、時間一致性を判別し、時間一致性判定情報RTが値「1」で時間一致性が有る場合には(S1720:YES)、ステップS1730に進み、時間一致性判定情報RTが値「0」で時間一致性が無い場合には(S1720:NO)、ステップS1740に進む。

0113

ステップS1730で、統合判定部430は、感情一致性を判別し、感情一致性判定情報REが値「1」で感情一致性が有る場合には(S1730:YES)、ステップS1750に進み、感情一致性判定情報REが値「0」で感情一致性が無い場合には(S1730:NO)、ステップS1751に進む。

0114

ステップS1750で、統合判定部430は、時間一致性と感情一致性の両方が有ることから、該当する映像部分の視聴質情報を「有」に設定し、視聴質情報を取得する。そして、統合判定部430は、取得した視聴質情報を、視聴質データ格納部500に格納する。

0115

一方、ステップS1751で、統合判定部430は、時間一致性は有るものの感情一致性が無いことから、さらに詳細な解析を行って視聴質判定を行う時間一致感情不一致時判定処理を実行する。時間一致感情不一致時判定処理については後述する。

0116

ステップS1740で、統合判定部430は、感情一致性を判別し、感情一致性判定情報REが値「0」で感情一致性が無い場合には(S1740:NO)、ステップS1770に進み、感情一致性判定情報REが値「1」で感情一致性が有る場合には(S1740:YES)、ステップS1771に進む。

0117

ステップS1770で、統合判定部430は、時間一致性と感情一致性のいずれも無いことから、該当する映像部分の視聴質情報を「無」に設定し、視聴質情報を取得する。そして、統合判定部430は、取得した視聴質情報を、視聴質データ格納部500に格納する。

0118

一方、ステップS1771で、統合判定部430は、感情一致性は有るものの時間一致性が無いことから、さらに詳細な解析を行って視聴質判定を行う感情一致時間不一致時判定処理を実行する。感情一致時間不一致時判定処理については後述する。

0119

次に、時間一致感情不一致時判定処理について説明する。

0120

図16は、統合判定部430による時間一致感情不一致時判定処理の流れの一例を示すフローチャートであり、図15のステップS1751に対応するものである。

0121

ステップS1752で、統合判定部430は、視聴質データ格納部500を参照し、視聴質判定の対象としている映像部分(以下「判定対象」という)の近傍の他の映像部分に、参照点が存在するか否かを判別する。該当する参照点が存在しない場合には(S1752:NO)、ステップS1753に進み、該当する参照点が存在する場合には(S1752:YES)、ステップS1754に進む。

0122

判定対象の近傍の他の映像部分をどのように設定するかは、視聴質データ情報を、映像コンテンツの視聴に対してリアルタイムで生成するかオフタイムで生成するかによって異なる。

0123

映像コンテンツの視聴に対して視聴質データ情報をリアルタイムで生成する場合、たとえば、判定対象からM個分の単位時間Sだけ時間を遡った範囲を、上記近傍の他の映像部分とし、この範囲で参照点を検索する。つまり、判定対象からみて、S×Mの範囲の過去の情報を用いる。

0124

一方、映像コンテンツの視聴に対して視聴質データ情報をオフタイムで生成する場合、判定対象よりも後の映像部分で得られた感情実測値を用いることができる。したがって、過去の情報だけでなく、判定対象からみて未来の情報を用いることができ、たとえば、判定対象を中心とする前後S×Mの範囲を上記近傍の他の映像部分とし、この範囲で参照点を検索する。Mの値は任意とすることができ、たとえば「5」などの整数があらかじめ設定される。また、参照点の検索範囲は、時間長さで設定してもよい。

0125

ステップS1753で、統合判定部430は、判定対象の近傍の他の映像部分に参照点が存在しないことから、該当する映像部分の視聴質情報を「無」に設定し、ステップS1769に進む。

0126

ステップS1754で、統合判定部430は、判定対象の近傍の他の映像部分に参照点が存在することから、その参照点における時間一致性の有無を参考にして視聴質判定を行う時間一致近傍参照点存在時判定処理を実行する。

0127

図17は、統合判定部430による時間一致近傍参照点存在時判定処理の流れの一例を示すフローチャートであり、図16のステップS1754に対応するものである。

0128

まず、ステップS1755で、統合判定部430は、視聴質データ格納部500から、時系列に連続したL個以上の映像部分のそれぞれから代表的な参照点を検索し、取得する。ここで、検索範囲における参照点の番号および感情実測値Euserの番号を示すパラメータを、それぞれj、kとする。パラメータj、kは、それぞれ{0,1,2,3,…L}の値を取る。

0129

次いで、ステップS1756で、統合判定部430は、視聴質データ格納部500に格納された感情期待値情報および感情情報から、j番目の参照点の感情期待値Eexp(j、tj)と、k番目の感情実測値Euser(k,tk)と、を取得する。ここで、時刻tjおよび時刻tkは、それぞれ感情期待値と感情実測値が得られた時刻、つまり対応する感情が生起した時刻である。

0130

次いで、ステップS1757で、統合判定部430は、感情期待値Eexp(j)と、同じ映像部分における感情実測値Euser(k)との差分の絶対値を算出し、差分の絶対値があらかじめ定めた2次元感情モデル600の2次元空間における距離の閾値K以下であり、かつ時刻tjと時刻tkが一致するか否かを判別する。統合判定部430は、差分の絶対値が閾値K以下であり、かつ時刻tjと時刻tkが一致する場合には(S1757:YES)、ステップS1758に進み、差分の絶対値が閾値Kを超えるか、時刻tjと時刻tkが一致しない場合には(S1757:NO)、ステップS1759に進む。時刻tjと時刻tkとの一致不一致判定は、たとえば、時刻tjと時刻tkとの差の絶対値が、あらかじめ定められた閾値未満のときには一致すると判定し、閾値以上のときには一致しないと判定すればよい。

0131

ステップS1758で、統合判定部430は、感情が大きく異なっておらず、かつ生起時間が一致すると判断して、j番目の参照点についての処理フラグFLGに、TRUEの論理を示す値「1」を設定し、ステップS1760に進む。ただし、後述するステップS1759で既に処理フラグFLGにFALSEの論理を示す値「0」が設定されている場合には、そのままとする。

0132

ステップS1759で、統合判定部430は、感情が大きく異なるか、生起時間が一致しないと判断して、j番目の参照点についての処理フラグFLGに、FALSEの論理を示す値「0」を設定し、ステップS1760に進む。

0133

次いで、ステップS1760で、統合判定部430は、L個の参照点全てについて処理フラグFLG設定の処理が完了したか否かを判別する。まだL個の参照点全てについて処理が完了していない場合、つまりパラメータjがL未満の場合には(S1760:NO)、パラメータj,kの値をそれぞれ1つずつ増加させ、ステップS1756へ戻る。ステップS1756〜S1760の処理を繰り返し、L個の参照点全てについて処理が完了すると(S1760:YES)、ステップS1761に進む。

0134

ステップS1761で、統合判定部430は、処理フラグFLGが、値「0」(FALSE)に設定されているか否かを判別する。処理フラグFLGに値「0」が設定されていない場合には(S1761:NO)、ステップS1762に進み、処理フラグFLGに値「0」が設定された場合には(S1761:YES)、ステップS1763に進む。

0135

ステップS1762で、統合判定部430は、感情期待値情報と感情情報とで、感情一致性は無いものの、近傍のL個の参照点で連続して時間一致性が有ることから、視聴者は関心を持って判定対象の映像部分を視聴したと判断し、判定対象の視聴質情報を「有」に設定する。そして、図16のステップS1769に進む。

0136

一方、ステップS1763では、統合判定部430は、感情期待値情報と感情情報とで、感情一致性が無く、近傍のL個の参照点でも連続して時間一致性が無いことから、視聴者は関心を持って判定対象の映像部分を視聴しなかったと判断し、判定対象の視聴質情報を「無」に設定する。そして、図16のステップS1769に進む。

0137

図16のステップS1769において、統合判定部430は、図16のステップS1753、図17のステップS1762またはステップS1763で設定された視聴質情報を取得し、視聴質データ格納部500に格納する。そして、図5のステップS1800に進む。

0138

このようにして、総合判定部430は、時間一致近傍参照点存在時判定処理により、時間一致性が有り感情一致性が無い映像部分に対しても視聴質の判定を行う。

0139

図18は、時間一致近傍参照点存在時判定処理によって視聴質情報が設定される様子を示す説明図である。ここでは、視聴質データ情報をリアルタイムで生成し、パラメータL=3、閾値K=9の場合を図示し、Vcp1は、判定対象で検出された効果音の参照点を、Vcp2、Vcp3は、判定対象の近傍の映像部分でBGMと映像ショットから検出された参照点を、それぞれ示す。

0140

図18に示すように、参照点Vcp1が検出された判定対象から、感情期待値(4,2)および感情実測値(−3,4)が取得されたとする。また、参照点Vcp2が検出された映像部分から感情期待値(3,4)および感情実測値(3,−4)が、参照点Vcp3が検出された映像部分から感情期待値(−4,−2)および感情実測値(3,−4)が、それぞれ取得されたとする。参照点Vcp1が検出された判定対象は、時間一致性は有るものの感情一致性が無いため、図16に示す時間一致感情不一致時判定処理が実行されるまでは視聴質情報は未定の状態である。参照点Vcp2、Vcp3が検出された映像部分も同様である。この状態で、図17に示す時間一致近傍参照点存在時判定処理が実行されると、近傍の参照点Vcp2、Vcp3においても時間一致性が有ることから、参照点Vcp1が検出された判定対象の視聴質情報は「有」と判定される。参照点Vcp2の近傍の参照点として参照点Vcp1、Vcp3が検索された場合や、参照点Vcp3の近傍の参照点として参照点Vcp1、Vcp2が検索された場合も、同様である。

0141

次に、感情一致時間不一致時判定処理について説明する。

0142

図19は、統合判定部430による感情一致時間不一致時判定処理の流れの一例を示すフローチャートであり、図15のステップS1771に対応するものである。

0143

ステップS1772で、統合判定部430は、視聴質データ格納部500を参照し、判定対象の近傍の他の映像部分に、参照点が存在するか否かを判別する。該当する参照点が存在しない場合には(S1772:NO)、ステップS1773に進み、該当する参照点が存在する場合には(S1772:YES)、ステップS1774に進む。

0144

判定対象の近傍の他の映像部分をどのように設定するかは、図16に示す時間一致感情不一致時判定処理と同様に、視聴質データ情報をリアルタイムで生成するかオフタイムで生成するかによって異なる。

0145

ステップS1773で、統合判定部430は、判定対象の近傍の他の映像部分に参照点が存在しないことから、該当する映像部分の視聴質情報を「無」に設定し、ステップS1789に進む。

0146

ステップS1774で、統合判定部430は、判定対象の近傍の他の映像部分に参照点が存在することから、その参照点における感情一致性の有無を参考にして視聴質判定を行う感情一致近傍参照点存在時判定処理を実行する。

0147

図20は、統合判定部430による感情一致近傍参照点存在時判定処理の流れの一例を示すフローチャートであり、図19のステップS1774に対応するものである。ここで、判定対象の参照点の番号をパラメータpで示す。

0148

まず、ステップS1775で、統合判定部430は、視聴質データ格納部500から、判定対象の1つ前(p−1番目)の参照点の感情期待値Eexp(p−1)と、判定対象の1つ後(p+1番目)の参照点の感情期待値Eexp(p+1)と、を取得する。

0149

次いで、ステップS1776で、統合判定部430は、視聴質データ格納部500から、判定対象の1つ前(p−1番目)の参照点と同じ映像部分で計測された感情実測値Euser(p−1)と、判定対象の1つ後(p+1番目)の参照点と同じ映像部分で計測された感情実測値Euser(p+1)と、を取得する。

0150

次いで、ステップS1777で、統合判定部430は、感情期待値Eexp(p+1)と感情実測値Euser(p+1)との差分の絶対値と、感情期待値Eexp(p−1)と感情実測値Euser(p−1)との差分の絶対値と、を算出する。そして、両方の値が、あらかじめ定めた2次元感情モデル600の2次元空間における距離の閾値K以下であるか否かを判別する。ただし、ここでは、感情が一致するといえる最大値が閾値Kにあらかじめ設定される。統合判定部430は、両方の値が閾値K以下の場合には(S1777:YES)、ステップS1778に進み、両方の値が閾値K以下ではない場合には(S1777:NO)、ステップS1779に進む。

0151

ステップS1778で、統合判定部430は、感情期待値情報と感情情報とで、時間一致性は無いものの、前後の参照点の映像部分でも感情一致性が有ることから、視聴者は関心を持って判定対象の映像部分を視聴したと判断し、判定対象の視聴質情報を「有」に設定する。そして、図19のステップS1789に進む。

0152

一方、ステップS1779では、統合判定部430は、感情期待値情報と感情情報とで、時間一致性が無く、前後の参照点の映像部分の少なくとも一方で感情一致性が無いことから、視聴者は関心を持って判定対象の映像部分を視聴しなかったと判断し、判定対象の視聴質情報を「無」に設定する。そして、図19のステップS1789に進む。

0153

図19のステップS1789において、統合判定部430は、図19のステップS1773、図20のステップS1778またはステップS1779で設定された視聴質情報を取得し、視聴質データ格納部500に格納する。そして、図5のステップS1800に進む。

0154

このようにして、総合判定部430は、感情一致近傍参照点存在時判定処理により、感情一致性は有るが時間一致性が無い映像部分に対しても視聴質の判定を行う。

0155

図21は、感情一致近傍参照点存在時判定処理によって視聴質情報が設定される様子を示す説明図である。ここでは、視聴質データ情報をオフタイムで生成し、判定対象の前後1つずつの参照点を判定に用いた場合を図示し、Vcp2は、判定対象で検出された効果音の参照点を、Vcp1、Vcp3は、判定対象の近傍の映像部分で効果音とBGMから検出された参照点を、それぞれ示す。

0156

図21に示すように、参照点Vcp2が検出された判定対象から、感情期待値(−1,2)および感情実測値(−1,2)が取得されたとする。また、参照点Vcp1が検出された映像部分から感情期待値(4,2)および感情実測値(4,2)が、参照点Vcp3が検出された映像部分から感情期待値(3,4)および感情実測値(3,4)が、それぞれ取得されたとする。参照点Vcp2が検出された判定対象は、感情一致性は有るものの時間一致性が無いため、図19に示す感情一致時間不一致時判定処理が実行されるまでは視聴質情報は未定の状態である。ただし、参照点Vcp1、Vcp3が検出された映像部分は、感情一致性と時間一致性の両方が有るものとする。この状態で、図20に示す感情一致近傍参照点存在時判定処理が実行されると、近傍の参照点Vcp1、Vcp3においても時間一致性が有ることから、参照点Vcp2が検出された判定対象の視聴質情報は「有」と判定される。参照点Vcp1の近傍の参照点として参照点Vcp2、Vcp3が検索された場合や、参照点Vcp3の近傍の参照点として参照点Vcp1、Vcp2が検索された場合も、同様である。

0157

このように、総合判定部430は、統合判定処理により、映像コンテンツの視聴質情報を取得し、視聴質データ情報を生成して視聴質データ格納部500に格納する(図5のステップS1800)。具体的には、総合判定部430は、たとえば、視聴質データ格納部500に既に格納した感情期待値情報を編集し、感情期待値のフィールドを、取得した視聴質情報で置き換える。

0158

図22は、統合判定部430が生成する視聴質データ情報の一例を示す説明図である。図22に示すように、視聴質データ情報640は、図9に示す感情期待値情報630と同様の構成となっているが、感情期待値情報630の感情期待値のフィールドは視聴質情報のフィールドに置き換えられ、視聴質情報が格納される。ここでは、視聴質情報「有」を値「1」、視聴質情報「無」を値「0」で示した場合を例示している。つまり、この視聴質データ情報640から、参照点インデックスナンバー「ES_001」が存在した映像部分では、視聴者は関心を持って映像コンテンツを視聴せず、参照点インデックスナンバー「M_001」が存在した映像部分では、視聴者は関心を持って映像コンテンツを視聴していたということが解析できる。

0159

なお、参照点が検出されない映像部分の存在を示す視聴質情報を格納したり、時間一致性と感情一致性の一方が有り他方が無い映像部分については、感情一致時間視線不一致時判定処理や時間一致感情視線不一致時判定処理を行うことなく、「未定」を示す視聴質情報格納してもよい。

0160

また、視聴質データ格納部500に蓄積された複数の視聴質情報を解析することにより、映像コンテンツ全体を視聴者がどの程度の関心を持って視聴したかを判別し、視聴質情報として出力してもよい。具体的には、たとえば、視聴質情報「有」を値「1」に、視聴質情報「無」を値「−1」に変換し、変換した値を映像コンテンツ全体で合計する。また、映像コンテンツの種類や、視聴質データ情報の用途によって、視聴質情報に対応する数値を変えてもよい。

0161

また、たとえば、視聴質情報「有」を値「100」に、視聴質情報「無」を値「0」に変換した値の合計値を、取得された視聴質情報の個数で除することにより、映像コンテンツ全体に対する視聴者の関心度合いパーセンテージで表現することができる。この場合、たとえば、視聴質情報「未定」にも値「50」などの特有の値を与えれば、視聴質情報「未定」の状態を、視聴者がどの程度の関心を持って視聴したかの評価値に反映させることができる。

0162

以上説明したように本実施の形態によれば、映像コンテンツを視聴する際に視聴者に生起すると期待される感情を示す感情期待値情報と、視聴者に生起する感情を示す感情情報について、時間一致性と感情一致性を判定し、これらの結果から視聴質を判定するので、感情情報のうち実際のコンテンツへの関心の度合いに影響を受けているものといないものを区別でき、精度良く視聴質を判定することができる。また、時間一致性と感情一致性を統合して判定を行うので、たとえば映像編集に対する反応の個人差を考慮した視聴質判定を行うことができる。また、コンテンツへの関心の度合い以外の要素による影響を抑えるための制約を視聴者に課す必要が無いため、視聴者に特に負担を掛けることなく、精度の良い視聴質判定を実現できる。また、映像コンテンツの映像編集の内容から感情期待値情報を取得するので、各種の映像コンテンツに適用することができる。

0163

なお、図5に示す視聴質データ生成処理において、ステップS1000、S1100の処理と、ステップS1200〜S1400の処理は、どちらを先に実行してもよく、また、同時並行で実行してもよい。ステップS1500とステップS1600についても同様である。

0164

また、時間一致性と感情一致性の一方が有り他方が無い場合に、統合判定部430が、判定対象の近傍の参照点について時間一致性や感情一致性を判定するとしたが、これに限るものではない。たとえば、統合判定部430は、時間一致性判定部410から入力された時間一致性判定情報や、感情一致性判定部420から入力された感情一致性判定情報をそのまま判定結果として用いても良い。

0165

(実施の形態2)
図23は、本発明の実施の形態2に係る視聴質データ生成装置の構成を示すブロック図であり、実施の形態1の図1に対応するものである。図1と同一部分には同一符号を付し、これについての説明を省略する。

0166

図23において、視聴質データ生成装置700は、図1に示す構成に加えて、視線方向検出部900を有し、実施の形態1の統合判定部430とは異なる処理を実行する統合判定部830と、視線一致性判定部840とを備えた視聴質データ生成部800を有する。

0167

視線方向検出部900は、視聴者の視線方向を検出する。具体的には、視線方向検出部900は、たとえば、映像コンテンツが表示される画面の近傍に画面側から視聴者をステレオ撮影するディジタルカメラを設置し、撮影画像から視聴者の顔方向眼球方向を解析して、視聴者の視線方向を検出する。

0168

視聴一致性判定部840は、検出された視聴者の視線方向(以下単に「視線方向」という)が、テレビジョンの画面など映像コンテンツの表示領域に向いている視線一致性の有無の判定を行い、判定結果を示す視線一致性判定情報を生成する。具体的には、視聴一致性判定部840は、映像コンテンツの表示領域の位置をあらかじめ記憶しており、視線方向上に映像コンテンツの表示領域が存在するか否かを判別する。

0169

統合判定部830は、時間一致性判定情報、感情一致性判定情報、および視線一致性判定情報を統合して、視聴質判定を行う。具体的には、たとえば、上記3つの判定結果の組合せごとに視聴質情報の値を定めた判定テーブルをあらかじめ格納し、この判定テーブルを参照して視聴質情報の設定および取得を行う。

0170

図24は、視線を用いた統合判定処理で用いられる判定テーブルの構成の一例を示す説明図である。判定テーブル831は、時間一致性判定情報(RT)、感情一致性判定情報(RE)、および視線一致性判定情報(RS)の判定結果の各組合せに対応付けて、視聴質情報の値が記述されている。たとえば、時間一致性判定情報RT=「一致しない」、感情一致性判定情報RE=「一致しない」、および視線一致性判定結果=「一致」という組合せには、視聴質情報の値=「40%」が対応付けられている。これは、時間一致性も感情一致性も無く視線一致性のみが有る場合には、視聴者は40%程度の関心を持って映像コンテンツを視聴していると推定されることを示している。なお、視聴質情報の値は、時間一致性と感情一致性と視線一致性の全てが有る場合を100%、時間一致性と感情一致性と視線一致性の全てが無い場合を0%としたときの、関心の程度を示す。

0171

統合判定部830は、ある映像部分について、時間一致性判定情報、感情一致性判定情報、および視線一致性判定情報が入力されると、判定テーブル830で一致する組合せを検索し、対応する視聴質情報を取得し、取得した視聴質情報を視聴質データ格納部500に格納する。

0172

統合判定部830は、この判定テーブル830を用いて視聴質判定を行うことにより、迅速に視聴質情報を取得することができ、また、視線一致性を考慮したきめ細かい判定を実現できる。

0173

なお、図24に示す判定テーブル830では、時間一致性と感情一致性の一方のみが有り視線一致性が無い場合には、「20%」の値が対応付けられているが、他の参照点の判定結果を反映させることにより、よりきめ細かく値を決定することも可能である。以下、時間一致性は有るものの感情一致性が無い場合にさらに詳細な解析を行って視聴質判定を行う時間一致感情視線不一致時判定処理と、感情一致性は有るものの時間一致性が無い場合にさらに詳細な解析を行って視聴質判定を行う感情一致時間視線不一致時判定処理について説明する。

0174

図25は、時間一致感情視線不一致時判定処理の流れの一例を示すフローチャートである。以下、判定対象の参照点の番号をパラメータqで示す。また、判定対象の参照点の前後の参照点で、視線一致性情報と視聴質情報の値が取得されているものとして説明する。

0175

まず、ステップS7751で、統合判定部830は、q−1番目の参照点とq+1番目の参照点、つまり判定対象の前後の参照点の視聴質データと視線一致性判定情報とを取得する。

0176

次いで、ステップS7752で、統合判定部830は、前後の参照点の両方で視線一致性が有りかつ視聴質情報の値が60%を超えるという条件を満たすか否かを判別する。上記条件を満たす場合には(S7752:YES)、ステップS7753に進み、上記条件を満たさない場合には(S7752:NO)、ステップS7754に進む。

0177

ステップS7753で、統合判定部830は、前後の参照点の両方で視聴質情報の値が比較的高く、かつ視聴者は映像コンテンツに視線を向けていることから、視聴者が比較的高い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「75%」を設定する。

0178

次いで、ステップS7755で、統合判定部830は、値を設定した視聴質情報を取得し、実施の形態1の図5のS1800に進む。

0179

一方、ステップS7754で、統合判定部830は、前後の参照点の少なくとも一方で視線一致性が無くかつ視聴質情報の値が60%を超えるという条件を満たすか否かを判別する。上記条件を満たす場合には(S7754:YES)、ステップS7756に進み、上記条件を満たさない場合には(S7754:NO)、ステップS7757に進む。

0180

ステップS7756で、統合判定部830は、前後の参照点の少なくとも一方で視聴者は映像コンテンツに視線を向けていないものの、前後の参照点の両方で視聴質情報の値が比較的高いことから、視聴者がやや高い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「65%」を設定する。

0181

次いで、ステップS7758で、統合判定部830は、値を設定した視聴質情報を取得し、実施の形態1の図5のS1800に進む。

0182

また、ステップS7757で、統合判定部830は、前後の参照点の少なくとも一方で視聴質情報の値が比較的低く、かつ前後の参照点の少なくとも一方で視聴者は映像コンテンツに視線を向けていないことから、視聴者がかなり低い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「15%」を設定する。

0183

次いで、ステップS7759で、統合判定部830は、値を設定した視聴質情報を取得し、実施の形態1の図5のS1800に進む。

0184

このようにして、時間一致性が有り感情一致性が無い場合について、前後の参照点について得られた情報を考慮して、きめ細やかに視聴質情報の値を決定できる。

0185

図26は、感情一致時間視線不一致時判定処理の流れの一例を示すフローチャートである。

0186

まず、ステップS7771で、統合判定部830は、q−1番目の参照点とq+1番目の参照点、つまり判定対象の前後の参照点の視聴質データと視線一致性判定情報とを取得する。

0187

次いで、ステップS7772で、統合判定部830は、前後の参照点の両方で視線一致性が有りかつ視聴質情報の値が60%を超えるという条件を満たすか否かを判別する。上記条件を満たす場合には(S7772:YES)、ステップS7773に進み、上記条件を満たさない場合には(S7772:NO)、ステップS7774に進む。

0188

ステップS7773で、統合判定部830は、前後の参照点の両方で視聴質情報の値が比較的高く、かつ視聴者は映像コンテンツに視線を向けていることから、視聴者が中程度の関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「50%」を設定する。

0189

次いで、ステップS7775で、統合判定部830は、値を設定した視聴質情報を取得し、実施の形態1の図5のS1800に進む。

0190

一方、ステップS7774で、統合判定部830は、前後の参照点の少なくとも一方で視線一致性が無くかつ視聴質情報の値が60%を超えるという条件を満たすか否かを判別する。上記条件を満たす場合には(S7774:YES)、ステップS7776に進み、上記条件を満たさない場合には(S7774:NO)、ステップS7777に進む。

0191

ステップS7776で、統合判定部830は、前後の参照点の両方で視聴質情報の値が比較的高いものの、前後の参照点の少なくとも一方で視聴者は映像コンテンツに視線を向けていないことから、視聴者がやや低い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「45%」を設定する。

0192

次いで、ステップS7778で、統合判定部830は、値を設定した視聴質情報を取得し、実施の形態1の図5のS1800に進む。

0193

また、ステップS7777で、統合判定部830は、前後の参照点の少なくとも一方で視聴質情報の値が比較的低く、かつ前後の参照点の少なくとも一方で視聴者は映像コンテンツに視線を向けていないことから、視聴者が低い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「20%」を設定する。

0194

次いで、ステップS7779で、統合判定部830は、値を設定した視聴質情報を取得し、実施の形態1の図5のS1800に進む。

0195

このようにして、感情一致性は有るものの時間一致性が無い場合についても、前後の参照点について得られた情報を考慮して、きめ細やかに視聴質情報の値を決定できる。

0196

なお、図25図26では、前後の参照点で視線一致性情報と視聴質情報の値が取得できる場合について説明したが、感情一致性は有るものの時間一致性が無い参照点が、複数連続したり、最初と最後の参照点である場合も有り得る。このような場合には、たとえば、前後いずれか一方の参照点の情報のみを用いたり、前後いずれか一方で連続する複数の参照点の情報を用いるようにすればよい。

0197

図5のステップS1800では、視聴質情報としてパーセンテージの値が視聴質データ情報に記述されることになる。統合判定部830は、たとえば、映像コンテンツ全体で得られた視聴質情報の値の平均を算出し、映像コンテンツ全体に対する視聴者の関心度合いをパーセンテージで出力するようにしてもよい。

0198

このように、本実施の形態によれば、感情一致性判定結果と時間一致性判定結果に加えて、視線一致性判定結果を視聴質判定に用いるので、より精度の高い視聴質判定や、より詳細な視聴質判定を実現できる。また、判定テーブルを用いるので、判定処理を高速化できる。

0199

なお、第1段階として、まず感情一致性判定結果と時間一致性判定結果によって視聴質判定を試み、判定対象に参照点が無い場合や近傍に参照点が存在しない場合など判定結果を得られない場合にのみ、第2段階として、視線一致性判定結果を用いた視聴質判定を行うようにしてもよい。

0200

また、以上説明した各実施の形態では、映像コンテンツの映像編集の内容から感情期待値情報を取得するとしたが、映像コンテンツにあらかじめ参照点を示す情報とそれぞれの感情期待値を示す情報とを付加しておき、これらの情報から感情期待値情報を取得するようにしてもよい。

0201

また、同じ映像コンテンツを視聴した他の視聴者によるコメントや評価が、インターネット上に公開されていたり、映像コンテンツに付加されていることがある。そこで、映像コンテンツに映像編集点があまり含まれておらず、参照点を十分に検出できないような場合には、これらのコメントや評価を解析して、感情期待値情報の取得を補うようにしてもよい。たとえば、「Aさんが登場したシーンでは特に悲しくなった」というコメントがブログ(blog)に記載されていたとする。この場合、該当コンテンツの「Aさん」が登場する時間を検出し、検出した時間を参照点として取得するとともに、「悲しい」に該当する値を感情期待値として取得すればよい。

0202

また、感情一致性の判定の手法として、感情モデルの空間における感情期待値と感情実測値との距離を閾値と比較したが、映像コンテンツの映像編集の内容と視聴者の生体情報とをそれぞれ感情種別に変換し、感情種別が一致または類似するか否かを判定してもよい。また、この場合には、感情種別が遷移する点ではなく、「興奮」などの特定の感情種別が生起する時刻または生起している時間帯を、感情一致性や時間一致性の判定の対象としてもよい。

0203

本発明は、映像コンテンツ以外にも、音楽コンテンツや、ウェブ上の文章などのテキストコンテンツなど、各種のコンテンツに適用できることは勿論である。

0204

本発明に係る視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体は、視聴者に特に負担を掛けることなく、精度良く視聴質を判定することができる視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体として有用である。

図面の簡単な説明

0205

本発明の実施の形態1に係る視聴質データ生成装置の構成を示すブロック図
実施の形態1で用いられる2次元感情モデルの一例を示す説明図
実施の形態1における各変換テーブルの構成の一例を示す説明図
実施の形態1における参照点種別情報管理テーブルの一例を示す説明図
実施の形態1における視聴質データ生成装置における視聴質データ生成処理の全体的な流れの一例を示すフローチャート
実施の形態1における感情情報取得部から出力される感情情報の構成の一例を示す説明図
実施の形態1における映像操作/属性情報取得部から出力される映像操作/属性情報の構成の一例を示す説明図
実施の形態1における照点感情期待値算出部による感情期待値情報算出処理の流れの一例を示すフローチャートの構成の一例を示す説明図
実施の形態1における参照点感情期待値算出部が出力する参照点感情期待値情報の一例を示す説明図
実施の形態1における時間一致性判定部による時間一致性判定処理の流れの一例を示すフローチャート
実施の形態1における1つの単位時間に複数の参照点が複数存在する様子を示す説明図
実施の形態1における感情一致性判定部による感情一致性判定処理の流れの一例を示すフローチャート
実施の形態1における時間一致性が有り感情一致性が無い場合の一例を示す説明図
実施の形態1における感情一致性が有り時間一致性が無い場合の一例を示す説明図
実施の形態1における統合判定部による統合判定処理の流れの一例を示すフローチャート
実施の形態1における統合判定部による時間一致感情不一致時判定処理の流れの一例を示すフローチャート
実施の形態1における統合判定部による時間一致近傍参照点存在時判定処理の流れの一例を示すフローチャート
実施の形態1における時間一致近傍参照点存在時判定処理によって視聴質情報が設定される様子を示す説明図
実施の形態1における感情一致時間不一致時判定処理の流れの一例を示すフローチャート
実施の形態1における感情一致近傍参照点存在時判定処理の流れの一例を示すフローチャート
実施の形態1における時間不一致近傍参照点存在時判定処理によって視聴質情報が設定される様子を示す説明図
実施の形態1における統合判定部が生成する視聴質データ情報の一例を示す説明図
本発明の実施の形態2に係る視聴質データ生成装置の構成を示すブロック図
視線を用いた統合判定処理で用いられる判定テーブルの構成の一例を示す説明図
実施の形態2における時間一致感情視線不一致時判定処理の流れの一例を示すフローチャート
実施の形態2における感情一致時間視線不一致時判定処理の流れの一例を示すフローチャート

符号の説明

0206

100、700視聴質データ生成装置
200感情情報生成部
210センシング部
220 感情情報取得部
300感情期待値情報生成部
310映像取得部
320映像操作/属性情報取得部
330参照点感情期待値算出部
340 参照点感情期待値変換テーブル
400 視聴質データ生成部
410時間一致性判定部
420感情一致性判定部
430、830統合判定部
500 視聴質データ格納部
840視線一致性判定部
900視線方向検出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ