図面 (/)

技術 疲労感評価装置、疲労感評価方法、及びプログラム

出願人 日本電信電話株式会社
発明者 川嶋喜美子岡本淳
出願日 2012年9月10日 (7年9ヶ月経過) 出願番号 2012-198951
公開日 2014年3月20日 (6年3ヶ月経過) 公開番号 2014-050649
状態 特許登録済
技術分野 生体の呼吸・聴力・形態・血液特性等の測定
主要キーワード ノイズ除去手法 変化スピード 視線位置データ 実験的評価 映像解析結果 提示映像 コントロールソフトウェア 視覚情報処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年3月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

映像視聴するユーザの疲労感を高い精度で評価する。

解決手段

映像を視聴するユーザの疲労感評価を行う疲労感評価装置において、疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴した前記ユーザから取得した生体データに基づき得られた値を、疲労感評価のための基準値として記憶する基準値記憶手段と、前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価し、評価結果を出力する疲労感評価手段とを備える。

概要

背景

TV、ゲーム端末携帯端末等で立体映像を観視できる環境が整いつつあり、家庭環境でも容易に観視可能となっている(非特許文献1)。しかしながら、立体映像サービスでは、裸眼モニタ専用メガネ方式のモニタ、あるいは、ヘッドマウントディスプレイ(HMD)を利用して観視可能であるが、立体映像視聴時に体調不良を起こすケース国民生活センター等に報告され、問題視されている(非特許文献2)。そのため、政府や業界としては適正な観視状況での視聴を推奨している(非特許文献3)。
一方で、生体計測手法を用いて、日々のユーザの健康を経時的に管理する取り組みが進んでいる(非特許文献4)。生体計測手法を用いることで、3D映像視聴中のユーザが感じ疲労感を、リアルタイムに評価することが可能となっている。

概要

映像を視聴するユーザの疲労感を高い精度で評価する。映像を視聴するユーザの疲労感評価を行う疲労感評価装置において、疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴した前記ユーザから取得した生体データに基づき得られた値を、疲労感評価のための基準値として記憶する基準値記憶手段と、前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価し、評価結果を出力する疲労感評価手段とを備える。

目的

3Dディスプレイ度目正直、NIKKEI ELECTRONICS 2008.9.22
3D映画による体調不良 (http://www.kokusen.go.jp/pdf/n-20100804_2.pdf)
3Dコンソーシアムガイドライン(http://www.3dc.gr.jp/jp/scmt_wg_rep/guide_index.html)
LifeMinder :ウェアラブル健康管理ステム(http://ci.nii.ac.jp/naid/110003272519)
Eye-Sensing Displayを用いた眼疲労測定システム構築実験的評価(http://hydro.energy.kyoto-u.ac.jp/Lab/ronbun/P_2004/nishimura.pdf)
三橋 哲雄, "CFFの測定・解析法テレビ観視者の疲労に関する一検討," 信学論(A), vol. J77-A, no. 12, pp.1768-1776, Dec. 1994.
不二門 尚, "視覚情報処理機構からみた眼精疲労: 3D映像視聴の影響を中心に," あたらしい眼科, vol.14 no. 9, pp.1295-1299, Sept. 1997.
ニコン分析画質評価ツールVQ-1200、http://www.nikon-sys.co.jp/products/index_1_0.htm
NTTエレクトロニクス映像品質客観評価ソフトウェアQE1000、http://www.ntt-electronics.com/digital_video/products/qe1000/index.html
ニー3DクオリティコントロールソフトウェアMPES-3DQC1 http://www.sony.jp/pro/products/MPES-3DQC1/feature_1.html#L2_10
VDT作業による疲労の主観評価値客観的測定値との相関http://ci.nii.ac.jp/els/110003676032.pdf?id=ART0004547832&type=pdf&lang=jp&host=cinii&order_no=&ppv_type=0&lang_sw=&no=1333951089&cp=






映像配信事業者にとって、ユーザに疲労感を感じさせることなく、快適に映像配信サービスを提供する

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像視聴するユーザの疲労感評価を行う疲労感評価装置であって、疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴した前記ユーザから取得した生体データに基づき得られた値を、疲労感評価のための基準値として記憶する基準値記憶手段と、前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価し、評価結果を出力する疲労感評価手段とを備えたことを特徴とする疲労感評価装置。

請求項2

前記疲労感評価手段は、前記ユーザから生体データを取得する生体データ取得手段と、前記生体データを比較することにより、前記計測値として、ノイズを除去した計測値を算出する生体データ処理手段と、前記ノイズを除去した計測値に基づいて、前記ユーザの疲労感を評価する評価手段とを備えたことを特徴とする請求項1に記載の疲労感評価装置。

請求項3

前記ユーザが視聴している前記対象映像の映像信号解析する映像信号処理手段と、前記解析された映像信号に基づいて、前記対象映像が劣化しているか否かを判定する劣化判定手段と、前記劣化判定手段により前記対象映像が劣化していると判定された場合に、アラームを出力するアラーム出力手段とを更に備えることを特徴とする請求項1又は2に記載の疲労感評価装置。

請求項4

映像を視聴するユーザの疲労感評価を行う疲労感評価装置が実行する疲労感評価方法であって、疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴する前記ユーザから生体データを取得し、当該生体データに基づき得られた値を、疲労感評価のための基準値として基準値記憶手段に記憶する基準値取得ステップと、前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価し、評価結果を出力する疲労感評価ステップとを備えたことを特徴とする疲労感評価方法。

請求項5

前記疲労感評価ステップは、前記ユーザから生体データを取得する生体データ取得ステップと、前記生体データを比較することにより、前記計測値として、ノイズを除去した計測値を算出する生体データ処理ステップと、前記ノイズを除去した計測値に基づいて、前記ユーザの疲労感を評価する評価ステップとを備えたことを特徴とする請求項4に記載の疲労感評価方法。

請求項6

前記ユーザが視聴している前記対象映像の映像信号を解析する映像信号処理ステップと、前記解析された映像信号に基づいて、前記対象映像が劣化しているか否かを判定する劣化判定ステップと、前記劣化判定ステップにより前記対象映像が劣化していると判定された場合に、アラームを出力するアラーム出力ステップとを更に備えることを特徴とする請求項4又は5に記載の疲労感評価方法。

請求項7

コンピュータを、請求項1ないし3のうちいずれか1項に記載の疲労感評価装置における各手段として機能させるためのプログラム

技術分野

0001

本発明は、映像サービス提供時の疲労感評価技術に関するものである。

背景技術

0002

TV、ゲーム端末携帯端末等で立体映像を観視できる環境が整いつつあり、家庭環境でも容易に観視可能となっている(非特許文献1)。しかしながら、立体映像サービスでは、裸眼モニタ専用メガネ方式のモニタ、あるいは、ヘッドマウントディスプレイ(HMD)を利用して観視可能であるが、立体映像視聴時に体調不良を起こすケース国民生活センター等に報告され、問題視されている(非特許文献2)。そのため、政府や業界としては適正な観視状況での視聴を推奨している(非特許文献3)。
一方で、生体計測手法を用いて、日々のユーザの健康を経時的に管理する取り組みが進んでいる(非特許文献4)。生体計測手法を用いることで、3D映像視聴中のユーザが感じる疲労感を、リアルタイムに評価することが可能となっている。

先行技術

0003

3Dディスプレイ度目正直、NIKKEI ELECTRONICS 2008.9.22
3D映画による体調不良 (http://www.kokusen.go.jp/pdf/n-20100804_2.pdf)
3Dコンソーシアムガイドライン(http://www.3dc.gr.jp/jp/scmt_wg_rep/guide_index.html)
LifeMinder :ウェアラブル健康管理ステム(http://ci.nii.ac.jp/naid/110003272519)
Eye-Sensing Displayを用いた眼疲労測定システム構築実験的評価(http://hydro.energy.kyoto-u.ac.jp/Lab/ronbun/P_2004/nishimura.pdf)
三橋 哲雄, "CFFの測定・解析法テレビ観視者の疲労に関する一検討," 信学論(A), vol. J77-A, no. 12, pp.1768-1776, Dec. 1994.
不二門 尚, "視覚情報処理機構からみた眼精疲労: 3D映像視聴の影響を中心に," あたらしい眼科, vol.14 no. 9, pp.1295-1299, Sept. 1997.
ニコン分析画質評価ツールVQ-1200、http://www.nikon-sys.co.jp/products/index_1_0.htm
NTTエレクトロニクス映像品質客観評価ソフトウェアQE1000、http://www.ntt-electronics.com/digital_video/products/qe1000/index.html
ニー3DクオリティコントロールソフトウェアMPES-3DQC1 http://www.sony.jp/pro/products/MPES-3DQC1/feature_1.html#L2_10
VDT作業による疲労の主観評価値客観的測定値との相関http://ci.nii.ac.jp/els/110003676032.pdf?id=ART0004547832&type=pdf&lang=jp&host=cinii&order_no=&ppv_type=0&lang_sw=&no=1333951089&cp=

発明が解決しようとする課題

0004

映像配信事業者にとって、ユーザに疲労感を感じさせることなく、快適に映像配信サービスを提供することは、ユーザ満足度の高いサービスを提供するために重要なことである。そのため、事前に、映像コンテンツ映像提示モニタ等の品質検査を行い、映像視聴中のユーザの疲労感を評価することが望まれている。しかし、高い精度で疲労感を評価するには、以下のような課題がある。

0005

1つは、リアルタイムに客観的にユーザの疲労感を評価するために、生体計測手法を用いて疲労感を評価する場合、安定して高精度な生体計測は難しく、生体データノイズがのりやすいという課題である。また、生体データは、映像視聴日のユーザの体調の影響や環境の影響を受けやすいという課題もある。さらに、ユーザが感じている疲労の原因が映像視聴にあるか、そうでないかを切り分けることが困難であるという課題もある。
本発明は上記の点に鑑みてなされたものであり、映像を視聴するユーザの疲労感を高い精度で評価することを可能とする疲労感評価技術を提供することを目的とする。

課題を解決するための手段

0006

上記の課題を解決するために、本発明は、映像を視聴するユーザの疲労感評価を行う疲労感評価装置であって、
疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴した前記ユーザから取得した生体データに基づき得られた値を、疲労感評価のための基準値として記憶する基準値記憶手段と、
前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価し、評価結果を出力する疲労感評価手段とを備えたことを特徴とする疲労感評価装置として構成される。
また、本発明は、疲労感評価装置が実行する疲労感評価方法、及びコンピュータを疲労感評価装置として機能させるためのプログラムとして構成することもできる。

発明の効果

0007

本発明によれば、映像を視聴するユーザの疲労感を高い精度で評価することを可能とする疲労感評価技術を提供することが可能となる。

図面の簡単な説明

0008

本発明の実施の形態に係る疲労感評価装置の構成を示す図である。
入力映像制御部1の構成を示す図である。
計算部2の構成を示す図である。
評価部400の動作例を示すフローチャートである。
生体データ処理部200における瞳孔径データノイズ除去の一例を示す図である。
生体データ処理部200における瞬目解析精度向上の一例を示す図である。
生体データ処理部200における解析結果例を示す図である。
映像信号処理部300における解析結果例を示す図である。
評価部400の基準値導出処理における動作例を示す図である。
評価部400の疲労感評価処理における動作例1を示す図である。
評価部400の疲労感評価処理における動作例2を示す図である。
評価部400の疲労感評価処理における動作例3を示す図である。

実施例

0009

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

0010

装置構成、動作概要
図1は、本発明の実施の形態の係る疲労感評価装置の構成図である。図1に示すように、本実施の形態に係る疲労感評価装置は、入力映像制御部1と計算部2を有する。また、図1には記載されていないが、疲労感評価装置には映像を再生する再生装置と、ユーザの生体データを取得するための生体センサが接続されている。

0011

図2に、入力映像制御部1の構成図を示す。図2に示すように、入力映像制御部1は、テスト映像記憶部20とスイッチ10を有する。図3に、計算部2の構成図を示す。図3に示すように、計算部2は、生体データ取得部100、生体データ処理部200、映像信号処理部300、評価部400、及び基準値記憶部500を有する。

0012

以下、上記の構成を有する疲労感評価装置の動作の概要を説明する。

0013

ユーザは疲労感評価装置に対し、リモコンなどを用いて要求を入力する。この要求は、基準値導出の要求と疲労感評価実施の要求のうちのいずれかである。ユーザからの要求が疲労感評価装置に入力されると、入力映像制御部1(図2)では、要求に応じてテスト映像か外部入力映像のどちらかを選択し、計算部2と再生装置に映像信号を出力する。

0014

図3に示すように、計算部2は、ユーザからの要求、入力映像制御部1からの映像信号の入力、及び外部の生体センサからの入力を受ける。計算部2に入力された映像信号は、映像信号処理部300において解析され、解析結果は評価部400に入力される。

0015

生体データ取得部100は、生体センサからの信号を入力とし、生体データを計測する。生体データ取得部100における計測結果は、生体データ処理部200において解析され、解析結果が評価部400に入力される。

0016

評価部400では、ユーザからの要求に応じて、基準値導出処理、もしくは疲労感評価処理を行う。疲労感評価処理では、生体データ処理部200の解析結果、映像信号処理部300の解析結果、及び、基準値導出処理で導出された基準値記憶部500の基準値を基に、映像視聴中のユーザの疲労感評価を実行し、評価結果を要求者回答する。これにより、映像視聴中のユーザの疲労感評価が実現できる。

0017

一例として、本実施の形態に係る疲労感評価装置における計算部2は、コンピュータに、本実施の形態で説明する処理内容記述したプログラムを実行させることにより実現可能である。すなわち、計算部2の各部が有する機能は、当該計算部2を構成するコンピュータに内蔵されるCPUやメモリハードディスクなどのハードウェア資源を用いて、各部で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネット電子メールなど、ネットワークを通して提供することも可能である。

0018

なお、上記コンピュータ内に入力映像制御部1を備えることで、上記コンピュータにより本実施の形態に係る疲労感評価装置を実現してもよいし、計算部2となるコンピュータと、入力映像制御部1となる装置(コンピュータ等)を組み合わせることで疲労感評価装置を実現してもよい。また、計算部2自体を疲労感評価装置とし、基準値を別の装置で求め、計算部2における基準値記憶部500に基準値を予め格納しておくという構成も可能である。

0019

(動作詳細)
以下、本実施の形態に係る疲労感評価装置における各部の動作を詳細に説明する。

0020

<入力映像制御部1>
図2に示す入力映像制御部1では、入力された要求に応じて、スイッチ10で映像信号の切り替えを行う。入力された要求が基準値導出の要求の場合には、スイッチ10はテスト映像記憶部20と接続し、再生装置及び計算部2に対し、テスト映像信号を出力する。この場合、再生装置からテスト映像が出力され、ユーザはテスト映像を視聴する。一方、入力された要求が疲労感評価実施の要求の場合には、スイッチ10は、疲労感評価の対象となる映像を再生する再生装置と接続し、計算部2に対し、再生装置の映像信号を出力する。この場合、ユーザは疲労感評価の対象となる映像を視聴する。

0021

テスト映像記憶部20にはテスト映像が保存されている。テスト映像は、例えば「画面全体が白い映像と画面全体が黒い映像を切り替えた映像」、「動きの速いシーンを含んだ映像」などである。

0022

<計算部2:評価部400>
評価部400の動作フロー図4に示す。図4に示すように、評価部400では、入力された要求に応じて、基準値導出処理、疲労感評価処理の処理を行う。すなわち、入力された要求が基準値導出の要求の場合(ステップ1のYes)には、基準値導出処理を実行する(ステップ2)。ステップ2の基準値導出処理ではユーザの瞬目や瞳孔反応などの基準値を導出し、導出結果を基準値記憶部500に保存する。

0023

入力された要求が疲労感評価実施の要求の場合(ステップ1のNo)で、かつ、すでに基準値導出の要求を実施している場合(基準値記憶部500にデータが保存されている場合)(ステップ3のYes)には、疲労感評価処理を実行する(ステップ4)。ステップ4の疲労感評価処理では、生体データ処理部200の解析結果と映像信号処理部300の解析結果、及び基準値記憶部500の基準値を基に、映像視聴中のユーザの疲労感を評価する。疲労感評価実施の要求の場合(ステップ1のNo)で、かつ、基準値導出の要求を実施していない場合(基準値記憶部500にデータが保存されていない場合)(ステップ3のNo)には、評価部400において、基準値導出処理と疲労感評価処理の順に実行し、疲労感を評価する(ステップ5)。

0024

<計算部2:生体データ取得部100>
生体データ取得部100は、疲労により変化する生体情報を取得するために、映像視聴中のユーザの生体情報を各種生体センサを用いて計測する。つまり、生体データ取得部100には各種生成センサが接続されており、生体データ取得部100は各種生成センサにより得られた生体データを取得する。

0025

例えば、非特許文献5に記されているように、疲労すると瞬目や瞳孔径挙動が変化することが知られている。そのため、瞬目や瞳孔径の挙動を捉えるために、眼球運動計測装置眼電図(眼電信号の波形)で計測を行う。眼球運動計測装置や眼電図で瞬目や瞳孔径の挙動を捉えること自体は従来技術である。なお、脳波計測データから瞬目を抽出したり、カメラでユーザの眼球撮影して瞬目や瞳孔径を捉えることもでき、これらの手法で瞬目や瞳孔径データを生体データとして取得することも可能である。さらに、疲労すると臨界融合周波数が低下すること(非特許文献6)や調節応答が変化すること(非特許文献7)等も知られており、疲労により変化する生体情報として、これらを計測することとしてもよい。なお、生体データ取得部100が取得可能な疲労により変化する生体情報はこれらに限られるわけではない。

0026

<計算部2:生体データ処理部200>
生体データ処理部200は、生体データ取得部100の計測結果を受けてデータ処理を行う。生体データには大きなノイズがのることが知られている。例えば、瞳孔径変動に関して、図5上段に示したように、大きなノイズがのってしまうことがある。精度のよいデータとするためにはノイズ除去が必要である。具体的には、映像視聴中のユーザの視線位置は、左右眼で大きくずれることはないことから、左右眼の視線位置データのうち、片眼の視線がモニタよりも外側を向いている場合には、その時刻のデータを除去するといった方法がある。

0027

また、映像視聴中の左右眼は同じ輝度の映像を見ていること、湿度などの外界の影響も同一であることから、両眼の瞳孔径の大きさが極端に異なることはないため、左右眼の瞳孔径のサイズ(2つの生体データの例である)を比較し、極端に大きさに差異がある場合にはその時刻のデータを除去するという方法でノイズを除去することが可能である(図5下段)。なお、この場合の生体データ処理部200での処理にあたっては、例えば、左右眼の瞳孔径のサイズの差異が予め定めた閾値よりも大きい場合に、その時刻のデータを除去するという処理を行う。

0028

瞬目に関して、瞳孔径サイズや眼電図から検出することが考えられるが、本実施の形態では、両者(2つの生体データの例である)を利用することで精度向上を狙う。例えば、眼電図はまぶた直接電極貼付して眼筋の動きを直接計測するため精度よく計測できるが、長い瞬目(1回)の場合、眼を閉じたときと開いたときに筋活動が発生するため、2回と誤検出することがあるというデメリットがある(図6上段)。そのため、眼電図のデータと瞳孔径のサイズを比較して解析することで、瞬目の検出精度を上げることができる(図6下段)。図6に示す例では、眼電図において瞬目と判定し得る2回の波形の山が発生しているが、2回の波形の山の区間において、瞳孔径のデータはほぼ0であり、これは目を閉じていることを示すため、眼電図における2回の波形の山は、1回の瞬目における眼を閉じたときと開いたときに対応すると判断できる。生体データ処理部200は、例えば、眼電図において所定時間間隔内に2回の山が発生したことを検知した場合に、2回の山の時間区間の瞳孔径のデータを参照し、図6下段に示すように瞳孔径がほぼ0であれば、眼電図における2回の山は1回の瞬目であると判定する処理を行う。

0029

一方、眼球運動計測装置には、完全に目を閉じていない瞬目を捉えられないというデメリットがある。この場合にも、眼電図のデータと瞳孔径のデータを比較して解析することで、瞬目の検出精度を上げることができる。このように、ノイズ除去手法を施した生体データを利用し、図7に示すように、瞬目の時間間隔や、瞳孔径のサイズ、瞳孔径収縮スピード等を解析し、ノイズが除去された解析結果(計測値)として出力する。

0030

<計算部2:映像信号処理部300>
映像信号処理部300は、入力された映像信号の映像フレーム間動きベクトル量や、平均輝度変化、3D映像の左右映像縦方向画素ずれなどの映像劣化の有無やフリッカの有無を解析する(非特許文献8、9、10)。図8には、映像解析結果の例として、輝度、及び動き量の変化の様子が示されている。

0031

<計算部2:評価部400の基準値導出処理>
評価部400の基準値導出処理時は、ユーザの瞬目や瞳孔反応などの基準値を導出する。具体的には、生体データ処理部200における解析結果(図7に例示)と映像信号処理部300における解析結果(図8に例示)とを比較、対応付けし、図9に示すように基準値を導出し、基準値記憶部500に保存する。基準値の種類(項目)は、予め決定しておく。図9に示す例では、基準値として、動き変化のないときの瞬目率、平均瞳孔径サイズ、最大瞳孔径収縮スピード、提示映像の輝度と瞳孔径との関係、提示映像の動き量と瞳孔径変動との関係が示されているが、これらは例であり、基準値はこれらに限られるわけではない。

0032

なお、基準値導出処理は、疲労感評価の対象となる映像を視聴する視聴日の体調の影響や視聴環境の影響が基準値に加味されるように、疲労感評価の対象となる映像を視聴する直前に、疲労感評価の対象となる映像を視聴する環境と同じ環境で実行することが望ましい。

0033

入力された要求が基準値導出の要求の場合には、テスト映像提示時の映像信号、生体データの解析結果を基に基準値を導出する。入力された要求が疲労感評価実施の要求の場合で、事前に基準値導出の要求を実施していない場合には、外部入力映像視聴時の最初10分間の映像信号及び生体データの解析結果を基に基準値を導出する。この場合、外部入力映像視聴時の最初10分間の映像を「テスト映像」と呼んでもよい。

0034

<計算部2:評価部400の疲労感評価処理>
評価部400の疲労感評価処理時は、映像視聴中のユーザの疲労感評価を実施する。疲労感評価としては、例えば、ユーザが疲労感を感じているか否かを0と1の二値でレベル分けすることや、「疲労感レベル5」のように複数段階で出力することなどが考えられる。本実施の形態では、疲労感を複数段階でレベル分けする。具体的には、最初のレベルを0とし、レベル値が大きくなるほど疲労感が強い状況とする。疲労感レベル導出のための具体的な動作を以下に示す。

0035

疲労感は、映像信号処理部300の解析結果と生体データ処理部200の解析結果、及び基準値記憶部500の基準値を基に評価される。ここでは、瞬目の解析結果に基づき疲労感を検出した場合をa1t = 1 とし、検出しない場合はa1t= 0 とする(t は計測時刻)。瞳孔径の解析結果に基づき疲労感を検出した場合をa2t = 1 とし、検出しない場合は a2t = 0 とする。図9の基準値と比較した結果に基づき疲労感を検出した場合をa3t = 1とし、検出しない場合はa3t = 0とする。また、映像信号処理部300による解析結果に基づいて、提示映像に劣化があることを検出した場合には、bt = 1とし、検出しない場合はbt = 0 とする。疲労感レベルLtは、本実施の形態では、以下のように定義し、この定義に従って評価部400は疲労感レベルLtを算出し、出力する。

0036

なお、上記のようにして疲労感レベルを算出することは一例にすぎない。例えば、基準値記憶部500の基準値を用いた評価のみで疲労感レベルを算出するようにしてもよい。

0037

また、評価部400が、映像信号処理部300の解析結果から提示映像に劣化があると判定した場合には、提示映像を修正する必要がある。そのため、bt = 1の場合には、評価部400がアラームを出力する制御を行うこととする。「アラーム」としては、例えば、疲労感評価装置についているランプを点滅させることや、疲労感評価装置についているスピーカから音を提示することなどが考えられるが、これらに限られるわけではない。なお、評価部400において映像劣化を判定する手段を劣化判定手段と呼び、アラーム出力を制御する手段及びアラームを出す手段(ランプやスピーカなど)をまとめてアラーム出力手段と呼ぶことができる。

0038

以下、a1t, a2t, a3t, btの算出方法例についてより具体的に説明する。まず、図10図11を参照して瞬目の解析結果と映像信号処理部300の解析結果の比較について説明する。図10に示すように、瞬目間隔が1秒を下回る状況が1分間続いている(疲労感を検出している)けれども、映像信号処理部300の結果が、映像に異常がないことを示している場合には、映像劣化が原因ではなく、長時間映像視聴、ユーザの視聴環境が原因で、疲労感が生じている可能性がある。そのため、a1t = 1、bt = 0 とし、疲労感レベルLtを1段階上昇させる。

0039

ここでは、疲労感の検出基準の一例として、「瞬目間隔が1秒を下回る状況が1分間続いた」としているが、これは一例である。本実施の形態の例においては、あらかじめ実験を実施して疲労感検出の閾値、条件等を決定することとしており、「瞬目間隔が1秒を下回る状況が1分間続いた」ことは、このようにして決定した疲労感の検出基準の一例である。

0040

また、このように疲労感が検出されているときに、図11に示すように、さらに映像信号処理部300の結果が、映像に劣化があったり、動きの速いシーンであったり、映像にフリッカが発生していることを示している場合には、提示している映像が原因でユーザが疲労感を感じている可能性が考えられる。そのため、a1t = 1、bt = 1 とし、この場合においても疲労感レベルLtを上昇させ、アラームを出力する。

0041

また、ユーザが3D映像を視聴している場合において、映像信号処理部300の結果が、左右眼映像が水平方向や上下方向にずれている、輝度がずれている、サイズがずれている等の映像劣化があることを示している場合には、これらの提示映像に生じた劣化が原因で瞬目間隔が短くなった(ユーザが疲労感を感じている)という可能性が考えられる。そのため、a1t = 1、bt = 1 とし、疲労感レベルLtを1上昇させ、アラームを上げる。

0042

さらに、例えば瞬目間隔が10秒を上回る状況が続いた場合には、ユーザが映像を注視しており、疲労しやすい状況にあるため、a1t = 1、bt = 0 とする。ここで、瞬目間隔は10秒と記載したが、これは一例である。前述したとおり、本実施の形態の例においては、あらかじめ実験を実施して決定することとしており、「瞬目間隔10秒」はこのようにして決定された検出基準の一例である。

0043

一方、瞳孔径に関しては、図12に示すように、瞳孔径サイズ変化と提示映像の輝度変化を比較して、瞳孔径のサイズが輝度変化に応じて変化していない場合には、ユーザが疲労感を感じていることが考えられるため、a2t = 1、bt = 0とし、疲労感レベルLtを1上昇させる。このとき、提示する輝度が高すぎるために、輝度変化に応じて瞳孔径が変化しない場合には、a2t = 1、bt = 1 とし、疲労感レベルLtを1上昇させ、アラームを出力する。瞳孔径サイズの変化スピードが映像の輝度変化スピードに比べて遅い場合には、ユーザが疲労感を感じていることが考えられる。そのためa2t = 1、bt = 0とし、疲労感レベルLtを1上昇させる。また、提示映像の変化に関係がなく、瞳孔径サイズが変動している場合には、ユーザが正しく映像を視聴できていなかったり、ユーザの視聴環境に原因があり疲労感が生じている可能性があるので、a2t = 1、bt = 0とし、疲労感レベルLtを上昇させる。

0044

次に、基準値を用いた評価について説明する。生体データは計測日の体調の影響や視聴環境の影響を受けて大きく変動する。例えば、湿度が低く乾燥している日に視聴している場合には、湿度の高い日に視聴した場合よりも瞬目が多くなる。そのため、本実施の形態では、視聴日の体調の影響や視聴環境の影響が加味された値である基準値記憶部500に記憶された基準値(図9、右図)と、疲労感評価の際の生体データの解析結果(計測値)とを比較することで、視聴日の体調の影響や視聴環境の影響を排除した評価値を得ることとしている。例えば、基準値記憶部500に記憶された瞬目率と、疲労感評価の際の瞬目率とを比較し、後者が前者に対して2割以上増加、もしくは減少している場合には、ユーザの体調が視聴前に比べて悪化していることが考えられる。そのため、a3t = 1、bt = 0とし、疲労感レベルLtを上昇させる。提示映像の輝度変化と瞳孔径変動の関係等に関しても、図9より、提示映像の輝度に対応する瞳孔径サイズを読み取り、計測した瞳孔径サイズと比較し、2割以上増加、もしくは減少している場合には、ユーザの体調が視聴前に比べて悪化していることが考えられる。そのため、a3t = 1、bt = 0とし、疲労感レベルLtを上昇させる。ここでは、疲労感の検出基準の一例として疲労感検出の閾値、条件等を、一例として「2割以上」としているが、前述したとおり、本実施の形態の例においては、あらかじめ実験を実施して決定することとしており、「2割以上」はこのようにして決定された疲労感の検出基準の一例である。

0045

なお、要求を受け取った後、継続的に疲労感評価を実施するのではなく、映像信号処理部300の解析結果を基に、定常的なシーンでは疲労感評価は実施せず、輝度変化の大きいシーンなどの特徴的なシーンでのみ疲労感評価を実施することとしてもよい。

0046

(実施の形態のまとめ、効果)
以上説明したように、本実施の形態では、映像視聴中のユーザの生体情報をカメラや各種センサにより計測し、生体データのノイズ除去等の解析を行う。そして、映像視聴前にテスト映像を流し、映像視聴前の生体データを取得しておき、この値を基準として評価することで、映像視聴日の体調の影響や視聴環境の影響を除外する。さらに、視聴映像に原因がある疲労感を評価するために、視聴中の映像信号の解析を行い、映像劣化が検出されればアラームを出力する。このアラームの有無と疲労感評価結果とを比較することで、視聴している映像が疲労感の原因になっていないかどうかを判断できる。

0047

本実施の形態に係る技術を用いることにより、映像の事前の品質チェックを効率よく実施できるようになる。また、本技術を映像配信システムに組み込めば、映像視聴中のユーザが感じている疲労感の評価結果をリアルタイムに取得できるようになる。この評価結果を利用すれば、視聴映像が原因でユーザが疲労感を感じている場合にはすぐに視聴を中止する、視聴映像が原因ではなく、長時間視聴やユーザの視聴環境が原因でユーザが疲労感を感じている場合には、ユーザに休憩をとるよう促す等の対応をリアルタイムにとることができるようになる。これにより、より安心・安全な3D映像サービスの提供が可能となるので、3D映像サービスの普及が進むことが期待できる。

0048

本発明に係る技術は、映像配信サービスに限らず、VDT作業中のユーザの疲労感を評価したい場合に利用することができる。近年、VDT作業者が増え、VDT作業による眼精疲労が増えている(非特許文献11)。そのため、VDT作業中のユーザの生体情報や表示モニタ内容から、ユーザの疲労感を評価し、休憩を促すことが考えられる。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

0049

1…入力映像制御部
2…計算部
10…スイッチ
20…テスト映像記憶部
100…生体データ取得部
200…生体データ処理部
300…映像信号処理部
400…評価部
500…基準値記憶部
t …計測時刻
a1t …瞬目変動から疲労感を検出した結果
a2t …瞳孔径変動から疲労感を検出した結果
a3t …基準値との比較により疲労感を検出した結果
bt …映像信号処理部の解析結果から異常を検出した結果
Lt …疲労感レベル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 旭化成株式会社の「 熱中症リスク評価システム及び熱中症リスク評価方法」が 公開されました。( 2020/04/30)

    【課題】個人の熱中症リスクをより効果的かつ正確に検出し、評価する。【解決手段】本発明は、ユーザの複数の生体指標に関して、複数のセンサによりそれぞれ測定された測定データを取得する取得部と、前記ユーザの前... 詳細

  • 高橋 智子の「 建物内作業者活動管理装置、並びに室内作業靴」が 公開されました。( 2020/04/30)

    【課題】金属板で囲まれてGPSの電波が届かなかったり、携帯デバイスを持たない者が作業したりする工場内での活動状況を把握できる建物内作業者活動管理装置等を提供する。【解決手段】本装置は、天井付近に敷設し... 詳細

  • マツダ株式会社の「 ウェルビーイング値推定システム」が 公開されました。( 2020/04/30)

    【課題】ユーザの精神的な活性度としてのウェルビーイング値の推定精度が向上されたウェルビーイング値推定システムを提供する。【解決手段】イベントEに参加するユーザAの精神的な活性度としてWB値を推定するシ... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ