図面 (/)

技術 脳活動の解析による知覚意味内容の推定方法

出願人 国立研究開発法人情報通信研究機構
発明者 西本伸志柏岡秀紀
出願日 2015年4月6日 (5年7ヶ月経過) 出願番号 2015-077694
公開日 2016年11月24日 (4年0ヶ月経過) 公開番号 2016-195716
状態 特許登録済
技術分野 磁気共鳴イメージング装置 生体の電気現象及び電気的特性の測定・記録
主要キーワード 刺激セット 定量指標 機械インターフェース 訓練用データ 投影関数 知覚刺激 事前評価 脳神経活動
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年11月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

脳活動計測解析することでその知覚意味内容推定する推定方法を提案する。

解決手段

(ア)訓練用刺激被験者に誘発する、知覚内容言語記述および脳活動を検出した脳神経活動検出手段の出力をデータ処理手段に入力し、(イ)保存された意味空間において訓練用刺激の意味空間表象と脳神経活動検出手段の出力との関係付けを行って訓練成果情報記憶手段に保存し、(ウ)新規刺激が誘発する脳活動を検出した脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規刺激による脳活動の脳神経活動検出手段の出力について、上記の関連付けから知覚意味内容を表す意味空間上の確率分布を得、(エ)その確率分布から、知覚意味内容として蓋然性の高いものを推定する。上記関連付けは、被験者ごとに行ってもよい。その蓋然性の推定では、与えられた単語の意味空間上の座標と上記確率分布から計算される尤度指標とする。

概要

背景

被験者脳活動解析することで、知覚内容推定行動予測を行うための技術(脳情報デコーディング技術)が開発されている。これらの技術は、脳機械インターフェース要素技術として、また、映像や各種製品事前評価購買予測等を行う手段として期待されている。

現時点における上記脳活動からの意味知覚推定技術は、単一または少数の知覚意味内容が含まれた簡単な線画静止画等の限られた知覚対象について、予め決められた知覚意味内容を推定するものに限られている。

従来技術を用いて脳活動から知覚意味内容をデコーディングするための手順は、以下の通りである。最初に、個人の脳活動を解釈するためのモデル訓練キャリブレーション)を行う。この段階では、画像等で構成される刺激セットを被験者に提示し、それらの刺激が誘発した脳活動を記録する。この刺激−脳活動ペア訓練用データサンプル)により、知覚内容と脳活動の対応付けを得る。次に、知覚意味内容推定の対象となる新規の脳活動を記録し、その脳活動が訓練用データサンプルで得られたどの脳活動と類似しているかを判断することで、知覚意味内容推定を行う。

特許文献1には、主観的な知覚的経験または認識経験の解読および再現することが、開示されている。この開示においては、対象から、最初の知覚刺激に応じて生み出される脳活動データの最初のセットは、脳画像形成装置を使って得られ、それに対応する所定の応答値のセットに変換される。第2の知覚刺激に応じて生み出される脳活動データの第2セットは、対象からデコーディング分布を用いて得られるが、上記所定の応答値に応じた脳の活動データの第2のセットである確率が決定される。脳活動刺激の第2セットは、脳活動データの第2セットと予測された応答値の間の対応の確率に基づいて解読される。

また、非特許文献1には、fMRI(functional Magnetic Resonance Imaging)による符号化(エンコーディング)と復号化(デコーディング)が記載されている。この文献では、共通の問題である情報が脳においてどのように表現されるかについて探究するために、エンコーディング操作とデコーディング操作の両方が用いられることが示されているが、エンコーディング・モデルに集中することはデコーディングよりも2つの重要な利点がある、としている。その理由は、第1に、デコーディングモデルでは部分的な説明だけが得られるが、原理的にエンコーディング・モデルでは興味のある領域の完全な機能的な説明が得られる。第2に、エンコーディング・モデルから最適デコーディングモデルを得ることは直接的であるが、デコーディングモデルからエンコーディング・モデルを得ることはずっと困難である、ということである。そこで、非特許文献1では、fMRIスキャンによるボクセルのエンコーディング・モデルの推定からシステマティックモデル・アプローチを提案し、得られたエンコーディング・モデルを用いてデコーディングを行っている。

また、ある場面を見ている間に脳画像を取得し、その脳画像から、その場面に近いものを再構成することができることが、既に報告されている。非特許文献2には、さらに、脳画像で反映される心的内容に対応するテキストを生成することもできることが示されている。これは、あるアイテム名前の線画を見ながら被験者がその具体的なアイテム(例えば、「アパート」)の名前を読んでいる時に集められた脳画像から始めるものである。具体的な概念の精神的意味表示モデルを、テキストデータから構築し、それに対応する脳画像でそのような表示の様相活性化のパターンマッピングするようにするものである。このマッピングから、意味論的に関係する語(例えば、「アパート」に対する「ドア」、「ウインドウ」)の集まりを生成することができた旨、報告されている。

概要

脳活動を計測し解析することでその知覚意味内容を推定する推定方法を提案する。(ア)訓練用刺激が被験者に誘発する、知覚内容の言語記述および脳活動を検出した脳神経活動検出手段の出力をデータ処理手段に入力し、(イ)保存された意味空間において訓練用刺激の意味空間表象と脳神経活動検出手段の出力との関係付けを行って訓練成果情報記憶手段に保存し、(ウ)新規刺激が誘発する脳活動を検出した脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規刺激による脳活動の脳神経活動検出手段の出力について、上記の関連付けから知覚意味内容を表す意味空間上の確率分布を得、(エ)その確率分布から、知覚意味内容として蓋然性の高いものを推定する。上記関連付けは、被験者ごとに行ってもよい。その蓋然性の推定では、与えられた単語の意味空間上の座標と上記確率分布から計算される尤度指標とする。

目的

本発明が目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被験者への刺激となる情報を提示する情報提示手段と、刺激による上記被験者の脳神経活動信号を検出する脳神経活動検出手段と、刺激内容に関する言語記述と上記脳神経活動検出手段の出力を入力するデータ処理手段と、該データ処理手段から読み出し可能な意味空間情報記憶手段と、該データ処理手段から読み出し書き込み可能な訓練成果情報記憶手段と、を備える脳活動解析装置を用いて上記被験者の脳活動解析することで、上記被験者が知覚している知覚意味内容推定を行う方法であって、(1)訓練用情報を上記被験者に提示して訓練用刺激を上記被験者に与え、該訓練用刺激が上記被験者に誘発する知覚内容の言語記述と、該訓練用刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力とを上記データ処理手段に入力し、(2)上記意味空間情報記憶手段に保存された意味空間を適用し、該意味空間上において上記訓練用刺激の意味空間表象と上記脳神経活動検出手段の出力との関係付けを行い、関連付けの結果を上記訓練成果情報記憶手段に保存し、(3)新規情報を上記被験者に提示して新規刺激を上記被験者に与え、該新規刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規情報による脳活動の上記脳神経活動検出手段の出力について、上記(2)で得られた関連付けから知覚意味内容を表す意味空間上の確率分布を得、(4)上記(3)で得られた確率分布から蓋然性の高い知覚意味内容を推定する、ことを特徴とする脳活動の解析による知覚意味内容の推定方法

請求項2

複数の被験者について、上記(2)における、刺激の意味空間表象と脳活動間の上記訓練用情報を用いた関連付けは、上記被験者ごとに上記訓練用情報の全てまたは一部について行なって、上記被験者ごとの意味空間上の投影関数を得て、該投影関数に従って上記意味空間上の位置との関連付けを上記被験者ごとに一律にずらすものであることを特徴とする請求項1に記載の脳活動の解析による知覚意味内容の推定方法。

請求項3

上記(4)において、蓋然性の高い知覚意味内容を推定するに当たり、与えられた任意の単語について意味空間上の座標を見出し、該座標と上記(エ)で得られた確率分布との内積をとり、その内積の値を上記蓋然性の指標とするものであることを特徴とする請求項1あるいは2に記載の脳活動の解析による知覚意味内容の推定方法。

技術分野

0001

本発明は、動画視聴時等の自然知覚下における被験者脳活動計測し、計測した情報を解析することで、被験者が知覚している知覚意味内容推定を行う脳活動の解析による知覚意味内容の推定方法に関する。

背景技術

0002

被験者の脳活動を解析することで、知覚内容の推定や行動予測を行うための技術(脳情報デコーディング技術)が開発されている。これらの技術は、脳機械インターフェース要素技術として、また、映像や各種製品事前評価購買予測等を行う手段として期待されている。

0003

現時点における上記脳活動からの意味知覚推定技術は、単一または少数の知覚意味内容が含まれた簡単な線画静止画等の限られた知覚対象について、予め決められた知覚意味内容を推定するものに限られている。

0004

従来技術を用いて脳活動から知覚意味内容をデコーディングするための手順は、以下の通りである。最初に、個人の脳活動を解釈するためのモデル訓練キャリブレーション)を行う。この段階では、画像等で構成される刺激セットを被験者に提示し、それらの刺激が誘発した脳活動を記録する。この刺激−脳活動ペア訓練用データサンプル)により、知覚内容と脳活動の対応付けを得る。次に、知覚意味内容推定の対象となる新規の脳活動を記録し、その脳活動が訓練用データサンプルで得られたどの脳活動と類似しているかを判断することで、知覚意味内容推定を行う。

0005

特許文献1には、主観的な知覚的経験または認識経験の解読および再現することが、開示されている。この開示においては、対象から、最初の知覚刺激に応じて生み出される脳活動データの最初のセットは、脳画像形成装置を使って得られ、それに対応する所定の応答値のセットに変換される。第2の知覚刺激に応じて生み出される脳活動データの第2セットは、対象からデコーディング分布を用いて得られるが、上記所定の応答値に応じた脳の活動データの第2のセットである確率が決定される。脳活動刺激の第2セットは、脳活動データの第2セットと予測された応答値の間の対応の確率に基づいて解読される。

0006

また、非特許文献1には、fMRI(functional Magnetic Resonance Imaging)による符号化(エンコーディング)と復号化(デコーディング)が記載されている。この文献では、共通の問題である情報が脳においてどのように表現されるかについて探究するために、エンコーディング操作とデコーディング操作の両方が用いられることが示されているが、エンコーディング・モデルに集中することはデコーディングよりも2つの重要な利点がある、としている。その理由は、第1に、デコーディングモデルでは部分的な説明だけが得られるが、原理的にエンコーディング・モデルでは興味のある領域の完全な機能的な説明が得られる。第2に、エンコーディング・モデルから最適デコーディングモデルを得ることは直接的であるが、デコーディングモデルからエンコーディング・モデルを得ることはずっと困難である、ということである。そこで、非特許文献1では、fMRIスキャンによるボクセルのエンコーディング・モデルの推定からシステマティックモデル・アプローチを提案し、得られたエンコーディング・モデルを用いてデコーディングを行っている。

0007

また、ある場面を見ている間に脳画像を取得し、その脳画像から、その場面に近いものを再構成することができることが、既に報告されている。非特許文献2には、さらに、脳画像で反映される心的内容に対応するテキストを生成することもできることが示されている。これは、あるアイテム名前の線画を見ながら被験者がその具体的なアイテム(例えば、「アパート」)の名前を読んでいる時に集められた脳画像から始めるものである。具体的な概念の精神的意味表示モデルを、テキストデータから構築し、それに対応する脳画像でそのような表示の様相活性化のパターンマッピングするようにするものである。このマッピングから、意味論的に関係する語(例えば、「アパート」に対する「ドア」、「ウインドウ」)の集まりを生成することができた旨、報告されている。

0008

米国特許出願公開第2013-0184558号明細書

先行技術

0009

Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, Jack L. Gallant, "Encoding and decoding in fMRI", NeuroImage 2011, 56(2):400-410
Francisco Pereira, Greg Detre, Matthew Botvinick "Generating text from functional brain images", Frontiers in Human Neuroscience 2012, 5:72

発明が解決しようとする課題

0010

本発明が目的とする技術は、動画視聴下等の自然知覚下における被験者の任意の知覚意味内容を推定することができるものである。この点に関して、従来技術では以下の少なくとも1点で限界があり、上記の目的を満たすことが出来なかった。(1)従来技術は、単純な線画や静止画像を対象としており、自然動画等の多数の事物印象等がダイナミック生起する状況に適応できない。(2)従来技術では、推定できる知覚意味内容は訓練用データサンプルに含まれているものに限られており、それ以外の任意の知覚意味内容を推定できない。

課題を解決するための手段

0011

本発明が目的とする技術には、上記の様に、計測した情報を解析することで、被験者が知覚している知覚意味内容の推定を行うことが含まれるが、この際、脳活動と知覚内容の対応付けを中間表象空間(意味空間)内において行うことで任意の知覚内容の推定を実現するものである。詳しくは、以下に示す。

0012

本発明の、脳活動の解析による知覚意味内容の推定方法は、被験者への刺激となる情報を提示する情報提示手段と、刺激による上記被験者の脳神経活動信号を検出する脳神経活動検出手段と、刺激の内容に関する言語記述と上記脳神経活動検出手段の出力を入力するデータ処理手段と、該データ処理手段から読み出し可能な意味空間情報記憶手段と、該データ処理手段から読み出し書き込み可能な訓練成果情報記憶手段と、を備える脳活動解析装置を用いて上記被験者の脳活動を解析することで、上記被験者が知覚している知覚意味内容の推定を行う方法である。

0013

(1)訓練用情報を上記被験者に提示して訓練用刺激を上記被験者に与え、該訓練用刺激が上記被験者に誘発する知覚内容の言語記述と、該訓練用刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力とを上記データ処理手段に入力する。
ここで、訓練用情報は画像や動画等であり、この情報が被験者への刺激となり、その刺激が被験者になんらかの知覚内容を誘発する。この知覚内容の言語記述(アノテーション)を取得し、上記データ処理手段に入力する。また、脳活動を脳波fMRI信号として検出した上記脳神経活動検出手段の出力も上記データ処理手段に入力する。

0014

(2) 上記意味空間情報記憶手段に保存された意味空間を適用し、該意味空間上において上記訓練用刺激の意味空間表象と上記脳神経活動検出手段の出力との関係付けを行い、関連付けの結果を上記訓練成果情報記憶手段に保存する。
上記の意味空間は、コーパス等の大規模データベースを用いて構築されたもので、言語記述に現れる単語の意味的関係記述するものである。
また、上記の関係付けは、上記意味空間の座標軸上で行うものであり、ここでは、訓練用情報による刺激で誘発される意味空間表象と該刺激による脳活動の関係付けを言う。

0015

(3)新規情報を上記被験者に提示して新規刺激を上記被験者に与え、該新規刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規情報による脳活動の上記脳神経活動検出手段の出力について、上記(2)で得られた関連付けから知覚意味内容を表す意味空間上の確率分布を得る。
新規刺激で誘発される脳活動について、脳波やfMRI信号などの上記脳神経活動検出手段の出力を、上記訓練用刺激で誘発された上記脳神経活動検出手段の出力やそれから抽出した信号や発火パターンの、例えば線形合成として分解することで、この新規刺激に対する知覚意味内容を訓練用情報に対応した言語記述(アノテーション)の線形合成として得ることができる。この線形合成の係数と、上記(2)で得られた関連付けから、新規刺激についての知覚意味内容を表す意味空間上の確率分布を得ることができる。

0016

(4) 上記(3)で得られた確率分布から蓋然性の高い知覚意味内容を推定するものである。
この推定においては、上記確率分布における推定に用いる確率に閾値を設けるか、上記の蓋然性の高い知覚意味内容の個数に閾値を設ける等により上記の推定結果の分散を抑制することができる。

0017

被験者が複数の場合、上記(2)における、刺激の意味空間表象と脳活動の訓練用データを用いた関連付けは、被験者ごとに行ない、上記訓練用データの全てまたはその一部について行なって被験者ごとの投影関数を得て、被験者ごとに該投影関数に従って上記意味空間上の位置との関連付けを一律にずらすものとしてもよい。

0018

また、上記(4)において、知覚意味内容として蓋然性の高いものを推定するに当たり、与えられた任意の単語について意味空間上の座標を見出し、該座標と上記(3)で得られた確率分布との尤度をとり、その尤度値を上記蓋然性の指標とすることができる。

発明の効果

0019

本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。

図面の簡単な説明

0020

脳活動の意味空間モデルおよび知覚意味内容推定の概念図である。脳活動とコーパス由来の意味空間との対応関係を定量モデルとして学習することで、任意の新規条件下において脳活動から知覚意味内容を推定することを示す。
テレビコマーシャル(CM)動画視聴中の脳活動からの知覚意味内容推定例を示す図である。(左)被験者に提示したCMクリップ例、(右)当該クリップ視聴時の脳活動から推定した知覚意味内容を示す。クリップ横の各行は名詞動詞形容詞それぞれの品詞について知覚している確率が高い単語を示す。
脳活動からの特定印象時系列定量評価例を示す図である。3つの30秒CMを視聴中の脳活動中の脳活動から、特定印象(この場合は「可い」)を認知している度合を推定した。
本発明を適用するための装置構成例を示す図である。

0021

以下に、この発明の実施の形態を図面に基づいて詳細に説明する。

0022

図4に、本発明を適用するための装置構成例を示す。被験者2への訓練用刺激(画像、動画等)の提示は、表示装置1で行い、被験者2の脳活動信号は、例えばEEG(脳波)やfMRI信号を検出することができる脳神経活動検出器3で検出する。脳活動信号としては、脳神経細胞の発火パターンや、単数または複数の特定領域での活動変化の信号を検出する。また、検出された脳活動信号はデータ処理装置4で処理される。また、のデータ処理装置4には、被験者2からの自然言語アノテーションが入力される。データ処理に用いられる意味空間は、ストレージ5からのコーパスデータ解析装置6で解析したもので、ストレージ7に保存される。

0023

また、訓練用刺激については、被験者2もしくは第三者からの自然言語アノテーションデータは上記意味空間上のベクトルとしてデータ処理装置4で解析され、その解析結果は被験者2の脳活動信号とともに訓練成果としてストレージ8に保存される。

0024

新規の刺激が表示装置1を通じて被験者2に提示された時には、脳神経活動検出器3で脳活動信号が検出され、データ処理装置4において、ストレージ7からの意味空間とストレージ8からの訓練成果を基に解析され、その解析結果がデータ処理装置4から出力される。

0025

ここで、ストレージ5、ストレージ7、ストレージ8は、1つのストレージの領域を分割したものでもよく、データ処理装置4と解析装置6は1つのコンピュータ切り替えて用いるものでもよい。

0026

本発明の、脳活動の解析による知覚意味内容の推定方法では、コーパス由来の意味空間を介して脳情報デコーディングを行う。これにより、脳活動から任意の知覚意味内容の解読を行う。より具体的な手続きは以下のとおりであり、図1を参照して説明する。図1は、脳活動の意味空間モデルおよび知覚意味内容推定の概念図である。脳活動とコーパス由来の意味空間との対応関係を定量モデルとして学習することで、任意の新規条件下において脳活動から知覚意味内容を推定する手順の概略を示すものである。

0027

(ア)訓練用の刺激11(画像、動画等)に関して、その刺激が被験者に誘発する知覚内容の言語記述(アノテーション)13を取得する。
より具体的には、被験者12に訓練用刺激として何らかの静止画や動画(訓練用データ)を提示し、その提示を受けた被験者が想起する言語記述のリストを作成する。

0028

(イ)コーパス16等の大規模データベースを用いて、言語記述に現れる単語の意味的関係を記述する意味空間を構築しておく。コーパスから意味空間を構築する手段として、潜在意味解析法やword2vec法等の自然言語処理技術を用いることは、既によく知られている。
上記コーパスとしては、新聞雑誌記事百科事典物語などを用いることができる。ここで、コーパス由来の意味空間とは、よく知られている様に、コーパスに内在する統計的性質を元に、単語等の要素を固定長ベクトル空間投射する空間である。当然のことながら、既にこの意味空間が得られている場合は、それを利用することができる。
また、潜在意味解析法は、解析対象の文オブジェクトにどのような単語が含まれているかを示す共起行列に対して特異値分解を施し、次元縮約を行うことによって対象のテキストの主たる意味構造を把握する主成分分析的手法で、よく知られた手法である。
また、Word2Vec法は、単語をベクトル化して表現するする定量化手法である。Word2Vecでは、文章中の単語出現予測モデルを最適化することを介し、単語の固定長ベクトル空間表現を学習する。

0029

(ウ) 上記(イ)で得られた意味空間上において、訓練用データを用いて刺激11の意味空間へ投射15し、その意味空間上の表象と脳活動出力14の関係付けを行う。
被験者に訓練用データ(画像、動画等)を提示し、それによって生じる被験者の脳活動信号、例えばEEG(脳波)やfMRI信号を検出する。検出した脳活動信号を、上記意味空間上の位置と関連付ける。この関連付けは、上記の意味空間上の表象にEEG(脳波)やfMRIの信号波形を対応付けるものである。
この関連付けは、被験者ごとに行なうことが望ましいが、その際、上記訓練用データの全てについて行うのではなく、その一部について行なって被験者ごとの意味空間上の投影関数を得て、その投影関数に従って上記意味空間上の位置との関連付けを一律にずらす様にしてもよい。

0030

(エ)新規の脳活動について、上記(ウ)で得られた関連付けから、知覚意味内容を表す意味空間上の確率分布を得る。
被験者に新規データ(画像、動画等)を提示し、上記訓練用データの場合と同じ脳活動信号取得手段を用いて、脳活動信号を検出する。検出した脳活動信号を、訓練用データから得られる脳活動信号と比較して、どの訓練用データの場合に近いかを決定する。あるいは、訓練用データの場合のどのような混成の場合に最も近いかを決定する。この比較は、例えば、新規データに対する脳活動信号と先の訓練用データに対する脳活動信号との相互相関ピーク値を指標に用いて行うことができる。この決定によって、意味空間において、新規データの提示で検出した脳活動信号に対応する確率分布を得ることができる。

0031

(オ) 上記(エ)で得られた確率分布から、知覚意味内容として蓋然性の高いものを推定する。
上記(ア)において、訓練用データについて、それに対応する知覚内容の言語記述が得られており、また、上記(イ)において、それぞれの単語が意味空間におけるベクトルとして表現されている。このため、意味空間において、脳活動信号に対応する確率分布から、脳活動信号に対応する知覚内容の言語記述を確率的重みつきで得ることができる。この確率的重みを用いて蓋然性の高い言語記述を推定する。

0032

ここで、上記(ア)におけるリストについては、このリストを用いて刺激を受けた被験者に誘発される知覚内容が言語記述として表現されるので、上記のコーパス由来の意味空間の全てまたは選択された所定の部分をカバーしていることが望ましい。

0033

この様に本発明は、例えば、テレビコマーシャル(CM)等の比較的ダイナミックで複雑な映像音声知覚下の脳活動から、被験者が知覚する任意の知覚意味内容を推定する技術を提供するものである。本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。例えば上記テレビコマーシャル等の動画作品が狙い通りの表現効果を発揮しているかを脳活動から定量評価することが出来る。

0034

上記実施例1のアノテーションの取り扱いに関しては、LDA(Latent Dirichlet Allocation)におけるトピックモデルを適用することができる。これによって、推定した脳活動から知覚意味内容を推定した文章にして表現することが容易になる。このための手続例を以下に示す。

0035

(A)訓練用の刺激11(画像、動画等)に関して、その刺激が被験者に誘発する知覚内容の言語記述(アノテーション)13を取得する。
より具体的には、被験者12に訓練用刺激として何らかの静止画や動画(訓練用データ)を提示し、その提示を受けた被験者が想起する言語記述のリストを作成する。

0036

(B)コーパス16等の大規模データベースを用いて、言語記述に現れる単語の意味的関係を記述するトピックモデルを構築しておく。このトピックモデルは、LDA法でよく知られた手法で用意することができる。
よく知られている様にトピックモデルは統計モデルであり、それぞれの単語の出現確率を得ることができる。

0037

(C) 上記(B)で得られたトピックモデルにおいて、訓練用データをその訓練用データの形態素が属するトピックのラベルで置き換え、そのラベルと脳活動出力14の関係付けを行う。
つまり、被験者に訓練用データ(画像、動画等)を提示し、それによって生じる被験者の脳活動信号、例えばEEG(脳波)やfMRI信号を検出する。検出した脳活動信号を、上記訓練用データの形態素が属するトピックのラベルと関連付ける。この関連付けは、1つの訓練用データによる脳活動信号に例えばラベルの線形結合を対応させても、逆に、1つのラベルにその脳活動信号の線形結合を対応させてもよい。
この関連付けは、被験者ごとに行なうことが望ましいが、その際、上記訓練用データの全てについて行うのではなく、その一部について行なって、関連付け作業を一部省略することもできる。

0038

(D)新規の脳活動について、上記(C)で得られた関連付けから、知覚意味内容を表すトピックモデルのラベルで代表される言語記述の確率分布を得る。
被験者に新規データ(画像、動画等)を提示し、上記訓練用データの場合と同じ脳活動信号取得手段を用いて、脳活動信号を検出する。検出した脳活動信号を、訓練用データから得られる脳活動信号と比較して、どの訓練用データの場合に近いかを決定する。あるいは、訓練用データの場合のどのような混成の場合に最も近いかを決定する。この比較は、例えば、新規データに対する脳活動信号と先の訓練用データに対する脳活動信号との相互相関のピーク値を指標に用いて行うことができる。この決定によって、新規データの提示で検出した脳活動信号に対応するる言語記述の確率分布を得ることができる。

0039

(E) 上記(D)で得られた確率分布から、知覚意味内容として蓋然性の高いものを推定する。
この実施例の場合、上記(D)において、言語記述の確率分布が得られていることから、LDAと同様な方法で、文章を推定することができる。

0040

ここで、上記(ア)や(A)におけるリストについては、このリストを用いて刺激を受けた被験者に誘発される知覚内容が言語記述として表現されるので、上記のコーパス由来の意味空間の全てまたは選択された所定の部分をカバーしていることが望ましい。

0041

本発明は、例えば、テレビコマーシャル(CM)等の比較的ダイナミックで複雑な映像音声知覚下の脳活動から、被験者が知覚する任意の知覚意味内容を推定する技術を提供するものである。本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。例えば上記テレビコマーシャル等の動画作品が狙い通りの表現効果を発揮しているかを脳活動から定量評価することが出来る。

0042

図2に示す例は、CM動画視聴中の脳活動からの知覚意味内容の推定例である。具体的には、例えば「親しさ」の知覚を視聴者にどの様に誘発出来ているか、という問いに合理的に答えることを目的にしている。これは、図2の提示CM動画について、上記(ア)〜(オ)の手続きによって脳活動から推定した知覚意味内容を示すもので、左列に、被験者に提示したCMクリップ例を、また、右列に、当該クリップ視聴時の脳活動から推定した知覚意味内容を示す。クリップ横の各行は上から順に、名詞、動詞、形容詞それぞれの品詞について、被験者が知覚している確率が高い単語を示す。
図2(a):携帯電話を母親にかざして会話する場面
(名詞)男性女性独身近所実家親戚年上 母親
(動詞)訪ねる 辞める 付き合う 知り合う連れる 会う 訪れる 亡くす
(形容詞)親しい 優しい 貧しい幼い若い
図2(b):飼い主電波塔見えベンチに座って、景色を眺めている場面
(名詞)女性 男性 年上 金髪友人母親 独身
(動詞)付き合う 着る 話す 慕う 頼む 喋る 会う 座る
(形容詞)親しい 優しい 幼い 若い 可愛い
図2(c):(b)の場面の中央を破って爆発的に犬が 登場する場面
(名詞)顔 口癖眼鏡表情自分容姿口調面目
(動詞)喋る 殴る 付き合う 怒る被る着る 座る振り回す
(形容詞)親しい 可愛い 優しい 幼い 欲しい 怖い
図2(d):(c)の犬が商品キャンペーンを行う場面
(名詞)文字オンロゴゴシックアルファベット表示
(動詞)置き換える 書く 付す
視聴者の脳活動を表わすこれらの知覚意味内容が、CM作成者の意図に沿ったものであるかどうかを客観的に判断できるようになる。
また、上記(A)〜(E)の手続きによって、文章を推定することができる。

実施例

0043

図3に示す例は、特定印象時系列の脳活動からの定量評価例である。これは、例えば2つの映像AとBのどちらが特定の印象をより強く視聴者に与えるか、等の定量指標を提供することを目的とするものである。3つの30秒CMを視聴中の脳活動中の脳活動の時系列から、特定印象(この場合は「可愛い」)が蓋然性の高い言語記述であるかどうかを確認することで、この特定印象を認知している度合を推定したものである。CM−1:女子高生が親戚と話をしている場面、CM−2:重役会議が行われている場面、CM−3:アイドルダンス練習をしている場面、において、CM−1で比較的強い反応が得られることが分かる。

0044

本発明は視聴覚素材(映像、音楽教材等)の事前評価、及び知覚・行動意図読み取りを通じた脳機械インターフェース基盤として広汎に用いることができる。

0045

1表示装置
2被験者
3脳神経活動検出器
4データ処理装置
5ストレージ
6コーパスデータを解析装置
7、8 ストレージ
11刺激
12 被験者
13言語記述
14脳活動出力
15意味空間へ投射
16 コーパス

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ