図面 (/)

技術 情報処理装置および情報処理方法

出願人 テルモ株式会社
発明者 小山美雪田中俊英鮫島正
出願日 2013年6月4日 (6年1ヶ月経過) 出願番号 2014-522396
公開日 2016年5月30日 (3年1ヶ月経過) 公開番号 WO2014-002391
状態 特許登録済
技術分野 リハビリ用具 盲人、聾者、聾唖者の教習、意志伝達 音声認識 音声の分析・合成
主要キーワード 過去所定数 トレーニングレベル 訓練対象者 評価文 トレーニングテキスト 訓練状況 首振り動作 顔認識情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題・解決手段

情報処理装置は単語、単語列、または文からなるトレーニング用のテキストを格納した格納部を有する。情報処理装置は、格納部に格納された複数のテキストのうちの一つのテキストを音声出力または文字列の表示により提示し、テキストが提示された後に入力された音声信号に基づいて、発話速度を算出する。情報処理装置は、算出された発話速度と予め設定された目標の発話速度とを比較し、比較結果を通知する。

概要

背景

脳出血脳梗塞などの脳血管障害によって言語野が損傷されることで発症する失語症や、構音関与する器官機能不全になることで生じる構音障害などを患っている患者パーキンソン病によって発話障害を受けている患者等の言語障害患者に対しては、言語聴覚士の指導監視のもとで、言語リハビリが行われてきた。

このような言語障害患者の発話の明瞭度を上げるための一つの方法として発話速度を落とす方法があり、患者にゆっくりと発話させるトレーニングも言語リハビリの一つの重要なメニューとなっている。

人間の発話速度を測定する装置としては、特許文献1に示すように、アナウンサーなどの発話訓練を行う発話評価装置がある。

概要

情報処理装置は単語、単語列、または文からなるトレーニング用のテキストを格納した格納部を有する。情報処理装置は、格納部に格納された複数のテキストのうちの一つのテキストを音声出力または文字列の表示により提示し、テキストが提示された後に入力された音声信号に基づいて、発話速度を算出する。情報処理装置は、算出された発話速度と予め設定された目標の発話速度とを比較し、比較結果を通知する。

目的

本発明は上記課題に鑑みてなされたものであり、言語リハビリにおける発話トレーニングを行う情報処理装置および方法を提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

単語、単語列、または文からなるトレーニング用のテキストを格納した格納手段と、前記格納手段に格納された複数のテキストのうちの一つのテキストを提示する提示手段と、前記提示手段によってテキストが提示された後に入力された音声信号に基づいて、発話速度を算出する算出手段と、前記算出手段により算出された発話速度と予め設定された目標の発話速度とを比較する比較手段と、前記比較手段による比較結果を通知する通知手段と、を備えることを特徴とする情報処理装置

請求項2

前記提示手段は、前記一つのテキストを音声出力する、または、文字列として表示するための出力を行なうことを特徴とする請求項1に記載の情報処理装置。

請求項3

前記算出手段は、前記音声信号に基づいて発話の開始と終了を検出し、発話の開始から終了までの時間と、前記提示手段により提示されたテキストの長さとに基づいて発話速度を算出することを特徴とする請求項1または2に記載の情報処理装置。

請求項4

訓練対象者にとって発音が困難である苦手音を登録する登録手段を更に備え、前記提示手段は、テキストが前記苦手音を含むか否かを前記複数のテキストからテキストを選択する際の条件として用いることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。

請求項5

訓練の対象者にとって発音が困難である苦手音を登録する登録手段と、提示された前記テキストの先頭と前記音声信号における発話の先頭の音が一致するか、または、前記テキストの末尾と前記音声信号における発話の末尾の音が一致するか否かを判定する判定手段とを更に備え、前記提示手段は、前記複数のテキストから、前記苦手音を先頭または末尾に含むテキストを選択して提示することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。

請求項6

前記登録手段は、提示された前記テキストの先頭と前記音声信号における発話の最初の音が一致するか、または、前記テキストの末尾と発話の末尾の音が一致するか否かを判定し、前記判定に基づいて対象者が発音するのを苦手としている音を特定し、特定された音を該対象者の苦手音として登録することを特徴とする請求項4または5に記載の情報処理装置。

請求項7

発話トレーニングを補助する情報処理方法であって、単語、単語列、または文からなるトレーニング用のテキストを格納した格納手段に格納された複数のテキストのうちの一つのテキストを提示する提示工程と、前記提示工程でテキストが提示された後に入力された音声信号に基づいて、発話速度を算出する算出工程と、前記算出工程で算出された発話速度と予め設定された目標の発話速度とを比較する比較工程と、前記算出工程で算出された発話速度、または前記比較工程で得られた比較結果を通知する通知工程と、を備えることを特徴とする情報処理方法。

請求項8

請求項7に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム

技術分野

0001

本発明は、情報処理装置および情報処理方法に関するものである。

背景技術

0002

脳出血脳梗塞などの脳血管障害によって言語野が損傷されることで発症する失語症や、構音関与する器官機能不全になることで生じる構音障害などを患っている患者パーキンソン病によって発話障害を受けている患者等の言語障害患者に対しては、言語聴覚士の指導監視のもとで、言語リハビリが行われてきた。

0003

このような言語障害患者の発話の明瞭度を上げるための一つの方法として発話速度を落とす方法があり、患者にゆっくりと発話させるトレーニングも言語リハビリの一つの重要なメニューとなっている。

0004

人間の発話速度を測定する装置としては、特許文献1に示すように、アナウンサーなどの発話訓練を行う発話評価装置がある。

先行技術

0005

特開2008−262120号公報

発明が解決しようとする課題

0006

しかしながら、特許文献1の発話評価装置は、アナウンサー等、健常者のための発話訓練を行なうものであり、言語障害患者の言語リハビリを対象としたものではなく、言語障害患者の発話トレーニングに適したものではない。一般に発話トレーニングでは、言語聴覚士が患者に文または単語を提示し、患者が提示された文や単語を読み上げる中で、もう少しゆっくり、もう少し速くなどの指示をする。すなわち、言語聴覚士の感覚で発話速度が表現されるため、患者に安定した評価を与えにくいという課題がある。また、言語障害患者は、言語聴覚士がいないとトレーニングができず、リハビリの効率が悪かった。

0007

本発明は上記課題に鑑みてなされたものであり、言語リハビリにおける発話トレーニングを行う情報処理装置および方法を提供することを目的とする。

課題を解決するための手段

0008

上記の目的を達成するために、本発明に係る情報処理装置は以下のような構成を備える。即ち、
単語、単語列、または文からなるトレーニング用のテキストを格納した格納手段と、
前記格納手段に格納された複数のテキストのうちの一つのテキストを提示する提示手段と、
前記提示手段によってテキストが提示された後に入力された音声信号に基づいて、発話速度を算出する算出手段と、
前記算出手段により算出された発話速度と予め設定された目標の発話速度とを比較する比較手段と、
前記比較手段による比較結果を通知する通知手段と、を備える。

発明の効果

0009

本発明によれば、言語障害患者が適切な発話トレーニングを行えるようになる。

0010

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

図面の簡単な説明

0011

添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の一実施形態にかかる情報処理装置を備えるリハビリ用ロボット外観構成を示す図である。
リハビリ用ロボットの機能構成例を示すブロック図である。
テキストデータベースデータ構成の例を示す図である。
対象者情報テーブルのデータ構成の例を示す図である。
発話トレーニング処理を示すフローチャートである。
発話トレーニング処理における、訓練対象者との対話動作を説明する図である。
発話トレーニング処理におけるタブレット端末の表示を説明する図である。
発話トレーニング処理におけるタブレット端末の表示を説明する図である。
発話トレーニング処理におけるタブレット端末の表示を説明する図である。
発話トレーニング処理におけるタブレット端末の表示を説明する図である。
発話速度の測定処理を説明する図である。
発話速度の測定処理を説明する図である。
対象者情報テーブルの他のデータ構成例を示す図である。
対象者情報テーブルの他のデータ構成例を示す図である。
苦手音の発音評価を説明するフローチャートである。
苦手音の自動的な収集を説明するフローチャートである。

実施例

0012

以下、本発明の各実施形態について図面を参照しながら説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

0013

[第1実施形態]
<1.リハビリ用ロボットの外観構成>
図1は、本実施形態に係る情報処理装置としてのリハビリ用ロボット100の外観構成を示す図である。図1に示すように、言語障害患者などの訓練対象者の発話訓練を補助するリハビリ用ロボット100は、頭部110と胴体部120と脚部(左脚部131、右脚部132)とを備える。

0014

頭部110は、リハビリ用ロボット100に対して、患者が種々の指示を与えるためのスイッチ111と、外部環境撮像し、患者の位置や顔の向き等を把握するためのカメラ113と、患者の発声を取得するマイク112とを備える。また、スイッチ111による指示や、マイク112に入力された音声等に応じて点灯するランプ114を備える。

0015

また、胴体部120は、言語障害患者のリハビリに必要なデータを表示したり、タッチ操作により、言語障害患者への指示を入力したりするためのタッチパネルディスプレイ121と、訓練対象者に向けて音声を出力するためのスピーカ122とを備える。タッチパネルディスプレイ121は、リハビリ用ロボット100に内蔵されていてもよいし、外部出力により接続されていても構わない。

0016

なお、胴体部120には、左脚部131と右脚部132が接続されており、リハビリ用ロボット100全体を任意の方向に移動させることができる。また、頭部110は胴体部120に対して、矢印141方向に回動するよう(つまり、首振り動作するよう)構成されている。このため、リハビリ用ロボット100は、胴体部120全体を訓練対象者の方向に向けることも、頭部110のみを向けることもできる。

0017

また、胴体部120には、タブレット端末150等の外部装置を接続するためのケーブル151と接続可能なコネクタ部123が設けられている。なお、以下の実施形態において、タッチパネルディスプレイ121とタブレット端末150は同様の機能を実現するので、タッチパネルディスプレイ121は省略されてもよい。また、外部装置との接続は、コネクタ部123を介した有線接続に代えて、無線通信としてもよい。

0018

<2.リハビリ用ロボットの機能構成
次に、リハビリ用ロボット100の機能構成について説明する。図2は、リハビリ用ロボット100の機能構成を示す図である。

0019

図2に示すように、リハビリ用ロボット100は、制御部(コンピュータ)201と、メモリ部202と、格納手段の一例としての記憶部203を有する。記憶部203には、発話トレーニングプログラム221、テキストデータベース222、対象者情報テーブル223が記憶されている。制御部201は、発話トレーニングプログラム221を実行することにより、後述する発話トレーニング処理を実現する。なお、発話トレーニングプログラム221を実行する制御部201は、本願発明の各手段を実現する一構成例である。

0020

テキストデータベース222には、発話トレーニングに用いる単語、単語列、文が登録されている。以下、本明細書では、発話トレーニングに用いる単語、単語列、文をトレーニングテキストと称する。図3Aはテキストデータベース222のデータ構成例を示す図である。図3Aに示すように、各トレーニングテキストには識別番号(ID)301が割り当てられている。トレーニングテキスト302には、単語や文を示すテキストデータが登録されている。長さ情報303には、トレーニングテキストが有するモーラ数および/または語数が登録されている。なお、日本語の場合には、トレーニングテキストをカナ表記した場合の文字数を長さ情報として用いてもよい。レベル304には、モーラ数または語数などにより定まるトレーニングレベルが保持されている。例えば、モーラ数や語数が多いほどトレーニングの難度が高く、高いレベル値が付されている。本例では、トレーニングレベルを1〜5の5段階としているものとする。読み情報305は、音声合成処理によりトレーニングテキストを読み上げる際に用いられる情報である。

0021

対象者情報テーブル223には、発話トレーニングの訓練対象者に関する情報が登録されている。図3Bは対象者情報テーブル223のデータ構成例を示す図である。名前321は、対象者の名前が登録されている。顔認識情報322は、制御部201において対象者の顔を認識する際に用いられる情報が登録されている。認証情報323は、たとえばパスワード等、対象者の認証に用いられる情報である。訓練状況324には、訓練対象者が発話トレーニングを行なったトレーニングテキストの識別番号(テキストデータベース222内のトレーニングテキストの識別番号)、そのトレーニングテキストに関する発話速度の測定結果、評価結果等が記録されている。また、訓練状況324には、過去所定数分の発話を録音した録音データが記録されている。言語聴覚士は、この訓練状況324に記録されている内容を参照することで、訓練対象者の訓練の状況、訓練の達成度を知ることができる。

0022

なお、記憶部203には、リハビリ用ロボット100が有するその他の機能を実現するための各種プログラム及びデータが格納されているものとするが、ここでは、説明を省略する。

0023

図2において、操作部211は、スイッチ111やタッチパネルディスプレイ121からの操作入力受け付けて制御部201に信号を提供するとともに、制御部201の制御下でランプ114の点灯やタッチパネルディスプレイ121への表示を制御する。音声入力部212は、制御部201の制御下で、マイク112から入力された音声信号をデジタルデータとしてメモリ部202に格納する。音声出力部213は、制御部201の制御下で、スピーカ122を駆動し、合成音声の出力等を行なう。撮像部214は、制御部201の制御下で、カメラ113を制御し、カメラ113により得られた画像情報をメモリ部202に格納する。モータ駆動制御部215は、左脚部131、右脚部132に配された車輪を駆動するためのモータを制御したり、頭部110に配され、頭部110を首振り動作させるためのモータを制御したりする。

0024

通信部216は、コネクタ部123を含み、制御部201とタブレット端末150を通信可能に接続する。図1ではタブレット端末150とリハビリ用ロボット100とが有線により接続されているが、無線により接続される構成としてもよいことは言うまでもない。以上の各部はバス230を介して接続されている。なお、テキストデータベース222や対象者情報テーブル223の編集は、通信部216を介して接続されたタブレット端末150やパーソナルコンピュータ等によりなされる。

0025

<3.発話トレーニング処理の流れ>
次に、制御部201が発話トレーニングプログラム221を実行することにより実施される本実施形態の発話トレーニング処理について図4のフローチャートを参照して説明する。リハビリ用ロボット100のスイッチ111の押下、タッチパネルディスプレイ121へのタッチ操作、タブレット端末150からの操作など、所定操作の検出により発話トレーニングが開始される(ステップS401)。なお、タッチパネルディスプレイ121とタブレット端末150は同等のユーザインターフェースを実現するので、以下ではタブレット端末150を用いて説明する。但し、タッチパネルディスプレイ121におけるユーザインターフェースの提供は制御部201が行うことになるが、タブレット端末150のユーザインターフェースはタブレット端末150が有するCPUと制御部201の協働により実現される。また、タブレット端末150のようなインテリジェント端末ではなく、単なるタッチパネルディスプレイを接続可能としてもよい。そのような外付けのタッチパネルディスプレイが接続される場合、タッチパネルディスプレイ121と同様に、制御部201がその制御の全てを行う。

0026

発話トレーニングが開始されると、ステップS402において、制御部201は、訓練対象者又は言語聴覚士に発話速度トレーニングの開始を通知し、名前を問い合わせる。例えば、制御部201は図5のS501に示すように、音声出力部213を介して音声合成出力を行なう。或いは、図6Aに示されるように、タブレット端末150が、発話トレーニングの開始の通知601を表示するとともに、名前を入力するためのインターフェースソフトキーボード602、テキストボックス603)を提供する。そして、ステップS403において、制御部201は、マイク112を介して名前が音声入力されるのを、またはタブレット端末150から名前が入力されるのを待つ。

0027

音声により名前が入力されると(S502)、あるいは、タブレット端末150から訓練対象者の名前が入力されると、ステップS404において、制御部201は入力された名前により訓練対象者が本人であるかを確認する。本実施形態では、このような本人確認を、たとえば、対象者情報テーブル223の顔認識情報322とカメラ113により撮影された画像を用いて、顔認識処理を行うことで実現する。なお、タブレット端末150からパスワードを入力させて認証情報323と比較することで本人確認を行なってもよいし、他の生体情報静脈指紋など)を用いた認証を実行してもよい。

0028

本人であることが確認されると、制御部201は、ステップS405において、対象者情報テーブル223から対象者情報(名前や訓練状況)を取得する。そして、ステップS406において、制御部201は、その対象者の名前や訓練状況を提示し、トレーニングのレベルを問い合わせる。例えば、図5のS503に示すように、音声により対象者の名前を復唱するとともに、前回のトレーニングで実施したレベルや、どのレベルでトレーニングを行なうかの問い合わせを行なう。或いは、図6Bに示すように、タブレット端末150がタッチパネルディスプレイにより対象者の名前(表示611)、前回のトレーニングのレベル(表示612)、どのレベルでトレーニングを行なうかの問い合わせ(表示613)を行なう。なお、前回のトレーニングレベルは、たとえば、訓練状況324においてトレーニング済みとして登録されているトレーニングテキストのうち最高のレベルを提示することが考えられる。なお、本人確認に失敗した場合、制御部201は、名前と対象者が不一致であることを告げて処理をステップS401に戻すものとする。

0029

S504のようにトレーニングのレベルが音声入力されるか、図6Bに示すようなタブレット端末150が提供するユーザインターフェースを介してトレーニングのレベルが指定されると、処理はステップS407からステップS408へ進む。なお、このトレーニングレベルのユーザインターフェースを介した入力は、言語聴覚士が行う作業としてタブレット端末150だけでなく、タッチパネルディスプレイ121から提示されても構わない。ステップS408を実行する制御部201は、記憶部203(テキストデータベース222)に格納された複数のテキストのうちの一つを提示する提示手段の一例である。すなわち、ステップS408において、制御部201は、テキストデータベース222から、指定されたレベルに対応するトレーニングテキストを取得する。このとき、制御部201が訓練状況324を参照してトレーニングテキストを選択するようにしてもよい。この場合、たとえば、制御部201は、発話トレーニングを実行済みとなっているトレーニングテキストを選択しないようにしたり、評価値の低いトレーニングテキストから選択してくようにしたりする。

0030

ステップS409において、制御部201は、ステップS408で取得したトレーニングテキストを訓練対象者に提示する。トレーニングテキストの提示の仕方としては、トレーニングテキストを音声出力する方法と、タブレット端末150にテキスト表示する方法が挙げられる。音声出力の場合は、読み情報305を用いて音声合成によりトレーニングテキストを読み上げてスピーカ122から出力する(図5のS505)。また、文字列で表示する場合は、図6Cに示すようにタブレット端末150においてトレーニングテキストを表示する。

0031

なお、トレーニングテキストの提示に際しては、訓練対象者が発話のペースを把握出来るような補助を行なってもよい。例えば、音声合成によりトレーニングテキストを読み上げる際に、文節ごとにタップ音を鳴らすようにして、トレーニングテキストの読み上げ後もこのタップ音を継続して出力する。訓練対象者は、タップ音を聞きながら発話できるため、発話のペースを把握することができる。また、タブレット端末150におけるトレーニングテキストの表示において、各文字の表示形態を、目標とする発話速度で先頭から順に変更していくようにしてもよい。訓練対象者は、この表示形態に追従するようにトレーニングテキストを読むことで、目標とする発話速度で発話することができる。

0032

トレーニングテキストを提示すると、ステップS410において、制御部201は、マイク112を用いた録音を開始し、訓練対象者による発話(図5のS506)を録音する。録音されたデータはメモリ部202に保持される。ステップS411を実行する制御部201は、テキストの提示後に入力された音声信号に基づいて発話速度を算出する算出手段の一例である。すなわち、ステップS411において、制御部201は、録音されたデータを解析することにより、発話速度を算出する。以下、図7Aのフローチャートと図7B音声入力信号の例を参照して、ステップS410,S411による発話の録音動作と発話速度の算出について説明する。

0033

ステップS409においてトレーニングテキストが提示されると、ステップS701において、制御部201は音声入力部212を制御して、マイク112から入力された音声信号のメモリ部202への格納(録音)を開始する(図7Bのt1)。ステップS702において、制御部201は、発話終了と判定されるまで、ステップS701で開始した録音を継続する。本実施形態では、所定期間(例えば2秒)以上にわたって音声入力の無い区間無音区間)が継続した場合に、発話が終了したと判定する。たとえば、図7Bの例の場合、t3〜t4に無音区間が有るが、その継続時間が所定時間より短いために、発話の終了とは判定されない。一方、t5以降は、所定期間にわたって無音の状態が継続したため、t6において発話の終了と判定される。

0034

発話終了が検出されると、処理はステップS702からステップS703へ進む。ステップS703において、制御部201は録音を終了する。したがって、図7Bのように音声信号が入力された場合、t1〜t6の期間にわたり録音が行われることになる。

0035

ステップS704において、制御部201はステップS701〜S703において記録された音声信号を解析して発話の開始位置と終了位置とを特定する。なお、本実施形態では、音声信号が最初に検出された位置を発話の開始位置、所定時間にわたり継続した無音区間の開始位置を発話の終了位置とする。たとえば、図7Bの例では、t2が発話の開始位置(開始時刻)、t5が発話の終了位置(終了時刻)として特定される。ステップS705において、制御部201は、発話に要した時間(開始時刻t2と終了時刻t5の差)と発話を行なったトレーニングテキストのモーラ数/語数に基づいて、発話速度を算出する。したがって、発話速度は、毎分何語、毎秒モーラなどのように示される。なお、日本語の場合は、トレーニングテキストをカナ表記した場合の文字数を用いて、毎秒あたりの文字数を発話速度としてもよい。

0036

以上のようにして発話速度が算出されると、処理はステップS412へ進む。ステップS412、S413を実行する制御部201は、算出された発話速度と予め設定された目標の発話速度とを比較する比較手段、および、比較結果を通知する通知手段の一例である。すなわち、制御部201は、ステップS411で算出された発話速度と目標としている発話速度との比較から今回の発話を評価し、ステップS413でその比較結果に対応した評価を提示する。評価の提示は、S507に示されるように、音声出力部213、スピーカ122を介して音声によりなされてもよいし、図6Dの631に示すように、タブレット端末150での表示によりなされてもよい。

0037

評価文632として表示される、あるいは、音声通知(S507)される評価は、たとえば測定された発話速度が「N語/分」、目標の発話速度がR語/分」であった場合に、以下のようになる。但し、以下の評価は一例であり、これに限られるものではないことは言うまでもない。
・|N−R|≦5:『ちょうどいいスピードです』
・5<N−R≦15:『少し速いようです』
・N−R>15:『だいぶ速いようです。もっとゆっくり話しましょう。』
・N−R<−5:『もう少し速く話してみましょう』。

0038

また、ステップS414において、制御部201は、上記のようにして得られた録音データ(ステップS410)、発話速度(ステップS411)、評価結果(ステップS412)を、使用したトレーニングテキストのIDと関連付けて、訓練状況324として記録する。こうして、対象者情報テーブル223の該当する訓練状況324が更新される。なお、録音データの記録においては、図7Bのt2〜t5の区間(実際に発話が録音されている期間)を抽出して記録するようにしてもよい。

0039

続いて、ステップS415において、制御部201はタブレット端末150によりメニュー633(図6D)を提示する。メニュー633にはたとえば以下の項目が提示される。このメニュー633の提示は、言語聴覚士が行う作業としてタッチパネルディスプレイ121に提示されても構わない。
・[発話の再生]:録音された発話の内容をスピーカ122により再生させる。
・[もう一度]:直前に使用したトレーニングテキストでもう一度発話訓練する。
・[次のテキスト]:新たなトレーニングテキストで発話訓練する。
・[レベルの変更]:レベルを変更して、新たなトレーニングテキストで発話訓練する。
・[トレーニング終了]:発話トレーニングを終了する。

0040

ステップS416で[発話の再生]が選択されると、処理はステップS417に進み、録音された発話が再生される。なお、訓練状況324は、過去の所定回数分の発話の録音が記録されており、対象者は所望の録音を選択して再生させることができるようになっている。例えば、図3Bでは、過去の2つの録音データ(#1、#2)が記録されている様子が示されている。この場合、[発話の再生]が選択されると、制御部201は、どの録音を再生させるか(たとえば、「一つ前」「二つ前」など)をユーザに指定させる。この指定は、音声により受け付けてもよいし、タブレット端末150からの操作入力により受けつてもよい。

0041

ステップS416で[もう一度]が選択されると、処理はステップS409へ進み、制御部201は、現在選択中のトレーニングテキストを提示し、以降、上述した処理を繰り返す。ステップS416で[次のテキスト]が選択されると、処理はステップS408へ進み、制御部201は、現在選択中のレベルにおいて新たなトレーニングテキストをテキストデータベース222から取得し、新たなトレーニングテキストを用いてステップS409以降の処理を行う。

0042

ステップS416で[レベルの変更]が選択されると、処理はステップS407へ進み、図5のS503に示した音声出力や図6Bに示した表示を行ない、新たなトレーニングレベルの入力を待つ。レベルが入力されると、ステップS408以降の処理が実行される。ステップS416で[トレーニングの終了]が選択されると、本処理を終了する。

0043

以上のように、本実施形態によれば、訓練対象者はリハビリ用ロボット100と対話を行ないながら、発話訓練を進めていくことができる。また、訓練対象者による発話の都度、発話速度や評価結果が通知されるので、訓練対象者は自分の発話の良し悪しを確認しながら訓練を進めることができる。

0044

なお、上記実施形態では、トレーニング用テキストの取得は、指定されたレベルに応じて(対象者によらず)テキストデータベース222から選択するようにしたが、これに限られるものではない。たとえば、言語聴覚士が、訓練対象者の様子をみて、各レベルのトレーニングテキストを指定できるようにしてもよい。たとえば、言語聴覚士は、リハビリ用ロボット100と接続された外部装置を使って、訓練対象者が使用すべきトレーニングテキストをテキストデータベース222から選択し、対象者情報テーブル223に登録する。より具体的には、図8Aに示すように対象者情報テーブル223に、各対象者について、レベル毎に使用するトレーニングテキストのIDを登録するレベル欄801を設ける。言語聴覚士は、外部装置を用いて、テキストデータベース222の所望のトレーニングテキストを所望のレベルに登録することができる。こうして、対象者情報テーブル223の各レベルに応じたトレーニングテキストがIDにより登録される。ステップS408では、制御部201が、対象者情報テーブル223のレベル欄801を参照し、ステップS407で指定されたレベルに対応付けて登録されているIDの中から一つを選択することで、提示すべきトレーニングテキストが選択される。

0045

以上のように、第1実施形態によれば、リハビリ用ロボット100が発話トレーニングに適したテキストを訓練対象者に提示し、訓練対象者の発話状態を評価するので、訓練対象者のみでも正しく発話トレーニングを実施できる。

0046

[第2実施形態]
構音障害を持つ言語障害患者は、「た」や「か行(子音がkで始まる音)」など、特定の音を発音することが困難となる場合がある。第2実施形態では、トレーニングテキストの選択において、そのような訓練対象者にとって発音が困難な音(以下、苦手音)を含むか否かを考慮する。このように、発話トレーニングに苦手音を含むトレーニングテキストを意図的に選択することにより、発話速度と苦手音の克服の双方の発話トレーニングを行えるようにする。なお、第2実施形態の情報処理装置の構成は、第1実施形態と同様である。

0047

訓練の対象者にとって発音が困難である苦手音を登録する登録手段の一例として苦手音802を登録することができる対象者情報テーブル223を、図8Bに示す。言語聴覚士は、訓練対象者にとって発音が困難な音を特定する作業を行ない、その結果を、図8Bに示す対象者情報テーブル223の苦手音802に登録する。発生が困難な音は訓練対象者によって異なるので、苦手音802の欄は対象者毎に設けられる。

0048

第2実施形態による発話トレーニング処理は第1実施形態とほぼ同様であるが、トレーニングテキストの選択の際に、苦手音を選択条件の一つとして用いる点が異なる。すなわち、図4のステップS407において、制御部201は、テキストデータベース222から指定されたレベルのトレーニングテキストを選択するが、その際に、苦手音を含むトレーニングテキストが検索される。したがって、発話トレーニングに用いられるトレーニングテキストは訓練対象者が発音困難な苦手音を含むようになり、苦手音に対する発話トレーニングを並行して行えるようになる。

0049

なお、トレーニングテキストの選択方法は上記に限られるものではない。たとえば、毎回苦手音を含むトレーニングテキストを用いるのではなく、所定回数につき1回だけ苦手音を含むトレーニングテキストを選択するようにしてもよい。或いは、1つのトレーニングテキストに含まれている苦手音の数をトレーニングレベルに対応させて、選択条件として用いてもよい。例えば、トレーニングレベル1では苦手音を1つ含むトレーニングテキストを、レベル2では、苦手音を2つ含むトレーニングテキストを選択するというように制御してもよい。また、トレーニングテキスト中に含まれる苦手音の数が所定数以上の場合には、テキストデータベース222で設定されているレベルよりも一つ上のレベルとして扱うようにしてもよい。

0050

以上のように第2実施形態によれば、発話トレーニングにおいて言語障害患者が発音するのが困難な音を含むトレーニングテキストが積極的に選択されるので、発話速度のトレーニングと苦手音の発音トレーニングを並行して行うことが可能になる。また、苦手音を含むトレーニングテキストと苦手音を含まないトレーニングテキストとで発話速度を比較することで、苦手音が発話速度に及ぼす影響などを判断することも可能となり、言語聴覚士がリハビリ計画を作成するための補助的な情報を提供できる。

0051

[第3実施形態]
第1実施形態では選択したトレーニングテキストを発話させ、その発話時間から発話速度を算出して評価する構成を、第2実施形態ではトレーニングテキストの選択において対象者の苦手音の存否を選択条件の一つとする構成を説明した。第3実施形態では、更に、苦手音を正しく発声するためのトレーニングを加味した構成を説明する。

0052

一般に、音声信号中の先頭の1音、末尾の1音は、波形切り出しが容易であり、高精度に音声認識を行なうことができる。すなわち、「あめがふる(a-me-ga-fu-ru)」と音声入力された場合に、先頭の音である「あ(a)」、末尾の音である「る(ru)」については、正しく発音されているかどうかを精度良く判定することができる。第3実施形態の発話トレーニング処理では、このような音声認識技術の特徴を利用して、苦手音に関するトレーニングを提供する。

0053

図9は第3実施形態による発話トレーニング処理を説明するフローチャートであり、第1実施形態の発話トレーニング処理(図4)のステップS408〜S413を置き換えるものである。ステップS901において制御部201は、対象者情報テーブル223から対象者の苦手音を取得し、苦手音を先頭または末尾に有するトレーニングテキストをテキストデータベース222から取得する。ステップS902において制御部201は、ステップS901で取得したトレーニングテキストを音声出力、または、文字表示により提示する。テキストの提示は、ステップS409で説明したとおりである。

0054

ステップS902においてトレーニングテキストを提示すると、制御部201は、ステップS903において、対象者による発話の録音を開始する。録音されたデータはメモリ部202に保持される。そして、ステップS904において、制御部201は、録音されたデータを解析することにより発話速度を算出し、算出した発話速度と予め定められた目標の発話速度との比較により、発話を評価する。以上のステップS902〜S904の処理は、ステップS410〜S412と同様である。

0055

ステップS905を実行する制御部201は、提示されたテキストの先頭と音声信号における発話の先頭の音が一致するか、または、そのテキストの末尾と音声信号における発話の末尾の音が一致するか否かを判定する判定手段の一例である。すなわち、ステップS905において、制御部201は、ステップS902で提示したトレーニングテキストの先頭の1音あるいは末尾の1音が正しく発話できたかどうかを判断する。ここでは苦手音について正しく発音できたかどうかを判定するので、以下のように判定が行われる。すなわち、
・ステップS901、S902で苦手音を先頭に有するトレーニングテキストが提示された場合には先頭の1音について正しく発音できたかどうかを判定する。
・ステップS901、S902で苦手音を末尾に有するトレーニングテキストが提示された場合には末尾の1音について正しく発音できたかどうかを判定する。
・ステップS901、S902で苦手音を先頭と末尾の両方に有するトレーニングテキストが提示された場合には、先頭と末尾の1音ずつについて正しく発音できたかどうかを判定する。

0056

ステップS906では、ステップS904の評価結果とステップS905の判定結果を提示する。ステップS904の評価結果の提示については第1実施形態で説明したとおりである。また、ステップS905の判定結果の提示は、苦手音を正しく判定できたかどうかを訓練対象者に通知する表示を行う。たとえば、正しい発音がなされたかどうかは、ステップS903録音された音声信号の波形と基準の音声波形とのマッチング処理により判断することができる。したがって、マッチング度を複数のレベルに分類し、マッチング処理で得られたマッチング度が属するレベルに応じて判定結果を提示するようにしてもよい。例えば、一致度の高い順に3つのレベルに分類し、レベルごとに以下のような表示を行う。
レベル3:苦手音「○」は、ほぼ正しく発音ができています。
レベル2:苦手音「○」は、どうにか聞き取ることができるレベルで発音できています。
レベル1:苦手音「○」の発音をもっと練習しましょう。

0057

以上のように、第3実施形態によれば、苦手音を先頭または末尾に含むトレーニングテキストを用いて発話のトレーニングがなされ、苦手音を発音できたかどうかが通知される。したがって、対象者は、苦手音に対するトレーニングの効果を把握しながらトレーニングを行なうことができる。

0058

なお、上記第3実施形態では、発話速度に関するトレーニングとともに苦手音の発音トレーニングを行うようにしているが、発音トレーニングのみを行うようにしてもよい。また上記実施形態では、苦手音が先頭、末尾のいずれか或いは両方に存在するトレーニングテキストを選択したが、苦手音が先頭、末尾、両方にあるトレーニングテキストを区別してトレーニングをしてもよい。このようにすれば、苦手音が先頭にあるとうまく発音できないが、末尾にあると発音できるといったような症状を検出することができる。

0059

[第4実施形態]
第4実施形態では、登録手段の更なる一例を説明する。第2、第3実施形態では、訓練退所者の苦手音を言語聴覚士が登録したが、第4実施形態では、苦手音の登録を自動化する。図10は第4実施形態による、苦手音登録処理を説明する図である。

0060

ステップS1001において、制御部201はトレーニングテキストをテキストデータベース222から取得する。ステップS1002において、制御部201は、取得したトレーニングテキストを訓練対象者に提示し、ステップS1003において発話の録音を行なう。これらの処理は、第1実施形態(図4)のステップS409〜S412の処理と同様である。

0061

ステップS1004において、制御部201は、録音された発話の音声信号の先頭と末尾の1音について、提示したトレーニングテキストの先頭と末尾において発音されるべき1音と一致するか否かを判定する。このマッチング処理は、第3実施形態(ステップS905)で説明した処理と同様である。この判定の結果、発音ができていると判定された場合は、処理はステップS1007に進む。発音ができていないと判定された場合は、処理はステップS1006へ進み、制御部201は、発音できていないと判定された音を苦手音として対象者情報テーブル223に登録する。ステップS1007では、終了指示を受けるまで、登録処理を継続するべく処理をステップS1001へ戻す。

0062

以上のような第4実施形態の登録処理によれば、訓練対象者の苦手音が自動的に登録されるので、より強力に言語聴覚士を補助することができる。

0063

なお、ステップS1006においては、発音できていないと判定された音を直ちに登録するのではなく、所定レベル以下での発音が所定回数検出された音を登録するようにしてもよい。たとえば第4実施形態で説明したレベル判定で「レベル1」に判定された回数が所定回数を超えた音を登録するようにしてもよい。この場合、ステップS1001においてトレーニングテキストを取得する際に、ステップS1005で発音できていると判定された音を先頭あるいは末尾に含まないトレーニングテキストを選択するようにし、ステップS1005で発音できていないと判定された音を先頭または末尾に含むトレーニングテキストを選択するようすれば、苦手音の取得をより効率よく行える。

0064

なお、上記実施形態では、テキストデータベース222や対象者情報テーブル223を情報処理装置内に含む構成を示したが、これに限られるものではない。例えば、テキストデータベース222や対象者情報テーブル223を外部のサーバに保持しておき、無線通信、有線通信インターネットなどを介して必要な情報を取得できるようにしてもよいことは明らかである。

0065

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

0066

本願は、2012年6月29日提出の日本国特許出願特願2012−147548を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ソノズインコーポレイテッドの「 メディア再生システムの音声制御」が 公開されました。( 2019/05/30)

    【課題・解決手段】コマンドワード、1又は複数のメディア変数のインスタンス、及び1又は複数のゾーン変数のインスタンスを含む音声入力が受信される。コマンドワードに対応するメディア再生システムコマンドが決定... 詳細

  • アイシン精機株式会社の「 運転支援装置」が 公開されました。( 2019/05/23)

    【課題】一例として、乗員の運転支援装置に対する話しかけにくさを低減する。【解決手段】実施形態にかかる運転支援装置は、車内を撮像する撮像装置の撮像画像に含まれる乗員の顔画像から、乗員の視線の向きを検出す... 詳細

  • アイシン精機株式会社の「 運転支援装置」が 公開されました。( 2019/05/23)

    【課題】運転者が対象としている物体が地図情報に含まれない動的な物体であっても該物体を特定可能な運転支援装置を提供する。【解決手段】本発明の運転支援装置は、第1の取得部と、第2の取得部と、音声入力受付部... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ