図面 (/)

技術 目の動きと口の形状認識を利用した文字入力装置

出願人 株式会社センサ
発明者 松井和幸東哲理高田敬輔伊藤和幸
出願日 2001年3月9日 (18年4ヶ月経過) 出願番号 2001-065853
公開日 2002年9月20日 (16年9ヶ月経過) 公開番号 2002-269544
状態 拒絶査定
技術分野 画像処理 デジタル計算機のユーザインターフェイス イメージ分析 デジタル計算機のユーザインターフェイス
主要キーワード ベッドスペース 重度障害者 高齢社会 意思伝達装置 少子化 一般機 入力制御装置 表示用モニタ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2002年9月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

目的

目の動きと口の形状認識を利用した文字入力装置を使用する際、顔が動くことによって、眼球注視位置が検出できない状況をなくし、該装置が誤操作しないようにする。また、前記装置の小型化を計り、尚且つ経済性の優れたものとして提供することを目的とするものである。

手段

本発明では、目の動きと口の形状認識を利用した文字入力装置を使用する際には誤操作せず、容易且つ正確に制御できる装置とした。また、前記装置は従来のものと比べて、装置の構成、アルゴリズム等を新しいものとし、小型で使用し易い経済性の優れたものとした。

概要

背景

我が国では、平均寿命伸び少子化拍車をかけ、人口の高齢化がかなりの速度で進んでいる。この傾向は今後も進むと推察され、平成32年には65以上人口の割合が25.5%と国民の4人に1人の割合が高齢者という超高齢社会到来すると予測されている。寝たきりの高齢者については、53%が3年以上寝たきりの状態にあり、長期化と重度の傾向にある。この要介護者支援する家族・看護婦等は肉体的・精神的に、家族は更に、経済的な負担を抱えることになる。

要介護者の中でも、難病である筋萎縮性側索硬化症ALS)の患者言語障害等で言葉発声障害のある人は、看護婦、介護者等のコミュニケーションがうまくいかない場合がよく見られ、双方に不快感ストレスが残ってしまうのが現状である。特に、末期ALS患者は、一般的に目の近辺が一番遅くまで動くとされている。

従来より、視線を利用して表示モニター上の制御をする際には、介護福祉分野のみならず工業分野一般機器においても使用されている。従来は赤外線等の光を照射することで眼球撮影し、使用者の眼球の注視位置を検出し操作をかのうとしていた(特開平11−338615)。しかし、この方法は操作している間に、顔が動くことによって、眼球の注視位置を検出できないことがあり、装置を制御できないため、装置が誤操作するといった問題がある。また、従来の装置は比較的大型で機材が多いため、設置スペースが必要となる。更に、装置が高価となるために、介護分野からすると経済的に利用し難いという問題がある。

精度の面からは、50音を視線のみで認識する方法がある。しかしながら、分解能をあげるために使用者の顔を固定する、もしくは動かないように装置を使用してもらう必要があった。これは使用者の動き拘束することに意味し、使用者から好まれるものではない。また、モニター上で50音を配列し、リモコンシフトさせる方法は何回もシフトキーを押さなければならず、この方法も使用者の不快感・ストレスを蓄積するものとなる。

概要

目の動きと口の形状認識を利用した文字入力装置を使用する際、顔が動くことによって、眼球の注視位置が検出できない状況をなくし、該装置が誤操作しないようにする。また、前記装置の小型化を計り、尚且つ経済性の優れたものとして提供することを目的とするものである。

本発明では、目の動きと口の形状認識を利用した文字入力装置を使用する際には誤操作せず、容易且つ正確に制御できる装置とした。また、前記装置は従来のものと比べて、装置の構成、アルゴリズム等を新しいものとし、小型で使用し易い経済性の優れたものとした。

目的

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

プログラムされたコンピュータモニターカメラによって、目の動きと口の形状を認識し文字入力する装置であって、使用者の目の動きと口の形状をカメラによって読み取る手段と、モニターの任意の点ごとに見つめた使用者の映像(顔の位置、向き、目の方向など)及び母音(a、i、u、e、o)を発声した時の映像(口形状)の画像データを辞書として保存する手段と、モニターに文字入力するための行を選択するボタンを配列した表示手段と、使用者が操作するために前記モニターのボタンを見つめた時の映像及び母音を発声した時の映像(口の形状)と予め辞書として保存された情報を比較して、その情報の中から類似した画像データを選出する手段と、選出した画像データと対応するモニター上のボタンが示す指示内容の操作を実行させる手段とを備えたことを特徴とする目の動きと口の形状認識を利用した文字入力装置

請求項2

請求項1記載の文字入力装置において、カメラによって読み取った使用者の映像(顔の位置、向き、目の方向、口の形状など)から、使用者が操作するためにモニターのどのボタンを見つめているかを判定し、また、どの母音を発声しているかを判定することを特徴とする文字入力装置。

請求項3

請求項1記載の文字入力装置において、使用者が発声する声の周波数スペクトラムから母音を音声認識し、目の動きと口の形状認識とを組み合わせて文字を判定することを特徴とする文字入力装置。

請求項4

請求項1記載の文字入力装置において、使用者の顔位置が予め設定されている許容範囲内に位置しているかの良否をモニター上で表示することができることを特徴とする文字入力装置。

請求項5

請求項1記載の文字入力装置において、使用者の映像(顔の位置、向き、目の方向、口の形状など)を読み取るカメラ1と、読み取った映像を画像データとして処理する制御部2と、目と口によって装置の入力及び入力した項目などを表示させることができるモニター3によって構成されることを特徴とする文字入力装置。

請求項6

請求項1記載の文字入力装置において、使用者の映像(顔の位置、向き、目の方向、口の形状など)を読み取るカメラ1と、読み取った映像を画像データとして処理する制御部2と、目と口によって装置の入力操作をするモニター3と、該モニター3で入力した項目などを表示させることができる表示モニター4によって構成されることを特徴とする文字入力装置。

請求項7

カメラ付携帯電話において、文字の行をキーで選択し、それに続く母音は口の形状から文字認識することによって携帯電話の文字入力をする方法。

請求項8

モニターの任意の点ごとに見つめた使用者の映像(顔の位置、向き、目の方向など)及び母音を発声した時の映像(口の形状)の画像データを辞書として保存する工程と、モニターに文字入力するための行を選択するボタンを配列した表示工程と、使用者が操作するために前記モニターのボタンを見つめた時の映像及び母音を発声した時の映像(口の形状)と予め辞書として保存された情報を比較して、その情報の中から類似した画像データを選出する工程と、選出した画像データと対応するモニター上のボタンが示す指示内容の操作を実行させる工程とを備えたことを特徴とする目の動きと口の形状認識を利用して文字を入力する方法。

請求項9

請求項8記載の文字を入力する方法において、カメラによって読み取った使用者の映像(顔の位置、向き、目の方向、口の形状など)から、使用者が操作するためにモニターのどのボタンを見つめているかを判定し、また、どの母音を発声しているかを判定することを特徴とする文字を入力する方法。

請求項10

目の動きと口の形状を認識し文字入力操作を制御するための制御プログラムを記録した記録媒体であって、該制御プログラムは、予めモニターの任意の点ごとに見つめた使用者の映像(顔の位置、向き、目の方向など)及び母音を発声した時の映像(口形状)の画像データを辞書として保存しておく。次いで、使用者が文字入力するために、文字の行を選択するボタンが配列された表示モニターを見つめた時の映像及び母音を発声した時の映像(口の形状)と任意の点ごとに辞書として保存された情報を比較して、その情報の中から類似した画像データを選出し、選出した画像データと対応するモニター上のボタンが示す指示内容の操作を実行させることを特徴とする目の動きと口の形状認識を利用して文字の入力操作を制御するための制御プログラムを記録した記録媒体。

請求項11

請求項10記載の文字入力操作を制御するための制御プログラムを記録した記録媒体において、カメラによって読み取った使用者の映像(顔の位置、向き、目の方向、口の形状など)から、使用者が操作するためにモニターのどのボタンを見つめているかを判定し、また、どの母音を発声しているかを判定することを特徴とする文字の入力操作を制御するための制御プログラムを記録した記録媒体。

技術分野

0001

本発明は、プログラムされたコンピュータモニターカメラによって、目の動きと口の形状を認識し文字入力する装置及び制御するための制御プログラムを記録した記録媒体に関するものである。

背景技術

0002

我が国では、平均寿命伸び少子化拍車をかけ、人口の高齢化がかなりの速度で進んでいる。この傾向は今後も進むと推察され、平成32年には65以上人口の割合が25.5%と国民の4人に1人の割合が高齢者という超高齢社会到来すると予測されている。寝たきりの高齢者については、53%が3年以上寝たきりの状態にあり、長期化と重度の傾向にある。この要介護者支援する家族・看護婦等は肉体的・精神的に、家族は更に、経済的な負担を抱えることになる。

0003

要介護者の中でも、難病である筋萎縮性側索硬化症ALS)の患者言語障害等で言葉発声障害のある人は、看護婦、介護者等のコミュニケーションがうまくいかない場合がよく見られ、双方に不快感ストレスが残ってしまうのが現状である。特に、末期ALS患者は、一般的に目の近辺が一番遅くまで動くとされている。

0004

従来より、視線を利用して表示モニター上の制御をする際には、介護福祉分野のみならず工業分野一般機器においても使用されている。従来は赤外線等の光を照射することで眼球撮影し、使用者の眼球の注視位置を検出し操作をかのうとしていた(特開平11−338615)。しかし、この方法は操作している間に、顔が動くことによって、眼球の注視位置を検出できないことがあり、装置を制御できないため、装置が誤操作するといった問題がある。また、従来の装置は比較的大型で機材が多いため、設置スペースが必要となる。更に、装置が高価となるために、介護分野からすると経済的に利用し難いという問題がある。

0005

精度の面からは、50音を視線のみで認識する方法がある。しかしながら、分解能をあげるために使用者の顔を固定する、もしくは動かないように装置を使用してもらう必要があった。これは使用者の動きを拘束することに意味し、使用者から好まれるものではない。また、モニター上で50音を配列し、リモコンシフトさせる方法は何回もシフトキーを押さなければならず、この方法も使用者の不快感・ストレスを蓄積するものとなる。

発明が解決しようとする課題

0006

本発明は、視線を利用して文字入力操作を制御する装置を使用する際、顔が動くことによって、眼球の注視位置が検出できない状況をなくし、該装置が誤操作しないようにする。また、顔を固定させる不自由さをなくし、更に、前記装置の小型化を計り、尚且つ経済性の優れたものとする。

課題を解決するための手段

0007

そこで、本発明では、視線を利用してコンピュータ及びその他機器への入力操作を制御する装置を使用する際には誤操作せず、容易且つ正確に制御できる装置とした。また、前記装置は従来のものと比べて、装置の構成、アルゴリズム等を新しいものとし、小型で経済性の優れたものとした。

0008

具体的には、汎用性のあるカメラを使用する。また、画像データは口の形状、音声などを増やし、新しい組合せにを取り入れることでデータ量を増やし、精度の向上を図る。更に、予めモニターの任意の点ごとに見つめた使用者の映像(顔の位置、向き、目の方向など)及び母音を発声した時の映像(口形状)の画像データを辞書として保存し、使用者が文字入力するために、文字の行を選択するボタンが配列された表示モニターを見つめた時の映像及び母音を発声した時の映像(口の形状)と任意の点ごとに辞書として保存された情報を比較して、その情報の中から類似した画像データを選出指せることで装置の誤操作をなくし、使用者の顔を固定させる不自由さをなくし、更に、装置の小型化を実現し、尚且つ経済性の優れたものとする。

発明を実施するための最良の形態

0009

発明の実施の形態を実施例に基づき説明する。図1に本発明における視線による入力制御装置の概略を示す。1はカメラ、2は制御部、3はモニター、4は表示モニターである。

0010

目の動きと口の形状を認識し文字入力操作する際には、モニター3に配列表示されている行を選択するボタンを見てもらう。図1には行を選択するボタンの配列表示状況を示す。この時の使用者の顔や目の動きをカメラ1で読み取り、読み取った画像を制御部2によって演算処理する。この処理で、使用者が入力しようと見つめている行の文字を選定することができる。

0011

次いで、入力したい文字の母音(a、i、u、e、o)の口の動きをする。その口の形状をカメラ1で読み取り、読み取った画像を制御部2によって演算処理する。このことで使用者は入力したい文字を決定することができる。更に、この動作を続けることで文章を作成することができ、この文章を読み上げることもできる。

0012

モニター3で決定した文字を該モニター3に表示できることは勿論であるが、入力した文字を表示モニター4にも表示させることができるようになっている。

0013

図2には目の動きと口の形状を認識し文字入力操作する時のアルゴリズムの流れを示す。以下、アルゴリズムの流れを具体的に説明する。

0014

予め文字入力装置を使用する人の辞書を作成する。詳細な手順として、予めモニター3の任意の点ごとに使用者に見つめてもらい、その度にカメラ1によって使用者の映像(顔、目の位置、向き、視線方向、口の形状など)を読み込み、制御部2に画像データを辞書(辞書画)として保存する。

0015

次いで、辞書の作成方法読み取り方法を詳しく説明する。モニター3上の任意の点を数秒間、使用者に順次見てもらい、その都度、使用者が任意の点を見た時の映像(顔の位置、向き、視線方向などの情報)をカメラ1によって読み取り、制御部2に認識させて、使用者の画像データを予め辞書として該制御部2に保存する。図3には辞書を作成する際に使用する前記モニター3の任意の点を示したものである。前記カメラ3からの読み取り方法の詳細は、次の通りである。前記モニター3を分割させ、使用者がX方向、Y方向に分けた任意の点(27×17、任意の点の数は変更することが可能となっている)を見た際の映像を読み取る。

0016

文字入力装置を操作する際、使用している人の映像と類似した画像データを、辞書として保存された画像データから選出する。詳細な手順として、使用者がコンピュータ及びその他機器を操作するためにモニター3の例えば、A箇所を見つめた時の映像と該モニター3の任意の点ごとに辞書として保存された情報を比較して、その情報の中からA箇所を見つめた時の使用者の映像と類似した画像データを選出する。画像データを選出するときには、使用者の映像と辞書画を比較する。この特定した画像データから、前記モニター3での文字の行が特定される。

0017

次いで、文字の行が決定すれば、使用者は入力したい文字の母音(a、i、u、e、o)の口の動きをする。その口の形状をカメラ1で読み取り、読み取った映像と辞書画を比較する。この比較によって、使用者は母音の特定をすることができ、入力したい文字を決定することができる。更に、この動作を続けることで文章を作成することができ、この文章を読み上げることもできる。

0018

また、本発明は辞書を作成しなくても、直接カメラによって読み取った使用者の映像(顔の位置、向き、目の方向、口の形状など)から、使用者が操作するためにモニターのどのボタンを見つめているかを判定し、また、どの母音を発声しているかを判定することが可能となっている。

0019

モニター3上の操作は、該モニター3を見つめることで移動の動作、ホールドもしくは瞬きをすることで確定の動作となっている。

0020

モニターは、操作をするためのモニター3の他に、該モニター3で入力した文字を表示することができるモニター4がある。

0021

また、この装置は使用者の顔が動いて眼球の注視位置が検出できない状況から生じる誤操作を防ぐために、カメラ1によって対象物(顔)の追跡ができるようになっている。これは前記カメラ1によって顔等の情報を読み取る過程で、対象物(顔)付近に毎回、使用者の映像を読み取る際に顔や目の判別をする工程を設けたことで、使用者の顔が動いても誤操作しないようにしたものである。

0022

目の動きと口の形状を認識し文字入力する方法と組合せ、使用者が発声する声の周波数スペクトラムから母音を音声認識して文字を判定することも制御部2で処理することができる。

0023

この装置は使用者の顔位置が予め設定されている許容範囲内に位置しているかの良否をモニター上で表示することができるようになっている。具体的には、許容範囲内であれば青の表示、許容範囲外であれば赤の表示で使用者等に知らせることができ、誰でも的確に顔の位置を設定することができる。

0024

更に、この装置に利用している目の動きと口の形状を認識するアルゴリズムをカメラ付携帯電話に活かす。具体的には携帯の文字を入力する時、文字の行は手によってキー入力し、母音は付属のカメラによって口の形状を認識し文字を決定する。このことで携帯電話の手による入力操作が簡略化され、特に高齢者にとっては使用し易い携帯電話となり得る。

0025

以上、本発明であるプログラムされたコンピュータとモニターとカメラによって、目の動きと口の形状を認識し文字入力する装置及び制御するための制御プログラムを記録した記録媒体について述べたが、ハード構成新しくして、介護・看護用のベッドスペースを従来に比較して、有効に活用できることは勿論である。

発明の効果

0026

本発明は上述の方法及び装置とすることで、以下に記載されるような効果を奏する。

0027

使用者の顔をデータとして読み込む際に汎用性のカメラにすることで、目の動きと口の形状認識を利用した文字入力装置の小型化を実現した。更に、従来は高価で購入し難かった前記装置を使用者にとって使用し易く、また、購入のし易い経済性の優れたものとなった。

0028

顔や目の画像データ量(眼球の位置だけではなく顔の位置、向き、目の動き、口の形状などとした)を増やしたことで、正確に誤操作せず制御できる装置となった。このことは、健常者ばかりでなく、ALS患者を含む重度障害者が、目の動きと口の形状認識を利用して障害者用意思伝達装置を容易且つ正確に制御することを意味する。更に、カメラ付携帯電話に本発明の装置のアルゴリズムを応用することで、次世代の携帯電話、特に高齢者にとって扱い易いものになる効果も奏する。

0029

また、従来は顔が動いて眼球の注視位置が検出できない状況であったが、カメラによって対象物(顔等の情報)の追跡をする機能を付加させることで、誤操作をなくすことができる。更に、装置を操作する際、使用者の顔の位置をモニター3で知らせることで、誰でも的確に顔の位置を設定することができる

0030

モニターを入力操作用と表示用に分けることによって、画面を有効に利用することができる効果もある。例えば、入力操作用モニターを文字入力のキーボードとして使い表示用モニターに入力した文字を表示させることができる。

図面の簡単な説明

0031

図1本発明の目の動きと口の形状認識を利用した文字入力装置を示す概略図である。
図2本発明の目の動きと口の形状認識を利用した文字入力装置の入力操作する時のアルゴリズムの流れを示した説明図である。
図3本発明の目の動きと口の形状認識を利用した文字入力装置の辞書を作成する際に使用する画面の任意の点を示した説明図である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ