図面 (/)

技術 文章入力装置、プログラム

出願人 コニカミノルタ株式会社
発明者 前島利行金井一晃野島伸広
出願日 2018年2月13日 (2年4ヶ月経過) 出願番号 2018-023375
公開日 2019年8月22日 (10ヶ月経過) 公開番号 2019-139584
状態 未査定
技術分野 イメージ分析 音声認識 電話機の機能 音声入出力 デジタル計算機のユーザインターフェイス
主要キーワード 口唇周辺 口唇部分 再認識処理 マイク入力音声 発話障害 明度レベル 文章入力装置 テキスト入力モード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

口唇認識率が低下した場合であっても、スムーズに文章の入力を受け付けることのできる文章入力装置、およびそのプログラムを提供する。

解決手段

読唇による発話内容の検出手段と、読唇以外の手段による発話内容の検出手段を備える。通常時は読唇により発話内容を推定させ、口唇の認識率が一定以下に低下した場合は、読唇以外の手段による発話内容の検出に自装置の動作モードを切り替える。読唇以外の手段とは、たとえば、音声入力文字入力などである。

概要

背景

通話等を行う場合に発話内容を入力する方法の一つとして、機械読唇技術による文章入力がある。カメラから口唇周辺部の画像を取得し、口唇画像解析して会話内容推定するものであり、実際に発声を行わなくとも、口唇部の動きのみで文章の入力を行うことができる。この方法によれば、ユーザの周囲がうるさくて音声認識が困難な場合や、発話障害者が通話を行う場合でも容易に発話内容を入力することができる。この読唇技術を用いる文章入力方法については、たとえば、以下のようなものがある。

下記引用文献1には、読唇技術で口唇画像から抽出した発話内容を音声に変換し、通信部で伝える方法が開示されている。この方法では、発話内容がSOSなどの任意の意味を持つ場合、その発話に対応した別の宛先への通信に切り替えている。

引用文献2には、マイク入力音声閾値より大きい場合、すなわち周囲がうるさくて音声による通話が困難な場合に、読唇通話モードを選択させる方法が開示されている。

概要

口唇の認識率が低下した場合であっても、スムーズに文章の入力を受け付けることのできる文章入力装置、およびそのプログラムを提供する。読唇による発話内容の検出手段と、読唇以外の手段による発話内容の検出手段を備える。通常時は読唇により発話内容を推定させ、口唇の認識率が一定以下に低下した場合は、読唇以外の手段による発話内容の検出に自装置の動作モードを切り替える。読唇以外の手段とは、たとえば、音声入力文字入力などである。

目的

本発明は、上記の問題を解決しようとするものであり、口唇の認識率が低下した場合であっても、スムーズに文章の入力を受け付けることのできる文章入力装置、およびそのプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

カメラ部と、前記カメラ部が撮影して得た画像からユーザの口唇を検出する口唇検出部と、前記口唇検出部が検出した口唇の形状から前記ユーザの発話内容推定文章化する読唇部と、前記読唇部と異なる方法で文章の入力を受け付ける第2入力部と、前記口唇検出部による前記口唇の検出が可能か否かを判断する判断部と、前記口唇の検出が不可能であると前記判断部が判断した場合に、前記読唇部が文章化した文章の入力を受ける読唇モードから、前記第2入力部により文章の入力を受ける第2入力モードに自装置の動作モードを切り替える制御部と、を備えることを特徴とする文章入力装置

請求項2

前記口唇周辺明度を取得する取得する明度取得部を更に備え、前記判断部は、前記明度取得部が取得した明度の値が、所定の範囲外である場合は、前記口唇の検出が不可能であると判断することを特徴とする請求項1に記載の文章入力装置。

請求項3

前記明度取得部は、前記カメラ部が撮影して得た画像から前記明度を取得することを特徴とする請求項2に記載の文章入力装置。

請求項4

前記判断部が、前記口唇検出部による前記口唇の検出が不可能になったと判断した場合に、ユーザにその旨を報知する報知部をさらに備えることを特徴とする請求項1乃至3のいずれか一つに記載の文章入力装置。

請求項5

前記口唇検出部は、前記口唇が前記カメラ部の撮影可能範囲から外れたことを検出し、前記口唇が前記カメラ部の撮影可能範囲から外れたことを前記口唇検出部が検出した時に、前記撮影可能範囲内に前記口唇を戻すようユーザに指示する指示部をさらに備えることを特徴とする請求項1乃至4のいずれか一つに記載の文章入力装置。

請求項6

前記指示部は、前記明度取得部が取得した明度の値が所定の範囲外である場合は、前記指示を行わないことを特徴とする請求項2、3または請求項2、3を引用する請求項4のいずれか一つを引用する請求項5に記載の文章入力装置。

請求項7

前記明度取得部が取得した明度の値が一定値未満の場合に、前記口唇を照らす照明部を更に備えることを特徴とする請求項2、3、6または請求項2、3のいずれか一つを引用する請求項4、5のいずれか一つに記載の文章入力装置。

請求項8

ユーザの発話中に前記読唇モードから前記第2入力モードへの切り替えが行われた場合に途切れることなく文章の入力を受け付けることを特徴とする請求項1乃至7のいずれか一つに記載の文章入力装置。

請求項9

操作部と表示部を更に備え、前記制御部は、動作モードを選択するよう前記表示部に表示させるとともに前記操作部で該選択を受け、その選択された動作モードに自装置の動作モードを切り替えることを特徴とする請求項1乃至7のいずれか一つに記載の文章入力装置。

請求項10

前記第2入力部は、文字入力によって文章の入力を受け付けることを特徴とする請求項1乃至9のいずれか一つに記載の文章入力装置。

請求項11

前記第2入力部は、音声認識によって文章の入力を受け付けることを特徴とする請求項1乃至10のいずれか一つに記載の文章入力装置。

請求項12

カメラ部からユーザの口唇の画像を取得可能な情報処理装置を、請求項1乃至11のいずれか一つに記載の文章入力装置として動作させることを特徴とするプログラム

技術分野

0001

本発明は、複数の手法で文章を入力することのできる文章入力装置、およびプログラムに関する。

背景技術

0002

通話等を行う場合に発話内容を入力する方法の一つとして、機械読唇技術による文章入力がある。カメラから口唇周辺部の画像を取得し、口唇画像解析して会話内容推定するものであり、実際に発声を行わなくとも、口唇部の動きのみで文章の入力を行うことができる。この方法によれば、ユーザの周囲がうるさくて音声認識が困難な場合や、発話障害者が通話を行う場合でも容易に発話内容を入力することができる。この読唇技術を用いる文章入力方法については、たとえば、以下のようなものがある。

0003

下記引用文献1には、読唇技術で口唇画像から抽出した発話内容を音声に変換し、通信部で伝える方法が開示されている。この方法では、発話内容がSOSなどの任意の意味を持つ場合、その発話に対応した別の宛先への通信に切り替えている。

0004

引用文献2には、マイク入力音声閾値より大きい場合、すなわち周囲がうるさくて音声による通話が困難な場合に、読唇通話モードを選択させる方法が開示されている。

先行技術

0005

特開2015−115926号公報
特開2015−220684号公報

発明が解決しようとする課題

0006

しかし、機械読唇技術による通話中時間経過等により周辺の明るさが変化した場合、特に夕方など暗くなる場合は、明度不足で画像が暗くなり通話途中に口唇画像の認識ができなくなり、再認識処理を繰り返すか、認識エラーを発生させてしまう。

0007

引用文献1、2では、前述したような口唇の認識率の低下という問題に対応するものではない。

0008

本発明は、上記の問題を解決しようとするものであり、口唇の認識率が低下した場合であっても、スムーズに文章の入力を受け付けることのできる文章入力装置、およびそのプログラムを提供することを目的としている。

課題を解決するための手段

0009

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

0010

[1]カメラ部と、
前記カメラ部が撮影して得た画像からユーザの口唇を検出する口唇検出部と、
前記口唇検出部が検出した口唇の形状から前記ユーザの発話内容を推定し文章化する読唇部と、
前記読唇部と異なる方法で文章の入力を受け付ける第2入力部と、
前記口唇検出部による前記口唇の検出が可能か否かを判断する判断部と、
前記口唇の検出が不可能であると前記判断部が判断した場合に、前記読唇部が文章化した文章の入力を受ける読唇モードから、前記第2入力部により文章の入力を受ける第2入力モードに自装置の動作モードを切り替える制御部と、
を備える
ことを特徴とする文章入力装置。

0011

上記発明では、カメラ部が撮影して得た画像内の口唇の形状を解析することで、読唇による文章の入力を受ける。また、読唇が困難になった場合は、読唇と異なる方法で文章の入力を受けるように自装置の動作モードを切り替える。これにより、入力途中で読唇が困難になった場合でも、スムーズに文章の入力を受け付けることができる。

0012

[2]前記口唇周辺の明度を取得する取得する明度取得部を更に備え、
前記判断部は、前記明度取得部が取得した明度の値が、所定の範囲外である場合は、前記口唇の検出が不可能であると判断する
ことを特徴とする[1]に記載の文章入力装置。

0013

[3]前記明度取得部は、前記カメラ部が撮影して得た画像から前記明度を取得する
ことを特徴とする[2]に記載の文章入力装置。

0014

[4]前記判断部が、前記口唇検出部による前記口唇の検出が不可能になったと判断した場合に、ユーザにその旨を報知する報知部をさらに備える
ことを特徴とする[1]乃至[3]のいずれか一つに記載の文章入力装置。

0015

[5]前記口唇検出部は、前記口唇が前記カメラ部の撮影可能範囲から外れたことを検出し、
前記口唇が前記カメラ部の撮影可能範囲から外れたことを前記口唇検出部が検出した時に、前記撮影可能範囲内に前記口唇を戻すようユーザに指示する指示部をさらに備える
ことを特徴とする[1]乃至[4]のいずれか一つに記載の文章入力装置。

0016

[6]前記指示部は、前記明度取得部が取得した明度の値が所定の範囲外である場合は、前記指示を行わない
ことを特徴とする[2]、[3]、または[2]、[3]を引用する[4]のいずれか一つを引用する[5]に記載の文章入力装置。

0017

[7]前記明度取得部が取得した明度の値が一定値未満の場合に、前記口唇を照らす照明部を更に備える
ことを特徴とする[2]、[3]、[6]または[2]、[3]のいずれか一つを引用する[4]、[5]のいずれか一つに記載の文章入力装置。

0018

[8]ユーザの発話中に前記読唇モードから前記第2入力モードへの切り替えが行われた場合に途切れることなく文章の入力を受け付ける
ことを特徴とする[1]乃至[7]のいずれか一つに記載の文章入力装置。

0019

上記発明では、読唇モードから第2入力モードへの切り替え時に、文章入力の受け付けを中断することなく継続する。

0020

[9]操作部と表示部を更に備え、
前記制御部は、動作モードを選択するよう前記表示部に表示させるとともに前記操作部で該選択を受け、その選択された動作モードに自装置の動作モードを切り替える
ことを特徴とする[1]乃至[7]のいずれか一つに記載の文章入力装置。

0021

[10]前記第2入力部は、文字入力によって文章の入力を受け付ける
ことを特徴とする[1]乃至[9]のいずれか一つに記載の文章入力装置。

0022

[11]前記第2入力部は、音声認識によって文章の入力を受け付ける
ことを特徴とする[1]乃至[10]のいずれか一つに記載の文章入力装置。

0023

上記発明では、文章の入力方法が、読唇から音声認識に切り替わる。ユーザが発話中に該切り替えが行われた場合でも、ユーザがそのまま発話を継続すれば、文章入力も継続される。

0024

[12]カメラ部からユーザの口唇の画像を取得可能な情報処理装置を、[1]乃至[11]のいずれか一つに記載の文章入力装置として動作させる
ことを特徴とするプログラム。

発明の効果

0025

本発明に係る文章入力装置およびプログラムによれば、口唇の認識率の低下等により読唇による文章入力が困難になった場合でも、スムーズに文章入力を継続することができる。

図面の簡単な説明

0026

本発明の実施の形態に係る携帯端末と該携帯端末を使用するユーザを示す図である。
本発明に係る文章入力装置としての携帯端末の概略構成を示すブロック図である。
携帯端末が本発明の文章入力装置として動作する場合の処理の概略を示す流れ図である。
カメラ部が撮影して得られる画像を、4パターンに大別して示す図である。
携帯端末が行う処理の詳細を示す流れ図である。
図5の処理の続きを示す流れ図である。
図6の処理の続きを示す流れ図である。
切り替え処理Aを示す流れ図である。
切り替え処理Bを示す流れ図である。
切り替え処理Cを示す流れ図である。

実施例

0027

以下、図面に基づき本発明の実施の形態を説明する。

0028

図1は、本発明の実施の形態に係る文章入力装置としての機能を果たす携帯端末50とユーザを示す図である。

0029

携帯端末50は、持ち運びが可能な携帯電話スマートフォンなどの端末であり、LAN(Local Area Network)などのネットワークに接続し、他の端末と文章のやり取りを行うことができる。

0030

本発明の実施の形態では、携帯端末50は以下に説明する複数の方法での文章入力が可能となっている。
(方法1、読唇による文章入力)
カメラ部60が発話中のユーザを撮影して得た画像から、ユーザの口唇の形状に基づいて、発話内容を推定し文章化(読唇)する。この方法で文章入力を受ける携帯端末50の動作モードを読唇モードとする。
(方法2、音声入力
後述するマイク62(図2参照)が、収音した音の中からユーザの音声を認識し、文章化する。この方法で文章入力を受ける携帯端末50の動作モードを音声入力モードとする。
(方法3、テキスト入力
後述する操作部56(図2参照)が、ユーザの操作によるテキスト入力を受け付ける。本発明の実施の形態では、表示部57(図2参照)の表示画面にキーボードテンキーなどの操作ボタンを表示し、該操作ボタンに対する操作により文章入力を受けるものとする。この方法で文章入力を受ける携帯端末50の動作モードをテキスト入力モードとする。

0031

携帯端末50は、読唇モードでの文章入力が困難になった場合、すなわち口唇の撮影が困難になった場合に、自装置の動作モード(入力モード)を他のモードに切り替える。たとえば、読唇モードで動作中に時間経過によって周囲が暗くなり、カメラ部60が撮影する画像中の口唇の検出が困難になった場合に、文字入力モードなどの他の入力モードに切り替える。このように、読唇モードで文章入力の最中に、読唇による文章入力が困難になった場合であっても、ユーザはスムーズに文章入力を継続することができる。

0032

図2は、携帯端末50の概略構成を示すブロック図である。携帯端末50は、当該携帯端末50の動作を統括的に制御するCPU(Central Processing Unit)51を有する。CPU51にはバスを通じてROM(Read Only Memory)52、RAM(Random Access Memory)53、不揮発メモリ54、ハードディスク装置55、操作部56、表示部57、ネットワーク通信部58、カメラ部60、マイク62が接続されている。

0033

CPU51は、OS(Operating System)プログラムをベースとし、その上で、ミドルウェアアプリケーションプログラムなどを実行する。ROM52およびハードディスク装置55には、各種のプログラムが格納されており、これらのプログラムに従ってCPU51が各種処理を実行することで携帯端末50の各機能が実現される。

0034

RAM53は、CPU51がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

0035

不揮発メモリ54は、電源オフにしても記憶内容破壊されないメモリフラッシュメモリ)であり、各種設定情報の保存などに使用される。ハードディスク装置55は、大容量不揮発記憶装置であり、画像データなどのほか各種のプログラムやデータが記憶される。

0036

操作部56は、スタートボタンなどのスイッチ部とタッチパネル部とを備えている。表示部57は、液晶ディスプレイ(LCD…Liquid Crystal Display)などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。表示部57が表示する表示内容の制御、操作部56による操作の受け付けに関する制御はCPU51が行う。前述したタッチパネル部は、表示部57上に設けられている。タッチパネル部は、タッチペンや指などで押下された表示部上のタッチ位置(座標位置)や、フリック操作ドラッグ操作等を検出する。また、CPU51は、継続的に検出されるタッチ位置の変化(操作情報)から、ユーザによる手書き入力等も認識可能とする。

0037

ネットワーク通信部58は、ネットワークを通じて他の外部装置と通信する機能を果たす。

0038

カメラ部60は、表示部57のディスプレイの上部に設けられており、該ディスプレイを視認中のユーザの顔を撮影する。また、本発明の実施の形態のカメラ部60はライト61を備えており、カメラ部60の撮影可能範囲を照射する。

0039

マイク62は、ユーザが発声した内容を収音する役割を果たす。本発明の実施の形態では、収音した内容をCPU51が文章化する。

0040

さらに、本発明の実施の形態では、CPU51は、カメラ部60が撮影して得た画像からユーザの口唇を検出する口唇検出部70と、該口唇検出部70が検出した口唇の形状から、ユーザの発話内容を推定し文章化する読唇部71と、カメラ部60が撮影して得た画像からユーザの口唇周辺の明度を取得する明度取得部72と、口唇検出部70による口唇の検出が可能か否かを判断する判断部73としての役割を果たす。

0041

図3は、本発明の文章入力装置として携帯端末50が行う動作の概略フローを示す。まず、自端末の動作モードを読唇入力モードの状態で処理を開始する。カメラ部60が撮影して得た画像から、口唇を検出可能か否かを調べる(ステップS101)。口唇を検出可能であれば(ステップS101;Yes)、本処理を終了する。

0042

口唇を検出不可能である場合(ステップS101;No)、画像の明度が所定の範囲内に収まっているか否かを調べる(ステップS102)。所定の範囲は、明るすぎず、暗すぎない、口唇の検出が確実に可能な範囲とする。

0043

明度が所定の範囲内であれば(ステップS102;Yes)、口唇の検出が不可である警告と(ステップS103)、カメラ部60の撮影可能範囲内に口唇が収まるよう自端末の方向を修正する指示を(ステップS104)表示部57に表示し、ステップS101に戻って本処理を継続する。

0044

明度が所定の範囲外であれば(ステップS102;No)、音声入力モードやテキスト入力モードに自端末の動作モードを切り替えて(ステップS105)、本処理を終了する。

0045

図3の処理では、カメラ部60が撮影した画像から口唇が外れた場合に、明度レベル所定範囲内であれば、口唇の検出が不可能である旨を警告し、撮影範囲に口唇が収まるよう自端末の方向の修正指示を出すが、明度レベルが所定範囲外であれば、前述の警告および指示は行わず、音声入力モードもしくはテキスト入力モードに切り替えるようにしている。

0046

なお、図3は、携帯端末50の動作の概略フローであり、音声入力モードとテキスト入力モードのいずれに切り替えるかを決定する処理を含めた全体の処理フローについては後述する。

0047

図4は、カメラ部60がユーザを撮影した場合に得られる画像を、4種類(A〜D)に大別して示す。
(A)の画像は、ユーザの顔全体が写っている。明度は所定の範囲内に収まっている。
(B)の画像は、ユーザの顔の半分が撮影範囲からはみ出している(口唇の検出は不可能)。明度は所定の範囲内に収まっている。
(C)の画像は、ユーザの顔全体が写っている。明るすぎて口唇部分逆光の状態となっている(明度が所定の範囲外)。
(D)の画像は、ユーザの顔全体が写っている。暗すぎて画像全体が暗くなっている(明度が所定の範囲外)。

0048

携帯端末50は、カメラ部60が取得した画像が(A)〜(D)のいずれの状態であるかを判断し、その判断結果に対応した動作を行う。

0049

たとえば、(A)の場合は、読唇が可能なので読唇モードで動作する。(B)の場合は、カメラ部60の撮影可能範囲にユーザの口唇が収まるように、自端末の方向を修正する指示を表示する。

0050

(C)や(D)の場合は、音声入力モード、もしくはテキスト入力モードへの切り替えを行う。このように各状態に対応するよう自装置の動作モードを切り替えることで、ユーザが快適に文章入力を続けられるようにする。なお、(D)の場合は、ライト61により、ユーザの口唇周辺を照らして読唇を試みるようにしてもよい。

0051

本発明の実施の形態にて、携帯端末50がユーザに警告、報知、指示等を行う場合は、表示部57に表示する方法を採用するものとするが、他の方法で警告、報知、指示等を行ってもよい。たとえば、音声によって警告、報知、指示等を行うようにしてもよい。

0052

図5図7は、携帯端末50が実際に動作する場合に行う処理のフローを示す。まず、図5のステップS201にて、携帯端末50は自装置の入力モードが音声入力モードであるか否かを調べる。

0053

音声入力モードでない場合は(ステップS201;No)、図6のステップS205に進む。音声入力モードである場合は(ステップS201;Yes)、ユーザの周囲(外部)の音量レベルを調べる。ここでは、2つの所定値(第1所定値<第2所定値)を使用して、外部の音量レベルが音声入力モードに適した値か否かを判断する。

0054

ユーザの周囲が静かな場合、すなわち外部音量レベルが第1の所定値未満である場合は(ステップS202;Yes)、入力モード切替処理Aを行い(ステップS204)、図6のステップS205に進む。

0055

外部音量レベルが第1所定値以上であってかつ第2所定値未満である場合は(ステップS202;No、ステップS203;No)、図6のステップS205に進む。

0056

ユーザの周囲がうるさい場合、すなわち外部音量レベルが第2所定値以上である場合は(ステップS202;No、ステップS203;Yes)、入力モード切替処理Aを行い(ステップS204)、図6のステップS205に進む。

0057

図6のステップS205では、自端末の入力モードが読唇モードであるか否かを調べる。読唇モードでない場合は(ステップS205;No)、図7のステップS210に進む。読唇モードである場合は(ステップS205;Yes)、カメラ部60が撮影して得た画像の明度を調べる(ステップS206)。

0058

明度レベルが所定の範囲外の場合は(ステップS206;Yes)、入力モード切替処理Bを行い(ステップS209)、図7のステップS210に進む。明度レベルが所定の範囲内である場合は(ステップS206;No)、画像から口唇が検出されているかを調べる(ステップS207)。

0059

口唇が検出されていれば(ステップS207;Yes)、図7のステップS210に進む。口唇が検出されていなければ(ステップS207;No)、口唇の検出ができていないと表示部57で警告表示を行い(ステップS208)、図7のステップS210に進む。

0060

図7のステップS210では、自端末の入力モードがテキスト入力モード(図中では文字入力と記す)であるか否かを調べる(ステップS210)。テキスト入力モードでない場合は(ステップS210;No)、ステップS215に進む。テキスト入力モードである場合は(ステップS210;Yes)、カメラ部60が撮影して得た画像の明度を調べる(ステップS211)。

0061

明度レベルが所定の範囲外の場合は(ステップS211;Yes)、入力モード切替処理Cを行い(ステップS214)、ステップS215に進む。明度レベルが所定の範囲内である場合は(ステップS211;No)、画像から口唇が検出されているかを調べる(ステップS212)。

0062

口唇が検出されていれば(ステップS212;Yes)、入力モードを読唇モードに変更して(ステップS213)ステップS215に進む。口唇が検出されていなければ(ステップS212;No)、ステップS215に進む。

0063

ステップS215では、口唇が検出されているか否かを調べる。口唇が検出されていなければ(ステップS215;No)、本処理を終了する。口唇が検出されている場合は(ステップS215;Yes)、入力モードを変更することを報知し(ステップS216)、入力モードの初期設定を読唇モードに設定し(ステップS217)、本処理を終了する。

0064

図8は、入力モード切替処理Aにおける処理のフローを示す。まず、入力モードを変更することを報知したら(ステップS301)、カメラ部60が撮影した画像から口唇を検出しているか否かを調べる(ステップS302)。

0065

口唇を検出している場合は(ステップS302;Yes)、入力モードを読唇モードに変更し(ステップS307)、本処理を終了する。

0066

口唇を検出していない場合は(ステップS302;No)、明度レベルを調べる(ステップS303)。明度レベルが所定の範囲内であれば(ステップS303;No)、ステップS306に進む。

0067

明度レベルが所定の範囲外であれば(ステップS303;Yes)、タッチパネルへのユーザの操作を検出したか否かを調べる(ステップS304)。タッチパネルへのユーザの操作を検出した場合は(ステップS304;Yes)、入力モードをテキスト入力モードに変更して(ステップS305)、本処理を終了する。

0068

タッチパネルへのユーザの操作を検出しなければ(ステップS304;No)、本処理の開始から一定時間が経過するまでは(ステップS306;No)、ステップS302に戻って処理を継続する。本処理の開始から一定時間が経過していれば(ステップS306;Yes)、本処理を終了する。

0069

図8では、読唇が不可能であり、タッチパネルへの操作が無い場合は音声入力モードを維持、読唇が不可能であり、タッチパネルへの操作があればテキスト入力モードに変更、読唇が可能であれば読唇モードに変更している。

0070

図9は、入力モード切替処理Bにおける処理のフローを示す。まず、入力モードを変更することを報知したら(ステップS401)、ユーザの周囲(外部)の音量レベルを調べる。ここでは、図5と同じく2つの所定値(第1所定値<第2所定値)を使用して、外部の音量レベルが音声入力モードに適した値か否かを判断する。

0071

ユーザの周囲が静かな場合、すなわち外部音量レベルが第1の所定値未満である場合は(ステップS402;Yes)、入力モードをテキスト入力モードに変更して(ステップS405)本処理を終了する。ユーザの周囲がうるさい場合、すなわち外部音量レベルが第2の所定値以上である場合も(ステップS402;No、ステップS403;Yes)入力モードをテキスト入力モードに変更して(ステップS405)本処理を終了する。

0072

そして、外部音量レベルが第1の所定値以上であってかつ第2の所定値未満である場合は(ステップS402;No、ステップS403;No)、入力モードを音声入力モードに変更して(ステップS404)本処理を終了する。

0073

図10は、入力モード切替処理Cにおける処理のフローを示す。ユーザの周囲(外部)の音量レベルを調べる。ここでは、図5と同じく2つの所定値(第1所定値<第2所定値)を使用して、外部の音量レベルが音声入力モードに適した値か否かを判断する。

0074

ユーザの周囲が静かな場合、すなわち外部音量レベルが第1の所定値未満である場合は(ステップS501;Yes)、入力モードを変更することを報知し(ステップS504)、入力モードをテキスト入力モードに変更して(ステップS505)本処理を終了する。

0075

ユーザの周囲がうるさい場合、すなわち外部音量レベルが第2の所定値以上である場合も(ステップS501;No、ステップS502;Yes)入力モードを変更することを報知し(ステップS504)、入力モードをテキスト入力モードに変更して(ステップS505)本処理を終了する。

0076

外部音量レベルが第1の所定値以上であってかつ第2の所定値未満である場合は(ステップS501;No、ステップS502;No)、入力モードを音声入力モードに変更して(ステップS503)本処理を終了する。

0077

図9図10では、読唇が不可能な場合に、周囲の音声レベルが一定の範囲内に収まっていれば音声入力モードに、収まっていなければテキスト入力モードに変更している。

0078

このように携帯端末50では、読唇モードによる文字入力が不可能になった場合に、周囲の音量レベルによって音声入力モードかテキスト入力モードのいずれかに、自端末の動作(入力)モードを切り替える。

0079

たとえば、入力モードの切り替え時に一時的に文章入力受付を中断するような仕様の装置の場合、該中断によって発話内容の入力が無効となった場合はその内容の再入力が必要となる。読唇モードから音声入力モードへの切り替えが自動的に行われる場合は、途切れることなく文章入力を受け付けることができるので、そのような手間を省くことができる。

0080

本発明の実施の形態では、入力モードの切り替えを自動で行うものとしていたが、読唇での文章入力が困難になった場合に入力モードの選択画面を表示部57に表示して入力モードの選択を受け、その受け付けた入力モードに切り替えるようにしてもよい。

0081

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

0082

本発明の実施の形態では、携帯端末50が本発明の文章入力装置としての役割を果たしたが、文章入力装置はこれに限らない。たとえば、カメラ部60や明度取得部72等を別体に設けたシステムなどを本発明の文章入力装置としてもよい。また、カメラ部60から画像を取得可能な情報処理装置を、実施の形態での携帯端末50のように動作させるプログラムも本発明とする。

0083

本発明の実施の形態では、読唇以外の第2の文章入力方法として、音声認識による入力方法と、テキスト入力による入力方法が挙げられていたが、第2の文章入力方法はこれに限らない。たとえば、手書き入力や、視線検出外部機器による入力などであってもよい。

0084

本発明の実施の形態では、カメラ部60が撮影して得た画像を解析して明度を取得していたが、明度の取得手段はこれに限らない。センサ等を設けて検出するようにしてもよい。

0085

本発明の実施の形態では、明度が所定範囲内で、画像から口唇が検出できない(口唇が撮影範囲から外れた)場合に、自端末の方向を修正するようユーザに指示していたが、口唇を撮影範囲内に戻すよう指示してもよい。

0086

50…携帯端末
51…CPU
52…ROM
53…RAM
54…不揮発メモリ
55…ハードディスク装置
56…操作部
57…表示部
58…ネットワーク通信部
60…カメラ部
61…ライト
62…マイク
70…口唇検出部
71…読唇部
72…明度取得部
73…判断部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ