図面 (/)

技術 携帯電話装置及び遠隔制御方法

出願人 埼玉日本電気株式会社
発明者 茂木孝之
出願日 2003年2月14日 (17年4ヶ月経過) 出願番号 2003-036084
公開日 2004年9月2日 (15年10ヶ月経過) 公開番号 2004-246095
状態 拒絶査定
技術分野 画像処理 音声認識 電話機の回路等 選択的呼出装置(遠隔制御・遠隔測定用) 移動無線通信システム 電話機の機能 イメージ分析
主要キーワード 遠隔制御モード 赤外線センサ装置 遠隔操作制御 入力音声パターン 上端点 遠隔制御対象 下端点 制御コードデータ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2004年9月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

従来は、音声入力時周り雑音騒音等により入力音声を正しく認識できないことがあり、被制御機器の制御のための音声入力が再度必要になる。

解決手段

登録モード時に、制御部17はカメラ部14からの画像信号に基づいて、ユーザー動きの第1のデータを生成すると共に、マイク12に入力された制御内容を示す音声信号に基づいて、第1の音声パターン解析し、それらを操作部11により入力された制御内容を示すデータに関連付けて記憶部18に記憶する。その後、制御モード時に、制御部17はマイク12から入力された音声を解析して得た第2の音声パターンを、記憶部18の第1の音声パターンから検索する音声認識解析が失敗した場合、カメラ部14からの画像信号に基づくユーザーの唇の動きの第2のデータに合致するものを記憶部18の第1のデータの中から認識して、関連付けた制御内容を取り出す。

概要

背景

従来より、音声制御により電子機器遠隔制御するリモコン装置が知られている(例えば、特許文献1参照)。この特許文献1記載のリモコン装置は、遠隔制御対象および制御内容からなる音声音声信号に変換する変換部と、音声信号を無線送信する送信部とを有するリモコン端末と、音声信号を受信して音声認識を行う音声認識部と、音声認識された音声データに基づいて、複数の遠隔制御対象の中から当該遠隔制御対象を識別した後、当該遠隔制御対象に対する制御内容を示す制御コードデータを当該遠隔制御対象へ出力する制御部とを有する装置本体からなる構成である。このリモコン装置によれば、音声入力により所望の遠隔制御対象を遠隔制御できる。

概要

従来は、音声入力時周り雑音騒音等により入力音声を正しく認識できないことがあり、被制御機器の制御のための音声入力が再度必要になる。登録モード時に、制御部17はカメラ部14からの画像信号に基づいて、ユーザー動きの第1のデータを生成すると共に、マイク12に入力された制御内容を示す音声信号に基づいて、第1の音声パターン解析し、それらを操作部11により入力された制御内容を示すデータに関連付けて記憶部18に記憶する。その後、制御モード時に、制御部17はマイク12から入力された音声を解析して得た第2の音声パターンを、記憶部18の第1の音声パターンから検索する音声認識解析が失敗した場合、カメラ部14からの画像信号に基づくユーザーの唇の動きの第2のデータに合致するものを記憶部18の第1のデータの中から認識して、関連付けた制御内容を取り出す。

目的

本発明は以上の点に鑑みなされたもので、音声信号と唇の動きのデータの2種類の情報を用いることにより、入力制御内容の認識率を向上し、もって正確に所望の遠隔操作を行い得る携帯電話装置及び遠隔制御方法を提供する

効果

実績

技術文献被引用数
3件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザー音声音声信号に変換する音声入力手段と、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得する撮影手段と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部と、登録モード時に、前記撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第1の変化データを生成すると共に、前記音声入力手段に入力された制御内容を示す音声信号に基づいて、第1の音声パターンを解析する第1の解析手段と、前記第1の解析手段からの前記第1の変化データと前記第1の音声パターンとを、前記操作部により入力された前記制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する記憶手段と、制御モード時に、前記撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第2の変化データを生成すると共に、前記音声入力手段に入力された制御内容を示す音声信号に基づいて、第2の音声パターンを解析する第2の解析手段と、前記記憶部からの前記第1の音声パターンの中で前記第2の解析手段により解析された前記第2の音声パターンに合致するものがあるかどうかの音声認識解析を行う音声認識解析手段と、前記音声認識解析手段による音声認識解析が失敗した場合に、前記記憶部からの前記第1の変化データの中から前記第2の解析手段により解析された前記第2の変化データと合致するものを識別する変化データ識別手段と、前記音声認識解析手段による音声認識解析が成功したときの前記第1の音声パターン、又は前記変化データ識別手段により識別された前記第1の変化データと関連付けて前記記憶部に記憶されている前記制御内容を示すデータを取り出して前記信号送信部に設定し、該信号送信部から該制御内容を示すデータに対応した遠隔制御信号を送信させる設定手段とを有することを特徴とする携帯電話装置

請求項2

前記登録モードと前記制御モードの選択メニュー表示を行う表示部を有し、前記操作部の操作によりメニュー表示された該登録モードと該制御モードの一方を選択することを特徴とする請求項1記載の携帯電話装置。

請求項3

前記撮影手段として、所望の被写体撮影のために設けられたカメラ部を利用することを特徴とする請求項1記載の携帯電話装置。

請求項4

前記第1及び第2の解析手段は、前記第1及び第2の変化データとして、所定時間毎のユーザーのの形状の変化を示す唇の動きのデータを生成することを特徴とする請求項1乃至3のうちいずれか一項記載の携帯電話装置。

請求項5

前記第1及び第2の解析手段は、前記第1及び第2の変化データとして、所定時間毎のユーザーのの変化を示す頬の動きのデータを生成することを特徴とする請求項1乃至3のうちいずれか一項記載の携帯電話装置。

請求項6

前記第1及び第2の解析手段は、前記第1及び第2の変化データとして、所定時間毎のユーザーの顔と背景の画像割合の変化に基づく光量変化を示すデータを生成することを特徴とする請求項1乃至3のうちいずれか一項記載の携帯電話装置。

請求項7

ユーザーの音声を音声信号に変換するマイクと、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得するカメラ部と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部とを備えた携帯電話装置を用いた遠隔制御方法であって、登録モード時に、前記カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第1の変化データを生成すると共に、前記マイクに入力された制御内容を示す音声信号に基づいて、第1の音声パターンを解析する第1のステップと、前記第1の変化データと前記第1の音声パターンとを、前記操作部により入力された前記制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する第2のステップと、制御モード時に、前記カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第2の変化データを生成すると共に、前記マイクに入力された制御内容を示す音声信号に基づいて、第2の音声パターンを解析する第3のステップと、前記記憶部からの前記第1の音声パターンの中で前記第3のステップで解析された前記第2の音声パターンに合致するものがあるかどうかの音声認識解析を行う第4のステップと、前記第4のステップによる音声認識解析が失敗した場合に、前記記憶部からの前記第1の変化データの中から前記第3のステップで解析された前記第2の変化データと合致するものを識別する第5のステップと、前記第4のステップによる音声認識解析が成功したときの前記第1の音声パターン、又は前記第5のステップにより識別された前記第1の変化データと関連付けて前記記憶部に記憶されている前記制御内容を示すデータを取り出して前記信号送信部に設定する第6のステップと、前記信号送信部から前記制御内容を示すデータに対応した遠隔制御信号を、前記操作部の操作により任意のタイミングで送信させる第7のステップとを含むことを特徴とする遠隔制御方法。

請求項8

前記第1及び第3のステップは、前記第1及び第2の変化データとして、所定時間毎のユーザーの唇の形状の変化を示す唇の動きのデータを生成することを特徴とする請求項7記載の遠隔制御方法。

技術分野

0001

本発明は携帯電話装置及び遠隔制御方法係り、特に音声制御により電子機器遠隔制御するリモコン機能を備えた携帯電話装置及び遠隔制御方法に関する。

0002

従来より、音声制御により電子機器を遠隔制御するリモコン装置が知られている(例えば、特許文献1参照)。この特許文献1記載のリモコン装置は、遠隔制御対象および制御内容からなる音声音声信号に変換する変換部と、音声信号を無線送信する送信部とを有するリモコン端末と、音声信号を受信して音声認識を行う音声認識部と、音声認識された音声データに基づいて、複数の遠隔制御対象の中から当該遠隔制御対象を識別した後、当該遠隔制御対象に対する制御内容を示す制御コードデータを当該遠隔制御対象へ出力する制御部とを有する装置本体からなる構成である。このリモコン装置によれば、音声入力により所望の遠隔制御対象を遠隔制御できる。

0003

一方、携帯電話機を用いて被制御機器を遠隔制御できるリモコンシステムも知られている(例えば、特許文献2参照)。この特許文献2記載のリモコンシステムによれば、携帯電話機からの信号(操作部のテンキーの押下による信号)を受信し、受信した信号に従って被制御機器を遠隔制御するための遠隔制御信号を制御手段が送信する構成である。

0004

従って、上記の特許文献1及び2各記載の発明を組合せ、特許文献1記載のリモコン装置のリモコン端末として携帯電話機を用い、携帯電話機から送信して装置本体で受信された音声信号に従って、装置本体で遠隔制御信号を生成して被制御機器に送信する構成の、音声制御の携帯電話装置が考えられる。

0005

図5はこの音声制御の携帯電話装置の一例のブロック図を示す。この音声制御の携帯電話装置は、携帯電話機20と、リモコン装置本体21とよりなり、リモコン装置本体21内には音声認識制御部22、操作部23、表示部24、記憶部25及び信号送信部26が設けられており、被制御機器30を遠隔制御する。

0006

この従来の携帯電話装置の動作について、図6フローチャートを参照して説明する。この携帯電話装置では、登録モードと制御モードとがあり、まず登録モードで音声パターンと制御内容を対応付けて保存する。すなわち、登録モードでは、図6(a)に示すように、登録モードで制御内容を示す音声を携帯電話機20から送信して音声認識制御部22に受信入力し(ステップS1)、ここで入力音声信号音声解析を行う(ステップS2)。

0007

続いて、ユーザーが操作部23から制御内容を入力する(ステップS3)。これにより、音声認識制御部22は上記の音声解析をした音声データのパターンと、操作部23から入力された制御内容を示すデータとを対応付けて記憶部25に記憶する(ステップS4)。

0008

その後に、音声入力による被制御機器の遠隔制御モードが行われる。この場合、図6(b)に示すように、まず、制御モードで音声入力が携帯電話機20により行われ(ステップS11)、その音声信号が携帯電話機20から音声認識制御部22にて受信され、ここで入力音声パターン解析が行われる(ステップS12)。音声認識制御部22はこの音声パターンの解析が失敗したかどうか判定し(ステップS13)、解析に失敗した場合は処理を終了する。

0009

一方、解析に成功した場合は、音声認識制御部22は記憶部25から音声パターンに対応した制御内容のデータを取り出し(ステップS14)、信号送信部26に制御内容のデータに対応した遠隔制御信号を設定する(ステップS15)。その後、ユーザーが操作部23を操作して、遠隔制御信号を信号送信部26から送信させる(ステップS16)。これにより、所望の被制御機器30が音声入力された制御内容で制御される。このように、上記の従来の携帯電話装置20では、音声パターンと遠隔操作制御信号を関連付けることにより、音声で被制御機器30を遠隔制御することができる。

0010

一方、マナー守りつつ電話によるコミュニケーションをとるために、人の口唇の形状に対応する音声データを格納手段に予め格納しておき、人の口唇の形状の画像を解析してその画像に対応する音声データを上記の格納手段から抽出し、抽出した音声データを送信する構成の携帯電話装置も、従来より知られている(例えば、特許文献3参照)。この特許文献3記載の従来の携帯電話装置によれば、使用者発音しなくても、送信しようとする音声の内容に合わせて口唇を動かすことにより、送信しようとする音声の内容に応じた音声データを、相手端末に送信することができる。

背景技術

0011

【特許文献1】
特開平11−345024号公報
【特許文献2】
特開平11−284757号公報
【特許文献3】
特開2000−68882号公報

0012

しかるに、従来の音声制御の携帯電話装置では、音声入力によって遠隔操作する制御内容を判断しているため、音声入力時周り雑音騒音等により入力音声を正しく認識できないことがあり、その場合には被制御機器に対して音声入力で意図した遠隔操作とは異なる遠隔操作を行ってしまったり、被制御機器の制御のための音声入力が再度必要になる。

0013

また、特許文献3記載の従来の携帯電話装置では、人の口唇の動きに応じた音声データを送信するようにしているだけであり、人の口唇の動きに応じて所望の被制御機器に対して所望の遠隔操作をすることはできない。また、仮に、上記の音声制御の携帯電話装置に特許文献3記載の技術を適用した場合は、人の口唇の動きだけで所望の被制御機器の遠隔操作を行うこととなるため、何らかの原因で口唇の動きの画像の解析に失敗した場合は、所望の遠隔操作ができない。

発明が解決しようとする課題

0014

本発明は以上の点に鑑みなされたもので、音声信号との動きのデータの2種類の情報を用いることにより、入力制御内容の認識率を向上し、もって正確に所望の遠隔操作を行い得る携帯電話装置及び遠隔制御方法を提供することを目的とする。

0015

上記の目的を達成するため、第1の発明の携帯電話装置は、ユーザーの音声を音声信号に変換する音声入力手段と、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得する撮影手段と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部と、登録モード時に、撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第1の変化データを生成すると共に、音声入力手段に入力された制御内容を示す音声信号に基づいて、第1の音声パターンを解析する第1の解析手段と、第1の解析手段からの第1の変化データと第1の音声パターンとを、操作部により入力された制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する記憶手段と、制御モード時に、撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第2の変化データを生成すると共に、音声入力手段に入力された制御内容を示す音声信号に基づいて、第2の音声パターンを解析する第2の解析手段と、記憶部からの第1の音声パターンの中で第2の解析手段により解析された第2の音声パターンに合致するものがあるかどうかの音声認識解析を行う音声認識解析手段と、音声認識解析手段による音声認識解析が失敗した場合に、記憶部からの第1の変化データの中から第2の解析手段により解析された第2の変化データと合致するものを識別する変化データ識別手段と、音声認識解析手段による音声認識解析が成功したときの第1の音声パターン、又は変化データ識別手段により識別された第1の変化データと関連付けて記憶部に記憶されている制御内容を示すデータを取り出して信号送信部に設定し、信号送信部から制御内容を示すデータに対応した遠隔制御信号を送信させる設定手段とを有する構成としたものである。

0016

この発明では、登録モード時に制御内容に対応付けて、当該制御内容を示す第1の音声パターンと、当該制御内容の音声入力時のユーザーを撮影して得た画像の変化を示す第1の変化データとを記憶部に記憶しておき、制御モード時に、音声入力して得た第2の音声パターンが記憶部に記憶されている第1の音声パターンの中に合致するものがあることを識別できなかったとき(音声認識解析が失敗したとき)には、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第2の変化データが記憶部に記憶されている第1の変化データの中から合致するものを識別し、合致した第1の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定するようにしたため、音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させることができる。

0017

また、上記の目的を達成するため、第2の発明の携帯電話装置は、登録モードと制御モードの選択メニュー表示を行う表示部を有し、操作部の操作によりメニュー表示された登録モードと制御モードの一方を選択することを特徴とする。

0018

また、上記の目的を達成するため、第3の発明の携帯電話装置は、撮影手段として、所望の被写体撮影のために設けられたカメラ部を利用することを特徴とする。この発明では、携帯電話装置に元々備わっていたカメラ部を利用するようにしたため、第1及び第2の変化データを取得するための撮影手段を新たな設置を不要にできる。

0019

ここで、上記の各発明における第1及び第2の解析手段は、第1及び第2の変化データとして、所定時間毎のユーザーの唇の形状の変化を示す唇の動きのデータを生成するか、所定時間毎のユーザーのの変化を示す頬の動きのデータを生成するか、あるいは、所定時間毎のユーザーの顔と背景の画像割合の変化に基づく光量変化を示すデータを生成することを特徴とする。

0020

また、上記の目的を達成するため、本発明の遠隔制御方法は、ユーザーの音声を音声信号に変換するマイクと、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得するカメラ部と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部とを備えた携帯電話装置を用いた遠隔制御方法であって、登録モード時に、カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第1の変化データを生成すると共に、マイクに入力された制御内容を示す音声信号に基づいて、第1の音声パターンを解析する第1のステップと、第1の変化データと第1の音声パターンとを、操作部により入力された制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する第2のステップと、制御モード時に、カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第2の変化データを生成すると共に、マイクに入力された制御内容を示す音声信号に基づいて、第2の音声パターンを解析する第3のステップと、記憶部からの第1の音声パターンの中で第3のステップで解析された第2の音声パターンに合致するものがあるかどうかの音声認識解析を行う第4のステップと、第4のステップによる音声認識解析が失敗した場合に、記憶部からの第1の変化データの中から第3のステップで解析された第2の変化データと合致するものを識別する第5のステップと、第4のステップによる音声認識解析が成功したときの第1の音声パターン、又は第5のステップにより識別された第1の変化データと関連付けて記憶部に記憶されている制御内容を示すデータを取り出して信号送信部に設定する第6のステップと、信号送信部から制御内容を示すデータに対応した遠隔制御信号を、操作部の操作により任意のタイミングで送信させる第7のステップとを含むことを特徴とする。

課題を解決するための手段

0021

この発明では、登録モード時に制御内容に対応付けて、当該制御内容を示す第1の音声パターンと、当該制御内容の音声入力時のユーザーを撮影して得た画像の変化を示す第1の変化データとを記憶部に記憶しておき、制御モード時に、音声入力して得た第2の音声パターンが記憶部に記憶されている第1の音声パターンの中に合致するものがあることを識別できなかったとき(音声認識解析が失敗したとき)には、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第2の変化データが記憶部に記憶されている第1の変化データの中から合致するものを識別し、合致した第1の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定するようにしたため、音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させることができる。

0022

次に、本発明の一実施の形態について図面と共に説明する。図1は本発明になる携帯電話装置の一実施の形態のブロック図、図2は本発明になる携帯電話装置の一実施の形態の外観正面図を示す。両図において、携帯電話装置10は、筐体表面に、各種のキーからなりユーザー操作受け付けるための操作部11と、音声を収音するマイク12と、例えば液晶表示素子(LCD)で構成され、文字や画像を表示する表示部13と、所望の被写体を撮像するカメラ部14とが設けられており、筐体の例えば上部にはアンテナ15が設けられている。

0023

また、携帯電話装置10の筐体の内部には、アンテナ15に接続された無線部16と、操作部11からの入力等に基づき、装置全体を統括的に制御する制御部17と、各種のデータを記憶し、記憶データが読み出される記憶部18とが設けられている。更に、遠隔操作制御信号を被制御機器30へ送信する信号送信部19は、図2に示した携帯電話装置10の筐体の裏側、又はアンテナ15側の上端部に設けられている。なお、図1及び図2には図示を省略したが、携帯電話装置10は従来と同様に、受話音声を発音するスピーカレシーバ)や、電源電圧を出力するバッテリ等も備えている。

0024

上記の操作部11、マイク12、表示部13及びカメラ部14は、携帯電話装置10に従来から元々搭載されているものである。無線部16は他の無線機器、もしくはネットワークとの通信を行う際に使用される回路部で、携帯電話装置に本来備えられている回路部である。

0025

制御部17は、カメラ部14は、マイク12への音声入力時に、カメラ部14により撮影されたユーザーの唇の画像信号を入力として受け、その画像信号から唇の形状の変化を解析してその解析データを出力する機能を有する。また、記憶部18は携帯電話装置10の動作上必要なデータが格納、保存される部分であり、遠隔制御信号も保存される。信号送信部19は、被制御機器30に信号を送信する際に使用される。被制御機器30は遠隔操作制御信号により遠隔制御される機器を示す。

0026

次に、本実施の形態の遠隔操作制御のための動作について、図1乃至図4と共に説明する。ここで、図3は本実施の形態の動作説明用フローチャート、図4は唇の動きの解析動作を説明するための図である。まず、操作部11を操作して、遠隔操作制御するための音声入力モードメニューを表示部13に表示させる。本実施の形態では、上記のメニュー表示される音声入力モードには、登録モードと制御モードの2種類がある。

0027

上記の登録モードとは、入力された音声データと取得した唇の動きのデータを、制御内容と関連付けて記憶部18に格納するためのモードである。他方、上記の制御モードとは、入力された音声データと取得した唇の動きのデータに基づいて、記憶部18から、関連付けられて保存されている制御内容を信号送信部19にセットして被制御機器30を制御するためのモードである。

0028

通常は、最初に登録モードが実行された後は、任意の遠隔制御時に制御モードが実行される。勿論、登録モードを必要に応じて任意のタイミングで実行することも可能である。メニュー表示された音声入力モードから登録モードが選択されると、図3(a)のフローチャートに示す動作が行われる。すなわち、登録モードの音声入力受け付け状態となり(ステップS21)、マイク12に入力された被制御機器30の遠隔制御に用いる音声が音声信号に変換されて制御部17に入力されると共に(ステップS22)、カメラ部14で撮影されたユーザーの唇の画像信号が制御部17に入力される(ステップS23)。

0029

制御部17は、入力された音声信号の音声パターンを解析し、その解析内容を表示部13に表示すると共に、入力された画像信号に基づき唇の動きを解析する(ステップS24)。この唇の動きの解析方法について更に詳細に説明する。カメラ部14に撮影された画像信号を入力として受けた制御部17は、画像信号に基づき唇の形状を0.1ms間隔で取得し、取得した唇の形状を8点(左端点、右端点、上端点下端点、左上点、右上点、左下点、右下点)の座標データに解析する。

0030

続いて、0.1ms毎に取得した唇の形状の座標データのうち、前後の座標データの変化から唇の動きを数値化する。例えば、制御部17は、ある時刻入力画像図4(a)に示すように、顔画像部40と耳画像部41と唇の画像部42aとからなり、唇の画像部42aの上端点▲1▼の座標「25.60」、左上点▲2▼の座標「34.50」、左端点▲3▼の座標「42.40」、左下点▲4▼の座標「49.50」、下端点▲5▼の座標「55.60」、右下点▲6▼の座標「49.70」、右端点▲7▼の座標「42.80」、右上点▲8▼の座標「34.70」であるものと解析したものとする。

0031

続いて、0.1ms後の入力画像が図4(b)に示すように、顔画像部40と耳画像部41と唇の画像部42bとからなり、唇の画像部42bの上端点▲1▼の座標「38.60」、左上点▲2▼の座標「42.45」、左端点▲3▼の座標「45.30」、左下点▲4▼の座標「47.45」、下端点▲5▼の座標「50.60」、右下点▲6▼の座標「47.75」、右端点▲7▼の座標「45.90」、右上点▲8▼の座標「42.75」であるものと解析したものとする。

0032

この場合、上端点▲1▼の座標は「25.60」から「38.60」に変化しているので、唇の上端は下方向に「13.00」の座標分に移動していると数値化する。他の7箇所の位置についても同様に数値化する。以上の作業を繰り返すことにより、唇の動きのデータを作成する。

0033

音声入力が終了した後、その音声パターンが入力された際に遠隔制御したい制御内容を操作部11にて入力する(ステップS25)。なお、制御させたい内容が記憶部18に無い場合は、無線部16を用いて事前にネットワークから取得しておく。

0034

最後に、制御部17は、音声信号と制御内容の両方の情報が入力されると、解析した音声パターンと唇の動きのデータを、入力された制御内容に関連付けして、記憶部18に保存する(ステップS26)。このようにして、登録モードでは、必要な制御内容に応じた数の音声パターンと唇の動きのデータとが、制御内容に関連付けて記憶部18に記憶される。

0035

次に、任意の遠隔制御時に、メニュー表示された音声入力モードから制御モードが選択されると、図3(b)のフローチャートに示す動作が行われる。すなわち、制御モードの音声入力受け付け状態となり(ステップS31)、マイク12に入力された被制御機器30を遠隔制御しようとする内容の音声が音声信号に変換されて制御部17に入力されると共に(ステップS32)、カメラ部14で撮影されたユーザーの唇の画像信号が制御部17に入力される(ステップS33)。

0036

制御部17は、入力された音声信号の音声パターンを解析し、その解析内容を表示部13に表示すると共に、入力された画像信号に基づき唇の動きを登録モード時と同様の手法にて解析する(ステップS34)。続いて、制御部17は、解析した音声パターンと記憶部18から読み出した音声パターンとを比較照合して、合致した音声パターンがあるかどうか、すなわち音声認識解析が失敗したか否か判定する(ステップS35)。

0037

雑音等が混じるなどの影響で音声パターンの比較照合による音声認識解析が失敗であると判定された場合は、ステップS34で解析した唇の動きのデータを、記憶部18から読み出した唇の動きのデータと比較照合して、合致した唇の動きのデータを識別する(ステップS36)。

0038

ステップS35で合致した音声データを取得できた(音声認識解析が成功した)と判定された場合、又はステップS36で合致した唇の動きのデータを取得すると、続いて制御部17は、記憶部18を参照して、合致した音声データ又は合致した唇の動きのデータに対応して記憶されている制御内容のデータを取り出して表示部13に表示する(ステップS37)。

0039

続いて、制御部17は、記憶部18から取り出した上記の制御内容のデータを、信号送信部19へ供給し、制御内容のデータに対応した遠隔制御信号を設定する(ステップS38)。その後、任意のタイミングでユーザーによる操作部11の操作により遠隔制御信号を例えば赤外線の形態で被制御機器30に向けて信号送信部19から送信する(ステップS39)。これにより、ユーザーがマイク12を用いて音声入力した制御内容の遠隔操作を、被制御機器30に対して行うことができる。

0040

このように、本実施の形態によれば、従来の音声データの登録だけでなく、唇の動きのデータを制御内容と対応付けて登録しているので、音声認識失敗時に制御モードの音声入力時の唇の動きのデータを、登録してある唇の動きのデータと比較照合して制御内容を判断でき、これにより、制御内容の認識率を従来に比べて向上できる。

0041

なお、上記の実施の形態では、音声認識に失敗した場合は、ステップS36で唇の動きのデータによる識別が常に成功するものとしているが、万一、唇の動きのデータによる識別が失敗した場合は、従来と同様に処理を終了する。

0042

なお、本発明は上記の実施の形態に限定されるものではなく、例えば、唇の動きはカメラ部14が撮影した画像信号から検出しているが、赤外線センサ装置により唇の動きの画像信号を得ることもでき、また、唇の動き以外の、例えば頬の動きの画像の変化によって入力制御内容を識別することもできる。

発明を実施するための最良の形態

0043

更に、ユーザーの顔と背景からなる画像を撮影したときの、ユーザーが音声入力した時に生じる顔の動きと背景の割合の変化に応じた光量の変化によって入力制御内容を識別することもできる。また、信号送信部19が送信する遠隔制御信号の信号形態は、赤外線に限定されるものではなく、超音波その他の信号形態でもよい。

図面の簡単な説明

0044

以上説明したように、本発明によれば、制御モード時に、音声入力して得た第2の音声パターンが記憶部に記憶されている第1の音声パターンの中に合致するものがあることを識別できなかったときには、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第2の変化データが記憶部に記憶されている第1の変化データの中から合致するものを識別し、合致した第1の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定することにより、従来の音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させるようにしたため、従来に比べて入力制御内容の認識失敗による使用者の再入力操作を大幅に低減することができ、操作の煩わしさを軽減することができ、またより正確な遠隔制御ができる。

図1
本発明の一実施の形態のブロック図である。
図2
本発明の一実施の形態の外観正面図である。
図3
本発明の一実施の形態の動作説明用フローチャートである。
図4
唇の動きの解析の方法の一例の説明図である。
図5
従来装置の一例のブロック図である。
図6
従来装置の動作説明用フローチャートである。
【符号の説明】
10携帯電話装置
11 操作部
12マイク
13 表示部
14カメラ部
15アンテナ
16無線部
17 制御部
18 記憶部
19 信号送信部
30 被制御機器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ