図面 (/)

技術 ロボット制御装置、ロボット、ロボット制御方法およびプログラム

出願人 日本電気株式会社
発明者 山賀宏之石黒新
出願日 2016年2月15日 (4年0ヶ月経過) 出願番号 2017-500516
公開日 2017年11月30日 (2年2ヶ月経過) 公開番号 WO2016-132729
状態 不明
技術分野
  • -
主要キーワード 掃除用ロボット 手招き 指向モード 判定基準情報 一定距離範囲 一時記録媒体 アクション決定 自律モード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題・解決手段

利用者に操作を要求することなく、発話聞き取りの開始の精度を向上させたロボット制御装置等が開示される。係るロボット制御装置は、人が検出されると、該人に対して実行するアクションを決定すると共に、前記アクションをロボットが実行するように制御するアクション実行手段と、前記アクション実行手段が決定した前記アクションに対する前記人からのリアクションが検出されると、前記リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定する判定手段と、前記判定手段による判定の結果に基づいて、前記ロボット本体の動作モードを制御する動作制御手段とを備える。

概要

背景

人と対話したり、人の話を聞き取りその内容を記録または伝言したり、人の声に応じて動作したりするロボットが開発されている。

このようなロボットは、例えば、自律的に動作する自律モード、自律的な動作や人の発話の聞き取り等を行わない待機モード、人の発話を聞き取る発話聞き取りモード等、複数の動作モード間移行しながら自然に動作するように制御されている。

このようなロボットにおいて、人が話しかけようとしているタイミングをロボットがどのように検知して、正確に人の発話を聞き取る動作モードに移行するかは、1つの課題である。

ロボットの利用者である人にとって、ロボットに対して自分が話しかけたいタイミングで自由に話しかけることができることが好ましい。これを実現する単純な方法としては、ロボットが常に利用者の発話を聞き取り続ける(常に発話聞き取りモードで動作する)方法がある。しかしながら、ロボットが常に聞き取りを続ける場合、例えば近くのテレビ音声や他の人との会話などの環境音の影響を受けて、ロボットは、利用者が意図しない音に反応して誤動作する虞がある。

このような環境音に起因する誤動作を避けるために、例えば、利用者からのボタンの押下や、一定以上の音量での発話、あるいは予め定めたキーワード(そのロボットの呼称など)の発話等を認識したことをきっかけとして、キーワード以外にも一般的な発話の聞き取りを開始するロボットが実現されている。

特許文献1は、ロボットにおける動作状態遷移モデルを開示する。

特許文献2は、音声認識の精度を向上することにより、誤動作の発生を低下させるロボットを開示する。

特許文献3は、ロボットに注意興味引き付けるための呼びかけやしぐさ等により人間が感じ強制感を抑制するロボットの制御方法を開示する。
特許文献4は、周囲の環境や人物の状況、人物からの反応に応じた行動を自律的に制御することができるロボットを開示する。

概要

利用者に操作を要求することなく、発話聞き取りの開始の精度を向上させたロボット制御装置等が開示される。係るロボット制御装置は、人が検出されると、該人に対して実行するアクションを決定すると共に、前記アクションをロボットが実行するように制御するアクション実行手段と、前記アクション実行手段が決定した前記アクションに対する前記人からのリアクションが検出されると、前記リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定する判定手段と、前記判定手段による判定の結果に基づいて、前記ロボット本体の動作モードを制御する動作制御手段とを備える。

目的

このようなロボットにおいて、人が話しかけようとしているタイミングをロボットがどのように検知して、正確に人の発話を聞き取る動作モードに移行するかは、1つの課題である

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

人が検出されると、該人に対して実行するアクションを決定すると共に、前記アクションをロボットが実行するように制御するアクション実行手段と、前記アクション実行手段が決定した前記アクションに対する前記人からのリアクションが検出されると、前記リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定する判定手段と、前記判定手段による判定の結果に基づいて、前記ロボットの動作モードを制御する動作制御手段とを備えたロボット制御装置

請求項2

前記動作制御手段は、少なくとも、取得した音声に応じて動作する第1のモードと、取得した音声に応じて動作しない第2のモードのいずれかの前記動作モードで前記ロボットが動作するように制御し、前記ロボットが前記第2のモードで動作するように制御している際に、前記判定手段により前記人が前記ロボットに話しかける可能性があると判定されると、前記動作モードを前記第1のモードに移行するように制御する請求項1記載のロボット制御装置。

請求項3

前記判定手段は、前記検出された前記リアクションが、前記人の前記ロボットに話しかける意思の有無を判定する1または複数の判定基準情報の少なくともいずれかと一致する場合、前記人が前記ロボットに話しかける可能性があると判定する請求項1または請求項2記載のロボット制御装置。

請求項4

複数の前記人を検出すると共に、該各人のリアクションを検出する検出手段をさらに備え、前記判定手段は、前記検出されたリアクションが前記判定基準情報の少なくともいずれかと一致する場合、該一致する前記判定基準情報に割り当てられたポイントの合計に基づいて、前記話しかける可能性が最も高い人を判定する請求項3記載のロボット制御装置。

請求項5

前記動作制御手段は、前記判定手段により前記話しかける可能性が最も高いと判定された人の発話を聞き取るように、前記ロボットの前記動作モードを制御する請求項4記載のロボット制御装置。

請求項6

前記判定手段は、前記検出されたリアクションが前記判定基準情報の少なくともいずれかと一致すると判定できない場合、前記アクション実行手段に、前記人に対して実行するアクションを決定すると共に該アクションを前記ロボットが実行するように制御することを指示する請求項3または請求項4記載のロボット制御装置。

請求項7

自ロボットが所定の動作を行うように駆動する駆動回路と、前記駆動回路を制御する、請求項1乃至請求項6のいずれか1項記載のロボット制御装置とを備えたロボット。

請求項8

人が検出されると、前記人に対して実行するアクションを決定すると共に、該アクションをロボットが実行するように制御し、前記決定された前記アクションに対する前記人からのリアクションが検出されると、該リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定し、前記判定の結果に基づいて、前記ロボットの動作モードを制御するロボット制御方法

請求項9

人が検出されると、前記人に対して実行するアクションを決定すると共に、該アクションをロボットが実行するように制御する処理と、前記決定された前記アクションに対する前記人からのリアクションが検出されると、該リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定し、前記判定の結果に基づいて、前記ロボットの動作モードを制御する処理とをロボットに実行させるロボット制御プログラムを記録するプログラム記録媒体

技術分野

0001

本発明は、ロボットにおける利用者発話聞き取りモードへの移行を制御する技術に関する。

背景技術

0002

人と対話したり、人の話を聞き取りその内容を記録または伝言したり、人の声に応じて動作したりするロボットが開発されている。

0003

このようなロボットは、例えば、自律的に動作する自律モード、自律的な動作や人の発話の聞き取り等を行わない待機モード、人の発話を聞き取る発話聞き取りモード等、複数の動作モード間を移行しながら自然に動作するように制御されている。

0004

このようなロボットにおいて、人が話しかけようとしているタイミングをロボットがどのように検知して、正確に人の発話を聞き取る動作モードに移行するかは、1つの課題である。

0005

ロボットの利用者である人にとって、ロボットに対して自分が話しかけたいタイミングで自由に話しかけることができることが好ましい。これを実現する単純な方法としては、ロボットが常に利用者の発話を聞き取り続ける(常に発話聞き取りモードで動作する)方法がある。しかしながら、ロボットが常に聞き取りを続ける場合、例えば近くのテレビ音声や他の人との会話などの環境音の影響を受けて、ロボットは、利用者が意図しない音に反応して誤動作する虞がある。

0006

このような環境音に起因する誤動作を避けるために、例えば、利用者からのボタンの押下や、一定以上の音量での発話、あるいは予め定めたキーワード(そのロボットの呼称など)の発話等を認識したことをきっかけとして、キーワード以外にも一般的な発話の聞き取りを開始するロボットが実現されている。

0007

特許文献1は、ロボットにおける動作状態遷移モデルを開示する。

0008

特許文献2は、音声認識の精度を向上することにより、誤動作の発生を低下させるロボットを開示する。

0009

特許文献3は、ロボットに注意興味引き付けるための呼びかけやしぐさ等により人間が感じ強制感を抑制するロボットの制御方法を開示する。
特許文献4は、周囲の環境や人物の状況、人物からの反応に応じた行動を自律的に制御することができるロボットを開示する。

先行技術

0010

特表2014−502566号公報
特開2007−155985号公報
特開2013−099800号公報
特開2008−254122号公報

発明が解決しようとする課題

0011

上述のように、ロボットにおいて環境音に起因する誤動作を避けるために、利用者からのボタンの押下やキーワードの発話等を認識したことをきっかけとして、一般的な発話の聞き取りを開始する機能をロボットに搭載することが考えられる。

0012

しかしながら、このような機能は、利用者の意思を正確に捉えて発話の聞き取りを開始する(発話聞き取りモードに移行する)ことが可能である一方、利用者にとっては、発話を開始しようとするたびにボタンの押下や決められたキーワードの発話が必要となるので煩わしい。また、利用者は、押下するボタンやキーワードを覚えておく必要があるという煩わしさもある。このように、上記機能では、利用者の意思を正確に捉えて、発話聞き取りモードに移行するためには、利用者に煩雑な操作を要求することになるという課題がある。

0013

上記特許文献1に記載のロボットは、ロボットが、ユーザ入力に基づかないタスクを実行する自分指向モード等から、ユーザと関与する関与モードへの移行の際に、利用者の行動や状態を観察・分析した結果に基づいて移行する。しかしながら、特許文献1には、利用者に煩雑な操作を要求することなく、利用者の意向を正確に捉えて、発話聞き取りモードに移行する技術については開示されていない。

0014

また、特許文献2に記載のロボットは、カメラ人検知センサ、音声認識部等を備え、カメラや人検知センサから得られた情報に基づいて人物がいるかを判断し、いると判断した場合に、音声認識部による音声認識の結果を有効にする。しかしながら、このようなロボットでは、利用者の話しかけたいか否かの意思に関わらず音声認識の結果を有効にするので、利用者の意思に反した動作をロボットが行う虞がある。

0015

また、特許文献3および4には、利用者の注意や興味を引き付ける動作を行うロボットや、人物の状況に応じた行動を行うロボットは開示されるが、利用者の意向を正確に捉えて発話聞き取りを開始する技術は開示されていない。

0016

本願発明は、上記課題を鑑みてなされたものであり、利用者に操作を要求することなく、発話聞き取りの開始の精度を向上させたロボット制御装置等を提供することを主要な目的とする。

課題を解決するための手段

0017

本発明の第1のロボット制御装置は、人が検出されると、該人に対して実行するアクションを決定すると共に、前記アクションをロボットが実行するように制御するアクション実行手段と、前記アクション実行手段が決定した前記アクションに対する前記人からのリアクションが検出されると、前記リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定する判定手段と、前記判定手段による判定の結果に基づいて、前記ロボットの動作モードを制御する動作制御手段とを備える。

0018

本発明の第1のロボット制御方法は、人が検出されると、前記人に対して実行するアクションを決定すると共に、該アクションをロボットが実行するように制御し、前記決定された前記アクションに対する前記人からのリアクションが検出されると、該リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定し、前記判定の結果に基づいて、前記ロボットの動作モードを制御する。

0019

なお同目的は、上記の各構成を有するロボットまたはロボット制御方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記録媒体によっても達成される。

発明の効果

0020

本願発明によれば、利用者に操作を要求することなく、ロボットの発話聞き取りの開始の精度を向上させることができるという効果が得られる。

図面の簡単な説明

0021

本発明の第1の実施形態に係るロボットの外部構成例とロボットの利用者である人を示す図である。
本発明の各実施形態に係るロボットの内部ハードウェア構成を例示する図である。
本発明の第1の実施形態に係るロボットの機能を実現する機能ブロック図である。
本発明の第1の実施形態に係るロボットの動作を示すフローチャートである。
本発明の第1の実施形態に係るロボットが備える人検出パターン情報に含まれる検出パターンの例を示す図である。
本発明の第1の実施形態に係るロボットが備えるアクション情報に含まれるアクションの種類の例を示す図である。
本発明の第1の実施形態に係るロボットが備えるリアクションパターン情報に含まれるリアクションパターンの例を示す図である。
本発明の第1の実施形態に係るロボットが備える判定基準情報の例を示す図である。
本発明の第2の実施形態に係るロボットの外部構成例とロボットの利用者である人を示す図である。
本発明の第2の実施形態に係るロボットの機能を実現する機能ブロック図である。
本発明の第2の実施形態に係るロボットの動作を示すフローチャートである。
本発明の第2の実施形態に係るロボットが備えるアクション情報に含まれるアクションの種類の例を示す図である。
本発明の第2の実施形態に係るロボットが備えるリアクションパターン情報に含まれるリアクションパターンの例を示す図である。
本発明の第2の実施形態におけるロボットが備える判定基準情報の例を示す図である。
本発明の第2の実施形態におけるロボットが備える得点情報の例を示す図である。
本発明の第3の実施形態に係るロボットの機能を実現する機能ブロック図である。

実施例

0022

以下、本発明の実施形態について図面を参照して詳細に説明する。

0023

第1の実施形態
図1は、本発明の第1の実施形態に係るロボット100の外部構成例とロボットの利用者である人20を示す図である。図1に示すように、ロボット100は、例えば、胴体部210と、胴体部210にそれぞれ可動に連結された頭部220、腕部230および脚部240を含むロボット本体を備える。

0024

頭部220は、マイク141、カメラ142および表情ディスプレイ152を備える。胴体部210は、スピーカ151、人検知センサ143および距離センサ144を備える。マイク141、カメラ142および表情ディスプレイ152は頭部220に、スピーカ151、人検知センサ143および距離センサ144は胴体部210に、それぞれ設けられることを示すが、これに限定されない。

0025

人20は、ロボット100の利用者である。本実施形態では、ロボット100の近くに利用者である人20が一人存在することを想定している。

0026

図2は、本実施形態1および以下の実施形態に係るロボット100の内部ハードウェア構成を例示する図である。図2を参照すると、ロボット100は、プロセッサ10、RAM(Random Access Memory)11、ROM(Read Only Memory)12、I/O(Input/Output)デバイス13、ストレージ14およびリーダライタ15を備える。各構成要素は、バス17を介して接続され、相互にデータを送受信する。

0027

プロセッサ10は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの演算処理装置により実現される。

0028

プロセッサ10は、ROM12またはストレージ14に記憶された各種コンピュータ・プログラムを、RAM11に読み出して実行することにより、ロボット100の全体的な動作を司る。すなわち、本実施形態および以下に説明する実施形態において、プロセッサ10は、ROM12またはストレージ14を適宜参照しながら、ロボット100が備える各機能(各部)を実行するコンピュータ・プログラムを実行する。

0029

I/Oデバイス13は、マイクなどの入力デバイスや、スピーカなどの出力デバイスを含む(詳細は後述する)。

0030

ストレージ14は、例えばハードディスクSSD(Solid State Drive)、メモリカードなどの記憶装置により実現されてもよい。リーダライタ15は、CD−ROM(Compact_Disc_Read_Only_Memory)等の記録媒体16に格納されたデータを読み書きする機能を有する。

0031

図3は、本第1の実施形態に係るロボット100の機能を実現する機能ブロック図である。図3に示すように、ロボット100は、ロボット制御装置101、入力デバイス140および出力デバイス150を備える。

0032

ロボット制御装置101は、入力デバイス140から情報を受け取り、後述する処理を行って、出力デバイス150に指示を出すことにより、ロボット100の動作を制御する装置である。ロボット制御装置101は、検出部110、移行判定部120、移行制御部130および記憶部160を備える。

0033

検出部110は、人検出部111およびリアクション検出部112を備える。移行判定部120は、制御部121、アクション決定部122、駆動指示部123および推定部124を備える。

0034

記憶部160は、人検出パターン情報161、リアクションパターン情報162、アクション情報163および判定基準情報164を備える。

0035

入力デバイス140は、マイク141、カメラ142、人検知センサ143および距離センサ144を備える。

0036

出力デバイス150は、スピーカ151、表情ディスプレイ152、頭部駆動回路153、腕部駆動回路154および脚部駆動回路155を備える。

0037

ロボット100は、ロボット制御装置101により、自律的に動作する自律モード、自律的な動作や人の発話の聞き取り等を行わない待機モード、あるいは、人の発話を聞き取る発話聞き取りモード等、複数の動作モード間を移行しながら動作するように制御される。ロボット100は、例えば、発話聞き取りモードでは、聞き取った(取得した)音声をコマンドとして受け取り、そのコマンドに応じて動作する。以下の説明では、例として、ロボット100を自律モードから発話聞き取りモードに移行する制御について説明する。なお、自律モードまたは待機モードを第2のモードと称し、発話聞き取りモードを第1のモードと称する場合がある。

0038

各構成要素の概要について説明する。

0039

入力デバイス140のマイク141は、人の声を聞き取ったり周囲の音を取り込んだりする機能を有する。カメラ142は、例えばロボット100のいずれかの目に相当する位置に実装され、周囲を撮影する機能を有する。人検知センサ143は、人が近くにいることを検知する機能を有する。距離センサ144は、人または物体との距離を計測する機能を有する。周囲または近くとは、例えば、人の声やテレビなどの音声がマイク141により取得可能な範囲、赤外線センサ超音波センサ等によりロボット100から人や物体が検出可能な範囲、あるいはカメラ142により撮影可能な範囲等である。

0040

なお、人検知センサ143には、焦電型の赤外線センサや超音波センサなど複数種センサ利用可能である。距離センサ144についても、超音波を利用したセンサや赤外線を利用したセンサなど、複数種のセンサが利用可能である。人検知センサ143と距離センサ144には同一のセンサを用いてもよい。あるいは、人検知センサ143と距離センサ144を設ける代わりに、カメラ142で撮影した画像をソフトウェア解析することで、同様な役割を果たすように構成してもよい。

0041

出力デバイス150のスピーカ151は、ロボット100から人に対し話しかけを行う際などに音声を発する機能を有する。表情ディスプレイ152は、例えば、ロボットのや口に相当する位置に実装した複数のLED(Light Emitting Diode)を含み、そのLEDの発光方法を変えることで、ロボットが微笑んだり、考え込んだりしているような表現演出する機能を有する。

0042

頭部駆動回路153、腕部駆動回路154および脚部駆動回路155は、それぞれ、頭部220、腕部230および脚部240を、所定の動作を行うように駆動する回路である。

0043

検出部110の人検出部111は、入力デバイス140からの情報に基づいて、ロボット100の近くに人が来たことを検出する。リアクション検出部112は、入力デバイス140からの情報に基づいて、ロボットが行ったアクションに対する人の反応(リアクション)を検出する。

0044

移行判定部120は、検出部110による人検出またはリアクション検出の結果に基づいて、ロボット100を発話聞き取りモードに移行するか否かを判定する。制御部121は、検出部110から取得した情報を、アクション決定部122または推定部124に通知する。

0045

アクション決定部122は、ロボット100が人に行う働きかけ(アクション)の種類を決定する。駆動指示部123は、アクション決定部122が決定したアクションを実行するように、スピーカ151、表情ディスプレイ152、頭部駆動回路153、腕部駆動回路154および脚部駆動回路155の少なくともいずれかに駆動指示を出す。

0046

推定部124は、利用者である人20のリアクションに基づいて、人20のロボット100に対して話しかける意思の有無を推定する。

0047

移行制御部130は、人20がロボット100に対して話しかける可能性があると判定されたときに、ロボット100を人の発話を聞き取り可能な発話聞き取りモードに移行するように、動作モードを制御する。

0048

図4は、図3に示すロボット制御装置101の動作を示すフローチャートである。図3および図4を参照して、ロボット制御装置101の動作について説明する。ここで、ロボット制御装置101は、ロボット100を自律モードで動作するよう制御していると仮定する。

0049

検出部110の人検出部111は、入力デバイス140のマイク141、カメラ142、人検知センサ143および距離センサ144から情報を取得する。人検出部111は、取得した情報を分析した結果と、人検出パターン情報161とに基づいて、人20がロボット100に近づいたことを検出する(S201)。

0050

図5は、人検出パターン情報161に含まれる、人検出部111による人20の検出パターンの例を示す図である。図5に示すように、検出パターンの例として、例えば、「人検知センサ143で人らしきものを検知」、「距離センサ144で一定距離範囲内に動く物体を検知」、「カメラ142に人もしくは人の顔らしきものが写った」、「マイク141で人の声と推定される音を拾った」、もしくは上記複数の組合せが考えられる。人検出部111は、入力デバイス140から取得した情報を分析した結果が、少なくともこれらのいずれかと一致した場合、人が近くに来たことを検出する。

0051

人検出部111は、人が近づいたことを検出するまで上記検出を続け、人を検出すると(S202においてYes)、その旨を移行判定部120に通知する。移行判定部120は、上記通知を受け取ると、制御部121からアクション決定部122にアクションの種類を決定することを指示する。アクション決定部122は、上記指示に応じて、アクション情報163に基づいて、ロボット100が利用者に働きかけるアクションの種類を決定する(S203)。

0052

アクションは、利用者である人20がロボット100に近づいた際に、ロボット100に対して利用者が話しかけたい意思があるか否かを、ロボット100の動き(アクション)に対する利用者の反応から確認するためのものである。

0053

アクション決定部122が決定したアクションに基づいて、駆動指示部123は、ロボット100のスピーカ151、表情ディスプレイ152、頭部駆動回路153、腕部駆動回路154、脚部駆動回路155の少なくともいずれかに指示を出す。これにより、駆動指示部123は、ロボット100を動かしたり、ロボット100から音が出るように制御したり、ロボット100の表情を変えるように制御したりする。このように、アクション決定部122と駆動指示部123は、利用者を刺激し利用者の反応を引き出す(誘発する)ようなアクションを、ロボット100が実行するように制御する。

0054

図6は、アクション情報163に含まれる、アクション決定部122が決定するアクションの種類の例を示す図である。図6に示すように、アクション決定部122は、例えば、「頭部220を動かし利用者の方を向く」、「利用者に声をかける(”何か話したいならこっちを向いて”など)」、「頭部220を動かしてうなずく」、「顔の表情を変える」、「腕部230を動かして利用者を手招きする」、「脚部240を動かして利用者に近づく」、もしくは上記アクションの複数の組合せを、アクションとして決定する。例えば、利用者20がロボット100に話しかけを行いたいのであれば、ロボット100が利用者20の方を向いた際の反応として、利用者20もロボット100の方を向く可能性が高いと想定できる。

0055

続いて、リアクション検出部112は、入力デバイス140のマイク141、カメラ142、人検知センサ143および距離センサ144から情報を取得する。リアクション検出部112は、取得した情報を分析した結果と、リアクションパターン情報162とに基づいて、ロボット100のアクションに対する利用者20のリアクションの検出を実施する(S204)。

0056

図7は、リアクションパターン情報162に含まれる、リアクション検出部112が検出するリアクションパターンの例を示す図である。図7に示すように、リアクションパターンには、例えば、「利用者20がロボット100に顔を向けた(ロボット100の顔を見た)」、「利用者20がロボット100に声をかけた」、「利用者20が口を動かした」、「利用者20が立ち止った」、「利用者20がさらに近づいてきた」、もしくは上記複数のリアクションの組合せがある。リアクション検出部112は、入力デバイス140から取得した情報を分析した結果が、少なくともこれらのいずれかと一致した場合、リアクションが検出されたと判断する。

0057

リアクション検出部112は、上記リアクションの検出結果を、移行判定部120に通知する。移行判定部120は、制御部121において上記通知を受け取る。リアクションが検出された場合(S205においてYes)、制御部121は、リアクションに基づいて利用者20の意思の推定を行うことを推定部124に指示する。一方、利用者20のリアクションを検出できなかった場合、制御部121は、人検出部111のS201に処理を戻し、人検出部111が再度人を検出したら、再度アクション決定部122に、実行するアクションの決定を指示する。これにより、アクション決定部122は、利用者20からリアクションを引き出すことを試みる

0058

推定部124は、利用者20のリアクションと、判定基準情報164とに基づいて、利用者20にロボット100に話しかける意思が有るか否かを推定する(S206)。

0059

図8は、推定部124が利用者の意思の推定のために参照する判定基準情報164の例を示す図である。図8に示すように、判定基準情報164には、例えば「利用者20がある一定距離以下に近づいてロボット100の顔を見た」、「利用者20がロボット100の顔を見て口を動かした」、「利用者20が立ち止って声を出した」、もしくはその他予め設定した利用者のリアクションの組合せが含まれる。

0060

推定部124は、リアクション検出部112によって検出されたリアクションが、判定基準情報164に含まれる情報の少なくともいずれかと一致した場合、利用者20にはロボット100に話しかける意思が有ると推定できる。つまり、この場合、推定部124は、利用者20は、ロボット100に話しかける可能性が有ると判定する(S207においてYes)。

0061

推定部124は、利用者20がロボット100に話しかける可能性が有ると判定すると、利用者20の発話の聞き取りが可能な発話聞き取りモードに移行することを、移行制御部130に指示する(S208)。移行制御部130は、上記指示に応じて、ロボット100を発話聞き取りモードに移行するように制御する。

0062

一方、推定部124は、利用者20がロボット100に話しかける可能性が無いと判定すると(S207においてNo)、移行制御部130はロボット100の動作モードを変更することなく、処理を終了する。つまり、マイク141が人の声と推定される音を拾った等、人が周囲にいることが検出されたとしても、推定部124が人のリアクションからロボット100に話しかける可能性が無いと判定すると、移行制御部130はロボット100を発話聞き取りモードに移行しない。これにより、ロボット100が、利用者と他の人との会話に対して動作する等の誤動作を防ぐことができる。

0063

また、推定部124は、利用者のリアクションが上記判定基準の一部のみを満たす場合、利用者20に話しかける意思が有ると判定できないが、全くないとも言い切れないと判定し、処理を人検出部111のS201に戻す。すなわち、この場合、人検出部111が再度人を検出したら、アクション決定部122は、再度アクションを決定し、駆動指示部123は、決定されたアクションをロボット100が実行するように制御する。これにより、利用者20のさらなるリアクションを引き出し、推定の精度を高めることができる。

0064

以上のように、本第1の実施形態によれば、人検出部111が人を検出すると、アクション決定部122は、利用者20のリアクションを誘発するアクションを決定し、駆動指示部123は、決定されたアクションをロボット100が実行するように制御する。推定部124は、実行されたアクションに対する人20のリアクションを分析することによって、利用者20がロボットに話しかけを行う意思があるか否かを推定する。その結果、利用者20がロボットに話しかけを行う可能性があると判定された場合、移行制御部130は、ロボット100が利用者20の発話聞き取りモードに移行するように制御する。

0065

上記構成を採用することにより、本第1の実施形態によれば、ロボット制御装置101は、利用者20に煩わしい操作を要求することなく、利用者の話しかけたいタイミングでなされた発話に応じて、ロボット100を発話聞き取りモードに移行するよう制御する。したがって、本第1の実施形態によれば、操作性よく発話聞き取りの開始の精度を向上することができるという効果が得られる。また、本第1の実施形態によれば、ロボット制御装置101は、利用者20のリアクションに基づいて、利用者20にロボットに話しかけたい意思が有ると判定したときのみロボット100を発話聞き取りモードに移行するよう制御するので、テレビの音声や周囲の人との会話に起因する誤動作を防ぐことができるという効果が得られる。

0066

さらに、本第1の実施形態によれば、ロボット制御装置101は、利用者20が話しかけたいとの意思をもっていると判定するのに十分な利用者20のリアクションを検出できなかった場合、再度、利用者20にアクションを行う。これにより、利用者20から追加のリアクションを引き出し、その結果に基づき意思の判定を行うので、モード移行の精度をより向上できるという効果が得られる。

0067

第2の実施形態
次に、上述した第1の実施形態を基礎とする第2の実施形態について説明する。以下の説明では、第1の実施形態と同様の構成については同じ参照番号を付与することにより、重複する説明は省略する。

0068

図9は、本発明の第2の実施形態に係るロボット300の外部構成例とロボットの利用者である人20−1乃至20−nを示す図である。第1の実施形態にて説明したロボット100では、頭部220に1台のカメラ142を備える構成を説明したが、本第2の実施形態におけるロボット300は、頭部220にロボット300の両目に相当する位置に2台のカメラ142、145を備える。

0069

また、本第2の実施形態では、ロボット300の近くに利用者である人が複数存在することを想定している。図9には、n人(nは2以上の整数)の人20−1乃至20−nがロボット300の近くに存在することを示す。

0070

図10は、本第2の実施形態に係るロボット300の機能を実現する機能ブロック図である。図10に示すように、ロボット300は、図3を参照して第1の実施形態にて説明したロボット100が備えるロボット制御装置101、入力デバイス140に代えて、それぞれロボット制御装置102、入力デバイス146を備える。ロボット制御装置102は、ロボット制御装置101に加えて、存在検出部113、カウント部114および得点情報165を備える。入力デバイス146は、入力デバイス140に加えて、カメラ145を備える。

0071

存在検出部113は、人が近くにいることを検出する機能を有し、第1の実施形態にて説明した人検出部111に相当する。カウント部114は、近くにいる人の数をカウントする機能を有する。カウント部114は、また、カメラ142、145からの情報に基づいて、それぞれの人がどのあたりにいるかを検出する機能を有する。得点情報165は、利用者のリアクションに応じた配点に基づく利用者毎の得点を保持する(詳細は後述する)。図10に示すその他の構成要素は、第1の実施形態にて説明した機能と同様の機能を有する。

0072

本実施形態では、ロボット300の近くに存在する複数の人のうちいずれの人の発話を聞き取るかを決定すると共に、決定した人の発話を聞き取るように制御する動作について説明する。

0073

図11は、図10に示すロボット制御装置102の動作を示すフローチャートである。図10および図11を参照して、ロボット制御装置102の動作について説明する。

0074

検出部110の存在検出部113は、入力デバイス146のマイク141、カメラ142、145、人検知センサ143および距離センサ144から情報を取得する。存在検出部113は、取得した情報を分析した結果と、人検出パターン情報161とに基づいて、人20−1乃至20−nの何れか1人もしくは複数人が近くにいるかどうかの検出を行う(S401)。存在検出部113は、第1の実施形態における図5に示した人検出パターン情報161に基づいて、人が近くにいるかどうかを判定してもよい。

0075

存在検出部113は、何れかの人が近くにいることを検出するまで上記検出を続け、人を検出すると(S402においてYes)、その旨をカウント部114に通知する。カウント部114は、カメラ142、145から取得した画像を分析することで、近くにいる人の数と場所を検出する(S403)。カウント部114は、例えば、カメラ142、145から取得した画像から人の顔を抽出し、その数を数えることで人数をカウントできる。なお、存在検出部113が、人が近くにいることを検出したにもかかわらず、カウント部114が、カメラ142、145により取得された画像から人の顔を抽出できない場合は、例えば、ロボット300の後方等にいる人の声と推定される音をマイクで拾った等が考えられる。この場合、カウント部114は、移行判定部120の駆動指示部123に対して、頭部駆動回路153を駆動してカメラ142、145により人の画像を取得することができる位置に頭部を移動するよう指示してもよい。その後、カメラ142、145は、画像を取得してもよい。本実施形態では、n人が検出されたと想定する。

0076

人検出部111は、検出された人数と場所を、移行判定部120に通知する。移行判定部120は、上記通知を受け取ると、制御部121からアクション決定部122にアクションを決定することを指示する。アクション決定部122は、上記指示に応じて、近くにいる利用者の何れかに話しかけたい意思があるか否かを利用者のリアクションから判定するために、アクション情報163に基づいて、ロボット300が利用者に働きかけるアクションの種類を決定する(S404)。

0077

図12は、本第2の実施形態におけるアクション情報163に含まれる、アクション決定部122が決定するアクションの種類の例を示す図である。図12に示すように、アクション決定部122は、例えば、「頭部220を動かし利用者を見回す」、「利用者に声をかける(何か話したいならこっちを向いてなど)」、「頭部220を動かしてうなずく」、「顔の表情を変える」、「腕部230を動かして各利用者を手招きする」、「脚部240を動かして順番に各利用者に近づく」、もしくは上記アクションの複数の組合せを、実行するアクションとして決定する。図12に示すアクション情報163は、図6に示すアクション情報163と、複数の利用者が想定されている点で異なる。

0078

リアクション検出部112は、入力デバイス146のマイク141、カメラ142、145、人検知センサ143および距離センサ144から情報を取得する。リアクション検出部112は、取得した情報を分析した結果と、リアクションパターン情報162とに基づいて、ロボット300のアクションに対する利用者20−1乃至20−nのリアクションの検出を実施する(S405)。

0079

図13は、ロボット300が備えるリアクションパターン情報162に含まれる、リアクション検出部112が検出するリアクションパターンの例を示す図である。図13に示すように、リアクションパターンには、例えば、「何れかの利用者がロボットに顔を向けた(ロボットの顔を見た)」、「何れかの利用者が口を動かした」、「何れかの利用者が立ち止った」、「何れかの利用者がさらに近づいてきた」、もしくは上記複数のリアクションの組合せがある。

0080

リアクション検出部112は、近くにいる複数人のそれぞれのリアクションを、カメラ画像を分析することで検出する。また、リアクション検出部112は、2台のカメラ142、145から取得した画像を分析することで、ロボット300と、複数の利用者それぞれとの、おおよその距離も判定できる。

0081

リアクション検出部112は、上記リアクションの検出結果を、移行判定部120に通知する。移行判定部120は、制御部121において上記通知を受け取る。何れかの人のリアクションが検出された場合(S406においてYes)、制御部121は、リアクションが検出された利用者の意思の推定を行うことを推定部124に指示する。一方、何れの人のリアクションも検出しない場合(S406においてNo)、制御部121は、人検出部111のS401に処理を戻し、人検出部111が再度人を検出したら、再度アクション決定部122にアクションの決定を指示する。これにより、アクション決定部122は、利用者からリアクションを引き出すことを試みる。

0082

推定部124は、検出した各利用者のリアクションと、判定基準情報164とに基づいて、ロボット300に対して話しかけたい意思がある利用者がいるか否か、また、複数の利用者に上記意思が有る場合は、その中で誰が最も話しかける可能性が高いかを判定する(S407)。本第2の実施形態における推定部124は、どの利用者がロボット300に話しかける可能性が高いかを判定するため、各利用者が行った1または複数のリアクションを得点化する。

0083

図14は、第2の実施形態における推定部124が利用者の意思の推定のために参照する判定基準情報164の例を示す図である。図14に示すように、第2の実施形態における判定基準情報164は、判定基準となるリアクションパターンと、各リアクションパターンに割り当てられた配点(ポイント)を含む。第2の実施形態では、利用者として複数の人が存在することを想定しているので、各利用者のリアクションに重み付けを行って得点化することで、何れの利用者がロボットに話しかける可能性が高いかを判定する。

0084

図14の例では、「利用者がロボットに顔を向けた(ロボットの顔を見た)」場合は5点、「利用者が口を動かした」場合は8点、「利用者が立ち止った」場合は3点、「利用者が2m以内に近づいてきた」場合は3点、「利用者が1.5m以内に近づいてきた」場合は5点、「利用者が1m以内に近づいてきた」場合は7点が、それぞれ割り当てられている。

0085

図15は、第2の実施形態における得点情報165の例を示す図である。図15に示すように、例えば、利用者20−1のリアクションが「1m以内に近づきロボット300に顔を向けた」である場合、その得点は、「1m以内に近づいてきた」ことによる得点7点と、「ロボットの顔を見た」ことによる得点5点との合計12点と計算される。

0086

利用者20−2のリアクションが「1.5m以内に近づき口を動かした」である場合、その得点は、「1.5m以内に近づいてきた」ことによる得点5点と、「口を動かした」ことによる得点8点との合計13点と計算される。

0087

利用者20−nのリアクションが「2m以内に近づき立ち止った」である場合、その得点は、「2m以内に近づいてきた」ことによる得点3点と、「立ち止った」ことによる得点3点との合計6点と計算される。また、リアクションが検出されなかった利用者については、得点を0点としてもよい。

0088

推定部124は、例えば、得点が10点以上である利用者はロボット300に対して話しかける意思があり、得点が3点未満の利用者はロボット300に対して話しかける意思が全くないと判定してもよい。この場合、推定部124は、例えば図15に示す例では、利用者20−1、20−2はロボット300に対して話しかける意思があり、さらに利用者20−2はロボット300に対して話しかける意思が最も高いと判定してもよい。また、推定部124は、利用者20−nは、話しかける意思があるとも、ないとも、どちらともいえないと判定し、その他の利用者は話しかける意思がないと判定してもよい。

0089

推定部124は、一人でもロボット300に話しかける可能性があると判定すると(S408においてYes)、利用者20の発話の聞き取りが可能な聞き取りモードに移行することを、移行制御部130に指示する。移行制御部130は、上記指示に応じて、ロボット300を聞き取りモードに移行するように制御する。移行制御部130は、推定部124が複数の利用者に話しかける意思があると判定した場合、上記得点が最も高い人の話しかけを聞き取るように、ロボット300を制御してもよい(S409)。

0090

図15の例では、利用者20−1、20−2がロボット300に対して話しかける意思を有し、さらに利用者20−2が話しかける意思が最も高いと判定できる。よって、移行制御部130は、ロボット300を、利用者20−2の話しかけを聞き取るように制御する。

0091

移行制御部130は、駆動指示部123に対して頭部駆動回路153や脚部駆動回路155を駆動するように指示することにより、例えば、聞き取りを行う際に最も得点の高い人の方を向く、最も得点の高い人の方に近づくなどの制御を行ってもよい。

0092

一方、推定部124は、全ての利用者はロボット300に話しかける可能性が無いと判定した場合(S408においてNo)、移行制御部130に聞き取りモードに移行する指示を行うことなく処理を終了する。また、推定部124は、n人の利用者に対する上記推定の結果、話しかけを行う可能性があると判定された利用者はいないが、全ての利用者が話しかけを行う可能性が無いと言い切れない、すなわち、どちらともいえないと判定された場合、処理を人検出部111のS401に戻す。この場合、人検出部111が再度人を検出したら、アクション決定部122は、再度、利用者に対して実行するアクションを決定し、駆動指示部123は、決定したアクションをロボット300が実行するように制御する。これにより、利用者のさらなるリアクションを引き出し、推定の精度を高めることができる。

0093

以上のように、本第2の実施形態によれば、ロボット300は、1または複数の人を検出し、上記第1の実施形態と同様に、人のリアクションを誘発するアクションを決定し、そのアクションに対するリアクションを分析することによって、利用者がロボットに話しかけを行う可能性があるか否かを判定する。そして、1または複数の利用者がロボットに話しかけを行う可能性があると判定された場合、ロボット300は、利用者の発話聞き取りモードに移行する。

0094

上記構成を採用することにより、本第2の実施形態によれば、複数の利用者がロボット300の周りにいる場合でも、ロボット制御装置102は、利用者に煩わしい操作を要求することなく、利用者の話しかけたいタイミングでなされた発話に応じて、ロボット300を聞き取りモードに移行するよう制御する。したがって、本第2の実施形態によれば、第1の実施形態による効果に加えて、複数の利用者がロボット300の周りにいる場合でも、操作性よく発話聞き取りの開始の精度を向上することができるという効果が得られる。

0095

また、本第2の実施形態によれば、ロボット300のアクションに対する各利用者のリアクションを得点化することで、複数の利用者がロボット300に話しかける可能性がある場合に、最も話しかける可能性が高い利用者を選択する。これにより、複数の利用者が同時に話しかけを行う可能性が有る場合に、適切な利用者を選択し、その利用者の発話を聞き取るモードに移行することができるという効果が得られる。

0096

なお、本第2の実施形態では、ロボット300が2台のカメラ142、145を備え、カメラ142、145により取得された画像を解析することで、複数のそれぞれの人との距離を検出することを説明したが、これに限定されない。すなわち、ロボット300は、距離センサ144のみ、あるいはその他の手段で、複数のそれぞれの人との距離を検出してもよい。この場合、ロボット300はカメラを2台搭載していなくてもよい。

0097

第3の実施形態
図16は、本発明の第3の実施形態に係るロボット制御装置400の機能を実現する機能ブロック図である。図16に示すように、ロボット制御装置400は、アクション実行部410、判定部420および動作制御部430を備える。

0098

アクション実行部410は、人が検出されると、該人に対して実行するアクションを決定すると共に、アクションをロボットが実行するように制御する。

0099

判定部420は、アクション実行部410が決定したアクションに対する人からのリアクションが検出されると、リアクションに基づいて、人の前記ロボットに話しかける可能性を判定する。

0100

動作制御部430は、判定部420による判定の結果に基づいて、ロボットの動作モードを制御する。

0101

なお、アクション実行部410は、上記第1の実施形態のアクション決定部122および駆動指示部123を含む。判定部420は、同じく推定部124を含む。動作制御部430は、同じく移行制御部130を含む。

0102

上記構成を採用することにより、本第3の実施形態によれば、人がロボットに話しかける可能性があると判定した場合のみロボットを聞き取りモードに移行するので、利用者に操作を要求することなく、発話聞き取りの開始の精度を向上させることができるという効果が得られる。

0103

なお、上記各実施形態では、胴体部210と、胴体部210にそれぞれ可動に連結された頭部220、腕部230および脚部240を備えたロボットについて説明したが、それに限定されない。例えば、胴体部210と頭部220が一体となったロボットでも、頭部220、腕部230および脚部240の少なくともいずれかを備えていないロボットでもよい。また、ロボットは、上述のように胴体部、頭部、腕部および脚部等を備える装置に限定されず、いわゆる掃除用ロボットのような一体型の装置でもよいし、ユーザへ出力を行うコンピュータや、ゲーム機、あるいは携帯端末スマートフォン等が含まれてもよい。

0104

また、上述した各実施形態では、図3図10等に示したロボット制御装置において、図4図11に示すフローチャートを参照して説明したブロックの機能を、図2に示すプロセッサ10が実行する一例として、コンピュータ・プログラムによって実現する場合について説明した。しかしながら、図3図10等に示したブロックに示す機能は、一部または全部を、ハードウェアとして実現してもよい。

0105

ロボット制御装置101、102に対して供給される、上記説明した機能を実現可能なコンピュータ・プログラムは、読み書き可能なメモリ一時記録媒体)またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。この場合において、ハードウェア内へのコンピュータプログラム供給方法は、現在では一般的な手順を採用することができる。その手順としては、例えば、CD−ROM等の各種記録媒体を介してロボットにインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等がある。そして、このような場合において、本発明は、係るコンピュータ・プログラムを表すコード或いは係るコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。

0106

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

0107

この出願は、2015年2月17日に出願された日本出願特願2015−028742を基礎とする優先権を主張し、その開示の全てをここに取り込む。

0108

本発明は、例えば、人との対話を行うロボット、人の話しかけを聞き取るロボット、音声による動作指示を受け取るロボット等に適用できる。

0109

10プロセッサ
11 RAM
12 ROM
13 I/Oデバイス
14ストレージ
15リーダライタ
16記録媒体
17バス
20 人(利用者)
20−1乃至20−n 人(利用者)
100ロボット
110 検出部
111人検出部
112リアクション検出部
113存在検出部
114カウント部
120移行判定部
121 制御部
122アクション決定部
123駆動指示部
124推定部
130移行制御部
140入力デバイス
141マイク
142カメラ
143人検知センサ
144距離センサ
145 カメラ
150出力デバイス
151スピーカ
152表情ディスプレイ
153 頭部駆動回路
154 腕部駆動回路
155 脚部駆動回路
160 記憶部
161 人検出パターン情報
162リアクションパターン情報
163アクション情報
164判定基準情報
165得点情報
210胴体部
220 頭部
230 腕部
240 脚部
300 ロボット

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ