図面 (/)

技術 永続性コンパニオンデバイスを提供するための装置及び方法

出願人 ジボインコーポレイテッド
発明者 ブリーズエールシンシア
出願日 2014年3月13日 (6年9ヶ月経過) 出願番号 2016-502253
公開日 2016年7月28日 (4年5ヶ月経過) 公開番号 2016-522465
状態 拒絶査定
技術分野 デジタル計算機のユーザインターフェイス 音声入出力
主要キーワード 影響ファクタ 産業ベース 主ボード ギアドライブ カメラボード PWMドライブ 時間制御システム ポンポン
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年7月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題・解決手段

方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、時間パラメータに従って環境内の1人又はそれよりも多くの個人撮影する命令を受信する段階と、時間パラメータに従って1人又はそれよりも多くの個人を撮影して1つ又はそれよりも多くの写真をもたらす段階とを含む。

概要

背景

スマートフォン及びタブレットコンピュータのようなデバイスは、ネットワーキング機能、高精細ビデオタッチインタフェース、及びアプリケーションのような益々増大する機能を有するが、そのようなデバイスは、デバイスとの対話から交友の利益又は強化された感情的体験を提供するような人間のユーザに関与するそれらの機能が制限されている。交友を提供するための改良されたデバイス及び関連の方法及びシステムに対する必要性が存在する。

概要

方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、時間パラメータに従って環境内の1人又はそれよりも多くの個人撮影する命令を受信する段階と、時間パラメータに従って1人又はそれよりも多くの個人を撮影して1つ又はそれよりも多くの写真をもたらす段階とを含む。

目的

特に、本出願は、デバイスとの感情的な関与及び/又はアプリケーション、コンテンツサービス、又はコンパニオンデバイスのユーザのコンパニオンデバイスとの対話に関する長期的データ収集に関連付けられた感情的な関与を提供する

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、第1のパラメータに従って前記環境内の1人又はそれよりも多くの個人撮影する命令を受信する段階と、前記第1のパラメータに従って前記1人又はそれよりも多くの個人を撮影して写真及びビデオのうちの少なくとも一方をもたらす段階と、を含むことを特徴とする方法。

請求項2

前記第1のパラメータは、時間パラメータであることを特徴とする請求項1に記載の方法。

請求項3

前記時間パラメータは、予め決められた量の時間、写真が撮影される速度、開始時間、及び終了時間からなる群から選択されることを特徴とする請求項2に記載の方法。

請求項4

前記1人又はそれよりも多くの個人を撮影する段階は、撮影される該1人又はそれよりも多くの個人の各々を識別するために少なくとも1つの感覚入力を利用する段階を含むことを特徴とする請求項1に記載の方法。

請求項5

前記少なくとも1つの感覚入力は、聴覚入力、視覚入力タッチ入力、及び遠隔デバイス入力からなる群から選択されることを特徴とする請求項4に記載の方法。

請求項6

前記1人又はそれよりも多くの個人を撮影する段階は、撮影される該1人又はそれよりも多くの個人の各々を識別するために音の位置と顔面検出又は顔面認識とのうちの少なくとも一方を利用する段階を含むことを特徴とする請求項1に記載の方法。

請求項7

前記第1のパラメータは、前記ロボットデバイスをして写真又はビデオを撮影する個人を検索させ、写真又はビデオを撮影する該ターゲット個人を選択させ、かつ写真又はビデオを取り込みながら動きを通じて該ターゲットを追跡させることを特徴とする請求項1に記載の方法。

請求項8

写真及びビデオのうちの少なくとも一方をクラウドアップロードする段階を更に含むことを特徴とする請求項1に記載の方法。

請求項9

写真及びビデオのうちの前記少なくとも一方に対する削除、編集、及びトリミングからなる群から選択されるアクションをユーザが実行することを可能にする段階を更に含むことを特徴とする請求項1に記載の方法。

請求項10

写真及びビデオのうちの前記少なくとも一方をソーシャルメディアウェブサイトにアップロードする段階を更に含むことを特徴とする請求項1に記載の方法。

請求項11

写真及びビデオのうちの少なくとも一方をソーシャルメディアウェブサイトに又は別のデバイス電子メールするか又は他にデジタルで送信する段階、又は別のデバイスから画像又はビデオを受信する段階を更に含むことを特徴とする請求項1に記載の方法。

請求項12

撮影される個人の感情的状態を観察する段階と、前記観察された感情的状態に応答して、前記個人の好ましい感情的状態を誘発する待ち行列を発する段階と、を更に含むことを特徴とする請求項1に記載の方法。

請求項13

前記個人の前記好ましい感情的状態は、笑顔であることを特徴とする請求項12に記載の方法。

請求項14

前記待ち行列は、クラウドから受信したデータから少なくとも部分的に導出されることを特徴とする請求項12に記載の方法。

請求項15

ユーザから第2のパラメータを受信する段階と、前記第2のパラメータに従って前記1人又はそれよりも多くの個人を撮影する段階と、を更に含むことを特徴とする請求項1に記載の方法。

請求項16

前記第2のパラメータは、前記1人又はそれよりも多くの個人の各々の少なくとも1つの写真又はビデオを撮る要求であることを特徴とする請求項15に記載の方法。

請求項17

前記画像の構成を改良するために撮影される前記個人への要求をブロードキャストする段階、又は該個人から入力を受信する段階を更に含むことを特徴とする請求項15に記載の方法。

請求項18

前記要求は、前記1人又はそれよりも多くの個人のうちの少なくとも1人に静止のままに留まるように指図することを特徴とする請求項17に記載の方法。

請求項19

前記1人又はそれよりも多くの個人のうちの少なくとも1人の識別子に対する要求をブロードキャストする段階と、前記1人又はそれよりも多くの個人のうちの前記少なくとも1人から識別子を受信する段階と、前記受信した識別子を前記1人又はそれよりも多くの個人のうちの前記少なくとも1人の写真及びビデオのうちの少なくとも一方に関連付ける段階と、を更に含むことを特徴とする請求項1に記載の方法。

請求項20

前記命令は、前記ユーザから受信されることを特徴とする請求項1に記載の方法。

請求項21

ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスの一部を形成するコンピュータ可読媒体上に存在するコンピュータプログラム製品であって、前記コンピュータ可読媒体は、プロセッサによって実行された時に、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、第1のパラメータに従って前記環境内の1人又はそれよりも多くの個人を撮影する命令を受信する段階と、前記第1のパラメータに従って前記1人又はそれよりも多くの個人を撮影して写真及びビデオのうちの少なくとも一方をもたらす段階と、を含む作動を前記プロセッサに実行させる複数の命令を格納する、ことを特徴とするコンピュータプログラム製品。

請求項22

前記第1のパラメータは、時間パラメータであることを特徴とする請求項21に記載のコンピュータプログラム

請求項23

前記時間パラメータは、予め決められた量の時間、写真が撮られる速度、開始時間、及び終了時間からなる群から選択されることを特徴とする請求項22に記載のコンピュータプログラム。

請求項24

前記1人又はそれよりも多くの個人を撮影する段階は、撮影される該1人又はそれよりも多くの個人の各々を識別するために少なくとも1つの感覚入力を利用する段階を含むことを特徴とする請求項21に記載のコンピュータプログラム。

請求項25

前記少なくとも1つの感覚入力は、聴覚入力、視覚入力、タッチ入力、及び遠隔デバイス入力からなる群から選択されることを特徴とする請求項24に記載のコンピュータプログラム。

請求項26

前記1人又はそれよりも多くの個人を撮影する段階は、撮影される該1人又はそれよりも多くの個人の各々を識別するために音の位置及び顔面認識のうちの少なくとも一方を利用する段階を含むことを特徴とする請求項21に記載のコンピュータプログラム。

請求項27

写真及びビデオのうちの前記少なくとも一方をクラウドにアップロードする段階を更に含むことを特徴とする請求項21に記載のコンピュータプログラム。

請求項28

写真及びビデオのうちの前記少なくとも一方に対する削除、編集、及びトリミングからなる群から選択されるアクションをユーザが実行することを可能にする段階を更に含むことを特徴とする請求項25に記載のコンピュータプログラム。

請求項29

写真及びビデオのうちの前記少なくとも一方をソーシャルメディアウェブサイトにアップロードする段階を更に含むことを特徴とする請求項21に記載のコンピュータプログラム。

請求項30

写真及びビデオのうちの前記少なくとも一方をソーシャルメディアウェブサイトに電子メールする段階を更に含むことを特徴とする請求項21に記載のコンピュータプログラム。

請求項31

撮影される個人の感情的状態を観察する段階と、前記観察された感情的状態に応答して、前記個人の好ましい感情的状態を誘発する待ち行列を発する段階と、を更に含むことを特徴とする請求項21に記載のコンピュータプログラム。

請求項32

前記個人の前記好ましい感情的状態は、笑顔であることを特徴とする請求項31に記載のコンピュータプログラム。

請求項33

前記待ち行列は、クラウドから受信したデータから少なくとも部分的に導出されることを特徴とする請求項31に記載のコンピュータプログラム。

請求項34

ユーザから第2のパラメータを受信する段階と、前記第2のパラメータに従って前記1人又はそれよりも多くの個人を撮影する段階と、を更に含むことを特徴とする請求項21に記載のコンピュータプログラム。

請求項35

前記第2のパラメータは、前記1人又はそれよりも多くの個人の各々の少なくとも1つの写真を撮る要求であることを特徴とする請求項34に記載のコンピュータプログラム。

請求項36

前記1人又はそれよりも多くの個人のうちの少なくとも1人に静止に留まる要求をブロードキャストする段階を更に含むことを特徴とする請求項34に記載のコンピュータプログラム。

請求項37

前記1人又はそれよりも多くの個人のうちの少なくとも1人の識別子に対する要求をブロードキャストする段階と、前記1人又はそれよりも多くの個人のうちの前記少なくとも1人から識別子を受信する段階と、前記受信した識別子を前記1人又はそれよりも多くの個人のうちの前記少なくとも1人の写真及びビデオのうちの少なくとも一方に関連付ける段階と、を更に含むことを特徴とする請求項21に記載のコンピュータプログラム。

請求項38

前記命令は、前記ユーザから受信されることを特徴とする請求項21に記載のコンピュータプログラム。

技術分野

0001

〔関連出願への相互参照
この出願は、これによりその全体が引用によって組み込まれる2013年3月15日出願の米国特許仮出願番号第61/788,732号の利益を主張するものである。

0002

本出願は、一般的に永続性コンパニオンデバイスに関する。特に、本出願は、デバイスとの感情的な関与及び/又はアプリケーションコンテンツサービス、又はコンパニオンデバイスのユーザのコンパニオンデバイスとの対話に関する長期的データ収集に関連付けられた感情的な関与を提供するために、個人の環境に継続して存在してコンパニオンデバイスのユーザと対話するようになったコンパニオンデバイスを提供するための装置及び方法に関する。

背景技術

0003

スマートフォン及びタブレットコンピュータのようなデバイスは、ネットワーキング機能、高精細ビデオタッチインタフェース、及びアプリケーションのような益々増大する機能を有するが、そのようなデバイスは、デバイスとの対話から交友の利益又は強化された感情的体験を提供するような人間のユーザに関与するそれらの機能が制限されている。交友を提供するための改良されたデバイス及び関連の方法及びシステムに対する必要性が存在する。

先行技術

0004

米国特許出願第2009/0055019 A1号明細書

課題を解決するための手段

0005

本発明の開示は、デバイスとの感情的な関与及び/又はアプリケーション、コンテンツ、サービス、又はコンパニオンデバイスのユーザのコンパニオンデバイスとの対話に関する長期的データ収集に関連付けられた感情的な関与を提供するために、個人の環境に継続して存在してコンパニオンデバイスのユーザと対話するようになったコンパニオンデバイスを提供するための方法及びシステムに関する。デバイスは、関連のハードウエアソフトウエア、及び他の構成要素と対話して本明細書で更に説明するような広範囲なアプリケーションのための豊富な対話を提供するシステムの一部とすることができる。

0006

例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、時間パラメータに従って環境内の1人又はそれよりも多くの個人を撮影する命令を受信する段階と、時間パラメータに従って1人又はそれよりも多くの個人の写真を撮影して1つ又はそれよりも多くの写真をもたらす段階とを含む。

0007

例示的かつ非制限的実施形態により、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスの一部を形成するコンピュータ可読媒体上に存在するコンピュータプログラム製品において、複数の命令が格納されたコンピュータ可読媒体は、プロセッサによって実行された時に、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、時間パラメータに従って環境内の1人又はそれよりも多くの個人を撮影する命令を受信する段階と、時間パラメータに従って1人又はそれよりも多くの個人の写真撮影をして1つ又はそれよりも多くの写真をもたらす段階とを含む作動をプロセッサに実行させる。

0008

例示的かつ非制限的実施形態により、方法は、ユーザの環境の存続するようになったテレプレゼンスデバイスを与える段階と、期間にわたるデバイスとユーザの間の対話を表すデータを含むデバイスからの長期的データを収集する段階とを含む。

0009

別の例示的かつ非制限的実施形態により、方法は、個人の環境に連続的に存続してコンパニオンデバイスの遠隔ユーザの制御に応答して個人と対話するようになった遠隔通信対応遠隔制御ロボットデバイスを与える段階と、環境内の個人の少なくとも1人とコンパニオンデバイスの遠隔ユーザとのコンパニオンデバイスを用いた対話に関するデータを収集するための長期的データ収集設備を与える段階とを含む。

0010

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続してユーザと対話するように適応されてアニメートユーザインタフェースを含むテレプレゼンスデバイスを与える段階と、デバイスを利用してユーザインタフェースを通じてユーザからのデータを収集する段階とを含む。

0011

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続し、かつユーザとのアニメート対話を模擬するユーザインタフェースを通じてユーザと対話するようになった遠隔通信対応ロボットデバイスを与える段階と、デバイスを手持ち携帯可能であるように適応させてユーザの環境を通してユーザがデバイスを移動することを補助する段階と、安定化設備を用いてユーザの環境内の非平坦面上にデバイスを安定的に位置決めするようにデバイスを適応させる段階とを含む。

0012

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境の存続するようになったテレプレゼンスデバイスを与える段階と、デバイスとユーザ間の対話を表すデータを含むデバイスからの長期的データを収集する段階と、収集したデータに少なくとも一部基づいて対話の質を高めるための機械学習設備を与える段階とを含む。

0013

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、デバイスとユーザ間の対話を表すデータを含むデバイスからの長期的データを収集する段階と、デバイスとユーザ間の対話の成功尺度を決定し、かつ機械学習設備の適用に基づいて対話を適応させる段階と、成功の尺度に対する影響を反復的に決定する段階と、期間にわたって対話を改善する段階とを含む。

0014

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階を含み、デバイスは、ユーザの環境に典型的な少なくとも1つの非平坦面を含む複数の面に安定的に位置決めされるようになっており、デバイスは、ユーザの環境を通して手持ち携帯可能であるように適応される。

0015

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階を含み、デバイスは、ユーザの環境の社会的手掛かり絶えず知覚するようになっており、デバイスは、手持ち携帯可能であるように適応される。

0016

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続し、かつユーザとの社会的でアニメート様の対話を提供するユーザインタフェースを通じてユーザと対話するようになった遠隔通信対応ロボットデバイスを与える段階と、デバイスを手持ち携帯可能であるように適応させてユーザの環境を通してユーザがデバイスを移動することを補助する段階と、ユーザの環境内の非平坦面上にデバイスが安定的に位置決めされることを可能にするように安定化設備を用いてデバイスを適応させる段階と、ユーザの環境から社会的手掛かりデータを収集するためのロボットデバイスの社会的データ収集モジュールを与える段階とを含む。

0017

そのような実施形態により、社会的データ収集モジュールは、ユーザの社会的動作を示すセンサデータ、ユーザの社会的顔面表情を示すセンサデータ、ユーザの社会的発話を示す音声認識データ、ユーザの環境内の他の個人のプレゼンスを示す動きデータ、ロボットデバイス上のユーザによる社会的タッチの使用を示すタッチデータ、及びユーザの環境から遠隔の個人からの社会的通信を示す通信データからなる群から選択されるデータを選択する。

0018

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、ユーザからの複数の言語信号及び非言語信号をデバイスで受信する段階と、複数の受信言語信号及び非言語信号に応答してデバイスの挙動を適応させる段階とを含む。

0019

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、ユーザからの複数の言語信号及び非言語信号をデバイスで受信する段階と、複数の受信言語信号及び非言語信号に応答してデバイスの挙動を適応させる段階とを含み、適応は、適応のライブラリに基づいており、適応は、ユーザとのデバイスのラポールを改善する可能性が高いとしてユーザからの言語及び非言語信号によって示された対話のタイプを決定することに基づいてライブラリから選択され、適応は、機械学習設備にラポールの尺度を給送し、かつ機械学習設備の制御下でユーザとのデバイスの対話を適応させることによって改善される。

0020

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、デバイスを通じて個別のデバイスペルソナをユーザに表現する段階とを含む。

0021

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスロボットデバイスを与える段階と、ロボットデバイスにペルソナを提供するようになった個別のロボットデバイス機能を各モジュールが有効にするロボットデバイスの複数のペルソナモジュールを有効にする段階と、ユーザの少なくとも1つの特質を決定する段階と、決定した特質に基づいてロボットデバイスのペルソナを選択する段階及び適応させる段階のうちの少なくとも一方とを含み、ペルソナモジュールは、ロボットデバイスの発話のボリューム、ロボットデバイスの発話のパターン、ロボットデバイスによって使用される社会的表現のライブラリ、ロボットデバイスによって使用される動作のライブラリ、ロボットデバイスのアニメーション外見、ロボットデバイスによって使用されるコンテンツのライブラリ、及びユーザの環境内の社会的手掛かりに対するロボットデバイスの応答性のうちの少なくとも1つを制御する。

0022

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、育成する要求を含む1つ又はそれよりも多くの社会的手掛かりをデバイスから送信する段階と、1つ又はそれよりも多くの社会的手掛かりに応答して、1つ又はそれよりも多くの育成応答をユーザから受信する段階とを含む。

0023

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、ユーザによるデバイス育成挙動を各手掛かりが勧める1つ又はそれよりも多くの手掛かりをデバイスから送信する段階とを含む。

0024

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、デバイスのユーザ、デバイスのユーザのコンパニオンデバイスとの対話、及びデバイスのユーザの環境のうちの少なくとも1つに関する情報を収集するための感知設備及びデータ収集設備のうちの少なくとも一方を与える段階と、収集した情報に基づいてユーザの必要性状態を予想する段階とを含む。

0025

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、デバイスのユーザ、デバイスのユーザのコンパニオンデバイスとの対話、及びデバイスのユーザの環境のうちの少なくとも1つに関する情報を収集するための感知設備及びデータ収集設備のうちの少なくとも一方を与える段階と、収集した情報を分析してユーザの必要性状態を予想して決定する段階と、決定された必要性状態に対処するようにロボットデバイスの挙動を適応させる段階とを含む。

0026

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、ユーザの必要性のエリア識別する段階と、テキストベースメッセージの送信及びソーシャルメディアイトへの接続のうちの少なくとも一方を通じて必要性のエリア内の家族及び友達のうちの少なくとも一方の接続をユーザに与える段階とを含む。

0027

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、ユーザの必要性のエリアを識別する段階と、家族及び友達のうちの少なくとも一方の接続をユーザに与える段階と、必要性のエリアをソーシャルネットワーキング環境内の少なくとも一方の家族又は友達に通信する段階とを含み、通信は、ロボットデバイスの遠隔通信機能を通じてユーザと対話する勧誘を含む。

0028

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、ユーザの必要性の感情を識別する段階と、少なくとも1つのトリガを実行して感情的必要性に関連付けられたアンカーをトリガする段階とを含む。

0029

別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、データ収集設備及びセンサのうちの少なくとも一方を使用してユーザの感情的状態を示すデータを収集する段階と、収集したデータを分析して感情的状態に基づいてユーザの感情的必要性を識別する段階と、識別した感情的必要性に関連付けられたロボットデバイスのアンカー挙動をトリガする段階とを含む。

0030

図は必ずしも縮尺通りに描かれておらず、同じ数字は、いくつかの図面を通じて実質的に類似の構成要素を表すことができる。異なる添え字を有する同じ数字は、実質的に類似の構成要素の異なる事例を表すことができる。図は、一般的に制限ではなく一例として本文書に説明するある一定の実施形態の詳細説明を示している。

図面の簡単な説明

0031

例示的かつ非制限的実施形態によるPCDの多くの図を示す図である。
例示的かつ非制限的実施形態によるPCDのソフトウエアアーキテクチャを示す図である。
例示的かつ非制限的実施形態による精神社会的対話モジュール(PSIM)のアーキテクチャを示す図である。
例示的かつ非制限的実施形態によるPCDによる挨拶対話の単純化されたバージョンを示すタスクネットワークを示す図である。
例示的かつ非制限的実施形態によるPCDのハードウエアアーキテクチャを示す図である。
例示的かつ非制限的実施形態によるPCDの機械的アーキテクチャを示す図である。
例示的かつ非制限的実施形態による電話応対及びメッセージングサービスを提供する方法を示す流れ図である。
例示的かつ非制限的実施形態によるPCDによって物語中継する方法を示す流れ図である。
例示的かつ非制限的実施形態によるPCDの使用によるユーザの感情的状態を示す及び/又は左右する方法を示す流れ図である。
例示的かつ非制限的実施形態によるPCDによる物語演技又はアニメーション機能を有効にする方法を示す流れ図である。
例示的かつ非制限的実施形態による経歴を生成及び符号化する方法を示す流れ図である。
例示的かつ非制限的実施形態による対話データアクセスしてそれを使用してユーザの必要性に対処する方法を示す流れ図である。
例示的かつ非制限的実施形態によるユーザ入力に基づいてPCDの挙動を調節する方法を示す流れ図である。

実施例

0032

例示的かつ非制限的実施形態により、個人/ユーザの環境に連続的に存続してコンパニオンデバイスのユーザと対話するための永続性コンパニオンデバイス(PCD)を提供して説明する。以下に詳しく説明するように、PCDは、動きグラフィック、音、光、臭いで表現することができる個別のペルソナを有する永続的社会的プレゼンスを提供する。PCDの各実施形態に付随する「デジタル」の概念を以下に詳しく説明する。本明細書で使用する「デジタル魂」は、PCDによるアクションを決定及び実行するための入力として機能するデジタルフォーマットで格納することができる複数の属性を指す。本明細書で使用する「環境」は、PCDのセンサによるユーザの観察を可能にするのに十分ユーザに近い範囲のユーザの物理的な環境を指す。

0033

このデジタル魂は、ユーザがPCDの対話/インタフェースに付随する社会感情的/個人間感覚を通じて社会的対話及びラポール構築活動に関わるように作動する。以下に詳しく説明するように、PCD100は、そのユーザのために様々な機能を実行することができる。以下に詳しく説明する例示的かつ非制限的実施形態により、PCDは、(1)人々/ユーザ間のより意味のある参加型の物理的に組み込まれた社会的状況の対話を促進及びサポートすることができ、(2)以下に限定されるものではないが、有用な情報をユーザに与える段階と、写真家として挙動するような特定のサービスのスケジューリング、リマイディング、提供を補助する段階とを含む個人的なサービスを提供するアシスタント又は何かとしてPCDが作動する実用的なタスクの成果従事して家族物語及び知識(特別なレシピなど)などを家族が生成/保存/共有することを補助することができ、及び(3)ユーザを楽しませ(例えば、物語、ゲーム、音楽などのメディア又はコンテンツ)、かつ同伴及び親交を提供することができる。

0034

例示的かつ非制限的実施形態により、以下に制限されないが以下を含む複数の作動のモードを通じてPCDの様々な機能を達成することができる。
i.擬人化されたインタフェースを通じて、改善した交友関係を提供するように時間と共に適応させることができる特徴を含む様々な性格の特質を任意的に表現する作動。
ii.表現豊かな温かい人間らしいインタフェースを通じて情報、並びに感情を伝えることができる作動。以下に説明するように、そのようなインタフェースは、顔面表情(アニメーション又は動きのいずれかによる)、身体の動き、グラフィック、音、発話、色、光、臭いなどを含むいくつかの手掛かりを通じて感情、情緒、及び性格を表現することができる。
iii.複数のソース(センサ、データ、他のデバイスからの情報、インターネット、GPS、その他)にわたる前後関連の長期的な情報の収集を通じて、ユーザに適合するようにPCDを益々調整し、適応させ、更に調節する作動。
iv.ユーザの必要性/要求に最良適合するように適応自己構成自己治癒を通じた作動。
v.特定の状況及びそのユーザの社会的及び感情的な特異性の考慮を通じた作動。

0035

図1を参照すると、例示的かつ非制限的実施形態によるPCD100のいくつかの図が示されている。図示のように、PCD100は、例えば、容量性センサ102を含む複数の例示的な入力/センサデバイスを組み込んでいる。1つ又はそれよりも多くの容量性センサ102は、以下に限定されるものではないが、ストロークハグ、又はタッチなどを含む物理的な社会的対話を感知することができ、ユーザインタフェースとして任意的に機能することができる。PCD100は、ユーザから入力を受信し、並びにユーザへのPCD100によるデータの出力のためのグラフィックディスプレイとして機能するように構成されたデバイスとしてタッチスクリーン104を更に組み込むことができる。PCD100は、以下に限定されるものではないが、静止画像及び映像を含む視覚的性質の入力を受信するための1つ又はそれよりも多くのカメラ106を更に組み込むことができる。PCD100は、ユーザから入力を受信するために1つ又はそれよりも多くのジョイスティック108を更に組み込むことができる。PCD100は、音声データを発するか又は他に出力するための1つ又はそれよりも多くのスピーカ110を更に組み込むことができる。PCD100は、1つ又はそれよりも多くのマイクロフォン112を更に組み込むことができる。

0036

PCDソフトウエアアーキテクチャ

0037

図2を参照すると、例示的かつ非制限的実施形態によるソフトウエアアーキテクチャ200を描写するブロック図が示されている。このソフトウエアアーキテクチャ200は、個人工知能、機械学習、及びロボットの実施形態を通じて、並びに広範囲のアプリケーションにわたって接続されたデバイスを通じて、人々に関わる場合がある感情的に共鳴し易いペルソナとして生きる体験をPCD100が提供することを可能にする関連のソフトウエア及びハードウエアシステムのような技術に適応させることができる。

0038

例示的かつ非制限的実施形態により、PCD100に関連付けられた知性は、1つ又はそれよりも多くのカテゴリに分割することができ、個人間のソーシャルコードを機械に符号化することができる。一部の実施形態において、これらの1つ又はそれよりも多くのカテゴリは、PCDの認知−感情アーキテクチャの基礎とすることができる。1つ又はそれよりも多くのカテゴリは、以下に限定されるものではないが、精神社会的認知、精神社会的学習、精神社会的対話、及び精神社会的表現などを含むことができる。知性の精神社会的認知カテゴリは、個人間の社会的手掛かりの統合機械認知視覚聴覚、タッチなど)を含み、PCD100の自然な社会的インタフェース及び遠視野対話をサポートすることができる。精神社会的学習カテゴリは、PCD100が、直接対話を通じて及びPCD100及びデバイスエコシステムによって取り込まれたマルチモードデータからのデータ分析を通じて人々のアイデンティティ活動パターンプリファレンス、及び関心に関して学習することができるアルゴリズムを含むことができる。PCDは、近距離又は遠距離通信範囲に入った人々の音声サンプルを記録し、音声識別システムを使用して検出された人々のアイデンティティ及び個人データを取得することができる。PCDは、BL対応デバイスディスカバリーチャネルブロードキャストされたUUIDを検出し、デバイスユーザに関連付けられた個人データを復号することができる。PCDは、取得したアイデンティティ及び個人データを使用してFacebook、Twitter、又はLinkedInなどのようなソーシャルネットワーキングサイトから追加の個人情報を収集することができる。PCDは、人々の構築された個人プロファイルディスプレイと共に近距離又は遠距離通信範囲で検出された人々のプレゼンス及びアイデンティティを公開することができる。

0039

精神社会的対話カテゴリは、タスク及び活動をサポートし、同時に人との信頼及び感情的な絆を構築するラポール構築スキルのような積極的決定処理を全ての言語及び多様式挙動を通じてPCD100が実行することを可能にすることができる。知性の精神社会的表現カテゴリは、PCD100がそのマルチモード出力を結集して「生き返らせ」、コンテンツを活性化し、発話、動き、グラフィック、音、及び照明を結集させて感情的に適応したペルソナとして人々に関与することを可能にすることができる。アーキテクチャ200は、マルチモード機械知覚技術、発話認識、表現的発話合成に対応するモジュール、並びに費用対効果を利用するハードウエアモジュール(すなわち、移動デバイスに共通の構成要素)を含むことができる。図1に示すように、PCD100内に1つ又はそれよりも多くのソフトウエアサブシステムを提供し、これらの1つ又はそれよりも多くのサブシステムを以下に詳しく説明する。

0040

心理社会的知覚

0041

PCD100の心理社会的知覚は、音声入力を処理するために使用することができる聴覚知覚、及びユーザの位置を認めて、ユーザの感情を捉え、ユーザのアイデンティティ及び動作を認識して、ユーザとの対話を維持するために使用することができる視覚空間知覚を含むことができる。PCD100の聴覚知覚は、マイクロフォンのアレイ202、204のような1つ又はそれよりも多くの信号処理技術及び自動発話認識モジュール206を使用して実施することができる。聴覚知覚は、固有の感知設備を備えた移動コンピュータエコシステムに対して生成される構成要素及び技術を利用して対話型ソーシャルロボット要件を処理することによって実施することができる。PCD100は、マイクロフォンアレイ202を使用して発話を通じたマルチモード遠距離対話及び信号処理モジュール204aを使用したノイズ相殺技術、並びに自動発話認識モジュール206及び聴覚場面分析によって補助する第三者解決法をサポートするためのハードウエア及びソフトウエアを含むことができる。

0042

PCD100は、ノイズの多い環境で人が話していることを聞き理解するように適応するように構成することができる。これを実行するために、自動発話認識機(ASR)モジュール206に通す前に信号処理モジュール204aに音声信号を通すことができる。音声信号が処理され、発話を静的及び動的背景ノイズエコーモータから分離して、ASRの成功率を上げるために他の人が話していることも分離する。

0043

例示的かつ非制限的実施形態により、PCD100は、空間構成において少なくとも4つのMEMSマイクロフォンのアレイを使用するように構成することができる。音声到着時刻に基づくアルゴリズム(本明細書ではビーム形成アルゴリズムと呼ぶ)を利用して音声を特定の方向に分離することができる。全ての6つのマイクロフォン信号方向ベクトル、及びマイクロフォンの配置を使用して、ビーム形成アルゴリズムは、特定の空間ソースから来た音声を分離することができる。ビーム形成アルゴリズムは、同時に複数のビームを可能にすることによって複数の音源に関する情報を提供することができる。これに加えて、発話−非発話検出アルゴリズムは、発話源を識別して、スピーカの空間的局所性を提供することができる。一部の実施形態において、方向、並びに方向を変える及び向けるためのモータ機能を選択するために、ビーム形成情報をPCD100の視覚及び認識システムに統合することができる。例えば、3Dセンサを使用して、3D空間における個人の頭の位置を検出することができ、それに応じて、方向をビーム形成アルゴリズムに通信して、ASRモジュール206に沿って通過する前に感知された位置から来る音を分離することができる。

0044

作動中に、PCD100は、話す又はノイズを作ることのいずれかによって音を生成することができる。信号処理モジュール204aは、これらの音がマイクロフォンアレイ202を通って戻り、ADRモジュール206に入らないように構成することができる。スピーカのノイズを取り除くために、信号処理モジュール204aは、マイクロフォンによって受信される信号からスピーカに送られる信号を取り去ることができるアルゴリズムを利用することができる。高調成分の多いモータノイズを低減するために、機械的方法及び信号処理技術を実施するようにPCD100を構成することができる。

0045

一部の実施形態において、PCD100は、モータの異なるポートモニタしてモータのこれらの部分から発生するノイズに対処することができる。一例において、PCD100は、ブンブンいう音で電機子ベアリングによって発生する場合がある高周波数を吸収することができるエラストマー材料内にモータに設置するように構成することができる。モータは、ブラシを含む場合があり、モータが高速で回転される時だけ知覚される風を切る音を発する場合がある。従って、PCD100は、風を切る音を防ぐために比較的低速でアニメーション及び動きを示すことができる。これに加えて、PCD100は、風を切る音に対してモータの速度を下げることにより、低ギア率を実施するように構成することができる。典型的には、低品質PWMドライブは、ホビイストのサーボに見出されるような高ピッチヒューという音を生成する場合がある。モータノイズのこの部分を排除するために、PCD100は、良質のPWMドライブによって構成することができる。一般的に、モータのギアは、モータノイズの大部分を占める低ピッチの粉砕音を引き起こす場合がある。最終的なギアドライブは、動力伝達における大きいトルク担持する場合があり、従って、多くのノイズの源である。このノイズの元を最小にするために最終的なギアドライブを摩擦ドライブ置換するようにPCD100を構成することができる。これに加えて、モータによって生成されるノイズを低減するために信号処理技術を利用するようにPCD100を構成することができる。一部の実施形態において、マイクロフォンを各モータの隣に設置して、それによって主マイクロフォンアレイ202の信号からノイズ信号を取り去ることができる。

0046

PCD100の音声パイプラインの出力は、ノイズが除去された音声源をASRモジュール206に送ることができ、ASRモジュール206は、発話を文字に、及び可能であれば例えばASRのnベスト出力又は単語ラティスを使用して意味のある信頼レベルで充実された代替競合単語仮定に変換することができる。次に、発話(単語)の文字表現解析して、ユーザの意図及びユーザが提供する情報を「理解」して最終的には記号表示構文)に変換することができる。ASRモジュール206は、通常のボリューム及び一般的な個人間の通信距離に対応する距離のユーザからの発話を理解することができる。一例において、周囲のノイズ及び発話の質を含む多数の環境的属性に応答して、距離を5−6フィートに近づけるか又はそれよりも大きくすることができる。一例において、発話認識範囲は、一般的な12フィート×15フィートの部屋のエリアを覆わなくてはならない。ASRモジュール206に給送される信号は、マイクロフォンアレイビーム形成アルゴリズムの結果になり、スピーカの周りの約±30度の音響角度から発生することができる。比較的狭い音響角度は、低下した発話認識精度の主原因である背景周囲ノイズ及び反響の一部を能動的に低減することができる。音声信号が低すぎるシナリオでは、例えば、マイクロフォンから遠すぎる話者又はあまりにもゆっくり話す話者に起因して、PCD100は、話者により近づくように(例えば、3Dセンサによって決定される話者の距離を利用することができる場合)、又はよりも大きい声で話すように、又はこの両方を積極的に話者に要求することができる。一部の実施形態において、PCD100は、文法及び統計的言語モデルSLM)によって大きい語彙認識をサポートすることができるリアルタイム組み込み式ASR解決法を利用するように構成することができる。音響ASRモジュールは、発話認識率を改善するために音響リグからのデータを使用して訓練/調節することができる。

0047

例示的かつ非制限的実施形態により、PCD100は、ASRモジュール206とPCD100の対話システムの間に挟み込むことができる自然言語処理層を含むように構成することができる。自然言語処理層は、ASRによって生成されたテキスト取り上げ、このテキストに意味を割り当てることができる自然言語理解NLU)モジュールを含むことができる。一部の実施形態において、NLUモジュールは、増補バッカス・ナウ形式(BNF)記法、Java(登録商標音声文法形式(JSGF)、又は音声認識文法形式(SRGF)のような形式に適応するように構成することができ、上述の組み込み式音声認識器によってサポートすることができる。より多くのユーザ発話が収集されるので、PCD100は、従来の文法を漸次的に統計的文法に変換することができ、高度な音声認識及び理解性能を提供することができ、自動データ駆動適応を可能にする。

0048

例示的かつ非制限的実施形態により、PCD100は、各対話タスクのためのマルチモードダイアログシステムユーザインタフェース設計原理を使用して構造化された対話の流れを(PCD100の頭脳に導入されたタスクネットワーク表現に基づいて)設計するように構成することができる。対話の流れは、マルチモード入力(例えば、音声及びタッチ)を連続して(例えば、一度に1つの入力)又は同時に(例えば、入力を受信した順序で独立して処理される)受信して、マルチモード出力(例えば、音声プロンプト、PCDの動き、ディスプレイアイコン及びテキスト)を生成するように設計することができる。一例として及び制限としてではなく、PCD100は、イエス/ノーの質問を訊ねることができ、PCD100の眼を1つ又はそれよりも多くのタッチセンサによって選択されるイエス/ノーアイコンを備えた疑問符の形に変えることができる。一部の実施形態において、PCD100は、意図を表すことができる自然言語対話(例えば、おい!写真を撮ろうよ!)を処理するように適応させることができる。一部の実施形態において、対話は、「誘導ダイアログ」方式で続けることができる。例えば、写真を撮影する意図が識別された後に、PCD100は、聞いたことを確認するため又は追加の情報をねる(例えば、あなたは私にあなたを撮影して欲しいの?)ために誘導質問をすることができる。

0049

視覚的−空間的知覚

0050

例示的かつ非制限的実施形態により、PCD100は、RGBカメラ212、奥行きカメラ214、及び他のセンサのような1つ又はそれよりも多くの視覚的−空間的知覚センサを利用して2D画像、3D画像を受信し、又は動き又は色を感知することができる。PCD100は、周囲の環境でユーザの感情知覚を達成するように構成することができる。例えば、PCD100は、各個人の表現された感情的状態を検出することができる。PCD100は、視覚的−空間的知覚サブシステムを含み、ユーザ及び環境の瞬間毎の物理的な状態を追跡することができる。このサブシステムは、ユーザの現在の状態の推定値ローカル知覚スペースLPS)208と呼ぶ動的に更新され共有されるデータ構造として他の内部ソフトウエアモジュールに提供することができる。LPSは、PCD100の現在の位置で中心になる単一3D座標系における複数の知覚入力ストリームを結合することによって構築することができ、センサを個人の動きを考慮に入れることができる力学的変換を使用して3Dに登録することができる。一部の実施形態において、LPS208は、情報の複数の「レベル」を維持するように設計することができ、各々が、詳細の高レベルに進行して、処理及びキー感覚入力を要求することができる。LPS208レベルは以下を含むことができる。

0051

個人検出−このレベルは、近くの周囲に存在する個人を検出することができる。例えば、PCD100は、センサを使用して近くの個人の数を計算することができる。一部の実施形態において、システムにおける視覚動き待ち行列を利用して、PCD200を向けることができる。焦電赤外線(PIR)感知及び単純なマイクロフォン出力を統合して、マイクロコントローラウェークアップを実施することができ、それによって本発明のシステムを低電力スリープ」状態にすることができるが、依然として部屋に入る人に反応することができる。これが視覚動き手掛かり及び色セグメンテーションモデルに結合して、個人のプレゼンスを検出することができる。検出はLPS208に統合することができる。

0052

個人追跡:PCD100は、3Dで人を配置するように構成することができ、従って、映像、奥行き、動き、音、色、特徴及び活動的な動きのような個人の軌道をセンサを使用して決定することができる。例えば、視覚動き検出と3D個人検出の組合せを使用して、ユーザを(特にユーザの頭/顔)を配置することができる。またLPS208は、オクルージョン及び同時に存在する人に対処するために時間モデル及び他の入力を含むように適応させることができる。動き及び3D手掛かりに加えて、本発明のシステムは、画像からオンラインカラーセグメンテーションモデル(ナイーブベイズ)を(可動領域及び3Dから)学習して、適応的にユーザの顔と手を背景から分離して複数の入力の結果をLPS208の空間及び時間フィルタリングに結合し、本発明のシステムのための堅牢人位置検出を提供することができる。

0053

個人識別:PCD100は、視覚センサ聴覚センサ、又は人IDのタッチ入力を使用して、公知の及び未知の人を識別することができる。一例において、1つ又はそれよりも多くのオープンソースOpenCVライブラリを顔識別モジュールに使用することができる。これに加えて、個人追跡情報及び動き検出を結合して、顔検出の候補である画像領域の制限されたセットを識別することができる。

0054

姿勢/動作追跡:PCD100は、視覚分類(例えば、顔、身体の姿勢、骨格追跡など)、又はタッチマッピングを使用して各個人の姿勢又は姿勢を識別することができる。一部の実施形態において、3Dデータセットを使用して、この特徴とPCD100のセンサモード合体することができる。一例において、視覚及び3D視覚特徴追跡に基づくカスタム動作認識を加速させるためにオープンソース動作認識ツールキットを導入することができる。

0055

注意フォーカス:PCD100は、フォーカスエリアを決定するように構成することができ、それによってPCD100は決定されたフォーカスエリアを指す又は見ることができる。様々なセンサを注意フォーカスのための位置/方向のセットに組み合わせることができる。例えば、個人の推定位置はLPS208で注意フォーカス位置のセットを生成することができる。これらは、定められた位置に対する注意ドライブの信頼性を備えた個人の推定に対する最大可能性位置とすることができる。焦点及び方向のセットは、信頼性によって格付けされ、他のモジュールによって使用されるLPS208データの全体的な要約が生成される。PCD100は、これらの焦点及び方向を使用して視線目標を選択し、ユーザに直接対処してシームレスに複数のユーザ間で「視線を反転する」ことができる。更に、これは、PCD100ロボットが低信頼位置を見て近くのユーザのプレゼンスを確認することを可能にする。

0056

例示的かつ非制限的実施形態により、PCD100は、システムにおける活動推定を含むように構成することができ、又は音声入力、並びに音声の韻律からの感情的状態の推定による追跡及び識別のための多くのセンサ様式を組み込むことができる。LPS208は、処理された入力特徴に対して格子ベース粒子フィルタモデルを使用して複数の入力からのデータを組み合わせることができる。粒子フィルタは、PCDの部分における更に別の感知及び作動によって解決すべき十分な不確実性が存在する時に、ユーザの物理的な状態の堅牢なオンライン推定、並びに複数の仮説ケースに対する表現の支援を提供することができる。粒子フィルタリング技術は、ジョイント分配の明示的なクローズフォームモデルを要求することなく、物理的に測定可能ユーザ状況の単一確率的モデルに、関連の属性及び感知入力の混合を自然に結合させることができる。また、格子ベースの粒子フィルタは、単一座標系における3D(ステレオ)及び2D(視覚)感知の入力を配合し、スペースがあらゆる予め決められた時間に単に1つの対象によって占められるという制約施行を補助することができる。

0057

例示的かつ非制限的実施形態により、PCD100は、ヒューリスティック案分布及びヒューリスティック移行モデルを含むように構成することができ、PCD100が直接見ることができない時にも時間と共にモデルユーザ状況の捕捉を補助することができる。これは、PCD100による言語及び非言語手掛かりを使用したマルチパーティ会話ナチュラルターンテーキングを可能にすることができ、粒子フィルタリングフレームワーク内に容易に合わせることができる。この結果、原則に基づく様式で人間中心のヒューリスティックと堅牢な統計的推定を組み合わせることができる。LPS208は、繰り返される対話から以前の確率分布を学習することができ、個人が、廊下ドアから、及びカウンタ付近から現れる場合があるスペースの「ホットスポット」に適応して、この空間的情報を使用してユーザに最も関連のある位置を自動的に標的にすることができる。低レベル画像及び信号処理コードをカスタマイズすることができ、OpenCV、統合映像ツールキット(IVT)、一般的な数字処理及びプロセッサ固有の最適化ライブラリのためのEigenのような品質オープンソースツールに基づくことができる。

0058

例示的かつ非制限的実施形態により、喜び、怒り、軽蔑、嫌悪感、恐怖悲しみ混乱欲求不満、及び驚きのような感情の様々なレベルをビデオストリームから認識するようにPCD100を構成することができる。一部の実施形態において、PCD100は、頭の位置、性別年齢、及び誰かが眼鏡を付けている、顔ひげなどがあるか否かを決定するように構成することができる。

0059

例示的かつ非制限的実施形態により、音声入力システムがユーザに向けられる。一部の実施形態において、例えば、ロボットの動き、力学、及び注意方向の推定される3Dフォーカスに応答して、リアルタイムで音声ビーム形成機能の方向を更新するようにPCD100を構成することができる。これは、関連のある活動的な音声入力がある場合にPCD100が選択的に特定の「セクター」を聞くことを可能にすることができる。これは、フル3D人感知及び注意のフォーカスとの統合によってASR及びNLU機能の信頼性を上げることができる。

0060

空間的確率学習

0061

例示的かつ非制限的実施形態により、空間的確率学習技術を利用して、ユーザがユーザのプレゼンスを入力した時にPCD100がより円滑に関与することを補助することができる。時間と共に、PCD100は、ユーザの到着及びジョイントプレゼンスのシーケンス思い出して定められた部屋のこれらの統計値蓄積することができる。これは、入室したユーザとの契約規則を予想する機能をPCD100に与えることができ、それによってPCD100に、定められた期間にセクターの向きを変えさせて部屋の占有者を推測させることができる。例えば、この特徴は、PCD100に限定予想を使用する機能を提供して、PCD100が部屋に入ってくる人を完全に識別することができる前に「おい、ビリーはあなた?」のような対話をサポートすることができる。PCD100は、一日の同じ時間に誰かを見る可能性の高い空間的方向に向くことができる。

0062

心理社会的対話

0063

例示的かつ非制限的実施形態により、PCD100は、完全に自立した人工的なキャラクターとすることができる。PCD100は感情を有することができ、独自の目標を(ユーザ入力に基づいて)選択することができ、クローズループリアルタイム制御システムを実行して独自の目標を達成し、ユーザを幸せかつ健康に保つことができる。心理社会的対話モジュール(PSIM)は、クローズループの区分化された時間制御システムの上位層であり、センサの出力を処理して出力及び表現のための作動を選択することができる。様々な支援処理がCPUで同時に進行することができ、感覚入力を非同期的決定モジュールに配信することができる。「チェックマーク」は、決定サイクルであり、PCD100の蓄積されたセンサ情報、現在の短期メモリ/知識及びタスク駆動の意図的状態を結合して、新しい作動及び表現を選択することができる。

0064

図3Aは、例示的かつ非制限的実施形態によるPSIM300のアーキテクチャを示している。PSIM300の中核は、他の要素の作動をまとめるエグゼクティブ302である。エグゼクティブ302は、PCD100の頭脳の定期的な更新を実行する役割をする。PSIM300の各「チェックマーク」は、新しい指令を以下の様式で心理社会的表現モジュールに出すことに向けて動く処理段階のセットを含むことができる。

0065

内部更新:
a.感情の更新
b.目標選択

0066

入力処理
a.心理社会的知覚304からの非同期入力サンプリングされ決定モジュールのブラックボード306に更新される。
b.入力は、個人の位置、顔IDサンプル、及び様々なユーザからの解析されたNLU発話のような情報を含むことができる。
c.ブラックボード306として更新する必要がある新しい情報だけがキャッシュのように作動させることができる。
d.これに加えて、現在のタスクに関連する情報を取り込む必要がある。

0067

問合せ処理
a.いずれの知識問合せ作動からの結果も、心理社会的知識ベース308からブラックボード306にサンプリングされる。
b.これは、現在の決定で使用する問合せ作動の保留処理の結果を収集することができる。

0068

タスクネットワーク310:考える/更新する
a.エグゼクティブ302は、タスクネットワーク310の「考える」作動を実行することができ、あらゆる必要な作動及び決定が各レベルで行われる。タスクネットワーク310のアクティブノードのセットをこの処理中に更新することができる。
b.タスクネットワーク310は、ロボット対話のための階層式コントローラとして作用する状態機械ベースの論理の柔軟性のある形式である。

0069

出力処理
a.特定のブラックボード306フレームにロードされた出力は、心理社会的表現モジュール312に転送される。

0070

例示的かつ非制限的実施形態により、エグゼクティブ302は、タスクネットワーク310におけるタスクの非同期ディスパッチの重要なサービスを提供することができる。ネットワーク310におけるあらゆるタスクが、あらゆるコンピュータ集中作動を実行するための非同期ディスパッチを要求することによって同時背景スレッドに計算を延期することができる。この特徴は、決定サイクルを「阻止する」又はPCD100の決定処理の応答性を変えることなく、膨大な計算及び作動としてのゆっくりとした又は遮るようなネットワークI/Oのような事柄をタスクネットワーク310がまとめることを可能にすることができる。一部の実施形態において、エグゼクティブ302は、タスクネットワーク310の新しいセクションを生成するプランニング作動をディスパッチすることができ、これらは、製品の知性の成長としてプランニング機能を通じて作動を拡張するために実行ツリーに動的に添付される。タスクネットワーク310は、同時階層式有限状態機械(CHFSM)の形式として想定することができる。しかし、挙動ツリー設計として使用される方法は、個人間の設計者及びソフトウエアエンジニアがコンテンツパイプライン内で対話型の体験を作り上げるために共に働くことを可能にすることに大きい成功を収めた。タスクネットワーク設計は、従来のプログラミング言語におけるタスクの清浄で効率的な実施及び合成を可能にすることができる。

0071

図4は、PCD100による挨拶対話の単純化バージョンを示すタスクネットワークを示している。タスクネットワーク310のアーキテクチャは、様々な表現、動き、感知作動及び発話をエンジン内に統合することを可能にして、それによってPCD100の対話力学における完全な制御を設計者に与える。図示のように、ネットワークの小さい部分が作動中のあらゆる時間に能動的である。視覚タスクネットワーク表現を使用して、コンテンツ生成の一部として技術的及び設計オーディエンスの両方に通信することができる。この例では、PCD100のPIRセンサがエリアに入ってきた人を検出している。PCD100は、PCD100が誰かに挨拶する必要があるという事実に気付き、「ユーザに挨拶」シーケンスを開始する。この「ユーザに挨拶」シーケンスは、動き手掛かりで追跡を初期化して、次に、「ハロー」と話し掛けることができ、これと同時に近づいてくるユーザの追跡を更新する。PCD100は、映像入力の更新を続けて、ユーザの顔IDを取り込むことができる。このシナリオでは、IDによってJaneであることが分かり、それによってPCD100はシーケンスの次の部分に進み、PCD100が発話を形成して、ジェーンがどうしているかにチェックインすることができ、応答することができるようにASR/NLU処理ウィンドウを開く。ジェーンが何か言った状態で、知識問合せを使用して、「良い」又は「悪い」に発話を分類することができ、PCD100は、ジェーンに対する適切な身体の及び会話の反応を形成して、PCD100の挨拶を完了することができる。ネットワークは、知性がどのように働くかの概念を伝えることができる。

0072

心理社会的表現
例示的かつ非制限的実施形態により、PCD100は、PCD100の社交的な性質補完することができるエンジンを含むように構成することができる。例えば、このエンジンは、発話出力修正するためのタグ付けシステムを含むことができる。このエンジンは、PCD100の音声品質の制御を可能にすることができる。一例において、PCD100の音声を制御するために音声アーティストによって記録を実行することができる。このエンジンは、組み込み式デバイスのための高品質圧縮音声ファイル及び簡単な価格設定モデルのような特徴を含むことができる。PCD100は、身体の関節の回転のアニメーション、グラフィック、形、質感、及び色を提供するためのアニメーションエンジンLED照明、又は気分カラー、タイミング、及びPCD100のいずれかの他の表現態様を含むことができる。これらのアニメーションは、音声手掛かり、発話、臭いのような他の表現出力を伴うことができる。次に、アニメーションエンジンは、異なる速度、移行、及び曲線間でそのアニメーションの全て又は一部を演じることができ、これをリアルタイムで手続きアニメーションに配合する。このエンジンは、異なるPCDモデル、形状、及び自由度に柔軟に適応することができる。

0073

動的ターゲティング

0074

例示的かつ非制限的実施形態により、PCD100は、3D空間のポイントに手順通りにPCD100を向けることができるアルゴリズムを利用するように構成することができる。PCD100の眼は、単一ポイントに固定されているように見えるが、PCD100の本体は、別のアニメーションを再生することができ、又は眼が先導して本体が特定の方向に向くようによることができる。一部の実施形態において、PCDのルックアット目標を計算するためのクローズ形式の幾何学的ソルバを使用することができる。次に、このターゲット姿勢は、加速制約、加算的配合/階層化、及び模擬VOR前庭動眼反射)のサポートを含むことができるマルチターゲット配合システムに給送される。

0075

シミュレーション

0076

例示的かつ非制限的実施形態により、アニメーションエンジンは、アニメーションと手順アニメーションを仮想的に再生して配合することができるシミュレータを含むことができる。シミュレータは、顔検出のような感覚入力を模擬することができる。一部の実施形態において、ロボットの質量、モータの電力、及びロボットの現在のドローリミットを考慮に入れてアニメーションを実質的にして試験するバーチャルモデルへの物理的シミュレーションを構築することができる。

0077

0078

例示的かつ非制限的実施形態により、個人のグラフィック描写、例えば、PCD100の眼は、関節を使用して作ることができ、眼を変形させたり眼自体を異なる物体にすることができる。眼のグラフィックエンジンは、カスタムアニメーションファイルを使用して、虹彩を異なる形に変形させ、瞬きさせ、色を変え、及び質感を変えて、全ての範囲の表現を可能にすることができる。

0079

グラフィック

0080

PCDAPIは、2Dシーングラフ様式インタフェースにおけるグラフィック、写真、アニメーション、ビデオ、及びテキストの表示をサポートすることができる。

0081

プラットフォーム及びエコシステム

0082

PCD100は、高度に統合された高性能組み込み式Linux(登録商標)システムに基づいて、移動デバイス「コンパニオン」アプリケーションのエコシステム、クラウドベースバックエンド、及び購入可能なコンテンツ及び機能を備えたオンラインストアに結合されたプラットフォームである。

0083

PCD SDK

0084

PCD SDKは、第三者の開発者が低学習曲線で機能を追加することができるオープン及び柔軟性プラットフォームを提供するためにJavascript(登録商標)及び最新ウェブ開発コミュニティのオープン言語を利用することができる。PCD SDKによって生成された全てのPCDアプリケーション、コンテンツ及びサービスは、PCDアプリケーションストアからダウンロードして利用することができる。TTS、知覚認識、NLU、アニメーションなどを含むPCDの機能の全ては、PCDAPIを通じて利用可能になる。このAPIは、ノードJS、V8の上位に構築されるJavascript(登録商標)プラットフォーム、クロムのオープンソースJavascript(登録商標)エンジンを使用する。ノードJSは、高速で効率的なイベント駆動モデルを使用して、ロボットプログラミングに移行する。ノードJSは、独創的に大量の機能を備えており、アドオンとして容易に拡張可能である。PCDのAPIは、ノードJSのアドオンになる。アドオンが容易に取り除けるか又は修正されるので、開発者がPCDと対話することができる方法を制御することができる。例えば、開発者は、アウトバウンドソケットを生成することができるが、アウトバウンド接続の数を制限することができる。

0085

クラウドアーキテクチャ

0086

例示的かつ非制限的実施形態により、高度なクラウドベースのバックエンドプラットフォームを使用して、PCDの知性をサポートすることができ、フレッシュコンテンツを検索して人々がその家族とホットにすることができる。家庭内のPCDデバイスは、Wi−Fiを通じてクラウドのPCDサーバに接続することができ、PCDクラウドサーバへのアクセスは、安全性が高く暗号化されたウェブ通信プロトコルに頼る。様々なアプリケーションをiOS、Android及びHTML5に対して開発することができ、多忙のPCDユーザ、介護者及び家族メンバーをサポートすることができる。これらの移動及びウェブアプリケーションにより、PCD100は、常にあなたと共にいることができ、多数のデバイスで、あなたのプリファレンス、必要性、及び関心をより良くサポートする方法を学習しながら支援を提供することができる。図2を参照すると、PCD100は、PCD100を家族に固有にすることができるデータの全てをクラウドにミラーするように構成することができ、それによってユーザは、将来のPCDロボット公開に容易にアップグレードしてユーザが設定したペルソナ及び関係を保存することができる。例えば、PCDのサーバは、クラウドストレージ214にデータを収集して、PCDロボット及び他の接続されたデバイスからメトリックを計算して、機械学習アルゴリズムユーザモデル216を改善しPCDペルソナモデル218を適応させることができるように構成することができる。クラウドストレージ214の収集されたデータを使用して、ユーザの共感を呼ぶPCD特徴を分析して、製品の提供を継続して改良するためにPCDエコシステムにわたる使用パターンを理解することができる。

0087

例示的かつ非制限的実施形態により、クラウドベースのバックエンドプラットフォームは、多数のPCS間で共有されるように意図されたデータの格納及び分散に使用されるデータベースシステムを収容することができる。クラウドベースバックエンドプラットフォームは、サービスアプリケーションをホストして、人々の識別におけるPCD(例えば、音声IDアプリケーション)及びソーシャルネットワークとの相互作用を通じて個人マルチモードデータの収集をサポートすることができる。

0088

クラウドベースのサーバ

0089

例示的かつ非制限的実施形態により、1つ又はそれよりも多くのPCD100は、圧縮JSONを使用したRESTフルベースのウェブサービスを使用してクラウドベースサーババックエンドと通信するように構成することができる。

0090

セキュリティ

0091

例示的かつ非制限的実施形態により、OAUTH認証モデルと共にゼロ構成ネットワークプロトコルを使用して、アイデンティティを認証することができる。Apache shiroは、追加のセキュリティプロトコルアラウンドロール及び許可を提供することができる。全ての細心の注意を払うべきデータはSSLを通じて送られる。サーバ側では、コンテンツトークンを取得するためにOAUTHを利用した厳密なファイヤウォール構成を使用するデータを保護することができる。これに加えて、クラウドベースのサーバへの全ての呼出しは、有効なコンテンツトークンを有することが望ましい。

0092

コンテンツ配信

0093

例示的かつ非制限的実施形態により、サーバAPIは、定められたPCDデバイスで使用された最後のコンテンツを取得するためにウェブサービス呼出しを含む。このウェブサービスは、保留中のメッセージ全てのリスト、警報、更新されたリスト(例えば、ショッピングリマインダー、チェックインなど)、及び簡潔コンパクトジョブマニフェストにおける他のコンテンツを戻すハイレベル呼出しを提供することができる。次に、PCDロボットは、その現在のアジェンダに日和見的に基づくそのマニフェストに表された保留中のデータを検索することができる。一部の実施形態において、PCDの信頼はクラウドにあり、リスト、リマインダー、チェックイン及び他のアプリケーション状態マスター記録がPCDサーバに格納されることを意味する。ロボットが最新のコンテンツへのアクセスを有するようにするために、APIは、頻繁に呼び出されてコンテンツが日和見的に(しかし、タイムリーな方法で)収集される。

0094

ワークフロー管理

0095

例示的かつ非制限的実施形態により、クラウドにオフロードされリアルタイムでは結果を戻さない機能を使用することができる。これは、上述のアジェンダベースのメッセージ待ち行列の概念に密接に結び付けることができる。これに加えて、RESTフルウェブサービスAPI及びアプリケーションサーバへのディスパッチジョブを通じてサービスに対する要求を可能にすることができるサーバアーキテクチャを伴うことができる。Amazonシンプルワークフロー(SWF)又は類似のワークフローを使用して、従来のメッセージ待ち行列システムと共にそのようなシステムを実施することができる。

0096

更新

0097

例示的かつ非制限的実施形態により、更新を要求することができるコンテンツは、オペレーティングシステムカーネルファームウエアハードウエアドライバ、V8エンジン又はPCD100のコンパニオンアプリケーションを含むことができる。これらのコンテンツの更新は、ウェブサービスを通じて利用することができ、ウェブサービスは、利用可能な更新のタイプに関する情報を戻し、特定の項目の要求を可能にする。PCDがユーザ活動阻害しないために日和見的になる必要が頻繁にあるので、ロボットは、適用することができる場合は更新を要求することができる。更新を定期的にプルするためにPCDロボットに頼るのではなく、あるタイプの更新の利用可能度をロボットにプッシュすることができる。

0098

ロギング/メトリック
例示的かつ非制限的実施形態により、PCD100はログ情報をサーバに送信することができる。サーバは、このデータを適切な容器SQL又はNoSQL)に格納することができる。データを分析するためにHadoop(AmazonMapReduce)及びSplunkのようなツールを使用することができる。メトリックは、問合せ可能にすることができ、それによって人々がどのようにPCD100と対話して使用するかについて報告を実行することができる。これらの分析の結果を使用して、PCDがどのように学習、対話、及び挙動するかのパラメータ、及び将来の更新に望ましい場合がある特徴を調節することができる。

0099

機械学習

0100

例示的かつ非制限的実施形態により、様々な訓練システム及びフィードバックループを開発して、PCDロボット及びクラウドベースのシステムが継続して改良されるようにすることができる。PCDロボットは、機械学習アルゴリズムを訓練するために使用することができる情報を収集することができる。機械学習のある量をロボット自体で発生させることができ、しかし、クラウド内ではデータを多くのソースから集約して分類子を訓練することができる。クラウドベースのサーバは、ある一定の量のデータを人間のコーダー送り、正確に聞き取られた、見られた、又は理解された確率の低いコンテンツの曖昧さを排除することによってグラウンドトゥルースを決定することを可能にする。新しい分類子が生成された状態で、新しい分類子を上述の更新システムを通じて送り出すことができる。分類子/予想子の機械学習及び訓練は、監督された、監督されていない、又は強化された学習方法とより複雑なグラウンドトゥルースの人間コーディングとの両方に跨がることができる。訓練信号は、PCDロボットが、音声、タッチプロプト、笑った顔、動作のようなユーザによって生成されるタスク又は明示的なフィードバックを達成したという知識を含むことができる。顔及び音声データを含むことができるカメラからの画像を蓄積して使用し、クラウドにおけるそれぞれのシステムの質を改善することができる。

0101

テレプレゼンスサポート

0102

例示的かつ非制限的実施形態により、ビデオチャットオプションを含むテレプレゼンス機能を使用することができる。ユーザの安全を保証するためにビデオチャット周りのセキュリティモデルが有効にされる。これに加えて、ビデオチャット機能の許可されていない使用からエンドユーザを保護するために、ロール、許可及びセキュリティインフラストラクチャーを利用するウェブアプリケーション及び移動デバイスアプリケーションを使用することができる。

0103

ソフトウエアインフラストラクチャー

0104

PCDのソフトウエアシステムのハイレベルの機能は、清浄で堅牢な信頼できる開発環境を本出願個人のハイレベルソフトウエアシステムに提供するために、キーライブラリ、ボードサポート、ドライバ及び他の従属関係によってカスタマイズされる堅牢で有能な組み込み式Linux(登録商標)プラットフォームに構築される。トップレベル機能的モジュールが、本発明者の組み込み式Linux(登録商標)システムにおける処理として実施される。PCDのモジュールインフラストラクチャーは、Javascript(登録商標)でのコンテンツ、対話及び挙動の柔軟性スクリプトをサポートしながら言語ライブラリに基づいてC++及びCにおけるタクシング作動をコンピュータでサポートすることを具体的に目標にしている。C++モジュール及びライブラリとして詰められたキー拡張及びサポートによってV8JavaScript(登録商標)エンジン及び成功したノードJSプラットフォームに構築される。

0105

ハードウエアシステムアーキテクチャ

0106

図5Aは、PCD100の1つ又はそれよりも多くの機能の知覚性、モータ、接続性、電力、及びコンピュータの必要性をサポートするように設計されるPCD100のハードウエアアーキテクチャを示している。一部の実施形態において、PCD100の1つ又はそれよりも多くのハードウエア要素は、ハイエンドタブレット及び他の移動デバイスで使用することができるコアハードウエアの特殊化及び適応である。しかし、形状、動き及びセンサの物理的な実施及び構成は、PCD100に固有である。PCD100の全体的な物理的構造は、本明細書では3リングゼータタイプと呼ぶことができる。PCD100の物理的な構造のそのようなタイプは、PCD100に、清浄で制御可能な魅力的な作動のラインを提供することができる。一部の実施形態において、注意及び感情を伝えるためにキャラクターアニメータを使用することができる原理から構造を導出することができる。PCD100の物理的な構造は、3つのリングの体積、動きの範囲及び必要なセンサ配置に基づいて機械的及び電気的アーキテクチャの境界を定義することができる。

0107

例示的かつ非制限的実施形態により、PCD100は、動きに対する3つの軸、1つ又はそれよりも多くのステレオビジョンカメラ504、マイクロフォンアレイ506、タッチセンサ式機能508及びLCDディスプレイ510のようなディスプレイを含むように構成することができる。動きに対する3つの軸は、感情的な表現及び自然な方法でセンサを向けユーザに付き添う機能をサポートすることができる。ステレオビジョンカメラ504は、ビデオ入力、カメラスナップなどを提供するためのユーザの3D位置及び追跡をサポートするように構成することができる。マイクロフォンアレイ506は、ビーム形成音声入力をサポートしてASR性能を最大にすることができる。タッチセンサ式機能508は、PCD100を友達のようにし、又はユーザインタフェースの形式のようにする代替の対話を可能にすることができる。LCDディスプレイ510は、感情的な表現、並びに動的情報表示をサポートすることができる。周囲LED照明を含むことができる。

0108

例示的かつ非制限的実施形態により、ハードウエアアーキテクチャ500を組み込み式制御及びロボットスペースからのCOTSプロセッサに基づいて移動デバイス及びタブレットスペースからのハイエンドアプリケーションプロセッサに結合することができる電子アーキテクチャを含むように構成することができる。組み込み式コントローラは、動き制御及び低レベルセンサ集約を担うことができ、ソフトウエアスタック大多数がアプリケーションプロセッサで実行される。製品の電気ボードは、V1設計では機能毎に分離され、これは、ロボットの物理的な構造に一致するようなモジュール方式を提供することができ、1つのボードにおける設計変更が大きい設計更新に広まる必要性を軽減することができる。一部の実施形態において、電気アーキテクチャは、ハードウエア同期をサポートすることができる2つのモバイル産業ベース低解像度MIPIカメラモジュールを統合することができるカメラインタフェースボードを含むことができ、それによって取り込んだ画像をステレオシステムに対して時間で登録することができる。ステレオカメラは、連続モードでビデオをストリーミングするように設計される。これに加えて、カメラインタフェースボードは、高解像度写真及びビデオ会議ビデオ品質を撮影するための単一RGBアプリケーションカメラをサポートすることができる。RGBアプリケーションカメラは、特定の写真撮影、画像スナップ及びビデオアプリケーションに使用されるように設計することができる。

0109

例示的かつ非制限的実施形態により、ハードウエアアーキテクチャは、マイクロフォンアレイ506を運ぶことができるマイクロフォンインタフェースボード音声処理及びコーデックサポート514を含むことができ、音声のデジタルストリーム主アプリケーションプロセッサ516に送信することができる。本発明者のコーデック514からの音声出力は、音声分離のために本体の別のセクションにあるスピーカ518として経路指定することができる。

0110

例示的かつ非制限的実施形態により、ハードウエアアーキテクチャは、本体の中央セクションに統合することができる本体制御ボード520を含むことができ、PCD100のためのモータ制御、低レベル本体感知、電力管理及びシステムウェークアップ機能を提供する。例示的に及び制限としてではなく、本体制御ボード520は、産業規格Cortex−M4Fマイクロコントローラプラットフォームの周りに構築することができる。これに加えて、アーキテクチャ500は、コアシステムオンチップ(SoC)プロセッサを提供してロボットシステムの残りを互いに結びつけることができるアプリケーションプロセッサボードを含むことができる。一部の実施形態において、ボードは、システムオンモジュール(SoM)を使用して、早期にプロトタイプを開発する時間及び費用を最小限にすることができる。一部の実施形態において、アプリケーションプロセッサボードは、コスト低減及び製作を単純化するためにSoCプロセッサを含むことができる。アプリケーションプロセッサボードのキーインフェースは、MIPIカメラ、ディスプレイ、無線通信及び高性能音声をサポートするためのインタフェースを含むことができる。

0111

例示的かつ非制限的実施形態により、ハードウエアアーキテクチャ500は、PCD100の電力要件に対応することができる電力管理ボード522を含むように構成することができる。電力管理ボード522は、電力調節器バッテリ充電器及びバッテリを含むことができる。電力調節器は、入力電力を調節するように構成することができ、それによってハードウエアアーキテクチャ500の1つ又はそれよりも多くの要素又はボードは調節された電源受け入れることができる。バッテリ充電器は、長時間PCD100を作動させることができるようにバッテリを充電するように構成することができる。一部の実施形態において、PCD100は、充電ドック/ベース/クレードルを有することができ、ベースに置かれた時はPCD100が内部バッテリを充電することができるように壁のプラグ及びブラインドメイト充電コネクタを組み込んでいる。

0112

機械的アーキテクチャ

0113

例示的かつ非制限的実施形態により、PCD100の様々な特徴が、単一デバイスの形式でユーザに提供される。図6Aは、使い易い方法でユーザに様々な特徴を提供するために望ましいソフトウエア及びハードウエアアーキテクチャを含むように構成することができるPCD100の例示的な設計を示している。PCD100の機械的アーキテクチャは、静かな優美さと表現力のために最適化され、材料の費用効率を上げることに着目する。いくつかの十分に成長した市場から最適な要素を注意深く選択してこれをPCD100のための固有の組合せに一緒に有してくることにより、固有のデバイスが製造される。図6Aに示すように、機械的アーキテクチャは、PCD100内の例示的な位置のマイクロフォンボード、主ボード、バッテリボード、本体制御ボード、カメラボードのような様々なボードの配置を示している。これに加えて、1つ又はそれよりも多くの通気口が、PCD100の設計に提供され、冷却効果を与えるための適切な空気の流れを可能にする。

0114

以下に説明する様々な例示的かつ非制限的実施形態により、PCDは、プロセッサと通信する複数のセンサを利用してデータを感知する。以下に説明するように、これらのセンサは、プロセッサがタスクを実行するために一連プログラマブルアルゴリズムを通じて作動する感覚入力の全ての方式を取得するように働く。これらのタスクの達成において、PCD100は、PCD100の一部を形成するローカルメモリに格納されたデータを使用して、サーバのようなリモートに又は有線又は無線モード通信などを通じてクラウドに格納されたデータにアクセスする。同様に、PCD100は、タッチスクリーン、スピーカ、触覚要素のような様々な出力デバイスを使用して、社会的対話に従事しているユーザに情報を出力する。データの作動及び相互作動性、センサ、プロセッサ、及びコンパニオンデバイスに関する通信のモードを詳述する追加の制限ではない開示は、内容が本明細書に引用によって組み込まれる公開米国特許出願第2009/0055019 A1号明細書に見出だすことができる。

0115

本明細書に説明する実施形態は、特にPCD100とユーザ間の社会的対話を達成するためにそのようなコンパニオンデバイスを適用することができる特徴及び機能の新しいかつ非自明の実施形態を示している。当業者に公知のように、センサデータ及び技術の様々な形式を物理的環境からの社会的手掛かりを認め検出するために使用することができることを理解しなければならない。そのような技術は、以下に限定されるものではないが、音声及び発話認識、視線移動追跡、個人間の姿勢、位置、動きの視覚的検出などを含む。そのような技術に関して説明しているが、本発明の開示は、本明細書に説明する特徴及び実施形態を達成するためにPCD100によってデータを取得、処理、及び出力するいずれかの及び全ての方法を網羅するために広義に引用される。

0116

例示的かつ非制限的実施形態により、PCD100は、移動電話、PDA、腕時計などのような移動コンピュータデバイスなどで実行された時に、バーチャルなプレゼンスとして純粋に物理的実施形態で表すことができ、又は物理的/仮想的ロボットの混合モードとして表すことができる。一部の実施形態において、混合モード、物理的、又は仮想的PCDを駆動するためのソース情報を全て同じ実施形態のように取得することができる。例えば、GUIインタフェースを通じて入力されデータベースに格納されるソース情報は、機械的PCD、並びに仮想PCDの一部を形成するディスプレイのアニメーション構成要素を駆動することができる。一部の実施形態において、ソース情報は、AIシステムからの出力、リアルタイム感知からの出力、ソースアニメーションソフトウエアモデル、力学的情報モデルなどを含む様々なソースを含む。一部の実施形態において、純粋に仮想のキャラクター(ソース)の挙動に関する単一ソースからデータをプッシュすることができ、次に、物理的PCDのための物理的、並びに仮想的モードを出力することができる。この方式で、PCDの実施形態は、純粋に物理的なものから完全に仮想的なもの、両方のいくつかを伴う混合モードに跨がることができる。PCD100は、クラウドに格納することができるコアペルソナを有してコアペルソナとして表現され、ユーザが物理的デバイスによって実行していることを想起させ永続させることができ、それによって仮想ペルソナが、物理的デバイスによって引き起こっていることを思い出して反応することができ、逆の場合も同じである。人は、必要に応じて一方から他方に移る、二重の体験を有するなどのようなクラウドを通じた物理的及び仮想的インスタンスを管理することができる。

0117

図示のように、PCD100は、一般的に円形リングによって分離される3つの個別の本体セグメントを含む一般的に3部から構成される設計を取り入れる。内部モータなど(図示せず)を通じてリングの周りで各本体セグメントを回転させることにより、PCD100は、その形状を変えて様々な形状因子を達成し、並びにセンサ102、104、106、108,112によってユーザ及び他の対象を追跡するように構成される。様々な実施形態において、以下に限定されるものではないが、タッチスクリーン104の形状、表現本体の動き、特定の表現音及び格納術、話した時の特定の韻律の質及び声の質、デジタルインタフェース仕様、PCD100の「顔」、フルスペクトルLED照明要素などを含むPCD100の属性を静的に又は動的に構成することができる。

0118

例示的かつ非制限的実施形態により、PCD100は、マルチモードユーザインタフェースを利用するように構成することができ、多くの入力及び出力が同時に能動的であるものとすることができる。そのようなタイプの同時インタフェースは、堅牢なユーザ体験を提供することができる。一部の実施形態において、ユーザインタフェース入力又は出力の1つ又はそれよりも多くは、PCD100の比較的小さい最適作動をもたらす環境に応答して妥協することができる。様々なモードを同時に作動することで、ユーザ体験及びデバイスとの対話のフェイルセーフを助け、通信が失われないように保証することができる。

0119

例示的かつ非制限的実施形態により、PCD100は、PCD100のユーザに豊富な体験を提供するために1つ又はそれよりも多くの入力を処理するように構成することができる。PCD100は、ユーザの発話を認識するように構成することができる。例えば、PCD100は、発話から「ウェークアップワード」及び/又は他の機構を識別して、「偽陽性介入を低減する。一部の実施形態において、PCD100は、NxMフィートの近距離範囲における発話を認識するように構成することができ、N及びMは、発話の音質及びPCDの検出感度によって決定することができる。他の実施形態において、PCD100は、12フィート×15フィートの部屋の大きさの範囲を少なくとも覆うNフィートを超える遠距離範囲の発話を認識するように構成することができる。一部の実施形態において、PCD100は、話された言語よりも音を識別するように構成することができる。PCDは、PCDが認識して作動させることができる音から構成される音署名データベースを利用することができる。PCDは、直接又はクラウドベースの通信を通じて他のPCDデバイスとこのデータベースの内容を共有することができる。例示的に及び制限としてではなく、話された言語以外の音は、ガラス割れる音、ドアベル電話呼び出し音、個人が落下する音、サイレン声、可聴アラームなどに対応する音を含むことができる。PCD100は、PCD100の既存の分類子に一致しない音のソースを識別するようにユーザに求めることによって新しい音を「学習」するように構成することができる。デバイスは、複数の言語に対応することができる。一部の実施形態において、PCD100は、ウェークアップワードで近距離範囲の外側のユーザに対応するように構成することができる。デバイスの視野に入るようにユーザに要求することができる。

0120

一部の実施形態において、PCD100は、発話入力がいずれかの理由で損なわれた時に使用することができるタッチセンサ式エリアをその面に有することができる。これらのタッチ入力を使用して、PCD100は、イエス/ノーの質問を尋ねるか又はスクリーンにオプションを表示することができ、スクリーン上のユーザのタッチをユーザからの入力と見なすことができる。一部の実施形態において、PCD100は、特に2人又はそれよりも多くのユーザが視界内にいる時に、視覚及び動きを使用して、1個人のユーザを別のユーザと区別することができる。PCD100は、近距離範囲内で、全体の骨格及び動き、並びに一部の共通動作を解釈することができる。これらの動作は、デバイス制御ではなく社会的対話に向けられる。一部の実施形態において、PCD100は、写真及び動画を撮影するためにカメラを含むように構成することができる。一部の実施形態において、ユーザがカメラの定められた範囲にいる時に写真及び動画を撮影するようにカメラを構成することができる。これに加えて、PCD100は、ビデオ会議(ポップイン)サポートするように構成することができる。また、カメラが写真モードにある時に「赤目」を排除するモードを含むようにPCD100を構成することができる。

0121

一部の実施形態において、持ち上げられている、運ばれている、落下しているか否かを決定するようにPCD100を構成することができる。これに加えて、磁気探知機を実施するようにPCD100を構成することができる。一部の実施形態において、PCD100は、周囲の照明レベルを決定することができる。これに加えて、PCD100は、周囲の照明レベルに基づいて、ディスプレイ及びアクセント照明輝度レベルを適切なレベルに調節することができる。一部の実施形態において、PCD100は、デバイスの位置を見積もるためにGPSを使用する機能を有することができる。PCD100は、住居内の比較上の位置を決定することができる。一部の実施形態において、PCD100は、1つ又はそれよりも多くの受動IR動き検出センサ(PIR)を含み全体の又は遠距離動き検出をサポートするように構成することができる。一部の実施形態において、PCD100は、少なく1つのサーミスタを含み環境の周囲温度を示すことができる。

0122

例示的かつ非制限的実施形態により、PCD100は、知的で自然な声でユーザに「ワンボイス英語を話し掛けるように構成することができる。PCD100は、話される声のトーンを変えてアニメ化されたデバイスの感情的状態(PCD100が悲しい時は悲しい音)を模倣するように構成することができる。一部の実施形態において、PCD100は、発話、高忠実度音楽及び音効を再生することができる少なくとも1つのスピーカを含むように構成することができる。一部の実施形態において、PCD100は、複数のスピーカ、一方は発話のために、一方は音楽のためのもの、及び/又は特別な可聴信号及びアラームのための追加のスピーカを有することができる。発話専用スピーカは、ユーザに向けて配置することができ、音声周波数反応に合わせることができる。音楽専用スピーカは、フル周波数反応に合わせることができる。PCD100は、トゥルーカラー、フルフレームレートディスプレイを有するように構成することができる。一部の実施形態において、表示されたアクティブ画像を少なくとも直径4−1/2のラウンドマスク)にすることができる。一部の実施形態において、PCD100は、最小3度の動きの自由度を有することができ、環境の360度センサカバー範囲及び人間のような姿勢及び動きの範囲(表現に富む作動線)を可能にする。PCD100は、音、発話、アクセント照明、及びディスプレイグラフィックに物理的アニメーションを同期させるように構成することができる。この同期は、個人間の知覚にシームレスであるように十分近づけることができる。一部の実施形態において、PCD100は、周囲の通知及び社会的対話の両方のためのアクセント照明を使用することができる指定されたエリアを有することができる。デバイスの形式に応答して、PCD100のカメラが写真又は動画取り込みモードである時に、アクセント照明は被写体を照らすことを補助することができる。一部の実施形態において、PCD100は、カメラが写真取り込みモードにある時に被写体を自動的に照らすカメラフラッシュを有することができる。また、アクセント照明が対象の照明を達成するために良い場合もある。これに加えて、PCD100は、カメラが写真取り込みモードにある時に「赤目」を排除するモードを有することができる。

0123

例示的かつ非制限的実施形態により、PCD100は、ユーザを識別及び追跡することができる。一部の実施形態において、PCD100は、個人が近距離範囲に入った時に通知することができる。例えば、近距離範囲を10フィートとすることができる。別の実施形態において、PCD100は、個人が遠距離範囲に入った時に通知することができる。例えば、変距離範囲を10フィートとすることができる。一部の実施形態において、PCD100は、ビデオ(顔面認識)、奥行きカメラ(骨格特徴適合)、及び音(声ID)の組合せにより、最大5個人の異なるユーザを識別することができる。一部の実施形態において、「学習」ルーチンがPCD100によって使用され、PCD100が認識することができるユーザを学習する。一部の実施形態において、PCD100は、ビデオ、奥行きカメラ、及び聴覚情景分析の組合せにより、近距離範囲の全360度のユーザを配置し及び追跡することができる。一部の実施形態において、PCD100は、10フィートの遠距離範囲の全360度のユーザを配置し及び追跡することができる。一部の実施形態において、PCD100は、ユーザが近距離範囲にいる場合は必ず異なるユーザのそれ自体に対する位置の内部マップを維持することができる。一部の実施形態において、PCD100は、PCD100からユーザが更に離れた時に機能レベルが低下する場合がある。一部の実施形態において、PCD100のフル機能をPCD100の近距離範囲のユーザに利用可能にすることができる。一部の実施形態において、PCD100は、ユーザの気分及び反応を追跡するように構成することができる。一部の実施形態において、PCD100は、ビデオ分析、骨格追跡、発話韻律、ユーザ語彙、及び言語の疑問(すなわち、デバイスが「元気?」と尋ね反応を解釈する)の組合せにより、ユーザ又はユーザの群の気分を決定することができる。

0124

例示的かつ非制限的実施形態により、PCD100は、感情的な内容をアニメーションに配合するために人間のソーシャルコードによってプログラムすることができる。特に、ユーザ表現の知覚された感情的内容に基づいて、完全に自律的な方式で出力の感情的な内容を適切に調節するためにプログラム知性をPCD100に適用すべきである。PCD100は、発話、照明、動き、及び音効の組合せにより、感知されるユーザの気分の改善を試みるようにプログラムすることができる。PCDソーシャルコードは、ユーザとのラポールを構築する機能を提供することができ、すなわち、ミラー挙動、頭部姿勢の模倣などである。

0125

例示的かつ非制限的実施形態により、スポーツニュース及びゲーム、天気レポート、ニュース切り抜き、現在のイベントに関する情報などを含む積極的にカスタマイズされたインターネットコンテンツを学習されたユーザプリファレンスに基づく社会的介入方法でユーザに配信し、及び/又はユーザの潜在的な関心を広げる方法として情報及びデータを共有するためのその固有のプリファレンスを開発するようにPCD100をプログラムすることができる。

0126

コンテンツのタイプ及び各個々のユーザが認識していることを各個々のユーザに伝える方法の両方を作り変える機能によってPCDデバイスをプログラムすることができる。

0127

ユーザプリファレンス及びユーザ反応に基づいて時間と共に個々のユーザへのコンテンツのカスタマイズ化/配信を改良及び最適化する及び配信されたインターネットコンテンツの習性を処理する機能によってPCDデバイスをプログラムすることができる。

0128

ユーザとの社会的ダイアログに介入して配信された情報がユーザによって理解されたことを確認するようにPCDをプログラムすることができる。

0129

例示的かつ非制限的実施形態により、ユーザの活動を管理及びモニタするようにPCD100を構成することができる。一部の実施形態において、サービスと共に通信デバイス122は、ユーザの要求で、ユーザが買い物出発した状態でユーザに伝えることができる「やること」リスト、食料品、又は他のリストを生成及び格納することができる。一部の実施形態において、PCD100は、リストをユーザに(サービスを通じて)プッシュしてテキスト(SMS)メッセージとして移動電話にプッシュすることができ、又は要求時に本発明者のモバイル又はウェブアプリケーションのいずれかのユーザによってプルすることができる。一部の実施形態において、ユーザは、PCD100で音声を通じて、又はサービスを通じたモバイル又はウェブアプリケーションを通じてそのような要求を実行することができる。PCD100は、ユーザと対話してリストを管理することができる(すなわち、購入された/行われた/もう必要ない項目を取り除く、ユーザ履歴などに基づいて追加のリスト項目の提案を実行する)。PCD100は、周囲の会話におけるキーフレーズを聞いて理解する(すなわち、デバイスが「コーヒーを切らしている」を聞いて食料品リストにコーヒーを追加したいか否かをユーザに尋ねる)ことにより、必要性を推測してリストに追加することができる。

0130

例示的かつ非制限的実施形態により、PCD100は、正しい時間にユーザが生成したリマインダー又はメッセージを提供するように構成することができる。PCD100は、正しい時間にリマインダーを配信するための条件を設定するために使用することができる。一部の実施形態において、リマインダーに対する条件は、「あなたが明日の私を初めて見た時」、又は「私のが次に、ここに来た時」、又は「あなたが来週の火曜日の午後に初めて私を見た時」のようなリアルタイムの条件を含むことができる。条件セット満足された状態で、PCD100は、ユーザの注意を引き(「ルックアット」、並びにボディーランゲージ/表現の観点から)適切な声及びキャラクターでリマインダーを配信することができる。一部の実施形態において、PCD100は、リマインダーの気分的な内容を分析して、この情報を使用してそのリマインダーのアニメーション/照明/配信を左右することができる。他の実施形態において、PCD100は、指摘された作動をユーザが実行したか否かをPCD100がユーザに尋ねることによってPCD100がリマインダーを配信した後にユーザを追跡することができる。

0131

例示的かつ非制限的実施形態により、PCD100は、ユーザが与えることができる要求でユーザの不在をモニタすることができる。例えば、ユーザは、離れる時間及び理由(例えば、「私は今散歩に行こうとする」)、及びユーザが望ましい/要求された時間フレーム内に戻ったことをPCD100が保証することができるように活動の予想持続時間を通知することができる。ユーザが指定されたウィンドウ内に戻っていない場合に、PCD100は、この不測の事態に対してユーザによって指定された通りに緊急コンタクトを通知することができる。PCD100は、テキストメッセージを通じて及び/又はモバイルアプリケーションを通じて緊急コンタクトを通知することができる。PCD100は、ユーザが戻った時に活動におけるプレゼンス及びフォローアップを認識することができる(すなわち、活動がどうであったか、又は活動に関する他の質問を尋ねる)。そのようなタイプの対話は、PCD100とユーザ間の社会的対話を可能にすることができ、学習データベースのためのユーザに関する情報の収集を可能にすることができる。PCD100は、チェックアウト/チェックイン時間及び現在のユーザステータスをこの目的のためのユーザによって識別されている家族/友達に表示することができる。これは、モバイルアプリケーションを通じて達成することができる。PCD100は、より深い活動モニタリングパターンニングレポーティングを実行することができる。

0132

例示的かつ非制限的実施形態により、PCD100は、1つ又はそれよりも多くのデータ接続を通じて外部ネットワークに接続するように構成することができる。一部の実施形態において、PCD100は、WiFiデータ接続のような堅牢な高帯域幅無線データ接続へのアクセスを有することができる。一部の実施形態において、PCD100は、2.4GHZ及び5GHz帯域の両方における2x2の2ストリームMIMO構成による802.11nWiFi仕様を実施することができる。一部の実施形態において、PCD100は、他のBluetooth(登録商標)デバイス(医療センサオーディオスピーカなど)に接続することができる。一部の実施形態において、PCD100はBluetooth(登録商標)4.0LE(BLE)仕様を実施することができる。BLE対応PCD100デバイスは、マルチモードユーザデータを含み他のBLE対応PCD100デバイスと共有するためにそのUUIDをカスタマイズするように構成することができる。一部の実施形態において、PCD100は、3G/4G/LTE又は他のセルラーネットワークへの接続性を有することができる。

0133

例示的かつ非制限的実施形態により、多数のPCD100デバイスは、アドホックネットワーキング技術を使用してメッシュネットワーク構成で構成することができ、クラウドベースのサービスを必要とすることなく直接データ共有及び通信を可能にする。代わりに、複数のPCD100デバイス間で共有されるデータは、クラウドベースのデータベース/データセンターアップロード及び格納することができ、多数のPCD100デバイスにブロードキャストするために処理及び準備することができる。クラウドベースのデータサービスは、メッシュネットワーク構成に結合することができ、多数の場所における多数のPCD100デバイスのためのローカル及び中央データストレージの両方、共有、及び分散を提供することができる。

0134

例示的かつ非制限的実施形態により、コンパニオンアプリケーションは、PCD100に接続するように構成することができる。一部の実施形態において、コンパニオンアプリケーションは、以下のプラットフォーム、すなわち、iOS、Android、及びウェブで利用することができる。コンパニオンアプリケーションは、特徴又は機能にアクセスするために3より多い対話を必要としない直感的で使い易いユーザインタフェース(UI)を含むことができる。コンパニオンアプリケーションは、PCD100の仮想の対応物へのアクセスをユーザに提供することができ、それによってユーザは、この仮想の対応物にアクセスして本物のPCD100と対話することができる。

0135

一部の実施形態において、ユーザは、お買い物リスト、PCD100の活動ログのような情報にコンパニオンアプリケーションを通じてアクセス可能である。コンパニオンアプリケーションは、ユーザにPCD100のローカルのユーザ活動の長期的な報告を示すことができる。一部の実施形態において、コンパニオンアプリケーションは、ユーザをビデオ及び音声を通じてPCD100に接続することができる。これに加えて、コンパニオンアプリケーションは、ある条件(例えば、ローカルユーザが予想より遅れてチェックインし、騒がしい騒音がある及びローカルユーザが反応しないなど)をユーザに非同期に警告することができる。

0136

一部の実施形態において、1群のデバイスにわたる接続性又は制御を可能にするための管理/配備アプリケーションをウェブプラットフォームで利用することができる。管理アプリケーションのUIは、詳細な報告、設定、配備、及び/又はサポート機能への迅速なアクセスを必要とすることがある病院介護の管理者又は購入者に対応することができる。また、家族が、管理アプリケーションを使用してPCD100デバイスの管理されたセットを通じて格納された情報にアクセス可能である。管理アプリケーションは、ある条件(例えば、ローカルユーザが予想よりも遅れてチェックインし、騒がしい騒音があった、及びローカルユーザが反応しないなど)を管理者に非同期に警告することができる。これに加えて、管理アプリケーションは、その管理するデバイスの部分集合又は全てにわたってメッセージ及びリマインダーをブロードキャストすることができる。

0137

例示的かつ非制限的実施形態により、サポートコンソールは、PCD100のスタッフが1つ又はそれよりも多くのデバイスをモニタ/サポート/診断/配備することを可能にすることができる。サポートコンソールは、ウェブプラットフォームで利用することができる。一部の実施形態において、サポートコンソールは、固有の製造番号所有者機関配備セット、ファームウエア及びアプリケーションバージョン番号、又は登録されている例外によって識別することができる全ての配備されたPCDデバイスのリストビューをサポートすることができる。一部の実施形態において、サポートコンソールは、製造番号、所有者、機関配備セット、ファームウエア及びアプリケーションバージョン番号、又は登録された例外を含むタグを備えた対話型問合せをサポートすることができる。更に、サポートコンソールは、デバイス診断の実施及び報告をサポートすることができる。

0138

例示的かつ非制限的実施形態により、サポートコンソールは、新しいファームウエア及びソフトウエアバージョン(プッシュモデル)の配備を補助することができる。またサポートコンソールは、より新しいNLU、新しいアプリケーションのような配備を補助することができる。サポートコンソールは、顧客サポートシナリオ、サービスの計画されたダウン時間のような事柄を伝えるための部分集合又は全ての配備デバイスへのメッセージのブロードキャストなどをサポートすることができる。一部の実施形態において、サポートコンソールは、PCD100との対話に費やされた時間、アプリケーション/サービスにわたる時間的な機能停止、音声及びビデオ知覚アルゴリズムに対する集約されたヒットミス尺度、ログされた作動(データマイニングをサポートするための)、ログされた例外、警報閾値(例えば、サポートコンソールがあなたに叫ばなければならない例外レベル)などを(限定されるわけではないが)含む様々なオンデバイス尺度へのアクセスをサポートしなければならない。

0139

例示的かつ非制限的実施形態により、PCD100は、テレビ会議に関与することができる。一部の実施形態において、テレビ会議は、いくつかのフレーズ、音などによって開始されるようなPCD100の本体又はタッチスクリーン104のタッチによるか又は音声トリガを通じてのいずれかで単純なUIを通じて実行を開始することができる。一実施形態において、テレビ会議を開始するためにPCD100の2つのタッチしか必要ない。一部の実施形態において、呼出しを呼出しスケジューリング/プロンプティング機能の出力として開始することができる。開始された状態で、PCD100は、マイクロフォン112及びスピーカ110を使用した電話として機能し、WiFi接続、Bluetooth(登録商標)、電話接続又はこれらのある組合せを使用してユーザから音声データを受信及び出力して、電話機能を実行することができる。

0140

呼出しは、いずれかの標準的な音声呼出しとすることができ、又はビデオ構成要素を収容することができる。そのような対話の間、PCD100は、会話のPCD100端のカメラマンとして機能することができる。一部の実施形態において、PCD100をPCD1000の周りの部屋を占める家族のような複数のユーザのいるテーブル又は他の社会的集合ポイントの中央に配置することができ、複数のユーザ全てが、呼出し中に立ち上がり、移動し、活動することができる。呼出し中に、PCD100は、望ましい場所にカメラ106を向けることができる。一実施形態において、PCD100は、音定位及び顔の追跡を利用して、カメラ106をスピーカ/ユーザに向けておくことができる。他の実施形態において、PCD100は、部屋内の人/ユーザによって示すことができる(例えば、「PCD、ルビーを見なさい。」)。他の実施形態において、遠くの人が、デバイスを通じて追跡する目標を指定することができ、PCD100は、その目標を自律的に見て追跡する。いずれのシナリオでも、カメラ106が入力として受け入れたものが、例えば、スマートフォン、ラップトップ、又はビデオを表示することができる他のデバイスを使用する場合に遠くの参加者に示される。

0141

デバイスは、複数の言語で理解及び応答することができる。そのような対話の間、PCD100は、音声入力を受信し、プロセッサを通じて入力を翻訳し、及び翻訳した出力を出力することにより、米国の通訳者の例のように、リンクの他の端の人に対する「通訳者」として機能することができる。TV、iPadのようなスクリーンがPCD100のある部屋で利用可能である場合に、PCD100は、Bluetooth(登録商標)又はWiFiなどを通じて音声を送信することができ、利用することができる場合に、遠隔参加者のビデオをこのTVスクリーンに表示することができる。他に利用することができるスクリーンがない場合に、PCD100は遠隔参加者からの音声を中継することができるが、遠隔ビデオは利用できない。そのような場合に、PCD100は、遠隔参加者の言語を単に中継するだけである。一部の実施形態において、PCD100をアニメーション化することができ、例えば、遠隔参加者が決定された時間休止している場合に瞬きする及び下を向くなどにより、又は遠隔参加者が非常に興奮していることをPCD100が感知した場合は小さいダンス又は「シミー」を実行することなどにより、ユーザに反応することができる。

0142

別の実施形態において、PCD100は、リンクの遠隔端の個人のアバターとすることができる。例えば、タッチスクリーン104に表示された眼又は他のエリアは、遠隔参加者の顔の表示バージョン(他の実施形態内では、漫画画像ベース又はビデオストリームのいずれか)に変形させることができる。表示されたものは格納できPCD100にアクセス可能である。他の実施形態において、PCD100は、遠隔ユーザに関連付けられ遠隔ユーザを説明するデータを検索して、アバター体験を拡張するために遠隔ユーザの動き/言語ではない手掛かりを模倣することができる。

0143

一部の実施形態において、呼出し中に、遠隔又は近くの参加者のいずれかが、参加者の静止画像、ビデオ及び音声クリップの格納と、PCD100カメラビュー、又は説明(例えば、「PCD、この番号を覚えて」)に合図を送ることができる。これらのタグ付けされた項目は、適切にメタタグを付けられ、PCDクラウドに格納される。

0144

他の実施形態により、PCD100は、要求時に遠隔対話の刺激を助けることができる。例えば、ユーザは、PCD100にゲームを提案するように求めることができ、以下に詳しく説明する接続されたゲームモードを開始し、両方の参加者が同意するまでゲームを提案する。別の例では、ユーザは、話す話題をPCD100に尋ねることができる。それに応じて、PCD100は、会話の参加者の共通の興味を標的にする「PCDイン・ザ・ノウ」データベースにアクセス可能であるか、又は話すことを提案するためにイベントの参加者のPCDカレンダー探すことができる(例えば、「おばあちゃん、おばあちゃんが先日友達と食べたランチについてルビーに話して。」)。

0145

スケジューリングアシスタント

0146

例示的かつ非制限的実施形態により、PCD100は、カレンダー利用可能度、特別な日、及び/又はリンクの他端のプレゼンスの知識(例えば、「あなたのママは今家にいて、彼誕生日だけど、ママに電話したい?」)に基づいて呼出しを提案することができる。ユーザは、提案を受け入れることができ、この場合に、PCD呼出しアプリケーションが、PCD100と遠隔参加者のPCD100、電話、スマートデバイス、又はスカイプアカウントの間で起動される。ユーザは、後で電話するようにスケジュールすることをPCD100に求めることによって提案を受け入れることができ、この場合に、スケジューリングアプリケーションはこれをユーザのカレンダーに追加する。

0147

電話応対及びメッセージング

0148

例示的かつ非制限的実施形態により、電話応対及びメッセージング機能をPCD100によって実施することができる。この特徴は、PCD100に配置された音声又はビデオ電話にも適用され、PCD100は、他のセルラー接続デバイスに対して電話管理サービスを実行しない。図7に関し、例示的かつ非制限的実施形態の流れ図700が示されている。図示のように、段階702で、電話呼出しがPCD100に行われた時に、PCD100は、発呼者を部屋内の人に通知することができる。誰も部屋にいない時に、PCD100は、ユーザのカレンダーを検査することができ、ユーザが家にいないことが示された場合に、PCD100は、段階704で呼出しをPCD100に関連付けられたボイスメール直接送信することができる。逆に、ユーザが家にいることを示す場合に、PCD100は、段階706で、大きい音(ベル、リング、叫び声?)を使用して家内の個人の注意を引く。

0149

PCD100がそのユーザの注意を引いた状態で、段階708で、PCD100は、発呼者を通知し、ユーザが電話を取りたいか否かを尋ねることができる。段階710で、ユーザは、単純なタッチインタフェースで、又は理想的には自然言語インタフェースで応答することができる。答えがイエスである場合に、段階712で、PCD100は、同期オンデマンドマルチモードメッセージング機能に説明するように電話を接続する。答えがノーである場合に、段階714で、呼出しはPCD100ボイスメールに送信される。

0150

発呼者がボイスメールに向けられた場合に、PCD100は、挨拶をしてメッセージを残すように求めることができる。一部の実施形態において、音声又は音声/ビデオ(発呼者がスカイプ又は均等物を使用する場合)メッセージは、後の日付の再生のために記録することができる。

0151

ユーザが戻り、PCD100が部屋に再度ユーザを検出した状態で、PCD100は、段階716で、ユーザにメッセージを通知することができ(「あなたにメッセージがあります」という言語で、又は言語ではなく照明を備えたポンポンで、その他)、聞きたいか否かをユーザに尋ねることができる。イエスである場合に、PCD100は、音声の再生又は上述のようにTV/タブレット/その他で音声/ビデオメッセージの再生のいずれかを実行することができる。

0152

ユーザは後のためにメッセージをセーブするというオプションを有することができる。ユーザは、PCD100が予め決められた時間後に再度尋ねる場合に、指定された時間、又はただ「後で」のいずれかに再度尋ねるようにPCD100に伝えることができる。

0153

発呼者がPCD100に対して未知である場合に、PCD100は、呼出しをボイスメールに向けて、X番号からの識別されていない呼出しを受けたことをユーザに通知して、記録された場合はメッセージを再生することができる。次に、ユーザは、PCD100に命令して接続/ボイスメールからの番号が前に進むことを効率的に阻止することができる。PCD100は、ユーザが同期させて又は非同期のいずれかで呼出しを戻したいか否かを尋ねることができる。ユーザが受け入れた場合に、PCD100は、ユーザ要求を完了させるために適切なメッセージングモードを起動する。一部の実施形態において、PCD100は、家庭内の他のセルラー又は地上通信線デバイスのための呼出し管理機能を提供することができる。更に他の実施形態において、PCD100は、呼出しに応対して、発呼者にメッセージを残すように会話で示すことができ、従って、個人のアシスタントの役割をする。

0154

接続された物語読み聞かせ

0155

例示的かつ非制限的実施形態により、PCD100は接続された物語読み聞かせアプリケーションを組み込んで、遠隔参加者がPCD100を有する部屋のローカル参加者にPCD100を「通じて」物語を読むことを可能にすることができる。朗読者は、物語を拾いこれを読む処理を通じて仮想PCD100によって案内されるシンプルウェブ又はAndroidアプリケーションベースのインタフェースを通じて対話することができる。朗読者は、仮想PCD100によって示されたように物語の単語を読むことができる。一部の実施形態において、朗読者の音声が、物理的PCD100によって聞く人に再生され、朗読者がこれを実行するための固有の機能を持たない場合は信じられないほど説得力のある方法でキャラクターの「音声を演じる」ことができるように朗読者の音声に事前設定フィルタが適用される。サウンドトラック及び効果を再生に挿入することができる。朗読者のインタフェースは、聞く個人の「PCDのアイビュービデオフィードを表示することができ、PCD100は、その「カメラマン」機能を使用して、ビデオに聞く人を引きつけておくことができる。

0156

物理的PCD100は、適切な時間に短いアニメーションで物語に反応することができ(恐怖の震えなど)、上述のPCD100の眼は、物語要素のサポートで異なる形状に変形させることができる。この機能は、PCD呼出し機能の内側にラップすることができ、それによって朗読者及び聞く人は、それに関する会話などで物語を解釈することができる。アプリケーションは、朗読者が物語の読み聞かせを中止していることを理解して、朗読者及び聞く人がフィルタ処理せずに会話することができるように機能を停止することができる。代わりに、話者は、物語を事前に記録して、以下に説明する物語リレーアプリケーションを使用して後で再生されるようにスケジュールすることができる。

0157

ホットライン

0158

例示的かつ非制限的実施形態により、ユーザは、PCD100を利用して、「プッシュ・ツー・トーク」又は「ウォーキー・トーキー」様式のインタフェースを通じて「イン・ネットワーク」メンバと通信することができる。この特徴は、皮膚又はPCD100のスクリーンアイコンにおけるシングルタッチを通じて、又は単純な音声指令「PCD100、ママに伝えて」を通じてアクセス可能である。一部の実施形態において、この特徴は、PCD対PCD会話だけに制限され、両方のPCD100がリンクの端でユーザのプレゼンスを検出した場合にのみ使用することができる。

0159

物語中継

0160

図8を参照すると、例示的かつ非制限的実施形態の流れ図800が示されている。図示のように、段階802で、ユーザ/物語語り手は、PCD100が後で再生することができるようにあらゆる時間の物語を記録することができる。物語は、いくつかの方法で記録することができる。

0161

PCD100により:物語語り手は、再生のために記録するPCD100にその物語を話す。

0162

仮想PCD100ウェブインタフェース又はAndroidアプリケーションにより:ユーザは、仮想PCD100によってその物語をウェブキャムに話すように案内される。ユーザは、これらのタイプの物語において豊富なアニメーション/音効/背景音楽を取り入れる機会も有する。

0163

物語が記録された状態で、PCD100は、段階804で、語り手によって設定されたスケジューリングプリファレンスに従って物語を再生することができる。聞く人は、スケジュールされた時間に物語を聞くオプションを与えられ、物語を受け入れる、拒否し、又は再スケジュールすることができる。

0164

実施形態において、物語語り中に、PCD100は、定められた速度で聴く個人の静止写真を撮影することができる。物語が完了した状態で、PCD100は、聞く人が物語語り手にメッセージを返送したいか否かを段階806で聴く人に尋ねることができる。ユーザが受け入れた場合に、段階808で、PCD100は、「非同期マルチモードメッセージング」機能に入り、1つを有する場合は語り手の物理的PCD100に、又は仮想PCD100ウェブリンクを通じてのいずれかでメッセージを蓄積して送信することができる。聞く人は、リターンメッセージで物語を聞いている聞く人自身の写真を組み込む機会を有することができる。

0165

写真/メモリメーカ

0166

例示的かつ非制限的実施形態により、PCD100は、写真/メモリメーカ機能を組み込むことができ、それによってPCD100は、イベントに対して写真家の役割を引き継ぐことができる。これには2つのモードがある。

0167

PCDスナップモード

0168

このモードでは、写真に入りたいユーザが一緒に立って「PCD、私たちを撮影して」ということができる。PCD100は応答して、次に、言語の手掛かりを使用して、「後に下がって」、「左に動いて」のような手掛かりを使用して1個人の人/複数の人をカメラ画像の中心にもってくる。人が適切に位置した時に、PCD100は人にじっとしておくように伝え、次に、フレーズの並べ替えを使用して笑顔を引き出す(「チーズ」など)。PCD100は顔面表情認識を使用して、個人が笑っていない及び笑顔を引き出そうとするか否かを伝えることができる。画像内の全てのユーザが笑っている時に、PCD100は、必要に応じて自動フォーカス及びフラッシュを使用していくつかの写真を撮影することができる。

0169

イベント写真家モード

0170

このモードでは、ユーザが、PCD100に命令して、特定の時間に始まる(又は望ましい場合は「今」)の予め決められた時間量のイベントの写真を撮影することができる。PCD100は、音位置及び顔面認識の組合せを使用して、部屋を見回しユーザ定義の速度で部屋内の個人のスナップ写真を撮影することができる。生成された全ての写真は、PCD100メモリにローカルに格納することができる。

0171

写真が生成された状態で、PCD100は、写真がPCD100クラウドにアップロードされたことをユーザに通知することができる。この時点で、PCD100アプリケーション又はウェブインタフェースを通じて写真にアクセスすることができ、仮想PCD100が、写真の削除、編集トリミングのような処理をユーザに指導することができる。次に、写真はユーザに電子メールで送られるか又はフェースブックなどに掲示されている。このアプリケーションのこの「アウトオブ・ザ・ボックス」バージョンでは、写真は、例えば、以下に説明する「リビングレガシー」アプリケーションの一部として1か月無料で提供されるファイリングメタタギングを備えた永久ストレージを有するPCD100クラウドに予め決められた時間だけ保持することができる。

0172

すなわち、本明細書に説明するように、PCD100は、個人間及び社会的機会の強化を補助するように作動させることができる。一実施形態において、アプリケーション又は「app」は、社会的活動を達成するためにPCD100の1つ又はそれよりも多くのインタフェース構成要素にアクセスして作動するように構成することができ、又はそのためにPCD100にインストールすることができる。例えば、PCD100は、工場でインストールされたアプリケーションを含むことができ、実行された時に、1つ又はそれよりも多くのパラメータを受信するためにユーザと対話するように作動して、相応にPCD100が1つ又はそれよりも多くを撮影する及び格納することに進む。例えば、ユーザは、「このパーティにいる全ての個人の写真を少なくとも1枚撮ってください」とPCD100に言うことができる。それに応じて、PCD100は、アクセス可能なゲストリストからパーティゲストのリストを整理して、各ゲストの写真撮影に進むことができる。一実施形態において、PCD100は、個人が本人確認のためにそばを通った時に個人を静止させて尋ねることができ、インスタンスを記録し、個人を撮影することができる。別の実施形態において、PCD100は、ゲストと対話して、写真を撮るためにゲストの集合の前にPCD100を設定するようにゲストに求めることができる。パーティの持続時間のような期間にわたって、PCD100は、社会的イベントを文書に記録する段階を含む社会的目標/活動の実施におけるユーザの望みに従ってパーティゲストの1つ又はそれよりも多くの写真を取得する。

0173

他の例示的実施形態により、PCD100は、社会的手掛かりを読取り、反応することができる。例えば、PCD100は、ユーザを観察して別の人により優しく話す必要があることを示すことができる。それに応じて、PCD100は、言語のコミュニケーションを出力する音量を下げることができる。同様に、PCD100は、ハグされた又は叩かれた時に満足度を示す音を発することができる。他の実施形態において、PCD100は、社会的手掛かりを発するか又は他に出力することができる。例えば、PCD100は、ユーザが約束に遅れて走っていることを感知して、ユーザの出発の速度を急がせるために外見的に神経質な状態で前後に揺れることができる。

0174

対話型カレンダー

0175

例示的かつ非制限的実施形態により、PCD100は、仕事以外のユーザと家族のための事を取り込むようにカレンダーシステムを構成することができる。PCD100は、そのユーザが許可を与えた場合に他のPCD100のユーザとカレンダーを共有し統合することができ、それによってあらゆる家庭内のPCD100を有する拡張された家族全てが、全員のための単一統一されたカレンダーを有することができる。

0176

PCD100のカレンダーの項目は、適切な情報、最初は、約束している家族メンバの名前、家族メンバが約束/イベントをどう感じているか、及び日付又は曜日に固有の情報(休日など)などによってメタタグすることができる。入力することができるイベントのタイプは、以下に限定されるものではないが、ウェークアップ時間、食事時間、約束、リマインダー、電話呼出し、家事/庭仕事などを含む。全てのイベントを適切な時間に設定する必要がないことに注意されたく、すなわち、イベントは、例えば、「あなたが明日の朝私を最初に見た時に荷物に入れることを覚えておいて」のような感覚入力で決定されるイベントをスケジュールすることができる。

0177

PCD100のカレンダーへの項目のエントリは、いくつかの方法で達成することができる。一実施形態は、Androidアプリケーション又はウェブインタフェースを利用して、仮想PCD100がユーザを処理に案内する。この時点で、感情又は他のインタフェースを使用して、ユーザが約束/イベントに関してどう感じているかをPCD100に伝えることができる。このモードでのカレンダーのグラフカル描写は、Outlookに類似とすることができ、ユーザが他のネットワークメンバのイベント/約束を見ることを可能にする。PCD100カレンダーは、Outlookがこれに関して実行することに類似の約束の衝突解消のための特徴を有することができる。

0178

一部の実施形態において、ユーザは、自然言語インタフェースを通じてカレンダーに項目を追加することができる(「PCD、私は火曜日の午後1時に歯医者予約があるので、30分速く私に教えて」、又は「PCD、夕食今夜5時30分よ」)。ユーザの感情は、ユーザによって伝えられない場合に、PCD100によって後で尋ねることができ(例えば、「その約束どう思う?」)、適切な感情的なメタタギングを可能にする。

0179

イベントリマインダーが作動された状態で、PCD100は、2つの方法のうちの1つでリマインダーを伝えることができる。リマインダーを設定されているユーザがPCD100の環境に存在する場合に、PCD100は、言語のリマインダー、アニメーション、顔面表情などが揃ったリマインダーを直接に人に伝える。顔面表情の感情的な内容は、顔文字又はユーザの言語の入力などを通じてイベントのメタタギングから得ることができる。ユーザの挙動は、公知の関連から取得することができる(例えば、ユーザは引き起こる時にいつもたいか又は食事の時間にはいつもお腹が空いている)。異なるイベントに関連する適切な表現は、コンテンツを定期的に生成することによってリフレッシュすることができ、繰返しでなく楽しませるように維持することができる。

0180

リマインダーが発生しているユーザがPCD100を物理的に見ていない場合に、PCD100はこれに対して呼び出すことができる。そのような例でユーザがこれに応答しない場合に、PCD100は、その電話でリマインダーを送信することができる。

0181

リストマネージャ

0182

例示的かつ非制限的実施形態により、リストマネージャ機能を備えたPCD100を構成することができる。この機能により、PCD100は、ユーザの要求で、ユーザが買い物に出たらユーザに送信することができる「やるべきことリスト」又は買い物リストを生成することができる。この機能は、単純なタッチインタフェースを通じて、又は理想的には自然言語インタフェースを通じてユーザによって起動することができる。ユーザは、作られるリストのタイプを指定することができる(例えば、「食料品」、「洋服」、「やるべきこと」、又は特定のタイプの店又は店名)。PCD100は、リストに最初に載せるものを尋ねることができ、ユーザは、言語を通じて応答してPCD100に品物をリストに追加させることができる。いずれの後の時間にも、ユーザは、PCD100にリストへの他の項目の追加を求めることができる。

0183

一部の実施形態により、PCD100は、毎日の会話を構文解析して項目をリストに追加しなければならないと決定することができる。例えば、部屋内の誰かが「ミルク切れている」と言った場合に、PCD100は、自動的にミルクを食料品リストに追加することができる。

0184

PCD100がリストを維持している店にユーザが出発する時に、ユーザは、PCD100にユーザに適切なリストを送信するように要求することができ、それによってユーザが店で買い物している時にリストがユーザに利用可能になる。これに加えて、ユーザがPCD100から離れているが店の近くにいる場合に、ユーザは、Android又はウェブアプリケーションを通じてリストが送信されるように要求することができる。

0185

この返信に応答して(すなわち、ユーザがリストの送信を要求した後にPCD100がそのユーザを見た時)、PCD100は、買い物がどうであったか/ユーザがリストにあったもの全てを見出したか否かを尋ねることができる。「イエス」である場合に、PCD100は、リストをクリアにして他の項目が追加されることを待つ。「ノー」の場合に、PCD100は、購入されなかったものに関して尋ね、リストから全ての他の項目をクリアにする。

0186

やるべきことリストの場合に、ユーザは、PCD100に「私はXをした」と伝えることができ、その項目を格納されたリストから取り除くことができる。

0187

ユーザは、誰かほかの個人のPCD生成リストをユーザに送信するように要求することができる(適切な許可の保留)。例えば、大人高齢の親にPCD100を与えている場合に、その大人は、PCD100に親のPCD100によって生成された買い物リストを送信するように要求することができ、それによって大人は自分の買い物をしながら親の食料品を買うことができ、又は大人は、訪問前に必要な道具を全て持って行くためにママの「やるべきこと」リストをPCD100に尋ねることができる。

0188

内情に通じているPCD

0189

例示的かつ非制限的実施形態により、「内情に通じている」機能を備えたPCD100を構成することができる。この機能により、PCD100は、ユーザが関心を有する最新のニュース、天気、スポーツなどを提供し続けることができる。この機能は、単純なタッチインタフェース、又は理想的には、自然言語指令を使用して要求時にアクセス可能な(例えば、「PCD100、私に昨夜からの野球スコアを教えて」)。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • クリスタルメソッド株式会社の「 推定システム、及び推定装置」が 公開されました。( 2020/10/29)

    【課題】キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供する。【解決手段】仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボード... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ