図面 (/)

この項目の情報は公開日時点(2017年8月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題・解決手段

開示された実施例は、配達サービスを実施するウェアラブルデバイスおよび方法を含む。ひとつの実施形態において、デバイスは、視界内における物体深度を検出する深度カメラと、視覚的コード復号化するスキャナと、電気信号に応じて可聴音響を生成するスピーカと、メモリと、プロセッサとを含む。プロセッサは、命令を実行して、上記深度カメラから受信された第1信号に基づき、走査イベントを検出し走査イベントに対して関連付けられた走査領域を決定し、スキャナに対して第2信号を提供し、スキャナに、走査領域内に配置された視覚的コードを復号化させ、スキャナから受信された第3信号に基づいて走査データを生成し、且つ、スピーカに対して第4信号を提供し、スピーカに通知音を放出させ得る。ウェアラブル・デバイスはまた、署名捕捉し、物体を寸法計測し、且つ、時間および場所の制限に基づいてデバイス機能無効化もし得る。

概要

背景

今日のデジタルな世界において、テクノロジは、データの収集および処理における重要な役割を果たしている。たとえば、配達および一般運送業の分野において、ユーザおよび事業者は、携帯式スキャナおよびリーダ(reader)によるパッケージの追跡により恩恵を受けている。

概要

開示された実施例は、配達サービスを実施するウェアラブルデバイスおよび方法を含む。ひとつの実施形態において、デバイスは、視界内における物体深度を検出する深度カメラと、視覚的コード復号化するスキャナと、電気信号に応じて可聴音響を生成するスピーカと、メモリと、プロセッサとを含む。プロセッサは、命令を実行して、上記深度カメラから受信された第1信号に基づき、走査イベントを検出し走査イベントに対して関連付けられた走査領域を決定し、スキャナに対して第2信号を提供し、スキャナに、走査領域内に配置された視覚的コードを復号化させ、スキャナから受信された第3信号に基づいて走査データを生成し、且つ、スピーカに対して第4信号を提供し、スピーカに通知音を放出させ得る。ウェアラブル・デバイスはまた、署名捕捉し、物体を寸法計測し、且つ、時間および場所の制限に基づいてデバイス機能無効化もし得る。

目的

たとえば、デバイス100は、加速度計GPS受信器振動モータ無線リンクSIMカードRFIDチップ音声ジャック、Bluetooth(登録商標)システムコネクタポート(たとえば、USB、Lightning、DVI、HDMI(登録商標)、任意のI/Oポートなど)、生体測定スキャナ、物理的ボタン(たとえば、音量ボタン無音ボタン、他の入力を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

視界内における物体深度を検出する深度カメラと、視覚的コード復号化するスキャナと、電気信号に応じて可聴音響を生成するスピーカと、命令を記憶するメモリと、上記深度カメラ、スキャナおよびスピーカに対して通信接続された一つまたは複数のプロセッサであって、上記命令を実行して、上記深度カメラから受信された第1信号に基づき、第1表面の近傍において実施された身振り入力を含む走査イベントを検出する段階、上記身振り入力の箇所および深度に基づき、上記走査イベントに対して関連付けられた走査領域を決定する段階、上記スキャナに対して第2信号を提供し、該スキャナに、上記走査領域内に配置された視覚的コードを復号化させる段階、上記スキャナから受信された第3信号であって、上記視覚的コードから獲得された情報を反映するという第3信号に基づいて走査データを生成する段階、および、上記スピーカに対して第4信号を提供し、該スピーカに、上記走査データの生成に応じた通知音を放出させる段階、を含む動作を実施すべく構成された前記一つまたは複数のプロセッサと、を備える、配達サービスを実施するウェアラブル電子的デバイス

請求項2

前記デバイスは、前記デバイスが、装着されたときに実質的に楕円形の断面を有する如く、前記デバイスを対象者の腕の上側部分の回りに装着することを促進する調節可能コネクタを、更に備える、請求項1に記載のデバイス。

請求項3

前記深度カメラ、スキャナおよびスピーカの回りに防水シールを生成する実質的にゴムポリマで構成された頑ケーシングを、更に備える、請求項2に記載のデバイス。

請求項4

前記デバイスは、前記一つまたは複数のプロセッサに対して通信接続された通信インタフェースを、更に備え、且つ、前記動作は、前記通信インタフェースから受信された第5信号に基づき、帯域幅閾値を超える帯域幅を有する通信ネットワークが現在において利用可能であるか否かを決定する段階、および、前記通信ネットワークが利用可能であるとき、前記走査データを、前記通信インタフェースを介して前記通信ネットワークを通して演算システムへと提供する段階、を更に含む、請求項2に記載のデバイス。

請求項5

前記動作は、前記通信ネットワークが利用可能でないとき、前記走査データをメモリ内に記憶する段階、将来的なタイムスロットにおいて、前記通信ネットワークが利用可能であるか否かを決定すべく計画する段階、および、前記通信インタフェースから受信された第6信号に基づき、前記計画された時間に従い、前記通信ネットワークが利用可能であるか否かを決定する段階、を更に含む、請求項4に記載のデバイス。

請求項6

前記動作は、前記深度カメラから受信された第5信号に基づき、前記第1身振り入力とは異なる第2身振り入力を含む寸法計測イベントを検出する段階、前記深度カメラから受信された第6信号に基づき、前記第2身振り入力の近傍の第1領域を決定する段階、前記第1領域に対して関連付けられた物体を決定する段階、および、前記物体の体積を決定する段階、を更に含む、請求項2に記載のデバイス。

請求項7

前記動作は、前記深度カメラにより検出されなかった前記物体の視認不能頂点の箇所を決定する段階、を更に含み、前記視認不能頂点の箇所は、前記物体の仮定された対称性に基づいており、且つ、前記体積は更に、前記視認不能頂点の箇所に基づく、請求項6に記載のデバイス。

請求項8

前記第1領域に対して関連付けられた物体を決定する前記段階は、前記深度カメラから受信された前記第6信号に対し、エッジ検出フィルタを適用する段階、および、前記第1領域のピクセル深度に対する前記第2領域内のピクセルの深度の比較に基づき、前記物体が前記第1領域に隣接する第2領域を含むか否かを決定する段階を、含み、且つ、前記物体の前記体積は更に、前記第2領域に基づく、請求項6に記載のデバイス。

請求項9

当該デバイスは、前記一つまたは複数のプロセッサに対して通信接続された投影器および通信インタフェースを更に備え、且つ、前記動作は、前記深度カメラから受信された第5信号に基づき、署名表面の近傍において実施された第2身振り入力であって、前記第1身振り入力とは異なる第2入力を含む署名イベントを検出する段階、前記投影器に対して第6信号を提供し、前記署名表面上へと署名インタフェース投影させる段階、前記深度カメラから受信された第7信号に基づき、前記署名インタフェースに対して提供された署名を捕捉する段階、前記署名を処理して署名情報を生成する段階、および、前記署名情報を、前記通信インタフェースを介して前記通信ネットワークを通して演算システムへと提供する段階、を更に含む、請求項2に記載のデバイス。

請求項10

当該デバイスは、前記一つまたは複数のプロセッサに対して通信接続されたGPS受信器を更に備え、且つ、前記動作は、ユーザに対して関連付けられたユーザ認証情報であって、該ユーザに対する固有識別子を含むというユーザ認証情報を受信する段階、前記固有識別子に基づき、前記ユーザに対する時間制限または場所制限の少なくとも一方を決定する段階、時間制限または場所制限の前記少なくとも一方に対して現在のデバイス時刻および現在のデバイス箇所を比較する段階であって、前記現在のデバイス箇所は、前記GPS受信器から受信された第5信号に基づくという段階、および、前記比較に基づき、当該デバイスの少なくともひとつの機能を無効化する段階、を更に含む、請求項2に記載のデバイス。

請求項11

前記デバイスは、前記デバイスに給電するバッテリを更に備え、且つ、前記デバイスは、デバイス運動電気エネルギへと変換する振動動力給式発電器、または、前記デバイスの前側パネル上に載置された光電表面、の少なくとも一方から、前記バッテリに対して電力供与する、請求項1に記載のデバイス。

請求項12

視界内における物体深度を検出する深度カメラと、視覚的コードを復号化するスキャナと、電気信号に応じて可聴音響を生成するスピーカと、装着されたときに当該デバイスが実質的に楕円形の断面を有する如く当該デバイスを対象者の腕の上側部分の回りに装着することを促進するコネクタと、を備えるウェアラブルな電子的デバイスを用いて、配達サービスを実施するコンピュータ実行型方法であって、前記深度カメラから受信された第1信号に基づき、第1表面の近傍において実施された身振り入力を含む走査イベントを検出する段階、前記身振り入力の箇所および深度に基づき、前記走査イベントに対して関連付けられた走査領域を決定する段階、前記スキャナに対して第2信号を提供し、該スキャナに、前記走査領域内に配置された視覚的コードを復号化させる段階、前記スキャナから受信された第3信号であって、前記視覚的コードから獲得された情報を反映するという第3信号に基づいて走査データを生成する段階、および、前記スピーカに対して第4信号を提供し、該スピーカに、前記走査データの生成に応じた通知音を放出させる段階、を含む動作を一つまたは複数のプロセッサ上で実行するコンピュータ実行型方法。

請求項13

前記デバイスは、前記一つまたは複数のプロセッサに対して通信接続された通信インタフェースを更に備え、且つ、前記動作は、前記通信インタフェースから受信された第5信号に基づき、帯域幅閾値を超える帯域幅を有する通信ネットワークが現在において利用可能であるか否かを決定する段階、および、前記通信ネットワークが利用可能であるとき、前記走査データを、前記通信インタフェースを介して前記通信ネットワークを通して演算システムへと提供する段階、を更に含む、請求項12に記載のコンピュータ実行型方法。

請求項14

前記動作は、前記通信ネットワークが利用可能でないとき、前記走査データをメモリ内に記憶する段階、将来的なタイムスロットにおいて、前記通信ネットワークが利用可能であるか否かを決定すべく計画する段階、および、前記通信インタフェースから受信された第6信号に基づき、前記計画された時間に従い、前記通信ネットワークが利用可能であるか否かを決定する段階、を更に含む、請求項12に記載のコンピュータ実行型方法。

請求項15

前記動作は、前記深度カメラから受信された第5信号に基づき、前記第1身振り入力とは異なる第2身振り入力を含む寸法計測イベントを検出する段階、前記深度カメラから受信された第6信号に基づき、前記第2身振り入力の近傍の第1領域を決定する段階、前記第1領域に対して関連付けられた物体を決定する段階、および、前記物体の体積を決定する段階、を更に含む、請求項12に記載のコンピュータ実行型方法。

請求項16

前記動作は、前記深度カメラにより検出されなかった前記物体の視認不能頂点の箇所を決定する段階を更に含み、前記視認不能頂点の箇所は、前記物体の仮定された対称性に基づいており、且つ、前記体積は更に、前記視認不能頂点の箇所に基づく、請求項15に記載のコンピュータ実行型方法。

請求項17

前記第1領域に対して関連付けられた物体を決定する前記段階は、前記深度カメラから受信された前記第6信号に対し、エッジ検出フィルタを適用する段階、および、前記第1領域のピクセル深度に対する当該第2領域内のピクセルの深度の比較に基づき、前記物体が前記第1領域に隣接する第2領域を含むか否かを決定する段階を備えて成り、且つ、前記物体の前記体積は更に、前記第2領域に基づく、請求項15に記載のコンピュータ実行型方法。

請求項18

前記デバイスは、前記一つまたは複数のプロセッサに対して通信接続された投影器および通信インタフェースを更に備えて成り、且つ、前記動作は、前記深度カメラから受信された第5信号に基づき、署名表面の近傍において実施された第2身振り入力であって、前記第1身振り入力とは異なる第2入力を含む署名イベントを検出する段階、前記投影器に対して第6信号を提供し、前記署名表面上へと署名インタフェースを投影させる段階、前記深度カメラから受信された第7信号に基づき、前記署名インタフェースに対して提供された署名を捕捉する段階、前記署名を処理して署名情報を生成する段階、および、前記署名情報を、前記前記通信インタフェースを介して前記通信ネットワークを通して演算システムへと提供する段階、を更に含む、請求項12に記載のコンピュータ実行型方法。

請求項19

前記デバイスは、前記一つまたは複数のプロセッサに対して通信接続されたGPS受信器を更に備えて成り、且つ、前記動作は、ユーザに対して関連付けられたユーザ認証情報であって、該ユーザに対する固有識別子を含むというユーザ認証情報を受信する段階、前記固有識別子に基づき、前記ユーザに対する時間制限または場所制限の少なくとも一方を決定する段階、時間制限または場所制限の前記少なくとも一方に対して現在のデバイス時刻および現在のデバイス箇所を比較する段階であって、前記現在のデバイス箇所は、前記GPS受信器から受信された第5信号に基づくという段階、および、前記比較に基づき、当該デバイスの少なくともひとつの機能を無効化する段階、を更に含む、請求項12に記載のコンピュータ実行型方法。

請求項20

前記デバイスは、バッテリを更に備え、且つ、前記動作は、デバイス運動を電気エネルギへと変換する振動動力供給式発電器、または、前記デバイスの前側パネル上に載置された光電表面、の少なくとも一方から、前記バッテリに対して電力を供与する段階、を更に含む、請求項12に記載のコンピュータ実行型方法。

技術分野

0001

関連出願に関する相互参照
本出願は、2014年5月15日に出願されて“シンビオティック相互作用のためのウェアラブルデバイス”と称された米国仮特許出願第61/993,868号の特典を主張するものであり、その内容は言及したことにより全体的に本明細書中に援用される。
開示された実施例は概略的に、情報を処理するウェアラブル・デバイス(wearable device)に関し、更に詳細には、制限なしで、配達サービス(courier service)に伴う情報を処理するウェアラブル・デバイスに関する。

背景技術

0002

今日のデジタルな世界において、テクノロジは、データの収集および処理における重要な役割を果たしている。たとえば、配達および一般運送業の分野において、ユーザおよび事業者は、携帯式スキャナおよびリーダ(reader)によるパッケージの追跡により恩恵を受けている。

先行技術

0003

Harrison et al., Omnitouch: Wearable Multitouch Interaction Everywhere (2011)
Harrison et al., Skinput: Appropriating the Body as an Input Surface (2010)

発明が解決しようとする課題

0004

しかし、斯かるメカニズムは、ユーザが扱いにくく、且つ、多くの場合、必要な処理を行うためには手または腕の使用が必要とされる。斯かるメカニズムはまた、生産性を低下させることもあり、且つ、スタンドアロンのスキャナ、カードリーダ撮像器カメラディスプレイなどの如き付加的な補助デバイスを要することもある。

課題を解決するための手段

0005

開示された実施例は、情報を処理するウェアラブル・デバイス、および、その使用方法包含する。開示された各実施例は、携帯ツールを使用せずに、配達員および他のデバイス・ユーザが(たとえば、配達のサービスおよび機能などの)一定のプロセスを行うことを可能とし得る。

0006

開示された実施例は、たとえば、配達サービスを実施するウェアラブル・デバイスを包含する。幾つかの見地において、上記デバイスは、視界内における物体深度を検出する深度カメラと、視覚的コード復号化するスキャナと、電気信号に応じて可聴音響を生成するスピーカと、命令を記憶するメモリと、上記深度カメラ、スキャナおよびスピーカに対して通信接続された一つまたは複数の一つまたは複数のプロセッサであって、上記命令を実行して、動作を実施すべく構成されたという一つまたは複数のプロセッサと、を備える。上記動作は、上記深度カメラから受信された第1信号に基づき、第1表面の近傍において実施された身振り入力を含む走査イベント(event)を検出する段階を含む。上記動作はまた、上記身振り入力の箇所および深度に基づき、上記走査イベントに対して関連付けられた走査領域を決定する段階も含む。上記動作はまた、上記スキャナに対して第2信号を提供し、該スキャナに、上記走査領域内に配置された視覚的コードを復号化させる段階も含む。上記動作はまた、上記スキャナから受信された第3信号であって、上記視覚的コードから獲得された情報を反映するという第3信号に基づいて走査データを生成する段階も含む。上記動作はまた、上記スピーカに対して第4信号を提供し、該スピーカに、上記走査データの生成に応じた通知音を放出させる段階も含む。

0007

開示された実施例はまた、たとえば、視界内における物体深度を検出する深度カメラと、視覚的コードを復号化するスキャナと、電気信号に応じて可聴音響を生成するスピーカと、装着されたときに当該デバイスが実質的に楕円形の断面を有する如く当該デバイスを対象者の腕の上側部分の回りに装着することを促進するコネクタと、を備えるウェアラブルな電子的デバイスを用いて、配達サービスを実施するコンピュータ実行型方法であって、一つまたは複数のプロセッサ上で実施される一つまたは複数の動作を含む、コンピュータ実行型方法も包含する。上記動作は、上記深度カメラから受信された第1信号に基づき、第1表面の近傍において実施された身振り入力を含む走査イベントを検出する段階を含む。上記動作はまた、上記身振り入力の箇所および深度に基づき、上記走査イベントに対して関連付けられた走査領域を決定する段階も含む。上記動作はまた、上記スキャナに対して第2信号を提供し、該スキャナに、上記走査領域内に配置された視覚的コードを復号化させる段階も含む。上記動作はまた、上記スキャナから受信された第3信号であって、上記視覚的コードから獲得された情報を反映するという第3信号に基づいて走査データを生成する段階も含む。上記動作はまた、上記スピーカに対して第4信号を提供し、該スピーカに、上記走査データの生成に応じた通知音を放出させる段階も含む。

0008

開示された実施例の付加的な特徴および利点は、部分的に、以下の説明中に示されると共に、部分的に該説明から明らかであり、または、開示された実施例の実施により習得され得る。開示された実施例の特徴および利点は、添付の各請求項中に特に指摘された要素および組み合わせにより、実現かつ達成されよう。

0009

上述の概略的な説明および以下の詳細な説明は、実例であり且つ説明的であるにすぎず、開示されて権利請求された実施例を制限するものでないことは理解される。

0010

添付図面は、本明細書の一部を構成する。各図面は、本開示内容の幾つかの実施例を示すと共に、上記説明と協働して、添付の各請求項中に示された開示実施例の原理を説明する役割を果たす。

図面の簡単な説明

0011

開示された実施例に係る代表的なウェアラブル処理デバイスを示す図である。
開示された実施例に係るウェアラブル処理デバイスの代表的な構成要素のブロック図である。
開示された実施例に係るウェアラブル・デバイスの代表的な電力関連構成要素のブロック図である。
開示された実施例に係る代表的なシステム環境を示す図である。
開示された実施例に係るユーザの腕上の装着済みデバイスの代表的な概略図である。
開示された実施例に係る、装着されたときにおける代表的なデバイスの断面図である。
開示された実施例に係る深度カメラの代表的な被写界深度を示す図である。
開示された実施例に係る寸法計測の目的で、被写界深度における代表的な物体を示す図である。
開示された実施例に係る、物体を寸法計測する代表的なプロセスのフローチャートである。
開示された実施例に係る、表面上に投影された代表的な対話型インタフェースを示す図である。
開示された実施例に係る、視覚的コードから情報を獲得している代表的なデバイスを示す図である。
開示された実施例に係る、視覚的コードを走査する代表的なプロセスのフローチャートである。
開示された実施例に係る、署名を処理する代表的なプロセスのフローチャートである。
開示された実施例に係る、複数のネットワーク・デバイス間でデータを送信する代表的なプロセスのフローチャートである。
開示された実施例に係る、デバイス機能無効化する代表的なプロセスのフローチャートである。

実施例

0012

開示された実施例は、ハンドフリー、または、略々ハンドフリーの周囲環境において情報処理を実施するデバイス、装置、システム、および、方法を包含する。開示された実施例は、配達員または他のデバイス・ユーザが、携帯ツールを使用せずに、(たとえば、配達のサービスおよび機能などの)幾つかのプロセスを行うことを可能とし得る。たとえば、本明細書中に開示されるウェアラブル・デバイスは、全て、手中に物理的デバイスを保持せずに、バーコードの走査、署名の受領、ユーザの観察、通知の提供、周囲環境のモデル化、および、他の処理の如く、情報を処理し得る。開示された実施例はまた、種々の環境において種々のユーザに対し、上記デバイスの個人適合化および高耐久化も実現し得る。

0013

幾つかの見地において、開示された実施例に係るウェアラブル・デバイスは、一つまたは複数の技術的利点を提供し得る。幾つかの見地において、上記デバイスは、配達員および他のユーザが、携帯式デバイスを使用せずに、配達サービスおよび他の機能を実施することを可能とし得る。これにより、ユーザは、他方の手を、物体の持ち上げ、パッケージの担持書類への署名、車両の操作などの如き他の用途に利用することが許容され得る。これに加え、他方の手を使用すると、配達の生産性が向上され得ると共に、ユーザがパッケージを両手で担持することを可能とし、付加的なパッケージを担持し得るなどの如く、健康に関する利点が提供され得る。更に、開示された実施例の見地は、斯かる幾つかの携帯式デバイスの機能性を組み合わせることで、一定の業務を完了するために必要なデバイスもしくは構成要素の個数を減少し得る。開示された実施例に係るウェアラブル・デバイスは、該デバイスの外観を個人適合化およびカスタマイズすることで、広範囲なユーザに適合すると共に、ユーザの衛生の如き他の懸念に対処することも許容し得る。当業者であれば、他の改良点は、開示された実施例に鑑みれば明らかであり、且つ、上記の幾つかの利点の列挙は、例示目的のためだけである。

0014

次に、それらの各例が添付図面中に示されるという各実施例が詳細に参照される。可能である場合は常に、各図を通し、同一もしくは同様の部材を指すべく同一の参照番号が使用される。更に、“記記デバイス”に関して幾つかの特徴が記述され得るが、これらの特徴は、その機能を実施し得るデバイス構成要素であって、ハードウェア、および/または、上記デバイス上で実行されるソフトウェアなどのデバイス構成要素により実現され得ることを、文脈から理解すべきである。

0015

図1は、開示された実施例に係る代表的なウェアラブル処理デバイス100を示している。デバイス100は、情報を表現、受信、獲得、収集、処理、送信、および、表示し得るウェアラブル・デバイスを備える。幾つかの実施例において、デバイス100は、開示された実施例に従い、処理における使用のために種々の分野において、対話マルチタッチ、身振り、または、音声用途を促進する深度検知式のデータ収集用画像投影システムであり得る。以下に記述される如く、デバイス100は、一つまたは複数の入力イベント(event)に応じて、開示された実施例に従い各プロセスを行い得る。

0016

デバイス100は、開示された実施例に従い、表面上に画像、動画テキストインタフェース、または、他の情報を投影もしくは表示すべく構成された一個以上の投影器110を含み得る。幾つかの見地において、投影器110は、当業者に公知であり且つ本明細書中に開示される(たとえばDLP、LCoS、レーザビーム走査などの)任意の公知方法を用いて、表面上へと画像、動画、テキストなどを投影し得る(たとえば、Microvisionピコ投影器などの)ピコ投影器を含み得る。上記表面としては、スクリーン、壁部、テーブル、人体部分(たとえば、腕、手、脚など)、保持された表面(たとえば、メモ帳紙材書籍など)、車両、テーブル、箱、床部、ミラー、窓、または、投影器110により投影された画像、ビデオ、もしくは、他の情報を有意に伝達するに十分に平坦である他の任意の領域が挙げられる。幾つかの実施例において、上記表面は、(たとえば、手、デスク、および、壁部などの)複数の表面を含み得る。投影器110は、(たとえば、該投影器110からの距離などの)上記表面までの距離に関わらず、図解的またはグラフィック的な要素のフォーカスフリー広角投影物を提供し得る。以下に記述される如く、デバイス100は、投影器110に対して信号および情報を送受信して開示された実施例に係るプロセス(たとえば、インタフェースの表示など)を行うハードウェアおよびソフトウェア構成要素(たとえば、回路機構ソフトウェア命令など)を含み得る。

0017

幾つかの実施例において、デバイス100は、開示された実施例に従い、視覚的コードを走査し、復号化し、読取り、検知し、画像化し、捕捉し、且つ/又は、解釈するための一個以上のスキャナ120を含み得る。幾つかの見地において、スキャナ120は、レーザの線形的または領域的な画像化を処理すべく構成され得る。たとえば、ひとつの見地において、スキャナ120は、1次元または2次元のバーコードを走査し、読取り、且つ、復号化する(たとえば、Cognex社、Intermec社、または、Unitech社の2D撮像器、または、任意の2D撮像器などの)撮像器を含み得る。スキャナ120は、開示された実施例に従い、視覚的コードから情報を抽出し得る任意の撮像器、バーコード・スキャナ、または、視覚的コード・スキャナを含み得る。幾つかの実施例において、スキャナ120は、継手自在軸受、回転可能レンズ旋回軸ホィール、または、他の配向手段などに対して機械的に結合され、または、それを含み得ることから、デバイス100は、スキャナ120を種々の方向を指すべく配向し得る。幾つかの見地において、開示された実施例によれば、デバイス100は、スキャナ120を介して走査されたバーコード、画像および他のデータを処理し得る。デバイス100は、開示された実施例に従い、スキャナ120に対して信号および情報を送受信して各プロセスを行う適切なハードウェアおよびソフトウェア構成要素(たとえば、回路機構、ソフトウェア命令など)を含み得る。

0018

デバイス100は、3次元環境を捕捉し、処理し、検知し、観測し、モデル化し、検出し、且つ、相互作用する一個以上の深度カメラ130を含み得る。幾つかの見地において、深度カメラ130は、(たとえば、図5Aおよび図5Bに関して記述される実施例に従い)その視界における物体の深度および色を認識かつ検出し得る。深度カメラ130はまた、写真撮影、動画の記録、画像もしくは他のデータのストリーミング画像バッファ内へのデータの記憶などの、他のカメラおよびビデオ記録器の機能性も提供し得る。これらの機能性は、深度情報を含んでもよく、含まなくてもよい。開示された実施例に係るハードウェアおよび/またはソフトウェア・プロセスに関し、デバイス100は、深度カメラ130を介し、物体のサイズ、配向および視覚的特性を決定し得る。開示された実施例に係る見地はまた、デバイス100が、深度カメラ130を用い、身振りおよび他の相互作用を認識かつ処理することも可能とし得る。深度カメラ130は、本明細書中に開示されたプロセスを取扱い得る(たとえば、PrimeSense社、SoftKinetic社、Creative社などからの深度カメラなどの)当業者に公知である任意の深度カメラを含み、または、それを具現し得る。デバイス100は、信号および情報を深度カメラ130に対して送受信し、開示された実施例に係るプロセス(たとえば、物体の寸法計測、表面の深度および配向の決定など)を行う(たとえば、回路機構、ソフトウェア命令などの)適切なハードウェアおよびソフトウェア構成要素を含み得る。以下に記述される如く、深度カメラ130は、(たとえば身体の動きなどの)身振り入力(gesture input)、および、(たとえば、投影器110を介して投影されたインタフェースに対する相互作用などの)インタフェース入力の如き、幾つかの形式の入力イベントを検出し得る。

0019

デバイス100は、情報を表現、伝達および表示するための一個以上のディスプレイ140を含み得る。ディスプレイ140としては、テキスト、画像、動画、インタフェースなどの如き情報を呈示または提供し得る(たとえば、モノクロ・ディスプレイ、LCDディスプレイLEDディスプレイ、2Dディスプレイ、分光3Dディスプレイなどの)任意のデジタル・ディスプレイが挙げられる。幾つかの見地において、ディスプレイ140は、タッチスクリーン・ディスプレイも含み得る。これらの実施例において、デバイス100は、ディスプレイ140上に表示されたタッチスクリーン・インタフェースを介してユーザからディスプレイ入力を受信し得る。ディスプレイ140を介して受信されたディスプレイ入力はデバイス100において使用されることで、開示された実施例に係るプロセスが行われ得る。デバイス100は、信号および情報をディスプレイ140に対して送受信して、開示された実施例に係るプロセスを行う(たとえば、回路機構、ソフトウェア命令などの)適切なハードウェアおよびソフトウェア構成要素を含み得る。

0020

幾つかの見地において、デバイス100は、開示された実施例に係るプロセスにおいて使用される音響または音声信号を生成する一個以上のスピーカ150を含み得る。たとえば、スピーカ150は、電気的な音声信号入力に応じて可聴音響を生成する電気音響変換器を含むか、それと接続されて動作し得る。スピーカ150は、当業者に公知である任意のプロセスにより(たとえば、電磁的インダクタンスなどの)音声出力を生成すべく構成され得る。代替的または付加的に、デバイス100は、音声ヘッドセットサポートする音声ジャックを備え得る。音声は、開示された実施例に従い、Bluetooth(登録商標)デバイスを介して受信された音声情報、または、(たとえば、RFリンク公衆加入電話網などの)他の音声通信経路を介して受信された音声信号を含み得る。デバイス100は、スピーカ150に対して信号および情報を送受信する(たとえば、回路機構およびソフトウェア命令などの)適切なハードウェアおよびソフトウェアを含み得る。

0021

デバイス100は、音響を、開示された実施例に係るプロセスにおいて使用される電気信号へと変換する(たとえば、音響/電気変換器または他のセンサの如き)一個以上のマイクロフォン160を含み得る。該マイクロフォン160は、周囲の音響に応じ、(たとえば、電磁誘導キャパシタンス変化圧電生成、光ファイバなどの)当業者に公知のプロセスを通じて電気信号を生成すべく構成され得る。幾つかの実施例において、マイクロフォン160は前置増幅器と電気的に通信し得るが、斯かる構成は必要とされない。以下に記述される如く、デバイス100は、マイクロフォン160に対して電気信号を送受信し、開示された実施例に係るプロセス(たとえば、入力イベントとしての音声入力の受信、音声データの記録および保存など)を行う必要なハードウェアもしくはソフトウェアを含み得る。

0022

幾つかの実施例において、デバイス100は、生体音響情報を受信、捕捉、処理、且つ、解釈すべく構成された一個以上の生体音響センサ170を含み得る。幾つかの見地において、生体音響情報としては、(たとえば、指が、腕、、別の指などを軽打するときの)皮膚同士の接触、(たとえば、拳骨をつくるなどの)身体の動き、または、他の身体の刺激時に生成される生体内および生体上の(たとえば振動などの)音響が挙げられる。幾つかの実施例において、生体音響センサ170は、図1に示された如く、単一のセンサ、または、複数のセンサのアレイを備えて成り得る。たとえば、一実施例において、生体音響センサ170は、人体を通して振動を検出すべく設計された(たとえば、MiniSense100、他の片持ち梁式の振動センサなどの)圧電フィルムのアレイを備えて成り得る。デバイス100は、信号および情報を生体音響センサ170に対して送受信し、開示された実施例に係るプロセスを行う(たとえば、回路機構、ソフトウェア命令などの)適切なハードウェアおよびソフトウェア構成要素を含み得る。以下に記述される如く、生体音響センサ170は、身振り入力の如き一定形式の入力イベントの検出を支援し得る。

0023

幾つかの実施例において、デバイス100は、該デバイス100の装着を促進すべく構成されたストラップバンドフレーム、または、他の斯かるコネクタ180を含み得る。幾つかの見地において、コネクタ180は、堅固であり、または、(たとえば、弾性ストラップ、調節可能なバンド、屈曲可能なフレームなどを介して)調節可能とされることで、異なる体型のユーザに対処し得る。付加的もしくは代替的に、コネクタ180は、該コネクタ180またはデバイス100を固定する(たとえば、一つまたは複数のマジックテープ(登録商標)領域、フックベルトバックルクラスプ留め金、ボタン絞りなどの)締着手段を含み得る。幾つかの見地において、コネクタ180は、デバイス100が、装着されたときに、腕の上部の如き人体の特定部分上に快適に着座する様に設計され得る。たとえば、コネクタ180は、(たとえば、該コネクタ180が接続状態に在り)デバイス100が装着されている間に、該デバイスが実質的に楕円形の断面を呈する如く、バンドもしくはストラップを含み得る。幾つかの見地において、コネクタ180は常に接続状態に在り得る(たとえば、上記コネクタは調節可能バンドである)一方、他の見地において、コネクタ180は、確実に装着され得るときにのみ、接続状態であり得る(たとえば、該コネクタはマジックテープ(登録商標)のパッチである)。幾つかの実施例において、コネクタ180は、一定量の圧力が付与されたとき、破断し、接続解除され、または、調節され得る。たとえば、ひとつの見地において、コネクタ180は、(たとえば、コンベア・ベルト、ドアなどの)物体に捕捉されたときに、接続解除され得る。コネクタ180はまた、(たとえば、ユーザの体型、ユーザの嗜好、更に強固な装着、作業要件などの故に)異なる形式のコネクタが設置され得る様に、デバイス100から取外し可能ともされ得る。

0024

図1は、デバイス100に含まれる幾つかのデバイス構成要素を示しているが、該デバイスは、他の構成要素を含み、示された構成要素を省略し、同一構成要素の複数の例を含み、且つ/又は、示された構成要素の全てではなく幾つかを組み合わせ得る。たとえば、ひとつの示された見地において、デバイス100は、スピーカ150、マイクロフォン160またはコネクタ180を含まないこともある。これに加え、デバイス100は、図1に示されない他の構成要素を含み得る。たとえば、デバイス100は、加速度計GPS受信器振動モータ無線リンクSIMカードRFIDチップ、音声ジャック、Bluetooth(登録商標)システム、コネクタ・ポート(たとえば、USB、Lightning、DVI、HDMI(登録商標)、任意のI/Oポートなど)、生体測定スキャナ、物理的ボタン(たとえば、音量ボタン無音ボタン、他の入力を提供するボタン、ディスプレイ140に関連付けられたボタンなど)、キーボードスタイラスホルダ、カメラ、カードリーダ、または、情報を受信、処理、もしくは、生成し得、且つ/又は、情報交換を促進し得る他の任意の形式の構成要素の如き構成要素を含み得る。更に別の例において、デバイス100は、数個の深度カメラ130を含むことで、(たとえば、数個の視点に関連付けられた深度データから視差情報を生成することにより)開示された実施例に係る付加的なプロセスを行い得る。デバイス100は、これらのデバイスを実現するために必要とされる所要周辺機器、回路機構、配線受信器、ソフトウェア命令などを含み得る。

0025

幾つかの見地において、デバイス100は、開示された実施例に従い他の構成要素の機能性を組み合わせる構成要素を含み得る。たとえば、デバイス100は、スキャナ120および深度カメラ130が同一の物理的空間占有するという、一つまたは複数の構成要素を含み得る。別の例において、スキャナ120および/または深度カメラ130は、同一の物理的構成要素において実現されることで、スキャナ、撮像器、深度カメラ/深度センサ、および、カメラに係る機能性を提供し得る。

0026

幾つかの見地において、デバイス100、および、それに含まれた各構成要素は、(たとえば、Google ARAの如きモジュール式実施方式に従い)モジュール式アップグレードを許容する如き様式で設置され得る。幾つかの実施例において、モジュール式アップグレード物は、デバイス100とインタフェースすべく装備される任意の取外し可能、交換可能、アップグレード可能、および/または、互換可能なモジュールを備えて成り得る。幾つかの見地において、モジュール式アップグレード物は、デバイス100の既存の機能性を向上、補完または組み合わせるデバイス構成要素を備えて成り得る。たとえば、デバイス100は、ユーザが、(たとえば深度カメラ130などの)特定の構成要素をアップグレードし、または、基本設計には存在しない(たとえばカードリーダなどの)機能性を付加し得る様に、モジュール式構成要素を含み得る。モジュール式アップグレード物は、開示された実施例に係る(たとえば、スキャナ、カードリーダ、GPSデバイス、加速度計、深度カメラなどの)任意のデバイス構成要素を含み得る。

0027

更に、図1はデバイス100を構成する各構成要素の特定のレイアウトを示しているが、開示された実施例に係るデバイスは、各デバイス構成要素の任意の配置を包含する。たとえば、ひとつの例示的な見地において、デバイス100は、該デバイスの(たとえば右側などの)特定の側部上に投影器110およびスキャナ120を相互に接近させてグループ化すべく構成され得る。別の例において、デバイス100は、スキャナ120および深度カメラ130が該デバイスの各端部上に位置することで更に広い視界認識を促進し、且つ、各構成要素により範囲限定される視差角を増大する様に構成され得る。図1に示された特定の構成要素および各構成要素のレイアウトは、例示的であり、例証目的のためだけである。

0028

図2Aは、開示された実施例に係るウェアラブル処理デバイス100の代表的な構成要素のブロック図を示している。幾つかの実施例において、デバイス100は、バス、回路機構、配線、または、(たとえば、LAN、MANWANセル式ネットワーク、WiFiネットワークNFCリンク、Bluetooth(登録商標)、GSM(登録商標)ネットワーク、PCSネットワーク、図6のネットワーク320など、および、HTTP、TCP/IP、RFIDなどの如き、関連する任意のプロトコルの如き、任意のデジタル・データ通信媒体などの)外部通信ネットワークの如き、通信バックボーン206に対して接続された一つまたは複数のプロセッサ202を含み得る。デバイス100の任意の構成要素は、バックボーン206を介して通信し、情報および/またはデータを交換し得る。たとえば、ひとつの見地において、投影器110、スキャナ120、深度カメラ130、ディスプレイ140、スピーカ150、マイクロフォン160、および/または、生体音響センサ170は、相互に情報を交換し、プロセッサ202に対して情報または信号を提供もしくは受信し、メモリ内に情報を記憶もしくは読出し、外部の演算システムに対して情報を提供もしくは受信し得るなどである。幾つかの実施例において、加速度計、RF回路機構、GPS追跡器、振動モータ、カードリーダなどの如き、図2に示されない構成要素もまた、バックボーン206上で通信し得る。たとえば、デバイス100は、衛星から場所および時間の情報を受信する(不図示の)GPS受信器を含み得ると共に、斯かる情報を、プロセッサ202の如き該デバイスの他の構成要素に対して通信し得る。

0029

幾つかの見地において、プロセッサ202および付随するハードウェアおよび/またはソフトウェアは、デバイス100の各構成要素に対するコントローラとして作用し得る。たとえば、プロセッサ202は、ハードウェア構成要素またはソフトウェア命令と協働して、デバイス構成要素の各々に対する信号の送信、受信および処理を制御して、本明細書中に記述されたものと一致するプロセスを実施して管理し得る。プロセッサ202はまた、以下に記述される実施例に係る外部デバイスおよび演算システムに対する情報および信号の受信、処理および送信も制御し得る。故に、プロセッサ202に関して幾つかの見地が記述されるが、これらの実施例は、付随するデバイス構成要素または演算システムと通信するコントローラを介しても実現され得ることを理解すべきである。

0030

幾つかの見地において、デバイス100は、主要メモリ208を含み得る。該主要メモリ208は、プロセッサ202により実行されるコンピュータプログラム一群の命令、コード、または、データを記憶する有形持続的なコンピュータ可読媒体を表すランダムアクセス・メモリ(RAM)を備えて成り得る。プロセッサ202により実行されたとき、斯かる命令、コンピュータ・プログラムなどによれば、プロセッサ202またはデバイス100の他の構成要素は、開示された実施例に係る一つまたは複数のプロセスまたは機能を実施することが可能とされる。幾つかの見地において、斯かる命令としては、(たとえば、コンパイラなどからの)機械コード、および/または、プロセッサ202がインタプリタにより実行し得るコードを含むファイルが挙げられる。

0031

幾つかの見地において、主要メモリ208はまた、補助メモリ210を含むか、それに対して接続され得る。該補助メモリ210は、(たとえば、HDDSSDなどの)ディスクドライブ212、および/または、磁気テープ・ドライブ、フラッシュ・メモリ、光ディスク・ドライブ、CD/DVDドライブなどの如きリムーバブル記憶ドライブ214を含み得る。リムーバブル記憶ドライブ214は、当業者に公知の様式で、リムーバブル記憶ユニット218を読取り、且つ/又は、それに対して書き込みし得る。リムーバブル記憶ユニット218は、磁気テープ、光ディスク、または、リムーバブル記憶ドライブ214により読取りおよび書き込みされる他の記憶媒体を表し得る。リムーバブル記憶ユニット218は、プロセッサ202により実行されるべきコンピュータ・プログラム、一群の命令、コード、または、データを自身内に記憶する有形の持続的なコンピュータ可読媒体を表し得る。

0032

他の実施例において、補助メモリ210は、コンピュータ・プログラムまたは他のプログラム命令がデバイス100内にロードされることを許容する他の手段を含み得る。斯かる手段は、たとえば、別のリムーバブル記憶ユニット218またはインタフェース220を含み得る。斯かる手段の例としては、リムーバブルなメモリ・チップ(たとえば、EEPROM、RAM、ROM、DRAM、EEPROM、フラッシュ・メモリ・デバイス、または、他の揮発性もしくは不揮発性のメモリ・デバイスなど)、および、関連するソケット、或いは、リムーバブル記憶ユニット218からデバイス100への命令およびデータの伝達を許容する他のリムーバブル記憶ユニット218およびインタフェース220が挙げられる。

0033

デバイス100はまた、一つまたは複数の通信インタフェース224も含み得る。該通信インタフェース224は、デバイス100と、(たとえば、バックボーン206に加えての)外部システムとの間におけるソフトウェアおよびデータの伝達を許容し得る。通信インタフェース224は、モデムアンテナ送信器、ネットワーク・インタフェース(たとえば、イーサネット(登録商標)・カード)、通信ポートPCMCIAスロットおよびカードなどを含み得る。通信インタフェース224は、電子的、電磁的、光学的であり得る信号、または、該通信インタフェース224により受信され得る他の信号の形態で、ソフトウェアおよびデータを伝達し得る。これらの信号は、通信経路(すなわちチャネル228)を介して通信インタフェース224に対して提供され得る。チャネル228は、信号を搬送すると共に、配線、ケーブル、光ファイバ、RFリンク、信号送信器、および/または、他の通信チャネルを用いて実現され得る。一実施例において、上記信号は、プロセッサ202に対して送信されたデータ・パケットを含む。プロセッサ202からは、処理されたパケットを表す情報もまた、信号の形態で通信経路228を通して送信され得る。

0034

図2Bは、開示された実施例に係るウェアラブル・デバイス100の代表的な電力関連構成要素のブロック図を示している。デバイス100は、該デバイスおよびその構成要素(たとえば、深度カメラ130など)に対して電気動力を提供する一つまたは複数のバッテリ252を含み得る。バッテリ252は、再充電可能なバッテリ、使い捨て可能なバッテリ、リチウムイオン・バッテリなどの、モバイル機器に対する任意の適切な形式のバッテリを含み得る。

0035

幾つかの見地において、デバイス100は、他の供給源からバッテリ252もしくは該デバイス100に対して電力を提供して該バッテリを充電もしくは給電する(たとえば、電力ポート、ケーブル、配線などの)周辺機器および回路機構を含み得る。たとえば、デバイス100は、一つまたは複数の外部電源254から供与された電力でバッテリ252または該デバイス100を給電するハードウェアを含み得る。外部電源254としては、外部バッテリ、ACまたはDC電流を流す電力供給網無線誘導充電器などが挙げられる。

0036

これに加え、デバイス100は、一つまたは複数の光電池256からバッテリ252または該デバイス100に給電する周辺機器および回路機構を含み得る。幾つかの見地において、光電池256は、光に応じて電気エネルギを生成する任意の種類の光電的な物質または表面を備えて成り得る。たとえば、光電池256は、半導体材料の層を収容する太陽電池の如き、光起電力電池を備えて成り得る。光電池256は、デバイス100の表面上に、(たとえば、別体的な電池として)別体的な構成要素と設置され得る。幾つかの見地において、光電池256は、デバイス100の前側パネル(たとえば、他の構成要素に対して使用されない該デバイスの前側パネルの一部または相当の部分)が光電表面を含む様に、上記デバイスに一体化され得る。

0037

デバイス100は、運動エネルギから電気エネルギを生成する一つまたは複数の運動変換器258を含み得る。たとえば、該運動変換器258は、デバイス100の振動および移動から電気エネルギを生成する振動動力給式発電器を備えて成り得る。斯かる振動は、たとえば、デバイス100を装着し、凹凸の多い道路などを走行しているユーザからの運動に起因して生じ得る。運動変換器258の振動動力供給式発電器は、片持ち梁上の磁石バネ質量系などの如く、更に小寸の環境に対して特に設計された方法を用いて電気エネルギを生成し得る。デバイス100は、運動変換器258により生成された電力でバッテリ252または該デバイス100を給電するために必要な周辺機器および回路機構を含み得る。

0038

幾つかの実施例において、デバイス100は、(たとえば、腕の回りに装着されたときに)人体に形状適合し、優れたデバイスの機能性を促進する柔軟な、屈曲可能な、または、撓曲可能な基板および電子機器を含み得る。幾つかの見地において、柔軟な基板によれば、デバイス100は、対象者の種々のサイズの腕の如き、種々の使用形態を考慮することが許容され得る。たとえば、デバイス100の各構成要素(たとえば、深度カメラ130、プロセッサ202など)は、装着されたときに各構成要素が情報およびデータを伝達し得る様に、電子機器の屈曲可能な基板を介して相互に対して電気接続され得る。柔軟な基板および電子機器は、たとえば、グラフェン、撓曲可能なプリント配線回路、撓曲可能なフラット・ケーブルなどの如き、当業者に公知の任意の構造を備えて成り得る。

0039

幾つかの実施例において、デバイス100は、他のコンピュータ・システム、デバイス(たとえば、複数のデバイス100)、および、(たとえば、通信インタフェース224を介して)他のテクノロジに対し、且つ、それらから、情報を受信、獲得、記憶、処理、生成、および、提供し得る。図3は、開示された実施例に係るデバイス100の代表的なシステム環境300を示している。ひとつの見地において、上記環境は、(たとえば、ユーザ302などの)夫々のひとり以上のユーザに対して関連付けられた(たとえば複数のデバイス100などの)一つまたは複数のウェアラブル・デバイス、(たとえば、ホスト310などの)ホストに対して関連付けられた(たとえばシステム312などの)一つまたは複数のシステム、および、(たとえばサードパーティ330などの)一つまたは複数のサード・パーティに対して関連付けられた(たとえばサード・パーティ・システム332などの)一つまたは複数のサード・パーティ・システムを含み得る。システム環境300の構成要素のひとつ以上を、一つまたは複数の通信ネットワーク320が接続し得る。

0040

通信ネットワーク320は、デジタル・データ通信の一つまたは複数の通信ネットワークまたは媒体を含み得る。通信ネットワーク320の例としては、ローカルエリア・ネットワーク(“LAN”)、無線LAN、セル式ネットワーク、RFネットワーク、近距離無線通信(NFC)ネットワーク(たとえばWiFiネットワーク)、複数の無線LANを接続する無線メトロポリタン・エリア・ネットワーク(MAN)、(単一もしくは複数の)NFC通信リンク、(たとえば、I/Oポートを介した)任意の物理的有線接続パーソナル・エリア・ネットワーク(PAN)(たとえば、Bluetooth(登録商標))、および、ワイド・エリア・ネットワーク(“WAN”)(たとえばインターネット)が挙げられる。開示された実施例に依れば、通信ネットワーク320は、ハイパーテキスト転送プロトコル(HTTP)および伝送制御プロトコル/インターネット・プロトコル(TCP/IP)などの一種類以上の通信プロトコルを介して任意の利用可能な単一もしくは複数のネットワークを含み得る。開示された実施例に係る通信プロトコルはまた、無線識別(RFID)通信および/またはNFCを用いてデータ伝達を促進するプロトコルも含み得る。更に、通信ネットワーク320は、GSM(登録商標)ネットワークまたはPCSネットワークの如き一つまたは複数のモバイル機器ネットワークも含むことで、デバイス100が、本明細書中に記述された通信プロトコルなどの該当する通信プロトコルを介し、データを送信および受信することを許容し得る。

0041

幾つかの実施例において、システム312は、情報を受信、処理、生成、提供および記憶すべく構成された一つまたは複数のコンピュータ・システムを含み得る。幾つかの見地において、システム312はまた、ソフトウェア命令を実行し、開示された実施例に係る一つまたは複数のプロセスを実施するようにも構成され得る。幾つかの代表的実施例において、システム312はホスト310と関連付けられるが、斯かる関連付けは必要ではない。ホスト310は、開示された実施例に係る任意の種類の事業者(たとえば、会社、一般運送業、郵便サービス、企業、サービス・プロバイダ小売商事的事業体金融機関、学校など)であり得る。たとえば、システム312は、一般運送業または郵便サービスを提供する会社に対して関連付けられたコンピュータ・システムを含み得る。

0042

システム312は、一つまたは複数のサーバ314を含み得る。一実施例において、サーバ314は、フロントエンドバックエンド、および、一つまたは複数のプロセッサを含み得るが、サーバ314は、斯かる構成に制限されない。たとえば、上記フロントエンドおよびバックエンドは、単一のコンピュータ、単一のサーバ(たとえば、サーバ314)、または、当業者に自明である任意の付加的または代替的な演算デバイス取入れられ得る。サーバ314はまた、分散式の演算デバイスおよび演算システムも含み得る。一実施例において、フロントエンドは、サーバ314内に含まれた一つまたは複数のプロセッサにより実行される(たとえばウェブ・サービスなどの)ソフトウェア・アプリケーションの如き、一つまたは複数のソフトウェア・プログラムであり得る。同様に、バックエンドは、サーバ314内に含まれた一つまたは複数のプロセッサにより実行される一つまたは複数のソフトウェア・プログラムであり得る。サーバ314は、斯かる構成に限定されない。付加的実施例において、フロントエンド・ソフトウェアは、バックエンドを実行するサーバまたは演算システムとは別体のサーバまたは演算システムにより実行され得る。

0043

サーバ314は、ソフトウェア命令を実行し、開示された実施例に係る一つまたは複数のプロセスを実施すべく構成され得る。一実施例において、たとえば、(たとえばデバイス100などの)デバイスは、情報を交換し、本明細書中に開示された一つまたは複数のプロセスの実行を促進し得る。幾つかの見地において、デバイス100およびシステム312は、本明細書中に開示された処理機能共有区分、管理、または、連携調整すべく構成され得る。たとえば、デバイス100は、プロセスに対して関連付けられた幾つかのサブルーチンを実施し、(たとえばネットワーク320を介して)システム312に対して情報を送信し、且つ、システム312が上記情報に関して付加的なサブルーチンを行った後で該システムからの処理済み情報を受信すべく構成され得る。別の例において、システム312は入力をデバイス100に送信してデバイス・プロセスを開始し、該デバイスから獲得されたデータを受信し、且つ、受信したデータに関して更なる処理を行い得る。この様にして、デバイス100およびシステム312は、処理の負荷分担し、付加的な機能を実施し、且つ、情報を交換すべく構成され得る。他の見地において、サーバ314は、デバイス100に関係しない該サーバ自体のプロセスを実施し得る。たとえば、ホスト310のユーザまたは顧客は、スマートフォンまたはパーソナルコンピュータの如きコンピュータ・システムを介して(たとえば、サーバ314上で実行されるウェブ・サーバを介して)システム312に対して関連付けられたウェブ・ページまたはモバイル・アプリケーションにアクセスすると共に、引き続き、情報を、システム312に対して提供しもしくはそれから受信し、システム312上で行われるアカウント・サービスの申請などを行い得る。

0044

システム312は、開示された実施例に従い情報を記憶すべく構成された一つまたは複数のデータ集積器316を含み得る。幾つかの見地において、データ集積器316に記憶される情報としては、デバイス100に関する情報(たとえば、通し番号、前回既知の通信、設置された構成要素など)、デバイスから受信された情報(たとえば、デバイス構成要素から収集されたデータ)、デバイスに対して関連付けられたひとり以上のユーザに関する情報(たとえば、ユーザのアカウント情報、ユーザのログインおよび資格証明データ、IDの如きユーザの識別情報データ固有入力定義、ユーザの選好性較正データなど)、(たとえばサード・パーティ・システム332などの)サード・パーティから受信した情報、または、開示された実施例に係る他の任意の情報が挙げられる。付加的もしくは代替的に、この情報は、デバイス100のメモリ(たとえば、メモリ208または210)に記憶され得る。幾つかの見地において、システム312は、データ集積器316に記憶するデータを受信、獲得、蓄積、収集、生成または作成すべく構成され得る。幾つかの実施例において、たとえば、システム312は、記憶のために、通信ネットワーク320を介して情報を受信もしくは獲得し得る。幾つかの見地において、システム312は、データ集積器316内に記憶された情報をデバイス100に対して提供すべく構成され得る。他の見地において、デバイス100は、(たとえば、ネットワーク320を介して)データ集積器316に対して直接的にアクセスし、該デバイス100とシステム312との間における情報交換を促進すべく構成され得る。システム312はまた、デバイス100から受信した情報をデータ集積器316に記憶する様にも構成され得る。

0045

サード・パーティ・システム332は、情報を受信、処理、生成、提供および記憶すべく構成された一つまたは複数のコンピュータ・システムを含み得る。幾つかの見地において、サード・パーティ・システム332は、サード・パーティ330に対して関連付けられ得る。サード・パーティ330は、デバイス100および/またはシステム312から、および、それに対し、情報を受信、提供、処理、または、生成し得る任意の会社、事業者、対象者を表し得る。サード・パーティ・システム332は、システム312のそれと同様に、それ自体の演算システム、サーバ、データ集積器、プロセッサなどを含み得る。幾つかの見地において、デバイス100および/またはシステム312は、開示された実施例に従い、サード・パーティ・システム332に対し、情報を受信かつ提供し、または、プロセスを共有すべく構成され得る。

0046

幾つかの見地において、各デバイス100は、通信ネットワーク320を介して相互に情報を送信、受信および交換すべく構成され得る。たとえば、デバイス100において収集もしくは生成されたデータ(たとえば、写真、走査されたバーコード、動画、生成されたモデルなど)は、(不図示の)別のウェアラブル・デバイスに対して送信され得る。この例において、受信デバイスは、ネットワーク320を介してデバイス100から送信された情報を受信し、開示された実施例に係る自身のプロセスを行い得る(または、逆も同様である)。幾つかの見地において、2台以上のデバイス間で交換されたデータは、別のコンピュータ・システム(たとえば、システム312)に対しても送信され得るが、斯かる送信は、必要ではない。たとえば、ユーザ302は、デバイス100により写真を撮り、その写真を、別のユーザに関連付けられた別のデバイスに対し、NFCネットワークを介して送信し得る。この例において、上記受信デバイスは、上記写真を受信すると共に、写真の記憶、表面上への写真の投影(その場合、それは、以下に記述される如く、サイズ再設定、操作などされ得る)、デバイス・ディスプレイ140上への写真の表示などの如き、更なる処理を行い得る。

0047

幾つかの実施例において、デバイス100は、図3に示されない他の装置、補機マシン、デバイス、および、テクノロジとインタフェースすべく構成され得る。デバイス100は、これらの他のテクノロジに対し、開示された実施例に係る任意の様式で(たとえば、ネットワーク320、USBポートもしくはI/Oポート、Bluetooth(登録商標)、専用ポートの如きデバイス100のコネクタ・ポート、または、接続方法などを介して)インタフェースすべく構成され得る。たとえば、デバイス100は、GPS受信器、熱探知撮像器、X線スキャナ、pH読取器、望遠鏡顕微鏡飲酒検知器グルコース計外部スピーカ外部ディスプレイ、スマートフォン、ガイガーカウンタ、レーザ、カードリーダ、RFラジオプリンタ、健康もしくは医療モニタ(たとえば、心拍数および血圧のセンサなど)、および/または、入力もしくは出力として情報を収集、交換または処理し得る他の任意のデバイスの如き、他のテクノロジとインタフェースし、それらと情報を交換し、且つ、それらと協働しての処理を促進すべく構成され得る。幾つかの代替実施例において、これらのテクノロジは、上述された如く、デバイス100内のデバイス構成要素として含まれ得る。

0048

幾つかの実施例において、これらの構成要素は、複数のデバイスまたはコンピュータ・システム間の情報交換も促進し得る。たとえば、デバイス100は、システム312の如き外部コンピュータ・システムに対して関連付けられた(不図示の)ドッキングステーションとインタフェースすべく構成され得る。デバイス100は、任意の有線または無線の通信ネットワーク320を介して上記ドッキング・ステーションに対して接続されるべく構成され得る。幾つかの実施例において、デバイス100は、上記ドッキング・ステーションからデータを受信すると共に、それに対してデータを送信すべく構成され得る。上記ドッキング・ステーションは、デバイス100およびシステム312からの情報を受信、交換、送信、および、同期すべく構成され得る。

0049

図3は、ひとつのみのデバイス100を備えた代表的なシステム環境300を示しているが、開示された実施例は、付加的なデバイスおよびユーザを含み得る。幾つかの見地において、ひとりのユーザは一つまたは複数のデバイスに対して関連付けられ得ると共に、ひとつのデバイスはひとり以上のユーザに対して関連付けられ得る。同様に、環境300は、各々が、一つまたは複数のシステム312およびサード・パーティ・システム332に対して夫々関連付けられた複数のホスト310およびサード・パーティ330を含み得る。

0050

図4Aは、開示された実施例に係るユーザの腕上の装着済みデバイス100の代表的な概略図を示している。幾つかの見地において、ユーザ302は、デバイス100を自身の身体上に装着し得る。デバイス100は、ユーザの腕、肩、脚、手首(たとえば、腕時計として)、または、(たとえば、コネクタ180を介して)他の任意の身体部分上での快適な使用のために設計され得る。幾つかの実施例において、デバイス100は特に、ユーザの上腕の回りに装着されるべく設計および構成され得る。たとえば、図4Aに示された如く、デバイス100は、調節可能なバンド、ストラップ、または、フレームの如き調節可能なコネクタ180を用いて、ユーザの腕の上部上に快適に着座し得る。装着された(たとえば、コネクタは接続状態に在る)とき、コネクタ180は、デバイス100の断面輪郭が(たとえば、図4Bに示された如く、たとえば0.2未満の偏心率を有する)実質的に楕円形状を取らせ得る。デバイス100の実質的に楕円形の断面によれば、ユーザの腕上への上記デバイスの装着が促進され得る。たとえば、幾つかの実施例において、デバイスの断面の短径は、6、7、8、または、9インチの如く、殆どの人間の腕のそれを超過しない。コネクタ180はまた、(たとえば、更に大寸のコネクタ、弾性的なコネクタ、着脱可能なコネクタなどにより)デバイス100の断面が、更に大きな対象者のために、これらの範囲を超えることも許容し得る。これに加え、コネクタ180は、デバイス100の断面が、三日月形状、U形状、または、対象者の腕の全体的もしくは部分的な断面に対応する他の形状を取らせ得る。

0051

幾つかの見地において、デバイス100は、(たとえば、図4Aに示された如く)ユーザ302の皮膚上に直接的に着座し得る。他の見地において、デバイス100は、(たとえば、図7Aに示された如く)ユーザ302の皮膚に接触せずに、該ユーザの衣服上に着座すべく設計され得る。衣服上に装着されたときに起こりやすい接触は別として、たとえば、デバイス100は、該デバイス上の画面もしくはボタンの押圧、該デバイスの保持、該デバイスの手動操作、または、同様の物理的な相互作用の如き、ユーザ302からの直接的である物理的な接触、入力または手動操作なしに、本明細書中に開示されたプロセスを実施し得る。幾つかの見地において、(たとえば、ユーザの頭部領域から離間した使用に対する構成にて、ユーザの皮膚に対するなどの)この直接的接触の排除は、(たとえば、OSHA規定などの)作業場規則社内基準、サード・パーティの基準、ユーザの衛生問題、および、ユーザの選好性の如き、上記デバイスの適法な使用規定を向上させるべく設計され得る。

0052

幾つかの実施例において、デバイス100の各構成要素は、ユーザの腕上での使用に対して設計、載置および最適化され得る。たとえば、図1に示された如く、一つまたは複数の生体音響センサ170がデバイス100の内側表面領域上に配置されることで、適切な生体測定読取値を促進し得る。別の例において、デバイス100は、該デバイス100の内側表面上に配置された心拍数モニタ発汗モニタ、または、他の種類の医療センサを含み得る。生体音響センサ170、心拍数モニタ、または、他の斯かるデバイスは、デバイス100の内側表面上のアレイを形成し得る。

0053

幾つかの実施例において、デバイス100は、ユーザの腕上で使用される他の材料を含み、または、それと協働し得る。たとえば、デバイス100の内側領域は、特定の材料もしくはスリーブにより裏打ちされることで、腕上に装着されたときのユーザの快適さおよびデバイス機能性を最適化し得る。別の例において、デバイス100は、該デバイス100が、ユーザが使い捨て可能な裏地を装着していることを該デバイスが検出しないときに、動作しないか、または、低減された機能性を以て動作する如く、(たとえば、スリーブ、バンド、裏地などの)使い捨て可能材料の裏地と協働すべく構成され得る。他の見地において、使い捨て可能材料の裏地は、デバイス100の機能性に影響しないこともある。たとえば、ひとつの見地において、デバイス100は、該デバイス100の装着に伴う衛生を増進すべく、薄寸のプラスチック裏地上で動作すべく構成され得る。

0054

デバイス100はまた、数メートルからの落下、(たとえば、壁部、天板コンクリートなどの)硬質表面との接触、小さな震盪力などに耐え得るべく、高耐久性永続的に使用されるようにも設計され得る。たとえば、デバイス100は、パッド入りカバー内に嵌合し、(たとえば、金属、ケブラー、パッド、ゴムなどの)夫な材料で作成された外側ケージまたは保護層を含み、(たとえば、ゴリラガラスを含有する)耐擦過性の表面およびディスプレイを備えるなどのように構成され得る。ひとつの見地において、たとえば、デバイス100は、(たとえば、80重量%などの)実質的にゴムポリマで構成された硬質で屈曲可能なケーシングを含み得る。幾つかの実施例において、このケーシングは、デバイス100、および/または、その内部の電気構成要素の回りの防水シールを形成し得る。幾つかの見地において、上記ケーシングは、デバイス100の表面が空気または光に開放されたままである様に、開口、凹所、または、間隙を含み得る。幾つかの実施例において、上記ケーシングにおける間隙は、(たとえば、ガラス、プラスチック、合成繊維クリスタルなどの)透明な材料、層またはフィルムで満たされることで、デバイス構成要素と外部環境との間の保護バリヤを構成し得る。

0055

幾つかの見地において、デバイス100は、工業、企業、軍事、および/または、他の政府機関仕様準拠するようにも構成され得る。たとえば、ひとつの代表的実施例において、デバイス100は、デバイスの高耐久化要件を決定するためのMILSPEC810G、または、他の任意の指定された政府機関の規則指定項目に準拠すべく構成され得る。幾つかの見地において、デバイス100は、低温高温高湿低圧もしくは高圧水中浸漬、砂の存在、雨、冷気、加熱などの如き極端天候および/または環境条件に耐えるべく構成され得る。たとえば、デバイス100は、(たとえば、該デバイスの電気構成要素を囲繞する防水ケーシングを含めることなどにより)海洋深度での深さ、高山の頂上、風の強い砂漠などでの動作に対して構成され得る。幾つかの実施例において、デバイス100は、の存在の如き、他の想定可能な使用状態に(たとえば、デバイスの内側表面を囲繞するシールにより)耐えるべく構成され得る。

0056

幾つかの実施例において、デバイス100は、その構成要素のひとつ以上を用いて、自身の環境の物理的な風景を決定し得る。たとえば、デバイス100は、自身の視界内の物体の深度を決定する深度カメラ130を含み得る。深度カメラ130により認識される如く、被写界深度は、各点が、位置および深度を含む一組の座標に対して関連付けられるという、(たとえばピクセルなどの)点の2次元配列を備えて成り得る。各ピクセルはまた、開示された実施例に従い、(たとえば、RGB値、CYMK値、または、同様の指標などの)色彩の如き他の属性に対しても関連付けられ得る。デバイス100は、視界内の空間の3次元的な特性を決定する上で、該視界における各点の座標および他の属性を使用し得る。

0057

たとえば、図5Aは、開示された実施例に係る深度カメラ130の代表的な被写界深度を示している。幾つかの見地において、深度カメラは、その視界内の点502を検出し得る。点502は、視界内において、(たとえばピクセルなどの)最小の解像可能な特定形状を表すカメラ空間内の基本単位、または、斯かる単位の群(たとえば、複数のピクセルを含むピクセル群)を反映し得る。深度カメラ130は、点502を、カメラ空間における該点502の位置および深度を示す座標と関連付け得る。図5Aに示された代表的な座標系において、これらの座標は直交座標(x, y, z)の形態を取り得る。深度カメラ130は、球面座標円柱座標、固有の座標およびデータ構造などの如き、他の形式の座標系を使用し得ると共に、これらの座標系は、(たとえば、透視もしくは投影された座標系を生成することなどにより)レンズ形状の如き深度カメラ130の特定形状も考慮し得る。深度カメラ130はまた、点502を、RGB三重項、CYMK四重項などの如き、一つまたは複数の色に対しても関連付け得る。更に、図5Aは深度の意味を表すべく各座標軸を示しているが、深度カメラ130において検知された環境は、図5Bに示された如く(たとえば3次元環境を2次元空間へと投影したことに起因して)、各ピクセルが深度値に対して関連付けられたというピクセルの2次元配列の形態を取り得ると共に、図5Aにおける各軸の包含は、例示目的のためである。

0058

デバイス100は、カメラ空間における各ピクセルと各点との間の関係を決定する数学アルゴリズムを実施するハードウェアおよび/またはソフトウェアを含み得る。たとえば、デバイス100は、深度カメラ130を介して実施されるアルゴリズム、または、(たとえばプロセッサ202により実行されて)該デバイス内で実施されるソフトウェアを用いて、(たとえば、2つのピクセル間などの)2つの点の間の距離510を決定し得る。図5Aの例において、たとえば、デバイス100は、関係



を用いて、点502と点504との間の3次元距離510を決定し得、式中、x、yおよびzは、点504および点502の座標を反映している(夫々、下付き文字により表される)。当業者により理解され得る如く、他の座標系は異なる距離式を使用し得ると共に、上記の例示的な関係は、例示目的のためだけである。更に、デバイス100は、付加的な様式で距離を決定し得る。たとえば、デバイス100は、点502から点504までの経路に沿って位置する隣接ピクセル間の複数の小距離を数値的に加算することにより、2点間の距離510を決定し得る。

0059

デバイス100はまた、深度カメラ130により、または、プロセッサ202により実行されるソフトウェアにより、3つの非共直線的な点により範囲限定される表面積512も決定し得る。たとえば、デバイス100は、関係A=(1/2)bhを用いて、点502、504および506により範囲限定される表面積512を決定し得、式中、Aは、表面積512であり、bは、(たとえば、距離510に対して上記で算出された)上記表面の各辺の内のひとつの辺の長さであり、且つ、hは、その辺に関連付けられずに該辺と直角を形成する対向点(たとえば点506)からの線分の距離である。当業者により理解され得る如く、他の座標系は、表面積512の異なる表現を含み得る。これに加え、デバイス100は、3点間の表面積512を決定する数値法の如き、他の方法を採用し得る。たとえば、デバイス100は、上記表面を3個のピクセルから成る複数の群(すなわち、複数のピクセル群)に区分し、且つ、該表面内における各群の部分的表面積を合計することにより、表面積を決定し得る。デバイス100はまた、リーマン和、数値表面積分などの如き、他の数式も採用し得る。更に、デバイス100は、表面を、3点から成る複数の領域へと区分し(たとえば、各辺は別の群と共有され)、(たとえば、上記の如く)各領域の表面積を求め、且つ、結果を合計することにより、3個より多い点に及ぶ表面(たとえば、n角形)の表面積を決定し得る。当業者であれば、開示された実施例に従い表面積512を生成もしくは近似する他の手法を理解し得よう。

0060

デバイス100はまた、深度カメラ130および/またはプロセッサ202により実施されるプロセスを用いて、物体の体積514も決定もしくは見積もり得る。たとえば、図5Aにおける四面体により描かれる如く、デバイス100は、V=(1/3)Ahの如き関係を用いて、4個以上の非平面的な点/頂点により範囲限定される体積を決定し得、式中、Vは、体積514であり、Aは、(たとえば、上記で算出された表面積512などの)底面の表面積であり、且つ、hは、上記底面と、その対向点(たとえば、点508)との間の高さである。他の座標系は、体積514の他の表現を採用し得る。これに加え、デバイス100は、4個より多い点に及ぶ物体の体積を、該物体を、4個の非平面的な点の領域に区分し、(たとえば上記の如く)各領域の体積を求め、且つ、結果を合計することにより、数値的に決定し得る。デバイス100はまた、物体の体積を、該体積を数値的に積分することにより(たとえば、物体を複数のピクセルまたはピクセル群へと分割すると共に、体積要素dVを備えた座標組uを有する領域Dに亙り物体の関数fを数値的に積分



することにより)見積もり得る。

0061

デバイス100は、他の数値法を用いて、物体の体積を見積もり得る。幾つかの見地において、(たとえば、当該カメラが中実の物体を見通せないので)複雑な物体が深度カメラ130に対して視認不能な点を含むとき、上記数値法、および、他の斯かる考察は、該物体の体積514を見積もる上で有用であることが判明し得る。幾つかの実施例において、デバイス100は、物体に関して幾つかの仮定を行うことにより、該物体の体積を見積もり得る。たとえば、デバイス100は、数個の点により範囲限定された物体は、広範囲な物体に共通する特徴である、特定の対称性(たとえば、放射対称左右対称、球対称など)を呈すると仮定し得る。付加的もしくは代替的に、デバイス100は、上記物体は、それが、一定の軸心の回りに反射もしくは回転されたときに、同様に見える如く、実質的に規則的な形状を有すると仮定し得る。これらの仮定に基づき、デバイス100は、プロセッサ202により実行されるソフトウェアにより、上記物体の視認不能な点または辺の箇所を見積もり、それに応じて、体積を生成し得る。

0062

図5Bは、開示された実施例に係る寸法計測の目的で、被写界深度における代表的な物体を示している。幾つかの見地において、デバイス100は、(たとえば、エッジおよびコーナー検出アルゴリズムの如き、本明細書中に開示されたものと一致するプロセスを用いて)一群の点により範囲限定された特定物体を決定し得る。たとえば、図5Bにおける代表的な物体において、デバイス100は、(たとえば、深度カメラ130により、および/または、プロセッサ202により実行されるソフトウェアにより)、物体は、点530、532、534、536、538、540および548により範囲限定されると決定し得る。幾つかの見地において、この物体は、ボックス、パッケージ、電話、書籍などの如き、実質的に矩形もしくは台形の角柱の形態を取る任意の物体を反映し得る。幾つかの見地において、デバイス100は、上述された実施例を用いて(たとえば、上記物体を複数群の点に区分し、これらの領域の面積/体積を決定し、且つ、結果を合計するなどして)、上記物体の表面積もしくは体積を決定し得る。

0063

他の見地において、デバイス100は、これらの点により範囲限定された物体は、実質的に規則的な配向を有し、または、特定の対称性を呈すると仮定し得る。この仮定を用いて、デバイス100は、上記物体が、(たとえば、物体が不透明なので)深度カメラ130の視界内で検出されずに、仮定された対称性に基づく箇所を有する視認不能な点(頂点)550を有する可能性があることを決定し得る。この決定は、たとえば、点532および534、548および536、および、540および538の間に関連付けられた各距離が、点530と視認不能点550との間の距離に帰属するはずであるとの仮定から求められ得る。点550と、点534および538とを接続する各辺は、(たとえば、関連する辺を用いて)同一様式で決定され得る。同様に、デバイス100は、表面542、544および546を、視認不能点550を含むそれらの夫々の対向する(たとえば、平行な)表面へと帰属させることにより、この決定を行い得る。これに加え、デバイス100は、(たとえば、以下に記述される如く、多数の連続的なピクセル群が、複数の平行な法線ベクトルを共有するという領域を決定することなどにより)物体の平坦な表面を特定し、他の既知の各頂点の座標を特定し、且つ、上記物体は、上記平坦表面に関連付けられた軸心に関する対称性を呈するという規則を課すことにより、視認不能な頂点を決定し得る。

0064

デバイス100は、上記の計算を用いて、視認不能点550の見積もり箇所を決定し得る。たとえば、デバイス100は、同様の点の間の辺の長さを平均し(たとえば、点530および550の間の距離は、点532および534、点548および536、および、点540および538の間の平均距離を反映すべきであり、このプロセスを他の辺に対して反復するなどして)、各表面を、上述された如く、対向する対応物に帰属させ、2次元もしくは3次元の回転および平行移動を視認可能物体に適用して、逆方向において期待されるそれの配向を決定する(たとえば、点530および550の間の辺の距離は、点548と536との間のそれに等しくあるべきである)などにより、視認不能点550の箇所(たとえば、座標)を決定する。デバイス100は、物体の対称性および/または規則性の仮定を使用して、数個の斯かる視認不能点の箇所を生成し得る。単一もしくは複数の視認不能点の箇所を見積もった後、デバイス100は次に、上述の実施例を用いて、各視認不能点を用いて上記物体の体積を算出または更新し得る。この様にして、デバイス100は、更に大きな程度の正確さを以て、物体の体積の概算値を生成し得る。

0065

これに加え、デバイス100は、上記の考察から導かれる数学的関係(たとえば、幾何学的関係)を用いて、深度カメラ130の視界内における物体および表面の他の特性を決定し得る。たとえば、デバイス100は、座標系における2つの点(たとえば、点502および504)を通る直線に対し、ax+by=cの如き式、または、座標系に基づく他の斯かる数式を用い、それらの座標に基づく表現を決定し得る。同様に、デバイス100は、ax+by+cz=dの如き式、または、座標系に依存する別の形態を用い、上記座標系における(たとえば、点502、504および506により範囲限定される)平面に対し、各点の座標に基づく表現を決定し得る。デバイス100は次に、これらの関係を用い、3つの点が1本の直線上で一致するのか、4つの点がひとつの平面上で一致するのかなどに関わらず、表面512に対する法線ベクトルの如き、環境の特徴を決定し得る。たとえば、f(x,y,z)=ax+by+cz=0の形態を有する平面と一致する(たとえば、表面積512を有する)表面に対し、この平面に対する法線ベクトルは、N=▽fの形態を取り得、式中、▽は勾配演算子である。当業者であれば、法線ベクトルに対する他の表現は、部分的に、使用される座標系と、(たとえば、数値的手法により)平面が近似される形態とに依存して、理解し得よう。たとえば、座標系における3つの点が与えられたなら、デバイス100は、(たとえば、ひとつの点の座標から他の点の座標を減算することにより)第1の点から第2の点に及ぶベクトル、および、第1の点から第3の点に及ぶベクトルを決定し、且つ、結果的な各ベクトルの外積を算出することにより、これらの点に対する法線ベクトルを算出し得る。デバイス100はまた、この法線ベクトルが適切に指向されているか否か(たとえば、それが、物体表面から内方または外方を指向しているか)も決定し、それに応じて、(たとえば、それに対して−1を乗算して、該ベクトルを外方に向けさせて)上記法線ベクトルを調節もし得る。デバイス100は、たとえば、プロセッサ202により実行されるソフトウェア命令により、これらの値を数値的に決定し得る。

0066

幾つかの実施例において、線分、距離、直線、平面、法線ベクトルなどの決定は、深度カメラ130の視界内における表面および物体の配向に関する(たとえば、それらの直線/平面の式、法線ベクトル、体積などに基づく)知見を付与し得る。一例において、表面に対する法線ベクトルは、その3次元的な配向を表す。故に、デバイス100は、任意の物体を複数群の点へと区分して、それらの表面積、体積、法線ベクトルなどを求めて、該物体の表面積、体積および配向を決定し得る。更に、デバイス100は、当業者に自明である上述の考察の更なる詳細を採用し、開示された実施例に係るプロセスを行い得る。たとえば、デバイス100は、(たとえば偏微分値を用いるなどして)xおよび/またはy方向における深度カメラ130の視界の深度勾配を算出することで、これらの方向における視界の深度変化の割合を決定し得る。上記で論じられた如く、上述の計算は、深度カメラ130、該深度カメラ130に対して接続されたプロセッサ202、または、(たとえば、通信ネットワーク320を介してデバイス100に接続されたシステムなどの)任意の外部演算システムにより実施され得る。

0067

デバイス100はまた、外部供給源から受信された、または、(たとえば、該デバイスまたは外部システム上の)メモリ内に記憶されたモデルに基づき、物体の特性(たとえば、表面積、体積、法線ベクトルなど)も決定し得る。上記モデルは、上記デバイスが遭遇し得ることが略々確実な物体を反映すべく、事前生成され得る。たとえば、配達サービスの分野において、デバイス100は、特定の会社またはブランドにより一般的に使用されるパッケージ、伝票、および、ボックスの3次元表現を記憶し得る。その場合にデバイス100は、物体の特性を、それを一つまたは複数の物体モデルと比較することにより決定し、もし一致が検出されたなら、モデルの既知特性(たとえば、サイズ、仕様、重量、社名など)を、現在の物体に対して帰属させ得る。デバイス100はこのプロセスを、たとえば、プロセッサ202により実行されるソフトウェア命令を実施することにより、行い得る。

0068

デバイス100は、(たとえば、上述されると共に、図6に関するなどの)開示された実施例に係るプロセスを用いて物体の境界(たとえば、各頂点)を決定することにより、一致の検出を開始し得る。デバイス100は次に、(一切の視認不能頂点を生成する前または後に)現在の物体に対して回転行列拡大縮小行列、および/または、平行移動行列を適用すると共に、回転、拡大縮小および平行移動された物体が、モデル化された物体と一致するか否かを決定し得る。デバイス100は、処理操作された物体の各頂点が、モデルのそれらと一致するとき、現在の物体およびモデルの夫々の法線ベクトルが、一定の信頼度閾値内で一致する(たとえば、度/ラジアン単位の閾値を超えては逸脱しない)ときなどに、一致を検出し得る。もし、一致が検出されなければ、デバイス100は、開示された実施例に従い、上記物体の処理を継続し得る。他の見地において、デバイス100は物体の情報を(たとえばシステム312などの)外部システムへと送信し、モデル比較を外部的に行うと共に、通信ネットワーク320を介して比較の結果を受信し得る。実際、デバイス100は、上述および以下の考察に係る一切の情報を(たとえばシステム312などの)外部システムへと送信して、開示されたプロセスを行い得ると共に、該デバイス100は、これらの決定の結果(たとえば、表面積、体積など)を通信ネットワーク320を介して受信し得る。

0069

図5Aに戻ると、デバイス100は、各ピクセルに含まれた情報を使用して、深度カメラ130の視界内の物体の一定の特性を決定し得る。たとえば、デバイス100は、その被写界深度が、(たとえば、当該物体から更に遠い深度を有する複数のピクセルであって、壁部、床部、近傍の樹木などに一致するという複数のピクセルなどの)バックグラウンド中に(たとえば、点502、504、506および508により範囲限定される)物体を含むことを決定し得る。デバイス100は、幾つかの技術を用い、物体の境界および広がりを決定し得る。たとえば、デバイス100は、画像中の物体のエッジおよび/またはコーナーを決定するプロセスを使用し得る。ひとつの見地において、デバイス100は、エッジ検出アルゴリズムを採用して、視界内に出現する物体のエッジを検出(して、たとえば、辺510を検出)し得る。これらのエッジ検出アルゴリズムは、これらの方法(たとえば、閾値処理、エッジ細線化処理、微分エッジ検出など)に対する補完物または代替物に加え、業界公知の任意の適切なエッジ検出アルゴリズム(たとえば、キャニー・エッジ検出、位相一致など)を備えて成り得る。たとえば、プロセッサ202は、深度カメラ130からの信号に対し、キャニー・エッジ検出ウィンドウ処理を適用し得る。このウィンドウ処理は、データに対してガウスフィルタを適用してノイズを円滑化する段階と、画像の勾配の強度を決定する段階と、非最大エッジ抑制を適用して、可能的なエッジを細線化する段階と、二重閾値を適用して(たとえば、第1閾値未満のエッジを廃棄して)可能的なエッジを決定する段階と、(たとえば、第2の更に大きな閾値を超えるエッジに対して接続されていない該第2閾値未満のエッジを排除するなどの)ヒステリシスにより、可能的エッジを追跡する段階とを含む。当業者であれば、斯かるエッジ検出ウィンドウ処理の他の改変例は明らかであろう。

0070

代替的または付加的に、デバイス100は、コーナー検出アルゴリズムを採用して、深度カメラ130からの信号における物体のコーナーを検出し得る。斯かるコーナー検出アルゴリズムとしては、Moravec、HarrisおよびStevens、Foerstner、マルチスケールHarris、WangおよびBrady、TrajkovicおよびHedley、および、SUSANアルゴリズムなどの如き、当業者に公知の任意の適切なプロセスが挙げられる。幾つかの見地において、これらのコーナー検出アルゴリズムは、図5Aの点502、504、506および508の如き、物体のコーナーの存在を表し得る。

0071

幾つかの実施例において、デバイス100は、各ピクセルの深度座標を用いて、エッジおよび/またはコーナー検出の結果を精緻化し得る。たとえば、デバイス100は、エッジを形成する2つのピクセルは、相互の閾値距離内に在ることを必要と(することで、たとえば、物体を、バックグラウンド、または、他の距離の物体から区別)し得る。更に、デバイス100は、(たとえば、当該ピクセルが本当はコーナーでないなどの故に)閾値を超える円滑な深度勾配を有するコーナーとしてフラグ表示されたピクセルを排除し得る。デバイス100は、(たとえば、Gaborフィルタ、ノイズ低減、Sobelオペレータ画像勾配、深度勾配などの)斯かる目的に適した他の形式の物体検出アルゴリズムを採用し得ると共に、本明細書における幾つかのアルゴリズムの考察は、例示目的のためだけである。たとえば、デバイス100は、現在の被写界深度の微分値を算出して、微分深度マップまたは微分強度色マップを生成し得る。これらの微分値は、(たとえば、隣接するピクセルなどの)2つの点の間の深度または強度の変化を決定し、且つ、その変化分を、それらの間の距離で除算することにより、数値的に算出され得る。幾つかの見地において、デバイス100は、これらの勾配または微分値のマップを使用して、(たとえば、以下で論じられる如くユーザの指を認識するなど)更なる物体認識を行い、(たとえば、エッジ検出などの)更なる画像精緻化を実施するなどを行い得る。

0072

図6は、開示された実施例に係る、デバイス100を用いて物体を寸法計測する代表的なプロセス600のフローチャートを示している。プロセス600は、他のデバイス構成要素に加え、ソフトウェア命令を実行するプロセッサ202に対して(たとえば、バックボーン206または他の回路機構を介して)通信接続された深度カメラ130の如き、デバイス100において実行されるハードウェアおよび/またはソフトウェアを介して実施され得る。更に、プロセス600は、通信ネットワーク320を介してデバイス100と通信するシステム312の如き他の演算システム上で、全体的もしくは部分的に実施され得る。プロセス600またはそのサブルーチンは、開示された実施例に従い、スタンドアロンのプロセスとして、または、(たとえば、図8および図9の走査または署名プロセスのために物体の配向を決定するなどの)更に大きなプロセスの一部として、実施され得る。

0073

幾つかの見地において、プロセス600は、寸法計測イベントを検出する(ステップ604)により、開始し得る(ステップ602)。寸法計測イベントは、以下において更に記述される如く、デバイス100により検出可能な一切の入力イベントを含みうる。たとえば、寸法計測イベントは、ユーザ302が、(たとえば、深度カメラ130を介して)自身が寸法計測を望む物体上を2回タップしたことを検出する段階、(たとえばマイクロフォン160を介して)音声命令を受信する段階、(たとえば、投影器110および深度カメラ130を用いて)投影インタフェース内に入れられた入力を検出する段階などを含む。付加的な形式の寸法計測イベント(たとえば、入力イベントなど)、および、その検出の様式は、本明細書において更に論じられる。

0074

プロセス600は、深度カメラ130からの視界を、複数の領域へとセグメント化する段階を含み得る(ステップ606)。プロセス600は、上記で開示されたエッジ、コーナー、および、特徴の検出アルゴリズムを用いて、視界を複数の領域へとセグメント化(たとえば、区分)し得る。たとえば、一実施例において、プロセッサ202は、深度カメラ130から受信した信号に対して単一もしくは複数のエッジ検出フィルタを適用して、視界中の物体のエッジを検出し得る。付加的もしくは代替的に、プロセッサ202は、元のもしくは(エッジ検出フィルタによりフィルタリングされて)改変された信号に対してコーナー検出フィルタを適用して、視界中の物体のコーナーの箇所を決定し得る。幾つかの実施例において、プロセッサ202はまた、(たとえば、閾値強度より低いエッジを排除するなどの)閾値試験、(たとえば、閾値個数のピクセルよりも広いエッジを排除するなどの)エッジ細線化、および、開示された実施例に係る形式のフィルタもしくはウィンドウ処理の如き、付加的なフィルタリング・アルゴリズムも適用し得る。

0075

プロセス600は、ユーザが寸法計測を望む物体に対して関連付けられた領域を特定する段階を含み得る(ステップ608)。デバイス100は、この領域を、開示された実施例に従い特定領域を指定する任意の種類の入力イベントを用いて、特定し得る。一実施例においては、たとえば、デバイス100は、上記寸法計測イベントに基づいて上記領域を決定し得る。たとえば、上記寸法計測イベントは、特定回数だけ物体をタップするなどの如き、物体自体においてユーザが実施した(たとえば、身振り入力などの)特定の入力イベントを含み得る。斯かる実施例において、特定された領域は、寸法計測イベントの近傍の領域を反映し得る。他の実施例において、デバイス100は、上記でセグメント化された各領域の内のひとつの領域上に(たとえば投影器110により)インタフェースを投影すると共に、(たとえば、以下に更に詳細に記述される如く)該インタフェースに対する確認インタフェース入力を待機し得る。更に別の実施例において、デバイス100は、各領域の内のひとつの領域上に光またはレーザを照らし、(たとえば、マイクロフォン160を介して受信された音声入力などの)ユーザからの入力イベントを待機し得る。更に、デバイス100は、一定の閾値より大きい表面積を有し、且つ/又は、所定範囲内の法線ベクトルを有するという(深度値により)最も近い領域を見出すことにより、物体に対して関連付けられた領域を特定し得る。寸法計測すべき物体に対して関連付けられた領域の決定は、以下に記述される実施例に係る任意の斯かる入力イベントを伴い得る。

0076

プロセス600は、特定された領域に基づいて、寸法計測すべき物体を決定する段階を含み得る(ステップ610)。幾つかの見地において、この段階は、ステップ608から特定された領域に隣接する一つまたは複数の領域が、同一の物体の一部であるか否かを決定する段階を含み得る。デバイス100は、隣接する各領域を反復的に解析すると共に、その特徴が、その領域は同一物体の一部である(たとえば、一定の閾値を超える)可能性を表すか否かを評価することにより、上記物体が、一つまたは複数の他の領域を含むか否かを決定し得る。幾つかの実施例において、この解析は、隣接領域におけるピクセルの色を、特定された領域のものと比較する段階、および、各色が、(たとえば、同様の色であるが、周囲光などにより更に暗くまたは明るく見える色を含むなどの)体系的な様式で一貫しているか否かを決定する段階を含み得る。たとえば、上方からの証明によれば、パッケージの側部は頂部よりも暗く見え得るが、側部は頂部と同様の色変化特性を含むことで、その領域が関連することを表し得る。複数の領域間の色の比較は、(たとえば、隣接する領域における平均のピクセル色は、暗さまたは明るさにより、特定された領域における平均のピクセル色と類似するか否かなどの)平均の原理に基づき、(たとえば、2つの領域が、暗さもしくは明るさレベルのみが異なるなどの、或る色を略々等しい個数だけ有するか否かなどの)割合/ヒストグラムの原理に基づき、または、他の任意の形式の統計的原理に基づいて行われ得る。

0077

これに加え、デバイス100は、隣接する複数の領域の深度値に基づき、それらが同一の物体を構成することを決定し得る。幾つかの見地において、2つの領域は、それらを結合するエッジに沿う各ピクセルが実質的に連続的な深度値を有するときに、同一物体を構成し得る。たとえば、デバイス100は、隣接する複数の領域を結合するエッジに沿い、各領域から、最も近いピクセル同士を対合し、対合されたピクセルに対する深度値を比較し得る。デバイス100は、2つのピクセルの深度が、等しいか、または、相互に一定範囲内であるときに、それらを連続的と見做し得る。幾つかの実施例においては、幾つかのピクセルが、二回、対合され(て、たとえば、曲率を有するエッジに対処し)得る。各ピクセル対に亙り反復した後、デバイス100は、一定割合のピクセル対が連続的である(たとえば、連続的なピクセル対の割合が85%の如き閾値を超える)とき、2つの領域は同一物体を構成すると判断し得る。上述された如く、デバイス100はまた、この決定を、(たとえば、各領域の平均深度が閾値内であるときなどにおける)各領域における平均ピクセル値に基づき、または、他の形式の統計的分析に基づいても行い得る。

0078

幾つかの実施例において、デバイス100が、2つの領域が同一物体の一部であることを決定したとき、該デバイスは、新たに含まれた領域の隣接領域に対して上記解析を実施し、上記プロセスを新たに開始し得る。デバイス100が、2つの領域は接続されていない(たとえば、同一物体の一部でない)ことを決定したとき、該デバイス100は、次の隣接領域へと継続し得る。デバイス100は、この手順を使用し、隣接する各領域を踏破し、その物体を構成する各領域の境界を生成し得る。この様にして、デバイス100は、物体に対して関連付けられた視界内の全ての領域を決定し得る。

0079

幾つかの見地において、プロセス600は、関連領域から生成された上記物体の3次元表現を生成する段階を含み得る(ステップ612)。デバイス100は、たとえば、図5Aおよび図5Bに関して記述されたプロセスを用いて、物体の3次元表現を生成し得る。たとえば、デバイス100は、一群の関連領域における各ピクセルを、物体を構成する別体的な点であると決定し得る。別の例において、デバイス100は、これらの領域のエッジもしくはコーナー上に位置するピクセルのみが、(たとえば、物体の各点として)物体の一部を構成すると判断し得る。付加的もしくは代替的に、デバイス100は、生成された表現を、記憶されたモデルと比較し、対称性の仮定に基づいて一つまたは複数の視認不能頂点を生成し、または、上述された同様のプロセスを行い、上記物体の表現を生成し得る。

0080

プロセス600は、上記物体の表現に基づき、その寸法および他の特性を決定する段階を含み得る(ステップ614)。デバイス100は、図5Aおよび図5Bに関して記述されたプロセスを用いて、物体の各寸法(たとえば、その広がり、体積など)を決定し得る。たとえば、上記物体表現に対して関連付けられた点またはピクセルの各々を用い、デバイス100は、上記物体を複数群の点もしくはピクセルへと区分し、各群に対する体積を決定し、且つ、結果を合計して上記物体の体積を見積もり得る。デバイス100は、開示された実施例に従い、同様の方法を使用して、上記物体の境界、表面積、法線ベクトルなどを決定し得る。

0081

幾つかの実施例において、プロセス600は、寸法情報を外部演算システムへと送信する段階を含み得る(ステップ616)。デバイス100は、この情報を(たとえば通信インタフェース224などの)通信インタフェースを介して送信することで、開示された実施例に係る更なる処理を行い得る。たとえば、デバイス100は、寸法情報を、通信ネットワーク320を介してシステム312に対して送信し得る。幾つかの見地において、デバイス100は、当然のこととして、上記寸法情報を、(たとえば、図10に関して記述される如く)利用可能な通信ネットワークに基づいて送信すべきか否かなどを決定し得る。

0082

幾つかの実施例において、デバイス100は、上記寸法情報を外部システムに送信することに加え、または、その代わりに、ローカル的に記憶し得る。デバイス100はまた、記憶された寸法情報(たとえば、体積、法線ベクトルなど)を使用して、開示された実施例に係る更なる処理も行い得る。一例において、たとえば、デバイス100は、容器の体積、容器内の利用可能空間などが与えられたなら、上記物体が、容器の如き別の物体の内側に収まるか否かを決定し得る。デバイス100は次に、上記物体が容器の利用可能空間内に収まることを決定すると同時に、上記容器の利用可能空間から上記物体の体積を減算するなどの更なる処理を行い得る。

0083

物体の寸法計測に加え、デバイス100は、その環境に対し、別の様式で相互作用し得る。図7Aは、開示された実施例に係る、表面702上へと投影された代表的な対話型インタフェース704を示している。デバイス100は、(たとえば、プロセッサ202から受信した信号に基づき)情報を投影器110を介して表面上へと投影し得る。幾つかの見地において、投影された情報は、インタフェースを構成もしくは表現し得る。上記インタフェースは、テキスト、画像、動画、グリフ、ボタン、モデル、記号グラフ図表、キーボード、数字パッド、アプリケーション・ウィンドウ(たとえば、iOS、Microsoft Windows(登録商標)、Google Androidに対して関連付けられたウィンドウ、デバイス100に関連付けられた独自開発のウィンドウなど)または、情報を提供し且つ/又は入力を受信し得る他の任意の視覚的な指示、の任意の組み合わせから成り得る。図7Aに示された代表的なインタフェースにおいて、たとえば、インタフェース704は数字パッドから成る。

0084

幾つかの実施例において、インタフェース704の性質、内容、広がり、形態、および、各特性は、上記デバイスが現在において実施している機能またはプロセスに依存し得る。たとえば、もしユーザが、電話呼び出しの開始に係る入力をデバイス100に対して付与したなら、デバイス100は、数字パッド、アドレスリスト、呼び出しオプション(たとえば、スピーカフォン消音など)などを投影し得る。別実施例において、もしユーザが、署名の捕捉に係る入力を付与するなら、デバイス100は、ブランクの署名線を投影し得る。更に別の実施例において、デバイス100は、ユーザからの確認を誘発する確認ボタンもしくは領域を含むインタフェースを投影(して、たとえば、図6Aにおける如く寸法計測すべき物体または領域を表す如き一定のプロセスを行い、または、それを終了)し得る。当業者であれば、デバイス100に係るインタフェースの形式、構成および性質は、開示された実施例の考察および実施時に明らかであろう。

0085

デバイス100は、投影器110を介してインタフェース704を、該インタフェースに含まれる情報を有意に伝達し得る任意の適切な表面702上へと投影し得る。幾つかの見地において、表面702としては、スクリーン、壁部、テーブル、ボックス、人体部分(たとえば、腕、手など)、保持された表面(たとえば、メモ帳、紙材、書籍など)、車両、床部、ミラー、窓、これらの組み合わせなどが挙げられる。たとえば、図7Aにおいては、ユーザの手が、デバイスが数字パッド・インタフェース704をその上に投影する表面702として作用している。

0086

幾つかの実施例において、デバイス100は、意図された表面702のサイズ、3次元配向、色、反射率、明るさ、および、他の表面特性を決定し得る。たとえば、デバイス100は、深度カメラ130、プロセッサ202、および、図5A図5Bおよび図6に関して記述されたプロセスにより、表面702およびその周囲の配向および色を決定し得る。デバイス100は、投影されるインタフェースを、これらの表面特性に基づいて(たとえば、プロセッサ202上で実行されるソフトウェアにより)フォーマットし得る。たとえば、デバイス100は、上記表面特性を用いて、表面702上へと、(たとえば、上記表面に対する法線ベクトルに基づく)適切な整列性、(たとえば、上記表面の境界内である)適切なサイズ設定、(たとえば、上記表面の色に基づく当該インタフェースのコントラスト、色、彩度露光鮮鋭さ、明るさなどの)最適な呈示パラメータなどを以て、インタフェースを投影し得る。例示的にのみ、デバイス100は、意図された表面702は、(たとえば、表面およびその周囲のピクセル色に基づいて)薄暗い部屋において、特定の配向を有する暗い表面であると決定し得る。この例においてデバイス100は、上記表面上において当該インタフェースが、たとえば矩形状を以て出現する様に、薄暗い白色のボタンを以て、適切にサイズ設定および配向されたインタフェースを生成して投影し得る。別の例において、デバイス100は、(たとえば、投影されたインタフェースに対する入力の解釈に関して開示される実施例に従い)ユーザが手袋を装着しているか否かを決定し、且つ、投影されるインタフェースのフォーマットを調節し得る。たとえば、ひとつの見地において、デバイス100は、装着された手袋のサイズ、色および他の特性に基づき、投影されるインタフェース(または、その中に配置されるアイコン、ボタン、および/または、他の領域)のサイズを増大すると共に、投影されるインタフェースの色を調節(たとえば、コントラストを最適化)し得る。

0087

他の実施例において、ユーザは、これらのインタフェース属性の幾つかもしくは全てに対し、値、範囲、および/または、選好性を指定もしくは事前定義し得る。たとえば、ユーザは、インタフェースは、一定のサイズを超えてはならないこと、(たとえば、色盲の対象者に対し)一定の色を含むべきことなどを指定し得る。これらの選好性は、デバイス100上のメモリ内に記憶され得る。幾つかの見地において、ユーザは、開示された実施例に係る任意の入力方法により、これらの利用者仕様を定義し得る。たとえば、一実施例において、ユーザは、表面702に対して(以下に記述される)特定の身振りを実施することにより、インタフェースのサイズを指定し得る。

0088

幾つかの実施例において、デバイス100は、インタフェース入力を含む入力イベントにより、投影されたインタフェース704に対して付与された入力を受信、獲得および処理し得る。幾つかの実施例において、インタフェース入力としては、(たとえば、一本以上の指によるインタフェースへの接触などの)ユーザの身体によるインタフェース704に対する該ユーザの相互作用、スタイラスもしくは他の物体によるインタフェースに対するユーザの相互作用、または、開示された実施例に係る他の任意の入力方法が挙げられる。たとえば、図7Aに示された如く、ユーザ302は、投影された代表的なインタフェース704に対し、自身の手で該インタフェースに対してインタフェース入力を付与しつつある。この様にして、デバイス100は、(たとえば、該デバイス100に対してではなく、投影されたインタフェース704に対するユーザの相互作用を介して)該デバイスの直接的な物理的な手動操作なしで、情報を、ユーザ302に対して提供し、または、該ユーザから受信し得る。

0089

幾つかの見地において、デバイス100は、深度カメラ130、マイクロフォン160、生体音響センサ170、および、該デバイス100の(たとえば、デバイス・プロセッサ202により実行されるソフトウェアなどの)他の構成要素を用いて、インタフェース入力を認識、検出および解釈し得る。一実施例において、たとえば、深度カメラ130は、(たとえば、上記に開示された如く)投影されたインタフェース704の深度を決定すると共に、該インタフェースに対するユーザの相互作用を解釈し、開示された実施例に係るプロセスを促進、実施、開始、または、終結し得る。たとえば、図7Aに示されたインタフェースにおいて、深度カメラ130は、ユーザが自身の指を、インタフェース704の特定の数字アイコンに関連付けられた領域にて(たとえば表面702などの)自身の手に押圧した時点を認識し、その動作を、ユーザが上記数字を“選択している”と解釈し、且つ、必要な処理を提供し得る。幾つかの見地において、デバイス100は、インタフェースのキーボード(たとえば、タイピング)、入力領域、ボタン、ユーザ・インタフェース、アプリケーション・ウィンドウ、および、開示された実施例に係る他の種類のインタフェースにより、同様のプロセスを行い得る。幾つかの実施例において、デバイス100は、当業者に公知の任意の様式で(たとえば仮想キーの押圧、ウィンドウの開き/閉じ、タイピングなどの)ユーザの入力を解釈し得る。

0090

デバイス100は、インタフェース704に対する相互作用を、(たとえば、プロセッサ202により実行されるソフトウェアにより)該インタフェース構成要素の深度および箇所を、ユーザの指のそれと比較することにより、検出し得る。幾つかの見地において、ユーザの指の先端が、表面702に対して一定の閾値以内の深度値を有するとき、デバイス100は、この動作を、ユーザの指先の現在箇所におけるインタフェース704の“選択”または“クリック”として解釈し得る。デバイス100は、深度カメラ130を使用し、且つ、(たとえば、視界の微分深度マップを算出すると共に、対象者の手に対して既知の類似性を有する領域を特定するなどの)開示された実施例に係る物体認識技術を実施して、ユーザの指先の箇所を検出し得る。この様にして、デバイス100は、表面702上へと投影されたインタフェース704に対してユーザ302がインタフェース入力を提供した時点を検出し得る。

0091

別の例において、デバイス100は、ユーザが、自身の身体上の一定箇所に自身の指を押圧し、または、他の身体運動を実施したときに生成される(たとえば生体音響センサ170を介しての)生体音響変化特性を測定することによりインタフェース入力を認識または検出すると共に、それに応じて上記入力を解釈し得る。たとえば、ひとつの見地において、デバイス100は、投影器110によりインタフェース704をユーザの腕上へと投影し得る。この実施例において、デバイス100は、ユーザが自身の腕の部分に接触したときに生成される生体音響変化特性を、(たとえば、プロセッサ202により実行されるソフトウェアにより)一般的またはユーザ特有の生体音響基準データと比較することにより、インタフェース入力を検出し得る。幾つかの見地において、上記基準データは、幾つかのユーザ動作(たとえば、ユーザの腕、手の種々の部分への接触、または、他の身体運動など)に対応する一つまたは複数の生体音響変化特性を表し得る。更に、デバイス100は、深度検知および生体音響の夫々の読取値を(たとえば、深度カメラ130および生体音響センサ170からの信号を解釈するソフトウェアにより)相互に組み合わせ、両方の測定値の結果を比較し、且つ、(たとえば、一方または両方の測定値が、閾値を超える程度の信頼度を以て特定の入力を表すという)適合度に基づいて、最も可能性が高い入力を決定することにより、ユーザのインタフェース入力を確認し得る。深度カメラおよび生体音響センサによりユーザ入力を検出かつ認識するための幾つかの代表的な方法は、非特許文献1および非特許文献2に記述されており、それらの内容および参照事項は、言及したことにより全体的に本明細書中に援用される。

0092

デバイス100は、インタフェース704を使用せずに、ユーザ302からの入力を受信、獲得および処理し得る。幾つかの見地において、デバイス100は、深度カメラ130、生体音響センサ170、または、プロセッサ202と通信して動作する他のデバイス構成要素を介して、身振り入力を備えて成る入力イベントに対して環境を監視し得る。身振り入力としては、任意の身体運動、動作、または、信号が挙げられる。たとえば、デバイス100は、ユーザのピンチズーム動作、指または手のスワイプ、(たとえば、“L”、拳骨などの)一定の手の形状もしくは形態、(たとえば、パンチなどの)手の動作、特定の様式での幾本かの指の移動、(たとえば、腕、、頭などの一部などの)ユーザの身体の一定領域もしくは(たとえば表面702などの)他の物体への接触、(たとえば、ピンチ−ズーム動作、および、異なる手によるユーザの大腿上の領域の押圧などの)類似する身振りの任意の組合せなどの如き、身振りに対し、環境を監視し得る。

0093

幾つかの見地において、身振り入力は、インタフェース704が投影されない表面702上、または、その上方にて実施されたこれらの動作の内の任意のものを備えて成り得る。たとえば、デバイス100は、深度カメラ130および/または生体音響センサ170を用いて、ユーザが、近傍表面に対してピンチ−ズーム動作を行い、表面を所定回数タップし、サービス上に手を置くなどの時点を認識し得る。この様にして、デバイス100およびその構成要素は、インタフェース入力の認識(たとえば、表面深度に関する指の動きの追跡など)と同一様式で、但し、インタフェースを投影する必要なしで、身振り入力を認識し得る。幾つかの見地において、デバイス100は、(たとえば、図5A図5Bおよび図6の寸法計測プロセス、図8走査プロセスなどの開始などの)ユーザの身振り入力の検出時に、プロセスを開始し、入力のためにインタフェースを投影し、且つ開示された実施例を実施し得る。

0094

幾つかの実施例において、認識される身振り入力は、事前定義され得る。これらの見地において、デバイス100は、特定の身振り(または、一群の身振り)を認識して、一定の機能を実施し得る。たとえば、図7Bに示された如く、デバイス100は、ユーザが、バーコード、もしくは、該バーコードを含む領域上、もしくは、その上方にて、自身の手でピンチ−ズームまたはスワイプ動作を行い、上記表面を一定回数だけタップしたなどのときにのみ、(たとえば、スキャナ120を介して)表面702上の視覚的コード706を走査し得る。幾つかの見地において、デバイス100は、異なるデバイス機能に対して異なる身振り入力を関連付け得る。たとえば、デバイス100は、(たとえば、物体の表面を一定回数タップするなどの)第1の形式の身振り入力を、(たとえば物体の寸法計測などの)第1デバイス機能に対し、且つ、(たとえば、ピンチ−ズーム動作を行うなどの)第2の身振り入力を、(たとえば、視覚的コード706の走査などの)第2デバイス機能に対して関連付け得る。

0095

これに加え、ユーザはまた、デバイス100によりプロセスを行うために、自分自身特有の身振りを作り出すこともできる。これらの見地において、デバイス100は、ユーザの特有の身振りを基準設定し、学習し、且つ、認識するための較正プロセスを含み得る。たとえば、もしユーザが、自身の腕上の点を押圧することにより特定のデバイス機能の開始を望んだなら、デバイス100は、特有の身振りを所定回数だけ実施することをユーザに対して要求し、(たとえば、深度カメラ130、生体音響センサ170などを介して)必要な身振り較正データを収集し、且つ、上記特有の身振りを上記ユーザおよび特定のデバイス機能に対して関連付け得る。幾つかの見地において、デバイス100は、このデータを、較正データとしてメモリ内に記憶し得る。幾つかの実施例において、デバイス100は、特有の身振りの情報を、ひとりより多いユーザに対して記憶することで、複数のユーザが単一デバイスに対して特有の身振りを作り出すことを許容し得る。

0096

幾つかの見地において、デバイス100は、マイクロフォン160を介した音声入力を含む入力イベントを受信して処理することで、本明細書中に開示されたプロセスを開始、実施および終結し得る。音声入力は、マイクロフォン160および付随ソフトウェアにより認識可能な可聴音またはノイズを生成する任意の聴覚的、口頭的、または、音調的な信号もしくは命令を含み得る。たとえば、デバイス100は、ユーザからの口頭命令の検知時に、(たとえば、バーコードの走査、写真の撮影、3次元環境のモデル化などの)一定のプロセスを行い得る。幾つかの見地において、上記口頭命令は、ユーザが、(たとえば、“走査する”、“バーコードを読取る”、“写真を撮る”などの)実施を望むプロセスであって、プロセッサ202により実行される音声認識ソフトウェアを用いて検出されたというプロセスに関連し得る。幾つかの見地において、上記音声入力は、事前定義され得る。他の見地において、音声入力は、(たとえば、身振りのカスタマイズなどの)他の入力方法と同一様式で、ユーザにより指定され且つ固有的に定義され得る。幾つかの実施例において、デバイス100は、認識された言語、アクセント方言など、ならびに、(たとえば、ユーザの経時的な発話習慣を学習するなどによる)ユーザの個人的な発話の様式に基づいて、知覚される音声入力の変化形を考慮し得る。

0097

デバイス100は、一つまたは複数の較正パラメータに基づいて、(たとえば、インタフェース入力、身振り入力、音声入力などの)入力イベントに関する自身の検出を調節し得る。幾つかの見地において、上記較正パラメータは、デバイス100が特定ユーザからの入力を如何に解釈するかを精緻化し得る。たとえば、上記較正パラメータは、(たとえば、体型、サイズ、形状、音声ピッチ、他の身体属性などの)ユーザの個人的な属性、(たとえば、上記デバイスが如何に且つ何処で使用されるかなどの)上記デバイスの意図された用法、(たとえば、ユーザが一貫して、意図されたインタフェース・ボタンの左側をクリックするなどの)現場におけるユーザからのデバイスの実際の使用法、(たとえば、特有の身振り、音声命令などの)ユーザにより指定された特有の設定などに対応し得る。ひとつの見地において、デバイス100は、これらの較正パラメータの幾つかを、初期較正プロセスの一部として収集し得る。たとえば、デバイス100は、ユーザに対して関連付けられた幾つかの較正パラメータを決定するために、ユーザに対し、(たとえば腕などの)表面上に投影された較正インタフェースと相互作用することを要求し得る。別の例において、デバイス100は、ユーザが(たとえば、表面に接触し、種々の音声命令および身振りを付与するなどして)該デバイスと相互作用するときに、較正パラメータを収集かつ監視し得る。幾つかの実施例において、デバイス100は、複数のユーザが単一デバイス上で較正され得る様に、ひとり以上のユーザに対して関連付けられた較正パラメータをメモリ内に記憶し得る。

0098

図7Bに示された如く、デバイス100は、一つまたは複数のプロセッサ202と協働して動作するスキャナ120を用い、視覚的コードを走査して復号化し得る。この代表的実施例において、デバイス100は、物体上に配置された視覚的コード706を走査すべく構成される。幾つかの見地において、視覚的コード706は、当業者に公知の任意の線形的もしくはマトリクス的なバーコード(QR、UPC、EAN、MSI、Intelligent Mail、ShotCode、DataGlyphs、EZcodeなど)を含み得る。視覚的コード706は、任意の物体上に位置し得る。たとえば、デバイス100は、ボックス、パッケージ、郵便伝票、製品封筒、カード、紙材、チラシ広告などにおけるバーコードを走査すべく構成され得る。幾つかの実施例において、デバイス100は、開示された実施例に係る方法において使用されるべく、視覚的コード706内に符号化された情報を復号化して処理し得る。たとえば、ひとつの見地において、デバイス100は、走査された視覚的コード706に対して関連付けられた情報を(たとえばメモリ内に)記憶し、上記情報を、更なる処理のために他のコンピュータ・システムへと送信し、上記バーコードの走査に応じた付加的情報を受信するなどを行い得る。

0099

図7Bの代表的実施例において、デバイス100は、インタフェース入力、デバイス入力、音声入力、身振り入力、または、本明細書中に開示された他の任意の形式の入力に応じて、たとえばスキャナ120を介して、自身の視界内の視覚的コード706を走査し得る。たとえば、一実施例において、プロセッサ202は(たとえば、深度カメラ130から検出された信号などに基づいて)、バーコード上またはその近傍におけるユーザのピンチ−ズーム身振り、所望の走査領域を表す身振り、口頭命令、投影されたインタフェース上の“走査”ボタンに対するユーザの選択などの検出に応じて、視覚的コード706を走査するとの信号をスキャナ120に対して送信し得る。

0100

図8は、開示された実施例に係る、視覚的コードを走査する代表的なプロセス800のフローチャートを示している。プロセス800は、他のデバイス構成要素に加え、ソフトウェア命令を実行しているプロセッサ202に対して(たとえばバックボーン206または他の回路機構を介して)通信接続された深度カメラ130およびスキャナ120の如き、デバイス100において実行されるハードウェアおよび/またはソフトウェアにより実施され得る。更に、プロセス800は全体的または部分的に、通信ネットワーク320を介してデバイス100と通信するシステム312の如き、他の演算システム上で実施され得る。プロセス800またはそのサブルーチンは、開示された実施例に従い、スタンドアロンのプロセスとして、または、(たとえば、図9に関連付けられた署名捕捉プロセス、物体寸法計測プロセスなどの)他のプロセスに関連して実施され得る。

0101

プロセス800は、走査イベント(ステップ804)を検出することにより開始し得る(ステップ802)。幾つかの見地において、走査イベントは、身振り入力、インタフェース入力などの、開示された実施例に係る任意の形式の入力イベントを備えて成り得る。たとえば、デバイス100は、ユーザ302が、視覚的コード706を含む表面702上で、その上方で、または、それに接近してピンチ−ズーム動作を行うとき、深度カメラ130を介して走査イベントを検出し得る。上記に説明された如く、上記走査イベントは、音声入力、または、ユーザの特有の身振りの如き他の入力イベントを備えて成り得る。更に、幾つかの見地において、デバイス100は、走査イベントの検出と共に、または、それなしで、視覚的コードを連続的に監視し得る。

0102

幾つかの見地において、プロセス800は、走査イベントの検出に応じて走査領域を決定する段階を含み得る(ステップ806)。上記走査領域は、当該領域に対してデバイス100が(たとえば、回転可能な継手を用いて、スキャナ120をその方向に整列または配向させることにより)視覚的コード706の走査を試み得るという領域を反映し得る。幾つかの見地において、上記走査領域は、上記走査イベントの箇所に基づき得る。たとえば、一実施例において、デバイス100は、ユーザのピンチ−ズーム動作の深度および広がりが与えられたなら、走査領域のサイズおよび箇所を決定し得る。この例において、上記表面またはユーザの手の深度、または、上記動作の広がりは、走査領域の範囲を含み得る。別の例において、上記走査領域は、上記走査イベントの箇所(たとえば、深度および位置)における中心を有する円形、楕円形、または、矩形の領域を含み得る。斯かる実施例において、デバイス100は(表面の深度が与えられたなら)、(たとえば、6インチ、8インチなどの)数インチの直径もしくは側辺長を有する円形または矩形の如き、殆どの視覚的コード706を走査するに十分に大きく、走査領域の境界を決定し得る。デバイス100は、他の様式で走査領域を決定し得る。たとえば、一実施例において、デバイス100は、上記走査領域を、(たとえば、図5Aおよび図5Bに関して算出された如く)閾値・サイズを超える表面積を有する近傍表面の全体を含み、および/または、(たとえば、一定の深度および位置の境界内である)一定の地理的領域内に配置されている、と決定し得る。付加的もしくは代替的に、デバイス100は、上記走査領域は、(たとえば、上記デバイスに臨む表面を肯定すべく)適切な範囲内の法線ベクトルを有する表面を含むと決定し得る。別実施例において、上記走査領域は、深度カメラ130の視界の中心を含み得る。更なる他の見地において、デバイス100は、特定の走査領域を決定しないこともあり、且つ、代わりに、デフォルトの走査領域(たとえば、スキャナ120の真正面の領域)を使用し得る。

0103

プロセス800は、スキャナ120により視覚的コード706を走査する段階を含み得る(ステップ808)。幾つかの実施例において、たとえば、プロセッサ202は、ステップ806において決定された走査領域内で視覚的コード706を走査して復号化するとの信号をスキャナ120に対して提供し得る。上記信号の受信時に、スキャナ120は、視覚的コード706をの復号化を試みるべく、上記走査領域を含む領域を画像化し得る。(たとえば、走査領域が無いという)他の見地において、スキャナ120は、その真正面の領域の画像化を試行し得る。幾つかの実施例において、デバイス100は、このプロセスの間において、線形もしくは領域的な案内ビームパルス、投影インタフェースなどを表面702上へと投影し、それがスキャナ120により画像化を試行している走査領域の広がりをユーザ302に対して示し得る。デバイス100は、この案内手段を、(たとえば、画像化プロセスの一部として)スキャナ120、投影器110、プロセッサ202に対して通信接続された専用の光またはレーザ出力、または、他のデバイス構成要素などにより、生成し得る。

0104

幾つかの見地において、プロセス800は、視覚的コード706の好首尾な復号化および処理に応じて、走査データを生成し得る(ステップ810)。デバイス100は、上記走査データを、任意の既知または独自開発の方法を用い、プロセッサ202により実行されるソフトウェア命令により生成し得る。更に、好首尾な走査に応じて生成された走査データのフォーマットおよび用法は、多くの形態を取り得る。たとえば、一実施例において、ユーザ302は、パッケージ上の視覚的コード706を走査し、特定の保管または経路選定箇所における該パッケージの到着または発送を示すと共に、それに応じて、この情報を経路設定(たとえば、それをシステム312に送信)し得る。別の例において、上記走査データは、利用者が、パッケージに対して署名した、パッケージに対して署名(して、たとえば、図9に関して記述される署名プロセスを開始)する直前である、パッケージに対して署名しないなどのことの確認を反映し得る。更なる他の実施例において、上記走査データは、視覚的コード706が載置された物体に関する(たとえば、製品情報価格情報利用可能性情報、ユーザの論評などの)情報を含み、斯かる情報を(たとえば、システム312または332などの)他のコンピュータ・システムから決定するとの命令を生成するなどを行い得る。当業者によれば、視覚的コード706の走査に応じて生成されたデータの可能的な用法およびフォーマットは、容易に理解されよう。

0105

プロセス800は、視覚的コード706の走査、および/または、走査データの生成が好首尾であったことを表す通知を提供する段階を含み得る(ステップ812)。幾つかの見地において、この通知は、デバイス100の当面の周囲状況に影響し得る。たとえば、視覚的コード706の好首尾な復号化および/または処理に応じ、デバイス100は、スピーカ150を介して所定の音色を発し、投影器110により(たとえば、視覚的コード706が位置する表面702上へと)適切な確認メッセージまたは色を以てインタフェースを投影し、ディスプレイ140上に確認メッセージまたは表示物を表示し、振動モータを通して触覚的フィードバックを提供するなどを行い得る。付加的もしくは代替的に、デバイス100は、通知を、システム312へと、または、演算システム332に対して関連付けられた利用者330へと提供し得る。これらの実施例において、上記通知は、SMSテキスト・メッセージ、電子メール・メッセージ、自動音声メッセージプッシュ通知、データ・ファイル、プロセス命令などの形態を取り得る。

0106

幾つかの実施例において、プロセス800は、上記走査データまたは他の情報を、一つまたは複数の演算システムに対して送信する段階を含み得る(ステップ814)。幾つかの見地において、これらの演算システム(たとえば、システム312、332など)は、上記情報を処理し、開示された実施例に係る更なる処理を行い得る。たとえば、デバイス100は、上記走査データまたは他の情報を、ホスト310により運用されるホスト・システム312へと送信して、そのシステムにより維持された一つまたは複数の記録を更新し得る。システム312は次に、視覚的コード706、および/または、その対応パッケージに対して関連付けられた情報(たとえば、パッケージ追跡情報)を含む、一つまたは複数のウェブ・ページ、モバイル・アプリケーション、または、他のアプリケーションを更新し得る。幾つかの実施例において、デバイス100は、斯かる記録が(たとえば、通信ネットワーク320を介して)更新されたとの表示をシステム312から受信し、且つ、上述された如く、通知メッセージ、音色、振動、表示などを提供し得る。デバイス100は、上記走査データを、(たとえば、図3および/または図10に関して記述された)開示された実施例に係る任意のプロセスを用いて、外部演算システムへと送信し得る。これに加え、デバイス100は、上記走査データをローカル的に記憶および/または処理すると共に、(たとえば、ローカルのファイルを介し、更新された記録情報を外部演算システムへと送信するなどにより)上記一つまたは複数の記録自体を更新し得る。

0107

これに加え、デバイス100は、視覚的コード706からの走査データの提供に応じて、システム312またはサード・パーティ・システム332から他の情報を受信し得る。たとえば、デバイス100は、上記走査データが警報条件トリガしたことを表す警報をシステム312または332から受信し得る。幾つかの実施例において、警報条件は、ユーザ302が(たとえば、受取人、現在のGPS箇所と比較した住所などに基づき)不正確なパッケージを走査しており、その住所に対しては付加的なパッケージが配達されるべきことを表していること、上記パッケージが特定の時刻または場所で走査されたとの確認、その住所に対する全てのパッケージが走査されたことなどの如き、警報を正当化する事実の一切の状態を反映し得る。幾つかの見地において、デバイス100は、上記外部システムからの情報の受信時に、(たとえば、投影器110を用いてメッセージを投影し、ディスプレイ140上にメッセージを表示し、スピーカ150を介して音響を生成し、振動モータにより触覚的フィードバックを提供するなどして)警報を表示し、または、ユーザに対して警報を知らせるべく構成され得る。これに加え、デバイス100は、記憶されたデータおよび警報条件に基づき、走査データが、プロセッサ202により実行されるローカルのソフトウェアを介して、警報条件のトリガを表したか否かを決定し得る。

0108

図9は、開示された実施例に係る、署名を処理する代表的なプロセス900のフローチャートを示している。プロセス900は、他のデバイス構成要素に加え、プロセッサ202に対して(たとえば、バックボーン206または他の回路機構を介して)通信接続された深度カメラ130および投影器110の如き、デバイス100において実行されるハードウェアおよび/またはソフトウェアにより実施され得る。更に、プロセス900は、全体的または部分的に、通信ネットワーク320を介してデバイス100と通信するシステム312の如き、他の演算システム上で実施され得る。プロセス900またはそのサブルーチンは、スタンドアロンのプロセスとして、または、(たとえば、図8の視覚的コード走査プロセスなどの)開示された実施例に係る他のプロセスに関連して実施され得る。

0109

プロセス900は、署名イベントを検出すること(ステップ904)により開始する(ステップ902)。幾つかの見地において、署名イベントは、デバイス100が(たとえば表面702などの)表面上へと署名インタフェースを投影するという信号を反映し得る。署名イベントは、開示された実施例に係る任意の形式の入力イベントを備えて成り得る。幾つかの見地において、たとえば、署名イベントは、(たとえば、物体の表面をユーザ302が一定回数だけタップしたこと、および、音声入力などの)身振り入力の如き入力イベントを備えて成り得る。これに加え、署名イベントは、視覚的コード706の好首尾な走査、走査データの生成、走査データの送信、外部演算システムからの信号の受信などに応じる如く、他のプロセスに関して自動的に生じ得る。

0110

プロセス900は、当該署名表面上に署名インタフェースが投影されるべき(たとえば、表面702などの)署名表面を決定する段階を含み得る(ステップ906)。幾つかの見地において、デバイス100は、上記署名イベントに基づき上記署名表面を決定し得る。たとえば、上記署名イベントが、デバイス100は視覚的コード706を走査したとの表示を含むならば、デバイス100は、(たとえば、上述のプロセスを用いて)上記署名インタフェースが、上記コードがその上に位置する表面702を含むことを決定し得る。これに加え、もし署名イベントが身振り入力を含むなら、デバイス100は、上記署名インタフェースが、上記身振り入力であって、閾値より大きい表面積を有し、所定の深度/箇所範囲内であり、且つ/又は、適切な範囲内の法線ベクトルを有する(ことで、たとえば、縁部上表面よりも面部上表面を好適とする)という上記身振り入力に最も近い表面702を含むことを決定し得る。デバイス100は、開示された実施例に従い、これらの値を決定し得る。他の見地において、デバイス100は、ユーザからの付加的な入力イベントに基づいて、適切な署名インタフェースを決定し得る。たとえば、署名イベントを検出した後、デバイス100は、深度カメラ130を介し、特定の身振り入力に対して監視を行い得る。デバイス100が、ユーザ302からの特定の身振り入力を検知したとき、該デバイス100は、その身振り入力に最も近い表面702を、署名表面として決定し得る。これに加え、デバイス100は、上述された如く、表面積、深度範囲、および、法線ベクトル配向の夫々の閾値を適用し得る。デバイス100は、他の様式で署名表面を決定し得ると共に、上記の幾つかのプロセスの列挙は、例示目的のためだけである。たとえば、デバイス100は、適切な表面積、深度範囲および配向を有する最も近い表面702を、一切の入力イベントに関わらず、署名インタフェースであると決定し得る。別の例において、上記署名インタフェースは、直接的に投影器110の軌跡内におけるなどの任意の表面を含み得る。

0111

プロセス900は、上記署名表面上に署名インタフェースを投影し、更なる入力を待機する段階を含み得る(ステップ908)。デバイス100は、プロセッサ202と通信する投影器110を用いて表面702上へと署名インタフェースを投影し得る。幾つかの見地において、上記署名インタフェースは、深度カメラ130に対して上述されたプロセスを用いて適切にサイズ設定および配向され得ると共に、開示された実施例に係る任意の形式の情報を含み得る。たとえば、幾つかの見地において、上記署名インタフェースは、矩形、卵形、もしくは、円形の照明領域のみにより指定されて一切の目印なしとされたブランク領域を含み得る。他の見地において、上記署名インタフェースは、当該署名欄の近傍における“X”の如き他の記号、(たとえば、視覚的コード706から生成された走査データ、または、システム312を介して受信された情報から決定された)署名者の氏名を表示するテキスト、または、他の斯かる情報を備えた、ブランク署名欄を含み得る。上記署名インタフェースは、開示された実施例に係る他の任意の形式の情報を含み得る。たとえば、一実施例において、上記署名インタフェースは、該インタフェースに対して入力を提供しつつある対象者が、投影された当該ボタンを押圧することにより署名の完了を表し得る様に、確認ボタンを含み得る。

0112

プロセス900は、署名インタフェースに対して提供されるインタフェース入力を監視かつ検出し得る(ステップ910)。デバイス100は、(たとえば、図7Aおよび図7Bに関して記述された如き)上述のプロセスの内の任意のプロセスを用いて、インタフェース入力を監視かつ検出し得る。たとえば、デバイス100は、深度カメラ130、および、(たとえばプロセッサ202などの)他のデバイス構成要素を用いて、署名者の署名を反映するインタフェース入力を検出し得る。デバイス100は、(深度カメラ130により、指/スタイラスの深度を署名表面のそれと比較するなどして、)他のインタフェース入力の監視と同様の様式で、署名者の手またはスタイラスの動作を検出することにより署名を捕捉し得る。たとえば、デバイス100は、署名表面から閾値範囲内における深度値を有する署名者の指の経路を、署名として解釈し得る。幾つかの実施例において、デバイス100は、署名者が署名インタフェースに対する(たとえば、署名動作などの)入力の提供を完了したことを決定し得る。この決定は、たとえば、署名者が、投影された署名欄の最後に到達したことの検出、署名の完了を意味する(たとえば、インタフェース上に投影された確認ボタンに対して付与された)インタフェース入力、もしくは、開示された実施例に係る(たとえば、身振り入力または音声入力などの)他の任意の形式の入力イベントの検出に基づき得る。

0113

幾つかの実施例において、プロセス900は、捕捉された署名を処理する段階を含み得る(ステップ912)。幾つかの見地において、捕捉された署名を処理する段階は、捕捉された署名に関連付けられたデータを生成して(たとえば、画像、または、他のデータ・ファイルなどして)メモリ内に記憶する段階を含み得る。デバイス100はまた、上記署名に対して関連付けられた署名情報を生成すると共に、その情報を、通信ネットワーク320を介して(たとえばシステム312などの)外部システムへと送信して付加的処理も行い得る。たとえば、デバイス100は、署名データをシステム312へと送信し、上記で説明された如く、上記システムにより管理される(たとえば、追跡情報などの)一つまたは複数の記憶済み記録を更新し得る。幾つかの見地において、これらの記録は、ウェブ・サイト、モバイル・アプリケーション、または、システム312により運用される他のアプリケーションを介して利用可能であり得る。幾つかの実施例において、デバイス100は、これらの記録が更新されたとの表示をシステム312から(たとえば、通信ネットワーク320を介して)受信し得る。捕捉された署名を処理する段階は、(たとえば、確認メッセージを送信し、付加的な入力イベントを監視するなどの)開示された実施例に係る更なる処理を行う段階を含み得る。

0114

図10は、開示された実施例に係る、複数のネットワーク・デバイス間でデータを送信する代表的なプロセス1000のフローチャートを示している。プロセス1000は、他のデバイス構成要素に加えて、ソフトウェア命令を実行しているプロセッサ202に対して(たとえば、バックボーン206または他の回路機構を介して)通信接続された通信インタフェース224の如き、デバイス100において実行されるハードウェアおよび/またはソフトウェアにより実施され得る。更に、プロセス1000は全体的または部分的に、通信ネットワーク320を介してデバイス100と通信するシステム312の如き他の演算システム上で実施され得る。プロセス1000またはそのサブルーチンは、開示された実施例に従い、スタンドアロンのプロセスとして、または、(たとえば、視覚的コードの走査、物体の寸法計測、署名の捕捉などの)他のプロセスに関連して実施され得る。

0115

プロセス1000は、デバイス100に対して一つまたは複数の通信ネットワークが利用可能であるか否かを決定すること(ステップ1004)により開始し得る(ステップ1002)。デバイス100は、チャネル228および/またはバックボーン206を介して受信された信号に基づき得るという通信インタフェース224からの信号を介し、各ネットワークが利用可能であるか否かを決定し得る。これらの信号を用いて、デバイス100は、開示された実施例に係る任意のネットワークが現在において利用可能であるか否かを決定し得る。たとえば、デバイス100は、一つまたは複数のセル式ネットワーク、WiFiネットワーク、公衆加入電話網、LANなどが、上記デバイスが情報を送信するために利用可能であるか否かを決定し得る。幾つかの実施例において、この決定は、上記デバイスが、利用可能なネットワークを介して情報を伝達するアクセス権を有する(たとえば、暗号化されたWiFi信号などに対するパスワードを有する)か否かを決定する段階も含み得る。幾つかの見地において、デバイス100は、これらのネットワークがその他の点では到達範囲内であるとしても、該デバイスがアクセスの権利を有さない利用不能なネットワークと見做し得る。ネットワークが到達範囲内であるが利用不能と見做されるとき、デバイス100は、(たとえば、投影されたインタフェース、タッチスクリーン・ディスプレイを介するなどして)上述の実施例を用いて上記ネットワークに対するアクセス権を獲得すべく、視認し、選択し、且つ、パスワードを入力することをユーザ302に対して催促し得る。

0116

幾つかの見地において、プロセス1000は、上記利用可能ネットワークの利用可能な帯域幅および他の特性を決定する段階を含み得る(ステップ1006)。これらの特性は、利用可能ネットワークの速度、信頼性、強度、セキュリティエネルギ消費量などを反映し得る。たとえば、一実施例において、デバイス100は、特定のネットワークに関連付けられた現在のもしくは履歴的な帯域幅、その信号の強度、および、(たとえば、そのネットワークが暗号化されているか否か、使用される特定の種類の暗号化アルゴリズムなどに基づき)そのネットワークに対して関連付けられたセキュリティの度合いを決定し得る。幾つかの見地において、デバイス100はまた、自身がそのネットワークを以前に使用したか否かを決定し、且つ、そのネットワークに対する自身の使用内容(たとえば、帯域幅、待ち時間、通信が好首尾であったか否かなど)を評価もし得る。幾つかの見地において、デバイス100は、上記情報を用いて、利用可能ネットワークの各々に対し、ネットワーク評点を生成し得る。一例において、デバイス100は、与えられたネットワークの帯域幅、信号強度およびセキュリティの各特徴を、0.0〜1.0の尺度採点し、3つの部分的評点を合計または乗算して、そのネットワークのネットワーク評点を生成し得る。上記ネットワーク評点はまた、ネットワークのエネルギ消費量、待ち時間、安定性、サービスの品質、通信の速度などの如き、他の種類の情報も取入れ得る。

0117

プロセス1000は、利用可能ネットワークのひとつ以上が、一定の閾値要件満足するか否かを決定する段階を含み得る(ステップ1008)。たとえば、デバイス100は、利用可能ネットワークのいずれかが、特定の閾値(たとえば、0.7、2.5など)を超えるネットワーク評点を有するか否か、および/または、それらが、別の閾値(たとえば、100kbps、1Mbpsなど)を超える帯域幅を有するか否かを決定し得る。幾つかの実施例において、デバイス100は、ステップ1008において、ネットワークのセキュリティ・レベル、または、本明細書中に開示された他の任意のネットワーク・パラメータの如き、他の種類の接続パラメータを評価し得る。更に、ステップ1008は、利用可能ネットワークの帯域幅およびセキュリティの評点を、別個の閾値に対して測定する如き、数種類の斯かる試験を伴い得る。

0118

もし、ステップ1008の要件を一つまたは複数のネットワークが満足するなら、デバイス100は、これらのネットワークをソートまたは格付けし、データ送信に対して使用するに最適な、もしくは、表見的に最適なネットワークを決定し得る(ステップ1010)。幾つかの見地において、デバイス100は、ネットワーク評点、帯域幅、エネルギ消費量、または、開示された実施例に係る他の任意のネットワーク・パラメータにより、各ネットワークを格付けし得る。たとえば、デバイス100は、最高のセキュリティ評点、帯域幅、または、ネットワーク評点を有するネットワークを選択し、情報をシステム312に対して送信するために使用し得る。幾つかの見地において、ステップ1010において各ネットワークを格付けするためのパラメータは、ステップ1008において使用されたものと異なり得るか、同一であり得る。一例において、デバイス100は、ステップ1008において一定の閾値を超える帯域幅を有する各ネットワークを決定するが、ステップ1010においては、セキュリティ評点により各ネットワークを格付けし得る。

0119

選択されたネットワーク(たとえば、該ステップ1008または1010のパラメータに対し、最高に格付けされ、または、最高の値を有するネットワーク)を用い、デバイス100は、そのネットワークを介してデータを送信し得る。送信されるデータは、署名情報、物体寸法情報、走査データなどの如き、開示された実施例に係る任意のデータの形態を取り得る。デバイス100は、選択されたネットワークを介し、外部システム312もしくは332と通信する通信インタフェース224またはバックボーン206を介して、上記情報を送信し得る。幾つかの見地において、デバイス100は、この情報を、ユーザ302からの一切の入力なしで自動的に送信し得る。他の見地において、デバイス100は、ユーザがデータを送信し、且つ/又は、使用するネットワークを指定することを望むか否かを該ユーザに対して催促し得る。

0120

幾つかの実施例において、利用可能ネットワークの内のいずれもがステップ1008の要件を満足しないとき、プロセス1000は、上記データをデバイス100内にローカル的に記憶する段階を含み得る(ステップ1014)。たとえば、もしデバイス100が処理済みの署名データの送信を試行し、且つ、利用可能ネットワークのいずれもがネットワーク要件を満足しないなら、該デバイス100は、上記情報を該デバイスに対して関連付けられたメモリ(たとえば、補助メモリ210)内に記憶し得る。他の見地において、デバイス100は、通信ネットワークの利用可能性に関わらずに、上記データをローカル・メモリ内に自動的に保存し得る。デバイス100はその後、開示された実施例に係るプロセスにおいて、記憶された情報を使用し得る。

0121

デバイス100はまた、利用可能なネットワークが無く、または、必要なネットワーク・パラメータを有するネットワークが無いなら、将来的なタイムスロットにおいてネットワーク・チェック計画することもできる(ステップ1016)。幾つかの見地において、このネットワーク・チェックは、デバイス100が、記憶されたデータの送信を試行して利用可能ネットワークを決定し得る将来的時点(ステップ1004)を反映し得る。幾つかの見地において、現在および将来のタイムスロット同士の間の時間幅は、情報の重要性、前回の既知の好首尾なデータ送信、日時、利用可能ネットワークの帯域幅、送信されるべき情報の量などの如き、開示された実施例に係る任意の考察に基づき得る。たとえば、デバイス100は、前回の好首尾なデータ送信からの時間が経ち、送信する情報の量が増大するなどにつれ、ネットワーク・チェックを更に高頻度で計画し得る。幾つかの見地において、デバイス100は、記憶された情報を、それが最終的に送信されたときにメモリから削除し得るが(ステップ1012)、斯かるプロセスは必要とされない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ