図面 (/)

この項目の情報は公開日時点(2020年12月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題・解決手段

自動車のためのユーザ認識及び表現の方法及びシステムを開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像に符合するかを決定することにより、ユーザが正規ユーザとして認証された場合に、自動車へのユーザアクセス許可する。顔面特徴は、顔面特徴を含む2次元(2D)又は3次元(3D)画像を含むことができる。コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。ユーザは、自動車の運転者又は同乗者とすることができる。コンピュータはまた、正規ユーザとして認証された場合に運転者又は同乗者に対する設定又は好みを構成することができる。

概要

背景

自動車は、運転体験を高める高度な電子制御器組み込みコンピュータとによってより洗練されてきた。そのような制御器及びコンピュータは、個人情報を含む膨大な量の情報へのアクセスユーザアプリケーションアレイに提供することができる。これらの電子制御器及びコンピュータに対するセキュリティ及びアクセスは、キードアロックシステム、及びコンピュータへのログインパスワードに限定される。キー、ドアロック、及びログイン/パスワードが障害を受けた場合に、不正ユーザ又は運転者は、個人情報に接続された電子制御器及びコンピュータへのアクセスを含む自動車へのアクセス及びエントリを得ることができる。自動車とその電子制御器及びコンピュータとへの正当なアクセスだけを許可するために、自動車には正規運転者又はユーザ識別が必要である。

概要

自動車のためのユーザ認識及び表現の方法及びシステムを開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像に符合するかを決定することにより、ユーザが正規ユーザとして認証された場合に、自動車へのユーザアクセスを許可する。顔面特徴は、顔面特徴を含む2次元(2D)又は3次元(3D)画像を含むことができる。コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。ユーザは、自動車の運転者又は同乗者とすることができる。コンピュータはまた、正規ユーザとして認証された場合に運転者又は同乗者に対する設定又は好みを構成することができる。 B

目的

そのような制御器及びコンピュータは、個人情報を含む膨大な量の情報へのアクセスをユーザアプリケーションのアレイに提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

自動車のためのデータ処理システムであって、少なくとも前記自動車のユーザの画像を格納するデータベースと、前記ユーザの画像を取り込むユーザ取り込みデバイスと、前記データベースと前記ユーザ取り込みデバイスとに結合され、前記ユーザの格納された画像が該ユーザの取り込まれた画像に符合するかを決定することによって該ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセス許可するコンピュータと、を含むことを特徴とするデータ処理システム

請求項2

前記ユーザの前記画像は、2次元(2D)又は3次元(3D)画像を含むことを特徴とする請求項1に記載のデータ処理システム。

請求項3

前記ユーザ取り込みデバイスは、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの表現を取り込むためのものであることを特徴とする請求項1に記載のデータ処理システム。

請求項4

前記コンピュータは、前記取り込まれた表現に基づいて応答を提供することを特徴とする請求項3に記載のデータ処理システム。

請求項5

前記ユーザ取り込みデバイスは、1又は2以上のカメラを含むことを特徴とする請求項1に記載のデータ処理システム。

請求項6

前記1又は2以上のカメラは、立体カメラ、RGB(赤、緑、青)カメラ、又は赤外線カメラを含むことを特徴とする請求項5に記載のデータ処理システム。

請求項7

前記ユーザ取り込みデバイスは、正規ユーザを更に認識するために前記赤外線カメラを使用して温度差情報を取り込むことを特徴とする請求項6に記載のデータ処理システム。

請求項8

前記コンピュータは、前記ユーザが正規ユーザとして認証された場合に前記自動車及び該自動車の制御器への前記ユーザアクセスを許可することを特徴とする請求項1に記載のデータ処理システム。

請求項9

前記コンピュータは、前記ユーザが正規ユーザとして認証されなかった場合に前記自動車及び該自動車の制御器への前記ユーザアクセスを拒否することを特徴とする請求項1に記載のデータ処理システム。

請求項10

前記コンピュータは、前記ユーザが正規ユーザとして認証された場合に該ユーザのための設定及び好みを用いて前記自動車を構成することを特徴とする請求項1に記載のデータ処理システム。

請求項11

前記ユーザ取り込みデバイスは、前記自動車の内側又は外側に位置付けられることを特徴とする請求項1に記載のデータ処理システム。

請求項12

前記ユーザは、前記自動車の運転社又は同乗者であることを特徴とする請求項1に記載のデータ処理システム。

請求項13

自動車のユーザの取り込まれた画像を受信する段階と、前記ユーザの前記取り込まれた画像がデータベースに格納された画像に符合する場合に該ユーザを正規ユーザとして認証する段階と、を含むことを特徴とするコンピュータ実装方法

請求項14

前記ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセスを許可する段階、を更に含むことを特徴とする請求項13に記載のコンピュータ実装方法。

請求項15

前記ユーザが正規ユーザとして認証されなかった場合に前記自動車へのユーザアクセスを拒否する段階、を更に含むことを特徴とする請求項13に記載のコンピュータ実装方法。

請求項16

前記ユーザが正規ユーザとして認証された場合に該ユーザのための設定及び好みを用いて前記自動車を構成する段階、を更に含むことを特徴とする請求項13に記載のコンピュータ実装方法。

請求項17

顔面特徴を含む前記ユーザの前記画像を前記データベースに格納する段階、を更に含むことを特徴とする請求項13に記載のコンピュータ実装方法。

請求項18

前記ユーザの前記受信した取り込み画像は、2次元(2D)又は3次元(3D)画像を含むことを特徴とする請求項13に記載のコンピュータ実装方法。

請求項19

前記ユーザを正規ユーザとして更に認証するために該ユーザの温度情報を受信する段階、を更に含むことを特徴とする請求項13に記載のコンピュータ実装方法。

請求項20

自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの取り込まれた表現を受信する段階、を更に含むことを特徴とする請求項13に記載のコンピュータ実装方法。

請求項21

前記取り込まれた表現に基づいて応答を提供する段階、を更に含むことを特徴とする請求項20に記載のコンピュータ実装方法。

請求項22

コンピュータによって実行された場合に該コンピュータに自動車のユーザの取り込まれた画像を受信させ、かつ前記ユーザの前記取り込まれた画像がデータベースに格納された該ユーザの画像に符合する場合に該ユーザを正規ユーザとして認証させる命令を含む非一時的コンピュータ可読媒体

請求項23

前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセスを許可させる命令を含むことを特徴とする請求項22に記載の非一時的コンピュータ可読媒体。

請求項24

前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証されなかった場合に前記自動車へのユーザアクセスを拒否させる命令を含むことを特徴とする請求項22に記載の非一時的コンピュータ可読媒体。

請求項25

前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証された場合に該ユーザに対する設定及び好みを用いて前記自動車を構成させる命令を含むことを特徴とする請求項22に記載の非一時的コンピュータ可読媒体。

請求項26

前記コンピュータによって実行された場合に該コンピュータに顔面特徴を含む前記ユーザの前記画像を前記データベースに格納させる命令を含むことを特徴とする請求項22に記載の非一時的コンピュータ可読媒体。

請求項27

前記コンピュータによって実行された場合に該コンピュータに前記ユーザを正規ユーザとして認証するために該ユーザの温度情報を受信させる命令を含むことを特徴とする請求項22に記載の非一時的コンピュータ可読媒体。

請求項28

前記コンピュータによって実行された場合に該コンピュータに自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの取り込まれた表現を受信させる命令を含むことを特徴とする請求項22に記載の非一時的コンピュータ可読媒体。

請求項29

前記コンピュータによって実行された場合に該コンピュータに前記取り込まれた表現に基づいて応答を提供させる命令を含むことを特徴とする請求項22に記載の非一時的コンピュータ可読媒体。

請求項30

前記コンピュータによって実行された場合に該コンピュータに前記ユーザの取り込まれた2次元(2D)又は3次元(3D)画像を受信させる命令を含むことを特徴とする請求項22に記載の非一時的コンピュータ可読媒体。

技術分野

0001

本発明の実施形態は、データ及び画像処理、及びユーザ識別、認識、及び認証の分野のものである。より具体的には、本発明の実施形態は、自動車のためのユーザ認識及び表現の方法及びシステムに関する。

背景技術

0002

自動車は、運転体験を高める高度な電子制御器組み込みコンピュータとによってより洗練されてきた。そのような制御器及びコンピュータは、個人情報を含む膨大な量の情報へのアクセスユーザアプリケーションアレイに提供することができる。これらの電子制御器及びコンピュータに対するセキュリティ及びアクセスは、キードアロックシステム、及びコンピュータへのログインパスワードに限定される。キー、ドアロック、及びログイン/パスワードが障害を受けた場合に、不正ユーザ又は運転者は、個人情報に接続された電子制御器及びコンピュータへのアクセスを含む自動車へのアクセス及びエントリを得ることができる。自動車とその電子制御器及びコンピュータとへの正当なアクセスだけを許可するために、自動車には正規運転者又はユーザ識別が必要である。

課題を解決するための手段

0003

自動車のためのユーザ認識及び表現の方法及びシステムを開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像と符合するかを決定することによってユーザが正規ユーザとして認証された場合に自動車へのユーザアクセスを許可する。一例として、ユーザ画像は、顔面特徴を含む2次元(2D)又は3次元(3D)ユーザ画像を含む。

0004

一例として、コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。一例として、ユーザは、自動車の運転者又は同乗者である。コンピュータはまた、正規ユーザとして認証かつ認識された場合に運転者又は同乗者のための設定又は好みを構成することができる。

0005

一例として、ユーザ取り込みデバイスは、自動車の内側又は外側に位置付けることができる。一例として、ユーザ取り込みデバイスは、例えば、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含むユーザの表現を取り込む。一例として、コンピュータは、取り込まれた表現に基づいて応答を提供することができる(例えば、規定の期間を超えて目が閉じている場合に「あなたは眠り込んでいる」と運転者に警告する音声)。一例として、ユーザ取り込みデバイスは、立体カメラ、RGB(赤、緑、青)カメラ、又は赤外線カメラを含む1又は2以上のカメラを含む。ユーザ取り込みデバイスは、赤外線カメラを使用して温度差情報を取り込んで正規ユーザを更に認証かつ認識することができる。

0006

自動車のためのユーザ認識及び表現の他の方法、システム、及びコンピュータ可読媒体を説明する。

図面の簡単な説明

0007

添付の図面は例を示しており、従って例示的実施形態であり、範囲を限定するようには見なされない。

0008

ユーザ識別(ID)デバイスを有する自動車の上面図の一例を示す図である。
ユーザ取り込みデバイス及び動作制御デバイスを有する自動車の内面図の一例を示す図である。
ユーザ取り込みデバイスによるユーザ画像及び特徴の取り込みの例を示す図である。
ユーザ取り込みデバイスによるユーザ画像及び特徴の取り込みの例を示す図である。
ユーザ取り込みデバイスを有する自動車に対する例示的運転者制御環境を示す図である。
ユーザ取り込みデバイスを有する自動車に対する例示的運転者制御環境を示す図である。
図1A図3Bの自動車に使用することができるデータ処理又はコンピュータシステムアーキテクチャの一例示的ブロック図を示す図である。
図4のデータ処理システムアーキテクチャのためのコンピュータシステムの一例示的ブロック図を示す図である。
自動車に対してユーザを認識してユーザ表現を取り込むコンピュータシステムのブロック図を示す図である。
自動車のユーザの生体走査登録するための例示的作動の流れ図である。
自動車のユーザを認証する例示的作動の流れ図である。
自動車のユーザを認証する例示的作動の流れ図である。
自動車のユーザの中立及び非中立表情を処理する例示的作動の流れ図である。

実施例

0009

自動車のためのユーザ認識及び表現のための実施形態及び実施例を開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像と符合するかを決定することによってユーザが正規ユーザとして認証された場合に自動車へのユーザアクセスを許可することができる。一例として、顔面特徴は、顔面特徴を含む2次元(2D)又は3次元(3D)画像を含む。

0010

一例として、コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。一例として、ユーザは、自動車の運転者又は同乗者である。コンピュータはまた、正規ユーザとして認証された場合に自動車の運転者又は同乗者に対する設定又は好みを構成することができる。

0011

本明細書に示すように、様々な実施形態、実施例、及び態様は、以下で議論する詳細を参照して説明し、添付の図面は、様々な実施形態及び実施例を例示することになる。以下の説明及び図面は例示であり、限定として解釈されないものとする。様々な実施形態及び実施例の完全な理解を提供するために多くの具体的な詳細を説明する。しかし、ある一定の事例では、実施形態及び実施例の簡潔な議論を提供するために公知の又は慣例的な詳細は説明しない。

0012

以下の実施例及び実施形態は、自動車のためのユーザ認識及び表現検出技術に向けられるが、そのような技術は、エントリ及びアクセスを必要とするあらゆるタイプの環境に適用することができる。開示する技術は、エントリ及びアクセスのためのキーを要求することを回避し、かつ不正ユーザからの電子制御器及びコンピュータのなりすまし及び不正使用を防止することができる。

0013

ユーザ認識及び表現検出を有する例示的自動車
図1A〜1Bは、ユーザ識別(ID)及び動作制御デバイスを有する自動車110の上面図及び内面図(100及び150)の例を示している。一例として、1又は2以上のユーザ(例えば、運転者又は同乗者)は、自動車にアクセスしてそれを使用するために登録された生体走査情報を有することができる。一例として、生体走査情報は、安全なデータベースに又は安全なクラウドストレージに格納することができる。生体走査情報の例は、ユーザの2D又は3D顔面画像を含むユーザの2次元(2D)又は3次元画像を含むことができる。

0014

ユーザに対する生体走査情報の登録は、自動車110の購入又は注文に使用されるアプリケーションによって開始することができる。例えば、自動車110が購入かつ配送された状態で、例えば、個人識別及びパスワード認証指紋認証、又は2段認証を有する自動車110に対して認証されたモバイルデバイス、例えば、モバイル電話タブレットコンピュータラップトップコンピュータなど上で実行されるプリケーションは、デバイス上の1又は2以上のカメラを使用してユーザの画像を取り込み、正規ユーザとして自動車110のための安全な環境に画像を格納かつ登録することができる。登録される正規ユーザは、自動車110の運転を許可される又は自動車110の運転を制限されるものとして登録することができる。例えば、自動車110を運転するために夫との両方を登録することができるが、全ての子供には自動車110を運転する権限がない。一例として、自動車110は、ユーザの画像を取り込むために1又は2以上のカメラを含み、その画像を自動車のために正規ユーザとして格納かつ登録することができる。

0015

図1Aを参照すると、上面図100は、自動車110の右側と左側の両方に形成されたピラーA、B、及びC(101、102、103)を有する自動車110を示している。一例として、複数のユーザIDデバイス(107−A〜107−D)は、自動車の異なる位置に装着することができ、異なる位置でそれらを使用して自動車110のユーザ(例えば、運転者又は同乗者)を識別、認識、及び認証し、自動車220内の制御器及びコンピュータへのアクセスを含む自動車110へのエントリ及びアクセスを許可することができる。同じく、ユーザIDデバイス107−A〜107−Dを使用して、正規ユーザとして自動車110に登録された1又は2以上のユーザの画像を取り込むことができる。例えば、ユーザは、ユーザIDデバイス107−Bに近づいて、自動車110と共に認証されたモバイルデバイス上で作動しているアプリケーション上で生体走査登録を開始することができ、その場合に、ユーザIDデバイス107−Bは、ユーザの画像を取り込んで正規ユーザとして自動車110に対して格納かつ登録する。

0016

各ユーザIDデバイス107−A〜107−Dは、2D又は3D顔面画像及び特徴を含むユーザ生体走査情報と温度差情報とを取り込むために、例えば、ステレオカメラ、RGB(赤、緑、青)カメラ、又は赤外線カメラのような1又は2以上のカメラを含むことができる。カメラは、図1A〜8に説明する技術及び作動を使用してそれを実施するように構成されたそれぞれのハードウエア及びソフトウエアを含むあらゆるタイプの市販カメラとすることができる。一例として、取り込まれたユーザ画像は、格納又は登録されたユーザ画像、例えば、データベースに格納されたユーザ画像と比較され、取り込まれた画像が格納された画像と符合するかを決定し、符合が存在する場合は正規ユーザとしてユーザを認証することができる。正規ユーザとして認証された場合に、自動車110は、ユーザにアクセス及びエントリを許可することができる。このようにして、例えば、自動車110の運転者又は同乗者のような正規ユーザを検出してそれを認識するのに使用されるユーザの画像を取り込むユーザIDデバイス107−A〜107−Dを有することにより、自動車110のためのキーは必要ない。

0017

図1Aの上面図100により、ユーザIDデバイス107−C及び107−Dは、自動車110の両側のドア間のピラーB(102)上に位置付けられ、自動車110の右側又は左側に近づくユーザを識別かつ認識することができる。一例として、運転者側ドア支持体に装着されて位置付けられたユーザIDデバイス107−Bは、近づく運転者を検出し、その個人が自動車にアクセスして入ることができる正規の許可された個人であるか否かを決定することができる。例えば、ユーザIDデバイス107−B、107−C、又は107−Dによって正規ユーザとして識別かつ認識された場合に、自動車110は、ユーザに自動車110のキーを挿入させる又は起動させる代わりに、ユーザのためにドアを自動的に解錠することができる。一例として、ピラーA(101)に接続されたユーザIDデバイス107−Aは、後端から自動車に近づくユーザ(運転者)を検出することができる。ユーザIDデバイス107−A〜107−Dの各々は、自動車110の施錠システム及び機構を含む自動車110のコンピュータシステムと結合されてそれと通信することができ、例えば、取り込まれたユーザ画像をデータベースに格納されたユーザ画像と照合することによって正規ユーザが検出された場合に、自動車110のための施錠システム及び機構は、そのような正規ユーザのためにそれぞれのドアを自動的に解錠し、自動車110へのアクセスを許可することができる。一例として、正規運転者と識別された正規ユーザだけが、運転制御器にアクセスして自動車110を運転することができる。

0018

図1Bを参照すると、自動車110の内面図150は、後部座席視点からダッシュボード137に向けて示されている。一例として、自動車110は、複数のユーザ取り込みデバイス117−A〜117−C及び動作制御デバイス127−A〜127−Cを含む。一例として、ユーザ取り込みデバイス117−Aは、ダッシュボード137の上方のフロントガラスの上部に位置付けられ、ユーザ取り込みデバイス117−B及び117−Cは、運転席及び助手席ヘッドレストの裏側に位置付けられる。各ユーザ取り込みデバイス117−A〜117−Cは、ユーザ画像(例えば、ユーザの顔面画像、表現、及び特徴)又は熱差情報(例えば、ユーザの頭部及び周辺区域の温度差情報)を取り込むために1又は2以上のステレオカメラ、RGB(赤、緑、青)カメラ、又は赤外線カメラを含むことができる。

0019

一例として、ユーザ取り込みデバイス117−Aは、運転者又は同乗者のユーザ画像を取り込んでそのユーザを正規ユーザとして識別かつ認識することができる。一例として、ユーザが正規ユーザであると決定された場合に、自動車110のためのコンピュータシステム及び制御器は、運転者又は同乗者としてのユーザのための設定及び好みを構成することができる。例えば、運転者は、温度制御器を涼しくしたいと望む場合があり、設定及び好みは、認識された運転者に基づいて設定することができる。同乗者はまた、認識された同乗者のために自動車110内のディスプレイ上に設定することができるある一定の音楽及び音楽制御器を選択することができる。一例として、正規運転者と識別された正規ユーザだけが、自動車110の運転制御器にアクセスすることができ、かつ自動車110を運転することができる。

0020

一例として、ユーザ取り込みデバイス117−Aは、例えば、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いのようなユーザの1又は2以上の画像又は表現(例えば、運転者又は同乗者の表現)を取り込むことができる。一例として、自動車110のためのコンピュータシステム及び制御器は、例えば、眠り込んだ場合に音声警告を与える又は音楽の音が大きすぎてイライラした表現を認識した場合にラジオ音量下げるなど、取り込まれたユーザ表現に応答することができる。コンピュータシステム及び制御器は、自動車110の各正規ユーザに対してあらゆる望ましい方式でかつ個別に応答するようにプログラムすることができる。

0021

一例として、ユーザ取り込みデバイス117−B及び117−Cは、運転者席及び助手席の後ろの同乗者に対して、ユーザ取り込みデバイス117−Aと同様に作動し、ディスプレイコンピュータ151−A及び151−Bに対する設定及び好みも、後部座席内の認識されたユーザの設定及び好みに応じて設定することができる。一例として、ユーザ取り込みデバイス117−A〜117−Cは、赤外線カメラを含み、例えば、ユーザが発熱具合が悪い場合に、健康状態を決定するのにユーザの温度差情報を検出することができる。

0022

一例として、自動車110は、自動車110のダッシュボードの下方に位置付けられた動作制御デバイス127−A〜127−Cと、ディスプレイコンピュータ151−A及び151−Bとを含む。これらの動作制御デバイス127−A〜127−Cの各々は、自動車110のダッシュボードのディスプレイ又はディスプレイコンピュータ151−A及び151−B上に提供される機能、アプリケーション、情報、オプションアイコン、又はオブジェクトを制御又はアクセスする際のユーザ(例えば、自動車110の運転者又は同乗者)の手の動作/運動を検出するために1又は2以上のカメラ(例えば、飛行時間TOFカメラ)又は運動センサを含むことができる。一例として、動作制御デバイス127−A〜127−Cは、ダッシュボード137のディスプレイ又はディスプレイコンピュータ151−A及び151−B上でインタフェース動作制御を実施するためにIntel Realsense(登録商標)からのハードウエア及びソフトウエアを含むことができる。

0023

例示的ユーザ特徴及び表現
図2A〜2Bは、ユーザ取り込みデバイス207によるユーザ画像及び特徴の取り込み例を示している。図2Aを参照すると、ユーザ頭部201が3次元的に描かれている。一例として、ユーザ取り込みデバイス207は、ユーザ頭部201の顔面特徴211を含む2次元(2D)又は3次元(3D)の画像を取り込むことができる。ユーザ頭部201は、自動車110の運転者又は同乗者とすることができるユーザの頭部を示すように描かれ、ユーザ取り込みデバイス207によって識別又は認識される。ユーザ取り込みデバイス207は、図1に示すユーザIDデバイス107−A〜107−D又は図1Bに示すユーザ取り込みデバイス117−A〜117−Cと同様に1又は2以上のカメラを含むことができる。

0024

一例として、ユーザ取り込みデバイス207は、2Dユーザ特徴(例えば、2D顔面特徴211)を取り込むためのあらゆるタイプのRGBカメラ、又はユーザ頭部201の3Dユーザ特徴(例えば、3D顔面特徴211)を取り込むための立体カメラを含むことができる。ユーザ画像での顔面特徴の例は、例えば、ユーザ頭部201の、口、、目、眉毛あざ、顔の幅、頭のサイズ、髪の色などの形状、サイズ、及び寸法を含むことができる。一例として、2D又は3Dユーザ画像及び顔面特徴の情報は、自動車110のユーザに対する生体走査情報の登録中に格納することができ、この生体走査情報は、自動車110内の安全なデータベース内に又は遠隔的に安全なクラウド環境に格納されるものとすることができる。一例として、ユーザ取り込みデバイス207を使用してユーザ頭部201の顔面特徴を識別かつ認識し、自動車110の正規ユーザとしてユーザを認証する時に、そのような特徴がユーザに関するデータベースに格納された特徴と符合するかを決定することができる。例えば、OpenCVソフトウエアによって提供されるオープンソース顔面認識アルゴリズムのようなあらゆるタイプの顔面特徴認識アルゴリズムを使用することができる。一例として、ユーザ取り込みデバイス207は、自動車110の正規同乗者である可能性がある子供の顔面画像を取り込むことができるが、自動車110コンピュータは、子供を運転者制御器から及び自動車110を運転することから拒否かつ防止することができる。

0025

一例では、ユーザ取り込みデバイス207を使用してユーザ画像を取り込み、ユーザの表現を検出することができる。例えば、ユーザ取り込みデバイスは、ユーザによる自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、悲しみ、疲労、怒り、ストレス、又は身震いを取り込むことができる。一例として、取り込まれた表現は、応答を提供する時に自動車110内のコンピュータシステムによって処理かつ分析することができ、又は応答は必要とされない。例えば、運転者が眠り込んでいることを示してユーザの目が規定の期間にわたって閉じているのを取り込みデバイス207が取り込んだ場合に、自動車のためのコンピュータ110は、「ティさん、起きてください、眠り込んでいますよ」のような音声応答を提供することによって応答することができる。他の応答は、ディスプレイ上のメッセージ、ディスプレイ上のライト点滅、設定及び好みの変更などを含むことができる。

0026

図2Bを参照すると、一例として、ユーザ取り込みデバイス207は、温度情報203を取り込むことができる赤外線カメラを含むことができる。そのような情報は、温度差情報を含むことができる。例えば、個人は、無生物とは異なる温度差赤外線画像を有することになる。このタイプの温度情報203は、更に、ユーザ頭部201が正規ユーザと符合するかを決定するのに使用することができ、なりすましを検出することができる。ユーザ取り込みデバイス207を自動車110の内側及び外側に設置し、ユーザ頭部201のユーザ画像を取り込むように位置合わせすることができる。同じく、温度情報を自動車110のユーザ間で比較して運転席又は同乗者席のユーザの健康状態を決定することができる。

0027

ユーザ取り込みデバイスを有する例示的運転者制御環境
図3A〜3Bは、ユーザ取り込みデバイス307を有する自動車(例えば、自動車110)のための例示的運転者制御環境を示している。

0028

図3Aを参照すると、運転者制御環境300が前部座席の視点から示されている。一例として、運転者制御環境300は、ハンドル312及び「端から端まで」ディスプレイ302を有する自動車ダッシュボード337を含む。端から端までディスプレイ302は、3つの表示区域:表示区域1(304)、2(306)及び3(308)を含む。図示しないが、自動車ダッシュボード337内では、自動車の制御及びアプリケーションを提供する別のコンピュータデバイス(コンピュータ)を含むことができる。一例として、ユーザ取り込みデバイス307は、ダッシュボード337の上方に装着かつ位置付けることができ、ユーザ(例えば、前部座席の運転者又は同乗者)の画像又は表現を取り込むために1又は2以上のカメラを含む。動作制御デバイス327は、自動車ダッシュボード332上の端から端までディスプレイ302の下方に装着することができる。動作制御デバイス327は、端から端までディスプレイ302の表示区域1〜3(304、306、及び308)上のアプリケーション及びインタフェースにアクセスしてそれを制御するために、例えば、ユーザの手の動作を取り込むために1又は2以上の運動カメラ(例えば、飛行時間TOFカメラ)及びセンサを含むことができる。

0029

一例として、ユーザ取り込みデバイス307は、自動車ダッシュボード332の上方に、例えば、自動車のフロントガラス上に装着することができ、1又は2以上のカメラを含み、図1A〜2Bに説明したユーザ取り込みデバイスと同様に作動してユーザの画像、特徴、及び表現を取り込むことができる。ユーザ取り込みデバイス307は、図2A〜2Bに示すように、ユーザ画像と運転者又は前部座席同乗者の表現とを取り込むために位置合わせされるように位置付ける又は装着することができる。ユーザ取り込みデバイス307の他の場所は、ダッシュボード337、ハンドル312の左側ピラー(自動車の内側又は外側)、助手席の右側ピラー(自動車の内側又は外側)上とすることができる。図示しないが、他のカメラを自動車の内部又は外部に取り付けて、端から端までディスプレイ302に、例えば表示区域1(304)の左側に表示することができる側方視野及び後方視野画像を取得し、サイドミラー及びバックミラーを使用する必要性を回避することができる。

0030

図3Bを参照すると、運転者制御環境350は、自動車ダッシュボード337上の端から端までディスプレイ302上に設けられたユーザインタフェース及びアプリケーションを有して前方視野の視点から示されている。ハンドル312及び運転者タブレット310は、ダッシュボード337に装着される。運転者タブレット310は、自動車(例えば、自動車110)に対する設定及び好みを含む制御器にアクセスするための運転者インタフェースを提供することができる。一例として、ユーザ取り込みデバイス377は、1又は2以上のカメラを有してダッシュボード337の上に位置付けられて位置決めされ、運転者(例えば、識別する運転者371「ティム」又は識別する同乗者381「ジェニー」)を検出かつ識別することができる。一例として、ティムは、ユーザ取り込みデバイス377を使用して正規のユーザ又は運転者として一度認証される(例えば、ティムのユーザ画像を格納されたユーザ画像と照合してティムを正規ユーザとして検出する)。ユーザ取り込みデバイス377はまた、運転者又は同乗者、例えば、ティム又はジェニーの表現を取り込み、例えば、運転者が眠り込んでいる場合は音声警告のような応答を与えることができる。他の例では、子供が運転席に座っている場合に、ユーザ取り込みデバイス337は子供の画像を取り込むことができ、運転者タブレット310又は自動車コンピュータは、子供を検出し、運転者タブレット310又は端から端までディスプレイ302に対する制御を拒否し、子供が自動車を運転する又はその制御器のいずれかにアクセスすることを防ぐことができる。

0031

一例として、正規運転者、例えば、ティムとして認証された状態で、運転者タブレット310又は自動車コンピュータ(例えば、自動車ダッシュボード337内)は、端から端までディスプレイ302上の制御インタフェースに対する設定及び好みを含むティムの設定及び好みを構成することができる。例えば、表示区域3(308)に示すように、娯楽設定は、表示区域3(308)及びティムのための対応する回転多面体317に示すような音楽、オーディオブック映画、ゲームに関する好みを有するティムに対して設定することができる。同乗者、例えば、ジェニーも、認証された状態で端から端までディスプレイ302上にジェニーのために指定された設定及び好みを有することができる。設定及び好みの例は、端から端までディスプレイ302上の個人用ユーザインタフェ−ス、個人用座席制御器、個人用ハンドル制御器、ペダル場所、個人用温度制御器、個人用電話インタフェース、個人用マッピングなどを含むことができる。

0032

一例として、動作制御デバイス327は、1又は2以上のカメラ及び運動センサを有して自動車のダッシュボード337の下方に位置付けられて位置決めされ、手の動作及びユーザの手307の運動を検出する。例えば、ユーザの手307は、運転者又は同乗者(例えば、正規ユーザとして正しく認識された)の手を表すことができ、動作制御デバイス327は、端から端までディスプレイ302上に提供される機能、アプリケーション、情報、オプション、アイコン、又はオブジェクトを制御する又はそれらにアクセスするためにユーザの動作(例えば、ユーザの手307の動作)を取り込むことができる。一例として、動作制御デバイス327は、Intel Realsense(登録商標)からのハードウエア及びソフトウエアを含むことができ、ユーザ取り込みデバイス377は、例えば、飛行時間TOFカメラのような1又は2以上のカメラを含むことができる。

0033

一例として、運転者タブレット310は、タブレットコンピュータであり、触覚フィードバック及び制御器を有するタッチスクリーンを提供することができる。運転者タブレット310は、正規ユーザが識別かつ認証され、例えば識別された運転者371ティム又は識別された同乗者381ジェニーである状態で設定することができる温度制御及び環境100の様々な設定のような主要な車両機能制御を運転者又はユーザに提供することができる。運転者タブレット310は、自動車ダッシュボード337内の自動車コンピュータ(図示せず)、ユーザ取り込みデバイス377、又は動作制御デバイス327に結合することができる。運転者タブレット310、自動車コンピュータ、又はその両方は、運転者(例えば、ティム)又は同乗者(例えば、ジェニー)を認識し、運転者又は同乗者が動作制御デバイス327を使用して端から端までディスプレイ302にアクセス可能であるように構成することができる。一例として、運転者タブレット310は、そのタッチスクリーン上にあらゆる数の表示、オブジェクト、アイコン、又はボタンを設けて機能、ナビゲーションユーザインタフェース、モバイル電話333とのBluetooth接続を通して電話呼出しに応答し、又はスマートウォッチのようなウェアラブルデバイスから例えば心拍動又は上った階段の数といった活動情報のようなデータ又は情報を受信するための電話制御ユーザインタフェースを提供することができる。

0034

端から端までディスプレイ302は、発光ダイオードLED)ディスプレイ、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、又は量子ドットディスプレイを含むことができ、これらは自動車ダッシュボード337の一端から他端まで延びることができる。一例として、端から端までディスプレイ302は、自動車ダッシュボード337の幅に組み込まれた湾曲ディスプレイとすることができ、その幅にわたって延びる。端から端までディスプレイ302の表示区域1(304)、2(306)、及び3(308)のような複数の表示区域には、1又は2以上のグラフィカルユーザインタフェースを設けることができる。そのようなグラフィカルユーザインタフェースは、例えば、表示区域1(304)及び3(308)に示すステータスメニューを含むことができる。

0035

一例として、表示区域1(304)は、後方視野又は側方視野画像を取り込むために、自動車の外側又は内側に設置可能な1又は2以上のカメラからの車両又は自動車の後方視野又は側方視野画像を表示することができる。一例では、表示区域2(306)は、点及び線で定められた多角形面を有する回転多面体317のような回転可能な3次元オブジェクトを提供かつ表示することができる。これに代えて、表示区域3(308)は、回転多面体327を表示することができる。回転多面体317は、空間に浮かんでいるように表示区域2(306)に現れ、一定又は可変の速度で回転することができる。

0036

一例として、回転多面体317は、1又は2以上の面、点、及び線を使用して情報の群を提供することができ、それにより、正規ユーザとして認証された各ユーザ(運転者又は同乗者)に様々なパラメータ及び様々なタイプのユーザ情報有形形態を与えることができる。すなわち、自動車の各認証ユーザ又は正規ユーザは、表示区域2(306)及び表示区域3(308)に示すユーザ情報及びアプリケーションにアクセスかつ制御するために個人用回転多面体317を有することができる。例えば、あらゆる数の運転者又はユーザを顔面特徴又は表情のような格納された生体走査情報と共にデータベースに登録することができる。ユーザ取り込みデバイス377は、ユーザを正規として識別、認識、及び認証するのに使用することができ、運転者タブレット310は、各正規ユーザに個人用多面体317を提供することができる。

0037

正規ユーザ(例えば、正規の運転者又は同乗者)毎に関連付けて個別化することができる情報又はアプリケーションのタイプ又は群の例は、表示区域2(306)に示すように回転多面体317上の対応する面と共に「私の娯楽」、「私の活動」、「私の健康」のようなユーザ情報及びアプリケーションを含むことができる。回転多面体317上の多角形面を定める点又は線、及び点及び線の数は、「私の娯楽」、「私の活動」、及び「私の健康」のようなユーザ情報に関する様々なパラメータを表現することができる。例えば、「私の健康」に対する多角形面を定める点の数は、正規ユーザに対する健康情報のカテゴリの数を示すことができる。

0038

一例として、運転者又はユーザの手307は、動作制御デバイス327で取り込まれる手の動作を使用してあらゆる軸に沿って多面体327を回転させ、多面体327の望ましい面を前景に、例えば、表示区域2の前景に移動することによってユーザ情報又はアプリケーションを選択することができる。図3Bを参照すると、「私の娯楽」の面は、それが選択されたユーザ情報又はアプリケーションであることを示して前景にある。一例として、選択されたユーザ情報又はアプリケーションがユーザの手によって前景に、例えば、「私の娯楽」に位置決めされた状態で、ユーザ情報又はアプリケーションのアイコン、カテゴリ、項目、制御器などが表示区域3(308)に示される。他の例では、制御オブジェクト又はカーソル又はアバターを端から端までディスプレイ302に表示して多面体327上の面を選択することができる。多面体を回転させるユーザ動作の例は、手又は指を左から右へ又はその逆に移動し、それに応じて多面体317を回転させることを含む。他の運動を認識して多面体317を異なる軸に沿って回転させ、多面体317の望ましい面を前景に移動して望ましいユーザ情報又はアプリケーション、例えば、「私の娯楽」を選択することができる。多面体317の望ましい面が前景に来た状態で、ユーザは、自分の手307で把持及び解放運動を与えて、選択されたユーザ情報又はアプリケーションに関する追加の情報を取得することができる。

0039

図3Bを参照すると、例えば、「私の娯楽」にアクセスする時に、「私の娯楽」の多角形面は、ユーザに対する4つのパラメータ又はカテゴリに対応することができる4つの点又は辺を含み、例えば、「音楽」、「オーディオブック」、「映画」、及び「ゲーム」が表示区域3(308)に示される。運転者又はユーザは、自分の手307で合図して「私の娯楽」の面が前景に来るように多面体317を回転させ、「私の娯楽」を選択して表示区域3(308)に「私の娯楽」に関する具体的な項目を表示することができる。次に運転者又はユーザは、動作制御デバイス327によって取り込まれる表示区域3(308)に自分の手307で合図し、例えば、表示区域3(308)の音楽カテゴリ下にある特定の音楽項目にアクセスして再生することができる。同様に「私の活動」及び「私の健康」は、例えば、通話、心拍動、上った階段の数のようなユーザ情報の4つの異なるパラメータ又はカテゴリを表すことができる4つの点及び線を含む。他の例では、点はユーザの体重、ユーザの心拍数などを表すことができる。点及び線の数により、回転多面体317の形状を変えて修正することができる。例えば、より多くの点が健康関連である場合に、「私の健康」に対する多角形面は、より大きい面と共に多くの点及び線を有する多角形表面を有することができる。

0040

「私の娯楽」の例に言及すると、ユーザが映画を見る場合に、回転多面体317の「私の娯楽」の面にデータ点を生成することができる。「私の活動」の例に言及すると、モバイル電話の不在着信に対してデータ点を生成することができる。未読テキストメッセージを示すデータ点も生成することができる。「私の健康」の例では、ユーザ体重の表示のような回転多面体317上のいくつかの点を予め構成することができる。他の例では、運転者又はユーザは、運転者タブレット310を通して、例えば、血圧を示す点又は健康目的で歩数を把握する点のような点を追加することができる。点の追加により、回転多面体117上の「私の健康」に対する多角形面を変えることができる。各運転者又はユーザは、端から端までディスプレイ302上で回転多面体317を描写する時に最小数基準点を生成することができるユーザアカウントを有することができる。運転者又はユーザはまた、例えば、不在着信のようなピン留めすべき特定タイプの情報に関して点を追加することができる。

0041

カテゴリ、関連情報、及びパラメータは、ユーザが運転者タブレット310で生成又は入力するか、又は情報を制御して端から端までディスプレイ302に提供する運転者タブレット110に、例えば、モバイル電話333又はスマートウォッチ313(又はあらゆる他のモバイルコンピュータデバイス)を使用してダウンロード又は入力することができる。一例として、ユーザ又は運転者が認証又は識別された後で、回転多面体317に対して情報及びパラメータを生成又は入力することができ、これらは、運転者タブレット310に格納された又は結合された1又は2以上のメモリ又はデータベースに格納することができる。各ユーザ又は運転者に対して、個人用回転多面体317を提供し、かつそれぞれの個人情報及びパラメータ、例えば、心拍動、心拍数などに関連付けることができる。例えば、各ユーザ又は運転者はデータ点を生成することができ、又はデータ点は自動的に生成可能であり、それにより、回転多面体317の形状は変わるとすることができる。回転多面体317の使用に関する実施例及び実施形態は、ディスプレイの乱雑さを低減するためにデスクトップラップトップ、タブレット、ネットブック、モバイル電話、及びデバイスのためのディスプレイインタフェースのようなあらゆるディスプレイインタフェース環境に使用することができる。

0042

例示的データ処理及びコンピュータシステムアーキテクチャ
図4は、図1A〜1B及び3A〜3Bの例示的環境100、150、300、及び350のためのデータ処理(又はコンピュータシステム)アーキテクチャ400の一例示的ブロック図を示している。一例として、データ処理システムアーキテクチャ400は、図1B,3A〜3Bのダッシュボード137、337内の自動車110のためのコンピュータシステムを表すことができる。他の例では、アーキテクチャ400は、図1A〜1B及び2の運転者タブレット310又はディスプレイコンピュータ210に対するコンピュータシステムを表すことができる。

0043

図4を参照すると、データ処理システムアーキテクチャ400は、プロセッサ412と、リアルタイム作動システム410と、HMIミドルウェア402、仮想マシン404及び仮想デバイス環境406に結合された処理間通信408と、セキュリティ/オンラインサービス414とを含む。プロセッサ412は、本明細書に開示する技術及び作動を実行するように構成されたARM(登録商標)、nVidia(登録商標)、又はIntel(登録商標)のマイクロプロセッサ又は中央演算処理ユニット(CPU)のあらゆるタイプを含むことができる。一例として、プロセッサ412は、図3A〜3Bの端から端までディスプレイ302に示すようなグラフィカルユーザインタフェース及び制御器を提供する自動車に使用可能なグラフカル処理ユニット(GPU)アーキテクチャを提供するnVidia Tegra(登録商標)のようなシステムオンチップ(SOC)を含むことができる。一例として、プロセッサ412はまた、本明細書に開示する技術及び作動を実施するように構成された端から端までディスプレイ302に高度なグラフィック及びコンピュータビジョンナビゲーションを提供するnVidia Drive CXハードウエア及びソフトウエアソリューションを含むことができる。プロセッサ412はまた、本明細書に開示する技術及び作動を使用して構成された自動車に情報及び娯楽特徴を提供するIntel In−Vehicle Infortainment(IVI)(登録商標)又はnVidia Drive CX(登録商標)の処理アーキテクチャ及びソフトウエアを含むことができる。

0044

一例として、リアルタイムオペレーティングシステム410は、セキュリティ/オンラインサービス414を通じたクラウド接続と仮想デバイス環境406を通じた仮想デバイス通信とを提供することができるUnix(登録商標)ベースオペレーティングシステムとすることができる。セキュリティ/オンラインサービス414は、スマートアンテナを含み、Long−Term Evolution(LTE標準のような高速無線通信を使用するユーザ認証を必要とする外部クラウドサービスへの安全なゲートウェイを提供することができる。Bluetooth(登録商標)通信も、データ処理システムアーキテクチャ400のセキュリティ/オンラインサービス414で提供することができる。仮想デバイス環境406は、例えば、データ処理システムアーキテクチャ400と通信可能なデバイス及び仮想マシンのAndriod(登録商標)ベースの環境を含むことができる。

0045

ヒューマンマシンインタフェース(HMI)ミドルウェア402は、運転者又はユーザにグラフィカルユーザインタフェース及び制御器又は環境100及び運転者タブレット110を提供するソフトウエアを含むことができる。一例として、HMIミドルウェア402は、本明細書に開示する技術及び作動に基づいて図3A〜3Bの端から端までディスプレイ302にユーザインタフェース及び制御器を提供するように構成されたUnity(登録商標)ソフトウエア又はSoftkinetics(登録商標)ソフトウエアを含むことができる。HMIミドルウェア402はまた、図1A〜3Bに説明するようなユーザIDデバイス107−A〜107−D、ユーザ取り込みデバイス117−A〜117−C、ユーザ取り込みデバイス207、及びユーザ取り込みデバイス307及び377が受信した2D及び3D顔面特徴、表情、及び温度情報を含む取り込まれたユーザ画像を処理かつ分析するソフトウエアを含むことができる。一例として、仮想マシン404は、Unity(登録商標)又はSoftkinetics(登録商標)ソフトウエアのようなHMIミドルウェア402と処理通信408とを使用して自動車110の運転者タブレット110又は他のコンピュータデバイス、又は端から端までディスプレイ302に対するユーザインタフェースアプリケーションとして作動することができる。HMIミドルウェア402はまた、例えば、手の動作を認識して端から端までディスプレイ302上のインタフェースを制御するように構成されIntel Realsense(登録商標)ソフトウエア及びハードウエアを使用して動作制御デバイス327によって取り込まれた画像からユーザの動作を認識するソフトウエアを含むことができる。

0046

図5は、図4のデータ処理システムアーキテクチャのためのコンピュータシステムの一例示的ブロック図を示している。例えば、コンピュータシステム500は、図1B、3A〜3Bのダッシュボード137、337内にある自動車110のための自動車コンピュータ、又は運転者タブレット110、310、又はディスプレイコンピュータ151−A、151Bのようなコンピュータに使用される様々な構成要素を表すことができる。図5は、データ処理又はコンピュータシステムの様々な構成要素を示すが、構成要素は、それらを相互接続する特定のアーキテクチャ又は方法を表すことを意図したものではなく、なぜならばそのような詳細は、開示する実施例又は実施形態にあまり関連しないからである。より少ない構成要素又は場合によってはより多くの構成要素を有するネットワークコンピュータ及び他のデータ処理システム又は他の消費者向け電子デバイスも、開示する実施例及び実施形態と共に使用することができる。

0047

図5を参照すると、データ処理又はコンピュータシステムの一形態であるコンピュータシステム500は、キャッシュ504に結合されたプロセッサ502に結合されたバス503、ディスプレイ515に結合されたディスプレイコントローラ514、ネットワークインタフェース517、不揮発性ストレージ506、メモリ510に結合されたメモリコントローラ、I/Oデバイス520に結合されたI/Oコントローラ418、及びデータベース512を含む。プロセッサ502は、1又は2以上の中央演算処理ユニット(CPU)、グラフィカル処理ユニット(GPU)、専用プロセッサ、又はそれらのあらゆる組合せを含むことができる。プロセッサ502は、不揮発性ストレージ506、メモリ510、又はデータベース512を含むメモリのいずれかから命令を取得し、その命令を実行して開示する実施例及び実施形態に説明する作動を行うことができる。

0048

I/Oデバイス520の例は、マウスキーボードプリンタ、及びI/Oコントローラ518によって制御される他の類似のデバイスを含む。ネットワークインタフェース517は、モデム有線及び無線送受信機を含み、有線又は無線WANを含むあらゆるタイプのネットワークプロトコル、及びLTE及びBluetooth(登録商標)標準を含むLANプロトコルを使用して通信することができる。メモリ510は、ランダムアクセスメモリ(RAM)、メモリ内のデータをリフレッシュ又は維持するために断続的に電力を必要とする動的ランダムアクセスメモリ(DRAM)を含むあらゆるタイプのメモリとすることができる。不揮発性ストレージ506は、磁気ハードドライブ又は光磁気ドライブ又は光学ドライブ又はデジタルビデオディスク(DVD)RAM又はフラッシュメモリ又は他タイプメモリシステムを含む大容量ストレージデバイスとすることができ、これらは、システムの電源が落とされた後でもデータ(例えば、大量のデータ)を維持する。

0049

一例として、メモリデバイス510又はデータベース512は、自動車(例えば、自動車110)のあらゆる数のユーザ(例えば、運転者又は同乗者)の情報を生体走査することができる。生体走査情報は、2D又は3D顔面画像、顔面特徴及び表情を含むユーザ画像を含むことができる。他の例では、メモリデバイス510又はデータベース512は、例えば、「私の健康」、「私の活動」、又は「私の娯楽」タイプのユーザ情報に関連付けられたユーザ情報及びパラメータを端から端までディスプレイ302上のアプリケーションに格納することができる。メモリデバイス510及びデータベース512は、システムバス501に結合された状態で示すが、プロセッサ502は、ネットワークインタフェース517を通して局所的に又は遠隔的にあらゆる数の外部メモリデバイス又はデータベースに結合することができ、例えば、データベース512はクラウド環境内の安全なストレージとすることができる。一例では、プロセッサ502は、ユーザ及び表現を認識するために図1A〜8に説明する技術及び作動を実施することができる。ディスプレイ515は、端から端までディスプレイ302、又は図1B及び3A〜3Bのディスプレイコンピュータ151−A、151−Bに対するディスプレイを表すことができる。

0050

本明細書に開示する実施例及び実施形態は、データ処理システムアーキテクチャ、データ処理システム又はコンピュータシステム、又はコンピュータ可読媒体又はコンピュータプログラム製品具現化することができる。開示する実施例及び実施形態の態様、特徴、及び詳細は、システム又はエンジンと呼ぶ場合のあるハードウエア又はソフトウエア又はその両方の組合せを取ることができる。開示する実施例及び実施形態はまた、図1A〜8に開示する技術及び作動を実施するために1又は2以上のプロセッサ(例えば、プロセッサ402)によって実行可能なコンピュータ可読コードを有する1又は2以上のコンピュータ可読媒体を含むコンピュータプログラム製品の形態に具現化することができる。

0051

例示的ユーザ識別システム及び作動
図6は、自動車の運転者又はユーザを認証するためのコンピュータシステム600のブロック図を示している。コンピュータシステム600は、ユーザ取り込み及び表現エンジン622に結合されたメモリ又はデータベース630を含む。一例として、データベース630は、ユーザ1の顔面特徴(603)、ユーザ2の顔面特徴(604)からユーザNの顔面特徴(606)までを含むユーザ画像のような複数の生体走査ユーザ情報を格納する。データベース630は、2D及び3D画像及び表情を含む他タイプの生体走査情報を格納することができる。格納された顔面特徴は、ユーザ1(603)からユーザN(606)について、例えば、鼻、口、目、唇、頬などを含む顔面特徴の形状、サイズ、及び寸法を含むことができる。一例として、データベース630に格納される情報は、自動車、例えば、自動車110に関する1又は2以上のユーザの生体走査情報の登録中に格納することができる。データベース630は、自動車又はコンピュータ内に又はユーザがアクセス可能な安全なクラウド環境に位置付けられた安全なストレージとすることができる。

0052

一例として、ユーザ取り込みデバイス607は、ユーザ(例えば、運転者又は同乗者)が自動車(例えば、自動車110)に入るか又はその傍に来ると直ちに例えば顔面特徴画像のようなユーザ画像を取り込むことができる。ユーザ取り込み及び表現エンジン622は、顔面特徴を含む取り込まれたユーザ画像をユーザ1の顔面特徴(603)からユーザNの顔面特徴(606)を含むデータベース630に格納されたユーザ画像と比較し、自動車に登録されたものとの符合が存在するかを決定することができる。エンジン622は、あらゆる顔面認識アルゴリズムを使用してユーザ画像及び顔面特徴を認識することができる。エンジン622は、符合を検出した場合に、ユーザを正規ユーザとして認証し、自動車に対して運転するための制御器へのアクセスを含む許可された運転者資格証明書をユーザが有するかを更に決定することができる。一例として、エンジン622は、同乗者ドアに入る子供を検出してそのドアの解錠を可能にするが、自動車の運転制御器への子供のアクセスを拒否することができる。ユーザ取り込みデバイス607は、例えば、赤外線カメラを使用してユーザの温度差情報を取り込むことができ、これをエンジン622が処理し、例えば、運転者又は同乗者の健康状態を決定することができる。例えば、運転者が同乗者よりも大きい温度差読取値を有すると温度情報が示す場合に、エンジン622は、運転者が健康でない、例えば、熱がある可能性があると決定し、自動車による応答が行われるものとすることができる。一例では、エンジン622は、図1A〜8に説明するような技術及び作動を実施することができる。

0053

図7Aは、自動車のユーザの生体走査画像を登録するための例示的作動700の流れ図である。

0054

ブロック702では、ユーザの生体走査登録を開始する。一例として、ユーザの生体走査情報の登録は、自動車(例えば、自動車110)の購入又は注文に使用されるアプリケーションで開始することができる。一例では、個人識別及びパスワード認証、指紋認証、又は2段認証を使用して自動車に対して認証されたモバイルデバイス上で実行されるアプリケーションが、登録処理を開始することができる。ユーザはまた、配偶者、子供のような他のユーザの生体走査登録を開始することができる。

0055

開始後に、ブロック704では、ユーザの生体走査画像を取り込み、例えば、2D又は3D顔面画像を取り込む。一例として、モバイルデバイス又は自動車は、2D又は3D顔面画像のようなユーザ画像を取り込むための1又は2以上のカメラを有することができる。登録中に1よりも多いユーザの画像を取り込むことができる。

0056

ブロック706では、ユーザ(又は各ユーザ)の生体走査画像を安全なデータベースに格納する。一例として、顔面画像を含む2D又は3Dユーザ画像のような取り込まれた生体走査画像は、自動車内に局所的に又は安全なクラウド環境内に遠隔的に格納される。

0057

ブロック708では、ユーザの格納された生体走査画像を自動車に登録する。取り込まれた各画像は、運転者又は同乗者又はその両方として制限付きで自動車に登録することができる。例えば、第1のユーザは、自動車の所有者とすることができ、運転者アクセス権だけを有することができ、第2のユーザは、第1のユーザの子供とすることができ、運転者アクセス権を持たず、同乗者資格だけに制限されるものとすることができる。ユーザの登録により、自動車へのアクセス及び制御にあらゆる数の統制及び制限を加えることができる。例えば、自動車(例えば、自動車110)を運転するために夫と妻の両方を登録することができるが、全ての子供は、運転する権限を持たず、同乗者のディスプレイコンピュータ115−A及び115−Bを利用することができるに過ぎない。

0058

図7Bは、自動車のユーザを認証する例示的作動710の流れ図を示している。ブロック712では、ユーザの2次元(2D)又は3次元(3D)顔面特徴を受信する(例えば、ユーザ頭部201の2D又は3D顔面特徴211)。

0059

ブロック714では、受信した2D又は3D顔面特徴に基づいてユーザを正規ユーザとして認証する。例えば、図6を参照すると、エンジン622は、ユーザ取り込みデバイス607から2D又は3D顔面特徴を受信し、それらをデータベース630内の顔面特徴を含む格納されたユーザ画像と比較し、顔面特徴を含むユーザ画像が符合するかを決定することによってユーザを認証することができる。符合が存在する場合に、ユーザは、正規ユーザであると決定することができる。符合するものがない場合に、ユーザは、不正ユーザであると決定することができる。

0060

ブロック716では、ユーザを正規ユーザとして認証した場合に、ユーザに対して自動車(例えば、自動車110)及び制御器(例えば、端から端までディスプレイ302上の制御インタフェース)へのアクセスを許可する。ブロック718では、ユーザを正規ユーザとして認証しなかった場合に、ユーザに対して自動車及びその制御器へのアクセスを拒否する。

0061

図7Cは、自動車のユーザを認証する例示的作動720の流れ図を示している。

0062

ブロック722では、ユーザの2次元(2D)又は3次元(3D)顔面特徴を受信する。ブロック724では、ユーザの温度情報を受信する。例えば、図2Bを参照すると、ユーザ取り込みデバイス207は、ユーザ頭部201の温度差情報を取り込む赤外線カメラを含むことができる。

0063

ブロック726では、受信した2D又は3D顔面特徴及び温度情報に基づいて、ユーザを正規ユーザとして認証する。例えば、図6を参照すると、エンジン622は、ユーザ取り込みデバイス607から2D又は3D顔面特徴及び温度情報を受信することができる。エンジン622は、受信した2D又は3D画像をデータベース630内の顔面特徴を含む格納されたユーザ画像と比較し、顔面特徴を含むユーザ画像が符合するかを決定することによってユーザを認証することができる。エンジン622はまた、本物のユーザを検出してなりすましを防止する際に温度情報を分析してユーザ画像が無生物を示していないかを決定することができる。ユーザ画像との符合が存在し、温度情報が本物のユーザを表す場合に、そのユーザを正規ユーザであると決定することができる。符合するものがなく、温度情報が本物のユーザを表さない場合に、そのユーザを不正ユーザであると決定することができる。

0064

ブロック728では、ユーザを正規ユーザとして認証した場合に、ユーザに対して自動車(例えば、自動車110)及び制御器(例えば、端から端までディスプレイ302上の制御インタフェース)へのアクセスを許可する。ブロック730では、ユーザを正規ユーザとして認証しなかった場合に、ユーザに対して自動車及び制御器へのアクセスを拒否する。

0065

図8は、自動車のユーザの中立表情及び非中立表情を処理する例示的作動800の流れ図を示している。ブロック802では、ユーザの取り込まれた画像を受信する。例えば、図1B、2A〜2B、及び3A〜3Bのユーザ取り込みデバイス117−A〜117−C、ユーザ取り込みデバイス207、及びユーザ取り込みデバイス307、377は、ユーザ(例えば、運転者及び同乗者)の画像を取り込むことができる。

0066

ブロック804では、ユーザの取り込まれた画像内の非中立又は中立表情について決定を行う。非中立表情の例は、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含むことができる。中立表情は、応答を提供するのに認識されない表情である。

0067

ブロック806では、取り込まれた画像に非中立表情が決定された場合に、自動車は、応答を提供することができる。例えば、ユーザの目がある期間にわたって閉じているなどの非中立表情が取り込まれた場合に、エンジン622は、例えば、ユーザを目覚めさせるために音声警告を与えることによって応答を提供することができる。ディスプレイ上のメッセージ、ディスプレイ上のライト点滅、設定及び好みの変更、椅子振動などのようなあらゆるタイプの応答を提供することができる。

0068

ブロック808では、取り込まれた画像に中立表情が決定された場合に、自動車は応答を提供しないことになる。中立表情は、いずれの決定的な変化又は特徴もない通常の表情とすることができる。

0069

以上の明細書では、本発明をその特定の例示的実施形態に関連して説明した。しかし、開示した実施例及び実施形態のより広範な精神及び範囲から逸脱することなく様々な修正及び変更をそれに対して行うことができることは明らかであろう。従って、本明細書及び図面は、限定的な意味ではなく例示的に考えるものとする。

0070

710自動車のユーザを認証する例示的作動
712 ユーザの2次元(2D)又は3次元(3D)画像を受信する
714 受信した2D又は3D画像に基づいてユーザを正規ユーザとして認証する
716 自動車及び制御器へのアクセスを許可する
718 自動車及びその制御器へのアクセスを拒否する

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ