図面 (/)

この項目の情報は公開日時点(2016年5月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

秘密情報を安全に入力可能な認証システム、及び入力装置を提供する。

解決手段

ユーザが目視可能な透過型ディスプレイ文字列を入力するためのソフトウェアキーを表示する表示部と、表示部により表示されたソフトウェアキーに対するユーザの操作内容を取得する操作内容取得部と、操作内容取得部により取得された操作内容から、ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、文字列取得部により取得された文字列を用いて、認証処理を実行する認証部とを有する。

概要

背景

近年、ウェアラブルデバイスやAR(Augmented Reality)技術の発展に伴い、AR技術を用いた種々の装置が提案されている。例えば、特許文献1には、ユーザ装置に予めインストールされた特定のアプリケーション起動して対象人物にユーザ装置を向けると、ユーザ装置の画面には、対象人物を含む映像が表示されると共に、映像上に対象人物が予め公開している公開情報が表示されるという技術が開示されている。

この特許文献1に開示された技術では、公開情報が表示されるようになっているが、公開情報へのアクセスは、実際に対象人物を特定してから所定の期間内のみ可能としたり、アクセスIDを変化させることにより、特定の対象人物を追跡することが出来ないようにしてもよいことになっている。

このような技術背景において、コンピューティングデバイスにおける入力機能は重要な機能の1つであり、ウェアラブルデバイスにおいても、秘密情報などを入力するための十分な入力機能を備えておくことが好ましい。

概要

秘密情報を安全に入力可能な認証システム、及び入力装置を提供する。ユーザが目視可能な透過型ディスプレイ文字列を入力するためのソフトウェアキーを表示する表示部と、表示部により表示されたソフトウェアキーに対するユーザの操作内容を取得する操作内容取得部と、操作内容取得部により取得された操作内容から、ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、文字列取得部により取得された文字列を用いて、認証処理を実行する認証部とを有する。

目的

特開2013−54494号公報






しかしながら、従来のウェアラブルデバイスでは、入力機能を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザが目視可能な透過型ディスプレイ文字列を入力するためのソフトウェアキーを表示する表示部と、前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、前記文字列取得部により取得された文字列を用いて、認証処理を実行する認証部とを有することを特徴とする認証システム

請求項2

前記透過型ディスプレイの動きを示す物理量を検出する検出部と、前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする請求項1に記載の認証システム。

請求項3

前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向回転角及びチルト方向の回転角であり、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項2に記載の認証システム。

請求項4

前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置の補正量または前記ソフトウェアキーの補正量を算出することにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項3に記載の認証システム。

請求項5

前記補正部は、算出された前記指定位置の補正量に応じて、前記指定位置を前記ソフトウェアキーに対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項4に記載の認証システム。

請求項6

前記補正部は、算出された前記ソフトウェアキーの補正量に応じて、前記ソフトウェアキーを前記指定位置に対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項4に記載の認証システム。

請求項7

ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部とを有することを特徴とする入力装置

請求項8

前記透過型ディスプレイの動きを示す物理量を検出する検出部と、前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする請求項7に記載の入力装置。

請求項9

前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項8に記載の入力装置。

技術分野

0001

本発明は、認証システム、及び入力装置に関する。

背景技術

0002

近年、ウェアラブルデバイスやAR(Augmented Reality)技術の発展に伴い、AR技術を用いた種々の装置が提案されている。例えば、特許文献1には、ユーザ装置に予めインストールされた特定のアプリケーション起動して対象人物にユーザ装置を向けると、ユーザ装置の画面には、対象人物を含む映像が表示されると共に、映像上に対象人物が予め公開している公開情報が表示されるという技術が開示されている。

0003

この特許文献1に開示された技術では、公開情報が表示されるようになっているが、公開情報へのアクセスは、実際に対象人物を特定してから所定の期間内のみ可能としたり、アクセスIDを変化させることにより、特定の対象人物を追跡することが出来ないようにしてもよいことになっている。

0004

このような技術背景において、コンピューティングデバイスにおける入力機能は重要な機能の1つであり、ウェアラブルデバイスにおいても、秘密情報などを入力するための十分な入力機能を備えておくことが好ましい。

先行技術

0005

特開2013−54494号公報

発明が解決しようとする課題

0006

しかしながら、従来のウェアラブルデバイスでは、入力機能を提供するためにタッチパネルが用いられているが、このタッチパネルはスマートホンのように表示部と一体となったタッチパネルではないため、暗証番号などの秘密情報の入力には非常に時間を要するという問題点があった。

0007

さらに、秘密情報が入力される銀行ATM(automated teller machine)では、暗証番号を入力するタッチパネルに表示させるキー配列をその都度変更するATMもあるが、変更したとしても覗き見される危険性がある。

0008

本発明は、このような事情に鑑みてなされたもので、その目的は、秘密情報を安全に入力可能な認証システム、及び入力装置を提供することにある。

課題を解決するための手段

0009

上述した課題を解決するために、本発明は、ユーザが目視可能な透過型ディスプレイ文字列を入力するためのソフトウェアキーを表示する表示部と、前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、前記文字列取得部により取得された文字列を用いて、認証処理を実行する認証部とを有することを特徴とする認証システムである。

0010

また、本発明の一態様は、上記の認証システムにおいて、前記透過型ディスプレイの動きを示す物理量を検出する検出部と、前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする。

0011

また、本発明の一態様は、上記の認証システムにおいて、前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向回転角及びチルト方向の回転角であり、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。

0012

また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置の補正量または前記ソフトウェアキーの補正量を算出することにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。

0013

また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、算出された前記指定位置の補正量に応じて、前記指定位置を前記ソフトウェアキーに対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。

0014

また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、算出された前記ソフトウェアキーの補正量に応じて、前記ソフトウェアキーを前記指定位置に対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。

0015

上述した課題を解決するために、本発明は、ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部とを有することを特徴とする入力装置である。

0016

また、本発明の一態様は、上記の入力装置において、前記透過型ディスプレイの動きを示す物理量を検出する検出部と、前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする。

0017

また、本発明の一態様は、上記の入力装置において、前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。

発明の効果

0018

以上説明したように、この発明によれば、秘密情報を安全に入力可能な認証システム、及び入力装置を提供できる。

図面の簡単な説明

0019

本発明の実施形態に係るスマートグラス外観構成を示す図である。
ユーザから見えるPIN配列を示す図である。
入力内容を検出するための指の操作を示す図である。
予め定められた角度の一例を示す図である。
ユーザが行った操作の検出例を示す図である。
カメラ撮影された指の位置のずれを示す図である。
カメラで撮影された指の座標の変換例及びPIN配列の座標情報の一例を示す図である。
本発明の第1の実施形態に係る認証システムのブロック図である。
第1の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
第1の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
座標取得処理における処理手順を示したフローチャートである。
第1の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
変換処理における処理手順を示したフローチャートである。
本発明の第2の実施形態に係る認証システムのブロック図である。
第2の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
第2の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
第2の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
本発明の第3の実施形態に係る認証システムのブロック図である。
第3の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
第3の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
第3の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
本発明の第4の実施形態に係る認証システムのブロック図である。
第4の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
第4の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
第4の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
第5の実施形態でのユーザの入力例を示す図である。
本発明の第5の実施形態に係る認証システムのブロック図である。
第5の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
第5の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
第5の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
第1〜第4実施形態におけるスマートグラスに、補正処理に必要となる加速度センサASを設けた構成を示す図である。
現実世界での距離と、ディスプレイの画面内での距離との対応を説明するための図である。
頭部が動いたことによる現実世界での距離と画面内での距離との対応を示す図である。
ポインタと、ソフトウェアキーとの相対位置の補正例を示す図である。
ソフトウェアキー補正処理を説明するための図である。
元座標取得処理におけるステップS301のトレース処理にポインタ補正処理を適用した処理手順を示したフローチャートである。
元座標取得処理におけるステップS301のトレース処理にソフトウェアキー補正処理を適用した処理手順を示したフローチャートである。

実施例

0020

図1は、本発明の実施形態に係る眼鏡型ウェアラブルデバイスとしてのスマートグラス10の外観構成を示す図である。
スマートグラス10は、マイク12、カメラ13、タッチパネル14、ディスプレイ15を含んで構成される。このディスプレイ15は、透過型ディスプレイであり、スマートグラス10を装着したユーザの網膜に画像が投影されることで、当該ユーザが目視可能となっている。また、ディスプレイ15には、文字列を入力するためのソフトウェアキーが表示される。具体的には、ATMの暗証番号など秘密情報(以下、「PIN」という)を入力するためのPIN配列1000、1001が表示される。なお、本実施形態において、文字列は文字、数字記号を含む文字列である。

0021

左側のPIN配列1000は、番号を整列させた場合の表示例を示し、右側のPIN配列1001は番号の位置をランダムに変えた場合の表示例を示している。なお、このPIN配列1000、1001は、0から9の数字キーと、エンターキー(E)、及びクリアキー(C)が設けられているが、PINを入力可能な配列であれば、図1に示されるPIN配列に限定されない。このように、本実施形態では、スマートグラス10を装着したユーザにのみPIN配列が目視可能であるため、PIN配列がスマートグラス10を装着したユーザ以外に盗み見されることはない。

0022

図2は、ユーザから見えるPIN配列を示す図である。
図2には、スマートグラス10のレンズ枠1002、ユーザの指1003、及びPIN配列1004が示されている。
図1に示したように、ディスプレイ15は右目に対応するレンズの右斜め上方向に位置されているので、PIN配列1004は、レンズ枠1002の右斜め上方向に存在するようにユーザからは見える。このPIN配列1004に対し、ユーザは指1003による操作を行う。このとき、指1003はカメラ13により撮影されており、指1003の動きはカメラ13により検出されている。こうしてカメラ13により撮影されている状態で、ユーザが指1003による操作を行うことで、PINを入力することができる。

0023

ここで、ユーザが行う操作について説明する。ディスプレイ15は、上述したように透過型ディスプレイであるので、このディスプレイ15を透過して、ユーザの眼とディスプレイ15との直線上に存在する物体も、ユーザは目視可能となっている。従って、ユーザが目とディスプレイ15とを結ぶ直線上に指をかざすと、PIN配列と指とが重なっているように見える。このように見える状態は、ユーザにとって、例えばハードキーやタッチパネルを指で操作する場合と実質的に同じ状態となる。その状態で、ユーザは次に説明する操作を行うことで、文字列を入力可能となっている。

0024

図3は、入力内容を検出するための指の操作A,B,Cを示す図である。図3には、PIN配列1020、指の軌跡1010,1011,1012,1013が示されている。
まず、操作Aは、軌跡1010に示されるように、対象キーの上(直線上において重なる位置)に1秒など予め定められた秒数だけ留まる操作である。図3の場合、ユーザは「1」の上に指を1秒留めることで、「1」を入力することができる。
操作Bは、軌跡1011に示されるように、対象キーの上を予め定められた角度以下でなぞる操作である。図3の場合、ユーザは、「3」の上を指で予め定められた角度以下でなぞることで、「3」を入力することができる。この予め定められた角度については後述する。
操作Cは、軌跡1012,1013に示されるように、対象キーの上を2回連続して予め定められた角度範囲内でなぞる操作である。図3の場合、ユーザは、「8」の上を2回連続して予め定められた角度範囲内でなぞることで、「8」を入力することができる。

0025

このように、各操作が行われたことが検出されると、その操作により、ユーザが入力したいと考えた入力位置確定する必要がある。その入力位置の確定方法の一例として、操作A,B,Cのいずれの操作においても、各操作が検出された時点での指の位置を入力位置とする方法があるが、これに限るものではない。

0026

図4は、予め定められた角度の一例を示す図である。図4には、PIN配列1030、軌跡1031,1032が示されている。なお、図4のPIN配列1030では、分かりやすくするために数字、E、Cを示していない。
一般的に、ユーザは指を正確に直線で動かすことはできないので、若干曲がりながらなぞることとなる。そのような意図しない曲がりと、意図した曲がりとを区別するには、予め定められた角度を、概ね150°以下とすればよいことが現段階では実験的に得られている。従って、軌跡1031の場合は、操作Bとして検出され、軌跡1032の場合は、操作Bとして検出されない。

0027

図5は、ユーザが行った操作A,B,Cの検出例を示す図である。図5には、PIN配列1040、指1041、軌跡1042が示されている。
図5において、ユーザは位置Aで操作Aを行い、軌跡1042に示されるようになぞっていき、位置Bで操作Bを行い、さらに軌跡1042に示されるようになぞっていき、位置Cで操作Cを行っている。これにより、PINとして「1」、「3」、「8」が入力されたこととなる。位置Bと位置Cの間の「5」と「6」をなぞっている軌跡が若干曲がっているが、この軌跡のなす角は150°以上であるため、操作Bとして検出されない。
なお、ユーザは、上述した操作A,B,Cの全てを用いて入力する必要はなく、操作A,B,Cのうち、いずれか1つの操作で入力できるようにしてもよい。また、操作A,B,Cのうち、いずれか2つの操作で入力できるようにしてもよい。
さらに、操作A,B,Cに限らず、指でタッチをする操作などを検出するようにしてもよい。また、指に代えて、発光体や特定の色の物体を用いるようにしてもよい。また、ユーザは、指で位置を示すのではなく、音声で位置を示すようにしてもよいし、ユーザが頭を動かすことで位置を示すようにしてもよい。

0028

図6は、ディスプレイ15で表示される画像とカメラ13で撮影された指の位置とのずれを示す図である。図6には、ユーザの視界1050、画像表示領域1051、及びカメラ撮影領域1052が示されている。
まず、ユーザの右目の視界1050の中に、ディスプレイ15があり、そこにはPIN配列などの画像が表示される。このユーザの視界に表示される画像の領域を画像表示領域1051としている。そしてこの画像表示領域1051の枠をユーザがなぞる操作を予め行っておく。また、前提として、PIN配列はこの画像表示領域全体に表示されるものとする。
画像表示領域1051の枠をユーザがなぞると、その操作はカメラにより撮影される。カメラにより撮影された指の軌跡も画像表示領域1051と同じく矩形の領域となるが、この領域をカメラ撮影領域1052としている。

0029

ユーザが画像表示領域1051の枠をなぞる操作を行った際に得られたカメラ撮影領域1052の4隅の座標(x1、y1)、(x1、y2)、(x2、y2)、(x2、y1)の要素であるx1、x2、y1,y2を、スマートグラス10に設けられたROMなどの記憶装置に予め記憶しておく。これにより、カメラ13で撮影されるカメラ撮影領域1052で検出された座標と画像表示領域1051の座標とを対応させることが可能となる。すなわち、カメラで撮影された指の位置が対応するPIN配列における位置を求めることができる。

0030

図7(A)は、カメラで撮影された指の座標(s、t)の変換例を示す図である。図7(A)には、上述した画像表示領域1051とカメラ撮影領域1052とが座標上に示されている。
撮影された指の座標を(s、t)とし、画像表示領域1051のx軸方向の長さをPとし、y軸方向の長さをQとする。また、カメラ撮影領域1052の4隅の座標をそれぞれ(x1、y1)、(x1、y2)、(x2、y2)、(x2、y1)とする。上述したように、x1、x2、y1,y2は記憶装置に記憶されている。
このとき、座標(s、t)に対応する画像表示領域1051での座標は、以下の式1で求められる。
x=P×(s−x1)/(x2−x1)
y=Q×(t−y1)/(y2−y1)…(式1)

0031

上述したように、PIN配列は、画像表示領域全体に表示されるので、PIN配列における座標と、画像表示領域1051における座標は1対1で対応する。そして、PIN配列と照合するために、PIN配列を画像として表示した場合の座標情報を予め保持しておく。
図7(B)は、PIN配列の座標情報の一例を示す図である。なお、図7(B)のPIN配列1053では、分かりやすくするために数字、E、Cを示していない。図7(B)に示されるPIN配列の場合の座標情報は、α1、α2、α3(=P)、β1β2、β3、β4(=Q)となる。

0032

この座標情報と、a0〜a9の数列により、PIN配列は表現される。具体的には、座標情報により格子を作り、数列により格子の枠に表示する数字が決定される。例えば、図1のPIN配列1000を示す数列は、1,2,3,4,5,6,7,8,9,0であり、PIN配列1001を示す数列は、5,8,3,7,9,6,2,1,0,4である。以下の説明では、座標情報と数列とをまとめてPIN配列情報と表現する。
このようにして、式1で求まった(x、y)とPIN配列情報とを照合することで、ユーザが入力した文字を正確に取得することができる。
以下の説明では、(s、t)を元座標と表現し、元座標(s、t)から変換された(x、y)を変換座標と表現する。
以上説明した座標の変換において、PIN配列は画像表示領域1051全体に表示されるものとしたが、画像表示領域1051の一部に表示される場合であっても、式1のパラメータを変更することで対応可能である。

0033

図1から図7まで説明した内容をもとに、以下、各実施形態を説明する。また、各実施形態では、情報処理装置が認証システムの構成の1つとなっているが、この情報処理装置は、PINが入力され、認証された場合にサービスをユーザに提供する銀行のATMを想定している。具体的には、キャッシュカードを挿入した際に、ユーザが暗証番号を入力する場合が想定されている。

0034

[第1の実施形態]
図8は、本発明の第1の実施形態に係る認証システム1のブロック図である。
認証システム1は、スマートグラス10、情報処理装置20、及び認証装置30を含んで構成される。
スマートグラス10は、PIN配列情報を情報処理装置20から受信し、受信したPIN配列を表示して、そのPIN配列に対してユーザが行った操作A,B,Cに対応する元座標(s、t)を情報処理装置20に送信する。従って、本実施形態におけるスマートグラス10は、PIN配列を表示し、元座標を取得するが、座標変換を行わない構成となっている。

0035

情報処理装置20は、スマートグラス10から元座標を受信し、それを変換して変換座標を取得し、その変換座標とPIN配列情報とを照合してPINを取得する。情報処理装置20は、キャッシュカードからユーザを識別するIDを取得できるので、そのIDと取得したPINとを認証装置30に送信する。情報処理装置20は、認証装置30から認証されたことを示すOKを受信すると、サービスをユーザに提供し、認証されなかったことを示すNGを受信すると、サービスをユーザに提供しない。
認証装置30は、IDとPINが正規のIDとPINであればOKを送信し、そうでなければNGを送信する。

0036

次に各装置の構成について説明する。スマートグラス10は、制御部11、入力部17、ディスプレイ15、及び通信部18を含んで構成される。
制御部11は、CPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)などの記憶装置を含み、スマートグラス10全体を制御する。入力部17は、マイク12、カメラ13、及びタッチパネル14を含む。入力部17は、入力された内容を制御部11に出力したり、制御部11の指示により各種処理を行う。ディスプレイ15は、制御部11の指示により、上述したPIN配列の他に、画像やアプリケーションの画面などを表示する。通信部18は、情報処理装置20と無線通信を行う。以下の各実施形態において、スマートグラス、情報処理装置、及び認証装置での無線通信はセキュリティが保たれているものとする。

0037

情報処理装置20は、制御部21、入力部25、照合部28、座標変換部24、PIN配列生成部27、及び通信部26を含んで構成される。制御部21は、CPUやROM、RAMなどの記憶装置を含み、情報処理装置20全体を制御する。入力部25は、キーパッド22、及びタッチパネル23を含む。入力部25は、入力された内容を制御部21に出力したり、制御部21の指示により各種処理を行う。

0038

座標変換部24は、図7で説明した方法により、スマートグラス10から受信した元座標を変換した変換座標を取得する。照合部28は、変換座標とPIN配列とを照合し、入力されたPINを取得する。PIN配列生成部27は、PIN配列1000のように、番号を整列させたPIN配列や、PIN配列1001のようにランダムなPIN配列を示すPIN配列情報を生成し、それを保持する。通信部26は、スマートグラス10及び認証装置30と無線通信を行う。

0039

認証装置30は、制御部31、認証部32、DB33、及び通信部34を含んで構成される。制御部31は、CPUやROM、RAMなどの記憶装置を含み、認証装置30全体を制御する。認証部32は、情報処理装置20から受信したIDとPINから、DB33を参照して認証処理を実行し、認証された場合にはOKを出力し、認証されなかった場合にNGを出力する。出力されたOK/NGは、情報処理装置20に送信される。通信部34は、情報処理装置20と無線通信を行う。

0040

図9は、第1の実施形態におけるスマートグラス10、情報処理装置20、及び認証装置30での処理を示すシーケンス図である。
図9において、スマートグラス10は、PIN配列要求を情報処理装置20に送信する(ステップS101)。このPIN配列要求は、例えばキャッシュカードを情報処理装置20に挿入し、スマートグラス10のタッチパネル14でユーザが操作することで、情報処理装置20に送信されるようになっており、実装方法によってはログイン要求と称される場合もある。情報処理装置20は、PIN配列生成部27で生成されたPIN配列情報をスマートグラス10に送信する(ステップS102)。このとき、PIN配列情報が保持される。

0041

スマートグラス10は、PIN配列情報を受信し、PIN配列をディスプレイ15に表示する(ステップS103)。そして、ユーザの操作から元座標(s、t)を取得する(ステップS104)。スマートグラス10が取得する元座標の数は、PINの桁数であり、これは以下の実施形態でも同じである。例えば、日本の銀行の場合は4桁であるので、そのときは元座標を4つ取得することとなる。
スマートグラス10は、取得された元座標(s、t)と、記憶装置に記憶されているx1,x2,y1,y2(図6,7参照)とを情報処理装置20に送信する(ステップS105)。情報処理装置20は、受信した元座標を座標変換部24により変換し(ステップS106)、照合部28が変換座標からPINを取得する(ステップS107)。

0042

情報処理装置20は、PINとIDとを認証装置30に送信する(ステップS108)。認証装置30は、受信したPINとIDから、認証部32による認証処理を行い(ステップS109)、認証部32が出力したOKまたはNGを情報処理装置20に送信する(ステップS110)。情報処理装置20は、OKまたはNGをスマートグラス10に送信する(ステップS111)。情報処理装置20は、認証装置30からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。

0043

図10は、第1の実施形態に係るスマートグラス10における処理手順を示したフローチャートである。図10において、スマートグラス10は、PIN配列要求を情報処理装置20に送信する(ステップS201)。次いで、情報処理装置20からPIN配列情報を受信する(ステップS202)。そして、受信したPIN配列情報が示すPIN配列をディスプレイ15に表示する(ステップS203)。

0044

そして、ユーザの操作から元座標(s、t)を取得する元座標取得処理を行う(ステップS204)。この元座標取得処理により取得された元座標(s、t)と、記憶装置に記憶されているx1,x2,y1,y2(図6,7参照)とを情報処理装置20に送信する(ステップS205)。そして、情報処理装置20からOKを受信した場合には(ステップS206でYES)、本処理を終了し、NGを受信した場合には(ステップS206でNO)、ステップS201に戻る。

0045

図11は、図10における元座標取得処理における処理手順を示したフローチャートである。この元座標取得処理で取得された元座標(s、t)がユーザの操作内容に対応しているので、以下で説明する元座標取得処理は、ソフトウェアキーに対するユーザの操作内容を取得する処理である。
図11において、制御部11は、カメラ13で撮影された指の軌跡をトレースする(ステップS301)。その間、操作A,B,Cのいずれかを検出したか否か判定する(ステップS302)。

0046

操作A,B,Cのいずれも検出していない場合には(ステップS302でNO)、ステップS301に戻る。一方、操作A,B,Cのいずれかを検出した場合には(ステップS302でYES)、検出した時の指の位置を示す座標(s、t)を制御部11に設けられたRAMに記憶する(ステップS303)。
次いで、PINの桁数分だけ元座標を取得したか否か判定し(ステップS304)、PINの桁数分だけ元座標を取得した場合には(ステップS304でYES)、本処理を終了し、PINの桁数分だけ元座標を取得していない場合には(ステップS304でNO)、ステップS301に戻る。

0047

図12は、第1の実施形態に係る情報処理装置20における処理手順を示したフローチャートである。
図12において、情報処理装置20は、スマートグラス10からPIN配列要求を受信する(ステップS401)。情報処理装置20は、PIN配列生成部27でPIN配列情報を生成する(ステップS402)。このとき、上述したPIN配列情報が保持される。そして、生成されたPIN配列情報をスマートグラス10に送信する(ステップS403)。

0048

情報処理装置20は、スマートグラス10から元座標(s、t)と、x1,x2,y1,y2(図6,7参照)とを受信する(ステップS404)。そして、受信した元座標を座標変換部24により変換する変換処理を行う(ステップS405)。
次いで、情報処理装置20は、照合部28が変換座標とPIN配列情報とを照合することでPINを取得する(ステップS406)。こうして、本実施の形態では、元座標である操作内容から、ユーザの操作により入力された文字列を取得する。

0049

情報処理装置20は、PINとIDとを認証装置30に送信する(ステップS407)。情報処理装置20は、OKまたはNGを認証装置30から受信し、受信したOKまたはNGをスマートグラス10に送信する(ステップS408)。
そして、情報処理装置20は、OKを受信したか否か判定する(ステップS409)。OKを受信した場合には(ステップS409でYES)、サービスの提供を開始し(ステップS410)、本処理を終了する。一方、NGを受信した場合には(ステップS409でNO)、そのまま本処理を終了する。

0050

図13は、図12における変換処理における処理手順を示したフローチャートである。図13において、座標変換部24は、x1,x2,y1,y2を取得し(ステップS501)、さらに元座標(s、t)を取得する(ステップS502)。これらを用いて、座標変換部24は、式1により、変換座標(x、y)を求める(ステップS503)。
次いで、座標変換部24は、PINの桁数分だけ変換座標を取得したか否か判定し(ステップS504)、PINの桁数分だけ変換座標を取得した場合には(ステップS504でYES)、本処理を終了し、PINの桁数分だけ変換座標を取得していない場合には(ステップS504でNO)、ステップS502に戻る。

0051

以上説明したように、第1の実施形態によれば、スマートグラス10を装着したユーザのみPIN配列が目視可能であるため、PIN配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第1の実施形態におけるスマートグラス10は、PIN配列を表示し、元座標を取得するが、変換することなく情報処理装置20に送信するので、スマートグラスの負荷を軽減することができる。なお、情報処理装置20と認証装置30は1つの装置で実現されていてもよい。

0052

[第2の実施形態]
図14は、本発明の第2の実施形態に係る認証システム100のブロック図である。
認証システム100は、スマートグラス110、情報処理装置120、及び認証装置30を含んで構成される。スマートグラス110は、本実施形態において、PIN配列情報を情報処理装置120から受信し、受信したPIN配列情報が示すPIN配列を表示して、そのPIN配列に対してユーザが行った操作A,B,Cに対応する元座標(s、t)を変換して、変換座標を情報処理装置120に送信する。従って、本実施形態におけるスマートグラス110は、PIN配列を表示し、元座標を取得するだけではなく、座標変換を行う構成となっている。

0053

情報処理装置120は、スマートグラス110から変換座標を受信し、その変換座標とPIN配列情報とを照合してPINを取得する。情報処理装置120は、キャッシュカードからユーザを識別するIDを取得できるので、そのIDと取得したPINとを認証装置30に送信する。情報処理装置120は、認証装置30からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。認証装置30は、第1の実施形態と同じであるので、説明を省略する。

0054

次に各装置の構成について説明する。スマートグラス110は、制御部111、入力部117、ディスプレイ115、座標変換部124、及び通信部118を含んで構成される。
制御部111は、CPUやROM、RAMなどの記憶装置を含み、スマートグラス110全体を制御する。入力部117は、マイク112、カメラ113、及びタッチパネル114を含む。入力部117は、入力された内容を制御部111に出力したり、制御部111の指示により各種処理を行う。ディスプレイ115は、制御部111の指示により上述したPIN配列の他に、画像やアプリケーションの画面などを表示する。通信部118は、情報処理装置120と無線通信を行う。座標変換部124は、図7で説明した方法により、制御部111から出力された元座標を変換して変換座標を取得する。

0055

情報処理装置120は、制御部121、入力部125、照合部128、PIN配列生成部127、及び通信部126を含んで構成される。制御部121は、CPUやROM、RAMなどの記憶装置を含み、情報処理装置120全体を制御する。入力部125は、キーパッド122、及びタッチパネル123を含む。入力部125は、入力された内容を制御部121に出力したり、制御部121の指示により各種処理を行う。
照合部128は、変換座標とPIN配列情報とを照合し、入力されたPINを取得する。PIN配列生成部127は、PIN配列1000のように、番号を整列させたPIN配列や、PIN配列1001のようにランダムなPIN配列を示すPIN配列情報を生成し、それを保持する。通信部126は、スマートグラス110及び認証装置30と無線通信を行う。

0056

図15は、第2の実施形態におけるスマートグラス110、情報処理装置120、及び認証装置30での処理を示すシーケンス図である。
図15において、スマートグラス110は、PIN配列要求を情報処理装置120に送信する(ステップS601)。情報処理装置120は、PIN配列生成部127で生成されたPIN配列情報をスマートグラス110に送信する(ステップS602)。このとき、上述したPIN配列情報が保持される。
スマートグラス110は、受信したPIN配列情報が示すPIN配列をディスプレイ115に表示する(ステップS603)。そして、ユーザの操作から元座標(s、t)を取得する(ステップS604)。
スマートグラス110は、元座標を座標変換部124により変換し(ステップS605)、変換座標(x、y)を情報処理装置120に送信する(ステップS606)。情報処理装置120は、受信した変換座標から照合部128によりPINを取得する(ステップS607)。

0057

情報処理装置120は、PINとIDとを認証装置30に送信する(ステップS608)。認証装置30は、受信したPINとIDから、認証部32による認証処理を行い(ステップS609)、認証部32が出力したOKまたはNGを情報処理装置120に送信する(ステップS610)。情報処理装置120は、OKまたはNGをスマートグラス110に送信する(ステップS611)。情報処理装置120は、認証装置30からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。

0058

図16は、第2の実施形態に係るスマートグラス110における処理手順を示したフローチャートである。図16において、スマートグラス110は、PIN配列要求を情報処理装置120に送信する(ステップS701)。次いで、情報処理装置120からPIN配列情報を受信する(ステップS702)。そして、受信したPIN配列情報が示すPIN配列をディスプレイ115に表示する(ステップS703)。

0059

次いで、上述した元座標取得処理(図11参照)を行い(ステップS704)、さらに変換処理(図13参照)を行う(ステップS705)。この元座標取得処理と変換処理により取得された変換座標(x、y)を情報処理装置120に送信する(ステップS706)。そして、情報処理装置120からOKを受信した場合には(ステップS707でYES)、本処理を終了し、NGを受信した場合には(ステップS707でNO)、ステップS701に戻る。

0060

図17は、第2の実施形態に係る情報処理装置120における処理手順を示したフローチャートである。
図17において、情報処理装置120は、スマートグラス110からPIN配列要求を受信する(ステップS801)。情報処理装置120は、PIN配列生成部127でPIN配列情報を生成する(ステップS802)。このとき、PIN配列情報が保持される。そして、生成されたPIN配列をスマートグラス110に送信する(ステップS803)。

0061

情報処理装置120は、スマートグラス110から変換座標(x、y)を受信する(ステップS804)。そして、情報処理装置120は、照合部128が変換座標とPIN配列とを照合することでPINを取得する(ステップS805)。情報処理装置120は、PINとIDとを認証装置30に送信する(ステップS806)。情報処理装置120は、OKまたはNGを認証装置30から受信し、受信したOKまたはNGをスマートグラス110に送信する(ステップS807)。
そして、情報処理装置120は、OKを受信したか否か判定する(ステップS808)。OKを受信した場合には(ステップS808でYES)、サービスの提供を開始し(ステップS809)、本処理を終了する。一方、NGを受信した場合には(ステップS808でNO)、そのまま本処理を終了する。

0062

以上説明したように、第2の実施形態によれば、スマートグラス110を装着したユーザのみPIN配列が目視可能であるため、PIN配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第2の実施形態におけるスマートグラス110は、PIN配列を表示し、元座標を取得し、変換座標を情報処理装置120に送信するので、第1の実施形態と比較して、スマートグラス110と情報処理装置120との間のトラヒックの軽減でき、さらに情報処理装置120の負荷を軽減することができる。なお、情報処理装置120と認証装置30は1つの装置で実現されていてもよい。

0063

[第3の実施形態]
図18は、本発明の第3の実施形態に係る認証システム200のブロック図である。
認証システム200は、スマートグラス210、情報処理装置220、及び認証装置30を含んで構成される。スマートグラス210は、本実施形態において、PIN配列情報を情報処理装置220から受信し、受信したPIN配列を表示して、そのPIN配列に対してユーザが行った操作A,B,Cに対応する元座標(s、t)を変換する。さらに、スマートグラス210は、変換座標とPIN配列情報とを照合してPINを取得し、PINを情報処理装置220に送信する。従って、本実施形態におけるスマートグラス210は、PIN配列情報が示すPIN配列を表示し、元座標を取得し、座標変換し、PIN配列情報との照合を行うことでPINを取得する構成となっている。

0064

情報処理装置220は、スマートグラス210からPINを受信し、キャッシュカードからユーザを識別するIDを取得できるので、そのIDと受信したPINとを認証装置30に送信する。情報処理装置220は、認証装置30からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。認証装置30は、第1の実施形態と同じであるので、説明を省略する。

0065

次に各装置の構成について説明する。スマートグラス210は、制御部211、入力部217、ディスプレイ215、座標変換部224、照合部228、及び通信部218を含んで構成される。
制御部211は、CPUやROM、RAMなどの記憶装置を含み、スマートグラス210全体を制御する。入力部217は、マイク212、カメラ213、及びタッチパネル214を含む。入力部217は、入力された内容を制御部211に出力したり、制御部211の指示により各種処理を行う。ディスプレイ215は、制御部211の指示により上述したPIN配列の他に、画像やアプリケーションの画面などを表示する。通信部218は、情報処理装置220と無線通信を行う。座標変換部224は、図7で説明した方法により、制御部211から出力された元座標を変換して変換座標を取得する。照合部228は、座標変換部224が出力した変換座標とPIN配列情報とを照合し、入力されたPINを取得する。

0066

情報処理装置220は、制御部221、入力部225、PIN配列生成部227、及び通信部226を含んで構成される。制御部221は、CPUやROM、RAMなどの記憶装置を含み、情報処理装置220全体を制御する。入力部225は、キーパッド222、及びタッチパネル223を含む。入力部225は、入力された内容を制御部221に出力したり、制御部221の指示により各種処理を行う。PIN配列生成部227は、PIN配列1000のように、番号を整列させたPIN配列や、PIN配列1001のようにランダムなPIN配列を示すPIN配列を生成し、上述したPIN配列情報を保持する。ここで保持されたPIN配列情報は、スマートグラス210に送信される。通信部226は、スマートグラス210及び認証装置30と無線通信を行う。

0067

図19は、第3の実施形態におけるスマートグラス210、情報処理装置220、及び認証装置30での処理を示すシーケンス図である。
図19において、スマートグラス210は、PIN配列要求を情報処理装置220に送信する(ステップS901)。情報処理装置220は、PIN配列生成部227で生成されたPIN配列情報をスマートグラス210に送信する(ステップS902)。
スマートグラス210は、受信したPIN配列情報が示すPIN配列をディスプレイ215に表示する(ステップS903)。そして、ユーザの操作から元座標(s、t)を取得する(ステップS904)。
スマートグラス210は、元座標を座標変換部224により変換し(ステップS905)、変換座標から照合部228によりPINを取得し(ステップS906)、PINを情報処理装置220に送信する(ステップS907)。

0068

情報処理装置220は、PINとIDとを認証装置30に送信する(ステップS908)。認証装置30は、受信したPINとIDから、認証部32による認証処理を行い(ステップS909)、認証部32が出力したOKまたはNGを情報処理装置220に送信する(ステップS910)。情報処理装置220は、OKまたはNGをスマートグラス210に送信する(ステップS911)。情報処理装置220は、認証装置30からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。

0069

図20は、第3の実施形態に係るスマートグラス210における処理手順を示したフローチャートである。図20において、スマートグラス210は、PIN配列要求を情報処理装置220に送信する(ステップS1001)。次いで、情報処理装置220からPIN配列情報を受信する(ステップS1002)。そして、受信したPIN配列情報が示すPIN配列をディスプレイ215に表示する(ステップS1003)。

0070

次いで、上述した元座標取得処理(図11参照)を行い(ステップS1004)、さらに変換処理(図13参照)を行う(ステップS1005)。次いで、スマートグラス210は、照合部228が変換座標とPIN配列情報とを照合することでPINを取得し(ステップS1006)、PINを情報処理装置220に送信する(ステップS1007)。
そして、情報処理装置220からOKを受信した場合には(ステップS1008でYES)、本処理を終了し、NGを受信した場合には(ステップS1008でNO)、ステップS1001に戻る。

0071

図21は、第3の実施形態に係る情報処理装置220における処理手順を示したフローチャートである。
図21において、情報処理装置220は、スマートグラス210からPIN配列要求を受信する(ステップS1101)。情報処理装置220は、PIN配列生成部227でPIN配列情報を生成する(ステップS1102)。そして、生成されたPIN配列情報をスマートグラス210に送信する(ステップS1103)。

0072

情報処理装置220は、スマートグラス210からPINを受信する(ステップS1104)。そして、情報処理装置220は、PINとIDとを認証装置30に送信する(ステップS1105)。情報処理装置220は、OKまたはNGを認証装置30から受信し、受信したOKまたはNGをスマートグラス210に送信する(ステップS1106)。
そして、情報処理装置220は、OKを受信したか否か判定する(ステップS1107)。OKを受信した場合には(ステップS1107でYES)、サービスの提供を開始し(ステップS1108)、本処理を終了する。一方、NGを受信した場合には(ステップS1107でNO)、そのまま本処理を終了する。

0073

以上説明したように、第3の実施形態によれば、スマートグラス210を装着したユーザのみPIN配列が目視可能であるため、PIN配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第3の実施形態におけるスマートグラス210は、PIN配列を表示し、元座標を取得し、座標変換し、PIN配列情報との照合を行うことでPINを取得して、PINを情報処理装置220に送信するので、第1の実施形態と比較して、情報処理装置220の負荷を軽減することができる。なお、情報処理装置220と認証装置30は1つの装置で実現されていてもよい。

0074

[第4の実施形態]
図22は、本発明の第4の実施形態に係る認証システム300のブロック図である。
第4の実施形態が第1〜3の実施形態と異なる大きな点は、スマートグラス310が認証装置330にPINとIDを直接送信する点である。スマートグラス310が認証装置にIDを送信するためには、情報処理装置320が取得しているIDを送信してもらうか、ユーザに入力させるか、予めスマートグラス310が記憶しておくことが考えられるが、ここでは情報処理装置320がキャッシュカードの挿入により既にIDを取得しているため、情報処理装置320がスマートグラス310にIDを送信する構成としている。

0075

第4の実施形態において、認証システム300は、スマートグラス310、情報処理装置320、及び認証装置330を含んで構成される。スマートグラス310は、上述したようにIDとPIN配列情報とを情報処理装置320から受信し、受信したPIN配列情報が示すPIN配列を表示して、そのPIN配列に対してユーザが行った操作A,B,Cに対応する元座標(s、t)を変換する。さらに、スマートグラス310は、変換座標とPIN配列情報とを照合してPINを取得し、PINとIDとを認証装置330に送信する。従って、本実施形態におけるスマートグラス310は、IDを取得し、PIN配列を表示し、元座標を取得し、座標変換し、PIN配列との照合を行うことでPINを取得し、PINとIDとを認証装置330に送信する構成となっている。

0076

情報処理装置320は、スマートグラス310へPIN配列情報の送信とともにIDを送信する。そして、情報処理装置320は、認証装置330からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。

0077

認証装置330は、IDとPINが正規のIDとPINであればOKを送信し、そうでなければNGを送信する。

0078

次に各装置の構成について説明する。スマートグラス310は、制御部311、入力部317、ディスプレイ315、座標変換部324、照合部328、及び通信部318を含んで構成される。
制御部311は、CPUやROM、RAMなどの記憶装置を含み、スマートグラス310全体を制御する。入力部317は、マイク312、カメラ313、及びタッチパネル314を含む。入力部317は、入力された内容を制御部311に出力したり、制御部311の指示により各種処理を行う。ディスプレイ315は、制御部311の指示により上述したPIN配列の他に、画像やアプリケーションの画面などを表示する。通信部318は、情報処理装置320及び認証装置333と無線通信を行う。座標変換部324は、図7で説明した方法により、制御部311から出力された元座標を変換して変換座標を取得する。照合部328は、座標変換部324が出力した変換座標とPIN配列情報とを照合し、入力されたPINを取得する。

0079

情報処理装置320は、制御部321、入力部325、PIN配列生成部327、及び通信部326を含んで構成される。制御部321は、CPUやROM、RAMなどの記憶装置を含み、情報処理装置320全体を制御する。入力部325は、キーパッド322、及びタッチパネル323を含む。入力部325は、入力された内容を制御部321に出力したり、制御部321の指示により各種処理を行う。PIN配列生成部327は、PIN配列1000のように、番号を整列させたPIN配列や、PIN配列1001のようにランダムなPIN配列を示すPIN配列情報を生成し、それを保持する。ここで保持されたPIN配列情報は、スマートグラス210に送信される。通信部326は、スマートグラス310及び認証装置330と無線通信を行う。

0080

認証装置330は、制御部331、認証部332、DB333、及び通信部334を含んで構成される。制御部331は、CPUやROM、RAMなどの記憶装置を含み、認証装置330全体を制御する。認証部332は、スマートグラス310から受信したIDとPINから、DB333を参照して認証処理を行い、認証された場合にはOKを出力し、認証されなかった場合にNGを出力する。出力されたOK/NGは、スマートグラス310及び情報処理装置320に送信される。通信部334は、スマートグラス310及び情報処理装置320と無線通信を行う。

0081

図23は、第4の実施形態におけるスマートグラス310、情報処理装置320、及び認証装置330での処理を示すシーケンス図である。
図23において、スマートグラス310は、PIN配列要求を情報処理装置320に送信する(ステップS1201)。情報処理装置320は、PIN配列生成部327で生成されたPIN配列情報とキャッシュカードにより取得したIDとをスマートグラス310に送信する(ステップS1202)。

0082

スマートグラス310は、受信したPIN配列情報が示すPIN配列をディスプレイ315に表示する(ステップS1203)。そして、ユーザの操作から元座標(s、t)を取得する(ステップS1204)。
スマートグラス310は、元座標を座標変換部324により変換し(ステップS1205)、変換座標から照合部328によりPINを取得し(ステップS1206)、PINとIDとを認証装置330に送信する(ステップS1207)。

0083

認証装置330は、受信したPINとIDから、認証部332による認証処理を行い(ステップS1208)、認証部332が出力したOKまたはNGを情報処理装置320及びスマートグラス310に送信する(ステップS1209)。情報処理装置320は、認証装置330からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。
なお、上記処理において、認証装置330はスマートグラス310と情報処理装置320にOK/NGを送信しているが、これに限らず、情報処理装置320のみにOK/NGを送信し、スマートグラス310は他の実施形態と同じく、情報処理装置320からOK/NGを受信するようにしてもよい。

0084

図24は、第4の実施形態に係るスマートグラス310における処理手順を示したフローチャートである。図24において、スマートグラス310は、PIN配列要求を情報処理装置320に送信する(ステップS1301)。次いで、情報処理装置220からPIN配列情報とIDとを受信する(ステップS1302)。そして、受信したPIN配列情報が示すPIN配列をディスプレイ215に表示する(ステップS1303)。

0085

次いで、上述した元座標取得処理(図11参照)を行い(ステップS1304)、さらに変換処理(図13参照)を行う(ステップS1305)。さらに、スマートグラス210は、照合部328が変換座標とPIN配列情報とを照合することでPINを取得し(ステップS1306)、PINとIDとを認証装置330に送信する(ステップS1307)。
そして、認証装置330からOKを受信した場合には(ステップS1308でYES)、本処理を終了し、NGを受信した場合には(ステップS1308でNO)、ステップS1301に戻る。

0086

図25は、第4の実施形態に係る情報処理装置320における処理手順を示したフローチャートである。
図25において、情報処理装置320は、スマートグラス310からPIN配列要求を受信する(ステップS1401)。情報処理装置320は、PIN配列生成部327でPIN配列情報を生成する(ステップS1402)。そして、生成されたPIN配列情報とキャッシュカードから取得したIDとをスマートグラス310に送信する(ステップS1403)。

0087

情報処理装置320は、OKまたはNGを認証装置330から受信する(ステップS1404)。情報処理装置320は、OKを受信したか否か判定する(ステップS1405)。OKを受信した場合には(ステップS1405でYES)、サービスの提供を開始し(ステップS1406)、本処理を終了する。一方、NGを受信した場合には(ステップS1405でNO)、そのまま本処理を終了する。

0088

以上説明したように、第4の実施形態によれば、スマートグラス310を装着したユーザのみPIN配列が目視可能であるため、PIN配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第4の実施形態におけるスマートグラス310は、IDを取得し、PIN配列を表示し、元座標を取得し、座標変換し、PIN配列情報との照合を行うことでPINを取得して、さらにPINとIDとを認証装置330に送信するので、第1の実施形態と比較して、情報処理装置220の負荷を軽減することができる。なお、情報処理装置320と認証装置330は1つの装置で実現されていてもよい。

0089

[第5の実施形態]
第5の実施形態が第1〜4の実施形態と異なる大きな点は、ユーザがPINを情報処理装置に入力するという点である。
図26は、第5の実施形態でのユーザの入力例を示す図である。図26には、スマートグラスのレンズ枠1002、PIN配列1004、ATM画面1100、ブランクキーボード1101、及びユーザの指1003が示されている。
図26に示されるように、ユーザはレンズ枠1002内のPIN配列1004を確認できる。一方、情報処理装置のATM画面1100に設けられたソフトキーはブランクキーボード1101となっている。
PIN配列1004及びブランクキーボード1101は、ともに4×3のマスからなっているので、PIN配列1004及びブランクキーボード1101のマスは1対1で対応している。

0090

そこで、ユーザは、PIN配列1004のマスに対応するブランクキーボード1101のソフトキーをタッチすることで、PINを入力することができる。
図27は、本発明の第5の実施形態に係る認証システム400のブロック図である。
第5の実施形態において、認証システム400は、スマートグラス410、情報処理装置420、及び認証装置430を含んで構成される。スマートグラス410は、PIN配列情報を情報処理装置420から受信し、受信したPIN配列情報が示すPIN配列を表示する。従って、本実施形態におけるスマートグラス410は、PIN配列を表示する構成となっている。

0091

情報処理装置420は、スマートグラス410へPIN配列情報を送信する。そして、情報処理装置420は、ブランクキーボード1101をタッチパネル423に表示する。照合部428は、タッチパネル423に表示されたブランクキーボード1101にユーザがタッチしたソフトキーの座標とPIN配列情報とを照合することにより、PINを取得する。
情報処理装置420は、キャッシュカードからユーザを識別するIDを取得できるので、そのIDと取得したPINとを認証装置30に送信する。情報処理装置420は、認証装置30からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。認証装置30は、第1の実施形態と同じであるので、説明を省略する。

0092

次に各装置の構成について説明する。スマートグラス410は、制御部411、入力部417、ディスプレイ415、及び通信部418を含んで構成される。
制御部411は、CPUやROM、RAMなどの記憶装置を含み、スマートグラス410全体を制御する。入力部417は、マイク412、カメラ413、及びタッチパネル414を含む。入力部417は、入力された内容を制御部411に出力したり、制御部411の指示により各種処理を行う。ディスプレイ415は、制御部411の指示により上述したPIN配列の他に、画像やアプリケーションの画面などを表示する。通信部418は、情報処理装置420と無線通信を行う。

0093

情報処理装置420は、制御部421、入力部425、PIN配列生成部427、及び通信部426を含んで構成される。制御部421は、CPUやROM、RAMなどの記憶装置を含み、情報処理装置420全体を制御する。入力部425は、キーパッド422、及びタッチパネル423を含む。入力部425は、入力された内容を制御部421に出力したり、制御部421の指示により各種処理を行う。

0094

特に本実施形態において、タッチパネル423はユーザがタッチした座標を照合部428に出力する。PIN配列生成部427は、PIN配列1000のように、番号を整列させたPIN配列や、PIN配列1001のようにランダムなPIN配列を示すPIN配列情報を生成する。照合部428は、タッチパネル423が出力した座標とPIN配列情報とを照合し、入力されたPINを取得する。通信部426は、スマートグラス410及び認証装置30と無線通信を行う。

0095

図28は、第5の実施形態におけるスマートグラス410、情報処理装置420、及び認証装置30での処理を示すシーケンス図である。
図28において、スマートグラス410は、PIN配列要求を情報処理装置420に送信する(ステップS1501)。情報処理装置420は、PIN配列生成部427で生成されたPIN配列情報をスマートグラス410に送信する(ステップS1502)。このとき、上述したPIN配列情報が保持される。
スマートグラス410は、受信したPIN配列情報が示すPIN配列をディスプレイ415に表示する(ステップS1503)。

0096

一方、情報処理装置420において、ブランクキーボード1101にユーザがタッチしたソフトキーの座標をタッチパネル423が取得する(ステップS1504)。次いで、照合部428は、タッチパネル423が出力した座標とPIN配列情報とを照合し、入力されたPINを取得する(ステップS1505)。
情報処理装置420は、PINとIDとを認証装置430に送信する(ステップS1506)。認証装置30は、受信したPINとIDから、認証部32による認証処理を行い(ステップS1507)、認証部32が出力したOKまたはNGを情報処理装置420に送信する(ステップS1508)。情報処理装置420は、OKまたはNGをスマートグラス410に送信する(ステップS1509)。情報処理装置420は、認証装置30からOKを受信すると、サービスをユーザに提供し、NGを受信すると、サービスをユーザに提供しない。

0097

図29は、第5の実施形態に係るスマートグラス410における処理手順を示したフローチャートである。図29において、スマートグラス410は、PIN配列要求を情報処理装置420に送信する(ステップS1601)。次いで、情報処理装置420からPIN配列情報を受信する(ステップS1602)。そして、受信したPIN配列情報が示すPIN配列をディスプレイ415に表示する(ステップS1603)。
そして、情報処理装置420からOKを受信した場合には(ステップS1604でYES)、本処理を終了し、NGを受信した場合には(ステップS1604でNO)、ステップS1601に戻る。

0098

図30は、第5の実施形態に係る情報処理装置420における処理手順を示したフローチャートである。
図30において、情報処理装置420は、スマートグラス410からPIN配列要求を受信する(ステップS1701)。情報処理装置420は、PIN配列生成部427でPIN配列情報を生成する(ステップS1702)。このとき、上述したPIN配列情報が保持される。そして、生成されたPIN配列情報をスマートグラス410に送信する(ステップS1703)。
次いで、ブランクキーボード1101にユーザがタッチしたソフトキーの座標をタッチパネル423が取得する(ステップS1704)。次いで、照合部428は、タッチパネル423が出力した座標とPIN配列情報とを照合し、入力されたPINを取得する(ステップS1705)。

0099

情報処理装置420は、PINとIDとを認証装置30に送信する(ステップS1706)。情報処理装置420は、OKまたはNGを認証装置30から受信し、受信したOKまたはNGをスマートグラス410に送信する(ステップS1707)。
そして、情報処理装置420は、OKを受信したか否か判定する(ステップS1708)。OKを受信した場合には(ステップS1708でYES)、サービスの提供を開始し(ステップS1709)、本処理を終了する。一方、NGを受信した場合には(ステップS1708でNO)、そのまま本処理を終了する。

0100

以上説明したように、第5の実施形態によれば、スマートグラス310を装着したユーザのみPIN配列が目視可能であるため、PIN配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。なお、情報処理装置420と認証装置30は1つの装置で実現されていてもよい。
また、第5の実施形態におけるスマートグラス310は、PIN配列を表示するのみであるため、スマートグラス310の負荷を軽減することができる。さらに、認証システム400全体として、元座標の取得や座標の変換が不要となるため、各装置の負荷を軽減することができる。また、ブランクキーボードを表示する処理やタッチされた座標を取得して、PIN配列情報と照合する処理は、従来のATMにおける処理を流用することができる。
このように、本実施形態によれば、予め定められたユーザであるスマートグラスを装着したユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示し、表示されたソフトウェアキーに対するユーザの操作内容である元座標を取得し、取得された操作内容から、ユーザの操作により入力された文字列を取得し、取得された文字列を用いて、認証処理を実行するので、秘密情報を安全に入力可能となっている。
なお、以上説明した各実施形態では、ウェアラブルデバイスの例として、スマートグラスを用いたが、スマートグラスに代えて、ヘッドマウントディスプレイを用いるようにしてもよい。

0101

[第6の実施形態]
スマートグラスは、ユーザの頭部に装着されるため、ユーザの頭部が動いた場合、それに伴い透過型ディスプレイも動くことから、誤入力が発生する可能性がある。従って、透過型ディスプレイの動きに応じて生じるズレを補正する必要がある。そこで、第6の実施形態では、図11で説明した元座標を取得する元座標取得処理において、透過型ディスプレイの動きに応じて、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する補正処理について説明する。元座標取得処理は、第1〜第4実施形態において共通の処理であるため、この補正処理は第1〜第4実施形態に適用される。なお、透過型ディスプレイは、ユーザの頭部に一体的に装着されることから、ユーザの頭部(または顔)の動きに伴って透過型ディスプレイが動くため、以下の説明では、透過型ディスプレイの動きを、頭部または顔の動きと表現することがある。

0102

図31は、第1〜第4実施形態におけるスマートグラス10、110、210、310に、頭部の動きを示す物理量を検出する検出部としての加速度センサASを設けた構成を示す図である。図31(A)は、第1実施形態のスマートグラス10に加速度センサASを設けた構成を示す図である。図31(B)は、第2実施形態のスマートグラス110に加速度センサASを設けた構成を示す図である。図31(C)は、第3、4実施形態のスマートグラス210、310に加速度センサASを設けた構成を示す図である。
いずれの実施形態においても、加速度センサASは制御部11、111、211、311に接続する。そして、加速度センサASが検出する物理量は、透過型ディスプレイのパン方向の回転角及びチルト方向の回転角である。加速度センサASは、回転角を定期的(例えば10ミリ秒ごと)に検出し、検出するたびに回転角を制御部11、111、211、311に通知する。

0103

制御部11、111、211、311が実行する補正処理では、加速度センサASが検出したパン方向の回転角及びチルト方向の回転角に基づき、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。なお、スマートグラス10、110、210、310における補正処理は、いずれの構成であっても同じ処理となることから、以下の実施形態では便宜的にスマートグラス10及びその構成を用いて説明する。

0104

図31で示した構成で実行される補正処理では、現実世界での距離と画面内での距離を対応付けておく必要がある。図32は、現実世界での距離と、ディスプレイ15の画面内での距離との対応を説明するための図である。
まず、図32(A)に示されるように、ユーザが例えば長さm1の基準物(例えば物差し)2000Rを腕に持ち、それをスマートグラス10のカメラ13で撮影することで、図32(B)に示されるように、ディスプレイ15の画面内での長さがm2の基準物2000Vが表示される。これは、ユーザが長さAの腕を伸ばした状態で操作したときの現実世界での距離とディスプレイ15の画面内での距離の対応を示している。

0105

従って、まずスマートグラス10に物差しの長さm1を予め登録しておき、スマートグラス10が長さm2を検出することで、現実世界での距離dと画面内での距離Dは、m1:m2=d:Dで対応付けられる。以下、m2/m1をmとし(D=md)、制御部11は、このmを保持しておく。
次に、頭部の動きをパン方向とチルト方向の2軸の回転角で検出したときの画面内での距離について説明する。まず、スマートグラス10の加速度センサASは、上述したようにパン方向の回転角θとチルト方向の回転角φとを定期的に検出する。

0106

図33は、頭部が動いたことによる現実世界での距離と画面内での距離との対応を示す図である。本実施形態では、右方向及び上方向をプラス方向とし、左方向及び下方向をマイナス方向と定義している。加速度センサASは、検出した方向に従って、回転角に符号をつけて通知するものとする。まず図33(A)を用いてパン方向の距離について説明する。
加速度センサASから、左右いずれかの方向の回転角θが取得された場合、ユーザの腕の長さがAであるので、現実世界での距離xは、余弦定理によりx=2A(1−cosθ)1/2となる。従って、画面内での距離Xは、上記mを用いてX=mx…(式2)となる。

0107

次に、図33(B)を用いてチルト方向の距離について説明する。加速度センサASから、上下いずれかの方向の回転角φが取得された場合、ユーザの腕の長さがAであるので、現実世界での距離yは、余弦定理によりy=2A(1−cosφ)1/2となる。従って、画面内での距離Yは、上記mを用いてY=my…(式3)となる。

0108

このようにして得られた補正量X、Yを用いて補正が行われる。本実施形態では、上述したように、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。具体的に、本実施形態に係る補正処理は2つある。
1つは、算出された指定位置(以下、「ポインタ」ともいう)の補正量X、Yに応じて、ポインタをソフトウェアキーに対して移動させることにより、ポインタと、ソフトウェアキーとの相対位置を補正する補正処理(以下、「ポインタ補正処理」という)である。もう1つは、算出されたソフトウェアキーの補正量X、Yに応じて、ソフトウェアキーをポインタに対して移動させることにより、ポインタと、ソフトウェアキーとの相対位置を補正する補正処理(以下、「ソフトウェアキー補正処理」という)である。これらの補正処理を説明するために、以下の説明では、図7(A)で示した画像表示領域1051の座標を絶対座標と表現する。

0109

図34は、ポインタと、ソフトウェアキーとの相対位置の補正例を示す図である。図34では、パン方向の一例として右方向、チルト方向の一例として上方向に顔が向いた場合の補正例を示している。
まず、ポインタ補正処理について説明する。顔が右方向に向いた場合、ポインタPは、ソフトウェアキーSKの左側に移動することとなる。それを補正するためには、図34(A)のポインタP’に示されるように、右側にポインタPを移動させる。

0110

一方、顔が左方向に向いた場合は図示していないが、右方向の場合とは逆に、左側にポインタPを移動させることで補正する。よって、パン方向におけるポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させる補正を行うこととなる。
次に、顔が上方向に向いた場合、ポインタPは、ソフトウェアキーSKの下側に移動することとなる。それを補正するためには、図34(B)のポインタP’に示されるように、上側にポインタPを移動させる。

0111

一方、顔が下方向に向いた場合は図示していないが、上方向の場合とは逆に、下側にポインタPを移動させる。よって、チルト方向におけるポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させる補正を行うこととなる。
上より、ポインタ補正処理では、パン方向及びチルト方向のいずれの場合も、顔が向いた方向と同方向にポインタPを移動させる補正を行うこととなる。よって、ポインタPの絶対座標における座標を(p、q)と置くと、ポインタ補正処理による補正後のポインタP’の絶対座標における座標(p’、q’)は以下のようになる。
(p’、q’)=(p+sgn(θ)X、q+sgn(φ)Y)…(式4)
ここで、sgnは符号関数であり、sgn(x)は、xが負のときは「−1」、xが0のときは「0」、xが正のときは「1」となる。上述したように、ポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させるので、X、Yはプラス方向に作用する。こうして得られた座標(p’、q’)にポインタを表示する。また、この座標(p’、q’)が元座標(s、t)となる。

0112

次にソフトウェアキー補正処理について説明する。顔が右方向に向いた場合、ソフトウェアキーSKは、ポインタPの右側に移動することとなる。それを補正するためには、図34(C)のソフトウェアキーSK’に示されるように、左側にソフトウェアキーSKを移動させる。
一方、顔が左方向に向いた場合は図示していないが、右方向の場合とは逆に、右側にソフトウェアキーSKを移動させる。よって、パン方向におけるソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなる。

0113

次に、顔が上方向に向いた場合、ソフトウェアキーSKは、ソフトウェアキーSKの上側に移動することとなる。それを補正するためには、図34(D)のソフトウェアキーSK’に示されるように、下側にソフトウェアキーSKを移動させる。
一方、顔が下方向に向いた場合は図示していないが、上方向の場合とは逆に、上側にソフトウェアキーSKを移動させる。よって、チルト方向におけるソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなる。
以上より、ソフトウェアキー補正処理では、パン方向及びチルト方向のいずれの場合も、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなるが、ソフトウェアキー補正処理は、ポインタ補正処理と比較して若干複雑であるため、さらに図を用いて説明する。図35は、ソフトウェアキー補正処理を説明するための図である。

0114

図35に示される座標は絶対座標であり、ソフトウェアキーSKからソフトウェアキーSK’に補正するものとする。また、ソフトウェアキーSKの4隅をPn(αn、βn)、(n=1、2、3、4)(P1(α1、β1)、P2(α2、β2)、P3(α3、β3)、P4(α4、β4))とする。
このとき、補正後のソフトウェアキーSK’の絶対座標における4隅の座標Pn’(αn’、βn’)、(n=1、2、3、4)は以下のようになる。
(αn’、βn’)=(αn−sgn(θ)X、βn−sgn(φ)Y)…(式5)

0115

上述したように、ソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させるので、X、Yはマイナス方向に作用する。こうして得られた4隅の座標Pn’(αn’、βn’)で定まる矩形をX軸方向に3分割し、Y軸方向に4分割することで、ソフトウェアキーSK’を表示することができる。
さらに、ソフトウェアキー補正処理では、図35に示されるように、ポインタPの表示位置はそのまま変化しないが、ソフトウェアキーSK’は絶対座標からずれているため、ポインタPが表示されている絶対座標における座標と、ユーザが指定している座標は異なる。実際、図35に示されるように、絶対座標と一致するソフトウェアキーSKでは、ポインタPは右上の領域Zに存在する。例えば、図1のPIN配列1000では、ユーザは「3」を指定していることとなる。しかし、ユーザはソフトウェアキーSK’を見ているため、ポインタPは、領域Z’に存在する。例えば、図1のPIN配列1000では、ユーザは「5」を指定していることとなる。

0116

そこで、ポインタPが表示されている絶対座標における座標を(p、q)と置くと、ユーザの指定位置を示す座標(p’、q’)は以下のようになる。
(p’、q’)=(p−sgn(θ)X、q−sgn(φ)Y)…(式6)
この計算を行う補正処理を、ソフトウェアキーポインタ補正処理と表現する。また、座標(p’、q’)が元座標(s、t)となる。

0117

以上説明した補正処理を適用した図11の元座標取得処理について説明する。上記補正処理は、図11の元座標取得処理のステップS301での軌跡をトレースする処理(以下、「トレース処理」という)において実行される。具体的には、加速度センサASからθ、φが通知されるたびにトレース処理が実行される。なお、加速度センサASは、頭部が動いていない場合でも、θ=0、及びφ=0を通知するものとする。
また、以下の補正処理では、頭部の動きと同時に頭部と同方向に腕が動いた場合には補正を行わないようにしている。例えば、顔が右に向き、腕も右方向に同時に移動した場合、加速度センサASからは右に向いたことを示すθが通知されるが、ディスプレイ15の画面内のソフトウェアキーとポインタの相対位置はほとんど変化しない。従って、相対位置がほとんど変化していない場合は、頭部の動きと同時に頭部と同方向に腕が動いたと判定し、補正を行わない。

0118

さらに、ポインタ補正処理を適用した場合、ユーザが指定している絶対座標における座標と表示するポインタの位置に補正した分のズレが生じる。このズレを示すベクトルオフセットと表現する。例えば、絶対座標におけるポインタの座標が(a、b)であったが、補正により(c、d)に表示することとなったとする。このときベクトル(c−a、d−b)がオフセットとなり、補正後は、絶対座標におけるポインタの座標をオフセットでずらすオフセット補正を行う。オフセット補正された座標は、ポインタの表示位置であり、ユーザの指定位置でもある。また、オフセットは、ポインタ補正処理が行われた場合に再びズレが生じるため、ポインタ補正処理が行われるたびに更新される。

0119

ソフトウェアキー補正処理を適用した場合もオフセット補正が必要である。ソフトウェアキー補正処理におけるオフセットは、絶対座標とソフトウェアキーのズレを示すベクトルであり、具体的には、ソフトウェアキーの原点の絶対座標における座標となる。図35で説明すると、ベクトルP2’がオフセットとなる。表示している座標からP2’を引くことにより、ユーザの指定位置を補正する。ソフトウェアキー自体がずれて表示されているため、表示するポインタの座標に対するオフセット補正は不要であるが、指定位置の座標に対するオフセット補正は必要である。
このように、補正処理では、加速度センサASが検出したパン方向の回転角及びチルト方向の回転角に基づき、指定位置の補正量またはソフトウェアキーの補正量を算出することにより、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。なお、以下に説明するポインタ補正処理及びソフトウェアキー補正処理は、ユーザがいずれかを選択可能となっており、ユーザに選択された補正処理を実行する。

0120

図36は、元座標取得処理におけるステップS301のトレース処理にポインタ補正処理を適用した処理手順を示したフローチャートである。
図36において、制御部11は、加速度センサASから、パン方向の回転角θ、及びチルト方向の回転角φが通知されると(ステップS1801でYES)、絶対座標における現在のポインタの座標を取得し(ステップS1802)、上述したオフセット補正を行い、オフセット補正後の座標を(u,v)とする(ステップS1803)。なお、オフセットは、デフォルトでは(0、0)がスマートグラス10の初期化時にセットされる。

0121

次いで、制御部11は、通知されたθまたはφの絶対値が閾値T1以上か否か判定する(ステップS1804)。この閾値T1は、0以上の値であって、補正を行う対象とする回転角を規定するものである。例えば、比較的ゆっくりと回転している場合、すなわちθまたはφの絶対値が小さく、ユーザの入力に支障が出ない程度の回転角の場合は、補正を行わないようにすることができる。閾値T1は、ユーザにより設定可能としてもよい。

0122

通知されたθまたはφの絶対値が閾値T1以上ではない場合、すなわち|θ|<T1かつ|φ|<T1の場合には(ステップS1804でNO)、制御部11は、補正を行わずに(s、t)に(u、v)を代入(s←u、t←v)して(ステップS1809)、ステップS1808に進む。この(s、t)は、ポインタの座標を保持する変数で、デフォルトでは例えばソフトウェアキーの中央の座標がスマートグラス10の初期化時にセットされる。
通知されたθまたはφの絶対値が閾値T1以上の場合には(ステップS1804でYES)、制御部11は、(s、t)と(u、v)との距離が閾値T2以上か否か判定する(ステップS1805)。この閾値T2は、上述した頭部の動きと同時に頭部と同方向に腕が動いた場合に該当するか否かを判定するための閾値である。閾値T2は、ユーザにより設定可能としてもよい。

0123

(s、t)と(u、v)との距離が閾値T2以上ではない場合には(ステップS1805でNO)、制御部11は、頭部の動きと同時に頭部と同方向に腕が動いたと判定して、上述したステップS1809に進む。
一方、(s、t)と(u、v)との距離が閾値T2以上の場合には(ステップS1805でYES)、制御部11は、上述したポインタ補正処理を行う(ステップS1807)。ポインタ補正処理では、式2、式3、式4等を用いて補正する。このポインタ補正処理により、(s、t)が更新される。次いで、制御部11は、オフセットを更新する(ステップS1807)。オフセットは、(s、t)とユーザが指定している絶対座標における座標を用いて更新される。
次いで、制御部11は、座標(s、t)にポインタを表示して(ステップS1808)、本処理を終了する。この座標(s、t)は、元座標取得処理のステップS303で記憶される座標である。

0124

図37は、元座標取得処理におけるステップS301のトレース処理にソフトウェアキー補正処理を適用した処理手順を示したフローチャートである。
図37において、制御部11は、加速度センサASから、パン方向の回転角θ、及びチルト方向の回転角φが通知されると(ステップS1901でYES)、絶対座標における現在のポインタの座標(u,v)を取得する(ステップS1902)。

0125

次いで、制御部11は、通知されたθまたはφの絶対値が閾値T1以上か否か判定する(ステップS1903)。この閾値T1は、図36のT1と同じ閾値である。
通知されたθまたはφの絶対値が閾値T1以上ではない場合には(ステップS1903でNO)、制御部11は、補正を行わずに(s、t)に(a、b)を代入(a←u、b←v)して(ステップS1910)、ステップS1907に進む。この(a、b)は、ポインタの座標を保持する変数で、デフォルトでは例えばソフトウェアキーの中央の座標がスマートグラス10の初期化時にセットされる。

0126

通知されたθまたはφの絶対値が閾値T1以上の場合には(ステップS1903でYES)、制御部11は、(a、b)と(u、v)との距離が閾値T2以上か否か判定する(ステップS1904)。この閾値T2は、図36のT2と同じ閾値である。
(a、b)と(u、v)との距離が閾値T2以上ではない場合には(ステップS1904でNO)、制御部11は、頭部の動きと同時に頭部と同方向に腕が動いたと判定して、上述したステップS1908に進む。

0127

一方、(a、b)と(u、v)との距離が閾値T2以上の場合には(ステップS1904でYES)、制御部11は、上述したオフセット補正を行う(ステップS1905)。このオフセット補正は、現在の座標(u,v)に対して行われる。次いで制御部11は、上述したソフトウェアキー補正処理を行う(ステップS1906)。ソフトウェアキー補正処理では、式2、式3、式5等を用いて補正する。そして、制御部11は、オフセット補正された(u,v)に対して、上述した式6に示されるソフトウェアキーポインタ補正処理を行う(ステップS1906)。これにより、ユーザが指定している座標(s、t)が更新される。この座標(s、t)は、元座標取得処理のステップS303で記憶される座標である。次いで、制御部11は、ソフトウェアキーの補正に伴い、オフセットも変化するため、オフセットを更新する(ステップS1908)。
次いで、制御部11は、座標(u、v)にポインタを表示して(ステップS1909)、本処理を終了する。

0128

以上説明したポインタ補正処理、及びソフトウェアキー補正処理によれば、加速度センサASにより検出された物理量に基づき、ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正するので、ユーザによる誤入力を抑制することができる。
さらに、加速度センサASが検出する物理量は、透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、頭部が動く可能性のある左右方向及び上下方向の動きに対応できるため、より精度よく補正することが可能となる。

0129

また、ポインタ補正処理及びソフトウェアキー補正処理により、ユーザはポインタ補正処理及びソフトウェアキー補正処理のいずれかを選択できるので、ユーザの使い勝手や利便性を向上させることができる。
なお、上述した実施形態では、ポインタ補正処理及びソフトウェアキー補正処理のいずれか一方を実行する形態について説明したが、組合せて実行するようにしてもよい。ポインタ補正処理及びソフトウェアキー補正処理を組み合わせて実行する処理は、例えば、頭部の動きが大きい場合に有効である。
なお、本実施形態では、加速度センサを用いて頭部の動きを検出したが、角速度センサを用いてもよい。また本実施形態では、パン方向とチルト方向の2軸で頭部の動きを検出したが、例えば3軸または6軸で頭部の動きを検出するようにしてもよい。

0130

上述した実施形態におけるスマートグラス10、110、210、310、410の処理をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワーク電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

0131

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

0132

1,100,200,300,400 認証システム
10,110,210,310,410スマートグラス
11,21,31,111,121,211,221,311,321,331,411,421 制御部(操作内容取得部、表示部)
13,113,213,313,413カメラ
15,115,215,315,415ディスプレイ
18,26,34,118,126,218,226,318,326,334,418,426通信部
20,120,220,320,420情報処理装置
24,124,224,324座標変換部
28,128,228,328,428 照合部(文字列取得部)
30,330認証装置、32,332 認証部、AS 加速度センサ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ