図面 (/)

この項目の情報は公開日時点(2017年5月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

支援希望ユーザが好適にログイン動作を行うための技術を提供する。

解決手段

撮像画像表示部124は、撮像画像をディスプレイに表示する。顔認証部126は、登録ユーザ情報保持部180に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザ顔画像を検出する。領域画像表示部128は、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示する。案内制御部140は、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施する。

概要

背景

特許文献1は、ユーザをログインさせる複数の処理を開示する。特許文献1に開示される1つのログイン処理では、カメラ画像を利用して顔認証を行うことで第1段階のユーザ認証を行い、ディスプレイ内の指定領域にユーザが顔を動かすことで第2段階のユーザ認証を行って、ユーザをログインさせる。また別のログイン処理では、カメラ画像を利用して顔認証を行うことで第1段階のユーザ認証を行い、ディスプレイ内の指定領域にユーザが入力装置を動かすことで第2段階のユーザ認証を行って、ユーザをログインさせる。

概要

支援希望ユーザが好適にログイン動作を行うための技術を提供する。撮像画像表示部124は、撮像画像をディスプレイに表示する。顔認証部126は、登録ユーザ情報保持部180に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザ顔画像を検出する。領域画像表示部128は、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示する。案内制御部140は、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施する。

目的

本発明は、ユーザによるログイン動作を支援するための技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像画像ディスプレイに表示する撮像画像表示部と、登録ユーザ顔識別用データを保持する登録ユーザ情報保持部と、前記登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示する領域画像表示部と、を備え、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施する案内制御部と、を備えることを特徴とする情報処理装置

請求項2

前記顔認証部により検出された登録ユーザの属性情報にもとづいて、前記案内制御部の機能の実行有無が決定されること、を特徴とする請求項1に記載の情報処理装置。

請求項3

前記案内制御部は、案内支援の実施時、領域画像を通常時とは異なる態様で前記領域画像表示部により表示させる、ことを特徴とする請求項1または2に記載の情報処理装置。

請求項4

前記案内制御部は、検出された登録ユーザのユーザ名を音声出力する、ことを特徴とする請求項1から3のいずれかに記載の情報処理装置。

請求項5

前記顔認証部により複数の登録ユーザの顔画像が検出された場合に、前記案内制御部は各ユーザごとに案内支援を実施すること、を特徴とする請求項1から4のいずれかに記載の情報処理装置。

請求項6

撮像画像をディスプレイに表示するステップと、登録ユーザ情報保持部に保持された登録ユーザの顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出するステップと、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示するステップと、領域画像に動かされた物体を認証するステップと、登録ユーザをログインさせるステップと、を備えたログイン制御方法であって、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施するステップを含む、ことを特徴とするログイン制御方法。

請求項7

コンピュータに、撮像画像をディスプレイに表示する機能と、登録ユーザ情報保持部に保持された登録ユーザの顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する機能と、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示する機能と、領域画像に動かされた物体を認証する機能と、登録ユーザをログインさせる機能と、を実現させるためのプログラムであって、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施する機能を、実現させるためのプログラム。

技術分野

0001

本発明は、ユーザのログイン動作支援するための情報処理技術に関する。

背景技術

0002

特許文献1は、ユーザをログインさせる複数の処理を開示する。特許文献1に開示される1つのログイン処理では、カメラ画像を利用して顔認証を行うことで第1段階のユーザ認証を行い、ディスプレイ内の指定領域にユーザが顔を動かすことで第2段階のユーザ認証を行って、ユーザをログインさせる。また別のログイン処理では、カメラ画像を利用して顔認証を行うことで第1段階のユーザ認証を行い、ディスプレイ内の指定領域にユーザが入力装置を動かすことで第2段階のユーザ認証を行って、ユーザをログインさせる。

先行技術

0003

特開2015−90661号公報

発明が解決しようとする課題

0004

特許文献1に開示される2つのログイン処理において、第1段階のユーザ認証は、ユーザが意識することなく自動実施される。この第1段階のユーザ認証により、撮像された人が登録ユーザであることが判定されると、ユーザの顔の近傍にユーザ名が表示され、ユーザは自身が正しく認識されたことを確認した上で、ディスプレイに表示される指定領域に顔や入力装置を動かして、ユーザ認証されるようになっている。

0005

近年、多くのユーザに、利用しやすいサービスを提供する「ユーザアクセシビリティ」の向上に関する技術が注目されている。ユーザによるログイン場面を考えると、全てのユーザがスムーズにログインできる仕組みを構築することが、ユーザアクセシビリティの向上を実現する。

0006

そこで本発明は、ユーザによるログイン動作を支援するための技術を提供することを目的とする。

課題を解決するための手段

0007

上記課題を解決するために、本発明のある態様の情報処理装置は、撮像画像をディスプレイに表示する撮像画像表示部と、登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示する領域画像表示部と、を備える。この態様の情報処理装置は、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施する案内制御部を、さらに備える。

0008

本発明の別の態様は、ログイン制御方法である。この方法は、撮像画像をディスプレイに表示するステップと、登録ユーザ情報保持部に保持された登録ユーザの顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出するステップと、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示するステップと、領域画像に動かされた物体を認証するステップと、登録ユーザをログインさせるステップと、を備える。このログイン制御方法は、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施するステップをさらに備える。

0009

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム記録媒体コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

発明の効果

0010

本発明の情報処理技術によると、ユーザが好適にログイン動作を行うための技術を提供できる。

図面の簡単な説明

0011

本発明の実施例にかかる情報処理システムを示す図である。
(a)は入力装置上面の外観構成を示す図であり、(b)は入力装置奥側側面の外観構成を示す図である。
情報処理装置の機能ブロック図である。
情報処理装置の構成を示す図である。
(a)はユーザ選択画面を示す図であり、(b)はパスコード入力画面を示す図である。
ログイン処理2におけるログイン画面の一例を示す図である。
ログイン処理3におけるログイン画面の一例を示す図である。
領域画像表示部による領域画像の作成手法の一例を説明するための図である。
顔枠である領域画像の強調表示の例を示す図である。
図8に示す回転領域を拡大した回転領域を示す図である。
ユーザBに対するログイン制御の例を示す図である。
顔認証部による照合領域の例を示す図である。

実施例

0012

図1は、本発明の実施例にかかる情報処理システム1を示す。情報処理システム1は、ユーザ端末である情報処理装置10と、サーバ5とを備える。アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上のサーバ5と通信可能に接続する。

0013

補助記憶装置2は、HDDハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であり、USB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置4は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。情報処理装置10は、ユーザが操作する入力装置6と無線または有線で接続し、入力装置6はユーザの操作結果を示す操作信号を情報処理装置10に出力する。情報処理装置10は、入力装置6からの操作信号を受け付けるとOS(システムソフトウェア)やアプリケーションの処理に反映し、出力装置4から処理結果を出力させる。

0014

情報処理システム1において情報処理装置10はゲームを実行するゲーム装置であり、入力装置6はゲームコントローラなど情報処理装置10に対してユーザの操作信号を提供する機器であってよい。撮像装置であるカメラ7は出力装置4の近傍に設けられ、出力装置4周辺の空間を撮像する。図1ではカメラ7が出力装置4の上部に取り付けられている例を示しているが、出力装置4の側部または下部に配置されてもよく、いずれにしても出力装置4の前方に位置するユーザを撮像できる位置に配置される。カメラ7は、ステレオカメラであってもよい。

0015

サーバ5は、情報処理システム1のユーザに対してネットワークサービスを提供する。サーバ5は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ5が提供するネットワークサービスにサインインする。ユーザは情報処理装置10からネットワークサービスにサインインすることで、サーバ5に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィ登録できる。

0016

図1では、2人のユーザA、Bが、ゲームコントローラである入力装置6a、6bを操作している様子が示されている。ユーザA、Bは、それぞれ情報処理装置10のOSにログインすることで、ゲームなどのアプリケーションを楽しむことができる。

0017

入力装置6のボタン構成について説明する。
[上面部の構成]
図2(a)は、入力装置上面の外観構成を示す。ユーザは左手左側把持部78bを把持し、右手右側把持部78aを把持して、入力装置6を操作する。入力装置6の筐体上面には、入力部である方向キー71、アナログスティック77a、77bと、4種の操作ボタン76が設けられている。4種のボタン72〜75には、それぞれを区別するために、異なる色で異なる図形が記されている。筐体上面上において、方向キー71と操作ボタン76の間の平坦な領域には、タッチパッド79が設けられる。タッチパッド79は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

0018

2つのアナログスティック77a、77bの間に機能ボタン80が設けられる。機能ボタン80は、入力装置6の電源オンし、同時に入力装置6と情報処理装置10とを接続する通信機能アクティブにするために使用される。なお情報処理装置10のメイン電源オフとなっている場合、機能ボタン80が押下されると、情報処理装置10は、入力装置6から送信される接続要求を、メイン電源をオンにするための指示としても受け付け、これにより情報処理装置10のメイン電源がオンとなる。入力装置6が情報処理装置10と接続した後は、機能ボタン80は、情報処理装置10にホーム画面を表示させるためにも使用される。

0019

HAREボタン81は、タッチパッド79と方向キー71の間に設けられる。SHAREボタン81は、情報処理装置10におけるOSないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。またOPTIONSボタン82は、タッチパッド79と操作ボタン76の間に設けられる。

0020

[奥側側面部の構成]
図2(b)は、入力装置奥側側面の外観構成を示す。入力装置6の筐体奥側側面の上側には、タッチパッド79が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部85が設けられる。発光部85は、赤(R)、緑(G)、青(B)のLEDを有し、情報処理装置10から送信される発光色情報にしたがって点灯する。図1に示すように、2台の入力装置6a、6bが使用されている場合、情報処理装置10は、ユーザA、Bが各入力装置6を区別できるように、入力装置6a、6bの発光部85の点灯色を異なる色、それぞれ青、赤と定めてよい。これにより各ユーザは、自分が使用している入力装置6を発光部85の点灯色によって認識できるため、入力装置6を取り違える可能性が低減される。

0021

筐体奥側側面において、上側ボタン83a、下側ボタン84aと、上側ボタン83b、下側ボタン84bとが長手方向の左右対称な位置に設けられる。上側ボタン83a、下側ボタン84aは、それぞれユーザ右手の人差し指中指により操作され、上側ボタン83b、下側ボタン84bは、それぞれユーザ左手の人差し指、中指により操作される。上側ボタン83はプッシュ式ボタンとして構成され、下側ボタン84は回動支持されたトリガー式のボタンとして構成されてよい。

0022

近年では、ユーザの動きゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、ユーザが入力装置6をもつ必要がなく、直観的にキャラクタを動かすことができる。このようなゲームでは、そもそもユーザが入力装置6を用いないため、ユーザが情報処理装置10のOSにログインする際にも、入力装置6を用いずにユーザ認証が行われることが好ましい。なおログイン後にユーザがプレイするゲームの種類に関わらず、簡易なユーザ認証を経てユーザがログインできることは、情報処理システム1において有意義である。

0023

そこで本実施例の情報処理システム1では、カメラ7の撮像画像を利用して、顔認識処理によりユーザ認証を簡易に行うことのできる技術を提供する。

0024

図3は、情報処理装置10の機能ブロック図を示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。

0025

メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラム演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUはOSを起動し、OSが提供する環境下において、補助記憶装置2にインストールされたアプリケーションを実行する機能をもつ。

0026

サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えない。サブCPUは、メインCPUがスタンバイ状態にある間においても動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。本実施例の情報処理装置10は、メインシステム60のスタンバイ時にはサブシステム50が稼働しているため、サーバ5が提供するネットワークサービスに、常時サインインした状態を維持する。

0027

メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム60がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム60がスタンバイ状態にあることを意味する。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。

0028

システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。

0029

クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。

0030

デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale IntegratedCircuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

0031

メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスク光磁気ディスクブルーレイディスクなどの読出専用の記録メディアである。

0032

USBモジュール34は、外部機器USBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標プロトコルIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。なお無線通信モジュール38は、ITU(International Telecommunication Union;国際電気通信連合)によって定められたIMT−2000(International Mobile Telecommunication 2000)規格準拠した第3世代(3rd Generation)デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール40は、外部機器と有線通信し、たとえばAP8を介してネットワーク3に接続する。

0033

本実施例の情報処理装置10は、複数種類のログイン処理を用意しており、ユーザからのログイン要求があると、ログイン要求の生成状況や、顔識別用データが登録されているか否かに応じて、実行する1つのログイン処理を決定し、決定したログイン処理のユーザインタフェースをユーザに提供する。以下、3種類のログイン処理の概要を説明する。

0034

<ログイン処理1>
ログイン処理1は、情報処理装置10が出力装置4にユーザ選択画面を表示し、ユーザがユーザ選択画面において、入力装置6を利用して自分のアイコンを選択し、ログイン用パスコードを入力することで、情報処理装置10がユーザ認証を行い、ユーザをログインさせる処理である。
<ログイン処理2>
ログイン処理2は、情報処理装置10がカメラ7の撮像画像を利用してユーザの顔認証(第1段階のユーザ認証)を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で入力装置6を動かすべき位置を指定し、ユーザが入力装置6を指定領域に動かすことによってユーザ認証(第2段階のユーザ認証)を行って、ユーザをログインさせる処理である。
<ログイン処理3>
ログイン処理3は、情報処理装置10がカメラ7の撮像画像を利用してユーザの顔認証(第1段階のユーザ認証)を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で顔を動かすべき位置を指定し、ユーザが顔を指定領域に動かすことによってユーザ認証(第2段階のユーザ認証)を行って、ユーザをログインさせる処理である。

0035

ログイン処理2、3は、ともにカメラ7の撮像画像を利用した第1段階のユーザ認証を行う点で共通しているが、ログイン処理2では、入力装置6が所定の領域に動かされたことを検出して第2段階のユーザ認証を行うのに対し、ログイン処理3では、ユーザの顔が所定の領域に動かされたことを検出して第2段階のユーザ認証を行う点で相違する。
ゲームをプレイする際、ユーザが入力装置6を操作することが一般的であるが、近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、そもそもユーザが入力装置6を用いないため、ユーザが情報処理装置10のOSにログインする際にも、入力装置6を用いずにユーザ認証が行われることが好ましい。
そのため、ログイン処理3は、ユーザが入力装置6からログイン要求を情報処理装置10に送信するのではなく、たとえば情報処理装置10が電源オフの状態で、ユーザがメイン電源ボタン20を押下したときや、電源オンの状態でユーザから所定の音声入力を受け付けたときに実行されるようにする。

0036

図4は、情報処理装置10の構成を示す。情報処理装置10は、通信部102、入力受付部104、画像取得部106、マイク108、スピーカ109、処理部100および登録ユーザ情報保持部180を備える。処理部100は、発光色決定部110、ログイン処理決定部112およびログイン制御部120を備え、これらの機能は情報処理装置10のOS(システムソフトウェア)およびOSにより実行されるアプリケーションやメモリにより実現される。ログイン制御部120は、選択画像表示部122、撮像画像表示部124、顔認証部126、領域画像表示部128、オブジェクト認証部130、案内実行判定部132、案内制御部140、ログイン処理部160およびログインユーザ記憶部162を有する。通信部102は、図3に示す無線通信モジュール38および有線通信モジュール40の機能を示す。

0037

図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

0038

ユーザは、情報処理装置10のOSにログインするために、その前提として、ユーザアカウントを予め取得して、情報処理装置10に様々なユーザ情報を登録している必要がある。以下、ユーザアカウントを情報処理装置10に登録したユーザを、「登録ユーザ」とよぶこともある。

0039

登録ユーザ情報保持部180は、登録ユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、ログイン用パスコード、サーバ5にサインインするためのサインインID、ネットワークアカウント、ユーザのオンラインID(ネットワーク上でのユーザ名)、またユーザを表現するためのユーザアイコンなどを、登録ユーザ情報として保持している。なお、顔認証処理のために予め顔画像を登録している登録ユーザに関しては、登録ユーザ情報保持部180が、ユーザアカウントに関連付けて、顔識別用データを登録ユーザ情報として保持している。

0040

ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認証部126による顔認識処理において比較対象とされるデータであり、顔認証部126が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、本実施例では顔認証部126が既知の顔認識アルゴリズムを採用している。

0041

後述するが情報処理装置10は、視力の弱い登録ユーザであっても、ログイン処理2、3によって視覚の不自由さをできるだけ感じることなくログインできる仕組みを構築する。実施例の登録ユーザ情報保持部180は、登録ユーザの属性情報として、登録ユーザがログイン時にログイン支援の提供を受けるか否かを示す支援設定情報を含む。なお、このログイン支援の提供は、ユーザアクセシビリティに関するユーザ選択肢の一つであり、ユーザは、ユーザアカウントを登録する際に、ログイン支援の提供を受けるか否かを選択して登録できる。

0042

以下、ログイン支援の提供を受ける登録ユーザに対する支援処理を説明する前に、ユーザがログイン支援の提供を受けずに情報処理装置10にログインする際の処理について説明する。ログイン処理決定部112は、ログイン処理1〜3の中から実行するべきログイン処理を決定する。

0043

ログイン処理決定部112による決定手法を簡単に説明する。ログインしようとするユーザが顔識別用データを登録していなければ、ログイン処理2、3における第1段階の顔認証処理が実施できないため、ログイン処理決定部112は、実行するべきログイン処理として、ログイン処理1を決定する。一方、顔識別用データが登録されており、ユーザが入力装置6からログイン要求を入力した場合には、ログイン処理決定部112は、実行するべきログイン処理としてログイン処理2を決定し、ユーザが入力装置6以外からログイン要求を入力した場合には、ログイン処理決定部112は、実行するべきログイン処理としてログイン処理3を決定する。

0044

この決定処理は基本的にユーザの手を煩わせることなく自動的に行われるため、ユーザは、自分の状況に適したユーザインタフェースを提供される。

0045

<ログイン処理1>
ユーザが入力装置6の所定のボタン(たとえば機能ボタン80)を押下すると、その押下情報が情報処理装置10に送信される。情報処理装置10において、通信部102が押下情報を接続要求として受け付けて、入力装置6と通信部102とを接続する。また機能ボタン80の押下情報は入力受付部104に伝達され、入力受付部104は、この押下情報を、ユーザからのログイン要求として受け付け、処理部100に伝える。

0046

まず発光色決定部110は、ログイン要求を送信した入力装置6の発光部85の発光色を決定する。発光色決定部110が発光色を決定すると、通信部102が入力装置6に発光色情報を送信する。発光色情報が青色を指定する場合、入力装置6の発光部85は青色で点灯する。

0047

画像取得部106は、カメラ7から撮像画像データを取得する。たとえばカメラ7は周期的(たとえば1/30秒ごと)に空間を撮像して、撮像画像をUSBモジュール34を経由して画像取得部106に提供する。なおカメラ7は、メイン電源がオンの間、常に撮像画像を画像取得部106に提供してよい。

0048

選択画像表示部122は、登録ユーザ情報保持部180に保持されている登録ユーザ情報を読み出し、情報処理装置10に登録されたユーザを選択するための選択画像を生成する。具体的に選択画像表示部122は、登録ユーザ情報のうち、ユーザアイコンおよびオンラインID(ユーザ名)を読み出して、登録されたユーザのオンラインIDをリスト形式で並べたユーザ選択画面を出力装置4に表示する。この選択画面は、ログイン処理1におけるログイン画面を構成するが、後述するように、選択画面の初期表示時には、ログイン処理2を実行するか否かの判定処理が行われており、ログイン処理2の不実行が決定した後、正式にユーザ選択画面がログイン処理1におけるログイン画面を構成することになる。

0049

図5(a)はユーザ選択画面の一例を示す。選択画像表示部122は、登録ユーザ情報保持部180に保持されている全ての登録ユーザのユーザアイコンおよびオンラインIDを読み出し、読み出したユーザアイコンおよびオンラインIDをリスト形式でユーザが選択可能に表示する。以下、ユーザアイコンおよびオンラインIDを、「ユーザ特定情報」とよぶ。

0050

ユーザ選択画面の一部の小窓領域202に、撮像画像表示部124が、画像取得部106が取得した撮像画像を表示する。この表示画像は、カメラ7のライブ画像であり、小窓領域202の近傍には、「登録されている顔を探しています」とメッセージが表示される。このメッセージは、顔認証部126による顔認証処理中に表示され、したがって顔認証処理が終了すると、メッセージ表示は消される。つまり図5(a)に示す状態では、ユーザ選択画面が表示されつつ、そのバックグランドにおいて顔認証部126が、登録ユーザ情報保持部180から全ての登録ユーザの顔識別用データを読み出し、撮像画像中に、顔画像を登録したユーザが存在しているかが確認されている。

0051

顔認証部126は、撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出する。続いて顔認証部126は、読み出した顔識別用データと比較し、抜き出した顔が登録ユーザの顔であるか否かを判定する。

0052

具体的に顔認証部126は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部180から読み出した全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば100点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が90点を超えていれば、顔認証部126は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が90点を超えるものが複数存在する場合には、顔認証部126は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が90点を超えるものがなければ、顔認証部126は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このように顔認証部126は、登録ユーザ情報保持部180から読み出した顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。

0053

顔認証部126により、撮像画像に含まれるユーザの全てが登録ユーザでないことが判定されると、ログイン処理部160は、「登録されている顔を探しています」と表示していたメッセージを非表示とし、また小窓領域202も非表示とする。このように顔認証部126が、カメラ7の撮像画像に、顔画像を登録したユーザが含まれていないことを判定すると、ログイン処理決定部112が、ログイン処理1を、実行するべきログイン処理として決定する。これにより選択画像表示部122が、ユーザ選択画面の表示を継続して、ログイン処理部160が、ログイン処理1を開始する。顔認証部126による判定時間は数秒であり、したがって、小窓領域202およびメッセージは、ユーザ選択画面において、数秒間だけ表示される。なお小窓領域202は、ログイン処理1でユーザが自分のユーザ特定情報を選択するまで表示されてもよく、またメッセージは、ユーザが入力装置6の入力部を操作するまで表示されてもよい。

0054

ログイン処理1では、ユーザ選択画面において、ログイン処理部160が、1つのユーザ特定情報を取り囲むフォーカス枠200をリスト上で移動可能に表示する。ユーザは入力装置6の入力部を操作してフォーカス枠200を自分のユーザ特定情報の表示領域に動かし、入力装置6の所定の決定ボタンを押すことで、自分のユーザ特定情報を選択できる。

0055

ここでログインを要求するユーザが入力装置6を操作して、選択画面において「HANAKO」を選択すると、ログイン処理部160は、図5(b)に示すパスコードの入力画面を出力装置4に表示する。ここでユーザが登録したパスコードを入力すると、ログイン処理部160が、登録ユーザ情報保持部180に保持されているユーザのログイン用パスコードと同じであるか判定して、ユーザのログインの許否を判定する。ログイン処理部160は、ログインユーザ記憶部162に、ログイン情報、すなわちユーザを特定する情報(ユーザアカウント)と、ユーザが使用する入力装置6を特定する情報(ゲームコントローラID)とを対応付けて記憶する。以上のようにログイン制御部120は、ユーザのログイン処理1を実行する。以上は、ログイン処理1の説明である。

0056

以下、ユーザA、Bの顔識別用データが登録ユーザ情報保持部180に格納されており、ユーザAのオンラインIDが「HANAKO」、ユーザBのオンラインIDが「SACHIKO」であるとする。
<ログイン処理2>
上記したように、ユーザが入力装置6を操作してログイン要求を生成した場合、顔認証部126が、撮像画像中に、顔画像を登録したユーザが存在しないことを判定すると、ログイン処理1が実行される。一方で、ユーザが入力装置6を操作してログイン要求を生成した場合に、顔認証部126が、撮像画像中に、顔画像を登録したユーザが存在することを判定すると、ログイン処理決定部112が、ログイン処理2を、実行するべきログイン処理として決定する。なお検出されるユーザは、ログインしていないユーザである必要がある。この顔認証処理は、第1段階のユーザ認証と位置づけられる。

0057

図6(a)は、ログイン処理2におけるログイン画面を示す。図6(a)に示すログイン画面は、図5(a)に示すユーザ選択画面が表示されている間に顔認証部126により撮像画像中に顔画像を登録したユーザが検出されて、ユーザ選択画面が非表示にされた後に、出力装置4に表示される。ログイン処理2におけるログイン画面において、撮像画像表示領域206に、撮像画像表示部124が、カメラ7の撮像画像をライブ表示する。

0058

顔認証部126は、ユーザA(オンラインID:HANAKO)の顔の撮像画像中の位置を示す顔領域と、ユーザB(オンラインID:SACHIKO)の顔の撮像画像中の位置を示す顔領域を設定し、ログイン処理部160は、それぞれの顔領域の位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠210を表示する。

0059

ここではユーザAに対して顔枠210aを表示し、ユーザBに対して顔枠210bを表示している。このときログイン処理部160は、顔枠210aの近傍にユーザAのオンラインID(HANAKO)を表示し、顔枠210bの近傍にユーザBのオンラインID(SACHIKO)を表示する。これによりユーザA、Bは、自身の顔認識が行われていることを知ることができる。なおユーザは、自身の顔枠210の近傍に、自身とは別のオンラインIDが表示されていれば、顔認識が適切に行われていないことを知ることができる。

0060

領域画像表示部128は、顔認証部126により検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像212を、ディスプレイである出力装置4に表示する。ログイン処理2において、領域画像212は入力装置6を動かすべき領域を指定するオブジェクト枠であり、登録ユーザが入力装置6を領域画像212に動かすことで第2段階のユーザ認証が行われる。なお図示されるように、オブジェクト枠内には、動かすべき物体が入力装置6(ゲームコントローラ)であることを明確にするために、ゲームコントローラ画像が含まれる。オブジェクト認証部130は、撮像画像において、領域画像212aにより指定された指定領域内に、入力装置6の画像が含まれるか監視する。

0061

図6(b)は、ユーザが領域画像212で指定された位置に、入力装置6を動かしたログイン画面を示す。ここではユーザAが入力装置6を上に持ち上げて、領域画像212a内に入力装置6を動かした状態を示す。

0062

オブジェクト認証部130が、ユーザA用に表示された領域画像212aで指定されるオブジェクト枠内に入力装置6が動かされたことを認識する。このオブジェクト認証処理は、第2段階のユーザ認証と位置づけられ、ユーザAがログイン動作を行ったことを判定し、ログイン処理部160が、ユーザAを情報処理装置10にログインさせる。ログイン処理部160は、ログインユーザ記憶部162に、ログイン情報、すなわちユーザAを特定する情報(ユーザアカウント)と、ユーザAが使用する入力装置6aを特定する情報(ゲームコントローラID)とを対応付けて記憶する。

0063

以上のように、ログイン処理2では、顔認証部126が顔認証(第1段階のユーザ認証)を行い、その後、オブジェクト認証部130が指定領域内に入力装置6が含まれていることを検出する(第2段階のユーザ認証)ことで、ログイン処理部160が、登録ユーザをログインさせる。ログイン処理部160および領域画像表示部128は、ログインユーザ記憶部162を参照して、既にログイン済みのユーザに対しては顔枠210および領域画像212を表示しない。たとえば画面右側のユーザB(オンラインID:SACHIKO)が、ログイン済みのユーザであれば、顔枠210b、領域画像212bは表示されない。

0064

<ログイン処理3>
続いて、ログイン処理3について説明する。ログイン処理3では、ユーザは入力装置6を使用せずにログインする。
たとえばユーザが情報処理装置10のメイン電源ボタン20を押下すると、情報処理装置10のメイン電源がオンとなり、入力受付部104がメイン電源の押下情報を、ログイン処理3によるログイン要求として受け付ける。また、たとえばユーザによる所定の発声をマイク108が取得した場合に、入力受付部104が、ログイン処理3によるログイン要求として受け付けてよい。

0065

入力受付部104が、ログイン処理3によるログイン要求を受け付けると、撮像画像表示部124が、画像取得部106が取得した撮像画像を出力装置4に表示する。これにより出力装置4には、カメラ7が撮影したライブ画像が表示されることになり、出力装置4の前方にいるユーザが、出力装置4に映し出される。

0066

ログイン処理3においても、ログイン処理1、2に関して説明したように、顔認証部126は、登録ユーザ情報保持部180から読み出した顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この処理は、ユーザに意識させることなくバックグランドで自動実施され、これによりログイン処理決定部112が、ログイン処理3を、実行するべきログイン処理として決定する。ログイン処理3において、この顔認証処理は、第1段階のユーザ認証と位置づけられる。

0067

図7(a)は、出力装置4に表示される顔枠を含むログイン画面を示す。ログイン処理3におけるログイン画面において、撮像画像表示領域230に、撮像画像表示部124が、カメラ7の撮像画像をライブ表示する。

0068

顔認証部126は、ユーザA(オンラインID:HANAKO)の顔の撮像画像中の位置を示す顔領域と、ユーザB(オンラインID:SACHIKO)の顔の撮像画像中の位置を示す顔領域を設定し、領域画像表示部128は、それぞれの顔領域の位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して、物体を動かすべき領域を指定する領域画像222を表示する。ここで領域画像222は、ユーザの顔を動かすべき領域を指定する顔枠である。

0069

ここではユーザAに対して領域画像222aを表示し、ユーザBに対して領域画像222bを表示している。このときログイン処理部160は、領域画像222aの近傍にユーザAのオンラインIDを表示し、領域画像222bの近傍にユーザBのオンラインIDを表示する。これによりユーザA、Bは、自身の顔認識が適切に行われたことを知ることができ、ログインする際には、領域画像222a、222bに、顔を移動させればよいことを知る。

0070

図8は、領域画像表示部128による領域画像222の作成手法の一例を説明するための図である。検出領域220aは、顔認証部126により、顔識別のために顔識別用データと照合される矩形領域を示す。領域画像表示部128は、検出領域220aを上下左右に拡大した拡大領域220bを設定する。拡大領域220bは、検出領域220aを上下方向にSFa倍、左右方向にSFb倍することで設定される。領域画像表示部128は、拡大領域220bを、左または右に、拡大領域220bの左右方向の幅Wより短い長さ分動かした横移動領域220cを設定する。領域画像表示部128は、横移動領域220cの上辺が顔から離れる方向に、横移動領域220cの重心を中心として角度αだけ回転させた回転領域220dを設定する。角度αは、たとえば10度より大きく、30度より小さい角度であってよい。領域画像表示部128は、このように回転領域220dを設定し、回転領域220dの外枠に所定の色を付けて、顔枠となる領域画像222を作成する。この領域画像222の作成手法は一例であり、回転領域220dをさらに下方に動かし、その位置で領域画像222を作成してもよい。

0071

図7(b)は、ユーザが顔枠に顔を入れたログイン画面を示す。ここではユーザAが、出力装置4に表示されている領域画像222aに顔が入るように、顔や体を動かした様子を示している。なお図示の例では、領域画像222aが、ユーザの顔とほぼ等しい大きさに設定されているが、図8に関して説明したように、ユーザの顔よりも若干大きく設定されていてよい。顔認証部126は、領域画像222に人の顔が入っているか監視し、顔が入っている場合には、登録ユーザ情報保持部180から読み出した顔識別用データを用いて、領域画像222内に入っている顔が登録ユーザのものであるか判定する。

0072

顔認証部126は、領域画像222の位置座標をもとに、領域画像222に人の顔が入っているか監視する。具体的に顔認証部126は、領域画像222aの水平フェレ径および垂直フェレ径により規定される矩形領域を縮小した領域を、顔画像を識別する照合領域224とし、照合領域224に人の顔が入っているか監視する。顔認証部126は、照合領域224に人の顔が含まれていることを推定すると、その部分の特徴量データを導出して、読み出した顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。図7(b)の例では、顔認証部126が、照合領域224に入った顔がユーザAの顔であることを判定する。ログイン処理3において、この処理は、第2段階のユーザ認証と位置づけられる。第1段階と第2段階のユーザ認証により、ログイン時におけるユーザ認証が終了し、ログイン処理部160は、ユーザAを情報処理装置10にログインさせる。

0073

以上、情報処理装置10による複数のログイン処理について説明した。ログイン処理2、3では、出力装置4に表示されている領域画像212、222に、ユーザが入力装置6、顔を入れる動作を行う。そのため視力の低いユーザは、領域画像で指定される枠をはっきりと見ることができず、不便を感じる可能性がある。また図6図7に示すように、画面にはログイン動作に関する説明文が表示され、また顔枠の近傍にユーザのオンラインIDが表示されているが、ユーザの視力が低ければ、これらの情報もはっきりと見えない可能性がある。そのためユーザが、ログインするためにどのような動作を行えばよいか、また自身が正しく認識されているかを把握できない可能性もある。この場合、ユーザを簡単にログインさせるために考案したログイン処理2、3が、あるユーザにとっては簡単ではないというデメリットを生じさせることになる。

0074

そこで実施例では、案内制御部140が、ログイン動作のための案内支援を実施して、ログイン処理2、3におけるログイン動作を支援する。具体的には、ログイン処理2、3において、案内制御部140が、物体(顔、入力装置)を領域画像で指定される領域に動かしやすくするための案内支援を実施する。つまり図6図7において説明したログイン処理2、3において、ログイン動作をサポートして、ユーザがログインしやすい環境を提供し、ユーザアクセシビリティを向上させる。

0075

なお案内制御部140の機能は、ログイン支援の提供を受けることを示す支援設定情報を登録ユーザ情報保持部180に登録したユーザに対して実行される。ログイン制御部120は、案内制御部140の機能を常に実行するわけではなく、実行するか否かは、案内実行判定部132により判定される。

0076

案内実行判定部132は、情報処理装置10に登録された設定情報、または第1段階のユーザ認証で顔認証部126により検出された登録ユーザの属性情報にもとづいて、案内制御部140の機能の実行有無を決定する。ここで情報処理装置10に登録された設定情報とは、ユーザログインに関する設定画面において登録された情報であり、ユーザログイン時に、「通常モード」でログイン処理を行うか、または「ログイン支援モード」でログイン処理を行うかを選択した情報である。通常モードのログイン処理とは、図6、7に関して説明したログイン処理であり、ログイン支援モードのログイン処理とは、図6、7に関して説明したログイン処理に、案内支援を付加したログイン処理である。ログイン設定画面の初期状態では「通常モードのログイン処理」が選択されており、ユーザが、ログイン設定画面において「ログイン支援モードのログイン処理」を選択することで、この設定情報が情報処理装置10に登録される。このように「ログイン支援モードのログイン処理」が設定情報として情報処理装置10に登録されている場合、案内実行判定部132は、案内制御部140の機能を実行することを決定する。なお「通常モードのログイン処理」が設定情報として情報処理装置10に登録されている場合、案内実行判定部132は、登録ユーザの属性情報にもとづいて、案内制御部140の機能の実行有無を決定する。

0077

登録ユーザの属性情報は、登録ユーザがログイン支援の提供を受けるか否かを示す支援設定情報であり、登録ユーザ情報保持部180に登録されている。ログイン処理2、3においては、ユーザに意識させることなく、顔認証部126により第1段階の顔認証が実施される。顔認証部126により、カメラ7に撮像されている登録ユーザが検出されると、案内実行判定部132は、検出された登録ユーザの属性情報(支援設定情報)を参照して、ユーザがログイン支援の提供を希望しているか否かを判定する。このときユーザがログイン支援の提供を希望していれば、案内実行判定部132は、案内制御部140の機能を実行することを決定する。以下、ログイン支援の提供を受けることを支援設定情報として登録したユーザのことを「支援希望ユーザ」と呼び、ログイン支援の提供を受けないことを支援設定情報として登録したユーザのことを「通常ユーザ」と呼ぶ。なお複数の登録ユーザが顔認証部126により検出された場合、案内実行判定部132は支援希望ユーザが1人でもいれば、案内制御部140の機能を実行することを決定する。なお検出された全ての登録ユーザが通常ユーザであれば、案内実行判定部132は案内制御部140の不実行を決定する。このようにして案内実行判定部132は、効率的なユーザアクセシビリティの向上を実現する。

0078

以下、ログイン処理3に関する支援希望ユーザのログイン支援処理について説明する。なお上記した「ログイン支援モードのログイン処理」が情報処理装置10に登録されている場合、これから説明するログイン支援は、支援希望ユーザおよび通常ユーザの別を問わず実施されてもよいが、以下では、ユーザの属性情報にもとづいて、支援希望ユーザのみを対象として、ログイン支援処理が実施される場合を説明する。

0079

案内制御部140は、ユーザ特定部142、音声案内部144、表示変更部146、認識条件設定部148および相対位置導出部150を備える。案内制御部140は、支援希望ユーザのログイン支援を行うものであり、支援の対象となるユーザは、まだログインしていない支援希望ユーザである。ユーザ特定部142は、第1段階のユーザ認証により顔認証部126が検出した支援希望ユーザを特定する。たとえば図7には、顔認証部126が、ログインしていない2人のユーザA、Bを検出した様子を示しているが、このうちユーザA(HANAKO)が支援希望ユーザであり、ユーザB(SACHIKO)が通常ユーザである場合、ユーザ特定部142は、ユーザAを、ログイン支援の対象ユーザとして特定する。

0080

音声案内部144は、ユーザAに対して、ログイン支援のための音声案内を出力する。図7(a)を参照して、ユーザAの顔の近傍には、ユーザAのオンラインID(HANAKO)の文字テキスト表示されているが、ユーザAは視力が低ければ、この文字を読めない(見えない)可能性がある。またユーザAは、撮像画像表示領域230の下方に記載されているログイン動作に関する説明文を読めない可能性もある。そこで音声案内部144は、ユーザAのユーザ名(オンラインID)および説明文を、スピーカ109から音声出力する。たとえば音声案内部144は、「HANAKOさんを見つけました。HANAKOさんがログインしたい場合には、顔枠に顔をいれてください。」と音声で通知してよい。これによりユーザAは、自身の顔認識が行われていることを知ることができるとともに、ログイン動作の方法を知ることができる。

0081

音声案内部144は、スピーカ109から、ユーザAが首を傾ける方向を音声出力してもよい。たとえば音声案内部144は、「HANAKOさん、顔枠に入るように顔を左に傾けて下さい」と音声通知してもよい。また音声案内部144は、ユーザAの顔と領域画像222aとの距離を音声で表現してもよい。相対位置導出部150が、ユーザAの顔と領域画像222aとの相対位置関係を導出し、音声案内部144は、ユーザAが顔を傾けている間、領域画像222aに近づいている場合と遠ざかる場合とで、音の間隔、種類、トーンなどを異ならせて、ユーザAが正しいログイン動作を行っているか知らせるようにしてもよい。このように音声案内部144は、ユーザの動きを誘導する音声をスピーカ109から出力することが好ましい。これによりユーザAは、領域画像222aがはっきりと見えなくても、ログインするために行うべき動作を音声通知により知ることができる。

0082

表示変更部146は、ユーザAに対して顔枠として表示する領域画像222aの表示態様を通常モードから変更する処理を行う。具体的には、支援希望ユーザであるユーザAの顔枠を強調表示することで、ユーザAが顔枠を見えやすくするようにする。ユーザAは、音声案内部144により音声案内を受け、さらに顔枠を強調表示されることで、ログイン動作を容易に行えるようになる。表示変更部146は、領域画像表示部128に領域画像222の変更を指示し、これにより領域画像表示部128は、ログイン支援モードにおける領域画像222を、通常モードとは異なる態様で表示する。

0083

図9(a)は、顔枠である領域画像の強調表示の例を示す。領域画像表示部128は、支援希望ユーザであるユーザAの顔枠を通常よりも太くした領域画像222cを表示する。なお領域画像表示部128は、顔枠の色や大きさ、形状などを通常モードと異ならせて表示してもよい。なお表示色を変更する場合、表示変更部146は、顔枠を表示する位置に存在する背景色を抽出して、背景色に対して目立つ色を顔枠の色として定め、領域画像表示部128に通知してもよい。

0084

図9(b)は、顔枠である領域画像の強調表示の別の例を示す。領域画像表示部128は、ユーザAの顔枠を点滅させる領域画像222dを表示する。なお領域画像表示部128は、顔枠を周期的に拡縮させて、目立つように表示させてもよい。

0085

また表示変更部146は、相対位置導出部150が導出するユーザAの顔と領域画像222との相対位置関係に応じて、領域画像222の表示態様を異ならせてもよい。たとえば両者の距離が離れていると領域画像222を青色で、所定距離以下に近づくと領域画像222を赤色で表示するように、表示変更部146は、領域画像表示部128に色の変更を指示してもよい。

0086

変更態様の1つである顔枠の大きさを変更する場合について説明する。
既述したように図8は、通常モードにおける顔枠の作成手法を示している。領域画像表示部128は、表示変更部146から領域画像222の拡大指示を受けると、以下のように領域画像222を拡大してよい。通常モードにおいて領域画像表示部128は、検出領域220aを上下左右に拡大して拡大領域220bを設定したが、上下方向の拡大率SFa、左右方向の拡大率SFbを、それぞれ、さらに大きな拡大率としてもよい。領域画像表示部128は、より大きな拡大領域を設定した後は、既に説明したように横移動領域および回転領域を設定して、顔枠となる領域画像222を作成する。

0087

図10は、図8に示す回転領域220dを拡大した回転領域220eを示す。ログイン支援モードにおいて、領域画像表示部128は、回転領域220eの外枠に所定の色を付けて、顔枠となる領域画像222を作成する。このように図8に関して説明した顔枠の作成手法において、検出領域220aの拡大率を大きくすることで、領域画像表示部128は、回転領域220eを変更し、拡大した領域画像222を作成できる。

0088

なお領域画像表示部128は、通常モードにおける領域画像222を単純に拡大することで、ログイン支援モードにおける領域画像222を作成してもよい。通常モードの領域画像222を拡大する場合、領域画像表示部128は、ユーザの顔が存在する方向には拡大しないことが好ましい。顔認証部126は、領域画像222で指定される領域を少なくとも含む矩形領域を、顔識別用データとの照合領域224(図7(b)参照)とするため、領域画像222を顔が存在する方向に広げると、ユーザが顔を動かしていないのにもかかわらず顔画像が照合領域224内で検出されて、顔認証部126が、顔認証を行う可能性がある。実施例では、支援希望ユーザであるユーザAがログインしやすくする環境を提供するものの、ログインする意思のない場合にまでログインさせることは好ましくない。そこで顔枠を拡大する場合には、ユーザの顔が存在しない方向に拡大することで、ユーザが意図せずログインする状況を回避する。

0089

このようにログイン支援モードにおいて、領域画像222の表示態様が変更されることが好ましいが、これに合わせて、ログイン処理部160が、ユーザ名(HANAKO)の表示態様を、通常モードと異なる態様で表示することが好ましい。たとえばログイン処理部160は、文字の大きさ、太さ、色、フォントなどを通常モードと異ならせてもよく、また文字自体を点滅させたり、拡縮したりして、目立つ態様としてもよい。これによりユーザAは、自身のユーザ名を認識しやすくなる。

0090

なおログイン処理3において、第1段階のユーザ認証(顔認証)は、ユーザの意思とは関係なく実施されており、ユーザAが検出された場合であっても、ユーザAがログイン意思を有しているかは不明である。そのため音声案内部144および表示変更部146による支援処理は、所定回数または所定時間を上限として実施されてもよい。特に音声案内部144による支援は、通知メッセージを音声案内するものであるため、ユーザAにログイン意思がなければ、繰り返される音声案内は煩わしいものとなる可能性がある。そこで音声案内部144は、たとえば「HANAKOさんを見つけました。HANAKOさんがログインしたい場合には、顔枠に顔をいれてください。」のメッセージの通知上限回数を設定し、メッセージ通知回数が上限回数に達すれば、メッセージ通知を終了することが好ましい。なおメッセージ通知回数の上限が設定されていてもよく、またメッセージ通知時間の上限が設定されていてもよい。このとき、領域画像222の表示態様の変更状態は、メッセージの通知終了に合わせて終了とされてもよい。

0091

図9に示した例では、ユーザA(HANAKO)が支援希望ユーザ、ユーザB(SACHIKO)が通常ユーザである。そのため音声案内部144は、ユーザBに対して音声案内は実施せず、また表示変更部146は、ユーザBに対する領域画像222bの変更を領域画像表示部128に指示しない。

0092

しかしながら図9に示すログイン画面において、ユーザBは領域画像222bに顔を入れるとログインできる。たとえば情報処理装置10において、顔枠に顔を入れた最初のユーザのみがログイン処理3によりログインできるという制約がある場合、ユーザBがログインすると、ユーザAは、ログイン処理3によるログインができなくなる。この点を支援希望ユーザのログイン支援の観点から検討すると、支援希望ユーザの視力が低い場合には、ログイン動作に難があるため、支援希望ユーザを優先的にログインさせるように設計することが好ましい。

0093

図11は、通常ユーザであるユーザBに対するログイン制御の例を示す図である。
図11(a)は、ユーザBに対する領域画像222bを非表示とする例を示す。表示変更部146は、支援希望ユーザであるユーザAに対して、通常モードとは異なる領域画像222cを表示させている間、ユーザBがログインできないように、領域画像222bを非表示とさせる。このときユーザBは、顔を入れるべき顔枠が存在しないため、ログインできない。

0094

図11(b)は、ユーザBに対する領域画像222eを点線表示とする例を示す。表示変更部146は、ユーザAに対して領域画像222cを表示させている間、ユーザBがログインしにくいように、通常モードと異なる領域画像222eを表示させる。ユーザBは、領域画像222eの表示態様が通常モードとは異なることで、ユーザAのログイン支援中であることを認識できる。なお領域画像222eは、点線表示に限らず、薄い色で表示されたり、ユーザBが見づらい態様で表示されて、ユーザBのログイン動作を妨げるようにしてもよい。

0095

なお認識条件設定部148は、ログイン支援モードにおける通常ユーザのユーザ認証に用いる閾値を、通常モードよりも上げるように変更してもよい。たとえば通常モードにおいてユーザを認証する閾値を90点とすると、認識条件設定部148は、通常ユーザに対する閾値を95点に変更する。これによりユーザBのログイン動作を妨げるようにしてもよい。

0096

なお上記したように、ユーザAに対するログイン支援処理には、所定の上限回数または上限時間が設定されており、その上限を超えて支援処理は実施されない。そのためユーザAに対するログイン支援処理が終了すると、ユーザBに対して、通常モードの領域画像222bが表示されるようになる。

0097

なおユーザBは、ログイン支援処理を強制的に終了させるようにしてもよい。ユーザBは所定の発声を行うことで、ログイン支援処理を終了させることができる。たとえばユーザBが「ログイン支援を終了してください」と発声すると、マイク108で受け付けた音声が入力受付部104に供給され、入力受付部104は音声認識機能により発声を解析して、支援希望ユーザ用の案内の終了指示として受け付ける。これにより案内実行判定部132が、案内制御部140による機能を強制停止し、ログイン支援が終了する。なお、この発声は、ユーザAによって行われてもよい。またユーザA、Bは、他の手段により、ログイン支援の強制終了の入力を行い、入力受付部104が受け付けてもよい。

0098

カメラ7の前にユーザA、Bが存在する場合に、ユーザAにログイン意思がないことが明らかなこともある。その場合は、ユーザA、Bが、所定の発声を行うことで、ログイン支援を強制終了させることが好ましい。強制終了をしない場合、ユーザAに対するログイン支援処理は、所定の上限回数または上限時間の範囲で実施されるため、ユーザBは、ログイン意思があっても、その間待機しなければならない。そこでユーザBは、ユーザAにログイン意思がないことを知っていれば、ログイン支援処理を強制終了することで、すみやかにログインすることが可能となる。

0099

なお、以上は、ユーザAが支援希望ユーザであり、ユーザBが通常ユーザである例を示したが、以下では、ユーザA、Bともに支援希望ユーザである例について説明する。
複数のユーザが支援希望ユーザである場合、音声案内部144および表示変更部146は、各ユーザごとに順番に案内支援を実施してよい。たとえば最初にユーザAに対して案内支援が実施され、続いてユーザBに対して案内支援が実施される。この案内は、所定の上限回数または上限時間を限度として実施されて、各ユーザに対して実施された後は、支援希望ユーザ用の案内支援が終了する。なお、上限回数または上限時間は、各ユーザごとに設定されていてもよく、たとえばユーザの属性情報として登録ユーザ情報保持部180に登録されていてもよい。

0100

なお複数のユーザが支援希望ユーザである場合、ログイン支援処理を実施する順番は、所定の優先順位にしたがって定められてよい。たとえば最近ログインしたユーザの優先順位を高く設定してもよく、撮像画像表示領域230に含まれる顔画像の大きいユーザの優先順位を高く設定してもよく、ログイン頻度が高いユーザの優先順位を高く設定してもよい。

0101

以上は、音声ガイドや、顔枠の強調表示により、ユーザがログインしやすい環境を生成することについて説明した。以下では、顔認証条件を制御することで、ユーザがログインしやすい環境を作成することを説明する。

0102

図12は、顔認証部126による照合領域224の例を示す。実施例において、顔認証部126が顔画像を識別する領域は、領域画像表示部128により表示される領域画像222のフェレ径を用いて設定される。認識条件設定部148は、ログイン支援モードにおける領域画像222の水平フェレ径および垂直フェレ径により規定される矩形領域を縮小して、顔画像を識別する照合領域224として設定し、顔認証部126に照合領域224bの位置座標を通知する。

0103

照合領域224aは、通常モードにおいて回転領域220d(図8参照)により規定される領域を示し、照合領域224bは、ログイン支援モードにおいて回転領域220e(図10参照)により規定される領域を示す。図示されるように、ログイン支援モードにおける照合領域224bは、通常モードにおける照合領域224aよりも大きく設定される。このようにログイン支援モードでは、照合領域224が広く設定されることで、ユーザが顔識別される範囲が広がり、ログインしやすくなる。

0104

なお照合領域224bは、照合領域224aに対して、顔から離れる方向に広げられることが好ましい。これにより上記したように、ユーザがログインする意思がないにもかかわらず、照合領域224bに顔が含まれることでログインする事態を回避する。

0105

なお、この例ではログイン支援モードにおいて顔枠である領域画像222を広げることを前提としたが、顔枠を広げずに、照合領域224だけを広げるようにしてもよい。この場合であっても、照合領域224bは、通常モードにおける照合領域224aに対して、顔から離れる方向に広げられることが好ましい。

0106

顔認証部126は、照合領域224から抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部180から読み出した登録ユーザの顔識別用データとの一致度を導出する。認識条件設定部148は、ログイン支援モードにおけるユーザ認証に用いる閾値を、通常モードよりも下げるように変更してもよい。たとえば通常モードにおいてユーザを認証する閾値を90点とすると、認識条件設定部148は、ログイン支援モードにおける閾値を70点に変更する。顔認証の際、ユーザは、カメラ7に顔を正対させることが好ましいが、支援希望ユーザであるユーザは、顔枠内で顔の方向を適切に向けられないこともある。そのような場合、一致度の点数評価は下がることになり、そのような場合を救済するために、認識条件設定部148は、認証閾値を、通常モードよりも下げることが好ましい。

0107

また顔認証部126は、ユーザの顔画像の特徴量データと、顔識別用データとの一致度を導出する際、顔の一部の特徴量データについては一致度の導出に使用しないようにしてもよい。視力の悪い人は、物体を見ようとする際に目を細める傾向がある。そのような状態で撮像された顔画像は、特に目やの周辺領域で、登録時の顔識別用データとは異なることも想定される。そのため顔認証部126は、ユーザの顔画像の特徴量データのうち、目や眉の部分に相当する箇所の特徴量データは顔認証に使用せず、その他の特徴量と、顔識別用データとの一致度を導出するようにしてよい。この条件は、認識条件設定部148により顔認証部126に通知される。たとえば、無視する特徴量データについてはユーザにより入力されて、認識条件設定部148が、顔認証部126に通知してもよい。

0108

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、ログイン支援処理として、音声案内、領域画像222の強調表示、照合領域224の拡大、顔認証閾値の変更などを説明したが、これらは任意の組合せで実施されてよい。

0109

実施例では、ログイン処理3のログイン支援について説明したが、ログイン処理2にいても同様にログイン支援を実施できる。特に表示変更部146は、領域画像212の表示態様を、通常モードとログイン支援モードとで異ならせてよく、ログイン支援モードにおいては、領域画像212を強調表示することで、支援希望ユーザであるユーザが、入力装置6を領域画像212内に動かしやすくしてよい。また音声案内部144は、ログイン処理3と同じく、音声ガイドにより、ユーザのログイン動作を誘導してよい。

0110

また実施例では、認識条件設定部148が、支援希望ユーザがログインしやすくなるように認識条件を通常モードよりも緩く設定した。一方で、ログイン意思がない支援希望ユーザが、意図せずログインしてしまう状況を回避することも必要である。そのため、たとえば上限回数または上限時間の範囲内でログイン支援処理を実施している際、前半は認識条件を緩く設定し、後半は、逆に認識条件を厳しく設定するようにしてもよい。ログイン意思があれば、前半のうちに(早いタイミングで)ログイン動作を行って、ログインすることが想定される一方で、ログイン意思がなければ、後半のタイミングでログイン動作をする可能性が低いと考えられるためである。これにより、支援希望ユーザが誤ってログインしてしまう状況を回避できる。

0111

なお支援希望ユーザであるユーザに対して、案内制御部140は、当該ユーザのモバイル端末に、案内支援を提示してもよい。ユーザのモバイル端末のアクセス先アドレス電話番号など)は、登録ユーザ情報保持部180にユーザアカウントに関連付けて登録されており、ログイン支援モードでは、案内制御部140が、当該アクセス先を読み出して、モバイル端末にアクセスする。

0112

たとえば音声案内部144は、「HANAKOさんを見つけました。HANAKOさんがログインしたい場合には、顔枠に顔をいれてください。」とする音声データを、ユーザAのモバイル端末に送信してよい。このとき相対位置導出部150が、顔枠とユーザAの顔との相対位置関係を導出して、音声案内部144が、ユーザAが顔を顔枠に入れられるように音声で誘導してもよい。たとえば音声案内部144は、顔枠と顔との距離に応じて「もう少し右に傾けて下さい」などの音声誘導を行ってもよい。特に周囲が騒がしいような場合、出力装置4からの音声では聞こえないことも想定されるため、モバイル端末から音声を大音量で出力することで、ユーザAが音声を聞き取りやすくなる。

0113

またログイン処理部160は、モバイル端末の表示画面に、顔を動かす方向を、矢印、文字などにより表現するための画像データまたはテキストデータを、モバイル端末に送信してよい。モバイル端末は、画像データまたはテキストデータを画面表示し、ユーザAは出力装置4よりも近い位置でモバイル端末の画面表示を見ることができるため、仮にユーザAの視力が低くても、ログイン動作を好適に行うことができる。またログイン処理部160は、ログイン処理2における撮像画像表示領域206や、ログイン処理3における撮像画像表示領域230に映し出される画像データをモバイル端末に送信してもよい。これによりユーザは、自分が、入力装置6や顔を、どの方向に動かせばよいか認識できるようになる。

0114

またログイン処理3において、第2段階のユーザの顔認証を、モバイル端末側においても実行してよい。上記したように情報処理装置10において、ユーザの第1段階の顔認証は実行されているため、第2段階の顔認証を、モバイル端末で実行することで、出力装置4に表示された顔枠に顔を入れるログイン動作を省略できる。なおモバイル端末は、カメラを有し、且つユーザ認証機能を有していることが前提となるが、情報処理装置10およびモバイル端末の双方でユーザ認証が成功した場合に、ログイン可能とすることで、ユーザ認証の精度を保つことができる。なお、実施例においてログイン支援モードにおいては、顔認証における一致度の閾値を下げることを説明したが、情報処理装置10およびモバイル端末の双方で顔認証を実施する場合、それぞれにおける閾値を低く設定してよい。モバイル端末における顔認識の結果は、情報処理装置10に送信されて、ログイン処理部160は、モバイル端末においてユーザAの顔認証が行われたことをもって、ユーザAをログインさせる。

0115

なおログイン処理3において、第2段階のユーザ認証をモバイル端末で実行する場合には、モバイル端末で顔認証を行うだけでなく、パスワード認証や、瞳認識などのユーザ認証を実施してもよい。このように複数の端末装置によりユーザ認証を複合的に実施することで、ユーザ認証精度を高めることが可能となる。

0116

またログイン処理2、3において、ログイン支援モードによる支援を行ったにもかかわらず、第2段階のユーザ認証が成功しなかった場合には、ログイン処理部160が、ログイン処理1に切り替えてもよい。また、この場合、別のログイン処理、たとえば音声認識によるログイン処理などを実施してもよい。

0117

実施例では、領域画像表示部128が、人の顔や入力装置6を動かすべき領域を指定する領域画像をディスプレイに表示することを説明した。領域画像表示部128は、顔や入力装置6以外の物体を動かすべき領域を指定する領域画像を表示してもよい。たとえば動かすべき物体は、人の顔以外の部位、たとえば手や足や、予め定められた物、たとえばバーコードなどのコード識別子などであってもよく、領域画像表示部128は、ログインに要求する物体を動かすべき領域を指定する領域画像を表示する。

0118

1・・・情報処理システム、6・・・入力装置、7・・・カメラ、10・・・情報処理装置、100・・・処理部、102・・・通信部、104・・・入力受付部、106・・・画像取得部、108・・・マイク、109・・・スピーカ、110・・・発光色決定部、112・・・ログイン処理決定部、120・・・ログイン制御部、122・・・選択画像表示部、124・・・撮像画像表示部、126・・・顔認証部、128・・・領域画像表示部、130・・・オブジェクト認証部、132・・・案内実行判定部、140・・・案内制御部、142・・・ユーザ特定部、144・・・音声案内部、146・・・表示変更部、148・・・認識条件設定部、150・・・相対位置導出部、160・・・ログイン処理部、162・・・ログインユーザ記憶部、180・・・登録ユーザ情報保持部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ