図面 (/)

技術 情報処理装置、情報処理方法、プログラム

出願人 キヤノンマーケティングジャパン株式会社キヤノンITソリューションズ株式会社
発明者 中田克繁
出願日 2016年6月16日 (5年5ヶ月経過) 出願番号 2016-119569
公開日 2017年12月21日 (3年11ヶ月経過) 公開番号 2017-224182
状態 特許登録済
技術分野 イメージ分析 特定用途計算機
主要キーワード 拡張倍率 広がり係数 勤務外 広がり度合い 証跡情報 ビデオメモリ領域 フォールス スリープ処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年12月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

背景を顔として誤検出・認識してしまうことを低減させることが可能となる技術を提供する。

解決手段

撮影された画像から顔を検出し、検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する。算出された割合に基づき、検出した顔が人物の顔であるか背景であるかを判定する。判定結果に基づき、テレワーカ在席離席状況、覗き込み・成りすましの発生の有無を検知する。

概要

背景

近年、各企業でテレワークへの関心が高まっている。テレワークには機密情報への第三者アクセス防止や労働管理の適正化などの課題があり、導入するためにはそれらの課題を解決しなければならない。

現在、それらの課題を解決するため、顔認証技術を利用したテレワーク管理支援ステムが開発されている。このシステムを用いることで、カメラ画像から本人認証を行い、なりすましや第三者による覗き見の状態を検出し、管理者に通知することができる。

このような顔認証技術を利用したテレワーク管理支援システムにおいては、顔検出・認識の精度が高くなければテレワーカ労務状況誤判断してしまうことになる。そのため、顔検出・認識精度の向上が望まれている。

特許文献1には、輪郭周辺領域を探索することで人体領域を判定し、顔検出精度を向上させる仕組みが記載されている。

特許文献2には、照明条件光源測光)により肌の色合いに差が生じる問題に対し、その時の彩度に合った適切な肌色色相テーブルを参照することで、顔検出率を向上させる仕組みが記載されている。

概要

背景を顔として誤検出・認識してしまうことを低減させることが可能となる技術を提供する。撮影された画像から顔を検出し、検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する。算出された割合に基づき、検出した顔が人物の顔であるか背景であるかを判定する。判定結果に基づき、テレワーカの在席離席状況、覗き込み・成りすましの発生の有無を検知する。

目的

そこで、本発明は、背景を顔として誤検出・認識してしまうことを低減させることが可能な仕組みを提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出手段と、前記算出手段により算出された割合に基づき、前記顔検出手段で検出した顔が、人物の顔であるか背景であるかを判定する判定手段と、を備えることを特徴とする情報処理装置

請求項2

前記所定の色は、予め定められた色であることを特徴とする請求項1に記載の情報処理装置。

請求項3

前記所定の色は、前記顔検出手段により検出した顔の検出した顔に含まれる色であることを特徴とする請求項1に記載の情報処理装置。

請求項4

前記所定の色は、前記顔検出手段により検出した顔が収まる領域の中心点の色であることを特徴とする請求項1に記載の情報処理装置。

請求項5

前記所定の色は、前記顔検出手段により検出した顔が収まる領域において最も広い面積を占める色であることを特徴とする請求項1に記載の情報処理装置。

請求項6

前記判定手段は、前記算出手段により算出された顔が収まる領域における所定の色が占める割合と、前記拡張顔領域における所定の色が占める割合とを用いて、当該所定の色の広がり度合いを判定することで、前記顔検出手段で検出した顔が、人物の顔であるか背景であるかを判定することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。

請求項7

前記判定手段により人物の顔であると判定された顔に基づき、端末前方状態を判定する端末前方状態判定手段をさらに備えることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。

請求項8

情報処理装置における情報処理方法であって、前記情報処理装置の顔検出手段が、撮影された画像から顔を検出する顔検出工程と、前記情報処理装置の算出手段が、前記顔検出工程により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出工程と、前記情報処理装置の判定手段が、前記算出工程により算出された割合に基づき、前記顔検出工程で検出した顔が、人物の顔であるか背景であるかを判定する判定工程と、を備えることを特徴とする情報処理方法。

請求項9

情報処理装置において実行可能なプログラムであって、前記情報処理装置を、撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出手段と、前記算出手段により算出された割合に基づき、前記顔検出手段で検出した顔が、人物の顔であるか背景であるかを判定する判定手段として機能させるためのプログラム。

技術分野

0001

本発明は、情報処理装置情報処理方法プログラムに関する。

背景技術

0002

近年、各企業でテレワークへの関心が高まっている。テレワークには機密情報への第三者アクセス防止や労働管理の適正化などの課題があり、導入するためにはそれらの課題を解決しなければならない。

0003

現在、それらの課題を解決するため、顔認証技術を利用したテレワーク管理支援ステムが開発されている。このシステムを用いることで、カメラ画像から本人認証を行い、なりすましや第三者による覗き見の状態を検出し、管理者に通知することができる。

0004

このような顔認証技術を利用したテレワーク管理支援システムにおいては、顔検出・認識の精度が高くなければテレワーカ労務状況誤判断してしまうことになる。そのため、顔検出・認識精度の向上が望まれている。

0005

特許文献1には、輪郭周辺領域を探索することで人体領域を判定し、顔検出精度を向上させる仕組みが記載されている。

0006

特許文献2には、照明条件光源測光)により肌の色合いに差が生じる問題に対し、その時の彩度に合った適切な肌色色相テーブルを参照することで、顔検出率を向上させる仕組みが記載されている。

先行技術

0007

特開2008−9576号公報
特開2007−264860号公報

発明が解決しようとする課題

0008

特許文献に記載の技術によれば、顔検出の精度を向上させることが期待できる。

0009

しかし、顔を誤検出・誤認識してしまうケースとしては、背景凹凸模様を顔として誤検出・誤認識してしまうというケースがある。このようなケースへの対応については、上述の特許文献には記載されていない。

0010

そこで、本発明は、背景を顔として誤検出・認識してしまうことを低減させることが可能な仕組みを提供することを目的とする。

課題を解決するための手段

0011

本発明の情報処理装置は、撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出手段と、前記算出手段により算出された割合に基づき、前記顔検出手段で検出した顔が、人物の顔であるか背景であるかを判定する判定手段と、を備えることを特徴とする情報処理装置。

0012

また、本発明の情報処理方法は、情報処理装置における情報処理方法であって、前記情報処理装置の顔検出手段が、撮影された画像から顔を検出する顔検出工程と、前記情報処理装置の算出手段が、前記顔検出工程により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出工程と、前記情報処理装置の判定手段が、前記算出工程により算出された割合に基づき、前記顔検出工程で検出した顔が、人物の顔であるか背景であるかを判定する判定工程と、を備えることを特徴とする。

0013

また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出手段と、前記算出手段により算出された割合に基づき、前記顔検出手段で検出した顔が、人物の顔であるか背景であるかを判定する判定手段として機能させるためのプログラム。

発明の効果

0014

本発明によれば、背景を顔として誤検出・認識してしまうことを低減させることが可能となる。

図面の簡単な説明

0015

本発明の実施形態における、テレワーク管理システムシステム構成の一例を示す図である。
本発明の実施形態における、管理サーバ101、テレワーカ用PC111、管理者用PC121に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。
本実施例における顔検出処理を示すフローチャート
本実施例における顔検出処理を示すフローチャート
設定ファイルの内容の一例を示す図
顔領域のイメージを示す図
拡張顔領域のイメージを示す図
拡張顔領域の除外領域のイメージを示す図
背景を顔と誤検出した場合のイメージを示す図
背景であるか人物の顔であるかを判定する手法を説明するための図

実施例

0016

以下、図面を参照して、本発明の実施形態を詳細に説明する。

0017

図1は、本発明のテレワーク管理システムのシステム構成の一例を示す図である。

0018

テレワーク管理システム100は、1または複数の管理サーバ101、1または複数のテレワーカ用PC111、1または複数の管理者用PC121がインターネット130を介して接続される構成となっている。

0019

管理サーバ101は、テレワーカの在席離席状況に関する情報や第三者による覗き込み、成りすまし等の情報(テレワーク情報)を一元管理するサーバであり、サービス環境ネットワーク104上に構築されている。

0020

管理サーバ101へは、テレワーカ用PC111と管理者用PC121が、アカウントIDとパスワードを用いた認証処理により接続し、管理サーバ101は、テレワーカ用PC111からテレワーク情報を受信した場合は、管理サーバ101のデータベースに格納する。また、管理者用PC121からテレワーク情報の取得要求があった場合は、管理サーバ101のデータベースから必要なテレワーク情報を取り出す。

0021

テレワーカ用PC111は、テレワーカから勤務中勤務外かの申請申告)を受け付け、また接続された撮像装置により撮影された映像(画像)から端末前方状態(テレワーカが在席・離席しているのか、覗き込みやなりすましが発生しているか)を検知する端末である。自宅ネットワーク110上に存在し、端末前方状態は、ルータ112、インターネット130、及びルータ103を介して管理サーバ101へ送信される。

0022

管理者用PC121は、テレワーク情報を確認するための端末であり、社内ネットワーク120上に存在し、テレワーク情報の確認には、ウェブ管理コンソールウェブブラウザ上で動作)を使用し、ルータ122、インターネット130、及びルータ103を介して管理サーバ101に接続する。

0023

なお、本実施例においては、テレワーカ用PC111が端末前方状態を検知し、管理サーバ101へ情報を送信する構成として説明するが、テレワーカ用PC111から映像(画像)のみを管理サーバ101に送信し、管理サーバ101において当該映像(画像)から端末前方状態を検知するよう構成しても良い。

0024

図2は、本発明の実施形態における管理サーバ101、テレワーカ用PC111、管理者用PC121に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。各装置ともに、同様な構成を備えるため、同一の符号を用いて説明する。

0025

図2に示すように、情報処理装置は、システムバス200を介してCPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、記憶装置204、入力コントローラ205、音声入力コントローラ206、ビデオコントローラ207、メモリコントローラ208、よび通信I/Fコントローラ209が接続される。

0026

CPU201は、システムバス200に接続される各デバイスやコントローラを統括的に制御する。

0027

ROM202あるいは記憶装置204は、CPU201が実行する制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ(データテーブルを含む)を保持している。

0028

RAM203は、CPU201の主メモリワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは記憶装置204からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。

0029

入力コントローラ205は、入力装置210からの入力を制御する。入力装置210としては、キーボードタッチパネルマウス等のポインティングデバイス等が挙げられる。

0030

なお、入力装置210がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができることとする。

0031

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

0032

音声入力コントローラ206は、マイク/スピーカ211がマイク機能として動作する場合、マイク/スピーカ211からの音声入力を制御し、マイク/スピーカ211から入力された音声を認識することが可能となっている。また、音声入力コントローラ206は、マイク/スピーカ211がスピーカ機能として動作する場合、マイク/スピーカ211への音声出力を制御し、マイク/スピーカ211に対し音声を出力することが可能となっている。

0033

ビデオコントローラ207は、ディスプレイ212などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、入力装置210を提供する。

0034

なおビデオコントローラ207は、表示制御を行うためのビデオメモリVRAM)を制御することが可能で、ビデオメモリ領域としてRAM203の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

0035

本発明では、ユーザが情報処理装置を通常使用する場合の表示に用いられる第1のビデオメモリ領域と、所定の画面が表示される場合に、第1のビデオメモリ領域の表示内容に重ねての表示に用いられる第2のビデオメモリ領域を有している。ビデオメモリ領域は2つに限ったものではなく、情報処理装置の資源許す限り複数有することが可能なものとする。

0036

メモリコントローラ208は、外部メモリ213へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーションフォントデータ、ユーザファイル編集ファイル、および各種データ等を記憶する外部記憶装置ハードディスク)、フレキシブルディスクFD)、或いはPCMCIAカードスロットアダプタを介して接続されるコンパクトフラッシュ登録商標メモリ等を利用可能である。

0037

通信I/Fコントローラ209は、ネットワーク214を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信やISDNなどの電話回線、および携帯電話の3G回線を用いた通信が可能である。

0038

なお、記憶装置204は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、SSD(Solid State Drive)などの媒体であってもよい。

0039

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

0040

尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォント展開ラスタライズ)処理を実行することにより、ディスプレイ212上での表示を可能としている。また、CPU201は、ディスプレイ212上の不図示のマウスカーソル等でのユーザ指示を可能とする。

0041

次に、図3図4のフローチャートを用いて、本実施形態におけるテレワーク管理システムが実行する処理について説明する。

0042

図3図4のフローチャートは、テレワーカ用PC111のCPU201が所定の制御プログラムを読み出して実行する処理である。

0043

テップS301では、テレワーカ用PC111のCPU201は、設定ファイルから各種パラメータを読み込む。パラメータには、例えば、カメラの画像サイズ、顔認証の類似度閾値処理サイクル拡張倍率、肌色広がり係数などがある。
設定ファイルの一例を図5に示す。

0044

カメラ画像サイズのパラメータは、カメラから取得する画像の大きさの定義に使用する値であり、ピクセル値などにより指定するものとする。図5に示す通り、本実施例においては、640ピクセル×480ピクセルとする。

0045

顔認証の類似度の閾値は、テレワーカ本人かどうかの判断に使用する値であり、本実施例においては、0.7を指定する。

0046

処理サイクルのパラメータは、テレワーカ用PC111での勤務状態(端末前方状態)検出の処理周期の定義にしようする値であり、ミリ秒などの単位を用いて指定するものとする。図5に示す通り、本実施例においては、250ミリ秒とする。

0047

拡張倍率パラメータは、拡張顔領域情報を算出する際に使用する値であり、顔領域に対して1.0以上の面積倍率で指定するものとする。本実施例においては、4.0倍とする。

0048

肌色広がり係数のパラメータは、背景の誤検出であるか否かの判断に使用する値であり、図5に示す通り、本実施例においては1.5とする。

0049

読み込んだ各パラメータは、RAM203に記憶させておき、必要なときに参照する。

0050

ステップS302では、テレワーカ用PC111のCPU201は、ステップS315で証跡情報を送信できるよう、管理サーバとの通信接続確立する。通信接続の確立には、あらかじめ管理サーバに登録しているテレワーカのシステムログイン用のアカウントIDとログインパスワードを使用する。

0051

ステップS303では、テレワーカ用PC111のCPU201は、接続されたカメラにより撮影された画像を取得する。取得した画像はRAM203に記憶しておく。

0052

ステップS304では、テレワーカ用PC111のCPU201は、ステップS303で取得した画像から顔を検出する。顔の検出には公知技術を用いるものとする。検出結果はRAM203に記憶しておく。

0053

ステップS305では、テレワーカ用PC111のCPU201は、ステップS304において検出された顔に対して、肌色領域広がりを判定することで、背景を顔として誤検出していないかの判断を行う。本処理の詳細については、図4のフローチャートを用いて後述する。

0054

ステップS306では、テレワーカ用PC111のCPU201は、ステップS305の肌色領域の広がり判定処理にて背景の誤検出を取り除いた後の、顔検出個数を判定する。

0055

顔の検出数が0個(未検出)の場合、処理をステップS307に移行し、端末前方状態(テレワーカの勤務状態)を「離席」として判定し設定する。

0056

検出数が2個以上の場合、処理をステップS308に移行し、端末前方状態(テレワーカの勤務状態)を「覗き見」(覗き込み)として判定し設定する。

0057

検出数が1個の場合、処理をステップS309に移行し、テレワーカ本人の顔であるか否かを確認するための顔認証処理をおこなう。

0058

ステップS309では、テレワーカ用PC111のCPU201は、カメラにより撮影された画像から検出された顔と、予め登録されたテレワーカ本人の顔画像との類似度を算出する。

0059

ステップS310では、テレワーカ用PC111のCPU201は、ステップS309で算出した類似度と、ステップS301で読み込んだ類似度の閾値とを比較し、画像から検出された顔がテレワーカ本人の顔であるかを判定する。

0060

具体的には、算出された類似度が閾値を満たす場合は本人と判定し、閾値を満たさない場合は、他人と判定する。

0061

本人と判定された場合(ステップS310:YES)は、処理をステップS311に移行し、端末前方状態(テレワーカの勤務状態)を「在席」に設定する。

0062

他人と判定された場合(ステップS310:NO)は、処理をステップS312に移行し、端末前方状態(テレワーカの勤務状態)を「なりすまし」に設定する。

0063

ステップS313では、テレワーカ用PC111のCPU201は、端末前方状態(テレワーカの勤務状態)を判定し、「覗き見」または「なりすまし」の場合は、処理をステップS314に移行する。

0064

「在席」または「離席」の場合は、処理をステップS315に移行する。

0065

ステップS314では、テレワーカ用PC111のCPU201は、ディスプレイに表示されている画面をスクリーン画面として取得する。

0066

ステップS315では、テレワーカ用PC111のCPU201は、ステップS303で取得したカメラ画像と、ステップS314で取得したスクリーン画像とを、管理サーバ101に証跡情報として送信する。

0067

ステップS316では、テレワーカ用PC111のCPU201は、CPU負荷調整のためにスリープ処理をおこなう。スリープする時間は、S301で読み込んだ処理サイクルのパラメータを使用する。

0068

ステップS317では、テレワーカ用PC111のCPU201は、本実施形態の処理を終了する指示がなされたかを判断する。例えば、メニュー等からテレワーカ本人により明示的に終了命令があったかを判断する。処理を終了する場合は、本フローチャートの処理を終了し、処理を終了させない場合は、再びステップS303の処理に戻る。

0069

次に、図4のフローチャートを用いて、ステップS305の処理の詳細を説明する。

0070

ステップS401では、テレワーカ用PC111のCPU201は、ステップS304で検出した顔のすべてに対して、肌色領域の広がり度合いの判定処理をおこなったかを判断する。未処理の顔がある場合、処理をステップS402に移行する。すべての顔を処理している場合、広がり度合いの判定処理を終了し、処理をステップS306に移行する。

0071

ステップS402では、テレワーカ用PC111のCPU201は、処理対象の顔の顔領域情報を取得する。顔領域情報は処理対象の顔が収まる矩形に関する情報であり、矩形の左上角のXYのピクセル座標、右下角のXYのピクセル座標、矩形の回転角表現される。取得した顔領域情報はRAM203に記憶しておく。

0072

顔領域情報のイメージ例を図6に示す。図6において破線で示すとおり、テレワーカの顔が収まる矩形(601)が形成されている。この矩形で示す領域が顔領域である。この矩形の左上の頂点を(X1,Y1)というピクセル座標で示している。また、右下の頂点を(X2,Y2)というピクセル座標で示している。

0073

ステップS403では、テレワーカ用PC111のCPU201は、S402で取得した顔領域情報をもとに、その領域全体ピクセル数と、領域内に存在する肌色のピクセル数とをカウントする。

0074

肌色ピクセル数は、肌色の色相範囲内にあるピクセルのことを示す。本実施例においては、肌色の色相範囲は、人間の肌の色として想定される色をRGB等の値により予め登録しておくものとするが、設定ファイルや処理時点の状況等により変更できるようにしてもよい。

0075

例えば、テレワーカ本人の肌の色を登録しておくことで、背景と本人の顔とを誤検出することを低減させることが可能となる。

0076

顔領域全体のピクセル数と肌色ピクセル数は、RAM203に記憶しておく。

0077

ステップS404では、テレワーカ用PC111のCPU201は、ステップS402で取得した顔領域を拡張したものである拡張顔領域を特定するための「拡張顔領域情報」を算出する。

0078

拡張顔領域情報は矩形情報であり、矩形の左上角のXYのピクセル座標、右下角のXYのピクセル座標、矩形の回転角で表現する。拡張顔領域情報の算出には、ステップS301で読み込んだ拡張倍率パラメータを使用し、顔領域の矩形に対して中心および回転角は一致したまま、面積が拡張倍率パラメータと同倍率となる相似矩形を生成し、当該矩形の左上角および右下角のXYピクセル座標を算出する。

0079

なお、顔がカメラ画像の端にある場合、画像領域をはみ出した拡張顔領域情報が算出されることが考えられる。その場合は、ステップS405で、はみ出した部分を考慮した処理が実施される。算出した拡張顔領域情報は、RAM203に記憶しておく。

0080

拡張顔領域情報のイメージ例を図7に示す。図7において一点鎖線で示すとおり、テレワーカの顔が収まる矩形(顔領域)を拡張した領域(拡張顔領域)を示す矩形(701)が形成されている。この矩形で示す領域(顔領域を含む領域)が拡張顔領域である。この矩形のこの矩形の左上の頂点を(X3,Y3)というピクセル座標で示している。また、右下の頂点を(X4,Y4)というピクセル座標で示している。

0081

ステップS405では、テレワーカ用PC111のCPU201は、S404で取得した拡張顔領域情報をもとに、その領域全体(顔領域を含む)のピクセル数と、領域内に存在する肌色ピクセル数をカウントする。肌色ピクセル数は、ステップS403の処理と同様にカウントする。拡張顔領域情報が、カメラ画像の端にあり、画像をはみ出す場合は、はみ出す領域を取り除いて、それぞれのピクセル数をカウントする(図8参照)。

0082

また、カメラ画像からはみ出す領域を取り除いた最終的な拡張顔領域が、顔領域の何倍の面積になっているかを、実拡張倍率として算出する。

0083

拡張顔領域の肌色ピクセル数と、算出した実拡張倍率は、RAM203に記憶しておく。

0084

図8は、拡張顔領域が撮影領域(画像領域)を超えている場合のイメージを図示したものである。図8の801で示す領域が取り除かれた領域である。

0085

ステップS406では、テレワーカ用PC111のCPU201は、ステップS403で算出した顔領域での全体ピクセル数と肌色ピクセル数、ステップS405で算出した拡張顔領域での全体ピクセル数と肌色ピクセル数をもとに、それぞれの肌色ピクセル比率を算出する。
肌色ピクセル比率は、以下の計算式で算出する。
「肌色ピクセル比率=肌色ピクセル数/全体ピクセル数」

0086

上記の計算式を用いて、顔領域と拡張顔領域それぞれの肌色ピクセル比率を算出する。

0087

ステップS407では、テレワーカ用PC111のCPU201は、ステップS401で読み込んだ肌色広がり係数パラメータ、ステップS405で算出した実拡張倍率、ステップS406で算出した顔領域と拡張顔領域の肌色ピクセル比率を用いて、肌色の広がり度合いの判定処理をおこなう。
はじめに、以下の計算式で肌色広がり率を算出する。

0088

「肌色広がり率=顔領域肌色ピクセル比率/拡張顔領域肌色ピクセル比率」

0089

肌色広がり率を算出後、以下の不等式で肌色の広がり度合いを判定する。
「肌色広がり率≧実拡張倍率/肌色広がり係数パラメータ」

0090

この不等式が成り立たない場合は、肌色の広がりは許容範囲外として判定する(ステップS407:NO)。すなわち、人物の顔ではなく、背景の凹凸や模様等を顔と誤認識したものであると判定する。

0091

不等式が成立する場合は、肌色の広がりは許容範囲内、すなわち人物の顔であると判定する(ステップS407:YES)。

0092

上記式によれば、肌色広がり率は、拡張顔領域から顔領域を除いた領域に肌色ピクセルが存在しない場合には、実拡張倍率と等しくなる。他方、拡張顔領域から顔領域を除いた領域に肌色ピクセルが存在する場合には、実拡張倍率よりも小さい値となる。

0093

そのため、肌色広がり係数パラメータの値を大きくすれば基準が緩くなり(背景の凹凸や模様等を人物の顔と認識する可能性が高くなるが、人物の顔を背景等と誤認識する可能性は低くなる)、小さくすれば基準が厳しくなる(背景の凹凸や模様等を人物の顔と認識する可能性が低くなるが、人物の顔を背景等と誤認識する可能性は高くなる)。

0094

また、本実施例では、肌色ピクセルの比率を用いたが、単純に肌色ピクセルの絶対数増減によって肌色の広がり度合いを判定することも可能である。

0095

しかし、比率を用いる方法によれば、画像中の顔の大きさ(顔領域、拡張顔領域の面積)によって判定内容に差が出てしまうことを防ぐことが可能となる。その結果、顔の大きさに関らず適切な判断が可能となる。

0096

また、比率を用いることで、拡張顔領域が画像からはみ出している場合にも、適切な判断が可能となる。つまり、拡張顔領域の大部分が画像からはみ出すような場合、それが背景であっても、肌色ピクセル数の増加数画像中央で検出された場合(すなわち、拡張顔領域が画像からはみ出ない場合)よりも少なくなる。このように、肌色ピクセルの絶対数の増減によって判定する手法だと、適切な結果が得られないケースがあるため、本実施例のように比率を用いる方法の方が好ましい。

0097

ステップS408では、テレワーカ用PC111のCPU201は、ステップS407の処理で、背景の誤認識として判断された顔情報を削除する。そして、処理をステップS401に戻す。

0098

本実施例においては、予め肌色を定義しておくものとして説明した。例えば、ステップS403の処理で説明したように、人間の肌の色として想定される色をRGB等の値により予め登録しておく方法や、テレワーカ本人の肌の色を予め登録しておく方法である。

0099

しかし、肌色を予め定義せずに、「右目左目・口を頂点とする三角形の内側の色」を肌色としたり、「顔領域の中心(中心点)の色」を肌色としたり、「顔領域で最もピクセル数の多い色」を肌色とするなど、動的に肌色を定義しても良い。すなわち、「右目・左目・口を頂点とする三角形の内側の色」や「顔領域の中心の色」や「顔領域で最もピクセル数の多い色」が拡張顔領域にも広がっているかを判断することで、背景であるか人物の顔であるかを判定する方法であっても良い。

0100

以上の処理により、本当は背景であるにもかかわらず顔として検出した場合にも、当該検出が誤検出であることを判定可能となる。このように、本物の顔を適切に検出できるため、在席・離席・覗き込み・成りすまし等の端末前方状態を適切に検出することが可能となる。

0101

次に図5を参照して、本実施例における設定ファイルの記述例について説明する。

0102

図6は、カメラ画像のサイズ、本人認証時の類似度の閾値、本人認証処理サイクル、顔周辺のどこまでを判定対象にするかを決める拡張倍率、拡張顔領域内で許容する肌色の広がり係数の各パラメータ設定例である。この例では、各設定項目をタグで囲んで設定している。

0103

カメラ画像サイズのパラメータは、image_sizeタグで指定している。「横×縦」の形式で、ピクセルで指定している。

0104

本人認証時の類似度の閾値のパラメータは、similarity_thresholdタグで指定している。認証処理時に算出する類似度がここで設定する閾値を下回ると、他人と判断される。フォールスネガティブの観点から、指定できる範囲を0.5〜1.0とするのが好ましい。

0105

本人認証処理サイクルのパラメータは、processing_cycleタグで指定している。指定する値の単位はミリ秒とするのが好ましい。

0106

拡張倍率のパラメータは、extended_face_areaタグで指定する。指定する値は拡張のための面積倍率を表すため、指定範囲は1.0以上とする。

0107

肌色の広がり係数のパラメータは、skin_broadening_effectタグで指定する。指定する値は、背景の誤検出であるかの判断に使用するための、肌色の広がりの度合いを表す。指定範囲は1.0以上とし、この例では1.0〜2.0で指定する。

0108

図9は、背景の凹凸や模様等を顔と誤検出した場合のイメージを図示したものである。図9に示すように、テレワーカの背後にあるキャビネットの扉(取っ手)(901)を顔として誤検出している。

0109

本発明によれば、破線で囲まれた顔領域と一点鎖線で囲まれた拡張顔領域との肌色ピクセル比率に基づき、図9の901で示す領域は人物の顔ではない(すなわち、背景である)と判断することができ、覗き込みが発生しているといった誤った判断を防ぐことが可能となる。

0110

図10は、顔検出の結果が誤検出か否かを判定するための別の手法を説明する図である。

0111

図10に示すように、拡張顔領域を複数の領域に分割し(図10の例では、A〜Dの4分割)、領域ごとに肌色ピクセル比率を求め、判断する。

0112

また、肌色が広がっていないと考えられる領域(例えば、図10の例ではA、Bの領域は、髪の毛が多く、肌色は少ないと考えられる)について肌色ピクセル比率を求め、判断する。

0113

このように、領域を分割して判断することで、適切な結果を得ることが可能となる。

0114

本実施例においては、図3図4のフローチャートで示す処理をテレワーカ用PC111で実行するものとして説明したが、管理サーバ101において実行するよう構成してもよい。この場合、テレワーカ用PC111から管理サーバに対して、撮影された画像を送信し、管理サーバが図5に示すパラメータ等を用いて、処理を実行する。

0115

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

0116

また、本発明におけるプログラムは、図3図4に示すフローチャートの処理方法コンピュータが実行可能なプログラムであり、本発明の記憶媒体図3図4の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図3図4の各装置の処理方法ごとのプログラムであってもよい。

0117

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

0118

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

0119

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク光磁気ディスクCD−ROM、CD−R、DVD−ROM、磁気テープ不揮発性メモリカード、ROM、EEPROMシリコンディスク等を用いることが出来る。

0120

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

0121

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

0122

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

0123

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

0124

101管理サーバ
111テレワーカ用PC
121管理者用PC

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ