図面 (/)

技術 スマート端末

出願人 北京太坦科技有限公司
発明者 胡国輝
出願日 2019年12月31日 (1年10ヶ月経過) 出願番号 2019-240081
公開日 2021年8月12日 (3ヶ月経過) 公開番号 2021-119429
状態 未査定
技術分野 イメージ分析 オンライン・システムの機密保護
主要キーワード スマート端末 技術方案 技術問題 境界輪郭 指先検出 ジェスチャ動作 ノイズ除去効果 平均値フィルタ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年8月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

スマート端末起動認証セキュリティを向上させるとともに、スマート端末モニターにおいて入力操作を行うことなく、スマート端末の見栄えを損なわないスマート端末を提供する。

解決手段

スマート端末は、起動認証時、まず、顔認証を行い、顔認証が成功した後に、ユーザが空中で入力したジェスチャ画像に基づいてジェスチャによる仮想パスワードの認証を行う。スマート端末は、指先2値化画像により仮想パスワードを検出して決定する場合、乱れた2値化画像を除去し、仮想パスワードの検出、決定の確率と効率を向上させる。

概要

背景

人工知能発達に伴い、ますます多くのスマート端末は広く用いられはじめており、例えば、スマートフォンスマートウォッチパソコンタブレット等は人々の日常生活に欠かせないものになってきているが、プライバシーに対する要求が高まっており、如何にしてスマート端末の起動認証セキュリティに行うかは業界が直面している問題である。従来技術では、スマート端末は起動時に顔識別により認証を行う方法があるが、既存の顔識別はセキュリティの観点から完全に信頼できない。例えば、3Dモデリングにより顔が構築された場合も認証が成功する。一方、従来技術では、スマート端末モニターにおいてジェスチャパスワードを入力する認証方法も使用されているが、この方法を長期間使用すると、スマート端末モニターに指紋が残ってモニターの美観を損なう。

概要

スマート端末の起動認証のセキュリティを向上させるとともに、スマート端末モニターにおいて入力操作を行うことなく、スマート端末の見栄えを損なわないスマート端末を提供する。スマート端末は、起動認証時、まず、顔認証を行い、顔認証が成功した後に、ユーザが空中で入力したジェスチャ画像に基づいてジェスチャによる仮想パスワードの認証を行う。スマート端末は、指先2値化画像により仮想パスワードを検出して決定する場合、乱れた2値化画像を除去し、仮想パスワードの検出、決定の確率と効率を向上させる。

目的

本発明が解決しようとする技術問題は、スマート端末の起動認証のセキュリティを向上させるとともに、スマート端末モニターにおいて入力操作を行うことなく、スマート端末の見栄えを損なわないスマート端末を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

スマート端末であって、スマート端末を起動ための起動処理モジュールと、ユーザに顔認証を行うための顔認証処理モジュールと、顔認証が成功した後にユーザのジェスチャ認証を起動し、ユーザが空中で入力したジェスチャ画像撮像するためのジェスチャ画像撮像処理モジュールと、撮像された各フレームのジェスチャ画像に処理を行って前記フレームに対応する、黒色背景画像ブロック及び白色の指先画像ブロックを含む指先2値化画像を抽出するための指先2値化画像抽出処理モジュールと、開始フレームの指先2値化画像から開始し、直前フレームの指先画像ブロックに対する現在フレームの指先画像ブロックの変位を検出し、変位が予め設定された閾値よりも小さい場合、現在フレームの指先2値化画像が乱れた指先2値化画像であると決定し、現在フレームの指先画像ブロックに対する次のフレームの指先画像ブロックの変位を続けて検出し、変位が予め設定された閾値よりも小さい場合、次のフレームの指先2値化画像が乱れた指先2値化画像であると決定し、最後のフレームの指先2値化画像の検出を完了するまでに後続のフレームの指先2値化画像を続けて検出し、乱れた指先2値化画像を除去し、最終的に有効な指先2値化画像を決定するための指先2値化画像有効検出処理モジュールと、有効な指先2値化画像内における各指先の座標に基づいて指先移動軌跡を生成し、前記指先移動軌跡に対応する仮想パスワードを決定するための仮想パスワード決定処理モジュールと、前記仮想パスワードが予め設定された仮想パスワードと一致するか否かを判断し、一致する場合、認証が成功してスマート端末へのログイン許可するための検証処理モジュールと、を含むことを特徴とするスマート端末。

請求項2

前記指先2値化画像抽出処理モジュールは、以下の方法で指先2値化画像を抽出し、各フレームのジェスチャ画像に対して肌色分割を行い、肌色分割後の画像を取得し、予め設定された閾値に応じて、肌色分割後の2値化画像から手のひら2値化画像を抽出し、手のひら2値化画像から手のひら輪郭2値化画像を抽出し、手のひら輪郭2値化画像から指先2値化画像を抽出することを特徴とする請求項1に記載のスマート端末。

請求項3

前記指先2値化画像抽出処理モジュールは、抽出された手のひら輪郭2値化画像に対して、前記手のひら輪郭の最小周辺多角形に基づいて手のひら輪郭に平滑化処理を行うことを特徴とする請求項2に記載のスマート端末。

請求項4

撮像された、ユーザが空中で入力したジェスチャ画像に画像鮮明化処理を行うための画像鮮明化処理モジュールをさらに含むことを特徴とする請求項1に記載のスマート端末。

請求項5

前記スマート端末は、スマホ、パソコンタブレットスマートウォッチを含むことを特徴とする請求項1に記載のスマート端末。

技術分野

0001

本発明は、スマート端末技術領域に関し、より具体的に、高セキュリティ起動認証方法を有するスマート端末に関する。

背景技術

0002

人工知能発達に伴い、ますます多くのスマート端末は広く用いられはじめており、例えば、スマートフォンスマートウォッチパソコンタブレット等は人々の日常生活に欠かせないものになってきているが、プライバシーに対する要求が高まっており、如何にしてスマート端末の起動認証をセキュリティに行うかは業界が直面している問題である。従来技術では、スマート端末は起動時に顔識別により認証を行う方法があるが、既存の顔識別はセキュリティの観点から完全に信頼できない。例えば、3Dモデリングにより顔が構築された場合も認証が成功する。一方、従来技術では、スマート端末モニターにおいてジェスチャパスワードを入力する認証方法も使用されているが、この方法を長期間使用すると、スマート端末モニターに指紋が残ってモニターの美観を損なう。

発明が解決しようとする課題

0003

本発明が解決しようとする技術問題は、スマート端末の起動認証のセキュリティを向上させるとともに、スマート端末モニターにおいて入力操作を行うことなく、スマート端末の見栄えを損なわないスマート端末を提供することである。

課題を解決するための手段

0004

上記技術問題を解決するために、本発明の技術方案は以下通りである。

0005

スマート端末は、
スマート端末を起動ための起動処理モジュールと、
ユーザに顔認証を行うための顔認証処理モジュールと、
顔認証が成功した後にユーザのジェスチャ認証を起動し、ユーザが空中で入力したジェスチャ画像撮像するためのジェスチャ画像撮像処理モジュールと、
撮像された各フレームのジェスチャ画像に処理を行って前記フレームに対応する、黒色背景画像ブロック及び白色の指先画像ブロックを含む指先2値化画像を抽出するための指先2値化画像抽出処理モジュールと、
開始フレームの指先2値化画像から開始し、直前フレームの指先画像ブロックに対する現在フレームの指先画像ブロックの変位を検出し、変位が予め設定された閾値よりも小さい場合、現在フレームの指先2値化画像が乱れた指先2値化画像であると決定し、現在フレームの指先画像ブロックに対する次のフレームの指先画像ブロックの変位を続けて検出し、変位が予め設定された閾値よりも小さい場合、次のフレームの指先2値化画像が乱れた指先2値化画像であると決定し、最後のフレームの指先2値化画像の検出を完了するまでに後続のフレームの指先2値化画像を続けて検出し、乱れた指先2値化画像を除去し、最終的に有効な指先2値化画像を決定するための指先2値化画像有効検出処理モジュールと、
有効な指先2値化画像内における各指先の座標に基づいて指先移動軌跡を生成し、前記指先移動軌跡に対応する仮想パスワードを決定するための仮想パスワード決定処理モジュールと、
前記仮想パスワードが予め設定された仮想パスワードと一致するか否かを判断し、一致する場合、認証が成功してスマート端末へのログイン許可するための検証処理モジュールと、を含む。

発明の効果

0006

本発明は、従来技術に比べて以下通りの顕著な効果を奏する。
本発明に係るスマート端末は、起動認証時、まず、顔認証を行い、顔認証が成功した後にジェスチャによる仮想パスワードの認証を続けて行い、顔認証が解読されても、ログインにはジェスチャによるパスワードの認証が必要であるため、認証のセキュリティを効果的に向上できる。また、本発明に係るスマート端末は、ユーザが空中で入力したジェスチャ画像に基づいてジェスチャによる仮想パスワードの認証を行うため、スマート端末モニターでの入力操作は不要となる。そのため、スマート端末の見栄えを損なうことがない。さらに、本発明に係るスマート端末は、指先2値化画像により仮想パスワードを検出して決定する場合、乱れた2値化画像をさらに除去し、後続して仮想パスワードを検出して決定する確率と効率を向上できる。

図面の簡単な説明

0007

本発明に係るスマート端末の1つの具体的な実施例のフローチャートである。
本発明に係るスマート端末は指先2値化画像を抽出する場合の1つの具体的な実施例のフローチャートである。
本発明に係るスマート端末による手のひら輪郭平滑化処理原理を示す図である。
本発明に係るスマート端末による手のひら輪郭の平滑化処理の原理を示す図である。
本発明に係るスマート端末の指先の連続移動時及び一時停止時の移動軌跡図である。
本発明に係るスマート端末の指先の連続移動時及び一時停止時の移動軌跡図である。

実施例

0008

図1は、本発明に係るスマート端末の1つの具体的な実施例のフローチャートである。本実施例に係るスマート端末は、主に、起動処理モジュール101、顔認証処理モジュール102、ジェスチャ画像撮像処理モジュール103、指先2値化画像抽出処理モジュール104、指先2値化画像有効検出処理モジュール105、仮想パスワード決定処理モジュール106及び検証処理モジュール107を含む。以下、各モジュールについては、詳しく説明する。

0009

本実施例の起動処理モジュール101は、主にスマート端末を起動する。具体的には、例えば、ユーザは電源キーまたはWakeキータッチすると、スマート端末を起動することができるが、ここでは詳細に限定されない。

0010

本実施例の顔認証処理モジュール102は、主にユーザに顔認証を行う。具体的には、顔認証とは、顔を認識することである。本実施例では、固有顔PCA)による顔識別方法で顔認証を行ってもよいし、ニューラルネットワークによる顔識別方法を用いてもよい。ここでは、その詳細な説明を省略する。

0011

本実施例のジェスチャ画像撮像処理モジュール103は、主に顔認証が成功した後にユーザのジェスチャ認証を起動し、ユーザが空中で入力したジェスチャ画像を撮像する。具体的には、本実施例では、従来技術と異なり、ユーザがスマート端末モニターによりジェスチャを入力することなく、ユーザが空中でジェスチャを入力し、すなわち、ユーザがジェスチャを入力するときにスマート端末モニターをタッチしない。ユーザが空中でジェスチャを入力する場合、スマート端末に設置されたカメラにより、ユーザが空中で入力するジェスチャ画像を撮像することができ、ジェスチャ認証周期時間内、例えば、3秒、5秒またはより長い時間内で、ユーザが空中で入力するジェスチャ画像を継続的に撮像する。

0012

本実施例の指先2値化画像抽出処理モジュール104は、主に撮像された各フレームのジェスチャ画像に処理を行って当該フレームに対応する指先2値化画像を抽出する。前記指先2値化画像は、黒色の背景画像ブロック及び白色の指先画像ブロックを含む。具体的には、撮像されたジェスチャ画像に対して、データ転送及び撮像の過程において様々な干渉を受けて撮像されたジェスチャ画像ぶれをもたらす。この問題を解決するために、本実施例は、画像鮮明化処理モジュール108をさらに含む。画像鮮明化処理モジュール108は、主に撮像された、ユーザが空中で入力したジェスチャ画像に画像鮮明化処理を行うことで、対象及び輪郭情報強調表示し、後続の手のひら輪郭の抽出を容易にする。

0013

また、本実施例における指先2値化画像の抽出は種々の方法を採用してもよい。例えば、1つの好適な実施例として、図2に示すように、本実施例の指先2値化画像抽出処理モジュール104は、以下通りの方法で指先2値化画像を抽出する。

0014

テップS1041:各フレームのジェスチャ画像に対して肌色分割を行い、肌色分割後の画像を取得する。具体的には、例えば、YCbCr色空間による肌色検出アルゴリズムで肌色分割を行うことで、ジェスチャ画像を効果的に分割できる。ここでは、その詳細な説明を省略する。

0015

ステップS1042:予め設定された閾値に応じて、分割後の2値化画像から手のひら2値化画像を抽出する。具体的には、分割後の画像に対して、予め設定された閾値に応じて肌色分割後の画像から手のひら2値化画像を抽出できる。ここでは、その詳細な説明を省略する。

0016

ステップS1043:手のひら2値化画像から手のひら輪郭2値化画像を抽出する。具体的には、まず、手のひら2値化画像にエッジ検出を行ってエッジ点を決定し、次に、決定されたエッジ点に基づいて冗長エッジを除去し、不連続なエッジを補正して手のひら輪郭2値化画像を取得する。ここでは、ジェスチャ画像を撮像するときに光線が良くないと、抽出された手のひら輪郭に種々の鋭いエッジを生じることがあり、指先の抽出の弊害になる。この問題を解決するために、さらに、本実施例では、抽出された手のひら輪郭2値化画像に対して、当該手のひら輪郭境界の最小周長多角形に基づいて手のひら輪郭に平滑化処理を行う。手のひら輪郭2値化画像は、個々の画素セルから構成されている。図3aに示すように、平滑化前の手のひら輪郭線は、個々の画素セルを通過する。本実施例では、手のひら輪郭が通過する画素セルに対して、1つまたは一部の境界輪郭の最小周長の多角形、例えば、図3bに示すa点からj点までの輪郭線を検出することで、手のひら輪郭における鋭い輪郭線を平滑化でき、後続の指先2値化画像の抽出を容易にする。

0017

ステップS1044:手のひら輪郭2値化画像から指先2値化画像を抽出する。具体的には、種々の方法、例えば、AndrewのKベクトル指先検出方法を用いて抽出を行ってもよい。ここでは、その詳細な説明を省略する。

0018

また、本実施例では、指先の移動軌跡によって仮想パスワードを決定するが、実際の生活において、例えば、ユーザによるジェスチャの入力が連続的動きではない可能性がある。例えば、ジェスチャ動作が一時停止したりジェスチャ動作の動きが小さかったりすると、最終的に指先移動軌跡によって仮想パスワードを決定することを干渉する。例えば、図4aは、指先の連続移動による移動軌跡を示し、図4bは、指先が途中に一時停止があった場合の移動軌跡を示し、指先のジェスチャがa点からb点までに一時停止し、移動軌跡においてa点からb点までの指先軌跡保留すると、最終的に移動軌跡によって仮想パスワードを決定することを干渉する。同様に、指先ジェスチャ動作の動きが小さいと、指先が微動であると見なされる。指先の微動軌跡は、最終的に指先の移動軌跡によって仮想パスワードを決定することを干渉する。このため、本実施例の指先2値化画像有効検出処理モジュール105は、開始フレームの指先2値化画像から開始し、直前フレームの指先画像ブロックに対する現在フレームの指先画像ブロックの変位を検出し、変位が予め設定された閾値よりも小さい場合、現在フレームの指先2値化画像が乱れた指先2値化画像であると決定し、変位が予め設定された閾値よりも大きい場合、現在フレームの指先2値化画像が有効な指先2値化画像であると決定し、現在フレームの指先画像ブロックに対する次のフレームの指先画像ブロックの変位を続けて検出し、変位が予め設定された閾値よりも小さい場合、次のフレームの指先2値化画像が乱れた指先2値化画像であると決定し、最後のフレームの指先2値化画像の検出を完了するまでに後続のフレームの指先2値化画像を続けて検出し、乱れた指先2値化画像を除去し、最終的に有効な指先2値化画像を決定する。

0019

ここでは、このステップでは、指先移動一時停止が対応する指先2値化画像または指先微動が対応する指先2値化画像を、有効な指先2値化画像とせず、乱れた指先2値化画像として決定し、後続して仮想パスワードを検出して決定する確率と効率を向上できる。ここでは、その詳細な説明を省略する。

0020

本実施例の仮想パスワード決定処理モジュール106は、主に有効な指先2値化画像内における各指先の座標に基づいて指先移動軌跡を生成し、前記指先移動軌跡に対応する仮想パスワードを決定する。具体的には、1つの具体的な実施例として、図3に示す指先移動軌跡の場合、仮想パスワードを「〜」として決定することができる。

0021

本実施例の検証処理モジュール107は、主に前記仮想パスワードが予め設定された仮想パスワードと一致するか否かを判断し、一致する場合、認証が成功してスマート端末へのログインを許可する。具体的には、一致していない場合、スマート端末へのユーザのログインを許可せず、ユーザがスマート端末によりパスワードを予め設定して記憶する。予め設定されたパスワードは、英文字であってもよいし、数字または文字であってもよいが、ここでは詳細に限定されない。

0022

手のひら輪郭線の抽出を容易にするために、本発明では、指先2値化画像にノイズ除去処理をさらに行う。指先画像ブロックに対しては、BM3Dアルゴリズムを用いてノイズ低減処理を行って優れた画像効果が得られる。一方、背景画像ブロックに対しては、平均値フィルタアルゴリズムを用いてノイズ低減処理を行って背景画像からノイズ快速に除去できる。こうすることで、ノイズ除去処理の計算量を減らすとともに、重要な指先画像ブロックに対して優れたノイズ除去効果を得ることができる。ここでは、その詳細な説明を省略する。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ