図面 (/)

技術 推定システム、及び推定装置

出願人 クリスタルメソッド株式会社
発明者 河合継
出願日 2019年4月16日 (1年10ヶ月経過) 出願番号 2019-078124
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-177363
状態 特許登録済
技術分野 キーボード等からの入力 表示による位置入力 イメージ分析 デジタル計算機のユーザインターフェイス
主要キーワード 出力用フォーマット 重み変数 所定線 評価対象情報 制御コマ 手領域 シングルボードコンピュータ 三次元カメラ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供する。

解決手段

仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における3段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の3段階以上の第1連関度を含む評価情報を取得する評価手段と、前記評価情報に基づき推定結果を生成する生成手段と、を備えることを特徴とする。

概要

背景

従来、物理的なキーボードを用いずに、キー入力を制御する技術として、例えば特許文献1の情報処理装置等が提案されている。

特許文献1では、手を撮影する撮影部により入力される画像から手領域を抽出する抽出部と、手領域に基づき、画像内の所定線を押下基準線に決定する基準線決定部と、手領域の最下部が押下基準線を超える場合に押下と判定する判定部と、判定部により押下と判定された場合の手領域の縦横比に基づき、奥行き方向の位置を決定する第1位置決定部と、判定部により押下と判定された場合の手領域の最下部の位置に基づき、横方向の位置を決定する第2位置決定部と、決定された奥行き方向の位置及び横方向の位置により入力キーを決定する入力キー決定部と、を備える情報処理装置が開示されている。

概要

キー入力を推定する精度の向上をることができる推定システム、及び推定装置を提供する。仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における3段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の3段階以上の第1連関度を含む評価情報を取得する評価手段と、前記評価情報に基づき推定結果を生成する生成手段と、を備えることを特徴とする。

目的

本発明は、上述した問題点に鑑みて案出されたものであり、その目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における3段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の3段階以上の第1連関度を含む評価情報を取得する評価手段と、前記評価情報に基づき推定結果を生成する生成手段と、を備えることを特徴とする推定システム。

請求項2

前記取得手段は、前記撮影情報を取得する撮影情報取得手段と、前記撮影情報から前記ユーザの指の座標データを取得する座標データ取得手段と、前記座標データから前記角度情報を取得する角度情報取得手段と、を有することを特徴とする請求項1記載の推定システム。

請求項3

前記撮影情報は、三次元カメラを用いて生成される三次元画像データを含み、前記座標データ取得手段は、前記三次元画像データから前記座標データを取得することを特徴とする請求項2記載の推定システム。

請求項4

前記対象情報及び前記過去の対象情報は、前記ユーザの指の動きを示すオプティカルフロー情報を含むことを特徴とする請求項1〜3の何れか1項記載の推定システム。

請求項5

前記撮影情報は、RGBカメラを用いて生成されるRGB画像を含み、前記取得手段は、複数の前記RGB画像から前記オプティカルフロー情報を取得するオプティカルフロー情報取得手段を有することを特徴とする請求項4記載の推定システム。

請求項6

前記対象情報及び前記過去の対象情報は、前記仮想キーボードの種類を示すキーボード情報を含むことを特徴とする請求項1〜5の何れか1項記載の推定システム。

請求項7

前記参照データベースは、機械学習により構築されたものであることを特徴とする請求項1〜6の何れか1項記載の推定システム。

請求項8

仮想キーボードを用いて入力された文字列を推定する推定装置であって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得部と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における3段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の3段階以上の第1連関度を含む評価情報を取得する評価部と、前記評価情報に基づき推定結果を生成する生成部と、を備えることを特徴とする推定装置。

技術分野

0001

本発明は、仮想キーボードを用いて入力された文字列を推定する推定システム、及び推定装置に関する。

背景技術

0002

従来、物理的なキーボードを用いずに、キー入力を制御する技術として、例えば特許文献1の情報処理装置等が提案されている。

0003

特許文献1では、手を撮影する撮影部により入力される画像から手領域を抽出する抽出部と、手領域に基づき、画像内の所定線を押下基準線に決定する基準線決定部と、手領域の最下部が押下基準線を超える場合に押下と判定する判定部と、判定部により押下と判定された場合の手領域の縦横比に基づき、奥行き方向の位置を決定する第1位置決定部と、判定部により押下と判定された場合の手領域の最下部の位置に基づき、横方向の位置を決定する第2位置決定部と、決定された奥行き方向の位置及び横方向の位置により入力キーを決定する入力キー決定部と、を備える情報処理装置が開示されている。

先行技術

0004

国際公開第2012/176315号

発明が解決しようとする課題

0005

ここで、例えば特許文献1のような情報処理装置では、1台のカメラによる1方向からの撮影画像に基づき、閾値によって入力コマンドが推定される。このため、閾値に応じたキー入力を行う必要があり、押下深度バラつきを考慮できない懸念があり、キー入力の推定精度を向上させることが難しい。従って、キー入力を推定する精度の向上が課題として挙げられる。

0006

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供することにある。

課題を解決するための手段

0007

仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における3段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の3段階以上の第1連関度を含む評価情報を取得する評価手段と、前記評価情報に基づき推定結果を生成する生成手段と、を備えることを特徴とする。

0008

第2発明に係る推定システムは、第1発明において、前記取得手段は、前記撮影情報を取得する撮影情報取得手段と、前記撮影情報から前記ユーザの指の座標データを取得する座標データ取得手段と、前記座標データから前記角度情報を取得する角度情報取得手段と、を有することを特徴とする。

0009

第3発明に係る推定システムは、第2発明において、前記撮影情報は、三次元カメラを用いて生成される三次元画像データを含み、前記座標データ取得手段は、前記三次元画像データから前記座標データを取得することを特徴とする。

0010

第4発明に係る推定システムは、第1発明〜第3発明の何れかにおいて、前記対象情報及び前記過去の対象情報は、前記ユーザの指の動きを示すオプティカルフロー情報を含むことを特徴とする。

0011

第5発明に係る推定システムは、第4発明において、前記撮影情報は、RGBカメラを用いて生成されるRGB画像を含み、前記取得手段は、複数の前記RGB画像から前記オプティカルフロー情報を取得するオプティカルフロー情報取得手段を有することを特徴とする。

0012

第6発明に係る推定システムは、第1発明〜第5発明の何れかにおいて、前記対象情報及び前記過去の対象情報は、前記仮想キーボードの種類を示すキーボード情報を含むことを特徴とする。

0013

第7発明に係る推定システムは、第1発明〜第6発明の何れかにおいて、前記参照データベースは、機械学習により構築されたものであることを特徴とする。

0014

第8発明に係る推定装置は、仮想キーボードを用いて入力された文字列を推定する推定装置であって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得部と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における3段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の3段階以上の第1連関度を含む評価情報を取得する評価部と、前記評価情報に基づき推定結果を生成する生成部と、を備えることを特徴とする。

発明の効果

0015

第1発明〜第7発明によれば、評価手段は、参照データベースを参照し、対象情報と、参照情報との間の3段階以上の第1連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。

0016

また、第1発明〜第7発明によれば、対象情報は、角度情報を含む。このため、1つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボードに対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。

0017

また、第2発明によれば、座標データ取得手段は、撮影情報から座標データを取得する。また、角度情報取得手段は、座標データから角度情報を取得する。このため、評価対象とするデータの容量を削減することができる。これにより、対象情報を保存する際、保存容量の増大を抑制することが可能となる。また、評価対象として必要なパラメータを抑えることができ、さらなる推定精度の向上を図ることが可能となる。

0018

また、第3発明によれば、撮影情報は、三次元カメラを用いて生成される三次元画像データを含む。このため、角度情報を取得する際、新たなカメラ等を設けることなく、従来の三次元カメラを利用することができる。これにより、容易にキー入力を推定する環境を整えることが可能となる。

0019

また、第4発明によれば、対象情報及び過去の対象情報は、オプティカルフロー情報を含む。このため、オプティカルフロー情報と角度情報とを組み合わせることで、ユーザ毎におけるキー入力時の動きを考慮することができる。これにより、キー入力を推定する精度のさらなる向上を図ることが可能となる。

0020

また、第5発明によれば、オプティカルフロー情報取得手段は、複数のRGB画像からオプティカルフロー情報を取得する。このため、オプティカルフロー情報を取得する際、新たなカメラ等を設けることなく、従来のRGBカメラを利用することができる。これにより、容易にキー入力の推定精度を向上させる環境を整えることが可能となる。

0021

また、第6発明によれば、対象情報及び過去の対象情報は、キーボード情報を含む。このため、キー配列等が異なる仮想キーボードを利用した場合においても、キー入力を高精度に推定することが可能となる。

0022

また、第7発明によれば、参照データベースは、機械学習により構築される。このため、画像から算出された押下深度に対する閾値を設定する場合に比べて、主観を除いたキー入力の推定を実現することが可能となる。

0023

第8発明によれば、評価部は、参照データベースを参照し、対象情報と、参照情報との間の3段階以上の第1連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。

0024

また、第8発明によれば、対象情報は、角度情報を含む。このため、1つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボードに対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。

図面の簡単な説明

0025

図1(a)は、本実施形態における推定システムの一例を示す模式図であり、図1(b)は、本実施形態における推定システムの他の例を示す模式図である。
図2は、推定システムの動作の一例を示す模式図である。
図3は、角度情報及びオプティカルフロー情報を取得する取得手段の一例を示す模式図である。
図4(a)は、本実施形態における推定装置の構成の一例を示す模式図であり、図4(b)は、本実施形態における推定装置の機能の一例を示す模式図である。
図5は、本実施形態における参照データベースの一例を示す模式図である。
図6は、本実施形態における参照データベースの第1変形例を示す模式図である。
図7は、本実施形態における参照データベースの第2変形例を示す模式図である。
図8は、本実施形態における推定システムの動作の一例を示すフローチャートである。

実施例

0026

以下、本発明を適用した実施形態における推定システム、及び推定装置の一例について、図面を参照しながら説明する。

0027

図1を参照して、本実施形態における推定システム100、及び推定装置1の一例について説明する。

0028

本実施形態における推定システム100は、例えば図1(a)に示すように、推定装置1を有する。推定装置1は、例えば通信網4を介して、ユーザ端末3に接続される。推定システム100は、仮想キーボード8を用いて入力された文字列を推定する。推定システム100では、ユーザ端末3によって仮想キーボード8が投影されるほか、例えば図1(b)に示すように、推定装置1によって仮想キーボード8が投影されてもよく、他の端末等によって仮想キーボード8が投影されてもよい。

0029

推定システム100では、例えば図2に示すように、推定装置1が対象情報を取得し、対象情報に対する推定結果を生成するものである。対象情報は、ユーザの指の角度に関する角度情報を含み、例えば撮影情報を含んでもよい。撮影情報は、ユーザが仮想キーボード8を押下する動作を撮影した画像データ、及び画像データにおけるユーザの手の位置情報を含む。対象情報は、例えばユーザの指の動きを示すオプティカルフロー情報を含んでもよい。対象情報は、ユーザ端末3によって生成されるほか、例えば推定装置1によって生成されてもよい。

0030

画像データは、ユーザ端末3又は推定装置1に設けられた公知のカメラを用いて生成されるほか、ユーザ端末3又は推定装置1とは独立した公知のカメラを用いて生成されてもよい。画像データは、1つのキーを押下するユーザの手を撮像した画像を含み、例えば少なくとも1つのキーを押下する前後におけるユーザの手の動きを撮像した複数の画像(例えば動画)を含んでもよい。画像データは、ユーザの指を撮像した画像のほか、例えばユーザの指の動きを撮像した動画でもよい。画像データは、例えば仮想キーボード8の形状、投影サイズ、キー高さ、キー配列等のキーボードに関する情報(後述するキーボード情報と同等)を含む。

0031

画像データは、三次元画像データを有し、例えばRGB画像データと、赤外線画像データとを有する。三次元画像データは、公知の三次元カメラ(3Dカメラ)を用いて生成される。三次元カメラは、例えば複数のRGBカメラを用いて代用してもよい。RGB画像データは、可視光領域(例えば400nm以上800nm以下)に対応するRGBカメラを用いて生成される。赤外線画像データは、赤外光領域(例えば800nm以上1,000μm以下)に対応する赤外線カメラを用いて生成される。RGB画像データ及び赤外線画像データは、例えば可視光領域から赤外光領域まで対応する1つのマルチスペクトルカメラを用いて生成されてもよい。

0032

位置情報は、例えば対象物との離間距離計測する公知の距離計測カメラを用いて生成される。位置情報は、ユーザ端末3又は推定装置1に設けられた距離計測カメラを用いて生成されるほか、ユーザ端末3又は推定装置1とは独立した距離計測カメラを用いて生成されてもよい。

0033

位置情報は、距離計測カメラと、画像データによって撮像されたユーザの手(対象物)との間の距離を示す距離データを有する。距離データは、距離計測カメラと、予め設定されたユーザの手の少なくとも一ヶ所との間の距離を示す。距離データは、例えば距離計測カメラと、ユーザの指先毎との間の距離を示してもよい。なお、ユーザの指先は、仮想キーボード8に接触すると想定される部分を示し、例えば右手の指先及び左手の指先に対応する合計10ヶ所が、距離データの対象となる。

0034

距離データは、例えば画像データの撮影と同様の期間に生成される。距離データは、例えば仮想キーボード8をユーザが押下する前後の期間のみ生成されてもよい。距離データは、数値データとして生成され、ベクトル又は行列で示されてもよい。

0035

位置情報は、例えば座標データを有してもよい。座標データは、例えば距離計測カメラの位置を基準としたx軸、y軸、z軸を用いた座標空間により示される(生成される)ほか、例えば三次元画像データから取得されてもよい。座標データは、距離データと同様に、ユーザの手の少なくとも一ヶ所の座標を示し、例えばユーザの指先毎の座標を示してもよい。座標データは、例えば画像データの撮影と同様の期間に生成される。座標データは、例えば仮想キーボード8をユーザが押下する前後の期間のみ生成されてもよい。座標データは、数値データとして生成され、ベクトル又は行列で示されてもよい。

0036

角度情報は、例えば図3に示すように、三次元画像データに基づき取得される。角度情報は、三次元画像データから取得された座標データから取得されるほか、例えば距離計測カメラにより生成される座標データから取得されてもよい。角度情報は、例えば各指の座標のうち関節部分における座標を中心とした3点以上の座標から、角度を算出することで取得してもよい。角度情報の取得方法として、公知の技術を用いることができる。

0037

オプティカルフロー情報は、例えば図3に示すように、RGB画像データに基づき取得される。オプティカルフロー情報は、複数のRGB画像又は動画から取得されるほか、例えば取得時間の異なる複数の座標データから取得してもよい。オプティカルフロー情報は、例えば各指先における位置の経時変化を示す。オプティカルフロー情報は、画像形式で取得されるほか、例えば行列(ベクトル)形式で取得されてもよい。オプティカルフロー情報の取得方法として、公知の技術を用いることができる。

0038

なお、上述した仮想キーボード8を投影する投影部、三次元カメラ、RGBカメラ、赤外線カメラ、及び距離計測カメラは、同一の端末(例えば推定装置1又はユーザ端末3)に備え付けられてもよい。また、上述した画像データ及び位置情報は、Kinect(登録商標)やマルチスペクトルカメラ等の公知のカメラを用いて生成されてもよく、この場合、例えば2眼以上のカメラが用いられてもよい。

0039

対象情報は、例えばキーボード情報を含んでもよい。キーボード情報は、ユーザが用いる仮想キーボード8の種類を示す。キーボード情報は、仮想キーボード8の投影サイズのほか、例えばキーの配列、各キーの大きさ、キー高さ等を含む。

0040

対象情報は、例えば言語情報を含んでもよい。言語情報は、ユーザが仮想キーボード8を用いて入力する言語の種類を示す。推定システム100では、言語情報に基づき、入力した文字列を推定してもよい。この場合、ユーザの使用する言語に依存することなく、キー入力を高精度に推定することが可能となる。また、タイプミス等を考慮した推定結果を生成することができる。

0041

推定結果は、ユーザが仮想キーボード8を押下したときの入力キーに対応する内容を推定した結果を示す。推定結果として、文字列が生成されるほか、例えば推定装置1又はユーザ端末3の制御コマンドが生成される。推定システム100では、対象情報に含まれる情報の種類を多くすることで、推定結果の精度を向上させることができる。特に、角度情報と、オプティカルフロー情報との組み合わせにより、ユーザの指の動きを高精度に捉えることが可能となる。

0042

(推定装置1)
次に、図4を参照して、本実施形態における推定装置1の一例を説明する。図4(a)は、本実施形態における推定装置1の構成の一例を示す模式図であり、図4(b)は、本実施形態における推定装置1の機能の一例を示す模式図である。

0043

推定装置1として、例えばパーソナルコンピュータ(PC)等の電子機器が用いられるほか、例えばスマートフォンタブレット型端末ウェアラブル端末IoT(Internet of Things)デバイス等の電子機器、Raspberry Pi(登録商標)等のシングルボードコンピュータが用いられてもよい。推定装置1は、例えば図4(a)に示すように、筐体10と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、保存部104と、I/F105〜107とを備える。各構成101〜107は、内部バス110により接続される。

0044

CPU101は、推定装置1全体を制御する。ROM102は、CPU101の動作コードを格納する。RAM103は、CPU101の動作時に使用される作業領域である。保存部104は、撮影情報や対象情報等の各種情報が記憶される。保存部104として、例えばHDD(Hard Disk Drive)の他、SSD(solid state drive)やフロッピーディスク等のデータ保存装置が用いられる。なお、例えば推定装置1は、図示しないGPU(Graphics Processing Unit)を有してもよい。GPUを有することで、通常よりも高速演算処理が可能となる。

0045

I/F105は、インターネット等の通信網4を介して、ユーザ端末3やサーバ2等との各種情報の送受信を行うためのインターフェースである。I/F106は、入力部分108との情報の送受信を行うためのインターフェースである。入力部分108として、例えばキーボードが用いられ、推定装置1の管理者等は、入力部分108を介して、各種情報又は推定装置1の制御コマンド等を入力する。I/F107は、出力部分109との各種情報の送受信を行うためのインターフェースである。出力部分109は、保存部104に保存された各種情報、又は推定装置1の処理状況等を出力する。出力部分109として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

0046

なお、例えば出力部分109が、仮想キーボード8を投影する投影部を有する場合、入力部分108は、対象情報を生成するための各種カメラ(例えば上述した三次元カメラ、RGBカメラ、赤外線カメラ、及び距離計測カメラの少なくとも何れか)を有してもよい。また、推定装置1としてスマートフォンやタブレット等の端末が用いられる場合、備え付けられた公知の投影装置(投影部)が、出力部分109の一部として用いられ、備え付けられた公知のカメラ(撮像部)が、入力部分108の一部として用いられてもよい。

0047

<参照データベース>
保存部104には、例えば予め取得された過去の対象情報、参照情報、及び連関度が記憶された参照データベースが保存される。過去の対象情報は、上述した対象情報と同種の情報を示し、過去の角度情報を含み、例えば過去のオプティカルフロー情報、過去の画像データ、過去の位置情報、及び過去のキーボード情報の少なくとも何れかを含んでもよい。参照情報は、過去の対象情報によって入力された文字列を含み、例えば推定装置1又はユーザ端末3の制御コマンドを含む。連関度は、過去の対象情報と、参照情報との関係の度合いを示す。

0048

参照データベースには、例えば図5に示すように、過去の対象情報と参照情報との間における3段階以上の連関度が記憶される。連関度は、例えば百分率、10段階、又は5段階等の3段階以上で示され、例えば線の特徴(例えば太さ等)で示される。参照データベースは、例えば過去の対象情報及び参照情報を用いて、連関度を算出できるアルゴリズムで形成される。過去の対象情報及び参照情報は、複数のデータを有し、各過去の対象情報と各参照情報との関係は、それぞれ連関度でづいている。

0049

例えば、過去の対象情報に含まれる「情報A」は、参照情報に含まれる「参照A」との間の連関度「80%」を示し、参照情報に含まれる「参照B」との間の連関度「15%」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、連関度が高いほど、各データの繋がりが強いことを示す。

0050

なお、過去の対象情報は、画像(経時変化を示す複数の画像、動画でもよい)や文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列(ベクトル)、又はヒストグラム等の形式で記憶されてもよい。また、参照情報は、文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列(ベクトル)、又はヒストグラム等の形式で記憶されてもよい。すなわち、図5に示した「情報A」、「情報B」、「情報C」は、過去に取得された対象情報(例えば角度情報のほか、オプティカルフロー情報、RGB画像データ、赤外線画像データ、距離データ、座標データ、及びキーボード情報の少なくとも何れか)を、画像形式や行列等の形式で記憶されたデータを示し、「参照A」、「参照B」、「参照C」は、過去に取得された推定結果に対応する文字列の形式や行列等の形式で記憶されたデータを示す。

0051

参照データベースは、例えば機械学習を用いて構築される。この場合連関度は、機械学習を用いて算出される。機械学習には、例えば深層学習が用いられる。参照データベースは、例えばニューラルネットワークで構築され、その場合、連関度は隠れ層及び重み変数で示されてもよい。すなわち、推定システム100では、機械学習により構築された参照データベースを用いることができ、この場合、それぞれ複数のデータを有する過去の対象情報と、参照情報との間における複雑な関係性を、連関度により高精度に示すことができる。これにより、推定結果の精度を向上させることが可能となる。

0052

過去の対象情報は、例えば図6に示すように、過去の角度情報と、過去のオプティカルフロー情報とを分割して、参照データベースに記憶されてもよい。この場合、過去の角度情報及び過去のオプティカルフロー情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の対象情報は、例えば上記に加え、過去の画像データ及び過去の位置情報の少なくとも何れかを分割して、参照データベースに記憶されてもよい。

0053

例えば、過去の角度情報に含まれる「角度A」、及び過去のオプティカルフロー情報に含まれる「フローA」の組み合わせは、「参照A」との間の連関度「90%」を示し、「参照B」との間の連関度「20%」を示す。この場合、過去の角度情報及び過去のオプティカルフロー情報をそれぞれ独立してデータを記憶させることができる。このため、推定結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。

0054

なお、過去の画像データは、例えば過去のRGB画像データと、過去の赤外線画像データとを分割して、参照データベースに記憶されてもよい。また、過去の位置情報は、例えば過去の距離データと、過去の座標データとを分割して、参照データベースに記憶されてもよい。

0055

過去の対象情報は、例えば図7に示すように、合成データと、類似度とを含んでもよい。合成データは、過去の角度情報又は過去のオプティカルフロー情報との間における3段階以上の類似度により示される。合成データは、画像や文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列、又はヒストグラム等の形式で記憶されてもよい。

0056

図4(b)は、推定装置1の機能の一例を示す模式図である。推定装置1は、取得部11と、記憶部12と、評価部13と、生成部14と、出力部15とを備え、例えば更新部16を有してもよい。なお、図4(b)に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に記憶されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。

0057

<取得部11>
取得部11は、対象情報を取得する。取得部11は、通信網4及びI/F105を介して、ユーザ端末3等の外部端末から対象情報を取得するほか、例えば入力部分108の有する撮像部(例えば上述した三次元カメラ、RGBカメラ、赤外線カメラ、及び距離計測カメラの少なくとも何れか)から、対象情報を取得する。取得部11は、撮影情報を取得し、撮影情報に基づく角度情報を対象情報として取得するほか、例えば角度情報等を対象情報として一括して取得してもよい。取得部11が対象情報を取得する頻度及び周期は、任意である。

0058

取得部11は、例えば取得した撮影情報から座標データを取得し、座標データから角度情報を取得する。これにより、取得部11は、角度情報を含む対象情報を取得する。取得部11は、例えば取得した複数のRGB画像からオプティカルフロー情報を取得する。これにより、取得部11は、角度情報及びオプティカルフロー情報を含む対象情報を取得する。なお、取得部11は、上述した公知の技術を用いて、角度情報及びオプティカルフロー情報を取得することができる。

0059

取得部11は、推定装置1に送信された各種情報を受信する。取得部11は、通信網4及びI/F105を介して、ユーザ端末3等の外部端末から送信された対象情報等の各種情報を受信する。

0060

<記憶部12>
記憶部12は、保存部104に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部12は、各構成11、13〜16により取得又は生成された各種情報を、保存部104に保存する。

0061

<評価部13>
評価部13は、参照データベースを参照し、対象情報と、参照情報との間における第1連関度を含む評価情報を取得する。評価部13は、例えば図4に示した参照データベースを参照した場合、対象情報に含まれる情報と同一又は類似する過去の対象情報(例えば「情報A」:過去の第1対象情報とする)を選択する。過去の対象情報として、対象情報と一部一致又は完全一致する情報が選択されるほか、例えば類似(同一概念等を含む)する情報が選択される。対象情報が行列等の数値で表される場合、選択される過去の対象情報に含まれる数値範囲を、予め設定してもよい。

0062

評価部13は、選択した過去の第1対象情報に紐づく参照情報、及び選択した過去の対象情報と参照情報との間における連関度(第1連関度)を選択し、評価情報として取得する。なお、第1連関度は、連関度から一部が選択されるほか、評価部13によって算出されてもよい。

0063

例えば評価部13は、第1対象情報「情報A」に紐づく参照情報「参照A」、及び「情報A」と「参照A」との間における第1連関度「80%」を選択し、評価情報として取得する。なお、参照情報及び第1連関度は、複数のデータを含んでもよい。この場合、上述した「参照A」及び「80%」に加えて、第1対象情報「情報A」に紐づく参照情報「参照B」、及び「情報A」と「参照B」との間における第1連関度「15%」を選択し、「参照A」及び「80%」、並びに、「参照B」及び「15%」を評価情報として取得してもよい。

0064

評価情報は、対象情報を含んでもよい。また、第1連関度は、例えば百分率等の3段階以上で示される。例えば参照データベースがニューラルネットワークで構成される場合、第1連関度は、選択された過去の評価対象情報に紐づく重み変数を示す。

0065

<生成部14>
生成部14は、評価情報に基づき、推定結果を生成する。生成部14は、例えば予め保存部104等に記憶された出力用フォーマット等の形式データを用いて、評価結果として取得された情報に基づき、ユーザが理解できる形式(例えば文字列)に変換し、変換した情報を評価結果として生成する。

0066

生成部14は、例えば図2に示すように、「○○さんこんにちは。」等の推定される文字列を含む推定結果を生成する。生成部14は、例えば推定装置1又はユーザ端末3を制御する制御情報を含む推定結果を生成してもよい。なお、推定結果を生成する際における形式の設定、及び評価情報から推定結果への変換方法は、例えば公知の技術(例えば人工知能技術)を用いてもよい。

0067

生成部14は、例えば評価情報の第1連関度に基づいて、推定結果の内容を決定する。例えば生成部14は、「50%」以上の第1連関度に紐づく参照情報に基づいて、推定結果を生成し、「50%」未満の第1連関度に紐づく参照情報を推定結果に反映しないように設定されてもよい。なお、第1連関度に基づく判定基準は、例えば管理者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、生成部14は、例えば2以上の第1連関度を演算した結果や、2以上の第1連関度の比較に基づいて、推定結果の内容を決定してもよい。

0068

推定結果は、例えば評価情報を含んでもよい。また、推定結果は、対象情報を含んでもよい。

0069

<出力部15>
出力部15は、推定結果を出力する。出力部15は、I/F107を介して出力部分109に推定結果を送信するほか、例えばI/F105を介して、ユーザ端末3等に推定結果を送信する。

0070

出力部15は、例えば推定結果に基づき、推定結果をユーザ端末3に送信するか否かを判定してもよい。判定基準は、例えば管理者等が予め閾値等を設定してもよい。

0071

<更新部16>
更新部16は、例えば参照データベースを更新する。更新部16は、過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関度に反映させる。例えば生成部14により生成された推定結果を踏まえて、ユーザがキーボード入力の推定精度を評価し、評価結果を推定装置1が取得した場合、更新部16は、評価結果に基づき参照データベースに含まれる連関度を更新する。

0072

<サーバ2>
サーバ2には、例えば上述した各種情報が記憶される。サーバ2には、例えば通信網4を介して送られてきた各種情報が蓄積される。サーバ2には、例えば保存部104と同様の情報が記憶され、通信網4を介して推定装置1と各種情報の送受信が行われてもよい。即ち、推定装置1は、保存部104の代わりにサーバ2を用いてもよい。

0073

<ユーザ端末3>
ユーザ端末3は、上述した仮想キーボード8を投影する投影部、対象情報を生成するためのカメラを有する。ユーザ端末3として、主に携帯電話携帯端末)が用いられ、それ以外ではスマートフォン、タブレット型端末、ウェアラブル端末、パーソナルコンピュータ、IoTデバイス等の電子機器のほか、あらゆる電子機器で具現化されたものが用いられてもよい。ユーザ端末3は、例えば通信網4を介して推定装置1と接続されるほか、例えば推定装置1と直接接続されてもよい。ユーザは、例えばユーザ端末3を用いて、推定装置1から推定結果を取得する。なお、ユーザ端末3は、それぞれ独立して設けられた投影部や複数のカメラを含んでもよい。

0074

<通信網4>
通信網4は、例えば推定装置1等が通信回路を介して接続されるインターネット網等である。通信網4は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網4は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。

0075

(推定システム100の動作の一例)
次に、本実施形態における推定システム100の動作の一例について説明する。図8は、本実施形態における推定システム100の動作の一例を示すフローチャートである。

0076

<取得手段S110>
図8に示すように、角度情報を含む対象情報を取得する(取得手段S110)。取得部11は、撮影情報に基づく角度情報を含む対象情報を取得する。仮想キーボード8は、例えばユーザ端末3又は推定装置1の投影部により投影される。撮影情報は、例えばユーザ端末3又は推定装置1の有する各種カメラにより生成される。

0077

取得部11は、撮影情報を取得し、撮影情報から角度情報を取得する。これにより、角度情報を含む対象情報を取得する。取得部11は、例えば記憶部12を介して、対象情報を保存部104に保存する。なお、取得部11は、キーボード情報及び言語情報の少なくとも何れか、を予め取得した上で、画像データ等を取得してもよい。

0078

取得部11は、撮影情報が生成される度に対象情報として取得するほか、例えば任意の期間に生成された対象情報を取得してもよい。

0079

取得手段S110は、例えば図3に示すように、撮影情報取得手段S111と、座標データ取得手段S112と、角度情報取得手段S113とを有する。撮影情報取得手段S111では、取得部11は、撮影情報を取得し、例えば三次元カメラを用いて生成された三次元画像データを取得する。座標データ取得手段S112では、取得部11は、撮影情報から座標データを取得するほか、例えば距離計測カメラで生成された座標データを取得してもよい。角度情報取得手段S113では、取得部11は、座標データから角度情報を取得する。角度情報を取得する対象については、指の第1関節を頂点とした角度や、第2関節を頂点とした角度等が用いられ、状況に応じて任意に設定することができる。

0080

取得手段S110は、例えばオプティカルフロー情報取得手段S114を有する。オプティカルフロー情報取得手段S114では、取得部11は、RGBカメラを用いて生成されたRGB画像を取得し、複数のRGB画像からオプティカルフロー情報を取得する。

0081

<評価手段S120>
次に、参照データベースを参照し、対象情報と、参照情報との間における第1連関度を含む評価情報を取得する(評価手段S120)。評価部13は、取得部11により取得された対象情報を取得し、例えば保存部104に保存された参照データベースを取得する。評価部13は、1つの対象情報に対して1つの評価情報を取得するほか、例えば複数の対象情報に対して1つの評価情報を取得してもよい。評価部13は、例えば記憶部12を介して、評価情報を保存部104に保存する。

0082

<生成手段S130>
次に、評価情報に基づき推定結果を生成する(生成手段S130)。生成部14は、評価部13により取得された評価情報を取得し、例えば保存部104に保存された出力用フォーマット等の形式データを取得する。生成部14は、1つの評価情報に対して1つの推定結果を取得するほか、例えば複数の評価情報に対して1つの推定結果を取得してもよい。生成部14は、例えば記憶部12を介して推定結果を保存部104に保存する。

0083

これにより、例えば出力部15が推定結果をユーザ端末3等に送信、又は出力部分109に出力し、本実施形態における推定システム100の動作が終了する。

0084

<更新手段S140>
なお、例えば過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関度に反映させてもよい(更新手段S140)。例えば生成部14により生成された推定結果を踏まえて、ユーザがキーボード入力の推定精度を評価し、評価結果を推定装置1が取得した場合、更新部16は、評価結果に基づき参照データベースに含まれる連関度を更新する。

0085

これにより、本実施形態における推定システム100の動作が終了してもよい。なお、更新手段S140を実施する場合のタイミングは、任意である。

0086

本実施形態によれば、評価手段S120は、参照データベースを参照し、対象情報と、参照情報との間の3段階以上の第1連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。

0087

また、本実施形態によれば、対象情報は、角度情報を含む。このため、1つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボード8に対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。

0088

また、本実施形態によれば、座標データ取得手段S112は、撮影情報から座標データを取得する。また、角度情報取得手段S113は、座標データから角度情報を取得する。このため、評価対象とするデータの容量を削減することができる。これにより、対象情報を保存する際、保存容量の増大を抑制することが可能となる。

0089

また、本実施形態によれば、撮影情報は、三次元カメラを用いて生成される三次元画像データを含む。このため、角度情報を取得する際、新たなカメラ等を設けることなく、従来の三次元カメラを利用することができる。これにより、容易にキー入力を推定する環境を整えることが可能となる。

0090

また、本実施形態によれば、対象情報及び過去の対象情報は、オプティカルフロー情報を含む。このため、オプティカルフロー情報と角度情報とを組み合わせることで、ユーザ毎におけるキー入力時の動きを考慮することができる。これにより、キー入力を推定する精度のさらなる向上を図ることが可能となる。

0091

また、本実施形態によれば、取得手段S110は、複数のRGB画像からオプティカルフロー情報を取得する。このため、オプティカルフロー情報を取得する際、新たなカメラ等を設けることなく、従来のRGBカメラを利用することができる。これにより、容易にキー入力の推定精度を向上させる環境を整えることが可能となる。

0092

また、本実施形態によれば、対象情報及び過去の対象情報は、キーボード情報を含む。このため、キー配列等が異なる仮想キーボード8を利用した場合においても、キー入力を高精度に推定することが可能となる。

0093

また、本実施形態によれば、参照データベースは、機械学習により構築される。このため、画像から算出された押下深度に対する閾値を設定する場合に比べて、主観を除いたキー入力の推定を実現することが可能となる。

0094

本実施形態によれば、評価部13は、参照データベースを参照し、対象情報と、参照情報との間の3段階以上の第1連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。

0095

また、本実施形態によれば、対象情報は、角度情報を含む。このため、1つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボード8に対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。

0096

なお、本実施形態によれば、対象情報及び過去の対象情報は、言語情報を含んでもよい。この場合、ユーザの使用する言語に依存することなく、キー入力を高精度に推定することが可能となる。

0097

なお、本実施形態によれば、更新手段S140は、過去の対象情報と、参照情報との間の関係を新に取得した場合には、関係を連関度に反映させてもよい。この場合、連関度を容易に更新することができ、継続した推定精度の向上を図ることが可能となる。

0098

なお、本実施形態によれば、画像データは、RGB画像データと、赤外線画像データとを有してもよい。この場合、照明等に起因する撮像環境が異なる場合においても、手の形状等を高精度に取得することができる。これにより、キー入力を推定する精度をさらに向上させることが可能となる。

0099

なお、本実施形態によれば、位置情報は、距離データを有してもよい。この場合、奥行き方向に対する手の位置を容易に取得することができる。これにより、キー入力を推定する精度をさらに向上させることが可能となる。

0100

なお、本実施形態によれば、投影部、RGBカメラ、赤外線カメラ、及び距離計測カメラは、同一の端末に備え付けられてもよい。この場合、場所を選ばずに仮想キーボード8を利用することが可能となる。

0101

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0102

1 :推定装置
2 :サーバ
3 :ユーザ端末
4 :通信網
8 :仮想キーボード
10 :筐体
11 :取得部
12 :記憶部
13 :評価部
14 :生成部
15 :出力部
16 :更新部
100 :推定システム
101 :CPU
102 :ROM
103 :RAM
104 :保存部
105 :I/F
106 :I/F
107 :I/F
108 :入力部分
109 :出力部分
110 :内部バス
S110 :取得手段
S120 :評価手段
S130 :生成手段
S140 :更新手段

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ソニー株式会社の「 情報処理装置、情報処理方法及びプログラム」が 公開されました。( 2020/12/17)

    【課題】ユーザの意図するタイミングで所定の内容を表示させることが可能な、情報処理装置、情報処理方法及びプログラムを提案する。【解決手段】ユーザの視点に関する視点情報を取得する視点情報取得部と、ユーザと... 詳細

  • 株式会社日立国際電気の「 画像処理装置および画像処理方法」が 公開されました。( 2020/12/17)

    【課題・解決手段】特定オブジェクトを高速に検出・識別することが可能な技術を提供する。前景抽出部201が、入力画像の背景領域に対応する位置の画素値として0(背景領域を示す値)を設定し、入力画像の前景領域... 詳細

  • 日本電気株式会社の「 情報処理装置、制御方法、及びプログラム」が 公開されました。( 2020/12/17)

    【課題・解決手段】情報処理装置は連結ルール記憶部と通信可能に記憶されている。連結ルール記憶部は連結ルールを記憶している。連結ルールは、オブジェクトの軌跡を表す複数の軌跡データを1つに連結するか否かの基... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ