図面 (/)

技術 電子機器および電子機器の制御方法

出願人 株式会社ジャパンディスプレイ
発明者 林真人山田錠治中川裕史山本倫生安住康平水橋比呂志池野考造木田芳利
出願日 2013年3月29日 (7年4ヶ月経過) 出願番号 2013-073868
公開日 2014年10月23日 (5年9ヶ月経過) 公開番号 2014-199492
状態 拒絶査定
技術分野 位置入力装置 表示による位置入力
主要キーワード センサ検出用 感知点 補完テーブル センサ構成部品 感知レベル データ転送デバイス 操作入力パネル 取得情報量
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年10月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

画像表示を行う多種多様アプリケーションに対して柔軟に適応できるようにした電子機器および電子機器の制御方法を提供する。

解決手段

表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイス100と、センサ面で感知された信号をもとに三次元情報(RAW−D)を生成し出力するデータ転送手段200と、データ転送手段が出力した前記三次元情報をもとにセンサ面の複数の感知点における三次元イメージデータを生成し、生成したイメージデータをもとにタッチ座標を算出する処理機能を有したアプリケーション動作デバイス300とを具備する。

概要

背景

携帯電話タブレットパーソナルデジタルアシスタント(PDA)、及び小型の携帯用パーソナルコンピュータなどが普及している。これら電子機器は、表示パネルと一体となった操作入力パネルを有する。

操作入力パネルは、ユーザが表示面上に触れたとき、触れた位置を、例えば静電容量の変化として検出する。検出信号は、操作入力パネルのために専用に設計され、集積回路(IC)化されたタッチ信号処理ICに入力される。タッチ信号処理ICは、前記検出信号を予め用意した計算アルゴリズムで処理し、ユーザが触れた位置を座標データに変換して出力している。

概要

画像表示を行う多種多様アプリケーションに対して柔軟に適応できるようにした電子機器および電子機器の制御方法を提供する。表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイス100と、センサ面で感知された信号をもとに三次元情報(RAW−D)を生成し出力するデータ転送手段200と、データ転送手段が出力した前記三次元情報をもとにセンサ面の複数の感知点における三次元イメージデータを生成し、生成したイメージデータをもとにタッチ座標を算出する処理機能を有したアプリケーション動作デバイス300とを具備する。

目的

この発明に係る一実施形態では、多様のアプリケーションに対して柔軟に適応できるようにし、アプリケーションに対する入力情報豊富にすることができる電子機器および電子機器の制御方法を提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイスと、前記センサ面で感知された信号をもとに三次元情報を生成し出力するデータ転送手段と、前記データ転送手段が出力した前記三次元情報をもとに前記センサ面の複数の感知点における三次元イメージデータを生成するイメージ生成手段と、前記イメージ生成手段が生成したイメージデータをもとに前記センサ面上を操作した導体座標値を算出する座標演算処理手段と、を具備したことを特徴とする電子機器

請求項2

前記三次元情報は前記センサ面の感知点における導体の近接度を表す操作情報である請求項1に記載の電子機器。

請求項3

前記データ転送手段は前記表示面に表示情報を表示する表示駆動イミングに同期して前記三次元情報を前記イメージ生成手段に転送する請求項1に記載の電子機器。

請求項4

前記イメージ生成手段および前記座標演算処理手段は、それぞれ、複数種アプリケーションの処理を可能にし、ベースバンドエンジンを有した単一の半導体集積回路により構成されたアプリケーション動作デバイス内に設けられていることを特徴とする請求項1に記載の電子機器。

請求項5

前記イメージ生成手段は前記表示面に表示情報を表示する表示駆動タイミングに同期して前記センサ面の全感知点の前記三次元情報をもとに前記イメージデータを生成する請求項1に記載の電子機器。

請求項6

前記座標演算処理手段は、前記イメージデータに対してノイズ除去を行う複数種のフィルタを具備し、そのいずれか一つのフィルタをユーザ若しくはアプリケーションにより選択可能にしている請求項1に記載の電子機器。

請求項7

前記座標演算処理手段は、前記イメージデータから操作位置座標を求める複数種の座標演算アルゴリズムを具備し、そのいずれか一組の座標演算アルゴリズムをユーザ若しくはアプリケーションにより選択可能にしている請求項1または6に記載の電子機器。

請求項8

表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイスを有する電子機器の制御方法であって、前記センサ面で感知された信号をもとに生成された三次元情報を取得し、前記取得した三次元情報をもとに前記センサ面の複数の感知点における三次元のイメージデータを生成し、前記生成したイメージデータをもとに前記センサ面上を操作した導体の座標値を算出する、ことを特徴とした電子機器の制御方法。

請求項9

前記イメージデータに対してノイズ除去を行うフィルタが複数種用意され、ユーザ若しくはアプリケーションにより選択された一つのフィルタを用いて前記座標値を演算することを特徴とした請求項8に記載の電子機器の制御方法。

請求項10

前記イメージデータから操作位置座標を求める座標演算アルゴリズムが複数種用意され、ユーザ若しくはアプリケーションにより選択された一組の座標演算アルゴリズムを用いて前記座標値を算出することを特徴とした請求項8または9に記載の電子機器の制御方法。

技術分野

0001

この発明の実施形態は携行可能な電子機器および同電子機器制御方法に関する。

背景技術

0002

携帯電話タブレットパーソナルデジタルアシスタント(PDA)、及び小型の携帯用パーソナルコンピュータなどが普及している。これら電子機器は、表示パネルと一体となった操作入力パネルを有する。

0003

操作入力パネルは、ユーザが表示面上に触れたとき、触れた位置を、例えば静電容量の変化として検出する。検出信号は、操作入力パネルのために専用に設計され、集積回路(IC)化されたタッチ信号処理ICに入力される。タッチ信号処理ICは、前記検出信号を予め用意した計算アルゴリズムで処理し、ユーザが触れた位置を座標データに変換して出力している。

先行技術

0004

特開2012−48295号公報

発明が解決しようとする課題

0005

製造技術の進歩とともに、表示パネルの解像度高解像度化し、また表示パネルの大型化も進んでいる。表示パネルの高解像度化や大型化に伴い、操作入力パネルの位置検出精度高精細化が要求されている。また、アプリケーションによっては、操作入力パネルの操作入力に対するデータ処理速度高速化が要求されている。また、アプリケーションを容易に変更できる方式の装置が要望されている。

0006

そこでこの発明に係る一実施形態では、多様のアプリケーションに対して柔軟に適応できるようにし、アプリケーションに対する入力情報豊富にすることができる電子機器および電子機器の制御方法を提供することを目的とする。

課題を解決するための手段

0007

一実施形態に係る電子機器は、表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイスと、前記センサ面で感知された信号をもとに三次元情報を生成し出力するデータ転送手段と、前記データ転送手段が出力した前記三次元情報をもとに前記センサ面の複数の感知点における三次元イメージデータを生成するイメージ生成手段と、前記イメージ生成手段が生成したイメージデータをもとに前記センサ面上を操作した導体操作内容解析する処理手段と、を具備する。

発明の効果

0008

タッチデータ三次元解析により様々な座標演算アルゴリズムが実現できる。複数の座標演算アルゴリズムとの組み合わせも可能である高速なアプリケーションプロセッサでデータの解析及び演算を行うことで、より多様な演算の実現が可能である。

図面の簡単な説明

0009

一実施形態による電子機器のブロック構成図である。
表示面又は表示パネルと操作面又は操作入力パネルを一体に有したセンサ一体型表示デバイスを説明するために示した断面図である。
操作入力パネルから出力される信号からタッチ検出信号を得るための原理を説明するために示す説明図である。
操作入力パネルのセンサ構成部品とその駆動方法を説明するために示した斜視図である。
図1に示すデータ転送デバイスのブロック構成例及びアプリケーション動作デバイスの各種アプリケーションにより実現される機能の幾つかの例をブロック化して示す図である。
図1及び図4ドライブから出力される表示用の信号とセンサ用検出電極駆動信号との出力タイミングの例を示す図である。
センサ用検出電極の駆動信号の出力と共通電極との駆動状態を説明するために示した模式図である。
操作入力が無い場合のセンサ出力の生データ(検出データ)をグラフ化した一例を示す模式図である。
操作入力が有った場合のセンサ出力の生データ(検出データ)をグラフ化した一例を示す模式図である。
本実施形態に係る携帯端末の使用例を説明するための図である。
本実施形態に係る携帯端末の使用例を説明するためのフローチャートである。
本実施形態に係る携帯端末の具体的な使用例(その1)を説明するためのフローチャートである。
本実施形態に係る携帯端末の具体的な使用例(その1)を説明するためのフローチャートである。
本実施形態に係る携帯端末の具体的な使用例(その2)を説明するためのフローチャートである。
本実施形態に係る携帯端末の具体的な使用例(その2)を説明するためのフローチャートである。
本実施形態に係る携帯端末の具体的な使用例(その3)を説明するための操作説明図である。
本実施形態に係る携帯端末の具体的な使用例(その4)を説明するための操作説明図である。
本実施形態に係る携帯端末の具体的な使用例(その5)を説明するための操作説明図である。
本実施形態に係る携帯端末の座標演算処理を説明するための操作例を示す図である。
本実施形態に係る携帯端末の座標演算処理を説明するためのセンサー等価回路を示す図である。
本実施形態に係る携帯端末の座標演算処理を説明するためのセンサーの信号波形を示す図である。
本実施形態に係る携帯端末の座標演算処理を説明するためのセンサーのタッチイメージを示す図である。
本実施形態に係る携帯端末の座標演算処理を説明するためのセンサーのタッチイメージデータを示す図である。
本実施形態に係る携帯端末の座標演算処理手順を示すフローチャートである。

実施例

0010

以下、実施の形態について図面を参照して説明する。
図1には、一実施形態が適用された携帯端末1を示している。携帯端末1は、表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ一体型表示デバイス100と、上記センサ面で感知された信号をもとに三次元情報(RAW−D)を生成し出力するデータ転送デバイス200と、データ転送デバイスが出力した三次元情報(RAW−D)をもとに上記センサ面の複数の感知点における三次元のイメージデータを生し、生成したイメージデータをもとに上記センサ面上を操作した導体の操作内容を解析する処理機能を有したアプリケーション動作デバイス300とを備えた電子機器を構成している。

0011

センサ一体型表示デバイス100は、表示面(又は表示パネル)と操作面(又は操作入力パネル)を一体に有し、そのために表示素子構成部品110、及びセンサ構成部品150を有する。

0012

このセンサ一体型表示デバイス100には、後述するドライバ210から表示用信号(又は画素信号)が供給される。そしてドライバ210からゲート信号が供給されると、表示素子構成部品110の画素に対して画素信号が書き込まれる。この画素信号に応じて、画素電極と共通電極間の電圧が決まり、この電圧により電極間液晶分子変位し、液晶分子の変位に応じた輝度が得られる。

0013

センサ一体型表示デバイス100の呼び名は、これに限定されるものではなく、入力センサ一体型表示部、ユーザインターフェースなどと称してもよい。

0014

表示素子構成部品110は、液晶表示パネルLED、有機ELなどの発光素子による表示部を採用してもよい。表示素子構成部品110は、単純にディスプレイと称されてもよい。センサ構成部品150は、静電容量変化検知方式光量変化検知方式などがあり、何れが採用されてもよい。センサ構成部品150はタッチ入力を検出するためのパネルと称されてもよい。

0015

センサ一体型表示デバイス100は、データ転送デバイス200を介してアプリケーション動作デバイス300に接続される。

0016

データ転送デバイス200は、ドライバ210、センサ検出器250を有する。ドライバ210は、基本的には、アプリケーション動作デバイス300から転送されてくるグラフィックデータを表示素子構成部品110に入力する。また、センサ信号検出器250は、センサ構成部品150から出力されるセンサ信号を検出する。

0017

ドライバ210とセンサ信号検出器250は、相互に同期動作するもので、同期制御は、アプリケーション動作デバイス300の制御に基づいている。

0018

アプリケーション動作デバイス300は、携帯電話等の電子機器内に組み込まれている、たとえば半導体集積回路(LSI)であって、OS等のソフトウエアによってWebブラウジングマルチメディア処理などの複数の機能処理複合的に実行する役割を持つものである。これらアプリケーションプロセッサは、高速な演算処理を行うもので、デュアルコア、あるいはQuad−Coreのものであってもよい。動作速度としてたとえば500MHz以上、より好ましくは1GHzのものが好適である。

0019

ドライバ210は、アプリケーションに基づいて、表示構成素子構成部品110に表示信号グラフィックスデータアナログ変換された信号)を供給する。さらにドライバ210は、センサ信号検出器250からのタイミング信号に基づいて、センサ構成部品150をアクセスするためのセンサ駆動信号Txを出力する。このセンサ駆動信号Txに同期して読み出されたセンサ信号Rxは、センサ構成部品150から読み出されて、センサ信号検出器250に入力する。

0020

センサ信号検出器250は、センサ信号をスライスし、ノイズ除去し、生の読み取りイメージデータ(3次元イメージデータと称することができる)としてアプリケーション動作デバイス300に入力する。この実施形態では上記センサ信号検出器250から出力される生の読み取りイメージデータをロウデータ(RAW−D)若しくは符号を除いたロウデータと呼称する。

0021

センサ構成部品150が容量検出方式である場合、イメージデータは、単純に座標を表す2次元データではなく、容量の大きさに応じて異なる多値(2ビット以上の例えば3値−7値)を持つことができる。したがって、このイメージデータは、物理量と座標を含む3次元データと称することができる。対象物となる導体(例えばユーザの指先)とタッチパネルとの遠近近接度)に応じて容量の変化があるので、この変化を物理量の変化として捕らえることができる。

0022

上記したようにデータ転送デバイス200のセンサ信号検出器250が、イメージデータを直接、アプリケーション動作デバイス300に提供する理由は以下の理由に基づいている。

0023

まずアプリケーション動作デバイス300は、その高速演算機能を活かして、イメージデータを各種の用途に用いることができる。

0024

アプリケーション動作デバイス300においては、ユーザからの種々の要望に応じて、新しい種々のアプリケーションが格納される。新しいアプリケーションは、データ処理内容に応じて、イメージデータの処理方法読み出しタイミング読み出しフォーマット読み出し領域または、読み出し密度などの変化や切換え望む場合がある。

0025

このような場合、従来の装置のように座標データのみを受け取ると、その取得情報量制約される。しかし、この装置のように生の3次元イメージデータを解析すると、例えば座標位置情報のほかに、導体の近接度に応じた遠近情報も得ることができる。

0026

さらに、アプリケーションによる各種機能の拡張性を得るために、データ転送デバイス200は、アプリケーションによる制御に基づく各種の動作に追従できることが望ましい。そこで、データ転送デバイス200は、できるだけシンプルな機能として、アプリケーションによる制御に応じて、センサ信号の読み取りタイミング読み取り領域読み取り密度などを任意に切換え可能な構造としている。この点は、後でも説明する。

0027

アプリケーション動作デバイス300は、この実施形態の場合、無線機インターフェース図1参照)を備えたベースバンドエンジンを搭載して多種のアプリケーションの処理を可能にした、所謂、アプリケーションプロセッサと称される単一の半導体集積回路により構成されており、上記した無線機インターフェース以外に、例えばカメラ機能インターフェースなどをも含むことができる。さらにアプリケーション動作デバイス300には、センサ信号検出器250から受けたロウデータ(RAW−D)をもとに、センサ構成部品150のセンサ面の複数の感知点における三次元イメージデータを生成するイメージデータ生成処理部(P1)と、このイメージデータ生成処理部で生成されたイメージデータをもとに上記センサ面上を操作した導体の操作内容を認識するイメージ解析処理部(P2)と、このイメージ解析処理部で認識した操作内容に従うアプリケーションを実行する各種のアプリケーション実行部(Ps)と、座標演算処理部(P3)が含まれる。

0028

図2Aには、表示素子構成部品110とセンサ構成部品150とが一体となった、センサ一体型表示デバイス100、つまり表示パネルと操作入力パネルが一体化した表示装置断面構造を示している。

0029

薄膜トランジスタ(TFT)基板11上に、共通電極13、さらに絶縁層を介して画素電極12が形成され、画素基板10が構成されている。画素基板10対して、液晶層30を挟んで、対向基板20が画素基板10と平行に配置されている。対向基板20は、液晶層側から順次カラーフィルタ22、ガラス基板23、センサ用検出電極24、偏光板25が配置されて構成されている。

0030

共通電極13は、表示用の共通駆動電極でもあるが、センサ用駆動電極(或いはセンサの共通駆動電極)としても機能する。

0031

図2Bは、共通電極とセンサ用検出電極の交差点付近に、導体、例えばユーザの指先が近接した場合であって、この交差点からセンサ用検出電極を介して読み出した電圧がV0からV1に変化した様子を示している。指を接触していない状態では、交差点の容量(第1容量素子とする)に対する充放電に伴って第1容量素子の容量値に応じた電流が流れる。このときの第1容量素子の他端の電位波形は、例えば図2B波形V0のようになる。センサ用検出電極にユーザの指先が近接すると、指によって形成される第2容量素子が第1容量素子に直列に追加された形となる。この状態では、第1容量素子と第2容量素子とに対する充放電に伴って、それぞれ電流が流れる。このときの第1容量素子の他端の電位波形は、例えば図4の波形V1のようになり、これが検出回路20によって検出される。このとき、第1容量素子の他端の電位は、第1容量素子と第2容量素子とを流れる電流の値によって定まる分圧電位となる。このため、波形V1は、非接触状態での波形V0よりも小さい値となる。したがって、このセンサ信号Rxと閾値Vthと比較することにより、センサに接触しているか否かを判断することが可能となる。

0032

図3は、操作入力パネルのセンサ構成部品とその駆動方法を説明するために示した斜視図であり、センサ用検出電極24と共通電極21との配置関係を示している。図3に示す例は一例であり、このようなタイプに限定されるものではない。

0033

図4には再度、センサ一体表示デバイス100、データ転送デバイス200及びアプリケーション動作デバイス300を示している。

0034

ここでは、データ転送デバイス200とアプリケーション動作デバイス300の内部構成例をさらに示している。

0035

データ転送デバイス200は、大きく分けてドライバ210と、センサ信号検出器250を有する。ドライバ210、センサ信号検出器250の名称は、これに限定されるものではなく、表示器ドライバIC,タッチICと称されてもよい。ブロックは別々に示されているが、一体に構成され、1チップとしてされてもよい。

0036

ドライバ210は、アプリケーション動作デバイス300から表示用データを受け取る。表示用データは、時分割されておりブランキング期間を備える。表示用データは、バッファとしてのビデオランダムアクセスメモリVRAM)211を介して、タイミング回路及びデジタルアナログ変換器212に入力される。本システムでは、VRAM211は、1フレーム以下の容量であってもよい。

0037

アナログ量としての表示用データSigXは、出力増幅器213で増幅されて、表示素子に書き込むためにセンサ一体型表示デバイス100に入力される。タイミング回路及びデジタルアナログ変換器212で検出されたブランキング検出信号は、センサ信号検出器250のタイミング制御器251に入力する。このタイミング制御器251は、ドライバ210内に設けられてもよい、また同期化回路と称されてもよい。

0038

タイミング制御器251は、前記表示用信号のブランキング期間にセンサをアクセスするためのセンサクセスパルスを生成する。このセンサクセスパルスは、出力増幅器214で増幅されてセンサ一体型表示デバイス100に入力される。

0039

駆動信号Txがセンサ用検出電極を駆動することにより、センサ信号Rxがセンサ一体型表示デバイス100から出力される。センサ信号Rxは、センサ信号検出器250内の積分回路252に入力する。センサ信号Rxは、積分回路252で基準電圧(閾値)Vrefと比較され、基準電位以上のレベルのセンサ信号Rxは、コンデンサで積分され、積分出力が出力され、そして検出単位期間ごとにスイッチによりリセットされ、Rxのアナログ出力を得ることができる。積分回路252の出力は、サンプルホールド及びアナログデジタル変換器253に入力され、デジタル化される。デジタル化された検出データは、デジタルフィルタ254を介して生のデータとして、アプリケーション動作デバイス300に入力する。

0040

検出データは、操作入力の検出データ及び操作入力の非検出データの両方を含む3次元データ(多値のデータ)である。プレゼンス検出器255は、例えばアプリケーション動作デバイスがスリープモードにあり、操作面上のタッチ座標の検出が行われていないときに機能する。プレゼンス検出器255は、何か接近物があるような場合、接近物を感知し、スリープモードを解除することができる。

0041

アプリケーション動作デバイス300は、検出データを受け取り解析し、解析結果に応じた前記表示用データを出力することができる、また、システムの動作機能切り替えることができる。

0042

アプリケーション動作デバイス300は、各種のアプリケーションを展開して装置の動作手順の設定、機能切り替え、表示用信号の生成、切り替えなどを実行することができる。センサ信号検出器250から出力されたセンサ出力(ロウデータ)を用いて、座標演算処理を行い操作位置の解析を行うことができる。このセンサ出力は、イメージデータとして捉えられるので、アプリケーションにより3次元イメージデータが構築されることもできる。3次元イメージデータの登録処理消去処理確認処理なども実行できる。登録イメージデータと、取得したイメージデータを比較することにより、動作機能のロック及びロック解除を実行することもできる。

0043

またセンサ信号を取得する場合、アプリケーション動作デバイス300は、タイミング制御器251から出力されるセンサ検出用電極へのアクセスパルス周波数変更、アクセスパルスの出力タイミングを行うこともできる。これにより、アプリケーション動作デバイスは、センサ構成部品150のアクセス領域の切換え、アクセス速度の設定を行うことができる。

0044

また、アプリケーション動作デバイス300は、センサ出力信号サンプリング密度、センサ出力信号に対する付加データの追加なども実行することができる。

0045

このアプリケーション動作デバイス300には、センサ出力(ロウデータ)に基づくイメージデータに対して平坦化のためのノイズ除去を行うフィルタ(T1)と、イメージデータから操作面上の操作位置座標を算出する座標演算アルゴリズム(T2)が、それぞれ種類を変え、複数用意される。このフィルタ(T1)と、座標演算アルゴリズム(T2)は、アプリケーションやセンサ面上の操作位置などの機能や条件により演算結果として座標値バラツキが生じ得ることを想定して予め複数用意される。この複数のフィルタ(T1)と座標演算アルゴリズム(T2)の中から、それぞれ、ユーザの使い勝手やアプリケーションの処理内容に応じて、ユーザ若しくはアプリケーションにより一つ(一組)が選択される。このフィルタ(T1)と座標演算アルゴリズム(T2)の選択手段は、後述する図20に、座標演算アルゴリズム(アルゴリズムA,アルゴリズムB,アルゴリズムC)、フィルタ(FilterA,FilterB,FilterC)として示されている。

0046

図5Aには、データ転送デバイス200から出力される時分割の表示用データSigXと、センサ駆動信号Tx(Tx1−Txn)のタイミングチャートの一例を示している。図5Bは、共通電極とセンサ用検出電極とを含むセンサ構成部品150を、共通電圧Vcomとセンサ駆動信号Txとが2次元スキャンを行う様子を模式的に示している。共通電圧Vcomは、共通電極13に対して順次印加される。また共通電極13には、任意の期間にセンサ出力を得るための駆動信号Txが与えられる。

0047

アプリケーション動作デバイス300から、表示用データSigxとセンサ駆動信号Txとは、同じバスを介して時分割によりドライバ210に入力してもよい。タイミング回路及びデジタルアナログ変換器212で、表示用データSigxとセンサ駆動信号Txが分離されてもよい。センサ駆動信号Txは、タイミング制御器251、増幅器214を介して先に説明した共通電極13に供給される。タイミング制御器251からセンサ駆動信号Txを出力するタイミング、周波数などはアプリケーション動作デバイス300の指令により変更することができる。またタイミング制御器251は、センサ信号検出器250の積分回路252に対してリセットタイミング信号を供給し、サンプルホールド及アナログデジタル変換器253、デジタルフィルタ254にクロックを供給することができる。

0048

図6には、センサ出力の生データの例であり、操作入力が検出されていないときのデータをグラフ化した模式図を示している。

0049

図7には、センサ出力の生データの例であり、操作入力が検出されたときのデータをグラフ化した模式図を示している。

0050

図8には、アプリケーション動作デバイス300において、センサ信号検出器250から入力されたロウデータ(RAW−D)をもとに生成した三次元イメージデータにより、マルチタッチインタフェース機能を含んだ多種多様なアプリケーション動作機能を実現した具体例を示している。図8に示す例では、ロウデータ(RAW−D)をもとに生成した三次元イメージデータにより、例えば操作者(ユーザ)のの形状(Ia)、操作者が大人の場合、子供の場合のそれぞれのの形状(Ib)、特定のジェスチャーと操作の組み合わせ(Ic)、複数本指タッチによる操作(Id)、指の腹がセンサ面に触れた状態(Ie)、指の先がセンサ面に触れた状態(If)、など、センサ面上における、多種多様な操作内容の認識が可能である。これら認識が可能な操作内容の三次元イメージデータをアプリケーション機能とともに登録しておくことにより、イメージ照合による多種多様な制御が可能となる。

0051

例えば、操作者が耳を携帯端末1のセンサ面に当てることにより、耳の形状(Ia参照)を認識して、操作者の真贋判定やその他の機能制御が可能である。真贋判定では、操作者の耳であることを認識して、携帯端末1の機能ロックを解除することが可能となる。機能制御では、操作者がセンサ面に耳を当てることで通話に入ることを認識して動作モードを通話モード受話状態)に切り替える、機能の自動切替制御が可能となる。

0052

また、掌サイズを認識する(Ib参照)ことで、世代別アプリケーションの選択的な提供、ユーザ別アプリケーションの選択的な提供、操作者を特定した機器またはアプリケーションの使用許可または使用禁止などが可能になる。

0053

また、特定のジェスチャーと操作の組み合わせ(Ic参照)では、例えばピースサインの2本の指で操作面を2回連続タッチすると、カメラアプリケーション起動してカメラ撮影を可能にし、3回連続タッチすると、音楽プレーヤが起動して音楽再生を可能にする。

0054

また、複数本の指を使い分け(Id参照)、例えば親指スクロール操作を行い、人差指タップ操作を行い、小指ズーム操作を行うことが操作機能切替なしで可能となる。

0055

また、指の腹のタッチ(Ie参照)と、爪を立てた指先のタッチ(If参照)とを区別して認識し、それぞれ別のアプリケーションを起動することも可能である。

0056

図9には、携帯端末1における、上記した各種の操作内容の認識による、ロック解除例を示している。この例では、耳の形状で認証が得られた場合(SB31)と、掌の形状で認証が得られた場合(SB32)と、指先の形状で認証が得られた場合(SB33)とを対象に、そのオア条件、若しくはいずれかのアンド条件で、携帯端末1の機能ロックを選択的に解除(SB34)し、携帯端末1の使用を可能(SB35)にしている。このロック解除手段により、セキュリティレベルに合わせた使い勝手のよい認証機能が実現可能である。

0057

これらの認証に用いられる三次元イメージデータの登録処理は、例えばイメージの登録画面音声ガイダンスの双方若しくはいずれかによる操作案内で円滑に実施可能である。

0058

アプリケーション動作デバイス300には、上記した三次元イメージデータに基づく各種操作内容に従うアプリケーション機能を実現するためのイメージの登録処理、並びに認証処理を実現するための処理手順が予め用意されている。

0059

図10および図11には、耳の形状(Ia参照)を認識して携帯端末1の機能ロックを選択的に解除する登録並びに認証の処理手順を示している。

0060

図10登録シーケンスの一例を示している。この登録シーケンスでは、携帯端末1を所有するユーザの耳の三次元イメージデータをアプリケーション動作デバイス300上で動作するアプリケーションに登録し(S11〜S13)、さらに登録した耳の三次元イメージデータを用いて機能の選択を行い(S14)、ロック解除(S14A)を登録して、耳形状による認証の登録処理を完了する。なおロック解除でなくその他の機能(S14B)を用いてもよい。

0061

図11にロック解除シーケンスの一例を示している。ロック解除シーケンスでは、携帯端末1を所有するユーザがセンサ構成部品150のセンサ面に耳を当てることにより生成された耳の三次元イメージデータが、耳の三次元イメージデータを予め登録したアプリケーション内で照合され(S21〜S22)、登録判定し(S23)、特徴が一致した判定により、耳の三次元イメージデータを予め登録したアプリケーションのロックが解除される(S23A〜S24)。なおロック解除でなくその他の機能(S23B)を用いてもよい。図12および図13には、複数本の指を使い分けた操作入力(Id参照)を可能にする登録並びに操作の処理手順を示している。

0062

図12に登録シーケンスの一例を示している。この登録シーケンスでは、センサ面の操作に用いる指それぞれの形状を三次元イメージデータで予め登録しておく。例えば、親指でスクロール操作を行い、人差指でタップ操作を行い、小指でズーム操作を行う場合、先ずセンサ面に親指を触れて親指の三次元イメージデータを登録し(S31〜S33)、続いて機能選択を行い(S34)、登録した親指の操作機能(スクロール操作機能)を登録する(S34A〜S35)。さらに続いて人差指の三次元イメージデータ、並びに同人差指の操作機能(タップ操作機能(S34B〜S35))を登録した後、小指の三次元イメージデータ、並びに同小指の操作機能(ズーム操作機能(S34C〜S35))を登録する。

0063

図13操作シーケンスの一例を示している。この操作シーケンスでは、センサ面に触れた指のイメージデータと登録された指のイメージデータとが照合され(S43)、親指でのスクロール操作(S43A〜S44)と、人差指でのタップ操作(S43B〜S44)と、小指でのズーム操作(S43C〜S44)とをそれぞれ、機能選択を行うことなく可能にしている。

0064

図14には、センサ面の2カ所を別々にタッチしてアプリケーション機能を切り替える操作例を示している。例えば左手の親指で描画の線種機能を選択し、右手の人差指で描画部分をタッチすることで、人差指の描画部分の線種を変えることができ、左手の親指で描画の色指定を選択し、右手の人差指で描画部分をタッチすることで、人差指の描画部分の色を変えることができ、左手の親指で描画の部分取消を選択し、右手の人差指で描画部分をタッチすることで、人差指の描画部分を消しゴムで消すことができる。このように複数本の指操作による機能切替を可能にしたことで操作性に優れたタッチ操作機能が提供できる。

0065

図15には、特定形状のイメージデータを予め登録しておき、ロック解除時の認証用パターンとして使用する例を示している。例えばスタンプのような特定形状のイメージデータを予め登録しておくことで、当該形状のスタンプイメージを用いたロック解除の認証手続が可能である。

0066

図16には、数フレーム分のイメージデータを予め登録しておき、ゼスチャーとして使用する例を示している。例えば人差指の原全体でセンサ面を画面の上方向にスライド操作することによりロックを解除し、その逆方向にスライド操作することによりスリープ状態にする機能制御が可能である。

0067

また、図16に示す機能の応用として、例えば操作方向に応じた前曲方向、次曲方向への選曲操作、音楽プレーヤの起動、停止など、様々な機能切替、機能選択が可能である。これらの操作は必ずしもセンサ面に導体となる指をタッチした状態で行う必要はなく、ロウデータ(RAW−D)に基づく三次元イメージデータにより感知が可能となるようにセンサ面の感知レベルを調整することで、センサ面上において非接触で(例えば鞄の外側から)操作可能である。

0068

上記した多種多様なアプリケーション機能を実現する場合、アプリケーション機能の特性に合わせた高精度の位置座標算出機能が要求される。特に近年のセンサ一体型表示デバイスは高精細になり、非常に細かい操作を必要とする場面が増えてきている。

0069

このような状況下において、センサ一体型表示デバイスでのタッチユーザインタフェースとして、ユーザとなる個人毎に異なる操作感覚(タッチしたい箇所と機器が認識したタッチ座標とのずれ)が発生している。

0070

そこで、この問題を解消するため、本実施形態では、アプリケーション動作デバイス300の高速演算処理機能により、ロウデータ(RAW−D)に基づく三次元イメージデータを用いてユーザの操作に適合した正確な座標を算出する。

0071

この実施形態では、図4に示すフィルタ(T1)および座標演算アルゴリズム(T2)をそれぞれ複数組用意し、使用用途、目的、物理的な条件などによって使い分ける、若しくは、ユーザの習慣または嗜好などによって任意に選択可能にしている。これら複数組のフィルタ(T1)および座標演算アルゴリズム(T2)は、例えば、それぞれ、算出過程における演算パラメータを含む構成要素を違えたものが用意される。

0072

この複数組のフィルタ(T1)および座標演算アルゴリズム(T2)をアプリケーションによって使い分ける場合は、例えば、アプリケーション動作デバイス300内の各アプリケーションと、フィルタ(T1)および座標演算アルゴリズム(T2)とを対応付けた対応テーブルを用意しておき、起動するアプリケーションに応じ、対応テーブルを参照して、当該アプリケーションに適合したフィルタ(T1)と座標演算アルゴリズム(T2)を選択し、選択したフィルタ(T1)と座標演算アルゴリズム(T2)を用いて操作位置座標の座標演算処理を実施する。また、ユーザが任意に選択する場合は、ユーザの習慣や嗜好、若しくは特定のアプリケーション動作に対して、最も相応しい座標認識処理が実施されるフィルタ(T1)と座標演算アルゴリズム(T2)を選択する。

0073

図17には、座標演算アルゴリズムの複数の例を示している。例えば、三次元イメージデータから、タッチ操作した指の重心を算出する座標演算アルゴリズム(アルゴリズムA)と、タッチ操作(非タッチ操作を含む)した指の先端を算出する座標演算アルゴリズム(アルゴリズムB)とをそれぞれユーザ若しくはアプリケーションにより選択可能に用意する。

0074

図18Aにタッチデータを取得するためのセンサの等価回路を示し、図18Bにセンサの出力波形を示している。あるセンサ線から出力されるセンサ信号の、タッチしたときと、タッチしないときの差分Δ(図18Bにおいて2つの矢印に挟まれた部分)をシグナルとしたとき、すべてのセンサ線から同じように差分Δが出力される。すべてのセンサ出力の差分Δからイメージデータを作成し、その中から閾値を超えるセンサ出力をタッチデータとして演算してゆく。差分Δは各センサ線の両側から出ている電界を遮ることによって現れるため、対象物となる導体が大きいほど、差分Δは大きな値を得ることができる。

0075

図19Aにセンサ線上でタッチしたイメージの大きさを示し、図19Bにタッチした各イメージのタッチデータ例を示している。タッチしたイメージデータにおいて、閾値を超えるイメージが小さい場合は、センサ線の両側にある電界を十分に遮ることができなくなり、センサ線の直上にタッチしたときと、センサ線の間にタッチしたときとで差分Δの値は大きく変化する。このようにセンサ線の直上にタッチしたときと、センサ線の間にタッチしたときでは差分Δが不均衡になるため、差分Δが均衡になる補正が必要となる。

0076

図20に、フィルタおよび座標演算アルゴリズムを複数組用意し、使用用途、目的など、上記した各種の条件によって使い分ける、若しくは選択することが可能なタッチ座標演算処理手段を示している。タッチ座標演算処理手段は図1に示す座標演算処理部(P3)により実現される。

0077

予め用意される複数組のフィルタおよび座標演算アルゴリズムは、それぞれ座標値の演算結果において必ずしも値が一致しない操作条件若しくは演算要素を含んでいる。

0078

ロウデータ(RAW−D)に基づく三次元イメージデータからタッチ座標を算出するにあたって、ユーザ若しくはアプリケーションにより、予め用意した複数種のフィルタ(FilterA,FilterB,FilterC)、および複数種の座標演算アルゴリズム(アルゴリズムA,アルゴリズムB,アルゴリズムC)から、ユーザ操作若しくはアプリケーションに適合した1種の座標演算アルゴリズムが選択される。

0079

ロウデータ(RAW−D)に基づく三次元イメージデータから座標を求める処理において、選択されたフィルタ(例えばFilterA)を用いてノイズ除去の処理を施したイメージデータが取得される。さらに、選択された座標演算アルゴリズム(例えばアルゴリズムB)を用いてタッチ操作座標の演算処理が実施される。これにより、非常に細かいピッチのタッチ操作を必要とする高精細パネル仕様において、多種多様なアプリケーション操作に対して、ユーザ操作若しくはアプリケーションに適合した正確な座標指定が可能になり、操作誤りを低減した、使い勝手のよい座標入力機能が提供される。

0080

上記した座標演算処理手段以外に、例えば、座標値補完テーブルを用意して、座標データを扱うアプリケーション毎(若しくは座標演算アルゴリズム毎)に、それぞれ座標値の補正係数をアプリケーションと対応付けて座標値補完テーブルに登録しておき、座標値補完テーブルに登録された補正係数を用いて算出される座標値を正しい座標値に補正することも可能である。

0081

ここでは本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また請求項を方法、ステップ、或いはプログラムとして表現した場合であっても本発明の装置を適用したものである。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0082

1・・・携帯端末(電子機器)、100・・・センサ一体型表示デバイス、200・・・データ転送デバイス、210・・・ドライバ、250・・・センサ信号検出器、300・・・アプリケーション動作デバイス、RAW−D・・・ロウデータ(生の読み取りイメージデータ =三次元イメージデータ)、P3・・・座標演算処理部、T2・・・座標演算アルゴリズム。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • レノボ・シンガポール・プライベート・リミテッドの「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/06/04)

    【課題】複数のOSを搭載したシステムを適切に制御すること。【解決手段】電子機器は、第1のOSに基づく処理による表示情報を表示する第1表示部と、第2のOSに基づく処理による表示情報を表示する第2表示部と... 詳細

  • 松本 修一の「 入力装置」が 公開されました。( 2020/06/04)

    【課題】手又は足の前後左右への動きや傾きという異なる動作を識別して入力操作が行えて入力操作に応じた信号を生成してコンピュータへ送信することができる入力装置を提供すること。【解決手段】入力装置1は、基台... 詳細

  • 株式会社ガゾウの「 カメラ付き情報端末及プログラム」が 公開されました。( 2020/06/04)

    【課題】眼球と頭部の所定動作後にアイコンを注視してズーム操作するカメラ付き情報端末の提供。【解決手段】使用者の顔側に装着されている視界カメラ(11)と、視界カメラ(11)の姿勢変化を検出する姿勢変化検... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ