図面 (/)

技術 メニュと共にグラフィック・キーボードを使用するための方法及び文字を作成するためにグラフィック・キーボードを使用するための方法

出願人 ゼロックスコーポレイション
発明者 ウィリアムエイ.エス.バクストンゴーダンピー.カーテンバッハ
出願日 2004年3月2日 (15年1ヶ月経過) 出願番号 2004-057532
公開日 2004年7月22日 (14年9ヶ月経過) 公開番号 2004-206732
状態 特許登録済
技術分野 キーボード等からの入力 文字認識 位置入力装置 表示による位置入力 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス
主要キーワード 力ジェネレータ 電子表示画面 斜線マーク 関連ステップ 非標準型 中心円 専門家ユーザ 堅牢さ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2004年7月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

目的

ペンストロークジェスチャーに関連する表現力直観的な使い易さがあるが、複雑な文字認識ソフトウエアは必要ない。

構成

小文字「a」はスタイラスグラフィックキーボードの「a」のキーの上でタップすることにより入力される。大文字の「A」は「a」のキーの上で始められた上向きのストロークにより入力される。ユーザは他の方向でストロークを入れることにより、「コントロール」、「代替」、「コマンド」などの基本文字に対する他の変更子表現できる。

概要

背景

ペンベースの計算は、ますます普及してきている。ペン・ベース・コンピュータのユーザは、ペンまたやスタイラスを使用して、一般的にはペンを使って普通の紙の上にプリントしたり、書いたりするのと類似した方法で、コンピュータの表示画面上にペンまたはスタイラスを使用して文字をプリントしたり、書き込むことにより、コマンドおよびデータをコンピュータに入力する。ある種のコマンドは、ペン・ストロークジェスチャー)として入力することができる。例えば、ワードを、それに棒線を引いて消すことによって削除したり、ファイルをそれを表すアイコンの上に「o」と書き込むことでオープンすることができる。ペン・ベースの計算の例は、サイズのパーソナルデジタル補助手段から、ノートパソコンのような小型黒板サイズの機械、壁サイズの対話型表示装置までさまざまなシステムに見られる。また、ペン・ベースのインタフェースは、ある種のコンピュータ・システムなどの元来ペン・ベースとなるように設計されていないコンピュータ・システムに付加、または改装することもできる。

ペン・ベース計算の実用性は、文字認識ソフトウェアの限られた機能のために制限されている。多くのペン・ベース・システムにおいて、ユーザは筆記体の手書きで書き込むことはできず、活字体で書かなければならない。これにより、入力が遅くなる。さらに、システムによる活字体で書かれた文字の認識は難しい。結果的に、ユーザは注意深く(つまり、ゆっくりと)活字体を書かなければならず、たいていの場合、特定のウィンドウ内に、指定されたボックス内に活字体を書かなければならず、システムは各個々のユーザに特別な訓練を要求する場合がある。それでも、文字認識性能は比較的お粗末である。加えて、文字認識を使用するペン・ベース・システムは、例えばマウスなどが備えられた従来のコンピュータ・ワークステーションで実行するのに十分に適応しない。

ペン・ベースの入力に対する文字認識アプローチ限界があるため、代替のアプローチが使用されることがある。このアプローチでは、視覚的には、ペン・ベースではないコンピュータ・システムに通常使用される従来の機械的な(タイプライターキーボードに類似した、グラフィック・キーボードが・コンピュータ・ディスプレイ上に表示される。ユーザは、グラフィック・キーボードの希望キータップ打ち込む)するためにスタイラスを使用してテキストを入力する。

グラフィック・キーボード・アプローチは、文字認識アプローチに対してある種の優位点を提供する。データをグラフィック・キーボードを使用して入力すると、(特に数字キーパッドを使用した場合)活字体で書き込むより速いし、正しく実施されると(つまり、グラフィック・キーが小さすぎない場合には)エラーはさらに発生しにくくなる。さらに、アプローチは、既存ソフトウェアアプリケーションに簡単に実現・統合できる。

残念なことには、周知のグラフィック・キーボードには多くの欠点がある。グラフィック・キーボードは視覚的には機械的なキーボードと類似しているが、機能的にははるかに限定されている。グラフィック・キーボードを使用すると、ユーザは両手のすべての指を使用して「タッチ・タイプ」することはできないが、代わりに、機械的なキーボード上で1本の指を使ってタイプするように、ペンまたはスタイラスを用いて「探して、たたく」必要がある。グラフィック・キーボードでのタイピングスピードは、ユーザが指/スタイラスをキーボード上でキーからキーへ移動するのに必要となる時間によって制限される。また、ユーザは、同時に複数のキーをタップすることはできない。特に、ユーザは、文字キーナンバー・キーなどの通常のキーと同時に、「シフト(shift )」、「コントロール(ctrl)」、「オプション(option)」、または「代替(alt )」キーなどの変更子キーをタップすることはできないが、代わりに、最初に変更子キーをタップしてから、文字キーやナンバー・キーをタップしなければならない。ユーザが、変更子を設定するために変更子キーを1度タップして、文字キーやナンバー・キーをタップしてから、変更子を解除するために再度変更子キーをタップしなければならないシステムもある(例えば、大文字の「A」を入力するために、「シフト」、「a」、「シフト」をタップする)。これは、1文字を形成するために複数の変更子が構成されなければならない場合に、特に不便である(例えば、ctrl-alt-xのように二重に変更された文字やctrl-alt-Xのように三重に変更された文字)。

グラフィック・キーボード・アプローチのもう一つの問題点は、ユーザに視覚的に大きな負担を課すという点である。機械的なキーボードを用いると、ユーザは、一般的に使用されるキーストロークシーケンスを覚え、キーボードを見なくても「感覚によって」それを実行できるのに対し、グラフィック・キーボードを使用する場合、ユーザは通常スタイラスを使用するたびにその前に、スタイラスが正しい位置にあることを確認するために、ディスプレイを見なければならない。さらに、一部には、キーボードに、機械的なキーボードに見られる変更子およびファンクション・キーの多くまたはすべてが含まれるため、グラフィック・キーボードは画面表示の大部分を占める傾向がある。

その欠点のために、ペン・ベースの入力に対するグラフィック・キーボード・アプローチはしばしばめんどうであると考えられ、ペン・ベースの計算システムでは、文字認識がうまくいかない場合や十分に信頼できない場合にのみ、代替システムとして使用される。ペン・ベース計算に対する文字認識およびグラフィック・キーボードのアプローチは、一般的には、補足手段としてではなく、相互に相入れない代替策であると見なされている。特に、文字認識アプローチによって(常に提供されているのではない場合には)約束される直観的な使いやすさをグラフィック・キーボード・アプローチが提供する速度、堅牢さ、および実施の手軽さと組み合わせることは不可能であった。

概要

ペン・ストロークとジェスチャーに関連する表現力や直観的な使い易さがあるが、複雑な文字認識ソフトウエアは必要ない。小文字「a」はスタイラスをグラフィック・キーボードの「a」のキーの上でタップすることにより入力される。大文字の「A」は「a」のキーの上で始められた上向きのストロークにより入力される。ユーザは他の方向でストロークを入れることにより、「コントロール」、「代替」、「コマンド」などの基本文字に対する他の変更子を表現できる。

目的

別の面では、本発明は、グラフィック・キーボードを使用してペン・ベース・コンピュータに文字を入力するための改良型方法を提供する。

効果

実績

技術文献被引用数
5件
牽制数
4件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

プロセッサ表示装置センサ具備する計算システムにおいて、メニュと共に、グラフィックキーボードを使用するための方法であって、キーボードのグラフィック・イメージを前記表示装置を介して表示するステップであって、前記キーボードのイメージが複数のキー表示を有する、ステップと、前記センサを用いて、前記センサに対するペン装置の移動を探知し、前記ペン装置が前記移動の実質的な部分で前記センサに対する近接状態を維持するステップと、前記移動の開始における前記ペン装置の最初の位置に従って、修正対象文字を決定するステップと、実質的な移動を検出しない前記最初の位置を検出した後の時間間隔内で、前記表示装置にメニュを表示するステップであって、該メニュは、変更子キーを表す複数のアイテムの表示を有する、ステップと、前記メニュのアイテムの一つを示す方向に沿った前記移動の間に前記ペン装置によってなされたパスに従って変更子を決定するステップと、前記プロセッサを使用して、前記指定されたアイテムに従って修正文字を生成するステップと、を含むグラフィック・キーボード使用方法

請求項2

請求項1記載の方法であって、(a)メニューを表示するステップが、前記変更子の表示を有する放射メニューの表示から成り、(b)変更子を決定するステップが、アイテムを指定するために前記指定装置を使用して、複数の変更子からの1つの変更子の選択から成り、(c)前記修正文字を作成するために前記プロセッサを使用する前記ステップが、前記指定されたキーに対応する文字に前記選択された変更子を適用することから成る、方法。

請求項3

プロセッサ、ポイント装置、表示装置を具備する計算システムにおいて、文字を作成するためにグラフィック・キーボードを使用するための方法であって、前記表示装置上にグラフィック・キーボード・イメージを表示するステップと、前記ポイント装置の移動を検出するステップと、前記移動の開始における前記ポイント装置の最初の位置に従って、修正対象の文字を決定するステップと、を有し、前記最初の位置を検出した後の時間間隔内で、実質的な移動を検出しない場合、前記表示装置にメニュを表示し、該メニュは、変更子のキーを表す複数のアイテムの表示を有し、更に、メニュ表示後、前記ポイント装置が移動した場合には、前記メニュのアイテムの一つを指定する方向に沿った移動の間に前記ポイント装置によってなされるパスに従って変更子を決定し、前記変更子を修正対象の文字に適用し、修正文字を提供し、前記最初の位置を検出した後の時間間隔内で、実質的な移動を検出した場合、前記移動の間に前記ポイント装置によってなされるパスに従って変更子を決定し、前記変更子を修正対象の文字に適用し、修正文字を提供する、ことを特徴とするグラフィック・キーボード使用方法。

技術分野

0001

本発明は、グラフィック・ユーザ・インタフェースに関し、特に、メニュと共にグラフィック・キーボードを使用するための方法及び文字を作成するためにグラフィック・キーボードを使用するための方法に関する。

背景技術

0002

ペンベースの計算は、ますます普及してきている。ペン・ベース・コンピュータのユーザは、ペンまたやスタイラスを使用して、一般的にはペンを使って普通の紙の上にプリントしたり、書いたりするのと類似した方法で、コンピュータの表示画面上にペンまたはスタイラスを使用して文字をプリントしたり、書き込むことにより、コマンドおよびデータをコンピュータに入力する。ある種のコマンドは、ペン・ストロークジェスチャー)として入力することができる。例えば、ワードを、それに棒線を引いて消すことによって削除したり、ファイルをそれを表すアイコンの上に「o」と書き込むことでオープンすることができる。ペン・ベースの計算の例は、サイズのパーソナルデジタル補助手段から、ノートパソコンのような小型黒板サイズの機械、壁サイズの対話型表示装置までさまざまなシステムに見られる。また、ペン・ベースのインタフェースは、ある種のコンピュータ・システムなどの元来ペン・ベースとなるように設計されていないコンピュータ・システムに付加、または改装することもできる。

0003

ペン・ベース計算の実用性は、文字認識ソフトウェアの限られた機能のために制限されている。多くのペン・ベース・システムにおいて、ユーザは筆記体の手書きで書き込むことはできず、活字体で書かなければならない。これにより、入力が遅くなる。さらに、システムによる活字体で書かれた文字の認識は難しい。結果的に、ユーザは注意深く(つまり、ゆっくりと)活字体を書かなければならず、たいていの場合、特定のウィンドウ内に、指定されたボックス内に活字体を書かなければならず、システムは各個々のユーザに特別な訓練を要求する場合がある。それでも、文字認識性能は比較的お粗末である。加えて、文字認識を使用するペン・ベース・システムは、例えばマウスなどが備えられた従来のコンピュータ・ワークステーションで実行するのに十分に適応しない。

0004

ペン・ベースの入力に対する文字認識アプローチ限界があるため、代替のアプローチが使用されることがある。このアプローチでは、視覚的には、ペン・ベースではないコンピュータ・システムに通常使用される従来の機械的な(タイプライター)キーボードに類似した、グラフィック・キーボードが・コンピュータ・ディスプレイ上に表示される。ユーザは、グラフィック・キーボードの希望キータップ打ち込む)するためにスタイラスを使用してテキストを入力する。

0005

グラフィック・キーボード・アプローチは、文字認識アプローチに対してある種の優位点を提供する。データをグラフィック・キーボードを使用して入力すると、(特に数字キーパッドを使用した場合)活字体で書き込むより速いし、正しく実施されると(つまり、グラフィック・キーが小さすぎない場合には)エラーはさらに発生しにくくなる。さらに、アプローチは、既存ソフトウェアアプリケーションに簡単に実現・統合できる。

0006

残念なことには、周知のグラフィック・キーボードには多くの欠点がある。グラフィック・キーボードは視覚的には機械的なキーボードと類似しているが、機能的にははるかに限定されている。グラフィック・キーボードを使用すると、ユーザは両手のすべての指を使用して「タッチ・タイプ」することはできないが、代わりに、機械的なキーボード上で1本の指を使ってタイプするように、ペンまたはスタイラスを用いて「探して、たたく」必要がある。グラフィック・キーボードでのタイピングスピードは、ユーザが指/スタイラスをキーボード上でキーからキーへ移動するのに必要となる時間によって制限される。また、ユーザは、同時に複数のキーをタップすることはできない。特に、ユーザは、文字キーナンバー・キーなどの通常のキーと同時に、「シフト(shift )」、「コントロール(ctrl)」、「オプション(option)」、または「代替(alt )」キーなどの変更子キーをタップすることはできないが、代わりに、最初に変更子キーをタップしてから、文字キーやナンバー・キーをタップしなければならない。ユーザが、変更子を設定するために変更子キーを1度タップして、文字キーやナンバー・キーをタップしてから、変更子を解除するために再度変更子キーをタップしなければならないシステムもある(例えば、大文字の「A」を入力するために、「シフト」、「a」、「シフト」をタップする)。これは、1文字を形成するために複数の変更子が構成されなければならない場合に、特に不便である(例えば、ctrl-alt-xのように二重に変更された文字やctrl-alt-Xのように三重に変更された文字)。

0007

グラフィック・キーボード・アプローチのもう一つの問題点は、ユーザに視覚的に大きな負担を課すという点である。機械的なキーボードを用いると、ユーザは、一般的に使用されるキーストロークシーケンスを覚え、キーボードを見なくても「感覚によって」それを実行できるのに対し、グラフィック・キーボードを使用する場合、ユーザは通常スタイラスを使用するたびにその前に、スタイラスが正しい位置にあることを確認するために、ディスプレイを見なければならない。さらに、一部には、キーボードに、機械的なキーボードに見られる変更子およびファンクション・キーの多くまたはすべてが含まれるため、グラフィック・キーボードは画面表示の大部分を占める傾向がある。

0008

その欠点のために、ペン・ベースの入力に対するグラフィック・キーボード・アプローチはしばしばめんどうであると考えられ、ペン・ベースの計算システムでは、文字認識がうまくいかない場合や十分に信頼できない場合にのみ、代替システムとして使用される。ペン・ベース計算に対する文字認識およびグラフィック・キーボードのアプローチは、一般的には、補足手段としてではなく、相互に相入れない代替策であると見なされている。特に、文字認識アプローチによって(常に提供されているのではない場合には)約束される直観的な使いやすさをグラフィック・キーボード・アプローチが提供する速度、堅牢さ、および実施の手軽さと組み合わせることは不可能であった。

発明が解決しようとする課題

0009

本発明は、ユーザが単にキーをタップすること以上のことをできるようにするグラフィック・キーボードである。本発明により、専門家ユーザは「感覚」により進むことができ、初心者ユーザは、必要時におよび必要に応じて促される。グラフィック・キーボードは、ペン・ストロークとジェスチャーに関連する表現力および直観的な使いやすさを役立てるが、複雑な文字認識ソフトウェアは必要としない。

0010

本発明のグラフィック・キーボードは、異なった種類のペン・ストロークに違うふうに対応する。例えば、小文字(lowercase )の「a 」は、グラフィック・キーボードの「a」のキーの上でスタイラスをタップすることにより入力される。大文字(uppercase )の「A 」は、「a 」のキーの上で始められた上向きのストロークにより入力される。同様に、ユーザは、他の方向でストロークを入れることによって、「コントロール」、「代替」、「コマンド」などの基本文字に対する他の変更子を表現することができる。また、明瞭な方向のストロークを使用してスペース(space )、後退(backspace )、削除(delete)、リターン(return)などの文字を表現することもできる。複数の変更子を表現するために、複数のストロークを連続して1つのキーに適用することもできる。ペン・ストロークの視覚的なフィードバックは、ペンによって作成されるマークという形式で提供可能である。ポップアップ・メニューを使用して、コマンド・ストロークおよびストローク・シーケンスの記憶を助け、容易にすることができる。

0011

別の面では、本発明は、グラフィック・キーボードを使用してペン・ベース・コンピュータに文字を入力するための改良型方法を提供する。

0012

明細書および図面の残りの部分を参照することにより、本発明の性質および利点を明らかにさらに理解することになるであろう。

課題を解決するための手段

0013

本発明の一態様は、計算システム用ユーザ・インタフェース装置であって、(a)グラフィック・キーボード・イメージを表示する表示装置を有し、(b)指定装置具備する入力ソースを有し、前記入ソースがキー情報およびパス情報から構成される入力を提供し、前記キー情報が前記グラフィック・キーボードのイメージのキーを表し、前記パス情報が前記指定装置により指定されるポイントシリーズを表し、(c)前記入力ソースにより提供される前記パス情報に応答して、出力を作成するための出力ジェネレータを有する、ユーザ・インタフェース装置である。

0014

本発明の一態様は、計算システムにおける、グラフィック・キーボード装置であって、(a)センサを有し、前記センサは前記センサに対する位置指定装置の複数の位置に応答し、(b)表示装置を有し、(c)前記センサおよび前記表示装置に連結されるプロセッサを有し、前記プロセッサは、(イ)前記表示装置とともに、キーボードのグラフィック・イメージを表示し、前記イメージは、それぞれのキーが前記イメージ内での位置と対応するような複数のキーから構成され、(ロ)前記センサから位置情報およびパス情報から構成される入力を受け取り、前記位置情報が前記位置指定装置の前記複数の位置の内の1つの選択済み位置から構成され、前記パス情報が前記位置指定装置の前記複数の位置の位置のシリーズを構成し、前記シリーズが前記センサに対する前記位置指定装置の相対位置を表し、(ハ)選択された位置を決定するために前記イメージ内の任意の位置と前記選択された位置を相関させ、(ニ)前記選択された位置を、選択されたキーを決定するために前記複数のキーの内の1つのキーと関連付け、(ホ)コマンドを決定するために、前記パス情報を解釈し、(ヘ)出力を作成し、前記出力が、前記コマンドを前記選択されたキーに適用することにより決定された文字、および前記選択されたキーとは関係の内前記コマンドを実行することにより決定される文字から構成されるグループから選択される、ことを具備するグラフィック・キーボード装置である。

0015

本発明の一態様は、プロセッサ、センサ、表示装置、およびバッファを具備する計算システムにおいて、文字を作成するためにグラフィック・キーボードを使用するための方法であって、(a)前記表示装置上にグラフィック・キーボード・イメージを表示するステップと、(b)前記センサを用いて、前記センサに対するペン装置の移動を探知し、前記ペン装置が前記移動のかなりの部分で前記センサにもっとも近いままで維持されるステップと、(c)前記移動に対応して文字を作成するために前記プロセッサを使用するステップと、(d)このようにして作成される前記文字を前記バッファ内で受け取るステップと、を含むグラフィック・キーボード使用方法である。

発明を実施するための最良の形態

0016

1.はじめに
本発明は、異なった種類のペン・ストロークに違うふうに応答する改良型グラフィック・キーボード用のシステムおよび方法を提供する。ユーザは、適切なストロークを適用することにより、複数のキーを同時に押すことによって機械的なキーボードで入力される文字を容易に入力することができる。また、ユーザは、スペース、後退、削除、リターンなどのある種の頻繁に使用されるキーをキーボードの任意の位置から入力することができる。ペン・ストロークを使用すると、タイピングはさらに容易で速くなり、ユーザに課される視覚的な負担も減少し、キーボードが画面表示上で占めるスペースも減らすことができる。

0017

2.例
本発明を理解するためには、図1−10に描かれるように、その使用のいくつかの図解例で始めることが有益である。本発明に従ったサンプルのグラフィック・キーボードの表示されたイメージは、図1に示されている。ペンまたはスタイラスを使用してキーのいずれかをタップすると、機械的なキーボード上で類似したキーを押すのと同じ効果がある。したがって、小文字、数字、またはピリオドコンマのような別の未修正文字を入力するためには、ユーザは単に希望のキーをタップするだけである。

0018

大文字を入力する場合には、タップする代わりに、ユーザは希望のキー上で始めて上向きのストロークを作成する。例えば、図2に図解されるように、「a 」キー上をタップすると「a 」という結果となる。「a 」上での上向きのストロークは「A 」(図3)という結果になる。

0019

ユーザは、同様な方法で、コントロール、代替、オプション、またはコマンドなどの他の変更子キーにアクセスする。例のマッピング図4に示される。図4のマッピングに従うと、右側のストロークは、コントロール(「ctrl」)変更子を示す。このようにして、文字「c 」上で始められる右向きのペン・ストロークによって、グラフィック・キーボードは文字「ctrl-c」を出力することになる。左側のストロークは、オプション変更子を示し、下向きのストロークは、コマンド変更子を示す。

0020

変更子は容易に組み合わせることができる。例えば、いったん図4のマッピングを適用すると、上向きのストロークが後に続く、文字「c 」で始まる右側のストロークは、「ctrl-c」とは異なる「ctrl-C」を表現する。これは、図5に図解される。

0021

もう一つのストロークの方向は、ある出力の頻繁に使用されるキーを置き換えるために使用することができる。例えば、斜めの方向のペン・ストロークは、スペース、後退、削除、およびリターンを表現するために使用することができる。これらのコマンドの考えられるレイアウトが、図6に示されている。このクラスのストロークは、図3、4、および5に関係して上述される変更子ストロークと、これらのストロークの意味がストロークが作成される場所によって影響されないという点で、異なっている。したがって、斜めの上および左に向かうストロークは、それがグラフィック・キーボードの「a 」キー、「c 」キー、またはそれ以外のキー上で作成されるかどうかには関係なく、図6のマッピング内で後退として解釈される。

0022

視覚的なフィードバックは、ペン・ストロークをグラフィック・キーボードに適用する際にユーザに役立つ。ユーザがペンを画面を横切って使用すると、ラインが画面上に表示され、まるでペンが画面上にマークを残すインクを含んでいるかのように、ペンがどこを通ったかを示す。いったんペン・ストロークが認識されると、文字が入力され、「インクの軌跡」は消える。これは、図8などに図解される。

0023

図7−10のそれぞれが、ユーザがどのようにして入力を本発明のグラフィック・キーボードに入力するのかを示す図のシリーズである。図7の2つの図のシリーズは、ユーザが本発明のグラフィック・キーボードを使用して小文字を入力するのを示している。ユーザは、ペンまたはスタイラスを用いてグラフィック・キーボードの希望のキーをタップすることによってこれを行う。さらに正確には、ユーザは、ペンがキーボード・イメージ内の希望のキーの位置に近い画面表面をタップするポイントで、グラフィック・キーボードのキーボード・イメージが表示される画面の表面に対してペンをタップする。

0024

図7の第1の図では、ユーザはペンを瞬間的に入力対象の文字またはその他の文字に対応するキー上に置く(この場合は「a 」)。キーボード、ペン、およびユーザの図の隣の小さな長方形で表されている文字バッファは、この段階で空である。第2の図では、ユーザはペンをグラフィック・キーボードから取り除き、それによってタップする動作を完了する。グラフィック・キーボードは、文字「a 」を作成し、それを文字バッファに送る。強調表示は、表示から消える。

0025

図8の3つの図のシリーズは、ユーザが本発明のグラフィック・キーボードを使用して大文字を入力するのを示している。ユーザは、グラフィック・キーボードの希望のキーの上で上向きのストロークまたはマークを作成することによりこれを行う。

0026

図8の第1の図では、ユーザはペンまたはスタイラスを入力対象の文字に対応するキーの上に置く(この例では「A 」)。キーは、表示で強調表示される。文字バッファは空である。

0027

図8の第2の図では、ユーザは、ペンをキーボードに対して押さえつけながらも、ペンを「上向きに」−−つまり、キーボードのいちばん上の行に向かって−−移動する。ユーザは、ペン・ポイントと、キーボード・イメージが、実質上、上向きの移動の間表示される画面表面との間の接触を維持する。これが、ペンのドラッギングと言う。表示装置はユーザがペンをドラッギングしたラインまたはマーク(インクの軌跡)を示す。文字バッファは、入力対象の文字はまだ認識されていないので、この段階では空のままである。キーは、表示で強調表示されたままである。

0028

図8の第3の図では、ユーザがキーボード表面からペンを取り除き、上向きのストロークを完了する。強調表示と同様にラインまたはマークは消え、上向きのストロークに対応してグラフィック・キーボードによって作成される文字は文字バッファに表示される。

0029

図9の3つの図のシリーズは、ユーザが本発明のグラフィック・キーボードを使用してコントロール文字を入力するのを示している。「コントロール文字」は、文字キーを押している間に「コントロール」つまり「ctrl」とマークされる変更子キーを押し下げることによって、従来の機械キーボードで作成される。例えば、文字「a 」のキーを入力する間に「ctrl」キーを押すと、本発明のグラフィック・キーボード上で「ctrl-a」または「^a 」として作成することもできる「コントロール-a」と呼ばれる文字が作成され、ユーザはグラフィック・キーボードの希望のキーの上に右方向のストロークまたはマークを作成することにより、コントロール文字を入力することができる。

0030

図9の第1の図では、ユーザは、入力文字に対応するキー(この例の文字「^a 」に対応するキー「a 」)上にペンまたはスタイラスを置く。キーは、表示で強調表示される。文字バッファは空である。

0031

図9の第2の図では、ユーザがペンを右側にドラッギングする。ユーザは、ペンをキーボードに押し続けながらペンを右側に移動し、ポイントと、キーボード・イメージが右向きの移動を通して実質上表示される画面の表面との間の接触を維持する。表示装置は、ユーザがペンをドラッギングしたラインまたはマークを示す。キーは強調表示されたままである。入力対象の文字がまだ認識されていないため、文字バッファはこの段階で空のままである。

0032

図9の第3の図では、ユーザは、キーボード表面からペンを取り除き、右向きのストロークを完了する。キーの強調表示と同様に、ラインまたはマークが消え、右向きのストロークに対応してグラフィック・キーボードによって作成される文字が文字バッファに表示される。

0033

図10は、異なった方向のストロークを組み合わせる複合ストロークを作成することにより変更子を組み合わせることができることを示している。図10の3つの図のシリーズは、ユーザが本発明のグラフィック・キーボードを使用してコントロール大文字を入力するのを示している。「コントロール大文字」は、文字キーを押しながら、同時に「シフト」および「ctrl」変更子キーを押し下げることによって、従来の機械的なキーボード上で作成される。例えば、文字「a 」のキーを入力する間に「シフト」および「ctrl」キーを押すことにより、「ctrl-A」または「^A 」としても作成することが可能な「コントロール−シフト-a」と呼ばれる文字が作成される。本発明のグラフィック・キーボード上では、ユーザは、グラフィック・キーボードの希望のキー上に右向き−上向きの複合ストロークまたはマークを作成することにより、コントロール大文字を入力することができる。

0034

図10の第1の図では、ユーザは、入力対象の文字に対応するキー(この例では文字「A 」に対応するキー「a 」)の上にペンまたはスタイラスを置く。キーは表示で強調表示される。文字バッファは空である。

0035

図10の第2の図では、ユーザは、右に一定距離ペンをドラッギングしてから、一定距離「上向きに」−−つまり、キーボードのいちばん上の行に向かってドラッギングする。ユーザは、ペン・ポイントと、キーボード・イメージが右向きおよびその後の上向きの移動を通して実質上表示される画面の表面との間の接触を維持する。キーは、表示で強調表示されたままである。入力対象の文字がまだ認識されていないため、文字バッファは、この段階で空のままである。

0036

図10の第3の図では、ユーザは、ペンをキーボード表面から取り除き、複合ストロークを完了する。キーの強調表示と同様に、ラインまたはマークが消え、ストロークに対応してグラフィック・キーボードによって作成される文字が文字バッファに表示される。

0037

図10の例は上向き部分に先行する複合ストロークの右向き部分を示しているが、同じ「^A 」文字は、ストロークの上向き部分が右向き部分の前に実行されると作成される。他の方向で複合マークを作成することにより、他の種類の変更子を組み合わせることもできる。例えば、左向きのストロークは、「代替」変更子を示し、左向き−上向きまたは上向き−左向きの複合ストロークは、「代替」と「シフト」(大文字)変更子を組み合わせ、左向き−右向きまたは右向き−左向きの複合ストロークは「コントロール」と「代替」変更子を組み合わせる。

0038

3.マーキング・メニュー
マーキング・メニューと呼ばれる対話技法は、説明される特定の実施例での本発明のグラフィック・キーボードでのペン・ストロークの提示およびそれに対する応答を実現するために使用される。本項では、技法を一般的に説明し、第4項で、技法が本発明に当てはまるので、より具体的に技法を説明する。マーキング・メニュー技法の完全な説明は、完全に規定されるように参照により本明細書に取り入れられる1993年、トロント大学、コンピュータ・サイエンス学部の博士論文である、ゴードン・P・クルテンバッハ(Gordon P. Kurtenbach)の「マーキング・メニューの設計および評価」に記載される。

0039

3.1マークおよび関連する概念
マーキング・メニュー技法は、初心者ユーザと専門家ユーザを同様にサポートし、ユーザが初心者から専門家成長するのを助けるための効率的なメカニズムを提供することを意図している。マーキング・メニューでは、ユーザがペンまたはスタイラスを用いてコンピュータ表示装置表面上に「書き込む」に従って、コンピュータが、その色や陰影背景ピクセルの色や陰影と対照を成すピクセルの軌跡(一般的にはインクの軌跡と呼ばれる)を残すことによりインクの現れをシミュレーションする。

0040

マークとは、ペンが押されてから表示を横切って移動されると、特殊な「インク」の色や陰影に変化する一連のピクセルである。インク・カラーに変化するピクセルとは、ペンが表示を横切って移動されるにつれて、ペンの先端の直下にあるピクセルのことである。手書きを含む、意味のない落書きから意味のあるラインの描画や記号までさまざまな自在画が、マークの例である。マークを描画する動作がマーキングと呼ばれる。

0041

マークは、ペンだけではなく他の種類の入力装置を使用しても作成することができる。例えば、マウスは、マウスボタンが押されマウスがドラッギングされると、インクの軌跡を追跡記号の後に残すことができる。ペンとタブレットを使用するシステムもある。この場合、マークは、表示装置の代わりにタブレット上に書き込むことによって表示装置上で作成される。トラックボールを使用するそれ以外のシステムもある。

0042

マーキング・メニューは、コマンドおよびパラメータとしてユーザが作成する多様なマークを解釈することができるペン・ベース計算システムおよびインタフェースに応用できる(これは、ユーザのマークがシステムによって認識されず、ユーザに役立つための注釈として厳密に役立つシステムと対照的である)。

0043

ペン・ベース計算についての参考文献の多くは、マークをジェスチャーと呼んでいる。ただし、ジェスチャーという用語はマーキング・メニューというコンテキストでは不適切である。マークの作成に物理的な仕草が必要なことは本当であるが、システムによって解釈されるのは、マークそれ自体である。例えば、「X 」マークは、マウスの代わりにペンを用いて実行された場合、完全に異なった物理的な仕草を必要とする。いくつかのマークは入力装置を使ったぎこちない物理的な仕草を必要とする場合があるため、ジェスチャーは、マーキングの重要な一面である。ただし、2つの用語は区別することができる。マークという用語の方が、ペン・ベース・コンピュータ・システムまたは用紙とペンを真似るアプリケーションにはより適切であるため、これ以降マークを使用する。

0044

3.2マークを使用する理由
通常の人間−コンピュータのインタフェースは、入力機能出力機能という観点では非対称的である。視覚、聴覚、および触覚などの数多くのコンピュータ出力モードがある。大部分のコンピュータは、広範囲視覚モード活用する。数千もの色を使う高解像度イメージが、素早く、ユーザにとって意味のあるやり方で表示される。対照的に、コンピュータのユーザの入力を探知する能力は限られている。人間は、言語と接触などの幅広い伝達技能を持っているが、大部分のコンピュータはこれらの小さなサブセットを探知するにすぎない。例えば、キーボードは、指の(圧力ではないが)押しだけしか探知しないし、マウスは非常に単純な腕または手首動きしか探知しない。したがって、ペンのコンピュータ入力手段としての到来により、マークを使用して入力帯域幅を増やす機会が生まれる。

0045

マークを使用する主要な動機は、マウスとキーボード・インタフェースの不適当さである。この例には、ボタンの押しと位置情報によって制御されるアプリケーションがある(ボタンという用語はここではメニュー・アイテムダイアログ・ボックス、アイコン、キーボード上のキーなどを記述する総称的な方法として使用される)。これらの種類のシステムの専門家ユーザは、ボタン・インタフェースが効率的でないために、インタフェースが不適当であることに気づく。効率のためにボタンを無視する対話技法の存在がこの証拠である。インタフェースに精通している専門家は、利用できるコマンドのセットを知っている。彼らは、利用可能なコマンドを彼らに思い出させるメニューは必要としていないし、メニュー表示を使用してコマンドを呼び出すことが非常に長たらしくて飽き飽きすることであることに気づく。

0046

設計者は、いくつかの方法でこの問題に取り組んできた。1つの解決策は、専門家がコマンドに直接アクセスできるようにするアクセラレータ・キーである。アクセラレータ・キーは、押されると、直ちにメニュー・アイテムまたはボタンに対応する機能を実行するキーボード上のキーである。その意図は、アクセラレータ・キーを使うことによって、専門家ユーザが、メニュー・アイテムまたはボタンを表示選択するのに必要となる時間を節約することである。多くのシステムは、ユーザがアクセラレータ・キーと機能の対応を学習し、記憶するのに役立つように、メニュー・アイテムやボタンの隣にアクセラレータ・キーの名称を表示する。

0047

アクセラレータ・キーには問題点がある。アクセラレータ・キーと機能の間の任意のマッピングを学習し、記憶するのは困難である。アクセラレータ・キーと機能の間にニモニックを設定することもできるが(例えば「オープン」のためのコントロール-o)、ニモニックはアクセラレータ・キーの数が増えるにつれてすぐに足りなくなる。異なった機能に1つの共通のキーを使用するさまざまなアプリケーションや、1つの共通の機能に異なったアクセラレータ・キーを使用するさまざまなアプリケーションによって、さらに混乱が生じることがある。その結果、専門家は、アプリケーションに応じたキーと機能の間の任意のまたは複雑なマッピングを記憶しなければならない。

0048

専門家ユーザをサポートするもう一つの方法は、直接処理インタフェースに加えてコマンド・ライン・インタフェースを供給することである。ただし、特に、コマンド・ライン・インタフェースは、直接処理インタフェースとは根本的に異なっているために、コマンド・ライン・インタフェースにも問題点がある。専門家になるためには、初心者はもう一つの完全に異なったインタフェースを学習しなければならない。

0049

マークは、アクセラレータ・キーおよびコマンド・ライン・インタフェースの解決策の問題点を克服する。マークは、その記号の性質のために、機能をより迅速にアクセス可能にすることができる。ボタンを押して機能をトリガするより、マークはコマンドを信号で知らせることができる。例えば、記号マークは、機能と関連付けられ、ユーザがその機能を記号を描画することによって呼び出すことができる。理論的には、マークは任意の記号または記号のシリーズを描画するのに使用することができるため、マークは物理的なボタンまたはグラフィック・ボタンを探してそれを押すより、コマンド選択のさらに迅速な方法となる。実際には、マークの数はシステムの記号を認識する能力および人間の記号セットを記憶する能力によって制限されている。にもかかわらず、小規模なセットのマークしか使用されないなら、ユーザは関連機能をただちに呼び出すことができる。

0050

また、マークは、機能を隠すのにも使用できる。ボタンによって提供されない機能は、それでもなおマークによって提供される。これは、完全な機能のインタフェースをより少ない数のボタンで可能にし、これは、代わりに利用可能な表示領域のさらに効率的な使用を意味する。さらに、多くの場合に、マークは、機能を呼び出すためのボタンよりはるかに効果的となる。

0051

マークを使用するもう一つの動機は、(空間情報時間情報などの)マークを使用しなければ表現するのが難しい概念または表現しずらい概念をより「自然な」方法で表現する方法となる、マークが持ついくつかの固有の質があるという点である。特に、マークは複数のコマンドの属性を1つのマークの中に埋め込む率直な方法となる。

0052

3.3マーキング・メニューおよび関連概念
マーキング・メニューとは、ユーザがアイテムのメニューから選択できるようにする対話技法である。選択を実行することができる2つの方法、つまりモードがある。

0053

(1)メニュー・モード このモードでは、ユーザはメニューを表示することによって選択する。ユーザは、ペンを表示装置に押しつけ、約1秒の3分の1などの短時間、待機することにより、このモードに入る。この動作は、プレスアンドウェイト(押して待つ)と呼ばれることがある。そうすると、アイテムから成る放射メニュー(またはパイ・メニュー)がペン先端の回りを中心にして表示される。放射メニューは、メニュー・アイテムがカーソルを囲む円の中に位置し、それぞれのアイテムが円のある種のセクタと関連付けられている。ユーザは、ペンの先端を希望のアイテムの部分に移動して任意のメニュー・アイテムを選択することができる。選択されたアイテムは強調表示され、選択肢は、ペンが表示装置から持ち上げられると確認される。放射メニューの中心には、中心円、一般的には直径約1センチメートルの円が強調表示されるか、強調表示されていない場合は視覚的に示されている。ペンは、メニューを選択しなくても中心円内で移動することができる。

0054

(2)マーク・モード このモードでは、ユーザは、マークを描画することにより選択する。ユーザは、ペンを表示装置に押しつけ、ただちに希望のメニュー・アイテムの方向で動かすことによってこのモードに入る。システムは、メニューを表示するのではなく、ペン先端に従ったインクの軌跡を描画する。ペンが持ち上げられると、移動の方向に対応するアイテムが選択される。

0055

図11は、それぞれ、マーキング・メニューからコマンドを選択する2つのモードを図解する2つの図を示している。図11の左側の第1の図は、メニュー・モードでメニュー選択肢を選択するユーザを示している。この例では、2つのメニューがユーザに続いて提示されている。ユーザは、ペンを第1メニューの上部右側の四分円の中にドラッギングして、「ペースト」メニュー選択肢を選択してから、ペンを画面から持ち上げずに、ペンを第2のメニューの下部四分円の中にドラッギングして「クリップボードc」メニューを選択する。この選択肢のシリーズの効果は、クリップボードCと呼ばれるクリップボード(記憶領域バッファ)からデータをペーストする(作業文書内に挿入する)ことである。第1メニューおよび第2メニューは、いくつかの実施例では、−−特に、本明細書の本発明のグラフィック・キーボードの実施例では−−図11の表示画面上に同時に表示されるとして説明を明確にする目的で表示されているが、ユーザが一度に1つのメニューしか提示されないように、第1メニューは、第2メニューが表示されると消えてしまう。

0056

図11の右側の第2の図は、ユーザが第1図と同じメニュー選択肢を選択するが、今回はマーク・モードでこれを行うのを示している。ユーザは、実質上同じペンの移動を行うので、第1図の場合と実質上同じマーク(斜めの上向き−右向きのライン・セグメントの後に下向きのライン・セグメントが続く)ではあるが、放射メニューは表示されない。この選択肢のシリーズの効果は、再び、データをクリップボードCと呼ばれるクリップボードからペーストすることである。図11の第2図は、マーキング・メニューの重要な概念を図解する。マーク・モードでマークを使用してアイテムを選択するのに必要な物理的な移動は、メニュー・モードでアイテムを選択する場合に必要となる物理的な移動を真似する。

0057

マーキング・メニューは、階層構造となる。メニュー・モードでは、メニュー・アイテムがそれに対応するサブメニューを持つ場合、ユーザは、ペンを持ち上げてアイテムを選択するのではなく、ペンを押しつけて待機し、サブメニューの表示をトリガする。サブメニューも放射メニューである。それから、ユーザは、以前に説明した方法でサブメニューからアイテムを選択することができる。マーク・モードでは、ユーザは、方向の変更がサブメニューからの選択肢に相当するマークを描画することにより選択する。図11の例は、メニュー・モードとマーク・モードを使用して階層メニューから選択する例である。第1メニューは、階層のいちばん上にある。第2メニューは第1メニューのサブメニューで、階層の中では第1メニューの下にある。

0058

このようにして、放射メニューを使用すると、さまざまな角度でのライン・セグメントのシリーズからなるマークのセットが作成される(「ジグザグ・マーク」)。階層アイテムを持たないマーキング・メニューは、厳密にまっすぐなライン・セグメントを作成する。図12は、メニュー階層の例およびその対応するマーク・セットを示す。図12の左側の図は、メニュー階層を示している。図12のいちばん上のメニューは、1、2、3、および4という4つのメニュー選択肢を含む数値メニューである。これらの選択肢のそれぞれが、選択肢a、b、c、
およびdから構成されるそれに対応する英数字サブメニューを持つ。図12の右側の図は、マーク・セットを示す。マークのラベルが、それが選択するメニュー・アイテムを示す。ドットは、マークの開始ポイントを示す。

0059

また、マークまたはマークの一部に対応するアイテムを検証することも可能である。これは、マーク確認と呼ばれることがある。この場合、ユーザは、マークを描画するが、マークの描画の最後にプレス・アンド・ウェイトする。そうすると、システムは、「まるで」選択がメニュー・モードで実行されているかのように、マークに沿って放射メニューを表示する。図13は、3つの階層レベルを持つメニュー内でのこの例を示す。図13の左側の図では、ユーザは、マークの最初の部分を描画してから、ペンを押しつけた状態で、システムがそこまでの選択を認識するのを待機する。図13の右側の図では、それから、システムはマークについての解釈を表示し、選択を完了するためにメニュー・モードに入る。

0060

メニュー階層でのバックアップやメニュー・モードでのアイテムの再選択など、マーキング・メニューから選択すると、他の種類の動作が起こることもある。

0061

3.4 まとめ
以下に、マーキング・メニューを貴重かつ独特な対話技法とする設計特徴を要約する。マーキングメニューは、
・キーボードを使用しなくても、メニュー選択の加速を可能にする。
・すべてのメニュー・アイテムでの加速を可能にする。
・メニュー選択および加速された選択の間の相違点を最小限にする。
・同じ入力装置を使用したポインティングおよびメニュー選択加速を可能にする。
・描画が容易で高速なマークを活用する。
・メニュー・アイテムとマークの対応を学習し、記憶するための空間的な方法を使用する。
・「プラグイン(plug-in )」ソフトウェアモジュールとして実現可能である。

0062

従来のメニューを使用して、(例えばマウスを使用して)ユーザは、メニューからアイテムを選択するために、カーソルを特定の絶対画面位置または相対画面位置まで移動する。マーキング・メニューを使うと、メニュー選択を行わせるのは、移動先の特定の位置ではなく、移動の方向である。例えば、カーソルを画面上で上向きに移動すると、第1メニュー・アイテムが選択でき、下向きに移動すると、第2メニュー・アイテム、右向きに移動すると、第3メニュー・アイテム、左向きに移動すると、第4メニュー・アイテムが選択できる。追加の選択は、斜めのカーソルの移動と対応させることができる。マーキング・メニューは、移動の各方向が一意のメニュー選択に対応するように、直線状ではなく(「ペン・メニューとして」)放射状に配列される。

0063

マーキング・メニューは、その幾何学上の性質により、ユーザが記憶しやすくなっている。ユーザは、メニューを通して空間的な通路を学習し、記憶する。このような通路は、メニュー選択を置き換えるのに通常使用されるアクセラレータ・キーの組み合わせより覚えやすい。複数のレベルの階層メニューから選択肢のシーケンスに対応するアクセラレータ・キーのシーケンスがいくぶん任意であるのに対し、中間マーキング・メニュー上をスキップする際にペンによってトレースされるパスは、メニュー表示時にそれらを選択するのに使用されるのと同じである。つまり、マーキング・メニューは、初心者ユーザにメニューを表示し、専門家ユーザには単にマークを作成させる。

0064

4.本発明でのマーキング・メニュー
本発明に適用されるように、マーキング・メニュー技法は、メニューを、ペン・ストロークを記憶していないユーザを補助するのに利用できるようにし、メニューをそれらを必要としないユーザから隠す。任意の時点で、ユーザは、ペンを横に移動せずに押しつけることにより、利用可能な選択肢を表示する放射ポップアップ・メニューを起動することができる。それから、ユーザは、ペン(すなわち、入力探知表示画面または入力タブレットと接触している、ペンのポイント、つまり先端)を希望の選択肢が占めるパイの「スライス」の中に移動することにより、希望の選択を行うことができる。横に移動しなくても単にペンを表示画面から持ち上げるだけで、メニューは消え、選択は行われない。

0065

図14−17は、本発明のコンテキストで適用されるマーキング・メニューの図解例を示す。図4および6の例で定義される8つのストロークに対応する放射メニューまたはパイ・メニューが図14に示される。ストロークの方向は、パイのスライスに実質上対応する。

0066

図15は、ユーザが、メニュー・モードで使用されるマーキング・メニューで、本発明のグラフィック・キーボードを使用して「^a」を入力する図のシリーズである。

0067

図15の第1の図では、ユーザは、ペンを押し、ペンをグラフィック・キーボードの「a」のキーの上に押しつける。より正確には、ユーザはペンを押し、グラフィック・キーボードのキーボード・イメージの「a」キーの位置で表示画面に対してペンを押しつける。キーは、表示装置で強調表示される。その後、「大文字」、「オプション」、「コントロール」、および「コマンド」という変更子の4つの選択肢を示す放射メニューが画面上に表示され、キーボード・イメージ上でオーバレイされ、ペンの先端の位置の回りでだいたいセンタリングされる。他の変更子または他のメニュー選択肢は、代替実施例で提供できる。また、この時点では、ユーザは単にペンを画面から持ち上げ、メニュー表示を取り消すことができ、その場合、グラフィック・キーボードは文字を作成しない。

0068

図15の第2の図では、ユーザは、画面とペンを接触させたままでペンを右に移動し、「コントロール」変更子を選択する。放射メニューは表示されたままである。キーは強調表示されたままである。

0069

図15の第3の図では、ユーザは、ペン・ポイントを画面から持ち上げる。これによって、グラフィック・キーボードが「^a」文字を作成するように、「コントロール」変更子が「a」キーに適用される。放射メニューは、キー強調表示と同様に消え、キーボード・イメージがそれが本来表示されたように残る。

0070

図16は、ユーザが、メニュー・モードで使用されるマーキング・メニューで、本発明のグラフィック・キーボードを使用して「^A」文字を入力する図のシリーズである。

0071

図16の第1の図では、ユーザはペンを押し、グラフィック・キーボードの「a 」キー上にペンを押しつける。より正確には、ユーザはペンを押し、グラフィック・キーボードのキーボード・イメージの「a 」キーの位置の表示画面に対してペンを押しつける。その後、「大文字」、「オプション」、「コントロール」、および「コマンド」という4つの選択肢を示す放射メニューが画面に表示され、キーボード・イメージ上にかぶせられ、ペンの先端の位置の回りにほぼ中心をおく。

0072

図16の第2の図では、ユーザは、ペンを画面と接触させたまま、右に移動し、「コントロール」変更子を選択する。選択されたメニュー選択肢(「コントロール」変更子)が強調表示される。放射メニューは表示されたままで、キーは強調表示されたままである。

0073

図16の第3の図では、ユーザは、ペンを静かに持ち、ペンを「コントロール」変更子の選択の上で以前到達した位置にペンを維持する。その後で、4つの選択肢の第1メニューは消え、この文字に適用するのに利用可能な変更子の残りの利用可能選択肢−−「オプション」と「コマンド」−−を示す第2放射メニューによって置き換えられる。この第2メニューは、キーボード・イメージ上にかぶせられ、ペンの先端の位置の回りにほぼ中心をおく画面に表示される。キーは、この例では、メニューによって部分的にはっきりしていないが、強調表示されたままである。

0074

図16の第4の図では、ユーザはペンを上向き、つまり画面表示のいちばん上に向けて、移動し、「大文字」変更子を選択する。選択されたメニュー選択肢は強調表示される。放射メニューは表示されたままで、キーは強調表示されたままである。

0075

図16の第5の図では、ユーザはペンを画面から持ち上げる。これによって、グラフィック・キーボードが「A 」文字を作成するように、「コントロール」と「大文字」変更子が「a 」キーに適用される。キー強調表示と同様に、放射メニューは、消え、キーボード・イメージが本来表示されていたように残る。

0076

メニューは、図16に示される2つのレベルよりさらに深いレベルまでネストすることができる。例えば、変更子の3つのレベルを1文字に適用し、グラフィック・キーボードを使用して「コマンド−オプション-A」または「コントロール−代替-X」などの文字を作成することができる。

0077

図17は、本発明の実施例での8アイテム・マーキング・メニューからの選択の例を示す図のシリーズである。3つのメニュー選択には、「大文字」(シフト)、「オプション」、「コントロール」、「コマンド」、「後退」、「スペース」、「リターン」、および「削除」が含まれる。

0078

図17の第1の図では、文字バッファは、ユーザが削除を希望する文字「A 」を含む。この必要のない文字は、小さな長方形で表されているカーソル位置の直後にある。ユーザはペンを押し、ペンを、グラフィック・キーボードのキーボード・イメージのキー(ここでは「d 」)の位置での表示画面に対して押しつける。キーは表示装置で強調表示される。その後で、「大文字」、「オプション」、「コントロール」、および「コマンド」という変更子の4つの選択肢−−および「後退」、「スペース」、「リターン」、(図17では図示されていない)「削除」という特殊文字の4つの選択肢−−を含む、8つの選択を表示する放射メニューが、画面上に表示され、キーボード・イメージ上でかぶせられ、ペンの先端の位置の回りにほぼ中心をおく。この時点で、ユーザは単にペンを画面から持ち上げて、メニュー表示を取り消すことができ、その場合、グラフィック・キーボードは文字を作成しない。

0079

図17の第2の図では、ユーザは、ペンを画面と接触させたまま、放射メニューの「後退」アイテムの方向で、ペンを上向きおよび左に斜めに移動する。これにより、「後退」文字が選択される。放射メニューは表示されたままである。キーは強調表示されたままである。

0080

図17の第3の図では、ユーザは、ペン・ポイントを画面から持ち上げる。これによって、グラフィック・キーボードは「後退」文字を作成し、この実施例ではバッファ内の必要の内文字が消去され、カーソル位置が左側に移動する(その他の実施例では、「後退」文字、または「^h 」などの相当するものがバッファ内に置かれ、これを消去として解釈するかどうかは、グラフィック・キーボードから入力を受け取るアプリケーション・プログラムにまかされる)。キーボードの強調表示されたキーは、無視される。キーの強調表示と同様に、放射メニューは、消え、キーボード・イメージはそれが本来表示されたように残る。

0081

本発明で使用されるマーキング・メニューの追加例は、図7−10に見られた。ただし、図15−17で図解されたマーキング・メニューとは異なり、図7−10のマーキング・メニューはマーク・モードにあるため、放射メニューは表示されない。

0082

本発明のいくつかの実施例では、マーキング・メニューはオプションである。メニューは、マークをメニューを使用しなくても使用できるように、専門家ユーザによってオプションでディスエーブルできる。いくつかの実施例では、マークを、見えないインクで描画されたかのように、見えなくすることもできる。ユーザによって描画されるペン・ポイント(またはマウス・カーソル、または他の入力装置の代表)のパスは、グラフィック・キーボードによって、マークが描画されたかのように解釈されるが、インクの軌跡は画面には表示されない。

0083

5.システム構成要素
図18は、本発明のグラフィック・キーボードの実施に適切なシステム1を図解する。システム1は、プロセッサ(CPU)5、プロセッサ5に連結される記憶装置6、プロセッサ5により実行されるユーザ・インタフェース・ソフトウェア7、ペン10、表示画面22に密接に連結される入力センサ21を具備する入力探知表示装置20、文字バッファ30、および遅延タイマ45を搭載するイベントドライバ40を具備する。画面22は、複数のキー26を含むキーボード・イメージ25を表示する。センサ21、画面22、バッファ30、およびイベント・ドライバ40は、操作上、プロセッサ5に接続され、ユーザ・インタフェース・ソフトウェア7にアクセス可能である。システム1は、通常、さらに、プロセッサ5により実行されるオペレーティング・ソフトウェア(図示されていない)およびシステム1のさまざまな構成要素を相互接続するためのハードウェア(図示されていない)を具備する。システム1の一部ではない、アプリケーション・プログラム50は、バッファ30を経由してシステム1により(すなわち、グラフィック・キーボードによって)供給される文字を受け入れる。

0084

使用する場合、システム1は、入力センサ21に適用されるペン10からのタップおよびストロークという形で入力を受け取る。ユーザ・インタフェース・ソフトウェア7に従った命令を実施するプロセッサ5が、ペン・ストロークおよび特にペン・タップおよびマークが対応する文字の意味を判断する。プロセッサ5は、このようにして判断された文字のストリームをバッファ30に出力し、オプションで、インクの軌跡およびポップアップ・メニューなどの視覚的なフィードバックを、画面22に出力する。それから、バッファ30に記憶された文字は、(図18に示されるように)プロセッサ5によって、または(図示されたいない)追加の1台または複数のプロセッサによって、実行できるアプリケーション・プログラム50によるさらなる処理のために送られる。アプリケーション・プログラム50は、オプションで、やはり画面22に表示可能な、その視覚表示装置の一部として文字をエコーすることができる。

0085

今度は、システム1のある種の要素を、さらに完全に記述する。プロセッサ5は、中央処理装置(CPU)である。一般的には、それは、メインフレーム、ワークステーション、またはパーソナル・コンピュータの一部である。プロセッサは、いくつかの実施例で複数の処理要素を具備することがある。

0086

ペン10は、入力をグラフィック・キーボードに提供するためにセンサ21といっしょに使用される。ペン10は、センサ2とともに使用するために適切ないかなる器具であってもよい。例えば、装置20が触感表示画面である場合、ペンに単純なプラスチック、金属、木、またはその他の1つまたは複数の材質のスタイラスを使用できる。別の例では、装置20が光感知画面であるならば、ペンにライト・ペンを使用できる。いくつかの実施例では、通常のペンまたは鉛筆レーザポインタ、またはユーザの指でさえペン10としての役割を果たすことができる。

0087

センサ21は、ペンが装置20と接触しているかどうかを検知するために使用され、接触している場合には、装置20に関してペン10の位置を決定するために使用される。つまり、センサ21は、ペン10が「上向き」なのか「下向き」なのか、およびペン10が表示画面22に関して、特にキーボード・イメージ25に対してどこにあるのかを判断するのに、使用される。センサ21は、センサ21に相対するペン10の位置が、画面22に相対するペン10の位置と一致するように、実質上、画面22上にかぶさる(実施例によっては、下になる)。

0088

前述のマーキング・メニュー技法は、ペン10が、通常のボールペンまたは万年筆が用紙に影響するのと類似した方法で画面22によって示される表示に影響することを前提としている。つまり、ペン10は、画面22上にインクの軌跡を残す。したがって、ユーザが、ペン10を使用して入力センサ21上で、1つのストローク、または左向きに進んでから上向きに進むストロークのようなストロークの組み合わせを作成すると、L字形のマークなどの対応するマークが画面上に表示される。

0089

キーボード・イメージ25は、ユーザ・インタフェース・ソフトウェア7に従ってプロセッサ5によって作成され、画面22上で表示されるグラフィック・イメージである。キーボード・イメージ25は、標準的な QWERTY キーボード・レイアウトでのキー26を含むとして図18に示される。他の種類のキーボードおよびレイアウトを、本発明の範囲内で使用することは可能である。例えば、キーボード・イメージ25が、ファンクション・キーを含んだり、Dvorakキーボードのような非標準型キーボード・レイアウトのイメージである場合がある。いくつかの実施例では、キーボード・イメージ25は、数値キーパッド鍵盤である場合もある。

0090

図18に示されるようなキーボード・イメージ25は、「シフト」、「コントロール」、「代替」、または「コマンド」などの変更子キーは含まない。本発明によれば、これらのキーは不必要である。その機能性は、本発明においては、適切なペン・ストロークにより置き換えられている。したがって、キーボード・イメージ25は、画面20で追加キーが存在した場合より狭い面積を占める。

0091

バッファ30は、ユーザ入力に応答してグラフィック・キーボードによって作成される文字を記憶する。一般的には、これらの文字は、アプリケーション・プログラム50などのアプリケーション・プログラムによって入力として受け入れられる。画面22は、オプションで、バッファ30に記憶される文字、またはアプリケーション・プログラム50が受け取る文字を表示(「エコー」)することができる。バッファ30は、記憶装置6を使用して実現できる。それは、ユーザ・インタフェース・ソフトウェア7およびアプリケーション・プログラム50の両方によってアクセス可能である。

0092

イベント・ドライバ40は、プロセッサ5、入力センサ21、および遅延タイマ45に接続され、ユーザ・インタフェース・ソフトウェア7によってアクセス可能である。一般的には、イベント・ドライバ40および遅延タイマ45は、プロセッサ5によって実行されるオペレーティング・システム・ソフトウェアで実施される。それらは、また、ハードウェアにおいて、またはいくつかの実施例では部分的にハードウェアで実現することができる。

0093

5.1イベント駆動型アーキテクチャ
イベント・ドライバ40は、グラフィック・キーボードに、ペン10に対応する、ある種のイベントや状態の変化について知らせるために使用される。具体的には、イベント・ドライバ40は、次のイベントを作成することができる。

0094

PenDown - このイベントは、ペン10が押されると、つまりペン10が新規にセンサ21と接触させられると、作成される。

0095

PenDrag - このイベントは、ペン10が押されたままの状態でペン10の位置が変化すると、作成される。PenDrag イベントは、ペンが認識可能な量、つまり1ピクセル移動するたびに、作成される。

0096

PenUp - このイベントは、ペン10がセンサ21から持ち上がられると(センサ21との接触から外されると)、作成される。

0097

PenStill -このイベントは、ペン10がセンサ21上で押されたままの状態で、ペン10のセンサ21に対する位置が、E 秒間、かなりの量(通常は、2ミリメートル)変更しない場合に作成される。この場合、E は遅延時間である。E が固定時間値である実施例もあれば、ユーザによって調節可能な実施例もある。一般的には、E は、約0.3秒から1 秒の範囲である。遅延タイマは、ペン10が押しつけられたまま、静かに保たれていた時間の長さを決定するのに使用される。タイマ45は、経過時間がE秒に達すると、イベント・ドライバ40に信号を送り、それによって、イベント・ドライバ40はPenStillイベントを作成する。タイマ45は、ペン10が押されているか、移動と停止するとカウントを開始し、ペン10が持ち上げられるか、移動を開始すると、リセットされる。

0098

4種類のイベントが、本発明のグラフィック・キーボードの異なる動作を作成するために多様な組み合わせで使用される。例えば、ユーザが、「^a 」などの変更された文字の入力を希望すると仮定する。ユーザは、グラフィック・キーボードのキー上でペンを押すことによって文字を入力するプロセスを開始し、それによってイベント・ドライバ40がPenDown イベントを作成する。それから、ユーザは、ペンを押しつけながら、ペンをドラッギングすることにより、マークを作成する。そうする過程で、ユーザは、イベント・ドライバ40に多数のPenDrag イベントを作成させる。オプションで、ユーザは、システムにメニュー(いちばん上のメニューまたはサブメニュー)を表示するようにプロンプトするためにマーキングの間に休止することができる。これによって、イベント・ドライバ40は、PenStillイベントを作成する。最後に、マークを完了するために、ユーザはペンを画面または入力センサから持ち上げ、それによってイベント・ドライバ40はPenUp イベントを作成する。それ以降、ユーザのマークは、PenDown イベントの時点でのペンの位置によって決定される基本的な文字およびマークによって決定される変更子(複数の場合がある)に従って、プロセッサ5によって処理される。一般的には、これにより、希望の文字が文字バッファ30に出力される。

0099

5.2ソフトウェア環境
業者によって理解されるように、本発明のグラフィック・キーボードは、一般的には、オペレーティング・システムまたは操作環境のコンテキストで、グラフィック・ユーザ・インタフェースとして使用される。環境は、プロセッサ5により実行されるソフトウェアによってサポートされる。一般的には、環境は、ウィンドウをキーボード・イメージ25に関連付けたり、このウィンドウの画面22の任意の位置で表示したり、ペン10に関連するイベントがこのウィンドウ、したがってグラフィック・キーボードに関係しているかどうかを判断したり、ペン10からの位置情報をこのウィンドウ、それからグラフィック・キーボードに向けたり、文字バッファ30の出力をアプリケーション・プログラム50のアプリケーション・プログラムに向けたりすることなどのウィンドウ操作をサポートする。

0100

一般的には、ソフトウェア環境は、すべておよびグラフィック・キーボードの操作に関連するイベントだけをグラフィック・キーボードにフィードするために、イベント・ドライバ40とともに動作する。他のウィンドウまたはプロセスに関係するイベントは、それらの他のウィンドウまたはプロセスに向けられる。このような実施例では、グラフィック・キーボードはその動作に関係するイベントと関係しないイベントを区別するための論理を取り入れる必要はない。ここでは(特に、以下の第6項では)、本発明のグラフィック・キーボードによって処理されるイベントは関連イベントであると想定されている。

0101

非ウィンドウ環境を含む、他の種類のソフトウェア環境は、本発明の範囲内で考えられる。例えば、本発明のグラフィック・キーボードは、分離ウィンドウコレクションの類似したものではなく、連続用紙や用紙のロールの類似したものを使用して、ユーザ・インタフェースを提示するペン・ベースのコンピュータ・システムで実現することができる。

0102

5.3 入力探知画面の代替策
図18の実施例では、入力センサ21は、入力探知表示装置20の画面22に密接に連結される。これにより、ペン10およびキーボード・イメージ25のキー26の相対位置はユーザにすぐに明らかになる。ユーザが、効果的に表示装置上で書き込むこのような装置は直接インターフェースと称される。本発明は、ペンまたはその他の書き込み計器が表示装置を接触しない、間接インタフェースとともに使用するために適合することができる。このような実施のいくつかの例は、これから説明する。

0103

図19に示される代替実施例では、従来の非入力探知表示装置が使用できるように、センサ21および画面22が分離されている。デジタル化タブレット70は、ペンからの入力を検知するために使用され、タブレット70上のペン10の位置は、画面22のカーソル27などのインジケータの位置によって表される。ユーザは、キーボード・イメージ25のキーに対するペン10の相対位置を、カーソル27の位置を検査することにより判断することができる。

0104

図21に示されるように、別の実施例では、マウス80(またはそれ以外の同等な入力装置)が、ペン10およびセンサ21の代わりをする。マウス位置は、プロセッサ5によって実行されるユーザ・インタフェースソフトウェア7の一部である適切なソフトウェアによって探知される。マウス・ボタン81は、マウス80がアクティブであるかどうかを判断するために使用することができる。これは、ペン10が下がっているか、上がっているかを判断するためにセンサ21を使用するのに類似している。カーソル27は、マウス80およびキーボード・イメージ25のキー26の相対位置について視覚的なフィードバックを提供する。当業者は、トラックボールおよびジョイスティックを含むがそれらに限定されない、2つ以上の次元を探知する広範囲な同等な入力装置をマウス80の代わりに使用できることを理解するであろう。

0105

いくつかの実施例では、キーボード・イメージ25は、ステンシル刷り込まれ、接着されるか、それ以外の場合は、電子表示画面に表示されるだけではなく、あるいは表示される代わりに、書き込み表面上に付けられる。書き込み表面とは、図19の実施例のデジタル化タブレット70や、図21の実施例のマウス80とともに使用されるマウスパッドである。図20は、図19の実施例でデジタル化タブレット70の代わりに使用されるデジタル化タブレット70’を図解する。デジタル化タブレット70’は、その上に、キー26’を含むキーボード・イメージ25’をステンシルで刷り込んだ。ユーザは、ペン10を使用してグラフィック・キーボードと対話し、ステンシルで刷り込まれたキーボード・イメージ25’のキー26’を横切るストロークを作成する。ステンシルで刷り込まれたキーボード・イメージ25’は、表示画面20上にその対となるグラフィック・キーボード・イメージ25を表示させる、ページ10の位置をカーソル27によって、ペン・ストローク・パスをインクの軌跡(図19では図示されていない)によって示すことができる。代わりに、画面上での視覚的なキュー(つまり、カーソル27およびキー26を含むキーボード・イメージ25)は、いくつかの実施例では省略可能であり、その場合、ステンシルで刷り込まれたキーボード・イメージ25’が、文字情報、位置情報、および類似情報を本発明のグラフィック・キーボードのユーザに伝達する際に、表示20を置き換える。それ以外の実施例では、ステンシルで刷り込まれたキーボード・イメージ25’は、入力探知表示画面の専用部分に適用するか、適切に構築された膜入力センサに適用することができる。

0106

6.方法のステップ
図22−29は、マーキング・メニューを取り入れる実施例での本発明のグラフィック・キーボードからの入力を処理する際に必要なステップのフローチャートである。これらのステップは、プロセッサ5の制御の元で、イベント・ドライバ40によって作成されるPenDown イベント、PenDrag イベント、PenStillイベント、およびPenUpイベントシステム1によって実施される。

0107

6.1データ構造
説明するイベント処理ルーチンは、ある種のデータ構造を共通で共有する。これらのデータ構造は、一般的には記憶装置6に記憶され、プロセッサ5によってアクセス可能である。ある実施例では、データ構造は、次の種類である。

0108

(1)MM−メニューを表す。MMは、
・アイテム名のリスト(例えば、シフト、コントロール、コマンド、オプション)・サブメニューのリスト(他のMMによって表される)
・アイテム名のリストおよびサブメニューのリストへのインデックスである、選択されたアイテム
を含む。

0109

文字の処理が開始する前に(つまり、新しいPenDownイベントが発生する前に)、表示することができるメニューの階層を説明するMMから成る階層が存在する。MM階層は、メニュー・モードで、もっとも最近のPenDownイベント以来いままで表示されたメニューのシーケンス、またはマーク・モードで、現在のマークによって選択されるメニューのシーケンスを反映するために更新することができる。

0110

(2)ポイント−組(x 、y 、t 、φ):
x − 水平画面位置
y −垂直画面位置
t − 時間x とy が記録された
φ −先行するポイント、このポイント、および次のポイントによって形成される角度
(3)PointList − ポイントの順序付けられたリスト。マークは、マークが描画されるに従って、ペンの画面(または入力センサ)位置を示すPointList によって表される。それぞれの位置には、それに対応するその発生時刻(例えば、もっとも最近のPenDownイベントからミリ秒単位で測定される)がある。

0111

(4)ModeFlag −マーキング・メニューの現在のモードがメニュー・モードなのか、マーク・モードなのかを示すトグルまたはフラグ。

0112

6.2イベント処理ルーチン
図22は、イベント・ドライバ40によって作成される、PenDown 、PenDrag 、PenStill、およびPenUp という4種類のイベントの内の1つに応答するためのステップを示している。最初に、処理対照のイベントの種類が決定される(ステップT)。イベント種類に従って、PenDown (ステップA)、PenDrag (ステップB)、PenStill(ステップC)、PenUp (ステップD)という4種類の異なったイベント応答ルーチンの1つが呼び出される。これで、次のイベントが発生するまで処理を完了する。

0113

(1)PenDownイベントがPenDownイベントである場合(ステップA)、そ
のフローチャートが図23に表示されるルーチンが実行される。グラフィック・キーボードのどのキーが押されるのかという決定がなされる(ステップAA)。一般的には、入力探知表示画面が入力に使用される場合、押されているキーは、ペンの先端がその境界線内にあるキーである。画面から分離したマウスまたはタブレットが入力に使用される場合には、押されているキーは、その位置が、マウスまたはペンを表すカーソル27の表示位置ともっとも密接に相関するキーである。次に、押されているキーは表示装置で強調表示される(ステップAB)。一般的には、これは、その境界線の外観を暗くするか、あるいはその境界線の色を変更することにより行われる。次に、モードがマーク・モードに設定される(ステップAC)。これは、マーク・モードを示すためにModeFlag をセットすることにより実行される。最後に、ペンの位置および現在時刻は、現在作成中のマークを表すのに使用されるPointList内のポイントとしてセーブされる(ステップAD)。このポイントの値の組が、画面22に対するペン10の位置(または、カーソル位置としてペン位置を表す実施例でのカーソル27の対応する位置)を示す。

0114

(2)PenDragイベントがPenDrag イベントである場合(ステップB)、図23にそのフローチャートが表示されるルーチンが実行される。現在のモードは、ModeFlagを検査することにより決定される(ステップBA)。現在モードがマーク・モードである場合、ペン位置および時刻は現在のPointList のポイントとしてセーブされ(ステップBB)、インクの軌跡が以前のペン位置から現在のペン位置まで秒がされる(ステップBC)。これにより、マークが、ペンがドラッギングされるのつれて、ペンのパスに沿って表示画面上に表示される。ユーザがマークを作成するためにペンをドラッギングすると、一般的には数多くのPenDrag イベントが作成される。

0115

現在モードがメニュー・モードである場合には、メニューは、すでに画面上にある。どのメニュー・アイテムが選択されているのかはペン位置に基づいて決定され(ステップBD)、この選択は、現在のメニューを表すMMの「選択されたアイテム」フィールド内に記憶される(ステップBE)。

0116

メニュー・モードでは、ユーザは、ペンを表示されるメニューの中心円からメニューの放射上のセクタ(つまり「パイのスライス」)の中にドラッギングすることにより、現在のメニューからアイテムを選択することができる。ユーザがペンをドラッギングするに従って、PenDragイベントのシリーズが発生する。ユーザは、メニューの外辺部の外側でさえ、メニューを移動し続けることが可能で、ユーザがセクタの角張った境界内に留まる限り、選択は維持される。ペンを別のセクタの中に移動すると、異なったメニュー・アイテムが選択され、以前に選択されたメニュー・アイテムの選択が解除される。このようにして、説明したばかりのメニュー選択は、取消可能な選択である。選択によって、グラフィック・キーボードに、文字または変更子をただちに作成させない。現在選択されているメニュー・アイテムを文字の作成または修正のために実際に適用するのは、PenUpイベントの場合だけで発生する。

0117

(3)PenStillイベントがPenStillイベントである場合(ステップC)、そのフローチャートが図25に表示されるルーチンが実行される。現在の選択モードは、ModeFlagを検査することにより決定される(ステップCA)。ペンを静かに保つことにより、ユーザは、メニューを表示させることを意図する。したがって、現在モードがマーク・モードの場合、モードは、ModeFlagをトグルすることによりメニュー・モードに切り替えられ、ルーチンが、いままで描画されたマークに対応するメニュー選択を決定するために呼び出される(ステップCC)。図27に関連して後述されるルーチンの率直な延長である、このルーチンは、MM階層を更新し、選択されたメニューを反映し、表示をそれに応じて更新する。(いちばん上のメニューまたはサブメニューのどちらかである)現在のメニューは、ペン・ポイント位置に表示される。描画されたマークは、マークの概要クリーンアップされたバージョンを表す1つ以上の直線セグメントで、表示内で置き換えられる。マークに方向の実質上の変更が含まれない場合には、1本の直線セグメントが表示される。ライン・セグメントには、マークの起点およびペン・ポイントに端点がある。マークが実質上1つ以上の中間点で方向を変更すると、一般的には、ユーザが複合変更子を基本文字に適用することを意図することを示し、異なった直線セグメントから成るジグザグが表示される。ジグザグのそれぞれのライン・セグメントは、方向の実質上の変更を含まないマークの一部に対応する。

0118

現在のモードがメニュー・モードである場合には、メニューは、すでに表示中で、ユーザはおそらくそのメニューからアイテムを選択することを意図している。したがって、ユーザがすでに表示されたメニューからアイテムを選択したことを示すために、ペンが表示されたメニューのセクター内に位置する場合(ステップCD)、および示されたメニュー・アイテムに対応するサブ・メニューが存在する場合(ステップCE)、現在のメニューが表示から取り除かれ(ステップCF)、示されたメニュー・アイテムに対応するサブメニューが表示され、現在のメニューとなる(ステップCG)。MM階層は、それに応じて更新される。図16の例は、これがどのようにユーザに見えるのかを示している。図16の第2の図は、表示中のメイン・メニューを示し、図16の第3図は、表示から排除され、サブメニューによって置き換えられたメニュー・メニューを示している。ペンが表示メニューのセクター内にない場合(ステップCD)、または示されたメニュー・アイテムに対応するサブメニューが存在しない場合(ステップCE)、イベント応答ルーチンが単に戻り現在メニューを表示したままにする。

0119

(4)PenUpイベントがPenUpイベントである場合(ステップD)、そのフ
ローチャートが図26に表示されるルーチンが実行される。現在の選択モードは、ModeFlagを検査することにより決定される(ステップDA)。現在モードがマーク・モード出ある場合、描画されるマークは表示から消去され(ステップDB)、マークに対応するメニュー選択は、図27に関連して後述されるルーチンに従って決定される(ステップDC)。この決定後に、MM階層は選択されたメニュー・アイテムを反映する。このようにして、変更子または現在表示されるメニューおよびもっとも最近のPenDownイベント以来、以前表示されたあらゆるメニューに対応する空間文字がMM階層に反映される。モードがメニュー・モード出ある場合、すべてのメニューとラインが表示から消去される(ステップDD)。MM階層はすでに最新であるため、メニュー選択を決定するためのルーチンは、この場合には呼び出されない。

0120

ペンを画面から持ち上げることにより、ユーザはマークを完了し、グラフィック・キーボードにキーボード・バッファ内に格納する文字を作成させる。それに応じて(現在のモードには関係なく)、MM階層が、どの変更子または空間文字が選択されたのかを決定するために注意深く検討される(ステップDE)。それから適切な文字が、それに応じて作成され、文字バッファ30内に格納される(ステップDF)。この文字は、MM階層ではコード化されるユーザのメニュー選択に依存している。それは、そのキーがもっともさいきんのPenDownイベントで押された基本文字の修正済み(または未修正)バージョンである。例えば、基本文字が「a 」で、「ctrl」および「大文字」変更子が選択されると、出力文字は「^A 」となる。代わりに、ユーザのマークまたはメニュー選択が、後退またはリターンなどの特殊文字を示す場合、その特殊文字は作成対照の文字であり、押されるキーは無視される。

0121

最後に、押されたキーは、強調表示されていない、つまり表示装置内でその通常の外観に復元されている(ステップDG)。これにより、イベントのサイクルが完了し、グラフィック・キーボードは、次のPenDown イベントで新しい文字を受け入れる準備ができた。

0122

6.3 決定変更子
図27は、どの変更子(または特殊文字)がユーザによって描画される指定のマークに対応するかを決定するためのルーチンのステップをフローチャートで示している。このルーチンは、PenUpイベントの処理の一部として、図26のステップDCで呼び出される。ルーチンは、入力として(例えば、PointList として表される)マークを受け入れ、出力として変更子のセット(おそらく、空のセット)を戻す。

0123

最初に、マークは、それが認識できる長さであるかどうか、例えば、5ミリメートルのような試験値より長いかどうかを確認するために試験される(ステップEA)。マークが試験値より短い場合には、それは、ユーザが単にキーをタップしたかのように、マークであるとはまったく見なされない。この場合、空のセットが戻される(ステップEB)。

0124

マークが試験値と同程度の長さであるか、あるいは試験値より長い場合、マークはその明瞭度ポイントを決定するために分析される(ステップEC)。この分析は、図28に関連して後述されるルーチンに従って実行される。それ以降、明瞭度ポイントは、対応するメニューおよびサブメニューの中心と一致され、選択された修飾子を決定する(ステップED)。この分析は、図29に関連して後述されるルーチンに従って実行される。これらの「効果的な」または「視覚的な」メニュー選択に従って、変更子のセットが作成され、出力として戻される(ステップEE)。

0125

6.4明瞭度ポイントの決定
一般的に、マークの明瞭度ポイントは、ユーザがメニューまたはサブメニューから選択を示すマークに沿ったポイントである。一般的には、これは、マークの最初の(開始)ポイントおよび最後(終了)ポイント、およびマークが実質上の方向の変更を経るあらゆるポイントを含む。例えば、メニューのかくセクタが45度を占めるように、放射メニューに8つのアイテムがある場合、角張ったヘディングでの約22.5度以上の変更は、かなりのものと考えられる。かなりの角度の変更は、マークがノイズジッタに関してフィルタされてから、決定される。

0126

より具体的には、マークの明瞭度ポイントは、そのフローチャートが図27に表示されるルーチンに従った1つの実施例で決定される。この実施例ではGetArticulationPoints と呼ばれるこのルーチンは、図27のステップECで呼び出される。ルーチンは、入力として現在のマークのPointList (入力PointList )を受け入れ、明瞭度ポイントだけしか含まない別のPointList (出力PointList )を出力する。

0127

ルーチンの開始時に、入力PointList は、ユーザが、マークを描画しながらかなり休止したかどうか、およびどこで休止したかを判断するために調べられる。これは、例えば、その間で、経過時間が0.5秒などの指定遅延時間以上のポイントの組を探すことによって実行できる(一般的には、ここで遅延時間に使用される値は、PenStillイベントをトリガするのに使用される遅延時間に使用される値より少ない)。

0128

少なくとも2つの休止ポイントが発見される場合(ステップFB)に、マークの開始ポイントが休止ポイントに含まれていないと、それは出力PointList に加えられる(ステップFC)。したがって、休止ポイントは、明瞭度ポイントであると解釈される祖励行の分析なしで、入力PointList でのその外観の順序で出力PointList の最後に対かされる(ステップFD)。それから、マークの終了ポイントが、出力PointList の最後に追加される(ステップFE)。これでルーチンが完了する。

0129

発見される休止ポイントが2つ以下の場合、入力PointList がさらに分析される。まず、PointList のデータがある種の不正確さおよび人工品を取り除くために前処理される。ペンが最終的に表示画面から持ち上げられた(ステップFG)ときに発生する不正確さのように、特に、ペンが最初に表示装置に触れたときに発生する不正確さは取り除かれる(ステップFF)。また、ペン・ジッタによる小さな角度の変更は、ろ過して取り除かれる(ステップFH)。

0130

PointList は、このようにして「クリーンアップ」されてから、マークが重要な角度を形成するポイント−−つまり、メニューが表示されていたならメニュー選択が行われるのに十分なほどペンの移動の方向が変更するポイントを検知するために探索される。例えば、これは、φの値がしきい値角度を越えるポイントを見つけだすことにより、実行可能である(ステップFJ)。しきい値角度は、一般的に、メニュー選択肢の数に依存する。例えば、図14の例で図解されるメニューの場合のように、マーキング・メニューが8つの選択肢をサポートすると、約22.5度以上の角度変化は、かなりであると考えられ、しきい値角度は22.5度にセットできる。図15の例で図解されるメニューの場合のように、メニューが4つの選択肢しかサポートしない場合には、しきい値角度は45度にセットできる。

0131

かなりの角度変化が検知されない場合(ステップFK)、マークの最初のポイントと最後のポイントが明瞭度ポイントとして戻される出力PointList に格納される(ステップFL)ように、マークは直線であると見なされる。それ以外では、1つ以上のかなりの角度変化が検知されると、最初のポイント、最後のポイント、および最大角度変化のポイントまたは複数のポイントが明瞭度ポイントとして戻される出力PointList に格納される(ステップFM)ように、マークは1つまたは複数の角度を含むと見なされる。これで、ルーチンが完了する。

0132

6.5明瞭度ポイントを対応するメニューと一致させる
一般的に、いったん明瞭度ポイントが見つかると、適切なメニューおよびサブメニュー(複数の場合がある)がマークの明瞭度ポイントで表示されるように、マークは、システムがメニュー・モードにあり、ユーザが各明瞭度ポイントを休止したかのように解釈される。より具体的には、ある実施例では、そのフローチャートが図28に表示されるルーチンが明瞭度ポイントを解釈するために使用される。この実施例ではArticulationPointsToMenuItems と呼ばれるこのルーチンは、図26のステップEDで呼び出される。

0133

ArticulationPointsToMenuItems は、入力として、図26のステップECで呼び出されるGetArticulationPointsルーチンからの出力PointList として戻された現在のマークの明瞭度ポイントを含むPointList 、および表示可能なメニューおよびサブメニューの階層を記述するMMデータ構造の階層も受け入れる。ルーチンは、適切な選択されたアイテムで、変更子のセットを表すMM階層を出力する。

0134

ルーチンは、現在のメニューとなる、MM階層からいちばん上のメニューを選択することにより開始する(ステップGA)。それ以降、ルーチンは、メニューの階層が尽きるか、明瞭度ポイントのリストが尽きるか、どちらか先に起こるまで、ループする。

0135

特に、ループは次のように進行する。最後のポイント以外のPointList 内での明瞭度ポイントのそれぞれに(ステップGB)、対応するメニュー選択が決定される(ステップGC)。これは、現在のメニューが現在の明瞭度ポイントでセンタリングされ、ペンがPointList の次の明瞭度ポイントの位置で位置づけられると、選択されるメニュー・アイテムである。メニュー選択は、現在のメニューを表すMMデータ構造の内容に適切な修正を加えることにより、現在のメニューの「選択済みアイテム」として記憶される(ステップGD)。それから、選択されたメニュー・アイテムにそれに対応するサブメニューがあるかどうかを判断するために試験が行われる。選択済みのアイテムにサブメニューがない場合(ステップGE)、メニュー階層が尽き、ルーチンが完了する。それ以外の場合、サブメニューは新しい現在のメニューとして解釈され(ステップGG)、最後のポイント以外のすべての明瞭度ポイントが処理されるまで(ステップGH)、ループが繰り返される。それから、ルーチンは完了する。このルーチンから戻ると、MMデータ構造の階層は、選択済みメニュー・アイテムのセット、したがって図26のステップEEで作成され、戻されるる変更子のセットを反映する。

0136

6.6文字を作成するためのイベント・シーケンスの使用
ユーザの動作によってトリガされるイベントのシーケンスにより、グラフィック・キーボードは文字を作成する。例えば、ユーザが「a 」などの小文字の入力を希望する場合、ユーザはキーボード・イメージの希望のキーのうえでペンをタップする。これで、イベントのシーケンスが立ち上がる(PenDown 、PenUp )。このイベント・シーケンスによって、代わりに、これらのイベントに対応するステップが、図21のフローチャートの論理に従って実行される。特に、PenDown イベントが発生すると、プロセッサ5は、キー26のどのキーが押されているかを判断し、そのキーを表示画面22で強調表示させ、モードをマーキングにセットし、ペン10の位置をセーブする。それ以降、PenUp イベントが発生すると、プロセッサ5は、モードがマーキングであると判断する。マークは作成されず、変更子が適用されなかったので、プロセッサ5は、単に表示画面27でキーの強調表示を解除し、キーに対応する未収性の文字を文字バッファ30内に格納する。

0137

メニューを表示させずに、「A 」、「^a 」、または「^A 」などの修正済みの文字を入力するには、ユーザはペンを希望のキーにタッチさせ、ペンをドラッギングして希望のマークを作成してから、ペンを持ち上げる。これによって、イベントのシーケンスが立ち上がり(PenDown 、PenDrag 、PenDrag 、PenDrag...PenDrag 、PenUp )、適切な関連付けられたステップが実行される。特に、PenDown イベントが発生すると、プロセッサ5は、キー26の度のキーが押されているかを判断し、ペン10の位置をセーブする。それ以降、PenDrag イベントが発生すると、プロセッサ5は、モードがマーキングであると判断し、ペン10の現在の位置をセーブし、画面22上に表示されるインクの軌跡を更新する。それ以降、PenUp イベントが発生すると、プロセッサ5は、モードがマーキングであると判断し、画面22の表示からインクの軌跡を消去し、どの1つまたは複数の変更子がマークの明瞭度ポイントに従って選択されたのかを判断する。また、プロセッサ5は、表示画面22でキーの強調表示を解除し、キーに対応する修正済み文字を文字バッファ30の中に格納する。

0138

同様に、メニューを表示しなくても、後退またはリターンなどの斜線マークによって表される頻繁に使用される文字を作成するには、ユーザはペンを任意のキーにタッチし、ペンをドラッギングし、希望のマークを作成してから、ペンを持ち上げる。再び、これでイベントのシーケンス(PenDown 、PenDrag 、PenDrag 、PenDrag...PenDrag 、PenUp )が立ち上がり、適切な関連付けられたステップを実行させる。

0139

「A 」または「^a 」などの単一の変更子がある文字を入力するためにメニューを使用するには、ユーザはペンを希望のキーにタッチさせ、メニューが表示されるのに十分な時間(例えば、0.3秒間)それをそこで保持する。ユーザは、ペンをドラッギングして希望のメニュー選択を行ってから、ペンを持ち上げる。これにより、イベントのシーケンス(PenDown 、PenStill、PenDrag 、PenDrag 、PenDrag...PenDrag 、PenUp )が立ち上がり、適切な関連ステップが実行される。同様に、表示メニューを使用して、後退またはリターンなどの斜線マークによって表される頻繁に使用される文字を作成するには、ユーザは、ペンを任意のキーにタッチし、それを、メニューが表示されるまで静かに保持し、ペンをドラッギングすることにより希望のメニュー選択を行ってから、ペンを保ちAが得る。ここでも、これにより、イベントのシーケンス(PenDown 、PenStill、PenDrag 、PenDrag 、PenDrag...PenDrag 、PenUp )が立ち上がり、適切な関連付けられたステップが実行される。

0140

「^A 」などの二重変更子を持つ文字を入力するためにメニューを使用する場合は、ユーザはペンを希望のキーにタッチし、それを、メニューが表示されるまでそこで保持し、希望の選択を行い、ペンを再び次のメニューが表示されるまで保持し、希望の選択を行い、ペンを持ち上げる。これにより、イベントのシーケンス(PenDown 、PenStill、PenDrag 、PenDrag 、PenDrag...PenDrag 、PenStill、PenDrag 、PenDrag...PenDrag 、PenUp )が立ち上がり、適切な関連付けられるステップが実行される。同様に、ユーザは、ドラッギングを続けることによりメニューを使用してさらに変更子を加えてから、必要に応じてペンを静かに保持することができる。したがって、「コマンド−オプション-A」などの三重に修正された文字を入力するためにメニューを使用する場合は、ユーザはペンを希望のキーにタッチさせ、それを、メニューが表示されるまでそこで保持し、希望の選択を行い、次のメニューが表示されるまで、再びペンを静かに保持し、希望の選択を行い、ペンを持ち上げる。これにより、イベントのシーケンス(PenDown 、PenStill、PenDrag 、PenDrag 、PenDrag...PenDrag 、PenStill、PenDrag 、PenDrag 、PenDrag...PenDrag 、PenStill、PenUp )が立ち上がり、適切な関連付けられるステップが実行される。

0141

また、ユーザは、複合変更子を表すマークを作成する過程でメニュー表示を取得するために、マーキング・メニューのマーク確認機能を使用することもできる。例えば、ユーザがペンをキーにタッチし、(実質上、方向の変更の間休止せずに)ペンを右にドラッギングしてから、上向きでドラッギングしてから、ペンを画面から持ち上げずにペンを静かに保持すると、それ以降、右向きのマークのメニューおよび上向きのマークのサブメニューの両方が表示される。この例のイベントのシーケンスは(PenDown 、PenDrag 、PenDrag...PenDrag 、PenDrag 、PenStill)である。再び、適切な関連付けられたステップが実行される。

0142

それ以外のイベントの組み合わせはいくつかの実施例でサポートすることができる。例えば、いくつかの実施例では、修飾子が、斜線ストロークによって作成される文字に適用することができる。

0143

7.ソフトウェアの説明
本発明の現在の実施例は、デジタル・コンピュータ上のソフトウェアで実現される。付録参考資料)は、この実施例の実現のためのソフトウェア・プログラム用ソース・コードを提供する。実施例は、一重に修飾された文字をサポートする。ソース・コード(未出版の研究、著作権、1993ゼロックス社)は、単一ソース・コード・ファイルを含む。それは、アップル・マッキントッシュファミリのコンピュータ用のハイパーカード記述言語で作成される。当業者は、幅広い範囲のプログラミング言語およびハードウェア構成が、本発明の範囲を逸脱することなく、本開示に基づいて容易に使用できることを理解するであろう。

0144

8.結論
本発明は、英数字データなどのコマンドおよびデータを、グラフィック・キーボードを使用してペン・ベース・コンピュータに正確かつ効率的に入力できるようにする単純かつ実現が容易な技法を提供する。グラフィック・キーボードを使用すると、ユーザは、キーボード入力の既存の知識を利用することができる。ストロークおよびマーキング・メニューを使用すると、入力が加速される。マーキング・メニューの自然に表される性質のために、これらのアクセレレータは、初心者にアクセス可能である。これらは、また、例えば、より多様なコマンドを持つさらに大きなメニューがグラフィック・キーボードに対するソフトウェア更新の一部としてインストールされる場合に、ときどきメニューに再度慣れることを必要とする経験豊富なユーザにとっても貴重である。

0145

本発明およびグラフィック・キーボードは、既存のグラフィック・キーボードより優れた改良された使いやすさを提供する。例えば、本発明のグラフィック・キーボードにはモードがない。以前のグラフィック・キーボードでは、変更子キーをタップすると、明示的にリリースされなければならないモード(例えば、シフト・モード)がセットされた。この不便さとぎこちなさは、本発明では回避されている。さらに、スペースおよび削除などの変更子キーおよびある種のコマンド・キーは明示的に表す必要がないので、本発明のグラフィック・キーボードは、以前のグラフィック・キーボードより画面表示サイズという点で小型にできる。さらに、本発明のグラフィック・キーボードを使用すると、ユーザは「感覚で」進むことができる−−つまり、複数の変更子を適用し、ストローク・ベースのコマンドを各ステップごとに表示キーボードを見なくても入力できる。本発明の数多くのそれ以外の優位点は、当業者には明かであろう。

0146

本発明は、大部分のペン・ベースのおよびスタイラス・ベースの計算システムに関連する。特に、本発明は、それ自体既存のアプリケーションへの容易な変更に使用される。このような変更に必要となるのは、コンピュータ・システムが標準機テキストキーボードに同等なものと見なすモジュールを構築することだけである。

0147

本発明は、特定の実施例に関連して説明された。それ以外の実施例は、本発明の精神および範囲から逸脱することなく考えられる。例えば、マークによって修正される基本文字は、マークの開始ポイントではなく、終了ポイント荷したがって指定することができる。マークは、また、キー指定から分離することもできる。例えば、ユーザは、画面へのタップのあるキーを示してから、別個にマークを描画する。二重タップのような異なった種類のストローク(マウス・ボタンの「ダブルクリック」に類似した、迅速に続くスタイラスの2回のタップ)を、本発明とともに使用することもできる。同様に、ペンの圧力または速度は、コマンド情報をコード化するのに使用することができる。フォント・サイズ・コマンドなどの異なった種類のコマンドを実現することができる。代替メニュー・レイアウトは、ポップアップ・メニューに使用できる。メニューは、階層で編成される必要はない。異なった種類のグラフィック・キーボードおよびキーボード・レイアウトを使用することができる。さらに、本発明は、ペン・ベースと通常考えられるシステム以外のシステムでも使用できる。特に、本発明は、指、マウス、レーザ・ビーム、またはペンに類似した無数のそれ以外の計器のいずれか1つが、文字を入力するために機械的なキーボードの代わりに使用されるシステムでアプリケーションを見つける。さらに、バリエーションおよび拡張は、本発明の範囲内で当業者には明かであろう。したがって、本発明を、付録の請求項によって示される以外に、制限することは意図されていない。

図面の簡単な説明

0148

サンプルのグラフィック・キーボードを図解する。
本発明のグラフィック・キーボードのキーをタップすることにより、どのように小文字が入力できるのかを図によって説明する。
本発明のグラフィック・キーボードのキー上での上向きのストロークによってどのように大文字を入力できるのかを図によって説明する。
その特定のストロークの方向によって各変更子をどのように区別できるのかを図によって説明する。
変更子の組み合わせ方の例を図で示す。
ある種の頻繁に使用されるキーをどのようにして斜線のストロークとして表現できるのかの例を図によって示す。
グラフィック・キーボードのキーをタップすることにより、ユーザが小文字を入力する図のシリーズである。
グラフィック・キーボードのキー上で上向きのストロークを作成することにより、ユーザが 大文字を入力する図のシリーズである。
グラフィック・キーボードのキーの上で右方向のストロークを作成することにより、ユーザがコントロール・キーを入力する図のシリーズである。
グラフィック・キーボードのキー上で右向き−上向きの複合ストロークを作成することにより、ユーザがコントロール大文字を入力する図のシリーズである。
マーキング・メニューから選択する2つのモードを説明する。
放射メニュー階層およびそれから選択するマークの例である。
マーク確認の例である。
8つのストローク方向のストローク語彙を表すポップアップ・メニューを図で説明する。
ユーザがマーキング・メニューを提示され、それから選択する図のシリーズである。
本発明のコンテキストで変更子を組み合わせるために使用されるマーキング・メニューの例を示す図のシリーズである。
どのようにして8方向のマーキング・メニューが本発明のグラフィック・キーボードと使用できるのかを示す図のシリーズである。
本発明を実施するのに適当なペン・ベース・システムを図解する。
表示画面および入力センサが切り放されている代替ペン・ベース・システムを図解する。
追加キーボード・イメージが追加された入力センサを図解する。
本発明を実施するのに適当なマウス・ベース・システムを図解する。
マーキング・メニューを取り入れる本発明の実施例に従って、イベントに対応するためのステップのフローチャートである。
PenDown イベントを処理するためのステップのフローチャートである。
PenDrag イベントを処理するためのステップのフローチャートである。
PenStillイベントを処理するためのステップのフローチャートである。
PenUp イベントを処理するためのステップのフローチャートである。
マークに対応する変更子を決定するためのステップのフローチャートである。
マークにそった明瞭度ポイントを決定するためのステップのフローチャートである。
マークにそった明瞭度ポイントを対応するメニューの中心と一致させるためのステップのフローチャートである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

新着 最近 公開された関連が強い 技術

  • 三菱電機株式会社の「 作画支援装置、表示システムおよび作画支援方法」が 公開されました。( 2019/03/14)

    【課題・解決手段】プログラマブル表示器用の画面を表示するための第1の画面データを記憶する記憶部と、記憶部に記憶された第1の画面データを用いて端末に表示するための第2の画面に第1の画面のうちの少なくとも... 詳細

  • 株式会社村田製作所の「 圧電センサ、タッチ式入力装置」が 公開されました。( 2019/03/07)

    【課題・解決手段】表示装置(10)は、筐体(11)、操作板(12)、圧電センサ(13)、制御部(20)および表示部(30)を備える。圧電センサ(13)は、圧電フィルム(21)、OCA23、複数の第1電... 詳細

  • 楽天株式会社の「 情報処理装置、情報処理方法、プログラム、記憶媒体」が 公開されました。( 2019/02/28)

    【課題・解決手段】漫画等の表示コンテンツにおいて吹き出し領域の文字が小さくて読めないことが多々ある。そこで表示コンテンツを構成する単位画像内で文字表示用に設けられた吹き出し領域を特定する。そして単位画... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ