技術 手書き情報処理装置

0001

本発明は、デジタルペンを用いて所定の記入媒体に記載した手書き情報を閲覧可能とする手書き情報処理装置に関するものである。

0002

近年、各種プレゼンテーションや学校での授業等、発話者の発話内容とこれを視聴する視聴者の様子をビデオファイル化し、後に、フィードバック情報として再生可能とするＩＴ技術の導入が進められている。たとえば、集会で発表に対する多数の参加者の意思表示の内容をフィードバックするために、参加者が、専用リモコンで、随時発信する意思表示の信号を意思表示のログデータとして受信するとともに、前記発表内容を収録した収録データを受信し、収録データを時系列的な配列表示にして、前記ログデータから生成されたマークを意思表示されたタイミングとして前記配列表示上に表示し、所望のマークを指定すると、指定されたマークに対応する再生位置から収録データを再生、表示するシステムが提案されている（特許文献１参照。）。

0003

特許文献１に係るシステムによれば、前記参加者である視聴者の意思表示を再生時にフィードバック情報として確認することができるが、前記意思表示は、専用リモコンを介して行われるため、意思表示の表現が、専用リモコンで操作可能な範囲に限定されるという問題があった。

0004

かかる問題に対しては、デジタルペンを利用した手書き情報を筆記データとして表示させるようにすればよい。たとえば、筆記手段と筆記データを送信する手段を持つデジタルペンと、デジタルペンが読み取り可能な二次元パターンが表面に印刷された解答用紙と、デジタルペンから送信された筆記データを受信する通信端末と、ネットワーク上で当該通信端末に接続され、複数のアイコンと前記複数のアイコンのそれぞれに対応した制御コードとを有する制御テーブルを具備し、アイコンが指定されることにより、それに対応した制御コードに従った処理内容を実行する授業支援サーバと、当該筆記データを表示する表示手段とを有する授業支援システムが提案されている（特許文献２参照。）。

0005

特許文献２に係るシステムを応用すれば、前記参加者の意思表示は、制約なく具体的な内容をそのままデータ化し、フィードバック情報として活用できる。また、前記意思表示の入力を手書きにすることで、視聴者側からすると、複雑な操作を介在させずに、直感的に具体的な内容を記載できるという効果も期待できる。

0006

特許第４８４８３２９号公報
特許第５３１９４５８号公報

0007

しかし、前記従来技術では、いずれも、フィードバック情報としては再生時の確認、解析等に有用性を発揮するものの、発話者の発話進行中に、リアルタイムな視聴者の反応を十分には把握できないという問題があった。すなわち、視聴者の反応を手書き情報にすることで、反応の記録の即時性を実現することはできても、発話者側の閲覧の即時性は、上記従来技術では実現されていなかった。

0008

また、発話者にとって、発話進行時、発話終了後のフィードバック再生時の如何を問わず、視聴者の反応を把握するうえで重要な事項は、反応の結論よりも、各々の反応の理由である場合が多い。たとえば、前記視聴者が、発話者のプレゼンテーション等の評価者である場合に、発話者にとっては、話し方の良否自体よりも、話し方に改善の余地があると判断された具体的な理由を知ることの方が重要である。

0009

また、たとえば、学校の授業、すなわち、前記発話者が教師であって、前記視聴者が生徒のような場合、教師の問いに対する回答を前記手書き情報で記載させて、モニタで閲覧可能とするシステムは、前記先行技術から構築可能であるが、かかる授業のようなケースでは、回答の正否よりも、回答に至った各生徒の思考プロセスが重要な場合が多く、かかる思考プロセスをリアルタイムで観察することは、教師の授業の進行にとって非常に重要である。

0010

従来、前記回答など、手書き情報の記載のプロセスを同時進行的にモニタ等で閲覧可能とするシステムは存在しているが、前記視聴者が、発話者の意図に即して反応（理解）をしているかどうかをリアルタイムに把握するためには、旧態依然とした机間巡視、机間指導に少なからず依存するか、前記モニタ等で逐一、各視聴者の記載内容を読み込む必要があり、発話者の負荷は十分に軽減されておらず、実際の授業などで日常的に使用するのは困難であるという課題があった。

0011

本発明は、上記課題を解消させるためのものであり、発話者に負荷をかけることなく、発話進行時及びフィードバック再生時のいずれでも、具体的な視聴者の反応と当該反応に至るプロセスを把握することができる装置を提供することを目的とする。

0012

上記目的を達成させるために、本発明にかかる手書き情報処理装置は、視聴者が記載した手書き情報を順次ベクトルデータ化して収集するとともに、発話者又は視聴者を撮影する動画像データを記憶し、所定のキーワードを指定すると、前記ベクトルデータに含まれるキーワードを強調表示データに変更し、発話者の発話進行中に、前記動画像データのリアルタイム再生表示と対比閲覧可能に、前記ベクトルデータを順次時系列に表示し、さらに、逐次前記強調表示データを表示することを最も主要な特徴とする。

0013

すなわち、発話者に対して、複数の視聴者が、デジタルペンを用いて所定の記入媒体に記載する手書き情報を閲覧可能とする表示手段を備えた手書き情報処理装置であって、
前記記入媒体に設定されている座標値に基づいて、前記複数の視聴者が記載した前記手書き情報をベクトルデータに変換し、送信時刻データに対応させて収集する受信手段と、
前記発話者又は視聴者を撮影することによって得られた音声を含む動画像データを撮影時刻データとともに記憶する動画像データ記憶手段と、
前記受信した送信時刻データと前記撮影時刻データとが一致する時刻を前記記憶された動画像データの再生位置とする再生位置設定手段と、
前記受信したベクトルデータからテキストデータを生成するデータ生成手段と、
前記生成されたテキストデータから、所定の条件で指定したキーワードに一致するテキストデータを検索する検索手段と、
前記検索されたテキストデータに対応するベクトルデータを他のベクトルデータと識別可能な表示に変更して強調表示データとする表示変更手段とを有し、
前記表示手段は、前記再生位置として設定された送信時刻データに対応するベクトルデータを指定すると、前記強調表示データを含むベクトルデータと、これに対応する動画像データの再生とを対比閲覧可能に表示し、前記動画像データのリアルタイム再生時には、前記受信したベクトルデータを順次時系列に表示し、前記表示変更手段によってベクトルデータを逐次強調表示データに変更するとともに、動画像データのリアルタイム再生と対比閲覧可能に表示することを特徴とする。

0014

この構成によれば、前記発話終了後のいわゆるフィードバック再生時はもとより、リアルタイムでも、動画像データとともに、手書き情報にかかるベクトルデータを閲覧することができ、さらには、強調表示データによって、たとえば、発話者の意図したキーワードを視聴者が理解しているかどうかなどをリアルタイムに確認することが可能となる。

0015

なお、本発明において、「発話者」とは、人数の多少に関わらず、聞き手に対して何らかの発話をする者をいい、たとえば、プレゼンテーションにおけるプレゼンター、学校の教師、セミナーの講師、各種インストラクターのほか、就職面接、医療面接など、１対１もしくは１対少人数での発話者も含む。また、本発明において「視聴者」とは、前記発話者の発話を視聴する者をいい、前記発話を直接視聴する生徒、聴講者等のほか、発話者の発話内容を評価する評価者も含む。

0016

前記キーワードは、予め指定するほか、発話進行中に、新規に指定してもよく、新規に指定した場合は、前記表示変更手段は、先行して変更された強調表示データとは異なる強調表示データに変更してもよい。

0017

なお、手書き情報を記載する視聴者が多数存在する場合、視聴者全員のベクトルデータを前記表示手段によって表示すると、画面が煩雑になって閲覧の利便性が損なわれる可能性がある。そこで、前記視聴者には、前記記入媒体に、手書き情報を記載すべき指定項目を備えたフォームを提供し、指定項目ごとに対応させて手書き情報の記載欄を設ければよい。前記指定項目は、少なくとも、発話の進行に合わせて予め時系列に記載される事項を含めるようにすれば、手書き情報の記載時、ベクトルデータに変換後の閲覧時に利便性が高い。また、たとえば、各指定項目に重み付けを示す記号を設け、所定の重み付けを示す記号が記載された記載欄のベクトルデータを他のベクトルデータよりも顕著な表示とすればよい。前記指定項目が同一であって、前記送信時刻データが所定の範囲内のものは、グループ化された表示としてもよい。さらに、前記キーワードを共通に有するベクトルデータを統合して単一のデータとして生成し、これを前記強調表示データに変更すれば、画面上の表示スペースの煩雑さを解消させることができる。

0018

前記表示リスト生成手段は、少なくとも、同一の指定項目について、前記同一の重み付けの記号が記載されている数又は前記キーワードを共通に有するベクトルデータの数が、所定の数以上のもののみを表示することを選択可能とするようにしてもよい。

0019

前記ベクトルデータの送信は、前記デジタルペンからベクトルデータを受信し、手書き情報処理装置との間でデータ通信可能な通信端末を介在させてもよい。この通信端末で、前記動画像データを受信してリアルタイム再生可能な表示部を有し、前記表示部で表示されている動画像データで、当該手書き情報の内容に関係する箇所に、重畳マークデータを合成させるように記入すると、前記受信手段は、前記通信端末から前記ベクトルデータ及び送信時刻データに対応させた前記重畳マークデータを受信し、前記再生位置としてベクトルデータを指定すると、前記表示手段は、前記重畳マークデータを合成させた動画像データを再生表示することも可能である。

0020

なお、通信環境、その他の理由により、前記重畳マークをリアルタイム再生の動画像データに直接合成させることができない場合、または直接合成させない方が好ましい場合もある。このような場合、前記動画像データから、前記手書き情報を記入した時刻に対応するフレーム画像データを抽出し、前記表示部で、前記手書き情報とともに、前記抽出されたフレーム画像データを表示し、表示されたフレーム画像データで、当該手書き情報の内容に関係する箇所に、重畳マークデータを合成させるように記入できるようにすればよい。この場合、前記受信手段は、前記通信端末から前記ベクトルデータ及び前記重畳マークデータが合成されたフレーム画像データを受信し、前記再生位置としてベクトルデータを指定すると、前記表示手段は、前記重畳マークデータを合成させたフレーム画像データに対応する位置から動画像データを再生表示できるようにすればよい。

0021

この構成によれば、前記強調表示データのほか、動画像データからも視聴者の反応に関する具体的な内容が直感的に把握できる。

0022

なお、近年、学校などの指導、学習方法として、前記視聴者に該当する生徒、学生が授業に能動的に参加するアクティブラーニングが活発に取り入れられているが、かかるアクティブラーニング等で本発明にかかる手書き情報処理装置を利用する場合、前記手書き情報を記載する所定数の視聴者から構成されるグループを複数形成し、前記動画像データは前記グループ別に撮影されるものとし、前記発話者の要求に応じて、各グループの視聴者が前記記入媒体に手書き情報を記載すると、前記受信手段は、前記ベクトルデータ及び送信時刻データを、各グループを識別する識別データと共に受信するとともに、前記動画像データ記憶手段は、各グループの動画像データを前記識別データとともに記憶し、前記表示手段は、グループごとにベクトルデータと動画像データを区別して、一覧可能に表示するようにしてもよい。

0023

また、教師などの発話者が使用する手書き情報処理装置のほかに、表示手段で表示されるデータが、前記グループ内のベクトルデータと動画像データのみとする各グループ用手書き情報処理装置を各グループに付与し、両者をデータ通信可能に接続して、前記強調表示データを前記各グループ用手書き情報処理装置の表示手段で表示させる指示を送信するようにしてもよい。

0024

さらに、前記同一グループ又は同一視聴者の手書き情報のベクトルデータを、前記強調表示データを含めてログデータとして蓄積する蓄積手段を有し、前記表示手段は、同一グループ又は同一視聴者の前記ログデータを一覧可能に表示するとともに、強調表示データの変遷を一覧可能に表示するようにしてもよい。

0025

この構成によれば、前記グループ又は視聴者個々人の思考のプロセスの変化を閲覧することができる。

0026

なお、前記各視聴者の発言回数データを発言時に特定された視聴者ＩＤデータ及び発言時刻データと関連付けた発言データとして特定する特定手段を有し、前記蓄積手段は、前記発言データを蓄積し、前記再生位置設定手段は、前記発言データを再生位置として設定し、前記表示手段は、前記蓄積手段から前記発言データを読み出すと、当該発言データを時系列順に再生するととともに、再生中の発言データが、全発言回数の何番目であるかを表示する構成としてもよい。

0027

本発明は、前記発話者と前記視聴者とが、遠隔地にいる場合でも、利用できるようにしてもよい。すなわち、前記受信手段又は送信手段は、インターネット等の通信ネットワークに接続された遠隔地通信中継装置を介して受信又は送信し、前記動画像データ記憶手段は、前記視聴者を撮影した動画像データを前記通信ネットワークに接続された前記遠隔地通信中継装置を介して取得して記憶するようにすればよい。

0028

本発明にかかる手書き情報処理装置は、発話者に負荷をかけることなく、発話進行時及びフィードバック再生時のいずれでも、具体的な視聴者の反応と当該反応に至るプロセスの把握を可能とするという効果を奏する。

0029

すなわち、視聴者の反応を良否、正否といった結論だけでなく、かかる結論に至った理由や当該結論に至ったプロセスを閲覧することができ、しかも、手書き情報のすべてを読み込まなくても、キーワードに関する部分を強調表示することにより、視聴者全体の反応を迅速に把握することができるという効果を奏する。

0030

さらに、発話者は、上記視聴者の反応をリアルタイムに把握することができるため、発話内容の進行途上で、進め方を柔軟かつ的確に軌道修正することも可能になるという効果を奏する。

0031

図１は、本発明にかかる手書き情報処理装置のブロック構成図である。
図２は、本発明にかかる手書き情報処理装置の処理フロー図である。
図３は、デジタルペンで記入する記入用紙のフォームと記入例を示した図である。
図４は、表示リスト生成部を有する手書き情報処理装置のブロック構成図である。
図５は、手書き情報処理装置の画面表示例を示した図である。
図６は、画面表示された表示リストの例を示した図である。
図７は、表示リストの表示事項を所定の閾値以上のものに限定する場合の処理フロー図である。
図８は、表示リストの表示事項を所定の閾値以上のものに限定した場合の表示リストの例を示した図である。
図９は、記入媒体とともに通信端末を利用した場合の手書き情報処理装置の機器構成図である。
図１０は、通信端末の送信画面表示例を示した図である。
図１１は、アクティブラーニング用の手書き情報処理装置の機器構成図である。
図１２は、図９の手書き情報処理装置のブロック構成図である。
図１３は、図９の手書き情報処理装置の画面表示例を示した図である。
図１４は、アクティブラーニング用の手書き情報処理装置の第１変形例のブロック構成図である。
図１５は、アクティブラーニング用の手書き情報処理装置の第２変形例のブロック構成図である。
図１６は、本発明にかかる手書き情報処理装置を遠隔地で利用する場合の機器構成を示した図である。

0032

以下、図面を参照しつつ、本発明による手書き情報処理装置の好適な実施形態について説明する。

0033

図１は、本発明にかかる手書き情報処理装置１のブロック構成図である。手書き情報処理装置１は、後述する諸機能を発揮させるための専用装置であってもよいが、好適には、主に、中央処理装置（ＣＰＵ）、メインメモリ、磁気ディスク、その他周辺機器から構成されるパーソナルコンピュータであればよい。ＣＰＵは、主として本発明にかかる手書き情報処理装置１の各構成要素の動作を制御する。メインメモリは、ＣＰＵが実行する制御プログラムを格納し、ＣＰＵによるプログラム実行時の作業領域を提供する。磁気ディスクは、オペレーティングシステム、周辺機器のデバイスドライブ、本発明にかかる各種処理を行うプログラムを含む各種アプリケーションを格納する。図１では、専ら本発明の機能の説明に必要となる機能のみを記載し、汎用的に機能する前記諸機能等の説明は省略する。

0034

手書き情報処理装置１は、発話者に対して、複数の視聴者が記載した手書き情報を電子的に閲覧可能とするものである。手書き情報処理装置１は、模擬実習、模擬交渉、研究発表、トレーナー研修、ディベート、ロールプレイイング、学校の授業・講義、セミナー、社員研修、アンケート、イベント等、多様なシーンでの活用が可能である。前記視聴者には、発話者の発話（たとえば、講義）を直接聴講する生徒や参加者のほか、当該発話をする発話者の発話内容、発話態度等を評価する評価者も含まれる。

0035

複数の視聴者Ａは、所定の記入用紙Ｆ１、Ｆ２…Ｆｎに、各々、デジタルペンＰ１、Ｐ２…Ｐｎを使用して、前記発話者の発話内容等に関して評価、感想、回答などを記載する。ここで、デジタルペンとは、たとえば、図１に示す通り、予めドットパターンＥが設定されている専用の用紙上で、通常のペン同様に、文字等が記載可能なペン先と、ペン先で前記用紙上に記載された文字をドットパターンＥとともに撮影する小型の内蔵カメラと、ペン先に筆圧がかかった時に、前記内蔵カメラを作動させるセンサと、内蔵カメラで撮影された前記手書きの文字等の情報をドットパターンＥから座標値として計算しベクトルデータ化するプロセッサと、ベクトルデータ化された手書き情報を一時保存するメモリと、メモリから、手書き情報処理装置１に前記ベクトルデータを転送する通信プロセッサと、前記各機能を作動させる駆動源としてのバッテリと、を有する公知のものであればよく（図示せず）、特に限定はしない。ただし、後述するように、手書き情報処理装置１でのリアルタイムの確認が要求されるため、ベクトルデータ化の処理速度は高速なものがよく、データの転送もクレードルを介在させず、デジタルペンから直接転送できるものが好ましい。

0036

各視聴者Ａによって記入用紙Ｆ１、Ｆ２…ＦｎにデジタルペンＰ１、Ｐ２…Ｐｎを使用して記載された手書き情報は、各デジタルペンＰ１、Ｐ２…Ｐｎによってベクトルデータに変換されたのち、各ベクトルデータを手書き情報処理装置１の受信部１０１で、送信時刻データに対応させて受信する。

0037

一方、発話者又は視聴者の動画像データは、ビデオカメラＣによって、音声とともに記録され、かつ、撮影時刻データとともに手書き情報処理装置１の動画像データ記憶部１０２に記憶される。

0038

前記ベクトルデータに対応した送信時刻データと前記撮影時刻データとが一致する時刻は、再生位置設定部１０３によって、撮影した動画像を再生する場合に、いわゆる頭出し（キューポイント）となる再生位置として設定される。

0039

受信部１０１で受信した前記ベクトルデータは、テキストデータ生成部１０４で、テキストデータ化され、後述するように、検索部１０５で、所定の条件で指定したキーワードに一致するテキストデータを検索する。

0040

検索されたテキストデータに対応するベクトルデータは、表示変更部１０６で、他のベクトルデータと識別可能な表示に変更される。すなわち、表示変更部１０６は、当該ベクトルデータを強調表示データに変更する処理を行うものであり、具体的には、たとえば、ハイライト表示、拡大表示、反転表示などであればよい。

0041

表示部１０７は、前記動画像データの再生と前記ベクトルデータを対比閲覧可能にモニタ上で表示するが、動画像データは、再生位置設定部１０３で再生位置として設定された前記送信時刻データに対応するベクトルデータを表示部１０７上で指定することにより、当該送信時刻データに一致する撮影時刻データをキューポイントとして再生することができる。このとき、表示部１０７では、前記強調表示データに変更されたベクトルデータも表示される。

0042

なお、本発明にかかる手書き情報処理装置１は、前記発話者の発話が終了し、フィードバック情報として、前述の通り、動画像データを閲覧することができるほか、発話進行中のストリーミング再生等、リアルタイム再生時にも、前記したような閲覧が可能となる。この場合、受信部１０１で受信したベクトルデータを表示部１０７のモニタ上で順次時系列に表示し、表示変更部１０６で逐次強調表示データに変更して表示するとともに、リアルタイム再生された動画像データが対比閲覧可能に表示される。

0043

以下、図１及び図２の処理フローを使って手書き情報処理装置１の具体的な作用を説明する。

0044

デジタルペンＰ１、Ｐ２…Ｐｎから、ベクトルデータを受信すると（Ｓ１）、動画像データ処理の場合（Ｓ２のＹ）、動画像データ記憶部１０２に記憶された動画像データを読み出し（Ｓ３）、前記受信したベクトルデータに対応付けられた送信時刻データ及び撮影時刻データから、再生位置設定の処理を行う（Ｓ４）。

0045

一方、動画像データ処理ではない場合（Ｓ２のＮ）、受信したベクトルデータは、テキストデータとして生成される（Ｓ５）。テキストデータ生成の具体的方法は、たとえば、光学的に文字を読み取って、予め記憶されたパターンと照合して文字を特定するＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を利用すればよい。

0046

生成されたテキストデータに対して、検索部１０５は、検索を設定済みのキーワードで実行するかどうかを判断し（Ｓ６）、設定済みキーワードで検索する場合は（Ｓ６のＹ）、設定済みキーワードで検索を行う（Ｓ７）。ここで、キーワードの設定は、発話者が、発話内容に対する視聴者の反応等を視聴者から得られる手書き情報によって把握するために、発話者の発話の意図が理解、評価されているのであれば、当然に記載されると期待されるワードを特定することによって行われる。さらに、発話者の発話の意図から、少なくとも、記載を忌避すべき語をキーワードとしても設定してもよい。検索部１０５の検索は、所定の条件で設定したキーワードに一致するかどうかで行われるが、ここで、所定の条件とは、設定したキーワードと完全一致する条件のほか、類似語、同義語まで拡張する条件、さらには、設定したキーワードと反対語、反意語とする条件であってもよい。なお、完全一致以外の条件の場合は、検索部１０５に、たとえばシソーラスのような辞書機能を持たせ、条件に応じて検索対象を決定すればよい。

0047

設定済みのキーワード検索でヒットした場合（Ｓ８のＹ）、表示変更部１０６で当該ヒットしたキーワードに対応するベクトルデータを強調表示する処理が行われる（Ｓ９）。なお、検索でヒットしなかった場合（Ｓ８のＮ）、Ｓ７に戻って設定済みキーワードの検索をループ処理する。

0048

一方、設定済みのキーワードではなく、新規のキーワードで検索を行う場合（Ｓ６のＮ）、設定された新規のキーワードで検索を実行し（Ｓ１０）、かかる検索でヒットした場合（Ｓ１１のＹ）、新規に強調表示する処理が行われる（Ｓ１２）。ここで、新規の強調表示は、前記設定済みキーワードの検索後の強調表示とは異なる強調表示で処理される。なお、新規のキーワードは、発話者が発話進行中に、新たに視聴者の理解、評価を確認する必要が生じたときに、設定することができ、新規のキーワードの検索後は、リアルタイム再生の場合、前記新規の強調表示が反映されることになる。検索でヒットしなかった場合（Ｓ１１のＮ）、Ｓ１０に戻って新規のキーワードの検索をループ処理する。

0049

Ｓ４の再生位置設定とＳ９又はＳ１２の強調表示処理が行われると、表示部１０７で動画像データとベクトルデータの対比表示がなされ、発話終了後にフィードバック情報として閲覧する場合は、再生位置（キューポイント）となるベクトルデータのいずれかを指定することにより、当該ベクトルデータの送信時刻データに一致する撮影時刻データから動画像を再生することができ、発話進行中の場合は、動画像のリアルタイム再生とともに、順次時系列にベクトルデータが表示されるとともに、逐次強調表示データの表示もなされる。

0050

図３は、デジタルペンＰ１等の記入媒体として、記入用紙Ｆの例を示したものである。具体的には、図３は、学校の教師の授業進行計画書に基づいて作成されたものであり、発話者である教師の授業の進め方が、進行計画書通りに進行しているかどうかの評価を視聴者である評価者（たとえば、ベテランの教師）が記載するためのものである。

0051

記入用紙Ｆは、手書き情報を記載すべき指定項目を予め時系列に記載した指定項目欄Ｆａ（「学習の流れ」）及び前記指定項目に対応して評価理由を記載する手書き情報記載欄Ｆｃ（「評価理由」）が特に重要であるが、本実施の形態では、他に、評価を段階的な記号で表記する評価欄Ｆｂ（「評価」）及び前記指定項目の重要度の重み付けを記載した優先度欄Ｆｄ（「優先度」）を含めて構成されている。

0052

記入用紙Ｆをこのような構成とすることで、前記評価者は、時系列の指定項目に沿って評価を手書きで記載すればよく、従来のように、評価のために配布される専用機器の操作に煩わされることがなく、また、まったくの白紙に記載する場合のように、記載順序が時系列的に前後するなどの混乱がなくなり、評価の観察に注力できるようになる。また、発話者側にとっても、前記指定事項によって、記載すべき事項がある程度、評価者間で統一的に整理されるので、比較的キーワードの記載を促すことができ、効率的な授業（発話）の進行、フィードバック情報の取得が可能になる。

0053

なお、本実施の形態では、前記指定項目は、手書き情報を記載すべき順序を時系列に記載しているが、全体を通しての評価（例えば、「声の大きさ」「動作」等）など、時系列に記載できない事項もありうる。このような指定項目は、記入用紙Ｆの末尾欄等、一か所にまとめて記載すればよい（図示せず）。視聴者側は、時系列的な事項以外の事項が一か所に設けられていることにより、記載位置が散在せず、スムーズに記載することができる。

0054

図４は、図３で示したような所定の記入用紙Ｆを使用した場合の手書き情報処理装置１のブロック構成図である。図１と同一の機能、作用を奏する構成要素については、共通の記号、番号を用いることとし、図１において説明した事項については、重複する詳細な説明を省略する。

0055

図３のように、少なくとも、時系列の指定項目欄Ｆａとこれに対応する手書き情報記載欄Ｆｃを有する記入用紙Ｆを使用した場合、表示部１０７でベクトルデータの表示に際して、前記指定項目とベクトルデータとが対応して表示される表示リストを生成する表示リスト生成部１０８を設け、生成された表示リストを表示部１０７で表示すればよい。

0056

表示リスト生成部１０８は、指定項目欄Ｆａの位置を予め特定する座標データを有し、受信部１０１で手書き情報から変換されたベクトルデータを受信すると、ベクトルデータの座標値から、対応する指定項目の座標データを特定することによって、指定項目データとベクトルデータとを対応する位置に配するとともに、受信したベクトルデータから、送信時刻データも取得できるので、送信時刻データを前記指定項目データ及びベクトルデータとともに配して表示リストを生成する。

0057

図５は、前記表示リストを含む表示部１０７による画面表示例を示した図である。画面表示Ｖは、少なくとも、表示リスト部Ｖａと動画像表示部Ｖｂと評価集計表示部Ｖｃとから構成されている。表示リスト部Ｖａは、スクロール可能に表示されており、リアルタイム再生の場合は、最新のベクトルデータ（評価）が、追加されると、例えば、これを最下段に表示し、順次自動的にスクロールされる。なお、本実施の形態では、表示リスト部Ｖａで表示されている項目が、送信時刻データに対応してベクトルデータ（手書き情報）、指定項目データ等が横方向に配列されており、画面上で、いずれの項目も、対応する送信時刻データにおけるキューポイントになっているため、いずれかの項目を画面上で指定すると、対応する送信時刻データに対応づけられた撮影時刻データから動画像データを再生することができる。

0058

評価集計表示部Ｖｃは、本実施の形態では、図３の評価欄Ｆｂの評価を段階別に集計し、グラフ表示したものを例示している。横軸を時間とし、縦軸を（時間ごとの）評価の集計値とし、評価の種別ごとに色を変えた折れ線グラフを示している。ここで、評価の種別とは、たとえば、評価欄Ｆｂで、良否の判断について、複数の段階の記号を設定している場合の各段階をいう。評価集計表示部Ｖｃのグラフでは、グラフの横軸の時間が、キューポイントになっており、画面上でこれを指定すると、動画像表示部Ｖｂでは、当該時間から、動画像データが再生される。

0059

図６は、図５の画面表示例のうち、表示リスト部Ｖａの例を拡大して示した図である。

0060

Ｖａ１は評価時刻、Ｖａ３は評価、Ｖａ４は評価者番号、Ｖａ５は指定項目、Ｖａ６は優先度、Ｖａ７は評価理由が表示される欄になっている。なお、Ｖａ２は、評価時刻Ｖａ１をベースとするソートボタンであり、プルダウンメニューによって、昇順、降順その他ソートの仕方を選択することができる。なお、ソートボタンは、Ｖａ３、Ｖａ４、Ｖａ５、Ｖａ６にも設けられており、各列をベースとしたソートができるようになっている。

0061

ところで、評価者の人数が多数の場合、指定項目が多数ある場合など、表示リストの一覧性が阻害される可能性もある。そこで、表示リスト生成部１０８は、以下の通り、生成された表示リストを見やすくするための機能を備えている。

0062

まず、評価時刻０５：４０：００（評価者Ａ３）、評価時刻０５：４０：０３（評価者Ａ１）、評価時刻０５：４０：５５（評価者Ａ２）は、評価、評価理由ともに異なるが、指定項目は「商品概要説明」で共通する。この場合のように、指定項目が共通し、かつ、評価時刻が近接している場合（所定の範囲内の時間の場合）、３件を囲い込んでグループ化する表示Ｈ１とすることが可能である。

0063

次に、Ｖａ６の優先度欄において、指定項目に優先度１という重み付けがなされている「商品スペック」については、他の評価理由欄の記載よりも、顕著な表示Ｈ２とすることが可能である。

0064

また、キーワード検索により強調表示する場合に、評価時刻０８：１６：４５（評価者Ａ３）、評価時刻０８：１６：５７（評価者Ａ１）、評価時刻０８：１０：００（評価者Ａ２）のように、指定項目「他社製品比較」について、３者ともに「明確」という共通のキーワードで評価していた場合、各３者の評価を一つに統合する表示Ｈ３とすることも可能である。本実施の形態では、一の評価者の表示を代表表示として表示しているが、これに限定する趣旨ではない。

0065

図６の表示リスト部Ｖａは、原則としてすべての評価理由を表示する形式であるが、特定の評価理由のみを表示するようにしてもよい。以下、図７、図８を使用して特定の評価理由のみを表示する形態を説明する。

0066

評価者が多い場合、又は重要な評価理由のみ閲覧する場合、特定の評価理由のみを表示することによって、効率的にフィードバック情報を閲覧することができる。本発明においては、同一優先度、評価理由の同一キーワードが、所定の閾値を超えたもののみを表示することとする。

0067

図７は、特定の評価理由のみを表示する場合の表示リスト生成部１０８の処理フローである。記入用紙Ｆの記載事項から、優先度又は評価理由の欄を特定し、前記閾値を演算するための初期値としてｉ＝０と設定する（Ｓ１０１）。ここで、初期値の設定は、図６のように、すべての評価理由を表示することを原則とした場合に、選択的に設定できる機能である。具体的には、手書き情報処理装置１の表示部１０７による図５のような表示画面上で、前記選択的な設定ができる編集ボタン等を設ければよい。

0068

次いで、優先度又は評価理由の記載について、各記入用紙Ｆを検索する（Ｓ１０２）。なお、検索時前にベクトルデータからテキストデータが生成されている。

0069

検索の結果、検索でヒットした事項の数が設定された閾値未満であるかどうかを判断する（Ｓ１０３）。本実施の形態では、閾値を３と設定しているが、これに限定する趣旨ではない。検索でヒットした事項の数が、閾値未満である場合（Ｓ１０３のＹ）、検索対象がまだあるかどうかを判断し（Ｓ１０４）、まだ検索対象が有る場合は（Ｓ１０４のＹ）、前記ｉの値をｉ＝ｉ＋１としてインクリメントし（Ｓ１０５）、再度、Ｓ１０２の検索処理に返す。以降、Ｓ１０３の判断において、閾値に達するまでＳ１０２からＳ１０５の処理をループする。なお、Ｓ１０４の判断において、最後まで検索した場合（Ｓ１０４のＮ）、当該事項は、閾値未満であることが確定し、表示リスト部Ｖａで非表示となる（Ｓ１０６）。

0070

一方、Ｓ１０３において、閾値以上となった場合（Ｓ１０３のＮ）、表示リスト部Ｖａで表示する事項として確定する（Ｓ１０７）。Ｓ１０６、Ｓ１０７で非表示、表示の事項が確定し、これに基づいて表示リスト部Ｖａが生成される（Ｓ１０８）。

0071

図８は、閾値以上の評価理由のみを表示した表示リスト部Ｖａの例を示した図である。図６と同一の機能、作用を奏する構成要素については、共通の記号、番号を用いることとし、図６において説明した事項については、重複する詳細な説明を省略する。

0072

図８は、医師の模擬問診を評価した表示リストの例である。評価時刻０１：５３：００、０１：５３：０９、０１：５３：２０は、評価理由の記載で「批判的」というキーワードが共通している。キーワードが評価者Ａ１乃至Ａ３の３者全員によって記載されているため、閾値以上となり、評価理由Ｖａ７に表示されている。

0073

また、評価時刻０７：１８：３３、０７：２０：２２、０７：２５：１５は、優先度がいずれも１で閾値以上となり、評価理由Ｖａ７に表示されている。

0074

前記以外の指定項目「経過」「原病歴」「既往歴」「家族歴」は、閾値未満であったため、評価理由は非表示になっている。

0075

なお、閾値の判断を介した表示は、閲覧時に見やすいようにするためのものであるため、かかる目的に合致するものであればよく、図８で示した表示の仕方に限定されない。たとえば、図８では、優先度と評価理由の双方を表示したが、いずれか一方を選択できるようにしてもよい。また、優先度の低いものは、仮に閾値以上になっているものでも、前提条件として表示対象にしないようにしてもよい。さらに、図８では、表示の仕方として、すべての評価理由を単純に列記しているが、各々を複数のレイヤーに表示して重畳合成し、画面上でクリック等することによってページ捲りように表示するようにしてもよい。また、これに連動するように、評価時刻Ｖａ１、評価Ｖａ２、評価者番号Ｖａ３、指定項目Ｖａ４、優先度Ｖａ５も複数レイヤーに表示するようにし、最上面は、常に１人の評価者の記載事項のみが表示されるようにしてもよい。

0076

図９は、図１のデジタルペンＰ１、Ｐ２…Ｐｎから送信されるベクトルデータを受信する通信端末Ｄ１、Ｄ２…Ｄｎを利用した場合の機器構成図である。この構成の場合、視聴者Ａ’は、デジタルペンＰ１、Ｐ２…Ｐｎを使用して手書き情報を通信端末Ｄ１、Ｄ２…Ｄｎに送信し、通信端末Ｄ１、Ｄ２…Ｄｎの表示部上で表示させる。手書き情報以外の記載事項は、通信端末Ｄ１、Ｄ２…Ｄｎ上で直接入力して行う。通信端末Ｄ１、Ｄ２…Ｄｎと手書き情報処理装置１とは、データ通信可能に接続されており、デジタルペンＰ１、Ｐ２…Ｐｎで記載された手書き情報及び通信端末Ｄ１、Ｄ２…Ｄｎで前記直接入力された事項は、まとめて送信データとして通信端末Ｄ１、Ｄ２…Ｄｎからデータ通信によって送信され、手書き情報処理装置１の受信部１０１で受信される。本実施の形態では、通信端末Ｄ１、Ｄ２…Ｄｎと手書き情報処理装置１は、ルータＲを介して無線ＬＡＮで接続されている例を示しているが、これに限定する趣旨ではない。

0077

図１０は、通信端末Ｄの表示部で前記送信データを送信するときの送信画面表示例を示した図である。Ｄａは、動画像データ表示部である。通信端末Ｄは、手書き情報処理装置１に接続されたビデオカメラＣで撮影している動画像データをデータ通信によって受信し、リアルタイムで表示することができる。したがって、通信端末Ｄを使用する視聴者は、リアルタイムで動画像データを見ながら、手書き情報を記載することができる。本発明では、手書き情報の記載時に、動画像データを表示している画面上で手書き情報に関連する箇所をタッチ等によって重畳マークを記入することにより、当該箇所に重畳マークデータＤｅを合成させることができる機能を有する。動画像データをタッチ等することにより、重畳的にデータを合成させる技術は公知の画像合成技術を利用すればよい。本実施の形態では、教師の顔の向きに着目しており、動画像データの顔の部分をタッチすることにより、顔全体を円で囲む重畳マークデータＤｅが合成されている画像を表示している。

0078

Ｄｂは、記入用紙に記載した手書き情報のベクトルデータである。ベクトルデータＤｂは、前記重畳マークデータＤｅと関連する記載を表示したものとなっている。また、ベクトルデータＤｂの下のＤｃには、重畳マークデータＤｅ及びベクトルデータＤｂの評価時刻データ、評価データ、指定項目データのデータセットが表示されている。データセットＤｃは、通信端末Ｄにあらかじめ設定されており、ラジオボタン、チェックボタン等でチェックすることにより、生成されるようにすればよい（図示せず）。

0079

通信端末Ｄの画面上で、送信する重畳マークデータＤｅ、ベクトルデータＤｂ及びデータセットＤｃを確認後、送信ボタンＤｂを押下操作すると、これらのデータは、ルータＲを介して手書き情報処理装置１の受信部１０１で受信される。

0080

なお、図１０では、リアルタイムで表示されている動画像データ上に直接重畳マークデータを合成させるようにしているが、たとえば、通信環境が悪い場合、手書き情報と重畳マークデータの記載を同時に行うのが困難な場合、等のために、動画像データから、手書き情報を記入した時刻に対応するフレーム画像データを抽出し、動画像データ表示部Ｄａで、前記手書き情報とともに、前記抽出されたフレーム画像データを表示し、表示されたフレーム画像データで、当該手書き情報の内容に関係する箇所に、重畳マークデータを合成させるように記入するようにしてもよい。なお、重畳マークデータを動画像データ上に合成させるか、フレーム画像データ上に合成させるか、は、通信端末Ｄで予め選択できるようにしておけばよい（図示せず）。

0081

なお、前記フレーム画像データ上に合成させた場合、受信部１０１は、通信端末Ｄから前記ベクトルデータ及び前記重畳マークデータが合成されたフレーム画像データを受信し、前記再生位置としてベクトルデータを指定すると、表示部１０７は、前記重畳マークデータを合成させたフレーム画像データに対応する位置から動画像データを再生表示する。

0082

なお、発話終了後に、フィードバック情報を取得するために再生する場合、通信端末Ｄは、手書き情報処理装置１と同様な機能を備えるものであってもよい。また、前記送信された重畳マークデータＤｅ、ベクトルデータＤｂ及びデータセットＤｃは、通信端末Ｄから事後的に編集可能とし、また、手書き情報処理装置１とデータを同期する機能を有するものであってもよい。

0083

ところで、複数の視聴者（例えば学生）から成るグループを複数形成し、発話者（例えば教師）とディスカッションを行う相互参加型のアクティブラーニングなどの場合、発話者の要求に対して視聴者が回答などを手書きで記載するが、このようなケースで手書き情報処理装置１を利用する場合、グループ別に各視聴者の記載内容を一覧できると、学習指導上、効果的である。

0084

本発明では、視聴者が前記のようなグループを形成した場合、前記動画像データをグループ別に撮影するものとし、各視聴者が手書き情報を記載すると、手書き情報処理装置１の受信部１０１では、各視聴者が記載した手書き情報のベクトルデータ及び送信時刻データを、各グループを識別する識別データとともに受信し、動画像データ記憶部１０２では、前記各グループの動画像データを前記識別データとともに記憶する構成とした。ベクトルデータ、送信時刻データ及び動画像データが、前記識別データと対応付けられていることから、表示部１０７では、グループごとにベクトルデータ、動画像データを区別して一覧可能に表示することが可能となる。

0085

さらに、前記グループを形成する場合、図１１に示すように、たとえば、グループＧ１、グループＧ２、グループＧ３の３つのグループに、手書き情報処理装置１と同機能を備えたグループ用手書き情報処理装置２乃至３を各々付与し、各グループに所属する複数の視聴者（本実施の形態では４名としているが、これに限定する趣旨ではない。）が記載した手書き情報を変換したベクトルデータ及び送信時刻データは、無線ＬＡＮで接続されているルータＲを介して手書き情報処理装置１に送信されるとともに、各グループ用手書き情報処理装置２乃至３にも送信される。なお、各グループ用手書き情報処理装置２乃至３には、グループ別に動画像データを撮影するカメラＣ２乃至Ｃ４が接続されている。

0086

グループ用手書き情報処理装置２乃至３は、カメラＣ２乃至Ｃ４によって撮影された動画像データと当該グループ内の記入用紙Ｆに記載された手書き情報にかかるベクトルデータのみを表示部で表示するものとし、各グループＧ１乃至Ｇ３のベクトルデータ及び動画像データのすべてを閲覧できるのは、手書き情報処理装置１だけである。

0087

図１１のような構成において、手書き情報処理装置１の表示部１０７で、グループ別に表示するベクトルデータに強調表示データがある場合、手書き情報処理装置１を、図１２で示すように、強調表示データをグループ用手書き情報処理装置２乃至３に送信する送信部１０９を備えた構成とすることにより、各グループＧ１乃至Ｇ３においても、強調表示データが表示される。すなわち、図１３で示すように、手書き情報処理装置１の表示部１０７（モニタ）上で、グループＧ１乃至Ｇ３の動画像データとベクトルデータとが、グループ別に表示されている状態で、キーワードＫ（本実施の形態では「Ｈｅｌｌｏ」）を入力すると、各グループで「Ｈｅｌｌｏ」を記載した視聴者のベクトルデータの「Ｈｅｌｌｏ」の部分が強調表示されるとともに、送信ボタンＴを押下すると、グループ用手書き情報処理装置２乃至３の表示部で許容された範囲内、すなわち、グループに所属している視聴者のベクトルデータが、強調表示される。本実施の形態では、グループＧ２のグループ用手書き情報処理装置３の表示状態を例示的に示している。

0088

図１４及び図１５は、図１１乃至図１３で説明した視聴者がグループを形成した場合の利用形態における手書き情報処理装置１の変形例を示したブロック構成図である。図１、図４及び図１２と同一の機能、作用を奏する構成要素については、共通の記号、番号を用いることとし、図１、図４及び図１２において説明した事項については、重複する詳細な説明を省略する。

0089

図１４は、前記同一グループ又は同一視聴者の手書き情報のベクトルデータを、強調表示データを含めてログデータとして蓄積する蓄積部１１０を有する構成を示した図である。

0090

蓄積部１１０に蓄積されたログデータを読み出すことによって、表示部１０７で、同一グループ又は同一視聴者の前記ログデータを一覧可能に表示するとともに、強調表示データの変遷を一覧可能に表示することができる。従って、本実施の形態では、同一視聴者が、手書き情報を複数回記載することを前提とする。

0091

強調表示データの変遷は、同一のキーワードを追ったログデータの閲覧のほか、新規のキーワードを順次追加することで、異なるキーワードの記載のタイミングの変遷を追うような場合でも、表示することが可能である。

0092

ログデータの表示の仕方は、たとえば、サムネイル方式で一画面に表示するもの、階層状に重ねて順送りするもの等、一覧表示できるものであれば、特に限定しない。

0093

図１５は、前記各視聴者の発言回数データを発言時に特定された視聴者ＩＤデータ及び発言時刻データと関連付けた発言データとして特定する特定部１１１を有する構成を示した図である。

0094

具体的には、例えば、発言時に視聴者をユニークに特定するＩＤ情報を特定部１１１に送信する周辺機器等を視聴者に付与すればよい（図示せず）。周辺機器は、クリッカのような専用リモコンのほか、各視聴者に配布する記入用紙Ｆに当該視聴者ＩＤを示す発言アイコンを予め印刷しておき、発言時にデジタルペンＰで当該発言アイコン上をタップすると、ＩＤ情報を特定部１１１に送信するようにしてもよい。

0095

特定部１１１で発言データを取得すると、蓄積部１１０で蓄積される。また、再生位置設定部１０３は、前記発言データを再生位置として設定し、表示部１０７は、蓄積部１１０から前記発言データを読み出すと、当該発言データを時系列順に再生するととともに、再生中の発言データが、全発言回数の何番目であるかを表示するようにしてもよい。

0096

図１６は、発話者と視聴者とが、遠隔地にいる場合に、手書き情報処理装置１を利用するための機器構成図である。記入用紙Ｆ１、Ｆ２…ＦｎにデジタルペンＰ１、Ｐ２…Ｐｎで手書き情報を記載すると、前記ベクトルデータは、インターネットＩに接続された遠隔地通信中継装置Ｍを介して、手書き情報処理装置１の受信部１０１で受信される。また、手書き情報処理装置１の送信部１０９から送信された強調表示データは、遠隔地通信中継装置Ｍを介して、図１１で説明したグループ用手書き情報処理装置２乃至３に表示される（図１６では図示を省略しているが、遠隔地通信中継装置Ｍとグループ用手書き情報処理装置２乃至３とが、データ通信自在に接続されている。）。また、動画像データ記憶部１０２は、視聴者を撮影した動画像データをインターネットＩに接続された遠隔地通信中継装置Ｍを介して取得し記憶する。

0097

１手書き情報処理装置
２〜４グループ用手書き情報処理装置
１０１ 受信部
１０２動画像データ記憶部
１０３再生位置設定部
１０４テキストデータ生成部
１０５検索部
１０６表示変更部
１０７ 表示部
１０８表示リスト生成部
１０９ 送信部
１１０蓄積部
１１１ 特定部