図面 (/)

技術 手書き情報処理装置

出願人 株式会社フォトロン株式会社内田洋行国立大学法人東北大学
発明者 中島平布施信夫桑原毅島田誠
出願日 2015年11月2日 (5年6ヶ月経過) 出願番号 2015-215410
公開日 2017年5月25日 (3年11ヶ月経過) 公開番号 2017-090478
状態 特許登録済
技術分野 検索装置 電気的に作動する教習具 デジタル計算機のユーザインターフェイス
主要キーワード 評価時刻 進行計画 代表表示 反対語 ディベート 記載順序 指定事項 送信時刻データ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年5月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

発話者負荷をかけることなく、発話進行時及びフィードバック再生時のいずれでも、具体的な視聴者の反応と当該反応に至るプロセスを把握することができる装置を提供する。

解決手段

手書き情報処理装置は、視聴者が記載した手書き情報を順次ベクトルデータ化して収集するとともに、発話者又は視聴者を撮影する動画像データ記憶部102、所定のキーワードを指定すると、前記ベクトルデータに含まれるキーワードを強調表示データに変更する表示変更部106、発話者の発話進行中に、前記動画像データのリアルタイム再生表示と対比閲覧可能に、ベクトルデータを順次時系列に表示し、さらに、逐次強調表示データを表示する表示部107を持つ。

概要

背景

近年、各種プレゼンテーションや学校での授業等、発話者発話内容とこれを視聴する視聴者の様子をビデオファイル化し、後に、フィードバック情報として再生可能とするIT技術の導入が進められている。たとえば、集会発表に対する多数の参加者意思表示の内容をフィードバックするために、参加者が、専用リモコンで、随時発信する意思表示の信号を意思表示のログデータとして受信するとともに、前記発表内容収録した収録データを受信し、収録データを時系列的配列表示にして、前記ログデータから生成されたマークを意思表示されたタイミングとして前記配列表示上に表示し、所望のマークを指定すると、指定されたマークに対応する再生位置から収録データを再生、表示するシステムが提案されている(特許文献1参照。)。

特許文献1に係るシステムによれば、前記参加者である視聴者の意思表示を再生時にフィードバック情報として確認することができるが、前記意思表示は、専用リモコンを介して行われるため、意思表示の表現が、専用リモコンで操作可能な範囲に限定されるという問題があった。

かかる問題に対しては、デジタルペンを利用した手書き情報筆記データとして表示させるようにすればよい。たとえば、筆記手段と筆記データを送信する手段を持つデジタルペンと、デジタルペンが読み取り可能な二次元パターンが表面に印刷された解答用紙と、デジタルペンから送信された筆記データを受信する通信端末と、ネットワーク上で当該通信端末に接続され、複数のアイコンと前記複数のアイコンのそれぞれに対応した制御コードとを有する制御テーブルを具備し、アイコンが指定されることにより、それに対応した制御コードに従った処理内容を実行する授業支援サーバと、当該筆記データを表示する表示手段とを有する授業支援システムが提案されている(特許文献2参照。)。

特許文献2に係るシステムを応用すれば、前記参加者の意思表示は、制約なく具体的な内容をそのままデータ化し、フィードバック情報として活用できる。また、前記意思表示の入力を手書きにすることで、視聴者側からすると、複雑な操作を介在させずに、直感的に具体的な内容を記載できるという効果も期待できる。

概要

発話者に負荷をかけることなく、発話進行時及びフィードバック再生時のいずれでも、具体的な視聴者の反応と当該反応に至るプロセスを把握することができる装置を提供する。手書き情報処理装置は、視聴者が記載した手書き情報を順次ベクトルデータ化して収集するとともに、発話者又は視聴者を撮影する動画像データ記憶部102、所定のキーワードを指定すると、前記ベクトルデータに含まれるキーワードを強調表示データに変更する表示変更部106、発話者の発話進行中に、前記動画像データのリアルタイム再生表示と対比閲覧可能に、ベクトルデータを順次時系列に表示し、さらに、逐次強調表示データを表示する表示部107を持つ。

目的

本発明は、上記課題を解消させるためのものであり、発話者に負荷をかけることなく、発話進行時及びフィードバック再生時のいずれでも、具体的な視聴者の反応と当該反応に至るプロセスを把握することができる装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

発話者に対して、複数の視聴者が、デジタルペンを用いて所定の記入媒体に記載する手書き情報閲覧可能とする表示手段を備えた手書き情報処理装置であって、前記記入媒体に設定されている座標値に基づいて、前記複数の視聴者が記載した前記手書き情報をベクトルデータに変換し、送信時刻データに対応させて収集する受信手段と、前記発話者又は視聴者を撮影することによって得られた音声を含む動画像データを撮影時刻データとともに記憶する動画像データ記憶手段と、前記受信した送信時刻データと前記撮影時刻データとが一致する時刻を前記記憶された動画像データの再生位置とする再生位置設定手段と、前記受信したベクトルデータからテキストデータを生成するデータ生成手段と、前記生成されたテキストデータから、所定の条件で指定したキーワードに一致するテキストデータを検索する検索手段と、前記検索されたテキストデータに対応するベクトルデータを他のベクトルデータと識別可能な表示に変更して強調表示データとする表示変更手段とを有し、前記表示手段は、前記再生位置として設定された送信時刻データに対応するベクトルデータを指定すると、前記強調表示データを含むベクトルデータと、これに対応する動画像データの再生とを対比閲覧可能に表示し、前記動画像データのリアルタイム再生時には、前記受信したベクトルデータを順次時系列に表示し、前記表示変更手段によってベクトルデータを逐次強調表示データに変更するとともに、動画像データのリアルタイム再生と対比閲覧可能に表示することを特徴とする手書き情報処理装置。

請求項2

前記表示変更手段は、前記発話者が、発話進行中に、新規のキーワードを指定すると、当該新規のキーワードに一致するテキストデータに対応するベクトルデータを先行して変更された強調表示データとは異なる強調表示データに変更することを特徴とする請求項1記載の手書き情報処理装置。

請求項3

前記所定の記入媒体は、前記手書き情報を記載する指定項目として、少なくとも、発話の進行に合わせて予め時系列に記載される事項を含み、前記各指定項目とこれに対応する手書き情報の記載欄とが座標データによって特定されて設けられており、前記発話の進行に合わせて前記各記載欄に手書き情報を記載すると、前記受信手段は、前記変換されたベクトルデータとともに、対応する指定項目データを前記座標データで特定して受信し、前記表示手段で動画像データと対比閲覧可能に表示されるベクトルデータに、前記送信時刻データと、前記指定項目データとを対応させて表示させる表示リスト生成手段を有することを特徴とする請求項1又は請求項2記載の手書き情報処理装置。

請求項4

前記表示リスト生成手段は、前記表示リストに、前記各指定項目の重み付けを示す記号欄を設け、所定の重み付けを示す記号が記載された欄に対応するベクトルデータを他のベクトルデータよりも、顕著な表示とすることを特徴とする請求項3記載の手書き情報処理装置。

請求項5

前記表示リスト生成手段は、前記受信手段によって収集した複数のベクトルデータから、前記指定項目が同一であって、前記送信時刻データが所定の範囲内のものは、グループ化された表示とすることを特徴とする請求項3又は請求項4記載の手書き情報処理装置。

請求項6

前記表示リスト生成手段は、前記キーワードを共通に有するベクトルデータを統合して単一のデータとして生成し、これを前記強調表示データに変更することを特徴とする請求項3から請求項5までのいずれか1項に記載の手書き情報処理装置。

請求項7

前記表示リスト生成手段は、少なくとも、同一の指定項目について、前記同一の重み付けの記号が記載されている数又は前記キーワードを共通に有するベクトルデータの数が、所定の数以上のもののみを表示することを選択可能とする請求項6記載の手書き情報処理装置。

請求項8

前記デジタルペンからベクトルデータを受信し、手書き情報処理装置との間でデータ通信可能な通信端末であって、前記動画像データを受信してリアルタイム再生可能な表示部を有し、前記表示部で表示されている動画像データで、当該手書き情報の内容に関係する箇所に、重畳マークデータを合成させるように記入すると、前記受信手段は、前記通信端末から前記ベクトルデータ及び送信時刻データに対応させた前記重畳マークデータを受信し、前記再生位置としてベクトルデータを指定すると、前記表示手段は、前記重畳マークデータを合成させた動画像データを再生表示することを特徴とする請求項1から請求項7までのいずれか1項に記載の手書き情報処理装置。

請求項9

前記デジタルペンからベクトルデータを受信し、手書き情報処理装置との間でデータ通信可能な通信端末であって、前記動画像データを受信してリアルタイム再生可能な表示部を有し、前記動画像データから、前記手書き情報を記入した時刻に対応するフレーム画像データを抽出し、前記表示部で、前記手書き情報とともに、前記抽出されたフレーム画像データを表示し、表示されたフレーム画像データで、当該手書き情報の内容に関係する箇所に、重畳マークデータを合成させるように記入すると、前記受信手段は、前記通信端末から前記ベクトルデータ及び前記重畳マークデータが合成されたフレーム画像データを受信し、前記再生位置としてベクトルデータを指定すると、前記表示手段は、前記重畳マークデータを合成させたフレーム画像データに対応する位置から動画像データを再生表示することを特徴とする請求項1から請求項7までのいずれか1項に記載の手書き情報処理装置。

請求項10

前記手書き情報を記載する所定数の視聴者から構成されるグループを複数形成し、前記動画像データは前記グループ別に撮影されるものとし、前記発話者の要求に応じて、各グループの視聴者が前記記入媒体に手書き情報を記載すると、前記受信手段は、前記ベクトルデータ及び送信時刻データを、各グループを識別する識別データと共に受信するとともに、前記動画像データ記憶手段は、各グループの動画像データを前記識別データとともに記憶し、前記表示手段は、グループごとにベクトルデータと動画像データを区別して、一覧可能に表示することを特徴とする請求項1から請求項9までのいずれか1項に記載の手書き情報処理装置。

請求項11

前記各グループに付与された請求項1から請求項7までのいずれか1項に記載の手書き用情報処理装置であって、表示手段で表示されるデータが、当該グループ内のベクトルデータと動画像データのみとする各グループ用手書き情報処理装置とデータ通信可能に接続され、前記強調表示データを前記各グループ用手書き情報処理装置の表示手段で表示させる指示を送信する送信手段を有することを特徴とする請求項10記載の手書き情報処理装置。

請求項12

前記同一グループ又は同一視聴者の手書き情報のベクトルデータを、前記強調表示データを含めてログデータとして蓄積する蓄積手段を有し、前記表示手段は、同一グループ又は同一視聴者の前記ログデータを一覧可能に表示するとともに、強調表示データの変遷を一覧可能に表示することを特徴とする請求項10又は請求項11記載の手書き情報処理装置。

請求項13

前記各視聴者発言回数データを発言時に特定された視聴者IDデータ及び発言時刻データと関連付けた発言データとして特定する特定手段を有し、前記蓄積手段は、前記発言データを蓄積し、前記再生位置設定手段は、前記発言データを再生位置として設定し、前記表示手段は、前記蓄積手段から前記発言データを読み出すと、当該発言データを時系列順に再生するととともに、再生中の発言データが、全発言回数の何番目であるかを表示することを特徴とする請求項12記載の手書き情報処理装置。

請求項14

前記受信手段は、インターネット等の通信ネットワークに接続された遠隔地通信中継装置を介して受信し、前記動画像データ記憶手段は、前記視聴者を撮影した動画像データを前記通信ネットワークに接続された前記遠隔地通信中継装置を介して取得して記憶することを特徴とする請求項1から請求項13までのいずれか1項に記載の手書き情報処理装置。

請求項15

前記送信手段は、インターネット等の通信ネットワークに接続された遠隔地通信中継装置を介して送信することを特徴とする請求項11から請求項13までのいずれか1項に記載の手書き情報処理装置。

技術分野

0001

本発明は、デジタルペンを用いて所定の記入媒体に記載した手書き情報閲覧可能とする手書き情報処理装置に関するものである。

背景技術

0002

近年、各種プレゼンテーションや学校での授業等、発話者発話内容とこれを視聴する視聴者の様子をビデオファイル化し、後に、フィードバック情報として再生可能とするIT技術の導入が進められている。たとえば、集会発表に対する多数の参加者意思表示の内容をフィードバックするために、参加者が、専用リモコンで、随時発信する意思表示の信号を意思表示のログデータとして受信するとともに、前記発表内容収録した収録データを受信し、収録データを時系列的配列表示にして、前記ログデータから生成されたマークを意思表示されたタイミングとして前記配列表示上に表示し、所望のマークを指定すると、指定されたマークに対応する再生位置から収録データを再生、表示するシステムが提案されている(特許文献1参照。)。

0003

特許文献1に係るシステムによれば、前記参加者である視聴者の意思表示を再生時にフィードバック情報として確認することができるが、前記意思表示は、専用リモコンを介して行われるため、意思表示の表現が、専用リモコンで操作可能な範囲に限定されるという問題があった。

0004

かかる問題に対しては、デジタルペンを利用した手書き情報を筆記データとして表示させるようにすればよい。たとえば、筆記手段と筆記データを送信する手段を持つデジタルペンと、デジタルペンが読み取り可能な二次元パターンが表面に印刷された解答用紙と、デジタルペンから送信された筆記データを受信する通信端末と、ネットワーク上で当該通信端末に接続され、複数のアイコンと前記複数のアイコンのそれぞれに対応した制御コードとを有する制御テーブルを具備し、アイコンが指定されることにより、それに対応した制御コードに従った処理内容を実行する授業支援サーバと、当該筆記データを表示する表示手段とを有する授業支援システムが提案されている(特許文献2参照。)。

0005

特許文献2に係るシステムを応用すれば、前記参加者の意思表示は、制約なく具体的な内容をそのままデータ化し、フィードバック情報として活用できる。また、前記意思表示の入力を手書きにすることで、視聴者側からすると、複雑な操作を介在させずに、直感的に具体的な内容を記載できるという効果も期待できる。

先行技術

0006

特許第4848329号公報
特許第5319458号公報

発明が解決しようとする課題

0007

しかし、前記従来技術では、いずれも、フィードバック情報としては再生時の確認、解析等に有用性を発揮するものの、発話者の発話進行中に、リアルタイムな視聴者の反応を十分には把握できないという問題があった。すなわち、視聴者の反応を手書き情報にすることで、反応の記録の即時性を実現することはできても、発話者側の閲覧の即時性は、上記従来技術では実現されていなかった。

0008

また、発話者にとって、発話進行時、発話終了後のフィードバック再生時の如何を問わず、視聴者の反応を把握するうえで重要な事項は、反応の結論よりも、各々の反応の理由である場合が多い。たとえば、前記視聴者が、発話者のプレゼンテーション等の評価者である場合に、発話者にとっては、話し方良否自体よりも、話し方に改善の余地があると判断された具体的な理由を知ることの方が重要である。

0009

また、たとえば、学校の授業、すなわち、前記発話者が教師であって、前記視聴者が生徒のような場合、教師の問いに対する回答を前記手書き情報で記載させて、モニタで閲覧可能とするシステムは、前記先行技術から構築可能であるが、かかる授業のようなケースでは、回答の正否よりも、回答に至った各生徒の思考プロセスが重要な場合が多く、かかる思考プロセスをリアルタイムで観察することは、教師の授業の進行にとって非常に重要である。

0010

従来、前記回答など、手書き情報の記載のプロセスを同時進行的にモニタ等で閲覧可能とするシステムは存在しているが、前記視聴者が、発話者の意図に即して反応(理解)をしているかどうかをリアルタイムに把握するためには、旧態依然とした巡視、机間指導に少なからず依存するか、前記モニタ等で逐一、各視聴者の記載内容を読み込む必要があり、発話者の負荷は十分に軽減されておらず、実際の授業などで日常的に使用するのは困難であるという課題があった。

0011

本発明は、上記課題を解消させるためのものであり、発話者に負荷をかけることなく、発話進行時及びフィードバック再生時のいずれでも、具体的な視聴者の反応と当該反応に至るプロセスを把握することができる装置を提供することを目的とする。

課題を解決するための手段

0012

上記目的を達成させるために、本発明にかかる手書き情報処理装置は、視聴者が記載した手書き情報を順次ベクトルデータ化して収集するとともに、発話者又は視聴者を撮影する動画像データを記憶し、所定のキーワードを指定すると、前記ベクトルデータに含まれるキーワードを強調表示データに変更し、発話者の発話進行中に、前記動画像データのリアルタイム再生表示と対比閲覧可能に、前記ベクトルデータを順次時系列に表示し、さらに、逐次前記強調表示データを表示することを最も主要な特徴とする。

0013

すなわち、発話者に対して、複数の視聴者が、デジタルペンを用いて所定の記入媒体に記載する手書き情報を閲覧可能とする表示手段を備えた手書き情報処理装置であって、
前記記入媒体に設定されている座標値に基づいて、前記複数の視聴者が記載した前記手書き情報をベクトルデータに変換し、送信時刻データに対応させて収集する受信手段と、
前記発話者又は視聴者を撮影することによって得られた音声を含む動画像データを撮影時刻データとともに記憶する動画像データ記憶手段と、
前記受信した送信時刻データと前記撮影時刻データとが一致する時刻を前記記憶された動画像データの再生位置とする再生位置設定手段と、
前記受信したベクトルデータからテキストデータを生成するデータ生成手段と、
前記生成されたテキストデータから、所定の条件で指定したキーワードに一致するテキストデータを検索する検索手段と、
前記検索されたテキストデータに対応するベクトルデータを他のベクトルデータと識別可能な表示に変更して強調表示データとする表示変更手段とを有し、
前記表示手段は、前記再生位置として設定された送信時刻データに対応するベクトルデータを指定すると、前記強調表示データを含むベクトルデータと、これに対応する動画像データの再生とを対比閲覧可能に表示し、前記動画像データのリアルタイム再生時には、前記受信したベクトルデータを順次時系列に表示し、前記表示変更手段によってベクトルデータを逐次強調表示データに変更するとともに、動画像データのリアルタイム再生と対比閲覧可能に表示することを特徴とする。

0014

この構成によれば、前記発話終了後のいわゆるフィードバック再生時はもとより、リアルタイムでも、動画像データとともに、手書き情報にかかるベクトルデータを閲覧することができ、さらには、強調表示データによって、たとえば、発話者の意図したキーワードを視聴者が理解しているかどうかなどをリアルタイムに確認することが可能となる。

0015

なお、本発明において、「発話者」とは、人数の多少に関わらず、聞き手に対して何らかの発話をする者をいい、たとえば、プレゼンテーションにおけるプレゼンター、学校の教師、セミナー講師、各種インストラクターのほか、就職面接、医療面接など、1対1もしくは1対少人数での発話者も含む。また、本発明において「視聴者」とは、前記発話者の発話を視聴する者をいい、前記発話を直接視聴する生徒、聴講者等のほか、発話者の発話内容を評価する評価者も含む。

0016

前記キーワードは、予め指定するほか、発話進行中に、新規に指定してもよく、新規に指定した場合は、前記表示変更手段は、先行して変更された強調表示データとは異なる強調表示データに変更してもよい。

0017

なお、手書き情報を記載する視聴者が多数存在する場合、視聴者全員のベクトルデータを前記表示手段によって表示すると、画面が煩雑になって閲覧の利便性が損なわれる可能性がある。そこで、前記視聴者には、前記記入媒体に、手書き情報を記載すべき指定項目を備えたフォームを提供し、指定項目ごとに対応させて手書き情報の記載欄を設ければよい。前記指定項目は、少なくとも、発話の進行に合わせて予め時系列に記載される事項を含めるようにすれば、手書き情報の記載時、ベクトルデータに変換後の閲覧時に利便性が高い。また、たとえば、各指定項目に重み付けを示す記号を設け、所定の重み付けを示す記号が記載された記載欄のベクトルデータを他のベクトルデータよりも顕著な表示とすればよい。前記指定項目が同一であって、前記送信時刻データが所定の範囲内のものは、グループ化された表示としてもよい。さらに、前記キーワードを共通に有するベクトルデータを統合して単一のデータとして生成し、これを前記強調表示データに変更すれば、画面上の表示スペースの煩雑さを解消させることができる。

0018

前記表示リスト生成手段は、少なくとも、同一の指定項目について、前記同一の重み付けの記号が記載されている数又は前記キーワードを共通に有するベクトルデータの数が、所定の数以上のもののみを表示することを選択可能とするようにしてもよい。

0019

前記ベクトルデータの送信は、前記デジタルペンからベクトルデータを受信し、手書き情報処理装置との間でデータ通信可能な通信端末を介在させてもよい。この通信端末で、前記動画像データを受信してリアルタイム再生可能な表示部を有し、前記表示部で表示されている動画像データで、当該手書き情報の内容に関係する箇所に、重畳マークデータを合成させるように記入すると、前記受信手段は、前記通信端末から前記ベクトルデータ及び送信時刻データに対応させた前記重畳マークデータを受信し、前記再生位置としてベクトルデータを指定すると、前記表示手段は、前記重畳マークデータを合成させた動画像データを再生表示することも可能である。

0020

なお、通信環境、その他の理由により、前記重畳マークをリアルタイム再生の動画像データに直接合成させることができない場合、または直接合成させない方が好ましい場合もある。このような場合、前記動画像データから、前記手書き情報を記入した時刻に対応するフレーム画像データを抽出し、前記表示部で、前記手書き情報とともに、前記抽出されたフレーム画像データを表示し、表示されたフレーム画像データで、当該手書き情報の内容に関係する箇所に、重畳マークデータを合成させるように記入できるようにすればよい。この場合、前記受信手段は、前記通信端末から前記ベクトルデータ及び前記重畳マークデータが合成されたフレーム画像データを受信し、前記再生位置としてベクトルデータを指定すると、前記表示手段は、前記重畳マークデータを合成させたフレーム画像データに対応する位置から動画像データを再生表示できるようにすればよい。

0021

この構成によれば、前記強調表示データのほか、動画像データからも視聴者の反応に関する具体的な内容が直感的に把握できる。

0022

なお、近年、学校などの指導、学習方法として、前記視聴者に該当する生徒、学生が授業に能動的に参加するアクティブラーニング活発取り入れられているが、かかるアクティブラーニング等で本発明にかかる手書き情報処理装置を利用する場合、前記手書き情報を記載する所定数の視聴者から構成されるグループを複数形成し、前記動画像データは前記グループ別に撮影されるものとし、前記発話者の要求に応じて、各グループの視聴者が前記記入媒体に手書き情報を記載すると、前記受信手段は、前記ベクトルデータ及び送信時刻データを、各グループを識別する識別データと共に受信するとともに、前記動画像データ記憶手段は、各グループの動画像データを前記識別データとともに記憶し、前記表示手段は、グループごとにベクトルデータと動画像データを区別して、一覧可能に表示するようにしてもよい。

0023

また、教師などの発話者が使用する手書き情報処理装置のほかに、表示手段で表示されるデータが、前記グループ内のベクトルデータと動画像データのみとする各グループ用手書き情報処理装置を各グループに付与し、両者をデータ通信可能に接続して、前記強調表示データを前記各グループ用手書き情報処理装置の表示手段で表示させる指示を送信するようにしてもよい。

0024

さらに、前記同一グループ又は同一視聴者の手書き情報のベクトルデータを、前記強調表示データを含めてログデータとして蓄積する蓄積手段を有し、前記表示手段は、同一グループ又は同一視聴者の前記ログデータを一覧可能に表示するとともに、強調表示データの変遷を一覧可能に表示するようにしてもよい。

0025

この構成によれば、前記グループ又は視聴者個々人の思考のプロセスの変化を閲覧することができる。

0026

なお、前記各視聴者の発言回数データを発言時に特定された視聴者IDデータ及び発言時刻データと関連付けた発言データとして特定する特定手段を有し、前記蓄積手段は、前記発言データを蓄積し、前記再生位置設定手段は、前記発言データを再生位置として設定し、前記表示手段は、前記蓄積手段から前記発言データを読み出すと、当該発言データを時系列順に再生するととともに、再生中の発言データが、全発言回数の何番目であるかを表示する構成としてもよい。

0027

本発明は、前記発話者と前記視聴者とが、遠隔地にいる場合でも、利用できるようにしてもよい。すなわち、前記受信手段又は送信手段は、インターネット等の通信ネットワークに接続された遠隔地通信中継装置を介して受信又は送信し、前記動画像データ記憶手段は、前記視聴者を撮影した動画像データを前記通信ネットワークに接続された前記遠隔地通信中継装置を介して取得して記憶するようにすればよい。

発明の効果

0028

本発明にかかる手書き情報処理装置は、発話者に負荷をかけることなく、発話進行時及びフィードバック再生時のいずれでも、具体的な視聴者の反応と当該反応に至るプロセスの把握を可能とするという効果を奏する。

0029

すなわち、視聴者の反応を良否、正否といった結論だけでなく、かかる結論に至った理由や当該結論に至ったプロセスを閲覧することができ、しかも、手書き情報のすべてを読み込まなくても、キーワードに関する部分を強調表示することにより、視聴者全体の反応を迅速に把握することができるという効果を奏する。

0030

さらに、発話者は、上記視聴者の反応をリアルタイムに把握することができるため、発話内容の進行途上で、進め方を柔軟かつ的確に軌道修正することも可能になるという効果を奏する。

図面の簡単な説明

0031

図1は、本発明にかかる手書き情報処理装置のブロック構成図である。
図2は、本発明にかかる手書き情報処理装置の処理フロー図である。
図3は、デジタルペンで記入する記入用紙のフォームと記入例を示した図である。
図4は、表示リスト生成部を有する手書き情報処理装置のブロック構成図である。
図5は、手書き情報処理装置の画面表示例を示した図である。
図6は、画面表示された表示リストの例を示した図である。
図7は、表示リストの表示事項を所定の閾値以上のものに限定する場合の処理フロー図である。
図8は、表示リストの表示事項を所定の閾値以上のものに限定した場合の表示リストの例を示した図である。
図9は、記入媒体とともに通信端末を利用した場合の手書き情報処理装置の機器構成図である。
図10は、通信端末の送信画面表示例を示した図である。
図11は、アクティブラーニング用の手書き情報処理装置の機器構成図である。
図12は、図9の手書き情報処理装置のブロック構成図である。
図13は、図9の手書き情報処理装置の画面表示例を示した図である。
図14は、アクティブラーニング用の手書き情報処理装置の第1変形例のブロック構成図である。
図15は、アクティブラーニング用の手書き情報処理装置の第2変形例のブロック構成図である。
図16は、本発明にかかる手書き情報処理装置を遠隔地で利用する場合の機器構成を示した図である。

実施例

0032

以下、図面を参照しつつ、本発明による手書き情報処理装置の好適な実施形態について説明する。

0033

図1は、本発明にかかる手書き情報処理装置1のブロック構成図である。手書き情報処理装置1は、後述する諸機能を発揮させるための専用装置であってもよいが、好適には、主に、中央処理装置(CPU)、メインメモリ磁気ディスク、その他周辺機器から構成されるパーソナルコンピュータであればよい。CPUは、主として本発明にかかる手書き情報処理装置1の各構成要素の動作を制御する。メインメモリは、CPUが実行する制御プログラムを格納し、CPUによるプログラム実行時の作業領域を提供する。磁気ディスクは、オペレーティングシステム、周辺機器のデバイスドライブ、本発明にかかる各種処理を行うプログラムを含む各種アプリケーションを格納する。図1では、専ら本発明の機能の説明に必要となる機能のみを記載し、汎用的に機能する前記諸機能等の説明は省略する。

0034

手書き情報処理装置1は、発話者に対して、複数の視聴者が記載した手書き情報を電子的に閲覧可能とするものである。手書き情報処理装置1は、模擬実習、模擬交渉、研究発表、トレーナー研修ディベートロールプレイイング、学校の授業・講義、セミナー、社員研修、アンケートイベント等、多様なシーンでの活用が可能である。前記視聴者には、発話者の発話(たとえば、講義)を直接聴講する生徒や参加者のほか、当該発話をする発話者の発話内容、発話態度等を評価する評価者も含まれる。

0035

複数の視聴者Aは、所定の記入用紙F1、F2…Fnに、各々、デジタルペンP1、P2…Pnを使用して、前記発話者の発話内容等に関して評価、感想、回答などを記載する。ここで、デジタルペンとは、たとえば、図1に示す通り、予めドットパターンEが設定されている専用の用紙上で、通常のペン同様に、文字等が記載可能なペン先と、ペン先で前記用紙上に記載された文字をドットパターンEとともに撮影する小型の内蔵カメラと、ペン先に筆圧がかかった時に、前記内蔵カメラを作動させるセンサと、内蔵カメラで撮影された前記手書きの文字等の情報をドットパターンEから座標値として計算しベクトルデータ化するプロセッサと、ベクトルデータ化された手書き情報を一時保存するメモリと、メモリから、手書き情報処理装置1に前記ベクトルデータを転送する通信プロセッサと、前記各機能を作動させる駆動源としてのバッテリと、を有する公知のものであればよく(図示せず)、特に限定はしない。ただし、後述するように、手書き情報処理装置1でのリアルタイムの確認が要求されるため、ベクトルデータ化の処理速度は高速なものがよく、データの転送もクレードルを介在させず、デジタルペンから直接転送できるものが好ましい。

0036

各視聴者Aによって記入用紙F1、F2…FnにデジタルペンP1、P2…Pnを使用して記載された手書き情報は、各デジタルペンP1、P2…Pnによってベクトルデータに変換されたのち、各ベクトルデータを手書き情報処理装置1の受信部101で、送信時刻データに対応させて受信する。

0037

一方、発話者又は視聴者の動画像データは、ビデオカメラCによって、音声とともに記録され、かつ、撮影時刻データとともに手書き情報処理装置1の動画像データ記憶部102に記憶される。

0038

前記ベクトルデータに対応した送信時刻データと前記撮影時刻データとが一致する時刻は、再生位置設定部103によって、撮影した動画像を再生する場合に、いわゆる頭出し(キューポイント)となる再生位置として設定される。

0039

受信部101で受信した前記ベクトルデータは、テキストデータ生成部104で、テキストデータ化され、後述するように、検索部105で、所定の条件で指定したキーワードに一致するテキストデータを検索する。

0040

検索されたテキストデータに対応するベクトルデータは、表示変更部106で、他のベクトルデータと識別可能な表示に変更される。すなわち、表示変更部106は、当該ベクトルデータを強調表示データに変更する処理を行うものであり、具体的には、たとえば、ハイライト表示拡大表示反転表示などであればよい。

0041

表示部107は、前記動画像データの再生と前記ベクトルデータを対比閲覧可能にモニタ上で表示するが、動画像データは、再生位置設定部103で再生位置として設定された前記送信時刻データに対応するベクトルデータを表示部107上で指定することにより、当該送信時刻データに一致する撮影時刻データをキューポイントとして再生することができる。このとき、表示部107では、前記強調表示データに変更されたベクトルデータも表示される。

0042

なお、本発明にかかる手書き情報処理装置1は、前記発話者の発話が終了し、フィードバック情報として、前述の通り、動画像データを閲覧することができるほか、発話進行中のストリーミング再生等、リアルタイム再生時にも、前記したような閲覧が可能となる。この場合、受信部101で受信したベクトルデータを表示部107のモニタ上で順次時系列に表示し、表示変更部106で逐次強調表示データに変更して表示するとともに、リアルタイム再生された動画像データが対比閲覧可能に表示される。

0043

以下、図1及び図2の処理フローを使って手書き情報処理装置1の具体的な作用を説明する。

0044

デジタルペンP1、P2…Pnから、ベクトルデータを受信すると(S1)、動画像データ処理の場合(S2のY)、動画像データ記憶部102に記憶された動画像データを読み出し(S3)、前記受信したベクトルデータに対応付けられた送信時刻データ及び撮影時刻データから、再生位置設定の処理を行う(S4)。

0045

一方、動画像データ処理ではない場合(S2のN)、受信したベクトルデータは、テキストデータとして生成される(S5)。テキストデータ生成の具体的方法は、たとえば、光学的に文字を読み取って、予め記憶されたパターンと照合して文字を特定するOCR(Optical Character Recognition)を利用すればよい。

0046

生成されたテキストデータに対して、検索部105は、検索を設定済みのキーワードで実行するかどうかを判断し(S6)、設定済みキーワードで検索する場合は(S6のY)、設定済みキーワードで検索を行う(S7)。ここで、キーワードの設定は、発話者が、発話内容に対する視聴者の反応等を視聴者から得られる手書き情報によって把握するために、発話者の発話の意図が理解、評価されているのであれば、当然に記載されると期待されるワードを特定することによって行われる。さらに、発話者の発話の意図から、少なくとも、記載を忌避すべき語をキーワードとしても設定してもよい。検索部105の検索は、所定の条件で設定したキーワードに一致するかどうかで行われるが、ここで、所定の条件とは、設定したキーワードと完全一致する条件のほか、類似語同義語まで拡張する条件、さらには、設定したキーワードと反対語、反意語とする条件であってもよい。なお、完全一致以外の条件の場合は、検索部105に、たとえばシソーラスのような辞書機能を持たせ、条件に応じて検索対象を決定すればよい。

0047

設定済みのキーワード検索ヒットした場合(S8のY)、表示変更部106で当該ヒットしたキーワードに対応するベクトルデータを強調表示する処理が行われる(S9)。なお、検索でヒットしなかった場合(S8のN)、S7に戻って設定済みキーワードの検索をループ処理する。

0048

一方、設定済みのキーワードではなく、新規のキーワードで検索を行う場合(S6のN)、設定された新規のキーワードで検索を実行し(S10)、かかる検索でヒットした場合(S11のY)、新規に強調表示する処理が行われる(S12)。ここで、新規の強調表示は、前記設定済みキーワードの検索後の強調表示とは異なる強調表示で処理される。なお、新規のキーワードは、発話者が発話進行中に、新たに視聴者の理解、評価を確認する必要が生じたときに、設定することができ、新規のキーワードの検索後は、リアルタイム再生の場合、前記新規の強調表示が反映されることになる。検索でヒットしなかった場合(S11のN)、S10に戻って新規のキーワードの検索をループ処理する。

0049

S4の再生位置設定とS9又はS12の強調表示処理が行われると、表示部107で動画像データとベクトルデータの対比表示がなされ、発話終了後にフィードバック情報として閲覧する場合は、再生位置(キューポイント)となるベクトルデータのいずれかを指定することにより、当該ベクトルデータの送信時刻データに一致する撮影時刻データから動画像を再生することができ、発話進行中の場合は、動画像のリアルタイム再生とともに、順次時系列にベクトルデータが表示されるとともに、逐次強調表示データの表示もなされる。

0050

図3は、デジタルペンP1等の記入媒体として、記入用紙Fの例を示したものである。具体的には、図3は、学校の教師の授業進行計画書に基づいて作成されたものであり、発話者である教師の授業の進め方が、進行計画書通りに進行しているかどうかの評価を視聴者である評価者(たとえば、ベテランの教師)が記載するためのものである。

0051

記入用紙Fは、手書き情報を記載すべき指定項目を予め時系列に記載した指定項目欄Fa(「学習の流れ」)及び前記指定項目に対応して評価理由を記載する手書き情報記載欄Fc(「評価理由」)が特に重要であるが、本実施の形態では、他に、評価を段階的な記号で表記する評価欄Fb(「評価」)及び前記指定項目の重要度の重み付けを記載した優先度欄Fd(「優先度」)を含めて構成されている。

0052

記入用紙Fをこのような構成とすることで、前記評価者は、時系列の指定項目に沿って評価を手書きで記載すればよく、従来のように、評価のために配布される専用機器の操作に煩わされることがなく、また、まったくの白紙に記載する場合のように、記載順序が時系列的に前後するなどの混乱がなくなり、評価の観察に注力できるようになる。また、発話者側にとっても、前記指定事項によって、記載すべき事項がある程度、評価者間で統一的に整理されるので、比較的キーワードの記載を促すことができ、効率的な授業(発話)の進行、フィードバック情報の取得が可能になる。

0053

なお、本実施の形態では、前記指定項目は、手書き情報を記載すべき順序を時系列に記載しているが、全体を通しての評価(例えば、「声の大きさ」「動作」等)など、時系列に記載できない事項もありうる。このような指定項目は、記入用紙Fの末尾欄等、一か所にまとめて記載すればよい(図示せず)。視聴者側は、時系列的な事項以外の事項が一か所に設けられていることにより、記載位置散在せず、スムーズに記載することができる。

0054

図4は、図3で示したような所定の記入用紙Fを使用した場合の手書き情報処理装置1のブロック構成図である。図1と同一の機能、作用を奏する構成要素については、共通の記号、番号を用いることとし、図1において説明した事項については、重複する詳細な説明を省略する。

0055

図3のように、少なくとも、時系列の指定項目欄Faとこれに対応する手書き情報記載欄Fcを有する記入用紙Fを使用した場合、表示部107でベクトルデータの表示に際して、前記指定項目とベクトルデータとが対応して表示される表示リストを生成する表示リスト生成部108を設け、生成された表示リストを表示部107で表示すればよい。

0056

表示リスト生成部108は、指定項目欄Faの位置を予め特定する座標データを有し、受信部101で手書き情報から変換されたベクトルデータを受信すると、ベクトルデータの座標値から、対応する指定項目の座標データを特定することによって、指定項目データとベクトルデータとを対応する位置に配するとともに、受信したベクトルデータから、送信時刻データも取得できるので、送信時刻データを前記指定項目データ及びベクトルデータとともに配して表示リストを生成する。

0057

図5は、前記表示リストを含む表示部107による画面表示例を示した図である。画面表示Vは、少なくとも、表示リスト部Vaと動画像表示部Vbと評価集計表示部Vcとから構成されている。表示リスト部Vaは、スクロール可能に表示されており、リアルタイム再生の場合は、最新のベクトルデータ(評価)が、追加されると、例えば、これを最下段に表示し、順次自動的にスクロールされる。なお、本実施の形態では、表示リスト部Vaで表示されている項目が、送信時刻データに対応してベクトルデータ(手書き情報)、指定項目データ等が横方向に配列されており、画面上で、いずれの項目も、対応する送信時刻データにおけるキューポイントになっているため、いずれかの項目を画面上で指定すると、対応する送信時刻データに対応づけられた撮影時刻データから動画像データを再生することができる。

0058

評価集計表示部Vcは、本実施の形態では、図3の評価欄Fbの評価を段階別に集計し、グラフ表示したものを例示している。横軸を時間とし、縦軸を(時間ごとの)評価の集計値とし、評価の種別ごとに色を変えた折れ線グラフを示している。ここで、評価の種別とは、たとえば、評価欄Fbで、良否の判断について、複数の段階の記号を設定している場合の各段階をいう。評価集計表示部Vcのグラフでは、グラフの横軸の時間が、キューポイントになっており、画面上でこれを指定すると、動画像表示部Vbでは、当該時間から、動画像データが再生される。

0059

図6は、図5の画面表示例のうち、表示リスト部Vaの例を拡大して示した図である。

0060

Va1は評価時刻、Va3は評価、Va4は評価者番号、Va5は指定項目、Va6は優先度、Va7は評価理由が表示される欄になっている。なお、Va2は、評価時刻Va1をベースとするソートボタンであり、プルダウンメニューによって、昇順降順その他ソート仕方を選択することができる。なお、ソートボタンは、Va3、Va4、Va5、Va6にも設けられており、各列をベースとしたソートができるようになっている。

0061

ところで、評価者の人数が多数の場合、指定項目が多数ある場合など、表示リストの一覧性が阻害される可能性もある。そこで、表示リスト生成部108は、以下の通り、生成された表示リストを見やすくするための機能を備えている。

0062

まず、評価時刻05:40:00(評価者A3)、評価時刻05:40:03(評価者A1)、評価時刻05:40:55(評価者A2)は、評価、評価理由ともに異なるが、指定項目は「商品概要説明」で共通する。この場合のように、指定項目が共通し、かつ、評価時刻が近接している場合(所定の範囲内の時間の場合)、3件を囲い込んでグループ化する表示H1とすることが可能である。

0063

次に、Va6の優先度欄において、指定項目に優先度1という重み付けがなされている「商品スペック」については、他の評価理由欄の記載よりも、顕著な表示H2とすることが可能である。

0064

また、キーワード検索により強調表示する場合に、評価時刻08:16:45(評価者A3)、評価時刻08:16:57(評価者A1)、評価時刻08:10:00(評価者A2)のように、指定項目「他社製品比較」について、3者ともに「明確」という共通のキーワードで評価していた場合、各3者の評価を一つに統合する表示H3とすることも可能である。本実施の形態では、一の評価者の表示を代表表示として表示しているが、これに限定する趣旨ではない。

0065

図6の表示リスト部Vaは、原則としてすべての評価理由を表示する形式であるが、特定の評価理由のみを表示するようにしてもよい。以下、図7図8を使用して特定の評価理由のみを表示する形態を説明する。

0066

評価者が多い場合、又は重要な評価理由のみ閲覧する場合、特定の評価理由のみを表示することによって、効率的にフィードバック情報を閲覧することができる。本発明においては、同一優先度、評価理由の同一キーワードが、所定の閾値を超えたもののみを表示することとする。

0067

図7は、特定の評価理由のみを表示する場合の表示リスト生成部108の処理フローである。記入用紙Fの記載事項から、優先度又は評価理由の欄を特定し、前記閾値を演算するための初期値としてi=0と設定する(S101)。ここで、初期値の設定は、図6のように、すべての評価理由を表示することを原則とした場合に、選択的に設定できる機能である。具体的には、手書き情報処理装置1の表示部107による図5のような表示画面上で、前記選択的な設定ができる編集ボタン等を設ければよい。

0068

次いで、優先度又は評価理由の記載について、各記入用紙Fを検索する(S102)。なお、検索時前にベクトルデータからテキストデータが生成されている。

0069

検索の結果、検索でヒットした事項の数が設定された閾値未満であるかどうかを判断する(S103)。本実施の形態では、閾値を3と設定しているが、これに限定する趣旨ではない。検索でヒットした事項の数が、閾値未満である場合(S103のY)、検索対象がまだあるかどうかを判断し(S104)、まだ検索対象が有る場合は(S104のY)、前記iの値をi=i+1としてインクリメントし(S105)、再度、S102の検索処理に返す。以降、S103の判断において、閾値に達するまでS102からS105の処理をループする。なお、S104の判断において、最後まで検索した場合(S104のN)、当該事項は、閾値未満であることが確定し、表示リスト部Vaで非表示となる(S106)。

0070

一方、S103において、閾値以上となった場合(S103のN)、表示リスト部Vaで表示する事項として確定する(S107)。S106、S107で非表示、表示の事項が確定し、これに基づいて表示リスト部Vaが生成される(S108)。

0071

図8は、閾値以上の評価理由のみを表示した表示リスト部Vaの例を示した図である。図6と同一の機能、作用を奏する構成要素については、共通の記号、番号を用いることとし、図6において説明した事項については、重複する詳細な説明を省略する。

0072

図8は、医師の模擬問診を評価した表示リストの例である。評価時刻01:53:00、01:53:09、01:53:20は、評価理由の記載で「批判的」というキーワードが共通している。キーワードが評価者A1乃至A3の3者全員によって記載されているため、閾値以上となり、評価理由Va7に表示されている。

0073

また、評価時刻07:18:33、07:20:22、07:25:15は、優先度がいずれも1で閾値以上となり、評価理由Va7に表示されている。

0074

前記以外の指定項目「経過」「原病歴」「既往歴」「家族歴」は、閾値未満であったため、評価理由は非表示になっている。

0075

なお、閾値の判断を介した表示は、閲覧時に見やすいようにするためのものであるため、かかる目的に合致するものであればよく、図8で示した表示の仕方に限定されない。たとえば、図8では、優先度と評価理由の双方を表示したが、いずれか一方を選択できるようにしてもよい。また、優先度の低いものは、仮に閾値以上になっているものでも、前提条件として表示対象にしないようにしてもよい。さらに、図8では、表示の仕方として、すべての評価理由を単純に列記しているが、各々を複数のレイヤーに表示して重畳合成し、画面上でクリック等することによってページ捲りように表示するようにしてもよい。また、これに連動するように、評価時刻Va1、評価Va2、評価者番号Va3、指定項目Va4、優先度Va5も複数レイヤーに表示するようにし、最上面は、常に1人の評価者の記載事項のみが表示されるようにしてもよい。

0076

図9は、図1のデジタルペンP1、P2…Pnから送信されるベクトルデータを受信する通信端末D1、D2…Dnを利用した場合の機器構成図である。この構成の場合、視聴者A’は、デジタルペンP1、P2…Pnを使用して手書き情報を通信端末D1、D2…Dnに送信し、通信端末D1、D2…Dnの表示部上で表示させる。手書き情報以外の記載事項は、通信端末D1、D2…Dn上で直接入力して行う。通信端末D1、D2…Dnと手書き情報処理装置1とは、データ通信可能に接続されており、デジタルペンP1、P2…Pnで記載された手書き情報及び通信端末D1、D2…Dnで前記直接入力された事項は、まとめて送信データとして通信端末D1、D2…Dnからデータ通信によって送信され、手書き情報処理装置1の受信部101で受信される。本実施の形態では、通信端末D1、D2…Dnと手書き情報処理装置1は、ルータRを介して無線LANで接続されている例を示しているが、これに限定する趣旨ではない。

0077

図10は、通信端末Dの表示部で前記送信データを送信するときの送信画面表示例を示した図である。Daは、動画像データ表示部である。通信端末Dは、手書き情報処理装置1に接続されたビデオカメラCで撮影している動画像データをデータ通信によって受信し、リアルタイムで表示することができる。したがって、通信端末Dを使用する視聴者は、リアルタイムで動画像データを見ながら、手書き情報を記載することができる。本発明では、手書き情報の記載時に、動画像データを表示している画面上で手書き情報に関連する箇所をタッチ等によって重畳マークを記入することにより、当該箇所に重畳マークデータDeを合成させることができる機能を有する。動画像データをタッチ等することにより、重畳的にデータを合成させる技術は公知の画像合成技術を利用すればよい。本実施の形態では、教師の顔の向きに着目しており、動画像データの顔の部分をタッチすることにより、顔全体を円で囲む重畳マークデータDeが合成されている画像を表示している。

0078

Dbは、記入用紙に記載した手書き情報のベクトルデータである。ベクトルデータDbは、前記重畳マークデータDeと関連する記載を表示したものとなっている。また、ベクトルデータDbの下のDcには、重畳マークデータDe及びベクトルデータDbの評価時刻データ、評価データ、指定項目データのデータセットが表示されている。データセットDcは、通信端末Dにあらかじめ設定されており、ラジオタンチェックボタン等でチェックすることにより、生成されるようにすればよい(図示せず)。

0079

通信端末Dの画面上で、送信する重畳マークデータDe、ベクトルデータDb及びデータセットDcを確認後、送信ボタンDbを押下操作すると、これらのデータは、ルータRを介して手書き情報処理装置1の受信部101で受信される。

0080

なお、図10では、リアルタイムで表示されている動画像データ上に直接重畳マークデータを合成させるようにしているが、たとえば、通信環境が悪い場合、手書き情報と重畳マークデータの記載を同時に行うのが困難な場合、等のために、動画像データから、手書き情報を記入した時刻に対応するフレーム画像データを抽出し、動画像データ表示部Daで、前記手書き情報とともに、前記抽出されたフレーム画像データを表示し、表示されたフレーム画像データで、当該手書き情報の内容に関係する箇所に、重畳マークデータを合成させるように記入するようにしてもよい。なお、重畳マークデータを動画像データ上に合成させるか、フレーム画像データ上に合成させるか、は、通信端末Dで予め選択できるようにしておけばよい(図示せず)。

0081

なお、前記フレーム画像データ上に合成させた場合、受信部101は、通信端末Dから前記ベクトルデータ及び前記重畳マークデータが合成されたフレーム画像データを受信し、前記再生位置としてベクトルデータを指定すると、表示部107は、前記重畳マークデータを合成させたフレーム画像データに対応する位置から動画像データを再生表示する。

0082

なお、発話終了後に、フィードバック情報を取得するために再生する場合、通信端末Dは、手書き情報処理装置1と同様な機能を備えるものであってもよい。また、前記送信された重畳マークデータDe、ベクトルデータDb及びデータセットDcは、通信端末Dから事後的に編集可能とし、また、手書き情報処理装置1とデータを同期する機能を有するものであってもよい。

0083

ところで、複数の視聴者(例えば学生)から成るグループを複数形成し、発話者(例えば教師)とディスカッションを行う相互参加型のアクティブラーニングなどの場合、発話者の要求に対して視聴者が回答などを手書きで記載するが、このようなケースで手書き情報処理装置1を利用する場合、グループ別に各視聴者の記載内容を一覧できると、学習指導上、効果的である。

0084

本発明では、視聴者が前記のようなグループを形成した場合、前記動画像データをグループ別に撮影するものとし、各視聴者が手書き情報を記載すると、手書き情報処理装置1の受信部101では、各視聴者が記載した手書き情報のベクトルデータ及び送信時刻データを、各グループを識別する識別データとともに受信し、動画像データ記憶部102では、前記各グループの動画像データを前記識別データとともに記憶する構成とした。ベクトルデータ、送信時刻データ及び動画像データが、前記識別データと対応付けられていることから、表示部107では、グループごとにベクトルデータ、動画像データを区別して一覧可能に表示することが可能となる。

0085

さらに、前記グループを形成する場合、図11に示すように、たとえば、グループG1、グループG2、グループG3の3つのグループに、手書き情報処理装置1と同機能を備えたグループ用手書き情報処理装置2乃至3を各々付与し、各グループに所属する複数の視聴者(本実施の形態では4名としているが、これに限定する趣旨ではない。)が記載した手書き情報を変換したベクトルデータ及び送信時刻データは、無線LANで接続されているルータRを介して手書き情報処理装置1に送信されるとともに、各グループ用手書き情報処理装置2乃至3にも送信される。なお、各グループ用手書き情報処理装置2乃至3には、グループ別に動画像データを撮影するカメラC2乃至C4が接続されている。

0086

グループ用手書き情報処理装置2乃至3は、カメラC2乃至C4によって撮影された動画像データと当該グループ内の記入用紙Fに記載された手書き情報にかかるベクトルデータのみを表示部で表示するものとし、各グループG1乃至G3のベクトルデータ及び動画像データのすべてを閲覧できるのは、手書き情報処理装置1だけである。

0087

図11のような構成において、手書き情報処理装置1の表示部107で、グループ別に表示するベクトルデータに強調表示データがある場合、手書き情報処理装置1を、図12で示すように、強調表示データをグループ用手書き情報処理装置2乃至3に送信する送信部109を備えた構成とすることにより、各グループG1乃至G3においても、強調表示データが表示される。すなわち、図13で示すように、手書き情報処理装置1の表示部107(モニタ)上で、グループG1乃至G3の動画像データとベクトルデータとが、グループ別に表示されている状態で、キーワードK(本実施の形態では「Hello」)を入力すると、各グループで「Hello」を記載した視聴者のベクトルデータの「Hello」の部分が強調表示されるとともに、送信ボタンTを押下すると、グループ用手書き情報処理装置2乃至3の表示部で許容された範囲内、すなわち、グループに所属している視聴者のベクトルデータが、強調表示される。本実施の形態では、グループG2のグループ用手書き情報処理装置3の表示状態を例示的に示している。

0088

図14及び図15は、図11乃至図13で説明した視聴者がグループを形成した場合の利用形態における手書き情報処理装置1の変形例を示したブロック構成図である。図1図4及び図12と同一の機能、作用を奏する構成要素については、共通の記号、番号を用いることとし、図1図4及び図12において説明した事項については、重複する詳細な説明を省略する。

0089

図14は、前記同一グループ又は同一視聴者の手書き情報のベクトルデータを、強調表示データを含めてログデータとして蓄積する蓄積部110を有する構成を示した図である。

0090

蓄積部110に蓄積されたログデータを読み出すことによって、表示部107で、同一グループ又は同一視聴者の前記ログデータを一覧可能に表示するとともに、強調表示データの変遷を一覧可能に表示することができる。従って、本実施の形態では、同一視聴者が、手書き情報を複数回記載することを前提とする。

0091

強調表示データの変遷は、同一のキーワードを追ったログデータの閲覧のほか、新規のキーワードを順次追加することで、異なるキーワードの記載のタイミングの変遷を追うような場合でも、表示することが可能である。

0092

ログデータの表示の仕方は、たとえば、サムネイル方式で一画面に表示するもの、階層状に重ねて順送りするもの等、一覧表示できるものであれば、特に限定しない。

0093

図15は、前記各視聴者の発言回数データを発言時に特定された視聴者IDデータ及び発言時刻データと関連付けた発言データとして特定する特定部111を有する構成を示した図である。

0094

具体的には、例えば、発言時に視聴者をユニークに特定するID情報を特定部111に送信する周辺機器等を視聴者に付与すればよい(図示せず)。周辺機器は、クリッカのような専用リモコンのほか、各視聴者に配布する記入用紙Fに当該視聴者IDを示す発言アイコンを予め印刷しておき、発言時にデジタルペンPで当該発言アイコン上をタップすると、ID情報を特定部111に送信するようにしてもよい。

0095

特定部111で発言データを取得すると、蓄積部110で蓄積される。また、再生位置設定部103は、前記発言データを再生位置として設定し、表示部107は、蓄積部110から前記発言データを読み出すと、当該発言データを時系列順に再生するととともに、再生中の発言データが、全発言回数の何番目であるかを表示するようにしてもよい。

0096

図16は、発話者と視聴者とが、遠隔地にいる場合に、手書き情報処理装置1を利用するための機器構成図である。記入用紙F1、F2…FnにデジタルペンP1、P2…Pnで手書き情報を記載すると、前記ベクトルデータは、インターネットIに接続された遠隔地通信中継装置Mを介して、手書き情報処理装置1の受信部101で受信される。また、手書き情報処理装置1の送信部109から送信された強調表示データは、遠隔地通信中継装置Mを介して、図11で説明したグループ用手書き情報処理装置2乃至3に表示される(図16では図示を省略しているが、遠隔地通信中継装置Mとグループ用手書き情報処理装置2乃至3とが、データ通信自在に接続されている。)。また、動画像データ記憶部102は、視聴者を撮影した動画像データをインターネットIに接続された遠隔地通信中継装置Mを介して取得し記憶する。

0097

1手書き情報処理装置
2〜4グループ用手書き情報処理装置
101 受信部
102動画像データ記憶部
103再生位置設定部
104テキストデータ生成部
105検索部
106表示変更部
107 表示部
108表示リスト生成部
109 送信部
110蓄積部
111 特定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ