図面 (/)

技術 映像再生システムにおける遅延クリック方式ならびに該方式に用いられるプレイヤ装置およびサーバ装置

出願人 株式会社エイ・エス・ヴイ
発明者 曽我部秀樹安立幸雄谷沢智史岡本直之谷口貴志
出願日 2006年2月6日 (15年10ヶ月経過) 出願番号 2006-028965
公開日 2007年8月16日 (14年4ヶ月経過) 公開番号 2007-207191
状態 拒絶査定
技術分野 双方向TV,動画像配信等 記録に関連するカラーTV信号処理 記録のためのテレビジョン信号処理 デジタル計算機のユーザインターフェイス CATV、双方向TV等 デジタル計算機のユーザインターフェイス 検索装置
主要キーワード 関係図表 軌跡範囲 静的関係 判定幅 軌跡領域 追加予定 Y座標 判定候補
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2007年8月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

映像中オブジェクトを指定する場合、変化が大きい映像であっても希望するオブジェクトを確実にクリックできるようにする映像再生システムにおける遅延クリック方式を提供する。

解決手段

プレイヤ装置3aはコンテンツサーバ装置1bから映像を取り込み、同時にその映像対応のオブジェクトの関係情報および軌跡情報メタデータ管理サーバ装置1aより取得する。表示装置11aは取得した映像とともにその映像に現れるオブジェクトの関係図を表示する。映像中のオブジェクトをクリックしてその詳細を関係図に表示させる場合、クリック操作の遅延を補うため、操作が決定した時刻からフレーム単位最大設定フレーム値になるまでのオブジェクト軌跡を呼び出してクリック操作とのヒット判定を行う。

概要

背景

静止画再生については、そのファイル内に静止画に関する情報が付加され、ユーザの操作にしたがってその静止画のプロパティ情報説明文画面上に表示されるものが実施されている。この付加情報によりユーザは撮影した風景人物などの写真などについて、より詳しい情報を得ることが可能である。
映像動画)の再生については、再生映像に関連する情報(メタデータ)が付加され、映像再生にともない種々の利用形態が提案されている。

上記利用形態の1つとしてコンテンツ保存部分から映像コンテンツを受けて記録再生装置で再生し、ネットワークを介して多数の情報処理装置に配信する情報処理システムが提案されている(特許文献1)。これはメタデータの利用形態の一例を開示するものであり、ユーザは放送局ネット放送局やユーザ自身が取得したコンテンツ記録媒体からコンテンツを取得し、取得したコンテンツを特定するための識別情報とともに記録再生装置の内部記録媒体などに記録するとともに再生するシステムである。記録再生装置はユーザの指示に基づき必要に応じてネットワークを介して検索サーバに接続し、コンテンツの特定シーンに登場するオブジェクトに関連する関連情報を含むメタデータの取得要求を行い、メタデータを取得する。そして取得したメタデータに基づき必要に応じてネットワークを介してWEBサーバからコンテンツの特定シーンに含まれるオブジェクトに関するさらに詳細な情報を取得する技術が開示されている。

この技術により従前に比較しコンテンツの特定シーンに含まれるオブジェクトの関連情報をより多くのユーザに提供する目的を達成しているが、特許文献1は再生画面についてメタデータをどのように表示させるかの開示はない。例えば、再生されている映像のある場面についてユーザが操作した場合、それに関連するメタデータが、再生されている映像に対しどのような位置に、どのようなタイミングで表示され、その表示内容がどのような形で表示されるかは不明である。
特開2004−272490号公報

概要

映像中のオブジェクトを指定する場合、変化が大きい映像であっても希望するオブジェクトを確実にクリックできるようにする映像再生システムにおける遅延クリック方式を提供する。プレイヤ装置3aはコンテンツサーバ装置1bから映像を取り込み、同時にその映像対応のオブジェクトの関係情報および軌跡情報メタデータ管理サーバ装置1aより取得する。表示装置11aは取得した映像とともにその映像に現れるオブジェクトの関係を表示する。映像中のオブジェクトをクリックしてその詳細を関係に表示させる場合、クリック操作の遅延を補うため、操作が決定した時刻からフレーム単位最大設定フレーム値になるまでのオブジェクト軌跡を呼び出してクリック操作とのヒット判定を行う。

目的

そのため、折角クリックしても、結果的にオブジェクトが通り過ぎた位置に対しクリックしてしまうことが考えられる。
クリックしてもヒットする確率が低ければユーザにとって大きなストレスとなり、映像鑑賞などの楽しみが半減することとなる。
本発明の目的は、映像中のオブジェクトを指定する場合、変化が大きい映像であっても希望するオブジェクトを確実にクリックできるようにする映像再生システムにおける遅延クリック方式を提供することにある。
本発明の他の目的は、上記遅延クリック方式に用いられる映像を再生するプレイヤ装置および映像に関連するメタデータを供給するサーバ装置を提供することにある。

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、点だけ、または面からなる領域を選択するための操作がされたか否かを判断する領域選択判断手段と、前記領域選択判断手段により領域選択と判断された場合、その領域の決定を行う操作がなされたか否を判断する領域決定判断手段と、前記領域決定判断手段により、領域決定と判断された場合、領域選択と判断されたとき記憶された選択開始時間まで時間を戻し、この選択開始時間を起点に所定時間戻し、戻した時間位置オブジェクト軌跡情報を取得し、該オブジェクト軌跡情報が作る軌跡範囲と現在選択されている領域のヒット判定を行うオブジェクト軌跡ヒット判定手段と、前記オブジェクト軌跡ヒット判定手段によりヒットと判定された場合、ヒットしたオブジェクトの情報をメタデータより取り出す検索手段と、を備えたことを特徴とする映像再生システムにおける遅延クリック方式。

請求項2

映像を供給するコンテンツ供給装置,映像を再生するプレイヤ装置および各映像に対応するメタデータをプレイヤ装置からの要求に応じて配信するサーバ装置とからなる映像再生システムであって、前記プレイヤ装置は、点だけ、または面からなる領域を選択するための操作がされたか否かを判断する領域選択判断手段と、前記領域選択判断手段により領域選択と判断された場合、その領域の決定を行う操作がなされたか否を判断する領域決定判断手段と、前記領域決定判断手段により、領域決定と判断された場合、領域選択と判断されたとき記憶された選択開始時間まで時間を戻し、この選択開始時間を起点に所定時間戻し、戻した時間位置のオブジェクト軌跡情報を取得し、該オブジェクト軌跡情報が作る軌跡範囲と現在選択されている領域のヒット判定を行うオブジェクト軌跡ヒット判定手段と、前記オブジェクト軌跡ヒット判定手段によりヒットと判定された場合、ヒットしたオブジェクトの情報をメタデータより取り出すための手段と、を備えたことを特徴とする映像再生システムにおける遅延クリック方式。

請求項3

前記オブジェクト軌跡情報は各時刻における映像中のオブジェクトを囲む閉曲線を形成する情報であり、前記オブジェクト軌跡ヒット判定手段は、前記オブジェクトを囲む閉曲線と前記選択された領域との重複を調べることによりヒットか否かを判断することを特徴とする請求項1または2記載の映像再生システムにおける遅延クリック方式。

請求項4

前記面からなる領域は、矩形または閉曲線で形成される領域であることを特徴とする請求項1,2または3記載の映像再生システムにおける遅延クリック方式。

請求項5

前記オブジェクト軌跡ヒット判定手段は、前記選択開始時間まで戻した時刻を起点に所定フレーム毎に時間を戻したときのオブジェクト軌跡情報が作る軌跡範囲と現在選択されている領域のヒット判定を行い、ヒット判定されない場合、最大nフレームまでオブジェクト軌跡情報を戻して現在選択されている領域とのヒット判定を行うことを特徴とする請求項1,2,3または4記載の映像再生システムにおける遅延クリック方式。

請求項6

映像再生スタムに用いられるプレイヤ装置であって、点だけ、または面からなる領域を選択するための操作がされたか否かを判断する領域選択判断手段と、前記領域選択判断手段により領域選択と判断された場合、その領域の決定を行う操作がなされたか否を判断する領域決定判断手段と、前記領域決定判断手段により、領域決定と判断された場合、領域選択と判断されたとき記憶された選択開始時間まで時間を戻し、この選択開始時間を起点に所定時間戻し、戻した時間位置のオブジェクト軌跡情報を取得し、該オブジェクト軌跡情報が作る軌跡範囲と現在選択されている領域のヒット判定を行うオブジェクト軌跡ヒット判定手段と、前記オブジェクト軌跡ヒット判定手段によりヒットと判定された場合、ヒットしたオブジェクトの情報をメタデータより取り出すための手段と、を備えたことを特徴とする映像再生システムにおけるプレイヤ装置。

請求項7

前記請求項2に記載の映像再生システムに用いられるサーバ装置であって、前記サーバ装置は前記プレイヤ装置とはネットワークを介して、または直接接続され、プレイヤ装置からの要求に応じて映像対応のメタデータを供給することを特徴とする映像再生システムにおけるサーバ装置。

請求項8

前記サーバ装置は、前記データベースを有し、前記データベースよりオブジェクト関係情報を検索するオブジェクト情報検索手段と、前記データベースよりオブジックト軌跡情報を検索するオブジェクト軌跡情報検索手段と、前記オブジェクト検索情報をXML形式に変換して前記プレイヤ装置に供給するXML変換手段とを備えたことを特徴とする請求項7記載の映像再生システムにおけるサーバ装置。

技術分野

0001

本発明は、再生映像に同期して映像内容に関連した情報(メタデータ)を動的に表示できるようにしたプレイヤ機能およびサーバ機能を持つ映像再生システム、さらに詳しくいえば、プレイヤ装置表示装置に表示される映像を、動画とともに動画に関連したオブジェクトキャラクタアイテムBGMなど)の関係図を同時に表示し、動画中に出現するオブジェクトに対し、関係図中にノード(関係図中のオブジェクト)を表示させるために動画中のオブジェクトを指定すべくクリックした場合に、変化が大きい映像であっても希望するオブジェクトを確実にクリックできるようにする遅延クリック方式ならびにこれに用いられるプレイヤ装置およびサーバ装置に関する。

背景技術

0002

静止画再生については、そのファイル内に静止画に関する情報が付加され、ユーザの操作にしたがってその静止画のプロパティ情報説明文画面上に表示されるものが実施されている。この付加情報によりユーザは撮影した風景人物などの写真などについて、より詳しい情報を得ることが可能である。
映像(動画)の再生については、再生映像に関連する情報(メタデータ)が付加され、映像再生にともない種々の利用形態が提案されている。

0003

上記利用形態の1つとしてコンテンツ保存部分から映像コンテンツを受けて記録再生装置で再生し、ネットワークを介して多数の情報処理装置に配信する情報処理システムが提案されている(特許文献1)。これはメタデータの利用形態の一例を開示するものであり、ユーザは放送局ネット放送局やユーザ自身が取得したコンテンツ記録媒体からコンテンツを取得し、取得したコンテンツを特定するための識別情報とともに記録再生装置の内部記録媒体などに記録するとともに再生するシステムである。記録再生装置はユーザの指示に基づき必要に応じてネットワークを介して検索サーバに接続し、コンテンツの特定シーンに登場するオブジェクトに関連する関連情報を含むメタデータの取得要求を行い、メタデータを取得する。そして取得したメタデータに基づき必要に応じてネットワークを介してWEBサーバからコンテンツの特定シーンに含まれるオブジェクトに関するさらに詳細な情報を取得する技術が開示されている。

0004

この技術により従前に比較しコンテンツの特定シーンに含まれるオブジェクトの関連情報をより多くのユーザに提供する目的を達成しているが、特許文献1は再生画面についてメタデータをどのように表示させるかの開示はない。例えば、再生されている映像のある場面についてユーザが操作した場合、それに関連するメタデータが、再生されている映像に対しどのような位置に、どのようなタイミングで表示され、その表示内容がどのような形で表示されるかは不明である。
特開2004−272490号公報

発明が解決しようとする課題

0005

一般にドラマアニメーションなどの映像において、登場する人物が非常に多く次からつぎへと出現し、高速に移動し消えていく場合などにはユーザはその内容(登場人物の関係や名前,いまどのように状態にあるかなど)を理解するのは容易ではない。
かかる場合に、画像表示画面において、再生画像と同期して画面の一部に再生画像に登場するオブジェクト(キャラクタ,アイテム,BGMなど)に対し、その関係や現況を示す関係図を表示できれば、上記問題を解決することが可能であると考えられる。
本件出願人は、このような状況に鑑み、映像とともに映像に登場するオブジェクトを説明するための関係図を同時に自動表示する提案を行い、映像に登場する人物などが他の人物などとどのような関係で、どのような状況にあるかを明らかにしている。

0006

ところで、上記のように関係図にノードが自動的に表示される映像中のオブジェクトについては、ユーザはその状況を容易に把握することができるが、ノードが自動的に表示されない映像中のオブジェクトに対しては、把握することができない。
そのため映像中のオブジェクトをクリックして関係図中に表示させる操作を行うこととなるが、映像が高速に変化する場合には、映像中に登場するオブジェクトを正確に捕らえることが困難となる。そこで、映像中に登場するオブジェクトを捕らえる範囲としてオブジェクトを含む一定の範囲に対しクリックすれば、そのオブジェクトを指定でき目的を達成できると考えられる。
しかしながら、オブジェクトを捕らえる範囲をある程度大きく設定したとしても、ユーザが映像中のオブジェクトを認識し、入力操作装置によりオブジェクトを選ぶべき操作をし、しかも決定するまでの操作を行うまでには相当の時間の遅れが生ずる。

0007

そのため、折角クリックしても、結果的にオブジェクトが通り過ぎた位置に対しクリックしてしまうことが考えられる。
クリックしてもヒットする確率が低ければユーザにとって大きなストレスとなり、映像鑑賞などの楽しみが半減することとなる。
本発明の目的は、映像中のオブジェクトを指定する場合、変化が大きい映像であっても希望するオブジェクトを確実にクリックできるようにする映像再生システムにおける遅延クリック方式を提供することにある。
本発明の他の目的は、上記遅延クリック方式に用いられる映像を再生するプレイヤ装置および映像に関連するメタデータを供給するサーバ装置を提供することにある。

課題を解決するための手段

0008

前記目的を達成するために本発明の請求項1は、映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、点だけ、または面からなる領域を選択するための操作がされたか否かを判断する領域選択判断手段と、前記領域選択判断手段により領域選択と判断された場合、その領域の決定を行う操作がなされたか否を判断する領域決定判断手段と、前記領域決定判断手段により、領域決定と判断された場合、領域選択と判断されたとき記憶された選択開始時間まで時間を戻し、この選択開始時間を起点に所定時間戻し、戻した時間位置オブジェクト軌跡情報を取得し、該オブジェクト軌跡情報が作る軌跡範囲と現在選択されている領域のヒット判定を行うオブジェクト軌跡ヒット判定手段と、前記オブジェクト軌跡ヒット判定手段によりヒットと判定された場合、ヒットしたオブジェクトの情報をメタデータより取り出す検索手段とを備えたことを特徴とする。
本発明の請求項2は映像を供給するコンテンツ供給装置,映像を再生するプレイヤ装置および各映像に対応するメタデータをプレイヤ装置からの要求に応じて配信するサーバ装置とからなる映像再生システムであって、前記プレイヤ装置は、点だけ、または面からなる領域を選択するための操作がされたか否かを判断する領域選択判断手段と、前記領域選択判断手段により領域選択と判断された場合、その領域の決定を行う操作がなされたか否を判断する領域決定判断手段と、前記領域決定判断手段により、領域決定と判断された場合、領域選択と判断されたとき記憶された選択開始時間まで時間を戻し、この選択開始時間を起点に所定時間戻し、戻した時間位置のオブジェクト軌跡情報を取得し、該オブジェクト軌跡情報が作る軌跡範囲と現在選択されている領域のヒット判定を行うオブジェクト軌跡ヒット判定手段と、前記オブジェクト軌跡ヒット判定手段によりヒットと判定された場合、ヒットしたオブジェクトの情報をメタデータより取り出すための手段とを備えたことを特徴とする。
本発明の請求項3は、請求項1または2記載の発明において前記オブジェクト軌跡情報は各時刻における映像中のオブジェクトを囲む閉曲線を形成する情報であり、前記オブジェクト軌跡ヒット判定手段は、前記オブジェクトを囲む閉曲線と前記選択された領域との重複を調べることによりヒットか否かを判断することを特徴とする。
本発明の請求項4は、請求項1,2または3記載の発明において前記面からなる領域は、矩形または閉曲線で形成される領域であることを特徴とする。
本発明の請求項5は、請求項1,2,3または4記載の発明において前記オブジェクト軌跡ヒット判定手段は、前記選択開始時間まで戻した時刻を起点に所定フレーム毎に時間を戻したときのオブジェクト軌跡情報が作る軌跡範囲と現在選択されている領域のヒット判定を行い、ヒット判定されない場合、最大nフレームまでオブジェクト軌跡情報を戻して現在選択されている領域とのヒット判定を行うことを特徴とする。
本発明の請求項6は、映像再生シスタムに用いられるプレイヤ装置であって、点だけ、または面からなる領域を選択するための操作がされたか否かを判断する領域選択判断手段と、前記領域選択判断手段により領域選択と判断された場合、その領域の決定を行う操作がなされたか否を判断する領域決定判断手段と、前記領域決定判断手段により、領域決定と判断された場合、領域選択と判断されたとき記憶された選択開始時間まで時間を戻し、この時刻を起点に所定時間戻し、戻した時間位置のオブジェクト軌跡情報を取得し、該オブジェクト軌跡情報が作る軌跡範囲と現在選択されている領域のヒット判定を行うオブジェクト軌跡ヒット判定手段と、前記オブジェクト軌跡ヒット判定手段によりヒットと判定された場合、ヒットしたオブジェクトの情報をメタデータより取り出すための手段とを備えたことを特徴とする。
本発明の請求項7は、請求項2に記載の映像再生システムに用いられるサーバ装置であって、前記サーバ装置は前記プレイヤ装置とはネットワークを介して、または直接接続され、プレイヤ装置からの要求に応じて映像対応のメタデータを供給することを特徴とする。
本発明の請求項8は、請求項7記載の発明において前記サーバ装置は、前記データベースを有し、前記データベースよりオブジェクト関係情報を検索するオブジェクト情報検索手段と、前記データベースよりオブジックト軌跡情報を検索するオブジェクト軌跡情報検索手段と、前記オブジェクト検索情報をXML形式に変換して前記プレイヤ装置に供給するXML変換手段とを備えたことを特徴とする。

発明の効果

0009

上記再生映像に同期して映像内容に関連した情報(メタデータ)を動的に表示できるようにしたプレイヤ機能およびサーバ機能を持つ映像再生システムにおいて、動画中に出現するオブジェクトに対し、関係図中にノードを表示させるために動画中のオブジェクトを指定すべくクリックした場合に、オブジェクトの軌跡を所定時間戻して、クリックした位置との重なり具合判別することにより、ユーザの操作上の遅れの問題を解決し確実、かつ容易に映像に登場したオブジェクトをクリックすることができる。

発明を実施するための最良の形態

0010

以下、図面を参照して本発明の実施の形態を詳しく説明する。
図1は、本発明による映像再生システムにおける遅延クリック方式を説明するためのシステム概略図である。
ネットワーク2を介して多数のプレイヤ装置3a〜3nがサーバ装置1にアクセスして映像および映像に関連するメタデータを取得することができる。プレイヤ装置3a〜3nは操作部5a〜5nの操作により、映像コンテンツをコンテンツサーバ装置1bからダウンロードすることができ、ダウンロードした映像コンテンツを表示装置11a〜11nに動画を表示することができる。表示装置11a〜11nに表示される各映像コンテンツに対し、メタデータ管理サーバ装置1aにメタデータを要求し、そのメタデータによって表示装置11a〜11nの画面に動画を表示するとともにその動画に同期して動画に登場するオブジェクトの関係図を表示することができる。映像中には出現するキャラクタなどのオブジェクトを囲む軌跡、例えばオブジェクトを囲む閉曲線およびオブジェクトを示す文字などがオーバレイ表示される。
ユーザが映像中に出現するキャラクタ(オブジェクトを囲む軌跡)をクリックすることにより、クリックがヒットしたオブジェクトについて関係図中にそのオブジェクトの詳細が表示される。ここで、映像中には表示されないが、ユーザのクリックしたタイミングについて、映像を認識してからクリック操作して決定するまでの時間の遅れが生ずることを考慮して、遅れに対応する時間だけ遡ったオブジェクト軌跡に対しヒットしたか否かの判断がなされる。このようなクリックを遅延クリックといい、ユーザの操作の遅れを補完することを目的とし、本発明の実施の形態ではクリックの信号入力から所定時間まで随時1フレームずつ戻しながら判定を行っている。

0011

メタデータ管理サーバ装置1aが配信するメタデータはオーサリング装置4によって作成することができ、各映像コンテンツに対応した適切なメタデータに更新することが可能である。
コンテンツサーバ装置1bはドラマなどの各映像コンテンツを多数蓄積しているHDDなどからなるデータベースを有し、プレイヤ装置3a〜3nの要求に沿った映像コンテンツを提供することができる。コンテンツサーバ装置1bは、プレイヤ装置3a〜3nに映像コンテンツを提供するものであるため、プレイヤ装置3a〜3nに直接接続できる記憶媒体の中に蓄積しても良いし、また、プレイヤ装置3a〜3nにDVDのディスクデッキや大容量の半導体メモリ装置を内蔵させてディスク半導体メモリより読み出して映像コンテンツを得ることも可能である。
サーバ装置1とプレイヤ装置3a〜3nの接続はネットワークを介さずに直接接続することも可能である。

0012

図2は、本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
プレイヤ装置3a〜3nはプレイヤ制御回路8,タイマ7,入力処理部6,メモリ部9,画像処理部10およびネットワーク通信部12を備えている。
プレイヤ制御回路8はプレイヤ装置全体の制御を司る他、制御部8a,映像制御部8b,オブジェクト軌跡ヒット判定部(キー選択矩形)8c,オブジェクト軌跡ヒット判定部(マウス座標)8d,メタデータ解析部8eおよびメタデータ合成部8fの各機能部を有している。メモリ部9はサーバ装置1から取得したメタデータを記憶するメタデータ記憶部9aおよびユーザが操作部5の操作により選択した情報を記憶する選択情報記憶部9bの各領域を備えている他、プレイヤ装置3a〜3nの制御に必要なデータの格納領域を有している。

0013

画像処理部10は取得した映像を描画する映像描画部10a,グリッド選択領域を描くグリッド選択領域描画部10b,動画を表示する画面の他の部分に関係図を描画する関係図描画部10c,動画のオブジェクトの軌跡を描くオブジェクト軌跡描画部10dおよび合成処理部10eより構成されている。関係図を作成して描画する関係図作成描画手段はメタデータ合成部8f,メタデータ記憶部9aおよび関係図描画部10cなどの連携により実現される。また、動画のオブジェクトの軌跡を作成して描画するオブジェクト軌跡作成描画手段は、同様にメタデータ合成部8f,メタデータ記憶部9aおよびオブジェクト軌跡描画部10dなどの連携により実現される。

0014

図3は、本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
サーバ装置1は、ネットワーク通信部21,サーバ制御回路22,データベース制御部24,メモリ部25,入力制御部27および画像処理部28より構成されている。
サーバ制御回路22は、サーバ装置全体の制御を司る他、パラメータ解析部22a,画像情報解析部22b,オブジェクト情報検索部22c,オブジェクト軌跡情報検索部22d,オブジェクト領域衝突判定部22e,応答出力生成部22fおよびXML変換部22gの各機能部を有している。

0015

ネットワーク通信部21は、出力部21a,ネットワークインタフェース21bおよび入力部21cを備えている。
データベース23は映像コンテンツを格納する動画データ記憶部23aおよび映像コンテンツのメタデータを記憶するメタデータ記憶部23bの記憶領域を有している。このデータベース23は動画も記憶されており、サーバ装置1はコンテンツサーバ装置1bの機能を兼ねるものである。
画像処理部28には表示装置29が、入力制御部27には操作装置26がそれぞれ接続されており、サーバ装置1に対しデータを操作装置26より入力してサーバ装置を制御し、その結果などを画像処理部28を介して表示装置29で表示できるようになっている。メモリ部25はその処理の際に用いられるRAMなどである。これら入出力を構成する装置部分は図1に示されているオーサリング装置4とは別にサーバ装置1を調整するためのものである。

0016

つぎに本発明による映像再生システムの各機能部間の信号の送受および扱われるデータ構造について説明する。
図4は、プレイヤ装置とサーバ装置における各機能部の情報送受の関係を判り易くするために示したものである。
入力処理部6からの操作などの入力信号は制御部8aに供給され、制御部8aの出力は映像制御部8b,オブジェクト軌跡ヒット判定部(キー選択矩形)8cまたはオブジェクト軌跡ヒット判定部(マウス座標)8dに入力する。タイマ7の出力は映像制御部8bおよびネットワーク通信部12に供給される。選択情報記憶部9bはオブジェクト軌跡ヒット判定部(キー選択矩形)8cが選択領域とオブジェクト軌跡がヒットするか否かのために用いる選択情報を記憶するためのものである。メタデータ記憶部9aはオブジェクト軌跡ヒット判定部(キー選択矩形)8c,オブジェクト軌跡ヒット判定部(マウス座標)8dおよびメタデータ合成部8f5によって使用される。ネットワーク通信部12はオブジェクト軌跡ヒット判定部(キー選択矩形)8c,オブジェクト軌跡ヒット判定部(マウス座標)8dおよびタイマ7からの出力に基づき軌跡ヒット判定をサーバ装置のネットワークインタフェース21bに送信する。また、サーバ装置から受けた情報はメタデータ解析部8eで解析されメタデータ合成部8fに送られる。映像描画部10aは映像制御部8bからの動画情報を入力し、グリッド選択領域描画部10bはオブジェクト軌跡ヒット判定部(キー選択矩形)8cからのグリッド情報を入力する。また、関係図描画部10cおよびオブジェクト軌跡描画部10dはメタデータ合成部8fからのメタデータを入力してそれぞれの描画情報を作成して合成処理部10eに渡す。合成処理部10eは表示装置が接続されていて動画およびその関係図が表示される。

0017

サーバ装置においてネットワークインタフェース21bはネットワーク通信部12との情報の受け渡しを行い,受けた信号を入力部21cを介してパラメータ解析部22aに送る。パラメータ解析部22aは受けた情報を解析した結果、解析内容に従って画像情報解析部22b,オブジェクト情報検索部22cまたはオブジェクト軌跡情報検索部22dに各情報を送る。画素情報解析部22bは画素情報にしたがって動画データ記憶部23aから該当する動画を読み出し、オブジェクト領域衝突判定部22eに送る。オブジェクト情報検索部22cはデータベース制御部24を介して要求されているオブジェクト情報をメタデータ記憶部23bより検索する。また、オブジェクト軌跡情報検索部22dはデータベース制御部24を介して要求されているオブジェクト軌跡情報をメタデータ記憶部23bより検索する。オブジェクト領域衝突判定部22eではオブジェクト軌跡情報検索部22dからのオブジェクト軌跡情報と画素情報解析部22bからのグリッド情報が重なっているか否かを判定し、重なっている場合にはオブジェクト情報検索部22cにそのオブジェクト情報を送る。応答出力生成部22fはオブジェクト軌跡情報検索部22dおよびオブジェクト情報検索部22cからのオブジェクト情報およびオブジェクト軌跡情報を集約しXML変換部22gに送り、XML変換部22gで各情報をXML形式に変換し、出力部21aを介してネットワークインタフェース21bに渡す。

0018

図5は、本発明で送受されるメタデータのデータ構造の一例を示す図である。
動画ファイル40は知識情報50を有し、知識情報50はユーザ情報60,関係情報70および軌跡情報80を多数集合した情報で構成されている。関係情報70は関係文75,関係情報部76およびオブジェクト情報77より形成され、軌跡情報80は、軌跡情報部85および軌跡領域情報86より形成されている。
動画ファイル40は所在位置を示すIDの項目,動画ファイルを記した名前の項目,動画ファイルのファイル名を記した動画ファイルのURLの項目および関連する知識情報50の項目より構成されている。この知識情報は複数列挙されることが可能である。
知識情報50は、該知識情報のIDの項目,ドラマの名称などの名前の項目,動画ファイルの知識情報のID,ドラマなどの作成者の項目,オーサリングなどのために利用するドキュメントを記載した説明の項目(複数記載が可能),関係情報70を列挙した項目および軌跡情報80を列挙した項目より構成されている。

0019

ユーザ情報60は、ユーザのIDの項目,ユーザの名前,ユーザを識別するためのログインIDおよびパスワードの項目より構成されている。
関係情報70は関係文75が中心であり、関係文75によりオブジェクト定義したオブジェクト情報77のオブジェクトの間を関係情報部76に示された述語関係により規定するものであり、関係文のIDの項目,関係文の名前の項目,主格オブジェクトID,目的格オブジェクトIDの項目およびそれらの間を説明する述語IDの項目より構成されている。オブジェクト情報77は、ユーザのクリックの対象となる例えば俳優などのキャラクタ,キャラクタが用いるアイテム,BGMなどであり、そのオブジェクトのIDの項目,オブジェクトの名前の項目,関係図に表示するオブジェクトの説明画像の項目ならびにオブジェクトを説明するための文言が記載された説明(クリックしたときに関係図に表示される文言)の項目より構成されている。該画像および説明の項目は複数列挙することが可能である。関係情報部76はオブジェクト間の関係を記述するもので、人物関係図であれば「敵,味方」など,人物とアイテムの関係であれば、「使用する」などを規定するものである。人物などのIDの項目,人物など名前の項目,オーサリングなどで判り易くするための画像の項目および同じくオーサリングなどで関係を判り易くするための説明文を記した説明の項目より構成されている。
関係情報70はこれらデータを積み重ね集合体データである。

0020

軌跡情報80は、映像の動きに対応してオブジェクトの軌跡を動かすための情報であり、軌跡情報部85は、あるオブジェクトがある時間にある動きをしたことを列挙した情報部である。
軌跡情報部85は、オブジェクトのIDの項目,オブジェクトの位置を示すURIの項目,オブジェクトのZ方向の位置(同じ画面に複数のオブジェクトが現れて重なる場合、どちらが手前であるか判断するためのもの)を示すZ深度の項目,シーンの一部分においてオブジェクトが現れる時刻および消滅する時刻を示す開始時刻および終了時刻の項目ならびにある時間における領域情報86の項目より構成されている。領域情報86はある時間における領域の動きを規定するもので、複数列挙されることが可能である。領域情報86は、オブジェクトのIDの項目,領域が変位し、その変位した順番(例えばオブジェクトが出現から消滅まで移動領域が5回変化したとすると、何回目かの番号)を記するシーケンス番号の項目,変位時の再生時間を示す時刻(再生開始からのフレーム数)および領域パラメータの項目から構成されている。

0021

領域パラメータは、楕円四角形などの形状を規定する項目,形状が例えば4角形であれば、その中心座標を示すX座標およびY座標の項目,四角形の幅および高さを示す幅および高さの項目ならびに四角形の回転角度を示す回転角度の項目より構成されている。形状が楕円の場合も同様に規定されるが、かかる場合は楕円に外接する四角形が基準となる。軌跡情報80はこれらデータを積み重ねた集合体データである。

0022

つぎに、図4の各機能部の構成について図6A図6I(プレイヤ装置)および図7A図7F(サーバ装置)を用いて説明する。
図6Aはプレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
入力処理部6は、ユーザが操作部を操作したか否を監視し(ステップ(以下「S」という)6A01)、入力があれば、その入力情報を制御部8aに渡す(S6A02)。
図6Bの制御部8aは入力情報を受け(S6B01)、入力情報が10キーまたは方向キーがあるか否かを判断する(S6B02)。10キーまたは方向キーであれば、オブジェクト軌跡ヒット判定部(キー選択矩形)8cにその入力情報を渡す(S6B03)。
一方、マウスまたはボタンによる入力情報であれば、入力されたデータが映像上のマウスクリックか否かを判断し(S6B04)、オブジェクト軌跡ヒット判定部(マウス座標)8dにマウス座標(入力情報)を渡す(S6B05)。マウスクリックでない場合には、ボタンによる入力情報であるとして映像の再生か、または停止ボタンの押し下げかを判断し(S6B06)、映像の再生などであるならば、その情報を映像制御部8bに渡し(S6B07)、映像の再生などでなければ、終了する。

0023

図6Cの映像制御部8bは、制御部8aからボタン情報を受ける(S6C01)と、再生ボタンか否かの判断を行い(S6C02)、再生ボタンであれば、映像データ再生処理を行い(S6C03)、映像描画部10aに渡す(S6C06)。一方、再生ボタンでなければ、停止ボタンが押されたか否かを判断し(S6C04)、停止ボタンであれば、映像の停止処理を行う(S6C05)。停止ボタンが押されていなければ、引き続き映像データを映像描画部10aに渡す(S6C06)。
図6Dのオブジェクト軌跡ヒット判定部(マウス座標)8dは、制御部8aからマウス座標を受け取る(S6D01)と、メタデータ記憶部9aから軌跡情報を読み出す(S6D02)。そして、現在のオブジェクト軌跡の動きから最適な円の半径rを取得する。
半径rの具体的な大きさは、例えば、オブジェクトが停止情報であれば半径rは小さく、動いていれば、動きの速さに応じて半径rを大きくとる(S6D03)。これにより、マウス座標を中心とした半径rの円の領域を選択領域と決定する(S6D04)。そして、遅延クリック(図6Jに詳細フローを記載)が行われ、(S6D05)。映像中のオブジェクトの軌跡情報とユーザがマウスで選択した選択領域とが重なるか否か、すなわちヒットしているか否かの判定に移行する(S6D06)。僅かでも重なっていればヒット判定をする。例えば、図6D−1の場合、選択領域と軌跡領域とが僅かに重なっているため、ヒットしていると判断される。
ヒットした場合にはオブジェクト情報をネットワーク通信部12に渡す(S6D07)。ヒットしていない場合には、ユーザがオブジェクトを捕らえきらなかったものとして終了する。

0024

図6J図6Dおよび図6Eの遅延クリックのシーケンスの詳細を示す図である。
ここで、図6Dの遅延クリックを実行する場合は、マウスのオブジックト軌跡ヒット判定部8dが、後述の図6Eの遅延クリックを実行する場合はキーのオブジックト軌跡ヒット判定部8cがそれぞれ制御する。
オブジェクト軌跡ヒット判定部8cまたは8d(以下、「8c等」という)は、選択情報記憶部9bより現在の選択領域の情報を受け取る(S6J01)と、現在時間のオブジェクト軌跡の位置情報を取得する(S6J02)。そしてこのオブジェクトの軌跡データと選択領域とのヒット判定を行い(S6J03)、オブジェクト軌跡に対し選択領域がヒットしたか否かを判断する(S6J04)。ヒットした場合にはオブジェクトを記憶する(S6J05)。

0025

ヒットしていない場合、このオブジェクト(S6J05で記憶したオブジェクトも含む)に対し、nフレーム時間戻したか否かを判断する(S6J06)。nフレーム時間戻していない場合には、映像を1フレーム時間戻し(S6J07)、S6J02に戻って再度現在時間のオブジェクト軌跡の位置情報を取得してS6J03〜S6J06を実行する。上記動作はnフレーム時間戻るまで繰り返し行われる。
一方、S6J06でオブジェクト軌跡ヒット判定部8c等がnフレーム時間戻したと判断した場合は、複数のオブジェクトに対しヒットがあったか否かを判定する(S6J08)。複数のオブジェクトにヒットした場合にはZ軸の並びおよびヒットした領域の大きさを考慮して、ヒットしたオブジェクトの1つを決定する(S6J09)。そしてヒットしたオブジェクトデータ呼出し元に返す(S6J10)。

0026

一方、図6Eのオブジェクト軌跡ヒット判定部(キー選択矩形)8cは、制御部8aから受けたキー情報(入力情報)を受ける(S6E01)と、領域の選択キーである10キー・方向キーか、またはそれ以外であるマウス・ボタンかを判断し(S6E02)、10キー・方向キーであれば、そのキー操作が決定キーであるか、選択中のキーであるかを判断し(S6E03)、決定キーでなければ、前回と同じキーで押されたか否かの判断を行う(S6E04)。前回と同じキーが操作(同じキーを2回連続して押せば、決定操作がなされたとする)されたと判断すれば、決定を行ったとしてS6E11に移行する。前回と同じキー操作でない場合には、既に記憶している選択開始時間(領域の選択キーが押されたときの時刻)があるか否かを判断(S6E05)し、選択開始時間(時刻)が記憶されている場合には押し下げされた10キー・方向キーに対応する領域を選択領域とする(S6E08)。選択開始時間が記憶されていない(10キー・方向キーによりどこも選択されていない)場合には今回10キー・方向キーが押し下げられた時間を選択開始時間として記憶し、画面全体に対し押し下げされた10キー・方向キーに対応する領域を選択領域とする(S6E06,S6E07)。そして、S6E07またはS6E08で決定した選択領域を現在の選択領域として記憶し(S6E09)、グリッド選択領域描画部10bに対し選択範囲変更イベント発行する(S6E10)。これにより、映像のグリッド領域が例えば特定の色(赤色など)で表示される。
図6E−1に映像中のグリッド領域の表示例を示す。映像の表示領域を多数に分割し、その分割した領域に対応してそれぞれ複数の10キーを割り当て、複数のキーの内、1つが押されることにより押されたキーが所属する分割領域を例えば赤で表示することにより選択されていることを示す。
この処理が終了すると、再度領域の選択キーか否かの判断のS6E02に戻る。
S6E03で決定キーと判断した場合には、記憶している選択開始時間まで時間を戻し(S6E11)、さらに利用者がオブジェクトを認識してからキー入力までの時間だけ戻す(S6E12)。この利用者のオブジェクト認識してからキー入力までの時間は、人間の反応時間を考慮したもので、例えば0.2秒から0.5秒程度戻すこととなる。そして遅延クリック(図6Jに詳細フローを記載)を行い(S6E13)、選択範囲の変更イベントをグリッド選択領域描画部10bに発行し、選択していることを示す表示を解除する(赤を消滅させる)(S6E14)。ヒットした場合にはヒットしたオブジェクト情報をネットワーク通信部12に渡す。ヒットしない場合は終了する(S6E15,S6E16)。
この処理によりユーザが選択した領域が映像中のオブジェクトを捕らえているか否かの判断がなされる。

0027

図6Fのネットワーク通信部12は、映像再生についてタイマ7から再生開始から現在までの時間情報が渡されたか否かを判定し(S6F01)、現在の映像の再生時間を渡された場合には現在時間のオブジェクト軌跡情報をサーバ装置(ネットワークインタフェース21b)に要求する(S6F02,S6F03)。そしてサーバ装置からオブジェクト軌跡情報のXMLを受信すると、取得したXMLをメタデータ解析部8eに渡す(S6F04,S6F05)。一方、クリックがなされた場合にはオブジェクト軌跡ヒット判定部(マウス座標)8dからオブジェクト情報が渡されたか否かを判定し、オブジェクト情報が渡された場合にはこの情報を受け取り、オブジェクト情報77のIDをキーに関係情報70をサーバ装置に要求する(S6F06,S6F07,S6F08)。そしてサーバ装置からオブジェクトの関係情報のXMLを受信すると、取得したXMLをメタデータ解析部8eに渡す(S6F09,S6F10)。
S6F06においてオブジェクト軌跡ヒット判定部8dからオブジェクト情報ではなくマウス座標が渡された場合は、該マウス座標を受け取り(S6F11)、サーバ装置にヒット結果オブジェクトの要求を行う(S6F12)。サーバ装置からオブジェクトのヒット結果を受け取ると、ヒットしたか否か判断し、ヒットした場合にはS6F08に移行する(S6F13,S6F14)。
ここでのネットワーク通信はプレイヤ装置で再生を行いながらサーバ装置から少しずつ情報を得るもので、数秒毎(例えば、2秒毎)に情報を得る。

0028

ネットワーク通信部12からXMLデータを渡された図6Gのメタデータ解析部8eは、XMLからメタデータ(オブジェクト軌跡情報と関係情報)を抽出し(S6G01,S6G02)、メタデータをメタデータ合成部8fに渡す(S6G03)。
図6Hのメタデータ合成部8fがメタデータを受け取る(S6H01)と、すべてのメタデータに対し、メタデータ記憶部9aに追加予定のメタデータが存在するか否かを調べ、そのメタデータが記憶されていない場合には記憶し、既に同じメタデータが記憶されている場合には破棄する。所定の単位毎(リクエストに対する結果データのひとかたまり)に送られてくるメタデータに対し、上記処理を繰り返す(S6H02,S6H03,S6H04)。この処理により、オブジェクト軌跡情報80は例えば100フレーム〜150フレームの間のデータが時系列的に加えられ、また、オブジェクト関係情報70は同様に時系列的に加えられて合成される。
上記ひとかたまりのメタデータの合成が終了すると、合成したメタデータはメタデータ記憶部9aから読み出され関係情報70は関係図描画部10cに、オブジェクト軌跡情報80はオブジェクト軌跡描画部10dにそれぞれ送られ描画データが書き込まれる(S6H05,S6H06,S6H07)。メタデータ合成部8fはつぎから次ぎと送られてくるメタデータに対し繰り返し上記合成処理を行う。

0029

図6Iの関係図描画部10cは、メタデータ合成部8fより関係情報を渡されると、関係情報をフレームバッファに書き込むことにより関係図を描画する画像を作成する(S6I01,S6I02,S6I02)。同様に図6Iのオブジェクト軌跡描画部10dは、フレームバッファに書き込むことにより映像上に軌跡を描画する画像を作成する(S6I04,S6I05,S6I06)。さらにグリッド選択領域描画部10bはオブジェクト軌跡ヒット判定部(キー選択矩形)8cからグリッド領域の情報が渡されると、このグリッド領域の情報をフレームバッファに書き込むことによりグリッドを描画する画像を作成する(S6I07,S6I08,S6I09)。
合成処理部10eは、映像描画部10aの映像,グリッド選択領域描画部10bのグリッド画像,オブジェクト軌跡描画部10dの軌跡画像および関係図描画部10cの関係図の画像を重ねる処理を行うことにより合成を行い(S6I10,S6I11,S6I12,S6I13,S6I14)、この画像が表示装置に表示される(S6I15)。
図6I−1に表示装置で表示される合成画像の一例を示す。
オブジェクトに外接する楕円が軌跡領域であり、軌跡領域に一部重なっている円の領域がユーザがクリックしたグリッド領域である。映像の右側に関係図が表示されている。関係図は、映像のオブジックトに対応して同時に表示されるもので、表示位置の映像部分の他の部分(上側,左側,右側など)に表示することも可能であり、一部重ねて表示することも可能である。表示装置が2ディスプレイであれば、第1のディスプレイに映像を、近くに設置した第2のディスプレイに関係図を表示させることも可能である。また、軌跡の画面表示は、必要に応じて表示し、ユーザが視覚で確認できるように表示しても良いし、また、全く表示しなくても良い。この例のオブジェクト軌跡描画部10dは、軌跡をオーバレイ表示しており、軌跡の中に「キャラA」という文字を表示させている。
また関係図中の「キャラA」のノードは拡大されており、映像中に現在出現しているオブジェクトを他のノードと比較し目立つように表示するものである。

0030

つぎにサーバ装置の構成を説明する。
図7Aの入力部は、サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
入力部21cは要求の待ち受けを開始し、プレイヤ装置から要求を受信した場合にはその要求をパラメータ解析部22aに渡す(S7A01,S7A02,S7A03)。パラメータ解析部22aは、入力部21cから要求を受け取り、要求の文字例を解析する。すなわち、どのような要求があったか否かを解釈する(S7A04,S7A05)。
このパラメータ解析部22aはサーバ装置1のコントローラとしての機能を果たし、プレイヤ装置3a〜3nからの4つの要求(1)(2)(3)および(4)に対し処理を実行することとなる。要求(1)はプレイヤ装置から静的知識情報(関係情報70)を要求するものであり、かかる要求の場合にはその要求をオブジェクト情報検索部22cに渡す(S7A06,S7A07)。静的知識情報の要求でない場合にはオブジェクト軌跡情報の要求であるか否か判断し、オブジェクト軌跡情報80の要求である場合にはオブジェクト軌跡情報検索部22dにその要求を渡す(S7A08,S7A09)。なお、要求(3)はサーバ装置にオブジェクト軌跡ヒット判定部を持つ場合のフローであり、この実施の形態ではサーバ装置にオブジェクト領域衝突判定部22e(プレイヤ装置にオブジェクトヒット判定部が存在すれば、実際は不要である)を記載してサーバ装置側でもヒット判定が可能であることを示している関係上、以後の説明ではサーバ装置側でヒット判定する場合も併せて説明する。サーバ装置にオブジェクト軌跡ヒット判定部を持つ例として、プレイヤ装置が小型で、負荷を軽減化する場合などに適用される。

0031

図8に各種要求(1)(2)(3)および(4)の具体例を示す。
的情報取得の要求(1)は映像コンテンツのIDおよびユーザのIDのデータより構成されている。
オブジェクト軌跡データ取得の要求(2)は何フレームから何フレームまでの軌跡情報かを要求するもので、映像コンテンツのID,ユーザのID,要求する映像のフレームの開始時間および終了時間より構成されている。
オブジェクトヒット判定の要求(3)は上述したようにサーバ装置でヒット判定する場合である。
要求内容としては以下の6通りであり、記載内容は一例である。
それぞれについては映像コンテンツのID,ユーザのIDおよびヒットした時間が含まれている。1行目の要求は、遅延クリックの開始時間628(遅延分を考慮してさかのぼる時間)と終了時間688およびその対象座標の位置(X座標382,Y座標257)が示されており、60フレームだけさかのぼって判定を行うものである。2行目は、遅延クリックはなく、対象時間520のクリックした位置(X座標416とY座標154)のみが示されており、さかのぼることはない。3行目は、2行目の記載に加えて、半径10の判定幅でヒット判定を行うものである(マウスクリック)。4行目は、領域のヒット判定を行うもので、領域として幅213,高さ160の四角形の領域に対する判定要求である(領域クリック)。5行目は、遅延クリックが0フレームまでさかのぼり、かつ判定範囲が半径8の要求である(マウスクリック)。6行目は、遅延クリックが441までさかのぼり、幅80,高さ60の四角形の領域に対する判定要求である(領域クリック)。
要求(3)は、遅延クリックと領域クリックがプレイヤ装置によってオンオフできる場合などに用いられる。
オブジェクト詳細データ取得の要求(4)は、プレイヤ装置でヒットしたオブジェクトの要求をサーバ装置に行うもので、ヒットした映像コンテンツのID,ユーザのID,クリックした映像のフレームおよびクリックした映像中のオブジェクトのIDより構成されており、これによりクリックしてヒットしたオブジェクトの関係情報を得るものである。

0032

図7Bの画像情報解析部22bは、検索条件をパラメータ解析部22aから受け取ると、動画データ記憶部23aから検索条件に沿う動画データを読み出す(S7B01,S7B02)。そして画像の動き解析を行い、画像の秒当たり動き速度を算出し、領域パラメータとしてオブジェクト領域衝突判定部22eに渡す(S7B03,S7B04)。
これは、クリック領域の半径rが指定されなかった場合にサーバ装置で作る過程である。すなわち、要求(3)に対応するもので、画面の動きや軌跡の動き(映像データのどの動画の、何フレームかのデータ)からどれだけの半径にすべきかを決めるもので、動画データに入っている動画を解析してその動きを解析して最適なrを計算するものである。
図7Bのオブジェクト情報検索部22cは、検索条件をパラメータ解析部22aから受け取ると、そのデータをデータベース制御部24に渡し、その結果を取得する(S7B05,S7B06,S7B07)。そしてオブジェクト情報に関係情報があるか否かを判断し(S7B08)、関係情報がある場合には関係情報の検索をデータベース制御部24に依頼し(S7B09)、その結果を取得し(S7B10)、得られた結果を応答出力生成部22fに渡す(S7B11)。要求(4)はオブジェクト詳細情報を得るもので、オブジェクトの関係文を求めものである。すなわち、関係文75の中にオブジェクトについてオブジェクト情報77,関係情報部76の情報を得るものである。

0033

図7Cのオブジェクト軌跡情報検索部22dはオブジェクト軌跡についてオブジェクト情報検索部22cと同様な検索を行うもので、パラメータ解析部22aから何フレーム目から何フレームまでという検索条件を受け取って、データベース制御部24に渡す(S7C01,S7C02)。データベース制御部24はその条件のものをメタデータ記憶部23bにアクセスして、検索条件にあった軌跡情報80を読み出す(S7C03)。ここでヒット判定要求(3)のための検索であるか否かの判定を行い(S7C04)、ヒット判定のためである場合には、ヒットするオブジェクトの候補として軌跡情報をオブジェクト衝突判定部22eに渡す(S7C05)。オブジェクト軌跡データ取得要求(2)である場合には得られた結果を応答出力部22fに渡す(S7C06)。

0034

図7Dのオブジェクト領域衝突判定部22eはオブジェクト軌跡情報検索部22dから判定候補のオブジェクト軌跡情報(その時間に存在するかも知れない軌跡)を受ける(S7D01)と、パラメータ解析部22aからどの座標について衝突(軌跡情報と重なっているか)判定を行うかという情報が受ける(S7D02)。そして衝突判定する対象は点か領域かを判断し(S7D03)、領域である場合には、衝突判定対象領域をクリック認識領域とする(S7D04)。一方、点である場合には更に領域クリック機能が有効(オン状態)になっているかを判定し(S7D05)、有効になっていない場合には衝突判定する点だけからなる領域を作成し、クリック認識領域とする(S7D06)。有効になっている場合には領域クリックパラメータ(半径rなど)を画素情報解析部22bから受け取り、クリック認識領域を算出する(S7D07,S7D08)。
このようにしてクリック認識領域した後、衝突オブジェクト軌跡リスト初期化する(S7D09)。そして判定時刻(フレーム番号)におけるオブジェクトの位置を算出し、衝突候補オブジェクト軌跡のそれぞれに対し、オブジェクト軌跡とクリック認識領域が共通領域(重なっている部分)を持つか判定し、共通領域を持っている場合には衝突オブジェクト軌跡リストに追加する(S7D10,S7D11,S7D12,S7D13)。
このような動作を衝突候補オブジェクト軌跡のそれぞれについて判定を繰り返し、終了すれば(S7D14)、遅延クリック機能(ユーザがクリックした時刻からさかのぼる)が有効になっているか否かを判定する(S7D15)。有効でない場合には、衝突オブジェクト軌跡リストをそのままオブジックト情報検索部22cに渡す(S7D18)。
遅延クリックが有効である場合には判定時刻を1フレーム戻し(S7D16)、このフレームが(最初に与えられた判定時刻−現在の判定時刻)すなわちn秒になっているか判断し(S7D17)、n(戻すフレーム数)秒になっていなければ、S7D10に戻って衝突判定を行う。n秒になった場合はS7D10〜S7D17のループを抜けて衝突オブジェクト軌跡リストをオブジェクト情報検索部22dに渡す(S7D18)。

0035

ここで、S7D10の判定時刻におけるオブジェクトの位置計算の詳細について図7EのAフローを用いて説明する。対象オブジェクトと時刻を受け取り、オブジェクト軌跡情報検索部22dから当該時刻が含まれる軌跡情報を取得する(S7E01,S7E02)。すなわち、どのオブジェクト情報について何フレーム目の位置かを算出するための情報を取得する。
まず、目的とするオブジェクトの軌跡情報が存在するか否かを判断し(S7E03)、当該オブジェクト軌跡が存在しない場合(戻りすぎた場合など)には終了とする(S7E04)。軌跡情報が存在する場合には、当該時刻が軌跡情報内にある定義領域で示された時刻と一致するか判定する(S7E05)。一致した領域が存在すればその定義領域をそのままオブジェクト領域とする(S7E09)。例えば、定義領域が100フレーム目,150フレーム目,180フレーム目が存在し、クリックした判定時刻が150フレーム目であるとすれば、定義領域の中に150フレーム目が存在するので、その150フレームをそのまま用いる。
定義領域に存在しない場合に当該時刻(=t)から見て直前の時刻(=a),直後の時刻(=b)の定義領域を抽出する(S7E06)。例えば、判定時刻が130フレーム目であれば、存在しないので、130フレーム目の軌跡情報を算出するために直前の100フレーム目と直後の150フレーム目の情報を抽出する。以下、(t−a)と(b−t)の比から比例係数ρを算出し、領域の各パラメータについて比例係数ρによって一次補完して領域を作成し、これをオブジェクト領域とする(S7E07,S7E08)。作成される定義領域の具体的位置は、前後の定義領域に対し、映像の変化の速度によって例えば、ピクセル単位で変動することとなる。
このように得られたオブジェクトの領域を呼び出し、元に返却する(S7E10)。

0036

図7Fは、応答出力生成部,XML変換部および出力部の構成を説明するためのフローチャートである。
応答出力生成部22fはオブジェクト情報検索部22cおよびオブジェクト軌跡情報検索部22dからのオブジェクト情報を取得し(S7F01)、元のリクエストから要求タイプを取得する(S7F02)。そして要求タイプに従ってオブジェクトを整形する(S7F03)。例えば、オブジェクト軌跡情報が50フレーム,100フレーム,200フレーム,300フレーム,400フレームの定義領域がある場合、要求が100フレームから300フレームであるときは、50フレームと400フレームは破棄される。
整形したオブジェクト情報はXML変換部22gに渡される(S7F04)。
XML変換部22gは応答出力生成部22fからオブジェクト情報を受け取る(S7F05)と、XMLスキーマを読み込み、オブジェクト−XML変換エンジン起動してオブジェクト情報をXMLデータに変換し、得られたXMLデータを出力部21aに渡す(S7F06,S7F07,S7F08)。出力部21aはXMLデータを取得すると出力ストリームにXMLデータを出力する(S7F09,S7F10)。

0037

以上がプレイヤ装置およびサーバ装置の各機能部の構成,動作についての説明である。つぎに本発明の実施に係わる映像再生システム全体の処理の流れを図9図9A図9Fを用いて説明する。図9における流れはサーバ装置の処理を主体にしたもので、処理シーケンスは以下の通りである。
プレイヤ装置3をユーザが操作して希望する映像コンテンツを要求する(S901)と、その要求はコンテンツ供給装置1bに送られ、コンテンツ供給装置1bは、その映像コンテンツをプレイヤ装置3に送信する(S902)。プレイヤ装置3はその映像コンテンツ(映像データ)の関係情報70をサーバ装置1aに要求する(S903)。サーバ装置1aは関係情報70の検索の要求を受けると、図9Aの流れに沿ってデータベース検索処理を起動する。これにより静的関係情報70の検索を図9Cのシーケンスに従って行い(S904)、得られた関係情報70をプレイヤ装置3に供給する(S905)。プレイヤ装置3は関係情報70を受けると映像の再生を開始する(S906)。表示装置には映像とともに自動的に関係図も表示される。つぎにプレイヤ装置3はオブジェクト軌跡情報80の取得を要求する(S907)。

0038

サーバ装置1は、図9Aの流れに沿ってデータベース検索処理を起動する。これによりオブジェクト軌跡情報の検索を図9Dのシーケンスに従って行い(S908)、得られたオブジェクト軌跡情報をプレイヤ装置3に供給する(S909)。ここまでのシーケンスは映像の進行にしたがって順次映像の関係情報とオブジェクト軌跡情報がプレイヤ装置に取り込まれ表示される。
プレイヤ装置3は現在映像再生中であるか否かを判定し、映像が再生中でなければ、そこで終了する(S910)。映像が再生中であれば、ユーザの入力操作(操作部によって映像中のオブジェクトのクリックなど)を監視することとなる。
この状態でユーザが入力装置をしてクリックした領域がオブジェクト軌跡領域にヒットした場合にはヒットしたオブジェクトの情報をサーバ装置1に要求する(S912)。
サーバ装置1では図9Aの流れに沿ってデータベース検索処理を起動する。これにより、ヒットオブジェクト関係情報をプレイヤ装置3に供給する(S914)。なお、S913はプレイヤ装置3ではなくサーバ装置1bにオブジェクトヒット判定部を備える場合、行われるステップであり、その動作シーケンス図9Eに示されている。

0039

プレイヤ装置3a〜3nはヒットオブジェクト情報が供給されると、そのオブジェクトの詳細情報(オブジェクト情報77)をサーバ装置1に要求する(S915)。サーバ装置1では図9Aの流れに沿ってデータベース検索処理を起動する。これによりオブジェクトの詳細情報の検索を図9Fのシーケンスに従って行い(S916)、得られたオブジェクトの詳細情報をプレイヤ装置3に供給する(S917)。オブジェクトの詳細情報が供給されると、プレイヤ装置3はS910のステップに戻り、映像再生中の状態ではユーザの入力装置を監視し、入力操作があれば、S912〜S917のシーケンスを繰り返す。

0040

つぎに図9サブフローチャートを示す図9A図9Fついて説明する。
図9Aは、サーバ装置の待ち受け処理の流れを示し、図9のS61,64,67,70の位置で起動する。プレイヤ装置3a〜3nからの処理要求を受け、要求を受信できると、要求を解析する。要求の内容が適切であれば、つぎのデータベース処理を起動する。適切でなければエラー情報を作成する(S9A01〜S9A06)。
図9B図9AのS9A05のデータベース検索処理のフローである。
サーバ装置1bは検索条件を受け取ると、データベース23に接続する。データベース23に接続できた場合にはデータベース23を検索して与えられたIDのコンテンツとユーザを探す。上記条件を満たすものが存在すれば、検索条件に従ってデータベース23を検索する。そしてユーザ操作履歴を記録して終了する(S9B01〜S9B07)。
S9B03においてデータベース23に接続できない場合、S9B05において条件を満たすものが存在しない場合にはエラー処理を行う(S9B08)。

0041

図9C図9のS904のステップにおける、静的関係情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する(S9C01,S9C02)。そして当該コンテンツに属する知識情報50をすべて検索し、結果リストに保存する処理を下記のように行う(S9C03)。すなわち、検索された知識情報すべてについて主語主キャラクタなど)・目的語敵キャラクタ,アイテムなど)として知識情報に含まれるオブジェクト情報77を検索する(S9C04,S9C05)。そして検索されたオブジェクト情報が結果リストにない場合にはそのオブジェクト情報を結果リストに追加する(S9C06,S9C07)。つぎに述語として知識情報に含まれる関係情報部76の情報を検索し、検索された関係情報が結果リストにない場合にはその関係情報を結果リストに追加する(S9C08,S9C09,S9C10)。このS9C04〜S9C10のステップは繰り返し実行され、すべての知識情報について検索が終了する(S9C11)と、結果リストを呼び出して元に返す(S9C12)。

0042

図9D図9のS908のステップにおける、オブジェクト軌跡情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する(S9D01,S9D02)。そして当該コンテンツに属するオブジェクト軌跡情報80を検索し、結果リストに保存する処理を下記のように行う(S9D03)。すなわち、検索された軌跡情報すべてについて当該軌跡情報の開始時間・終了時間と検索に与えられた開始時間・終了時間がオーバラップするか否かを判断する。オーバラップしない場合にはS9D10に移行する。オーバラップする場合には当該軌跡の領域情報を検索する(S9D04,S9D05)。これは軌跡情報として例えば100フレーム〜200フレームまでである場合に、検索で与えられたフレームが1000〜1500である場合に、この場合の条件を除外するためである。検索された領域情報のうち、検索条件で与えられた時間内にあるものを結果リストに加える(S9D07)。そして結果リスト内の領域情報で検索開始または終了時刻と一致するものが存在するか判定し、一致するものが存在しない場合には領域情報のうち、検索条件外で最も時間的に近いものを結果リストに加える(S9D08,S9D09)。この処理は、例えば100フレーム,160フレーム,210フレームの領域情報が存在する場合に、検索条件として100フレーム〜200フレームであるとき、210フレームは検索条件外であるが、この210フレームがないと、200フレームの領域情報を算出することができないからである。
このようにしてS9D05〜S9D09までの検索を繰り返し行い、すべての軌跡情報について検索すると、結果リストを呼び出し元に返す(S9D10,S9D11)。

0043

図9E図9のS913のステップにおける、サーバ装置でヒット判定を行う処理のオブジェクト軌跡情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する(S9E01,S9E02)。そして当該コンテンツに属するオブジェクト軌跡情報80を検索し(S9E03)、オブジェクト領域衝突を判定する(S9E04)。結果をリストに保存し、結果リストを呼び出し元に返す(S9E05,S9E06)。

0044

図9Fは、図9のS916のステップにおける、オブジェクト詳細情報検索処理の流れを説明するためのフローチャートである。
検索条件(オブジェクトID,時間)を受け取り、結果リストを初期化する(S9F01,S9F02)。
条件に指定されたオブジェクトIDを持つオブジェクトを検索し(S9F03)、当該オブジェクトを主語または目的語とする知識情報のすべてについて下記のように検索する(S9F04)。すなわち、検索された知識情報すべてについて、主語(主キャラクタなど)・目的語(敵キャラクタ,アイテムなど)として知識情報に含まれるオブジェクト情報77を検索する(S9F05,S9F06)。そして検索されたオブジェクト情報が結果リストにない場合にはそのオブジェクト情報を結果リストに追加する(S9F07,S9F08)。つぎに述語として知識情報に含まれる関係情報部76の情報を検索し、検索された関係情報が結果リストにない場合にはその関係情報を結果リストに追加する(S9F09,S9F10,S9F11)。このS9F05〜S9F11のステップは繰り返し実行され、すべての知識情報について検索が終了する(S9F12)と、結果リストを呼び出して元に返す(S9F13)。

0045

図10は、本発明による映像再生システムにおける遅延クリック方式の実施の形態を説明するためのフローチャートである。
再生中の映像上に、キャラクタが現れ、同時にキャラクタのノード(関係図に表示されるオブジェクト)の関係図を表示装置に自動的に表示し、映像中のキャラクタに対しクリックした場合にオブジェクト軌跡を逆上って読み出しヒット判定する流れであり、プレイヤ装置の制御部8a,オブジェクト軌跡ヒット判定部8c,8dなどが中心に動作するものである。
まず、制御部8aは以下の監視や判定を主体的に行う。ユーザが映像再生のためのプレイヤ装置3を操作すると、プレイヤ装置3がコンテンツ供給装置とサーバ装置1にアクセスし、映像データおよび関係情報が供給され、コンテンツの準備が行われる(S1001)。すなわち、ユーザがプレイヤ装置を操作して再生すべき映像コンテンツA1を選択するためのキー操作を行うと、プレイヤ装置ではそのキー操作による設定ファイル(映像コンテンツA1を選択するため各データ)が形成され、設定ファイルが読み込まれ、インタネット上のコンテンツ供給装置1bにアクセスし、映像コンテンツA1を取得してプレイヤ装置のメモリ部9に格納する。さらにサーバ装置1にアクセスし、映像コンテンツA1対応の静的知識データ(関係情報70)およびオブジェクト軌跡データ(軌跡情報80)を検索させ、データベース23より読み出し、プレイヤ装置3に送信させる。プレイヤ装置3はこの情報もメモリ部に格納する(S1001)。

0046

ついで、オブジェクト軌跡ヒット部8cおよび8dは記憶する選択開始時間の初期化を行う(S1002)。そして領域選択決定手段の機能を兼ねる制御部8aは再生されている映像に対しユーザが操作をしたか否かを監視する(S1003)。操作されたと判断すると、それは決定のための操作か否かを判断する(S1004)。決定操作であれば、領域選択判断手段の機能を兼ねるオブジェクト軌跡ヒット判定部8cまたは8dは領域選択(マウスによる点位置,領域クリック機能がオン状態でマウスによる点位置からクリック認識領域を計算した画面中の範囲および10キー(方向キーやパットをなども含む)と画面の分割した部分が予め対応付けられ、いずれかの10キー操作により決定された画面上の範囲をこの説明での領域という)されているか否かを判断する(S1005)。領域選択されていなければ、すなわちオブジェクトに対しオブジェクトを選択するためのクリック以外の操作であれば、S1003に戻り、ユーザの操作入力の監視を継続する。領域が選択されていれば、記憶している選択開始時間まで時間を戻す(S1006)。選択開始時間は、S1003において、オブジェクト軌跡ヒット部8cおよび8dによって記憶されており、ユーザが選択を開始したときの時間である。この選択開始時間を基準にユーザがオブジェクトを認識してからキー入力までにかかるであろう時間tを戻すこととなる(S1007)。この後、記憶している選択開始時間を消去し(S1008)、決定された領域について時間を1フレームずつ戻してヒット判定を行うこととなる(S1009)。

0047

一方、S1004の決定操作であるか否かの判断において、決定操作でないと判断した場合、その入力は領域を選択する選択キーか否かを判断する(S1010)。オブジェクト軌跡ヒット判定部8cまたは8dはマウスによる点位置や10キーなどによる所定範囲の領域を選択するキー入力でなければ、S1003に戻し、制御部8aによるユーザの入力操作の監視を継続する。領域を選択するキーであれば、既に選択のためのキー操作がなされていて選択開始時間が記憶されているか否かを判断する(S1011)。選択時間が記憶されていれば、選択したキーによる領域の選択を行い(S1013)、S1003に戻し、制御部8aによるユーザの入力操作の監視を継続する。選択時間が記憶されていなければ、現在の時間を選択開始時間として記憶し(S1012)、S1013に移行する。
ここで、ユーザは予め遅延クリック機能を有効か,無効かの操作をしておくことにより遅延クリックを用いるか、用いないかを選択することが可能である。図10のフローチャートは遅延クリックを有効(オン)としている場合であり、遅延クリックを無効(オフ)している場合にはS1007,S1008および図11のS1103,S1104が省略されることとなる。

0048

図11は、図10の決定された領域でヒット判定を行う流れ(S1009)の詳細を説明するためのフローチャートである。
オブジェクト軌跡ヒット判定部8c等は、選択情報記憶部9bより現在の選択領域の情報を受け取る(S1101)と、現在時間のオブジェクト軌跡の位置情報を取得する(S1102)。そしてこのオブジェクトの軌跡データと選択領域とのヒット判定を行い(S1103)、オブジェクト軌跡に対し選択領域がヒットしたか否かを判断する(S1104)。ヒットした場合にはオブジェクトを記憶する(S1105)。
ヒットしていない場合、このオブジェクト(S1105で記憶したオブジェクトも含む)に対し、nフレーム時間戻したか否かを判断する(S1106)。nフレーム時間戻していない場合には、映像を1フレーム時間戻し(S1107)、S1102に戻って再度現在時間のオブジェクト軌跡の位置情報を取得してS1103〜S1106を実行する。上記動作はnフレーム時間戻るまで繰り返し行われる。
ここでnフレーム値は、既に述べたようにユーザがオブジェクトを認識してからマウスをクリックするまでの時間が設定される。

0049

一方、S1106でオブジェクト軌跡ヒット判定部8c等がnフレーム時間戻したと判断した場合は、複数のオブジェクトに対しヒットがあったか否かを判定する(S1108)。複数のオブジェクトにヒットした場合にはZ軸の並びおよびヒットした領域の大きさを考慮して、ヒットしたオブジェクトの1つを決定する(S1109)。なお、複数のヒットしたオブジェクトに対しユーザにプルダウンリストで決定させることも可能である。
上記動作によりヒットしたオブジェクトの1つを決定し、ネットワーク通信部12に対しヒットしたオブジェクト情報を渡す。これによりネットワーク通信部12は、サーバ装置1に対しヒットしたオブジェクト情報を要求する(S1110)。
ネットワーク通信部12は、要求に対しサーバ装置からヒットしたオブジェクトに対する詳細情報が送られてくると、これを受信し(S1111)、メタデータ解析部8e,メタデータ合成部8f,関係図描画部10c,合成処理部10eによって詳細情報、関係図を表示装置に表示する(S1112)。

0050

図12は、高速に変化する映像の一例を示す図である。
(a)〜(e)にはキャラクタがズームアップ表示され、画面の中間奥位置の方向に急ぎ速に横切ってその姿が消え去ろうとしている場合を示している。映像の動きが非常に速いため、キャラクタをクリックしてその詳細情報,関係図を表示させようとしても困難である。しかし本発明のように予めユーザが操作で遅延するであろう時間まで戻してヒット判定することにより、比較的容易に捕らえることが可能である。
図13に、クリックした位置が実際は遅れが生じている例を示す。
(a)に示すように時刻24.876では映像上でキャラクタ31aに対しクリック位置32がヒットしているように見えているが、実際は遅れがあるため(b)に示すように時刻25.202ではクリック位置32はキャラクタ31bから外れているが、本発明による遅延クリック方式により、キャラクタ31aにヒットさせることが容易となる。

0051

図14は領域選択について選択を開始した時間から決定までの時間を説明するための図である。
この例は、画面を9分割してキーボードの各キーに対応付けたもので、例えば、時刻tで「4」のキーが押されたことにより、画面の領域の選択開始となる。このときの選択開始時間が記憶される。さらに選択開始時間tからΔtだけ遅れて「5」が押されて絞り込みが行われたとする。この時の時刻は(t+Δt)であり、選択開始からの遅れはΔtである。最後に決定ボタンの押し下げで決定がなされるまでの遅れをΔuとすると、この時の時刻は(t+Δt+Δu)であり、選択開始からのトータルの遅れは(Δt+Δu)となる。したがって、遅延時間(Δt+Δu)に対応するようにオブジェクト軌跡情報の戻す時間(フレーム数)も設定される。

0052

以上の実施の形態では、最大遅延設定値まで1フレーム単位で戻してヒット判定する例を説明したが、2,3フレーム単位というように数フレーム単位で戻してヒット判定しても良い。また、ユーザの操作の遅延量を予想して最大遅延設定値を予め決めているが、ユーザが操作装置でその値を変えることも可能であり、ユーザ自ら操作能力適合した値にし、ユーザ単位で操作性を向上させることができる。
さらに、映像コンテンツはネットワーク上のコンテンツサーバ装置のデータベースやメタデータを管理するサーバ装置のデータベースに格納しておく例を示したが、格納場所は、プレイヤ装置に直接接続できるローカルメモリやDVDやHDDなどのディスク装置に格納しても良い。また、プレイヤ装置自体が内蔵しても良い。

0053

さらには、オブジェクト軌跡ヒット判定はプレイヤ装置に備える場合を主に(一部サーバ装置側に存在する場合も説明している)構成やシーケンス説明をしたが、オブジェクト軌跡判定手段をプレイヤ装置に含まず、サーバ装置側のみに設けても良い。
また、コンテンツサーバ装置,サーバ装置およびプレイヤ装置をネットワークで接続して構成される映像再生システムの実施の形態について説明したが、コンテンツサーバ装置,サーバ装置およびプレイヤ装置の各機能部を1つの装置内に内蔵させた装置、例えば映像再生装置システムとして構成することも可能である。かかる場合には映像に関するデータ構造は図5の例に示すような構造であり、各機能部は、図6A図6I図7A図7Fで説明した構成と略同じである。ただし、サーバ装置とプレイヤ装置の間を通信する手段であるネットワークインタフェース21b,ネットワーク通信部12(図4参照)は不要である。この映像再生装置は映像およびメタデータならびに検索部なども持っているため、装置自体の処理の負担はサーバ装置,プレイヤ装置に分散する場合に比較し大きくなるが、ネットワーク通信の処理が省けるため映像および関係図表示のための表示処理速度は向上する。さらに映像,メタデータ,制御データ,選択データなどを各データ別に目的にあったメモリ媒体に記録でき、効率的なメモリ手段の構築が可能となる。

0054

映像コンテンツをプレイヤ装置で再生する映像再生システムにおける遅延クリック方式ならびに該映像再生システムに用いるサーバ装置およびプレイヤ装置であり、家庭用や業務用に用いられる。

図面の簡単な説明

0055

本発明による映像再生システムにおける遅延クリック方式を説明するためのシステム概略図である。
本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
プレイヤ装置とサーバ装置における各機能部の情報送受の関係を説明するための図である。
本発明で送受される動画ファイルのデータ構造の一例を示す図である。
プレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
プレイヤ装置の制御部の構成を説明するためのフローチャートである。
プレイヤ装置の映像制御部の構成を説明するためのフローチャートである。
プレイヤ装置のオブジェクトヒット判定部(マウス座標)の構成を説明するためのフローチャートである。
選択領域と軌跡領域が僅かに重なっている状態を示す図である。
プレイヤ装置のオブジェクトヒット判定部(キー選択矩形)の構成を説明するためのフローチャートである。
映像中のグリッド領域の表示例を示す図である。
プレイヤ装置のネットワーク通信部の構成を説明するためのフローチャートである。
プレイヤ装置のメタデータ解析部の構成を説明するためのフローチャートである。
プレイヤ装置のメタデータ合成部の構成を説明するためのフローチャートである。
プレイヤ装置のグリッド選択領域描画部,関係図描画部,オブジェクト軌跡描画部および合成処理部の構成を説明するためのフローチャートである。
表示装置に表示される合成画像の一例を示す図である。
図6Dおよび図6Eの遅延クリックのシーケンスの詳細を説明するためのフローチャートである。
サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
サーバ装置の画像情報解析部およびオブジェクト情報検索部の構成を説明するためのフローチャートである。
サーバ装置のオブジェクト軌跡情報検索部の構成を説明するためのフローチャートである。
サーバ装置のオブジェクト領域衝突判定部の構成を説明するためのフローチャートである。
図7DのサブフローAの特定時刻におけるオブジェクト位置算出方法を説明するためのフローチャートである。
サーバ装置の応答出力生成部,XML変換部および出力部の構成を説明するためのフローチャートである。
本発明における各取得要求および判定要求の内容の一例を示す図である。
本発明による遅延クリック方式を適用した映像再生システムの処理シーケンスを説明するための図である。
サーバ装置の待ち受け処理の流れを説明するためのフローチャートである。
データベース検索処理の流れを説明するためのフローチャートである。
静的知識情報検索処理の流れを説明するためのフローチャートである。
オブジェクト軌跡情報検索処理の流れを説明するためのフローチャートである。
オブジェクトヒット判定処理の流れを説明するためのフローチャートである。
オブジェクト詳細情報検索処理の流れを説明するためのフローチャートである。
本発明による映像再生システムにおける遅延クリック方式の実施の形態を説明するためのフローチャートである。
図10の決定された領域でヒット判定を行う流れを説明するためのフローチャートである。
高速に変化する映像の一例を示す図である。
クリックした位置が実際は遅れが生じている例を説明するための図である。
領域選択について選択を開始した時間から決定までの時間を説明するための図である。

符号の説明

0056

1サーバ装置
1aメタデータ管理サーバ装置
1bコンテンツサーバ装置
2ネットワーク
3(3a〜3n)プレイヤ装置
4オーサリング装置
5 操作部
6入力処理部
7タイマ
8プレイヤ制御回路
8a 制御部
8b映像制御部
8cオブジェクト軌跡ヒット判定部(キー選択矩形)
8d オブジェクト軌跡ヒット判定部(マウス座標)
8eメタデータ解析部
8fメタデータ合成部
9メモリ部(半導体メモリ)
9a メタデータ記憶部
9b選択情報記憶部
10画像処理部
10a映像描画部
10bグリッド選択領域描画部
10c 関係図描画部
10dオブジェクト軌跡描画部
11表示装置
12,21ネットワーク通信部
21a 出力部
21bネットワークインタフェース
21c 入力部
22サーバ制御回路
22aパラメータ解析部
22b画素情報解析部
22cオブジェクト情報検索部
22dオブジェクト軌跡情報検索部
22eオブジェクト領域衝突判定部
22f応答出力生成部
22gXML変換部
23データベース
24 データベース制御部
25 メモリ部
26操作装置
27入力制御部
28 画像処理部
29 表示装置
40動画ファイル
50知識情報
60ユーザ情報
70関係情報
75 関係文
76 関係情報部
77 オブジェクト情報
80軌跡情報
85 軌跡情報部
86軌跡領域情報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ