図面 (/)

技術 タグ情報生成装置、タグ情報生成方法及びプログラム

出願人 ソニー株式会社
発明者 菊地弘晃今井田秀之
出願日 2005年7月6日 (13年4ヶ月経過) 出願番号 2005-198171
公開日 2007年1月25日 (11年9ヶ月経過) 公開番号 2007-019768
状態 特許登録済
技術分野 スタジオ回路 記録担体の情報管理、編集
主要キーワード 固定範囲 判定処理用 付加作業 タグ情報付 縦横ピクセル数 固定形状 合成出力装置 大容量ストレージ装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2007年1月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

現実的な作業量で、動画像中の任意の部分領域にタグ情報を付与できる技術は未だ確立されていない。

解決手段

タグ情報生成装置を、作業画面に選択した本編画像時間情報を取得する時間情報取得部と、作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定するキー領域設定部と、設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する識別情報付与部と、本編画像と同じ時間情報を付したキー画像を生成するキー画像生成部であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成するキー画像生成部とで構成する。

概要

背景

昨今の通信インフラ整備や記録容量の増大に伴い、従来から提案されてきた様々なサービスの実用化が求められている。その一つに、動画像中の特定領域にタグ情報を付与しておき、視聴者の操作によって関連する情報を任意に表示させるサービスがある。
特開平7−231308号公報

概要

現実的な作業量で、動画像中の任意の部分領域にタグ情報を付与できる技術は未だ確立されていない。タグ情報生成装置を、作業画面に選択した本編画像時間情報を取得する時間情報取得部と、作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定するキー領域設定部と、設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する識別情報付与部と、本編画像と同じ時間情報を付したキー画像を生成するキー画像生成部であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成するキー画像生成部とで構成する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

作業画面に選択した本編画像時間情報を取得する時間情報取得部と、作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定するキー領域設定部と、設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する識別情報付与部と、本編画像と同じ時間情報を付したキー画像を生成するキー画像生成部であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成するキー画像生成部とを有することを特徴とするタグ情報生成装置

請求項2

請求項1に記載のタグ情報生成装置において、前記キー領域は、作業者が事前に設定した円、多角形又は任意の形状であることを特徴とするタグ情報生成装置。

請求項3

請求項1に記載のタグ情報生成装置において、前記時間情報は、タイムコードで与えられることを特徴とするタグ情報生成装置。

請求項4

請求項1に記載のタグ情報生成装置において、前記時間情報は、フレーム数で与えられることを特徴とするタグ情報生成装置。

請求項5

請求項1に記載のタグ情報生成装置において、前記キー画像の画面サイズは、本編画像の数分の1であることを特徴とするタグ情報生成装置。

請求項6

請求項1に記載のタグ情報生成装置において、設定されたキー領域を作業画面の本編画像上にスーパーインポーズして表示する合成出力部を有することを特徴とするタグ情報生成装置。

請求項7

請求項1に記載のタグ情報生成装置において、前記キー領域設定部は、作業画面内で指定された部分領域のうち作業者が予め指定した色条件を満たす領域をキー領域に設定するを有することを特徴とするタグ情報生成装置。

請求項8

請求項1に記載のタグ情報生成装置において、前記キー領域設定部は、作業者が任意に特定した部分領域を本編画像から自動的に抽出し、当該部分領域の画面内の移動に追従するように各時点に対応するキー画面のキー領域を自動設定することを特徴とするタグ情報生成装置。

請求項9

請求項1に記載のタグ情報生成装置において、前記キー領域設定部は、開始点に対応する作業画面で設定されたキー領域と終了点に対応する作業画面で設定されたキー領域との位置変化に追従するように、2点間の各時点に対応するキー画面のキー領域を自動設定することを特徴とするタグ情報生成装置。

請求項10

請求項1に記載のタグ情報生成装置において、前記キー領域設定部は、予め定めた条件を満たす部分領域を本編画像から自動的に抽出し、当該部分領域に対応するキー領域を設定することを特徴とするタグ情報生成装置。

請求項11

請求項10に記載のタグ情報生成装置において、前記予め定めた条件は、特定の色範囲で与えられることを特徴とするタグ情報生成装置。

請求項12

請求項10に記載のタグ情報生成装置において、前記予め定めた条件は、特定の色の組み合わせで与えられることを特徴とするタグ情報生成装置。

請求項13

請求項10に記載のタグ情報生成装置において、前記予め定めた条件は、特定の記号や形状であることを特徴とするタグ情報生成装置。

請求項14

請求項10に記載のタグ情報生成装置において、前記予め定めた条件は、特定の文字列で与えられることを特徴とするタグ情報生成装置。

請求項15

請求項1に記載のタグ情報生成装置において、前記識別情報は、明度値で与えられることを特徴とするタグ情報生成装置。

請求項16

請求項1に記載のタグ情報生成装置において、前記識別情報は、色相値で与えられることを特徴とするタグ情報生成装置。

請求項17

作業画面に選択した本編画像の時間情報を取得する時間情報取得部と、作業者が任意に特定した本編画像中の部分領域に対応する位置に設定されるキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する識別情報付与部と、キー領域に付与した領域識別情報と時間情報との対応関係列記したインデックス情報を生成するインデックス情報生成部とを有することを特徴とするタグ情報生成装置。

請求項18

請求項17に記載のタグ情報生成装置において、前記インデックス情報は、キー領域として指定したオブジェクトを識別するオブジェクト識別情報を、前記領域識別情報と時間情報に関連づけて列記することを特徴とするタグ情報生成装置。

請求項19

作業画面に選択した本編画像の時間情報を取得する時間情報取得部と、作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定するキー領域設定部と、設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する識別情報付与部と、本編画像と同じ時間情報を付したキー画像を生成するキー画像生成部であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成するキー画像生成部と、キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報を生成するインデックス情報生成部とを有することを特徴とするタグ情報生成装置。

請求項20

作業画面に選択した本編画像の時間情報を取得する処理と、作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定する処理と、設定したキー領域に、当該キー領域とその周辺領域との識別を可能とする領域識別情報を付与する処理と、本編画像と同じ時間情報を付したキー画像を生成する処理であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成する処理とを有することを特徴とするタグ情報生成方法

請求項21

作業画面に選択した本編画像の時間情報を取得する処理と、作業者が任意に特定した本編画像中の部分領域に対応する位置に設定されるキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する処理と、キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報を生成する処理とを有することを特徴とするタグ情報生成方法。

請求項22

作業画面に選択した本編画像の時間情報を取得する処理と、作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定する処理と、設定したキー領域に、当該キー領域とその周辺領域との識別を可能とする領域識別情報を付与する処理と、本編画像と同じ時間情報を付したキー画像を生成する処理であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成する処理とをコンピュータに実行させることを特徴とするプログラム

請求項23

作業画面に選択した本編画像の時間情報を取得する処理と、作業者が任意に特定した本編画像中の部分領域に対応する位置に設定されるキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する処理と、キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報を生成する処理とをコンピュータに実行させることを特徴とするプログラム。

技術分野

0001

発明の一つの形態は、本編画像を構成する任意の場面の任意の部分領域に付与するタグ情報を生成する装置に関する。また、発明の他の形態は、当該機能を実現するタグ情報の生成方法及びプログラムに関する。

背景技術

0002

昨今の通信インフラ整備や記録容量の増大に伴い、従来から提案されてきた様々なサービスの実用化が求められている。その一つに、動画像中の特定領域にタグ情報を付与しておき、視聴者の操作によって関連する情報を任意に表示させるサービスがある。
特開平7−231308号公報

発明が解決しようとする課題

0003

しかし、現実的な作業量で、動画像中の任意の部分領域にタグ情報を付与できる技術は未だ確立されていない。

課題を解決するための手段

0004

そこで、発明者らは、現実的な作業量で本編画像にタグ情報を付与できる技術を提案する。
まず、本編画像に付与するキー画像を生成するタグ情報生成装置として、発明者らは、以下の処理機能を有するものを提案する。
(a1)作業画面に選択した本編画像の時間情報を取得する処理機能
(a2)作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定する処理機能
(a3)設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する処理機能
(a4)本編画像と同じ時間情報を付したキー画像を生成する処理機能であって、作業画面を通じて設定されたキー領域に領域識別情報を付与したキー画像を生成する処理機能

0005

また、本編画像に付与するインデックス情報を生成するタグ情報生成装置として、発明者らは、以下の処理機能を有するものを提案する。
(b1)作業画面に選択した本編画像の時間情報を取得する処理機能
(b2)作業者が任意に特定した本編画像中の部分領域に対応する位置に設定されるキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する処理機能
(b3)キー領域に付与した領域識別情報と時間情報との対応関係列記したインデックス情報を生成する処理機能

発明の効果

0006

発明に係る技術を搭載した装置では、タグ情報の埋め込み位置を与えるキー画像を本編画像とは別に生成する。この際、作業者は、タグ情報の埋め込み先となるキー領域の指定作業とその領域を識別する情報の付与作業を実行するだけで良い。これらの作業は、基本的に作業画面に対する簡単な入力作業で実現できる。また、本編画像の内容によっては、これらの作業の多くを自動化することができる。
また、発明に係る技術を搭載した装置では、時間情報と各キー領域を識別する情報との対応関係を列記するインデックス情報を自動的に生成する。インデックス情報を用意することにより、キー画面に情報を直接記録する場合に比して、各キー領域に対する情報の関連付け作業を効率化できる。

発明を実施するための最良の形態

0007

以下、発明に係る技術の形態例を、タグ情報の生成、配信(配布)、再生の各ステージ別に説明する。
なお、本明細書で特に図示又は記載されない部分には、当該技術分野の周知又は公知技術を適用する。
また以下に説明する形態例は、発明の一つの形態例であって、これらに限定されるものではない。

0008

(A)タグ情報生成装置
以下、実用的な作業量でタグ情報を生成できるタグ情報生成装置を説明する。
(A−1)リニア編集システム
タグ情報生成装置は、リニア編集システムとして実現することができる。

0009

(a)システム構成
図1に、リニア編集システムの構成例を示す。
このリニア編集システムは、本編画像再生装置1、合成出力装置3、キー情報入力装置5、表示装置7、キーパターン生成装置9、キー画像記録装置11で構成される。
本編画像再生装置1は、磁気テープに記録された本編画像を再生する装置である。例えば、VTRで構成する。再生された本編画像は合成出力装置3に出力される。同時に再生されるタイムコードは、キー情報入力装置5に出力される。なお、タイムコードは、本編画像の時間位置を与える時間情報の一つである。

0010

合成出力装置3は、入力された本編画像にタグ情報の埋め込み領域を与えるキーパターンを合成する装置である。例えば、キャラクタジェネレータで構成する。キーパターンは、キー情報入力装置5から与えられるキー領域情報に基づいて生成される。キー領域情報は、キーパターンの画面内の位置と選択範囲に関する情報で与えられる。合成画像は表示装置7に出力される。

0011

図2に、表示装置7の表示画面例を示す。図2(A)は、タグ情報の埋め込み画面に選択された画面例(作業画面例)である。作業画面は、本編画像再生装置1の再生動作一時停止した際に出力されている本編画像として与えられる。
図2(B)は、合成出力装置3で生成されたキーパターン21、23を本編画像に合成した作業画面例である。この例の場合、キーパターン21は、画面右側に表示された車両全体を囲むように位置と範囲が決定されている。また、キーパターン23は、画面左下側に表示された2つのを囲むように位置と範囲が決められている。

0012

キーパターンの形状は、合成出力装置3が自動的に決定する方法、キー情報入力装置5を通じて形状を選択する方法、投げ縄などのドローツールを用いて任意に指定する方法がある。図2の場合、キー情報入力装置5を通じて正方形状と円形状とが選択されている。
キーパターン21、23を配置する位置と範囲は、表示装置7の合成画面の確認を通じて作業者が決定する。
以下、個々のキーパターンが配置される画面上の位置と範囲を「キー領域」という。

0013

キー情報入力装置5は、タグ情報を規定するキー情報を入力する装置である。
この明細書において、「タグ情報」は、任意に指定された部分領域に埋め込まれる情報をいう。
このリニア編集システムでは、タグ情報として「キー画像」と「インデックス情報」とが生成される。
ここで、「キー画像」は、タグ情報の埋め込み位置を示す本編画像と対をなす画像をいう。また、「インデックス情報」は、キー画像の各時点についてキー領域とその識別情報との対応関係を記録する情報をいう。

0014

また、「タグ情報を規定するキー情報」は、キー領域とインデックス情報の生成に必要な情報、すなわち、位置、範囲、時間、領域の識別情報等をいう。もっとも、この例の場合、時間情報は、タイムコードとして本編画像再生装置1から与えられる。
キー情報入力装置5は、例えば、ビデオ編集機コンピュータで構成する。図では、コンピュータで構成する場合について表している。

0015

キーパターンの位置と範囲は、マウスその他の入力装置5Aを通じて入力される。また、キーパターンを識別する情報は、キーボードのキー操作やマウスのクリック操作その他を用いて入力される。
なお、キーパターンの位置と範囲は、タグ付けする部分領域のおおよその位置と範囲を与えれば良い。従って、厳密な位置合わせは必要ではない。このため、キー領域の設定を現実的な作業量の範囲で実現できる。例えば、一般的な編集作業であるテロップを入れるのと同程度の作業で実現できる。

0016

この例の場合、キーパターンを識別する情報の一つとして、グレースケール値明度値)を使用する。グレースケール値で与えることでキー領域の設定部分を輝度変化としても確認できる。もっとも、タグ情報は、配布の際に圧縮処理を経る可能性がある。従って、グレースケール値は、圧縮処理後も識別できる程度にある程度離れた値であることが望ましい。例えば、車両に対応するキーパターン21には値「20」、靴に対応するキーパターン23には値「40」を入力する。

0017

キー情報入力装置5は、キー画像の生成用にキー領域情報と領域識別情報をキーパターン生成装置9に出力し、タイムコードをキー画像記録装置11に出力する。また、キー情報入力装置5は、作業画面の時間情報にキー領域と領域識別情報とを組み合わせたインデックス情報を出力する。
キーパターン生成装置9は、作業画面について設定されたキー領域情報と領域識別情報とに基づいてキーパターンを生成する装置である。例えば、キージェネレータやキャラクタジェネレータで構成する。図2(C)に、キーパターン21、23を含む画面例を示す。

0018

なお、キーパターン生成装置9は、新たなキー領域情報と領域識別情報が与えられるまで同じキーパターンを生成する。このことは、キー情報を全てのフレームについて入力しなくて良いことを意味する。この意味でも、作業量は格段に低減される。
もっとも、キーパターンの発生位置が固定されると、タグ情報の埋め込み位置と対象とするオブジェクト被写体像)とにズレが発生する。従って、作業者は、表示装置7の画面を確認して適宜、キー領域の位置と範囲を修正又は再設定することになる。

0019

生成されたキーパターンはタイムコードと共にキー画像記録装置11に与えられ、本編画像と同じ時間長を有するキー画像として記録される。
なお、リニア編集システムであるので、キー画像記録装置11の記録媒体には磁気テープが使用される。

0020

(b)タグ情報生成装置としての機能構成
このリニア編集システムのタグ情報生成装置としての機能構成を説明する。なお、以下では、インデックス情報を、時間情報、領域識別情報、オブジェクト識別情報とで構成する場合について説明する。

0021

図3に、タグ情報生成装置としての機能構成を示す。タグ情報生成装置は、時間情報取得部31、キー領域設定部33、識別情報付与部35、オブジェクト識別情報付与部36、キー画像生成部37、インデックス情報生成部39で構成される。
このうち、時間情報取得部31、キー領域設定部33、識別情報付与部35、オブジェクト識別情報付与部36、インデックス情報生成部39は、キー情報入力装置5を通じて実現される。また、キー画像生成部37は、キーパターン生成装置9とキー画像記録装置11を通じて実現される。

0022

まず、時間情報取得部31は、作業画面に選択した本編画像の時間情報を取得する処理機能を実現する。
キー領域設定部33は、作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定する処理機能を実現する。
識別情報付与部35は、設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する機能を実現する。

0023

オブジェクト識別情報付与部36は、設定したキー領域で特定するオブジェクトの識別を可能とする識別情報を付与する機能を実現する。この例の場合、領域識別情報は数値で与えられるのに対し、オブジェクト識別情報は文字で与えられる。このため、確認作業には、オブジェクト識別情報の方が容易である。なお、オブジェクト識別情報も数値で与えることも可能である。

0024

キー画像生成部37は、本編画像と同じ時間情報を付したキー画像を生成する処理機能を実現する機能部であって、作業画面を通じて設定されたキー領域に領域識別情報を付与したキー画像を生成する機能に対応する。図4に、キー画像とタグ情報を規定するキー情報との対応関係を示す。図4より、キー画像は、本編画像と時間位置が一対一に対応する画像として生成されることが分かる。

0025

インデックス情報生成部39は、キー領域に付与した領域識別情報と時間情報とオブジェクト識別情報との対応関係を列記したインデックス情報を生成する処理機能に対応する。
図5に、インデックス情報とタグ情報を規定するキー情報との対応関係を示す。図5に示すように、インデックス情報は、時間情報と領域識別情報とオブジェクト識別情報とを記録したテキスト形式XML文書形式として与えられる。
図6に、インデックス情報の一例を示す。タイムコードは、「時:分:秒:フレーム」で与えられる。従って、図6は、本編画像の「00時00分10秒00フレーム」以降に、2つのタグ情報が設定されたことを意味する。

0026

すなわち、グレースケール値の「20」と「40」を用いて2つのタグ情報が設定されていることを意味する。
図6には、各領域識別情報が本編画像のどのオブジェクト(被写体像)に対応付けられているかを作業者が確認できるようにオブジェクト識別情報も記録されている。オブジェクト識別情報を挿入することで、領域識別情報と意図するオブジェクトとの一致不一致の確認に利用できる。また、後述するようにリンク情報の埋め込みにも使用できる。

0027

(c)タグ付け操作と内部処理との関係
図7に、タグ付け操作とこれに関連して実行される内部処理との対応関係を示す。なお、タグ付け操作は、キー情報入力装置5の入力装置5Aを通じて入力される。
作業画面の選択操作の受付時、キー情報入力装置5は、本編画像再生装置1に対して本編画像の再生を指示する。また、作業画面の決定操作の受付時、キー情報入力装置5は、本編画像再生装置1に対して再生動作の一時停止を指示する。

0028

また、作業画面の決定後に部分領域の指示入力受け付けたとき、キー情報入力装置5は、キー領域情報を合成出力装置3に与える。このとき、表示装置7の画面には、作業画面(本編画像の静止画面)にキーパターンを合成した画像が表示される。
また、指定した部分領域について領域識別情報の指定入力を受け付けたとき、キー情報入力装置5は、領域識別情報を合成出力装置3に与えると共にキーパターン生成部9に出力する。これによりキー画像が生成される。この際、領域識別情報と時間情報とオブジェクト識別情報とに基づいて、キー情報入力装置5は、インデックス情報を生成する。

0029

図8に、キー情報入力装置5にインストールするプログラムの処理内容を示す。
プログラムは、作業画面が決定されたかを判定する(S1)。作業画面の決定時、プログラムは、時間情報としてタイムコードを取得する(S2)。続いて、プログラムは、キー領域の設定を受け付ける(S3)。キー領域が設定されると、プログラムは、キー領域に対応付ける領域識別情報の設定を受け付ける(S4)。
この後、プログラムは、タグ付けが終了したか否かを判定し(S5)、終了が判定されるまで新たなキー領域の設定処理を継続する。
そして、タグ付けが終了すると、確定したインデックス情報とキー画像の出力を指示する(S6)。
このような処理プログラムをキー情報入力装置5で実行させることにより、タグ情報の生成処理が実現される。

0030

(d)効果
以上の処理機能を有するキー情報入力装置5に、本編画像再生装置1、合成出力装置3、キーパターン生成装置9、キー画像記録装置11を接続してリニア編集システムを構築することにより、タグ情報を現実的な作業量で記録できるシステムを実現できる。
すなわち、メタデータのようなテキストベースデータ入力ではなく、視覚的かつ単純な領域指定によってキー領域を設定することができる。また、本編画像の内容によっては、これらの作業の多くを自動化することができる。

0031

また、設定されたキー領域は、新たな選択画面について新たなキー領域が設定されるまで(オブジェクトは同じ場合も含む。)、後続するフレームについても継続される。このため、入力作業量の削減を実現できる。
また、領域識別情報としてグレースケール値を採用することにより、キー領域の違いを明度の違いとして視覚的にも簡単に確認することができる。
また、時間情報と各キー領域を識別する情報との対応関係を列記するインデックス情報を自動的に生成することにより、手入力の場合に比して、各キー領域に対する情報の関連付け作業を効率化できる。

0032

(A−2)ノンリニア編集システム
タグ情報生成装置は、ノンリニア編集システムとしても実現することができる。
(a)システム構成
図9に、ノンリニア編集システムの構成例を示す。ノンリニア編集システムは、基本的にコンピュータ単独で構成される。
このノンリニア編集システムは、CPU(プロセッサ)41、入力装置43、表示装置45、ハードディスクドライブ装置47、メインメモリ49で構成される。

0033

すなわち、リニア編集システムの本編画像再生装置1とキー画像記録装置11は、ハードディスクドライブ装置47で実現される。また、合成出力装置3とキーパターン生成装置9は、メインメモリ49を作業領域に使用してCPU41で実行されるプログラムを通じて実現される。
勿論、キー情報入力装置5も、メインメモリ49を作業領域に使用してCPU41で実行されるプログラムを通じて実現される。

0034

例えば、作業画面の決定時、ハードディスクドライブ装置47から読み出された本編画像はメインメモリ49を経由して表示装置45に出力される。
また例えば、キー領域の設定時、入力装置43からの操作によって生成されたキーパターンと本編画像とがメインメモリ49で合成され、表示装置45に出力される。この際、キーパターンには、入力装置43を通じて入力されたインデックス情報が反映される。
なお、メインメモリ49に生成されたキーパターン(図2(C)、図4)とインデックス情報(図5)とは、ハードディスクドライブ装置47に記録される。

0035

(b)効果
ノンリニア編集システムの場合にも、リニア編集システムと同様の効果を実現できる。すなわち、タグ情報を現実的な作業量で記録できるシステムを実現できる。

0036

(A−3)キー領域の入力補助機能
(a)色条件による領域抽出
前述の説明では、キー領域を手作業で設定する場合について説明した。
ここでは、作業画面内で指定された部分領域のうち作業者が予め指定した色条件を満たす領域をキー領域に設定する手法について説明する。
図10処理イメージを示す。図10は、被写体像の靴をキー領域に設定する例である。なお、被写体像の靴は赤色とする。

0037

この場合、図10(A)に示すように、靴を含む広い領域51を指定する。このとき、キー領域の抽出条件として特定の色条件(例えば、色相値XXからYYの範囲の赤レベル)を定めておけば、靴に対応する部分領域53だけを正確に抽出することができる。なお、抽出条件の登録は、領域の指定前でも後でも良い。
図11に、色条件によるキー領域の自動抽出機能を実現するキー領域設定部33(図3)の内部構成例を示す。

0038

キー領域設定部33は、指定領域保持部61、領域抽出部63、抽出条件保持部65で構成する。このうち、指定領域保持部61は、入力装置を通じて指定された領域51を保持する記憶領域である。すなわち、指定領域保持部61は、抽出処理範囲を与える領域を保持する記憶領域である。
領域抽出部63は、本編画像について指定された領域51の範囲について、色条件を満たす部分領域を抽出する信号処理部である。
抽出条件保持部65は、抽出条件を保持する記憶領域である。この例では、入力装置を通じて指定された色条件を保持するのに使用される。

0039

この処理機能は、キー領域として設定したい領域と周辺領域の色相の違いが大きい場合に特に効果的である。
なお、抽出条件は色条件だけでなく、特定の形状や模様などでも良い。これらの場合も、色条件に基づく領域抽出と同様に入力工数の簡略化を実現できる。

0040

(b)特徴量に基づくキー領域の追従機能
前述の説明では、キー領域を手作業で設定する場合について説明した。
ここでは、設定されたキー領域の特徴量を記憶させ、本編画像内の被写体の移動に応じてキー領域を自動的に追従させる手法について説明する。
図12に処理イメージを示す。図12も、被写体像の靴をキー領域として設定した例について表している。

0041

キー領域の追従機能を適用すれば、図12に示すように、キー領域を設定した被写体像が画面内にある限り、本編画像内の被写体像の移動に追従するようにキー領域も移動させることができる。
この追従機能の搭載により、作業者の作業量は格段に低減される。

0042

図13に、キー領域の自動追従機能を実現するキー領域設定部33(図3)の内部構成例を示す。
キー領域設定部33は、特徴量記憶部81と領域追従部83とで構成する。特徴量記憶部81は、入力装置を通じて設定されたキー領域に対応する本編画像の特徴量(例えば、色相、明度、形状など)を記憶する記憶領域である。
領域追従部83は、記憶された特徴量と合致する部分領域を本編画像から抽出し、抽出された部分領域をキー領域情報として出力する信号処理部である。なお、部分領域の抽出技術には、周知の画像処理技術を適用する。

0043

なお、以上の説明では、キー領域の手動入力前提として説明したが、キー領域の設定操作とは無関係に特徴量を登録しておき、特徴量を満たす部分領域を本編画像から自動的に抽出してキー領域に設定しても良い。
特徴量には、例えば特定の色範囲、特定の色の組み合わせ、特定の記号や形状、特定の文字列を使用する。

0044

この機能を用いれば、タグ情報の付加作業のかなりの部分を自動化できる。
その上、一部のライブ番組にタグ情報を自動的に付加することもできる。例えば、スポーツのライブ中継番組において、広告看板の特徴を予め登録しておけば、画面に映る広告看板をキー領域として自動的に設定することが可能になる。すなわち、広告看板にタグ情報を自動的に埋め込むことが技術的に可能になる。

0045

例えば、広告看板が赤色であれば、赤色の色範囲を特徴量に指定すれば、画面内にある赤色の部分領域をキー領域に設定することができる。なお、撮影角度によっては、選手観客など広告看板以外にも特徴量を満たす部分領域が抽出される可能性がある。この場合には、作業者が広告看板をクリックし、その他はキー領域の設定対象からキャンセルするような作業を行えば十分実用化できる。

0046

また例えば、広告看板が青地に黄色文字であれば、この色パターンを特徴量に指定すれば、同様の色パターンを含む部分領域をキー領域に設定することができる。
また例えば、広告看板の形状や広告看板であることを示す特殊な記号を特徴量に指定すれば、同様の形状や記号を含む部分領域をキー領域に設定することができる。
また例えば、広告看板にある企業名や商品名などの文字を特徴量として指定すれば、同様の文字を含む部分領域をキー領域に設定することができる。この場合には、文字認識技術を組み合わせることもできる。

0047

(c)補間処理によるキー領域の追従機能
前述の説明では、特徴量に基づくキー領域の自動追従機能について説明した。
ここでは、キー領域に設定する被写体像がある作業画面(開始点)からある作業画面(終了点)までの移動軌跡予測される場合に、2つの画面について設定したキー領域の位置情報を用いて画面間のキー領域位置を補間演算により自動的に設定する手法を説明する。

0048

図14に処理イメージを示す。図14も、被写体像の車両をキー領域として設定した例について表している。
図14(A)は、開始点に選択した作業画面上で車両が位置する部分領域91にキー領域を設定した状態を示す。
図14(B)は、終了点に選択した作業画面上で車両が位置する部分領域93にキー領域を設定した状態を示す。

0049

図15に、2つの時点間で被写体像である車両が直線的に移動する場合の軌跡を示す。この場合、2つの時点間の任意の時点において、タグ付けの対象である車両は、移動時の加速度を考慮して部分領域95に位置すると予測される。
従って、予測された部分領域をキー領域に自動的に設定する手法を採用すれば、少ない作業量でかなり正確な領域指定が可能になる。
また、前述した特徴量に基づく追従処理に比べ、演算量が少なく済む。

0050

図16に、キー領域の自動追従機能を実現するキー領域設定部33(図3)の内部構成例を示す。
キー領域設定部33は、キー領域保持部101と領域位置補間部103とで構成する。キー領域保持部101は、開始点に設定された作業画面で設定されたキー領域の位置を保持する領域101Aと、終了点に設定された作業画面で設定されたキー領域の位置を保持する領域101Bとを有する記憶領域である。

0051

領域位置補間部103は、開始点におけるキー領域の位置と終了点におけるキー領域の位置を2点間の時間位置に応じて補間する信号処理部である。
移動時の加速度や軌跡を参照できる場合、領域位置補間部103は、これらの情報を参照してキー領域の位置を求める。
もっとも、図15の場合には、直線的な移動であるので2点間の時間比に応じた位置をキー領域の位置と推定する。

0052

(A−4)変形例
ここでは、リニア編集システムやノンリニア編集システムについての他の変形例について説明する。
前述の説明では、キー領域の設定時に、キー領域情報として位置と範囲を入力する場合について説明した。
しかし、キー領域は固定形状固定範囲)として、位置だけを入力しても良い。

0053

また、キー領域は、図17(A)に示すように円形状だけでなく、図17(B)に示すような楕円形状でも良い。また、図18(A)に示すように正方形状だけでなく、図18(B)に示すような六角形状その他の多角形状でも良い。また、キー領域は任意形状でも良い。これらキー領域用のパターンは、キー操作によっていずれかを選択できることが望ましい。
なお、キー領域の形状は、時間の経過と共に自動的に変化する機能を選択できることが望ましい。例えば、あるキー領域が開始点を円形状で指定され、終了点を楕円形状で指定された場合、中間時点でのキー領域の形状を円形状から楕円形状に少しずつ変形させるモーフ機能を適用する。モーフ機能は既知の機能である。

0054

また、前述の説明では、本編画像とキー画像の再生位置を表す時間情報としてタイムコードを用いるものとして説明したが、フレーム数を用いることもできる。
また、前述の説明では、図19(A)に示すように、本編画像111のサイズとキー画像113のサイズが同じ場合について説明したが、図19(B)に示すようにキー画像113のサイズを本編画像111のサイズの数分の1に設定しても良い。例えば1/2でも、1/4でも良い。

0055

例えば本編画像のサイズが1920×1080で、キー画像のサイズが 960× 540の場合、キー画像のサイズは縦横とも本編画像の1/2になる。従って、本編画像上の座標(x,y)=(10,20)は、キー画像の座標(5,10)として与えられる。
キー領域と本編画像との位置関係は、キー領域の設定時に確認済みである。このため、キー画像のサイズは小さくても何ら問題は生じない。
むしろ、キー画像のサイズを小さくできることでデータサイズを小さくすることができる。

0056

また、前述の説明では、キー領域に対応付ける領域識別情報としてグレースケール値(明度値)を用いる場合について説明したが、色相値を用いても良い。
例えば、赤、青、黄色、緑などに対応する色相値を用いても領域の識別に支障なく用いることができる。加えて、画面上で複数のキー領域を視覚的に確認する場合にも色の違いより確認が容易になる。

0057

また、前述の説明では、タグ情報の埋め込み対象(キー領域の設定対象)である被写体像として「靴」、「車両」、「広告看板」などを例示して説明したが、本編画像に登場する出演者、選手などの人物動物生物などをタグ情報の埋め込み対象(キー領域の設定対象)としても良い。

0058

(B)リンク情報付きインデックス情報生成装置及びタグ情報付き画像データ生成装置
(B−1)リンク情報付きインデックス情報生成装置
ここでは、先に生成したインデックス情報にリンク情報を付加する装置について説明する。すなわち、リンク情報付きインデックス情報の生成装置について説明する。
先に生成したインデックス情報を用いれば、本編画像について設定された同一画面内のキー領域を識別することが可能である。しかし、この段階では、サービスの目的とする情報を観者に提供することはできない。

0059

そこで、発明者らは、先に生成したインデックス情報にリンク情報を付加する。
図20に、リンク情報の埋め込みイメージを示す。
図20(A)は、リンク情報埋め込み部121において、URL(Uniform Resource Locator)を埋め込む場合を示す。
図20(B)は、リンク情報埋め込み部121において、広告(CM)識別子(ローカルアドレス)を埋め込む場合を示す。なお、リンク情報として広告(CM)自体を埋め込むことも技術的には可能である。

0060

このようにインデックス情報にリンク情報を埋め込むことで、タグ情報の埋め込まれた部分領域とURL又は広告との関連づけが完結することになる。
図21に、リンク情報埋め込み部121の内部構成例を示す。リンク情報埋め込み部121は、データベース121Aと情報埋め込み部121Bとで構成する。
データベース121Aは、作業者が任意に特定した本編画像中の部分領域を与えるキー領域に付された領域識別情報と、部分領域の関連情報アクセスするためのリンク情報との対応関係を記憶する領域である。
すなわち、オブジェクト識別情報とリンク情報との対応関係又は領域識別情報とリンク情報との対応関係を記憶する領域である。なお、対応関係は、作業者等が事前に登録する。もっとも、対応関係を手入力でその都度入力することも可能である。

0061

情報埋め込み部121Bは、キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報に、データベースを参照して対応するリンク情報を埋め込む信号処理部である。
図22に、リンク情報付きインデックス情報の生成例を示す。図22は、リンク情報としてURLを埋め込んだ例である。
図22の場合、「00時14分10秒00フレーム」に2つのタグ情報が設定されている。1つは靴に対応する領域識別情報「20」であり、1つは車両に対応する領域識別情報「40」である。

0062

この例の場合、領域識別情報「20」には、部分領域に対するリンク情報として「http://www.xxx.com/yy/yy」が対応付けられる。
同様に、領域識別情報「40」には、部分領域に対するリンク情報として「http://www.zzz.com/pp/pp」が対応付けられる。
このリンク情報埋め込み部121の使用により、キー領域を識別する情報(例えば領域識別情報やオブジェクト識別情報)とリンク情報との対応関係の整合性が確保される限り、キー領域とリンク情報との対応付け作業が効率化される。

0063

また、このように本編画像とその関連情報とを分けて取り扱うと、別々にメンテナンスできるので様々な効果が期待される。
例えば、URLのリンク切れなど、関連情報サイトアドレス変更に伴うメンテナンスは、リンク情報付きインデックス情報だけをメンテナンスすれば良く、保守や管理に要する負担を軽減できる。

0064

また例えば、再配布(再放送)時の各広告主との間の契約切れなどに対しても、リンク情報付きインデックス情報から個別に該当部分を削除するだけで済み作業負担が少なくなる。
また例えば、キー領域を追加的に登録する場合にも、タグ付け作業は必要となるものの、更新されるのはキー画像とインデックス情報(リンク情報付きインデックス情報)だけであり、本編画像には傷をつけないで済む。

0065

(B−2)タグ情報付き画像データ生成装置
さて、このリンク情報付きインデックス情報と、本編画像と、キー画像の全てが揃うと、発明者らの意図するサービスの提供が可能になる。すなわち、本編画像を視聴する観者のクリック操作をトリガーとして関連情報を表示させることが可能になる。
その一方で、これら画像や情報をそれぞれ単独で扱えるようにすると、本編画像だけが記録又は複製される可能性がある。リンク情報が広告の場合、本編画像しか記録又は複製されないことは、広告機会喪失を意味する。しかし、それでは広告を主要な収入源とするメディア産業発展阻害することになる。

0066

そこで、発明者らは、リンク情報付きインデックス情報と、本編画像と、キー画像とを相互に関連づけて出力する技術を提案する。これにより、本編画像と共に、タグ情報(リンク情報付きインデックス情報とキー画像)も一体に複製又は記録される必然性を高めることができる。

0067

特に、本編画像の複製や記録の条件として、リンク情報付きインデックス情報と、本編画像と、キー画像の全てが揃っていることを要求すれば、自由な視聴を可能としながらも広告機会も確保することが可能になる。
また、本編画像が正常に再生できる条件として、リンク情報付きインデックス情報と、本編画像と、キー画像の全てが揃っていることを要求しても、自由な視聴を可能としながらも広告機会も確保することが可能になる。

0068

また、この手法は、本編画像をハードディスクドライブ装置その他のランダムアクセス可能な記録媒体に蓄積して視聴する場合の広告(CM)スキップ対策としても有効である。本編画像の隙間に挿入される広告とは異なり、広告(CM)スキップ機能の対象とならないためである。
また、広告(CM)の表示には、観者のクリック操作が必要である。このため、観者の意図とは関係なく勝手にポップアップされる場合のような心理的抵抗を観者に与えずに済む。実際、本編画像内でタグ情報の埋め込まれた領域をクリックするのは、観者が関心を示した結果であるので、垂れ流し形式の広告(CM)よりも高い広告効果を期待できる。

0069

(a)システム構成
以下、タグ情報付き画像データ生成装置について説明する。
図23に、タグ情報付き画像データ生成装置の内部構成例を示す。タグ情報付き画像データ生成装置は、リンク情報埋め込み部121(図21)とデータ出力部123とで構成する。
データ出力部123は、リンク情報付きインデックス情報と、本編画像(ライブ画像を含む。)と、キー画像とを相互に関連付けて出力する信号処理部である。

0070

なお、タグ情報付き画像データ生成装置は、図24に示すプログラムとしても実現できる。
すなわち、インデックス情報にリンク情報を埋め込んでリンク情報付きインデックス情報を生成する処理(S11)と、リンク情報付きインデックス情報、本編画像、キー画像を相互に関連付けて出力する処理(S12)で実現できる。
ここで、関連付けられたタグ付き画像データの出力先は、伝送路又は記録媒体である。このうち、伝送路を出力先とする配信形態には、例えば配信(ダウンロードストリーミング)、放送がある。

0071

(b)出力時のデータ形式
以下、データ出力部123から出力されるタグ付き画像データのデータ出力例を説明する。
(b1)データ出力例1
図25に、データ出力例の1つを示す。この出力例では、共に非圧縮の本編画像とキー画像に対して、リンク情報付きインデックス情報を付加して一体化し、1つのファイルとして扱う。生成されたファイルには、独自の拡張子「cmov」を付ける。以下、本編画像、キー画像、リンク情報付きインデックス情報を一体化したファイルを「cmovファイル」と言う。もっとも、他の拡張しを付けることも可能である。例えば「ocv(Object Click Video)」を付けても良い。

0072

このデータ出力例のように、本編画像とキー画像とリンク情報付きインデックス情報とを一体化すると、本編画像だけが分離されて利用されるのを防止するのに有効である。
このデータ出力例は、画像データをファイル形式で扱う場合、例えばストリーミング、ダウンロード、記録媒体での配布に好適である。

0073

(b2)データ出力例2
図26に、データ出力例の1つを示す。この出力例では、共に圧縮符号化した本編画像とキー画像に対して、リンク情報付きインデックス情報を付加して一体化し、1つのファイルとして扱う。この場合も、生成されたファイルには、独自の拡張子「cmov」を付ける。
また、この出力例だけでなく、他の出力例にも共通するが、圧縮符号化方式可逆符号化方式でも非可逆符号化方式でも良い。一般に、配信時や配布用には圧縮率の高い非可逆圧縮符号化方式が用いられる。また、マスタデータ保存用編集段階では可逆圧縮符号化方式が用いられる。

0074

なお、図示していないが、生成されたファイルにはヘッダが付けられている。ヘッダは、リンク情報付きインデックス情報の中に含むか、これとは別に用意する。
ヘッダには、ファイル内に格納されたリンク情報付きインデックス情報の位置、本編画像やキー画像の先頭位置、フレーム数、画サイズ縦横ピクセル数)、圧縮方式、ファイル内におけるリンク情報付きインデックス情報/本編画像/キー画像の配置情報アドレスオフセット)等を記載する。

0075

このデータ出力例も、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。また、圧縮符号化されているので、データ容量が小さく済む。また、このデータ出力例も、画像データをファイル形式で扱う場合、例えばストリーミング、ダウンロード、記録媒体での配布に好適である。
また、このデータ出力例は、最初に又は任意のタイミングでリンク情報付きインデックス情報だけを読み出すことが可能である。従って、関連情報一覧を表示するのが容易である。

0076

(b3)データ出力例3
図27に、データ出力例の1つを示す。この出力例も、本編画像とキー画像を共に圧縮符号して一体化し、1つのファイルとして扱う点で前述した2つの出力例と同じである。この場合も、独自の拡張子「cmov」を付ける。
この出力例に特有の部分は、リンク情報付きインデックス情報を圧縮キー画像のメタデータエリアに搭載する点である。メタデータは、本編画像に関する情報を記述するデータをいう。例えば、タイムコード、著作権情報撮影者登場人物撮影地等がある。

0077

このデータ出力例も、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。また、圧縮符号化されているので、データ容量が小さく済む。また、このデータ出力例も、画像データをファイル形式で扱う場合、例えばストリーミング、ダウンロード、記録媒体での配布に好適である。

0078

なお、リンク情報付きインデックス情報は、圧縮本編画像のメタデータエリアに搭載しても良い。
また、このデータ出力例の場合、個々のリンク情報付きインデックス情報には、対応するシーン時間区間)に関するタグ情報だけを持てば良い。従って、個々のリンク情報付きインデックス情報のサイズを一定にすることも可能である。このため、このデータ出力形式は、放送や長尺コンテンツに適している。

0079

(b4)データ出力例4
図28に、データ出力例の1つを示す。この出力例は、4本のデータチャネルのうち3本を本編画像に、残る1本をキー画像に割り当てた画像データを圧縮符号化し、これにリンク情報付きインデックス情報を付加することにより1つのファイルとして扱う。
なお、図28は、本編画像用の3本のデータチャネルにR(赤)G(緑)B(青)の3チャネルを割り当てる場合について表している。もっとも、この3本のデータチャネルは、1本の輝度データと2本の色差データでも良い。

0080

この場合も、一体化されたファイルに独自の拡張子「cmov」を付ける。
また、このデータ出力例も、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。また、圧縮符号化されているので、データ容量が小さく済む。また、このデータ出力例も、画像データをファイル形式で扱う場合、例えばストリーミング、ダウンロード、記録媒体での配布に好適である。

0081

(b5)データ出力例5
図29に、データ出力例の1つを示す。この出力例も、4本のデータチャネルのうち3本を本編画像に、残る1本をキー画像に割り当てた画像データを圧縮符号化し、これにリンク情報付きインデックス情報を付加することにより1つのファイルとして扱う。すなわち、生成されたファイルに独自の拡張子「cmov」を付けて管理する。
ただし、この出力例では、リンク情報付きインデックス情報をキー画像のメタデータエリアに搭載する。

0082

この出力例も、本編画像用の3本のデータチャネルにR(赤)G(緑)B(青)の3チャネルを割り当てる場合について表しているが、1本の輝度データと2本の色差データを割り当てることもできる。
このデータ出力例も、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。また、圧縮符号化されているので、データ容量が小さく済む。また、このデータ出力例も、画像データをcmovファイル形式で扱う場合、例えばダウンロード、記録媒体での配布に好適である。

0083

なお、圧縮符号化処理は、リンク情報付きインデックス情報を付加したキー画像(1チャネル)と本編画像(3チャネル)とを一体化したファイルを圧縮符号化しても良い。この場合、圧縮符号化には可逆符号化方式を採用する。編集段階やマスターデータとしての保存に効果的である。

0084

(b6)データ出力例6
図30に、データ出力例の1つを示す。この出力例は、本編画像をメインチャネルに出力すると同時に、キー画像をサブチャネルに出力し、その際、リンク情報付きインデックス情報を本編画像又はキー画像のメタデータエリアに搭載する。
図30(A)は、リンク情報付きインデックス情報をキー画像(サブチャネル)のメタデータエリアに搭載する例、図30(B)は、リンク情報付きインデックス情報を本編画像(メインチャネル)のメタデータエリアに搭載する例である。

0085

このデータ出力例は、画像データを放送形態で配布する場合に好適な出力例である。このデータ形式を採用すれば、放送形態でも、観者が特定した部分領域の関連情報を画面表示できる仕組みを実現できる。なお、本編画像の記録時には、対をなすサブチャネルの記録を条件とすれば、本編画像だけが分離されて利用されるのを防止するのに有効である。
例えば、このデータ出力形式で本編画像を放送すれば、既存のチューナーでは本編画像を普通に受信できるが、コピー禁止が有効であったり、スクランブル機能が有効となり視聴が禁止されるといった運用が可能である。

0086

一方、このデータ出力形式に対応したチューナーでは、キー画像とリンク情報付きインデックスを同時に受信した場合(クリック機能が有効の場合)に、コピー禁止やスクランブル機能等の制限を解除できる運用が可能になる。
また、ハードディスクドライブ装置等に保存する際に、cmovファイル形式で保存する場合に、本編画像に対するコピー禁止やスクランブル機能等が解除できる運用が可能になる。

0087

(b7)データ出力例7
図31(A)に、データ出力例の1つを示す。この出力例も放送形態に好適な出力形態である。ただし、このデータ出力例では、サブチャネルを用いない。すなわち、メインチャネルに、本編画像のメタデータエリアに、キー画像とリンク情報付きインデックス情報を搭載する。
このデータ形式を採用すれば、放送形態でも、観者が特定した部分領域の関連情報を画面表示できる仕組みを実現できる。また、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。

0088

この他、図31(B)に示すように、リンク情報のリンク先に当たる関連情報(例えば、広告(CM))をキー画像やリンク情報付きインデックス情報と共にメタデータエリアに記録することも有効である。
なお、リンク情報は、関連情報(例えば、広告(CM))の何ページ目かを与える情報や個々の関連情報に固有の識別情報(例えば、番号)で与える。

0089

この場合、リンク先の関連情報が一体化されているので、インターネット経由で関連情報を取得する必要がない。従って、再生装置がインターネットに接続されていない場合に有効である。また、再生装置がインターネットに接続されている場合でも、通信帯域が十分でない場合や通信状態が良好でない場合に効果的である。
なお、このようにリンク情報のリンク先に当たる関連情報を本編画像と一体化する方法は、前述したcmovファイル形式のデータ出力例にも有効である。

0090

(C)タグ情報表示制御装置及び情報処理装置(表示装置)
ここでは、タグ情報付き画像データを再生する際の処理動作、すなわち観者側の情報処理装置で実行される処理動作について説明する。
なお、情報処理装置は、後述するタグ情報表示制御装置又は同等の機能をソフトウェア的に実現できる装置であれば商品形態は問わない。
例えば、コンピュータ、磁気ディスク装置光ディスクプレーヤセットトップボックスホームサーバーその他の大容量ストレージ装置、表示装置、ゲーム機器ディジタルカメラ携帯情報端末携帯電話その他を含む。

0091

この情報処理装置によるタグ情報付き画像データの再生には、2通りの再生態様がある。
再生態様の1つは、蓄積型の再生である。
蓄積型の再生とは、タグ情報付き画像データの全体が記録媒体に蓄積された状態で再生が開始される場合をいう。

0092

例えば光ディスクその他の大容量メディアに記録された状態で配布されたタグ情報付き画像データ(cmovファイル)を再生する場合がある。
また例えば、インターネット経由でダウンロードしたタグ情報付き画像データ(cmovファイル)をローカルメディア上から再生する場合がある。
この際、本編画像とキー画像が同期再生される。ただし、キー画像は、画面上に表示されない。

0093

また例えば、放送形式ストリーミング形式で受信した本編画像、キー画像及びリンク情報付きインデックス情報をタグ情報付き画像データ(cmovファイル)に再構成して記録した記録メディア上から再生する場合がある。なお、この記録メディアは、可搬型の記録メディアの他、再生装置が搭載するローカルメディアの両方を含む。
また、他の再生態様の1つは、ストリーミング型の再生である。
ストリーミング型の再生とは、ストリーミングファイルをダウンロード順に再生する場合をいう。

0094

なお、ストリーミング型の再生では、まず最初にリンク情報付きインデックス情報がダウンロードされ、メインメモリ上に保存される。この後、本編画像とキー画像が再生順にダウンロードされてメインメモリ上に保存され、本編画像とキー画像が同期再生される。
この場合もキー画像は、画面上に表示されない。

0095

(C−1)画像再生システム
以下、蓄積型の再生とストリーミング型の再生に共通する画像再生システムについて説明する。
(a)機能構成
図32に、画像再生システムの構成例を示す。
画像再生システムは、タグ情報表示制御装置131、入力装置133、再生装置135、表示装置137で構成される。

0096

まず、タグ情報表示制御装置131以外の構成要素について説明する。
入力装置133は、タグ情報付き画像データを視聴する観者からの操作指示を入力する装置である。
再生装置135は、タグ情報付き画像データを記録領域から再生する装置である。記録媒体に応じた再生機構が使用される。なお、蓄積型の再生の場合には、大容量記憶媒体が用いられ、ストリーミング型の再生の場合には、メインメモリ(半導体記憶装置)が用いられる。
表示装置137は、本編画像を表示する表示デバイスである。表示デバイスには、既知の様々な表示デバイスを使用できる。例えば、CRTディスプレイフラットディスプレイ投射型表示デバイス(例えば液晶パネルDMD(登録商標素子)を使用する。

0097

タグ情報表示制御装置131は、以上の周辺装置を制御して本編画像の表示及び指定領域の関連情報の表示を制御する制御ユニットである。タグ情報表示制御装置131は、ソフトウェア的にも実現できるし、ハードウェア的にも実現できる。
ここでは、機能構成について説明する。
タグ情報表示制御装置131は、再生制御部141、インデックス情報読出部143、ポインタ移動受付部145、ポインタ位置取得部147、ポインタ位置判定部149、識別情報読出部151、リンク情報読出部153、関連情報表示制御部155で構成される。

0098

再生制御部141は、本編画像の再生指示の受付時、本編画像と同じ時間情報(例えばタイムコード)を有するキー画像を同期再生させる制御装置である。すなわち、本編画像とキー画像の同期再生を制御する。
インデックス情報読出部143は、本編画像及びキー画像に関連付けられたリンク情報付きインデックス情報を読み出す信号処理装置である。
ポインタ移動受付部145は、本編画像の観者による画面内のポインタ移動を、入力装置133を通じて受け付ける信号処理装置である。

0099

ポインタ位置取得部147は、画面内のポインタ位置を取得する信号処理装置である。
ポインタ位置判定部149は、本編画像と同期再生されるキー画像を参照し、ポインタ位置がキー領域の範囲内か否かを判定する信号処理装置である。すなわち、現在表示されている本編画像と同じ時間位置のキー画像とポインタとのマッチング判定が実行される。
識別情報読出部151は、ポインタ位置がキー領域の範囲内のとき、キー領域について設定されている領域識別情報を読み出す信号処理装置である。例えばポインタが、靴に対応するキー領域に属する場合には、キー領域のグレースケール値が読み出される。

0100

リンク情報読出部153は、参照したキー画像の時間情報と読み出された領域識別情報とに基づいてリンク情報付きインデックス情報を参照し、当該領域識別情報に対応するリンク情報を読み出す信号処理装置である。
関連情報表示制御部155は、読み出されたリンク情報で特定されたリンク先より関連情報を取得して表示する信号処理装置である。
例えばリンク情報がURLで与えられる場合、関連情報表示制御部155は、不図示の通信機能を通じてアクセスしたウェブサイトから必要な関連情報を取得して表示装置137に与える。
また例えばリンク情報が本編画像と共に受信又は蓄積されている関連情報の識別情報である場合、再生装置135を通じて必要な関連情報を取得して表示装置137に与える。

0101

(b)具体例
図33に、画像再生システムをコンピュータで実現する場合の構成例を示す。
この画像再生システムは、CPU(プロセッサ)161、入力装置163、表示装置165、ハードディスクドライブ装置167、メインメモリ169で構成される。
すなわち、図33に示したタグ情報表示制御装置131の処理機能は、CPU161で実行されるプログラムを通じて実現される。

0102

例えば、観者の指定したポインタの座標位置がキー領域に含まれるか否かの判定処理、ポインタの位置するキー領域に付されている領域識別情報に基づくリンク情報の読み出し処理がCPU161で実行される。
なお、図33は、蓄積型の再生を前提とする。すなわち、本編画像、キー画像、タグ情報付きインデックス情報がハードディスクドライブ装置167からメインメモリ169に読み出されるものとして描いている。
従って、ストリーミング型の場合、本編画像、キー画像、タグ情報付きインデックス情報はメインメモリ169に直接保存された状態で処理が進行する。

0103

(C−2)観者の操作と内部処理との関係
図34に、観者の操作とこれに関連して実行される内部処理との対応関係を示す。なお、観者の操作は、入力装置163(133)を通じて入力される。
本編画像の再生受付時、CPU161は、タグ情報付きインデックス情報の読み込みと本編画像の再生(表示)を指示する。この際、CPU161は、キー画像の同期再生も指示する。また、CPU161は、後述するガイド機能起動する。ガイド機能とは、観者にキー領域の埋め込みの存在を知らせ、また適切なキー領域の操作を補助する機能である。

0104

また、タグ付けされたオブジェクト(被写体像)のクリック操作の受付時、CPU161は、クリック座標を検出し(ポインタ位置を取得し)、同一時刻が付されたキー画像よりクリック座標に対応する領域識別情報を取得する。例えば、グレースケール値を取得する。
この後、CPU161は、領域識別情報を用いて同一時刻又は該当時刻を含む時間区間に対応付けられたタグ情報付きインデックス情報を参照し、対応するリンク情報より関連情報を取得する。取得した関連情報は、表示装置165の画面上に表示される。表示は、本編画像に対するスーパーインポーズでも良いし、子画面表示でも良い。

0105

図35に、前述したタグ情報表示制御機能に対応するプログラムの処理内容を示す。
プログラムは、タグ情報付きインデックス情報の読み出し処理で開始される(S21)。次に、プログラムは、本編画像とキー画像の同期再生を制御する(S22)。
この後、表示装置165の画面上に表示されるポインタ移動の入力を受け付け、ポインタ位置を判定する(S23、S24)。
図36(A)にポインタ171の表示例を示す。図では、ポインタ171が、被写体像の靴の位置に位置決めされている。

0106

次に、プログラムは、ポインタ位置がキー領域内か否かを判定する(S25)。この判定処理において、プログラムは、本編画像と同一時刻のキー画像を参照する。図36(B)に、本編画像と対をなすキー画像を示す。繰り返しになるが、キー画像は内部処理用であり、観者に対しては表示されない。
図36は、「00時14分30秒12フレーム」について設定されたキー画像例である。この例の場合、車両の対応位置に正方形状のキー領域(グレースケール値=20)が設定され、靴の対応位置に円形状のキー領域(グレースケール値=40)が設定されている。

0107

判定処理は、ポインタの座標(X、Y)がキー領域上に位置するか否かによって実行される。
この判定処理においてポインタ位置がキー領域にないと判定された場合(否定結果が得られた場合)、プログラムは、ポインタ移動を受け付ける状態に戻る。ポインタがタグ情報の埋め込まれていない領域を指定しているためである。
一方、判定処理においてポインタ位置がキー領域にあると判定された場合(肯定結果が得られた場合)、プログラムは、キー領域の領域識別情報に基づいてタグ情報付きインデックス情報にアクセスし、操作時と同一時刻について対応する領域識別情報に対応付けられたリンク情報を読み出す(S26)。

0108

この後、プログラムは、リンク情報で与えられる関連情報を取得して表示装置165の画面上に表示させる(S27)。
図37に、関連情報の表示例を示す。図37では、画面上部に関連情報のソースを示すURLアドレス(http://www.xxx.com/yy/yy)が表示される。
また、画面中央には、ポインタで指定した靴が大きな画面サイズで表示される。同時に、画面左上方には、価格(この例の場合、「98$」)が表示される。
勿論、観者の操作によって関連情報の表示ウィンドウを閉じることができる。

0109

この後、プログラムは、本編画像の再生が終了したか否かを判定する(S28)。再生中の場合(否定結果が得られた場合)、プログラムは、更なるキー領域の指定に備えてポインタ位置の入力受付状態に戻る。
一方、再生終了が確認された場合(肯定結果が得られた場合)、プログラムは、タグ情報の表示制御機能を終了する。
このような処理プログラムを、CPU161に実行させることにより、タグ情報の表示処理が実行される。

0110

(C−3)ガイド機能
以上説明したように、タグ情報付き画像データを再生することで、観者の主体的な操作の結果としてポインタ位置に埋め込まれた関連情報を画面上で確認することができる。
ここでは、観者によるキー領域の指定を補助するために好適な表示機能を説明する。

0111

(a)ガイド機能1
本来、キー画像は判定処理用にのみ用意された画像であるが、観者による画面操作を補助するのに用いることも可能である。
例えば、本編画像と同期再生されるキー画像にキー領域が含まれるとき、当該キー領域に対応する本編画像の部分領域を観者が認識可能な表示態様で表示する機能(キー領域表示制御部)をタグ情報表示制御装置131の機能として搭載することも可能である。

0112

図38に、この表示機能を採用する場合の表示例を示す。図38では、本編画像とキー画像が合成された状態で表示されている。
この際、タグ情報が埋め込まれている本編画像の部分領域の輝度を変更して表示しても良い。本編画像の本来の輝度に対して異なる輝度を与えることにより、タグ情報が埋め込まれている部分領域の識別を容易にできる。
なお、輝度変化は、キー画像を構成する各キー領域に与えられた領域識別情報(グレースケール値や色相値)に応じて与えても良い。

0113

また、キー領域に与えられた領域識別情報の違いによらず全て同じ輝度変化を与えても良い。観者にとって必要なのは、タグ情報が埋め込まれている部分領域を識別することであり、領域の違いを識別することではなないからである。
因みに、輝度変化は、本来の輝度レベルに対して輝度を上げる場合だけでなく、輝度を下げる場合、また輝度を周期的に点滅させる方法もある。ここで、輝度変化は、本編画像の輝度の数%で与えても良い。
なお、タグ情報が埋め込まれている部分領域の輝度を一様に変更する方法は、本編画像の画質を低下させ視聴の妨げにもなる。
従って、この輝度変化による表示態様は、部分領域の輝度を変化させる表示態様が観者によって選択された場合にのみ実行されることが望ましい。もっとも、常に、タグ情報の埋め込み領域の輝度を変化させても良い。

0114

また、タグ情報が埋め込まれている部分領域の表示態様を変更して観者に通知する手法としては、部分領域の色相を変更して表示する方法も考えられる。
例えば、色相の変化は、キー画像を構成する各キー領域に与えられた領域識別情報(色相値やグレースケール値)に応じて与えても良い。
また、キー領域に与えられた領域識別情報の違いによらず全て同じ色相変化を与えても良い。例えば、タグ情報が埋め込まれている部分領域には領域全体に赤色を付したり、赤色の枠を表示しても良い。勿論、表示に使用する色は任意である。
この色相の変化による表示態様も、部分領域の輝度を変化させる表示態様が観者によって選択された場合にのみ実行されることが望ましい。その一方、常に、タグ情報の埋め込み領域の輝度を変化させても良い。

0115

(b)ガイド機能2
前述したガイド機能1は、ポインタの位置によらず、タグ情報が埋め込まれた部分領域の表示態様を変更したが、これでは本編画像の視聴を妨げる場合も考えられる。
そこで、ポインタ位置がキー領域の範囲内と判定された場合やキー領域に近づいた場合に、タグ情報が埋め込まれている本編画像の部分領域を観者が認識可能な表示態様で表示する機能(タグ領域位置通知部)をタグ情報表示制御装置131の機能として搭載することも可能である。

0116

図39に、この表示機能を採用する場合の表示例を示す。図39の場合も、前述した他の例と同様、被写体像の靴にタグ情報が埋め込まれている場合である。
図39(A)は、ポインタ173がキー画面について設定されたキー領域の上に位置しない場合の表示例である。このとき、表示画面には何らの変化も認められない。
従って、観者は、現在のポイント位置には、何らのタグ情報が埋め込まれていないことが分かる。また、本編画像の視聴に支障を与えることもない。

0117

図39(B)は、ポインタ173がキー画像について設定されたキー領域の上に位置した場合の表示例である。このとき、靴に対応するキー領域の表示態様が変化する。例えば、ガイド機能1のように輝度が変化したり、色相が変化する。
この変換によって、観者は、現在のポイント位置には、タグ情報が埋め込まれていることを視覚的に確認することができる。
なお、この表示例の場合、本編画像の表示態様の変化は、靴に対応するキー領域だけであり、車両に対応するキー領域は変化しない。
このため、タグ情報を表示させる際の本編画像の画質低下を最小限に留めることができる。特に、多数の領域にタグ情報が埋め込まれている場合に効果的である。

0118

(c)ガイド機能3
前述した2つのガイド機能では、本編画像の表示態様を変化させる場合について説明した。しかし、これでは本編画像の視聴を妨げる場合も考えられる。
そこで、ポインタ位置がキー領域の範囲内と判定されたとき、タグ情報が埋め込まれている本編画像の部分領域に位置するポインタの表示態様を変更する機能(ポインタ形状変更部)をタグ情報表示制御装置131の機能として搭載する手法を説明する。

0119

図40及び図41に、この表示機能を採用する場合の表示例を示す。
このうち、図40(A)及び図41(A)は、いずれもポインタ175がキー画面について設定されたキー領域の上に位置しない場合の表示例を示している。この場合、ポインタ175は、基本的なサイズ及び形状で表示される。
図40(B)及び図41(B)は、いずれもポインタ175がキー画面について設定されたキー領域の上に位置した場合の表示例である。
図40(B)では、ポインタ177のサイズは同じまま、輝度や色相などの表示態様が変化している例である。

0120

図41(B)では、ポインタ179の輝度や色相は同じまま、サイズや形状などの表示態様が変化している例である。
この表示機能の場合、ポインタの表示態様だけを変更することにより、本編画像の画質にはなんらの影響も与えずに済む。
また、ポインタの表示態様を変更するだけであるため演算量も少なくて済む。また、観者の注意が集まっているポインタの表示態様を変更するため、キー領域の確認が容易である。

0121

(D)他の形態例
(a)前述した各機能に対応するプログラムは、ネットワーク経由で配布しても良く、記憶媒体に格納して配布しても良い。配布用の記憶媒体は、磁気記憶媒体光学式記憶媒体半導体記憶媒体その他を含む。
(b)前述の形態例には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される又は組み合わせられる各種の変形例及び応用例も考えられる。

図面の簡単な説明

0122

リニア編集システムの構成例を示す図である。
作業画面の表示例と生成されるキー画像との対応関係を示す図である。
タグ情報生成装置としての機能構成例を示す図である。
キー画像とタグ情報を規定するキー情報との対応関係を示す図である。
インデックス情報とタグ情報を規定するキー情報との対応関係を示す図である。
インデックス情報の一例を示す図である。
タグ付け操作とこれに関連して実行される内部処理との対応関係を示す図である。
キー情報入力装置にインストールするプログラムの処理内容の概要を示す図である。
ノンリニア編集システムの構成例を示す図である。
被写体像の靴をキー領域に設定する場合の処理イメージを示す図である。
色条件によるキー領域の自動抽出機能を実現するキー領域設定部の内部構成例を示す図である。
被写体像の靴の特徴量を追従するようにキー領域を設定する場合の処理イメージを示す図である。
キー領域の自動追従機能を実現するキー領域設定部の内部構成例を示す図である。
開始点に選択した作業画面上で設定されたキー領域と終了点に選択した作業画面上で設定されたキー領域との位置関係を示す図である。
2つの時点間で被写体像である靴が直線的に移動する場合の軌跡を示す図である。
キー領域の自動追従機能を実現するキー領域設定部の内部構成例を示す図である。
固定形状で用意するキー領域の形状例を示す図である。
固定形状で用意するキー領域の形状例を示す図である。
本編画像のサイズとキー画像のサイズの関係を示す図である。
インデックス情報に対するリンク情報の埋め込みイメージを示す図である。
リンク情報埋め込み部の内部構成例を示す図である。
リンク情報付きインデックス情報の生成例を示す図である。
タグ情報付き画像データ生成装置の内部構成例を示す図である。
タグ情報付き画像データ生成装置に対応するプログラムの処理内容の概要を示す図である。
データ出力例を示す図である。
データ出力例を示す図である。
データ出力例を示す図である。
データ出力例を示す図である。
データ出力例を示す図である。
データ出力例を示す図である。
データ出力例を示す図である。
画像再生システムの構成例を示す図である。
画像再生システムをコンピュータで実現する場合の構成例を示す図である。
観者の操作とこれに関連して実行される内部処理との対応関係を示す図である。
タグ情報表示制御機能に対応するプログラムの処理内容の概要を示す図である。
ある時点の本編画像に対するポインタの表示と対応するキー画像との対応関係を示す図である。
関連情報の表示例を示す図である。
ガイド機能による表示例を示す図である。
ガイド機能による表示例を示す図である。
ガイド機能による表示例を示す図である。
ガイド機能による表示例を示す図である。

符号の説明

0123

31時間情報取得部
33キー領域設定部
35識別情報付与部
36オブジェクト識別情報付与部
37キー画像生成部
39インデックス情報生成部
121リンク情報埋め込み部
121Aデータベース
121B 情報埋め込み部
123データ出力部
131タグ情報表示制御装置
141再生制御部
143インデックス情報読出部
145ポインタ移動受付部
147ポインタ位置取得部
149 ポインタ位置判定部
151 識別情報読出部
153 リンク情報読出部
155関連情報表示制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い 技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ