図面 (/)

技術 番組検索用メタデータ抽出格納装置及び番組検索用メタデータ抽出格納プログラム

出願人 日本放送協会新東電算株式会社
発明者 中村章寺田健二井手口博登
出願日 2008年2月15日 (12年9ヶ月経過) 出願番号 2008-033908
公開日 2009年8月27日 (11年3ヶ月経過) 公開番号 2009-194664
状態 特許登録済
技術分野 記録のためのテレビジョン信号処理 TV送受信機回路 TV信号の記録 双方向TV,動画像配信等 検索装置
主要キーワード 殺人事件 途中箇所 検索用メタデータ 状態項目 格納システム 読み込み位置 文字形状 UPnPコントロールポイント
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年8月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

費用を増大させることなく、番組検索するために活用可能なデータベースを作成することができる番組検索用メタデータ抽出格納装置及び番組検索用メタデータ抽出格納プログラムを提供する。

解決手段

番組検索用メタデータ抽出格納装置1は、放送又は通信により配信される複数の番組がTV放送同録装置2にチャンネルごとに蓄積された後、所望の番組を検索するために用いるデータである番組検索用メタデータを、当該番組から抽出し、当該番組に関する情報である番組情報と共にデータベース蓄積手段5に蓄積されるデータベースに格納するものであって、番組情報取得手段3と、動画ダウンロード手段7と、動画ファイル蓄積手段9と、文字認識手段11とを備えること。

概要

背景

従来、放送又は配信される多数の番組を、一旦、蓄積装置蓄積後、視聴者の所望する番組を検索してから視聴することが行われている。そして、視聴者が所望の番組を検索する場合、番組が放送又は配信された時刻や、番組のタイトル手掛かりにしている場合が多い。

しかし、放送又は配信が行われた後、長期間が経過していた場合に、番組が放送されていた時刻や番組のタイトル等を、視聴者が記憶していなかった(忘れてしまった)場合、当該視聴者は、所望の番組を検索する手掛かりを失ってしまう場合がある。

このような事態を回避するために、受信した番組について、当該番組の特徴を抽出することが想定され、この番組の特徴をデータベース化しておくことで、視聴者が所望する番組を高速に検索できることが望まれている。この番組の特徴としては、番組に含まれるテロップ等の文字情報(例えば、非特許文献1を参照)や、特定のシーンや、特定の発言キーワード)が挙げられる。

また、現在放送又は配信中の番組も含めて、所望の番組を検索しようとした場合、迅速に番組の特徴をデータベース化する必要がある。
崎 洋光、他2名 平成17年度電気関係学会九州支部連合大会大会誌p551「動画像中テキスト認識を目的とした文字形状に基づくビデオモザイキング手法」、[online]、[平成20年2月14日検索]、インターネット〈URL:http://human.is.kyushu-u.ac.jp/~uchida/Papers/miyazaki-shibu2005.pdf〉

概要

費用を増大させることなく、番組を検索するために活用可能なデータベースを作成することができる番組検索用メタデータ抽出格納装置及び番組検索用メタデータ抽出格納プログラムを提供する。番組検索用メタデータ抽出格納装置1は、放送又は通信により配信される複数の番組がTV放送同録装置2にチャンネルごとに蓄積された後、所望の番組を検索するために用いるデータである番組検索用メタデータを、当該番組から抽出し、当該番組に関する情報である番組情報と共にデータベース蓄積手段5に蓄積されるデータベースに格納するものであって、番組情報取得手段3と、動画ダウンロード手段7と、動画ファイル蓄積手段9と、文字認識手段11とを備えること。

目的

そこで、本発明では、前記した問題を解決し、費用を増大させることなく、番組を検索するのに活用可能なデータベースを作成することができる番組検索用メタデータ抽出格納装置及び番組検索用メタデータ抽出格納プログラムを提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

放送又は通信により配信される複数の番組チャンネルごとに蓄積装置蓄積された後、動画ファイル蓄積手段にダウンロードすると共に、所望の番組を検索するために用いるデータである番組検索用メタデータを、当該番組から抽出し、当該番組に関する情報である番組情報と共にデータベース蓄積手段に蓄積されるデータベースに格納する番組検索用メタデータ抽出格納装置であって、前記蓄積装置から一定の時間間隔で前記番組情報を取得して前記データベースに格納する番組情報取得手段と、前記番組情報によって特定される番組それぞれについて、前記チャンネルごとの番組の一部を動画ファイルとして所定時間ごとに前記蓄積装置から前記動画ファイル蓄積手段にダウンロードする動画ダウンロード手段と、前記動画ファイル蓄積手段から前記所定時間分の前記チャンネルごとの動画ファイルを順次切り替えながら読み込んで、当該動画ファイルから映像及び音声の少なくとも1つの予め設定した特徴を前記番組検索用メタデータとして前記所定時間分ずつ抽出して前記データベースに格納する特徴抽出手段と、を備えることを特徴とする番組検索用メタデータ抽出格納装置。

請求項2

前記特徴抽出手段は、前記動画ファイルの各フレームに含まれる文字データを認識し、この文字データを番組検索用メタデータとすることを特徴とする請求項1に記載の番組検索用メタデータ抽出格納装置。

請求項3

放送又は通信により配信される複数の番組がチャンネルごとに蓄積装置に蓄積された後、動画ファイル蓄積手段にダウンロードすると共に、所望の番組を検索するために用いるデータである番組検索用メタデータを、当該番組から抽出し、当該番組に関する情報である番組情報と共にデータベース蓄積手段に蓄積されるデータベースに格納するために、コンピュータを、前記蓄積装置から一定の時間間隔で前記番組情報を取得して前記データベースに格納する番組情報取得手段、前記番組情報によって特定される番組それぞれについて、前記チャンネルごとの番組の一部を動画ファイルとして所定時間ごとに前記蓄積装置から前記動画ファイル蓄積手段にダウンロードする動画ダウンロード手段、前記動画ファイル蓄積手段から前記所定時間分の前記チャンネルごとの動画ファイルを順次切り替えながら読み込んで、当該動画ファイルから映像及び音声の少なくとも1つの予め設定した特徴を前記番組検索用メタデータとして前記所定時間分ずつ抽出して前記データベースに格納する特徴抽出手段、として機能させることを特徴とする番組検索用メタデータ抽出格納プログラム

技術分野

0001

本発明は、番組検索するのに用いる番組検索用メタデータを、当該番組から抽出してデータベースに格納する番組検索用メタデータ抽出格納装置及び番組検索用メタデータ抽出格納プログラムに関する。

背景技術

0002

従来、放送又は配信される多数の番組を、一旦、蓄積装置蓄積後、視聴者の所望する番組を検索してから視聴することが行われている。そして、視聴者が所望の番組を検索する場合、番組が放送又は配信された時刻や、番組のタイトル手掛かりにしている場合が多い。

0003

しかし、放送又は配信が行われた後、長期間が経過していた場合に、番組が放送されていた時刻や番組のタイトル等を、視聴者が記憶していなかった(忘れてしまった)場合、当該視聴者は、所望の番組を検索する手掛かりを失ってしまう場合がある。

0004

このような事態を回避するために、受信した番組について、当該番組の特徴を抽出することが想定され、この番組の特徴をデータベース化しておくことで、視聴者が所望する番組を高速に検索できることが望まれている。この番組の特徴としては、番組に含まれるテロップ等の文字情報(例えば、非特許文献1を参照)や、特定のシーンや、特定の発言キーワード)が挙げられる。

0005

また、現在放送又は配信中の番組も含めて、所望の番組を検索しようとした場合、迅速に番組の特徴をデータベース化する必要がある。
崎 洋光、他2名 平成17年度電気関係学会九州支部連合大会大会誌p551「動画像中テキスト認識を目的とした文字形状に基づくビデオモザイキング手法」、[online]、[平成20年2月14日検索]、インターネット〈URL:http://human.is.kyushu-u.ac.jp/~uchida/Papers/miyazaki-shibu2005.pdf〉

発明が解決しようとする課題

0006

しかしながら、番組の特徴をデータベース化する場合、1つのチャンネルの番組につき、1台の装置(例えば、PC)で行っていると、全てのチャンネルの番組について、当該番組の特徴をデータベース化するのに時間がかかってしまい、すぐに活用することができないという問題がある。

0007

そして、現在放送又は配信中の番組も含めて、所望の番組を検索するのに、当該データベースをすぐに活用しようとした場合、受信した複数のチャンネルについて、そのチャンネル数だけデータベース化する装置を用意しなければならず、費用が増大してしまうという問題がある。

0008

そこで、本発明では、前記した問題を解決し、費用を増大させることなく、番組を検索するのに活用可能なデータベースを作成することができる番組検索用メタデータ抽出格納装置及び番組検索用メタデータ抽出格納プログラムを提供することを目的とする。

課題を解決するための手段

0009

前記課題を解決するため、請求項1に記載の番組検索用メタデータ抽出格納装置は、放送又は通信により配信される複数の番組がチャンネルごとに蓄積装置に蓄積された後、動画ファイル蓄積手段にダウンロードすると共に、所望の番組を検索するために用いるデータである番組検索用メタデータを、当該番組から抽出し、当該番組に関する情報である番組情報と共にデータベース蓄積手段に蓄積されるデータベースに格納する番組検索用メタデータ抽出格納装置であって、番組情報取得手段と、動画ダウンロード手段と、特徴抽出手段と、を備える構成とした。

0010

かかる構成によれば、番組検索用メタデータ抽出格納装置は、番組情報取得手段によって、蓄積装置から一定の時間間隔で前記番組情報を取得してデータベースに格納する。続いて、番組検索用メタデータ抽出格納装置は、動画ダウンロード手段によって、番組情報によって特定される番組それぞれについて、チャンネルごとの番組の一部を動画ファイルとして所定時間ごとに蓄積装置から動画ファイル蓄積手段にダウンロードする。そして、番組検索用メタデータ抽出格納装置は、特徴抽出手段によって、動画ファイル蓄積手段から所定時間分のチャンネルごとの動画ファイルを順次切り替えながら読み込んで、当該動画ファイルから映像及び音声の少なくとも1つの予め設定した特徴を番組検索用メタデータとして所定時間分ずつ抽出してデータベースに格納する。

0011

請求項2に記載の番組検索用メタデータ抽出格納装置は、請求項1に記載の番組検索用メタデータ抽出格納装置において、前記特徴抽出手段は、前記動画ファイルの各フレームに含まれる文字データを認識し、この文字データを番組検索用メタデータとすることを特徴とする。

0012

かかる構成によれば、番組検索用メタデータ抽出格納装置は、特徴抽出手段によって、文字データが番組検索用メタデータとして抽出されることで、この文字データを手掛かりにして番組を検索することができる。

0013

請求項3に記載の番組検索用メタデータ抽出格納プログラムは、放送又は通信により配信される複数の番組がチャンネルごとに蓄積装置に蓄積された後、動画ファイル蓄積手段にダウンロードすると共に、所望の番組を検索するために用いるデータである番組検索用メタデータを、当該番組から抽出し、当該番組に関する情報である番組情報と共にデータベース蓄積手段に蓄積されるデータベースに格納するために、コンピュータを、番組情報取得手段、動画ダウンロード手段、特徴抽出手段、として機能させる構成とした。

0014

かかる構成によれば、番組検索用メタデータ抽出格納プログラムは、番組情報取得手段によって、蓄積装置から一定の時間間隔で前記番組情報を取得してデータベースに格納し、動画ダウンロード手段によって、番組情報によって特定される番組それぞれについて、チャンネルごとの番組の一部を動画ファイルとして所定時間ごとに蓄積装置から動画ファイル蓄積手段にダウンロードする。そして、番組検索用メタデータ抽出格納プログラムは、特徴抽出手段によって、動画ファイル蓄積手段から所定時間分のチャンネルごとの動画ファイルを順次切り替えながら読み込んで、当該動画ファイルから映像及び音声の少なくとも1つの予め設定した特徴を番組検索用メタデータとして所定時間分ずつ抽出してデータベースに格納する。

発明の効果

0015

請求項1、3に記載の発明によれば、データベースに番組検索用メタデータを格納する際に、番組情報を取得した後、チャンネルごとの番組に独立させて、ダウンロードしたり、特徴抽出を行ったりすることで、費用を増大させることなく、複数の番組について当該番組の特徴を抽出して、番組検索用メタデータを格納したデータベースを効率よく作成することができる。

0016

請求項2に記載の発明によれば、番組に含まれる文字データが番組検索用メタデータとして抽出されるので、この文字データを手掛かりにして番組を検索することができる。

発明を実施するための最良の形態

0017

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
図1は番組検索用メタデータ抽出格納システムの概略を示す図である。この図1(a)に示すように、番組検索用メタデータ抽出格納システムSは、本装置(番組検索用メタデータ抽出格納装置)1とTV放送同録装置(蓄積装置)2とから構成されている。そして、本装置1からTV放送同録装置2に対し、UPnPコントロールポイントとして接続し(1)、TV放送同録装置2から本装置1のデータベース(図2に示すデータベース蓄積手段5)に番組情報を登録(格納)する(2)。

0018

なお、UPnPコントロールポイントとは、UPnPネットワークを使用して、他のデバイス(ここでは、TV放送同録装置2)を、本装置1からコントロールする機能のことである。

0019

すなわち、本装置1は、番組情報登録タスクを実行すること(図2に示す番組情報取得手段3による動作)で、番組情報をデータベースに登録する。そして、図1(b)に示すように、本装置1は、データベースから番組情報を得て、ダウンロードアドレスを取得する(1)。また、TV放送同録装置2は、「チャンネル01動画」、「チャンネル02動画」、・・・、「チャンネル08動画」と図示したように、チャンネル別に番組を蓄積している。そして、本装置1は、ダウンロードタスクを実行すること(図2に示す動画ダウンロード手段7による動作)で、TV放送同録装置2から「チャンネル01動画」、「チャンネル02動画」、・・・、「チャンネル08動画」を、別々にダウンとロードする(一定間隔で動画をダウンロード)(2)。

0020

このように、本装置1は、TV放送同録装置2から動画(番組)をダウンロードしつつ、後記するように、番組の特徴(文字認識した認識結果)を抽出して、番組検索用メタデータとし、データベースを構築している。次に、図2を用いて、この番組検索用メタデータ抽出格納システムSの詳細な構成を説明する。

0021

図2は番組検索用メタデータ抽出格納システムを示すブロック図である。この図2に示すように、番組検索用メタデータ抽出格納システムSは、番組検索用メタデータ抽出格納装置1と、TV放送同録装置2とを備えている。

0022

TV放送同録装置2は、ネットワークを介して、番組情報を受信すると共に、放送又はネットワークを介して配信された番組を受信して蓄積するものである。この実施形態では、図1に示したように、TV放送同録装置2は、番組検索用メタデータ抽出格納装置1とUPnPコントロールポイントとして接続されている。

0023

また、このTV放送同録装置2は、番組を動画ファイルとして蓄積しており、この動画ファイルを蓄積する際に、当該動画ファイルを放送又は配信されたチャンネルごとにまとめて蓄積している。図1に前記したように「チャンネル01の動画」、「チャンネル02の動画」、・・・、「チャンネル08の動画」、・・・といったようにまとめて蓄積している。

0024

番組情報は、番組に関する様々な情報であり、番組のID、タイトル、クラス、日付、詳細、チャンネル名、ジャンル、RES(URL:アドレス)を少なくとも含んだものである。
番組のIDは、番組を識別する識別子であり、番組のタイトルは、番組の名称である。

0025

番組のクラスは、番組の種類が、映像(ビデオ)、音声(音楽)、静止画写真)等であることを示すもので、object、item、videoItem、videoBroadcastといったように記述されている。
番組の日付は、番組が放送又は配信された日時及び時刻(開始時刻終了時刻)を示したものである。

0026

番組の詳細は、番組の具体的な中身について、例えば、「N」や「天」といった所定Byte(ここでは、1Byte)のデータで記述されたものである。この「N」は番組が関東各地の話題に関するニュースであることを示しており、「天」は番組が各地の天気予報であることを示している。

0027

番組のチャンネル名は、番組が放送された場合であれば放送局名前、番組がネットワークを介して配信された場合であれば、配信元のURLによって特定される提供者の名前である。
番組のジャンルは、番組のジャンルを示すもので、例えば、ニュース、スポーツドラマ映画等に分類されている。

0028

番組のRESは、番組をダウンロードするアドレス(TV放送同録装置2のネットワーク上のアドレス及びこのTV放送同録装置2における記憶手段(図示せず)における位置)であり、例えば、http://192.168.1.113:15000/stream/04/b9/004B9ZZといったように記述される。

0029

(番組検索用メタデータ抽出格納装置の構成)
番組検索用メタデータ抽出格納装置1は、番組検索用メタデータを番組から抽出し、番組情報と共にデータベースに格納するもので、番組情報取得手段3と、データベース蓄積手段5と、動画ダウンロード手段7と、動画ファイル蓄積手段9と、文字認識手段(特徴抽出手段)11と、を備えている。

0030

番組情報取得手段3は、TV放送同録装置2とUPnPコントロールポイントとして接続が行われることで、一定の間隔(例えば、数時間の間隔)で番組情報を取得して、データベース蓄積手段5に出力するものである。つまり、この番組情報取得手段3は、TV放送同録装置2に番組情報が受信されることで、定期的に番組情報を取得していく。この実施形態では、TV放送同録装置2から番組情報を取得することとしているが、番組検索用メタデータ抽出格納装置1が直接ネットワークに接続して、EPG等から番組情報を取得してもよい。

0031

データベース蓄積手段5は、番組情報取得手段3から入力された番組情報を格納(登録)し、番組情報取得状態項目と動画ダウンロード状態項目と特徴抽出状態項目とからなる状態項目を保持し、文字認識手段11から認識された認識結果(映像及び音声の少なくとも1つの予め設定した特徴)とを対応付けて登録(格納)したものであり、一般的なハードディスクメモリ等によって構成されている。なお、認識結果は、映像である動画ファイルに含まれていた文字データであり、この文字データが番組検索用メタデータとして活用されることとなる。

0032

番組情報取得状態項目は、番組情報取得手段3で番組情報が取得された番組情報取得済みを示す項目である。この番組情報取得状態項目によって、番組情報取得済みとされることによって、TV放送同録装置2が受信した番組情報の有無が判明することとなる。つまり、番組情報取得済みとならなければ、番組情報取得手段3により一定の間隔で取得した時点でTV放送同録装置2には番組情報が無いことになる。

0033

動画ダウンロード状態項目は、動画ダウンロード手段7によって、チャンネルごとの番組が動画ファイルとして、動画ファイル蓄積手段9にダウンロードされている途中(ダウンロード中、ダウンロード途中のことで、今まさにダウンロードしている最中は含まない)又はダウンロードが完了されたこと(ダウンロード完了)を示す項目である。

0034

なお、この動画ダウンロード状態項目は、ある番組の動画ファイルについて、予め設定した所定時間(例えば、5分間)分のダウンロードが完了した時点で、当該動画ファイルのダウンロードが完了したことを示すことも可能である。この場合、動画ファイルがダウンロードされた途中箇所を示す当該動画ファイルの位置(動画ファイルのバイトアドレス)が記憶されることとなる。

0035

特徴抽出状態項目は、文字認識手段11によって、動画ファイル蓄積手段9から動画ファイルが読み込まれ、文字認識されている途中(特徴を抽出中)又は文字認識が完了されたこと(抽出完了)を示す項目である。

0036

動画ダウンロード手段7は、番組情報によって特定される番組それぞれについて、チャンネルごとの番組の一部を動画ファイルとして所定時間ごとにTV放送同録装置2から動画ファイル蓄積手段9にダウンロードするもので、番組情報検出手段7aと、カウンタ手段7bと、ダウンロード実行手段7cと、位置保持手段7dとを備えている。

0037

番組情報検出手段7aは、番組情報取得手段3で取得された番組情報がデータベース蓄積手段5のデータベースに格納されたか否かを当該データベースの該当するデータの有無により検出するものである。そして、この番組情報検出手段7aは、番組情報があった場合に、この番組情報をダウンロード実行手段7cに通知する。

0038

カウンタ手段7bは、当該装置1の使用者が設定した所定時間(この実施形態では5分)を計時するものである。そして、このカウンタ手段7bは、所定時間が経過した場合、当該所定時間が経過したことをダウンロード実行手段7cに通知する。

0039

ダウンロード実行手段7cは、番組情報検出手段7aから番組情報が通知された場合に、当該番組情報で特定される番組について、チャンネルごとの番組の一部を動画ファイルとして、番組情報に含まれる番組のRESに基づきTV放送同録装置2からカウンタ手段7bで計時された所定時間ごとにチャンネルを切り替えてダウンロードして、動画ファイル蓄積手段9に蓄積するものである。

0040

そして、このダウンロード実行手段7cは、チャンネルを切り替えるごとに、TV放送同録装置2における動画ファイルの読み込み位置及び動画ファイル蓄積手段9における動画ファイルの書き込み位置を出力する。

0041

そして、このダウンロード実行手段7cは、ダウンロードをしている途中であるのか(ダウンロード中)、ダウンロードを完了したのか(ダウンロード完了又はダウンロード済み)を、データベース蓄積手段5に出力する。

0042

位置保持手段7dは、ダウンロード実行手段7cから出力された、TV放送同録装置2における動画ファイルの読み込み位置及び動画ファイル蓄積手段9における動画ファイルの書き込み位置を保持するものである。

0043

ここで、図3を参照して番組情報取得手段3によりデータベース蓄積手段5に登録される番組情報と、動画ダウンロード手段7により更新される項目の変化とを説明する。
まず、チャンネル01では、番組「A」が01:00〜01:30に放送され、チャンネル02では、番組「B」が01:00〜01:30に放送されていたとし、TV放送同録装置2で蓄積していたとする。

0044

そして、番組情報取得手段3によって、番組情報が取得されると、図3(a)に示したように、データベース蓄積手段5に登録した順にIDが付され、番組「A」については、ID「1」、チャネル「01」、タイトル「A」、開始時刻「01:00:00」、RES「http://...」、状態「番組情報取得済み」となり、番組「B」については、ID「2」、チャネル「02」、タイトル「B」、開始時刻「01:00:00」、RES「http://...」、状態「番組情報取得済み」となる。

0045

そして、動画ダウンロード手段7では、このデータベース蓄積手段5に登録された中で、開始時刻が最古のもので、状態が「番組情報取得済み」又は「ダウンロード中」の番組について、登録された順(IDが小さい順)に、ダウンロードを開始する。そうすると、図3(b)に示したように、チャンネル「01」の番組「A」の状態が「ダウンロード中」となり、動画ダウンロード手段7によって、取得したアドレス(RES)よりダウンロードを開始する。そして、動画ダウンロード手段7は、動画ファイル蓄積手段9にダウンロードしたチャンネルごとの番組を、当該番組の動画ファイルとして書き込む。

0046

そして、動画ダウンロード手段7では、所定時間(この実施形態では5分)経過後、チャンネル「01」の番組「A」についてダウンロードを中止する。さらに、動画ダウンロード手段7では、チャンネル「02」の番組「B」についてダウンロードを開始する。そうすると、図3(c)に示したように、チャンネル「02」の番組「B」の状態が「ダウンロード中」となる。また、ダウンロード中からダウンロードを中断する場合、動画ダウンロード手段7は、データベース蓄積手段5の状態を「番組情報取得済み」に戻す。以降、5分ごとに、動画ダウンロード手段7は、チャンネル「01」の番組「A」とチャンネル「02」の番組「B」とのダウンロードを繰り返す。

0047

そして、図3(d)に示したように、番組「A」と番組「B」とは、文字認識手段11によって、文字認識が終了すると、データベース蓄積手段5の状態を「文字認識終了」とする。図1に戻る。

0048

動画ファイル蓄積手段9は、動画ダウンロード手段7によってダウンロードされた動画ファイルを蓄積するもので、一般的なハードディスクやメモリ等によって構成されている。また、この動画ファイル蓄積手段9は、文字認識手段11からの読み込み指示に従って、蓄積している動画ファイルを、文字認識手段11に出力する。

0049

文字認識手段11は、動画ファイル蓄積手段9から所定時間分のチャンネルごとの動画ファイルを順次切り替えながら読み込んで、当該動画ファイルから映像及び音声の少なくとも1つの予め設定した特徴(この実施形態では映像における文字データ)を番組検索用メタデータとして所定時間分ずつ抽出して、データベース蓄積手段5のデータベースに格納するもので、状態項目検出手段11aと、読み込み手段11bと、認識実行手段11cとを備えている。

0050

状態項目検出手段11aは、番組情報がデータベース蓄積手段5のデータベースに格納されたか否かと、動画ファイルが動画ファイル蓄積手段9に蓄積された否かとについて、当該データベースの該当するデータの有無(番組情報取得済み、且つ、ダウンロード中又はダウンロード完了)により検出するものである。そして、この状態項目検出手段11aは、番組情報取得済みであり、動画ファイルが蓄積されていた場合に、動画ファイルの読み込みが可能なことを読み込み手段11bに通知する。

0051

読み込み手段11bは、状態項目検出手段11aから動画ファイルを読み込み可能なことが通知された場合に、動画ファイル蓄積手段9から該当する動画ファイルを読み込むものである。

0052

認識実行手段11cは、動画ファイル蓄積手段9から読み込み手段11bによって読み込んだ動画ファイルについて、文字認識を行うものである。そして、この認識実行手段11cは、文字認識した認識結果と文字認識した箇所(時刻で特定されるフレーム位置)とを対応付けて、番組検索用メタデータとしてデータベース蓄積手段5に出力する。

0053

ここで、データベース蓄積手段5に、文字認識した認識結果が、番組情報と対応付けられた例を図4に示す。この図4に示した例では、番組「A」の認識結果に「政治」(00′0″)、「小島一郎」(00′03″)、「殺人事件」(00′08″)、「偽装」(00′15″)が含まれている。図2に戻る。

0054

なお、この文字認識手段11による文字認識は、動画ファイルを構成する1フレームごとに、当該フレームにおける画素値の違いに基づいて、文字を認識するもので、一般的な画像処理手法に従って行われる。

0055

また、この実施形態では、動画ファイルに含まれている文字(テロップ等)について、文字認識した認識結果を、番組検索用メタデータとして出力しているが、これに限定されず、例えば、動画ファイルに含まれている音声について、音声認識した認識結果(例えば、特定の人物名、事件名、業界用語)を、番組検索用メタデータとして出力することも可能である。さらに、動画ファイルを構成するフレームにおいて、画像認識した認識結果(特定の人物等)を、番組検索用メタデータとして出力することも可能である。

0056

この番組検索用メタデータ抽出格納装置1によれば、データベース蓄積手段5に番組検索用メタデータを格納する際に、チャンネルごとの番組(動画ファイルの全部又は一部)に独立させて、番組情報を取得したり、ダウンロードしたり、特徴抽出を行ったりすることで、費用を増大させることなく、複数の番組について当該番組の特徴を抽出して、番組検索用メタデータを格納したデータベース蓄積手段5を効率よく作成することができる。

0057

また、この番組検索用メタデータ抽出格納装置1によれば、TV放送同録装置2で受信された番組であれば、現在放送又は配信されている番組についても、番組の長さに依存せずに、予め設定した所定時間(この実施形態では5分)だけダウンロードして、文字認識して特徴を抽出しているので、すぐに当該番組を検索するのに活用可能なデータベースを作成することができる。

0058

さらに、この番組検索用メタデータ抽出格納装置1によれば、番組に含まれる文字データが番組検索用メタデータとして抽出されるので、この文字データを手掛かりにして番組を検索することができる。
つまり、この番組検索用メタデータ抽出格納装置1によれば、多くのチャンネルの番組について、所定時間ずつ、ダウンロードして、この所定時間の各番組について、特徴(文字認識した結果)を抽出することで、データベースを作成している。このため、例えば6チャンネルの番組(それぞれ1時間の番組とする)について、特徴を抽出して完全なデータベースを作成しようとした場合、従来では単純に6時間要してしまうが、この番組検索用メタデータ抽出格納装置1では、完全なものではないけれども、約30分で(1番組5分ずつ6チャンネル分)データベースが作成でき、活用可能となる。

0059

また、この番組検索用メタデータ抽出格納装置1では、文字認識した結果を番組の特徴に用いているので、一般的に番組がニュース番組や映画等を問わずに、番組の冒頭にテロップ等で、当該番組の内容が紹介されることが多いので、たとえ番組の冒頭から5分だけ文字認識した認識結果を用いても、十分に検索に活用することができる。

0060

(番組検索用メタデータ抽出格納装置の動作 その1)
次に、図5に示すフローチャートを参照して、番組検索用メタデータ抽出格納装置1の番組情報を取得する際の動作について説明する(適宜、図2参照)。
まず、番組検索用メタデータ抽出格納装置1は、番組情報取得手段3によって、TV放送同録装置2から番組情報を取得する(ステップS1)。続いて、番組検索用メタデータ抽出格納装置1は、番組情報取得手段3によって、取得した番組情報の中に、新しい番組情報があるか否かを判定する(ステップS2)。

0061

そうすると、番組検索用メタデータ抽出格納装置1は、新しい番組情報があると判定しなかった場合(ステップS2、No)、ステップS1に戻り、新しい番組情報があると判定した場合(ステップS2、Yes)、番組情報をデータベース蓄積手段5に登録する(ステップS3)。さらに、番組検索用メタデータ抽出格納装置1は、番組情報取得手段3によって、データベース蓄積手段5の該当する番組の[状態]を「番組情報取得済み」として登録し(ステップS4)、ステップS1に戻る。

0062

(番組検索用メタデータ抽出格納装置の動作 その2)
次に、図6に示すフローチャートを参照して、番組検索用メタデータ抽出格納装置1の動画をダウンロードする際の動作について説明する(適宜、図2参照)。
まず、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、データベース蓄積手段5の[状態]が「番組情報取得済み」又は「ダウンロード中」の[番組のアドレス](番組のRES)を取得する(ステップS11)。

0063

そして、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、データベース蓄積手段5の[状態]が「番組情報取得済み」又は「ダウンロード中」の番組があるか否かを判定する(ステップS12)。番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、データベース蓄積手段5の[状態]が「番組情報取得済み」又は「ダウンロード中」の番組があると判定しなかった場合(ステップS12、No)は、ステップS11に戻る。

0064

そして、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、データベース蓄積手段5の[状態]が「番組情報取得済み」又は「ダウンロード中」の番組があると判定した場合(ステップS12、Yes)は、ダウンロードを開始する。そうすると、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、動画ファイル蓄積手段9に対し、書き出しファイルオープンさせる(ステップS13)。また、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、該当する番組について、最初のダウンロードの場合、ファイル名をデータベース蓄積手段5に保存する(ステップS14)。

0065

そして、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、動画ファイル蓄積手段9における書き出しファイルの書き出し位置を最後尾に移動する(ステップS15)。また、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、データベース蓄積手段5より、番組の[読み込み位置]を取得する(ステップS16)。そして、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、データベース蓄積手段5の該当する番組について[状態]を「ダウンロード中」に設定する(ステップS17)。

0066

そして、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、TV放送同録装置2のメモリ上から[番組のアドレス]と[読み込み位置]とが示すデータをダウンロードする(ステップS18)。そして、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、動画ファイル蓄積手段9にダウンロードデータはあるか否かを判定する(ステップS19)。

0067

そして、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、動画ファイル蓄積手段9にダウンロードデータはあると判定しなかった場合(ステップS19、No)は、動画ダウンロード手段7によって、動画ファイル蓄積手段9に対し書き出しファイルをクローズさせ(ステップS20)、動画ダウンロード手段7によって、データベース蓄積手段5の該当する番組について[状態]を「ダウンロード済み」に設定し(ステップS21)、ステップS11に戻る。

0068

また、番組検索用メタデータ抽出格納装置1は、ステップS19にて、(動画ファイル蓄積手段9にダウンロードデータはあると判定した場合(ステップS19、Yes)は、動画ダウンロード手段7によって、TV放送同録装置2のメモリ上の[読み込み位置]に次の読み込み位置を設定し(ステップS22)、動画ファイル蓄積手段9に対し、書き出しファイルに、TV放送同録装置2のメモリ上から、データの書き込みを開始する(ステップS23)。

0069

そして、番組検索用メタデータ抽出格納装置1は、動画ダウンロード手段7によって、所定時間経過したか否かを判定し(ステップS24)、経過したと判定するまで(ステップS24、No)、ステップS18に戻り、経過したと判定した場合(ステップS24、Yes)、データベース蓄積手段5の該当する番組について[読み込み位置](次の読み込み位置)を設定し(ステップS25)、動画ダウンロード手段7によって、動画ファイル蓄積手段9に対し、書き出しファイルをクローズさせる(ステップS26)。

0070

(番組検索用メタデータ抽出格納装置の動作 その3)
次に、図7に示すフローチャートを参照して、番組検索用メタデータ抽出格納装置1の文字認識を行う際の動作について説明する(適宜、図2参照)。
まず、番組検索用メタデータ抽出格納装置1は、文字認識手段11によって、データベース蓄積手段5の中で、番組の[状態]が「ダウンロード中」又は「ダウンロード済み」の[ファイル名]を取得する(ステップS31)。

0071

そして、番組検索用メタデータ抽出格納装置1は、文字認識手段11によって、番組の[状態]が「ダウンロード中」又は「ダウンロード済み」の[ファイル名]があるか否かを判定し(ステップS32)、あると判定しなかった場合(ステップS32、No)、ステップS31に戻り、あると判定した場合(ステップS32、Yes)、文字認識手段11によって、動画ファイル蓄積手段9に書き込まれているファイルをオープンさせる(ステップS33)。

0072

そして、番組検索用メタデータ抽出格納装置1は、文字認識手段11によって、オープンされたファイルのフレーム位置の静止画を取得し(ステップS34)、最終フレームであるか否かを判定する(ステップS35)。そして、番組検索用メタデータ抽出格納装置1は、文字認識手段11によって、最終フレームであると判定した場合(ステップS35、Yes)、ファイルをクローズさせ(ステップS36)、文字認識手段11によって、データベース蓄積手段5の該当する番組について[状態]を「文字認識終了」に設定する(ステップS37)。

0073

また、番組検索用メタデータ抽出格納装置1は、文字認識手段11によって、ステップS35にて、最終フレームであると判定しなかった場合(ステップS35、No)、フレームから静止画を抽出し(ステップS38)、当該静止画に文字強調の処理を行う(ステップS39)。そして、番組検索用メタデータ抽出格納装置1は、文字認識手段11によって、OCRライブラリを用いて文字認識を行って(ステップS40)、文字があるか否かを判定する(ステップS41)。

0074

そして、番組検索用メタデータ抽出格納装置1は、文字認識手段11によって、文字があると判定しなかった場合(ステップS41、No)、ステップS34に戻る(又は動作を終了する)。また、番組検索用メタデータ抽出格納装置1は、文字認識手段11によって、文字があると判定した場合(ステップS41、Yes)、データベース蓄積手段5の該当する番組に対応付けて、登録し(ステップS42)、ステップS34に戻る(又は動作を終了する)。

0075

(2つのチャンネルについてダウンロードする際の具体的な例、具体的な効果の説明)
図8を参照して、2つのチャンネルについてダウンロードする際の具体的な例を説明し、図9を参照して、番組検索用メタデータ抽出格納装置1の具体的な効果について説明する(適宜、図2参照)。

0076

この図8において、Xビデオステーション図1に示したTV放送同録装置2を指しており、UPnPControlPointライブラリはUPnPコントロールを指している。また、チャンネル1アプリケーション、チャンネル2アプリケーションは、番組検索用メタデータ抽出格納装置1の動画ダウンロード手段7によって、図3に示したチャンネル「01」、チャンネル「02」をダウンロードするタスクがそれぞれ独立したアプリケーションとして存在することを指している。

0077

そして、チャンネル1アプリケーションがUPnPControlPointライブラリに接続を要求すると、このUPnPControlPointライブラリを介して、Xビデオステーションに接続し、接続応答を、UPnPControlPointライブラリを介して、チャンネル1アプリケーションに返す。同様に、チャンネル2アプリケーションがUPnPControlPointライブラリに接続を要求すると、このUPnPControlPointライブラリを介して、Xビデオステーションに接続し、接続応答を、UPnPControlPointライブラリを介して、チャンネル2アプリケーションに返す。

0078

また、チャンネル1アプリケーションがUPnPControlPointライブラリにファイルオープン(Xビデオステーションに蓄積されているチャンネル1の番組)を要求すると、このUPnPControlPointライブラリを介して、Xビデオステーションに対しファイルオープンを実行させ、この応答であるファイルオープン応答を、UPnPControlPointライブラリを介して、チャンネル1アプリケーションに返す。

0079

この時点で、チャンネル2アプリケーションがUPnPControlPointライブラリにファイルオープンを要求し、このUPnPControlPointライブラリを介して、Xビデオステーションに対しファイルオープンを実行させると、チャンネル1のファイルをオープンしているので、応答としてファイルオープンNG応答を、UPnPControlPointライブラリを介して、チャンネル2アプリケーションに返す。

0080

また、チャンネル1アプリケーションは、UPnPControlPointライブラリにファイル読み込みを要求すると、このUPnPControlPointライブラリを介して、Xビデオステーションに対しファイル読み込みを実行させ、この応答であるファイル読み込み応答を、UPnPControlPointライブラリを介して、チャンネル1アプリケーションに返す。なお、このファイル読み込みは、ファイルサイズ分ずつ繰り返し行われる。

0081

そして、チャンネル1アプリケーションは、UPnPControlPointライブラリにファイルクローズを要求すると、このUPnPControlPointライブラリを介して、Xビデオステーションに対しファイルクローズを実行させ、この応答であるファイルクローズ応答を、UPnPControlPointライブラリを介して、チャンネル1アプリケーションに返す。

0082

引き続いて、チャンネル2アプリケーションがUPnPControlPointライブラリにファイルオープンを要求し、このUPnPControlPointライブラリを介して、Xビデオステーションに対しファイルオープンを実行させると、この時点ではチャンネル1のファイルをクローズしているのでチャンネル2のファイルをオープンすることができ、この応答であるファイルオープン応答を、UPnPControlPointライブラリを介して、チャンネル2アプリケーションに返す。

0083

また、チャンネル2アプリケーションは、UPnPControlPointライブラリにファイル読み込みを要求すると、このUPnPControlPointライブラリを介して、Xビデオステーションに対しファイル読み込みを実行させ、この応答であるファイル読み込み応答を、UPnPControlPointライブラリを介して、チャンネル2アプリケーションに返す。なお、このファイル読み込みは、ファイルサイズ分ずつ繰り返し行われる。

0084

そして、チャンネル2アプリケーションは、UPnPControlPointライブラリにファイルクローズを要求すると、このUPnPControlPointライブラリを介して、Xビデオステーションに対しファイルクローズを実行させ、この応答であるファイルクローズ応答を、UPnPControlPointライブラリを介して、チャンネル2アプリケーションに返す。

0085

また、図9において、番組「A」と番組「B」とのファイルをTV放送同録装置2から番組検索用メタデータ抽出格納装置1にダウンロードする際に、(1)番組AのMPEGファイルOPEN、(2)フレーム位置に移動、(3)画像抽出、(4)番組AのMPEGファイルCLOSE、(5)番組BのMPEGファイルOPEN、(6)フレーム位置に移動、(7)画像抽出、(8)番組BのMPEGファイルCLOSE、(9)番組AのMPEGファイルOPEN、(10)フレーム位置に移動、(11)画像抽出、(12)番組AのMPEGファイルCLOSEといった手順となることを示している。

0086

この図9で枠囲いした(9)及び(10)は、番組ごとにタスクを用意すると、フレーム位置が大きくなるにつれ、再度オープンする際の処理が重くなってしまうので、この番組検索用メタデータ抽出格納装置1では、図8に示したように、チャンネルごとにタスクを用意しておいて、番組ごとに再度オープンすることを無くすようにしている。

0087

これは、動画ファイルであるMPEGファイルの操作に、市販されている既存のライブラリを使用しているため、文字認識手段11において、文字認識を行う際に、画像抽出を行ったMPEGファイルを一度閉じてしまうと、次のフレーム位置に移動するのに時間がかかってしまうためである。

0088

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、番組検索用メタデータ抽出格納装置1として説明したが、番組検索用メタデータ抽出格納装置1の各構成の動作をコンピュータと協働させるように、コンピュータ言語で記述した組検索用メタデータ抽出格納プログラムとして構成することも可能である。

図面の簡単な説明

0089

本発明の実施形態に係る番組検索用メタデータ抽出格納システムの概略を示す図である。
本発明の実施形態に係る番組検索用メタデータ抽出格納装置を示すブロック図である。
状態項目監視手段によりデータベース蓄積手段に登録される番組情報について示す図である。
データベース蓄積手段に蓄積されるデータに、認識結果が対応付けられた状態を示す図である。
図1に示した番組検索用メタデータ抽出格納装置の動作(番組情報取得の動作)を示すフローチャートである。
図1に示した番組検索用メタデータ抽出格納装置の動作(動画ダウンロードの動作)を示すフローチャートである。
図1に示した番組検索用メタデータ抽出格納装置の動作(文字認識の動作)を示すフローチャートである。
2つのチャンネルについてダウンロードする際の具体的な例を示す図である。
番組検索用メタデータ抽出格納装置の具体的な効果について示す図である。

符号の説明

0090

1番組検索用メタデータ抽出格納装置
2TV放送同録装置
3番組情報取得手段
5データベース蓄積手段
7動画ダウンロード手段
7a番組情報検出手段
7bカウンタ手段
7cダウンロード実行手段
7d位置保持手段
9動画ファイル蓄積手段
11文字認識手段(特徴抽出手段)
11a状態項目検出手段
11b 読み込み手段
11c 認識実行手段
S番組検索用メタデータ抽出格納システム

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 富士ゼロックス株式会社の「 データ管理システム」が 公開されました。( 2020/09/24)

    【課題】階層構造になっている管理システムにおいて、管理対象データの実体を最上位の装置が全て管理する場合と比較して、管理対象データがユーザの意図しない装置に提供されないシステムを提供する。【解決手段】管... 詳細

  • ソニー株式会社の「 情報処理装置、情報処理方法、およびプログラム」が 公開されました。( 2020/09/24)

    【課題・解決手段】本技術は、複数人のユーザが皆満足できる空間を提供することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。分析部は、複数人のユーザが存在する環境におけるセンシン... 詳細

  • NECプラットフォームズ株式会社の「 サーバ、通信方法及び通信プログラム」が 公開されました。( 2020/09/24)

    【課題】通信端末のバッテリ消耗を抑制し、通信端末により要求されたコンテンツを外部ディスプレイ用に最適化させる。【解決手段】サーバ6は、通信端末1及び通信端末1とは別体の外部ディスプレイ2とネットワーク... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ