図面 (/)

技術 スポーツイベントテレビジョン番組において群衆ノイズの発生を検出するためのオーディオ処理

出願人 スーズ,インコーポレイテッド
発明者 ストヤンシック,ミハイロパッカード,ウォレン
出願日 2019年6月4日 (2年8ヶ月経過) 出願番号 2020-566590
公開日 2021年9月30日 (4ヶ月経過) 公開番号 2021-526238
状態 未査定
技術分野 音声の分析・合成 双方向TV,動画像配信等
主要キーワード インジケータ位置 ノイズイベント 政治活動 周波数インターバル ウェアラブルデバイス タイミング境界 家庭用電子デバイス 興奮レベル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年9月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題・解決手段

スポーツイベントまたは他のイベント描写する視聴覚コンテンツハイライトメタデータが視聴覚コンテンツから抽出される。ハイライトは、特に関心がある、スポーツイベントの放送などのコンテンツセグメントであり得る。視聴覚コンテンツのオーディオデータが記憶され、共同の時間領域および周波数領域においてオーディオ信号分析することによって、群衆興奮ノイズ)を示すオーディオデータの部分が自動的に識別される。群集ノイズの発生を検出、検証、およびレンダリングするために、複数のインジケータ導出され、その後に処理される。発生時間、ノイズ(興奮)のレベル、および歓声持続時間を含むメタデータが自動的に生成される。メタデータは、視聴覚コンテンツ内の、部分の各々が発生する時間を示す時間インデックスを少なくとも含んで記憶され得る。激しい群集ノイズの期間は、ハイライトを識別するために、および/またはハイライトの閲覧中の群集の興奮を示すために使用され得る。

概要

背景

インタラクティブ広告などの拡張テレビジョンアプリケーション、ならびにゲーム前、ゲーム中およびゲーム後のインタラクティブアプリケーションを持つ拡張番組ガイドが長い間想定されてきた。もともと放送テレビジョン用に設計された既存のケーブルシステムは、インタラクティブテレビジョンサービスおよび拡張(インタラクティブ)番組ガイドを含む、新しいアプリケーションおよびサービスをサポートするよう求められている。

拡張テレビジョンアプリケーションを可能にするためのいくつかのフレームワーク標準化されている。例としては、ケーブルビデオネットワークを介して配信されるインタラクティブデジタルケーブルサービスを参照し、インタラクティブ番組ガイド、インタラクティブ広告、ゲームなどの特徴を含む、OpenCable(商標)拡張TVアプリケーションメッセージング仕様、ならびにTru2way仕様が挙げられる。さらに、ケーブル事業者の「OCAP番組は、eコマースショッピングオンラインバンキング電子番組ガイドデジタルビデオ録画などのインタラクティブサービスを提供する。これらの取り組みにより、番組編成者/放送局が配信するビデオコンテンツと同期され、追加のデータおよびインタラクティビティテレビジョン番組に提供する、第1世代のビデオ同期アプリケーションが可能になった。

ビデオ/オーディオコンテンツ分析技術および対応するモバイルデバイスにおける最近の開発により、ライブTV番組イベントと同期して動作する洗練されたアプリケーションの開発における一連の新しい可能性が開かれた。これらの新しい技術およびオーディオ信号処理およびコンピュータビジョンの進歩、ならびに最新プロセッサの改善された計算能力により、テレビジョンおよび他のメディア環境において現在欠けているメタデータを伴う洗練された番組コンテンツハイライトリアルタイムで生成できる。

概要

スポーツイベントまたは他のイベントを描写する視聴覚コンテンツのハイライトのメタデータが視聴覚コンテンツから抽出される。ハイライトは、特に関心がある、スポーツイベントの放送などのコンテンツセグメントであり得る。視聴覚コンテンツのオーディオデータが記憶され、共同の時間領域および周波数領域においてオーディオ信号を分析することによって、群衆興奮ノイズ)を示すオーディオデータの部分が自動的に識別される。群集ノイズの発生を検出、検証、およびレンダリングするために、複数のインジケータ導出され、その後に処理される。発生時間、ノイズ(興奮)のレベル、および歓声持続時間を含むメタデータが自動的に生成される。メタデータは、視聴覚コンテンツ内の、部分の各々が発生する時間を示す時間インデックスを少なくとも含んで記憶され得る。激しい群集ノイズの期間は、ハイライトを識別するために、および/またはハイライトの閲覧中の群集の興奮を示すために使用され得る。

目的

様々な実施形態は、スポーツイベントを描写するテレビジョン番組コンテンツから情報を識別および抽出して、ゲーム中およびゲーム後の閲覧のためのビデオハイライトに関連するメタデータを作成する自動オーディオ分析を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

イベント描写からメタデータを抽出するための方法であって、前記イベントの少なくとも一部を描写するオーディオデータデータストアに記憶することと、プロセッサにおいて、前記イベントでの群衆興奮を示す前記オーディオデータの1つ以上の部分を自動的に識別することと、前記イベントの前記描写内の、前記部分の各々が発生する時間を示す時間インデックスを少なくとも含むメタデータを前記データストアに記憶することとを含む、方法。

請求項2

前記イベントの前記描写が視聴覚ストリームを含み、前記方法が、前記イベントの少なくとも一部を描写するオーディオデータを記憶する前に、前記視聴覚ストリームから前記オーディオデータを抽出することをさらに含む、請求項1に記載の方法。

請求項3

前記イベントの前記描写が、記憶された視聴覚コンテンツを含み、前記方法が、前記イベントの少なくとも一部を描写するオーディオデータを記憶する前に、前記記憶された視聴覚コンテンツから前記オーディオデータを抽出することをさらに含む、請求項1に記載の方法。

請求項4

前記イベントの前記描写が前記イベントの放送を含み、前記イベントがスポーツイベントを含み、前記メタデータが、1人以上のユーザにとって特に関心があるとみなされるハイライトに関連する、請求項1に記載の方法。

請求項5

出力デバイスにおいて、前記1人以上のユーザのうちの1人による前記ハイライトの閲覧中に前記メタデータを提示して、前記ハイライトに関連する群衆の興奮レベルを示すことをさらに含む、請求項4に記載の方法。

請求項6

前記ハイライトの開始および/または終了を識別するために前記時間インデックスを使用することをさらに含む、請求項4に記載の方法。

請求項7

出力デバイスにおいて、前記1人以上のユーザのうちの1人に前記ハイライトを提示することをさらに含む、請求項4に記載の方法。

請求項8

前記1つ以上の部分の自動識別の前に、前記オーディオデータを所望のサンプリングレートリサンプリングすることによって前記オーディオデータを前処理することをさらに含む、請求項1に記載の方法。

請求項9

前記1つ以上の部分の自動識別の前に、前記オーディオデータをフィルタリングすることによって前記オーディオデータを前処理して、ノイズを低減または除去することをさらに含む、請求項1に記載の方法。

請求項10

前記1つ以上の部分の自動識別の前に、前記オーディオデータを前処理して、前記オーディオデータの少なくとも一部について、スペクトル領域においてスペクトログラムを生成することをさらに含む、請求項1に記載の方法。

請求項11

前記1つ以上の部分を自動的に識別することが、前記スペクトログラムのスライディング次元時間周波数分析ウィンドウの各位置におけるスペクトルの大きさのピークを識別することを含む、請求項10に記載の方法。

請求項12

前記1つ以上の部分を自動的に識別することが、前記分析ウィンドウの各位置のスペクトルインジケータを生成することと、前記スペクトルインジケータを使用して、関連する時間部分を持つスペクトルインジケータのベクトルを形成することと、をさらに含む、請求項11に記載の方法。

請求項13

しきい値を下回る連続した時間間隔を持つ、スペクトルインジケータと、関連する分析ウィンドウの時間位置とのペアランを識別することと、Rベクトルのセットで、前記識別されたランをキャプチャすることと、Rベクトルを要素とするベクトルEを形成することと、をさらに含む、請求項12に記載の方法。

請求項14

各Rベクトルの要素をカウントすることによって前記Rベクトルの各々のランレングスを抽出することをさらに含む、請求項13に記載の方法。

請求項15

前記Rベクトルの要素を処理して、各Rベクトルの最大大きさインジケータを取得することをさらに含む、請求項13に記載の方法。

請求項16

前記Rベクトルの各々の前記時間インデックスを抽出することをさらに含む、請求項15に記載の方法。

請求項17

前記ベクトルE内の前記Rベクトルの各々を、前記最大大きさインジケータ、前記時間インデックス、およびランレングスを表すパラメータトリプレットで置き換えることによって予備イベントベクトルを生成することをさらに含む、請求項16に記載の方法。

請求項18

前記予備イベントベクトルを処理して、前記時間インデックスを含む群衆ノイズイベント情報を生成することをさらに含む、請求項17に記載の方法。

請求項19

イベントの描写からメタデータを抽出するための非一時的なコンピュータ可読媒体であって、そこに記憶された命令を備え、前記命令は、プロセッサによって実行されると、前記イベントの少なくとも一部を描写するオーディオデータをデータストアに記憶させるステップと、前記イベントでの群衆の興奮を示す前記オーディオデータの1つ以上の部分を自動的に識別するステップと、前記イベントの前記描写内の、前記部分の各々が発生する時間を示す時間インデックスを少なくとも含むメタデータを前記データストアに記憶させるステップと、を実行する、非一時的なコンピュータ可読媒体。

請求項20

前記イベントの前記描写が前記イベントの放送を含み、前記イベントがスポーツイベントを含み、前記メタデータが、1人以上のユーザにとって特に関心があるとみなされるハイライトに関連する、請求項19に記載の非一時的なコンピュータ可読媒体。

請求項21

前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、出力デバイスに、前記1人以上のユーザのうちの1人による前記ハイライトの閲覧中に前記メタデータを提示させて、前記ハイライトに関連する群衆の興奮レベルを示すことと、前記ハイライトの開始および/または終了を識別するために前記時間インデックスを使用することと、出力デバイスに、前記1人以上のユーザのうちの1人に前記ハイライトを提示させることと、のうちの少なくとも1つを実行する、請求項20に記載の非一時的なコンピュータ可読媒体。

請求項22

前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、前記1つ以上の部分の自動識別の前に、前記オーディオデータを所望のサンプリングレートにリサンプリングすることによって前記オーディオデータを前処理する、請求項19に記載の非一時的なコンピュータ可読媒体。

請求項23

前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、前記1つ以上の部分の自動識別の前に、前記オーディオデータをフィルタリングすることによって前記オーディオデータを前処理して、ノイズを低減または除去する、請求項19に記載の非一時的なコンピュータ可読媒体。

請求項24

前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、前記1つ以上の部分の自動識別の前に、前記オーディオデータを前処理して、前記オーディオデータの少なくとも一部について、スペクトル領域においてスペクトログラムを生成する、請求項19に記載の非一時的なコンピュータ可読媒体。

請求項25

前記1つ以上の部分を自動的に識別することが、前記スペクトログラムのスライディング2次元時間周波数分析ウィンドウの各位置におけるスペクトルの大きさのピークを識別することを含む、請求項24に記載の非一時的なコンピュータ可読媒体。

請求項26

前記1つ以上の部分を自動的に識別することが、前記分析ウィンドウの各位置のスペクトルインジケータを生成することと、前記スペクトルインジケータを使用して、関連する時間部分を持つスペクトルインジケータのベクトルを形成することと、をさらに含む、請求項25に記載の非一時的なコンピュータ可読媒体。

請求項27

前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、しきい値を下回る連続した時間間隔を持つ、スペクトルインジケータと、関連する分析ウィンドウの時間位置とのペアのランを識別するステップと、Rベクトルのセットで、前記識別されたランをキャプチャするステップと、Rベクトルを要素とするベクトルEを形成するステップと、を実行する、請求項26に記載の非一時的なコンピュータ可読媒体。

請求項28

前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、各Rベクトルの要素をカウントすることによって前記Rベクトルの各々のランレングスを抽出するステップと、前記Rベクトルの要素を処理して、各Rベクトルの最大大きさインジケータを取得するステップと、前記Rベクトルの各々の前記時間インデックスを抽出するステップと、前記ベクトルE内の前記Rベクトルの各々を、前記最大大きさインジケータ、前記時間インデックス、およびランレングスを表すパラメータトリプレットで置き換えることによって予備イベントベクトルを生成するステップと、前記予備イベントベクトルを処理して、前記時間インデックスを含む群衆ノイズイベント情報を生成するステップと、を実行する、請求項27に記載の非一時的なコンピュータ可読媒体。

請求項29

イベントの描写からメタデータを抽出するためのシステムであって、前記イベントの少なくとも一部を描写するオーディオデータを記憶するように構成されているデータストアと、前記イベントでの群衆の興奮を示す前記オーディオデータの1つ以上の部分を自動的に識別するように構成されているプロセッサとを備え、前記データストアが、前記イベントの前記描写内の、前記部分の各々が発生する時間を示す時間インデックスを少なくとも含むメタデータを記憶するようにさらに構成されている、システム。

請求項30

前記イベントの前記描写が前記イベントの放送を含み、前記イベントがスポーツイベントを含み、前記メタデータが、1人以上のユーザにとって特に関心があるとみなされるハイライトに関連する、請求項29に記載のシステム。

請求項31

出力デバイスをさらに備え、前記出力デバイスが、前記1人以上のユーザのうちの1人による前記ハイライトの閲覧中に前記メタデータを提示し、前記ハイライトに関連する群衆の興奮レベルを示すように構成されていることと、前記プロセッサが、前記ハイライトの開始および/または終了を識別するために前記時間インデックスを使用するようにさらに構成されていることと、前記出力デバイスが、前記1人以上のユーザのうちの1人に前記ハイライトを提示するように構成されていることと、のうちの少なくとも1つが当てはまる、請求項30に記載のシステム。

請求項32

前記プロセッサが、前記1つ以上の部分の自動識別の前に、前記オーディオデータを所望のサンプリングレートにリサンプリングすることによって前記オーディオデータを前処理するようにさらに構成されている、請求項29に記載のシステム。

請求項33

前記プロセッサが、前記1つ以上の部分の自動識別の前に、前記オーディオデータをフィルタリングすることによって前記オーディオデータを前処理して、ノイズを低減または除去するようにさらに構成されている、請求項29に記載のシステム。

請求項34

前記プロセッサが、前記1つ以上の部分の自動識別の前に、前記オーディオデータを前処理して、前記オーディオデータの少なくとも一部について、スペクトル領域においてスペクトログラムを生成するようにさらに構成されている、請求項29に記載のシステム。

請求項35

前記プロセッサが、前記スペクトログラムのスライディング2次元時間周波数分析ウィンドウの各位置におけるスペクトルの大きさのピークを識別することによって、前記1つ以上の部分を自動的に識別するようにさらに構成されている、請求項34に記載のシステム。

請求項36

前記プロセッサが、前記分析ウィンドウの各位置のスペクトルインジケータを生成することと、前記スペクトルインジケータを使用して、関連する時間部分を持つスペクトルインジケータのベクトルを形成することと、によって前記1つ以上の部分を自動的に識別するようにさらに構成されている、請求項35に記載のシステム。

請求項37

前記プロセッサが、しきい値を下回る連続した時間間隔を持つ、スペクトルインジケータと、関連する分析ウィンドウの時間位置とのペアのランを識別することと、Rベクトルのセットで、前記識別されたランをキャプチャすることと、Rベクトルを要素とするベクトルEを形成することと、を行うようにさらに構成されている、請求項36に記載のシステム。

請求項38

前記プロセッサが、各Rベクトルの要素をカウントすることによって前記Rベクトルの各々のランレングスを抽出することと、前記Rベクトルの要素を処理して、各Rベクトルの最大大きさインジケータを取得することと、前記Rベクトルの各々の前記時間インデックスを抽出することと、前記ベクトルE内の前記Rベクトルの各々を、前記最大大きさインジケータ、前記時間インデックス、および前記ランレングスを表すパラメータトリプレットで置き換えることによって予備イベントベクトルを生成することと、前記予備イベントベクトルを処理して、前記時間インデックスを含む群衆ノイズイベント情報を生成することと、を行うようにさらに構成されている、請求項37に記載のシステム。

技術分野

0001

関連出願の相互参照
本出願は、2018年6月5日に出願された「Audio Processing for Detecting Occurrences of Crowd Noise in Sporting Event Television Programming」の米国仮出願第62/680,955号(代理人整理番号THU007−PROV)からの優先権を主張し、その全体が参照により本明細書に組み込まれる。

0002

本出願は、2018年7月30日に出願された「Audio Processing for Extraction of Variable Length Disjoint Segments from Television Signal」の米国仮出願第62/712,041号(代理人整理番号THU006−PROV)からの優先権を主張し、その全体が参照により本明細書に組み込まれる。

0003

本出願は、2018年10月16日に出願された「Audio Processing for Detecting Occurrences of Loud Sound Characterized by Short−Time Energy Bursts」の米国仮出願第62/746,454号(代理人整理番号THU016−PROV)からの優先権を主張し、その全体が参照により本明細書に組み込まれる。

0004

本出願は、2019年5月23日に出願された「Audio Processing for Detecting Occurrences of Crowd Noise in Sporting Event Television Programming」の米国実用新案出願第16,421,391号(代理人整理番号THU007)からの優先権を主張し、その全体が参照により本明細書に組み込まれる。

0005

本出願は、2012年8月31日に出願され、2015年6月16日に米国特許第9,060,210号として発行された、「Generating Excitement Levels for Live Performances」の米国実用新案出願第13/601,915号に関連し、その全体が参照により本明細書に組み込まれる。

0006

本出願は、2012年8月31日に出願され、2014年9月23日に米国特許第8,842,007号として発行された、「Generating Alerts for Live Performances」の米国実用新案出願第13/601,927号に関連し、その全体が参照により本明細書に組み込まれる。

0007

本出願は、2012年8月31日に出願され、2013年11月26日に米国特許第8,595,763号として発行された、「Generating Teasers for Live Performances」の米国実用新案出願第13/601,933号に関連し、その全体が参照により本明細書に組み込まれる。

0008

本出願は、2014年10月9日に出願された「Generating a Customized Highlight Sequence Depicting an Event」の米国実用新案出願第14/510,481号(代理人整理番号THU001)に関連し、その全体が参照により本明細書に組み込まれる。

0009

本出願は、2015年5月12日に出願された「Generating a Customized Highlight Sequence Depicting Multiple Events」の米国実用新案出願第14/710,438号(代理人整理番号THU002)に関連し、その全体が参照により本明細書に組み込まれる。

0010

本出願は、2015年10月7日に出願された「Customized Generation of Highlight Show with Narrative Component」の米国実用新案出願第14/877,691号(代理人整理番号THU004)に関連し、その全体が参照により本明細書に組み込まれる。

0011

本出願は、2016年9月14日に出願された「User Interface for Interaction with Customized Highlight Shows」の米国実用新案出願第15/264,928号(代理人整理番号THU005)に関連し、その全体が参照により本明細書に組み込まれる。

0012

本出願は、2019年5月14日に出願された「Video Processing for Enabling Sports Highlights Generation」の米国実用新案出願第16/411,704号(代理人整理番号THU009)に関連し、その全体が参照により本明細書に組み込まれる。

0013

本出願は、2019年5月14日に出願された「Machine Learning for Recognizing and Interpreting Embedded Information Card Content」の米国実用新案出願第16/411,710号(代理人整理番号THU010)に関連し、その全体が参照により本明細書に組み込まれる。

0014

本出願は、2019年5月14日に出願された「Video Processing for Embedded Information Card Localization and Content Extraction」の米国実用新案出願第16/411,713号(代理人整理番号THU012)に関連し、その全体が参照により本明細書に組み込まれる。

0015

文書は、マルチメディアコンテンツ、ならびにマルチメディアコンテンツを配信するテレビジョンデバイスおよびビデオサーバ上の関連情報識別し、組み込みソフトウェアアプリケーションがマルチメディアコンテンツを利用してそのマルチメディアコンテンツと同期するコンテンツおよびサービスを提供できるようにするための技術に関する。様々な実施形態は、スポーツイベント描写するテレビジョン番組コンテンツから情報を識別および抽出して、ゲーム中およびゲーム後の閲覧のためのビデオハイライトに関連するメタデータを作成する自動オーディオ分析を提供するための方法およびシステムに関する。

背景技術

0016

インタラクティブ広告などの拡張テレビジョンアプリケーション、ならびにゲーム前、ゲーム中およびゲーム後のインタラクティブアプリケーションを持つ拡張番組ガイドが長い間想定されてきた。もともと放送テレビジョン用に設計された既存のケーブルシステムは、インタラクティブテレビジョンサービスおよび拡張(インタラクティブ)番組ガイドを含む、新しいアプリケーションおよびサービスをサポートするよう求められている。

0017

拡張テレビジョンアプリケーションを可能にするためのいくつかのフレームワーク標準化されている。例としては、ケーブルビデオネットワークを介して配信されるインタラクティブデジタルケーブルサービスを参照し、インタラクティブ番組ガイド、インタラクティブ広告、ゲームなどの特徴を含む、OpenCable(商標)拡張TVアプリケーションメッセージング仕様、ならびにTru2way仕様が挙げられる。さらに、ケーブル事業者の「OCAP番組は、eコマースショッピングオンラインバンキング電子番組ガイドデジタルビデオ録画などのインタラクティブサービスを提供する。これらの取り組みにより、番組編成者/放送局が配信するビデオコンテンツと同期され、追加のデータおよびインタラクティビティをテレビジョン番組に提供する、第1世代のビデオ同期アプリケーションが可能になった。

0018

ビデオ/オーディオコンテンツ分析技術および対応するモバイルデバイスにおける最近の開発により、ライブTV番組イベントと同期して動作する洗練されたアプリケーションの開発における一連の新しい可能性が開かれた。これらの新しい技術およびオーディオ信号処理およびコンピュータビジョンの進歩、ならびに最新プロセッサの改善された計算能力により、テレビジョンおよび他のメディア環境において現在欠けているメタデータを伴う洗練された番組コンテンツのハイライトをリアルタイムで生成できる。

0019

スポーツイベントのテレビジョン番組コンテンツから抽出されたオーディオストリームなどのオーディオデータの自動リアルタイム処理を可能にして、顕著な群衆ノイズ(例えば、聴衆歓声)を検出、選択、および追跡するためのシステムおよび方法が提示される。

0020

少なくとも1つの実施形態では、オーディオデータのスペクトログラム構築され、スペクトルの大きさのピークの顕著なコレクションが、スライディング次元時間周波数エリアウィンドウの各位置において識別される。分析ウィンドウの位置ごとにスペクトルインジケータが生成され、関連する時間位置を持つスペクトルインジケータのベクトルが形成される。後続の処理ステップでは、時間間隔が狭い選択されたインジケータと位置とのペアランが、関心のある潜在的なイベントとして識別される。ランごとに、内部インジケータ値ソートされて、関連する時間位置を持つ最大大きさインジケータ値が取得される。さらに、ランごとに時間位置(開始/中央)および持続時間(インジケータと位置とのペアのカウント)が抽出される。各イベントの最大インジケータ値、開始/中央時間位置、およびラン持続時間を表すパラメータ(M、P、D)のトリプレットを含む予備イベントベクトルが形成される。この予備イベントベクトルは、その後処理されて、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間に対応する最終的な群集ノイズイベントベクトルが生成される。

0021

少なくとも1つの実施形態では、群集ノイズイベント情報が抽出されると、それは、スポーツイベントビデオのハイライトに関連付けられたスポーツイベントメタデータに自動的に追加され、その後、ハイライトの自動生成に関連して使用することができる。

0022

少なくとも1つの実施形態では、イベントの視聴覚ストリームからメタデータを抽出するための方法は、視聴覚ストリームから抽出されたオーディオデータをデータストアに記憶することと、プロセッサを使用して、イベントでの群衆の興奮を示すオーディオデータの1つ以上の部分を自動的に識別することと、視聴覚ストリーム内の、部分の各々が発生する時間を示す時間インデックスを少なくとも含むメタデータをデータストアに記憶することとを含み得る。あるいは、オーディオデータは、オーディオストリームから、または以前に記憶された視聴覚コンテンツもしくはオーディオコンテンツから抽出することができる。

0023

視聴覚ストリームは、イベントの放送である場合がある。イベントは、スポーツイベント、または他の種類のイベントである場合がある。メタデータは、1人以上のユーザにとって特に関心があるとみなされるハイライトに関連する場合がある。

0024

この方法は、出力デバイスを使用して、1人以上のユーザのうちの1人によるハイライトの閲覧中にメタデータを提示して、ハイライトに関連する群衆の興奮レベルを示すことをさらに含み得る。

0025

この方法は、ハイライトの開始および/または終了を識別するために時間インデックスを使用することをさらに含み得る。以下で説明するように、ハイライトの開始および/または終了は、オフセットに基づいて調整できる。

0026

この方法は、出力デバイスを使用して、1つ以上の部分の自動識別中に1人以上のユーザのうちの1人にハイライトを提示することをさらに含み得る。

0027

この方法は、1つ以上の部分の自動識別の前に、オーディオデータを所望のサンプリングレートリサンプリングすることによってオーディオデータを前処理することをさらに含み得る。

0028

この方法は、1つ以上の部分の自動識別の前に、オーディオデータをフィルタリングすることによってオーディオデータを前処理して、ノイズを低減または除去することをさらに含み得る。

0029

この方法は、1つ以上の部分の自動識別の前に、オーディオデータを前処理して、オーディオデータの少なくとも一部についてスペクトログラム(2次元時間周波数表現)を生成することをさらに含み得る。

0030

1つ以上の部分を自動的に識別することは、スペクトログラムのスライディング2次元時間周波数分析ウィンドウの各位置におけるスペクトルの大きさのピークを識別することを含み得る。

0031

1つ以上の部分を自動的に識別することは、分析ウィンドウの各位置のスペクトルインジケータを生成することと、スペクトルインジケータを使用して、関連する時間部分を持つスペクトルインジケータのベクトルを形成することと、をさらに含み得る。

0032

この方法は、スペクトルインジケータと分析ウィンドウ位置との選択されたペアのランを識別することと、Rベクトルのセットで、識別されたランをキャプチャすることと、Rベクトルのセットを使用して1つ以上の最大大きさインジケータを取得することと、をさらに含み得る。

0033

この方法は、Rベクトルの各々から時間インデックスを抽出することをさらに含み得る。

0034

この方法は、各Rベクトルを、最大大きさインジケータ、時間インデックス、およびランのうちの1つのランレングスを表すパラメータトリプレットで置き換えることによって予備イベントベクトルを生成することをさらに含み得る。

0035

この方法は、予備イベントベクトルを処理して、時間インデックスを含む群衆ノイズイベント情報を生成することをさらに含み得る。

0036

さらなる詳細および変形態が本明細書に記載される。

図面の簡単な説明

0037

添付の図面は、説明とともに、いくつかの実施形態を示す。当業者は、図面に示される特定の実施形態は単なる例示であり、範囲を限定することを意図するものではないことを認識するであろう。

0038

ネットワーク接続されたコンテンツプロバイダを介してイベントコンテンツが提供される、クライアントサーバの実施形態によるハードウェアアーキテクチャを示すブロック図である。
クライアントベースストレージデバイスにイベントコンテンツが記憶される、別のクライアント/サーバの実施形態によるハードウェアアーキテクチャを示すブロック図である。
スタンドアロンの実施形態によるハードウェアアーキテクチャを示すブロック図である。
一実施形態による、システムアーキテクチャ概要を示すブロック図である。
一実施形態による、図1A、B、および1Cのオーディオデータ、ユーザデータ、およびハイライトデータに組み込むことができるデータ構造の例を示す概略ブロック図である。
一実施形態による、時間領域においてスポーツイベントのテレビジョン番組コンテンツから抽出されたオーディオストリーム内の群集ノイズイベント(例えば、群集の歓声)の発生を示すオーディオ波形グラフの例を示す。
一実施形態による、時間周波数領域における、図3Aのオーディオ波形グラフに対応するスペクトログラムの例を示す。
一実施形態による、メタデータを抽出するためのオーディオデータのオンザフライ処理を実行する方法を示すフローチャートである。
一実施形態による、時間周波数領域においてオーディオデータを分析して、長時間の群衆の歓声に関連するスペクトルの大きさのピークのクラスタリングを検出するための方法を示すフローチャートである。
一実施形態による、群集ノイズイベントベクトルの生成のための方法を示すフローチャートである。
一実施形態による、各Rベクトルの内部処理のための方法を示すフローチャートである。
一実施形態による、所望の群集ノイズイベントをさらに選択するための方法を示すフローチャートである。
一実施形態による、所望の群集ノイズイベントをさらに選択するための方法を示すフローチャートである。
一実施形態による、所望の群集ノイズイベントをさらに選択するための方法を示すフローチャートである。

実施例

0039

定義
以下の定義は説明のみを目的として提示されており、範囲を限定することを意図するものではない。
●イベント:本明細書での説明では、「イベント」という用語は、ゲーム、セッション試合シリーズパフォーマンスプログラムコンサートなど、またはそれらの部分(アクト、期間、クォーターハーフイニングシーンチャプターなど)を指す。イベントは、スポーツイベント、娯楽イベント、イベントの参加者のより大きい集団内の単一の個人または個人のサブセットの特定のパフォーマンスなどであり得る。スポーツ以外のイベントの例としては、テレビジョンショーニュース速報社会政治的事件自然災害映画演劇ラジオショー、ポッドキャストオーディオブックオンラインコンテンツ音楽パフォーマンスなどが挙げられる。イベントは任意の長さにすることができる。説明のために、この技術は、本明細書ではスポーツイベントの観点から説明されることが多い。しかしながら、当業者は、この技術が、視聴覚、オーディオ、ビジュアルグラフィックスベース、インタラクティブ、非インタラクティブ、またはテキストベースのコンテンツのためのハイライトショーを含む、他のコンテキストにおいても使用できることを認識するであろう。したがって、説明における「スポーツイベント」という用語および他のスポーツ固有の用語の使用は、1つの可能な実施形態を例示することを意図するが、説明する技術の範囲をその1つの実施形態に限定することを意図しない。むしろ、そのような用語は、この技術に適切であるように、スポーツ以外の好適なコンテキストにまで及ぶとみなされるべきである。説明を容易にするために、「イベント」という用語は、イベントの視聴覚記録などのイベントのアカウントもしくは表現、またはイベントのアカウンティング、説明、もしくは描写を含む他のコンテンツ項目を指すためにも使用される。
●ハイライト:イベントの抜粋もしくは部分、または1人以上のユーザにとって特に関心があるとみなされるイベントに関連するコンテンツの抜粋もしくは部分。ハイライトは任意の長さにすることができる。概して、本明細書に記載の技術は、任意の好適なイベントについて、(特定の特性および/またはユーザの好みに基づいて選択され得る)カスタマイズされたハイライトのセットを識別および提示するためのメカニズムを提供する。「ハイライト」は、ハイライトの視聴覚記録などのハイライトのアカウントもしくは表現、またはハイライトのアカウンティング、説明、もしくは描写を含む他のコンテンツ項目を指すためにも使用され得る。ハイライトは、イベント自体の描写に限定される必要はないが、イベントに関連する他のコンテンツを含むことができる。例えば、スポーツイベントの場合、ハイライトは、ゲーム中のオーディオ/ビデオ、ならびにゲーム前、ゲーム中、およびゲーム後のインタビュー、分析、解説などの他のコンテンツを含むことができる。このようなコンテンツは、(例えば、イベント自体を描写する視聴覚ストリームの一部として)リニアテレビジョンから記録するか、または他の任意の数のソースから取得することができる。例えば、発生(プレー)、ストリング所持シーケンスを含む、様々なタイプのハイライトを提供でき、これらはすべて以下で定義されている。ハイライトは固定の持続時間である必要はないが、以下で説明するように、開始オフセットおよび/または終了オフセットを組み込むことができる。
クリップ:イベントのオーディオ、ビジュアル、または視聴覚表現の部分。クリップは、ハイライトに対応するか、またはハイライトを表す場合がある。本明細書の多くのコンテキストでは、「セグメント」という用語が「クリップ」と交換可能に使用される。クリップは、オーディオストリーム、ビデオストリーム、もしくは視聴覚ストリームの部分である場合もあれば、または記憶されたオーディオ、ビデオ、もしくは視聴覚コンテンツの部分である場合もある。
●コンテンツデリニエータ:ハイライトの開始または終了を示す1つ以上のビデオフレーム
●発生:イベント中に発生するもの。例としては、ゴール、プレー、ダウンヒットセーブショットオンゴール、バスケットスティールスナップもしくはスナップの試み、ニアミスファイト、ゲームの開始もしくは終了、クォーター、ハーフ、期間、またはイニング、ピッチペナルティ怪我、娯楽イベントでの劇的なインシデントソロなどが挙げられる。停電、手に負えないファンのインシデントなど、発生は異常である場合もある。このような発生の検出は、視聴覚ストリームの特定の部分をハイライトとして指定するか否かを判定するための基礎として使用できる。発生は、命名を容易にするために、本明細書では「プレー」とも呼ばれるが、そのような使用法は、範囲を限定するものと解釈されるべきではない。発生は任意の長さであってよく、発生の表現は様々な長さであり得る。例えば、上記のように、発生の拡張された表現は、発生の直前および直後の時間期間を描写する場面を含み得るが、簡単な表現は、発生自体のみを含み得る。任意の中間表現も提供できる。少なくとも1つの実施形態では、発生を表現するための持続時間の選択は、ユーザの好み、利用可能な時間、発生に対する決定された興奮レベル、発生の重要性、および/または他の任意の要因に依存し得る。
●オフセット:ハイライトの長さを調整する量。少なくとも1つの実施形態では、ハイライトの開始時間および/または終了時間をそれぞれ調整するために、開始オフセットおよび/または終了オフセットを提供することができる。例えば、ハイライトがゴールを描写する場合、ハイライトは、ゴールに続く賞揚および/またはファンの反応を含むように、(終了オフセットを介して)数秒間延長され得る。オフセットは、例えば、ハイライトに利用可能な時間量、ハイライトの重要性および/または興奮レベル、ならびに/あるいは他の好適な要因に基づいて、自動または手動で変化するように構成することができる。
●ストリング:何らかの形で互いにリンクまたは関係している一連の発生。発生は、(以下で定義する)所持内で発生する場合もあれば、または複数の所持にわたる場合もある。発生は、(以下で定義する)シーケンス内で発生する場合もあれば、または複数のシーケンスにわたる場合もある。発生は、互いに何らかの主題的もしくは物語的なつながりがあるため、またはあるものが別のものにつながるため、または他の理由により、リンクまたは関係している可能性がある。ストリングの一例は、ゴールまたはバスケットにつながるパスのセットである。これは、コンピュータプログラミング技術においてそれに通常割り当てられている意味を有する「テキストストリング」と混同されるべきでない。
●所持:イベントの時間で区切られた部分。所持の開始/終了時間の境界は、イベントのタイプに依存する場合がある。(例えば、バスケットボールまたはサッカーなどの)一方のチーム攻撃的であり得、他方のチームが防御的である特定のスポーツイベントの場合、所持は、チームの一方がボールを有する時間期間として定義できる。ホッケーまたはサッカーなど、パックまたはボールの所持がより流動的であるスポーツでは、所持は、一方のチームが、(ブロックされたショットまたはセーブなどの)他方のチームによる瞬間的な接触を無視してパックまたはボールを実質的に制御できる時間期間にまで及ぶとみなすことができる。野球の場合、所持はハーフイニングと定義される。サッカーの場合、所持は、同じチームがボールを有するいくつかのシーケンスを含むことができる。他の種類のスポーツイベントならびに非スポーツイベントの場合、「所持」という用語は、いくぶん誤称である可能性があるが、本明細書では説明のためにやはり使用されている。スポーツ以外のコンテキストにおける例としては、チャプター、シーン、アクトなどを挙げることができる。例えば、音楽コンサートのコンテキストでは、所持は、単一の歌のパフォーマンスに相当し得る。所持は任意の数の発生を含むことができる。
●シーケンス:1つの連続したアクション時間期間を含むイベントの時間で区切られた部分。例えば、スポーツイベントでは、シーケンスは、(フェイスオフチップオフなどの)アクションが開始したときに開始する場合があり、アクションの中断を示すためにホイッスル吹かれたときに終了する場合がある。野球またはサッカーなどのスポーツでは、シーケンスは、発生の一形態であるプレーと同等である場合がある。シーケンスは、任意の数の所持を含むことができるか、または所持の部分とすることができる。
●ハイライトショー:ユーザに提示するために配置されたハイライトのセット。ハイライトショーは、(視聴覚ストリームなど)直線的に提示されるか、またはユーザが(例えば、リンクもしくはサムネイルクリックすることによって)閲覧するハイライトおよび順序を選択できるように提示され得る。ハイライトショーの提示は、非インタラクティブまたはインタラクティブであり得、例えば、ユーザが一時停止、巻き戻し、スキップ早送り賛成または反対の選好を伝達することなどを可能にする。ハイライトショーは、例えば、凝縮されたゲームであり得る。ハイライトショーは、単一のイベントまたは複数のイベントからの、任意の数の連続または非連続ハイライトを含むことができ、様々なタイプのイベント(例えば、様々なスポーツ、ならびに/またはスポーツイベントと非スポーツイベントとからのハイライトの組み合わせ)からのハイライトさえ含むことができる。
●ユーザ/閲覧者:「ユーザ」または「閲覧者」という用語は、イベント、イベントの1つ以上のハイライト、またはハイライトショーを視聴聴取、または他の方法で体験している個人、グループ、または他のエンティティを交換可能に指す。「ユーザ」または「閲覧者」という用語は、何らかの将来の時間において、イベント、イベントの1つ以上のハイライト、またはハイライトショーのいずれかを視聴、聴取、または他の方法で体験する可能性のある個人、グループ、または他のエンティティを指すこともある。説明の目的で「閲覧者」という用語が使用される場合があるが、イベントはビジュアルコンポーネントを有する必要がないため、「閲覧者」は、代わりにコンテンツのリスナーまたは他の消費者である場合がある。
●興奮レベル:特定のユーザまたはユーザ全般にとって、イベントまたはハイライトがどのくらい刺激的または興味深いものであると予想されるかの尺度。興奮レベルは、特定の発生またはプレーヤに関して決定することもできる。興奮レベルを測定または評価するための様々な手法は、上記の関係する出願において説明されている。説明したように、興奮レベルは、イベント内の発生、ならびにイベントの全体的なコンテキストまたは重要性(プレーオフゲーム、ペナントの影響、ライバル関係など)などの他の要因に依存する可能性がある。少なくとも1つの実施形態では、興奮レベルは、イベント内の各発生、ストリング、所持、またはシーケンスに関連付けることができる。例えば、所持の興奮レベルは、その所持内で生じる発生に基づいて決定できる。興奮レベルは、異なるユーザごとに異なる方法で測定されてよく(例えば1つのチームのファン対ニュートラルなファン)、各ユーザの個人的な特性によって異なる可能性がある。
●メタデータ:他のデータに関連し、それに関連付けられて記憶されているデータ。一次データは、スポーツ番組またはハイライトなどのメディアであり得る。
●ビデオデータ。デジタル形式またはアナログ形式であり得る、ビデオの長さ。ビデオデータは、ローカルストレージデバイスに記憶することができるか、またはTV放送アンテナケーブルネットワーク、もしくはコンピュータサーバなどのソースからリアルタイムで受信することができ、この場合、それは「ビデオストリーム」と呼ばれることもある。ビデオデータは、オーディオコンポーネントを含む場合と含まない場合があり、オーディオコンポーネントを含む場合は、「視聴覚データ」または「視聴覚ストリーム」と呼ばれることがある。
●オーディオデータ。デジタル形式またはアナログ形式であり得る、オーディオの長さ。オーディオデータは、視聴覚データまたは視聴覚ストリームのオーディオコンポーネントであり得、視聴覚データからオーディオデータを抽出することによって分離され得る。オーディオデータは、ローカルストレージに記憶することができるか、またはTV放送アンテナ、ケーブルネットワーク、もしくはコンピュータサーバなどのソースからリアルタイムで受信することができ、この場合、それは「オーディオストリーム」と呼ばれることもある。
ストリーム。オーディオストリーム、ビデオストリーム、または視聴覚ストリーム。
●時間インデックス。イベントが発生するか、またはさもなければハイライトなどの指定されたセグメントに関連する、オーディオデータ、ビデオデータ、または視聴覚データ内の時間のインジケータ。
●スペクトログラム。時間とともに変化する、オーディオストリームなどの信号の周波数スペクトルのビジュアル表現。
●分析ウィンドウ。ビデオデータ、オーディオデータ、視聴覚データ、スペクトログラム、ストリーム、または他の方法で処理されたバージョンのストリームもしくはデータの、指定されたサブセットであって、そこにおいて分析の1つのステップに焦点が当てられる。オーディオデータ、ビデオデータ、視聴覚データ、またはスペクトログラムは、例えば、データまたはスペクトログラムの様々なセグメントをカバーする移動する分析ウィンドウおよび/または一連の分析ウィンドウを使用してセグメント内で分析することができる。

0040

概要
様々な実施形態によれば、スポーツイベントなどのテレビジョン番組のハイライトに関連する時間ベースのメタデータを自動的に作成するための方法およびシステムが提供され、そのようなビデオハイライトおよび関連するメタデータは、スポーツイベントなどのテレビジョン放送と同期して生成されるか、またはスポーツイベントのテレビジョン放送後にスポーツイベントのビデオコンテンツがストレージデバイスからビデオサーバを介してストリーミングされている間に生成される。

0041

少なくとも1つの実施形態では、自動化されたビデオハイライトおよび関連するメタデータ生成アプリケーションは、ライブ放送視聴覚ストリーム、またはコンピュータサーバを介して受信されたデジタル視聴覚ストリームを受信することができる。次に、アプリケーションは、例えばデジタル信号処理技術を使用して、視聴覚ストリームから抽出されたオーディオストリームなどのオーディオデータを処理して、例えば群衆の歓声などの群衆ノイズを検出することができる。

0042

代替の実施形態では、本明細書に記載の技術は、他のタイプのソースコンテンツに適用することができる。例えば、オーディオデータは、視聴覚ストリームから抽出する必要はなく、むしろ、スポーツイベントまたは他のイベントのラジオ放送または他のオーディオ描写であってよい。あるいは、本明細書に記載の技術は、イベントを描写する記憶されたオーディオデータに適用することができ、このようなデータは、記憶された視聴覚データから抽出される場合と抽出されない場合がある。

0043

インタラクティブテレビジョンアプリケーションは、プライマリテレビジョンディスプレイ、またはタブレットラップトップもしくはスマートフォンなどのセカンダリディスプレイのいずれかでテレビジョン番組を視聴しているユーザに、ハイライトされたテレビジョン番組コンテンツをタイムリーに適切に提示できるようにする。少なくとも1つの実施形態では、テレビジョン放送コンテンツのハイライトを表すクリップのセットが、ハイライトクリップによって提示されるイベントをより詳細に記述する時間ベースのメタデータを含むデータベースとともに、リアルタイムで生成および/または記憶される。本明細書でより詳細に説明するように、そのようなクリップの開始時間および/または終了時間は、少なくとも部分的に、抽出されたオーディオデータの分析に基づいて決定することができる。

0044

様々な実施形態では、クリップに付随するメタデータは、テキスト情報、画像、および/または任意のタイプの視聴覚データなどの任意の情報であり得る。ゲーム中のビデオコンテンツのハイライトと、ゲーム後のビデオコンテンツのハイライトの両方に関連するメタデータの1つのタイプは、スポーツイベントのテレビジョン番組から抽出されたオーディオデータのリアルタイム処理によって検出されたイベントを提示する。様々な実施形態では、本明細書に記載のシステムおよび方法は、自動メタデータ生成およびビデオハイライト処理を可能にし、ハイライトの開始時間および/または終了時間は、オーディオストリームなどのデジタルオーディオデータを分析することによって検出および決定することができる。例えば、イベント情報は、そのようなオーディオデータを分析して、特定の刺激的なイベント、オーディオアナウンス、音楽などに続く歓声を上げる群衆ノイズを検出することによって抽出でき、そのような情報は、ハイライトの開始時間および/または終了時間を決定するために使用できる。

0045

少なくとも1つの実施形態では、スポーツイベントのテレビジョン番組コンテンツから抽出されたオーディオストリームなどのオーディオデータに対してリアルタイム処理を実行して、(聴衆の歓声などの)顕著な群衆ノイズを検出、選択、および追跡する。

0046

少なくとも1つの実施形態では、このシステムおよび方法は、圧縮されたオーディオデータを受信し、圧縮されたオーディオデータを読み取りデコードし、かつ所望のサンプリングレートにリサンプリングする。ノイズ低減、クリック除去、および対象の周波数帯域の選択のために、事前フィルタリングを実行できる。いくつかの交換可能なデジタルフィルタリング段階のいずれかを使用できる。

0047

オーディオデータ用にスペクトログラムを構築できる。スペクトルの大きさのピークの顕著なコレクションが、スライディング2次元時間周波数エリアウィンドウの各位置において識別できる。

0048

分析ウィンドウの位置ごとにスペクトルインジケータが生成され得、関連する時間位置を持つスペクトルインジケータのベクトルが形成され得る。

0049

狭い時間間隔を持つ選択されたインジケータと位置とのペアのランが識別され、ベクトルのセット



にキャプチャできる。ベクトルE={R0、R1、...、Rn}は、Rのセットを要素として形成できる。各Rは、サイズが等しくないインジケータの可変カウントを含むため、それらは、インジケータ値によって内部的にソートして、最大大きさインジケータを取得することができる。

0050

ランの時間位置(開始/中央)、および長さ(持続時間)(インジケータと位置とのペアのカウント)は、各Rベクトルから抽出できる。

0051

各Rベクトルを、最大インジケータ値、開始/中央時間位置、およびランレングス(持続時間)をそれぞれ表すパラメータトリプレット(M、P、D)に置き換えて、予備イベントベクトルを形成できる。

0052

予備イベントベクトルを処理して、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間に従って最終的な群集ノイズイベントベクトルを生成することができる。

0053

抽出された群集ノイズイベント情報は、スポーツイベントビデオのハイライトに関連付けられたスポーツイベントメタデータに自動的に追加され得る。

0054

別の実施形態では、システムおよび方法は、スポーツイベントのテレビジョン番組から抽出されたオーディオストリームのリアルタイム処理を行って、顕著な群集ノイズを検出、選択、および追跡する。このシステムおよび方法は、テレビジョン番組コンテンツをキャプチャすることと、デジタルオーディオストリームなどのデジタルオーディオデータを抽出および処理して、顕著な群衆ノイズイベントを検出することと、時間周波数オーディオスペクトログラムを生成することと、オーディオデータの結合された時間周波数分析を実行して高いスペクトル活動のエリアを検出することと、重複するスペクトログラムエリアについてスペクトルインジケータを生成することと、選択されたインジケータと位置とのペアのベクトルを形成することと、狭い時間間隔を持つ選択されたインジケータと位置とのペアのランを識別することと、識別されたランを持つベクトルのセットを形成することと、選択されたインジケータと位置とのペアの各ランから導出されたパラメータトリプレット(M、P、D)を持つ少なくとも1つの予備イベントベクトルを形成することと、少なくとも1つの予備イベントベクトルを修正して、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間を持つ少なくとも1つの最終的な群衆ノイズイベントベクトルを生成することと、を含み得る。

0055

デコードされたオーディオデータの初期の前処理は、ノイズ低減、クリックおよび他のスプリアス音の除去、ならびに交換可能なデジタルフィルタリング段階の選択による関心のある周波数帯域の選択のうちの少なくとも1つのために実行され得る。

0056

スペクトログラムは、スペクトル領域のオーディオデータを分析するために構築することができる。少なくとも1つの実施形態では、分析ウィンドウのサイズは、分析ウィンドウの重複領域のサイズとともに選択される。少なくとも1つの実施形態では、分析ウィンドウはスペクトログラムに沿ってスライドされ、各分析ウィンドウ位置において、分析ウィンドウの正規化された平均の大きさが計算される。少なくとも1つの実施形態では、平均の大きさは、各分析ウィンドウ位置におけるスペクトルインジケータとして決定される。少なくとも1つの実施形態では、初期イベントベクトルは、分析ウィンドウインジケータと、関連する位置との計算されたペアで占められる。少なくとも1つの実施形態では、初期イベントベクトルインジケータは、しきい値を超えるインジケータを持つインジケータと位置とのペアのみを保持するようにしきい値化の対象となる。

0057

各ランは、サイズが等しくないインジケータの可変カウントを含む場合がある。少なくとも1つの実施形態では、ランごとに、インジケータはインジケータ値によって内部的にソートされて、最大大きさインジケータが取得され得る。

0058

ランごとに、開始/中央時間位置およびラン持続時間を抽出できる。

0059

予備イベントベクトルは、パラメータトリプレット(M、P、D)を用いて形成できる。少なくとも1つの実施形態では、トリプレット(M、P、D)は、それぞれ、最大インジケータ値、開始/中央時間位置、およびラン持続時間を表す。

0060

予備イベントベクトルを修正して、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間に従って最終的な群集ノイズイベントベクトルを生成することができる。様々な実施形態では、予備イベントベクトルは、許容可能なイベント距離選択、許容可能なイベント持続時間選択、および/または許容可能なイベントラウドネス選択によって修正される。

0061

群衆ノイズイベント情報はさらに処理され、スポーツイベントのテレビジョン番組のハイライトに関連するメタデータに自動的に追加され得る。

0062

システムアーキテクチャ
様々な実施形態によれば、このシステムは、情報を受信、記憶、および提示するように装備された任意の電子デバイスまたは電子デバイスのセット上に実装することができる。そのような電子デバイスは、例えば、デスクトップコンピュータラップトップコンピュータ、テレビジョン、スマートフォン、タブレット、音楽プレーヤオーディオデバイスキオスクセットトップボックス(STB)、ゲームシステムウェアラブルデバイス家庭用電子デバイスなどであり得る。

0063

このシステムは、本明細書では特定のタイプのコンピューティングデバイスにおける実装に関連して説明されるが、当業者は、本明細書に記載の技術が、他のコンテキストにおいて、ならびに実際にユーザ入力を受信および/または処理し、かつユーザに出力を提示することが可能な任意の好適なデバイスにおいて実装できることを認識するであろう。したがって、以下の説明は、範囲を限定するのではなく、例として様々な実施形態を説明することを意図している。

0064

ここで図1Aを参照すると、クライアント/サーバの実施形態による、イベントのオーディオデータに基づいてメタデータを自動的に抽出するためのシステム100のハードウェアアーキテクチャを示すブロック図が示されている。オーディオコンテンツを含む視聴覚ストリームなどのイベントコンテンツは、ネットワーク接続されたコンテンツプロバイダ124を介して提供され得る。そのようなクライアント/サーバの実施形態の例は、ウェブベースの実装であり、1つ以上のクライアントデバイス106の各々は、通信ネットワーク104を介して、データプロバイダサーバ122および/またはコンテンツプロバイダサーバ124を含めて、様々なサーバ102、114、116からのコンテンツと相互作用するためのユーザインターフェースを提供するブラウザまたはアプリを走らせる。クライアントデバイス106からの要求に応答するコンテンツおよび/またはデータの送信は、ハイパーテキストマークアップ言語HTML)、Java、Objective C、Python、JavaScriptなど、任意の既知プロトコルおよび言語を使用して行うことができる。

0065

クライアントデバイス106は、デスクトップコンピュータ、ラップトップコンピュータ、テレビジョン、スマートフォン、タブレット、音楽プレーヤ、オーディオデバイス、キオスク、セットトップボックス、ゲームシステム、ウェアラブルデバイス、家庭用電子デバイスなど、任意の電子デバイスであり得る。少なくとも1つの実施形態では、クライアントデバイス106は、当業者に周知のいくつかのハードウェアコンポーネントを有する。入力デバイス151は、例えば、ハンドヘルドリモートコントロールキーボードマウススタイラスタッチセンシティブスクリーンタッチスクリーン)、タッチパッドジェスチャレセプタトラックボール加速度計、5ウェイスイッチ、マイクロフォンなどを含む、ユーザ150からの入力を受信する任意のコンポーネントであり得る。入力は、例えば、ポインティングタップタイピングドラッグ、ジェスチャ、傾斜、振とう、および/またはスピーチのうちの1つ以上を含む、任意の好適なモードを介して提供することができる。表示画面152は、イベントの描写、ハイライトなどを含む、情報、ビデオ、コンテンツなどをグラフィカルに表示する任意のコンポーネントであり得る。そのような出力はまた、例えば、視聴覚コンテンツ、データ視覚化ナビゲーション要素、グラフィカル要素、コンテンツの選択のための情報および/またはパラメータを要求するクエリなどを含み得る。少なくとも1つの実施形態では、一度に所望の出力の一部のみが提示される場合、スクロールメカニズムなどの動的制御は、現在表示される情報を選択しおよび/または情報の表示方法を変更するために、入力デバイス151を介して利用可能であり得る。

0066

プロセッサ157は、周知の技術に従って、ソフトウェアの指示の下でデータに対して動作を実行するための従来のマイクロプロセッサであり得る。メモリ156は、本明細書で説明する動作を実行するためのソフトウェアを走らせる過程でプロセッサ157によって使用される、当技術分野で知られている構造およびアーキテクチャを有するランダムアクセスメモリであり得る。クライアントデバイス106はまた、ハードドライブフラッシュドライブ、光または磁気ストレージデバイス、ウェブベース(クラウドベース)のストレージなどであり得る、ローカルストレージ(図示せず)を含むことができる。

0067

インターネットテレビジョンネットワーク、ケーブルネットワーク、セルラーネットワークなどの任意の好適なタイプの通信ネットワーク104は、任意の好適なプロトコルおよび技術に従って、クライアントデバイス106と、様々なサーバ102、114、116および/またはコンテンツプロバイダ124および/またはデータプロバイダ122との間でデータを送信するためのメカニズムとして使用できる。インターネットに加えて、他の例としては、セルラー電話ネットワーク、EDGE、3G、4G、ロングタームエボリューションLTE)、セッション開始プロトコルSIP)、ショートメッセージピアツーピアプロトコル(SMPP)、SS7、Wi−Fi、ブルートゥース、ZigBee、ハイパーテキスト転送プロトコル(HTTP)、セキュアハイパーテキスト転送プロトコル(SHTTP)、伝送制御プロトコルインターネットプロトコル(TCP/IP)など、および/またはそれらの任意の組み合わせが挙げられる。少なくとも1つの実施形態では、クライアントデバイス106は、通信ネットワーク104を介してデータおよび/またはコンテンツについての要求を送信し、要求されたデータおよび/またはコンテンツを含むサーバ102、114、116からの応答を受信する。

0068

少なくとも1つの実施形態では、図1Aのシステムは、スポーツイベントに関連して動作する。しかしながら、本明細書の教示は、非スポーツイベントにも適用され、本明細書に記載の技術は、スポーツイベントへの適用に限定されないことが理解されるべきである。例えば、本明細書に記載の技術は、テレビジョンショー、映画、ニュースイベント、ゲームショー、政治活動ビジネスショー、ドラマ、および/または他のエピソードコンテンツに関連して、あるいはそのような2つ以上のイベントのために動作するように利用できる。

0069

少なくとも1つの実施形態では、システム100は、イベントを表すオーディオコンテンツを分析することによって、放送イベントのハイライトを識別する。この分析はリアルタイムで行うことができる。少なくとも1つの実施形態では、システム100は、通信ネットワーク104を介して1つ以上のクライアントデバイス106に結合された1つ以上のウェブサーバ102を含む。通信ネットワーク104は、パブリックネットワークプライベートネットワーク、またはインターネットなどのパブリックネットワークとプライベートネットワークの組み合わせであり得る。通信ネットワーク104は、LAN、WAN有線無線、および/または上記の組み合わせであり得る。クライアントデバイス106は、少なくとも1つの実施形態では、有線接続または無線接続のいずれかを介して通信ネットワーク104に接続することができる。少なくとも1つの実施形態では、クライアントデバイスはまた、DVRPVR、または他のメディア記録デバイスなど、イベントを受信および記録することができる記録デバイスを含み得る。そのような記録デバイスは、クライアントデバイス106の一部であり得るか、または外部であり得る。他の実施形態では、そのような記録デバイスは省略され得る。図1Aは1つのクライアントデバイス106を示しているが、システム100は、単一のタイプまたは複数のタイプの任意の数のクライアントデバイス106を用いて実装することができる。

0070

ウェブサーバ102は、クライアントデバイス106からの要求を受信し、それらの要求にデータで応答し、ならびに一方的なアラートおよび他のメッセージを送信することができる、1つ以上の物理的コンピューティングデバイスおよび/またはソフトウェアを含み得る。ウェブサーバ102は、負荷分散キャッシングおよびクラスタリングなど、フォールトトレランスおよびスケーラビリティのための様々な戦略を採用することができる。少なくとも1つの実施形態では、ウェブサーバ102は、イベントに関係するクライアント要求および情報を記憶するための、当技術分野で知られているようなキャッシング技術を含み得る。

0071

ウェブサーバ102は、クライアントデバイス106から受信した要求に応答するために、1つ以上のアプリケーションサーバ114を維持するか、さもなければ指定することができる。少なくとも1つの実施形態では、アプリケーションサーバ114は、クライアントデバイス106内のクライアントアプリケーションプログラムによって使用されるためのビジネスロジックへのアクセスを提供する。アプリケーションサーバ114は、ウェブサーバ102と同じ場所に配置されるか、共有されるか、または共同管理され得る。アプリケーションサーバ114はまた、ウェブサーバ102から離れていてもよい。少なくとも1つの実施形態では、アプリケーションサーバ114は、1つ以上の分析サーバ116および1つ以上のデータサーバ118と相互作用して、開示する技術の1つ以上の動作を実行する。

0072

1つ以上のストレージデバイス153は、システム100の動作に関連するデータを記憶することによって「データストア」として作用することができる。このデータは、例えば、限定ではないが、1つ以上のオーディオ信号を表すオーディオデータ154を含み得る。オーディオデータ154は、例えば、スポーツイベントおよび/または他のイベントを表す視聴覚ストリームまたは記憶された視聴覚コンテンツから抽出され得る。

0073

オーディオデータ154は、ビデオ画像に付随するオーディオストリーム、処理されたバージョンの視聴覚ストリーム、ならびに、イベントの時間インデックス、持続時間、大きさ、および/または他のパラメータなどのオーディオデータ154に関係するメトリックおよび/またはベクトルなど、視聴覚ストリームに埋め込まれたオーディオに関係する任意の情報を含むことができる。ユーザデータ155は、例えば、人口統計購入行動、視聴覚ストリーム閲覧行動、関心、好みなどを含む、1人以上のユーザ150を記述する任意の情報を含むことができる。ハイライトデータ164は、ハイライト、ハイライト識別子、時間インジケータカテゴリ、興奮レベル、およびハイライトに関連する他のデータを含み得る。オーディオデータ154、ユーザデータ155、およびハイライトデータ164については、後で詳細に説明する。

0074

特に、システム100の多くのコンポーネントは、コンピューティングデバイスであり得るか、またはそれを含み得る。そのようなコンピューティングデバイスはそれぞれ、上記で示し説明したように、クライアントデバイス106のアーキテクチャと同様のアーキテクチャを有し得る。したがって、通信ネットワーク104、ウェブサーバ102、アプリケーションサーバ114、分析サーバ116、データプロバイダ122、コンテンツプロバイダ124、データサーバ118、およびストレージデバイス153のいずれかは、1つ以上のコンピューティングデバイスを含むことができ、それらの各々は、任意選択で、クライアントデバイス106に関連して上記で説明したように、入力デバイス151、表示画面152、メモリ156、および/またはプロセッサ157を有してよい。

0075

システム100の例示的な動作では、クライアントデバイス106の1人以上のユーザ150は、視聴覚ストリームの形態で、コンテンツプロバイダ124からのコンテンツを閲覧する。視聴覚ストリームは、スポーツイベントなどのイベントを示し得る。視聴覚ストリームは、既知のコンピュータビジョン技術を用いて容易に処理できるデジタル視聴覚ストリームであってよい。

0076

視聴覚ストリームが表示されると、クライアントデバイス106、ウェブサーバ102、アプリケーションサーバ114、および/または分析サーバ116など、システム100の1つ以上のコンポーネントは、視聴覚ストリームを分析し、視聴覚ストリーム内のハイライトを識別し、および/または、例えばストリームのオーディオコンポーネントから、視聴覚ストリームからメタデータを抽出する。この分析は、視聴覚ストリームのハイライトおよび/またはメタデータを識別するための要求の受信に応答して行われ得る。あるいは、別の実施形態では、ハイライトおよび/またはメタデータは、ユーザ150によってなされた特定の要求なしに識別され得る。さらに別の実施形態では、視聴覚ストリームの分析は、視聴覚ストリームが表示されることなく行うことができる。

0077

少なくとも1つの実施形態では、ユーザ150は、クライアントデバイス106の入力デバイス151を介して、オーディオデータ154の分析のための特定のパラメータ(例えば、どのイベント/ゲーム/チームを含めるか、ユーザ150がハイライトを閲覧するために利用可能などのくらいの時間を有するか、どのメタデータが所望されるか、および/または他のパラメータなど)を指定することができる。必ずしもユーザ150が好みを指定することを必要としないでオーディオデータ154の分析をカスタマイズするために、1つ以上のストレージデバイス153に記憶されたユーザデータ155からなど、ユーザの好みもストレージから抽出できる。少なくとも1つの実施形態では、ユーザの好みは、例えば、ウェブサイト訪問パターン、テレビジョン視聴パターン、音楽リスニングパターン、オンライン購入、以前のハイライト識別パラメータ、ユーザ150によって実際に閲覧されたハイライトおよび/またはメタデータなどを観察することによって、ユーザ150の観察された行動およびアクションに基づいて決定することができる。

0078

追加的または代替的に、ユーザの好みは、ユーザ150によって明示的に提供された以前に記憶された好みから検索することができる。そのようなユーザの好みは、どのチーム、スポーツ、プレーヤ、および/またはイベントのタイプがユーザ150にとって興味深いかを示し得、ならびに/あるいはそれらは、ハイライトに関係するどのタイプのメタデータまたは他の情報がユーザ150にとって興味深いであろうかを示し得る。したがって、そのような設定を使用して、視聴覚ストリームの分析をガイドして、ハイライトを識別し、および/またはハイライトのメタデータを抽出することができる。

0079

上記のような1つ以上のコンピューティングデバイスを含み得る分析サーバ116は、データプロバイダ122からの1つ以上のイベントに関係する実況統計のライブおよび/または記録されたフィードを分析することができる。データプロバイダ122の例としては、STATS(商標)、Perform(英国ロンドンのOpta Sportsから利用可能)、およびスイスザンクトガレンのSportRadarなどのリアルタイムスポーツ情報のプロバイダを挙げることができるが、これらに限定されない。少なくとも1つの実施形態では、分析サーバ116は、イベントに対して異なる興奮レベルのセットを生成する。次に、そのような興奮レベルは、本明細書に記載の技術に従ってシステム100によって識別または受信されたハイライトと併せて記憶され得る。

0080

アプリケーションサーバ114は、視聴覚ストリームを分析して、ハイライトを識別し、および/またはメタデータを抽出することができる。追加的または代替的に、そのような分析は、クライアントデバイス106によって行われ得る。識別されたハイライトおよび/または抽出されたメタデータは、ユーザ150に固有であり得る。そのような場合、特定のユーザ150に関連するクライアントデバイス106内のハイライトを識別することが有利であり得る。クライアントデバイス106は、上記のように、ハイライト識別および/またはメタデータ抽出のための適用可能なユーザの好みを受信、保持、および/または検索することができる。追加的または代替的に、ハイライト生成および/またはメタデータ抽出は、グローバルに(すなわち、特定のユーザ150の好みに関係なく、ユーザ集団全般に適用可能な客観的基準を使用して)行われ得る。そのような場合、アプリケーションサーバ114内でハイライトを識別し、および/またはメタデータを抽出することが有利であり得る。

0081

ハイライト識別、オーディオ分析、および/またはメタデータ抽出を容易にするコンテンツは、YouTube、MLB.comなどのウェブサイトを含み得るコンテンツプロバイダ124、スポーツデータプロバイダ、テレビジョン局、クライアントベースまたはサーバベースのDVRなどからを含む、任意の好適なソースから来てよい。あるいは、コンテンツは、クライアントデバイス106に関連付けられた(または組み込まれた)DVRまたは他の記録デバイスなどのローカルソースから来ることができる。少なくとも1つの実施形態では、アプリケーションサーバ114は、ダウンロード、またはストリーミングコンテンツ、またはオンデマンドコンテンツとして、あるいは他の何らかの方法で、ユーザ150が利用できるハイライトおよびメタデータを持つカスタマイズされたハイライトショーを生成する。

0082

上記のように、ユーザ固有のハイライト識別、オーディオ分析、および/またはメタデータ抽出が、特定のユーザ150に関連する特定のクライアントデバイス106において行われることが有利であり得る。そのような実施形態は、特にコンテンツがクライアントデバイス106においてすでに利用可能である場合、通信ネットワーク104を介して不必要に送信されるビデオコンテンツまたは他の高帯域幅コンテンツの必要性を回避することができる。

0083

例えば、ここで図1Bを参照すると、クライアントデバイス106にとって利用可能なローカルストレージデバイスの任意の形態であり得るクライアントベースのストレージデバイス158にオーディオデータ154およびハイライトデータ164の少なくとも一部が記憶される実施形態によるシステム160の例が示されている。一例は、例えば完全なスポーツイベントのビデオコンテンツなどのイベントが記録され得るDVRである。あるいは、クライアントベースのストレージデバイス158は、デジタル形式のデータのための任意の磁気的、光学的、または電子的ストレージデバイスであり得る。例としては、フラッシュメモリ、磁気ハードドライブ、CD−ROM、DVD−ROM、またはクライアントデバイス106と統合されたもしくはクライアントデバイス106と通信可能に結合された他のデバイスが挙げられる。アプリケーションサーバ114によって提供された情報に基づいて、クライアントデバイス106は、クライアントベースのストレージデバイス158に記憶されたオーディオデータ154からメタデータを抽出し、コンテンツプロバイダ124または他のリモートソースから他のコンテンツを検索する必要なしに、メタデータをハイライトデータ164として記憶することができる。そのような構成は、帯域幅を節約することができ、クライアントデバイス106にとってすでに利用可能であり得る既存のハードウェアを有効に活用することができる。

0084

図1Aに戻ると、少なくとも1つの実施形態では、アプリケーションサーバ114は、個々のユーザの好みおよび/または他のパラメータに応じて、異なるユーザ150に対して異なるハイライトを識別しおよび/または異なるメタデータを抽出することができる。識別されたハイライトおよび/または抽出されたメタデータは、クライアントデバイス106の表示画面152など、任意の好適な出力デバイスを介してユーザ150に提示され得る。所望される場合、複数のハイライトを識別し、関連するメタデータとともにハイライトショーにまとめることができる。そのようなハイライトショーは、メニューを介してアクセスされ、および/または所定のシーケンスに従ってユーザ150のために再生される「ハイライトリール」またはハイライトのセットに組み立てられ得る。ユーザ150は、少なくとも1つの実施形態では、例えば以下を行うために、入力デバイス151を介して、関連するメタデータのハイライト再生および/または配信を制御することができる。
●表示する特定のハイライトおよび/またはメタデータを選択する、
●一時停止、巻き戻し、早送り、
●次のハイライトにスキップする、
●ハイライトショー内の前のハイライトの最初に戻る、ならびに/あるいは
●他のアクションを実行する。

0085

このような機能に関する追加の詳細は、上記で引用した関係する米国特許出願に提供されている。

0086

少なくとも1つの実施形態では、1つ以上のデータサーバ118が提供される。データサーバ118は、例えば、オーディオデータ154、ユーザデータ155、および/またはハイライトデータ164を取得または提供するために、サーバ102、114、116のいずれかからのデータについての要求に応答することができる。少なくとも1つの実施形態では、そのような情報は、データサーバ118によってアクセス可能な任意の好適なストレージデバイス153に記憶することができ、クライアントデバイス106自体、コンテンツプロバイダ124、データプロバイダ122などからなど、任意の好適なソースから来ることができる。

0087

ここで図1Cを参照すると、システム180がスタンドアロン環境において実装される代替の実施形態によるシステム180が示されている。図1Bに示す実施形態と同様に、オーディオデータ154、ユーザデータ155、およびハイライトデータ164のうちの少なくとも一部は、DVRなどのクライアントベースのストレージデバイス158に記憶され得る。あるいは、クライアントベースのストレージデバイス158は、フラッシュメモリまたはハードドライブであり得るか、あるいはクライアントデバイス106と統合されたまたはクライアントデバイス106と通信可能に結合された他のデバイスであり得る。

0088

ユーザデータ155は、ユーザ150の好みおよび関心を含み得る。そのようなユーザデータ155に基づいて、システム180は、オーディオデータ154内のメタデータを抽出して、本明細書に記載の方法でユーザ150に提示することができる。追加的または代替的に、メタデータは、ユーザ150に固有の情報に基づかない客観的基準に基づいて抽出することができる。

0089

ここで図1Dを参照すると、代替の実施形態によるアーキテクチャを持つシステム190の概要が示されている。図1Dでは、システム190は、コンテンツプロバイダ124などの放送サービス、STBを持つテレビジョンセットなどのクライアントデバイス106の形態のコンテンツ受信機、テレビジョン番組コンテンツを取り込んでストリーミングすることができる分析サーバ116などのビデオサーバ、ならびに/あるいはテレビジョン番組コンテンツを受信および処理することができ、通信ネットワーク104などのネットワークを介してすべて接続されたモバイルデバイスおよびラップトップなどの他のクライアントデバイス106を含む。DVRなどのクライアントベースのストレージデバイス158は、クライアントデバイス106および/または他のコンポーネントのいずれかに接続することができ、視聴覚ストリーム、ハイライト、ハイライト識別子、および/またはメタデータを記憶して、クライアントデバイス106のいずれかを介してハイライトおよび/または抽出されたメタデータの識別および提示を容易にすることができる。

0090

図1A、1B、1C、および1Dに示されている特定のハードウェアアーキテクチャは、単なる例示である。当業者は、他のアーキテクチャを使用して本明細書に記載の教示が実装できることを認識するであろう。そこに示されている多くのコンポーネントは任意選択であり、省略し、他のコンポーネントと統合し、および/または他のコンポーネントに置き換えることができる。

0091

少なくとも1つの実施形態では、このシステムは、スタンドアロンまたはクライアント/サーバアーキテクチャのいずれであろうと、任意の好適なコンピュータプログラミング言語で書かれたソフトウェアとして実装することができる。あるいは、それはハードウェアに実装しおよび/または埋め込むことができる。

0092

データ構造
図2は、一実施形態による、オーディオデータ154、ユーザデータ155、およびハイライトデータ164に組み込むことができるデータ構造の例を示す概略ブロック図である。

0093

示されるように、オーディオデータ154は、複数のオーディオストリーム200の各々についての記録を含み得る。説明の目的で、オーディオストリーム200が示されているが、本明細書で説明する技法は、ストリーミングされるか記憶されるかにかかわらず、任意のタイプのオーディオデータ154またはコンテンツに適用することができる。オーディオデータ154の記録は、オーディオストリーム200に加えて、オーディオストリーム200の分析に従って生成されたかまたはその分析に役立つ他のデータを含み得る。例えば、オーディオデータ154は、各オーディオストリーム200について、スペクトログラム202、1つ以上の分析ウィンドウ204、ベクトル206、および時間インデックス208を含み得る。

0094

各オーディオストリーム200は、時間領域内に存在し得る。各スペクトログラム202は、時間周波数領域内の対応するオーディオストリーム200について計算され得る。スペクトログラム202を分析して、群集ノイズなど、所望の周波数オーディオイベントをより簡単に見つけることができる。

0095

分析ウィンドウ204は、スペクトログラム202の所定の時間および/または周波数インターバルの指定であり得る。計算上、単一の移動する(すなわち、「スライディング」)分析ウィンドウ204を使用して、スペクトログラム202を分析することができ、または一連の変位した(任意選択で重複する)分析ウィンドウ204を使用することができる。

0096

ベクトル206は、オーディオストリーム200および/または対応するスペクトログラム202の分析からの中間および/または最終結果を含むデータセットであり得る。

0097

時間インデックス208は、オーディオストリーム200(および/またはオーディオストリーム200が抽出される視聴覚ストリーム)内の、重要なイベントが発生する時間を示すことができる。例えば、時間インデックス208は、放送内の、群集ノイズが高まるかまたは減少する時間であり得る。したがって、時間インデックス208は、スポーツイベントのコンテキストでは、重要なまたは印象的なプレーなど、視聴覚ストリームの特に興味深い一部の開始または終了を示し得る。

0098

さらに示されるように、ユーザデータ155は、ユーザ150に関連する記録を含み得、これらの記録の各々は、特定のユーザ150の人口統計データ212、好み214、閲覧履歴216、および購入履歴218を含み得る。

0099

人口統計データ212は、年齢性別、場所、国籍宗教所属教育レベルなどを含むがこれらに限定されない、任意のタイプの人口統計データを含み得る。

0100

好み214は、ユーザ150が彼または彼の好みに関して行った選択を含み得る。好み214は、ハイライトおよびメタデータの収集および/または閲覧に直接関係する場合もあれば、本質的により一般的である場合もある。いずれの場合も、好み214を使用して、ハイライトおよびメタデータの識別および/またはユーザ150への提示を容易にすることができる。

0101

閲覧履歴216は、テレビジョン番組、視聴覚ストリーム、ハイライト、ウェブページサーチクエリ、スポーツイベント、ならびに/あるいはユーザ150によって検索および/または閲覧された他のコンテンツを列挙することができる。

0102

購入履歴218は、ユーザ150によって購入または要求された製品またはサービスを列挙することができる。

0103

さらに示されるように、ハイライトデータ164は、j個のハイライト220についての記録を含み得、各記録は、特定のハイライト220の視聴覚ストリーム222および/またはメタデータ224を含み得る。

0104

視聴覚ストリーム222は、ハイライト220を描写するビデオを含み得、これは、(例えば、ハイライト220に関連する視聴覚ストリーム222のみを含むように視聴覚ストリームをクロップすることによって)1つ以上のイベントの1つ以上の視聴覚ストリームから取得され得る。メタデータ224内で、識別子223は、(オーディオデータ154の時間インデックス208などの)時間インデックス、および/またはハイライト220がそれから取得されるイベントの視聴覚ストリーム内のどこにハイライト220が存在するかを示す他のしるしを含み得る。

0105

いくつかの実施形態では、ハイライト220の各々の記録は、視聴覚ストリーム222および識別子223のうちの1つのみを含み得る。ハイライト再生は、ユーザ150に対して視聴覚ストリーム222を再生することによって、または識別子223を使用して、ハイライト220がそれから取得されるイベントの視聴覚ストリームのハイライトされた部分のみを再生することによって行われ得る。識別子223のストレージは任意選択である。いくつかの実施形態では、識別子223は、ハイライト220について視聴覚ストリーム222を抽出するためにのみ使用され得、次いで、このハイライト220が識別子223の代わりに記憶され得る。いずれの場合も、ハイライト220の時間インデックス208はオーディオデータ154から抽出され、ハイライト220に追加されるか、あるいはオーディオデータ154およびハイライト220がそれから取得される視聴覚ストリームに追加されるメタデータ224として、少なくとも一時的に記憶され得る。

0106

識別子223に加えて、またはその代替として、メタデータ224は、イベントの日付、季節、およびハイライト220がそれから取得されるイベントもしくは視聴覚ストリームに関与するグループもしくは個人、例えばチーム、プレーヤ、コーチアンカー放送事業者、およびファンなど、ハイライト220に関する情報を含み得る。情報の中でも、各ハイライト220のメタデータ224は、フェーズ226、クロック227、スコア228、フレーム番号229、興奮レベル230、および/または群衆興奮レベル232を含み得る。

0107

フェーズ226は、ハイライト220に関連するイベントのフェーズであり得る。より具体的には、フェーズ226は、ハイライト220の開始、中間、および/または終了がその中に存在するスポーツイベントの段階であり得る。例えば、フェーズ226は、「第3クォーター」、「第2イニング」、「裏の回」などであり得る。

0108

クロック227は、ハイライト220に関連するゲームクロックであり得る。より具体的には、クロック227は、ハイライト220の開始、中間、および/または終了時のゲームクロックの状態であり得る。例えば、クロック227は、ハイライト220に対して「15:47」であり得、これは、ゲームクロック上に15分47秒が表示されるスポーツイベントの期間を開始するか、終了するか、またはその期間にまたがる。

0109

スコア228は、ハイライト220に関連するゲームスコアであり得る。より具体的には、スコア228は、ハイライト220の開始、終了、および/または中間におけるスコアであり得る。例えば、スコア228は、「45−38」、「7−0」、「30−ラブ」などである。

0110

フレーム番号229は、ハイライト220がそれから取得される視聴覚ストリーム内の、あるいはハイライト220の開始、中間、および/または終了に関係するハイライト220に関連する視聴覚ストリーム222内の、ビデオフレームの番号であり得る。

0111

興奮レベル230は、特定のユーザ150またはユーザ全般にとって、イベントまたはハイライトがどのくらい刺激的または興味深いものであると予想されるかの尺度であり得る。少なくとも1つの実施形態では、興奮レベル230は、上記の関連する出願に示されるように計算され得る。追加的または代替的に、興奮レベル230は、少なくとも部分的に、視聴覚ストリーム222および/またはオーディオストリーム200から抽出されるコンポーネントであり得るオーディオデータ154の分析によって決定され得る。例えば、より高いレベルの群集ノイズ、アナウンス、および/またはアップテンポ音楽を含むオーディオデータ154は、関連するハイライト220の高い興奮レベル230を示し得る。興奮レベル230は、ハイライト220に対して静的である必要はないが、代わりに、ハイライト220の過程で変化し得る。したがって、システム100は、ハイライト220をさらに洗練して、しきい値興奮レベル230を超える部分のみをユーザに示すことができる場合がある。

0112

群衆の興奮レベル232は、イベントに参加している群衆がどれほど興奮しているようであるかの尺度であり得る。少なくとも1つの実施形態では、群集の興奮レベル232は、オーディオデータ154の分析に基づいて決定され得る。他の実施形態では、ビジュアル分析を使用して、群衆の興奮を測定するか、またはオーディオデータ分析の結果を補足することができる。

0113

例えば、ハイライト220のオーディオストリーム200の分析によって激しい群集ノイズが検出された場合、ハイライト220に対する群集の興奮レベル232は、比較的高いとみなされ得る。興奮レベル230と同様に、群衆の興奮レベル232は、ハイライト220の過程で変化する可能性がある。したがって、群衆の興奮レベル232は、例えば、ハイライト220内の特定の時間に対応する複数のインジケータを含み得る。

0114

図2に記載されているデータ構造は単なる例示である。当業者は、ハイライト識別および/またはメタデータ抽出の実行において、図2のデータのいくつかが省略されるか、または他のデータで置き換えられ得ることを認識するであろう。追加的または代替的に、図2に具体的に示されていないかまたは本出願に記載されていないデータが、ハイライト識別および/またはメタデータ抽出の実行に使用され得る。

0115

オーディオデータ154
少なくとも1つの実施形態では、システムは、時間周波数領域において、オーディオストリームなどのオーディオデータ154の分析のいくつかの段階を実行して、スポーツイベントまたは別のイベントの描写中に、群衆の歓声、連呼、およびファンサポートなどの群衆ノイズを検出する。描写は、テレビジョン放送、視聴覚ストリーム、オーディオストリーム、記憶されたファイルなどであり得る。

0116

最初に、圧縮されたオーディオデータ154が読み取られ、デコードされ、そして所望のサンプリングレートにリサンプリングされる。次に、得られたPCMストリームは、いくつかの交換可能なデジタルフィルタリング段階のいずれかを使用して、ノイズ低減、クリック除去、および/または所望の周波数帯域の選択のために事前フィルタリングされる。続いて、オーディオデータ154のためにスペクトログラムが構築される。スペクトルの大きさのピークの顕著なコレクションが、スライディング2次元時間周波数エリアウィンドウの各位置において識別される。分析ウィンドウの位置ごとにスペクトルインジケータが生成され、関連する時間位置を持つスペクトルインジケータのベクトルが形成される。

0117

次に、狭い時間間隔を持つ選択されたインジケータと位置とのペアのランが識別され、ベクトルのセット



にキャプチャされる。ベクトルE={R0、R1、...、Rn}が、Rのセットを要素として形成される。各Rは、サイズが等しくないインジケータの可変カウントを含むため、それらは、インジケータ値によってさらにソートされて、各Rの最大大きさインジケータが取得される。さらに、ランの時間位置(開始/中央)、および長さ(持続時間)(インジケータと位置とのペアのカウント)が、各Rベクトルから抽出される。各Rベクトルをパラメータトリプレット(M、P、D)に置き換えて、予備イベントベクトルが形成され、ここで、M=最大インジケータ値、P=開始/中央時間位置、およびD=ランレングス(持続時間)である。次に、この予備イベントベクトルが処理されて、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間に従って、最終的な群集ノイズイベントベクトルが生成される。抽出された群集ノイズイベント情報は、次に、スポーツイベントビデオのハイライトに関連付けられたスポーツイベントメタデータに自動的に追加される。

0118

図3Aは、一実施形態による、時間領域においてスポーツイベントテレビジョン番組コンテンツから抽出されたオーディオストリーム310内のオーディオ波形グラフ300の例を示す。ハイライトされたエリア320は、群衆の歓声などの例示的なノイズイベントを示している。キャプチャされたオーディオの振幅は、ハイライトされたエリア320において比較的高く、オーディオストリーム310の比較的大きい部分を表し得る。

0119

図3Bは、一実施形態による、時間周波数領域における、図3Aのオーディオ波形グラフ300に対応するスペクトログラム350の例を示す。少なくとも1つの実施形態では、関心のあるイベントの発生の検出およびマーキングは、時間周波数領域において実行され、イベントのタイミング境界は、ビデオハイライトおよびメタデータ生成アプリケーションにリアルタイムで提示される。これは、対応するメタデータ224、ハイライト220の開始および/または終了を識別する識別子223、ハイライト220の間に発生する群衆の興奮レベルなどの生成を可能にし得る。

0120

オーディオデータ分析およびメタデータ抽出
図4は、一実施形態による、視聴覚ストリーム222を受信し、オーディオデータ154のオンザフライ処理を実行して、例えば、ハイライト220に対応するメタデータ224の抽出する(例えば、クライアントデバイス106および/または分析サーバ116のうちの1つの上で走らされる)アプリケーションによって行われる方法400を示すフローチャートである。方法400によれば、オーディオストリーム310などのオーディオデータ154を処理して、群集ノイズオーディオイベント、音楽イベント、アナウンスイベント、および/またはテレビジョン番組コンテンツハイライト生成に関係する他の可聴イベントを検出することができる。

0121

少なくとも1つの実施形態では、方法400(および/または本明細書に記載の他の方法)は、視聴覚ストリームまたは他の視聴覚コンテンツから抽出されたオーディオデータ154に対して実行される。あるいは、本明細書に記載の技術は、他のタイプのソースコンテンツに適用することができる。例えば、オーディオデータ154は、視聴覚ストリームから抽出する必要はなく、むしろ、スポーツイベントまたは他のイベントのラジオ放送または他のオーディオ描写であってよい。

0122

少なくとも1つの実施形態では、方法400(および/または本明細書に記載の他の方法)は、図1Aのシステム100などのシステムによって実行され得る。しかしながら、図1Bのシステム160、図1Cのシステム180、および図1Dのシステム190を含むがこれらに限定されない代替のシステムを、図1Aのシステム100の代わりに使用することができる。さらに、以下の説明は、群集ノイズイベントが識別されると仮定としている。しかしながら、本明細書に記載されているものと同様の方法に従って、異なるタイプの可聴イベントが識別され、メタデータを抽出するために使用され得ることが理解されよう。

0123

図4の方法400は、オーディオストリーム200などのオーディオデータ154が読み取られるステップ410から開始することができる。オーディオデータ154が圧縮フォーマットである場合、それは任意選択でデコードすることができる。ステップ420において、オーディオデータ154は、所望のサンプリングレートにリサンプリングされ得る。ステップ430において、オーディオデータ154は、いくつかの交換可能なデジタルフィルタリング段階のいずれかを使用してフィルタリングされ得る。次に、ステップ440において、例えば、フィルタリングされたオーディオデータ154の1秒チャンクに対して短時間フーリエ変換(STFT)を計算することによって、フィルタリングされたオーディオデータ154に対してスペクトログラム202が任意選択で生成され得る。スペクトログラム202の時間周波数係数は、さらなる処理のために2次元配列に保存できる。

0124

特に、いくつかの実施形態では、ステップ440は省略されてよい。スペクトログラム202の分析を行うのではなく、さらなる分析をオーディオデータ154に対して直接行うことができる。以下の図5から10は、ステップ440が行われており、残りの分析ステップが、(例えば、上記のようにオーディオデータ154をデコード、リサンプリング、および/またはフィルタリングした後に)オーディオデータ154に対応するスペクトログラム202に対して実行されると仮定する。

0125

図5は、一実施形態による、例えば、スペクトログラム202を分析して、長時間の群衆の歓声(群衆ノイズ)に関連するスペクトルの大きさのピークのクラスタリングを検出することによって、時間周波数領域においてオーディオストリーム200などのオーディオデータ154を分析するための方法500を示すフローチャートである。最初に、ステップ510において、サイズ(F×T)の2次元の長方形の時間周波数分析ウィンドウ204が選択され、ここで、Tは、複数秒の値(通常、約6秒)であり、Fは、考慮される周波数範囲(通常は500Hz〜3KHz)である。次に、ステップ520において、隣接する分析ウィンドウ204間のウィンドウ重複領域Nが選択され、ウィンドウスライディングステップS=(T−N)が計算される(通常約1秒)。この方法はステップ530に進み、分析ウィンドウ204がスペクトル時間軸に沿ってスライディングする。ステップ540において、分析ウィンドウ204の各位置において、正規化された大きさが計算され、続いて、分析ウィンドウ204の平均ピーク大きさが計算される。計算された平均スペクトルピークの大きさは、分析ウィンドウ204の各位置に関連するイベントインジケータを表す。ステップ550において、しきい値が各インジケータ値に適用され、ベクトル206の初期イベントベクトルが、その要素としてインジケータと位置とのペアを含むように生成される。

0126

上記で確立されたように、初期イベントベクトルは、ステップ550においてしきい値化することによって選択されたインジケータと位置とのペアのセットを含み得る。次に、このベクトルを分析して、隣接する要素の位置間隔が狭いインジケータの密集したグループを識別できる。このプロセスを図6に示す。

0127

図6は、一実施形態による、群集ノイズイベントベクトルの生成のための方法600を示すフローチャートである。ステップ610において、選択されたイベントの初期ベクトルが、インジケータ/位置ペアのセットを用いて読み取られ得る。ステップ620において、隣接するベクトル要素のS秒の位置間隔を持つすべての選択されたインジケータ位置ランが、ベクトルのセット



へと収集され得る。ステップ630において、ベクトルE={R0、R1、...、Rn}が、Rのセットを要素として形成され得る。続いて、ベクトルEの各要素Rをさらに分析して、イベント、イベント時間位置、および/またはイベント持続時間の最大インジケータを抽出することができる。

0128

図7は、一実施形態による、各Rベクトルの内部処理のための方法700を示すフローチャートである。ステップ710において、Rの要素が、インジケータ値によって降順にソートされ得る。最大インジケータ値が、イベントに対するM個のパラメータとして抽出できる。ステップ720において、開始/中央時間が、パラメータPとして各ベクトルRの各々について記録され得る。ステップ730において、各ベクトルRについて、要素の数が、各ベクトルRの持続時間パラメータDとしてカウントおよび記録され得る。各イベントについて、イベントの強さ(ラウドネス)、開始/中央位置、および/または持続時間を記述するトリプレット(M、P、D)が形成され得る。これらのトリプレットは、Rベクトルを、群集ノイズイベントについて求められる情報を完全に伝達する新しい導出要素として置き換える場合がある。図7のフローチャートに示されるように、後続の処理は、ステップ740において、各RのM、P、およびD個のパラメータを組み合わせ、その要素として(M、P、D)トリプレットを持つ新しいベクトルを形成することを含み得る。イベントベクトルは、イベント間隔の選択、イベント持続時間の選択、およびイベントのラウドネス(大きさインジケータ)の選択のプロセスに渡されて、検出された群集ノイズイベントの最終的なタイムラインが形成される。

0129

図8は、一実施形態による、所望の群集ノイズイベントをさらに選択するための方法800を示すフローチャートである。方法800は、一実施形態によれば、隣接するイベント間の最小時間距離を下回って離間されたイベントベクトル要素を除去することができる。方法800はステップ810から開始し得、システム100は、イベントベクトル要素を一度に1つずつステップスルーする。クエリ820において、前のイベント位置までの時間距離をテストすることができる。クエリ820に従って、この時間距離がしきい値を下回る場合、その位置は、ステップ830においてスキップされ得る。時間距離がしきい値を下回らない場合、その位置は、ステップ840において受け入れられ得る。いずれの場合も、方法800はクエリ850に進み得る。クエリ850に従って、イベントベクトルの終了に達した場合、修正されたイベントベクトルが生成され得、ベクトル要素は、互いに近接しすぎているとみなされて除去される。イベントベクトルの終了に達していない場合、ステップ810を続行し、必要に応じて追加のベクトル要素を除去することができる。

0130

図9は、一実施形態による、所望の群集ノイズイベントをさらに選択するための方法900を示すフローチャートである。方法900は、群集ノイズ持続時間が所望のレベルを下回るイベントベクトル要素を除去することができる。方法900はステップ910から開始し得、システム100は、イベントベクトルの持続時間コンポーネントをステップスルーする。クエリ920において、イベントベクトル要素の持続時間コンポーネントをテストすることができる。クエリ920に従って、この持続時間がしきい値を下回る場合、そのイベントベクトル要素は、ステップ940においてスキップされ得る。持続時間がしきい値を下回らない場合、そのイベントベクトル要素は、ステップ930において受け入れられ得る。いずれの場合も、方法900はクエリ950に進み得る。クエリ950に従って、イベントベクトルの終了に達した場合、修正されたイベントベクトルが生成され得、ベクトル要素は、不十分な持続時間の群集ノイズを表すとみなされて除去される。イベントベクトルの終了に達していない場合、ステップ910を続行し、必要に応じて追加のベクトル要素を除去することができる。

0131

図10は、一実施形態による、所望の群集ノイズイベントをさらに選択するための方法1000を示すフローチャートである。方法1000は、群集大きさインジケータが所望のレベルを下回るイベントベクトル要素を除去することができる。方法1000はステップ1010から開始し得、システム100は、イベントベクトルおよびその後の選択をステップスルーする。クエリ1020において、群集ノイズイベントの大きさをテストすることができる。クエリ1020に従って、この大きさがしきい値を下回る場合、そのイベントベクトル要素は、ステップ1040においてスキップされ得る。大きさがしきい値を下回らない場合、その位置は、ステップ1030において受け入れられ得る。いずれの場合も、方法1000はクエリ1050に進み得る。クエリ1050に従って、イベントベクトルの終了に達した場合、修正されたイベントベクトルが生成され得、ベクトル要素は、群集ノイズの大きさが不十分であるとみなされて除去される。イベントベクトルの終了に達していない場合、ステップ1010を続行し、必要に応じて追加のベクトル要素を除去することができる。

0132

図8、9、および10に記載したイベントベクトル後処理ステップは、任意の所望の順序で実行することができる。示されているステップは、互いに任意の組み合わせで実行でき、一部のステップは省略できる。イベントベクトル処理の最後に、スポーツイベントの所望されるイベントタイムラインを含む、新しい最終的なイベントベクトルを生成することができる。

0133

少なくとも1つの実施形態では、自動ビデオハイライトおよび関連するメタデータ生成アプリケーションは、オーディオおよびビデオコンポーネントを含むライブ放送視聴覚ストリーム、またはコンピュータサーバを介して受信されたデジタル視聴覚ストリームを受信し、デジタル信号処理技術を使用して視聴覚ストリームから抽出されたオーディオデータ154を処理して、上記のように、明確な群集ノイズ(例えば、聴衆の歓声)を検出する。これらのイベントは、本明細書に記載の手法を使用してソートおよび選択できる。次に、抽出された情報は、スポーツイベントテレビジョン番組ビデオおよび/またはビデオハイライト220に関連するスポーツイベントメタデータ224に追加され得る。そのようなメタデータ224は、例えば、ハイライト生成において使用されるセグメントの開始/終了時間を決定するために使用され得る。本明細書および上記の関連出願において説明するように、ハイライトの開始時間および/または終了時間は、オフセットに基づいて調整することができ、オフセットは、ハイライトに利用可能な時間量、ハイライトの重要性および/または興奮レベル、ならびに/あるいは任意の他の好適な要素に基づくことができる。追加的または代替的に、メタデータ224を使用して、視聴覚ストリーム、または対応する興奮レベル230もしくは群衆興奮レベル232などのハイライト220の閲覧中にユーザ150に情報を提供することができる。

0134

このシステムおよび方法は、可能な実施形態に関して特に詳細に説明してきた。当業者は、このシステムおよび方法が他の実施形態において実施され得ることを理解するであろう。まず、コンポーネントの特定の名前、用語の大文字属性、データ構造、または他のプログラミングもしくは構造の態様は、必須でも重要でもなく、メカニズムおよび/または特徴は、名前、フォーマット、またはプロトコルが異なる場合がある。さらに、このシステムは、ハードウェアとソフトウェアの組み合わせを介して、または完全にハードウェア要素で、または完全にソフトウェア要素で実装され得る。また、本明細書に記載する様々なシステムコンポーネント間の機能の特定の分割は、単なる例示であり、必須ではない。単一のシステムコンポーネントによって実行される機能は、代わりに複数のコンポーネントによって実行される場合があり、複数のコンポーネントによって実行される機能は、代わりに単一のコンポーネントによって実行される場合がある。

0135

本明細書における「一実施形態」または「実施形態」への言及は、実施形態に関連して説明する特定の特徴、構造、または特性が、少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な場所における「一実施形態では」または「少なくとも1つの実施形態では」という出現は、必ずしもすべてが同じ実施形態を指すとは限らない。

0136

様々な実施形態は、単独でまたは任意の組み合わせのいずれかで、上記の技術を実行するための任意の数のシステムおよび/または方法を含み得る。別の実施形態は、コンピューティングデバイスまたは他の電子デバイス内のプロセッサに上記の技術を実行させるための、非一時的なコンピュータ可読記憶媒体および媒体上に符号化されたコンピュータプログラムコードを備えるコンピュータプログラム製品を含む。

0137

上記のいくつかの部分は、コンピューティングデバイスのメモリ内データビットに対する動作のアルゴリズムおよび記号表現の観点から提示されている。これらのアルゴリズムの記述および表現は、データ処理技術の当業者が彼らの仕事実体を他の当業者に最も効果的に伝えるために使用する手段である。アルゴリズムは、ここでは、概して、所望の結果につながる自己矛盾のない一連のステップ(指示)であると考えられている。手順は、物理量の物理的操作を必要とする手順である。通常、必ずしもそうであるとは限らないが、これらの量は、記憶、転送、結合、比較、および他の方法で操作できる電気信号磁気信号、または光信号の形をとる。主に一般的な使用法の理由から、これらの信号をビット、値、要素、記号文字、用語、数値などと呼ぶと便利な場合がある。さらに、一般性を失うことなく、物理量の物理的操作を必要とするステップの特定の配置をモジュールまたはコードデバイスと呼ぶことも便利な場合がある。

0138

ただし、これらおよび類似の用語はすべて、適切な物理量に関連付けられており、これらの量に適用される便利なラベルにすぎないことに留意されたい。以下の説明から明らかであるように別段に特に明記しない限り、説明全体を通して、「処理」または「計算」または「算出」または「表示」または「決定」などの用語を利用する説明は、コンピュータシステムのメモリまたはレジスタもしくは他のそのような情報ストレージ、送信または表示デバイス内で物理(電子)量として表されるデータを操作および変換するコンピュータシステム、あるいは同様の電子コンピューティングモジュールおよび/またはデバイスのアクションおよびプロセスを指すことを理解されたい。

0139

特定の態様は、アルゴリズムの形態で本明細書に記載されているプロセスステップおよび命令を含む。プロセスステップおよび命令は、ソフトウェア、ファームウェアおよび/またはハードウェアで具体化することができ、ソフトウェアで具体化する場合、ダウンロードして、様々なオペレーティングシステムによって使用される異なるプラットフォーム上に常駐し、それらから動作できることに留意されたい。

0140

本文書はまた、本明細書における動作を実行するための装置に関係する。この装置は、必要な目的のために特別に構築され得るか、またはコンピューティングデバイスに記憶されたコンピュータプログラムによって選択的にアクティブ化もしくは再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、フロッピーディスク光ディスク、CD−ROM、DVD−ROM、磁気光学ディスク読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、フラッシュメモリ、ソリッドステートドライブ磁気カードまたは光学カード特定用途向け集積回路ASIC)、あるいは電子命令の記憶に適した任意のタイプの媒体を含むがこれらに限定されない任意のタイプのディスクなどのコンピュータ可読記憶媒体に記憶されてよく、各々はコンピュータシステムバスに結合される。プログラムおよびその関連するデータは、例えばサーバ上で、リモートでホストして走らせることもできる。さらに、本明細書で言及されるコンピューティングデバイスは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。

0141

本明細書に提示されるアルゴリズムおよび表示は、特定のコンピューティングデバイス、仮想化システム、または他の装置に本質的に関係していない。様々な汎用システムも、本明細書の教示によるプログラムとともに使用され得るか、あるいは必要な方法ステップを実行するための専用装置を構築することがより便利であり得る。これらの様々なシステムに必要な構造は、ここで提供する説明から明らかであろう。さらに、このシステムおよび方法は、特定のプログラミング言語を参照して説明していない。本明細書に記載の教示を実装するために様々なプログラミング言語を使用することができ、特定の言語への上記の言及は、有効化および最良のモードの開示のために提供されることが理解されよう。

0142

したがって、様々な実施形態は、コンピュータシステム、コンピューティングデバイス、または他の電子デバイス、あるいはそれらの任意の組み合わせまたは複数を制御するためのソフトウェア、ハードウェア、および/または他の要素を含む。そのような電子デバイスは、例えば、当技術分野で周知の技術によるプロセッサ、入力デバイス(キーボード、マウス、タッチパッド、トラックパッドジョイスティック、トラックボール、マイクロフォン、および/またはそれらの任意の組み合わせなど)、出力デバイス(スクリーンスピーカなど)、メモリ、長期ストレージ(磁気ストレージ、光ストレージなど)、ならびに/あるいはネットワーク接続を含むことができる。そのような電子デバイスは携帯型または非携帯型であってよい。説明したシステムおよび方法を実装するために使用できる電子デバイスの例としては、デスクトップコンピュータ、ラップトップコンピュータ、テレビジョン、スマートフォン、タブレット、音楽プレーヤ、オーディオデバイス、キオスク、セットトップボックス、ゲームシステム、ウェアラブルデバイス、家庭用電子デバイス、サーバコンピュータなどが挙げられる。電子デバイスは、限定ではなく例えば、Linux、ワシントン州レドモンドのMicrosoft Corporationから入手可能なMicrosoft Windows、カリフォルニア州クパチーノのApple Inc.から入手可能なMac OS X、カリフォルニア州クパチーノのApple Inc.から入手可能なiOS、カリフォルニア州マウンテンビューのGoogle,Inc.から入手可能なAndroid、および/またはデバイスでの使用に適合した他のオペレーティングシステムなど、任意のオペレーティングシステムを使用することができる。

0143

本明細書において限られた数の実施形態を説明してきたが、上記の説明の利点を有する当業者は、他の実施形態が考案され得ることを理解するであろう。さらに、本明細書で使用される言語は、主に読みやすさおよび教授目的のために選択されており、主題を描写するかまたは制限するために選択されていない可能性があることに留意されたい。したがって、本開示は、範囲を例示することを意図しているが、限定することを意図していない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ