図面 (/)

技術 プログラムおよびコンピュータシステム

出願人 株式会社バンダイナムコエンターテインメント株式会社バンダイナムコスタジオ
発明者 青木英史南清志西山洋人関野雄人恩田明生
出願日 2019年3月29日 (1年10ヶ月経過) 出願番号 2019-066479
公開日 2020年10月8日 (4ヶ月経過) 公開番号 2020-162880
状態 未査定
技術分野 電子ゲーム機 双方向TV,動画像配信等
主要キーワード 動作制御パターン 状況条件 ユーザ設定操作 入力信号生成回路 認識基準 ユーザ音声データ 逐次分析 自己設定
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

実況キャラクタを用いた動画配信に係るユーザを補助するための新たな技術の提供。

解決手段

コンピュータシステムは、ゲームプレイプレイ動画10についての実況を行う実況キャラクタ7の動画と、プレイ動画10とを合わせた実況動画12を生成する。また、コンピュータシステムは、ゲームプレイのプレイ状況分析する。その分析結果に基づいて、実況キャラクタ7を自動制御する。実況動画12に含める実況キャラクタ7の動画は、この分析結果に基づく実況キャラクタ7の自動制御がなされた動画となる。

概要

背景

近年、ゲームプレイプレイ動画編集し、ユーザが別音声(例えば、実況解説、その時々の仲間とのチャットの音声)などを加えて作成した実況動画を、動画配信サイトを利用して配信するユーザ、いわゆる「ユーチューバー(YouTuber)」が知られるようになった。また、それに関する技術も知られるところである(例えば、特許文献1を参照)。近年では、ユーチューバーに代わって「ブイチューバー(Vtuber)」と言われる架空キャラクタが実況をするように見せる形態も知られるようになった。以降、そうした架空のキャラクタを「実況キャラクタ」と言う。

概要

実況キャラクタを用いた動画配信に係るユーザを補助するための新たな技術の提供。コンピュータシステムは、ゲームプレイのプレイ動画10についての実況を行う実況キャラクタ7の動画と、プレイ動画10とを合わせた実況動画12を生成する。また、コンピュータシステムは、ゲームプレイのプレイ状況分析する。その分析結果に基づいて、実況キャラクタ7を自動制御する。実況動画12に含める実況キャラクタ7の動画は、この分析結果に基づく実況キャラクタ7の自動制御がなされた動画となる。

目的

実況キャラクタを用いた動画配信に係るユーザを補助するための新たな技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータシステムを、ゲームプレイプレイ動画についての実況を行う実況キャラクタ動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段、前記ゲームプレイのプレイ状況分析する分析手段、前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段、として機能させるためのプログラム

請求項2

ユーザの音声を取得する制御を行う音声取得制御手段、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記音声取得制御手段により取得された音声に基づいて、前記実況キャラクタの動作を制御する音声呼応制御を行う音声呼応制御手段を有する、請求項1に記載のプログラム。

請求項3

前記実況動画生成手段は、前記ユーザが行っている前記ゲームプレイの動画を前記プレイ動画として前記実況動画を生成し、前記音声取得制御手段は、前記ゲームプレイを行っている際の前記ユーザの音声を取得する制御を行う、請求項2に記載のプログラム。

請求項4

前記音声呼応制御手段は、前記プレイ状況が前記音声呼応制御を受け付ける状況であることを示す音声受付状況条件を満たす場合に、前記音声取得制御手段により取得された音声に基づいて前記実況キャラクタの動作を制御する、請求項3に記載のプログラム。

請求項5

前記実況動画生成手段は、前記音声取得制御手段により取得された前記ユーザの音声を実況音声として前記実況動画を生成する、請求項2〜4の何れか一項に記載のプログラム。

請求項6

ユーザのコメントを取得する制御を行うコメント取得制御手段、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記コメント取得制御手段により取得されたコメントに基づいて、前記実況キャラクタの動作を制御するコメント呼応制御を行うコメント呼応制御手段を有する、請求項1に記載のプログラム。

請求項7

前記実況動画生成手段は、前記ユーザが行っている前記ゲームプレイの動画を前記プレイ動画として前記実況動画を生成し、前記コメント取得制御手段は、前記ゲームプレイを行っている際の前記ユーザのコメントを取得する制御を行う、請求項6に記載のプログラム。

請求項8

前記コメント呼応制御手段は、前記プレイ状況が前記コメント呼応制御を受け付ける状況であることを示すコメント受付状況条件を満たす場合に、前記コメント取得制御手段により取得されたコメントに基づいて前記実況キャラクタの動作を制御する、請求項7に記載のプログラム。

請求項9

前記実況動画の配信を制御する、或いは、所定の配信システムへ前記実況動画のデータをアップロードすることで前記実況動画の配信を制御する配信制御手段、として前記コンピュータシステムを機能させるための請求項1〜8の何れか一項に記載のプログラム。

請求項10

前記実況動画中の前記プレイ動画および前記実況キャラクタのレイアウトを設定するレイアウト設定手段、として前記コンピュータシステムを機能させるための請求項1〜9の何れか一項に記載のプログラム。

請求項11

前記実況キャラクタ制御手段は、前記実況キャラクタの動作制御パターン選択候補をユーザへ提示し、選択された選択候補の動作制御パターンに基づいて前記実況キャラクタの動作を制御する動作制御パターン選択制御手段を有する、請求項1〜10の何れか一項に記載のプログラム。

請求項12

ユーザの操作入力に基づいて前記実況キャラクタの動作制御パターンを設定する動作制御パターン設定手段、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記動作制御パターン設定手段により設定された動作制御パターンに基づいて前記実況キャラクタの動作を制御する、請求項1〜11の何れか一項に記載のプログラム。

請求項13

前記実況キャラクタ制御手段は、前記実況キャラクタの外観変更制御する、請求項1〜12の何れか一項に記載のプログラム。

請求項14

前記分析手段は、前記プレイ動画を画像解析し、その画像解析結果に基づいて前記プレイ状況を分析する、請求項1〜13の何れか一項に記載のプログラム。

請求項15

前記分析手段は、前記ゲームプレイの操作入力情報解析し、その解析結果に基づいて前記プレイ状況を分析する、請求項1〜14の何れか一項に記載のプログラム。

請求項16

前記実況動画生成手段は、前記分析手段の分析結果に基づいて、前記実況キャラクタの動画、および/又は、前記プレイ動画の再生速度を変更して前記実況動画を生成する、請求項1〜15の何れか一項に記載のプログラム。

請求項17

ゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段と、前記ゲームプレイのプレイ状況を分析する分析手段と、前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段と、を備えたコンピュータシステム。

技術分野

0001

本発明は、コンピュータ動画を生成する機能を実現させるためのプログラム等に関する。

背景技術

0002

近年、ゲームプレイプレイ動画編集し、ユーザが別音声(例えば、実況解説、その時々の仲間とのチャットの音声)などを加えて作成した実況動画を、動画配信サイトを利用して配信するユーザ、いわゆる「ユーチューバー(YouTuber)」が知られるようになった。また、それに関する技術も知られるところである(例えば、特許文献1を参照)。近年では、ユーチューバーに代わって「ブイチューバー(Vtuber)」と言われる架空キャラクタが実況をするように見せる形態も知られるようになった。以降、そうした架空のキャラクタを「実況キャラクタ」と言う。

先行技術

0003

特開2017−182603号公報

発明が解決しようとする課題

0004

さて、一般的に、ユーチューバーが実況動画を配信するには、プレイ動画の用意、動画編集実況音声(多くはユーチューバーが話すユーザ音声)の追加、配信サイトへのアップロード、と言う段階を経ることとなる。更に実況動画中に実況キャラクタを登場させるには、あたかも実況キャラクタが、実況アナウンサースポーツ番組パーソナリティのごとく振る舞う動作を設定して実況キャラクタの動画を生成し、これをプレイ動画に合成する段階が必要になる。この実況キャラクタの動作設定と、実況キャラクタの動画の用意は、それなりの機材と時間を要するため、ブイチューバーとして活動してみたくとも始められないユーザが多くいた。

0005

また、実況キャラクタの動作設定と、実況キャラクタの動画の用意は、実況動画配信形式にも制限を与えていた。具体的には、ユーチューバー自身がプレーヤとしてプレイしながらリアルタイムに実況するライブ形式の実況動画配信の場合、ユーチューバーはプレイ操作と、実況や解説と、実況キャラクタの操作との、1人3役を同時にこなさなければならない。そのため、一時たりともプレイ操作を止められないジャンルのゲーム(例えば、アクションゲームやシューティングゲームフライトシミュレータ、など)を、実況キャラクタを用いたライブ形式で配信する行為を実現することは難しかった。

0006

本発明は、実況キャラクタを用いた動画配信に係るユーザを補助するための新たな技術の提供を課題として考案されたものである。

課題を解決するための手段

0007

上記した課題を解決するための第1の発明は、コンピュータシステムを、ゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段(例えば、図1サーバシステム1100、実況動画生成サーバ1102、図9サーバ処理部200s、実況動画生成制御部228、画像生成部292s、図19のステップS16)、前記ゲームプレイのプレイ状況分析する分析手段(例えば、図1のサーバシステム1100、実況動画生成サーバ1102、図9のサーバ処理部200s、分析部224、図19のステップS34)、前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段(例えば、図1のサーバシステム1100、実況動画生成サーバ1102、図9のサーバ処理部200s、実況キャラクタ制御部230、図20のステップS60およびステップS62)、として機能させるためのプログラムである。

0008

ここで言う「コンピュータシステム」とは、単数のコンピュータは勿論、複数のコンピュータが連携して構成されるものでもよい。

0009

第1の発明によれば、プレイ動画として表示されているゲームプレイのプレイ状況を自動的に分析し、分析結果に基づいて実況キャラクタを自動制御することができる。よって、ユーザは、実況キャラクタの動作を1つ1つ作成して、実況キャラクタを制御した動画を用意する必要がない。また、実況キャラクタの動作制御に係るユーザ操作の必要性を大幅に削減できるので、ユーザは、ゲームプレイしながらでも実況や解説の音声を入力さえすれば、実況キャラクタを用いたライブ形式の実況動画を簡単に生成することができるようになる。実況キャラクタを用いた動画配信に係るユーザを補助するための新たな技術を提供することができる。

0010

第2の発明は、ユーザの音声を取得する制御を行う音声取得制御手段(例えば、図1のサーバシステム1100、実況動画生成サーバ1102、図9のサーバ処理部200s、音声取得制御部222、図19のステップS12)、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記音声取得制御手段により取得された音声に基づいて、前記実況キャラクタの動作を制御する音声呼応制御を行う音声呼応制御手段を有する、第1の発明のプログラムである。

0011

第2の発明によれば、ユーザの音声に呼応して自動で実況キャラクタの動作を制御できる。例えば、驚きを示すユーザの音声が取得された場合には、実況キャラクタが驚く動作をするように自動制御することが可能になる。よって、実況キャラクタの動作にライブ感が付加され、音声呼応制御を行わない場合よりも実況動画の表現が豊かになる。また、ユーザからして見れば、実況キャラクタを声で操作できるので、実況動画の作成やライブ形式の実況動画の配信に係る作業が容易になる。

0012

第3の発明は、前記実況動画生成手段が、前記ユーザが行っている前記ゲームプレイの動画を前記プレイ動画として前記実況動画を生成し、前記音声取得制御手段は、前記ゲームプレイを行っている際の前記ユーザの音声を取得する制御を行う、第2の発明プログラムである。

0013

第3の発明によれば、ユーザはプレイしながら音声を入力し、その音声で実況キャラクタを操作できるようになるため、プレイ動画の実況動画を作成し易くなる。

0014

第4の発明は、前記音声呼応制御手段が、前記プレイ状況が前記音声呼応制御を受け付ける状況であることを示す音声受付状況条件を満たす場合に、前記音声取得制御手段により取得された音声に基づいて前記実況キャラクタの動作を制御する、第3の発明のプログラムである。

0015

第4の発明によれば、プレイ状況が音声受付状況条件を満たす場合にのみ音声入力を可能として、そのときに入力された音声に応じて実況キャラクタを動作させるようにできる。つまり、音声にて実況キャラクタを動作制御できるタイミングをプレイ状況に応じて適切に判定することが可能となる。

0016

第5の発明は、前記実況動画生成手段が、前記音声取得制御手段により取得された前記ユーザの音声を実況音声として前記実況動画を生成する、第2〜第4の何れかの発明のプログラムである。

0017

第5の発明によれば、ユーザの音声を実況音声とした実況動画を生成できる。

0018

第6の発明は、ユーザのコメントを取得する制御を行うコメント取得制御手段(例えば、図23のコメント取得制御部229)、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記コメント取得制御手段により取得されたコメントに基づいて、前記実況キャラクタの動作を制御するコメント呼応制御を行うコメント呼応制御手段(例えば、図23のコメント呼応制御部236)を有する、第1の発明のプログラムである。

0019

第6の発明によれば、ユーザが入力したコメントに基づいて実況キャラクタを制御できるようになる。

0020

第7の発明は、前記実況動画生成手段が、前記ユーザが行っている前記ゲームプレイの動画を前記プレイ動画として前記実況動画を生成し、前記コメント取得制御手段が、前記ゲームプレイを行っている際の前記ユーザのコメントを取得する制御を行う、第6の発明のプログラムである。

0021

第7の発明によれば、ユーザはプレイしながらコメントを入力し、そのコメントで実況キャラクタを操作できるようになる。

0022

第8の発明は、前記コメント呼応制御手段が、前記プレイ状況が前記コメント呼応制御を受け付ける状況であることを示すコメント受付状況条件を満たす場合に、前記コメント取得制御手段により取得されたコメントに基づいて前記実況キャラクタの動作を制御する、第7の発明のプログラムである。

0023

第8の発明によれば、コメントを用いて実況キャラクタを動作制御できるタイミングをプレイ状況に応じて適切に判定することが可能となる。

0024

第9の発明は、前記実況動画の配信を制御する、或いは、所定の配信システムへ前記実況動画のデータをアップロードすることで前記実況動画の配信を制御する配信制御手段(例えば、図1のサーバシステム1100、配信サーバ1103、図9のサーバ処理部200s、配信制御部240、図19のステップS16)、として前記コンピュータシステムを機能させるための第1〜第8の何れかの発明のプログラムである。

0025

第9の発明によれば、実況動画を配信できるようになる。

0026

第10の発明は、前記実況動画中の前記プレイ動画および前記実況キャラクタのレイアウトを設定するレイアウト設定手段(例えば、図1のサーバシステム1100、実況動画生成サーバ1102、図9のサーバ処理部200s、レイアウト設定部226、図19のステップS18)、として前記コンピュータシステムを機能させるための第1〜第9の何れかの発明のプログラムである。

0027

第10の発明によれば、実況動画におけるプレイ動画と実況キャラクタの相対位置や相対サイズなどの設定、いわゆる画面のレイアウトを設定できるようになる。

0028

第11の発明は、前記実況キャラクタ制御手段が、前記実況キャラクタの動作制御パターン選択候補をユーザへ提示し、選択された選択候補の動作制御パターンに基づいて前記実況キャラクタの動作を制御する動作制御パターン選択制御手段(例えば、図1のサーバシステム1100、実況動画生成サーバ1102、図9のサーバ処理部200s、動作制御パターン選択制御部234、図20のステップS58)を有する、第1〜第10の何れかの発明のプログラムである。

0029

第11の発明によれば、ユーザは、選択候補の中から自分が実況キャラクタの動作として適当と思うものを選択できるようになる。例えば、実況キャラクタが驚く動作をするべきとしても、その驚く動作は、本気で驚いている動作なのか、形式的に驚いて見せている動作なのかによってニュアンス違う。そして、その何れを行わせるかによって、実況キャラクタの性格付けが変わるので、ユーザは実況キャラクタの細やかな性格設定の管理が可能になる。

0030

第12の発明は、ユーザの操作入力に基づいて前記実況キャラクタの動作制御パターンを設定する動作制御パターン設定手段(例えば、図1のサーバシステム1100、実況動画生成サーバ1102、図9のサーバ処理部200s、動作制御パターン設定部220、図19のステップS8)、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記動作制御パターン設定手段により設定された動作制御パターンに基づいて前記実況キャラクタの動作を制御する、第1〜第11の何れかの発明のプログラムである。

0031

第12の発明によれば、実況キャラクタの動作制御パターンを、ユーザが設定することができるようになる。よって、メーカ或いは管理者が用意した既存の動作制御パターンに無いオリジナルの動作を実況キャラクタに行わせることができる。

0032

第13の発明は、前記実況キャラクタ制御手段が、前記実況キャラクタの外観変更制御する、第1〜第12の何れかの発明のプログラムである。

0033

第13の発明によれば、実況キャラクタの動作制御の変更とともに実況キャラクタの外観を変更することができる。例えば、実況キャラクタにビックリしたような動作をさせるとともに、その顔が青ざめる、といった外観の変更を行うことができるようになる。

0034

第14の発明は、前記分析手段が、前記プレイ動画を画像解析し、その画像解析結果に基づいて前記プレイ状況を分析する、第1〜第13の何れかの発明のプログラムである。

0035

第14の発明によれば、プレイ動画を画像解析することでプレイ状況を分析することができる。

0036

第15の発明は、前記分析手段が、前記ゲームプレイの操作入力情報解析し、その解析結果に基づいて前記プレイ状況を分析する、第1〜第14の何れかの発明のプログラムである。

0037

第15の発明によれば、ゲームプレイの操作入力情報に基づいてプレイ状況を分析することができる。

0038

第16の発明は、前記実況動画生成手段が、前記分析手段の分析結果に基づいて、前記実況キャラクタの動画、および/又は、前記プレイ動画の再生速度を変更して前記実況動画を生成する、第1〜第15の何れか一項に記載のプログラムである。

0039

印象的なシーンや衝撃的なシーンをスロー再生して、印象や衝撃をより効果的に伝える動画の演出手法がある。また、時間経過や状況説明には必要であるが観る側からすると、重要ではないシーンを早送りして進行のテンポを維持する演出手法がある。
第16の発明によれば、実況動画においても、そうした映像表現上のテクニックを自動的に適用し、演出性に富んだ実況動画を生成できるようになる。

0040

第17の発明は、ゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段と、前記ゲームプレイのプレイ状況を分析する分析手段と、前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段と、を備えたコンピュータシステムである。

0041

第17の発明によれば、第1の発明と同様の効果が得られるコンピュータシステムを実現できる。

図面の簡単な説明

0042

実況動画生成配信システムの構成の一例を示す図。
ユーザ端末の構成例を示す正面図。
実況動画の生成の概要について説明するための図。
プレイ状況の分析について説明するための図。
分析結果に基づく実況キャラクタの動作制御について説明するための図。
1つのプレイ状況に複数の実況キャラクタの動作制御パターンが割り当てられている場合の扱いについて説明するための図。
動作制御パターンのユーザ設定について説明するための図。
既存のプレイ動画に対して実況をつけて実況動画を作成する際のプレイ動画の再生速度の変更制御について説明するための図。
第1実施形態におけるサーバシステムの機能構成例を示す機能ブロック図。
第1実施形態におけるサーバ記憶部が記憶するプログラムやデータの例を示す図。
動作制御パターン定義データデータ構成例を示す図。
再生速度変更パターン定義データのデータ構成例を示す図。
ゲーム管理データのデータ構成例を示す図。
実況管理データのデータ構成例を示す図。
ユーザ管理データのデータ構成例を示す図。
プレイ動画登録データのデータ構成例を示す図。
実況動画登録データのデータ構成例を示す図。
ユーザ端末の機能構成の一例を示す機能ブロック図。
第1実施形態のサーバシステムにおける処理の流れを説明するためのフローチャート
図19より続くフローチャート。
第2実施形態におけるユーザ端末の機能構成の一例を示す機能ブロック図。
第2実施形態における端末記憶部が記憶するプログラムやデータの例を示す図。
第1実施形態の変形例におけるサーバシステムの機能構成例を示す機能ブロック図。

実施例

0043

以下、本発明の実施形態の一例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。

0044

〔第1実施形態〕
図1は、本実施形態の実況動画生成配信システムの構成例を示す図である。
実況動画生成配信システム1000は、実況動画の生成と実況動画を配信するサービスを提供するコンピュータシステムであって、ネットワーク9を介して相互にデータ通信が可能に接続されたサーバシステム1100と、複数のユーザ端末1500(1500a,1500b,…)とを含む。

0045

ネットワーク9は、データ通信が可能な通信路を意味する。すなわち、ネットワーク9とは、直接接続のための専用線専用ケーブル)やイーサネット(登録商標)等によるLAN(Local Area Network)の他、電話通信網ケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線無線を問わない。

0046

サーバシステム1100は、ゲームサーバ1101と、実況動画生成サーバ1102と、配信サーバ1103と、を有するコンピュータシステムである。

0047

ゲームサーバ1101は、実況動画生成配信システム1000の登録済みユーザでゲームのプレーヤとなるユーザ2(2a)(以降「プレーヤ」と言う。)が使用するユーザ端末1500(1500a)にてオンラインゲームを実行させるためのゲーム進行管理を行うサーバシステムであり、コンピュータシステムである。ゲームサーバ1101は、例えば、キーボード1106と、タッチパネル1108と、ストレージ1140とを有し、本体装置には制御基板1150を搭載する。

0048

制御基板1150には、CPU(Central Processing Unit)1151やGPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などの各種マイクロプロセッサVRAMやRAM,ROM等の各種ICメモリ1152、通信装置1153が搭載されている。なお、制御基板1150の一部又は全部は、ASIC(Application Specific IntegratedCircuit)や、FPGA(Field-Programmable Gate Array)、SoC(System on a Chip)により実現するとしてもよい。

0049

そして、ゲームサーバ1101は、制御基板1150が所定のプログラムおよびデータに基づいて演算処理することにより、ユーザ登録等に係るユーザ管理機能と、登録ユーザであるユーザ2(2a)がユーザ端末1500(1500a)でゲームプレイするのに必要なデータを提供する機能と、を実現する。なお、本実施形態ではユーザ2(2a)を1名として説明するが、複数名であってもよい。

0050

実況動画生成サーバ1102は、ゲームサーバ1101と同様のハードウェアにより実現可能であり、実況動画の生成に関する処理を担うコンピュータシステムである。本実施形態では、ゲームサーバ1101からプレイ動画のデータを取得し、実況動画生成配信システム1000の登録済みユーザであり且つ実況者となるユーザ(以降「実況ユーザ」と言う。)が設定した実況キャラクタが実況をする動画を、プレイ動画に合成した実況動画を生成する。本実施形態では、ユーザ2(2a)がゲームプレイをしながら実況者を兼ねるライブ形式の実況動画の配信を例示するので、ユーザ2(2a)は本実施形態では実況ユーザでもあることになる。

0051

配信サーバ1103は、ゲームサーバ1101と同様のハードウェアにより実現可能であり、動画データ(本実施形態では、プレイ動画や実況動画)の提供(いわゆる投稿)の受け付け、動画データの管理、動画データの配信、に関する処理を担う。本実施形態では、実況動画生成サーバ1102で生成された実況動画の動画データを逐次取得して、単数または複数の視聴者3(3a,3b,…)のユーザ端末1500(1500c,1500d,…)へ配信する。

0052

なお、図1では、それぞれ別々のサーバ装置として描いているが、一台のサーバ装置が3つのサーバ機能を実現する構成であってもよい。その場合、サーバシステム1100は各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であっても良い。また、サーバシステム1100を構成するハードウェアの設置場所は問わない。離れた場所に設置された独立した複数のサーバを、ネットワーク9を介してデータ通信させることで、全体としてサーバシステム1100として機能させる構成であっても良い。

0053

ユーザ端末1500(1500a,1500c,…)は、ユーザ2(2a,2c,…)がゲームプレイ、実況動画の生成、プレイ動画や実況動画の視聴、のために個別に使用するコンピュータシステムであって、ネットワーク9を介してサーバシステム1100にアクセスできる電子装置電子機器)である。機能的に言えば、ユーザ端末1500はゲーム装置、実況動画の編出装置動画視聴装置、となるものである。本実施形態のユーザ端末1500は、いわゆるスマートフォンと呼ばれる装置であるが、携帯型ゲーム装置や、タブレット型コンピュータパーソナルコンピュータ、などでもよい。

0054

図2は、本実施形態におけるユーザ端末1500の構成例を示す正面図である。
ユーザ端末1500は、方向入力キー1502と、ボタンスイッチ1504と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル1506と、スピーカ1510と、内蔵バッテリー1509と、マイク1512と、イメージセンサーユニット1520と、制御基板1550と、コンピュータ読み出し可能な記憶媒体であるメモリカード1540からデータを読み書きできるメモリカード読取装置1542と、を備える。その他、図示されていない電源タン音量調節ボタン等が設けられている。また、ゲームプレイ等の対価支払いが可能なICカード型のクレジットカードプリペイドカードに対して非接触にデータの読み書きが行えるICカード読取装置などを設けるとしてもよい。

0055

制御基板1550は、
1)CPU1551や、GPU,DSPなどの各種マイクロプロセッサ、
2)VRAMやRAM,ROM等の各種ICメモリ1552、
3)ネットワーク9に接続する携帯電話基地局無線LAN基地局などと無線通信するための無線通信モジュール1553、
4)インターフェース回路1557、などを搭載する。

0056

インターフェース回路1557には、タッチパネル1506のドライバ回路、方向入力キー1502およびボタンスイッチ1504からの信号を受信する回路、スピーカ1510へ音声信号を出力する出力アンプ回路、マイク1512で集音した音声の信号を生成する入力信号生成回路、イメージセンサーユニット1520で撮影された画像の画像データを入力する回路、メモリカード読取装置1542への信号入出力回路、などが含まれている。

0057

制御基板1550に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。なお、制御基板1550の一部又は全部をASICやFPGA、SoCにて構成してもよい。そして、制御基板1550は、本実施形態のゲームのユーザ端末としての機能を実現させるためのプログラムや各種データをICメモリ1552に記憶する。

0058

なお、本実施形態では、ユーザ端末1500はプログラムや各種設定データをサーバシステム1100からダウンロードする構成としているが、別途入手したメモリカード1540などの記憶媒体から読み出す構成としても良い。

0059

図3は、本実施形態における実況動画の生成の概要について説明するための図である。
本実施形態では、ユーザ2(2a)は、ゲームのプレーヤと、実況キャラクタ7を使った実況ユーザとを兼ねる。そして、ユーザ2(2a)は、ゲームのプレイ動画10と、そのゲームプレイを実況する実況キャラクタ7が動作する映像(実況キャラクタ7の動画)とを合成した実況動画12をライブ形式で配信する作業をする。

0060

ユーザ2(2a)のユーザ端末1500(1500a)では、ゲームサーバ1101と通信することでゲームが実行されてゲーム画面が表示される。このゲーム画面のライブでの連続的な表示が本実施形態におけるプレイ動画10となる。勿論、配信形式を、ライブ形式としなければ、別途、ゲーム画面を動画形式で保存してプレイ動画10とすることもできる。

0061

ゲームのジャンルは問わない。図3の例では、ユーザ2(2a)がプレーヤとして操作するプレーヤキャラクタ4が、他ユーザまたはコンピュータにより操作される敵キャラクタ6と戦闘するアクションゲームを示している。本実施形態のゲームでは、例えば、戦場で敵と遭遇すると、制限時間付きの対戦スタートし、制限時間内で撃破された側、または制限時間経過時点でダメージが大きい側が、当該ラウンドでの敗者となる。そして、所定数勝利を先取した側が戦闘での勝者となる。

0062

本実施形態では、ゲームサーバ1101は、ゲームの進行制御とともに、
1)ユーザ端末1500(1500a)から受信した操作入力の履歴の記録と、
2)ゲームを進行制御するための各種パラメータ値(以降、進行制御パラメータ値と言う。)の履歴の記録と、
3)プレイ動画10の動画データの記録と、
4)ユーザ端末1500(1500a)のマイク1512で集音されたユーザ2(2a)が発したゲームプレイ中の様々なユーザ音声の音声データの記録と、
を行う。

0063

実況動画生成サーバ1102には、ユーザ2(2a)の実況ユーザとしての登録情報と、事前に用意された実況キャラクタ7の設定情報と、が対応づけて記憶されている。

0064

実況動画生成サーバ1102は、ユーザ端末1500(1500a)にて所定の実況動画生成操作が入力されると、ゲームサーバ1101から、プレイ動画10(本実施形態ではライブのゲーム画面)、操作入力情報の履歴、進行制御パタメータ値の履歴、ユーザ音声、の各種データの取得を開始する。これらを以降総括して「プレイ情報」と言うこととする。

0065

そして、実況動画生成サーバ1102は、プレイ情報に基づいて、ゲームプレイのプレイ状況を分析する。ここで言う「プレイ状況」とは、ゲームの進行状況のことであり、実況の対象とされるゲームプレイの内容に相当する。例えば、「プレーヤが優勢」「プレーヤキャラクタがあと1撃で撃破されそう」「レアアイテムゲットした」「接戦である」「残り時間が1分を切った」などである。

0066

そして、実況動画生成サーバ1102は、プレイ状況の分析結果に基づいて、予め用意されている実況キャラクタ7の動作制御パターンのなかから、その時々の分析結果に相応する動作を定義する動作制御パターンを検索し、検索した動作制御パターンを用いて実況キャラクタ7の動作を制御する。

0067

実況キャラクタ7が動作する様子(実況キャラクタ7の動画)は、プレイ動画10とともに合成されて実況動画12の画面を構成する。また、プレイ動画10に含まれるゲーム音声と、実況音声となるユーザ音声と、が合成されることで音声が付加されて実況動画12が生成される。
実況動画12のデータは、逐次、実況動画生成サーバ1102から配信サーバ1103へ送信され、配信サーバ1103がライブ形式での実況動画12の配信を行う。

0068

本実施形態では、ライブ形式での実況動画12の配信を行うので、ゲームプレイの進行制御と、プレイ動画10の保存と、実況キャラクタ7の動作制御と、実況動画12の生成と、実況動画12の配信制御とは、並列的に同時進行で行われることとなる。

0069

従来であれば、プレイ動画の実況動画を配信するには、プレイ動画の録画、動画編集、実況音声の追加、配信サイトへのアップロード、と言った作業を1つ1つ行う必要がった。また、実況動画中に実況キャラクタを登場させるには、あたかも実況キャラクタが、実況アナウンサーやスポーツ番組のパーソナリティのごとく振る舞うような実況キャラクタの動作を実況ユーザが設定してその動画を作成し、これを合成する必要があった。

0070

しかし、本実施形態では、実況キャラクタ7が自動制御されるので、プレーヤであり実況ユーザであるユーザ2(2a)は、実況や解説の音声を発しつつゲームプレイの操作をするだけでよい。従来のような数々の段階を踏んだ作業を行わなくとも、簡単にブイチューバーとしてのライブ形式の実況動画12の配信が可能となる。

0071

また、プレーヤであり実況ユーザであるユーザ2(2a)は、実況や解説の音声を発しつつゲームプレイの操作をすることは、特に、一時たりともプレイ操作を止められないジャンルのゲーム(例えば、アクションゲームやシューティングゲーム、フライトシミュレータ、など)について、ライブ形式で実況動画を配信することを容易ならしめる。

0072

図4は、本実施形態におけるプレイ状況の分析について説明するための図である。
本実施形態では、プレイ状況の分析を4通りの手法で行う。
第1の手法として、実況動画生成サーバ1102はプレイ動画10の画像解析を行う。例えば、画像解析辞書データ512には、プレイ動画10のキャプチャ画像と比較される辞書画像と、当該辞書画像とマッチングした場合に認定されるプレイ状況と、が定義されている。実況動画生成サーバ1102は、キャプチャ画像と辞書画像との画像マッチング判定処理を実行し、適合した辞書画像の画像解析辞書データ512が示すプレイ状況を当該手法における分析結果とする。

0073

勿論、画像解析の方法は、これに限らず適宜選択可能である。例えば、プレーヤキャラクタ4の状態を画像解析で認識するには、プレーヤキャラクタ4のヒットポイントゲージを解析するための画像解析辞書データ512を用意しておく。そして、ヒットポイントが基準値より低くなっていると認識された場合には、「プレーヤキャラクタがピンチ」のプレイ状況を当該手法における分析結果とするとしてもよい。また例えば、敵キャラクタ6が撃破されたときの演出表示の画像をキャップチャ画像内から検索して、該当する画像が含まれていれば、「敵を撃破」のプレイ状況を当該手法における分析結果とするとしてもよい。

0074

第2の手法として、実況動画生成サーバ1102は進行制御パラメータ値を進行制御パラメータ値用辞書データ514と比較して、適合する進行制御パラメータ値用辞書データ514に予め対応づけられているプレイ状況を当該手法における分析結果とする。例えば、プレーヤの勝利数を敵の勝利数が上回っている値が、所定の劣勢基準値に達していることを示す認識基準が満たされた場合に、「プレーヤは劣勢」のプレイ状況を当該手法における分析結果とする。

0075

第3の手法として、ユーザ2(2a)のゲームプレイの操作入力情報の履歴を操作入力情報用辞書データ516と比較して、適合する辞書データに予め対応づけられているプレイ状況を当該手法における分析結果とする。例えば、敵キャラクタ6に関する操作入力情報が「必殺技発動」であれば、それに対応付けられている「敵が必殺技を発動」「プレーヤは危険」といったプレイ状況を当該手法における分析結果とするとしてもよい。

0076

第4の手法として、実況動画生成サーバ1102はユーザ音声を音声認識辞書データ518と比較して、適合する辞書データに予め対応づけられているプレイ状況を当該手法における分析結果とする。例えば、「ヤバい」「まずい」「失敗した」などのキーワード音声認識された場合には、それらに対応付けられている「プレーヤはミスをした」「プレーヤはピンチか!?」といったプレイ状況を当該手法における分析結果とするとしてもよい。

0077

なお、第4の手法は、プレイ状況が所定の音声受付状況条件を満たす場合にのみ適用することとしてもよい。ここで言う「音声受付状況条件」とは、たとえば、イベントが発生している場合である。ここで言う「イベント」は、レアアイテムの獲得、プレーヤキャラクタ4が撃破されたこと、敵キャラクタ6を撃破したこと、ユーザ音声の音量が基準値を超えた、などであり適宜設定可能である。勿論、音声受付状況条件による第4の手法の適用場面の限定は設けなくても良い。

0078

図5は、分析結果に基づく実況キャラクタの動作制御について説明するための図である。
実況動画生成サーバ1102には、予め動作種類別の動作制御パターン定義データ520が複数記憶されている。1つの動作制御パターン定義データ520は、動作種類521と、当該データ定義データの動作が実況キャラクタの動作制御に適用されるべき条件を示す適用要件522と、動作を実現するためのモーションデータ523と、動作とともに実行される演出表示を実現するためのエフェクトデータ524と、動作とともに適用される外観変更を実現するための外観変更データ525と、を含む。勿論、これら以外のデータも適宜含めることができる。

0079

実況動画生成サーバ1102は、分析結果に適合する適用要件522を有する動作制御パターン定義データ520を検索する。そして、検索された動作制御パターン定義データ520に設定されているモーションデータ523に従って実況キャラクタ7を動作制御し、エフェクトデータ524に従って演出表示を行い、外観変更データ525に従って実況キャラクタ7の外観を変更する。

0080

図5の例では、分析結果から、プレーヤキャラクタ4が「あと一撃で撃破される」状況が判明したことを示している。動作制御パターン定義データ520には、適用要件522がそうした「あと一撃で撃破される」状況に対応付けて設定された定義データがある。そのモーションデータ523に従って実況キャラクタ7は頭を抱えて焦る動作をし、焦りをコミカルに示すオブジェクトをエフェクトデータ524に従って付加表示し、外観変更データ525に従って白目と愕然と口を開けた外観に変更している。

0081

動作制御パターン定義データ520に、対象とするゲームタイトルゲームルールで生じると予測されるプレイ状況を細かに設定し、それに適当な実況キャラクタ7の動作を定義すれば、自ずとプレイ動画10で繰り広げられているプレイ状況を実況するのに適当なアクションを実況キャラクタ7が自動的に行ってくれる。プレーヤであり実況ユーザであるユーザ2(2a)は、自身の手でゲームプレイの操作入力を行いつつ、自身の音声で実況や解説をすることで、実況キャラクタ7の動作が制御されるため、ユーザ2(2a)が逐一、実況キャラクタ7の動作を制御するためだけの操作入力をしなくとも、良質な実況動画12が簡単にできあがる。

0082

図6は、1つのプレイ状況に複数の実況キャラクタ7の動作制御パターンが割り当てられている場合の扱いについて説明するための図である。
同じプレイ状況でも、異なる複数の動作を行う場合がある。例えば、とあるプレイ状況に対して、実況キャラクタ7が驚く動作をする場合、その驚く動作は、本気で驚く動作と、笑いを誘うような他の目的のために形式的に驚いて見せる動作、が考えられる。勿論、他にも異なる驚きの動作があるだろう。そして、その時どのような驚く動作を行うかによって、実況キャラクタの性格付けが変わり、実況動画12の全体としての演出の流れがきまる。実況ユーザであるユーザ2(2a)にとっては、重要な選択となる。

0083

本実施形態では、実況動画生成サーバ1102は、その時のプレイ状況に適合する定義データが複数検索された場合、それらを選択候補としてユーザ2(2a)に提示し、選択操作を受け付ける。そして、選択された定義データに従って実況キャラクタ7の動作を制御する。

0084

図6の例では、動作の候補として2つの選択候補30(30a,30b)が検索されており、実況動画生成サーバ1102は、実況ユーザのユーザ端末1500(1500a)にて、現在の実況キャラクタ7の動作の様子を示す動作モニタ像32と、選択候補30(30a,30b)に対応づけられる選択操作アイコン33(33a,33b)を、ゲーム画面W6(或いは図示されていない実況操作の画面)にてオーバーレイ表示させている。そして、ユーザ2(2a)が、タッチ操作した何れかの選択操作アイコン33に対応する動作制御パターンが、実況キャラクタ7の動作として適用されている。

0085

このように、本実施形態では、1つのプレイ状況に複数の動作制御パターンを割り当てることがあっても、ユーザ2(2a)は、ほんの僅かな操作で、実況キャラクタ7や実況動画12に係る重要な選択を簡単に行うことができる。

0086

なお、ユーザ端末1500が3軸加速度センサを搭載している構成においては、選択操作アイコン33へのタッチ操作による選択に代えて、ユーザ端末1500を振ったり傾けたりする操作によって選択入力するとしてもよい。この場合、ゲームプレイに重要な指先の操作を、動作制御パターンの選択に使わなくてすみ、ユーザビリティが向上するので好適である。

0087

図7は、動作制御パターンのユーザ設定について説明するための図である。
実況キャラクタ7の動作制御パターンは、基本的にはサーバシステム1100のメーカや管理者が用意するが、ユーザ自らが作成し登録することができる。

0088

ユーザ端末1500にて所定の動作制御パターンのユーザ設定操作が検出されると、実況動画生成サーバ1102は、ユーザ端末1500にて動作制御パターン設定画面W7を表示させる。当該設定画面では、動作制御パターンの新規設定既存パターンの編集の機能を呼び出す操作入力が可能とされる。

0089

新規設定では、複数の設定方法選択アイコン40(40a,40b,…)が表示される。
本実施形態では、ユーザ2が別途作成したモーションファイルを読み込むか、モーションキャプチャ機能を起動させてモーションデータのもとを作るか、予め用意されているモーション要素を組み合わせて新たなモーションを作成するか、を選択できる。

0090

図7では、モーションキャプチャ機能を起動させてモーションデータの素材を作る例を示している。ユーザ2(2a)は、ユーザ端末1500(1500a)にてモーションキャプチャ機能を起動させて、これを三脚42でグリーンバック44などの前に固定する。ユーザ端末1500は、イメージセンサーユニット1520のカメラをグリーンバック44に向けた姿勢とする。

0091

ユーザ2(2a)は、グリーンバック44の前で、ユーザ端末1500(1500a)へ向けて設定したいと考えている動作を行い、ユーザ端末1500(1500a)に撮影させる。

0092

ユーザ端末1500(1500a)は、撮影した動画を実況動画生成サーバ1102へ送信すると、実況動画生成サーバ1102は、撮影された動画から人体関節構造を認識し、認識した人体の関節の動きに基づいて、同じ動きを実況キャラクタ7で再現可能とするためのモーションデータ46を作成し、これをユーザ端末1500(1500a)へ送信する。そして、ユーザ端末1500(1500a)にて、受信したモーションデータ46の編集操作を受け付けるモーション編集画面W8を表示させる。

0093

ユーザ2(2a)は、モーション編集画面W8での編集操作で、モーションの不要な動作部分カットし、適当なデータ名を設定する。ユーザ端末1500は、所定のアップロード操作を検出すると、編集されたモーションデータ46を実況動画生成サーバ1102にユーザアカウントとともに送信する。そして、実況動画生成サーバ1102は、アップロードされた動作制御パターン定義データ520を、受信したユーザアカウントに対応づけて登録・記憶する。

0094

こうした動作制御パターンのユーザ設定サービスを利用することで、ユーザ2(2a)は、実況キャラクタ7に動作の点においてオリジナリティーを付与することができる。

0095

なお、撮影画像からモーションデータを生成する処理は、ユーザ端末1500にて行う構成としてもよい。また、モーションデータ46は、その他の方法(例えば、3DCG作成ソフトウェアで作成する)などであってもよい。

0096

ここまで、本実施形態におけるライブ形式での実況動画12の配信を前提に説明してきたが、実況動画生成配信システム1000では、ユーザ2(2a)が、既に記録・登録されたプレイ動画10(以降、既存のプレイ動画10と言う。)に対して、ユーザ2(2a)が実況や解説の音声を入力する一方で、実況キャラクタ7を自動制御させて実況動画12を作成することもできる。

0097

図8は、既存のプレイ動画10に対して実況をつけた実況動画12を作成する際に、プレイ動画10の再生速度を変更制御する技術について説明するための図である。
既存のプレイ動画10を用いて実況動画12を作成する場合、実況動画生成サーバ1102は、ユーザ音声の音声認識において、所定の再生速度を変更するキーワードが検出された場合、実況の対象であるプレイ動画10の再生速度を変更する。

0098

具体的には、図8(1)に示すように、そのシーンをゆっくりと見せることでより印象を高める演出手法が効果的なプレイ状況の場合に、ユーザが発すると予測されるキーワード(例えば、図8(1)中の例は、「レアアイテム)ゲット!」「ボス攻略!」)が、ユーザ音声の認識にて検出された場合には、実況の対象とされる既存のプレイ動画10の再生速度を、一定時間または所定の解除条件が満たされるまでスロー再生に変更する。但し、実況キャラクタ7の動作については、標準のまま維持するものとする。

0099

また、図8(2)に示すように、時間経過や状況説明には必要であるが、動画を閲覧する側からすると退屈になりがちなシーンを早送りして進行のテンポを維持する演出手法が効果的なプレイ状況であることを示す音声キーワード(例えば、図8(2)中の例は、「サクッと飛ばしましょう」「流しましょう」)が、ユーザ音声の認識にて検出された場合には、実況の対象とされる既存のプレイ動画10の再生速度を、一定時間または所定の解除条件が満たされるまで早送り再生(1倍速以上の倍速再生の意)に変更する。但し、実況キャラクタ7の動作については、標準のまま維持するものとする。

0100

このように、本実施形態によれば、実況動画12においても、スロー再生や早送り再生を駆使した映像表現上のテクニックを自動的に適用し、演出性に富んだ実況動画を生成できるようになる。

0101

なお、再生速度の変更には、逆再生、それを利用した繰り返し再生などを適宜含めることができる。また、プレイ動画10の再生速度の変更に合わせて、実況キャラクタ7の動作の速度を変更したり、実況キャラクタ7の動画の再生速度を変更したりしてもよい。また、再生速度の変更は、ライブ形式の実況動画12の配信であっても、その場でリプレイ動画を生成できる構成の場合には、同様に適用することができる。

0102

図9は、サーバシステム1100の機能構成例を示す機能ブロック図である。
サーバシステム1100は、操作入力部100sと、サーバ処理部200sと、音出力部390sと、画像表示部392sと、通信部394sと、サーバ記憶部500sとを備える。

0103

操作入力部100sは、サーバの管理のための各種操作を入力するための手段である。図1のキーボード1106がこれに該当する。

0104

サーバ処理部200sは、例えばCPUやGPU、ASIC、FPGA等の演算回路となるプロセッサの他、ICメモリなどの電子部品によって実現され、操作入力部100sやサーバ記憶部500sを含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部100sからの操作入力信号、ユーザ端末1500などから受信したデータ、等に基づいて各種の演算処理を実行して、サーバシステム1100の動作を統合的に制御する。

0105

そして、サーバ処理部200sは、ユーザ管理部210と、ゲーム管理部212と、動作制御パターン設定部220と、音声取得制御部222と、分析部224と、レイアウト設定部226と、実況動画生成制御部228と、実況キャラクタ制御部230と、配信制御部240と、計時部280sと、音生成部290sと、画像生成部292sと、通信制御部294sとを含む。勿論、これら以外の機能部も適宜含めることができる。

0106

本実施形態では、ユーザ管理部210とゲーム管理部212は、ゲームサーバ1101の機能に該当する。また、動作制御パターン設定部220と、音声取得制御部222と、分析部224と、レイアウト設定部226と、実況動画生成制御部228と、実況キャラクタ制御部230とは、実況動画生成サーバ1102の機能に該当する。また、配信制御部240は、配信サーバ1103の機能に該当する。勿論、サーバシステム1100のハードウェア構成によっては、これらを1台のサーバ装置で実現するなど、機能とハードウェアとの分担関係はこれに限定されるものではない。

0107

ユーザ管理部210は、ユーザ登録手続きに係る処理及びユーザアカウントに紐付けられる各ユーザの情報の記憶管理を行う。

0108

ゲーム管理部212は、ゲームの進行制御などゲーム実行に関する各種処理を行う。

0109

動作制御パターン設定部220は、ユーザの操作入力に基づいて実況キャラクタ7の動作制御パターンを設定する。

0110

音声取得制御部222は、ゲームプレイを行っている際のユーザの音声を取得する制御を行う。

0111

分析部224は、ゲームプレイのプレイ状況を分析する。具体的には、分析部224は、プレイ動画10を画像解析し、その画像解析結果に基づいてプレイ状況を分析する。また、分析部224は、ゲームプレイの操作入力情報を解析し、その解析結果に基づいてプレイ状況を分析することができる。

0112

レイアウト設定部226は、実況動画12の中のプレイ動画10および実況キャラクタ7のレイアウトを設定する。ここで言う「レイアウト」とは、実況動画12の画面表示内におけるプレイ動画10と実況キャラクタ7の相対位置や相対サイズなど、双方の表示のさせ方の設定である。勿論、実況動画12のゲーム画面内に表示される要素は、プレイ動画10と実況キャラクタ7以外の表示要素も含めることは可能であり、その場合はその表示要素についての設定もレイアウトの設定に含めることができる。

0113

実況動画生成制御部228は、ゲームプレイのプレイ動画10についての実況を行う実況キャラクタ7の動画と、プレイ動画10とを合わせた実況動画12を生成する制御を行う。実況動画生成制御部228は、後述する画像生成部292sとともに、実況動画生成手段として機能する。具体的には、実況動画生成制御部228は、ユーザが行っているゲームプレイの動画を実況対象のプレイ動画10とし、音声取得制御部222により取得されたユーザの音声を実況音声として実況動画12を生成する。

0114

また、実況動画生成制御部228は、分析部224の分析結果に基づいて、実況キャラクタ7の動画、および/又は、プレイ動画10の再生速度を変更して実況動画を生成することができる。

0115

実況キャラクタ制御部230は、分析部224の分析結果に基づいて、実況キャラクタ7を制御する。具体的には、実況キャラクタ7の動作制御と、外観の変更制御と、実況キャラクタ7の動作制御に付随して表示される演出表示の表示制御と、を行う。そして、実況キャラクタ制御部230は、音声呼応制御部232と、動作制御パターン選択制御部234と、を有する。

0116

音声呼応制御部232は、プレイ状況が音声呼応制御を受け付ける状況であることを示す音声受付状況条件を満たす場合に、音声取得制御部222により取得された音声に基づいて、実況キャラクタ7の動作を制御する音声呼応制御を行う。

0117

動作制御パターン選択制御部234は、実況キャラクタ7の動作制御パターンの選択候補をユーザへ提示し、選択された選択候補の動作制御パターンに基づいて実況キャラクタ7の動作を制御する。

0118

配信制御部240は、実況動画12の配信を制御する。

0119

計時部280sは、システムクロックを利用して現在日時や制限時間等の計時を行う。

0120

音生成部290sは、音声データの生成やデコードをするICやソフトウェアの実行により実現され、サーバシステム1100のシステム管理や動画配信に係る操作音BGMなどの音声データを生成或いはデコードする。そして、システム管理に関する音声信号は音出力部390sへ出力する。

0121

音出力部390sは、音声信号を放音する。図1の例では本体装置やタッチパネル1108が備えるスピーカ(不図示)がこれに該当する。

0122

画像生成部292sは、画像の生成、画像の合成、画像表示部392sにそれらを表示させる画像信号の出力を行う。本実施形態では、サーバシステム1100のシステム管理に関する画像や、ゲーム画像(又はゲーム画像をユーザ端末1500で表示させるためのデータ)、実況動画12、などの画像を生成する機能の一部を担う。

0123

通信制御部294sは、データ通信に係るデータ処理を実行し、通信部394sを介して外部装置とのデータのやりとりを実現する。

0124

通信部394sは、ネットワーク9と接続して通信を実現する。例えば、無線通信機モデム、TA(ターミナルアダプタ)、有線用の通信ケーブルジャック制御回路等によって実現される。図1の例では通信装置1153が該当する。

0125

サーバ記憶部500sは、サーバ処理部200sにサーバシステム1100を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、サーバ処理部200sの作業領域として用いられ、サーバ処理部200sが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばRAMやROMなどのICメモリ、ハードディスク等の磁気ディスクCD−ROMやDVDなどの光学ディスクオンラインストレージなどによって実現される。図1の例では本体装置が搭載するICメモリ1152やハードディスクなどの記憶媒体、及びストレージ1140がこれに該当する。

0126

図10は、本実施形態におけるサーバ記憶部500sが記憶するプログラムやデータの例を示す図である。本実施形態におけるサーバ記憶部500sは、サーバプログラム501と、配信用クライアントプログラム503と、ゲーム初期設定データ510と、画像解析辞書データ512と、進行制御パラメータ値用辞書データ514と、操作入力情報用辞書データ516と、音声認識辞書データ518と、動作制御パターン定義データ520と、再生速度変更パターン定義データ540と、を記憶する。

0127

また、サーバ記憶部500sは、逐次生成・管理されるデータとして、ゲーム管理データ550と、実況管理データ570と、ユーザ管理データ600と、プレイ動画登録データ700と、実況動画登録データ730と、現在日時800と、を記憶する。サーバ記憶部500sは、その他のプログラムやデータ(例えばタイマや、カウンタ、各種フラグなど)も適宜記憶できる。

0128

サーバプログラム501は、サーバ処理部200sが読み出して実行することで、ユーザ管理部210〜配信制御部240としての機能を実現させるためのプログラムである。本実施形態では、サーバシステム1100は、ゲームサーバ1101、実況動画生成サーバ1102、配信サーバ1103の3つのハードウェア要素により構成されているので、それぞれが担う機能を実現するためのサーバプログラムが記憶されていることになる。

0129

配信用クライアントプログラム503は、ユーザ端末1500へ提供されるクライアントプログラムのオリジナルである。本実施形態では、1つの配信用クライアントプログラム503に、ユーザ端末1500にてオンラインゲームを実行させるための配信用ゲームクライアントプログラム503aと、ユーザ端末1500を実況動作の生成のための端末として機能させるための配信用実況クライアントプログラム503bと、を含む。これらは、別々にユーザ端末1500へ配信されるとしてもよい。

0130

ゲーム初期設定データ510は、オンラインゲームの実行に必要な各種初期設定データを含む。図10の例では、ゲーム初期設定データ510を1つのみ図示しているが、サーバシステム1100が提供するゲームタイトルが複数の場合は、ゲームタイトル別にゲーム初期設定データ510を記憶する。

0131

画像解析辞書データ512、進行制御パラメータ値用辞書データ514、操作入力情報用辞書データ516、音声認識辞書データ518は、分析部224がプレイ状況を分析するために参照する辞書データである(図4参照)。

0132

動作制御パターン定義データ520は、動作制御パターン別に用意され、当該パターンを定義する各種データを格納している。1つの動作制御パターン定義データ520は、例えば図11に示すように、固有の動作種類521と、適用要件522と、モーションデータ523と、エフェクトデータ524と、外観変更データ525と、設定者アカウント526と、使用許可範囲527と、を含む(図5参照)。

0133

適用要件522は、1つの条件、または複数の条件をANDやORで組み合わせることにより記述される。条件としては、例えば、
1)実況キャラクタ7の種類に関する条件であるキャラクタ種類条件522a、
2)プレイ動画10でプレイされているゲームタイトルに関する条件であるゲームタイトル条件522b、
3)画像解析に基づく分析結果についての条件である画像解析結果条件522c、
4)進行制御パタメータ値に基づく分析結果についての条件である進行制御条件522d、
5)操作入力情報に基づく分析結果についての条件である操作入力条件522e、
6)音声認識に基づく分析結果についての条件である音声認識結果条件522f、
を含む。勿論、これら以外の条件も適宜含めることができる。

0134

設定者アカウント526は、当該定義データの設定者を示す。基本的には、サーバシステム1100のメーカ或いは管理者を示す値となるが、ユーザ設定されたものについてはその者のユーザアカウントが設定される。

0135

使用許可範囲527は、当該定義データの使用が許可される範囲を示す。例えば、無制限に設定されれば、いつでも誰でも当該定義データを使用できる。特定のユーザアカウントを設定すれば、使用できるユーザを限定することになる。使用許可範囲527の設定は、動作制御パターンのユーザ設定における設定項目の1つに含まれる。

0136

図10に戻って、再生速度変更パターン定義データ540は、実況動画12内で表示されるプレイ動画10の再生速度を変更するパターン別に用意され、関連する各種データを格納する。1つの再生速度変更パターン定義データ540は、例えば図12に示すように、固有の再生速度変更パターンID541と、適用要件542と、適用再生速度543と、適用終了条件544と、を含む。勿論、これら以外のデータも適宜含めることができる。

0137

適用要件542は、当該定義データが適用されるために満たすべき条件を示す。適用要件542は、動作制御パターン定義データ520の適用要件522と同様に、単数の条件または複数の条件をANDやORで組み合わせることにより記述される。

0138

適用終了条件544は、再生速度の変更を終了して、標準速度に戻すための条件を指定する。例えば、当該定義データを適用し再生速度の変更を開始からの経過時間や、所定操作入力の検出、音声認識にて所定のキーワードの検出、などを設定することができる。

0139

図10に戻って、ゲーム管理データ550は、ユーザ端末1500でのゲームのプレイ毎に用意され、当該ゲームの実行を管理するための各種データを格納する。1つのゲーム管理データ550は、例えば図13に示すように、固有のゲーム管理ID551と、プレーヤアカウント552と、端末アクセス情報553と、最新進行制御パラメータ値554と、プレイ情報560と、を含む。勿論、これら以外のデータも適宜含めることができる。

0140

プレイ情報560は、プレイ動画データ561と、その時々の最新進行制御パラメータ値554を時系列に格納する進行制御パタメータ値履歴データ562と、操作入力情報を時系列に格納する操作入力履歴データ563と、ユーザ音声録音データ564と、を含む。

0141

図10に戻って、実況管理データ570は、実況動画12の生成毎に用意され、生成に係る各種データを格納する。1つの実況管理データ570は、例えば図14に示すように、実況の対象を示す実況対象ID571と、実況動画12の現在の画面のレイアウトを示す適用レイアウト種類572と、実況キャラクタ制御データ573と、実況動画データ574と、分析結果履歴データ580と、を含む。勿論、これら以外のデータも適宜含めることができる。

0142

実況対象ID571は、実況対象とするゲームプレイのゲーム管理ID551(図13参照)または既存のプレイ動画10に固有に設定されるプレイ動画ID701(図16参照)が設定される。

0143

適用レイアウト種類572は、実況開始時は所定の初期設定値とされるが、所定のレイアウト変更操作の入力に応じて変更される。

0144

実況キャラクタ制御データ573は、実況キャラクタ7の動作や表示の制御に必要な各種データを格納する。例えば、モーションデータの制御データ、演出表示の制御データ、外観用のテクスチャカラーテーブルの制御データ、位置情報姿勢情報、各種のフラグやカウンタ、などを格納する。

0145

分析結果履歴データ580は、プレイ状況の分析結果を時系列に格納する。本実施形態では、プレイ状況の分析に4通りの手法を用いるので、それぞれに対応するデータとして、画像解析結果履歴データ581と、進行制御パタメータ値基準分析結果履歴データ582と、操作入力情報基準分析結果履歴データ583と、音声認識結果履歴データ584と、を含む。

0146

図10に戻って、ユーザ管理データ600は、実況動画生成配信システム1000の登録ユーザ毎に用意され、当該ユーザに関する各種データを格納する。1つのユーザ管理データ600は、例えば図15に示すように、ユーザアカウント601と、端末アクセス情報602と、実況キャラクタ設定データ603と、実況キャラクタ7の種類を示すキャラクタ種類604と、自己設定動作種類リスト605と、を格納する。勿論、これら以外のデータも適宜格納するとしてもよい。

0147

実況キャラクタ設定データ603は、当該ユーザが使用する実況キャラクタ7毎に作成され、そのキャラクタモデルや、標準のテクスチャデータ、付加された外観装飾品アイテムリスト、カラーテーブル、などのデータを格納する。

0148

自己設定動作種類リスト605は、当該ユーザが動作制御パターンのユーザ設定機能を利用して設定した動作制御パターン定義データ520の動作種類521(図11参照)のリストである。

0149

図10に戻って、プレイ動画登録データ700は、既存のプレイ動画10毎に用意される。1つのプレイ動画登録データ700は、例えば図16に示すように、固有のプレイ動画ID701と、当該プレイ動画の投稿者提供者を示す提供ユーザアカウント702と、当該プレイ動画を記録する際のゲームプレイのプレイ情報710と、を格納する。勿論、これら以外のデータも適宜格納するとしてもよい。

0150

プレイ情報710は、登録時のプレイ情報560(図13参照)のコピーであり、プレイ動画データ711と、進行制御パタメータ値履歴データ712と、操作入力履歴データ713と、ユーザ音声録音データ714と、を含む。

0151

図10に戻って、実況動画登録データ730は、生成された実況動画12毎に作成される、いわば実況動画の登録データである。登録された実況動画12は、視聴者3からの要望に応じて随時配信の対象となる。1つの実況動画登録データ730は、例えば図17に示すように、固有の実況動画ID731と、提供ユーザアカウント732と、実況動画データ733と、を格納する。勿論、これら以外のデータも適宜格納するとしてもよい。

0152

図18は、本実施形態におけるユーザ端末1500の機能構成例を示す機能ブロック図である。ユーザ端末1500は、操作入力部100と、音声入力部102と、端末処理部200と、音出力部390と、画像表示部392と、通信部394と、端末記憶部500とを備える。

0153

操作入力部100は、プレーヤによってなされた各種の操作入力に応じた操作入力信号を端末処理部200に出力する。例えば、プッシュスイッチや、ジョイスティックタッチパッドトラックボール加速度センサジャイロCCDモジュール、などによって実現できる。図2の方向入力キー1502や、ボタンスイッチ1504、タッチパネル1506、イメージセンサーユニット1520、がこれに該当する。

0154

音声入力部102は、ユーザが発する音声(ユーザ音声)や環境音を集音し、音声信号を端末処理部200へ出力する。図2の例では、マイク1210がこれに該当する。

0155

端末処理部200は、例えばCPUやGPU等のマイクロプロセッサや、ICメモリなどの電子部品によって実現され、操作入力部100や端末記憶部500を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部100からの操作入力信号、サーバシステム1100から受信した各種データに基づいて各種の演算処理を実行して、ユーザ端末1500の動作を制御する。図2の制御基板1550がこれに該当する。そして、本実施形態における端末処理部200は、ユーザ端末演算部260と、計時部280と、音生成部290と、通信制御部294と、を備える。

0156

ユーザ端末演算部260は、操作信号送信制御部261と、画像表示制御部262とを含む。

0157

操作信号送信制御部261は、操作入力部100へなされた操作に応じて、各種データやリクエストをサーバシステム1100へ送信するための処理を実行する。本実施形態では、音声入力部102で集音されたユーザ音声の音声データの生成と、外部送信に関する制御も行う。

0158

画像表示制御部262は、サーバシステム1100から受信した各種データに基づいてゲーム画面等を表示するための制御を行う。本実施形態では、ゲーム空間画像ゲーム空間仮想カメラで撮影した画像;例えば、3DCG画像など)をサーバシステム1100にて生成する構成とするが、ゲーム空間画像をユーザ端末1500で生成する構成も可能である。その場合、画像表示制御部262は、例えば3DCGを生成するための仮想次元空間に配置されたオブジェクトの制御を含むこととなる。

0159

また、実況動画12の生成に関連して、本実施形態ではサーバシステム1100が実況キャラクタ7の動画を生成し、プレイ動画10と合成して実況動画12を生成するが、ユーザ端末1500側でこれらの生成や合成の処理を行う場合は、画像表示制御部262がこれらの一部または全部を担うこととなる。

0160

そして、画像表示制御部262は、画像表示部392へ画像信号を出力する。
画像表示部392は、画像表示制御部262から入力される画像信号に基づいて各種ゲーム画像や、実況動画12の生成に関する各種画面を表示する。例えば、フラットパネルディスプレイプロジェクターヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図2のタッチパネル1506がこれに該当する。

0161

音生成部290は、例えばデジタルシグナルプロセッサ(DSP)や、音声合成ICなどのプロセッサ、音声ファイル再生可能オーディオコーデック等によって実現され、ゲームに係る効果音やBGM、各種操作音の音信号、実況動画12の生成に係る操作音や効果音の音信号を生成し、音出力部390に出力する。

0162

音出力部390は、音生成部290から入力される音信号に基づいて効果音やBGM等を音出力する装置によって実現される。図2のスピーカ1510がこれに該当する。

0163

通信制御部294は、データ通信に係るデータ処理を実行し、通信部394を介して外部装置とのデータのやりとりを実現する。通信部394は、ネットワーク9と接続して通信を実現する。例えば、無線通信機、モデム、TA(ターミナルアダプタ)、有線用の通信ケーブルのジャックや制御回路等によって実現され、図2の無線通信モジュール1553がこれに該当する。

0164

端末記憶部500は、端末処理部200にユーザ端末1500を統合的に制御させるための諸機能を実現するためのプログラムや、各種データ等を記憶する。また、端末処理部200の作業領域として用いられ、端末処理部200が各種プログラムに従って実行した演算結果や操作入力部100から入力される入力データ等を一時的に記憶する。こうした機能は、例えばRAMやROMなどのICメモリ、ハードディスク等の磁気ディスク、CD−ROMやDVDなどの光学ディスクなどによって実現される。図2の制御基板1550が搭載するICメモリ1552やメモリカード1540がこれに該当する。オンラインストレージを利用する構成も可能である。

0165

本実施形態の端末記憶部500は、クライアントプログラム502、を記憶する。勿論、これら以外のプログラムやデータも適宜記憶することができる。

0166

クライアントプログラム502は、端末処理部200が読み出して実行することによってユーザ端末演算部260としての機能を実現させるためのアプリケーションソフトウェアである。本実施形態では、クライアントプログラム502は、サーバシステム1100から提供される配信用クライアントプログラム503(図10参照)のコピーである。なお、クライアントプログラム502は、専用のクライアントプログラムであっても良いし、ウェブブラウザプログラム及びインタラクティブな画像表示を実現するプラグインなどにより構成するとしても良い。

0167

次に、本実施形態の実況動画生成配信システム1000の動作について説明する。
図19図20は、サーバシステム1100における処理の流れを説明するためのフローチャートである。ここで説明する処理の流れは、サーバシステム1100が、サーバ処理部200sがサーバプログラム501を実行することにより実現される。なお、ユーザ端末1500では、クライアントプログラム502が実行されており、ゲームがプレイ可能であるとともに、実行動画の生成に関する機能が利用可能になっているものとする。

0168

図19に示すように、サーバシステム1100は、先ず動作制御パターンのユーザ設定を受け付ける(ステップS8;図7参照)。

0169

次に、サーバシステム1100は、実況管理データ570を作成し、初期化する(ステップS10;図14参照)。実況対象ID571はライブ形式での配信を意味する所定値とされ、適用レイアウト種類572は所定の初期値とされる。実況キャラクタ制御データ573、実況動画データ574、分析結果履歴データ580は、この段階では格納されない。

0170

次に、サーバシステム1100は、ユーザ端末1500で集音されたユーザ音声データの取得を開始する(ステップS12)。具体的には、実況動画生成サーバ1102が、ユーザ端末1500へ、マイク1512で集音したユーザ音声の音声データの生成と送信を開始させる。ユーザ端末1500は、ユーザの音声データの生成を開始して、逐次、実況動画生成サーバ1102へ送信する制御を開始する。

0171

次に、サーバシステム1100は、実況キャラクタ7の制御を開始し(ステップS14)、実況動画12の生成と記録とを開始し、ライブ形式の実況動画12の配信を行う場合は、ここで配信を開始する(ステップS16)。

0172

ステップS14の段階では、動作制御パターン定義データ520に基づく動作制御は行われないので、実況キャラクタ7は待機状態ポーズ動作をとるように制御される。そして、ステップS14以降、実況管理データ570の実況キャラクタ制御データ573が逐一更新され、ステップS16以降は実況動画データ574も逐一更新される。なお、この時点では、ゲームプレイは開始されていないので、ライブ映像であるプレイ動画10は実況動画12内には未だ表示されていない。実況動画12の流れとしては、実況ユーザであるユーザ2(2a)が、視聴者への挨拶や、これから始まる実況動画12の概要を話す時間帯となる。

0173

次に、サーバシステム1100は、ユーザ端末1500にて実況動画12のレイアウト変更操作の入力を検出した場合のレイアウト変更制御を開始する(ステップS18)。以降、ユーザ2(2a)は、実況中でも任意に画面のレイアウトを変更できるようになる。

0174

次に、サーバシステム1100は、ユーザ端末1500にて、所定のゲーム開始操作の入力を検出すると、ゲームプレイの準備制御を行う(ステップS30)。具体的には、ゲームサーバ1101が、ゲーム管理データ550(図13参照)を作成・初期化する。プレーヤキャラクタ4の選択及び設定の受け付け、プレイステージの選択受け付けを行い、仮想3次元空間にゲーム空間を構築し、プレーヤキャラクタ4や敵キャラクタ6のオブジェクトを配置する。また、最新進行制御パラメータ値554を初期化する。

0175

また、この段階で、サーバシステム1100は、実況対象にゲームプレイのプレイ動画10を設定する。つまり、ゲームサーバ1101からゲーム管理ID551が実況動画生成サーバ1102へ提供され、ゲーム管理ID551が実況対象ID571(図14参照)に設定される。

0176

そして、準備を終えたら、サーバシステム1100は、ゲーム進行制御とプレイ情報560の記録を開始し(ステップS32)、プレイ状況の分析を開始する(ステップS34)。具体的には、ゲームサーバ1101から実況動画生成サーバ1102へ、プレイ情報560の送信を開始する。実況動画生成サーバ1102は、プレイ情報560の受信を開始する。そして、実況動画生成サーバ1102は受信したプレイ情報560に基づくプレイ状況の逐次分析を開始し、分析結果を分析結果履歴データ580(図14参照)へ蓄積する。

0177

なお、ライブ形式ではない実況動画12の配信の場合、例えば実況対象が既存のプレイ動画10である場合には、ステップS30は、実況対象とする既存のプレイ動画10の選択設定の受け付けとなり、ステップS32は、既存のプレイ動画10の再生の開始とプレイ情報の参照の開始となる。

0178

逐一判定されるプレイ状況の分析結果が、何れかの再生速度変更パターン定義データ540(図12参照)の適用要件542を満たすならば(ステップS40のYES)、サーバシステム1100は、当該定義データに従って再生速度の変更を開始する(ステップS42)。開始された再生速度の変更は、当該定義データの適用終了条件544が満たされるまで継続されるものとする。

0179

図20に移って、その時の最新のプレイ状況の分析結果が、音声受け付け状況条件を満たし(ステップS50のYES)、且つ、適用要件522が満たされている動作制御パターン定義データ520(図11参照)がある場合(ステップS52のYES)、サーバシステム1100は、該当する定義データの動作制御パターンを選択候補として設定する(ステップS54)。

0180

もし、選択候補が複数であれば(ステップS56の複数)、サーバシステム1100は、ユーザ端末1500にて選択候補別の選択操作アイコン33を表示させて、それらをユーザに提示する(ステップS58;図6参照)。そして、ユーザにより選択された選択候補の動作制御パターン定義データ520の動作制御パターンで実況キャラクタ7の動作制御を開始する(ステップS60)。

0181

もし、選択候補が単数であれば(ステップS56の単数)、サーバシステム1100は、選択候補とされた動作制御パターン定義データ520の動作制御パターンで実況キャラクタ7の動作制御を開始する(ステップS62)。

0182

そして、サーバシステム1100は、動作制御の開始とともに、当該動作制御パターンに対応付けられている外観変更を開始し(ステップS64)、エフェクトの適用を開始する(ステップS66)。

0183

なお、適用開始された動作制御パターンの再現が終了したならば、サーバシステム1100は、実況キャラクタ7を待機状態のポーズ動作をとるように制御する。また、動作制御パターンの再現の終了とともに、外観変更が終了して標準の外観に戻され、エフェクトの適用も終了されるものとする。

0184

サーバシステム1100は、ステップS40〜ステップS66を、ユーザ端末1500にて所定の実況終了操作の入力が検出されるまで繰り返す(ステップS70のNO)。そして、実況終了操作の入力が検出されたならば(ステップS70のYES)、サーバシステム1100は、今回の実況動画12を改めて登録処理し、ライブ形式で実況動画12を配信している場合はここで配信を終了させ(ステップS74)、一連の処理を終了する。

0185

以上、本実施形態によれば、実況キャラクタを用いた動画配信に係る新しいユーザ補助技術を提供できる。すなわち、プレイ動画として表示されているゲームプレイのプレイ状況を自動的に分析し、分析結果に基づいて実況キャラクタを自動制御することができる。よって、ユーザは、実況キャラクタの動作を1つ1つ作成して、実況キャラクタを制御した動画を用意する必要がない。また、実況キャラクタの動作制御に係るユーザ操作の必要性を大幅に削減できるので、ユーザは、ゲームプレイしながらでも実況や解説の音声を入力さえすれば、実況キャラクタ7を用いたライブ形式の実況動画を簡単に生成することができるようになる。

0186

〔第2実施形態〕
次に、本発明を適用した第2実施形態について説明する。なお、以降では主に第1実施形態との差異について述べることとし、第1実施形態と同様の構成要素には、第1実施形態と同じ符号を付与して重複する説明は省略する。

0187

本実施形態は、第1実施形態ではサーバシステム1100が実行していた処理のうち、配信を除き、ゲーム管理と実況動画の生成に関する処理を、ユーザ端末1500にて実行する点が異なる。

0188

図21は、本実施形態におけるユーザ端末1500Bの機能構成例を示す機能ブロック図である。ユーザ端末1500Bは、第1実施形態のユーザ端末1500と比較すると、ユーザ端末演算部260に代えて、第1実施形態のゲーム管理部212に相当するゲーム管理部212Bを有し、当該ユーザ端末1500Bにてゲームを実行制御するための各種処理を実行する。また、ユーザ端末1500Bは、動作制御パターン設定部220、音声取得制御部222、分析部224、レイアウト設定部226、実況動画生成制御部228、実況キャラクタ制御部230と、配信制御部240Bと、を有する。

0189

配信制御部240Bは、生成した実況動画12のデータを所定の配信システム(本実施形態では、配信サーバ1103)へアップロードすることで実況動画12の配信を制御する。

0190

図22は、本実施形態における端末記憶部500が記憶するプログラムやデータの例を示す図である。本実施形態の端末記憶部500は、端末プログラム504を記憶する。端末プログラム504は、ゲーム管理部212B、動作制御パターン設定部220、音声取得制御部222、分析部224、レイアウト設定部226、実況動画生成制御部228、実況キャラクタ制御部230、としての機能を端末処理部200に実現させるためのプログラムである。端末プログラム504のオリジナルは、サーバシステム1100に配信用端末プログラムとして記憶させておき、適宜ダウンロードするとしても良い。

0191

また、本実施形態の端末記憶部500は、ゲーム初期設定データ510と、画像解析辞書データ512と、進行制御パラメータ値用辞書データ514と、操作入力情報用辞書データ516と、音声認識辞書データ518と、動作制御パターン定義データ520と、再生速度変更パターン定義データ540と、ゲーム管理データ550と、実況管理データ570と、を記憶する。これら各種データのオリジナルは、サーバシステム1100に記憶させておき、適宜ダウンロードするとしても良い。

0192

本実施形態におけるユーザ端末1500Bで実行される処理の流れは、第1実施形態におけるサーバシステム1100におけるそれと基本的に同じであり(図19図20参照)、ゲーム管理および実況動画の生成に関する処理をユーザ端末1500Bにて実行するのに合わせて、適宜各ステップの実行主体をユーザ端末1500Bと読み替えれば良い。

0193

ユーザ端末1500Bにてユーザ管理データ600を参照・変更する必要がある処理を実行する場合には、適宜サーバシステム1100へ必要なデータの提供や照合等をリクエストする。或いは、処理そのものをリクエストして対処するものとする。

0194

〔変形例〕
以上、本発明を適用した実施形態について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。

0195

(変形例その1)
第1実施形態では、ゲーム管理および実況動画の生成に関する処理をサーバシステム1100で実行する例を挙げ、第2実施形態では、ゲーム管理および実況動画の生成に関する処理をユーザ端末1500Bで実行する例を挙げたが、ゲーム管理および実況動画の生成に関する処理の実行主体は、上記実施形態に限らない。

0196

例えば、ゲーム管理に関する処理はサーバシステム1100にて担い、実況動画の生成に関する処理をユーザ端末1500にて担わせる構成も可能である。すなわち、ゲーム管理部212、動作制御パターン設定部220、音声取得制御部222、分析部224、レイアウト設定部226、実況動画生成制御部228、実況キャラクタ制御部230を、どのハードウェアにて実行させるかの割り当ては適宜設定可能である。

0197

(変形例その2)
また、上記実施形態では、プレイ状況の分析に係り、4つの分析の手法それぞれの分析結果全てに基づいて実況キャラクタ7に適用する動作制御パターンを選択するとしたが、4つの分析結果を選択して動作制御パターンの選択に用いる構成も可能である。

0198

例えば、実況動画生成サーバ1102は、これら4つの手法それぞれの分析結果に基づいて、最終的にその時々のプレイ状況の分析結果を最終決定するとしてもよい。具体的には、何れか1つの手法で分析結果が出力された場合には、当該分析結果を最終の分析結果とし、複数の手法が分析結果を出力した状況においては、各手法に予め設定されている採用優先順位が上位の手法による分析結果を最終の分析結果とするとしてもよい。勿論、多数決方式で、最終の分析結果を選択するとしてもよい。

0199

(変形例その3)
また、上記実施形態に、プレーヤ2aがプレイ中に入力したコメントに基づいて実況キャラクタを制御する要素を追加することができる。具体的には、例えば第1実施形態をベースとするならば、図23に示すように、プレーヤであるユーザ2(2a)のコメントを取得する制御を行うコメント取得制御部229を追加し、実況キャラクタ制御部230に、コメント取得制御部222により取得されたコメントに基づいて、実況キャラクタ7の動作を制御するコメント呼応制御を行うコメント呼応制御部236を追加する。

0200

コメント取得制御部229は、操作入力部110にキーボードが含まれる場合には、当該キーボードからのテキスト入力によりコメントを取得する。或いは、ゲーム画面内にテキスト入力部(例えば、ソフトウェアキーボードなど)を表示させてコメントを取得するとしてもよい。或いは、音声取得制御部222で取得した音声をそのまま音声コメントとしてもよいし、音声認識処理して得られたテキストテキストコメントとしてもよい。

0201

コメント呼応制御部236は、分析部224による第4の分析手法流用するとしてもよい。すなわち、音声取得制御部222で取得した音声コメントの音声(ユーザ音声)を音声認識辞書データ518と比較して、適合する辞書データに予め対応づけられているプレイ状況を当該手法における分析結果とし、当該分析結果に基づいて実況キャラクタ7の動作を制御することで、コメント呼応制御を実現してもよい。テキストコメントとして取得した場合は、取得したテキストを音声認識の結果として得られた単語と見なして、音声認識結果条件522f(図11参照)に基づく動作制御パターンを選択して実況キャラクタ7の動作制御を行うことで、コメント呼応制御を実現してもよい。

0202

また更には、プレイ状況がコメント呼応制御を受け付ける状況であることを示すコメント受付状況条件を、プレイ状況の分析に係る第4の手法における音声受付状況条件を流用して設定し、コメント受け付け状況条件を満たす場合に、コメント取得制御部229により取得されたコメントに基づいて実況キャラクタの動作を制御する、としてもよい。

0203

勿論、第2実施形態をベースとしても、同様にして、プレーヤ2aがプレイ中に入力したコメントに基づいて実況キャラクタを制御する要素を追加することができる。

0204

2…ユーザ
7…実況キャラクタ
10…プレイ動画
12…実況動画
30…選択候補
100…操作入力部
102…音声入力部
200s…サーバ処理部
212…ゲーム管理部
220…動作制御パターン設定部
222…音声取得制御部
224…分析部
226…レイアウト設定部
228…実況動画生成制御部
229…コメント取得制御部
230…実況キャラクタ制御部
232…音声呼応制御部
234…動作制御パターン選択制御部
236…コメント呼応制御部
240…配信制御部
500s…サーバ記憶部
501…サーバプログラム
502…クライアントプログラム
510…ゲーム初期設定データ
512…画像解析辞書データ
514…進行制御パラメータ値用辞書データ
516…操作入力情報用辞書データ
518…音声認識辞書データ
520…動作制御パターン定義データ
522…適用要件
523…モーションデータ
525…外観変更データ
540…再生速度変更パターン定義データ
550…ゲーム管理データ
560…プレイ情報
561…プレイ動画データ
562…進行制御パタメータ値履歴データ
563…操作入力履歴データ
564…ユーザ音声録音データ
570…実況管理データ
571…実況対象ID
572…適用レイアウト種類
573…実況キャラクタ制御データ
574…実況動画データ
580…分析結果履歴データ
581…画像解析結果履歴データ
582…進行制御パタメータ値基準分析結果履歴データ
583…操作入力情報基準分析結果履歴データ
584…音声認識結果履歴データ
603…実況キャラクタ設定データ
1000…実況動画生成配信システム
1100…サーバシステム
1101…ゲームサーバ
1102…実況動画生成サーバ
1103…配信サーバ
1500…ユーザ端末
W6…ゲーム画面
W7…動作制御パターン設定画面
W8…モーション編集画面

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ