図面 (/)

技術 映像編集システム

出願人 株式会社日立国際電気
発明者 小薗裕通田中宏幸
出願日 2017年9月26日 (1年9ヶ月経過) 出願番号 2017-185167
公開日 2019年4月18日 (3ヶ月経過) 公開番号 2019-062381
状態 未査定
技術分野 記録のためのテレビジョン信号処理
主要キーワード 改変作業 放送禁止用語 ブラー処理 増減処理 収録装置 済み映像データ 処理対象情報 登録ナンバー
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年4月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

配信される映像データに対するレンダリング処理を容易かつ速やかに行う。

解決手段

記録装置12には自動編集情報作成装置13が接続され、素材映像データは自動編集情報作成装置13に入力されてから、記録装置12に記憶される。自動編集情報作成装置13は、この素材映像データを読み込み、処理対象認識部131で、レンダリング処理を施す部分を認識する。この際、処理対象認識部131におけるプロセッサは、情報記憶部132に記憶された処理対象情報を基にして、この認識を行い、このように処理の対象となる部分とその処理についての情報(自動編集情報)を記録装置12に記憶させる。自動編集情報の内容における処理の対象となる部分に関する情報としては、具体的には、処理対象となる部分の映像フレーム位置、映像上の座標、あるいは処理対象が音声の場合には音声サンプルの位置の範囲、処理の内容等がある。

概要

背景

放送される番組映像データにおいて、放送に不適切な部分が画像の一部に存在する場合がある。こうした部分の例としては、例えば、海外ニュース番組の画像中において表示された時刻、映り込んだ特定の企業名、映り込んだ自動車登録ナンバー、映り込んだ通行人の顔等がある。このため、映像データを記憶してから配信させる際に、こうした部分に対応する画像の一部にレンダリング処理ブラー処理等)を施してから配信するビデオサーバシステムが知られている。こうしたビデオサーバシステムの構成の一例は、例えば特許文献1に記載されている。

このような処理の対象となる部分は、映像データの配信先あるいは配信目的に応じて異なる場合もあるため、同一の映像データに対して異なるレンダリング処理が施されたものを用いることが必要な場合も多い。特許文献1に記載の技術においては、このようなレンダリング処理後の映像データを配信すると共に、この処理後においてもレンダリング処理が施されていない元の映像データに対するアクセスが特に容易とされている。このため、先に施されたレンダリング処理とは異なる処理を再び元の映像データに対して容易に行うことができ、その処理後の映像データを配信することを容易、かつ速やかに行うことができる。

ここで、レンダリング処理の対象となる部分としては、上記のように複数種類のものがある。こうした部分の特定、あるいはこうした部分に対して具体的にどのような処理(ブラー処理等)を行うかは、ユーザによって設定されている。

概要

配信される映像データに対するレンダリング処理を容易かつ速やかに行う。記録装置12には自動編集情報作成装置13が接続され、素材映像データは自動編集情報作成装置13に入力されてから、記録装置12に記憶される。自動編集情報作成装置13は、この素材映像データを読み込み、処理対象認識部131で、レンダリング処理を施す部分を認識する。この際、処理対象認識部131におけるプロセッサは、情報記憶部132に記憶された処理対象情報を基にして、この認識を行い、このように処理の対象となる部分とその処理についての情報(自動編集情報)を記録装置12に記憶させる。自動編集情報の内容における処理の対象となる部分に関する情報としては、具体的には、処理対象となる部分の映像フレーム位置、映像上の座標、あるいは処理対象が音声の場合には音声サンプルの位置の範囲、処理の内容等がある。

目的

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力された素材映像データにおける画像又は音声の一部に対して処理を施した映像データを出力する映像編集システムであって、前記処理を施す部分を特定するための情報である処理対象情報を記憶する情報記憶手段と、前記処理対象情報に基づいて前記素材映像データにおける前記処理の対象となる部分を認識する処理対象認識手段と、を具備することを特徴とする映像編集システム。

請求項2

前記処理対象認識手段は、前記処理の対象となる部分と、当該部分に対する前記処理の内容とを特定した自動編集情報を生成し、前記自動編集情報を用いて前記素材映像データを編集する編集手段を具備することを特徴とする請求項1に記載の映像編集システム。

請求項3

前記編集手段において、前記自動編集情報が使用者によって改変された最終編集情報が生成され、当該最終編集情報に従って前記素材映像データが編集されることを特徴とする請求項2に記載の映像編集システム。

請求項4

前記最終編集情報と、前記最終編集情報が生成された際に用いられた前記自動編集情報との違いをフィードバックすることによって、前記処理対象情報を改変する処理対象情報改変手段を具備することを特徴とする請求項3に記載の画像編集システム

請求項5

前記素材映像データと、前記自動編集情報に基づいて編集された後の前記素材映像データと、を同時に表示させる表示手段を具備することを特徴とする請求項2から請求項4までのいずれか1項に記載の映像編集システム。

請求項6

前記表示手段は、前記自動編集情報に基づいて編集された後の前記素材映像データを表示させる際に、前記部分を強調表示することを特徴とする請求項5に記載の映像編集システム。

請求項7

前記編集手段は、前記表示手段によって前記素材映像データと前記自動編集情報に基づいて編集された後の前記素材映像データとを表示させた後で、使用者からの操作によって前記自動編集情報に基づいて編集された後の前記素材映像データを出力することを特徴とする請求項6に記載の映像編集システム。

請求項8

前記処理対象情報において設定された前記処理を施す部分のうち、特定の種類の前記部分が設定され、前記処理対象認識手段は、前記素材映像データにおいて前記特定の種類の前記部分を認識した際に、警告を発することを特徴とする請求項2から請求項7までのいずれか1項に記載の映像編集システム。

請求項9

前記編集手段は、前記処理対象認識手段が前記素材映像データにおいて前記特定の種類の前記部分を認識した場合に、前記自動編集情報を用いて前記素材映像データを編集する作業を中断することを特徴とする請求項8に記載の映像編集システム。

技術分野

0001

本発明は、映像編集を施して出力する映像編集システムに関する。

背景技術

0002

放送される番組の映像データにおいて、放送に不適切な部分が画像の一部に存在する場合がある。こうした部分の例としては、例えば、海外ニュース番組の画像中において表示された時刻、映り込んだ特定の企業名、映り込んだ自動車登録ナンバー、映り込んだ通行人の顔等がある。このため、映像データを記憶してから配信させる際に、こうした部分に対応する画像の一部にレンダリング処理ブラー処理等)を施してから配信するビデオサーバシステムが知られている。こうしたビデオサーバシステムの構成の一例は、例えば特許文献1に記載されている。

0003

このような処理の対象となる部分は、映像データの配信先あるいは配信目的に応じて異なる場合もあるため、同一の映像データに対して異なるレンダリング処理が施されたものを用いることが必要な場合も多い。特許文献1に記載の技術においては、このようなレンダリング処理後の映像データを配信すると共に、この処理後においてもレンダリング処理が施されていない元の映像データに対するアクセスが特に容易とされている。このため、先に施されたレンダリング処理とは異なる処理を再び元の映像データに対して容易に行うことができ、その処理後の映像データを配信することを容易、かつ速やかに行うことができる。

0004

ここで、レンダリング処理の対象となる部分としては、上記のように複数種類のものがある。こうした部分の特定、あるいはこうした部分に対して具体的にどのような処理(ブラー処理等)を行うかは、ユーザによって設定されている。

先行技術

0005

特開2012−34218号公報

発明が解決しようとする課題

0006

上記の技術においては、レンダリング処理のための操作はユーザによって行われ、このためには、ユーザは、実際に対象となる映像データを全場面にわたりチェックした上で、全ての場面において処理の対象となる部分を特定してから上記の処理を行わせることが必要となった。このため、上記の処理に際しては、ユーザの負担が大きくなった。また、上記のように同一の映像データに対して異なる処理を施す場合には、異なる処理を施した複数の映像データを作成する作業が必要となるため、特にその負担が大きくなった。

0007

また、このために、処理のミスが発生し、必要な部分に処理が施されずに処理が不要の部分に処理が施された映像データが誤って使用される場合もあった。こうした点を改善するために、レンダリング処理を確実かつ容易に行うことができることが望まれた。

0008

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

課題を解決するための手段

0009

本発明は、入力された素材映像データにおける画像又は音声の一部に対して処理を施した映像データを出力する映像編集システムであって、前記処理を施す部分を特定するための情報である処理対象情報を記憶する情報記憶手段と、前記処理対象情報に基づいて前記素材映像データにおける前記処理の対象となる部分を認識する処理対象認識手段と、を具備する。
また、前記処理対象認識手段は、前記処理の対象となる部分と、当該部分に対する前記処理の内容とを特定した自動編集情報を生成し、前記映像編集システムは、前記自動編集情報を用いて前記素材映像データを編集する編集手段を具備する。
また、前記編集手段において、前記自動編集情報が使用者によって改変された最終編集情報が生成され、当該最終編集情報に従って前記素材映像データが編集される。
また、前記映像編集システムは、前記最終編集情報と、前記最終編集情報が生成された際に用いられた前記自動編集情報との違いをフィードバックすることによって、前記処理対象情報を改変する処理対象情報改変手段を具備する。
また、前記映像編集システムは、前記素材映像データと、前記自動編集情報に基づいて編集された後の前記素材映像データと、を同時に表示させる表示手段を具備する。
また、前記表示手段は、前記自動編集情報に基づいて編集された後の前記素材映像データを表示させる際に、前記部分を強調表示する。
また、前記編集手段は、前記表示手段によって前記素材映像データと前記自動編集情報に基づいて編集された後の前記素材映像データとを表示させた後で、使用者からの操作によって前記自動編集情報に基づいて編集された後の前記素材映像データを出力する。
また、前記処理対象情報において設定された前記処理を施す部分のうち、特定の種類の前記部分が設定され、前記処理対象認識手段は、前記素材映像データにおいて前記特定の種類の前記部分を認識した際に、警告を発する。
また、前記編集手段は、前記処理対象認識手段が前記素材映像データにおいて前記特定の種類の前記部分を認識した場合に、前記自動編集情報を用いて前記素材映像データを編集する作業を中断する。

発明の効果

0010

本発明によると、配信される映像データに対するレンダリング処理を容易かつ速やかに行うことができる。

図面の簡単な説明

0011

実施形態に係る映像編集システムの構成を示すブロック図である。
実施形態に係る映像編集システムにおける処理前の映像(a)、処理後の映像(b)の例である。
実施形態に係る映像編集システムにおいて編集内容の確認のために表示部で表示される画像の例(その1)である。
実施形態に係る映像編集システムにおいて編集内容の確認のために表示部で表示される画像の例(その2)である。
実施形態に係る映像編集システムにおいて編集内容の確認のために表示部で表示される画像の例(その3)である。
実施形態に係る映像編集システムにおいて編集内容の確認のために表示部で表示される画像の例(その4)である。
実施形態に係る映像編集システムにおける制御部の動作(その1)を示すフローチャートである。
実施形態に係る映像編集システムにおける制御部の動作(その2)を示すフローチャートである。
実施形態に係る映像編集システムにおける制御部の動作(その3)を示すフローチャートである。
処理対象情報改変手段が処理対象情報を更新する動作の流れを示す図である。
ユーザによる自動編集済み映像データの評価をするための表示部における画像の一例である。

0012

次に、本発明を実施するための形態となる映像編集システムを、図面を参照して具体的に説明する。この映像編集システムは、元となる映像データ(素材映像データ)に対して、映像の一部に加工(レンダリング処理:ブラー等)を施した映像データ(編集済み映像データ)を作成し、出力する。映像におけるこのような処理が施される部分は、自動的に認識されて処理が施される。あるいは、このような部分の候補が認識され、この中から実際に処理を施す対象をユーザが選択した上で処理が施される。又は、画像の中からこのような部分をユーザが設定することができる。なお、上記の「処理が施される部分」は、映像データの一部又は、映像に伴う音声の一部分であってもよく、以下では、映像の一部であるものとして説明する。

0013

図1は、本発明の実施の形態に係る映像編集システム1の構成のブロック図である。ここで、HD−SDI規格の素材映像データは、収録装置11を介して入力し、記録装置ビデオサーバ)12は、これを記憶することができる。記録装置12には自動編集情報作成装置13が接続され、素材映像データは自動編集情報作成装置13に入力されてから、記録装置12に記憶される。ただし、素材映像データを自動編集情報作成装置13を介さずに記録装置12に直接入力させて記憶させてもよい。

0014

自動編集情報作成装置13は、この素材映像データを読み込み、処理対象認識部(処理対象認識手段)131で、レンダリング処理を施す部分を認識する。この際、処理対象認識部131におけるプロセッサは、情報記憶部(情報記憶手段)132に記憶された処理対象情報を基にして、この認識を行い、このように処理の対象となる部分とその処理についての情報(自動編集情報)を記録装置12に記憶させる。自動編集情報の内容における処理の対象となる部分に関する情報としては、具体的には、処理対象となる部分の映像フレーム位置、映像上の座標、あるいは処理対象が音声の場合には音声サンプルの位置の範囲、処理の内容等がある。処理の内容としては、処理対象が映像の場合にはモザイク処理、ブラー処理、映像カット輝度増減処理、処理対象が音声の場合にはミュート処理音量調整等がある。また、処理の対象とする理由(例えば放送禁止に該当する、特定企業名である等)も処理対象情報に含まれる。

0015

処理対象情報としては、例えば映像の配信先(目的)等に応じ、複数のものを設定することができる。これに応じて、例えばある一つの配信先に対しては処理の対象とならない部分を他の配信先に対しては処理の対象とすること、上記の処理の内容を配信先に応じて変える、等の操作が可能となる。こうした場合には、処理対象情報がユーザによって選択される構成とされる。

0016

また、後述するように、最終的に素材映像データに対して編集が行われる際には、処理対象となった部分や処理の内容は、ユーザによって確認された後に、修正が施される。こうした最終的な編集情報(最終編集情報)あるいは最終編集情報と自動編集情報との違いに関する情報も、情報記憶部132に記憶される。

0017

記録装置12には、素材映像データに対して実際にレンダリング処理を施す編集を行う編集装置14も、接続されている。編集装置14には、実際にこの編集作業を行うプロセッサを具備する編集制御部(編集手段)141と、素材映像データ、及びこれに編集が施された後の映像データに基づく映像を表示させる表示部(表示手段:ディスプレイ)142と、その画像や音声における各部分を選択する、あるいは指示を入力するための操作パネル操作手段)143が設けられる。表示部142と操作パネル143とが一体化されたタッチパネルディスプレイを用いることがより好ましい。

0018

編集制御部141は、素材映像データと上記の自動編集情報を記録装置12から読み出し、自動編集情報に基づいて素材映像データを編集した新たな映像データ(自動編集済み映像データ)を作成し、自動編集済み映像データを記録装置12に記憶させることができる。ただし、編集装置14においては、この自動編集済み映像データに基づく画像をユーザが表示部142で確認した上で、操作パネル143を操作して、自動編集済み映像データにおいて処理が施された部分のうち、適切でないと認識された部分の処理を解除するための指示を編集制御部141に出し、この処理の解除を行うこともできる。この場合には、素材映像データを参照することもできる。

0019

同様に、編集制御部141は、自動編集済み映像データに対して、更に追加の処理を施すこともできる。この際に新たに処理の対象となる部分は、ユーザによって指定される。この際にも、ユーザは、自動編集済み映像データに基づく映像を表示部142で確認した上で、操作パネル143を操作して、この操作を行うことができる。こうしたユーザによる操作によって、前記の自動編集情報が書き換えられた最終編集情報が生成される。この最終編集情報は素材映像データに対する編集処理に反映されると共に、後述されるように、処理対象情報の更新に利用される。

0020

同様に、編集制御部141は、記録装置12から素材映像データを直接読み込み、この素材映像データに基づく画像を表示部142でユーザに確認させた上で操作パネル143を操作させ、前記の自動編集情報を用いずに、処理の対象となる部分を指定し、レンダリング処理を施す操作を行うこともできる。この操作においては、ユーザは、自動編集情報とは無関係に、素材映像データに対してレンダリング処理を行うことができる。

0021

編集制御部141は、このように、自動編集情報に基づいて編集された自動編集済み映像データ、ユーザによって自動編集済み映像データ又は素材映像データが編集された編集済み映像データを、記録装置12に記録させることができる。

0022

制御部15は、上記の操作を行わせるために、上記の構成要素を全て制御する。制御部15におけるプロセッサは、ユーザからの指示によって、上記のように記録装置12に記憶された映像データ(素材映像データ、自動編集済み映像データ、編集済み映像データ)のうち、いずれかを選択して配信させることができる。なお、制御部15においてユーザに操作される部分と編集装置14(操作パネル143)とを一体化させてもよい。

0023

以下に、自動編集情報作成装置13、編集装置14の動作について説明する。自動編集情報作成装置13において、処理対象認識部131が処理の対象であると認識する部分は、情報記憶部132に記憶された処理対象情報に基づいて認識される。ここでは、一例として、海外のニュース番組の映像である素材映像データが用いられ、この画像の中で表示された時刻表示が対象となるものとする。この場合には、例えば「15:00」のように、0〜9までの数字と「:」とが組み合わされた表示がこれに該当するものと推定することができ、こうした部分が処理の対象となる旨が処理対象情報に記載されており、これを画像中において周知の文字認識手法で認識することができる。また、この数値時間経過に従って変化している場合にも、この表示が時刻表示であると認識することができる。

0024

図2(a)は、このような時刻表示が存在する素材映像データ中の画像の一例である。処理対象認識部131は、上記のようにこの画像の中で「15:00」を認識し、これが時刻表示であるために、処理の対象となることを認識する。このため、処理対象認識部131は、この部分に対してブラー処理を施す自動編集情報を作成し、これを読み込んだ編集制御部141は、図2(b)に示されるように、この画像において「15:00」の表示を含む領域にブラー処理を施した画像を生成する。素材映像データ中のある時点において上記のように処理の対象となる部分が認識されたら、素材映像データ中の全ての画像において対応する部分に同様の処理が施されて自動編集情報が作成され、記録装置12に記録される。

0025

編集装置14においては、この処理が適切であるか否かの判定がユーザによって行われる。このためには、この自動編集情報に基づく自動編集済み映像データの画像が表示部142において表示される。しかしながら、ユーザが処理後の画像のみを見た場合には、処理前の画像との違いを認識することが困難であるため、この処理あるいは処理対象となった部分が適切であるか否かを認識することが困難である。このため、編集制御部141は、自動処理が行われる前の画像と自動処理後の画像とを表示部142で並べて表示させることができる。これによって、ユーザは、2つの画像を対比し、この処理あるいは処理対象となった部分が適正であるか否かを判定することができる。

0026

こうした場合における表示方法図3に示す。ここでは、表示部142と操作パネル143とが一体化されたタッチパネルディスプレイ144が用いられているものとする。ここでは、画面の上側に表示A(左側)、表示B(右側)が設けられ、画面の下側の表示Cが操作パネル143に対応した部分となっている。ここでは、表示Aにおいては処理前の画像(素材映像データ)、表示Bにおいてはこれに対応して生成されるべき処理後の画像(自動処理済み映像データ)が示されている。ここで、処理対象となった部分を表示A、表示Bにおいて強調表示すれば、ユーザは、これらを容易に認識することができる。表示Cにおいては、現在表示A、Bにおいて示された画像の開始時からの経過時刻を示す表示、あるいはこの時刻を早送り、巻き戻しさせる等の操作を行わせるキー、実際にこの処理を確定して適用するか否かを問い合わせるキー等が設けられている。この構成によって、処理前の画像と自動処理後の画像を共に認識することができ、ユーザは、自動編集が適正であるか否かを容易に確認することができる。また、ユーザがこの処理を希望しない場合には、この処理を行わせないことができる。

0027

また、上記のように自動処理の前後の画像を比較する際に、これらの画像を同時に表示させても、例えば処理対象となった部分が小さな場合には、その認識に時間がかかる場合がある。図4は、こうした場合におけるタッチパネルディスプレイ144の表示の一例である。

0028

ここでは、画面の上側の表示Dにおいて処理対象となった部分を含む領域を破線等で示し、その左側の表示E、表示Fにおいて、それぞれこの破線領域を拡大し、更に処理対象となった部分を強調表示して表示させることができる。これによって、ユーザは、処理対象となった部分が適正であったか否かを容易に認識することができる。その後、ユーザは、画像の下側に設けられた操作パネル領域Cを操作して、上記と同様の操作を行うことができる。あるいは、例えばブラー処理を行う場合にはその程度を、あるいは塗りつぶし処理を行う場合にはそのパターンを調整することができる。また、処理対象となる部分の大きさ(領域)をより小さくする、あるいは大きくする等、改変することもできる。

0029

図3、4の例では、処理対象となった部分が単一の画像上において一つのみ存在した。しかしながら、こうした部分が単一の画像で複数存在する場合もある。図5は、こうした場合における表示の一例である。ここでは、処理の対象となった部分は4つあるものとする。上側の中央の表示Gにおいて、前記の表示Bと同様に、処理後の画像が表示される。ただし、ここでは、処理対象となった部分が点や矢印等によって示される、あるいは強調表示されている。表示Gの両側の表示Hにおいては、各部分の処理前の拡大画像(H1)と、処理対象情報に基づく処理の理由(H2)が表示されている。下側の表示Cについては前記と同様であるが、ここでは、この処理の適用の可否は、部分毎に設定可能とされる。

0030

なお、図5の例では、表示Gにおいて処理後の画像が、表示H1において処理前の画像が表示されたが、これらを逆転し、表示Gにおいて処理前の画像を同様に処理対象となる部分を明示した上で表示し、表示H1において表示後の各部分の画像を表示してもよい。

0031

また、上記の例においては、画像に対しての処理が行われたが、音声に対して処理が行われた場合には、他の表示方法を用いることができる。この場合、例えば処理前後の音声を同時に流すことによってユーザがこの可否の判断をすることは困難であるため、処理の対象となる部分がどこにあったかのみを表示させることが好ましい。図6は、こうした場合の表示の一例である。ここでは表示Iにおいて、処理の対象となる部分がどの時刻におけるどの内容(画像、音声)であるかが文字で記載されている。その上側の表示Jにおいて、処理後の映像を試写する否かが設定され、試写することが選択された場合には、前記と同様に処理後の映像が表示される。

0032

なお、上記においては、表示部142(タッチパネルディスプレイ144)で、素材映像データに基づく画像と自動編集済み映像データに基づく画像とが表示されるものとしたが、ここではこの画像はレンダリング処理のユーザによる評価のみに用いられるため、ある時点の静止画像として、素材映像データと自動編集済み映像データの比較ができれば十分である。このため、自動編集済み映像データに基づく画像を表示するに際しては、自動編集済み映像データそのものをこの時点で実際に作成する必要はない。上記の自動編集情報が定まっていれば、素材映像データにおけるある時点での静止画像に対して、この自動編集情報に基づく処理を施し、これを表示させれば、十分である。実際に素材映像データ全体に編集処理を行い自動編集済み映像データ全体を作成する作業と比べれば、容易かつ短時間でこの処理を行うことができる。

0033

また、表示部142(タッチパネルディスプレイ144)で表示される画像として動画を表示させる場合には、特定の時間あるいは複数フレーム毎の間引き処理を行った映像、プロキシ映像等を用いることができ、これによって使用するプロセッサの負担を軽減し、処理速度を高めることができる。また、音声信号についても同様であり、MP3、AAC等の圧縮技術を用いて、音質を低下させデータ容量を小さくした信号を用いることができる。

0034

上記のように、この映像編集システム1においては、レンダリング処理の対象となる部分が自動編集情報作成装置13によって自動的に認識され、これに応じた自動編集済み映像データが作成される。ただし、編集装置14を用いて、ここで行われた処理を容易に取り消すことができ、処理の対象となる部分を追加することもできる。このため、処理の対象となる部分をユーザが全て指定した従来の映像処理システムと比べて、レンダリング処理を容易かつ速やかに行うことができる。このように、ユーザによって最終的に編集・確認された編集内容(処理対象となった部分、処理の内容)は、自動編集情報と対応させた最終編集情報として、情報記憶部132にデータベースとして記憶される。あるいは、最終編集情報自身ではなく最終編集情報と自動編集情報の違いに関する情報を記憶させてもよい。こうした最終編集情報は、後述するように利用することができる。

0035

次に、実際に制御部15が図1の構成要素全体に対して行わせる動作について具体的に説明する。ます、実際には、素材映像データの中には、上記のようなレンダリング処理が必要となるものと、不要であるものとがある。このため、上記の動作を行う際には、実際には、素材映像データに応じて、制御部15が上記の構成要素を制御する。また、記録装置12においては、その後に用いることのない映像データは記憶させないことが、動作の効率化のためには好ましい。図7は、こうした点を考慮した制御部15が行わせる具体的な動作を示すフローチャートの一例である。ここでは、単純化のために、編集装置14を用いてユーザによって指定された処理は行われないものとする。また、図1において、素材映像データは自動編集情報作成装置13を介してのみ記憶装置12に入力する(記憶される)ものとする。

0036

ここでは、まず、収録装置11は、素材映像データを入手する(S1)。自動編集情報作成装置13は、この素材映像データを入手し、素材映像データ中の画像において処理対象となる部分があるかを解析する(S2)。ここでは、処理対象認識部131が、情報記憶部132中の情報を参照し、素材映像データ中の画像において処理対象となる部分があるかを認識し、この部分が認識された場合には、この部分に対する処理も、情報記憶部132中の情報に基づき、決定する(S3)。これによって、自動編集情報が作成される。処理の対象となる部分が認識されなかった場合(S4:No)には、素材映像データがそのまま記録装置12に記憶される(S5)。

0037

処理の対象となる部分が認識された場合(S4:Yes)には、制御部15は、素材映像データを記憶するか否かをユーザに問い合わせる(S6)。記憶しない場合(S6:No)には、前記の通り、編集装置14を用いて、この素材映像データに対して自動編集情報に基づく編集を行わせた自動編集済み映像データを作成し(S7)、この自動編集済み映像データと自動編集情報とを記録装置12に記憶させる(S8)。この場合には、記憶装置12に記憶される映像データは、編集後の自動編集済み映像データのみとなる、あるいは、素材映像データが記録装置12に記憶されていた場合には、素材映像データは自動編集済み映像データに置き換えられる。

0038

素材映像データを記憶する場合(S6:Yes)には、制御部15は、素材映像データと自動編集情報を記録装置12に記憶させた(S9)後、ユーザに対して、自動編集を行うか否かの確認を行う(S10)。自動編集を行わない場合(S10:No)には、処理は終了する。この場合には、記憶装置12には編集前の素材映像データと自動編集情報が記憶される。このため、この時点では自動編集済み映像データは存在しないが、編集装置14を用いて、後で容易に自動編集済み映像データを作成することができる。

0039

自動編集を行う場合(S10:Yes)には、制御部15は、編集装置14に自動編集済み映像データを作成させ(S11)、これを記録装置12に記憶させる(S12)。この場合には、記録装置12には、元となった素材映像データ、自動編集情報、自動編集済み映像データの全てが記憶される。このため、例えば、上記のように複数の処理対象情報が設定された場合において、同一の素材映像データに対して他の処理対象情報を用いた処理を後で行うことが容易となる。

0040

なお、記録装置12が収録装置11から素材映像データを直接受信してこれを記憶する場合には、上記のS6〜S8の工程は不要となる。ただし、自動編集済み映像データが記憶された(S12)後に、素材映像データを削除してもよい。

0041

図7のフローチャートにおいては、素材映像データの入力があった後における制御部15の動作が示された。一方、素材映像データが記録装置12に予め記憶されている状態で制御部15に対して映像の配信(出力)要求があり、これに応じて素材映像データが編集された後の映像データを出力させる場合もある。図8は、こうした場合における制御部15の動作の一例を示すフローチャートである。ここでは、少なくとも素材映像データは記録装置12に記憶されているものとする。

0042

ここで、制御部15は、配信の要求があった場合(S21)、記録装置12に自動編集済み映像データが記憶されているか否かを確認する(S22)。自動編集済み映像データが記憶されていなかった場合(S22:No)には、まず、自動編集情報が記憶されているか否かを確認する(S23)。自動編集情報が存在する場合(S23:Yes)には、制御部15は、前記のように編集装置14を用いて自動編集済み映像データを作成し、これを記録装置12に記憶させる(S24)。自動編集情報が存在しない場合(S23:No)には、制御部15は、自動編集情報作成装置13を用いて自動編集情報を作成してから(S25)、同様に編集装置14を用いて自動編集済み映像データを作成し、これを記録装置12に記憶させる(S24)。これによって、自動編集済み映像データが記憶されていなかった場合(S22:No)において、自動編集済み映像データが新たに作成されて記録装置12に記憶される。

0043

自動編集済み映像データが記憶されていた場合(S22:Yes)、あるいは上記のように新たに自動編集済み映像データが作成されて記憶された場合(S24)、には、制御部15は、この自動編集済み映像データに基づく画像を編集装置14(表示部142)で表示させ(S26)、この内容で配信してよいか否かをユーザに問い合わせる(S27)。

0044

この内容で配信してよい場合(S27:Yes)には、この自動編集済み映像データを、配信が許可された編集済み映像データと設定する(S28)。一方、この内容からの変更を希望する場合(S27:No)には、制御部15は、前記の図2,3のように編集装置14を用いて自動編集済み映像データを更に編集させ(S29)、この編集後の映像データを、配信が許可された編集済み映像データと設定し、記録装置12に記憶させる(S30)。この際、前記の通り最終編集情報も作成し、記憶させる。その後、制御部15は、上記のように記録装置12に記憶された編集済み映像データを配信させる(S31)。こうした動作によって、レンダリング処理が不要な場合には未編集の素材映像データが、レンダリング処理が必要な場合にはこれに対して適切に処理が施された映像データを速やかに配信させることができる。

0045

また、自動編集情報が作成されてもこれを適用して自動編集済み映像データを作成するのには時間を要し、記録装置12に様々な映像データを記憶させるのにも時間を要する。このため、配信において不要となることが明らかな映像データを記憶させない、作成しないことが好ましい。更に、処理の時間を短縮するために、ユーザが他の装置を用いて同時に映像を確認する場合もある。図9は、こうした点を考慮した制御部15の動作を示すフローチャートの一例である。

0046

ここでは、収録装置11が素材映像データを入手したら(S41)、この素材映像データをそのまま記録装置12に記憶するか否かが判断される(S42)。素材映像データの記憶が不要であると認識された場合(S42:No)には、前記の通りに自動編集処理が行われて自動編集済み映像データが作成され(S43)、この自動編集済み映像データを配信用の映像データであるとして記録装置12に記憶する(S44)。この場合においては、記録装置12に記録される映像データは自動編集済み映像データのみである。

0047

素材映像データの記憶をすると認識された場合(S42:Yes)には、まず、素材映像データが記録装置12に記憶される(S45)。その後、他装置も用いて素材映像データの解析を行うか否かが問い合わせられる(S46)。他装置も用いて素材映像データの解析を行う場合(S46:Yes)には、その後に、ユーザは、他装置を用いて素材映像データの解析を行い(S47)、その上で編集装置14を用いた以降の処理を開始させることができる。この解析結果を、以下の判定(S50、S56)に利用することができる。

0048

その後、自動編集を直ちに行うか否かが問い合わせられ(S48)、直ちに行わない場合(S48:No)には、自動編集情報作成装置13によって自動編集情報が作成され(S49)、その後で編集装置14は、この自動編集情報の内容でよいか否かを問い合わせる(S50)。この問い合わせを行う際には、実際に自動編集済み映像データは作成されていないが、ユーザは、この自動編集情報に基づく編集後の内容を確認するために、前記の通り、ある一時点での静止画像を用いて、この確認をすることが可能である。この内容を変更したい場合(S50:No)には、編集装置14は、ユーザにその修正を行わせる(S51)。その後、内容の変更がない場合(S50:Yes)にはそのままの自動編集情報に基づいて、素材映像データに対する実際の編集作業が行われた編集済み映像データが作成される(S52)。この編集済み映像データが、配信用の映像データとして記録装置12に記憶される(S53)。この場合には、最終的に内容が確定するまで編集済み映像データは作成されない。

0049

自動編集を直ちに行う場合(S48:Yes)には、直ちに自動編集情報とこれに基づいた自動編集済み映像データが作成され(S54)、自動編集済み映像データを表示部142で表示させる(S55)。この場合には、ユーザは、自動編集済み映像データの全ての時点で、この編集内容が適正か否かを詳細に確認することができる(S56)。その後、この編集内容の修正を望む場合(S56:No)には、上記と同様にその修正作業、確認が行われ(S57)、その後に再びこの修正後の編集情報に基づき新たな映像データ(編集済み映像データ)が作成され(S58)、この編集済み映像データが配信用の映像データとして記録装置12に記憶される(S59)。この際に作成された最終編集情報も同時に記憶される。

0050

自動編集情報に基づく編集が適正であると認められた場合(S56:Yes)には、既に作成された自動編集済み映像データが、配信用の映像データとして記録装置12に記憶される(S60)。

0051

上記の動作においては、素材映像データに対して実際に編集処理を施すことを必要最小限に留めることによって処理時間を短くし、かつユーザによる編集処理が適正か否かのチェックを確実に行うことができ、その修正も行われる。

0052

次に、素材映像データにおけるレンダリング処理の対象となる部分を認識するために情報記憶部132に記憶される処理対象情報について説明する。こうした処理の対象となる部分としては、前記のような時刻表示、映り込んだ自動車の登録ナンバー、企業名、映り込んだ人物の顔等がある。時刻表示や登録ナンバーは、数字をパターン認識することによって認識することができ、企業名は文字のパターン認識によって認識することができ、顔もパターン認識手法によって認識することができる。

0053

前記の通り、上記の編集装置14においては、ユーザ自身が操作パネル143を操作することによって、こうした処理の対象となる部分を設定することもでき、その後にこの操作が反映された最終編集情報が作成される。この場合、この最終編集情報を処理対象認識部131が認識して、処理対象情報を更新(あるいは作成)することもできる。この場合、処理対象認識部131は、処理対象情報をより好ましい内容に更新する処理対象情報改変手段として機能する。図10は、処理対象認識部131におけるこうした動作の流れを示す図である。

0054

ここで、まず、初期状態の処理対象情報は、ユーザによって作成される(P1)。ここでは、例えば、処理の対象として必要最小限でありかつ認識が比較的容易なもののみが対象として選定される。例えば、前記のような画像中の時刻表示を、こうした対象とすることができる。この処理対象情報を用いて、前記のようにこの映像編集システム1が繰り返し用いられる。この際、前記のように、自動編集情報による編集に加え、あるいはこの編集に代わり、ユーザによっても編集作業が行われ、最終的に素材映像データに対して適用された最終編集情報が作成され、この最終編集情報も情報記憶部132に記憶される。

0055

このため、処理対象認識部131は、自動編集済み映像データの基となった自動編集情報と、その後に生成された最終編集情報とを比較することによって、自動編集情報の基となり情報記憶部132に記憶された処理対象情報を改変することができる。例えば、画像中のある文字列が処理対象情報における処理の対象に含まなかったために自動編集情報においては処理の対象とされていなかったが、ユーザによって後で指定されて最終編集情報においては処理の対象とされた場合には、この文字列を処理の対象として追加するように処理対象情報を改変することができる。逆に、画像中のある文字列が処理対象情報における処理の対象に含まれたために自動編集情報においては処理の対象とされたが、ユーザによって後でこの指定が解除されて最終編集情報においては処理の対象とされなかった場合には、この文字列を処理の対象から削除するように処理対象情報を改変することができる。処理対象情報における処理の内容(ブラー処理等)についても、同様に改変することができる。こうした作業は、例えば画像中の顔認識を用いれば、特定の人物を処理の対象とする場合においても同様に行うことができる。

0056

また、このように処理の対象として選択されたか否かという単純な判断を用いずに、処理対象認識部131は、記録された複数の最終編集情報における統計的処理に基づいて、処理対象情報を改変することもできる。この際、例えば、最終編集情報と自動編集情報との相違点の各々を数値評価してその数値の総計点数として算出し、この数値に基づき、処理対象情報を改変することもできる。例えば、この点数が大きかった(違いが大きかった)最終編集情報を抽出し、これらの中で共通の処理対象とされ処理対象情報に含まれなかったものを、新たに処理対象情報に取り入れることができる。

0057

このため、図10のフローにおいては、初期状態の処理対象情報(P1)を用いてこの映像編集システム1が用いられ、この際に、ユーザの操作により最終編集情報が作成され、情報記憶部132に記憶される(P2)。その後、上記のように、最終編集情報と自動編集情報の違いが数値化されて評価される(P3)。この数値に基づき、現在の処理対象情報を書き換えることが好ましいか、あるいはどのように書き換えるかが判定され(P4)、最終的に処理対象情報が更新される(P5)。ここで、図10に示されるように、最終的な判定(P4)に際しては、上記のような最終編集情報と自動編集情報の違いだけでなく、編集装置14におけるユーザによる編集作業の傾向(例えばあるユーザにおいては編集作業が多く、他のあるユーザでは編集作業が少ない)や、初期設定(P1)後に新たに発生した事情によって追加された画像に対する条件、等も考慮することができる。

0058

このような処理対象情報の改変作業は、この映像編集システム1が使用されて最終編集情報が作成される度に繰り返してもよく、周期的に行ってもよい。また、上記の点数を用いる場合には、この点数の累積値に応じて行ってもよい。

0059

このように、処理対象情報を、多数の最終編集情報を基にして改変する作業は、周知の機械学習手法ディープラーニング)等を用いても行うことができる。前記のように、映像の配信先等に応じて複数の処理対象情報が設定される場合には、これらの作業も処理対象情報毎に行うことができる。

0060

ユーザ自身が自動編集済み映像データに対する評価を入力できる設定とするための問い合わせ、入力は、編集装置14における表示部142、操作パネル143(タッチパネルディスプレイ144)を用いて、図3等と同様に行うことができる。図11は、こうした表示の一例である。ここでは、表示Kにおいて、自動編集情報(処理の対象となる部分の各々及びそれぞれにおける処理の内容)の説明及びその適用の可否が行われ、上側の表示Lで、この際の自動編集情報の評価がユーザによって入力される。その後で下側の表示Mを操作することによって、自動編集情報が表示Kの操作を反映して改変された最終編集情報を用いた編集処理が実行される。

0061

素材映像データには様々な種類のものがあり、場合によっては、一般的ではない特殊部分に対して処理を施す場合もある。こうした場合においては、自動編集情報と最終編集情報の違いが大きくなった場合でも、この場合の最終編集情報は、一般的に用いられる処理対象情報の改変に用いないことが好ましい。図11に示されたように、この場合の自動編集情報を評価の対象としないことを選択した場合には、このように特殊な場合の最終編集情報は処理対象情報の改変には使用されない。

0062

このように、新たに作成された最終編集情報をフィードバックして処理対象情報を更新する方法として、上記の他にも、様々な手法が適用可能である。

0063

また、処理対象情報において指定される処理の対象となる部分としては、複数の種類のものがある。まず、放送禁止用語等、この部分が含まれた状態で放送すること自身が禁止されるものがある。放送時に視聴者に悪影響を与える激しい照明の点滅や、流血シーン、著しく激しい音声、ノイズ音等についても同様である。一方、前記の時刻表示や自動車の登録ナンバー等、放送の禁止はされていないが、放送することが好ましくないものも上記の対象となる。どの対象についても、これをパターン化して処理対象情報に記憶させ、素材映像データにパターン認識手法を適用することによって、処理対象認識部131が認識することが可能である。

0064

このように処理の対象のレベル区分し、例えば、上記の放送禁止用語等、禁止の度合いの高いものを第1のレベル、上記の時刻表示や自動車の登録ナンバー等、禁止の度合いがこれよりも低いものを第2のレベルと設定することができる。

0065

この場合、図1における編集制御部141は、このレベルに応じて、自動編集情報を受け取った後の処理を変えることができる。例えば、上記の第1のレベルとなる部分が認識された場合には、編集制御部141は、表示部142で警告を発することが好ましい。また、第1のレベルとなる部分が認識された場合には、例えば図2等に示されたような単純な画面の修正だけではなく、素材映像データ全体を見直す必要がある可能性が高い。このため、上記に説明された動作において、第1のレベルとなる部分が認識された場合には、警告のみを発し、この警告が解除されない限り、編集作業を中断して自動編集済み映像データを作成せず、かつ素材映像データも配信しない構成とすることにより、ユーザに注意喚起することができる。これによって、第1のレベルとなる部分が含まれる映像データが配信されることが確実に抑制される。

0066

また、例えば、上記の処理の対象となりうる部分としては、映り込んだ人物の顔があり、処理対象認識部131は画像中における顔を認識することが可能である。ここで、例えば、映り込んだ人物が複数おり、ある特定の人物の顔のみに対して処理を適用したい場合、あるいは逆にこの特定の人物以外の全ての人物の顔に処理を施したい場合がある。こうした場合には、処理対象情報において、人物の顔を上記の第1のレベルに設定すれば、前記の放送禁止用語の場合と同様に、警告のみを発し、この警告が解除されない限り、自動編集済み映像データを作成せず、かつ素材映像データも配信しない構成とすればよい。その後、ユーザは、映り込んだ全ての顔のうち、特定の人物の顔のみに処理を行う、あるいは逆に特定の人物の顔のみに処理を行わないように、操作パネル143を制御して最終編集情報を作成し、この最終編集情報に応じて編集済み映像データを作成した後に、これを配信させることができる。

0067

なお、図1の構成においては、記録装置(ビデオサーバ)12に、処理対象認識部(処理対象認識手段、処理対象情報改変手段)131、情報記憶部(情報記憶手段)132を具備する自動編集情報作成装置13と、編集制御部(編集手段)141、表示部(表示手段)142、操作パネル(操作手段)143を具備する編集装置14が接続され、上記の動作が行われた。しかしながら、上記と同様の機能をもつ処理対象認識手段、処理対象情報改変手段、情報記憶手段、編集手段、表示手段等が素材映像データに関わって設けられ、自動編集済み映像データ、自動編集情報、最終編集情報等を作成することができる限りにおいて、具体的な装置の構成は任意である。すなわち、使用される各装置において上記の各手段がどのように設けられるかは任意であり、上記の各手段が全て単一の装置内に設けられていてもよい。

0068

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

0069

1映像編集システム
11収録装置
12記録装置(ビデオサーバ)
13自動編集情報作成装置
14編集装置
131処理対象認識部(処理対象認識手段、処理対象情報改変手段)
132情報記憶部(情報記憶手段)
141編集制御部(編集手段)
142 表示部(表示手段)
143操作パネル(操作手段)
144タッチパネルディスプレイ(表示手段)
15 制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ