図面 (/)

技術 文字スーパー合成装置及びプログラム

出願人 日本放送協会
発明者 小出大一望月菊佳
出願日 2018年3月2日 (2年0ヶ月経過) 出願番号 2018-038083
公開日 2019年9月12日 (6ヶ月経過) 公開番号 2019-153939
状態 未査定
技術分野 スタジオ回路 双方向TV,動画像配信等
主要キーワード 切片値 評価平均 傾き係数 平均評価値 評価映像 単色背景 映像パネル 映像評価
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

コンテンツ映像の上に重ねた文字情報を見やすく表示する。

解決手段

文字スーパー合成装置1において、映像特徴量計算部11は、複数の映像フレームからなる1カット又は1シーンあるいは1映像フレームを文字レベル制御単位とし、背景映像映像信号に含まれる映像フレームの輝度に基づく映像の特徴量を文字レベル制御単位で計算する。文字レベル制御部13は、計算された特徴量に基づいて、背景映像にスーパーインポーズされる文字情報の輝度を表すビデオレベルである文字レベルを決定する。文字スーパー発生部14は、決定された文字レベルにより文字情報を表示する文字スーパー映像を生成する。映像合成部15は、映像フレームに、当該映像フレームが含まれる文字レベル制御単位の特徴量に基づいて決定された文字レベルにより文字情報を表示する文字スーパー映像を重畳して合成した映像フレームを生成する。

概要

背景

現行テレビジョン放送においては、補助的に情報を伝えるために、映像文字スーパーインポーズされている。以下では、スーパーインポーズされた文字を「文字スーパー」と記載する。

これまでのテレビジョン放送では、CRT(cathode ray tube)や液晶型テレビなどの受像機における、ある一定の明暗差ダイナミックレンジ(ここでは標準ダイナミックレンジ、SDR:Standard Dynamic Range)による表現が用いられていた。また、放送局によるテレビジョン映像制作においては、映像編集スタジオなどで映像を制作する際には、一般に、ITU−R(International Telecommunication Union Radiocommunication Sector)勧告BT.2035に則り、制作用モニター表示の明るさの基準を、周囲環境の最大の明るさより10%程度低い10cd/m2の環境とする。加えて、ビデオレベル(IRE(Institute of Radio Engineers)値)0から100%(あるいは109%)のうち、標準白レベル100%を明るさ100cd/m2に設定しており、放送用映像は、IRE値0〜100%で制作される。映像が家庭放送された際には、視聴者は、テレビジョン受像機が表現できる輝度特性や、視聴する環境(一般にはスタジオ制作環境より明るい)、視聴者の好みなどに応じて、コントラスト、明るさなどの値を調整し、最大輝度をおおよそ1〜4倍(400cd/m2)程度にして視聴するケースが多い。このとき、文字スーパーは、無彩色の場合、一般に最大輝度のビデオレベルを100%の白色に設定して放送されることが一般である。

近年、テレビ受像機などのディスプレーの最大輝度性能の向上や、撮像素子で獲得できる明暗幅性能の拡大などの技術進歩を背景に、高ダイナミックレンジHDR;High Dynamic Range)方式による映像表示技術が放送用映像に適用されつつある。HDR方式では、明暗差を拡大して表現の幅を拡げ、より撮影対象シーン)に忠実に映像を表現する。ディスプレーの最大輝度は、液晶モニターにおいて700cd/m2以上が表現できるようになっている(コントラスト比1000:1以上)。また、近年出てきている自発光型表示デバイスである有機EL素子(OLED:organic electro-luminescence)によるディスプレーにおいては、コントラスト比が100万:1を超え、最大輝度も500cd/m2から1000cd/m2へと、明暗幅を表現できる範囲が向上してきている。

これまでのSDRにおける映像の光電気変換関数(OETF;Opto-Electrical Transfer Function)は、映像レベル電気信号相対値)をE、シーンの輝度を電気信号に変換したレベルをLとすると、式(1)により表される。

一方で、HDR方式の一つ、ハイブリッドログガンマ(HLG:Hybrid Log-Gamma)方式では、OETFは、映像レベル(電気信号、相対値)をE’としたときに、式(2)により表される(例えば、非特許文献1参照)。

ここで、式(2)の上の式を式(2−1)、下の式を式(2−2)と記載する。rは、式(2−1)と式(2−2)の境界点である。境界点rは、基準白レベルを表しており、相対ビデオレベルで50%を意味する。なお、境界点rを、0.7や0.75など別の値とする可能性もある。これに併せて、境界点rから引かれる式(2−2)の関数におけるa,b,cの値が変わることもある。式(2−1)のべき乗関数は、式(1)式に類似しており、互換性が高い映像表現が可能である。一方、式(2−2)は、相対ビデオレベル50%以上において、対数関数で表される映像の更に明るい部分(ハイライト)を表現することができる。また、非特許文献2では、読み替えると、関数は同様であるが、r=0.5などのように境界点rを定数とする規定はない。非特許文献1の改定版であるSTD-B67,2.0版,2018年1月においても、非特許文献2と同様、rを定数とする規定はなくなっている。

このため、これまでのSDR映像による放送からHDR映像による放送への移行が起こり、例えば、HLG方式が適用されたとすると、相対ビデオレベル0〜50%についてはSDRと互換性のある表現領域とし、50〜100%については更に明暗幅を拡大して、ハイライトを表現する高輝度領域で表現することができる。

これまでのSDR方式で制作された放送番組を、HDR方式による映像で限りなく忠実に放送で表現しようとした場合、ビデオレベル0〜50%で表現することが想定される。これまでの提示手法によれば、SDRで制作された番組に文字がスーパーされる場合、最大輝度50%で表現されることが一般であった。

概要

コンテンツの映像の上に重ねた文字情報を見やすく表示する。文字スーパー合成装置1において、映像特徴量計算部11は、複数の映像フレームからなる1カット又は1シーンあるいは1映像フレームを文字レベル制御単位とし、背景映像映像信号に含まれる映像フレームの輝度に基づく映像の特徴量を文字レベル制御単位で計算する。文字レベル制御部13は、計算された特徴量に基づいて、背景映像にスーパーインポーズされる文字情報の輝度を表すビデオレベルである文字レベルを決定する。文字スーパー発生部14は、決定された文字レベルにより文字情報を表示する文字スーパー映像を生成する。映像合成部15は、映像フレームに、当該映像フレームが含まれる文字レベル制御単位の特徴量に基づいて決定された文字レベルにより文字情報を表示する文字スーパー映像を重畳して合成した映像フレームを生成する。

目的

本発明は、このような事情を考慮してなされたもので、コンテンツの映像の上に見やすい文字スーパーを重畳することができる文字スーパー合成装置及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の映像フレームからなる1カット又は1シーンあるいは1映像フレームを文字レベル制御単位とし、背景映像映像信号に含まれる映像フレームの輝度に基づく映像の特徴量を前記文字レベル制御単位で計算する映像特徴量計算部と、前記映像特徴量計算部により計算された前記特徴量に基づいて、前記背景映像にスーパーインポーズされる文字情報の輝度を表すビデオレベルである文字レベルを決定する文字レベル制御部と、前記文字レベル制御部により決定された前記文字レベルにより前記文字情報を表示する文字スーパー映像を生成する文字スーパー発生部と、前記映像フレームに、当該映像フレームが含まれる前記文字レベル制御単位の前記特徴量に基づいて決定された前記文字レベルにより前記文字情報を表示する前記文字スーパー映像重畳して合成した映像フレームを生成する映像合成部と、を備えることを特徴とする文字スーパー合成装置

請求項2

前記特徴量は、前記映像フレーム全体の全画素、前記映像フレーム全体からサンプリングした各画素、前記映像フレームにおいて前記文字スーパー映像が重畳される周辺の領域の全画素、又は、前記領域からサンプリングした各画素の輝度の平均である、ことを特徴とする請求項1に記載の文字スーパー合成装置。

請求項3

前記文字レベル制御部は、前記特徴量の範囲に応じて段階的に一定の前記文字レベルを決定する、ことを特徴とする請求項1又は請求項2に記載の文字スーパー合成装置。

請求項4

前記文字レベル制御部は、前記特徴量をパラメータ値として用いる関数により前記文字レベルを算出する、ことを特徴とする請求項2に記載の文字スーパー合成装置。

請求項5

前記関数は、前記文字レベルのIRE値(%)をC_VL、輝度レベルのIRE値(%)の平均である前記特徴量をAPL、高いAPLと低いAPLの差に対する前記文字レベルの違いを示す傾き値をa、APLが0%のときの前記文字レベルを表す切片値をbとした場合に、式(A)で表されるC_VL=a×APL+b…(A)ことを特徴とする請求項4に記載の文字スーパー合成装置。

請求項6

前記傾き値a及び前記切片値bは、0.20≦a≦0.40、かつ、0.60≦b≦0.80である、ことを特徴とする請求項5に記載の文字スーパー合成装置。

請求項7

前記文字レベル制御部は、前記関数により算出した前記文字レベルのIRE値が100%を超える場合、前記文字レベルを所定の上限値でクリップする、ことを特徴とする請求項4から請求項6のいずれか一項に記載の文字スーパー合成装置。

請求項8

前記文字レベル制御部は、前記関数により算出した前記文字レベルが所定の下限値より低い場合、前記文字レベルを前記下限値でクリップする、ことを特徴とする請求項4から請求項7のいずれか一項に記載の文字スーパー合成装置。

請求項9

前記文字レベル制御単位は、1映像フレームであり、前記映像合成部は、前記映像特徴量計算部により前記特徴量が計算された前記映像フレームを逐次入力し、入力した前記映像フレームに、当該映像フレームより所定フレーム前の映像フレームから得られた前記特徴量に基づいて前記文字レベル制御部が決定した前記文字レベルにより前記文字情報を表示する前記文字スーパー映像を重畳して合成した映像フレームを生成し、生成した前記映像フレームを逐次出力する、ことを特徴とする請求項1から請求項8のいずれか一項に記載の文字スーパー合成装置。

請求項10

コンピュータを、請求項1から請求項9のいずれか一項に記載の文字スーパー合成装置として機能させるプログラム

技術分野

0001

本発明は、文字スーパー合成装置及びプログラムに関する。

背景技術

0002

現行テレビジョン放送においては、補助的に情報を伝えるために、映像文字スーパーインポーズされている。以下では、スーパーインポーズされた文字を「文字スーパー」と記載する。

0003

これまでのテレビジョン放送では、CRT(cathode ray tube)や液晶型テレビなどの受像機における、ある一定の明暗差ダイナミックレンジ(ここでは標準ダイナミックレンジ、SDR:Standard Dynamic Range)による表現が用いられていた。また、放送局によるテレビジョン映像制作においては、映像編集スタジオなどで映像を制作する際には、一般に、ITU−R(International Telecommunication Union Radiocommunication Sector)勧告BT.2035に則り、制作用モニター表示の明るさの基準を、周囲環境の最大の明るさより10%程度低い10cd/m2の環境とする。加えて、ビデオレベル(IRE(Institute of Radio Engineers)値)0から100%(あるいは109%)のうち、標準白レベル100%を明るさ100cd/m2に設定しており、放送用映像は、IRE値0〜100%で制作される。映像が家庭放送された際には、視聴者は、テレビジョン受像機が表現できる輝度特性や、視聴する環境(一般にはスタジオ制作環境より明るい)、視聴者の好みなどに応じて、コントラスト、明るさなどの値を調整し、最大輝度をおおよそ1〜4倍(400cd/m2)程度にして視聴するケースが多い。このとき、文字スーパーは、無彩色の場合、一般に最大輝度のビデオレベルを100%の白色に設定して放送されることが一般である。

0004

近年、テレビ受像機などのディスプレーの最大輝度性能の向上や、撮像素子で獲得できる明暗幅性能の拡大などの技術進歩を背景に、高ダイナミックレンジHDR;High Dynamic Range)方式による映像表示技術が放送用映像に適用されつつある。HDR方式では、明暗差を拡大して表現の幅を拡げ、より撮影対象シーン)に忠実に映像を表現する。ディスプレーの最大輝度は、液晶モニターにおいて700cd/m2以上が表現できるようになっている(コントラスト比1000:1以上)。また、近年出てきている自発光型表示デバイスである有機EL素子(OLED:organic electro-luminescence)によるディスプレーにおいては、コントラスト比が100万:1を超え、最大輝度も500cd/m2から1000cd/m2へと、明暗幅を表現できる範囲が向上してきている。

0005

これまでのSDRにおける映像の光電気変換関数(OETF;Opto-Electrical Transfer Function)は、映像レベル電気信号相対値)をE、シーンの輝度を電気信号に変換したレベルをLとすると、式(1)により表される。

0006

0007

一方で、HDR方式の一つ、ハイブリッドログガンマ(HLG:Hybrid Log-Gamma)方式では、OETFは、映像レベル(電気信号、相対値)をE’としたときに、式(2)により表される(例えば、非特許文献1参照)。

0008

0009

ここで、式(2)の上の式を式(2−1)、下の式を式(2−2)と記載する。rは、式(2−1)と式(2−2)の境界点である。境界点rは、基準白レベルを表しており、相対ビデオレベルで50%を意味する。なお、境界点rを、0.7や0.75など別の値とする可能性もある。これに併せて、境界点rから引かれる式(2−2)の関数におけるa,b,cの値が変わることもある。式(2−1)のべき乗関数は、式(1)式に類似しており、互換性が高い映像表現が可能である。一方、式(2−2)は、相対ビデオレベル50%以上において、対数関数で表される映像の更に明るい部分(ハイライト)を表現することができる。また、非特許文献2では、読み替えると、関数は同様であるが、r=0.5などのように境界点rを定数とする規定はない。非特許文献1の改定版であるSTD-B67,2.0版,2018年1月においても、非特許文献2と同様、rを定数とする規定はなくなっている。

0010

このため、これまでのSDR映像による放送からHDR映像による放送への移行が起こり、例えば、HLG方式が適用されたとすると、相対ビデオレベル0〜50%についてはSDRと互換性のある表現領域とし、50〜100%については更に明暗幅を拡大して、ハイライトを表現する高輝度領域で表現することができる。

0011

これまでのSDR方式で制作された放送番組を、HDR方式による映像で限りなく忠実に放送で表現しようとした場合、ビデオレベル0〜50%で表現することが想定される。これまでの提示手法によれば、SDRで制作された番組に文字がスーパーされる場合、最大輝度50%で表現されることが一般であった。

先行技術

0012

ARIBSTD-B67,"Parameter Values for the Hybrid Log-Gamma (HLG) High Dynamic Range Television (HDR-TV) System for Programme Production",一般社団法人電波産業会,1.0版,2015年7月
RecommendationITU-RBT.2100-1,"Image parameter values for high dynamic range television for use in production and international programme exchange",ITU-R(Radiocommunication Sector of International Telecommunication Union),2017年6月

発明が解決しようとする課題

0013

ここで、HDRとSDRのいずれにも対応するように、従来どおりSDRの最大値50%のレベルで文字スーパーを重畳すると、HDR映像ではグレー見え、見えにくくなる。一方で、これより高い一定レベル、例えば、ビデオレベル63%や75%で文字スーパーを提示したとしても、ダイナミックレンジが高い動画像の種類によっては、文字スーパーの見やすさ(眩しさ、白さ)も変化する。例として、文字スーパーをHDRの最大レベル100%とした場合、ITU−R勧告BT.2100に則り映像モニターで表示すると、1000cd/m2で表示されるため、人にとって眩しく感じる。放送を数十分程度見続けることを想定すると、特に子供など人の眼に負担が大きくなる可能性がある。

0014

また、放送局では、番組制作に時間をかけて文字スーパーを挿入するポストプロダクションを伴った映像制作をすることがある。この映像制作の際には、シーン映像プレビューしながら、HDR映像の明るさに合せて文字スーパーのレベルを設定し、重畳することができる。しかしながら、速報性の高い放送映像、例えば、ニュースや、緊急速報スーパー、クローズドキャプションによる実時間音声字幕変換による文字スーパーの送出の際には、レベルを都度あらかじめ決めておくことができず、見えにくい文字スーパーを送出しまう可能性がある。また、ポストプロダクションを伴う映像制作を行うときにも、プレビューしなくても、時間をかけずに映像の明るさに合せて文字スーパーの明るさを決定し、提示する技術が求められる。

0015

本発明は、このような事情を考慮してなされたもので、コンテンツの映像の上に見やすい文字スーパーを重畳することができる文字スーパー合成装置及びプログラムを提供する。

課題を解決するための手段

0016

本発明の一態様は、複数の映像フレームからなる1カット又は1シーンあるいは1映像フレームを文字レベル制御単位とし、背景映像映像信号に含まれる映像フレームの輝度に基づく映像の特徴量を前記文字レベル制御単位で計算する映像特徴量計算部と、前記映像特徴量計算部により計算された前記特徴量に基づいて、前記背景映像にスーパーインポーズされる文字情報の輝度を表すビデオレベルである文字レベルを決定する文字レベル制御部と、前記文字レベル制御部により決定された前記文字レベルにより前記文字情報を表示する文字スーパー映像を生成する文字スーパー発生部と、前記映像フレームに、当該映像フレームが含まれる前記文字レベル制御単位の前記特徴量に基づいて決定された前記文字レベルにより前記文字情報を表示する前記文字スーパー映像を重畳して合成した映像フレームを生成する映像合成部と、を備えることを特徴とする文字スーパー合成装置である。
この態様によれば、文字スーパー合成装置は、背景映像の映像フレームから得られた輝度の情報を用いてカット毎シーン毎又は1映像フレーム毎に映像の特徴量を計算し、計算された特徴量に基づいて決定した文字レベルにより文字情報を表示する文字スーパー映像を、背景映像の映像フレームに重畳する。
これにより、文字スーパー合成装置は、背景映像に応じて適応的に見やすい明るさに調整した文字スーパーを提示することができる。また、文字スーパー合成装置は、背景映像の輝度が短い時間で変化する場合でも文字スーパーが見やすいように、1カット毎又は1シーン毎に一定の文字レベルで文字スーパーを提示することや、1映像フレーム毎にきめ細やかに文字レベルを適応的に変化させて文字スーパーを提示することができる。

0017

本発明の一態様は、上述した文字スーパー合成装置であって、前記特徴量は、前記映像フレーム全体の全画素、前記映像フレーム全体からサンプリングした各画素、前記映像フレームにおいて前記文字スーパー映像が重畳される周辺の領域の全画素、又は、前記領域からサンプリングした各画素の輝度の平均である、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、映像フレームの全画素又は間引いてサンプリングした画素の輝度の平均、あるいは、映像フレームにおいて前記文字スーパー映像が重畳される周辺の領域の全画素又は間引いてサンプリングした画素の輝度の平均を特徴量として用い、文字レベルを決定する。
これにより、文字スーパー合成装置は、背景映像又は背景映像における文字スーパー周辺領域の明るさに応じて、見やすい文字スーパーの文字レベルを決定することができる。

0018

本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御部は、前記特徴量の範囲に応じて段階的に一定の前記文字レベルを決定する、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、背景映像の特徴量に応じて段階的に決定した文字レベルにより文字スーパーを提示する。
これにより、文字スーパー合成装置は、簡易に文字レベルを決定することができ、また、背景映像の明るさが大きく変化しない間は一定の文字レベルにより文字スーパーを表示することができる。

0019

本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御部は、前記特徴量をパラメータ値として用いる関数により前記文字レベルを算出する、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、背景映像の特徴量に応じた文字レベルを関数により決定する。
これにより、文字スーパー合成装置は、背景映像の明るさに応じて適応的に見やすい文字レベルを決定することができる。

0020

本発明の一態様は、上述した文字スーパー合成装置であって、前記関数は、前記文字レベルのIRE値(%)をC_VL、輝度レベルのIRE値(%)の平均である前記特徴量をAPL、高いAPLと低いAPLの差に対する前記文字レベルの違いを示す傾き値をa、APLが0%のときの前記文字レベルを表す切片値をbとした場合に、式(3)で表される、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、背景映像から得られた特徴量に応じた文字レベルを一次関数により決定する。
これにより、文字スーパー合成装置は、背景映像の明るさに応じて適応的に見やすい文字レベルを簡易な計算により決定することができる。

0021

本発明の一態様は、上述した文字スーパー合成装置であって、前記傾き値a及び前記切片値bは、0.20≦a≦0.40、かつ、0.60≦b≦0.80である、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、0.20≦a≦0.40、0.60≦b≦0.80を用いた式(3)により文字レベルを決定する。
これにより、文字スーパー合成装置は、背景映像に応じて、眩しくなく、グレー色に見えにくい、見えやすい文字レベルを決定することができる。

0022

本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御部は、前記関数により算出した前記文字レベルのIRE値が100%を超える場合、前記文字レベルを所定の上限値でクリップする、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、式(3)により算出された文字レベルのIRE値が100%を超える場合、文字レベルを所定の上限値とする。
これにより、文字スーパー合成装置は、文字スーパーを眩しすぎないように提示することができる。

0023

本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御部は、前記関数により算出した前記文字レベルが所定の下限値より低い場合、前記文字レベルを前記下限値でクリップする、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、所定の規則に従って特徴量に基づいて決定した文字レベルが下限値よりも低い場合、文字レベルをその下限値とする。
これにより、文字スーパー合成装置は、文字スーパーが暗くなりすぎないように見やすく提示することができる。

0024

本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御単位は、1映像フレームであり、前記映像合成部は、前記映像特徴量計算部により前記特徴量が計算された前記映像フレームを逐次入力し、入力した前記映像フレームに、当該映像フレームより所定フレーム前の映像フレームから得られた前記特徴量に基づいて前記文字レベル制御部が決定した前記文字レベルにより前記文字情報を表示する前記文字スーパー映像を重畳して合成した映像フレームを生成し、生成した前記映像フレームを逐次出力する、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、逐次入力される背景映像の映像フレームに、当該映像フレームよりも所定フレームだけ前の映像フレームの特徴量に基づいて決定した文字レベルの文字スーパーを重畳する。
これにより、文字スーパー合成装置は、リアルタイムで背景映像に文字スーパーを重畳した映像を生成し、出力することができる。

0025

本発明の一態様は、コンピュータを、上述したいずれかの文字スーパー合成装置として機能させるためのプログラムである。

発明の効果

0026

本発明によれば、コンテンツの映像の上に重ねた文字情報を見やすく表示することができる。

図面の簡単な説明

0027

本発明の第1の実施形態による文字スーパー合成装置の構成を示す機能ブロック図である。
同実施形態による文字スーパー合成装置の動作を示すフロー図である。
同実施形態によるAPLと文字レベルの関係を示す図である。
同実施形態によるカット毎の文字レベルの例を示す図である。
同実施形態による文字スーパー合成装置を用いた評価実験1の実験結果を示す図である。
第2の実施形態による文字スーパー合成装置を用いた評価実験2の実験結果を示す図である。
評価実験2の実験結果を示す図である。
評価実験2の実験結果を示す図である。
評価実験2から得られた文字スーパー近傍のAPLと好ましい文字レベルとの関係を示す図である。
評価実験2から得られた全体APLと好ましい文字レベルとの関係を示す図である。
同実施形態による文字スーパー合成装置を用いた評価実験3におけるAPLと文字レベルの関係を示す図である。
評価実験3に用いた評価用映像を示す図である。
評価実験3に用いた評価用映像の輝度信号レベルを示す図である。
評価実験3の評価用映像についての主観評価実験の結果を示す図である。
評価実験3の全評価用映像の評価結果を示す図である。
基礎実験の実験結果を示す図である。
第1の実施形態による文字スーパー合成装置により合成された映像の表示を示す図である。

実施例

0028

以下、図面を参照しながら本発明の実施形態を詳細に説明する。

0029

[第1の実施形態]
図1は、本発明の第1の実施形態による文字スーパー合成装置1の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。文字スーパー合成装置1は、映像を撮影したカメラ収録装置から本線を介して高ダイナミックレンジ(HDR)のベースバンド(以下、「BB」と記載)映像信号を入力する。本線の入力インターフェースには、U−SDI、12G−SDI、3G−SDI、HD(1.5G)−SDI、SMPTE ST2022、SMPTE ST2110などの制作用IPインターフェースを用いることができる。文字スーパー合成装置1は、入力したBB映像信号に、KEY信号を用いて一定のエリアを定めて透明度を決定した部分に、所望の文字などの映像を載せて重畳させたFILL信号を合成し、スーパーインポーズを行う。

0030

文字スーパー合成装置1は、映像特徴量計算部11と、フレームバッファー12と、文字レベル制御部13と、文字スーパー発生部14と、映像合成部15とを備える。同図におけるvは映像信号を表す。映像特徴量計算部11は、入力されたBB映像信号に含まれる映像フレームの特徴量を計算する。特徴量は、映像フレームの平均輝度レベル(APL:Average Picture Level)である。具体的には、映像特徴量計算部11は、映像フレーム全体の全画素、又は、映像フレーム全体から間引いてサンプリングした各画素の輝度を表すビデオレベルである輝度レベルを平均してAPLを計算する。あるいは、映像特徴量計算部11は、背景映像フレームにおいて文字スーパーが重畳されるエリアの周辺部分のエリア内の全画素又は間引いてサンプリングした各画素の輝度レベルを平均してAPLを計算する。またあるいは、映像特徴量計算部11は、背景映像フレームにおいて文字スーパーが重畳されるエリア及びそのエリアの周辺部分を併せたエリア内の全画素又は間引いてサンプリングした各画素の輝度レベルを平均してAPLを計算してもよい。なお、APLに代えて、各画素の輝度レベルの中で最も高い輝度レベル(ピークレベル)を特徴量として用いてもよい。

0031

フレームバッファー12は、BB映像信号から得られた映像フレームを一旦蓄積する記憶部である。映像特徴量計算部11内にフレームバッファー12を設けてもよい。文字レベル制御部13は、映像特徴量計算部11による計算結果として得られたAPLに基づいて、最適な文字スーパーの輝度を表すビデオレベル(以下、「文字レベル」と記載)を決定する。これにより、文字レベル制御部13は、APLの値に応じて、眩しくなく、グレー色に見えにくい、見やすい文字スーパーのビデオレベルを決定する。文字レベル制御部13は、決定した文字レベルによる文字スーパーの提示を指示する制御指令を文字スーパー発生部14に出力する。

0032

文字スーパー発生部14は、文字やキャラクタなどの文字情報を入力し、FILL信号等により、これら文字情報を表示する文字スーパーの映像信号(以下、文字スーパー映像信号)を生成する。このとき、文字スーパー発生部14は、文字レベル制御部13からの制御指令により指示された文字レベルにより文字スーパーを表示する文字スーパー映像信号を生成する。映像合成部15は、フレームバッファー12から出力された映像フレームを背景映像とし、文字スーパー発生部14から入力した文字スーパー信号を重畳する。映像合成部15は、背景映像の映像フレームと文字スーパー信号とが合成された映像を出力する。

0033

図2は、文字スーパー合成装置1の動作を示すフロー図である。文字スーパー合成装置1は、文字レベル制御単位を、映像フレーム毎、あるいは、複数映像フレームで構成されるカット又はシーン毎とする。映像特徴量計算部11は、入力された映像信号から文字レベル制御単位の映像フレームを取得し、特徴量を算出する(ステップS11)。映像特徴量計算部11は、特徴量を算出した映像フレームをフレームバッファー12に出力し、フレームバッファー12は映像フレームを記憶する(ステップS12)。

0034

文字レベル制御部13は、映像特徴量計算部11が算出した特徴量に基づいて文字レベルを決定し、決定した文字レベルを設定した制御指令を文字スーパー発生部14に出力する(ステップS13)。文字スーパー発生部14は、制御指令により指示された文字レベルにより文字スーパーを表示する文字スーパー映像信号を生成し、映像合成部15に出力する(ステップS14)。映像合成部15は、フレームバッファー12から文字レベル制御単位の映像フレームを入力し、文字スーパー発生部14から入力した文字スーパー信号を重畳して合成し(ステップS15)、外部に出力する(ステップS16)。

0035

映像特徴量計算部11は、未処理の映像フレームがあると判断した場合は(ステップS17:YES)、ステップS11からの処理を繰り返し、未処理の映像フレームがないと判断した場合は(ステップS17:NO)、処理を終了する。

0036

なお、文字スーパー合成装置1は、ステップS13〜ステップS16の処理と、ステップS17及び次の文字レベル制御単位のステップS11の処理とを並行して行ってもよい。

0037

上述した処理により、文字スーパー合成装置1は、文字レベル制御単位に含まれる映像フレームを用いて文字レベル制御単位にAPLを計算し、文字レベルを決定する。この算出された文字レベルは、フレームバッファー12から出力される映像フレームの文字スーパーに逐次反映される。つまり、映像合成部15は、文字レベル制御部13が決定した文字レベルにより文字スーパーを表示する文字スーパー映像信号を、その文字レベルの決定に用いたAPLが得られた文字レベル制御単位に含まれる1又は複数の映像フレームに重畳する。

0038

文字レベル制御単位が1映像フレームである場合、文字スーパー合成装置1は、文字レベル制御部13が決定した文字レベルにより文字スーパーを表示する文字スーパー映像信号を、その文字レベルの算出に用いたAPLが得られた映像フレームより所定フレーム(例えば、1フレーム)後の映像フレームに重畳してもよい。つまり、映像合成部15は、映像特徴量計算部11により特徴量が計算された映像フレームをフレームバッファー12から逐次入力し、入力した映像フレームに、当該映像フレームより所定フレーム前の映像フレームから得られた特徴量に基づいて決定された文字レベルの文字スーパー映像を重畳して合成した映像フレームを生成し、生成した映像フレームを逐次出力する。これにより、文字スーパー合成装置1は、入力された映像信号にリアルタイムで文字スーパーを合成し、提示することができる。この場合、文字スーパー合成装置1は、ステップS13〜ステップS16の処理と、ステップS17〜次の文字レベル制御単位のステップS12の処理とを並行して行う。

0039

このように、文字スーパー合成装置1は、動的に文字レベルを決定し、決定した文字レベルの文字スーパーを提示することができる。従って、文字スーパー合成装置1は、実時間で、適応的に見やすい文字レベルを決定し、提示することができる。また、文字スーパー合成装置1は、背景映像のAPLの値の範囲に応じた輝度レベルの値を逐次決定するため、背景映像に応じた輝度の文字スーパーを提示することができる。

0040

以下に、本実施形態の文字スーパー合成装置1の具体的な処理例について説明する。
<1フレーム毎に文字レベルを算出する場合>
まず、本線動画像(例えば、8K 60P/120P)の非圧縮BB映像信号が、例えばU−SDI(ARIBSTD−B58規格準拠)により文字スーパー合成装置1に送られる。これと同時に、文字スーパー映像が、U−SDI、3G−SDI、12G−SDIといった4K又は8Kの信号で、BB映像信号とは異なる線で文字スーパー合成装置1に送られる。文字スーパー映像はそのままの映像信号(以下、「元文字信号」と記載する。)でもよく、現行の放送システムに合せ、文字スーパーの文字情報が送られるFILL信号と、ベースバンド映像信号にFILL信号を合成重畳するために、明るさに応じて透明度を決定するなど、いわばマスク機能としての信号となるKEY信号との組み合わせでもよい。

0041

映像特徴量計算部11は、BB映像信号の1映像フレームの全体又は文字スーパーが重畳されるエリアの周辺部分の全画素の輝度又は部分的にサンプル抽出した部分の各画素の輝度レベルを計算し、その平均によりAPLを計算する(図2のステップS11)。映像特徴量計算部11は、APL計算後の映像フレームをフレームバッファー12に出力する。フレームバッファー12は、映像特徴量計算部11から出力された映像フレームを記憶する(図2のステップS12)。文字レベル制御部13は、映像特徴量計算部11が出力したAPLの値から、適切な文字レベルを判断する(図2のステップS13)。

0042

図3は、APLと文字レベルの関係を示す図である。同図に示すように、文字レベル制御部13は、APL=0%の場合は文字レベル50%、0%<APL<30%の場合は文字レベル70%、30%≦APL<40%の場合は文字レベル75%、40%≦APL<50%の場合は文字レベル80%、50%≦APL<60%の場合は文字レベル85%、APL≧60%の場合は文字レベル90%と判断する。このように、文字レベル制御部13は、APLの値の範囲毎に段階的に一定のビデオレベルを決定する。

0043

次に、文字スーパー発生部14は、文字レベル制御部13が決定した文字レベルを、入力された元文字信号又はFILL信号に反映させる。このとき、文字スーパー発生源から受信した元文字信号又はFILL信号には、文字レベルとしてIRE100%が設定されているとして説明するが、この文字レベルの値以外をとってもよい。文字スーパー発生部14は、元文字信号又はFILL信号に基づいて、文字レベル制御部13が決定した文字レベルによる文字スーパーを表示させる文字スーパー映像信号を生成し、映像合成部15に出力する(図2のステップS14)。

0044

映像合成部15は、フレームバッファー12から出力された背景映像の映像フレームと、その映像フレームのAPLに基づく文字レベルの文字スーパー映像信号とを合成する(図2のステップS15)。これにより、ダイナミックレンジが広いBB映像信号に、見やすい文字レベルに制御された文字スーパー映像が重畳され、合成される。映像合成部15は、文字スーパー映像が重畳されたBB映像信号を、U−SDIなどのインターフェースにより出力する(図2のステップS16)。

0045

文字スーパー合成装置1が放送番組制作機器であれば、この出力されたBB映像信号は、制作用映像信号の出力として使用される。例えば、放送送出する際には、文字スーパー合成装置1から出力されたBB映像信号が、放送送出される映像信号として、視聴者向けに出力される。

0046

なお、映像特徴量計算部11及び文字レベル制御部13が、映像信号の垂直ブランキング期間内に、映像フレーム毎に計算を行うことで、次の映像フレームに計算結果を反映することができる。つまり、映像合成部15は、図2のステップS15において、フレームバッファー12から出力された背景映像の映像フレームと、その映像フレームより1フレーム前の映像フレームのAPLに基づく文字レベルの文字スーパー映像信号とを合成する。この場合、映像特徴量計算部11、文字レベル制御部13、文字スーパー発生部14及び映像合成部15に、FPGA(Field Programmable Gate Array)などの高速ロジックデバイス(例えば、Xilinx社製Virtex、Kintex Ultra Scale又はUltraScale+など)を用いる。例えば、フレーム周波数59.94Hz、60Hzや119.88Hz、120Hzの場合であれば、人の動視覚特性として、これの逆数となる遅延時間を知覚上はほとんど無視できるため、リアルタイムにHDR映像に合せて、見やすい文字スーパーを提示することができる。

0047

<シーン又はカット毎に文字レベルを算出する場合>
上記のように、1フレーム毎に文字レベルを算出する場合、フレームバッファー12は、1映像フレームを蓄積する。映像合成部15は、フレームバッファー12から出力されたその映像フレーム又はその映像フレームよりも所定フレーム数前の映像フレームについて算出された適切な文字レベルの文字スーパー映像と合成し、出力する。よって、文字スーパー合成装置1は、映像フレーム毎に、リアルタイムに見やすい文字スーパーを重畳して提供できる。

0048

一方で、フレームバッファー12が複数フレームを一次蓄積できる程度の容量をもつフレームバッファーである場合、文字スーパー合成装置1は、カット単位、又は、複数カットで構成される1シーン単位で、適応化された一定レベルの文字スーパーを提示できる。映像特徴量計算部11は、例えば、カット又はシーンの切り替わりを、各映像フレームから得られた映像の特徴量の変化によって判断する。あるいは、映像特徴量計算部11は、1カット又は1シーンに含まれる映像フレームを、BB映像信号に設定された付加データに基づいて判断してもよい。映像特徴量計算部11は、1カット又は1シーンに含まれる全て又は間引いた一部の映像フレームのそれぞれについて、映像フレーム全体又は文字スーパー周辺エリアのAPLを算出し、算出したAPLの平均(以下、「平均APL」と記載)を文字レベル制御部13に出力する(図2のステップS11)。また、映像特徴量計算部11は、平均APLの算出に用いた映像フレームをフレームバッファー12に出力し、フレームバッファー12は1カット又は1フレーム分の映像フレームを記憶する(図2のステップS12)。

0049

文字レベル制御部13は、図3に示すAPLと文字レベルの関係を適用し、平均APLに対応した文字レベルを決定する(図2のステップS13)。文字スーパー発生部14は、1カット又は1シーンの間、文字レベル制御部13がそのシーン又はカットについて得られた平均APLに基づき決定した文字レベルを適用した文字スーパー映像信号を生成し、映像合成部15に出力する(図2のステップS14)。映像合成部15は、フレームバッファー12から出力された1カット又は1シーンの映像フレームと、そのカット又はシーンの平均APLに基づく文字レベルの文字スーパー映像信号とを合成する(図2のステップS15)。これにより、ある1カット中又は1シーン中は一定の文字レベルが保たれ、変動がない文字レベルの文字スーパーを提供可能である。なお、文字スーパー合成装置1は、文字レベル制御単位を、1カット又は1シーン単位に代えて、所定の複数フレーム数の映像フレームとすることもできる。

0050

図4は、カット毎の文字レベルの例を示す図である。例えば、1シーンが、カット番号1〜3のカット#1〜#3により構成され、カット#1の平均APLが54%、カット#2の平均APLが39%、カット#3の平均APLが45%であるとする。この場合、文字スーパー合成装置1は、数秒にわたるカットの間、カット#1は文字レベル85%、カット#2は文字レベル75%、カット#3は文字レベル80%の一定の文字レベルにより文字スーパーを提示する。
このようにカット毎に文字レベルを適用することで、レベルの時間変動を抑えて、見やすく提示することも可能である。

0051

<評価実験1>
ここでは、HDR映像に対して見やすい文字スーパーとなる文字レベルの判断の根拠となる評価実験の結果を示す。

0052

実験方法
この評価実験では、APLが異なる評価用のHDR映像に、文字レベル50、60、70、75、80、85、90、100%それぞれの文字スーパーを重畳して提示した。14人の映像制作専門家(放送技術者)を被験者とし、各被験者から、提示された映像のうち、「見やすい文字レベルは何%か」の回答を得て、統計データを取得した。

0053

実験条件
評価映像系統として、以下を使用した。評価用のHDR映像(BB映像)の撮影カメラには、SONY社製業務用4K撮像センサによる撮影カメラF65RSを使用し、映像をビデオレベル0%から109%にマッピングするような映像グレーディングを行って映像を制作した。もし、提示される映像が別の上、下限値にマッピングして映像制作された場合においては、文字スーパーの提示レベルは、これらの映像レンジに応じて換算し提示すればよい。モニターには、最大輝度1000cd/cm2まで表示可能な、4K解像度30型放送等業務用マスターモニターであるSONY社製のBVM−X300(映像パネル有機ELデバイスによる)を使用した。モニターには、文字スーパーが重畳されたHDR評価用静止画を、3G−SDI×4の4K解像度信号を通して表示し、この表示に対する評価を得た。また、観視環境は、輝度計による測定値が背景5cd/cm2で反射するグレー単色背景の前に、モニターから3H(Hはモニター縦の高さ)の距離において被験者がモニターに提示された画像を視聴する環境とした。評価用画像には、HDR映像の原画と、原画の全体輝度レベルを調整してAPL(平均輝度レベル)を下げた画像を用いた。異なるAPLの評価用画像に、異なる文字レベルの文字スーパーを重畳し、被験者は、上記の観視環境において見やすい文字レベルを範囲指定で回答した。APLごとに、各文字レベルについて評価者が見やすいと回答した人数を算出し、最頻値を評価した。

0054

(実験結果)
図5は、評価実験1の実験結果を示す図である。図5(a)は、原画(評価用画像A)を示し、図5(b)は、原画(APL54%)及び原画のAPLを下げた画像(APL40、30%)それぞれについて、各文字レベルを好ましいと選択した被験者の人数を示す。図5(b)は、APL別に、好ましいと思われる文字スーパーレベルの範囲を被験者14人で評価し、プロットした結果である。

0055

(実験結果の分析
図5(b)に示す結果によれば、原画のAPLを54%、40%、30%と変化させた場合の好ましい文字レベルの最頻値はそれぞれ、85%、80%、70〜75%である。この結果から、APLの値に応じて最適な文字レベルの値を決定しておき、文字レベル制御部13における文字レベルの決定に反映させることで、逐次、BB映像信号のAPLに最適な文字スーパーを重畳し、提示可能であることがわかる。

0056

本実施形態の文字スーパー合成装置1は、映像フレーム毎に適切な文字レベルを更新して文字スーパーを提示することができる。また、文字スーパー合成装置1は、更新の頻度が高すぎるときには、複数のフレームの平均APLを用いて、複数フレーム毎に決定した適切な文字レベルの文字スーパーを提示することができる。よって、文字スーパー合成装置1は、複数のフレームで構成されるカットやシーン毎の平均APLを、そのカットやシーンを構成する映像フレームをフレームバッファー12に蓄積しながら算出し、カットやシーン毎に決定したふさわしい文字レベルの文字スーパーを生成し、BB映像に重畳した合成映像を出力することもできる。

0057

[第2の実施形態]
本実施形態では、BB映像信号から得られたAPLを用いた所定の変換式に基づいて、文字レベルを算出する。以下では、第1の実施形態との差分を中心に説明する。

0058

本実施形態の文字スーパー合成装置の構成及び処理フローは、第1の実施形態と同様である。ただし、文字レベル制御部13は、映像特徴量計算部11から出力されたBB映像信号のAPL(%)をパラメータ値として用い、以下の式(3)により、文字レベルC_VLを算出する。なお、文字レベル制御単位が、1カット、1シーン、又は、2以上の所定フレーム数である場合、その文字レベル制御単位の平均APLを、式(3)のAPLとして用いる。

0059

C_VL=a×APL+b …(3)

0060

式(3)において、aは、高いAPL(%)と低いAPL(%)の差に対する文字レベルの違いを示す傾き値であり、bは、APL0%(映像が黒)の時の文字レベル(最下限)を示す切片値である。C_VLは、文字スーパーの提示に用いるビデオレベル(輝度)を表すIRE値(%)である。例えば、傾きa、切片bは、それぞれ、以下の式(4)に示す値をとる。

0061

0.20≦a≦0.40、0.60≦b≦0.80 …(4)

0062

なお、文字レベル制御部13は、APL=100のときに式(3)により算出したC_VLが100を超える場合などはC_VLを任意の一定の上限値でクリップする。これにより、文字レベル制御部13は、式(3)により算出したC_VLが上限値を超える場合は、その上限値を文字レベルとして決定する。

0063

また、文字レベル制御部13は、式(3)によって算出される文字レベルの最低値が、任意の下限値より低くなる場合、C_VLの値をその下限値でクリップし、その下限値を文字レベルとして決定する。

0064

<評価実験2>
ここでは、HDR映像に対して見やすい文字スーパーとなる文字レベルが、式(3)で算出される根拠となる評価実験の結果を示す。

0065

(実験方法)
この評価実験2では、種類の異なる評価用のHDR映像を用意し、各HDR映像に、文字レベル50、60、70、75、80、85、90、100%それぞれの文字スーパーを重畳して提示した。14人の映像制作専門家(放送技術者)を被験者とし、各被験者から、提示された映像のうち、「見やすい文字レベルは何%か」の回答を得て、統計データを取得した。

0066

(実験条件)
評価映像系統、視聴環境及び被験者は、第1の実施形態の評価実験1と同様である。評価用画像には、4つの評価用静止画像である評価用画像A〜Dを使用した。評価用画像A及びCについては、HDR映像の原画と、原画の全体輝度レベルを調整してAPL(平均輝度レベル)を下げた画像を用意した。各評価用画像A〜Dに、異なる文字提示方法の白単色の文字スーパーを重畳し、提示した。異なる文字提示方法とは、複数の異なる文字レベルによる提示、又は、文字サブトン(文字背景)の有無である。ここで、文字サブトンとは、文字スーパーと背景映像の間に表示される矩形グラフィック(透明度を変化させた黒単色の背景)画像である。被験者は、上記の観視環境において見やすい文字レベルを範囲指定で回答した。評価用映像A〜Dについて、文字レベルごとに評価者が見やすいと回答した人数を算出し、最頻値を評価した。

0067

(実験結果)
図6図8は、評価実験2の実験結果を示す図である。なお、評価用画像Aについて評価実験2の実験結果は、図5に示すものとなる。図6(a)は、評価用画像Bを示し、図6(b)は、文字レベル別に、評価用画像B(APL40%)に重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。図7(a)は、評価用画像Cを示し、図7(b)は、文字サブトンの透明度0%、透明度50%、文字サブトンなしのそれぞれについて、文字レベル別に、評価用画像Cに重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。図8(a)は、評価用画像Dを示し、図8(b)は、文字レベル別に、評価用画像D(APL53%、文字周辺暗め)に重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。

0068

(実験結果の分析)
図5図8に示す本実験の評価結果に基づいて、文字スーパーの近傍APLと好ましい文字レベル(最頻値)との関係、および、全体APLと好ましい文字レベル(最頻値)との関係をプロットして求めた。近傍APLとは、映像フレームにおいて文字スーパーが重畳されるエリアの周辺部分の画素から求めたAPLである。全体APLとは、映像フレーム全体の画素から求めたAPLである。以下では、文字スーパーが重畳されるエリアの周辺部分を、文字スーパー近傍とも記載する。

0069

図9は、近傍APLと好ましい文字レベルとの関係を示す図であり、図10は、全体APLと好ましい文字レベルの関係を示す図である。これらの図から、APLと好ましい文字レベルに関係があることがわかる。特に、図9に示すように、近傍APLと好ましい文字レベルの関係においては、顕著に、相関があることを示すデータが得られた。そこで、図9に示すデータから回帰直線を引いた。一例として、以下の式(5)が得られた。

0070

C_VL=a×APL+b ; a=0.23,b=0.735 …(5)

0071

(実験と拡張性
本実験系統とは異なる系統や観視環境、例えば、表示デバイスが液晶タイプ、液晶とLED(Light Emitting Diode)白色バックライトタイプ、あるいは、最大輝度が1000cd/cm2やそれ以下、それ以上、観視環境が5cd/cm2やそれ以上、あるいはそれ以下などの条件によって、見え方が若干異なってくることが想定される。そのため、傾きa、切片bそれぞれの最適値には、若干範囲があると想定される。

0072

また、文字スーパー合成装置1に異なる複数の値の傾きa、切片bを設定しておき、各傾きa、切片bを用いた式(3)により文字レベルを決定したときの見やすい文字スーパーについて評価実験を行った。この評価実験において、a=0.3、b=0.7を選んで評価を行ったところ、良好な結果が得られた。この結果から、傾きa、切片bの値は、ある程度の範囲をもっているが、回帰曲線が簡素で計算が容易な一次関数で与えられることから、式(3)は、見やすい文字レベルの決定に有効であるといえる。

0073

<評価実験3>
式(3)の傾きa、切片bの最適値の根拠を示す、HDR映像に対する文字スーパーの見えやすさに関する主観評価実験を行った。

0074

(実験方法)
ビデオレベル0から100%又は109%までの映像表現領域を使って表現された、複数の評価用HDR映像(ハイブリッドログガンマ方式で制作、表示)に対し、以下の手法A〜Dにより決定した文字レベルによりスーパーインポーズ(背景画面の手前に重畳)して、被験者に提示した。

0075

手法Aでは、a=0.3,b=0.7の式(3)により文字レベルを適応レベルで決定した。
手法Bでは、文字レベルを固定レベル75%に設定した(従来法)。
手法Cでは、文字レベルを固定レベル100%に設定した(従来法)。
手法Dでは、以下の式(6)に基づき文字レベルを適応レベルで決定した。

0076

C_VL=(APL×0.72)×0.55+0.40 …(6)

0077

図11は、手法A及び手法DにおけるAPLと文字レベルC_VLの関係を示す図である。同図に示すように、手法Dでは、適応する明るさが低めとなるよう文字レベルC_VLを決定する。

0078

被験者には、以下の3種類の項目に関し、5段階品質尺度により単一刺激法主観評価を行った。評価は、放送技術者の映像専門家19人を被験者として実施し、集計した。

0079

(項目1)5(見やすい)、4、3(どちらでもない)、2、1(見にくい)
(項目2)5(眩しくない)、4、3(どちらでもない)、2、1(眩しい)
(項目3)5(白に見える)、4、3(どちらでもない)、2、1(グレーに見える)

0080

映像評価環境は、評価実験2の実験条件に従った。評価用映像は、8K解像度HDR映像を映像制作用マスターモニター(BVM−X300、最大輝度1,000cd/m2)に表示して評価できるよう、4K解像度にダウンコンバートして提示した。

0081

評価用映像には、15秒間で映像の平均輝度レベル(APL)が顕著に変化する動画像を選定した。手法Aおよび手法Dの文字レベル制御には、評価実験2の結果から、文字スーパー近傍(ここでは、全体画像の高さに対して下4%から20%まで位置の部分の画像)を用いて近傍APLを計算し、文字スーパーの文字レベルを映像フレーム毎に決定して実時間で制御し提示した。

0082

図12は、評価用映像を示す図である。評価実験には、評価用映像1〜5を用いた。図12(a)は評価用映像1(BMX;バイシクルモトクロス)の代表的な1カットを、図12(b)は評価用映像5(ダンス)の代表的な1カットを示している。評価用映像2(山)、評価用映像3(ガラス)、評価用映像4(スタジアム)は、評価実験2で用いた評価用映像B〜Dであり、それぞれ図6(a)、図7(a)、図8(a)に代表的な1カットが示されている。評価用映像1(BMX)は、輝度の高低の幅があり、時間的変化が通常の緩やかなAPL変化を伴うライブ収録映像である。評価用映像2(山)は、低い平均APLの映像である。評価用映像3(ガラス)は、ハイライト部を多く含む平均APLの高い映像である。評価用映像4(スタジアム)は、映像の上下で平均のAPLが異なり、高い平均のAPLと低い平均のAPLとが混在する映像である。評価用映像5(ダンス)は、APLが時間的に急激に変化する映像である。

0083

図13は、評価用映像1の輝度信号レベルを示す図である。図13(a)は、評価用映像1の開始時点からの評価用映像の画面全体のAPL、文字スーパー近傍のAPL(近傍APL)の変化を示す。図13(b)は、再生開始から所定時間が経過した時刻Aにおける輝度信号レベルのヒストグラムを示す図である。また、図13(a)及び(b)には、手法Aにより決定した文字レベルも示している。

0084

(実験結果)
図14は、評価用映像1についての主観評価実験の結果を示す図である。評価用映像1は、APL変化を伴う3カットから構成される、15秒のライブ収録による動画像であり、文字のみを重畳した。同図では、4つの手法A〜Dにより決定した文字レベルにより文字スーパーを提示した場合の文字の見やすさに関する18人の評価値平均値と95%信頼区間を示している。同図からわかるとおり、手法Aが最も見やすく優れた結果となり、本実施形態の有意性が確認された。

0085

図15は、図12に示す5種類の評価用映像1〜5に、各手法A〜Dにより文字スーパーを重畳したときのHDR映像の評価結果を示す図である。同図は、各手法の評価平均値を示すグラフである。手法Aの平均評価値は3.73、手法Bの平均評価値は3.32、手法Cの平均評価値は3.10、手法Dの平均評価値は2.26となった。この結果から、すべての動画像において、本実施形態を用いた式(3)による文字提示が優れた結果となることが確認できた。このため、いかなる型の動画像においても、式(3)による提示方法が有効であることが確認できた。

0086

[実験結果の考察及び値の妥当性
上記の評価実験2、3の実験結果より、以下が考察される。

0087

(考察1)文字レベルの提示は、APLが変化するHDR動画像に対して、固定レベル100%、固定75%の提示より、式(3)(a=0.3,b=0.7)による可変適応制御の提示が見やすいことがわかる。

0088

(考察2)手法Aと手法Dを比較すると、画面全体や近傍APLに対して、文字スーパーの提示レベルが高い手法Aが見やすいことがわかる。手法Dの式(2)は、極端レベル変化の傾きが高いa=0.55、切片値が低いb=0.4であるため、低い画面APLに対して顕著に文字レベルが下がる重み係数「×0.72」に対して、見えにくくなることがわかる。

0089

(考察3)評価実験の結果から、文字レベルの制御のための変換関数は、簡素な一次関数でも十分に効果が示される。

0090

(考察4)評価実験の結果から、傾きaについては、以下のことが導かれる。
(a)傾き係数として、a=0.3は妥当であり、a=0.55のような高い値は避けるほうがよい。また、評価実験2の回帰直線は、a=0.23であることから、0.3を中心にある程度の範囲を持たせても許容できることが推測される。
(b)上記の(a)の考察と、図9図10に示される好ましい文字レベルとして許容される範囲を鑑みると、式(4)に示す0.20≦a≦0.40を妥当な範囲として導くことができる。

0091

(考察5)評価実験の結果から、切片bについては、以下のことが導かれる。
(a)切片bは、0.7が妥当であることが示された。0.4は見にくくなる結果となった。一方、評価実験2の回帰直線はb=0.735であった。このため、切片bは0.7や0.735付近においては、この値を中心にした、ある範囲をもった値であってよい。しかし、0.4のような低い数値は妥当ではないことがわかる。
(b)文字スーパーが見やすく、白に見えグレーに見えないためには、評価実験2や、後述する基礎実験の結果から、文字レベルは文字スーパー近傍の背景画像より高いレベルである必要がある。このため、切片bは極端に低い値(b=0.4など)をさけ、b=0.7を中心に、ある範囲の幅をもった値がよい。
(c) これらの結果と、HDRの一方式であるハイブリッド・ログ・ガンマ方式が組み合わされた2つの関数の変化点となるb=0.5以上で、図9図10に示される好ましい文字レベルとして許容される範囲を鑑みると、関数の直線性が保たれる範囲として、式(4)に示す0.60≦b≦0.80を妥当な範囲として導くことができる。

0092

(考察6)文字レベルとAPLの関係に直線性が保たれない高いAPLにおける文字レベル範囲では、例えば、C_VL=100%あるいは109%でクリップ、つまり文字レベルの一定の値とすることで、表示すればよい。すなわち、式(3)に基づいて、BB映像信号から得られたAPLの値に基づいて文字レベルを決定し、文字レベルの適応制御提示を行うと、a,bの値によっては、算出された文字レベルC_VLが上限値を超えてしまうことがある。この場合は、文字レベル制御部13は、例えば、C_VL=100でクリップ処理することで、ある高いAPL値以上でも、一定の輝度レベルの文字スーパーを提示可能とすることができる。

0093

(考察7)文字スーパーがグレーに見える可能性がある場合、文字レベルを一定の下限値でクリップすることによって、これを回避することができる。また、放送局の制作や送出など運用上の都合により、例えば、b=75とするなど、文字レベルの下限値を設定しなければならなくなった際には、低いAPL時に、下限値を一定の値にクリップする。これにより、文字レベル制御部13は、低いAPLに基づいて式(3)により算出した文字レベルC_VLが下限値より低い場合は、その下限値を文字レベルとして用いて文字スーパーを提示することもできる。

0094

<基礎実験>
ここでは参考として、文字の見え方と背景の明るさの関係に関する基礎実験について示す。
黒(APL0%)一色の背景に、白(APL100%)一色の四角パッチを画面上のさまざまな箇所に置き、レベル50%の文字を画面下10%の位置にスーパーして、文字が「白く」見えるか否かを、14人の映像専門家により主観評価した。

0095

図16は、この基礎実験の評価結果を示す図である。同図では、白パッチの位置及び面積に対して、文字が「白」に見える割合を示している。白パッチの面積は、画面全体に対する割合で表している。同図に示す結果から、「文字スーパーは近傍に明るい背景部分(ハイライト部分)が存在する場合、“グレー”に認識して見える」ことがわかった。

0096

図17は、第1の実施形態による文字スーパー合成装置1により生成された映像の表示を示す図である。第1及び第2の実施形態による文字スーパー合成装置1は、同図に示すモニターが表示している画面の下部に提示される文字スーパーの文字レベルを適応的に変化させる。

0097

従来は、ダイナミックレンジが高く、時々刻々変化する輝度(あるいはAPL)が変化する映像に対し、一定の輝度のビデオレベルで文字スーパーを提示しており、時々見にくくなる映像が発生するおそれがあった。上述した実施形態によれば、文字スーパー合成装置1は、放送、通信映画などの映像メディアにおける、ダイナミックレンジの高いHDRの動画像に情報としての文字スーパーを重畳する際に、視聴者が見やすく最適なレベルの文字スーパーを提供することができる。また、極端に異なる輝度の文字レベルが短時間で入れ替わることがないため、目の負担など健康への影響の心配がなく、見やすい文字スーパーを提示することが可能となる。
また、本実施形態によれば、ダイナミックレンジが広い映像による放送において、速報性が高い文字スーパーを重畳する際にも、文字レベルを即時に決定して文字スーパーを送出することができる。従って、放送を受信した視聴者に、見やすい文字スーパーを提示することが可能となる。
また、放送局の番組映像制作において、ライブでの文字スーパーの重畳や、ポストプロダクションによる映像編集で文字スーパーを重畳するために文字レベルを決定する際にも、本実施形態を用いることで、文字レベルの決定を支援する機能やツールを提供することができる。従って、映像制作作業の時間短縮し、効率的に作業を支援することできる。

0098

なお、上述の文字スーパー合成装置1は、バスで接続されたCPU(Central Processing Unit)やメモリ補助記憶装置などを備え、プログラムを実行することによって映像特徴量計算部11、フレームバッファー12、文字レベル制御部13、文字スーパー発生部14及び映像合成部15を備える装置として機能する。なお、文字スーパー合成装置1の各機能の全て又は一部は、ASIC(Application Specific IntegratedCircuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されても良い。

0099

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

0100

1…文字スーパー合成装置
11…映像特徴量計算部
12…フレームバッファー
13…文字レベル制御部
14…文字スーパー発生部
15…映像合成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ