図面 (/)

技術 合成画像作成装置

出願人 京セラ株式会社
発明者 千藤和也
出願日 2008年12月25日 (11年2ヶ月経過) 出願番号 2008-330497
公開日 2010年7月8日 (9年8ヶ月経過) 公開番号 2010-154254
状態 特許登録済
技術分野 TV送受信機回路 記録のためのテレビジョン信号処理 双方向TV,動画像配信等
主要キーワード 縦画面表示 横画面表示 発話時刻 エッジ境界 字幕付き映像 場面情報 縦画面 グラデーション部分
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年7月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

映像コンテンツをユーザにとって分かり易い、読むコンテンツへと変換できる合成画像作成装置を提供する。

解決手段

制御部112は、映像コンテンツから、字幕と、字幕の表示タイミングとを取得し、取得された字幕の表示タイミングに基づき映像コンテンツから静止画像を取得し、取得された字幕と、取得された静止画像とを関連付ける。映像コンテンツから取得した複数の静止画像が互いに類似する場合、複数の静止画像のうち1の静止画像と、複数の静止画像のそれぞれに関連付けられた字幕とを合成した合成画像を生成する。映像コンテンツから取得した複数の静止画像が互いに類似するか否かを判定する際には、類似判定に使用する閾値を、映像コンテンツの種類に応じて動的に変更する。

概要

背景

映像コンテンツ読むコンテンツに変換し、読むコンテンツにより映像コンテンツのコンテンツ内容を把握する方法がある。読むコンテンツとは、映像コンテンツに含まれる字幕集約したものである。映像コンテンツを読むコンテンツにすることにより、映像コンテンツを書籍のように自由な早さで読み進めて行くことができる。
しかし、このような字幕のみが集約された読むコンテンツでは、映像コンテンツ独自の視覚情報が失われてしまい、読むコンテンツを読み進めるだけでは、映像コンテンツの内容を把握するのが難しくなるという問題がある。

そこで、この問題を解決するために、字幕と字幕が表示されるタイミングに表示される画像とを合成した合成画像からなる読むコンテンツが考えられる。このような合成画像からなる読むコンテンツでは、字幕と共にその字幕に対応する画像が表示されるため、字幕を読みながら画像も確認できるため、映像コンテンツの内容の把握がより容易になる。
しかし、上記のように作成された読むコンテンツでは、映像コンテンツの字幕が表示されるタイミング毎に合成画像が作成されるため、字幕のみが変化し、映像がほとんど変化しないような場面では、図1に示すように、画像部分はほぼ一緒で字幕のみが異なる合成画像が複数生成される。このような合成画像からなる読むコンテンツを合成画像1枚ずつ画面に表示させる場合、操作者は頻繁にキー操作を行わなければ読み進めて行くことができないため、快適な閲覧の妨げとなる。

上記の問題を解決するため、特許文献1に記載の情報処理装置は、映像コンテンツに予め含められている「場面情報」に基づき、場面が変わる毎にその場面で最初に発話する発話者発話時刻動画像から静止画を抽出し、抽出した静止画とその場面での台詞情報を合成して文字情報付静止画を生成する。上記情報処理装置で作成される読むコンテンツは、場面毎の静止画にその場面での台詞が集約し、合成画面が生成されているため、操作者は読み進めて行くために頻繁にキー操作を行う必要が無くなる。
特開2006‐339817号公報

概要

映像コンテンツをユーザにとって分かり易い、読むコンテンツへと変換できる合成画像作成装置を提供する。制御部112は、映像コンテンツから、字幕と、字幕の表示タイミングとを取得し、取得された字幕の表示タイミングに基づき映像コンテンツから静止画像を取得し、取得された字幕と、取得された静止画像とを関連付ける。映像コンテンツから取得した複数の静止画像が互いに類似する場合、複数の静止画像のうち1の静止画像と、複数の静止画像のそれぞれに関連付けられた字幕とを合成した合成画像を生成する。映像コンテンツから取得した複数の静止画像が互いに類似するか否かを判定する際には、類似判定に使用する閾値を、映像コンテンツの種類に応じて動的に変更する。

目的

本発明は、このような問題点に鑑みてなされたものであり、本発明の目的は、特許文献1に記載の情報処理装置のように映像コンテンツの場面情報を必要とせずに、映像コンテンツの内容を容易に把握できるようにするとともに、少ないキー操作で読み進めることができる読むコンテンツを生成できる合成画像作成装置を提供することにある。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像コンテンツから、字幕と、該字幕の表示タイミングと、を取得し、前記取得された字幕の表示タイミングに基づき前記映像コンテンツから静止画像を取得し、前記取得された字幕と、該字幕の表示タイミングに基づき取得された静止画像と、を関連付けるように制御する制御部と、を備え、前記制御部は、前記映像コンテンツから取得した複数の静止画像が互いに類似する場合、当該複数の静止画像のうち1の静止画像と、当該複数の静止画像のそれぞれに関連付けられた字幕と、を合成した合成画像を生成するように制御することを特徴とする合成画像作成装置

請求項2

前記制御部は、前記映像コンテンツから取得した複数の静止画像が互いに類似するか否かを判定する際に、類似判定に使用する閾値を、前記映像コンテンツの種類に応じて動的に変更することを特徴とする請求項1に記載の合成画像作成装置。

請求項3

前記制御部は、前記1の静止画像を、前記複数の静止画像のうちの最も画像品質の良い静止画像とすることを特徴とする請求項1または2に記載の合成画像作成装置。

請求項4

前記制御部は、前記字幕の表示タイミングに静止画像を取得できなかった場合、取得可能な静止画像のうち前記字幕の表示タイミングに最も近い静止画像を取得することを特徴とする請求項1乃至3のいずれか1項に記載の合成画像作成装置。

請求項5

字幕付き映像コンテンツ表示方法であって、前記映像コンテンツの動画像から類似シーンを特定し、該動画像から特定した類似シーンに含まれる字幕を集約し、該集約した字幕を、前記類似シーンの代表画像と共に表示することを特徴とする表示方法。

技術分野

0001

本発明は、映像コンテンツから読むコンテンツを作成する合成画像作成装置に関する。

背景技術

0002

映像コンテンツを読むコンテンツに変換し、読むコンテンツにより映像コンテンツのコンテンツ内容を把握する方法がある。読むコンテンツとは、映像コンテンツに含まれる字幕集約したものである。映像コンテンツを読むコンテンツにすることにより、映像コンテンツを書籍のように自由な早さで読み進めて行くことができる。
しかし、このような字幕のみが集約された読むコンテンツでは、映像コンテンツ独自の視覚情報が失われてしまい、読むコンテンツを読み進めるだけでは、映像コンテンツの内容を把握するのが難しくなるという問題がある。

0003

そこで、この問題を解決するために、字幕と字幕が表示されるタイミングに表示される画像とを合成した合成画像からなる読むコンテンツが考えられる。このような合成画像からなる読むコンテンツでは、字幕と共にその字幕に対応する画像が表示されるため、字幕を読みながら画像も確認できるため、映像コンテンツの内容の把握がより容易になる。
しかし、上記のように作成された読むコンテンツでは、映像コンテンツの字幕が表示されるタイミング毎に合成画像が作成されるため、字幕のみが変化し、映像がほとんど変化しないような場面では、図1に示すように、画像部分はほぼ一緒で字幕のみが異なる合成画像が複数生成される。このような合成画像からなる読むコンテンツを合成画像1枚ずつ画面に表示させる場合、操作者は頻繁にキー操作を行わなければ読み進めて行くことができないため、快適な閲覧の妨げとなる。

0004

上記の問題を解決するため、特許文献1に記載の情報処理装置は、映像コンテンツに予め含められている「場面情報」に基づき、場面が変わる毎にその場面で最初に発話する発話者発話時刻動画像から静止画を抽出し、抽出した静止画とその場面での台詞情報を合成して文字情報付静止画を生成する。上記情報処理装置で作成される読むコンテンツは、場面毎の静止画にその場面での台詞が集約し、合成画面が生成されているため、操作者は読み進めて行くために頻繁にキー操作を行う必要が無くなる。
特開2006‐339817号公報

発明が解決しようとする課題

0005

しかし、上記の特許文献1に記載の情報処理装置では、合成画像を作成するにあたって映像コンテンツに予め場面情報が付与されていなければならない。場面情報が付与されている映像コンテンツは限定的であり、特に場面情報が付与されていない生放送の映像コンテンツでは、上記情報処理装置は、台詞が集約された合成画像を作成することができない。

0006

本発明は、このような問題点に鑑みてなされたものであり、本発明の目的は、特許文献1に記載の情報処理装置のように映像コンテンツの場面情報を必要とせずに、映像コンテンツの内容を容易に把握できるようにするとともに、少ないキー操作で読み進めることができる読むコンテンツを生成できる合成画像作成装置を提供することにある。

課題を解決するための手段

0007

上記目的を達成するため、本発明の合成画像作成装置は、映像コンテンツから、字幕と、該字幕の表示タイミングとを取得し、前記取得された字幕の表示タイミングに基づき前記映像コンテンツから静止画像を取得し、前記取得された字幕と、該字幕の表示タイミングに基づき取得された静止画像とを関連付けるように制御する制御部とを備え、前記制御部は、前記映像コンテンツから取得した複数の静止画像が互いに類似する場合、当該複数の静止画像のうち1の静止画像と、当該複数の静止画像のそれぞれに関連付けられた字幕と、を合成した合成画像を生成するように制御することを特徴とする。

0008

前記制御部は、前記映像コンテンツから取得した複数の静止画像が互いに類似するか否かを判定する際に、類似判定に使用する閾値を、前記映像コンテンツの種類に応じて動的に変更することが好ましい。また、前記制御部は、前記1の静止画像を、前記複数の静止画像のうちの最も画像品質の良い静止画像とすることが好ましい。さらに、前記制御部は、前記字幕の表示タイミングに静止画像を取得できなかった場合、取得可能な静止画像のうち前記字幕の表示タイミングに最も近い静止画像を取得することが好ましい。

0009

また、本発明は、字幕付き映像コンテンツの表示方法であって、前記映像コンテンツの動画像から類似シーンを特定し、該動画像から特定した類似シーンに含まれる字幕を集約し、該集約した字幕を、前記類似シーンの代表画像と共に表示することを特徴とする。

発明の効果

0010

本発明の合成画像作成装置は、字幕の表示タイミングに基づき静止画像を取得して字幕の集約を行うことにより、映像コンテンツの内容を容易に把握できるようにするとともに、少ないキー操作で読み進めることができる読むコンテンツを生成することができる。

発明を実施するための最良の形態

0011

本発明の実施の形態について図面を参照して説明する。以下、合成画像作成装置の典型例としてデジタル放送を受信できる携帯電話端末に本発明を適用して説明する。図2は、本発明を適用した携帯電話端末の概略的な機能構成を示すブロック図である。図2に示す携帯電話端末は、アンテナ101と、チューナ部102と、復調部103と、多重分離部104と、音声デコーダ部105と、スピーカ106と、映像デコーダ部107と、表示制御部108と、映像表示部109と、字幕デコーダ部110と、データ放送デコーダ部111と、制御部112と、記憶蓄積部114により構成されている。
制御部112は、コンテンツ変換部113を備えており、コンテンツ変換部113は、字幕表示時刻取得部113aと、静止画像取得部113bと、類似度判定部113cと、字幕取得部113dと、画像選出部113eと、字幕集約部113fにより構成されている。また、記憶蓄積部114は、一時保存部114aを備えている。

0012

携帯電話端末の構成部品として、受信アンテナ101は、デジタル放送の信号を常時連続的に受信し、チューナ部102は、入力されたRF信号に対して制御部112からの周波数チャンネル指定命令に基づいてチューニングを行い、番組選局する。チューナ部102で周波数変換されたチャンネル信号は、復調部103でMPEG(Moving Picture Experts Group)のトランスポストリーム(TS:Transport Stream)信号に復調される。ここで、TS信号には、音声信号映像信号字幕信号データ信号などがパケット単位多重化されている。TS信号に復調されたチャンネル信号は、多重分離部104において、TS信号内のパケットIDに基づいて音声パケット映像パケット字幕パケットデータ放送パケットなどを検出され、各パケットに分離された上でそれぞれ音声デコーダ部105、映像デコーダ部107、字幕デコーダ部110、データ放送デコーダ部111などに出力される。音声デコーダ部105は、制御部112からの指定命令に基づいて音声データをデコードし、スピーカ106に出力する。映像デコーダ部107は、映像データをデコードし、表示制御部108に出力する。字幕デコード部110は、字幕データをデコードし、表示制御部108に出力する。データ放送デコーダ部111は、受信したBML(Broadcast Markup Language)を基に画面イメージを作成し、表示制御部108に出力する。表示制御部108は、制御部112から出される命令に基づき、各デコーダ部から受信した映像データや字幕データなどを重畳し、表示部109に表示する。また、コンテンツ変換部113は、映像コンテンツを読むコンテンツへと変換を行う。変換されたコンテンツは、記録蓄積部114に記録される。また、コンテンツ変換せずに通常録画を行う場合は、映像データ、音声データ、字幕データをそのまま記録蓄積部114に記録する。

0013

(読むコンテンツへの変換方法
図3は、デジタル放送を読むコンテンツに変換するときの処理を説明するフローチャートである。なお、以下の処理は、ユーザが予め、もしくは直前に番組を読むコンテンツとして保存するように設定した場合において、対象番組字幕放送が存在する場合にのみ実行される。
コンテンツ変換対象の番組の終了、もしくはユーザによる中断などによりコンテンツ変換処理が終了するまで、以降の処理を繰り返す(S101)。
字幕PES(Packetized Elementary Stream)データ(以下、字幕データという)を受信すると(S102)、字幕表示時刻取得部113aは、受信した字幕データから字幕の表示タイミングを取得し、字幕取得部113dは、受信した字幕データから字幕を取得する(S103)。
字幕の表示タイミングは、字幕パケットのヘッダに含まれているPTS(Presentation Time Stamp)を参照することで取得することが可能である。図4は、字幕パケットのヘッダに含まれているPTSを参照するプログラムを示す図である。
字幕の表示タイミングを取得すると、静止画像取得部113bは、映像パケットから字幕の表示タイミングに再生される映像フレーム抜き出すことで、静止画像を取得する(S104)。

0014

図5は、静止画像の取得方法を説明する図である。対象の映像フレームがIピクチャの場合は、単一の映像フレームのみで映像表示部109に表示される映像を構成できるため、対象の映像フレームのみを抜き出し、そこから静止画像を取得する。対象のフレームPピクチャなどの場合は、単一の映像フレームだけでは映像表示部109に表示される映像を構成できないため、映像の構成に必要な複数の映像フレームを抜き出し、そこから静止画像を構成したうえで取得する。なお、図5では、PフレームとIフレームしか明示していないが、この他に映像パケット中にBピクチャが含まれている場合においても、関連する複数のフレームを抜き出し、そこから静止画像を構成した上で取得する。

0015

また、通常は、図6に示すように、字幕の表示タイミングに対応する映像フレームから静止画像を抽出するが、何らかの理由により、字幕の表示タイミングの映像パケットを取得できなかった場合は、図7に示すように、静止画像を抽出することができない。この場合は、図8に示すように、受信したフレームの中で静止画像が抽出可能であって、上述した字幕の表示タイミングに最も近いフレームから静止画像を抽出する。

0016

次に、制御部112は、一時保存部114aに既に一時保存されている静止画像があるか否かを判断し(S105)、一時保存されている静止画像が存在しない場合(Noの場合)、取得した静止画像と、字幕取得部113dが取得した字幕とを関連付けて一時保存部114aに一時保存する(S106)。
一時保存部114aに既に一時保存されている静止画像が存在する場合(Yesの場合)、類似度判定部113cにより、先に一時保存されている静止画像と今回取得した静止画像の類似度を判定する(S107)(映像コンテンツの動画像から類似シーンを特定する)。また、このときに一時保存されている静止画像が複数存在する場合は、一時保存されている静止画像の中で、最初に一時保存された静止画像と比較をする。

0017

静止画像の類似度を判定する方法としては、例えば、お互いの画素値を比較し、画素値の差が一定値以下の場合は類似画像であると判定するなどの手法でもよい。また、静止画像中に存在するオブジェクトの位置や構造解析により類似度を求めるような手法など、静止画像の類似度を定量的に求めることができる、どのような手法を用いてもよい。

0018

類似度判定の結果、類似画像であると判定された場合(Yesの場合)、制御部112は、取得した静止画像と字幕取得部113dが取得した字幕を関連付けて、一時保存部114aに追加保存する(S106)。
類似度判定の結果、類似画像ではないと判定された場合(Noの場合)、制御部112は一時保存部114aに一時保存中の静止画像が複数であるか否かを判断する(S109)。
一時保存部114aに一時保存中の静止画像が複数ではない場合(Noの場合)、制御部112は、一時保存中の静止画像と当該静止画像に関連付けられた字幕を合成した合成画像を生成し、記録蓄積部114に保存する(S110)。

0019

携帯電話端末においては固定端末と比較すると放送波の状態が常時変化しており、受信状態によっては映像が乱れる場合がある。合成画像を固定的に生成する手法では、図9に示すように、状態の悪い映像が合成画像として生成される可能性もある。そこで、ステップS109において、一時保存部114aに一時保存中の静止画像が複数存在する場合(Yesの場合)、画像選出部113eは、一時保存中の複数の静止画像の中から最も状態の良い静止画像を選出する(S111)。

0020

状態の良い静止画像としては、例えばブロックノイズの最も少ない静止画像などが考えられる。ブロックノイズは、画像中のエッジ境界よりもグラデーション部分や比較的のっぺりした部分において目立つ。これは放送に使用される画像圧縮技術においては、図10に示す8×8ピクセルブロック単位離散コサイン変換(DCT:Discrete Cosine Transform)がかけられているためである。これによりブロック内の高周波成分を省略することで画像の圧縮を行っているが、場合によっては画像情報過度に失われ、隣のブロックとの連続性がなくなり、ブロックノイズとなる。
以上の理由と、色よりも輝度によく反応する人間の視覚特性から、画像中のブロックノイズの多さを調べる手法として以下の手法が考えられる(以下、図11参照)。

0021

対象ブロックの縁に位置するピクセルの輝度値を求める。輝度値はRGB値から以下の変換式で求められる。



対象ブロックの縁を構成するピクセルについて縁単位での輝度値平均と、平均値を求めた縁側に隣接するブロック内で前記輝度値平均を求めた縁に接する縁の輝度値平均を求め、互いの平均値の差の絶対値を求める。これらは以下の式で行うことができる。



以上の処理を画像中の各ブロックの各縁単位で隣接ブロックとの輝度値の差を求める。ただし、画像の縁の部分に位置するブロックでは、隣接ブロックが存在しない方向の値を求める必要はない。
最終的に画像中の輝度値の差の平均値を求め、この値が最も小さいものをブロックノイズが最も少ない画像とする。

0022

ただし、上記方法は一例であり、これ以外にも、図12に示すように、画像中のブロックノイズ量を測定するGBIM(Generalized Block-edge Impairment Metric)を用いて、最もブロックノイズ量が少ない静止画像を選択してもよいし、その他の画質評価手法を用いてもよい。また、放送波の受信状態とその時点で受信した映像データの品質は、非常に関係が深いことが考えられるため、あえて画像自身の評価を行うのではなく、静止画像とその映像データを受信した時の受信状態を関連付けて記憶させ、最も受信状態が良い状態で受信した時の静止画像を選択してもよい。

0023

最も状態の良い特定の静止画像を選出すると、字幕集約部113fは、選出されなかった残りの各静止画像に関連付けられていた字幕を、選出された静止画像(代表画像)に関連付けし直すことで字幕の集約を行う(S112)。字幕の集約は、字幕の時系列的順番を崩さないように集約を行う(動画像から特定した類似シーンに含まれる字幕を集約する)。図13は、選出された画像に字幕を集約したときのコンテンツ画面の一例を示す図である。

0024

字幕の集約が終了すると、制御部112は、選出された静止画像とその静止画像に関連付けされている全ての字幕を合成した合成画像を生成し、記録蓄積部114に保存する(S110)。
記録蓄積部114に合成画像を保存すると、制御部112は、一時保存部114aに一時保存中の全ての静止画像と字幕を消去する(S113)。
消去が完了すると、制御部112は、S104で取得した画像にS103で取得した字幕を関連付けて一時保存部114aに一時保存する(S106)。
以上のような処理を行うことで、ユーザが分かり易いコンテンツを作成することが可能となる。

0025

図14は、字幕単位で静止画像を取得したときの読むコンテンツの生成例を示す図であり、
図15は、本発明の処理によって生成された読むコンテンツの例を示す図である。これらの読むコンテンツの生成例から、本発明によれば、映像コンテンツをユーザにとって分かり易い、読むコンテンツへと変換できることが分かる。また、シーン単位ではなく、字幕表示タイミングごとの静止画像をキャプチャし、類似度判定により集約を行うため、シーン内において激しい動きのあるコンテンツなどにおいても、分かり易く集約するだけでなく、情報の抜け落ちも防ぐことが可能になる。また、集約処理時の静止画像選出において画像状態の良い静止画像を選出するため、画像の品質が悪いため分かり難いコンテンツになってしまうことを防ぐこともできる。

0026

なお、上記の処理は、リアルタイムでコンテンツ変換処理を行う場合の処理であるが、このほかに既に記録蓄積部114に保存している番組に対してコンテンツ変換処理を行ってもよく、この場合も同様の処理を、録画している番組が終了するまで繰り返す。ただし、この場合も保存している番組に字幕放送が付与されていた場合にのみ処理が実行される。なお、処理内容についてはリアルタイムでの変換処理と同一のため説明を割愛する。

0027

(類似度判定閾値の変更方法
デジタル放送などで放送される番組には様々なジャンルがあるため、必ずしも同一シーン内において動きの激しいコンテンツばかりではない。例えば、図16に示すようなニュースシーン仮定すると、映像内の一部のみが変化することが考えられる。この場合、動きの激しいコンテンツを想定して、図6のフローチャートのステップ107において、類似度判定で使用する閾値を高めに設定した場合、ほとんどが類似画像と判断され、過度に集約されてしまうため、分かり易いコンテンツを生成することはできない。また、逆に同一シーン内において動きが余り激しくないコンテンツを想定し、閾値を低めに設定した場合、図17に示すアクションシーンのように動きの激しいコンテンツでは、抽出した静止画像がほとんど類似画像ではないと判断され、適度に集約されることがないため、分かり易いコンテンツを生成することはできない。

0028

そこで、同一シーン内の映像の動きはコンテンツのジャンルに関連すると考え、番組のジャンル毎に閾値を可変にする。例えばスポーツ映画などは同一シーン内では比較的に動きが激しく、ニュースなどは同一シーン内では比較的に動きが激しくないことが想定できる。そこで、図18に示すような番組のジャンルに閾値を対応させたテーブルを携帯電話端末内に保持し、変換対象の番組のジャンル毎に閾値を適応的に変化させることで、より分かり易いコンテンツを生成することが可能になる。図19は、閾値を低めに設定したときのニュースコンテンツの作成例を示す図あり、図20は、閾値を高めに設定したときのアクションコンテンツの作成例を示す図である。
このように、本発明では、類似度判定の際の閾値を変換対象コンテンツのジャンルに合わせて可変にしているため、ジャンルに応じたコンテンツを生成することが可能である。
コンテンツのジャンル情報の取得方法としては、TS信号内のイベントインフォメーションテーブルEIT:Event Information Table)にあるコンテント記述子を参照することにより対象番組のジャンルを知ることが可能である。図21は、イベントインフォメーションテーブルにあるコンテント記述子を参照するプログラムを示す図であり、図22は、コンテント記述子と番組内容とを関連付けたテーブルを示す図である。

0029

(コンテンツの表示方法)
図23は、本発明の実施の形態に基づき生成された合成画像からなる読むコンテンツの表示(字幕付き映像コンテンツの表示)形態の一例を示す図である。携帯電話端末は、図23に示すように、画面を縦にして表示する場合、上部に静止画像を表示し、その下に静止画像に関連付けられている字幕を表示(合成画像の表示)する(集約した字幕を類似シーンの代表画像と共に表示する)。字幕の下には操作可能なキーと説明を分かり易く表示してもよい。また左右キーは静止画像単位でのページ切り替え割り当てており、左右キーを操作することで書籍のページをめくるように静止画像と字幕を画面に表示していく。なお、字幕の量に合わせて字幕表示領域が自動で増減するようにする。

0030

図24は、画面を横にした場合の表示形態の一例を示す図である。この場合も基本的には縦画面と同様に、上部に静止画像を表示しその下に字幕を表示(合成画像の表示)する。この場合、静止画像は、縦画面表示時よりも大きく表示することが可能であるが、その分字幕表示領域が制限されてしまうため、画像に関連する字幕を1画面で表示しきれない可能性が高くなる。そこで、表示できるだけの字幕を画面に表示し、現在表示中の静止画像に関連付けられた字幕で画面中に表示されていない字幕がある場合は、上下キーによりスクロールすることで、表示されていなかった字幕を字幕表示領域に表示させる。また、このときまだ表示されていない字幕があることを明示的にユーザに知らせるため、字幕の近くにスクロールが可能なことをじらせるマークを表示してもよい。なお、左右キーは、縦画面表示時と同様に、書籍のページをめくるように、静止画像単位での切替えに使用する。この場合もユーザに明示的に切替え操作が可能なことを知らせるために、画面の端に切替え可能なことを知らせるマークを表示してもよい。

0031

また、縦画面表示、横画面表示に関わらず、図25に示すような静止画像と字幕の関連付けテーブルを携帯電話端末内に記録し、これに基づき上下キーは字幕単位での切り替え(図中の右側の矢印に相当)、左右キーは画像単位の切り替え(図中の左側の矢印に相当)に対応させるように表示してもよい。

図面の簡単な説明

0032

字幕単位で静止画像を取得したときの読むコンテンツの生成例を示す図である。
本発明の合成画像作成装置の基本的な構成を示すブロック図である。
デジタル放送を読むコンテンツに変換するときの処理を説明するフローチャートである。
PTSを参照するプログラムを示す図である。
静止画像の取得方法を説明する図である。
通常時の静止画像の取得方法を説明する図である。
映像データのパケットをロスしたときの読むコンテンツの生成例を示す図である。
パケットロス時の静止画像の取得方法を説明する図である。
受信状態の悪いときの読むコンテンツの生成例を示す図である。
8×8ピクセルの処理ブロックを説明する図である。
対象ブロックの輝度値平均を算出する部分を示す図である。
GBIMを用いた画像の選択方法を説明する図である。
選出された静止画像に字幕データを集約したときのコンテンツ画面の一例を示す図である。
字幕単位で静止画像を取得したときの読むコンテンツの他の生成例を示す図である。
本発明の処理によって生成された読むコンテンツの例を示す図である。
ニュースシーンの一例を示す図である。
アクションシーンの一例を示す図である。
番組のジャンルと類似度判定で使用する閾値とを関連付けたテーブルを示す図である。
閾値を低めに設定したときのニュースコンテンツの作成例を示す図である。
閾値を高めに設定したときのアクションコンテンツの作成例を示す図である。
コンテント記述子を参照するプログラムを示す図である。
コンテント記述子と番組内容とを関連付けたテーブルを示す図である。
読むコンテンツへと変換した番組の表示形態の一例を示す図である。
画面を横にした場合の表示形態の一例を示す図である。
静止画像と字幕とを関連付けたテーブルを示す図である。

符号の説明

0033

101アンテナ
102チューナ部
103復調部
104多重分離部
105音声デコーダ部
106スピーカ
107映像デコーダ部
108表示制御部
109映像表示部
110字幕デコーダ部
111データ放送デコーダ部
112 制御部
113コンテンツ変換部
113a字幕表示時刻取得部
113b静止画像取得部
113c類似度判定部
113d字幕取得部
113e 画像選出部
113f 字幕集約部
114 記録蓄積部
114a一時保存部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ