図面 (/)

技術 情報処理装置および画像処理方法

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 横田健一郎青木幸代濱田全章林育徳
出願日 2016年10月6日 (4年8ヶ月経過) 出願番号 2016-197850
公開日 2018年4月12日 (3年1ヶ月経過) 公開番号 2018-060075
状態 特許登録済
技術分野 表示装置の制御、回路 TV受信機回路
主要キーワード 最大レンジ 光伝達関数 配信動画 具体値 モード切り替え要求 重畳データ アルファブレンド処理 線形データ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

コンテンツ表示装置が想定する輝度レンジによらず、常に好適な状態で画像を表示する。

解決手段

情報処理装置輝度空間変換部66は、SDRのレンジに対応する輝度空間で表された画像の信号をHDRの輝度空間の信号に変換して、HDRの画像とのアルファブレンドを行わせるため合成処理部72に出力する。調整モードにおいてパラメータ調整部86は、SDRで表現された調整用の画像を表示装置に表示させ、輝度空間の変換前後で表示画像の変化が小さくなるように、輝度空間の変換に用いるパラメータを調整する。調整後のパラメータは変換パラメータ記憶部84に格納し、輝度信号変換部82による変換処理に利用する。

概要

背景

従来、テレビジョン放送配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度色域を向上させる技術に加え、輝度レンジを拡大したHDR(High Dynamic Range)の信号を処理する技術が普及しつつある。従来のSDR(Standard Dynamic Range)と比較し、HDRは輝度の許容範囲が100倍程になるため、太陽光反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアル表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、HDRで表現することによって仮想世界により臨場感を与えられる(例えば特許文献1参照)。

概要

コンテンツ表示装置が想定する輝度レンジによらず、常に好適な状態で画像を表示する。情報処理装置の輝度空間変換部66は、SDRのレンジに対応する輝度空間で表された画像の信号をHDRの輝度空間の信号に変換して、HDRの画像とのアルファブレンドを行わせるため合成処理部72に出力する。調整モードにおいてパラメータ調整部86は、SDRで表現された調整用の画像を表示装置に表示させ、輝度空間の変換前後で表示画像の変化が小さくなるように、輝度空間の変換に用いるパラメータを調整する。調整後のパラメータは変換パラメータ記憶部84に格納し、輝度信号変換部82による変換処理に利用する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の輝度空間で表された画像の信号を取得する画像データ取得部と、前記画像の信号を第2の輝度空間で表した信号に変換する輝度空間変換部と、いずれかの輝度空間で表された画像の信号を表示装置に出力する画像出力部と、を備え、前記輝度空間変換部は、信号の変換に用いるパラメータを、表示装置における表示の状態に応じた所定の情報に基づき調整するパラメータ調整部を備え、調整後のパラメータを用いて信号を変換することを特徴とする情報処理装置

請求項2

前記パラメータ調整部は、調整用の画像を前記第1の輝度空間で表した信号と、当該画像を前記第2の輝度空間で表した信号を、ユーザの切り替え操作に応じて切り替えて出力することにより表示装置において比較可能に表示させたうえで、調整に係る操作をユーザから受け付けることにより前記パラメータを調整することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記パラメータ調整部は、調整用の画像を前記第1の輝度空間で表した信号と、当該画像を前記第2の輝度空間で表した信号を出力することによりそれぞれ表示装置に表示させ、表示時の輝度の値を取得して比較した結果に基づき前記パラメータを調整することを特徴とする請求項1に記載の情報処理装置。

請求項4

前記第1の輝度空間が表す輝度レンジは前記第2の輝度空間が表す輝度レンジより小さく、前記パラメータ調整部は、前記第1の輝度空間の上限を対応づける、前記第2の輝度空間における割合を前記パラメータとして、調整操作を受け付けることを特徴とする請求項1から3のいずれかに記載の情報処理装置。

請求項5

前記画像データ取得部は、前記第1の輝度空間で表された画像をアルファブレンド処理により重畳表示させる別の画像の信号をさらに取得し、前記輝度空間変換部は、前記別の画像の信号が前記第2の輝度空間で表されているとき、前記第1の輝度空間で表された画像の信号を変換することを特徴とする請求項1から4のいずれかに記載の情報処理装置。

請求項6

前記パラメータ調整部は、前記情報処理装置に表示装置が新たに接続されたとき、前記パラメータの調整操作の必要をユーザに通知することを特徴とする請求項1から5のいずれかに記載の情報処理装置。

請求項7

第1の輝度空間で表された画像の信号を第2の輝度空間で表した信号に変換するのに用いるパラメータを、表示装置における表示の状態に応じた所定の情報に基づき調整するステップと、前記第1の輝度空間で表された表示対象の画像の信号を取得するステップと、取得した表示対象の画像の信号を、調整後のパラメータを用いて前記第2の輝度空間で表した信号に変換するステップと、変換された表示対象の画像の信号を表示装置に出力するステップと、を含むことを特徴とする情報処理装置による画像処理方法

請求項8

第1の輝度空間で表された画像の信号を第2の輝度空間で表した信号に変換するのに用いるパラメータを、表示装置における表示の状態に応じた所定の情報に基づき調整する機能と、前記第1の輝度空間で表された表示対象の画像の信号を取得する機能と、取得した表示対象の画像の信号を、調整後のパラメータを用いて前記第2の輝度空間で表した信号に変換する機能と、変換された表示対象の画像の信号を表示装置に出力する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム

技術分野

0001

本発明は、表示装置に画像を表示させる情報処理装置およびそれが行う画像処理方法に関する。

背景技術

0002

従来、テレビジョン放送配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度色域を向上させる技術に加え、輝度レンジを拡大したHDR(High Dynamic Range)の信号を処理する技術が普及しつつある。従来のSDR(Standard Dynamic Range)と比較し、HDRは輝度の許容範囲が100倍程になるため、太陽光反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアル表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、HDRで表現することによって仮想世界により臨場感を与えられる(例えば特許文献1参照)。

先行技術

0003

特開2016−58848号公報

発明が解決しようとする課題

0004

HDRの輝度レンジに対応した表示装置を用いても、表示させる画像の全てがHDRで表現されているとは限らない。例えばヘルプ画面コントロールパネルなど、ゲーム装置再生装置側で提供する付加的な画像は、コンテンツの画像とは独立に、SDRで表現されることが考えられる。コンテンツ自体がSDRで表現されている場合も多い。HDRとSDRでは、輝度値とそれを表す電気信号との間での変換規則規格が異なる。また表示装置メーカーが独自の処理でディスプレイの発色を制御していることもある。結果として、様々な変換処理を経て表示される画像が、コンテンツ、画像処理装置、表示装置の組み合わせに依存して、本来のデザインと異なった色味や明るさとなってしまうことがあり得る。

0005

本発明はこうした課題に鑑みてなされたものであり、その目的は、画像作成時に想定された輝度レンジによらず、常に好適な状態で画像を表示できる技術を提供することにある。

課題を解決するための手段

0006

本発明のある態様は情報処理装置に関する。この情報処理装置は、第1の輝度空間で表された画像の信号を取得する画像データ取得部と、画像の信号を第2の輝度空間で表した信号に変換する輝度空間変換部と、いずれかの輝度空間で表された画像の信号を表示装置に出力する画像出力部と、を備え、輝度空間変換部は、信号の変換に用いるパラメータを、表示装置における表示の状態に応じた所定の情報に基づき調整するパラメータ調整部を備え、調整後のパラメータを用いて信号を変換することを特徴とする。

0007

ここで「輝度空間」は、輝度の値を所定ビット数の信号で表す際の変換規則を決定づける空間であり、「第1の輝度空間」および「第2の輝度空間」は例えば、SDRの輝度レンジに対応する輝度空間、HDRの輝度レンジに対応する輝度空間である。ただし第1、第2の輝度空間はこれに限らず、各輝度空間で表すことのできる輝度の最大レンジが異なれば、当該レンジの具体値は限定されない。

0008

本発明の別の態様は画像処理方法に関する。この画像処理方法は情報処理装置が、第1の輝度空間で表された画像の信号を第2の輝度空間で表した信号に変換するのに用いるパラメータを、表示装置における表示の状態に応じた所定の情報に基づき調整するステップと、第1の輝度空間で表された表示対象の画像の信号を取得するステップと、取得した表示対象の画像の信号を、調整後のパラメータを用いて第2の輝度空間で表した信号に変換するステップと、変換された表示対象の画像の信号を表示装置に出力するステップと、を含むことを特徴とする。

0009

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムコンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

発明の効果

0010

本発明によると、画像作成時に想定された輝度レンジによらず、常に好適な状態で画像を表示できる。

図面の簡単な説明

0011

本実施の形態における情報処理システムの構成例を示す図である。
本実施の形態において情報処理装置が生成する画像の一例を模式的に示す図である。
本実施の形態において情報処理装置から出力される画像の信号と、表示装置における信号処理の概略を示す図である。
本実施の形態における輝度空間の変換処理の様子を模式的に示す図である。
本実施の形態における情報処理装置の内部回路構成を示す図である。
本実施の形態における情報処理装置の機能ブロックの構成を示す図である。
本実施の形態における輝度空間変換部の機能ブロックの構成を示す図である。
本実施の形態におけるパラメータ調整受付部が、輝度空間の変換に用いるパラメータの調整モードにおいて、ユーザに提示する調整画面を例示する図である。
本実施の形態において、SDRで表現された画像を輝度空間を変換して単独で表示させる場合の、情報処理装置から出力される画像の信号と、表示装置における信号処理の概略を示す図である。

実施例

0012

図1は本実施の形態における情報処理システムの構成例を示す。情報処理システムは、情報処理装置10、入力装置14、表示装置16を含む。図示するように情報処理装置10はインターネットなどのネットワーク8を介して各種コンテンツを提供するサーバ等と接続可能としてもよい。入力装置14はコントローラキーボードマウスジョイスティックタッチパッドなどユーザ操作が可能な一般的な入力装置のほか、ユーザなど実世界を撮影する撮像装置音声を取得するマイク、各種物理値を検出するセンサや、それらのうちいずれかの組み合わせでもよい。

0013

表示装置16は、画像を表示する液晶ディスプレイプラズマディスプレイ有機ELディスプレイなどで実現する。さらに音声を出力するスピーカを備えていてもよい。入力装置14および表示装置16は、情報処理装置10に有線ケーブルで接続されてよく、また無線LAN(Local Area Network)などにより無線接続されてもよい。また入力装置14、表示装置16、情報処理装置10の外観形状は図示するものに限らず、例えばそれらのうち2つ以上が一体的に形成されていてもよい。

0014

情報処理装置10は、ユーザ操作に係る信号を入力装置14から受信し、それに応じた処理を実施して表示画像のデータを生成し、表示装置16に出力する。情報処理装置10はゲーム機パーソナルコンピュータタブレット端末携帯端末携帯電話などのいずれであってもよい。そのような情報処理装置10の形態や、ユーザが選択したアプリケーションなどに応じて、情報処理装置10が行う処理の内容は様々であってよい。

0015

例えば情報処理装置10は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のフレームレートで生成し出力する。あるいはネットワーク8を介して動画のデータをサーバから取得し、それを逐次復号して出力してもよい。このように情報処理装置10の使用目的は様々であってよく、それに応じて実施する情報処理の内容も異なるため、詳細な説明は省略する。以後、そのような情報処理の結果として生成されたコンテンツの画像や、提示すべき情報を表した画像などを好適に表示させる手法に主眼を置いて説明する。

0016

図2は、本実施の形態において情報処理装置10が生成する画像の一例を模式的に示している。この例においてメイン画像200aは例えばゲームや動画など、主として表示される画像である。付加画像200bは必要に応じて一時的に表示される画像であり、図示する例はユーザにログインのためのアドレスパスワードを入力させるダイアログボックスを含む。このようなダイアログボックスを表示させる必要が生じると、情報処理装置10は、元から表示させていたメイン画像200aにダイアログボックスを含む付加画像200bを重畳させ、表示画像202を生成して出力する。

0017

このときなるべく広い領域で、付加画像200bを介してメイン画像200aが透け見えるようにすることで、ゲームや動画などメイン画像200aの世界観が途切れることなく必要な情報を好適に融合させることができる。さらに付加画像200bの透明度時間変化させれば、ダイアログボックスが徐々に出現したり消滅したりする演出もできる。

0018

複数の画像を重ねて表示させるケースは、図示する例以外にも様々に考えられることは当業者には理解されるところである。例えばレースゲームの場合、ドライバ視野を示すメイン画像に、コース全体を俯瞰した付加画像を追加で表示することが考えられる。映画を表示させる場合は、あらすじや出演者などの書誌情報を示す画像や、再生一時停止早送りなどの操作パネルを付加的に表示することが考えられる。

0019

このような表示画像202を生成する場合、次式で表されるアルファブレンド処理により、表示画像202の各画素の輝度Foutを決定できる。
Fout=(1−α)Fb1+αFb2 (式1)
ここでFb1、Fb1はそれぞれ、メイン画像200a、付加画像200bにおける対応する画素の輝度、αは付加画像200bの当該画素に設定された一般的なα値、すなわち透過度を示す0以上1.0以下の値である。

0020

例えば画像全体においてα値を0から1.0まで変化させると、メイン画像200aのみが表示されている状態から徐々に付加画像200bの色が濃くなっていき、最終的に付加画像200bが不透明に表示されることになる。α値を0より大きく1.0より小さい中間値とすれば、付加画像200bがその数値に応じた濃さで半透明の状態となり、メイン画像200aが透けて見えることになる。

0021

なおメイン画像200a、付加画像200bがRGB画像であれば、輝度Fb1、Fb2は当該3チャンネルのそれぞれに設定されるが、本実施の形態ではそれらを総称して輝度Fb1、Fb2と表す。また輝度Fb1、Fb2およびα値はそれぞれ、画素ごとに設定されるため、厳密には画像平面における2次元位置座標(x,y)に依存するが、式1は同じ位置の画素に係る計算を前提としているため位置座標は示していない。以下の記載も同様である。

0022

式1はメイン画像200aのα値を考慮しない計算式であったが、さらに背景画像を設定するなどし、メイン画像200aにも透過度を設定する場合、下式により表示画像202の各画素の輝度Foutを計算できる。
αout=(1−α2)α1+α2
Fout=(α1(1−α2)Fb1+α2Fb2 )/ αout (式2)
ここでα1、α2は、メイン画像200a、付加画像200bの各画素にそれぞれ設定されたα値である。なおメイン画像200aが不透明のとき、すなわちα1=1のとき、式2は式1で表される。

0023

このような構成において、輝度を定義する空間が、メイン画像200aと付加画像200bで異なる場合を考える。例えばコンテンツの処理装置において、付加画像200bを定常的にSDRで生成する一方、処理対象のコンテンツはHDRで表現されている場合がこれにあたる。SDRとHDRでは、同じ10bitの輝度信号であっても、それが指す輝度の値が異なる。そのため別の輝度空間で表された信号をそのまま式1、あるいは式2に代入することはできず、その前のいずれかの段階で輝度空間を統一する必要がある。このことはSDR/HDRに限らず、アルファブレンドの対象となる画像の輝度空間が異なれば同様である。

0024

メイン画像200aがHDR、付加画像200bがSDRで表現されており、表示装置がHDRの輝度レンジに対応している場合、付加画像200bの輝度をHDRの空間で表すようにすると、メイン画像200aで表現されているリアルな世界観を保つことができる。本実施の形態では、このように画像の輝度空間を変換する必要が生じても、表示上での色味や明るさなどへの影響を抑え、常に良好な表示がなされるようにする。

0025

以後、主に付加画像の輝度空間をSDRからHDRに変換するケースについて説明するが、本実施の形態の適用範囲はこれに限らない。すなわち処理対象の画像の輝度空間を、合成処理や表示装置の性能に起因して変換する必要があり、かつ変換処理によって見た目が変化しないようにすべき状況においては同様に適用できる。例えばHDRの輝度空間で定義されていても、実際の輝度のレンジがSDRの範囲に収まっている画像を、SDRの輝度空間で定義し直す必要がある場合などにも適用できる。

0026

図3は情報処理装置10から出力される画像の信号と、表示装置16における信号処理の概略を示している。まずHDRの画像、あるいはSDRの画像を独立して表示させる場合、情報処理装置10は内部で生成したり復号したりしてなる画像の輝度信号を表示装置16へ出力する(L1またはL3)。この信号は、本来の輝度値を、10bitなど所定ビット数の電気信号に変換したものである。変換にはHDR、SDRのそれぞれに対応する光−電気伝達関数(OETF:Optical-Electro Transfer Function)が用いられる。

0027

そのように出力された輝度信号を定義する空間がHDRであるかSDRであるかは、当該信号の付加情報としたり、モード切り替え要求信号を事前に送信したりすることにより情報処理装置10から表示装置16へ通知される。画像の輝度信号を受信した表示装置16において、輝度値取得部208は、電気光伝達関数EOTF:Electro-Optical Transfer Function)を用いて、輝度信号を輝度値に変換する。EOTFは受信した画像信号がHDRかSDRかによって異なり、同図ではそれぞれ、EOTF_H、EOTF_Sとして示している。

0028

これにより、同じ10bitの信号であっても、SDRの画像は0〜100nit、HDRの画像は0〜10000nitなど異なるレンジの輝度値が画素ごとに得られる。これを、ディスプレイパネルを有する表示部210に画素順に出力していくことにより(L2またはL4)、各輝度レンジで画像が表示される。なお表示装置16が対応する最大輝度が1000nitなどの中間値である場合、HDRの画像の最大輝度がそれより大きければ、輝度値取得部208は、表示装置16の最大輝度に収まるように輝度レンジをさらに調整する。

0029

このような環境において、HDRの画像(例えば図2のメイン画像200a)に、SDRの画像(例えば図2の付加画像200b)をアルファブレンドにより重畳表示させる場合、まずSDRの画像の輝度信号を、情報処理装置10において輝度空間変換部66に入力する(L6)。輝度空間変換部66は当該信号を、HDRの空間における輝度信号に変換する。変換処理の詳細は採用する規格によって様々であってよいが、基本的にはSDRの輝度空間を圧縮してHDRの輝度空間の一部に対応づけておくことにより、変換前の輝度信号が、変換後のHDR空間において当該一部の範囲に収まるようにする。

0030

図4は、輝度空間の変換処理の様子を模式的に示している。同図において左の矩形がSDRの輝度空間、右の矩形がHDRの輝度空間を表している。図示する例では輝度空間全体を0〜1.0の範囲で表しているが、実際には10bitなど所定ビット数のデータである。また各輝度空間で表される実際の輝度は、例えばSDRが0〜100nit、HDRが0〜10000nitである。

0031

同図に網掛けで示したように、SDRの輝度空間全体(0〜1.0)が、HDRの輝度空間における一部の範囲0〜R(ただし0<R<1.0)に収まるように割合Rを設定し、当該条件下で変換規則を設定する。実際の変換規則は、SDR空間における輝度信号に一律に割合Rを乗算する線形変換でもよいし、非線形単調増加関数を用いてもよい。変換規則をテーブルとして表したルックアップテーブルを準備してもよい。また、そのようにして変換した輝度信号を、必要に応じてさらに変換してもよい。

0032

図3戻り、上述のとおり輝度空間変換部66によりHDRの空間に変換された画像の輝度信号(L7)と、元からHDRで表現されていた画像の輝度信号(L5)とを入力値として、式1または式2を用いて合成処理部72がアルファブレンド処理を行う。式1または式2におけるFb1、Fb2が、それぞれL5、L7の入力に対応する。なおアルファブレンド計算に用いられるα値は、合成処理部72が元から保持しているか、別途入力されるものとする。

0033

情報処理装置10はアルファブレンド処理の結果生成した画像(例えば図2の表示画像202)を表す輝度信号を、HDRの画像として表示装置16へ出力する(L8)。当該信号を受信した表示装置16の輝度値取得部208は、HDRに対応するEOTFにより輝度値を取得し、表示部210に出力する(L9)。これにより、元からHDRで表現されていたコンテンツの世界観を損なうことなく、またSDRを想定した付加画像の生成機構を変えることなく、必要な情報を好適に表示させることができる。

0034

このように情報処理装置10内で輝度空間を変換する処理を必要とする場合、当該変換処理が、表示装置16における表示結果に影響を与えることが考えられる。すなわち元が同じSDRの画像であっても、L3から入力された信号と、L8から入力された信号とで、透明度の変化を度外視しても色味や明るさが変化してしまうことがあり得る。これは輝度値取得部208における最終的な輝度の取得処理が表示装置のメーカーなどによって異なり、輝度空間の変換処理を経てなる輝度信号の可逆性保障しないためである。

0035

結果として、輝度空間の変換処理の有無や接続された表示装置に依存して表示画像の色や明るさが変化し、場合によってはユーザに見づらさや違和感を与えることも考えられる。複数の画像を重畳表示させる場合は特に、表示装置側で一方の画像のみ見え方を調整することは困難である。そこで本実施の形態では、輝度空間の変換に用いるパラメータをユーザあるいは情報処理装置10が調整できるようにすることで、輝度空間の変換処理の有無や表示装置によらず本来意図された画像が安定して表示されるようにする。

0036

ユーザが調整する場合、各輝度空間で表現された同一の画像を表示装置16に実際に表示させ、それらを比較しながらパラメータを調整できるようなユーザインターフェースを提供する。情報処理装置10が調整する場合、各輝度空間で表現された同一の画像を表示させたときに、表示装置で実際に出力される輝度値の差を取得し、差が小さくなるようにパラメータを調整する。

0037

図5は情報処理装置10の内部回路構成を示している。情報処理装置10は、CPU(Central Processing Unit)23、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、USBやIEEE1394などの周辺機器インターフェースや、ネットワーク8などへ接続する有線または無線LANのネットワークインターフェースからなる通信部32、ハードディスクドライブ不揮発性メモリなどの記憶部34、表示装置16へデータを出力する出力部36、入力装置14からデータを入力する入力部38、磁気ディスク光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。

0038

CPU23は、記憶部34に記憶されているオペレーティングシステムを実行することにより情報処理装置10の全体を制御する。CPU23はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた、あるいは通信部32を介してダウンロードされた各種プログラムを実行する。通信部32はまた、ネットワーク8を介してサーバなど外部の装置と通信を確立し、動画像など電子コンテンツのデータを取得したり、情報処理装置10内部で生成されたデータを送信したりしてもよい。

0039

GPU24は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU23からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部36から出力することにより、表示装置16に画像を表示させる。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。

0040

図6は情報処理装置10の機能ブロックの構成を示している。図6および後述する図7に示す各機能ブロックは、ハードウェア的には、図5に示したCPU、GPU、各種メモリデータバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能データ保持機能演算機能画像処理機能通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

0041

情報処理装置10は、入力装置14からの入力情報を取得する入力情報取得部50、ゲームなどユーザ操作に応じた情報処理を行う情報処理部52、メイン画像のデータを生成する画像生成部54、付加画像とα値のデータを生成する重畳データ生成部56、メイン画像、付加画像を合成する画像合成部58、および、表示画像のデータを表示装置16に出力する画像出力部60を含む。

0042

入力情報取得部50は入力部38やCPU23などで実現され、ユーザ操作の内容を示すデータを入力装置14から取得する。ここでユーザ操作とは、実行するアプリケーションや出力するコンテンツの選択、処理の開始/終了、コマンド入力など、一般的な情報処理装置に対しなされるものでよい。このような操作の一つとして、付加画像として表される各種情報表示要求が含まれる。さらに入力情報取得部50は、上述した輝度空間の変換に用いるパラメータを調整するモードにおいて、調整に係るユーザ操作の内容も取得する。

0043

入力装置14として撮像装置や各種センサを導入する場合、入力情報取得部50は撮影画像やセンサの出力値などのデータを取得してもよい。入力情報取得部50はまた、動画など電子コンテンツのデータを、ネットワーク8を介してサーバから取得してもよい。入力情報取得部50は取得したデータを、その内容に応じて情報処理部52、重畳データ生成部56、画像合成部58に適宜供給する。

0044

情報処理部52はCPU23やメインメモリ26などで実現され、入力情報取得部50から供給されたデータに基づきゲームなどの情報処理を実施する。上述のとおり情報処理部52が実施する処理は、画像の表示を伴うものであればその内容は特に限定されない。画像生成部54はGPU24やメインメモリ26などで実現され、情報処理部52からの要求に従いメイン画像のデータを生成する。例えば情報処理部52がゲームを実行する場合、画像生成部54はユーザ操作やセンサの出力値などに応じたゲーム画像を所定のフレームレートで描画する。

0045

あるいは画像生成部54は、情報処理部52が指定した動画のデータを復号、伸張してもよい。動画のデータは情報処理装置10内部で保持していてもよいし、ネットワーク8を介してサーバからストリーム転送されたものや撮像装置がその場で撮影したものなどでもよい。いずれにしろ画像生成部54が最終的に生成するデータは、HDRおよびSDRのうちどちらかの空間で表された輝度信号である。付加画像を重畳させる必要がない期間、画像生成部54は、生成したメイン画像のデータを画像出力部60に出力する。

0046

付加画像を重畳させる必要がある期間、画像生成部54は生成したメイン画像のデータを画像合成部58に出力する。重畳データ生成部56はCPU23、GPU24、メインメモリ26などで実現され、必要に応じて付加画像のデータを生成する。付加画像はユーザが呼び出すことにより随時表示されるものでもよいし、ゲームや動画の進捗に応じて情報処理部52が決定したタイミングで表示されるものでもよい。または画面の片隅などに常時表示されるものでもよい。当該画像の生成には、内部で保持する画像データを用いてもよいし、撮像装置やサーバなど外部の装置から入力情報取得部50が取得したデータを用いてもよい。

0047

上述の例に則れば、重畳データ生成部56が最終的に生成するデータは、SDRの空間で表された輝度信号である。また重畳データ生成部56は、付加画像をどのような透過度で表示するかを決定づけるα値を、付加画像に対応づけて画素ごとに決定する。α値を時間変化させることにより、付加画像が徐々に出現したり消滅したりするようにしてもよい。重畳データ生成部56は、生成した付加画像のデータと、α値を画素値とするα画像のデータを画像合成部58に出力する。なおメイン画像にもα値を設定する場合、画像生成部54は当該画像に設定すべきα画像のデータも画像合成部58に出力する。

0048

画像合成部58はCPU23、GPU24、メインメモリ26などで実現される。なお画像合成部58を、2つの画像のデータを重ね合わせて表示画像を出力する画像合成装置として実現してもよい。詳細には画像合成部58は、重畳用のデータを取得する重畳データ取得部62、メイン画像のデータを取得するメイン画像データ取得部64、輝度空間を変換する輝度空間変換部66、アルファブレンド処理により表示画像のデータを生成する合成処理部72を含む。

0049

重畳データ取得部62は、付加画像の輝度信号と、α値を画素値とするα画像のデータを、重畳データ生成部56から取得する。メイン画像データ取得部64は、メイン画像の輝度信号を画像生成部54から取得し合成処理部72に供給する。またメイン画像データ取得部64は、データ解析等により特定したメイン画像の輝度空間に基づき、付加画像の輝度空間を変換する必要性の有無を判定する。

0050

すなわち付加画像が定常的にSDRで表現される一方、メイン画像がHDRで表現されている場合、メイン画像データ取得部64は、付加画像の輝度空間を変換する必要があると判定する。ただし本実施の形態をこれに限る主旨ではなく、輝度を定義する空間が異なれば、SDR/HDRの違いに限らず変換が必要と判定する。付加画像が、情報処理装置においていくらか固定化されたアルゴリズムにより生成される一方、メイン画像はコンテンツ提供側での高い自由度で作成されている場合、往々にしてそのような状況が発生し得る。

0051

輝度空間の変換が必要な場合、メイン画像データ取得部64は重畳データ取得部62にその旨を通知する。あるいはメイン画像データ取得部64からメイン画像の輝度空間を通知された重畳データ取得部62が、メイン画像、付加画像の双方に鑑み変換の必要性について判定してもよい。重畳データ取得部62は、輝度空間の変換の必要性の有無に応じて、取得したデータの供給先切り替える。具体的には、輝度空間を変換する必要がない場合、重畳データ取得部62は、取得したデータをそのまま合成処理部72に供給する。輝度空間を変換する必要がある場合、重畳データ取得部62は、取得したデータを輝度空間変換部66に供給する。

0052

重畳データ取得部62から直接、データを取得した場合、合成処理部72は当該データと、メイン画像データ取得部64から取得したメイン画像のデータを、上述の式1または式2に代入して表示画像の画素値を算出する。想定する例では、メイン画像と付加画像の双方がSDRの空間で定義された輝度信号のときにこの状況となるため、算出される画素値もSDR空間の輝度信号となる。なお変形例として、メイン画像と付加画像の双方が元からHDRの空間で定義されている場合も、当然そのままで表示画像の画素値を算出できる。この場合、算出される画素値はHDR空間の輝度信号となる。

0053

輝度空間変換部66は、図3で示した輝度空間変換部66と同等の機能を有し、重畳データ取得部62から供給された付加画像の輝度空間を変換する。想定する例では上述のとおり、SDRの空間で定義された輝度信号をHDRのものに変換する。輝度空間変換部66はさらに、変換に用いるパラメータの調整をユーザから受け付けるためのインターフェースを提供する。具体的には、SDRの輝度空間で定義された調整用の画像を準備し、内部のメモリに保持しておく。そして当該画像をSDRの輝度信号のまま出力した場合と、HDRの輝度信号に変換してから出力した場合とで、表示装置16に表示された画像を比較できるようにする。

0054

そして変換に用いるパラメータの調整操作をユーザより受け付け、調整結果リアルタイムで表示に反映させる。ユーザは、SDRの輝度信号のまま出力、表示された画像とHDRの輝度信号に変換して出力、表示された画像がおよそ同等の見た目となるまで調整操作を行う。そのようにして最適なパラメータを確定させれば、その後の処理においては、表示装置16内部における処理によらず、また、メイン画像がSDRかHDRかによらず、同様の色味や明るさで付加画像を重畳表示させることができる。

0055

ユーザに調整させる代わりに、輝度空間変換部66が自らパラメータを調整するようにしてもよい。この場合、調整用の画像をSDRの輝度信号のまま出力した場合と、HDRの輝度信号に変換してから出力した場合とで、表示装置16がディスプレイパネルを実際に発光させたときの輝度を比較する。すなわち図3で示した輝度値取得部208から出力される輝度値を情報処理装置10にフィードバックさせ、各輝度空間での輝度値の差が小さくなるように輝度空間変換部66がパラメータを調整する。ここで輝度値は、所定の画素で比較してもよいし、画像全体の輝度値の平均を色ごとに比較するなど統計的な処理により比較してもよい。画像の全体的な色や明るさを数値化して比較する手法が様々に考えられることは当業者には理解されるところである。

0056

輝度空間変換部66は、情報処理装置10に表示装置16が新たに接続された際など調整が必要な条件を満たしたときに、画像出力部60および表示装置16を介してユーザにその旨の通知を行う。それに応じてユーザが調整開始の指示入力を行ったら、パラメータの調整モードに移行する。あるいはさらに、ユーザが必要性を感じた際に調整モードを起動できるようにしてもよい。ユーザによる調整か輝度空間変換部66による調整かに関わらず、調整後に確定されたパラメータを内部のメモリに保持することにより、以後はそれを用いて輝度空間の変換を行う。

0057

輝度空間変換部66は、調整されたパラメータを用いて輝度空間を変換した付加画像の信号とα画像のデータを合成処理部72に供給する。輝度空間変換部66からデータを取得した場合も、合成処理部72は当該データと、メイン画像データ取得部64から取得したメイン画像のデータを、上述の式1または式2に代入して表示画像の画素値を算出する。この場合、メイン画像と付加画像の双方がHDRの空間で定義された輝度信号となっているため、算出される画素値もHDR空間の輝度信号となる。ここで合成処理部72は、図3で示した合成処理部72と同等の機能を有する。

0058

合成処理部72は算出した結果を画像出力部60に出力する。画像出力部60はGPU24、メインメモリ26、出力部36などで実現され、画像生成部54から供給されたメイン画像のデータ、または画像合成部58から供給された付加画像を重畳した画像のデータを、適切なタイミングで表示装置16に順次出力する。画像出力部60はまた、輝度空間の変換に用いるパラメータの調整モードにおいて、調整画面のデータを輝度空間変換部66から取得し、表示装置16に出力する。輝度空間変換部66がパラメータを調整する場合、画像出力部60はさらに、各輝度空間で調整用の画像を表示させた際の実際の輝度値に係る情報を表示装置16から取得し、輝度空間変換部66に供給する。

0059

表示装置16においては、図3を参照して説明したように、輝度値取得部208が、送信された画像の輝度信号がHDRのものかSDRのものかに応じて、適切なEOTFを用いて画素の輝度を取得する。そして表示部210の表示パネルからラインごとに出力することにより、HDRまたはSDRの輝度レンジで画像が表示される。

0060

図7は輝度空間変換部66の機能ブロックの構成をより詳細に示している。輝度空間変換部66は、線形データ取得部80、輝度信号変換部82、変換パラメータ記憶部84、パラメータ調整部86、および調整用画像記憶部88を含む。線形データ取得部80は、輝度空間の変換が必要な画像の輝度信号のデータとα画像のデータを重畳データ取得部62から取得する。このうち輝度信号は一般的に、ガンマ補正など非線形な変換がなされているため、逆の変換を施すことにより元の輝度に対し線形な変化を有する信号を取得する。

0061

輝度信号変換部82は、そのようにして得られた輝度の信号を、HDRの空間における輝度信号に変換する。すなわち図4を参照して説明したように、元の信号を圧縮する方向で設定された規則に従い変換を実施する。変換においては変換パラメータ記憶部84に格納されたパラメータを参照する。最終的に得られる輝度信号が、例えば色域の規格であるITU−RBT.2020、伝達関数の規格であるSMPTE ST2084に準拠した値となるように変換規則を定めることにより、元からそのような規格に従い表現されているメイン画像とアルファブレンディングを行っても違和感のない画像を表示できる。

0062

パラメータ調整部86は、輝度空間の変換に用いるパラメータの調整モードにおいて、当該パラメータの調整操作をユーザから受け付ける。あるいは自らがパラメータの調整処理を実施する。両者は択一的に実装してもよいし、どちらも実施可能としてユーザが選択できるようにしてもよい。前者の場合、パラメータ調整部86は上述のとおり、調整用画像記憶部88に格納された調整用の画像のデータを、SDRの輝度信号のまま表示させた場合と、HDRの輝度空間に変換してから表示させた場合とで、表示画像を比較できるようにする。

0063

HDRの輝度空間に変換した画像を表示させるためパラメータ調整部86は、線形データ取得部80および輝度信号変換部82に、調整用の画像データに対し上述と同様の処理を実施させる。調整モードにおいては合成処理の必要はないため、パラメータ調整部86は、各輝度空間で表された画像の信号を直接、画像出力部60に入力し、表示装置16に出力させる。ここで出力されるデータは、図3で示したL3とL7のものに対応する。

0064

これに応じて表示装置16では、SDR空間またはHDR空間で表された輝度信号を、それぞれの輝度空間に対応するEOTFにより輝度値に変換して表示する。パラメータ調整部86は、ユーザからの調整操作に従い、輝度空間の変換に用いるパラメータを随時変化させて表示に反映させる。そしてユーザが確定操作を行った時点でのパラメータを変換パラメータ記憶部84に格納し、後の変換処理で参照できるようにする。

0065

パラメータ調整部86が調整処理を行う場合も、各輝度空間で表された調整用の画像を表示装置16に表示させる処理は同様である。この場合、上述のとおり各画像を表示させたときの実際の輝度値を表示装置16から取得し、その差が最小となるときのパラメータを変換パラメータ記憶部84に格納する。

0066

パラメータ調整部86が調整対象とするパラメータは、輝度空間の変換規則に影響を与え、変換後の色味や明るさを調整できるものであればその対象は限定されない。例えば図4で示した、SDRの輝度空間の上限を対応づける、HDRの輝度空間における割合Rとしてもよい。SDRの画像を処理する環境とHDRの画像を処理する環境とでは、伝達関数や色空間が異なる。また上述のとおり、実際に表示される画像は表示装置のメーカーなどによって固有の発色となるため、輝度空間の変換前後で印象が変化しないような適切な割合Rを論理的に導出するのは難しい。

0067

逆に割合Rを実情に合わせて調整できるようにすれば、輝度値の可変範囲を制御できるため、輝度信号の中間値の変換規則を詳細に調整せずとも、変換対象の画像全体が与える色味や明るさの印象を効率よく変化させられる。すなわち割合Rを変化させることにより、変換規則が非線形な関数であっても、関数全体を変化させることができる。ただし調整パラメータを割合Rに限定する主旨ではなく、変換関数に含まれる、あるいは影響を与える1つまたは複数のパラメータでよい。変換用のルックアップテーブルを複数準備しておき、用いるテーブルを調整に応じて変化させてもよい。

0068

図8はパラメータ調整部86が、輝度空間の変換に用いるパラメータの調整モードにおいて、ユーザに提示する調整画面を例示している。この例で調整画面100は、全体領域に調整用の画像を表示させたうえ、GUI(Graphical User Interface)として、輝度空間切り替えボタン102、および調整用スライドバー106を表示させている。調整用の画像は上述のとおり、SDRの輝度空間で定義された、所定の撮影画像やコンピュータグラフィクスによる描画画像などである。より単純な色や図形のパターンなどでもよい。

0069

輝度空間切り替えボタン102のうち「SDR」と表記されたボタンが操作されると、パラメータ調整部86は、調整用画像をSDRの輝度空間のまま出力する。これは図3のL3の出力に対応する。この場合、表示装置16では、取得したデータをSDRのものとして処理し表示する。一方、輝度空間切り替えボタン102のうち「HDR」と表記されたボタンが操作されると、パラメータ調整部86は調整用画像をHDRの輝度空間のデータに変換して出力する。

0070

これは図3のL7の出力を表示装置16に直接入力するのに対応する。この場合、表示装置16では、取得したデータをHDRのものとして処理し表示する。調整用スライドバー106は、HDRの輝度空間の画像が表示されているときのみ操作可能とする。ユーザは「HDR」のボタンを操作した際に表示される画像を、「SDR」のボタンを操作したときに表示される画像と比較し、色味や明るさの印象が異なるようであれば調整用スライドバー106のハンドルを上下に移動させる。

0071

パラメータ調整部86は当該調整操作に応じて割合R等、調整対象のパラメータを変化させて輝度空間を変換し直し、表示装置16に即時表示させる。ユーザは変化する画像を見ながら調整操作を繰り返し、両画像に差が感じられなくなったら図示しない操作手段により確定操作を行う。パラメータ調整部86は、その時点におけるパラメータを変換パラメータ記憶部84に格納する。輝度信号変換部82は以後の変換処理において、そのように格納されたパラメータを利用する。

0072

なお図8に示した調整画面はあくまで例示であり、輝度空間の切り替えおよびパラメータの調整を直感的かつ容易に行えれば、その具体的な手段は限定されない。例えばそれらの手段を入力装置14のハードウェアキー割り付けてもよい。また調整対象のパラメータによっては、スライドバーのような連続的な変化をもたらすものでなく、複数の候補から選択対象を切り替えるためのGUIや操作手段を用いて調整できるようにしてもよい。

0073

これまで述べた説明では主に、メイン画像がHDRで表現されているとき、情報処理装置10などが提供する付加画像を元のSDRからHDRの輝度空間に変換してアルファブレンドにより重畳表示させることを想定していた。一方、このようにして調整されたパラメータを用いて変換を行えば、SDRの画像を単独で表示させる場合でも、表示装置側ではHDRの画像と同様に扱うことができる。図9はそのような場合における、情報処理装置10から出力される画像の信号と、表示装置16における信号処理の概略を示している。

0074

この場合、情報処理装置10の画像生成部54は、SDRの画像を内部で生成したり復号したりしたら、当該画像の輝度信号を輝度空間変換部66に直接入力する(L10)。輝度空間変換部66は、取得した輝度信号をHDRの空間における輝度信号に変換して表示装置16に出力する(L11)。輝度空間変換部66の機能は図7を参照して説明したのと同様である。したがって変換には、変換パラメータ記憶部84に格納された、調整後のパラメータを利用する。

0075

表示装置16の輝度値取得部208は、取得した輝度信号をHDRに対応するEOTFを用いて輝度信号を輝度値に変換し、表示部210へ順次出力する(L12)。これにより、元の画像がSDRで表現されているデータを、表示装置16においてはHDRの画像と同等に処理することができ、その結果表示される画像は本来の色味や明るさを踏襲したものとなる。

0076

このような態様を実現することにより、SDRで表現されたゲームなど個々のコンテンツを、表示装置における処理の切り替えなどの必要なく、HDRに対応した表示装置で、表示処理の差などに影響されず同様に表示できる。また、情報処理装置側で最適な変換用のパラメータを保持し共有することで、想定される表示装置に合わせて個々のコンテンツ内部でパラメータを設定しておくなどの手間を省くことができる。

0077

以上述べた本実施の形態によれば、元の画像の輝度空間を異なる輝度空間に変換して表示させる場合に、変換に用いるパラメータを実際の表示状態に合わせて調整できるようにする。具体的には、元の輝度空間のまま処理された表示画像と、輝度空間の変換処理を経て表示された画像を実際に比較し、容易な操作でパラメータを調整できるようなユーザインターフェースを提供する。あるいは表示された画像の実際の輝度を表示装置から取得し、情報処理装置側でパラメータを調整する。これにより、表示装置内部での処理の差によらず、輝度空間の変換の有無による表示結果への影響を最小限に抑え、好適な状態の表示を定常的に行える。

0078

その結果、メイン画像がSDRかHDRかによらず、SDRで表現された付加画像を、同様の見た目で透過性を持たせて重畳表示させることも可能となる。ひいては付加画像の生成機構を複数、設けたり、付加画像を複数種類生成したりするなどの必要なく、高い自由度で表現されたメイン画像の世界観を損なわない状態で安定的に付加画像を表示できる。また一度の調整で最適化されたパラメータは、コンテンツによらず共通に利用できるため、コンテンツ内部でパラメータの設定をせずとも、様々な輝度空間を想定した表示装置に容易に対応させることができる。

0079

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

0080

8ネットワーク、 10情報処理装置、 14入力装置、 16表示装置、 23 CPU、 24 GPU、 26メインメモリ、 50入力情報取得部、 52情報処理部、 54画像生成部、 56重畳データ生成部、 58画像合成部、 60画像出力部、 62 重畳データ取得部、 64メイン画像データ取得部、 66輝度空間変換部、 72合成処理部、 80線形データ取得部、 82輝度信号変換部、 84変換パラメータ記憶部、 86パラメータ調整部、 88調整用画像記憶部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ