図面 (/)

技術 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 滝沢篤史荒木孝昌宮崎礼只正太郎
出願日 2016年5月19日 (3年9ヶ月経過) 出願番号 2017-538886
公開日 2018年2月22日 (2年0ヶ月経過) 公開番号 WO2017-043126
状態 不明
技術分野
  • -
主要キーワード 測定用カメラ バーチャルリアリティ技術 ピクセル中心 糸巻き歪 対応座標 工場出荷後 工場出荷 樽型歪
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題・解決手段

レンズを取り付ける際の取り付け位置に誤差があり、レンズの光軸ディスプレイの中心とがずれてしまうと、ユーザの左右の目に見えるそれぞれの画像の中心がずれてしまうこととなり、意図した距離感がユーザに提示できないという問題を解決する。出力装置(12)が、ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、ディスプレイ部の表示面側に配されるレンズとを有し、レンズの光軸とディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する。情報処理装置(11)では、この出力装置が出力する組み付け誤差の情報に基づいて表示の対象となる画像データを補正した補正画像データを生成する。

概要

背景

近年、例えばヘッドマウントディスプレイスマートグラスなどのように、ユーザが頭部に装着して使用する出力装置がある。このような出力装置は、ユーザの左右の目のそれぞれの前に配される一対のディスプレイを備え、当該ディスプレイに表示した画像をユーザに提示する。このような出力装置は、臨場感のある映像をユーザに視認させることができるため、バーチャルリアリティ技術などに利用されている。

概要

レンズを取り付ける際の取り付け位置に誤差があり、レンズの光軸とディスプレイの中心とがずれてしまうと、ユーザの左右の目に見えるそれぞれの画像の中心がずれてしまうこととなり、意した距離感がユーザに提示できないという問題を解決する。出力装置(12)が、ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、ディスプレイ部の表示面側に配されるレンズとを有し、レンズの光軸とディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する。情報処理装置(11)では、この出力装置が出力する組み付け誤差の情報に基づいて表示の対象となる画像データを補正した補正画像データを生成する。

目的

本発明は上記実情に鑑みて為されたもので、意図した距離感をユーザに提示できる情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体を提供する

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

出力装置と、情報処理装置とを有し、前記出力装置が、ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズと、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を含み、前記情報処理装置が、前記出力装置から前記組み付け誤差の情報を取得し、表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第2の補正画像データを生成する補正画像データ生成手段と、前記補正画像データ生成手段が生成した第2の補正画像データを前記出力装置に出力する手段と、を含み、前記出力装置が、前記情報処理装置が出力する第2の補正画像データを、前記ディスプレイ部に表示する情報処理システム

請求項2

ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズとを有し、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置であって、表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第2の補正画像データを生成する補正画像データ生成手段と、前記補正画像データ生成手段が生成した第2の補正画像データを前記出力装置に出力する手段と、を含む情報処理装置。

請求項3

ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズと、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を有する出力装置。

請求項4

請求項3に記載の出力装置であって、測定により得られた、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を記憶する記憶手段をさらに備え、前記組み付け誤差の情報を出力する手段は、前記記憶手段に格納された組み付け誤差の情報を出力する出力装置。

請求項5

請求項3に記載の出力装置であって、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差を測定する測定手段をさらに有し、前記組み付け誤差の情報を出力する手段は、当該測定手段により測定された組み付け誤差の情報を出力する出力装置。

請求項6

ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズとを有し、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置を、表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第2の補正画像データを生成する補正画像データ生成手段と、前記補正画像データ生成手段が生成した第2の補正画像データを前記出力装置に出力する手段と、として機能させるプログラム

請求項7

ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズとを有し、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置を、表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第2の補正画像データを生成する補正画像データ生成手段と、前記補正画像データ生成手段が生成した第2の補正画像データを前記出力装置に出力する手段と、として機能させるプログラムを格納した、コンピュータ可読な記録媒体

技術分野

背景技術

0002

近年、例えばヘッドマウントディスプレイスマートグラスなどのように、ユーザが頭部に装着して使用する出力装置がある。このような出力装置は、ユーザの左右の目のそれぞれの前に配される一対のディスプレイを備え、当該ディスプレイに表示した画像をユーザに提示する。このような出力装置は、臨場感のある映像をユーザに視認させることができるため、バーチャルリアリティ技術などに利用されている。

発明が解決しようとする課題

0003

こうした出力装置では、その視野角を広くするために、ディスプレイに表示した画像を、敢えて歪みの強いレンズを介してユーザの目の前に結像させている。このようなレンズを用いる場合、ディスプレイに表示する画像はユーザに提示する画像そのものではなく、レンズの歪みを考慮して、予め元の画像(ソース画像)に対してレンズの歪みとは逆の歪みを与えた補正画像を生成し、当該補正画像を表示する。これによりレンズを介してユーザに視認される画像がソース画像に対応したものとなる。

0004

しかしながら製造時にこのレンズを取り付ける際の取り付け位置に誤差があり、レンズの光軸とディスプレイの中心とがずれてしまうと、ユーザの左右の目に見えるそれぞれの画像の中心がずれてしまうこととなり、左右の視線方向が交差しない(外向きになる)場合や、視線が内向きとなってしまう場合があった。このため、従来は、意図した距離感がユーザに提示できないという問題点があった。

0005

本発明は上記実情に鑑みて為されたもので、意図した距離感をユーザに提示できる情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体を提供することを、その目的の一つとする。

課題を解決するための手段

0006

上記従来例の問題点を解決する本発明は、情報処理システムであって、出力装置と、情報処理装置とを有し、前記出力装置が、ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズと、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を含み、前記情報処理装置が、前記出力装置から前記組み付け誤差の情報を取得し、表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第2の補正画像データを生成する補正画像データ生成手段と、前記補正画像データ生成手段が生成した第2の補正画像データを前記出力装置に出力する手段と、を含み、前記出力装置が、前記情報処理装置が出力する第2の補正画像データを、前記ディスプレイ部に表示することとしたものである。

発明の効果

0007

本発明によると、意図した距離感をユーザに提示できる。

図面の簡単な説明

0008

本発明の実施の形態に係る情報処理システムの例を表す構成ブロック図である。
本発明の実施の形態に係る出力装置の例を表す構成ブロック図である。
本発明の実施の形態に係る出力装置においてレンズの組み付け誤差を測定する方法の例を表す説明図である。
本発明の実施の形態に係る出力装置のディスプレイ部のサブピクセルの配置位置の例を表す説明図である。
本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。
本発明の実施の形態に係る情報処理装置の処理例を表すフローチャート図である。

実施例

0009

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム10は、図1に例示するように、情報処理装置11と、出力装置12とを含んで構成される。

0010

本実施形態の一例では、情報処理装置11は、例えば家庭用ゲーム機等のコンピュータ利用機器であり、具体的には図1に示したように、制御部21と、記憶部22と、インタフェース部23と、を含んで構成されている。また出力装置12は、例えばヘッドマウントディスプレイであり、図2に模式的に例示するように、制御部31と、記憶部32と、入出力インタフェース部33と、一対のディスプレイ部34L,34Rと、一対のレンズ35L,35Rとを含んで構成されている。

0011

また本実施の形態では、出力装置12は、その工場出荷時に一対のディスプレイ部34L,34R(以下、区別の必要がないときにはディスプレイ部34とまとめて記す)、及びレンズ35(左目側のレンズ35Lと右目側のレンズ35Rとのそれぞれ)の組み付け誤差が測定される。この測定は広く知られた方法で行うことができる。具体的には、この測定は次のように行われる。まず、左目用右目用のそれぞれの画像を表示するディスプレイ部34L,34Rと、レンズ35とを組み付けた後、各ディスプレイ部34L,34Rの中心に、当該中心の位置cで交差する一対の線分(十字)の画像(マーカー)を表示する。

0012

次にディスプレイ部34Lとレンズ35L、及びディスプレイ部34Rとレンズ35Rのそれぞれの理想的な組み付け位置の中心軸Aに対し、その光軸とを一致させた状態に設置した測定用カメラでそれぞれのディスプレイ部34L,34Rに表示されたマーカーを撮影する。

0013

そしてこうして撮影されたマーカーの画像で表される交差点cが、測定用カメラの光軸に相当する位置からどれだけずれているかを測定する。

0014

これにより、レンズ35L,35Rを通じて視認される、対応するディスプレイ部34L,34Rに表示された画像と、視点とのずれd(Δx,Δy)(ディスプレイ部34の座標で表される)が測定される。なおここではピクセルの行方向をX軸、当該X軸に直交する方向をY軸としている。そして当該測定した結果(左目側のレンズ35L及びディスプレイ部34Lと、右目側のレンズ35R及びディスプレイ部34Rとのそれぞれの組についての測定結果)を組み付け誤差の情報として記憶部32に格納する。

0015

情報処理装置11の制御部21は、記憶部22に格納されたプログラムに従って動作するCPUや画像処理モジュールであるGPU等のプログラム制御デバイスである。本実施の形態の制御部21は、出力装置12における表示の対象となるソース画像データを受け入れ、当該受け入れたソース画像データに基づいて、所定の変換式により出力装置12が備えるレンズ35の歪みを補正した補正画像データを生成する。またこの制御部21は、当該生成した補正画像データを、出力装置12に対して出力する。この制御部21の動作については、後に詳しく述べる。

0016

記憶部22は、メモリデバイスディスクデバイス等であり、制御部21によって実行されるプログラムが格納される。このプログラムは、DVD−ROM等の、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部22に格納されたものであってもよい。また、この記憶部22は、制御部21のワークメモリとしても動作し、例えば処理の対象となる画像データを格納するフレームバッファ領域が設定されていてもよい。

0017

インタフェース部23は、例えばHDMI登録商標)(High-Definition Multimedia Interface)ポートや、USBポート等であり、出力装置12に接続される。またこのインタフェース部23は、制御部21から入力される指示に従い、データ(画像データ等)を出力装置12へ出力する。またインタフェース部23は、出力装置12から入力される情報を制御部21に出力する。

0018

出力装置12の制御部31は、記憶部32に格納されたプログラムに従って動作するCPU等のプログラム制御デバイスである。本実施の形態においてこの制御部31は、情報処理装置11から入出力インタフェース部33を介して入力される補正画像データをディスプレイ部34に出力する処理を行う。またこの制御部31は、記憶部32に格納されている組み付け誤差の情報要求を外部(情報処理装置11等)から受けて、当該要求された組み付け誤差の情報を記憶部32から読み出し要求元である情報処理装置11等へ送出する処理を行ってもよい。この制御部31の動作については、後に述べる。

0019

記憶部32は、メモリデバイス等であり、制御部31によって実行されるプログラムが格納される。このプログラムは、DVD−ROM等の、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部32に格納されたものであってもよい。また、この記憶部32は、制御部31のワークメモリとしても動作し、例えば表示する補正画像データを格納する領域が設定されていてもよい。さらに本実施の形態では既に述べたように、この記憶部32には、工場出荷時に測定された組み付け誤差の情報が格納されている。

0020

入出力インタフェース部33は、例えばHDMI(登録商標)(High-Definition Multimedia Interface)ポートや、USBポート等であり、情報処理装置11等に接続されている。

0021

一対のディスプレイ部34L,34Rは、例えば液晶ディスプレイ等であり、図2に例示するように、ユーザの左右の目のそれぞれに対応して設けられる(以下、区別の必要がない場合は、ディスプレイ部34とまとめて表記する)。各ディスプレイ部34はそれぞれ複数のピクセル341を含んで構成され、各ピクセル341はさらに、R,G,Bの各色で発光するサブピクセル342を備えている。このサブピクセル342は、ピクセル341ごとに図4(a)または図4(b)に例示するような位置に配置されている。ここでの例では、Rのサブピクセル342rの中心は、図4(a),図4(b)ともに、ピクセル342の中心座標Cx,Cy)から(Rx,Ry)だけ離れた位置(Cx+Rx,Cy+Ry)に位置している。また、Gのサブピクセル342gの中心もまた、図4(a),図4(b)ともに、ピクセル342の中心座標(Cx,Cy)から(Gx,Gy)だけ離れた位置(Cx+Gx,Cy+Gy)に位置している。一方、Bのサブピクセル342bの中心は、図4(a)ではピクセル342の中心座標(Cx,Cy)から(Bx1,By1)だけ離れた位置(Cx+Bx1,Cy+By1)に位置し、図4(b)ではピクセル342の中心座標(Cx,Cy)から(Bx2,By2)(図4(a),(b)の例ではBx1=Bx2、By1≠By2)だけ離れた位置(Cx+Bx2,Cy+By2)に位置する。なお、ここで中心座標は、ピクセル341またはサブピクセル342の外接矩形対角線が交わる点などというように、ピクセル341またはサブピクセル342内の点として予め定めておく。

0022

一対のレンズ35L,35Rは、対応するディスプレイ部34L,34Rと、当該ディスプレイ部34L,34Rに表示される画像を見るユーザの目との間に(つまり、ディスプレイ部34の表示面側に)配される(以下、区別の必要がない場合は、レンズ35としてまとめて表記する)。このレンズ35は、対応するディスプレイ部34に表示された画像(補正画像データに相当する画像)に所定の歪(例えば方眼面を表示したときに中心部に向って糸巻きの形状に縮む糸巻き歪)を生じさせて、ユーザの目に認識させる。

0023

ここで情報処理装置11の制御部21の動作について説明する。制御部21は、機能的には図5に例示するように、ソース画像受入部41と、補正画像生成部42と、出力部43とを含んで構成されている。ここでソース画像受入部41は、左目用と右目用の一対のソース画像データの入力を受け入れる。本実施の形態の一例では、制御部21は、ゲームのための処理等、画像の補正とは異なる処理(他の処理)も並列して(時分割的に)実行しており、このソース画像受入部41は、当該他の処理からソース画像データを受け入れることとしてもよい。

0024

補正画像生成部42は、一対のソース画像データのそれぞれに対してレンズ35の歪を打ち消すための所定の変換式(例えば樽型歪を与える変換の演算式)により定められる変換を施して、補正画像データを生成する。

0025

具体的にこの補正画像生成部42は、左目用と右目用の一対の補正画像データのそれぞれについて、補正画像データを構成する各ピクセルを順次選択し、選択したピクセルの位置の情報と上記変換式とにより、当該補正画像データ上のピクセルに対応するソース画像データ上のピクセル(変換式により選択した補正画像データ上のピクセルの位置に写るピクセル)を演算により求め、当該ソース画像上の対応するピクセルの画素値に基づいて、補正画像データ上の選択したピクセルの輝度を決定することで補正画像データを生成する。

0026

また補正画像生成部42は、出力装置12に対して組み付け誤差の情報の要求を送出し、当該要求に応答して出力装置12が出力する組み付け誤差の情報を受け入れて記憶部22に格納しておく。この組み付け誤差の情報を得るタイミングは、次の処理を行う前までであれば、いつでも構わない。

0027

補正画像生成部42は、左目側のレンズ35L及びディスプレイ部34Lについての組み付け誤差の情報を記憶部22から読み出して、左目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動する。すなわち補正用画像生成部42は、補正画像データのうちディスプレイ部34Lの中心に表示されるべきピクセルが、レンズ35Lを通じて視認される、ユーザの視線の光軸上にあるディスプレイ部34Lのピクセルの位置になるよう左目用の補正画像データ全体を平行移動し、左目用の第2補正画像データを得る。また補正画像生成部42は、右目側のレンズ35R及びディスプレイ部34Rについての組み付け誤差の情報を記憶部22から読み出して、右目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動する。つまり補正用画像生成部42は、補正画像データのうちディスプレイ部34Rの中心に表示されるべきピクセルが、レンズ35Rを通じて視認される、ユーザの視線の光軸上にあるディスプレイ部34Rのピクセルの位置になるよう右目用の補正画像データ全体を平行移動し、右目用の第2補正画像データを得る。

0028

出力部43は、補正画像生成部42にて生成した第2の補正画像データを出力する。

0029

[動作] 本実施の形態の情報処理システムは以上の構成を備えており、次のように動作する。

0030

情報処理装置11の制御部21は、出力装置12に対して組み付け誤差の情報の要求を送出し、当該要求に応答して出力装置12が出力する組み付け誤差の情報を受け入れて記憶部22に格納する。

0031

そして制御部21は、ゲームのための処理において生成された、左目用と右目用の一対のソース画像データのそれぞれに対応する補正画像データを格納する領域を記憶部22に確保する。

0032

制御部21は、一対の補正画像データのそれぞれについて次の処理を行う。すなわち制御部21は、補正画像データに含まれるピクセルのそれぞれを順次選択する。制御部21は選択したピクセルの中心座標を演算する。

0033

制御部21は、レンズ35の歪みを打ち消す変換式により当該ピクセルの中心座標に変換されるソース画像データ上の座標を、対応座標として演算により求める。そして制御部21は、ソース画像データ上で、当該対応座標を中心として所定の範囲にあるピクセル(複数あってもよい)における画素値(選択したサブピクセルの色に対応する画素値の成分)に基づいて、選択されたサブピクセルの輝度を決定する。制御部21は、この処理をピクセルごとに行うことで、補正画像データに含まれる各ピクセルの画素値を得ていく。また制御部21はこれらの処理を左目用と右目用とについてそれぞれ行うことで、左目用と右目用の一対の補正画像データを生成する。

0034

また、制御部21は、左目側のレンズ35L及びディスプレイ部34Lについての組み付け誤差の情報を記憶部22から読み出して、左目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動して左目用の第2補正画像データを得る。また制御部21は、右目側のレンズ35R及びディスプレイ部34Rについての組み付け誤差の情報を記憶部22から読み出して、右目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動して、右目用の第2補正画像データを得る。

0035

そして制御部21は、当該生成した一対の第2の補正画像データを、インタフェース部23を介して出力装置12へ出力する。出力装置12では、入力された左目用の第2の補正画像データを左目用のディスプレイ部34Lに表示し、右目用の第2の補正画像データを右目用のディスプレイ部34Rに表示する。

0036

これら表示された第2の補正画像データは上述のようにレンズ35の歪みを打ち消すように補正されたものであり、いずれも、対応するレンズ35L,Rを介することでレンズ35の歪を受けて補正による変形と歪による変形とが相殺されて、ソース画像データに相当する画像が、ユーザの目に入ることとなる。また、この例では、ディスプレイ34やレンズ35が組み付け時にずれて配されたとしても、レンズ35を通じたユーザの視線の光軸上に、本来のソース画像データの中心が位置するようディスプレイ34に表示する画像が補正されているので、ユーザに対して、意図した遠近感を与えることが可能となる。

0037

本実施の形態の例では、出力装置12のディスプレイ部34に表示される画像(補正画像データの表す画像)は、出力装置12ごとにピクセル単位で位置が異なることがある(組み付け時の誤差が偶々一致している出力装置12同士では同じになる)。

0038

[サブピクセルの中心位置とピクセルの中心位置とがずれていることを考慮した処理] さらに本実施の形態のある例では、補正画像生成部42は、レンズ35の歪みを打ち消す補正を行う際に、サブピクセルの中心位置とピクセルの中心位置とがずれていることを考慮した処理を行ってもよい。

0039

この場合、補正画像生成部42による補正画像データの生成処理は次のようになる。すなわち補正画像生成部42は、一対のソース画像データのそれぞれについて次の補正画像データの生成処理を行う。補正画像生成部42はいずれかのソース画像データについての補正画像データの生成処理を開始すると、図6に例示するように補正画像データを格納する領域を記憶部22に確保する(S1)。この領域は、出力装置12のディスプレイ部34のピクセル数に合わせて確保される。

0040

補正画像生成部42は、補正画像データのピクセル341の一つを選択する(S2)。この選択は例えば左上隅のピクセルからスキャンライン順に行えばよい。つまり最も上側にあるピクセルの行において、左から右へとピクセルを順に選択し、次いで次の行(一つ下の行)へ移ってまた左から右へとピクセルを順に選択する…というように選択していけばよい。もっとも、ピクセルの選択はこの順序に限られるものではなく、任意の順に選択してよい。また、GPU(Graphics Processing Unit)を利用して、複数のピクセルを並列的に選択して次の処理を行うこととしてもよい。

0041

補正画像データのピクセル341の一つを選択すると、補正画像生成部42は、当該選択したピクセルに含まれるサブピクセル342のそれぞれを順次選択する(S3)。具体的には、R,G,Bの順など、予め定めた順に選択すればよい。補正画像生成部42は、処理S2で選択したピクセル341の中心の座標(Cx,Cy)を用いて、処理S3で選択したサブピクセル342の中心座標の位置を演算する(S4)。

0042

このサブピクセル342の中心座標は、サブピクセル342の配置がすべてのピクセル341において同じであれば、各サブピクセル342の中心座標が、ピクセル341の中心座標からどれだけ離れているかを表す情報を予め記憶部22に格納しておき、当該情報を参照することで演算できる。

0043

またピクセル341によって、少なくとも一つのサブピクセル342の中心座標が異なる場合(例えば図4(a),(b)に例示したように二種類の配置がある場合など)は、配置の種類ごとに、ピクセル341の中心座標から各サブピクセル342の中心座標がどれだけ離れているかを表す情報を記憶部22に格納しておくとともに、ピクセル341ごとに、ピクセル341を特定する情報と、当該情報で特定されるピクセル341においてサブピクセル342がどの種類の配置となっているかを表す情報とを関連付けて記憶部22に格納しておく。補正画像生成部42は、処理S2にて選択したピクセル341における配置の種類を当該情報に基づいて特定し、当該特定した種類の配置における各サブピクセル342の中心座標に係る情報(サブピクセル342の中心座標がピクセル341の中心座標からどれだけ離れているかを表す、サブピクセル342の位置の情報)を参照して各サブピクセル342の中心座標の位置を演算する。

0044

さらにピクセル341によって、少なくとも一つのサブピクセル342の中心座標が異なる場合(例えば図4(a),(b)に例示したように二種類の配置がある場合など)、ピクセル341の各々についての、ピクセル341の中心座標から各サブピクセル342の中心座標がどれだけ離れているかを表す情報を平均し、各サブピクセル342の平均の中心座標を求めて、予め記憶部22に格納しておいてもよい。この場合、補正画像生成部42は、処理S2にて選択したピクセル341の中心座標からどれだけ離れているかを表す情報(平均の情報)を記憶部22から読み出して参照し、各サブピクセル342の中心座標の位置を演算する。

0045

補正画像生成部42は、処理S4にて演算したサブピクセル342の中心座標に対応する、ソース画像データ上の対応座標を演算により求める(S5)。この演算は、ソース画像データから補正画像データを得るためのレンズ35の歪みを打ち消す所定の変換式と、処理S4にて演算されたサブピクセル342の中心座標とにより、上記所定の変換式により当該選択したサブピクセル342の中心座標に変換されるソース画像データ上の座標を、対応座標として演算により求めるものである。その具体的な演算方法は広く知られているので、ここでの詳しい説明は省略する。

0046

補正画像生成部42は、求められたソース画像データ上の対応座標を中心として、ソース画像データ上で所定の範囲にあるピクセル(複数あってもよい)における画素値(処理S3で選択されたサブピクセル342の色に対応する画素値の成分)に基づいて、処理S3で選択されたサブピクセル342の輝度を決定する(S6)。例えば処理S3で選択されたサブピクセル342の色がR(赤)であれば、ここではソース画像データ上の対応座標を中心としてソース画像データ上で所定の範囲にあるピクセルの画素値の赤色成分RGB値のうちRの値)に基づいて、処理S3で選択されたサブピクセル342の輝度を決定する。

0047

一般に、処理S5により求められる対応座標の値はいずれかのピクセルの中心には位置しないので、ここでの輝度の決定は、求められたソース画像データ上の対応座標を中心として所定の範囲にあるピクセルにおける画素値を補間して求めることになる。この補間法には最近傍(ニアレストネイバー)補間、双一次(バイリニア)補間、双三次(バイキュビック)補間等の広く知られたものを用いることができる。一例としてこの処理S5,S6に係る演算はOpenCV等のソフトウエアにおいて用いられているものと同様のレンズ歪み補正処理を利用して行うことができる。

0048

補正画像生成部42は、処理S3からS6を各サブピクセル342について繰り返し行う。これにより、処理S2にて選択したピクセル341に含まれる各サブピクセル342のそれぞれの輝度が決定され、当該ピクセル341の画素値が決定される。すなわち本実施の形態のこの例において特徴的なことの一つは、ピクセルごとではなく、サブピクセルごとにそのピクセル内での位置に基づいてソース画像データ内の対応するピクセルを特定し、当該特定したピクセルの画素値のうちサブピクセルの色の成分を用いて、サブピクセルの輝度を特定することで補正画像データを得ていることである。

0049

補正画像生成部42は、処理S2から処理S6までの処理を、各ピクセル341について繰り返し行う。これにより補正画像生成部42は、補正画像データに含まれる各ピクセル341の画素値を得ていく。また補正画像生成部42は以上の処理を左目用と右目用とについてそれぞれ行うことで、左目用と右目用の一対の補正画像データを生成する。

0050

本実施の形態のこの例による情報処理装置11により生成された補正画像データでは、サブピクセルの配置が、例えば図4(a)または図4(b)に示されたものである場合、R,Gのサブピクセルが縦方向に配されていることから、水平な線に対して非対称となっており、従って水平な線に対して対称な一対の画像をそれぞれソース画像データとした場合に、それぞれから得られる補正画像データは、互いに異なった結果となる。また、ここではディスプレイ及びレンズの組み付け誤差による補正処理と、ピクセル中心とサブピクセル中心とがずれていることに対応する補正処理とを個別に行っているが、これらを一度の補正処理にて行うこととしても構わない。

0051

[変形例] 本実施の形態では、出力装置12のディスプレイ部34における各ピクセル内のサブピクセルの位置の情報については記憶部22に格納されているものとしたが、この、サブピクセルの位置の情報は、例えば出力装置12のドライバインストール時に格納されてもよい。

0052

また本実施の形態の別の例では、出力装置12が接続されたときに、情報処理装置11が出力装置12からサブピクセルの位置の情報を取得して、記憶部22に格納してもよい。この例では、出力装置12の記憶部32に、ディスプレイ部34における各ピクセル内のサブピクセルの位置を表す情報(各ピクセル341の中心座標から各サブピクセル342の中心座標がどれだけ離れているかを表す情報、またはピクセル341の中心座標から各サブピクセル342の中心座標が平均してどれだけ離れているかを表す情報)が格納される。この情報は、例えば工場出荷時等に、記憶部32に書き込まれる。

0053

そして出力装置12の制御部31は、外部(情報処理装置11等)から、サブピクセルの位置の情報の要求を受けると、当該要求に応答して、記憶部32に格納されている、上記サブピクセルの位置の情報を要求元となった情報処理装置11等に出力する。

0054

この例においては、情報処理装置11は、出力装置12が接続されたタイミングなど、補正画像データの生成処理を行うよりも前の段階でサブピクセルの位置の情報を出力装置12から取得して記憶部22に格納し、補正画像データの生成処理に用いる。

0055

なお、この例において出力装置12に対して要求を出力しても、サブピクセルの位置の情報が取得できない場合は、ソース画像データの各ピクセルの中心にすべてのサブピクセルの中心座標があるものとして、補正画像データの生成処理を行ってもよい。この場合、具体的には、従来一般的な画像変形の処理を用いることができるので、ここでの詳しい説明は省略する。

0056

また、ここまでの説明では、ディスプレイやレンズの組み付け誤差を考慮した処理を行う場合、出力装置12が要求に応じて、工場出荷時に書き込まれたレンズ35の組み付け誤差の情報を情報処理装置11に送出するものとしていたが、本実施の形態はこれに限られない。

0057

すなわち、本実施の形態では、出力装置12がレンズ35の光軸と対応するディスプレイ部34の中心との位置のずれを測定する装置を備えていてもよい。この装置は具体的には、広く知られたオートコリメータを用いるもので構わない。なお、本実施の形態では、組み付け誤差の測定は、理想的な光軸に対する位置ずれを測定するものであっても構わないし、レンズ光軸とディスプレイ部34の中心との相対的な位置ずれを測定するものであってもよい。

0058

この例では、出力装置12の制御部31は、外部(情報処理装置11等)から組み付け誤差の情報の要求を受けて、記憶部32に格納されている組み付け誤差の情報を読み出す代わりに、各レンズ35L,35Rの光軸と、対応するディスプレイ部34L,34Rの中心との位置のずれを測定し、当該測定した組み付け誤差の情報を、要求元である情報処理装置11等に対して出力する。

0059

このようにすると、工場出荷後、例えばユーザが出力装置12を落とすなどして衝撃を与えたときにディスプレイ34や、レンズ35の位置がずれたとしても、当該位置ずれを考慮した処理を行うことが可能となる。

0060

10情報処理システム、11情報処理装置、12出力装置、21,31 制御部、22,32 記憶部、23インタフェース部、33入出力インタフェース部、34ディスプレイ部、35レンズ、41ソース画像受入部、42補正画像生成部、43 出力部、341ピクセル、342サブピクセル。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ