図面 (/)

技術 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 中田征志松井康範
出願日 2017年12月21日 (2年4ヶ月経過) 出願番号 2017-244861
公開日 2019年7月11日 (9ヶ月経過) 公開番号 2019-114842
状態 未査定
技術分野 スタジオ装置 FAXの帯域、冗長度の圧縮 TV信号の圧縮,符号化方式
主要キーワード 線二色性 複数方位 平均時刻 VR空間 実測距離 画像処理機構 デプスカメラ 画像解析機
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年7月11日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

伝送するデータサイズを増大させずに、撮影画像を用いた高精度な情報処理を実現する。

解決手段

画像処理装置デプス画像圧縮部54aにおいて、デプス画像演算部70は撮影されたステレオ画像80を用いて演算によりデプス画像を生成する。差分画像取得部72は、実測されたデプス画像82と演算されたデプス画像との差分画像84を生成する。コンテンツ処理装置のデプス画像伸張部62aにおいて、デプス画像演算部74は送信されたステレオ画像80を用いて演算によりデプス画像を生成する。差分画像加算部76は、送信された差分画像84に演算されたデプス画像を加算してデプス画像86を復元する。

概要

背景

VR(Virtual Reality:仮想現実)やAR(Augmented Reality:拡張現実)の技術の発展に伴い、立体視を実現するステレオ画像などのカラー画像に加え、撮像面から被写体までの距離の情報、いわゆるデプス情報が重要視されるようになってきた。デプス情報により、実物体ポリゴン表現したり、視線が動いても違和感のない立体映像を表示したりできるようになり、より臨場感没入感のあるコンテンツを実現できる。またデプス情報は、映像として表された空間に仮想オブジェクトとしてのボールを投げ込むなど、VR空間、AR空間でのユーザの行動に対するインタラクションの実現においても重要である。

精度の高いデプス情報を得るため、近赤外線などの参照光照射し、その反射光を検出するまでの時間に基づきデプス情報を得る手法や、反射光の分布のひずみや強度に基づきデプス情報を得る手法など、様々な測定手法が提案されている。

概要

伝送するデータサイズを増大させずに、撮影画像を用いた高精度な情報処理を実現する。画像処理装置デプス画像圧縮部54aにおいて、デプス画像演算部70は撮影されたステレオ画像80を用いて演算によりデプス画像を生成する。差分画像取得部72は、実測されたデプス画像82と演算されたデプス画像との差分画像84を生成する。コンテンツ処理装置のデプス画像伸張部62aにおいて、デプス画像演算部74は送信されたステレオ画像80を用いて演算によりデプス画像を生成する。差分画像加算部76は、送信された差分画像84に演算されたデプス画像を加算してデプス画像86を復元する。

目的

本発明はこうした課題に鑑みてなされたものであり、その目的は、実測されたデプス情報を用いた高精度な処理を、伝送するデータサイズを増大させずに実現できる技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するデプス画像取得部と、前記被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得する撮影画像取得部と、前記デプス画像のデータを、前記複数の撮影画像のデータを用いて圧縮するデプス画像圧縮部と、前記複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力する出力部と、を備えたことを特徴とする画像処理装置

請求項2

前記デプス画像圧縮部は、圧縮後のデータとして、圧縮対象のデプス画像と、2つの前記撮影画像における対応点視差に基づき演算により求めたデプス画像との差分画像を生成することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記デプス画像圧縮部は、前記デプス画像における画素値が表す距離に応じて、単位距離当たりの階調数を異ならせて当該画素値を量子化することを特徴とする請求項1または2に記載の画像処理装置。

請求項4

前記デプス画像圧縮部は、前記デプス画像における被写体の像の領域において、当該被写体の距離に応じた単位距離当たりの階調数を割り当てたうえ、その像の画素値を量子化することを特徴とする請求項1から3のいずれかに記載の画像処理装置。

請求項5

前記デプス画像圧縮部は、被写体の存在しない距離範囲における単位距離当たりの階調数が、被写体の存在する距離範囲における単位距離当たりの階調数より小さくなるように、前記デプス画像における画素値を量子化することを特徴とする請求項4に記載の画像処理装置。

請求項6

前記デプス画像圧縮部は、前記デプス画像における画素値が表す距離が小さいほど、単位距離当たりの階調数を大きくして、当該画素値を量子化することを特徴とする請求項3または4に記載の画像処理装置。

請求項7

前記デプス画像圧縮部は、量子化前後の画素値の対応関係を表す情報をさらに生成することを特徴とする請求項3から6のいずれかに記載の画像処理装置。

請求項8

前記デプス画像取得部は、前記カメラが異なる視点から実測した、複数のデプス画像のデータを取得し、前記デプス画像圧縮部は、前記差分画像を、前記複数のデプス画像のそれぞれに対し生成することを特徴とする請求項2に記載の画像処理装置。

請求項9

前記デプス画像圧縮部は、前記視差に基づくデプス画像を、前記圧縮対象のデプス画像が実測された際の視点からのデプス画像に変換したうえで、当該圧縮対象のデプス画像との差分画像を生成することを特徴とする請求項2または8に記載の画像処理装置。

請求項10

機械学習機能を備えることにより撮影画像のデータに基づき対応するデプス画像のデータを提供するサーバに接続する通信部をさらに備え、前記デプス画像圧縮部は、前記サーバに前記撮影画像のデータを送信することにより、対応するデプス画像のデータを取得し、当該デプス画像と圧縮対象のデプス画像との差分画像のデータを、圧縮後のデータとして生成することを特徴とする請求項1に記載の画像処理装置。

請求項11

被写体を異なる視点から撮影してなる複数の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得する画像データ取得部と、前記圧縮後のデプス画像のデータを、前記複数の撮影画像のデータを用いて伸張するデプス画像伸張部と、少なくとも伸張された前記デプス画像のデータを用いて所定の処理を行い結果を出力する出力部と、を備えたことを特徴とするコンテンツ処理装置

請求項12

前記デプス画像伸張部は、前記圧縮後のデプス画像に、2つの前記撮影画像における対応点の視差に基づき演算により求めたデプス画像を加算することにより、デプス画像を伸張することを特徴とする請求項11に記載のコンテンツ処理装置。

請求項13

画像データ取得部は、画素値が量子化された前記デプス画像の圧縮後のデータとともに、量子化前後の画素値の対応関係を表す情報を取得し、前記デプス画像伸張部は、前記圧縮後のデプス画像の画素値を、前記対応関係を表す情報に基づき量子化前の画素値に戻すことを特徴とする請求項11または12に記載のコンテンツ処理装置。

請求項14

機械学習機能を備えることにより撮影画像のデータに基づき対応するデプス画像のデータを提供するサーバに接続する通信部をさらに備え、前記デプス画像伸張部は、前記サーバに前記撮影画像のデータを送信することにより、対応するデプス画像のデータを取得し、当該デプス画像と前記圧縮後のデプス画像を加算することにより、デプス画像を伸張することを特徴とする請求項11に記載のコンテンツ処理装置。

請求項15

前記画像データ取得部は、前記デプス画像のデータを前記撮影画像のデータより小さいフレームレートで取得し、前記デプス画像伸張部は、前記撮影画像から取得した動きベクトルに基づき、前記デプス画像を時間軸上で補間することを特徴とする請求項11から14のいずれかに記載のコンテンツ処理装置。

請求項16

前記画像データ取得部は、前記デプス画像のデータを前記撮影画像のデータより小さいフレームレートで取得し、前記デプス画像伸張部は、前記複数の撮影画像のデータを用いて生成したデプス画像から取得した動きベクトルに基づき、前記デプス画像を時間軸上で補間することを特徴とする請求項11から14のいずれかに記載のコンテンツ処理装置。

請求項17

被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータと、前記被写体を異なる視点から撮影してなる複数の撮影画像のデータを伝送する画像処理装置と、前記デプス画像のデータと撮影画像のデータを用いて情報処理を実施するコンテンツ処理装置と、を含むコンテンツ処理システムであって、前記画像処理装置は、前記デプス画像のデータを、前記複数の撮影画像のデータを用いて圧縮するデプス画像圧縮部と、前記複数の撮影画像のデータと、圧縮後のデプス画像のデータを出力する出力部と、を備え、前記コンテンツ処理装置は、前記圧縮後のデプス画像のデータを、前記複数の撮影画像のデータを用いて伸張するデプス画像伸張部と、少なくとも伸張された前記デプス画像のデータを用いて所定の処理を行い結果を出力する出力部と、を備えたことを特徴とするコンテンツ処理システム。

請求項18

被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するステップと、前記被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得するステップと、前記デプス画像のデータを、前記複数の撮影画像のデータを用いて圧縮するステップと、前記複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力するステップと、を含むことを特徴とする、画像処理装置による画像処理方法

請求項19

被写体を異なる視点から撮影してなる複数の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得するステップと、前記圧縮後のデプス画像のデータを、前記複数の撮影画像のデータを用いて伸張するステップと、少なくとも伸張された前記デプス画像のデータを用いて所定の処理を行い結果を出力するステップと、を含むことを特徴とする、コンテンツ処理装置による画像処理方法。

請求項20

被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得する機能と、前記被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得する機能と、前記デプス画像のデータを、前記複数の撮影画像のデータを用いて圧縮する機能と、前記複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム

請求項21

被写体を異なる視点から撮影してなる複数の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得する機能と、前記圧縮後のデプス画像のデータを、前記複数の撮影画像のデータを用いて伸張する機能と、少なくとも伸張された前記デプス画像のデータを用いて所定の処理を行い結果を出力する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム。

技術分野

0001

本発明は、画像データの圧縮を含む処理を行う画像処理装置、画像データを利用した処理を行うコンテンツ処理装置、それらを含むコンテンツ処理システム、および、それらでなされる画像処理方法に関する。

背景技術

0002

VR(Virtual Reality:仮想現実)やAR(Augmented Reality:拡張現実)の技術の発展に伴い、立体視を実現するステレオ画像などのカラー画像に加え、撮像面から被写体までの距離の情報、いわゆるデプス情報が重要視されるようになってきた。デプス情報により、実物体ポリゴン表現したり、視線が動いても違和感のない立体映像を表示したりできるようになり、より臨場感没入感のあるコンテンツを実現できる。またデプス情報は、映像として表された空間に仮想オブジェクトとしてのボールを投げ込むなど、VR空間、AR空間でのユーザの行動に対するインタラクションの実現においても重要である。

0003

精度の高いデプス情報を得るため、近赤外線などの参照光照射し、その反射光を検出するまでの時間に基づきデプス情報を得る手法や、反射光の分布のひずみや強度に基づきデプス情報を得る手法など、様々な測定手法が提案されている。

発明が解決しようとする課題

0004

一方、そのような測距センサにより得たデプス情報を、表示などに用いるカラー撮影画像のデータとともにホスト端末などに伝送するようにすると、通信帯域の制限により即時性が損なわれたり画質劣化したりすることが考えられる。例えば従来、カラー画像のデータのみを伝送していた通信帯域を用いてデプス情報をも送信しようとすれば、当然、カラー画像の解像度を低下させたり圧縮率を高めたりする措置が必要となり、画質が劣化しやすくなる。このような問題は、インターネットなどの大規模ネットワークを利用したり、無線通信を利用したりする場合には顕在化しやすい。

0005

本発明はこうした課題に鑑みてなされたものであり、その目的は、実測されたデプス情報を用いた高精度な処理を、伝送するデータサイズを増大させずに実現できる技術を提供することにある。

課題を解決するための手段

0006

本発明のある態様は画像処理装置に関する。この画像処理装置は、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するデプス画像取得部と、被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得する撮影画像取得部と、デプス画像のデータを、複数の撮影画像のデータを用いて圧縮するデプス画像圧縮部と、複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力する出力部と、を備えたことを特徴とする。

0007

ここで「画像処理装置」は、情報処理端末情報処理装置ネットワークで各種装置に接続可能なサーバなど、画像処理を実施する装置そのもの、およびそれらの装置の一部を構成する集積回路などのいずれでもよい。あるいは「画像処理装置」は、撮像装置であってもよいし、その一部を構成する集積回路でもよい。

0008

本発明の別の態様はコンテンツ処理装置に関する。このコンテンツ処理装置は、被写体を異なる視点から撮影してなる複数の撮影画像のデータと、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得する画像データ取得部と、圧縮後のデプス画像のデータを、複数の撮影画像のデータを用いて伸張するデプス画像伸張部と、少なくとも伸張されたデプス画像のデータを用いて所定の処理を行い結果を出力する出力部と、を備えたことを特徴とする。

0009

ここで「コンテンツ処理装置」は、ヘッドマウントディスプレイ情報端末、情報処理装置、ネットワークで各種装置に接続可能なサーバなど、コンテンツを処理する装置そのもの、およびそれらの装置の一部を構成する集積回路などのいずれでもよい。

0010

本発明のさらに別の態様はコンテンツ処理システムに関する。このコンテンツ処理システムは、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータと、被写体を異なる視点から撮影してなる複数の撮影画像のデータを伝送する画像処理装置と、デプス画像のデータと撮影画像のデータを用いて情報処理を実施するコンテンツ処理装置と、を含むコンテンツ処理システムであって、画像処理装置は、デプス画像のデータを、複数の撮影画像のデータを用いて圧縮するデプス画像圧縮部と、複数の撮影画像のデータと、圧縮後のデプス画像のデータを出力する出力部と、を備え、コンテンツ処理装置は、圧縮後のデプス画像のデータを、複数の撮影画像のデータを用いて伸張するデプス画像伸張部と、少なくとも伸張された前記デプス画像のデータを用いて所定の処理を行い結果を出力する出力部と、を備えたことを特徴とする。

0011

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は画像処理装置が、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するステップと、被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得するステップと、デプス画像のデータを、複数の撮影画像のデータを用いて圧縮するステップと、複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力するステップと、を含むことを特徴とする。

0012

本発明のさらに別の態様も画像処理方法に関する。この画像処理方法はコンテンツ処理装置が、被写体を異なる視点から撮影してなる複数の撮影画像のデータと、被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得するステップと、圧縮後のデプス画像のデータを、前記複数の撮影画像のデータを用いて伸張するステップと、少なくとも伸張されたデプス画像のデータを用いて所定の処理を行い結果を出力するステップと、を含むことを特徴とする。

0013

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムコンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

発明の効果

0014

本発明によると、伝送するデータサイズを増大させずに撮影画像を用いた高精度な情報処理を実現できる。

図面の簡単な説明

0015

本実施の形態のコンテンツ処理システムの構成例を示す図である。
本実施の形態における画像処理装置の内部回路構成を示す図である。
本実施の形態における画像処理装置とコンテンツ処理装置の機能ブロックの構成を示す図である。
本実施の形態において、ステレオ画像を用いて演算より求めたデプス画像と、デプスカメラにより実測されたデプス画像との差分画像を利用する場合の、デプス画像圧縮部とデプス画像伸張部の機能ブロックの構成と処理の流れを示す図である。
本実施の形態において、被写体の距離に応じてデプス画像の画素値である距離値階調数を変化させる場合の、デプス画像圧縮部とデプス画像伸張部の機能ブロックの構成と処理の流れを示す図である。
本実施の形態においてデプス画像の伸張に用いる、量子化前後の画素値の対応情報を説明するための図である。
図4で示した差分画像の画素値の階調数を、図5で示したように調整する場合の、デプス画像圧縮部とデプス画像伸張部の機能ブロックの構成と処理の流れを示す図である。
本実施の形態におけるデプス画像圧縮部およびデプス画像伸張部が、サーバから取得できるデータを利用してデプス画像を圧縮/伸張する場合の機能ブロックを示す図である。
本実施の形態においてデプス画像のフレームレートをステレオ画像より低くする態様における、コンテンツ処理装置のデプス画像伸張部の機能ブロックの構成と処理の流れを示す図である。
変形例における撮像装置の俯瞰図を模式的に示す図である。
変形例における撮像装置の素子構造を示す図である。

実施例

0016

図1は本実施の形態を適用できるコンテンツ処理システムの構成例を示す。コンテンツ処理システム1は、実空間を撮影する撮像装置12、撮影画像を処理し伝送する形態に変換する画像処理装置10、伝送された撮影画像を用いて所定の情報処理を実施するコンテンツ処理装置14、および情報処理の結果を出力する表示装置16を含む。画像処理装置10とコンテンツ処理装置14は必要に応じてネットワーク8を介し通信確立する。

0017

画像処理装置10と撮像装置12、コンテンツ処理装置14と表示装置16はそれぞれ、有線ケーブルで接続されてよく、また無線LAN(Local Area Network)などにより無線接続されてもよい。あるいは画像処理装置10と撮像装置12、コンテンツ処理装置14と表示装置16はそれぞれ、一体的な装置であってもよい。例えば画像処理装置10と撮像装置12を合わせて、ネットワーク8への伝送機能を有する撮像装置としてもよいし、コンテンツデータを配信するサーバとしてもよい。またコンテンツ処理装置14と表示装置16を合わせて、携帯端末やヘッドマウントディスプレイとしてもよい。

0018

さらに画像処理装置10とコンテンツ処理装置14を接続するネットワーク8は、インターネットのように大規模ネットワークでもよいし、有線あるいは無線により確立されたLANなどのローカルなネットワークでもよい。このように撮像装置12、画像処理装置10、コンテンツ処理装置14、および表示装置16の外観形状や接続形態は図示するものに限らない。

0019

撮像装置12は、被写空間を所定のフレームレートで撮影するステレオカメラ18と、同じ被写空間における被写体までの距離の情報を所定のフレームレートで取得するデプスカメラ19を備える。ステレオカメラ18はCMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子と、その出力データにデモザイク処理レンズ歪み補正色補正などを施し、撮影画像のデータを生成する画像処理機構を含むビデオカメラを、所定の間隔で左右に配置した構造を有する。

0020

デプスカメラ19は被写空間に近赤外線などの参照光を照射する機構と、その反射光を検出するCMOSセンサとで構成され、照射から検出までの時間や、反射光の分布のひずみなどにより被写体までの距離を導出する。前者の手法はToF(Time of Flight)方式、後者の手法はパターン照射方式として一般に知られる技術である。ただしデプスカメラの構成や距離の導出手法をこれに限る趣旨ではない。いずれにしろ撮像装置12は、左右の視点から撮影された一対のカラー画像からなるステレオ画像と、それに対応するデプス画像のデータを、所定のレートで画像処理装置10に供給する。

0021

なおデプス画像は、被写体の像の画素値として距離値を表した画像である。また同図の撮像装置12は、ステレオカメラ18のセンサの中間にデプスカメラ19のセンサを配置しているが、各センサの配置や数はこれに限定されない。例えばデプスカメラも左右の視点から撮影するステレオカメラとして、カラー画像を撮影するステレオカメラと上下に近接するように配置してもよいし、カラー画像を撮影するステレオカメラがデプス画像を撮影するカメラを兼ねていてもよい。なお以後の説明では、デプス画像でない一般的な撮影画像の対を「ステレオ画像」と呼ぶ。

0022

画像処理装置10は、撮像装置12から供給された画像のデータを圧縮して伝送形態としたうえ、所定のレートでコンテンツ処理装置14に送信する。具体的にはステレオ画像とデプス画像が有する冗長性を利用することで、デプス画像のデータサイズを軽減させる。例えばステレオ画像を用いて演算によりデプス画像を求め、デプスカメラにより実測された結果であるデプス画像との差分画像を圧縮後のデプス情報のデータとする。

0023

コンテンツ処理装置14は、そのように送信されたデータのうち圧縮されているデプス情報を伸張することによりデプス画像を復元する。すなわちデプス情報として上述の差分画像が送信された場合、ステレオ画像を用いて演算によりデプス画像を求め、差分画像に加算することで実測されたデプス画像を復元する。コンテンツ処理装置14は復元したデプス画像とステレオ画像を用いて情報処理を実施したり、表示画像音声などの出力データを生成したりする。

0024

ここで出力データの内容は特に限定されず、ユーザがシステムに求める機能や起動させたアプリケーションの内容などによって様々であってよい。コンテンツ処理装置14は例えば、表示装置16の左右の領域にステレオ画像が表示されるように画像を接続したうえ、被写体とインタラクションする仮想オブジェクトを、デプス画像が表す距離値に基づき描画する。あるいは被写体の実空間での動きをデプス画像から取得し、それをコマンド入力に変換することでゲームを進捗させ、当該ゲーム画面を生成してもよい。

0025

表示装置16は、画像を出力する液晶プラズマ有機ELなどのディスプレイと、音声を出力するスピーカーを備え、コンテンツ処理装置14から供給された出力データを画像や音声として出力する。表示装置16は、テレビ受像器、各種モニター、携帯端末の表示画面、カメラの電子ファインダなどでもよいし、ユーザの頭に装着してその眼前に画像を表示するヘッドマウントディスプレイでもよい。

0026

一般的に、デプス画像をステレオ画像から生成する手法は広く知られている。具体的には、ステレオ画像における同じ像の対応点ブロックマッチングなどにより求め、その水平方向のずれ量から三角測量の原理により距離を導出する。しかしながらこの手法では、両画像の対応がブロックの単位となるため、デプス画像の解像度が低くなる。また被写体表面特徴点の多少によって、マッチング精度、ひいてはデプス画像の精度が大きく変動する。

0027

本実施の形態では、実測されたデプス画像の利用を基本とするため、情報処理の精度を高く維持できる。また、同時に伝送されるステレオ画像などを利用してデータ圧縮を実現することにより、デプス画像の伝送に必要な帯域を抑えることができる。これにより、多くの帯域をカラーのステレオ画像の送信に利用できるため、画質を劣化させることなく高精度な処理を実現できる。

0028

図2は画像処理装置10の内部回路構成を示している。画像処理装置10は、CPU(Central Processing Unit)23、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、USBやIEEE1394などの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなる通信部32、ハードディスクドライブ不揮発性メモリなどの記憶部34、外部の機器へデータを出力する出力部36、撮像装置12や図示しない入力装置からデータを入力する入力部38、磁気ディスク光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。

0029

CPU23は、記憶部34に記憶されているオペレーティングシステムを実行することにより画像処理装置10の全体を制御する。CPU23はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた、あるいは通信部32を介してダウンロードされた各種プログラムを実行する。GPU24は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU23からの描画命令に従って描画処理を行い、出力部36に出力する。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。なおコンテンツ処理装置14の内部回路構成もこれと同様でよい。

0030

図3は画像処理装置10とコンテンツ処理装置14の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図2で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメインメモリにロードした、画像解析機能、情報処理機能画像描画機能、データ入出力機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

0031

画像処理装置10は、撮像装置12からステレオ画像のデータを取得するステレオ画像取得部50、デプス画像のデータを取得するデプス画像取得部52、ステレオ画像を用いてデプス画像のデータを圧縮するデプス画像圧縮部54、および、ステレオ画像と圧縮後のデプス画像のデータを出力する出力部56を含む。ステレオ画像取得部50、デプス画像取得部52はいずれも、図2の入力部38、CPU23、メインメモリ26などで実現され、前者はステレオ画像のデータを、後者はデプス画像のデータを、撮像装置12から所定のフレームレートで順次取得する。ここでステレオ画像取得部50は、被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得する撮影画像取得部を構成している。

0032

ステレオ画像取得部50、デプス画像取得部52はそれぞれ、撮像装置12において露光が完了した行から順に、ストリーム形式でデータを取得してもよい。デプス画像圧縮部54は、図2のCPU23、GPU24、メインメモリ26などで実現され、デプス画像のデータサイズを圧縮する。具体的には上述のように、ステレオ画像を用いて演算より求めたデプス画像と、デプス画像取得部52が取得したデプス画像との差分画像を生成する。あるいはデプス画像圧縮部54は、被写体までの距離に応じて距離値を表すデータの、単位距離当たりの階調数を変化させて量子化してもよい。

0033

この際、デプス画像圧縮部54は、ステレオ画像のいずれかにおける被写体の像を抽出し、被写体ごとにその距離範囲に応じた適切な階調数を割り当ててもよい。またデプス画像圧縮部54は、ステレオ画像を用いて演算により求めたデプス画像と実測されたデプス画像との差分画像に対し、距離に応じた階調数の調整を実施してもよい。以後、差分画像や、単位距離当たりの階調数の調整がなされた画像およびそれに付随するデータを「圧縮後のデプス画像」と総称する。

0034

出力部56は、図2のCPU23、メインメモリ26、通信部32などで実現され、ステレオ画像取得部50が取得したステレオ画像のデータと、デプス画像圧縮部54が生成した圧縮後のデプス画像のデータを出力する。出力先はコンテンツ処理装置14でもよいし、コンテンツ処理装置14が読み取り可能な記録媒体でもよい。あるいは画像処理装置10の記憶部34に一旦格納しておき、コンテンツ処理装置14からの要求に応じて送信するようにしてもよい。なお出力部56は、出力対象のデータを一般的な手法により圧縮符号化したり、パケット化したりしてもよい。

0035

コンテンツ処理装置14は、ステレオ画像と圧縮後のデプス画像のデータを取得する画像データ取得部60、圧縮後のデプス画像を伸張するデプス画像伸張部62、ステレオ画像とデプス画像のデータを用いて所定の情報処理を実施する情報処理部64、および、情報処理の結果生成された表示画像や音声のデータを出力する出力部66を含む。

0036

画像データ取得部60は、図2の通信部32、CPU23、メインメモリ26などで実現され、画像処理装置10からステレオ画像と圧縮後のデプス画像のデータを所定のフレームレートで順次取得する。記録媒体を介する場合は、画像データ取得部60は記録媒体駆動部40によりそれらの画像データを順次読み出す。記録媒体を用いる場合も、本実施の形態によって格納されるデータサイズを抑えることができる。なお画像データ取得部60は、取得した画像のデータが一般的な手法により圧縮符号化されている場合は、それを復号することにより2次元の画像データに戻しておく。

0037

デプス画像伸張部62は、図2のCPU23、GPU24、メインメモリ26などで実現され、圧縮後のデプス画像を伸張して元のデプス画像を生成する。伸張処理の内容は基本的に、画像処理装置10においてデプス画像圧縮部54が行う圧縮処理を逆に辿る処理である。具体例は後述する。

0038

情報処理部64は、図2のCPU23、GPU24、メインメモリ26などで実現され、ステレオ画像と伸張後のデプス画像を用いて所定の情報処理を実施し、出力データを生成する。上述のとおり情報処理部64が行う処理の内容は特に限定されない。出力部66は図2のCPU23、メインメモリ26、出力部36などで実現され、そのようにして生成された表示画像などの出力データを表示装置16に出力する。なおコンテンツ処理装置14のデプス画像伸張部62は、ゲームや表示に係る処理を実施する装置とは独立した、画像データ伸張装置としてもよい。

0039

次に本実施の形態におけるデプス画像の圧縮手法/伸張手法について詳述する。図4は、本実施の形態の一態様として、ステレオ画像を用いて演算より求めたデプス画像と、デプスカメラにより実測されたデプス画像との差分画像を利用する場合の、デプス画像圧縮部54とデプス画像伸張部62の機能ブロックの構成と処理の流れを示している。この場合の画像処理装置10におけるデプス画像圧縮部54aは、デプス画像演算部70と差分画像取得部72を含む。デプス画像演算部70はステレオ画像80を入力データとし、演算によりデプス画像を生成する。

0040

具体的には上述のとおり、ステレオマッチングにより両者の対応点を特定し、それらの視差から三角測量の原理により被写体までの距離を導出する。この際、一般的には、ステレオ画像の一方の画像に参照ブロックを設定し、他方の画像においてそれとの類似度が高いブロックを水平方向に探索する。その結果得られた視差に基づき距離値を算出し、参照ブロックを設定した方の画像にマッピングすることにより、対応する視点におけるデプス画像が生成される。

0041

差分画像取得部72は、デプスカメラにより撮影されたデプス画像82、およびデプス画像演算部70が生成したデプス画像を入力データとし、両者の画素値の差を表した差分画像84を生成する。差分画像取得部72は実際には、従来の差分パルス符号変調DPCM:Differential Pulse-Code Modulation)の技術に用いられる、動画像フレーム間の差分を取得するのと同様の回路で実現できる。以降の図における差分画像取得部72も同様である。画像処理装置10は、このようにして生成された差分画像84を圧縮後のデプス画像として、ステレオ画像80のデータとともに出力する。

0042

一方、コンテンツ処理装置14のデプス画像伸張部62aは、デプス画像演算部74と差分画像加算部76を含む。デプス画像演算部74はステレオ画像80を入力データとし、演算によりデプス画像を生成する。この処理は、画像処理装置10のデプス画像圧縮部54aにおけるデプス画像演算部70が行う処理と同様である。差分画像加算部76は、圧縮後のデプス画像である差分画像84、およびデプス画像演算部74が生成したデプス画像を入力データとし、両者の画素値を加算して、撮像装置12が実測したデプス画像82と同等のデプス画像86を生成する。差分画像加算部76は実際には、上述の差分パルス符号変調において動画像のフレームをデコードする回路と同様の回路で実現できる。以降の図における差分画像加算部76も同様である。

0043

デプス画像演算部70、74が上記の手法により生成するデプス画像は一般に、演算に用いたステレオ画像より解像度が低く、被写体表面における特徴点の多少によって精度がばらつきやすい。デプスカメラにより実測されたデプス画像82との差分画像84は、そのような解像度や精度の低下を補うものである。結果として差分画像84を送信対象とすることにより、実測されたデプス画像82より小さいデータサイズで、当該デプス画像82と同等の情報を伝送できることになる。

0044

なお図では全ての画像が同じサイズで示されているが、ステレオ画像80、デプス画像82、差分画像84のサイズや解像度は独立に設定してよい。差分画像の生成や加算に用いる画像のサイズ(解像度)が異なる場合は、既存の補間技術により適宜拡大、縮小した後、同じ位置の画素同士を演算すればよい。また撮像装置12において、デプスカメラもステレオカメラで構成することにより、実測するデプス画像82を左右視点からのステレオ画像としてもよい。

0045

この場合、デプス画像演算部70が演算により生成した1つのデプス画像と、左右視点のデプス画像のそれぞれとの差分を計算することにより、差分画像84も左右視点からのステレオ画像としてよい。すなわちデプス画像圧縮部54aは、差分画像84を、複数のデプス画像のそれぞれに対し生成する。左右視点のデプス画像を実測することにより、一方の視点からは死角になる部分であっても他方の視点から距離が判明し、実世界のより広い範囲の距離情報を用いて精度の高い情報処理を行える。このような態様でも、双方のデプス画像を差分画像に圧縮すれば、送信データのサイズの増大を抑えることができる。

0046

あるいは、デプス画像演算部70が演算により生成した1つのデプス画像における各被写体の像を、デプスカメラの左右の視点から見た状態となるようにずらすことで、実測された2つのデプス画像に対応する2つのデプス画像を生成してもよい。すなわちデプス画像圧縮部54aは、視差に基づく1つのデプス画像を、圧縮対象のデプス画像が実測された際の視点からの2つのデプス画像に変換したうえで、当該圧縮対象のデプス画像との差分を生成する。この場合、対応する視点のデプス画像同士を演算することで、差分ステレオ画像を生成できる。

0047

このように演算により求めたデプス画像における像を、デプスカメラの視点から見た状態となるようにずらす手法は、ステレオカメラとデプスカメラの位置関係既知であれば、デプスカメラの数や位置によらず適用可能である。この処理により、実測したデプス画像と演算により求めたデプス画像の差分が小さくなり、データサイズをより抑えられる。被写体の距離情報に基づき、異なる視点からの画像を生成する手法には、一般的なコンピュータグラフィクスの技術を適用できる。

0048

図5は、本実施の形態の別の態様として、被写体の距離に応じてデプス画像の画素値である距離値の階調数を変化させる場合の、デプス画像圧縮部54とデプス画像伸張部62の機能ブロックの構成と処理の流れを示している。この場合の画像処理装置10におけるデプス画像圧縮部54bは、被写体認識部90と階調割り当て部92を含む。被写体認識部90は、ステレオ画像のうち少なくとも一方の画像100を用いて、画像として映る被写体を認識する。

0049

被写体認識部90は例えば、エッジ抽出フィルタを用いて画像100における輪郭線を抽出することで、被写体の像の領域を特定する。図示する例では、画像100から顔、木、その他の背景領域が特定される。画像において被写体の像の領域を分離するセグメンテーション技術には、その他にも様々な手法が提案されており、本実施の形態においてそのうちのいずれを採用してもよい。例えば顔の領域には顔認識技術を導入してもよいし、既知形状の被写体にはテンプレートマッチングを導入してもよい。あるいはオプティカルフローなどの手法を利用し前の画像フレームからの物体追跡を行ってもよい。

0050

採用する認識手法によっては、実測されたデプス画像102やステレオ画像の双方を適宜利用してよい。なお被写体認識部90による被写体認識は上述のとおり、距離に応じてデプス画像の画素値の階調数を割り当てることを目的としているため、厳密に全ての被写体の像を分離する必要はない。例えば複数の被写体が接している場合、両者を区別しなくても構わない。

0051

階調割り当て部92は、デプスカメラにより撮影されたデプス画像102、および被写体認識部90により認識された、各被写体の像の領域に基づき、デプス画像の画素値として表される距離値の単位距離当たりの階調数を、被写体ごとに決定する。デプス情報を利用した情報処理では、撮像装置から近くにある被写体ほどそのデプス情報に精度が求められる。つまり実世界では同じ移動量でも、画像上での移動量は撮像装置に近いほど大きくなる。また一般的な環境においては、ユーザなど主たる対象は他の被写体より撮像装置の近くに存在する可能性が高い。

0052

そのような実世界での状況を情報処理に正確に反映させるには、近くの被写体についての距離情報の分解能を高くすることが望ましい。換言すれば、遠い被写体であれば距離情報の分解能を抑えても情報処理の精度への影響が小さい。したがって階調割り当て部92は、近い被写体ほど多くの階調数を割り当ててデプス画像102の画素値を量子化する。例えばデプス画像の画素値を表すビット深度に対し、顔の像の画素値には5割、背後の木の画素値には3割、それ以外の部分には2割、といった割合でビット数を割り当てる。このような割り当ては当然、距離が異なる被写体の数によっても変化する。

0053

これにより、デプス画像全体のデータサイズを増大させることなく、後段の情報処理おいて重要となる近距離の被写体については高い分解能での距離情報を提供できる。階調割り当て部92は、オブジェクトごとに適切な階調数が割り当てられ量子化されたデプス画像104と、量子化前後の画素値の対応情報106とを、圧縮後のデプス画像のデータとする。画像処理装置10は、当該圧縮後のデプス画像のデータとステレオ画像のデータを出力する。

0054

一方、コンテンツ処理装置14のデプス画像伸張部62bはデプス値取得部96を含む。デプス値取得部96は、圧縮後のデプス画像のデータ、すなわち距離に応じて階調数が調整されたデプス画像104と、量子化前後の画素値の対応情報106とを入力データとして、元のデプス画像108を復元する。すなわち画像処理装置10から送信されたデプス画像104に表されている、距離によって分解能の異なる画素値のデータを、均等な分解脳でのデータに変換する。変換には、量子化前後の画素値の対応情報106を用いる。

0055

図6は、デプス画像の伸張に用いる、量子化前後の画素値の対応情報を説明するための図である。(a)に示す例は、上述のとおり認識した被写体の距離に基づき階調数を割り当てる場合の、実測された距離に対する量子化後の距離の変化を示している。なお厳密には、量子化後の値は離散的となるが、同図では連続した値として模式的に示している。また同グラフをもって対応情報の形式を限定する趣旨ではない。すなわちコンテンツ処理装置14において、量子化後の値から量子化前の値を取得できれば、関数ルックアップテーブルなどデータ形式は限定されない。

0056

一般的な技術においては、(a)において一点鎖線で示した変化180のように、実測距離の値に正比例するように量子化後の距離が決定する。一方、本実施の形態では実線で示した変化182のように、被写体の存在する距離範囲に多くの階調を割り当て、かつ撮像装置12からの距離が近いほど多くの階調を割り当てる。

0057

例えば図5で示した画像構成においては、最も撮像装置側にある顔の距離範囲、その背後にある木の距離範囲、最も背後にある壁などの距離範囲に、それぞれ階調数A、B、Cを、A>B>Cとなるように割り当てる。また被写体間の距離範囲(被写体の存在しない距離範囲)については階調数Cより小さい所定の階調数を割り当てる。これは被写体表面の凹凸や被写体同士の距離と比較し、被写体間の距離の刻みの重要性が低いことによる。

0058

なお「距離範囲」は、デプス画像において被写体の像の画素値として実際に表れる距離の範囲でもよいし、厚みなどを考慮して被写体の種類ごとにあらかじめ設定しておいてもよい。例えば被写体認識部90が顔認識をした場合、顔面の凹凸の深さや頭部の厚さに係る一般的なデータを用いて設定してもよい。あるいは距離が近いほど距離範囲を大きくすることにより、移動や誤差の発生を当該範囲内で吸収できるようにしてもよい。階調数A、B、Cの比率は例えば、被写体ごとの平均距離逆数によって決定する。ただし被写体の距離範囲と、割り当てる階調数の決定規則はこれに限らない。

0059

いずれにしろデプス画像の画素値のビット深度を一般的な値DからD’に削減させたとしても、重要な被写体に与えられる階調数を増加させることができる。画像処理装置10の階調割り当て部92は、被写体の認識結果と距離範囲に応じて割り当てる階調数A、B、Cを決定すれば、図示するように量子化前後の距離値を一意に対応づける情報を生成できる。コンテンツ処理装置14のデプス値取得部96は、当該情報を参照して、送信されたデプス画像が表す量子化後の距離から、実測された距離を取得することにより、元のデプス画像と同等の画像を生成できる。

0060

図6の(b)は(a)の変形例として、被写体の存在やその距離にかかわらず、実測された距離に対する量子化後の距離の変化を固定とする場合の、当該変化の例を示している。この場合も定性的には、距離が近いほど多くの階調が割り当てられるようにしているが、実測距離に対し量子化後の距離を曲線状に変化させることにより、被写体の位置や数によらず適用できるようにしている。このようにすると、撮像装置の近傍に被写体がなくても一律に多くの階調が割り当てられてしまう可能性がある一方、被写体認識部90の処理を省略できる。したがって、ユーザが撮像装置のすぐ前にいることが多いゲームなど、撮影環境や情報処理の内容によっては精度を維持したまま処理の高速化を図れる。

0061

図7は、本実施の形態のさらに別の態様として、図4で示した差分画像の画素値の階調数を、図5で示したように調整する場合の、デプス画像圧縮部54とデプス画像伸張部62の機能ブロックの構成と処理の流れを示している。この場合の画像処理装置10におけるデプス画像圧縮部54cは、デプス画像演算部70、差分画像取得部72、および階調割り当て部92を含む。デプス画像演算部70と差分画像取得部72は、図4で示したデプス画像演算部70と差分画像取得部72と同じ機能を有する。

0062

すなわちデプス画像演算部70はステレオ画像112からデプス画像を演算により求め、差分画像取得部72は、実測されたデプス画像114と演算により求められたデプス画像との差分画像を生成する。階調割り当て部92は、図5で示した階調割り当て部92と同様の機能を有するが、差分画像取得部72が生成した差分画像を処理対象とする。実測されたデプス画像と、ステレオ画像から演算して得られたデプス画像との差分においても、撮像装置12からの距離が近い被写体ほど、その精度が情報処理の精度に影響を与えやすい。

0063

そのため差分画像についても、距離が近い被写体ほど多くの階調数を割り当てることで、主たる被写体に関する処理精度を向上させたり、画素値のビット深度を下げ差分画像のデータサイズをさらに圧縮したりすることができる。画像処理装置10は、階調の調整がなされた差分画像116と量子化前後の画素値の対応情報118とを、圧縮後のデプス画像のデータとして、ステレオ画像112のデータとともに出力する。

0064

一方、コンテンツ処理装置14のデプス画像伸張部62cは、デプス画像演算部74、差分値取得部110、および差分画像加算部76を含む。デプス画像演算部74と差分画像加算部76は、図4で示したデプス画像演算部74と差分画像加算部76と同じ機能を有する。すなわちデプス画像演算部74は、ステレオ画像112からデプス画像を演算により求め、差分画像加算部76は、当該デプス画像と差分画像を加算することにより、元のデプス画像119を生成する。

0065

差分値取得部110は図5で示したデプス値取得部96と同様の機能を有するが、単位差分当たりの階調数が調整された差分画像を処理対象とする。すなわち量子化前後の画素値の対応情報118を参照し、差分画像116が表す量子化後の差分値から実際の差分値を画素ごとに取得する。これにより復元された差分画像を差分画像加算部76に入力することにより、図4で示したのと同様に、元のデプス画像119を生成できる。なお図7に示す例では、量子化前後の画素値の対応情報118を図6の(b)に示した態様としたが、当然、(a)に示した態様としてもよい。この場合、デプス画像圧縮部54cには被写体認識部90を設ければよい。

0066

これまで例示したデプス画像圧縮部54とデプス画像伸張部62の機能の一部を、ネットワークを介して接続した別の装置が担うようにしてもよい。図8は、デプス画像圧縮部54およびデプス画像伸張部62が、サーバから取得できるデータを利用してデプス画像を圧縮/伸張する場合の機能ブロックを示している。この態様では、ネットワーク8にデプス画像提供サーバ120が接続されている。デプス画像提供サーバ120は、ネットワークを介して送信された撮影画像から、それに対応するデプス画像を生成し返信する機能を有する。

0067

近年、ニューラルネットワークを用いた機械学習としてディープラーニング深層学習)の技術が実用化されつつある。当該技術を導入し、被写体の属性、色やその変化、像の形状、大きさ、画面構成などの撮影画像上の特性と、デプス情報との対応づけを、大量の撮影画像に基づき学習させておけば、1枚の撮影画像からデプス画像を推定することも可能である。デプス画像提供サーバ120はそのような機能により、画像処理装置10およびコンテンツ処理装置14から送信された撮影画像に基づきデプス画像を生成し、送信元に返信する。

0068

この場合、差分画像の生成やデプス画像の復元においては、ステレオ画像は必須でないため、撮像装置12は、場合によっては単眼のカラー画像撮影用カメラとデプスカメラで構成することもできる。ただし表示にステレオ画像を利用する場合はこの限りではない。画像処理装置10のデプス画像圧縮部54dはデプス画像取得部122と差分画像取得部72を含む。デプス画像取得部122は、撮像装置12から取得した撮影画像のデータをデプス画像提供サーバ120に送信し、それに応じて返信されたデプス画像を取得する。

0069

差分画像取得部72は、図4で示した差分画像取得部72と同じ機能を有し、実測されたデプス画像126と、デプス画像提供サーバ120から送信されたデプス画像との差分画像128を生成する。なおこの態様においても図7で示した階調割り当て部92を導入し、被写体の距離に応じて差分画像の階調数を調整してもよい。画像処理装置10は、圧縮後のデプス画像のデータとカラーの撮影画像のデータを出力する。

0070

コンテンツ処理装置14のデプス画像伸張部62dは、デプス画像取得部130と差分画像加算部76を含む。デプス画像取得部130は、カラーの撮影画像のデータをデプス画像提供サーバ120に送信し、それに応じて返信されたデプス画像を取得する。差分画像加算部76は、図4で示した差分画像加算部76と同じ機能を有する。すなわち差分画像加算部76は、デプス画像提供サーバ120から送信されたデプス画像と画像処理装置10から送信された差分画像128を加算することにより、元のデプス画像132を生成する。なお画像処理装置10において、被写体の距離に応じた階調数の調整を行う場合は、デプス画像伸張部62dに、図7で示した差分値取得部110の機能を導入する。

0071

これまで述べた態様は基本的に、ステレオ画像とデプス画像を同じフレームレートで取得、伝送していたが、デプス画像のフレームレートを低くすることにより、伝送データのサイズをさらに圧縮してもよい。図9は、デプス画像のフレームレートをステレオ画像より低くする態様における、コンテンツ処理装置14のデプス画像伸張部62の機能ブロックの構成と処理の流れを示している。

0072

この態様において画像処理装置10は、コンテンツ処理装置14に、ステレオ画像のデータを所定のフレームレートで送信するとともに、それより低いフレームレートで、圧縮されたデプス画像のデータを送信する。同図では圧縮されたデプス画像のデータとして、演算されたデプス画像との差分画像を想定しているが、被写体の距離に応じてデプス画像または差分画像の階調数が調整されたデータでもよい。デプス画像伸張部62eは、デプス画像演算部74、差分画像加算部76、動き取得部140、および補間部142を含む。

0073

デプス画像演算部74および差分画像加算部76は、図4で示したデプス画像演算部74および差分画像加算部76と同じ機能を有する。すなわちデプス画像演算部74は、ステレオ画像144からデプス画像を演算により求め、差分画像加算部76は、当該デプス画像と差分画像146を加算することにより、元のデプス画像を生成する。ただしデプス画像演算部74は、差分画像146と対応する時刻の画像フレームについてのみデプス画像を求めればよい。例えば差分画像146のフレームレートをステレオ画像の1/2倍とする場合、デプス画像演算部74は、1フレームおきのステレオ画像を用いてデプス画像を求める。

0074

そして差分画像加算部76が差分画像146と加算することにより、当該差分画像146と同じフレームレートで元のデプス画像を得ることができる。一方、動き取得部140は、ステレオ画像144のうち一方の画像のフレーム間差分をとることにより、被写体の動きベクトルを取得する。動画における被写体の動きベクトルを取得する手法は一般的な技術である。そして補間部142は、過去の動きベクトルを用いて次の時間ステップまでの動きを予測したうえ、差分画像加算部76が生成した、低いフレームレートでのデプス画像に適用することにより、時間軸上でデプス画像を補間する。

0075

例えば差分画像146のフレームレートをステレオ画像の1/2倍とする場合、差分画像加算部76により復元されたデプス画像の時間Δtのフレーム間に、時間Δt/2分の予測される動きを与えたデプス画像のフレームを1つ生成して挿入する。これにより、伝送するデータのサイズをさらに少なくしながら、ステレオ画像144と同じフレームレートで精度の高いデプス画像148を生成できる。

0076

またステレオ画像とデプス画像のフレームレートを独立して設定できることから、各画像を撮影するカメラの撮影原理の差も加味してそれぞれに最適なフレームレートを選択でき、両者の画質を向上させることができる。なおフレームレートを独立に設定することによりステレオ画像とデプス画像の撮影タイミングが一致しない場合、デプス画像の撮影タイミングに最も近いタイミングで撮影されたステレオ画像を用いて差分画像を生成したりデプス画像を復元したりしてよい。

0077

一方、デプス画像演算部74は、動きベクトルを取得する目的で、ステレオ画像144の全ての画像フレームについてデプス画像を生成してもよい。すなわち動き取得部140は、ステレオ画像の代わりに、演算により求められたデプス画像のフレーム間差分をとることにより動きベクトルを求める。この場合も補間部142の処理は上述と同様である。

0078

以上述べた本実施の形態によれば、撮影されたステレオ画像とデプス画像を用いて情報処理を行うシステムにおいて、データを送出する画像処理装置は、ステレオ画像から演算により求められるデプス画像を利用して、実測されたデプス画像のデータを圧縮する。圧縮データを取得したコンテンツ処理装置は、ステレオ画像から演算により求められるデプス画像を用いて、実測されたデプス画像を復元する。演算により求められるデプス画像と実測されたデプス画像は高い類似性を有するため、その差分画像は元の画素値より格段に少ない階調数で表すことができる。当該データを送信対象とすることにより、限られた伝送帯域を利用して、実測されたデプス画像に基づく高精度な情報処理を実現できる。

0079

また、実測されたデプス画像が示す被写体の距離に応じて、デプス画像あるいは差分画像の画素値を表す階調数を調整する。これによりビット深度を増大させることなく、情報処理において重要かつ精度に影響を与えやすい近距離の被写体について高い分解能での距離情報を伝送させることができる。さらに、圧縮されたデプス画像をステレオ画像より低いフレームレートで伝送させ、情報処理に用いる段階で、ステレオ画像を利用した動き補償により補間することで、伝送データのサイズをより小さくできる。

0080

以上のことから、表示に用いるカラー画像のデータや主たる被写体の距離情報など、重要なデータに優先して伝送帯域を割り当てることができ、高精度な情報処理や画像表示を、通信状況によらず安定的に実現できる。

0081

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

0082

例えば本実施の形態では、撮像装置12を一対のステレオカメラとデプスカメラからなる構成としたが、ステレオ画像とデプス画像を同時期に撮影できれば、撮像装置の構成は限定されない。また少なくとも演算によりデプス画像を生成できれば、デプス画像とともに撮影する画像はステレオ画像、カラー画像に限定されない。以下、撮像装置の変形例につい説明する。図10は、変形例における撮像装置の俯瞰図を模式的に示している。

0083

図示する例で撮像装置150は、図と平行な水平面において光軸放射状となるように複数のビデオカメラ(例えばビデオカメラ152)を環状に接続した構成を有する。運用時には撮像装置150を、環の中心を軸として水平面上で所定方向(例えば矢印の方向)に回動させる。なお同図では回動のための駆動機構について図示を省略している。このような構成により、各時刻において周囲の360°にある全ての被写体をいずれかのカメラの視野内に収めることができるうえ、視野が重ならない領域の被写体であっても、僅かな時間のずれで後続のカメラの視野に入れることができる。

0084

結果として、全方位にある被写体に対し、異なる視点からの画像が撮影されることを保証できる。例えば、図示するような構成のカラービデオカメラとデプスカメラを図の奥行き方向に対応する垂直方向に重ねてなる撮像装置を導入すれば、本実施の形態と同様にデプス画像を圧縮でき、より広域での画像をデータサイズの増大を抑えつつ伝送できる。なお周囲360°の画像が必要ない場合、撮像装置を構成するカメラの台数を減らすことができる。場合によっては1つのカメラを移動させることにより異なる視点からの画像を撮影していき、時間的に前後して撮影された2つの画像を、平均時刻におけるステレオ画像としてもよい。

0085

図11は、別の変形例における撮像装置の素子構造を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜配線などの詳細な構造は省略している。また同図では隣接した2画素分の断面構造を例示している。画素210はマイクロレンズ層212、カラーフィルタ層214、偏光子層216、および光電変換層218を含む。マイクロレンズ層212は画素ごとに設けられ入射した光を集光する。

0086

カラーフィルタ層214は、画素ごとに異なる色の光を透過する。偏光子層216は、複数の線状の導体部材、例えばタングステンアルミなどの部材(ワイヤ)を入射光波長より小さい間隔でストライプ状に配列させたワイヤグリッド型偏光子を含む。マイクロレンズ層212により集光されカラーフィルタ層214を透過した光が偏光子層216に入射すると、偏光子ラインと平行な方向の偏光成分は反射され、垂直な偏光成分のみが透過する。

0087

透過した偏光成分を光電変換層218で電荷に変換することにより偏光輝度が取得される。図示するようなワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開2012−80065号公報などに開示されている。ただし偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。なお同図では偏光子として、図面の奥行き方向に伸張するワイヤの断面を表しているが、偏光子の主軸角度は4通りとし、それに応じてワイヤの向きも異なる。

0088

また図示するように偏光子層216には、画素によって偏光子を備える領域と備えない領域があってよい。偏光子を設けない領域では、カラーフィルタ層214を透過した光がそのまま光電変換層218に入射する。光電変換層218は一般的なフォトダイオードを含み、入射した光を電荷として出力する。図示するように1つのマイクロレンズに対しフォトダイオードを複数設けることにより、合焦レンズの異なる領域を透過した光を別々に電荷に変換する。そのようにして検出した光の位相差に基づき焦点検出を行う技術は位相差オートフォーカスの一手法として実用化されている(例えば特開2013−106194号公報参照)。

0089

また1画素に設けた複数のフォトダイオードによる検出値を合計すれば、一般的な撮像装置における1画素分の輝度が得られる。すなわち図11に示した画素の素子構造によれば、一般的なカラー画像、複数方位偏光画像位相差画像を同時に得ることができる。ここで位相差画像は、画素ごとに設けた2つのフォトダイオードのうち一方の検出値のみを画素とする画像の対である。位相差画像における像の位置のずれ量は、焦点距離においては0となり、焦点距離から離れるほど大きくなる。また焦点距離より遠いか近いかでずれる方向が逆転する。

0090

画像処理装置はこの関係を利用して、位相差画像における像のずれ量から被写体の距離を取得できる。ただしずれ量を特定できることが前提となるため、距離が得られるのは被写体の輪郭線など特徴点の存在する部分に限定される。そこで、複数方位の偏光画像を用いて既存の手法により被写体表面の法線ベクトルを取得し、その結果から得られる表面の傾きに基づき距離値を補間すれば、被写体全体の距離値が得られる。

0091

すなわち図示する素子構造によれば、参照光の照射機構などを設けずとも、カラー画像と同一視点のデプス画像を取得できる。差分画像の生成に用いる、演算によるデプス画像の生成のためには、図示するような素子構造のカメラとは別に、一般的なカメラを導入して異なる視点から撮影させることによりステレオ画像を取得してもよい。あるいは図示するような素子構造を有する複数のカメラによりステレオ画像を取得してもよい。この場合、図10で示したような構造の撮像装置としてもよい。

0092

また図示するような素子構造を有する1つのカメラを移動させてステレオ画像を取得したり、図8で示したデプス画像提供サーバ120を利用して、1つのカラー画像からデプス画像を取得したりしてもよい。いずれの場合も、本実施の形態で述べた画像処理装置およびコンテンツ処理装置を適用し同様の効果を得ることができる。

0093

1コンテンツ処理システム、 10画像処理装置、 12撮像装置、 14コンテンツ処理装置、 16表示装置、 18ステレオカメラ、 19デプスカメラ、 23 CPU、 24 GPU、 26メインメモリ、 32通信部、 34 記憶部、 36 出力部、 38 入力部、40記録媒体駆動部、 50ステレオ画像取得部、 52デプス画像取得部、 54 デプス画像圧縮部、 56 出力部、 60画像データ取得部、 62 デプス画像伸張部、 64情報処理部、 66 出力部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 川口豊の「 車両」が 公開されました。( 2020/02/13)

    【課題】表示手段に表示される画像を運転者が確認しやすい車両を提供する。【解決手段】フロントガラスが設けられていない無窓化された車体3を備えている。この車体3に、運転の際における少なくとも前方視界に相当... 詳細

  • ソニーセミコンダクタソリューションズ株式会社の「 固体撮像装置および電子機器」が 公開されました。( 2020/02/13)

    【課題】イメージセンサのチップ内でより複雑な処理を実行することを課題とする。【解決手段】固体撮像装置は、画像データを取得する撮像部と、画像データを取得する撮像部と、前記撮像部から取得される画像データに... 詳細

  • ソニー・オリンパスメディカルソリューションズ株式会社の「 医療用観察装置」が 公開されました。( 2020/02/13)

    【課題】医療用観察装置の使用者の利便性の向上を図ることが可能な、医療用観察装置を提供する。【解決手段】観察対象が撮像された右目用の医療用撮像画像を撮像する第1の撮像デバイスと、観察対象が撮像された左目... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ