図面 (/)

技術 画像処理装置、画像処理方法、及び画像処理プログラム

出願人 株式会社アクセル
発明者 松本建太
出願日 2018年9月11日 (2年11ヶ月経過) 出願番号 2018-169363
公開日 2020年3月19日 (1年5ヶ月経過) 公開番号 2020-043467
状態 特許登録済
技術分野 立体TV及びTVの試験,検査,測定等 イメージ生成
主要キーワード タンジェント値 ユーザ向き Y座標 対象方向 画像生成用データ X座標 余弦定理 作成用画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

複数の視点から撮影された画像を用いて、或る視点から対象を観た場合に得られる画像を適切に生成する技術を提供する。

解決手段

画像処理装置は、画像選択部と、画像合成部とを備える。画像選択部は、複数の視点から見た画像から、仮想的な観察者右目視点に近い視点から見た、対象を含む複数の第1視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第2視点画像とを選択する。画像合成部は、対象の位置が互いに重なるように、複数の第1視点画像に含まれる画像を合成するとともに、複数の第2視点画像に含まれる画像を合成する。

概要

背景

コンテンツ供給者は、撮影装置を用いて、コンサート及びスポーツなどのイベント映像撮影する。そして、供給者は、撮影した映像を記録媒体に記録してユーザに供給する。ユーザは、表示装置を用いて記録媒体に記録された映像を再生することにより、供給されたコンテンツを視聴することができる、という技術が知られている。また、複数の視点から撮影された映像を用いて、表示する映像を切り替えることにより、ユーザの要求に応じた映像を表示する技術が知られている。

例えば、特許文献1には、複数の視点映像から成る多視点映像コンテンツを再生する技術が開示されている。特許文献1には、複数の視点からの映像を連結して、所定の視点における視聴映像を切り出したり、複数の視点映像を補完処理により所望の映像を生成したりすることが開示されている。

また、特許文献2には、或るグループライブコンサートの複数の画像から、或る特定のメンバーが映っている画像を選択して表示させる技術が開示されている。

概要

複数の視点から撮影された画像を用いて、或る視点から対象を観た場合に得られる画像を適切に生成する技術を提供する。画像処理装置は、画像選択部と、画像合成部とを備える。画像選択部は、複数の視点から見た画像から、仮想的な観察者右目視点に近い視点から見た、対象を含む複数の第1視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第2視点画像とを選択する。画像合成部は、対象の位置が互いに重なるように、複数の第1視点画像に含まれる画像を合成するとともに、複数の第2視点画像に含まれる画像を合成する。

目的

本発明は、一側面として、複数の視点から撮影された画像を用いて、或る視点から対象を観た画像を適切に生成する技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の視点から見た画像から、仮想的な観察者右目視点に近い視点から見た、対象を含む複数の第1視点画像と、前記仮想的な観察者の左目視点に近い視点から見た、前記対象を含む複数の第2視点画像とを選択する画像選択部と、前記対象の位置が互いに重なるように、複数の前記第1視点画像に含まれる画像を合成するとともに、複数の前記第2視点画像に含まれる画像を合成する画像合成部と、を備える画像処理装置

請求項2

前記画像処理装置は、さらに、前記対象を含む表示領域を決定し、複数の前記第1視点画像について、前記表示領域に対応する、前記第1視点画像の第1対応領域を特定するとともに、複数の前記第2視点画像について、前記表示領域に対応する、前記第2視点画像の第2対応領域を特定する対応領域特定部を備え、前記画像合成部は、複数の前記第1対応領域の画像を合成するとともに、複数の前記第2対応領域の画像を合成する請求項1に記載の画像処理装置。

請求項3

前記画像処理装置は、さらに、前記対象を含む表示領域を決定し、複数の前記第1視点画像について、前記表示領域に対応する、前記第1視点画像の第1対応領域を特定するとともに、複数の前記第2視点画像について、前記表示領域に対応する前記第2視点画像の第2対応領域を特定する対応領域特定部と、複数の前記第1対応領域の画像を、前記表示領域の形の、第1変形画像に変形するとともに、複数の前記第2対応領域の画像を、前記表示領域の形の、第2変形画像に変形する画像変形部と、を備え、前記画像合成部は、複数の前記第1変形画像を合成するとともに、複数の前記第2変形画像を合成する請求項1に記載の画像処理装置。

請求項4

前記画像処理装置は、さらに、前記対象の位置に応じて、前記右目視点と、前記左目視点との位置を決定する視点決定部を備える請求項1から3のいずれか一項に記載の画像処理装置。

請求項5

前記画像処理装置は、さらに、前記対象の指定を受け付ける対象受付部を備え、前記画像選択部は、前記対象と前記複数の視点との位置関係に応じて、前記第1視点画像と前記第2視点画像とを選択する請求項1から請求項4のいずれか一項に記載の画像処理装置。

請求項6

前記画像処理装置は、さらに、前記右目視点と複数の前記第1視点画像を撮影した視点との位置関係に応じて各画像の合成時の重みを決定するとともに、前記左目視点と複数の前記第2視点画像を撮影した視点との位置関係に応じて、各画像の合成時の重みを決定する重み指定部を備え、前記画像合成部は、前記決定した重みを用いて、複数の前記第1視点画像に含まれる画像を合成するとともに、複数の前記第2視点画像に含まれる画像を合成する請求項1から請求項5いずれか一項に記載の画像処理装置。

請求項7

前記画像処理装置は、さらに、前記対象の方向の指定を受け付ける方向受付部と、複数の前記第1視点画像と、複数の前記第2視点画像とに含まれる対象となる候補を特定し、前記指定を受けた方向に位置する候補を対象に決定する対象決定部と、を備える請求項1から請求項6のいずれか一項に記載の画像処理装置。

請求項8

前記画像処理装置は、さらに、前記対象の方向の指定を受け付ける方向受付部を備え、前記画像選択部は、前記指定を受けた方向の所定の位置を前記対象とする請求項1から請求項6のいずれか一項に記載の画像処理装置。

請求項9

前記画像合成部により合成された画像がユーザの頭部に装着される表示装置で表示されるようになっており、前記対象方向受付部は、前記表示装置の向きを検出する向き検出部により検出された向きに応じて、前記対象の方向の指定を受け付ける請求項8または9に記載の画像処理装置。

請求項10

前記複数の視点から見た画像は、仮想的な観察者の右目視点から左目視点までの距離以内の間隔で並べられた複数の撮影装置により撮影された画像である請求項1から10のいずれか一項に記載の画像処理装置。

請求項11

カメラアレイと、画像処理装置とを備える画像処理システムであって、前記カメラアレイは、仮想的な観察者の右目視点から左目視点までの距離以内の間隔で並べられた、画像を撮影する複数の撮影部を備え、前記画像処理装置は、複数の視点から見た画像から、前記仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第1視点画像と、前記仮想的な観察者の左目視点に近い視点から見た、前記対象を含む複数の第2視点画像とを選択する画像選択部と、前記対象の位置が互いに重なるように、複数の前記第1視点画像に含まれる画像を合成するとともに、複数の前記第2視点画像に含まれる画像を合成する画像合成部と、を備える画像処理システム。

請求項12

コンピュータによって実行される画像処理方法であって、前記コンピュータは、複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第1視点画像と、前記仮想的な観察者の左目視点に近い視点から見た、前記対象を含む複数の第2視点画像とを選択し、前記対象の位置が互いに重なるように、複数の前記第1視点画像に含まれる画像を合成するとともに、複数の前記第2視点画像に含まれる画像を合成することを実行する画像処理方法。

請求項13

複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第1視点画像と、前記仮想的な観察者の左目視点に近い視点から見た、前記対象を含む複数の第2視点画像とを選択し、前記対象の位置が互いに重なるように、複数の前記第1視点画像に含まれる画像を合成するとともに、複数の前記第2視点画像に含まれる画像を合成する処理をコンピュータに実行させる画像処理プログラム

請求項14

画像処理装置で用いられる画像生成用データ構造であって、複数の視点から見た画像と、前記複数の視点と、対象の位置とを含む情報を備え、前記画像処理装置が、前記情報を用いて、複数の視点から見た画像から、前記対象の方向を向いた仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第1視点画像と、前記仮想的な観察者の左目視点に近い視点から見た、前記対象を含む複数の第2視点画像とを選択し、前記対象の位置が互いに重なるように、複数の前記第1視点画像に含まれる画像を合成するとともに、複数の前記第2視点画像に含まれる画像を合成する処理に用いられる画像生成用データ構造。

請求項15

複数の視点から見た画像から、対象を含む3以上の選択画像を選択する画像選択部と、前記対象の位置が互いに重なるように、選択した前記選択画像を合成する画像合成部と、を備えることを特徴とする画像処理装置。

技術分野

0001

本発明は、画像処理装置、及び画像処理方法に関する。

背景技術

0002

コンテンツ供給者は、撮影装置を用いて、コンサート及びスポーツなどのイベント映像撮影する。そして、供給者は、撮影した映像を記録媒体に記録してユーザに供給する。ユーザは、表示装置を用いて記録媒体に記録された映像を再生することにより、供給されたコンテンツを視聴することができる、という技術が知られている。また、複数の視点から撮影された映像を用いて、表示する映像を切り替えることにより、ユーザの要求に応じた映像を表示する技術が知られている。

0003

例えば、特許文献1には、複数の視点映像から成る多視点映像コンテンツを再生する技術が開示されている。特許文献1には、複数の視点からの映像を連結して、所定の視点における視聴映像を切り出したり、複数の視点映像を補完処理により所望の映像を生成したりすることが開示されている。

0004

また、特許文献2には、或るグループライブコンサートの複数の画像から、或る特定のメンバーが映っている画像を選択して表示させる技術が開示されている。

先行技術

0005

特開2016−220230号公報
特開2018−25734号公報

発明が解決しようとする課題

0006

例えば、特許文献1に記載された、複数の映像データを連結して所定の視点における視聴画像を切り出す技術では、切り出す映像データは、別の視点からの映像データそのものである。したがって、映像中のいろいろな対象物見え方は、別の視点からの見え方となっており、所定の視点からの映像としては違和感がある映像になってしまう。また、特許文献1には、複数の映像データを補完処理により映像を生成すると開示されているが、どのように補完処理をすれば所定の視点において適切な映像となるかについては何ら開示されていない。

0007

一方、或る特定のメンバーの画像を表示する特許文献2の技術は、特定のメンバーを撮影されている画像を切り替えてストリーミング配信する技術であり、撮影された画像によっては、メンバーが画像中の好ましい位置にいるとは限らず、必ずしもユーザが所望する画像であるとは限らない。

0008

本発明は、一側面として、複数の視点から撮影された画像を用いて、或る視点から対象を観た画像を適切に生成する技術を提供する。

課題を解決するための手段

0009

上記目的を達成するため、第1の観点に係る画像処理装置は、複数の視点から見た画像から、仮想的な観察者右目視点に近い視点から見た、対象を含む複数の第1視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第2視点画像とを選択する画像選択部と、対象の位置が互いに重なるように、複数の第1視点画像に含まれる画像を合成するとともに、複数の第2視点画像に含まれる画像を合成する画像合成部と、を備える。

0010

上記画像処理装置において、さらに、対象を含む表示領域を決定し、複数の前記第1視点画像について、表示領域に対応する、第1視点画像の第1対応領域を特定するとともに、複数の第2視点画像について、表示領域に対応する、第2視点画像の第2対応領域を特定する対応領域特定部を備え、画像合成部は、複数の第1対応領域の画像を合成するとともに、複数の第2対応領域の画像を合成するようにしてもよい。

0011

また、上記画像処理装置において、画像処理装置は、さらに、対象を含む表示領域を決定し、複数の第1視点画像について、表示領域に対応する、第1視点画像の第1対応領域を特定するとともに、複数の第2視点画像について、表示領域に対応する第2視点画像の第2対応領域を特定する対応領域特定部と、複数の第1対応領域の画像を、表示領域の形の、第1変形画像に変形するとともに、複数の第2対応領域の画像を、表示領域の形の、第2変形画像に変形する画像変形部と、を備え、画像合成部は、複数の第1変形画像を合成するとともに、複数の第2変形画像を合成するようにしてもよい。

0012

また、上記画像処理装置において、画像処理装置は、さらに、対象の位置に応じて、右目視点と、左目視点との位置を決定する視点決定部を備えるようにしてもよい。

0013

また、上記画像処理装置において、さらに、対象の指定を受け付ける対象受付部を備え、記画像選択部は、対象と複数の視点との位置関係に応じて、第1視点画像と第2視点画像とを選択するようにしてもよい。

0014

また、上記画像処理装置において、さらに、右目視点と複数の第1視点画像を撮影した視点との位置関係に応じて各画像の合成時の重みを決定するとともに、左目視点と複数の第2視点画像を撮影した視点との位置関係に応じて、各画像の合成時の重みを決定する重み指定部を備え、画像合成部は、決定した重みを用いて、複数の第1視点画像に含まれる画像を合成するとともに、複数の第2視点画像に含まれる画像を合成するようにしてもよい。

0015

また、上記画像処理装置において、さらに、対象の方向の指定を受け付ける方向受付部と、複数の第1視点画像と、複数の第2視点画像とに含まれる対象となる候補を特定し、指定を受けた方向に位置する候補を対象に決定する対象決定部と、を備えるようにしてもよい。

0016

また、上記画像処理装置において、さらに、対象の方向の指定を受け付ける方向受付部
を備え、画像選択部は、指定を受けた方向の所定の位置を前記対象とするようにしてもよい。

0017

また、上記画像処理装置において、画像合成部により合成された画像がユーザの頭部に装着される表示装置で表示されるようになっており、対象方向受付部は、表示装置の向きを検出する向き検出部により検出された向きに応じて、対象の方向の指定を受け付けるようにしてもよい。

0018

また、上記画像処理装置において、複数の視点から見た画像は、仮想的な観察者の右目視点から左目視点までの距離以内の間隔で並べられた複数の撮影装置により撮影された画像であってもよい。

0019

また、上記目的を達成するため、第2の観点に係る画像処理システムは、カメラアレイと、画像処理装置とを備える画像処理システムであって、カメラアレイは、仮想的な観察者の右目視点から左目視点までの距離以内の間隔で並べられた、画像を撮影する複数の撮影部を備え、前記画像処理装置は、複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第1視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第2視点画像とを選択する画像選択部と、対象の位置が互いに重なるように、複数の第1視点画像に含まれる画像を合成するとともに、複数の第2視点画像に含まれる画像を合成する画像合成部と、を備える。

0020

また、上記目的を達成するため、第3の観点に係る画像処理方法は、コンピュータによって実行される画像処理方法であって、コンピュータは、複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第1視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第2視点画像とを選択し、対象の位置が互いに重なるように、複数の第1視点画像に含まれる画像を合成するとともに、複数の第2視点画像に含まれる画像を合成する。

0021

また、上記目的を達成するため、第4の観点に係る画像生成プログラムは、複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第1視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第2視点画像とを選択し、対象の位置が互いに重なるように、複数の第1視点画像に含まれる画像を合成するとともに、複数の第2視点画像に含まれる画像を合成する処理をコンピュータに実行させる。

0022

また、上記目的を達成するため、第5の観点に係るデータ構造は、画像処理装置で用いられる画像生成用データ構造であって、複数の視点から見た画像と、複数の視点と、対象の位置とを含む情報を備え、画像処理装置が、情報を用いて、複数の視点から見た画像から、対象の方向を向いた仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第1視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第2視点画像とを選択し、対象の位置が互いに重なるように、複数の第1視点画像に含まれる画像を合成するとともに、複数の第2視点画像に含まれる画像を合成する処理に用いられる。

0023

また、上記目的を達成するため、第6の観点に係る画像処理装置は、複数の視点から見た画像から、対象を含む3以上の選択画像を選択する画像選択部と、対象の位置が互いに重なるように、選択した選択画像を合成する画像合成部と、を備える。

発明の効果

0024

本発明によれば、複数の視点から撮影された画像を用いて、或る視点から対象を観た画像を適切に生成することができる。

図面の簡単な説明

0025

図1は、第1実施形態に係る画像処理システムの一実施例の全体構成図である。
図2は、第1実施形態に係るカメラアレイの一例を説明する図である。
図3は、第1実施形態に係る撮影処理装置による位置割出処理の一例示すフローチャートである。
図4は、第1実施形態に係る画像処理装置による画像生成処理の一例を示すフローチャートである
図5は、第1実施形態に係る作成用画像選択処理の一例を説明する図である。
図6は、第1実施形態に係る表示領域と対応領域との関係を説明する図である。
図7は、第1実施形態に係る対応領域の特定、対応領域の画像の変形、及び複数の変形画像の合成処理の一例を説明する図である。
図8は、第1実施形態に係る変形処理の一例を説明する図である。
図9は、第1実施形態に係る画像の合成時の重みの決定処理の一例を説明する図である。
図10は、第1実施形態に係る画像処理装置を用いて生成された画像を示す図である。
図11は、第2実施形態に係る画像処理システムの一実施例の全体構成図である。
図12は、第1変形例に係るカメラアレイの構成を示す図である。
図13は、第2変形例に係るカメラアレイの構成を示す図である。

実施例

0026

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

0027

第1実施形態に係る画像処理システムについて説明する。
図1は、第1実施形態に係る画像処理システムの一実施例の全体構成図である。
以下の説明において、画像を表現する画像データのことを、単に画像ともいう。なお、画像処理装置は、動画を処理するとき、動画を表現する各フレームに対応する画像に対して実施形態で説明する画像処理を実行する。

0028

画像処理システム100は、例えば、舞台8上の演者9を撮影し、撮影した画像をユーザに供給するシステムである。画像処理システム100は、カメラアレイ1と、カメラ2と、撮影処理装置3と、記録媒体4と、画像処理装置5と、選択装置6と、表示装置7とを備える。カメラアレイ1とカメラ2とは、撮影処理装置3とケーブルネットワーク等を介して接続されている。選択装置6と、表示装置7とは、例えば、ケーブル、ネットワーク等を介して画像処理装置5と接続されている。

0029

カメラ2は、舞台8上の演者9の位置を特定するための画像を撮影するカメラである。カメラ2は、例えば、舞台8上の演者9の移動範囲の全体が撮影可能となるように、舞台8の上方に配置される。演者9の位置は、例えば、舞台8を上から見た平面における演者9の位置であり、2次元座標(X,Y)で表現される。なお、本実施形態では、演者9の移動範囲の全体を1台のカメラ2を用いて撮影する例を示しているが、複数のカメラを用いて演者9の移動範囲の全体を撮影してもよい。

0030

カメラアレイ1は、例えば、円弧状に配置された複数のカメラ11を備える。カメラアレイ1は、舞台8の方向を向けて設置されることにより、舞台8を複数の視点から見た画像を撮影する。以下の説明において、カメラ2の視点とは、カメラ2がある撮影位置のことをいう。カメラ11の視点とは、カメラ11がある撮影位置のことをいう。
カメラ11は、例えば、仮想的な観察者が設定されたとき、仮想的な観察者の右目視点から左目視点までの距離(瞳孔間距離)以内の間隔で並べて配置されることが好ましい。すなわち、カメラ11は、仮想的な観察者の瞳孔間距離の間に複数台配置されることが好ましい。以下の説明では、仮想的な観察者の右目視点と左目視点とは、仮想的な観察者の右目のある位置と左目のある位置とのことをいう。また、仮想的な観察者の右目視点と左目視点とのことを、まとめて視聴視点ともいう。

0031

撮影処理装置3は、例えば、Personal Computer(PC)により構成さる。撮影処理装置3は、プロセッサの一例であるCentral Processing Unit(CPU)31と、Hard Disk Drive(HDD)32と、メモリ33とを備える。

0032

HDD32は、CPU31の処理で用いられるデータ、CPU31の処理により作成されたデータ、カメラアレイ1及びカメラ2により撮影された画像、並びにCPU31によって実行されるプログラム等を格納する。以下の説明では、カメラ2及びカメラ11で撮影された画像のことを、単に撮影画像ともいう。

0033

また、HDD32は、カメラ情報を格納する。カメラ情報は、例えば、ワールド座標系におけるカメラアレイ1の基準位置Pの座標と、カメラアレイ1を配置した向きと、基準位置Pを基準とする座標系における各カメラ11の位置及び視線と、各カメラ11の画角と、に関する情報を含む。カメラ11の視線とは、カメラ11と、カメラ11の画角の中心とを結ぶ線のことをいう。

0034

さらに、HDD32は、演者情報を格納する。演者情報は、例えば、演者9を識別する識別情報(演者ID)と、時刻と、各時刻における演者9のワールド座標系に対応する3次元位置とを含む。
また、HDD32は、圧縮部31bにより圧縮されたカメラ11の撮影画像に、撮影したカメラ11の識別情報と、撮影時刻(例えば、撮影開始時刻)とを関連付けた画像情報を格納する。

0035

メモリ33は、例えば、RAM(Random Access Memory)等であり、CPU31に実行されるプログラム(撮影処理プログラム等)や、各種情報を記憶する。
CPU31は、HDD32に格納されているプログラムをメモリ33に読み出して実行することにより各種処理を実行する。本実施形態では、CPU31は、撮影処理プログラムを実行することにより、歪み補正部31aと、圧縮部31bと、位置割出部31cと、処理制御部31dとを構成する。

0036

歪み補正部31aは、カメラのレンズ特性に起因して発生する、カメラ2及びカメラ11の撮影画像の歪みを補正する歪み補正処理を行う。なお、歪み補正部31aは、カメラ2及びカメラ11の撮影画像を受信するごとに、リアルタイムで歪み補正処理を実行してもよい。または、歪み補正部31aは、受信した撮影画像をHDD32に格納した後に、歪み補正処理を実行してもよい。なお、カメラ2及びカメラ11が歪み補正処理を実行する場合には、撮影処理装置3は、歪み補正部31aを備えなくてもよい。圧縮部31bは、歪み補正部31aにより歪み補正処理が行われた画像を圧縮する。

0037

位置割出部31cは、カメラ2の撮影画像から、画像に含まれる演者9を特定する。そして、位置割出部31cは、各演者9について、各時刻におけるワールド座標系での3次元位置を特定する。

0038

位置割出部31cは、例えば、カメラ2の撮影画像から演者9の舞台8の平面(X−Y平面とする)における2次元座標(x、y)を特定する。また、位置割出部31cは、舞台8の高さ方向(Z方向)の座標に基づいて演者9の高さ方向の座標(z)を特定する。これにより、位置割出部31cは、演者9の3次元座標(x、y、z)を割り出す。

0039

位置割出部31cは、予め登録された演者9の画像を用いて、カメラ2の撮影画像から演者9を特定してもよい。また、位置割出部31cは、カメラ2の撮影画像から、移動する物体の画像を認識し、認識した画像を演者9と特定してもよい。演者9の高さ方向の座標(z)は、例えば、舞台8の高さに演者9の身長又は想定される身長を考慮した座標として特定してもよい。

0040

処理制御部31dは、圧縮部31bにより圧縮されたカメラ11の撮影画像に、撮影したカメラ11の識別番号と、撮影時刻とを関連付けて画像情報としてHDD32に格納する。また、処理制御部31dは、HDD32に格納された画像情報と、カメラ情報と、演者情報とを、記録媒体4に格納する。

0041

記録媒体4は、例えば、フラッシュメモリや、Solid State Drive(SSD)等の不揮発性記録媒体(非一時的記録媒体)である。そして、記録媒体4は、撮影処理装置3と、画像処理装置5とに対して、着脱可能に接続される。記録媒体4は、複数の異なる視点により撮影された複数の画像情報41と、カメラ情報42と、演者情報43とを記憶する。画像情報41と、カメラ情報42と、演者情報43とは、HDD32に格納された情報と同じ情報である。

0042

選択装置6は、例えば、複数のボタンを有する装置であり、ユーザの操作により、注目する演者9の指定を受け付ける。以下の説明では、指定を受け付けた注目する演者9のことを単に対象ともいう。
選択装置6は、例えば、各ボタンに対して、それぞれ1人ずつ演者9を対応付けておき、押下されるボタンにより対象の指定を受け付けてもよい。また、選択装置6は、ユーザがボタンを押下するごとに、指定する対象の切り替えを受け付けてもよい。

0043

表示装置7は、画像処理装置5から立体視用の画像として供給される、右目視点に対応する画像と、左目視点に対応する画像とを表示する。これにより、ユーザは、立体画像を視聴可能となる。以下の説明では、右目視点に対応する画像のことを、右目用画像ともいう。また、左目視点に対応する画像のことを、左目用画像ともいう。また、右目用画像と左目用画像とのことを、まとめて立体画像ともいう。

0044

表示装置7は、例えば、異なる吸収軸を持つように右目用画像と、左目用画像とを偏光させる偏光方式の表示装置でもよい。偏光方式の表示装置を用いるとき、ユーザは、右目用画像と左目用画像とのそれぞれに、吸収軸を合わせた2枚の偏光板を有する眼鏡をかけて立体画像を視聴する。

0045

表示装置7は、例えば、右目用画像と、左目用画像とを切り替えて表示するシャッター方式の表示装置であってもよい。シャッター方式の表示装置を用いるとき、ユーザは、右目用画像と左目用画像との切り替えに同期して、左右のレンズ開閉を行う眼鏡をかけて立体画像を視聴する。

0046

表示装置7は、例えば、左目用表示画面と、右目用の表示画面とを備え、ユーザの頭部に装着して用いられるヘッドマウントディスプレイであってもよい。

0047

表示装置7は、例えば、バリア又はレンチキュラーレンズ貼付されたディスプレイを備え、ユーザの右目と左目とに対して、それぞれ右目用画像と左目用画像とを出力する裸眼3Dディスプレイであってもよい。

0048

画像処理装置5は、例えば、グラフィックLSIにより構成されており、プロセッサの一例としてのCPU51と、メモリ52と、描画回路53と、復号回路54と、表示回路55と、ドライブ56とを含む。

0049

メモリ52は、例えば、RAM等であり、CPU51に実行されるプログラム(画像処理プログラム等)や、各種情報を記憶する。

0050

CPU51は、メモリ52に記憶されているプログラムを実行することにより各種処理を実行する。本実施形態では、CPU51は、メモリ52の画像処理プログラムを実行する。これにより、CPU51は、対象受付部51aと、画像選択部の一例としての画像選択部51bと、対応領域特定部の一例としての座標指定部51cと、重み指定部51dと、変形指定部51eとを構成する。

0051

対象受付部51aは、例えば、ユーザの指示に応じて、対象の選択を受け付ける。そして、対象受付部51aは、演者情報43に基づいて、対象の3次元位置を特定し、画像選択部51bに通知する。

0052

画像選択部51bは、例えば、位置を固定したまま仮想的な観察者の方向を変えたとき、視聴視点がカメラアレイ1に含まれるカメラ11の視点を結ぶ線上を移動するように、仮想的な観察者の大きさを設定する。そして、画像選択部51bは、例えば、対象の3次元位置に基づいて、仮想的な観察者の視聴位置を特定する。

0053

画像選択部51bは、仮想的な観察者の右目視点と左目視点との位置に基づいて、複数のカメラ11で撮影された画像から、右目用画像の作成に使用する複数の画像と、左目用画像の作成に使用する複数の画像とを選択する。以下の説明では、立体画像の作成に使用する複数の画像のことを、作成用画像ともいう。

0054

画像選択部51bは、例えば、複数のカメラ11で撮影された画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の画像とを選択する。そして、画像選択部51bは、選択した画像を示す選択情報を描画回路53の後述する画像取得部53aに通知する。

0055

座標指定部51cは、例えば、対象の3次元位置と、カメラ情報42とに基づいて、ユーザの望む画角に対応する形状及び大きさの領域に対象が中心に位置するように、表示装置7に表示する立体画像の表示領域を決定する。表示領域とは、例えば、図7に示す変形画像TFf、TFg、TFhに対応する表示装置7に表示する作成用画像の一部または全体の領域のことである。以下の説明では、右目用画像の作成用画像を用いて生成される変形画像のことを、右目用の変形画像ともいう。また、左目用画像の作成用画像を用いて生成される変形画像のことを、左目用の変形画像ともいう。

0056

座標指定部51cは、右目用画像の作成用画像に含まれる、表示領域に対応する対応領域を表示領域の形状に変形したとき、対象が中心にくるように特定する。さらに、座標指定部51cは、左目用画像の作成用画像に含まれる、表示領域に対応する対応領域を表示領域の形状に変形したとき、対象が中心にくるように特定する。対応領域とは、例えば、図7に示す対応領域DAf、DAg、DAhであり、表示領域に対応する画像を含む領域のことである。 そして、座標指定部51cは、それぞれの画像に含まれる対応領域の座標を後述する変形処理部53bに通知する。

0057

重み指定部51dは、例えば、仮想的な観察者の右目視点の位置と、右目用画像の作成用画像を撮影したカメラ11との位置関係に基づいて、作成用画像を用いて生成される画像を合成する際の重みの値を決定する。

0058

さらに、重み指定部51dは、例えば、仮想的な観察者の左目視点の位置と、左目用画像の作成用画像を撮影したカメラ11との位置関係に基づいて、作成用画像を用いて生成される画像を合成する際の重みの値を決定する。そして、重み指定部51dは、決定した各重みの値を画像合成部53cに通知する。

0059

変形指定部51eは、例えば、座標指定部51が特定した対応領域の画像を表示領域の形状の画像へ変形する際に必要な変形情報を決定し、変形情報を変形処理部53bに通知する。

0060

描画回路53は、描画処理に必要な処理を高速に実行可能に形成された回路であり、プログラムに従って描画処理を実行することにより、画像取得部53aと、変形処理部53b(画像変形部)と、画像合成部53cとを構成する。

0061

画像取得部53aは、例えば、画像選択部51bから通知された選択情報に応じて、右目用画像の作成用画像と、左目用画像の作成用画像とを、復号回路54から取得する。

0062

変形処理部53bは、例えば、画像取得部53aが取得した各作成用画像に含まれる対応領域を、変形指定部51eにより指定された変形情報に応じて変形する。これにより、変形処理部53bは、表示領域の形状の変形画像を生成する。

0063

画像合成部53cは、例えば、変形処理部53bにより生成された右目用の複数の変形画像を、重み指定部51dにより指定された重みを用いて合成し、右目用画像を生成する。そして、画像合成部53cは、右目用画像を表示回路55に出力する。

0064

また、画像合成部53cは、例えば、変形処理部53bにより生成された左目用の複数の変形画像を、重み指定部51dにより指定された重みを用いて合成し、左目用画像を生成する。そして、画像合成部53cは、左目用画像を表示回路55に出力する。

0065

以上により、画像合成部53cは、複数の視点から見た画像に含まれる、対象が中心に位置する同じ表示領域の画像を合成する。すなわち、画像合成部53cは、対象の位置が互いに重なるように各対象の位置を合わせて、選択された複数の画像に含まれる表示領域に対応する画像を合成する処理を実行する。これにより、画像合成部53cは、立体画像を生成する。なお、画像合成部53cは、画像取得部53aと、変形処理部53bとを含んでもよい。

0066

復号回路54は、画像処理装置5に接続された記録媒体4から複数の画像を取得し、複数の画像を並行して復号する。本実施形態では、複合回路54は、記録媒体4の同一のイベントの全視点(全カメラ11)の画像を並行して復号する。表示回路55は、画像合成部53cにより合成された立体画像を表示装置7に出力する。

0067

ドライブ56は、記録媒体80を着脱可能であり、記録媒体80からのデータ、プログラムの読み出し、及び記録媒体80へのデータの書き込みを行う。記録媒体80としては、例えば、SDメモリーカードFDフロッピーディスク:登録商標)、CD、DVD、BD(登録商標)、フラッシュメモリ等の非一時的記録媒体(不揮発性記録媒体)がある。本実施形態においては、記録媒体80に、画像処理プログラムを格納しておき、ドライブ56により、これを読み出して、利用するようにしてもよい。

0068

次に、カメラアレイ1の構成を詳細に説明する。
図2は、第1実施形態に係るカメラアレイの一例を説明する図である。
カメラアレイ1は、円弧状に並べて配置された複数のカメラ11を備えている。そして、カメラアレイ1は、観察者の頭部12の中心である基準位置Pを軸として、頭部12を回転させたとき、左右の眼球13L,13Rが向く複数の視点から見た画像を取得する。

0069

各カメラ11で撮影される画像は、複数の画像を合成することにより、対象に焦点を合わせた画像を生成する処理に用いられる。よって、各カメラ11で撮影する画像は、対象に焦点が合っていることが求められる。したがって、各カメラ11には、対象として選択される可能性がある、動く演者9に対して焦点を合わし続けることができる、被写界深度が深いカメラを用いることが好ましい。

0070

合成処理を用いて精度良く立体視用の画像を生成するために、各カメラ11は、瞳孔間距離以内の間隔で並べて配置されることが好ましい。しかし、カメラの性能、サイズ、及びコスト面の制約により、人間の瞳孔間距離以内の間隔でカメラを配置することは困難である。そこで、本実施形態では、人間の想定サイズよりも大きいサイズのモデルを仮想的な観察者として、仮想的な観察者の瞳孔間距離以内の間隔でカメラを配置する。ただし、カメラ11の性能、サイズ、及びコストの制約を満たし、仮想的な観察者の瞳孔間距離以内の間隔でカメラ11を配置可能であれば、仮想的な観察者は、人間の想定サイズ以下の大きさに設定してもよい。

0071

より具体的には、カメラアレイ1は、基準位置Pを中心とする部分円弧状(例えば、半円弧状)に、円の外側に向けて配置された複数のカメラ11を含む。基準位置Pは、観察者の頭部の中心である。

0072

さらに、カメラアレイ1では、隣り合うカメラ11と基準位置Pとを結ぶ2本の直線のなす角が等しくなるように、複数のカメラ11が配置されている。また、カメラアレイ1では、隣り合うカメラ11と基準位置Pとを結ぶ2本の直線のなす角が、右目13R及び左目13Lのそれぞれと基準位置Pとを結ぶ2本の直線のなす角(眼間角度という)よりも狭くなるように複数のカメラ11を配置している。以上により、カメラアレイ1は、仮想的な観察者の瞳孔間距離内に複数のカメラ11が配置される構成となる。図2の例では、180度の円弧に16個のカメラ11を配置している。

0073

本実施形態では、人間よりも大きいサイズを仮想的な観察者としたときの右目を仮想右目14Rとし、仮想右目14Rの視点に相当する部分を右目視点RPVとし、左目を仮想左目14Lとし、仮想左目14Lの視点に相当する部分を左目視点LPVとする。また、基準位置Pから仮想右目14Rの方向を右目方向REDとし、基準位置Pから仮想左目14Lの方向を左目方向LEDとする。

0074

次に、画像処理システム100における処理動作について説明する。
撮影者は、カメラアレイ1を舞台8の方向に向けて配置する。カメラアレイ1は、例えば、舞台8の横方向の中央位置と、カメラ11が配置されている部分円弧の中点と、基準位置Pとが直線で結ばれる位置に、複数のカメラ11を舞台8の方向に向けて配置してもよい。また、カメラアレイ1は、舞台8上にいる演者9と同じ高さに配置されるのが好ましい。

0075

そして、撮影者が、カメラアレイ1の基準位置Pのワールド座標系の3次元座標を特定し、撮影処理装置3のHDD32に記憶する。
カメラ2は、舞台8において1以上の演者9(9a、9b、9c等)による演技等が行われるとき、舞台8の上面を撮影する。このとき、カメラアレイ1は、各カメラ11を用いて、舞台8を正面から撮影する。カメラアレイ1及びカメラ2は、撮影画像を撮影処理装置3に入力する。

0076

撮影処理装置3では、歪み補正部31aは、カメラ2及びカメラ11の撮影画像の歪みを補正する。圧縮部31bは、歪みを補正した撮影画像を圧縮する。そして、圧縮部31bは、圧縮された撮影画像と、カメラ11の識別情報と、画像の撮影時刻と、を対応付けて画像情報41としてHDD32に格納する。

0077

一方、カメラ2により撮影された画像については、位置割出部31cが位置割出処理を実行して、舞台8における各演者9の位置を割り出す。そして、処理制御部31dは、演者9の位置を含む演者情報43を出力する。

0078

図3は、第1実施形態に係る撮影処理装置による位置割出処理の一例を示すフローチャートである。以下の説明では、一例として、カメラ2で撮影された動画から、演者9の位置を割り出す処理について説明する。

0079

位置割出処理は、カメラ2の撮影画像を受信するごとにリアルタイムに実行してもよい。また、位置割出処理は、カメラ2の撮影画像をHDD32に格納し、別の時点に実行してもよい。

0080

まず、撮影処理装置3は、カメラ2で撮影された動画が入力されると、フレーム毎の撮影画像にループ1の処理(ステップS11〜S14)を実行する。カメラ2で撮影された動画とは、カメラ2のフレームレートに応じて撮影画像を時系列に表示するものである。以下の説明では、カメラ2で撮影された動画のことを単に、カメラ2の撮影動画ともいう。
位置割出部31cは、カメラ2の撮影画像に含まれる演者9を認識し、各演者9の位置を特定する(ステップS11)。そして、処理制御部31dは、認識した各演者9にループ2の処理(ステップS12〜S14)を実行する。

0081

具体的には、処理制御部31dは、認識された演者9がカメラ2の撮影動画においてはじめて認識された新たな演者9であるか否かを判定する(ステップS12)。この結果、認識された演者9が新たな演者9でない場合(ステップS12:No)には、処理制御部31dは、ステップS14の処理を実行する。

0082

一方、認識された演者9が新たな演者である場合(ステップS12:Yes)には、処理制御部31dは、この演者9に対して演者9を識別する演者IDを決定し(ステップS13)、ステップS14の処理を実行する。

0083

ステップS14では、処理制御部31dは、演者IDと、演者IDに対応する演者9の3次元位置と、時刻とを含む演者情報43をHDD32に出力する。3次元位置とは、舞台上の2次元座標と、舞台8の高さに応じた座標とを含む。舞台8の高さに応じた座標とは、舞台8の高さ座標又は舞台8の高さ座標に演者9の高さを考慮した座標のことである。演者9の高さは、想定される高さを用いてもよい。

0084

認識した演者9の全てに対してループ2の処理を実行した場合には、処理制御部31dは、次のフレームの撮影画像に対するループ1の処理を実行する。そして、制御処理部31dは、カメラ2の撮影動画に含まれる全ての撮影画像に対してループ1の処理を実行したか否かを判定する。処理制御部13は、カメラ2の撮影動画に含まれる全ての撮影画像に対してループ1の処理を実行していない場合、S11の処理を実行する。また、処理制御部31dは、カメラ2の撮影動画に含まれる全ての撮影画像に対してループ1の処理を実行した場合、位置割出処理を終了する。

0085

位置割出処理を実行することにより、撮影処理装置3は、カメラ2の撮影動画に含まれる各演者9の各時点における3次元座標を含む演者情報を作成することができる。

0086

この後、処理制御部31dは、HDD32に格納した複数の画像情報、カメラ情報、及び演者情報を記録媒体4に格納する。

0087

次に、画像処理装置5により表示装置7に立体画像を表示させる画像生成処理について説明する。
図4は、第1実施形態に係る画像処理装置による画像生成処理の一例を示すフローチャートである。なお、画像生成処理を実行するとき、記録媒体4は画像処理装置5に接続される。

0088

まず、画像処理装置5は、記録媒体4に記録されたカメラ11で撮影された動画に含まれるフレームの撮影画像毎にループ3の処理(ステップS21〜S28)を実行する。カメラ11で撮影された動画とは、カメラ11のフレームレートに応じて撮影画像を時系列に表示するものである。以下の説明では、カメラ11で撮影された動画のことを単に、カメラ11の撮影動画ともいう。

0089

ここで、表示装置7の1秒間の表示フレーム数は、記録媒体4に格納されたカメラ11の撮影動画の1秒間のフレーム数と同じであっても、異なっていてもよい。表示装置7の1秒間の表示フレーム数が、記録媒体4に格納されたカメラ11の撮影動画の1秒間のフレーム数よりも多い場合には、表示装置7は、同じフレームを複数回表示してもよい。また、表示装置7の1秒間の表示フレーム数が、記録媒体4に格納されたカメラ11の撮影動画の1秒間のフレーム数よりも少ない場合には、表示装置7は、記録媒体4に格納されたカメラ11の撮影動画のフレームを間引いて表示してもよい。

0090

まず、対象受付部51aは、選択装置6によるユーザの指示に応じて、演者9の中から対象の選択を受け付ける。そして、対象受付部51aは、演者情報43を参照し、対象の3次元位置を特定し、特定した対象の3次元位置を画像選択部51bに通知する(ステップS21)。

0091

画像選択部51bは、対象の3次元位置に応じて、仮想的な観察者が対象の方向を向いたときの、仮想的な観察者の視聴視点を特定する(ステップS22)。次いで、画像選択部51bは、仮想的な観察者の視聴視点の位置に応じて、立体画像の作成用画像を選択し、描画回路53の画像取得部53aに通知する。これにより、画像取得部53aは、選択された複数の作成用画像を復号回路54から取得する(ステップS23)。

0092

座標指定部51cは、対象の演者9の3次元位置と、カメラ情報42と、ユーザが指定する画角とに応じて、立体画像の表示領域を決定する(ステップS24)。

0093

座標指定部51cは、右目用画像の作成用画像に含まれる、表示領域に対応する対応領域を特定する。また、座標指定部51cは、左目用画像の作成用画像に含まれる、表示領域に対応する対応領域を特定する。そして、座標指定部51cは、それぞれの作成用画像に含まれる対応領域の座標を変形処理部53bに通知する(ステップS25)。

0094

変形指定部51eは、座標指定部51が特定した各画像の対応領域から表示領域の形状の画像へ変形する際に必要な変形情報を決定し、変形情報を変形処理部53bに通知する。変形処理部53bは、変形情報に応じて、画像取得部53aが取得した各作成用画像に含まれる、対応領域について変形を行うことにより、立体画像の表示領域の形状に対応する右目用の変形画像及び左目用の変形画像を生成する(ステップS26)。

0095

重み指定部51dは、右目用画像の作成用画像を撮影したカメラ11と、右目視点の位置との位置関係に応じて、各右目用の変形画像を合成する処理において用いられる、各右目用の変形画像の重みを決定する。また、重み指定部51dは、左目用画像の作成用画像を撮影したカメラ11と、左目視点の位置との位置関係に応じて、各左目用の変形画像を合成する処理において用いられる、各左目用の変形画像の重みを決定する。そして、重み指定部51dは、決定した各変形画像を合成する重みを画像合成部53cに通知する(ステップS27)。

0096

次いで、画像合成部53cは、変形処理部53bにより生成された複数の右目用の変形画像を、重み指定部51dにより指定された重みを用いて合成することにより、右目用画像を生成して表示回路55に出力する。また、画像合成部53cは、変形処理部53bにより生成された複数の左目用の変形画像を、重み指定部51dにより指定された重みを用いて合成することにより、左目用画像を生成して表示回路55に出力する(ステップS28)。以上により、表示回路55は、立体画像を表示装置7に表示する。したがって、ユーザは、視聴視点から見た立体動画を観ることができる。

0097

ステップS28の処理が終了すると、表示装置7に表示させる立体動画を作成する元となる、カメラ11の撮影動画の次のフレームについてループ3の処理(ステップS21〜S28)を実行する。画像処理装置5は、ループ3の処理を繰り返し実行することにより、立体動画に含まれる各フレームに対応する立体画像を生成することができる。立体動画とは、カメラ11の撮影動画に含まれる画像を処理することに生成される、立体画像をフレームとして含む動画のことである。なお、表示装置7に表示させる立体動画に含まれる全てのフレームに対応する撮影画像について、画像処理が終了すると、画像処理装置5は、画像生成処理を終了する。

0098

図5は、第1実施形態に係る作成用画像の選択処理の一例を説明する図である。
画像生成処理において、右目視点と左目視点とを特定し、右目用画像の作成に使用する複数のカメラ11の撮影画像と、左目用画像の作成に使用する複数のカメラ11の撮影画像とを選択する処理(ステップS22、S23)について、図2及び図5を参照して説明する。

0099

画像選択部51bは、図2に示すように、対象がカメラアレイ1に正対する位置にいるとき、対象のワールド座標系の3次元座標と、カメラアレイ1のワールド座標系の基準位置Pの座標及び向きとを参照し、対象に対するカメラアレイ1の位置と向きとを特定する。また、画像選択部51bは、基準位置Pを挟んだ仮想右目14Rと、仮想左目14Lとの眼間角度を参照し、仮想的な観察者が対象の方向を向いたときの仮想右目14Rの右目視点RPVの位置と、仮想左目14Lの左目視点LPVの位置とを特定する。

0100

そして、画像選択部51bは、図2に示すように、基準位置Pと演者9とを結ぶ線(演者方向線)と、基準位置Pと右目視点RPVとを結ぶ線との角度が眼間角度の半分の角度となる位置に右目視点RPVがあると特定する。画像選択部51bは、右目視点RPVの位置の特定と同様に、左目視点LPVの位置も特定する。なお、眼間角度は、ユーザの指定した値である。ユーザは、例えば、立体感を強くしたい場合には、眼間角度を大きくする。また、立体感を弱くしたい場合には、眼間角度を小さくする。

0101

画像選択部51bは、図2に示す場合には、右目視点RPVに基づいて、右目用画像の作成に使用する複数の画像として、右目視点RPVに近い複数台(実施形態では、例えば3台)のカメラ11(カメラ11e、11f、11g)の撮影画像を選択する。また、画像選択部51bは、図2に示す場合には、左目視点LPVの位置に基づいて、左目用画像の作成に使用する複数の画像として、左目視点LPVに近い複数台(実施形態では、例えば3台)のカメラ11(カメラ11j、11k、11l)の撮影画像を選択する。

0102

ここで、各カメラ11の視線に対する対象の方向の角度(演者方向角度)は、基準位置P、カメラ11の視点、対象の位置との3点を結ぶ三角形の各辺の長さを特定し、例えば、余弦定理を用いて三角形の内角を特定し、三角形の内角に基づいて特定することができる。
図5を参照して説明する。カメラ11gについての例を示すと、基準位置Pと対象との距離L1と、基準位置Pとカメラ11gの視点との距離L2と、カメラ11gの位置と対象との距離L3とは、対象の位置座標、基準位置Pの位置座標、及び基準位置Pに対するカメラ11gの位置(カメラ情報42)に基づいて特定する。そして、距離L1、距離L2、及び距離L3の値を用いて、余弦定理により、基準位置Pとカメラ11gの視点と対象とを結ぶ三角形の内角を特定する。カメラ11gの演者方向角度Gは、180度から距離L2と距離L3とのなす角を減算することにより得られる。カメラ11の演者方向角度によると、このカメラ11の撮影画像に含まれる対象の画像の位置(画素の位置)を特定することができる。より具体的には、カメラ11の撮影画像の横方向の長さがカメラ11の画角に対応している。したがって、撮影画像に含まれる対象の横方向の位置は、距離L3に、画角の半分の角度と演者方向角度とのタンジェント値をそれぞれ乗算することにより求められる値の比率を用いて特定することができる。撮影画像に含まれる対象の横方向の位置は、演者9の3次元座標の高さを用いて特定することができる。

0103

図2に示す位置から図5に示す位置に対象(演者9)が移動したとき、画像選択部51bは、基準位置Pに基づいて、仮想的な観察者が対象の方向を向いたとした場合の仮想右目14Rの右目視点RPVと、仮想左目14Lの左目視点LPVの位置とを特定する。次いで、画像選択部51bは、右目視点RPVに基づいて、右目用画像の作成用画像として、右目視点RPVに近い複数台(実施形態では、例えば3台)のカメラ11(カメラ11f、11g、11h)の撮影画像を選択する。また、画像選択部51bは、左目視点LPVの位置に基づいて、左目用画像の作成用画像として、左目視点LPVに近い複数台(実施形態では、例えば3台)のカメラ11(カメラ11k、11l、11m)の撮影画像を選択する。このように、対象が移動したとき、対象の移動に合わせて移動する、右目視点RPVと左目視点LPVの位置とに近い複数台のカメラ11の撮影画像が、作成用画像として選択される。すなわち、画像選択部51bは、仮想的な観察者の視聴視点から近い位置にあるカメラ11の撮影画像を選択する。

0104

図6は、第1実施形態に係る表示領域と対応領域との関係を説明する概念図である。図7は、第1実施形態に係る対応領域の特定、対応領域の画像の変形、及び複数の変形画像の合成処理の一例を説明する図である。

0105

画像生成処理において、表示領域を決定し、視聴視点から表示領域に対応する対応領域を特定する処理(ステップS24、S25)について、図6及び図7を参照して説明する。

0106

座標指定部51cは、右目視点RPVから見た右目用画像として表示する表示領域DArpvを、対象(演者9)の3次元位置と、右目視点RPVとに基づいて、図6に示すように対象が領域の中心となるような長方形の領域に決定する。表示領域DArpvの大きさは、表示領域DArpvの右目視点RPVからの距離及び表示領域DArpvに表示する画角の少なくとも一方に基づいて決定される。表示領域DArpvの右目視点RPVからの距離及び表示領域DArpvに表示する画角は、予め設定されている値としてもよく、また、ユーザの指定に応じて変更するようにしてもよい。座標指定部51cは、左目視点LPVの画像として表示する表示領域DAlpvも表示領域DArpvの決定と同様の処理により決定する。

0107

座標指定部51cは、表示領域DArpvの3次元座標を、各カメラ11(カメラ11f、11g、11h)のスクリーン(SCf、SCg、SCh)上の座標に変換することにより、右目用画像に使用する複数の作成用画像における対応領域(DAf、DAg、DAh)を特定する。すなわち、座標指定部51cは、変形処理部53bによって対応領域の画像を表示領域の形状の画像に変形したとき、対象が中央に位置するように対応領域の座標を指定する。なお、3次元座標をスクリーン上の座標に変換する方法については公知であるのでここでは詳細な説明を省略する。また、座標指定部51cは、左目用画像に使用する複数の画像における対応領域についても同様に特定する。

0108

図6に示す表示領域DArpvに対応する対応領域DAf、DAg、DAhは、例えば、カメラ11f、11g、11hの撮影画像IMf、IMg、IMhに含まれる、図7の(1)に示す形状である。カメラ11の撮影画像に含まれる対応領域の大きさや形状は、表示領域DArvpとカメラ11のスクリーンとの位置関係等により決まる。

0109

図8は、第1実施形態に係る変形処理の一例を説明する図である。図9は、第1実施形態に係る画像の合成時の重みの決定処理の一例を説明する図である。

0110

画像生成処理において、対応領域の画像を表示領域用画像へ変形する処理(ステップS26)、変形画像を合成する際の重みを決定する処理(ステップS27)、及び変形画像を合成する処理(ステップS28)について、図7図8、及び図9を参照して説明する。

0111

変形指定部51eは、座標指定部51cが特定した各画像の対応領域(DAf、DAg、DAh)から表示領域DRrpvの画像(変形画像TFf、TFg、TFh(図7(2)))へ変形する際に必要な変形情報を決定する。

0112

対応領域から変形画像への変形は、例えば、図8に示すように行われる。ここで、対応領域DAhを表示領域DRrpv用の変形画像TFhに変形する場合を例に説明する。

0113

まず、対応領域DAhを複数の部分領域20a〜20pに分割する。部分領域20a〜20pは、対応領域DAhの垂直な左右の辺のそれぞれを所定数図8では、4)となるように分割して繋いだ線と、横方向の上下の辺のそれぞれを所定数(図8では、4)となるように分割して繋いだ線とによって区分される領域である。なお、分割する所定数については、これに限られず、より大きな数とすると、変形処理における処理量が増加するがより高精度な変形を行うことができる。

0114

そして、各部分領域20a〜20pのそれぞれを、変形画像TFhの対応する部分領域21a〜21pに変形する。部分領域21a〜21pは、変形画像TFhの上下方向と、左右方向とを対応領域DAhの部分領域と同様に同数に分割した領域である。なお、部分領域21a〜21pは、長方形形状となっている。

0115

変形指定部51eは、部分領域20aを部分領域21aに変形する。このとき、変形指定部51eは、部分領域20aを部分領域21aと同じ形状になるようにするための、部分領域20aの垂直方向、水平方向の変形率拡大率又は縮小率)を算出する。そして、変形指定部51eは、変形率に基づいて、部分領域21aの各画素の画素値を、部分領域20aの対応する画素の画素値に基づいて決定する。ここで、変形指定部51eが決定する変形情報は、部分領域20aの画素値に基づいて、部分領域21aの各画素にどのように設定していくかを示す情報となる。より具体的には、部分領域20aの横幅が、部分領域21aの横幅よりも短い場合には、部分領域20aの横方向の画素値により、部分領域21aの各画素の画素値がリニア線形)で変化するようにする情報(例えば、変形率)である。

0116

変形処理部53bは、変形情報に基づいて、画像取得部53aが取得した各画像における、対応領域について変形を行うことにより、左目用画像及び右目用画像として用いる表示領域に対応する変形画像(図7(2))を生成する。これにより、対象は、変形画像の中央に位置するようになる。

0117

重み指定部51dは、右目視点RPVと、右目用画像の作成用画像を撮影したカメラ11との位置関係に基づいて、各変形画像を合成する際の重みを決定する。例えば、カメラ11g、カメラ11h、カメラ11jの3つの撮影画像から得られた変形画像を合成する場合には、右目視点RPVに近いカメラ11ほど重みが大きくなるようにしてもよい。より具体的には、例えば、図9(a)に示すように、カメラ11hと、カメラ11iとが右目視点RPと等距離にある場合には、カメラ11hの撮影画像の変形画像に対する重みを0.5とし、カメラ11iの撮影画像の変形画像に対する重みを0.5とし、カメラ11gの撮影画像の変形画像に対する重みを0としてもよい。また、図9(b)に示すように、右目視点RPVがカメラ11hの視点に近い場合には、カメラ11hの撮影画像の変形画像に対する重みを0.6とし、カメラ11iの撮影画像の変形画像に対する重みを0.3とし、カメラ11gの撮影画像の変形画像に対する重みを0.1としてもよい。なお、重み指定部51dは、左目視点LPV側も同様な処理を実行する。このようにすると、右目視点RPV(又は左目視点LPV)に近い視点の画像の影響度の重みを大きくすることができるので、それぞれの視点から見た画像に近い右目用画像(又は左目用画像)を生成することができる。

0118

画像合成部53cは、右目用画像の作成用画像を用いて生成された変形画像に対して、重み指定部51dにより指定されたそれぞれの重みを乗算して合成(アルファブレンディング)する。これにより、画像合成部53cは、右目用画像を生成する(図7(3))。また、画像合成部53cは、左目用画像の作成用画像を用いて生成された複数の変形画像に対して、重み指定部51dにより指定されたそれぞれの重みを乗算して合成する。これにより、画像合成部53cは、左目用画像を生成する。

0119

上述のように、実施形態の画像処理装置5は、複数の視点から撮影した被写界深度の深い画像を用いて、選択した被写体(対象)が中心にくる複数の右目用の変形画像と複数の左目用の変形画像とを生成する。また、画像処理装置5は、仮想的な観察者の視点から各作成用画像を撮影したカメラまでの距離に応じて、生成した各変形画像に重み付けをする。そして、画像処理装置5は、生成した複数の右目用の変形画像と複数の左目用の変形画像とを、それぞれ重みに応じて合成(例えば、アルファブレンド)する。これにより、画像処理装置5は、対象に焦点が合い、他の被写体の焦点がずれた、視聴視点から見た立体画像を生成する。したがって、画像処理装置5は、ユーザが選択した対象のみが鮮明に見える立体画像を生成することができる。

0120

実施形態の画像処理装置5は、立体画像の中心に対象が表示されるようにしていたが、ユーザが指定した位置に対象が表示されるようにしてもよい。この場合には、画像処理装置5は、複数の視点から撮影した被写界深度の深い画像を用いて、選択した被写体(対象)がユーザの指定の位置にくる右目用の変形画像と左目用の変形画像とを生成する。また、画像処理装置5は、仮想的な観察者の視点から各作成用画像を撮影したカメラまでの距離に応じて、生成した各変形画像に重み付けをする。そして、画像処理装置5は、生成した右目用の変形画像と左目用の変形画像とを、それぞれ重みに応じて合成する。これにより、画像処理装置5は、ユーザが指定した位置に表示された対象に焦点が合い、他の被写体の焦点がずれた、視聴視点から見た立体画像を生成する。したがって、画像処理装置5は、ユーザが指定した位置に表示された対象のみが鮮明に見える立体画像を生成することができる。

0121

図10は、第1実施形態に係る画像処理装置を用いて生成された画像を示す図である。

0122

図10を参照して、実施形態の画像処理装置5による画像の生成処理と、生成処理によって得られる画像とについて、3つの画像を合成する処理を一例として説明する。図10(a)は、カメラ11の仮想的な観察者の視点から近い3つのカメラ(例えば、カメラ11f、、11g、11g)により撮影された3つの画像に対応する変形画像である。図10(b)は、画像処理装置5によって合成された画像である。

0123

カメラアレイ1に含まれる各カメラ11は、被写界深度が深いので、撮影された画像を変形させた変形画像(TFf、TFg、TFh)は、図10(a)に示すように、被写体までの距離によらず、撮影画像全体に焦点が合う。画像処理装置5は、ユーザから選択された被写体(対象T)の選択を受け付ける。また、画像処理装置5は、図7を用いて説明したように、仮想的な観察者の視点から近い3つの撮影画像(IMf、IMg、IMh)を選択し、選択した各撮影画像を変形して対象(Ta、Tb、Tc)の位置を中央の同じ位置にした表示領域に対応する3つの変形画像(TFf、TFg、TFh)を生成する。そして、画像処理装置5は、仮想的な観察者の視点から近いカメラ11で撮影した撮影画像から得られた変形画像ほど大きい重みを付けて3つの変形画像を合成する。画像処理装置5は、同様の処理をすることにより、左目用画像も生成する。

0124

以上のように、画像処理装置5は、対象の位置が同じ位置にあり、他の被写体の位置は各カメラ11の視点に応じてずれた変形画像を合成することにより、視聴視点から見た画像を生成する。これにより、視聴視点から見た画像は、図10(b)に示すように、対象に焦点があったような状態(対象が鮮明な状態)であり、他の被写体に焦点があっていないような状態(他の被写体がぼけた状態)の画像になる。したがって、画像処理装置5によって生成される視聴視点からの立体画像は、対象に焦点が合ったようになり、他の被写体に焦点があっていないような画像、すなわち、視聴視点から立体画像を観た場合に得られるような状態の画像になる。

0125

第2実施形態に係る画像処理システムについて説明する。

0126

図11は、第2実施形態に係る画像処理システムの一実施例の全体構成図である。なお、第2実施形態においては、第1実施形態に係る画像処理システムと同様な部分には、同一の符号を付す。

0127

第2実施形態に係る画像処理システム101において、画像処理装置5Aは、第1実施形態に係る画像処理装置5において、対象受付部51aに代えて対象受付部51fを備える。対象受付部51fは、対象方向受付部及び対象決定部の一例である。また、表示装置7Aは、第1実施形態に係る表示装置7に対してさらに向き検出部71を備える。

0128

表示装置7Aは、例えば、ユーザの頭部に装着するヘッドマウントディスプレイである。向き検出部71は、表示装置7Aを装着したユーザの向き(例えば、顔の正面)を検出し、ユーザの向きの情報を画像処理装置5Aに通知する。

0129

画像処理装置5Aの対象受付部51fは、対象受付部51aの機能に加えて、向き検出部71により検出されたユーザの向きの情報(ユーザ向き情報)に基づいて、対象を特定する。具体的には、対象受付部51aは、ユーザ向き情報に基づいて、舞台8における注視している方向を特定する。また、対象受付部51fは、演者情報43と、特定した方向とに基づいて、特定した方向又は特定した方向に近い位置にいる演者9を対象として特定する。なお、注目する演者9を決定した以降の処理については、第1実施形態と同様である。

0130

第2実施形態に係る画像処理システム101においては、表示装置7Aを装着したユーザが向きを変えることにより、容易且つ適切に注目する演者9を変更して、その演者9に注目した画像を適切に表示させることができる。

0131

本実施形態に係るカメラアレイの第1変形例について説明する。

0132

図12は、第1変形例に係るカメラアレイの構成を示す図である。

0133

カメラアレイ1Aは、円弧状の中心近傍に演者9を配置させて撮影する装置であり、円弧状に、円の中心に向けて複数のカメラ11(11a〜11p)を配置させている。なお、円弧状だけではなく、全円状にカメラ11を配置させるようにしてもよい。このようなカメラアレイ1Aにより撮影された複数の視点の画像に対しても上記同様な処理により、演者9を中心にしたいろいろな位置からの演者9の立体画像を生成することができる。

0134

図13は、第2変形例に係るカメラアレイの構成を示す図である。
本実施形態に係るカメラアレイの第2変形例について説明する。

0135

カメラアレイ1Bは、直線状に間隔をあけて、演者9側に向けて複数のカメラ11を配置させた装置である。このようなカメラアレイ1Bにより撮影された複数の視点の画像に対しても上記同様な処理により、演者9に対して、カメラアレイ1Bのカメラ11を配置する直線方向のいろいろな位置の視点からの演者9の立体画像を生成することができる。なお、カメラアレイ1Bを用いる場合には、より立体感を強調する場合には、右目視点RPVと、左目視点LPVとする位置との間隔を広くするようにし、逆に立体感を抑える場合には、右目視点RPVと、左目視点LPVとする位置との間隔を狭くするようにしてもよい。

0136

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

0137

例えば、上記実施形態では、撮影処理装置3から、画像処理装置5に対して、記録媒体4を介して、画像情報41、カメラ情報42、及び演者情報43を受け渡すようにしていた。本発明はこれに限られず、画像情報41、カメラ情報42、及び演者情報43を、ネットワークを介して送信するようにしてもよい。

0138

また、上記実施形態では、カメラ2により、舞台8平面(X−Y平面)における演者9の位置(X座標Y座標)を特定し、舞台8のワールド座標系の高さ方向(Z方向)の座標に基づいて演者9の高さ(Z座標)を特定することにより、演者9のワールド座標系の3次元座標を特定するようにしていた。本発明はこれに限られず、例えば、舞台8が平面上ではなく、段差等が形成されている場合には、舞台8の形状に基づく3次元座標を予め用意しておき、カメラ2により特定された演者9のX、Y座標と、舞台8の3次元座標とに基づいて、演者9の位置における舞台8の高さ(Z座標)を特定する。そして、本発明では、特定した舞台8の高さに基づいて、演者9のZ座標を特定することにより、演者9のワールド座標系の3次元座標を特定するようにしてもよい。

0139

また、上記実施形態では、カメラ2により演者9の3次元座標を特定するようにしていたが。本発明はこれに限られず、複数のカメラによって演者9の3次元座標を特定するようにしてもよく、要は、演者9の3次元座標を特定することができる構成であればよい。

0140

また、上記実施形態では、演者9の位置情報として、ワールド座標系の3次元座標を用いていたが、本発明はこれに限られず、カメラアレイ1の各カメラ11の位置及び向きと演者9との相対的な位置関係が把握できる情報であればよく、例えば、演者9の位置情報を、カメラアレイ1側のローカル座標系での3次元座標としてもよい。

0141

また、上記実施形態では、画像選択部51bは、右目視点RPVに近い複数台のカメラ11の撮影画像と、左目視点LPVに近い複数台のカメラ11の撮影画像とを選択するようにしていた。本発明はこれに限られず、例えば、基準位置Pと演者9とを結ぶ演者方向線から近い複数台のカメラ11の撮影画像を選択するようにしてもよい。画像選択部51bは、例えば、演者方向線の右側の演者方向線に近いほうから複数台のカメラ11(演者方向線上のカメラ11を含んでもよい)の画像を右目用画像の作成用画像として選択してもよい。また、画像選択部51bは、例えば、演者方向線の左側の演者方向線に近いほうから複数台のカメラ11(演者方向線上のカメラ11を含んでもよい)の画像を左目用画像の作成用画像として選択してもよい。

0142

また、上記実施形態では、重み指定部51dは、右目視点RPV(左目視点LPV)から近いカメラ11の撮影画像を用いて生成される変形画像の重みを、大きくするようにしていた。本発明はこれに限られず、例えば、演者方向線により近いカメラ11の撮影画像を用いて生成される変形画像についての重みほど大きくないようにしてもよい。このようにすると、演者9によりピントの合った画像の影響が大きくなるので、より演者9を鮮明にし、且つその周りぼやかした画像を生成することができる。

0143

また、上記第2実施形態では、ユーザの向き、又はその向きに近い演者9を注目する対象としていた。本発明はこれに限られず、ユーザの向きの所定の距離(例えば、舞台8の所定の位置までの距離等)の部分を注目対象として、その注目対象の画像を生成するようにしてもよい。このようにした場合には、記録媒体4に演者9の位置情報を格納しておかなくてもよい。

0144

また、上記実施形態において、画像処理装置5においてCPU51がプログラムを実行することにより構成していた機能部の少なくとも一部を、専用のハードウェア回路により実行するようにしてもよく、また、画像処理装置5において、回路が実行していた処理を、CPU51がプログラムを実行することにより構成される機能部により実行するようにしてもよい。

0145

1,1A,1B…カメラアレイ、2…カメラ、3…撮影処理装置、4…記録媒体、5…画像処理装置、6…選択装置、7…表示装置、11…カメラ、51…CPU、51a…対象受付部、51b…画像選択部、51c…座標指定部、51d…重み指定部、51e…変形指定部、52…メモリ、53…描画回路、54…復号回路、55…表示回路、100,101…画像処理システム

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ