図面 (/)

技術 制御装置、制御方法、およびプログラム

出願人 キヤノン株式会社
発明者 大野剛範
出願日 2015年9月1日 (4年5ヶ月経過) 出願番号 2015-172117
公開日 2017年3月9日 (2年11ヶ月経過) 公開番号 2017-050684
状態 特許登録済
技術分野 写真撮影方法及び装置 立体、パノラマ写真 スタジオ装置
主要キーワード 配置向き 通常倍率 並行方向 周辺カメラ 撮像不可 撮像制御ステップ AE処理 n領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年3月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

複数のカメラで構成される全方位カメラなどにおいて、複数のカメラの画角を制御する制御装置制御方法、およびプログラムを提供すること。

解決手段

本発明に係る制御装置は、中心位置からそれぞれ異なる方位に向けて配置される複数のカメラの画角を制御する。制御装置は、複数のカメラのうち少なくとも1つのカメラに対応する画角を第1の画角に変更する変更手段と、第1の画角を用いて、複数のカメラのうち、少なくとも1つのカメラとは異なる他のカメラに対応する第2の画角を導出する導出手段と、複数のカメラを、第1の画角および第2の画角を用いて撮像させる撮像制御手段とを備える。

概要

背景

複数のカメラ撮像した画像を合成する手法が従来技術として知られている。さらに、広視野角画像に含まれる被写体の一部を高精細に撮像する手法として、複数のカメラが広視野角に撮像しつつ、複数のカメラとは異なる別個のカメラが、広視野角画像に含まれる被写体の一部を高精細に撮像する手法も知られている(特許文献1)。

概要

複数のカメラで構成される全方位カメラなどにおいて、複数のカメラの画角を制御する制御装置制御方法、およびプログラムを提供すること。本発明に係る制御装置は、中心位置からそれぞれ異なる方位に向けて配置される複数のカメラの画角を制御する。制御装置は、複数のカメラのうち少なくとも1つのカメラに対応する画角を第1の画角に変更する変更手段と、第1の画角を用いて、複数のカメラのうち、少なくとも1つのカメラとは異なる他のカメラに対応する第2の画角を導出する導出手段と、複数のカメラを、第1の画角および第2の画角を用いて撮像させる撮像制御手段とを備える。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

中心位置からそれぞれ異なる方位に向けて配置される複数のカメラ画角を制御する制御装置において、前記複数のカメラのうち少なくとも1つのカメラに対応する画角を第1の画角に変更する変更手段と、前記第1の画角を用いて、前記複数のカメラのうち、前記少なくとも1つのカメラとは異なる他のカメラに対応する第2の画角を導出する導出手段と、前記複数のカメラを、前記第1の画角および前記第2の画角を用いて撮像させる撮像制御手段とを備えることを特徴とする制御装置。

請求項2

前記第2の画角は、前記複数のカメラのうち前記他のカメラで設定可能な最大画角であることを特徴とする請求項1に記載の制御装置。

請求項3

前記複数のカメラそれぞれの位置および姿勢を特定する位置姿勢情報を保持する保持手段と、前記少なくとも1つの前記カメラは、注目する被写体を捕捉するメインカメラであり、前記メインカメラから前記被写体までの距離を取得する距離取得手段とをさらに備え、前記導出手段は、前記メインカメラの前記第1の画角と、前記保持手段から読み出した前記位置姿勢情報と、前記メインカメラから前記被写体までの前記距離とに基づいて、前記メインカメラに隣接する従属カメラの前記第2の画角を導出することを特徴とする請求項1に記載の制御装置。

請求項4

前記導出手段は、前記メインカメラが前記第1の画角で捕捉する前記被写体と、前記従属カメラが前記第2の画角で捕捉する前記被写体とが、所定の範囲で重畳するように前記第2の画角を導出することを特徴とする請求項3に記載の制御装置。

請求項5

前記メインカメラと前記被写体との相対位置を取得する位置取得手段と、前記メインカメラが捕捉していた前記被写体が、前記メインカメラが前記第1の画角で捕捉可能な範囲を超えた場合、前記メインカメラに隣接していて且つ前記被写体に最も近い位置にある前記従属カメラを、前記メインカメラに変更する変更手段とをさらに備え、前記導出手段は、前記保持手段から読み出した前記位置姿勢情報と、変更された前記メインカメラと前記被写体との前記相対位置とに基づいて、変更された前記メインカメラの前記第1の画角を導出し、変更された前記メインカメラの前記第1の画角と、前記保持手段から読み出した前記位置姿勢情報と、変更された前記メインカメラから前記被写体までの前記距離とに基づいて、変更された前記メインカメラに隣接する前記従属カメラの前記第2の画角を導出することを特徴とする請求項3または4に記載の制御装置。

請求項6

前記距離取得手段は、複数の前記メインカメラから、複数の前記メインカメラが捕捉するそれぞれの前記被写体までの複数の前記距離を取得し、取得した複数の前記距離の中から最短距離を選択する選択手段をさらに備え、前記導出手段は、前記被写体を前記最短距離で捕捉する前記メインカメラの前記第1の画角を、他の前記メインカメラの前記第1の画角に設定し、前記メインカメラの前記第1の画角と、前記保持手段から読み出した前記位置姿勢情報と、選択した前記最短距離とに基づいて、前記従属カメラの前記第2の画角を導出することを特徴とする請求項3または4に記載の制御装置。

請求項7

決定した前記第1の画角で撮像された1または複数の前記画像と、導出した前記第2の画角で撮像された1または複数の前記画像とを取得し、取得した前記画像群から広視野角画像を生成する生成手段を備えたことを特徴とする請求項1から6のいずれか1項に記載の制御装置。

請求項8

前記生成手段は、導出した前記第2の画角で撮像された1または複数の前記画像を、前記第1の画角と前記第2の画角とによって特定される拡大縮小率に応じて変換する変換手段と、前記第1の画角で撮像された1または複数の前記画像と、変換された1または複数の前記画像とを合成する合成手段とをさらに備えたことを特徴とする請求項7に記載の制御装置。

請求項9

請求項1から請求項8のいずれか1項に記載の制御装置から前記画角を受信し、受信した前記画角に基づいて光学部の画角を制御することを特徴とするカメラ。

請求項10

中心位置からそれぞれ異なる方位に向けて配置される複数のカメラの画角を制御する制御方法において、前記複数のカメラのうち少なくとも1つのカメラに対応する画角を第1の画角に変更する変更ステップと、前記第1の画角を用いて、前記複数のカメラのうち、前記少なくとも1つのカメラとは異なる他のカメラに対応する第2の画角を導出する導出ステップと、前記複数のカメラを、前記第1の画角および前記第2の画角を用いて撮像させる撮像制御ステップとを備えることを特徴とする制御方法。

請求項11

コンピュータを、請求項1乃至請求項8のいずれか1項に記載の制御装置として機能させるためのプログラム

技術分野

0001

本発明は、複数のカメラで構成される全方位カメラなどにおいて、複数のカメラの画角を制御する制御装置制御方法、およびプログラムに関する。

背景技術

0002

複数のカメラが撮像した画像を合成する手法が従来技術として知られている。さらに、広視野角画像に含まれる被写体の一部を高精細に撮像する手法として、複数のカメラが広視野角に撮像しつつ、複数のカメラとは異なる別個のカメラが、広視野角画像に含まれる被写体の一部を高精細に撮像する手法も知られている(特許文献1)。

先行技術

0003

特開2010−213249号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1に記載の撮像装置は、広視野角画像を撮像する複数のカメラと、被写体の一部を高精度に撮像するカメラとが別個に設けられていたため、高精細に撮像された被写体の一部を含む広視野角画像を取得することができなかった。さらに、広視野角画像を撮像する複数のカメラのうち一部のカメラが、光学ズームによって被写体を高精細に撮像しようとすると、当該一部のカメラの画角が狭まり、撮像できない撮像不可範囲が発生してしまう場合があった。

課題を解決するための手段

0005

本発明に係る制御装置は、中心位置からそれぞれ異なる方位に向けて配置される複数のカメラの画角を制御する制御装置において、前記複数のカメラのうち少なくとも1つのカメラに対応する画角を第1の画角に変更する変更手段と、前記第1の画角を用いて、前記複数のカメラのうち、前記少なくとも1つのカメラとは異なる他のカメラに対応する第2の画角を導出する導出手段と、前記複数のカメラを、前記第1の画角および前記第2の画角を用いて撮像させる撮像制御手段とを備えることを特徴とする。

発明の効果

0006

本発明の制御装置によれば、撮像不可範囲の発生を抑制しつつ、複数のカメラの画角を制御することができる。

図面の簡単な説明

0007

実施形態における全方位カメラの構成を示す模式図である。
従来技術における全方位カメラの画角調整を示す模式図である。
実施形態におけるカメラおよびPCの内部構成を示すブロック図である。
実施形態における画角導出処理の内容を示すフローチャートである。
実施形態における画像変換処理の内容を示すフローチャートである。
実施形態における画像合成処理の内容を示すフローチャートである。
実施形態における2つの撮像画像の一例を示す模式図である。
実施形態における2つの合成画像の一例を示す模式図である。
実施形態においる重み係数αの変化の一例を示す模式図である。
実施形態における合成画像の具体例を示す模式図である。
実施形態2におけるカメラおよびPCの内部構成を示すブロック図である。
実施形態2における画角導出処理の内容を示すフローチャートである。
実施形態2における被写体とカメラとの位置関係の一例を示す模式図である。
実施形態3における画角導出処理の内容を示すフローチャートである。
実施形態3における被写体とカメラとの位置関係の一例を示す模式図である。
実施形態4における画角導出処理の内容を示すフローチャートである。
実施形態4における被写体とカメラとの位置関係の一例を示す模式図である。
実施形態4における被写体とカメラとの位置関係の一例を示す模式図である。

実施例

0008

以下、本発明の実施形態について、図面を参照して説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

0009

[実施形態1]
図1は、本実施形態における全方位カメラ1の構成を示す模式図である。本実施形態における全方位カメラ1は、複数のカメラ100と、PC200とによって構成され、複数のカメラ100における同じ中心位置からそれぞれ異なる方位に向けて配置される。複数のカメラ100と、PC200とが協働して実行する処理内容について以下説明する。本実施形態において、全方位カメラ1は、全方位カメラ1を構成する複数のカメラ100が同期して撮像を行い、PC200が撮像された画像に対して画像処理を行うことにより、1枚の広視野角画像を生成する。ここで、複数のカメラ100のうち、注目する被写体を捕捉しているカメラをメインカメラと記し、メインカメラ以外のカメラを従属カメラと記す。また、複数のカメラ100を水平方向だけではなく、垂直方向にも拡張することで、天球状の広視野角画像を生成することもできるが、本実施形態では説明の簡略化のため省略し、水平方向360度のパノラマ画像を広視野角画像と呼称する。

0010

図2は、従来技術における全方位カメラの画角調整を示す模式図である。以下、図2を参照して高精細に撮像された被写体の一部を含む広視野角画像を取得するために、必要な画角制御について検討する。図2(b)は、全方位カメラを構成するカメラ100が、光学ズームによりカメラ100の画角が狭まった例を示す模式図である。カメラ100は、通常倍率で被写体を撮像している状態(図2(a))から、光学ズームによって被写体を高精細に撮像する(図2(b))。このとき、カメラ100の画角が狭まるため、カメラ100の撮像範囲と、カメラ100に隣接するカメラ100’の撮像範囲とが、重畳しない撮像不可範囲が生じてしまう。このように、被写体を高精細に撮像しようとすると、被写体を撮像するカメラの画角が狭まり、複数のカメラによって撮像された画像から広視野角画像を生成できなくなる場合がある。

0011

<カメラ100およびPC200の内部構成>
図3は、本実施形態におけるカメラ100およびPC200の内部構成を示すブロック図である。まず、カメラ100の内部構成について図3を参照して説明する。図1で示された通り、本実施形態のカメラは複数台から構成され、特に説明が無い限り各カメラ100は同一構成であるものとする。

0012

光学部101は、被写体からの光をセンサ102に集光するためのレンズと、レンズを移動させてフォーカス合わせズーミングを行うための駆動装置と、シャッタ機構と、アイリス機構などとを具備している。このような光学部101を構成する各機構は、制御部107からの制御信号に基づいて駆動される。センサ102は、タイミング信号発生部103から出力されるタイミング信号応じて駆動し、被写体からの入射光電気信号に変換する。タイミング信号発生部103は、制御部107の制御下でタイミング信号を出力する。A/D変換回路104は、センサ102から出力された電気信号に対して、A/D変換を施しデジタル画像信号を出力する。画像処理回路105は、A/D変換回路104から出力された画像信号に対して、デモザイキング処理ホワイトバランス処理色補正処理AF処理、AE処理などのカメラ信号処理のすべてまたは一部の処理を施す。エンコーダデコーダ106は、画像処理回路105から出力された画像信号に対して、JPEG方式等の静止画動画データフォーマット圧縮符号化処理を施す。また、制御部107から供給された静止画・動画の符号化データに対して伸長復号化処理を施す。

0013

制御部107は、例えば、CPU、ROM、RAMなどから構成されるマイクロコントローラであり、ROMに記憶されたプログラムが実行されることにより、カメラ100の各部を統括制御する。入力部108は、例えば、シャッタレリーズボタンなどの各種操作インターフェースにより構成され、ユーザによる入力操作に応じた制御信号を制御部107に出力する。グラフィックI/F109は、制御部107から供給された画像信号から、表示部110に表示させるための画像信号を生成し、生成した画像信号を表示部110に供給する。表示部110は、例えば、液晶ディスプレイであり、グラフィックI/F109から供給された画像信号を画像に変換して表示する。たとえば、表示部110は、撮像前のカメラスルー画像メモリカード等に記録された画像などを表示する。R/W111には、カメラ100の撮像により生成された画像データなどが記録される記録媒体として、可搬型フラッシュメモリからなるメモリカードが着脱可能に接続される。R/W111は、制御部107から供給されたデータや、記憶部112から読み出したデータをメモリカードに書き込み、また、メモリカードから読み出したデータを制御部107に出力する。なお、メモリカード以外の記録媒体として、他に、書き込み可能光ディスクやHDDなどが用いられてもよい。出力I/F113は、例えばUSB、HDMI登録商標)、HD−SDIなどの接続端子であり、メモリカードに記録された画像データをPCなどの外部機器に送信する。

0014

次に、図3を参照して、PC200の内部構成について説明する。図1で示された通り、本実施形態のPC200は、複数のカメラ100と相互に通信可能に接続されている。このようなPC200は、PC200と通信可能に接続された複数のカメラ100を制御する制御装置を構成する。

0015

画角導出部201は、複数のカメラ100のうち、少なくとも1つのカメラ100の画角が変更されることに応じて、その他のカメラ100についての画角導出処理を行う。具体的な処理方法については後述する。画像取得部202は、複数のカメラ100から撮像画像を取得し、RAM206などの記憶領域に一時的に格納する。画像変換部203は、画角導出部201から供給される、複数のカメラ100それぞれに対応する画角と、画像取得部202によって格納された撮像画像とに基づいて、撮像画像の変換処理を行う。具体的な処理方法については後述する。画像合成部204は、画像変換部203から供給される、変換処理後の撮像画像を合成し、広視野角画像を生成する。広視野角画像の生成の具体的な処理方法については後述する。

0016

CPU205は、以下に述べる各部を統括的に制御する。ROM206は、CPU205で実行される制御プログラムやテーブルなどを格納する領域である。RAM207は、CPU205のメインメモリおよびワークエリアとして機能する。バス208は、各種データのデータ転送経路であり、例えば画像合成部204によって処理された画像データはこのバス208を介してPC200と外部接続される所定の表示部へ送信される。入力部209は、シャッタレリーズボタンや、各種操作指示の入力を受け付けるためのボタンタッチパネルなどにより構成され、ユーザがこれら入力部209のボタンなどを操作することにより、PC200からカメラ100に操作を指示することができる。

0017

<全方位カメラ1における撮像の基本動作
ここで、上記説明した全方位カメラ1における撮像の基本動作について説明する。全方位カメラ1は、PC200の入力部209を介して、カメラ100の光学部101の画角の調整を受け付ける。これにより、ユーザは、撮像前に被写体がより高精細に撮像できるよう光学部101の画角を変更することができる。なお、カメラ100の光学部101の調整は、カメラ100の入力部108を介して受け付けてもよい。

0018

次に、全方位カメラ1は、PC200の入力部209を介して、複数のカメラの中から、メインカメラの指定を受け付ける。ユーザは、メインカメラの指定を受け付けた状態で、PC200の入力部209のシャッタレリーズボタンを半押しする。PC200の入力部209のシャッタリレーズボタンが半押しされることに応じて、各カメラの制御部107は、現在のメインカメラの画角をPC200に送信する。

0019

次に、各カメラの制御部107は、PC200で導出された画角を受信し、光学部101がPC200から受信した画角となるように、光学部101を制御する。各カメラの制御部107による具体的な画角制御の処理方法については後述する。各カメラの制御部107によって、光学部101の画角が変更制御された後、ユーザによってシャッタレリーズボタンが押下されることに応じて、各カメラの制御部107は、撮像画像をPC200へ送信する。

0020

<画角導出方法
図4は、本実施形態において、従属カメラの画角を導出する処理内容を示すフローチャートである。図4のフローチャートを参照し、被写体を高精細で撮像しつつ広視野角画像を生成するために、PC200が従属カメラの画角を導出する処理内容について説明する。なお、図4に示されるフローチャートによる処理は、ROM206に格納されたプログラムコードがRAM207に展開され、CPU205によって実行される。

0021

S401において、画角導出部201は、複数のカメラ100を構成する全カメラから各カメラのIDであるカメラIDと、各カメラに対応する画角とを、カメラIDと画角が対応付けられた形式で取得する。

0022

S402において、画角導出部201は、注目する被写体を捕捉しているメインカメラのカメラIDを取得する。具体的には、画角導出部201は、PC200の入力部209を介して、ユーザから指定を受け付けたカメラのカメラIDを、メインカメラのカメラIDとして取得する。

0023

S403において、画角導出部201は、従属カメラの画角を導出する。本実施形態において、画角導出部201は、従属カメラのカメラIDに対応する画角を、当該カメラ100で設定可能な最大画角に設定する。そして、画角導出部201は、各従属カメラのカメラIDで特定されるカメラ100に対して、対応する画角を出力する。このように、各従属カメラのカメラIDで特定されるカメラ100に対して、対応する画角を出力する画角導出部201は、カメラ100を対応する画角で撮像させる撮像制御手段であるといえる。なお、本実施形態において、メインカメラの指定をユーザから受け付ける実施例を説明したが(S402)、これに限るものではない。例えば、S401で取得された各カメラの画角のうち、最も狭い画角のカメラをメインカメラと自動的に判定することにより、メインカメラを指定する実施例としてもよい。

0024

<カメラ100の画角制御処理>
カメラ100の制御部107は、PC200からカメラIDに対応する画角を受信すると、受信した画角と同じになるように光学部101を制御する。

0025

<撮像画像の変換処理>
図5は、本実施形態において、複数のカメラ100のうち、画角が異なるカメラによって撮像された撮像画像に対する変換処理の内容を示すフローチャートである。以下、図5のフローチャートを参照して、画角が異なるカメラによって撮像された撮像画像に対する変換処理の内容について説明する。なお、図5に示されるフローチャートによる処理は、ROM206に格納されたプログラムコードがRAM207に展開され、CPU205によって実行される。

0026

S501において、画像取得部202は、全方位カメラ1を構成する全カメラから、各カメラIDと、各カメラIDに対応するカメラによって撮像された撮像画像とを取得する。

0027

S502において、画像変換部203は、画角導出部201から、各カメラIDと、各カメラIDによって特定される画角とを取得する。

0028

S503において、画像変換部203は、あるカメラIDに対応するカメラの画角θと、メインカメラの画角θmとを比較判定する。画角θとメインカメラの画角θmとが等しい場合(S503:YES)、S505に移行する。一方、画角θとメインカメラの画角θmとが等しくない場合(S503:NO)、S504に移行する。

0029

S504において、画像変換部203は、カメラIDに対応する撮像画像に対して変換処理を施す。本実施形態において、画像変換部203は、カメラIDに対応する撮像画像に対して拡大縮小処理を施す。拡大縮小処理における拡大縮小率Sは、下記の式から算出することができる。

0030

0031

なお、撮像画像に対する拡大縮小処理の方法は、線形補間方式、ニアレストネイバー方式など、公知の方法で良い。

0032

S505において、画像変換部203は、全てのカメラIDに対応する画角と、メインカメラの画角θmとの比較判定を行ったかを判定する。未処理のカメラIDがある場合(S505:NO)、次のカメラIDに対応する画角の比較判定を行うため、S503に移行する。全てのカメラIDに対応する画角の比較判定処理が終了している場合(S505:YES)、図5のフローチャート処理を終了する。

0033

<画像合成処理>
図6は、本実施形態において、S504で拡大縮小処理が施された複数の画像に対する合成処理の内容を示すフローチャートである。以下、図6のフローチャートを参照して、S504で変換処理が施された複数の画像に対する合成処理の内容について説明する。なお、図6に示されるフローチャートによる処理は、ROM206に格納されたプログラムコードがRAM207に展開され、CPU205によって実行される。

0034

S601において、画像合成部204は、画像変換部203で拡大縮小処理が施された全画像に対して、固有の画像IDを割り振る。例えば、画像がN枚あるとすると、I1、I2、I3、・・・、INというように、各画像が識別可能な画像IDが割り振られる。

0035

S602において、画像合成部204は、S601で画像IDを付与した画像群から2つの画像を選択する。ここで、S602で選択される2つの画像の一例を、図7の画像Inと画像Imに示す。

0036

S603において、画像合成部204は、S602で選択した2つの画像InとImとの画素数の大小を判定する。本実施形態では、図7に示される通り、画像Inの方が画像Imよりも大きい画素数を有しているものとして説明する。

0037

S604において、画像合成部204は、画像Inと画像Imとの間でパターンマッチング処理を行う。ここで行うパターンマッチング処理は公知の手法を適用することができる。

0038

0039

例えば、上記数式で表されるように、まずある座標(x,y)における画像の類似度RSSD(x,y)を算出する。ここでu,vは画像Im内の座標を示し、hn,wnは画像Inの垂直画素数と、水平画素数とをそれぞれ示す。同様にhm,wmは画像Imの垂直画素数と、水平画素数とをそれぞれ示す。画像合成部204は、画像Inの座標(x,y)を変えて画像Imとの類似領域を画像In全体にわたって探索し、最小の値を類似度RSSDとして算出する。また、探索の結果、最小の値に対応する座標を(xp,yp)としてRAM206に格納する。

0040

S605において、画像合成部204は、画像Inと画像Imとがマッチングする領域が重なるように合成処理を行う。ここで、S605で画像Inと画像Imとが合成された合成画像の一例を図8に示す。本実施形態において、例えば、図8における画像Inと画像Imとのマッチングに際して、画像合成部204は下記の式を用いてS605の合成処理を行うことができる。

0041

0042

ここでI’は画像Inと画像Imとが合成された後の画像を、αは0から1までの範囲内における重み係数を示す。図8破線上における重み係数αの変化を図9に示す。

0043

前述の通り、画像Imは画像Inと比較してより高精細な画像である。図9に示される通り、重み係数αは、画像Imの領域において合成画像I’が高精細な画像となるように変化する。すなわち、重み係数αは、画像In領域内においてα=1となり、画像Inと画像Imとが重なる所定領域においてαが漸減し、画像Im領域内においてα=0となるように変化する。

0044

S606において、画像合成部204は、S605で合成した合成画像I’に新たな画像IDを付与する。例えば、画像IDの最大がNのとき、合成画像I’はIN+1などの画像IDが付与される。

0045

S607において、画像合成部204は、全ての画像が合成され、1枚の合成画像が生成されているかを判定する。1枚の合成画像が生成されている場合(S607:Yes)、S605で合成された合成画像を表示部等に出力し、図6のフローチャートの処理を終了する。1枚の合成画像が生成されていない場合(S607:No)、再びS602に移行し、前回S602で選択した2つの画像IDと異なる画像IDを選択し、再びS603以降の処理を実行する。

0046

図10(a)は、本実施形態において、全方位カメラ1を構成する全カメラの画角が等しいときに生成される合成画像の具体例を示す模式図である。図10(a)において、3つの撮像画像から生成される合成画像1010が示され、画角1012はメインカメラの画角を、画角1011、1013はそれぞれ従属カメラの画角を示している。全カメラの画角が等しいとき、全撮像画像はそれぞれ等しい画素数によって構成され、本例ではそれぞれ等しい画素数の3つの画像が合成され、合成画像1010が生成される。

0047

図10(b)は、本実施形態において、メインカメラが被写体をズームし、被写体を高精細に撮像した場合に生成される合成画像の具体例を示す模式図である。図10(b)において、3つの撮像画像から生成される合成画像1020が示され、画角1022はメインカメラの画角を、画角1021、1023はそれぞれ従属カメラの画角を示している。前述の説明の通り、全方位カメラ1を構成する複数のカメラ100のうち、あるカメラが被写体をズームすると、注目する被写体を撮像するメインカメラの画角が狭まる一方で、従属カメラの画角が最大化する。次いで、従属カメラの撮像画像に対して所定の拡大率が適用される(S504)。その結果、高解像度で画素数の少ない1つの撮像画像(Im)と、低解像度で画素数の多い2つの撮像画像(In)とが合成され、図10(b)に示される合成画像1020が生成される。

0048

また、本実施形態では、高精細で撮像された撮像画像の領域がより精細となるように合成処理が行われたが、単純に2つの画像の画素値の平均に基づいて合成画像を生成してもよい。さらに、前述した通り、本実施形態では水平360度のパノラマ画像を広視野角画像としているが、水平方向のみならず垂直方向にも図4図6の画像処理を拡張することにより、天球上の広視野角画像を生成することもできる。

0049

以上説明した通り、実施形態における全方位カメラ1は、複数のカメラの画角を制御することにより、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を取得することができる。

0050

[実施形態2]
実施形態1では、メインカメラが被写体をズームした場合に、従属カメラの画角が最大となるように制御される実施例について説明した。しかし、従属カメラの画角が過度に大きくなり、生成される広視野角画像において、メインカメラで撮像された部分と周辺カメラで撮像された部分とで精細さに大きな差が生じてしまう場合がある。そこで、本実施形態では、メインカメラから被写体までの距離に応じて、従属カメラの画角を制御することにより、被写体を高精細に撮像しつつ、広視野角画像全体としても高精細な画像を生成する方法について説明する。なお、実施形態1と共通する部分については説明を簡略化ないし省略し、本実施形態に特有な点を中心に以下説明する。

0051

<カメラ100およびPC200の内部構成>
図11は、本実施形態におけるカメラ100およびPC200の内部構成を示すブロック図である。光学部101から入力部209までの構成は実施形態1と同一であるため説明を省略する。

0052

位置姿勢情報保持部210は、全方位カメラ1を構成する複数のカメラ100それぞれが、どのような位置および姿勢で全方位カメラ1に配置されているかを特定する位置姿勢情報を保持する。本実施形態において、位置姿勢情報は、各カメラ100の相対位置を示すxyz3次元座標空間における座標情報と、各カメラ100の相対的な配置向きを示すxyz3次元座標空間における回転座標情報とからなり、例えばROM206などから読み出される。

0053

<画角導出方法>
図12は、本実施形態において、従属カメラの画角を導出する処理内容を示すフローチャートである。図12のフローチャートを参照し、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を生成するために、PC200が従属カメラの好適な画角を導出する処理内容について説明する。なお、図12に示されるフローチャートによる処理は、ROM206に格納されたプログラムコードがRAM207に展開され、CPU205によって実行される。

0054

S1201からS1202の処理は、実施形態1のS401からS402の処理と同一であるため説明を省略する。S1203において、画角導出部201は、位置姿勢情報保持部210から全カメラの位置姿勢情報を取得する。ここで、位置姿勢情報とは、前述の通り全方位カメラ1における各カメラ100の相対位置を示す座標情報と、各カメラ100の相対的な配置向きを示す回転座標情報とによって表される。

0055

S1204において、画角導出部201は、メインカメラから被写体までの距離を取得する。具体的な距離の取得方法は公知の手法を用いることができ、例えばメインカメラでのAFの結果から距離取得を行っても良いし、複数台のカメラが被写体を撮像して三角測量によって被写体までの距離取得を行っても良い。

0056

S1205において、画角導出部201は従属カメラの画角を導出する。ここで、カメラが所定の円周上に配置されている場合(図1)において、被写体、メインカメラ、および従属カメラの位置関係を図13に示す。図13において、メインカメラmから被写体objまでのy軸方向の距離をD、メインカメラmの画角をθm、従属カメラaの画角をθaとする。さらに、メインカメラmの光軸に対して垂直且つ全方位カメラ1の接地面(以下「接地面」と記す)に水平な軸をx軸、光軸方向をy軸、光軸に垂直且つ接地面に垂直な軸をz軸とする。また、xyz3次元空間座標におけるメインカメラmの座標を(xm,ym,zm)とし、従属カメラaの座標を(xm+xa,ym-ya,zm)とする。そして、xyz3次元空間座標におけるメインカメラmの回転座標(x,y,z軸を中心としたそれぞれの回転角度)を(0,0,0)とし、従属カメラaの回転座標を(0,0,φ)とする。このとき、従属カメラaの画角θaは下記の式を満たすような値として導出される。

0057

0058

なお、Thは閾値であって、本実施形態では、メインカメラmが捕捉する被写体objと、従属カメラaが捕捉する被写体objとを、どれくらいの範囲で重畳させるかを決定するための閾値である。そして、画角導出部201は、S1205で導出した画角を従属カメラに出力する。従属カメラの制御部107は、光学部101が受信した画角となるように制御する。

0059

以上説明した通り、本実施形態における全方位カメラ1は、被写体との距離に応じて、従属カメラの画角を制御することにより、被写体を高精細に撮像しつつ、広視野角画像全体としても高精細な画像を生成することができる。また、従属カメラaの画角θaは上記数式を演算することにより導出されたが、メインカメラの画角θmと、メインカメラと被写体との距離Dとに基づくものであれば、画角θaを導出するための数式は上記に限られるものではない。例えば、メインカメラmによって撮像されている被写体objが、従属カメラaの撮像範囲に入るまで、従属カメラaの画角θaを拡大する処理を数式化したものを用いても良い。

0060

[実施形態3]
実施形態1〜2では、被写体が静止している前提で、全方位カメラ1を構成する複数のカメラの画角制御を行う実施例について説明した。本実施形態では、全方位カメラ1を構成する複数のカメラが、移動する被写体を撮影する場合に、画角制御を行う実施例について説明する。本実施形態における全方位カメラ1によれば、複数のカメラが移動する被写体を捕捉することができるので、上記移動する被写体を動画として撮像することができる。なお、実施形態1〜2と共通する部分については説明を簡略化ないし省略し、本実施形態に特有な点を中心に以下説明する。

0061

<画角導出方法>
図14は、本実施形態において、従属カメラの画角を導出する処理内容を示すフローチャートである。図14のフローチャートを参照し、被写体を高精細で撮像しつつ、移動する被写体を含む広視野角画像を生成するために、PC200が従属カメラの画角を導出する処理内容について説明する。なお、図14に示されるフローチャートによる処理は、ROM206に格納されたプログラムコードがRAM207に展開され、CPU205によって実行される。

0062

S1401からS1403の処理は、実施形態2のS1201からS1203の処理と同一であるため説明を省略する。

0063

S1404において、画角導出部201は、メインカメラと、メインカメラが捕捉している被写体との相対位置を取得する。具体的な位置取得方法は公知の手法を用いることができ、例えばメインカメラから被写体に対して位置測定用赤外線レーザー照射し、被写体からの反射を受信することにより位置を取得することができる。ここで、カメラが所定の円周上に配置されている場合(図1)において、被写体、メインカメラ、および従属カメラの位置関係を図15に示す。図15において、メインカメラmから被写体objまでのy軸方向の距離をD、メインカメラmの光軸からx軸方向の距離をl、メインカメラmの画角をθm、従属カメラaの画角をθaとする。

0064

S1405において、画角導出部201は、被写体objの位置を判定する。例えば、被写体objとメインカメラmとの相対的な位置関係が、図15に示される位置関係にあるとする。このとき、画角θmは下記の式から導出することができる。

0065

0066

上記数式で算出されたθmが、所定の閾値以下と判定された場合(S1405:YES)、すなわち、メインカメラmが画角θmで被写体objを捕捉していると判定された場合、S1406に移行する。一方、θmが、所定の閾値よりも大きいと判定された場合(S1405:No)、すなわち、メインカメラmが捕捉していた被写体objが、メインカメラmが画角θmで捕捉可能な範囲を超えたと判定された場合、S1407に移行する。本実施形態では、S1405において、メインカメラmの画角θmを所定の閾値を用いて判定したが、所定の閾値と比較判定する値はこれに限られない。例えば、メインカメラの光軸と、全方位カメラ1の中心と被写体objの位置と、が形成する角度を、所定の閾値と比較判定してもよい。

0067

S1406において、画角導出部201は従属カメラaの画角θaを導出する。実施形態2と同様に、メインカメラmの光軸に対して垂直且つ接地面に水平な軸をx軸、光軸方向をy軸、光軸に垂直且つ接地面に垂直な軸をz軸とする。また、メインカメラmの座標を(xm,ym,zm)とし、従属カメラaの座標を(xm+xa,ym-ya,zm)とする。そして、xyz3次元空間座標におけるメインカメラmの回転座標を(0,0,0)とし、従属カメラaの回転座標を(0,0,φ)とする。このとき、従属カメラaの画角θaは下記の式を満たすような値として導出される。

0068

0069

なお、Thは閾値であって、本実施形態では、メインカメラmが捕捉する被写体objと、従属カメラaが捕捉する被写体objとを、どれくらいの範囲で重畳させるかを決定するための閾値である。そして、画角導出部201は、S1406で導出した画角を従属カメラに出力する。従属カメラの制御部107は、光学部101が受信した画角となるように制御する。

0070

一方、θmが、所定の閾値よりも大きいと判定された場合(S1405:No)、S1407において、画角導出部201はメインカメラを変更する。S1407において、S1404で取得した被写体の位置に基づいて、メインカメラに隣接していて且つ、被写体と最も距離が近い従属カメラがメインカメラに変更される。以下の実施例では、従属カメラaをメインカメラa、メインカメラmを従属カメラmとして説明を行う。

0071

S1408において、画角導出部201は、メインカメラaの画角を導出する。メインカメラaの画角θaは下記の式から導出することができる。

0072

0073

S1409において、画角導出部201は、従属カメラmの画角θmを導出する。従属カメラmの画角θmは下記の式から導出することができる。

0074

0075

なお、D’はメインカメラaから被写体まで光軸と並行方向の距離を、l’はメインカメラaの光軸から被写体objへの垂直方向の距離を示す。また、実施形態1〜2と同様に、なお、Thは閾値であって、本実施形態では、メインカメラaが捕捉する被写体objと、従属カメラmが捕捉する被写体objとを、どれくらいの範囲で重畳させるかを決定するための閾値である。そして、画角導出部201は、S1409で導出した画角を従属カメラに出力する。従属カメラの制御部107は、光学部101が受信した画角となるように制御する。

0076

以上説明した通り、本実施形態における全方位カメラ1は、実施形態1〜2と同様に、従属カメラの画角を制御することにより、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を生成することができる。さらに、本実施形態の全方位カメラ1は、被写体の位置に応じて、被写体を捕捉するメインカメラと従属カメラとを切り替る。このため、被写体が移動している前提であっても、メインカメラと従属カメラとを切り替えることにより被写体を捕捉し、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を生成することができる。

0077

[実施形態4]
実施形態1〜3では、被写体が単体であることが前提で、全方位カメラ1を構成する複数のカメラの画角制御を行う実施例について説明した。本実施形態では、複数の被写体が存在し、複数のメインカメラがそれぞれ異なる被写体を撮像する場合における画角制御について説明する。なお、実施形態1〜3と共通する部分については説明を簡略化ないし省略し、本実施形態に特有な点を中心に以下説明する。

0078

<画角導出方法>
図16は、本実施形態において、従属カメラおよびメインカメラの画角を導出する処理内容を示すフローチャートである。図16のフローチャートを参照し、複数のメインカメラがそれぞれ異なる被写体を高精細で撮像しつつ、広視野角画像を生成するために、PC200が従属カメラおよびメインカメラの画角を導出する処理内容について説明する。なお、図16に示されるフローチャートによる処理は、ROM206に格納されたプログラムコードがRAM207に展開され、CPU205によって実行される。

0079

S1601〜1602の処理は、実施形態2のS1201〜S1202の処理と同一であるため説明を省略する。

0080

S1603において、画角導出部201は、メインカメラのカメラID全てを取得したかを判定する。メインカメラのカメラID全てを取得している場合(S1603:YES)、S1604に移行する。一方、メインカメラのカメラID全てを取得していない場合(S1603:NO)、再びS1602に戻り、取得可能なメインカメラのカメラIDを検索する。

0081

S1604の処理は、実施形態2のS1203の処理と同一であるため説明を省略する。

0082

S1605において、画角導出部201は、各メインカメラから各メインカメラが捕捉しているそれぞれ異なる被写体までの距離を取得する。メインカメラから被写体までの距離の取得方法は、実施形態2のS1204の処理と同一であるため説明を省略する。

0083

S1606において、画角導出部201は、S1605で取得した距離の中から最短距離を選択する。図17に示される例では、メインカメラmから被写体obj1までの距離Dmと、メインカメラbから被写体obj2までの距離Dbとを比較する。本例では距離Dbの方が短いので、Dbが最短距離に選択される。

0084

S1607において、画角導出部201は、隣接するメインカメラのカメラIDが存在しているかを判定する。S1607の処理は、例えば図17に示されるように、それぞれ異なる被写体を捕捉しているメインカメラであって、全方位カメラ1において隣接して配置されているメインカメラが存在するかを判定するための処理である。例えば、画角導出部201は、S1602で取得したメインカメラのカメラIDを、カメラIDの番号が若い順に選択する。次いで、選択したメインカメラのカメラIDと隣接するカメラIDが、メインカメラに指定されているカメラIDであるかを判定することにより実行される。隣接するメインカメラのカメラIDが存在していない場合(S1607:NO)、S1608に移行する。一方、隣接するメインカメラのカメラIDが存在している場合(S1607:YES)、S1610に移行する。

0085

S1608において、画角導出部201は、メインカメラmとメインカメラbとの間にある従属カメラaの画角を導出する。ここで、カメラが所定の円周上に配置されている場合(図1)において、被写体、およびメインカメラの位置関係を図17に示す。図17に示される通り、メインカメラ同士が隣接しておらず、メインカメラとメインカメラとの間に従属カメラが配置されているとする。

0086

2台のメインカメラをそれぞれメインカメラm、メインカメラbとし、メインカメラmとメインカメラbとの間に配置される1台の従属カメラを従属カメラaとする。例えば、メインカメラmの画角をθm、メインカメラbの画角をθb、従属カメラaの画角をθaとする。さらに、メインカメラmの光軸に対して垂直且つ接地面に水平な軸をx軸、光軸方向をy軸、光軸に垂直且つ接地面に垂直な軸をz軸とする。また、メインカメラmの座標を(xm,ym,zm)、従属カメラaの座標を(xm+xa,ym-ya,zm)、メインカメラbの座標を(xm+xb,ym-yb,zm)とする。そして、xyz3次元空間座標におけるメインカメラmの回転座標を(0,0,0)、従属カメラaの回転座標を(0,0,φ)、メインカメラbの回転座標を(0,0,φ’)とする。このとき、メインカメラmとメインカメラbが被写体をズームしつつ、広視野角画像を生成できるように、従属カメラaの画角θaを下記の式を用いて算出する。

0087

0088

なお、Thは閾値であって、本実施形態では、メインカメラbが捕捉する被写体obj2と、従属カメラaが捕捉する被写体obj2とを、どれくらいの範囲で重畳させるかを決定するための閾値である。そして、画角導出部201は、S1608で導出した画角を従属カメラに出力する。従属カメラの制御部107は、光学部101が受信した画角となるように制御する。

0089

S1609において、画角導出部201は、メインカメラの画角を導出する。実施形態1において、メインカメラの画角は、PC200の入力部209を介して設定される態様について説明した。そのため、S1609において、被写体obj1を捕捉するメインカメラの画角θmと、被写体obj2を捕捉するメインカメラの画角θbとは、それぞれ別個の画角が設定されている場合がある。本実施形態では、被写体を最短距離で捕捉するメインカメラの画角を、S1602で取得した全てのカメラIDに対応するメインカメラの画角として設定する。図17に示される例では、画角導出部201は、θm=θbとなるように、全方位カメラ1におけるメインカメラの画角を設定する。

0090

上記説明の通り、画角導出部201は、メインカメラから被写体までの最短距離である距離Dbを参照して、従属カメラaの画角θaを導出している。これは、メインカメラから被写体までの距離が短ければ短いほど、当該メインカメラに隣接する従属カメラの画角が広く設定される必要があるからである。図17の例では、従属カメラaの画角θaは、最短距離である距離Dbに基づいて導出されているため、従属カメラaはメインカメラmが捕捉する被写体obj1と、メインカメラbが捕捉する被写体obj2との双方を捕捉することができる。このため、本実施形態の全方位カメラ1は、画像を欠落することなく、広視野角画像を生成することができる。また、本実施形態の撮像画像に対する拡大縮小処理(S504)において、S1608で導出された従属カメラの画角(θa)と、S1609で設定されたメインカメラの画角(θb)と、から拡大縮小率Sが算出される。そして、画角導出部201は、S1608〜S1609で導出した画角をメインカメラおよび従属カメラに出力する。メインカメラおよび従属カメラの制御部107は、光学部101が受信した画角となるように制御する。

0091

一方、隣接するメインカメラのカメラIDが存在している場合(S1607:YES)、S1610において、画角導出部201は、メインカメラの画角を導出する。ここで、カメラが所定の円周上に配置されている場合(図1)において、被写体、およびメインカメラの位置関係を図18に示す。例えば、図18に示されるように、メインカメラが2台互いに隣接して配置されているとする。2台のメインカメラそれぞれをメインカメラm、メインカメラaとし、メインカメラmの画角をθm、メインカメラaの画角をθaとし、メインカメラmから被写体obj1までの距離をDm、メインカメラaから被写体obj2までの距離をDaとする。さらに、メインカメラmの光軸に対して垂直且つ接地面に水平な軸をx軸、光軸方向をy軸、光軸に垂直且つ接地面に垂直な軸をz軸とする。また、xyz3次元空間座標におけるメインカメラmの座標を(xm,ym,zm)とし、メインカメラaの座標を(xm+xa,ym-ya,zm)とする。同様に、xyz3次元空間座標におけるメインカメラmの回転座標を(0,0,0)とし、メインカメラaの回転座標を(0,0,φ)とする。画角導出部201は、メインカメラmとメインカメラaとが互いに隣接しているとき、各被写体解像度が同程度となるように、下記の式を満たす画角θm、θaを導出する。

0092

0093

なお、上記説明では、それぞれ異なる被写体obj1、obj2を捕捉するメインカメラm、aの画角θm、θaをそれぞれ導出する態様について説明した。本実施形態の全方位カメラ1において、3つ以上メインカメラが隣接する態様であっても良いし、隣接するメインカメラ郡が2以上存在する態様であっても良い。あるいはまた、S1609と同様に、画角導出部201は、θm=θbとなるように、全方位カメラ1におけるメインカメラの画角を設定してもよい。

0094

S1611において、画角導出部201は、全方位カメラ1においてメインカメラmとメインカメラaと共に配置される従属カメラの画角を導出する。S1611の処理は、本実施形態のS1608の処理と同一であるため説明を省略する。S1608の処理と同様にS1611においても、従属カメラの画角は、メインカメラと被写体との最短距離を参照して導出される。また、本実施形態の撮像画像に対する拡大縮小処理(S504)においても、被写体を最短距離で捕捉するメインカメラの画角と、S1611で導出された従属カメラの画角と、から拡大縮小率Sが算出される。そして、画角導出部201は、S1610〜S1611で導出した画角をメインカメラおよび従属カメラに出力する。メインカメラおよび従属カメラの制御部107は、光学部101が受信した画角となるように制御する。

0095

以上説明した通り、本実施形態における全方位カメラ1は、複数のメインカメラがそれぞれ異なる被写体を撮像する場合であっても、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を生成することができる。

0096

[その他の実施例]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0097

100・・カメラ
101・・光学部
107・・制御部
200・・PC(制御装置)
201・・画角導出部
202・・画像取得部
203・・画像変換部
204・・画像合成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ