図面 (/)

技術 ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機

出願人 パロットドローンズ
発明者 ピエールエリーヌ
出願日 2016年1月25日 (4年11ヶ月経過) 出願番号 2016-011421
公開日 2016年8月4日 (4年4ヶ月経過) 公開番号 2016-140069
状態 未査定
技術分野 飛行船・気球・飛行機 閉回路テレビジョンシステム
主要キーワード 取得周波数 角度セクタ 半球画像 慣性中心 データ取得モード 対向角 傾斜補正処理 中間構成
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年8月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

無人機が大きく横に傾いた場合に、無人機が一定の展開を行うさいに現れる特定の欠陥を解消することである。

解決手段

無人機は、カメラと、無人機の角度を測定する慣性ユニットと、センサキャプチャ領域(ZC)内に規定された縮小サイズを有する画像領域(ZI)のデータを送る抽出モジュールとを備える。フィードバック制御モジュールは、慣性ユニットによって測定された角度の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正する。センサは、ロール角(θ)の値が小さい場合にベースキャプチャ領域(ZCB)を用いる基本構成と、ロール角(θ)の値が大きい場合にベースキャプチャ領域(ZCB)より大きいサイズの拡張キャプチャ領域(ZCE)を用いる少なくとも1つの劣化モード構成とを含む、動的に選択可能な複数の異なる構成に応じて動作してもよい。

概要

背景

本発明は、好適には、クアッドリコプター(quadricopter:4ヘリコプター)などの回転翼無人機前面カメラによって収集される画像に適用される。

Parrot SA(フランス、パリ)のAR.Drone 2.0またはBebop Droneは、このようなクアッドリコプターの一般的な例である。これらの無人機は、一連センサ加速度計、3軸ジャイロ高度計)と、無人機の進行方向の景色の画像を撮像する前面カメラと、上空飛行時の地面の画像を撮像する垂直視野カメラとを装備している。このような無人機は、複数のモータによってそれぞれ駆動される複数のロータを備え、姿勢や速度についてこれらのモータを個別に制御して、無人機の操縦が行われる。特に、特許文献1、特許文献2、特許文献3または特許文献4(Parrot SA)に、上記無人機のさまざまな態様が記載されている。

非特許文献1には、特に、画像安定化制御システムに関連する魚眼レンズを備えた無人機である上述したBebop Drone装置が記載されている。

前面ビデオカメラは、特に、「没入モード」の操縦、すなわち、ユーザが無人機に実際に乗っているような感覚でカメラの画像を利用する操縦モードで使用することができる。また、前面ビデオカメラは、無人機の進行方向にある景色の一連の画像を撮像する機能を有してもよい。このように、ユーザは、カメラやカムコーダを手に持つ代わりに、無人機に搭載した状態と同じように無人機を使用することができる。取得した画像は、記録された後、配信、ビデオシーケンスホスティングウェブサイト上でのオンライン保存、他のインターネットユーザに向けた送信、ソーシャルネットワークでの共有などがなされうる。

これらの画像は、記録や通信を意図したものであるため、画像の欠陥、特に、例えば、無人機の挙動によって生じる欠陥であって、カメラによって撮像された画像に揺れや歪みまたはタイミング悪く生じるその他のアーチファクトを発生しうる欠陥をできるだけ抑制することが望ましい。しかしながら、このようなアーチファクトの出現は、無人機の展開モード固有のものであり、無人機が前方、後方または横へ線形変位するさいには、無人機が傾き、ひいては、カメラが取得した画像に、シフト、回転、揺動などの無人機の傾きに関連する望ましくない影響が生じる。

これらの欠陥は、「没入操縦」構成のものであれば許容できる。一方で、一連の画像を撮像するために移動ビデオカメラとして無人機を使用し、撮像された画像を記録描写する場合、これらの欠陥は大きな問題となるため、最小限に抑えられることが望ましい。

上述したBebop Droneの場合、この無人機が実装するカメラは、約180°の視野カバーした魚眼タイプの半球視野レンズを備えているが、撮像された視野のうち、従来のカメラによって撮像された角度セクタにほぼ相当する一部の視野しか使用されない。

この目的のために、センサによって出力として送られた原画像(以下、センサの表面に形成された半球画像全体の一部分である「キャプチャ領域」)において、特定のウィンドウ(以下、「画像領域」)が選択される。特徴として、このウィンドウは、慣性の中心により決定される無人機の動きに応じて、検出された変位とは反対の方向に回転移動および平行移動して永続的に変位される可動ウィンドウである。魚眼レンズによって取得される画像も従来のカメラと同様の揺動や回転の動きを受けることは避けられないが、画像領域の変位は、これらの動きを補償し、ひいては、無人機の動きに対して安定化された画像を生成するようにフィードバック制御される。

したがって、「仮想カメラ」は、撮像された景色(キャプチャ領域)から、キャプチャ領域において無人機の動きとは反対の方向に回転および平行移動して動的に変位されることで、画像に観察されていたであろう揺動をなくす特定の領域(画像領域)を抜き出すことによって規定される。

この技術は、特許文献5(Parrot)に記載されている。

概要

無人機が大きく横に傾いた場合に、無人機が一定の展開を行うさいに現れる特定の欠陥を解消することである。無人機は、カメラと、無人機の角度を測定する慣性ユニットと、センサのキャプチャ領域(ZC)内に規定された縮小サイズを有する画像領域(ZI)のデータを送る抽出モジュールとを備える。フィードバック制御モジュールは、慣性ユニットによって測定された角度の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正する。センサは、ロール角(θ)の値が小さい場合にベースキャプチャ領域(ZCB)を用いる基本構成と、ロール角(θ)の値が大きい場合にベースキャプチャ領域(ZCB)より大きいサイズの拡張キャプチャ領域(ZCE)を用いる少なくとも1つの劣化モード構成とを含む、動的に選択可能な複数の異なる構成に応じて動作してもよい。c

目的

本発明の目的は、無人機が大きく横に傾いた場合に、無人機が一定の展開を行うさいに現れる特定の欠陥を解消することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像画像の安定化用システムを備えた無人機(10)などの電動飛行機であって、前記無人機の本体に接続されたカメラ(14)であって、魚眼タイプの半球視野レンズと、前記半球視野レンズによって形成された画像を取得するデジタルセンサとを備え、前記デジタルセンサに形成された前記画像の画素のうち、キャプチャ領域(ZC)内に位置する一部のみが、原画素データを送るために取り込まれるカメラと、絶対地基準系に対して前記無人機の瞬間姿勢を表すオイラー角(φ、θ、ψ)を測定するように構成された慣性ユニット(50)と、前記キャプチャ領域(ZC)の前記原画素データを入力として受信し、前記キャプチャ領域内にあり且つ従来のカメラによって撮像された角度セクタ(36)に相当する縮小サイズ画像領域(ZI)の画素データを出力として送り出す抽出モジュール(52)と、前記慣性ユニットから送られる角度値を入力として受信し、前記慣性ユニットによって測定された前記角度値の変化の方向とは反対の方向に、前記キャプチャ領域内の前記画像領域の位置および向きを動的に修正するように構成されたフィードバック制御モジュール(54、56)と、を備え、前記デジタルセンサは、複数の異なる動作構成に応じて動作可能であって、前記カメラの同一の画像撮像シーケンス中に動的に選択可能であるセンサであり、前記動作構成は、キャプチャ領域(ZC)としてベースキャプチャ領域(ZCB)を用いる基本構成と、前記ベースキャプチャ領域(ZCB)より大きいサイズの拡張キャプチャ領域(ZCE)をキャプチャ領域(ZC)として用いる少なくとも1つの劣化モード構成であって、前記拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小する変換処理を前記拡張キャプチャ領域の画素に適用する少なくとも1つの劣化モード構成とを備え、前記慣性ユニットから送られる前記無人機の連続したロール角値(θ)を入力として受信し、前記ロール角値(θ)が第1の限界値より低い場合、前記デジタルセンサが前記基本構成に応じて動作し、且つ前記ロール角値(θ)が第2の限界値より高い場合、前記デジタルセンサが劣化モード構成に応じて動作するように、前記デジタルセンサの現行の動作構成を動的に修正するように構成された補償モジュール(58)をさらに備えることを特徴とする電動飛行機。

請求項2

ロール効果補償手段は、前記デジタルセンサの前記現行の動作構成を、前記ロール角値が第1の所定のしきい値を上回ると、前記基本構成から前記劣化モード構成へ動的に修正し、前記無人機の前記ロール角が第2の所定のしきい値を下回ると、前記劣化モード構成から前記基本構成へ動的に修正するように構成され、前記第2のしきい値は前記第1のしきい値とは異なり、前記第1のしきい値より低い、請求項1に記載の無人機。

請求項3

前記動作構成は、前記ベースキャプチャ領域(ZCB)をキャプチャ領域(ZC)として用いる前記基本構成(第1構成)と、前記ベースキャプチャ領域より大きいサイズの第1の拡張キャプチャ領域をキャプチャ領域(ZC)として用いる中度劣化モード構成であって、前記第1の拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小するように構成された第1の変換処理を前記第1の拡張キャプチャ領域の画素に適用する中度劣化モード構成(第2構成)と、前記第1の拡張キャプチャ領域よりサイズが大きい第2の拡張キャプチャ領域をキャプチャ領域(ZC)として用いる強度劣化モード構成であって、前記第1の処理とは異なる第2の変換処理であって前記第2の拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小するように構成された第2の変換処理を、前記第2の拡張キャプチャ領域の画素に適用する強度劣化モード構成(第3構成)とを備え、前記補償モジュールは、前記デジタルセンサが、前記ロール角値が前記第1の限界値より低い場合、前記基本構成に応じて動作し、前記ロール角値が前記第2の限界値より高く第3の限界値より低い場合、前記中度劣化モード構成に応じて動作し、前記ロール角値が前記第3の限界値より高い場合、前記強度劣化モード構成に応じて動作するように、前記センサの前記現行の動作構成を動的に修正するようにさらに構成された請求項1に記載の無人機。

技術分野

0001

本発明は、移動体装置、特に、無人機などの電動飛行機に搭載されたカメラによって撮像されたデジタル画像の処理に関する。

背景技術

0002

本発明は、好適には、クアッドリコプター(quadricopter:4ヘリコプター)などの回転翼無人機前面カメラによって収集される画像に適用される。

0003

Parrot SA(フランス、パリ)のAR.Drone 2.0またはBebop Droneは、このようなクアッドリコプターの一般的な例である。これらの無人機は、一連センサ加速度計、3軸ジャイロ高度計)と、無人機の進行方向の景色の画像を撮像する前面カメラと、上空飛行時の地面の画像を撮像する垂直視野カメラとを装備している。このような無人機は、複数のモータによってそれぞれ駆動される複数のロータを備え、姿勢や速度についてこれらのモータを個別に制御して、無人機の操縦が行われる。特に、特許文献1、特許文献2、特許文献3または特許文献4(Parrot SA)に、上記無人機のさまざまな態様が記載されている。

0004

非特許文献1には、特に、画像安定化制御システムに関連する魚眼レンズを備えた無人機である上述したBebop Drone装置が記載されている。

0005

前面ビデオカメラは、特に、「没入モード」の操縦、すなわち、ユーザが無人機に実際に乗っているような感覚でカメラの画像を利用する操縦モードで使用することができる。また、前面ビデオカメラは、無人機の進行方向にある景色の一連の画像を撮像する機能を有してもよい。このように、ユーザは、カメラやカムコーダを手に持つ代わりに、無人機に搭載した状態と同じように無人機を使用することができる。取得した画像は、記録された後、配信、ビデオシーケンスホスティングウェブサイト上でのオンライン保存、他のインターネットユーザに向けた送信、ソーシャルネットワークでの共有などがなされうる。

0006

これらの画像は、記録や通信を意図したものであるため、画像の欠陥、特に、例えば、無人機の挙動によって生じる欠陥であって、カメラによって撮像された画像に揺れや歪みまたはタイミング悪く生じるその他のアーチファクトを発生しうる欠陥をできるだけ抑制することが望ましい。しかしながら、このようなアーチファクトの出現は、無人機の展開モード固有のものであり、無人機が前方、後方または横へ線形変位するさいには、無人機が傾き、ひいては、カメラが取得した画像に、シフト、回転、揺動などの無人機の傾きに関連する望ましくない影響が生じる。

0007

これらの欠陥は、「没入操縦」構成のものであれば許容できる。一方で、一連の画像を撮像するために移動ビデオカメラとして無人機を使用し、撮像された画像を記録描写する場合、これらの欠陥は大きな問題となるため、最小限に抑えられることが望ましい。

0008

上述したBebop Droneの場合、この無人機が実装するカメラは、約180°の視野カバーした魚眼タイプの半球視野レンズを備えているが、撮像された視野のうち、従来のカメラによって撮像された角度セクタにほぼ相当する一部の視野しか使用されない。

0009

この目的のために、センサによって出力として送られた原画像(以下、センサの表面に形成された半球画像全体の一部分である「キャプチャ領域」)において、特定のウィンドウ(以下、「画像領域」)が選択される。特徴として、このウィンドウは、慣性の中心により決定される無人機の動きに応じて、検出された変位とは反対の方向に回転移動および平行移動して永続的に変位される可動ウィンドウである。魚眼レンズによって取得される画像も従来のカメラと同様の揺動や回転の動きを受けることは避けられないが、画像領域の変位は、これらの動きを補償し、ひいては、無人機の動きに対して安定化された画像を生成するようにフィードバック制御される。

0010

したがって、「仮想カメラ」は、撮像された景色(キャプチャ領域)から、キャプチャ領域において無人機の動きとは反対の方向に回転および平行移動して動的に変位されることで、画像に観察されていたであろう揺動をなくす特定の領域(画像領域)を抜き出すことによって規定される。

0011

この技術は、特許文献5(Parrot)に記載されている。

0012

国際公開第2010/061099(A2)号パンフレット
欧州特許出願公開第2364757(A1)号明細書
欧州特許出願公開第2613213(A1)号明細書
欧州特許出願公開第2613214(A1)号明細書
欧州特許出願公開第2933775(A1)号明細書

先行技術

0013

Timothy McDougal、インターネット上に公開、「The New Parrot Bebop Drone: Built for StabilizedAerial Video」、2014年6月10日(XP055233862)

発明が解決しようとする課題

0014

本発明の目的は、無人機が大きく横に傾いた場合に、無人機が一定の展開を行うさいに現れる特定の欠陥を解消することである。

0015

このような状況は、特に、無人機が左右に突然平行移動するときや急旋回するときに起こる。これらの動きは、特に、無人機のロール軸回り旋回によって生じ、この旋回は、ひいては、カメラによって取り込まれる景色が、画像において一方向または他方向に回転することになる旋回である。

0016

これらの回転は、キャプチャ領域にある画像領域の反対方向に回転することによって補償されてもよい。しかしながら、それでも、無人機の傾斜角が大きい場合、修正済み表示を完全に生成できる画像領域の位置は存在しない。実際、画像領域の回転が大きすぎると、この画像領域の対向角対向縁が、半球画像に規定されたキャプチャ領域を「越えた範囲に及ぶ」ことで、補正モジュールの出力に送られた修正画像の角や縁がグレーになって現れるようになる。これらのグレー領域は、無人機の姿勢の傾斜度が軽減して姿勢が戻ると自然になくなるが、記録し、後で再生することが意図された一連の画像に、問題となるアーチファクトが生じ、見える状態で残ることになる。

0017

また、この状況は、モータを停止させた状態でユーザが無人機を手に持ち、システム動的安定化から得られる利点を利用して景色を撮影するために従来のカメラとして無人機を使用する場合にも起きる。例えば、ユーザが一定のしきい値を超えて無人機を傾けると、欠落画素がある領域が画像の境界に現れるが、安定化用システムは、カメラが傾いていないという錯覚を与える。

0018

本発明は、まず、センサの動作構成を複数与え、無人機の傾斜角に応じて最良適応された構成を動的に選択することを実質的に含み、傾斜補正処理において、画像領域が、画像を生成するように初期選択されたセンサの領域を越えた範囲に及ばないようにする。

0019

「動作構成」という用語は、
−カメラによって出力として送信される画像(画像領域)の出力解像度、すなわち、画素単位で表されるサイズと、
センサ表面で取得される範囲(キャプチャ領域)のキャプチャ解像度、すなわち、画素単位で表されるサイズと、
−キャプチャ解像度から出力解像度へ切り換えを可能にする処理と、
を含む、カメラのキャプチャパラメータのセットを意味する。

0020

キャプチャモードは、特に、「ノーマル」(すべての取得画素をそのまま出力として送信。出力解像度およびキャプチャ解像度は同一)、「ビニング」(取得画素をまとめてグループ化してマクロ画素にし、出力として送出)、「スケーリング」(画素毎に画像の隣り合う画素を考慮しながらフィルタリングをかけて画素をまとめる)と呼ばれるモードを含む。ビニングおよびスケーリングの技術は、ノーマルモードに比べ、特に、幅広いキャプチャ表面から画像を生成できるが、精細度の低下を招く。

0021

通常、これらのキャプチャパラメータは、カメラの初期化時に決定される。具体的に言えば、上述したBebop Droneに相当する構成の場合、ノーマルモードでは、画素がない領域を導入することなく、±15°のロール角を補償することが可能である。

0022

本発明の課題は、画素の損失なしに(すなわち、角や縁がグレーになって現れることなく)、そしてビデオフロー流動性劣化なしに(すなわち、一定のフレームレート)、この範囲を超える安定化ドメインを増大させることである。

課題を解決するための手段

0023

上記目的を達成するために、本発明は、センサのいくつかの動作構成を使用し、画像撮影過程で、最適な画質を有する全修正視野を生成するための最良に適応された構成を、無人機のロール角に応じて動的に選択することを本質的に提案する。

0024

この原理では、例えば、無人機がセンサの異なるモード(ノーマル・ビニング・スケーリング)で作用することで、無人機が大きく傾くと、(例えば、ノーマルモードからビニングモードまたはスケーリングモードへ切り換えることによって)キャプチャ表面を一時的に増大させる。このような修正では、画質が一時的に劣化するという代償がつきものであるが(ビニングモードやスケーリングモードの実施により)、アーチファクト(縁部や角隅部のグレー化)が生じず、フレームレートの修正もないため、ビデオフローの流動性の劣化がない。

0025

さらに正確に言えば、本発明により、撮像画像の安定化用システムを備えた電動飛行機であって、公知の方法で、特に、上述した非特許文献1の記事に記載されている方法で、
‐魚眼タイプの半球視野レンズと、半球視野レンズによって形成された画像を取得するデジタルセンサとを備え、デジタルセンサに形成された画像の画素のうち、キャプチャ領域内に位置する一部のみが、原画素データを送るために取り込まれる、無人機の本体に接続されたカメラと、
‐絶対地基準系に対して無人機の瞬間姿勢を表すオイラー角を測定するように構成された慣性ユニットと、
‐キャプチャ領域の原画素データを入力として受信し、キャプチャ領域内にあり、従来のカメラによって撮像された角度セクタに相当する縮小サイズの画像領域の画素データを出力として送り出す抽出モジュールと、
‐慣性ユニットから送られる角度値を入力として受信し、慣性ユニットによって測定された角度値の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正するように構成されたフィードバック制御モジュールとを備える電動飛行機が提供される。

0026

本発明の特徴として、
‐デジタルセンサは、複数の異なる動作構成に応じて動作可能であって、カメラの同一の画像撮像シーケンス中に動的に選択可能であるセンサであり、前記動作構成は、
・キャプチャ領域としてベースキャプチャ領域を用いる基本構成と、
・ベースキャプチャ領域より大きいサイズの拡張キャプチャ領域をキャプチャ領域として用いる少なくとも1つの劣化モード構成であって、拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小する変換処理を拡張キャプチャ領域の画素に適用する少なくとも1つの劣化モード構成とを備え、
‐慣性ユニットから送られる無人機の連続したロール角値を入力として受信し、
・ロール角値が第1の限界値より低い場合、デジタルセンサが基本構成に応じて動作し、
・ロール角値が第2の限界値より高い場合、デジタルセンサが劣化モード構成に応じて動作するように、デジタルセンサの現行の動作構成を動的に修正するように構成された補償モジュールをさらに備える。

0027

好ましくは、ロール効果補償手段は、デジタルセンサの現行の動作構成を、ロール角値が第1の所定のしきい値を上回ると、基本構成から劣化モード構成へ動的に修正し、無人機のロール角が第2の所定のしきい値を下回ると、劣化モード構成から基本構成へ動的に修正するように構成され、第2のしきい値は第1のしきい値とは異なり、第1のしきい値より低い。
動作構成は、
・ベースキャプチャ領域をキャプチャ領域として用いる基本構成と、
・ベースキャプチャ領域より大きいサイズの第1の拡張キャプチャ領域をキャプチャ領域として用いる中度劣化モード構成であって、第1の拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小するするように構成された第1の変換処理を第1の拡張キャプチャ領域の画素に適用する中度劣化モード構成と、
・第1の拡張キャプチャ領域よりサイズが大きい第2の拡張キャプチャ領域をキャプチャ領域として用いる強度劣化モード構成であって、第1の処理とは異なる第2の変換処理であって第2の拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小するように構成された第2の変換処理を、第2の拡張キャプチャ領域の画素に適用する強度劣化モード構成とを備える。

0028

補償モジュールは、デジタルセンサがロール角値が前記第1の限界値より低い場合、基本構成に応じて動作し、ロール角値が第2の限界値より高く第3の限界値より低い場合、中度劣化モード構成に応じて動作し、ロール角値が第3の限界値より高い場合、強度劣化モード構成に応じて動作するように、センサの現行の動作構成を動的に修正するようにさらに構成される。

0029

以下、図面を通して同一の参照番号が同一または機能的に同様の要素を示す添付の図面を参照しながら、本発明の例示的な実施形態について説明する。

図面の簡単な説明

0030

無人機と、無人機に対応付けられ、無人機の遠隔制御が可能な遠隔制御装置とを示す全体図である。
例えば、加速段階中などに無人機が前方に傾くことによって生じるカメラの視野方向の変形例を示す。
例えば、加速段階中などに無人機が前方に傾くことによって生じるカメラの視野方向の変形例を示す。
無人機カメラのセンサに形成された画像に対してウィンドウ処理および歪み補正を適用して修正画像を生成するための連続したステップ(a)〜(d)を示す、無人機カメラのセンサに形成された画像の一例である。
無人機のロール角が大きく、全体修正表示を生成可能なキャプチャウィンドウの位置が存在しない場合に生じる現象を示す。
無人機のロール角が大きく、全体修正表示を生成可能なキャプチャウィンドウの位置が存在しない場合に生じる現象を示す。
本発明によるセンサの動作構成の動的選択を実行可能な異なる要素を示すブロック図である。
無人機のロール角に応じて2つの異なる可能な構成からの選択を示す概略図である。
無人機のロール角に応じて3つの異なる可能な構成からの選択を示す概略図である。
無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。
無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。
無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。
無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。
無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。

実施例

0031

以下、本発明の例示的な実施形態について説明する。

0032

図1において、参照符号10は、概して、無人機を示し、この無人機は、例えば、Parrot SA(フランス、パリ)のBebop Droneモデルなどのクアッドリコプターである。この無人機は、一体型航行姿勢制御システムによってそれぞれ独立して操縦されるモータを有する4つの同一平面ロータ12を備える。無人機は、進行方向の景色の画像を得ることが可能な前面視野カメラ14を備える。

0033

また、無人機は、下向きの垂直視野カメラ(図示せず)を備え、この垂直視野カメラは、上空飛行中に地上の画像を連続して撮像するように構成され、特に、地面に対して無人機の速度を評価するために使用される。慣性センサ(加速度計およびジャイロ)では、無人機の角速度および姿勢、すなわち、固定された地球基準系の水平面に対する無人機の傾きを表すオイラー角(ピッチφ、ロールθ、ヨーψ)を一定の精度で測定することができる。また、無人機の下に配設された超音波遠隔計器が、地面に対する高度の測定を行う。

0034

無人機10は、搭載された前面カメラ14の画像と、ユーザが指20でタッチスクリーン18に触れるだけでコマンドを作動可能な一定数記号とを重ねて表示するタッチスクリーン18を備えた遠隔制御装置16によって操縦される。遠隔制御装置16は、無人機10から遠隔制御装置16へデータを双方向にやり取りするために、特に、カメラ14によって撮像された画像を送信したり、遠隔制御装置16から操縦コマンドを無人機10へ送ったりするために、例えば、Wi−Fi(IEEE802.11)ローカルネットワークタイプなど、無人機との無線リンク手段を備える。

0035

また、遠隔制御装置16は、ロール軸およびピッチ軸回りの対応する傾きを制御装置に与えることによって無人機姿勢の制御を可能にする傾きセンサを備える。なお、無人機10の水平速度縦軸成分および横軸成分の2つの成分が、2つのそれぞれのピッチ軸およびロール軸回りの傾きに密接に関わりがあることを理解されたい。無人機の操縦では、以下によって無人機を展開させる。
a)無人機を前後に移動させるためのピッチ軸22回りの回転、
b)無人機を左右にシフトさせるためのロール軸24回りの回転、
c)無人機の主軸を左右に旋回させるためのヨー軸26回りの回転、
d)ガス制御を変化させて、無人機の高度をそれぞれ下げたり上げたりする下方または上方の平行移動。

0036

これらの操縦コマンドは、遠隔制御装置16からユーザによって適用される場合、ピッチ軸22およびロール軸24回りを旋回するコマンドa)およびb)は、遠隔制御装置16を長軸28および短軸30回りでそれぞれ傾けることによって得られる。例えば、無人機を前方に動かすためには、遠隔制御装置16を長軸28回りに傾斜させて遠隔制御装置16を前方に傾ければよく、無人機を右側へ寄せて移動させるために、遠隔制御装置16を短軸30回りに傾斜させて遠隔制御装置16を傾ければよく、他も同様である。コマンドc)およびd)は、タッチスクリーン18の対応する特定領域をユーザが指20で触れることで適用される操作から生じる。

0037

無人機は、ホバリング飛行時の安定化を行う自動自立システムを備え、この自動自立システムの作動は、特に、遠隔制御装置のタッチスクリーンからユーザが指を離すとすぐに行われるか、離陸段階完了時に自動的に行われるか、または遠隔制御装置と無人機との間の無線リンクが途切れた場合に行われる。

0038

図2Aは、リフト状態にある無人機の静止時の姿勢のプロファイルを概略的に示す図である。

0039

従来のタイプの前面カメラ14がカバーする視野、例えば、54°の視野をカバーし、中心に合った視野軸δを有するカメラがカバーする視野を参照符号36で図式化されている。

0040

図2bに示すように、無人機が計画的に非ゼロ水平速度で前進している場合、無人機のヨー軸26は、垂直方向Vに対して角度φ(ピッチ角)だけ前方に傾く。矢印38で概略的に示したこのような前方への傾きは、矢印40で概略的に示すように、カメラの視野軸δが水平方向HZの平面に対する同じ値の傾きに関係する。したがって、無人機の加速減速など、無人機の展開中、視野軸δが水平方向HZ回りを永続的に揺動することで、画像も永続的な上向きおよび下向きの揺動の動きを受けることになる。

0041

同様に、無人機が左右に寄せて移動する場合、ロール軸24回りの旋回によってこのような動きが起こり、画像はカメラによって取り込まれる景色の一方向または他方向における回転を受けることになる。

0042

上記の欠点を補償するために、上述した特許文献5において説明されているように、図2aの参照符号42で概略的に示すような、約180°の視野をカバーする魚眼タイプの半球視野レンズを備えたカメラを設けることが提案されてきた。このような魚眼レンズを備えるカメラによって撮像された画像も、従来のカメラと同じ揺動および回転の動きを受けることに違いはないが、従来のカメラによって取り込まれる角度セクタ36に相当する「キャプチャ領域」と呼ばれる特定のウィンドウを選択することで、このカメラの撮像視野の一部のみしか使用されず慣性中心によって決定される無人機の動きに対して反対方向に半球状画像において動的に変位されることで、画像にて観察されることになっていたであろう揺動がなくなる。

0043

したがって、無人機が垂直方向Vに対してピッチ角φ(矢印38)だけ下方に急降下する図2bに示す場合において、キャプチャウィンドウは、同じ値の角度だけ上向き(矢印44)に変位され、したがって、画像領域に相当する視野をカバーする「仮想カメラ」のセクタ36の中心軸を水平方向HZの方へ戻す。

0044

図面に示すように、無人機の前方運動頻度後方運動より高く、また、対象となる領域(上空飛行時の地上)が無人機の上方ではなく無人機のレベルより低い位置にある限り、無人機のさまざまな数の展開構成をカバーし、「仮想カメラ」のキャプチャ領域に相当するセクタ36が魚眼レンズの視野42に常に留まるようにするように、魚眼レンズの主軸Δを(例えば、−20°の高低角だけ)下向きに傾けることが好適なこともある。

0045

図3は、魚眼レンズを備えたビデオカメラのセンサで検出した景色の一例を示す。

0046

図から分かるように、この景色の画像Iは、センサの平面で修正される有効範囲であって、魚眼レンズの半球状または準半球状の有効範囲に固有の非常に高い幾何学的歪みを含む。

0047

魚眼レンズによって生成される画像Iの一部分のみしか使用されない。この部分は、i)「仮想カメラ」の向き、ii)「仮想カメラ」の視野(図2aおよび図2bの参照符号36で概略的に示す)、iii)「仮想カメラ」の縦横比に応じて決定される。原画素データを含む「キャプチャ領域」ZCはこのようにして規定され、この領域は、魚眼レンズによって生じる幾何学的歪みを補償した後、仮想カメラの視野に相当する「有効領域」ZUを含む。

0048

なお、センサに形成された画像Iの画素のすべてを撮像することは有益ではなく、キャプチャ領域ZCに相当するこれらの画素の一部のみを撮像すればよい。したがって、例えば、HD画質(1920×1080画素、すなわち、有効領域ZUに対して2M画素)の画像を得ることが望ましい場合、仮想カメラの向きに関わらず高品質のHD表示を抽出可能なように、非常に高解像度魚眼画像を最初に有する必要があり、これは、通常、14M画素(4608×3288画素)の解像度を有するセンサを備えることを意味する。このような状況において、画像Iの全体を処理に回す場合、このような処理は画像毎に14M画素の画素データの流れに相当し、この解像度で毎秒約6画素(ips)のフレームレートになり、(30ipsに近いフレームレートを課す流動的なビデオシーケンスには不十分なものになる。したがって、キャプチャ領域ZCの中から実際に必要な画素データのみ、例えば、約2M画素のキャプチャウィンドウZCを回すことで、特に問題なく30ipsのレートでリフレッシュされうる。したがって、高画像フローレートを維持しながら、高解像度センサが選択されてもよい。

0049

図3の図(a)〜(d)は、幾何学的歪みが補償された最終画像を得るために、キャプチャ領域ZCの画素データに対して実行したさまざまな処理を示す。

0050

この処理では、キャプチャ領域ZC(図(b))から転送した画素データに基づいて、原有効領域ZUB(図(c))から画素データを抽出し、抽出した画素データに三角メッシュ技術(既知の技術)を適用する。三角メッシュ技術では、各三角形を伸張させ画像を修正することで、修正された画素データを有する修正済み有効画像ZUR(図(d))を与えることができる。特に、魚眼画像の湾曲が強い横線を直線にし、幾何学的歪みのない自然な視野に相当する画像を生成するように補正する。

0051

本発明の目的は、無人機のロール角(長軸24回りの回転)が大きい場合、一般的には、およそ15°の値を超える場合、キャプチャ領域ZCから画像領域ZIを抽出するさいに現れる特定の欠点を解消することである。このような欠点は、特に、無人機が左右へ横方向に突然触れたり、一方向から他方向へ急旋回するさいに起こることがある(ロール角に応じた傾きが、無人機の水平速度が速いほど大きくなるピッチ角に応じた傾きと組み合わさる)。

0052

図4aおよび図4bにこの現象を例示する。例えば、無人機のピッチが水平(ホバリング飛行に相当する姿勢)の場合、センサの表面で取得した画像は、図4aに示すものとなり、同図において、矩形状のキャプチャ領域ZCは、魚眼レンズによって生成される半球状の画像の中心にあり、より小さいサイズの矩形状の画像領域ZIは、キャプチャ領域ZC内に位置し、同様に中心に位置する。

0053

ロール軸回りの無人機の左右の回転に伴い、例えば、図4bに示すように、無人機が右に角度θだけ回転して無人機の姿勢が変化する場合、センサに形成された画像は、その変化に対応する回転を受ける。

0054

しかし、ロール角の値があるしきい値を超えている場合、画像領域ZIは、キャプチャ領域ZC内にすべて収まりきれず、この画像領域ZIの2つの対向角がキャプチャ領域ZCを越えた範囲に及んでしまう。これらの領域ZXにおいて、画素データは送られないため(カメラの出力で抽出され送られるセンサの画素がキャプチャ領域ZCに制限されているため)、これらの領域に対応する2つの対向角が2つのグレー領域になった最終画像となる。これらのグレー領域は、無人機の展開中に非常に稀にしか現れないとしても、記録し後で再生することが意図された一連の画像に見える状態で残るアーチファクトとなり、問題である。

0055

無人機が単に停止状態で使用され、手に持って単なるカメラとし使用される場合にも同じ現象が現れる。例えば、無人機(カメラ)が長軸回りに大きく傾けられると、このような過度の傾きが続く限りグレー領域ZXのアーチファクトが存在することになる。

0056

このような欠点を解消するために、本発明は、センサの異なる動作構成を動的に切り換えることを提案する。
「動作構成」とは、本明細書の冒頭で示したように、
‐カメラによって出力として送信される画像(画像領域ZI)の画素単位で表される出力解像度、すなわち、サイズと、
‐センサの表面にて取得される領域(キャプチャ領域ZC)の画素単位で表されるキャプチャ解像度、すなわち、サイズと、
‐キャプチャモード、すなわち、キャプチャ解像度から出力解像度への切り換えを可能にする処理と、
を含むカメラのキャプチャパラメータセットを意味する。

0057

上記キャプチャパラメータについて、デジタルカメラは、いくつかのビデオデータ取得モードを提案し、そのうち最も一般的なものは、
所与のウィンドウ内で取得したすべての画素がセンサの出力として送信される「ノーマル」モード。したがって、キャプチャ解像度は、出力解像度と同一であり、画像の品質は最大である。
‐隣り合う画素を電気的にまとめてマクロ画素を形成し、これらのマクロ画素を画素データとして出力にて送られる、いわゆる、「ビニング」モード。したがって、より広範な表面の撮像を同等の取得時間で行うことが可能になるが(したがって、映像シーケンスの流動性に影響なし)、引き替えに少なくとも50%の重大な精細度損失を被ることになる。実際、水平方向および/または垂直方向に画素を少なくとも2×2にまとめて、個々の画素を平均化することによってマクロ画素を形成する。
‐ビニングモードより低減レベルをさらに微調整することができる、いわゆる、「スケーリング」モード。実際、ビニングは、ピクセルのグループ化によって作用することから、2nタイプの比率に限定されるが、一方で、スケーリングの操作では、隣り合う画素の値に応じて各画素を個別にフィルタリングでソフトウェア低減させる。このように、3/4、2/3などの倍率の低減が行われ、ビニングモードより品質の良い画像が生成される。一方で、このスケーリングモードは、画質低減のために必要な計算が多いため速度が遅く、フィルタリングを実行するためには、キャプチャ表面の画素をすべて取得しなければならない。

0058

図5は、本発明により、動作構成の動的切り換えを制御することが可能な画像処理回路の異なる要素を示すブロック図である。

0059

無人機のカメラ14は、角変位を受ける。これらの変位は、無人機、ひいては、カメラの瞬間的な回転を表す信号を送る慣性ユニットIMU50によって測定され、慣性ユニット50およびカメラ14は機械的に固定されている。これらの回転は、固定された地球基準系(オイラー角)に関して三次元における無人機の傾きを表すピッチ角φ、ロール角θヨー角ψによって与えられる。

0060

これらの回転測定値は、ビデオ処理モジュール52に適用され、ウィンドウ調整、画像の安定化およびカメラ14によって送られる原画像信号のアーチファクトの補正を確保する。ビデオ処理モジュール52は、補正され安定化された画像信号を出力として送り、遠隔画面上での視覚化デジタルメモリへの記録などのためにユーザに送信される。ビデオ処理モジュール52によって実行されるウィンドウ処理は、予測モジュール56によって送られた回転角φ、θ、ψの予測値から、デジタルセンサに形成された半球状の画像におけるキャプチャウィンドウZCの位置の計算を行うモジュール54によって制御され、予測モジュール56は、慣性ユニット50によって送られる無人機の回転の瞬間的な値を入力として受信する。このデータは、ビデオカメラによる画像の取得周波数、一般的に、30Hzの周波数より非常に高いジャイロの取得周波数、一般的に、990Hzの周波数で送られる。

0061

本発明の特徴として、モジュール54は、予測モジュール56によって予測されるロール角に応じてセンサの最良の構成を選択するためのモジュール58さらに含む。

0062

図6は、無人機のロール角に応じて、2つの異なる可能な構成の選択がどのように行われるかを概略的に示す。ここで、2つの異なる可能な構成は、例えば、以下の2つである。
‐ロール角θが15°未満の場合の「ノーマルモード」構成。選択された構成により、例えば、1408×2112画素に等しい出力キャプチャ解像度の最高品質が得られる。
‐劣化モード構成。例えば、ロール角が、全画像領域を生成できないしきい値(例えば、しきい値θ=15°)を超える場合の「水平ビニング」モード(図4aおよび図4bを参照して上記において記載)。劣化モード構成では、1408×2112画素の出力解像度を得るために、例えば、2816×2112画素のキャプチャ解像度が得られる。

0063

しきい値を超えると、モジュール58は、低品質であるが、キャプチャ領域がさらに拡張されてカメラを動作させるセンサ再構成の信号をカメラ14に送る。ビニングモードのこのような低品質構成は、ロール角θが上述したしきい値を超える限り維持される。好ましくは、しきい値付近での複数のスイッチング現象を解消するために、ロール角が、例えば、12°を下回る場合のみノーマルモード構成への復帰を引き起こすことによって、ヒステリシスを導入することが可能である(一方で、ロール角が15°を超えると、逆の傾きが制御される)。

0064

図7は、図6に類似しており、3つの異なる可能な構成について、例えば、ノーマルモードの最高品質とビニングモードのより強い劣化の品質との間の中間である弱い劣化の品質のスケーリングモードの中間構成を備える。

0065

3つのモード間の切り換えは上述したものと同じように操作され、例えば、ノーマルモードの0〜15°のロール角範囲、スケーリングモードの15〜25°、ビニングモードの25〜45°に基づいて操作され、いずれの場合も、ある構成から他の構成への切り換え時にヒステリシスが導入される。

0066

図8aから図8eは、無人機はまずフラット状態にあり、わずかに傾いた後、さらに顕著に傾いた後、フラット状態に戻る工程で、2つの異なる構成である最高および低の間で切り換える一例を示す。

0067

これらの図において、画像領域ZIは点線で示され、キャプチャ領域は鎖線で示される。このキャプチャ領域は、カメラがノーマルモードで操作される場合、ベースキャプチャ領域ZCBであってもよく、カメラが劣化モードで操作される場合、例えば、ベースキャプチャ領域ZCBの4倍拡張された拡張キャプチャ表面ZCEを有する2×2ビニングモードにおいて、このキャプチャ領域は、拡張キャプチャ領域ZCEであってもよい。

0068

最初(図8a)、無人機は水平であり、一般的に、ホバリング飛行状況に相当する。ロール角θは0°であり、ベースキャプチャ領域の軸Dおよび画像領域ZIの軸B’は一致している。

0069

ロール角θが15°未満、例えば、ロール角θ=12°に無人機がわずかに傾くと(図8b)、画像領域ZIは、ベースキャプチャ領域ZCBにすべて収まったままである。

0070

無人機がさらに顕著に傾くと(図8c)、例えば、ロール角θ=30°に傾くと、ベースキャプチャ領域ZCBは画像領域ZIを含まなくなり、画像領域ZIは、ベースキャプチャ領域を越えて非キャプチャ領域ZXに及ぶ。センサは、ほとんどの極限構成(θ=45°まで)でも、画像領域ZIを常に含むことが可能な拡張キャプチャ領域ZCEを有する劣化構成(ビニングまたはスケーリング)に切り換わる。

0071

無人機が逆動作を行うと、この構成は、ロール角θ=12°に達するまで維持される(図8d)。なお、図8dにおいて、傾きは図8bと同じであるが、キャプチャ領域は、拡張キャプチャ領域ZCEのままである(ヒステリシス効果)。実際、早急にノーマルモードに戻ると、許容誤差が低すぎて、キャプチャ領域の表面が画像領域を常に含むことができるか確実ではなくなることがある。

0072

ノーマルモードへの切り換えは、許容誤差が十分に高い場合のみにすることで(図8e)、ノーマルモードへのセンサの逆切り換え操作を最高品質で行うことが可能になる。

0073

したがって、いずれの場合も、ロールが大きい場合であっても、画像に欠落ピクセルが生じることなく安定化された視野が常に生成されることが分かる。ビニングモードが使用される場合(図8cおよび図8dの状況)、当然ながら画像のぼけはわずかに強くなるが、このような修正は一時的なもので、いずれにせよ、ピクセルが欠落してユーザに渡る最終画像の帯や角がグレーになる場合と比較するとほとんど気が付きにくい。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • NECエナジーデバイス株式会社の「 電池パック、制御装置、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題・解決手段】電池パック(2000)は、二次電池(2020)、センサ(2040)、及び制御装置(2060)を有する。二次電池(2020)は、飛行体(10)に電力を供給する。センサ(2040)は、二... 詳細

  • コニカミノルタ株式会社の「 ガス検知システム」が 公開されました。( 2020/10/29)

    【課題・解決手段】雨や雪から生じた水蒸気を監視対象のガスと区別することができるガス検知システムを提供する。ガス検知システム100は、赤外カメラ21と、赤外カメラ21によって撮影した画像がガスか否かを判... 詳細

  • 株式会社NTTドコモの「 情報処理装置」が 公開されました。( 2020/10/29)

    【課題・解決手段】飛行予定取得部101は、各事業者端末20から送信されてきた飛行予定情報を取得する。割当部106は、取得された飛行予定情報に基づいてドローン30に飛行空域及び飛行許可期間を割り当てる。... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ