図面 (/)

技術 水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン

出願人 パロットドローンズ
発明者 ピエールエリネフランソワカロウ
出願日 2016年3月31日 (4年9ヶ月経過) 出願番号 2016-070013
公開日 2016年11月17日 (4年1ヶ月経過) 公開番号 2016-193720
状態 未査定
技術分野 飛行船・気球・飛行機 直線速度または角速度の測定、およびその指示装置 スタジオ装置
主要キーワード 取得周波数 クロノグラム 推定変位 均衡点 偏心角 事前較正 事前補正 立ち上がり縁
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年11月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

直視カメラによって与えられる2つの連続した画像を解析することで、画像のこの見かけ変位を距離に変換し、さらに速度に変換する。」

解決手段

ビデオカメラは、ドローンが上方を飛行する地面の画像信号伝送する。ジャイロメータセンサ102は、ドローンの姿勢特徴付けオイラー角(φ、θ、ψ)を測定し、瞬間的な回転を表すジャイロメータ信号を伝送する。回転補償手段136は、画像信号およびジャイロメータ信号を受信し、その後にドローンの水平速度推定するために使用される、回転が補償されたリタイミングされた画像データを伝送する。カメラおよび慣性ユニットは、共通のクロック160によって動かされる。ジャイロメータ信号と画像信号の間の移相の値を決定し、この移相値を回転補償手段の入力に適用して、リタイミングされた画像データを計算する前に、画像信号をジャイロメータ信号に再同期させる回路がさらに設けられる。

概要

背景

フランスのパリに本社を置くParrot社製のAR.Drone2.0またはBebop Droneは、このようなクアドリコプタの代表例である。これらは、一連センサ加速度計、3軸ジャイロメータ高度計)、ドローンが向けられている方向の光景の画像を撮像する前方カメラ、および眼下の地面の画像を撮像する垂直視カメラを備える。これらは、それぞれのモータによって駆動される複数のロータを備え、これらのモータを差動的に制御して、ドローンを所定の姿勢および速度で操縦することができる。このようなドローンの様々な態様は、特に、EP2 364 757A1、EP2 400 460A1、EP2 613 213A1またはEP2 644 240A1、EP2 613 214A1(Parrot社)に記載されている。

本発明は、より詳しくは、垂直視カメラによって撮像された一連の画像を解析する計算機による、垂直視カメラから提供される画像の使用に基本的に基づく、ドローンの水平速度の測定に関する。カメラ推定変位から、慣性センサ(加速度計)から独立して、2つの方向へのドローンの水平移動測定値が得られる。

より詳しくは、カメラによって与えられる2つの連続した画像を解析することで、絶対地基準系の一方または他方の水平次元見かけ変位ピクセル数で得られる。高度が既知である(ドローンに搭載された超音波センサおよび気圧センサにより与えられる)場合には、これらの画像のこの見かけの変位を距離に変換し、2つの連続した画像を隔てる時間間隔が分かっていれば、さらに速度に変換することができる。

上述のEP2 400 460A1には、いわゆる「オプティカルフロー」型のアルゴリズムに基づいて水平速度を測定するこのような技術が記載され、また、オプティカルフローアルゴリズムでは十分に信頼できる結果が得られないときに、動的な制御によって「ポイント検出器」または「関心点検出」型の別のアルゴリズムに切り替えることができることが記載されている。

オプティカルフロー方法には多数の利点があり、特に、コントラストおよび光景の内容に関する制約が非常に少ないということ、ならびに「複数解像度」型の手法により、高速および低速の両方を推定することができるということがある。一方で、この方法は、回転および姿勢の変化に非常に敏感であり、伝送される結果の品質を本質的に検証することができない、すなわち、このアルゴリズムは、十分な数の点が高い勾配を示す瞬間の結果を伝送するが、この結果は、それが意味をなさない場合でも伝送される。

事実上、伝送される結果は、特に低速の場合には、必ずしも信頼できるものとは限らず、またそれほど精度も高くない。現在では、ホバー飛行時の自動安定化を効率的かつ敏感に制御するためには、正確で、敏感で(均衡点付近における直線速度は非常に低速である可能性があるため)、かつ実時間で利用できる水平速度の測定値を有することが必要である。

ドローンの水平速度の測定値に影響を及ぼす可能性があるこれらの回転および姿勢変化は、慣性ユニットによって実時間で測定することができる。オプティカルフローアルゴリズムの実施は、それ自体既知の方法で、連続して使用される画像の間の回転を補償するステップをさらに含む。その目的のために、入る可能性のある誤差画像平面回転軸に直交する平面との間の交線に沿った成分を追加する回転)を、2つの連続する画像の間の回転による光学中心の変位を推定オプティカルフローに追加することによって補償する。換言すれば、カメラによって撮像された光景の2つの連続する画像の間に回転がある場合には、直前の画像と比較する前に、ドローンの信号プロセッサ内のソフトウェアによって実時間で実行される射影行列計算によって、その画像の新たなバージョンを生成する。この回転補償により、速度計算を、特にホバー飛行時に起こる回転に対してロバストにし、ドローンの変位の線型モデルを保持することができる。

この回転補償技術を実施する際の問題は、慣性ユニットがアルゴリズムに与える回転角(特にロール角およびピッチ角)の値の誤差が、画像の横方向移動と同じ結果を生じること、および回転補償アルゴリズムが一方の画像を他方の画像に対して完璧にリタイミングするときであっても、最小限の誤差でも、水平速度の成分の推定にバイアスを生じる可能性があることである。

こうした最小限の誤差は、特に、垂直カメラから伝送される画像信号と慣性ユニットから伝送されるジャイロメータ信号との間の同期の欠陥から生じる可能性がある。

回転補償プロセスにおけるいかなる誤差も回避することが望ましい場合には、したがって、画像ごとに、これら2つの信号の間の極めて正確な同期を保証することが重要である。

Myung Hwangboによる「Robust Monocular Vision−based Navigation for a Miniature Fixed−Wing Aircraft」、カーネギメロン大学ロボット研究所、2009年9月15日、4.2.3章、「Camera−IMU synchronization」には、画像信号とジャイロメータ信号の間のずれを測定する単純な技術が記載されている。この技術は、この時間のずれが常に一定であるという仮定に基づくものである。この技術は、事前較正ステップで、ドローンに正弦波状の動きを付与し、この正弦波状の動きのオプティカルフローの計算に基づいて動きを推定することにある。この動き推定結果を、次いで、ジャイロメータの測定結果と比較し、2つの正弦波形信号(画像信号およびジャイロメータ信号)をリタイミングすることにより、探索した位相を与える。この測定した位相は、較正ステップ後は一定であると考えられ、その後の飛行フェーズでは永続的かつ静的に適用される。

しかし、実際には、永続的に変化する可能性がある様々な要因、特に信号のソフトウェア処理における特定の待ち時間により、同期の誤差が生じ得る。この待ち時間は、一定でなく、特に所与の瞬間のプロセッサ作業負荷に応じて予測不能な形で変化するからである。

上述の単純な事前較正技術は、時間的なずれが常に一定であるという仮定に基づくものであり、これらの動的な現象を考慮することは全くできない。

概要

垂直視カメラによって与えられる2つの連続した画像を解析することで、画像のこの見かけの変位を距離に変換し、さらに速度に変換する。」ビデオカメラは、ドローンが上方を飛行する地面の画像信号を伝送する。ジャイロメータセンサ102は、ドローンの姿勢を特徴付けオイラー角(φ、θ、ψ)を測定し、瞬間的な回転を表すジャイロメータ信号を伝送する。回転補償手段136は、画像信号およびジャイロメータ信号を受信し、その後にドローンの水平速度を推定するために使用される、回転が補償されたリタイミングされた画像データを伝送する。カメラおよび慣性ユニットは、共通のクロック160によって動かされる。ジャイロメータ信号と画像信号の間の移相の値を決定し、この移相値を回転補償手段の入力に適用して、リタイミングされた画像データを計算する前に、画像信号をジャイロメータ信号に再同期させる回路がさらに設けられる。

目的

この技術は、事前の較正ステップで、ドローンに正弦波状の動きを付与し、この正弦波状の動きのオプティカルフローの計算に基づいて動きを推定することにある

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ドローン(10)であって、前記ドローンが上方を飛行する地面(T)の光景の方を向き、前記光景の一連の画像を撮像し、対応するデジタル画像信号(ScamV)を出力として伝送するように適合された垂直視ビデオカメラ(16)と、絶対地基準系(UVW)に対する前記ドローンの姿勢特徴付けオイラー角(φ、θ、ψ)を測定し、前記ドローンの瞬間的な回転を表すジャイロメータ信号(Sgyro)を出力として伝送するように適合されたジャイロメータセンサ(102)を含む慣性ユニット(154)と、i)前記カメラから伝送された画像信号(ScamV)、およびii)前記慣性ユニットから伝送されたジャイロメータ信号(Sgyro)を入力として受信し、1つの画像から次の画像までの間の前記ドローンの回転が補償されたリタイミングされた画像データを出力として伝送する回転補償手段(136)と、前記カメラによって撮像された前記光景の1つの画像から次の画像までの間の変位に基づいて前記ドローンの水平速度推定する手段(138)であって、前記リタイミングされた画像データを入力として受信する推定手段とを備え、前記カメラおよび前記慣性ユニットは、共通のクロック(160)によって動かされ、前記ジャイロメータセンサの取得周波数が、前記カメラの画像信号の伝送の周波数倍数であり、前記慣性ユニットから伝送された前記ジャイロメータ信号(Sgyro)を前記カメラから伝送された前記画像信号(ScamV)と比較し、これらの信号の間の移相の値を決定し、この移相値を前記回転補償手段(136)の入力に適用するように適合された回路(170)がさらに設けられ、前記回転補償手段(136)が、前記リタイミングされた画像データを計算する前に、前記慣性ユニットから伝送された前記ジャイロメータ信号への、前記カメラから伝送された前記画像信号(ScamV)の再同期事前補正を実行するようにさらに適合されている、ことを特徴とするドローン(10)。

請求項2

前記慣性ユニットから伝送された前記ジャイロメータ信号を前記カメラから伝送された前記画像信号と比較し、これらの信号の間の移相の値を決定し、この移相値を前記回転補償手段の入力に適用するように適合された前記回路(170)は、ハードウェア技術回路である、請求項1に記載のドローン。

請求項3

前記慣性ユニットから伝送された前記ジャイロメータ信号を、前記一連の画像のうちの2つの連続した画像に対応する画像信号の伝送の間に含まれる時間間隔にわたって積分するように適合された積分手段をさらに備えた請求項1に記載のドローン。

技術分野

0001

本発明は、ドローン、特にクアドリコプタなどの回転翼ドローンなどの電動式飛行デバイス操縦に関する。

背景技術

0002

フランスのパリに本社を置くParrot社製のAR.Drone2.0またはBebop Droneは、このようなクアドリコプタの代表例である。これらは、一連センサ加速度計、3軸ジャイロメータ高度計)、ドローンが向けられている方向の光景の画像を撮像する前方カメラ、および眼下の地面の画像を撮像する垂直視カメラを備える。これらは、それぞれのモータによって駆動される複数のロータを備え、これらのモータを差動的に制御して、ドローンを所定の姿勢および速度で操縦することができる。このようなドローンの様々な態様は、特に、EP2 364 757A1、EP2 400 460A1、EP2 613 213A1またはEP2 644 240A1、EP2 613 214A1(Parrot社)に記載されている。

0003

本発明は、より詳しくは、垂直視カメラによって撮像された一連の画像を解析する計算機による、垂直視カメラから提供される画像の使用に基本的に基づく、ドローンの水平速度の測定に関する。カメラ推定変位から、慣性センサ(加速度計)から独立して、2つの方向へのドローンの水平移動測定値が得られる。

0004

より詳しくは、カメラによって与えられる2つの連続した画像を解析することで、絶対地基準系の一方または他方の水平次元見かけ変位ピクセル数で得られる。高度が既知である(ドローンに搭載された超音波センサおよび気圧センサにより与えられる)場合には、これらの画像のこの見かけの変位を距離に変換し、2つの連続した画像を隔てる時間間隔が分かっていれば、さらに速度に変換することができる。

0005

上述のEP2 400 460A1には、いわゆる「オプティカルフロー」型のアルゴリズムに基づいて水平速度を測定するこのような技術が記載され、また、オプティカルフローアルゴリズムでは十分に信頼できる結果が得られないときに、動的な制御によって「ポイント検出器」または「関心点検出」型の別のアルゴリズムに切り替えることができることが記載されている。

0006

オプティカルフロー方法には多数の利点があり、特に、コントラストおよび光景の内容に関する制約が非常に少ないということ、ならびに「複数解像度」型の手法により、高速および低速の両方を推定することができるということがある。一方で、この方法は、回転および姿勢の変化に非常に敏感であり、伝送される結果の品質を本質的に検証することができない、すなわち、このアルゴリズムは、十分な数の点が高い勾配を示す瞬間の結果を伝送するが、この結果は、それが意味をなさない場合でも伝送される。

0007

事実上、伝送される結果は、特に低速の場合には、必ずしも信頼できるものとは限らず、またそれほど精度も高くない。現在では、ホバー飛行時の自動安定化を効率的かつ敏感に制御するためには、正確で、敏感で(均衡点付近における直線速度は非常に低速である可能性があるため)、かつ実時間で利用できる水平速度の測定値を有することが必要である。

0008

ドローンの水平速度の測定値に影響を及ぼす可能性があるこれらの回転および姿勢変化は、慣性ユニットによって実時間で測定することができる。オプティカルフローアルゴリズムの実施は、それ自体既知の方法で、連続して使用される画像の間の回転を補償するステップをさらに含む。その目的のために、入る可能性のある誤差画像平面回転軸に直交する平面との間の交線に沿った成分を追加する回転)を、2つの連続する画像の間の回転による光学中心の変位を推定オプティカルフローに追加することによって補償する。換言すれば、カメラによって撮像された光景の2つの連続する画像の間に回転がある場合には、直前の画像と比較する前に、ドローンの信号プロセッサ内のソフトウェアによって実時間で実行される射影行列計算によって、その画像の新たなバージョンを生成する。この回転補償により、速度計算を、特にホバー飛行時に起こる回転に対してロバストにし、ドローンの変位の線型モデルを保持することができる。

0009

この回転補償技術を実施する際の問題は、慣性ユニットがアルゴリズムに与える回転角(特にロール角およびピッチ角)の値の誤差が、画像の横方向移動と同じ結果を生じること、および回転補償アルゴリズムが一方の画像を他方の画像に対して完璧にリタイミングするときであっても、最小限の誤差でも、水平速度の成分の推定にバイアスを生じる可能性があることである。

0010

こうした最小限の誤差は、特に、垂直カメラから伝送される画像信号と慣性ユニットから伝送されるジャイロメータ信号との間の同期の欠陥から生じる可能性がある。

0011

回転補償プロセスにおけるいかなる誤差も回避することが望ましい場合には、したがって、画像ごとに、これら2つの信号の間の極めて正確な同期を保証することが重要である。

0012

Myung Hwangboによる「Robust Monocular Vision−based Navigation for a Miniature Fixed−Wing Aircraft」、カーネギメロン大学ロボット研究所、2009年9月15日、4.2.3章、「Camera−IMU synchronization」には、画像信号とジャイロメータ信号の間のずれを測定する単純な技術が記載されている。この技術は、この時間のずれが常に一定であるという仮定に基づくものである。この技術は、事前較正ステップで、ドローンに正弦波状の動きを付与し、この正弦波状の動きのオプティカルフローの計算に基づいて動きを推定することにある。この動き推定結果を、次いで、ジャイロメータの測定結果と比較し、2つの正弦波形信号(画像信号およびジャイロメータ信号)をリタイミングすることにより、探索した位相を与える。この測定した位相は、較正ステップ後は一定であると考えられ、その後の飛行フェーズでは永続的かつ静的に適用される。

0013

しかし、実際には、永続的に変化する可能性がある様々な要因、特に信号のソフトウェア処理における特定の待ち時間により、同期の誤差が生じ得る。この待ち時間は、一定でなく、特に所与の瞬間のプロセッサ作業負荷に応じて予測不能な形で変化するからである。

0014

上述の単純な事前較正技術は、時間的なずれが常に一定であるという仮定に基づくものであり、これらの動的な現象を考慮することは全くできない。

0015

本発明は、ドローン飛行中の任意の時点において、実時間で、垂直カメラから伝送される画像信号とドローンの慣性ユニットから伝送されるジャイロメータ信号との間の極めて正確な同期を保証することを可能にする解決策を提案することによって、上述の欠点を解消することを目的とする。また、これは、連続した画像の間の回転の補正に任意のバイアスが入ることを回避するために、ドローンの水平速度成分の推定の確度に関する上記で示した重要な結果を有する。

0016

この目的のために、本発明は、
ドローンが上方を飛行する地面の光景の方を向き、この光景の一連の画像を撮像し、対応するデジタル画像信号を出力として伝送するように適合された垂直視ビデオカメラと、
絶対地球基準系に対するドローンの姿勢を特徴付けオイラー角を測定し、ドローンの瞬間的な回転を表すジャイロメータ信号を出力として伝送するように適合されたジャイロメータセンサを含む慣性ユニットと、
i)カメラから伝送された画像信号、およびii)慣性ユニットから伝送されたジャイロメータ信号を入力として受信し、1つの画像から次の画像までの間のドローンの回転が補償されたリタイミングされた画像データを出力として伝送する回転補償手段と、
カメラによって撮像された光景の1つの画像から次の画像までの間の変位に基づいてドローンの水平速度を推定する手段であって、上記のリタイミングされた画像データを入力として受信する推定手段と
を、上述のEP2 400 460A1からそれ自体既知の方法で含むドローンを提案する。

0017

本発明の特徴として、
カメラおよび慣性ユニットは、共通のクロックによって動かされ、
ジャイロメータセンサの取得周波数は、カメラの画像信号の伝送の周波数倍数であり、
慣性ユニットから伝送されたジャイロメータ信号をカメラから伝送された画像信号と比較し、
これらの信号の間の移相の値を決定し、
この移相値を回転補償手段の入力に適用する
ように適合された回路がさらに設けられ、
回転補償手段は、上記のリタイミングされた画像データを計算する前に、慣性ユニットから伝送されたジャイロメータ信号への、カメラから伝送された画像信号の再同期事前補正を実行するようにさらに適合されている。

0018

非常に好ましくは、慣性ユニットから伝送されたジャイロメータ信号をカメラから伝送された画像信号と比較し、これらの各信号の間の移相の値を決定し、この移相値を回転補償手段の入力に適用するように適合された上記の回路は、ハードウェア技術回路である。

0019

好ましくは、このドローンは、慣性ユニットから伝送されたジャイロメータ信号を、上記の一連の画像のうちの2つの連続した画像に対応する画像信号の伝送の間に含まれる時間間隔にわたって積分するように適合された積分手段をさらに含む。

0020

次に、本発明の例示的な実施形態について、添付の図面を参照して説明する。全ての図面を通じて、同じ参照番号は、同じ要素、または機能的に同様の要素を指している。

図面の簡単な説明

0021

図1は、遠隔制御デバイスによって操縦されるドローンを示す全体図である。
図2は、ドローンの制御、サーボ制御および操縦を行うための様々な部材を示すブロック図である。
図3は、ビデオカメラとジャイロメータの間の同期機構に関わる様々な要素を示すブロック図である。
図4は、カメラおよびジャイロメータから伝送される信号の間の時間関係を示す様々なクロノグラムである。

実施例

0022

次に、本発明の例示的な実施形態について説明する。図1において、参照番号10は、ドローンの全体を示し、このドローンは、例えばフランスのパリに本社を置くParrot社製のBebop Droneなどのクアドリコプタである。このドローンは、一体型ナビゲーションおよび姿勢制御システムによって互いに独立して動かされるモータを有する4つの同一平面ロータ12を含む。このドローンは、例えば30fps(フレーム/秒)のビデオフローリフレッシュ周波数を有する1920×1080ピクセル解像度CMOSセンサを備えた高精細度広角カメラなど、ドローンが向けられている方向の光景の画像を取得することを可能にする前方視カメラ14を備える。このドローンは、上方を飛行される地面Tの連続的な画像を撮像するように適合され、特に地面に対するドローンの速度を評価するために使用される、下向きの垂直視カメラ16も備える。このカメラは、例えば、60fpsのビデオフローのリフレッシュ周波数および64°の画角を有するQVGA解像度(320×240ピクセル)のCMOSセンサを備えたカメラである。

0023

このドローンは、ドローンの角速度および偏心角、すなわち固定地球基準系UVWの水平平面に対するドローンの傾きを記述するオイラー角(ピッチφ、ロールθおよびヨーψ)を特定の確度で測定することを可能にする慣性センサ(加速度計およびジャイロメータ)も備える。水平速度の前後方向成分および左右方向成分の2つの成分は、それぞれピッチ軸およびロール軸の2つの軸の方向の傾きと密接に関係していることが分かっている。

0024

ドローン10は、例えばiPhone(登録商標)タイプなどのスマートフォンまたはiPad(登録商標)タイプなどのタブレットなど、加速度計が一体化されたタッチスクリーン式マルチメディア電話またはタブレットなどの遠隔の遠隔制御デバイス18によって操縦される。これは、ドローン10の操縦と搭載された前方カメラ14によって撮影された画像の視覚化とを制御するための移動アプリケーションAR Free Flight(登録商標)など特定のアプリケーションソフトウェアがロードされていることを除けば改変されていない、標準的なデバイスである。デバイス18は、本体20と、前方カメラ14によって撮像された光景の画像を、単にユーザの指24がスクリーンに表示されたシンボルに触れるだけで操縦コマンド(上昇/下降など)を起動できるようにする特定数のシンボルを重畳して表示するタッチスクリーン22とを含む。デバイス18は、ロール軸およびピッチ軸の方向の対応する傾きをデバイスに付与してドローンを前進または後退させることによってドローンの姿勢を制御することを可能にする傾きセンサも備える。ユーザのアクションは、それらをドローンへのコマンド信号に変換する特定のアプリケーションソフトウェアによって解釈される。

0025

図2は、本発明の技術によるドローンの制御、サーボ制御および操縦ならびに画像の変位の補正のための様々な部材を示すブロック図である(なお、これらの機構は、相互接続された回路として示してあるが、これらの様々な機能の実装は、基本的にソフトウェアに基づくものであり、この図は単なる例示に過ぎない)。

0026

一般に、操縦システムは、水平速度、角速度、ドローンの姿勢、および高度の変化を、自動的に、またはユーザの制御下で制御するための、いくつかのインターリーブされたループを含む。

0027

最も中央のループは、角速度制御ループ100であり、このループは、一方ではジャイロメータ102から供給される信号を使用し、他方では角速度セットポイント104からなる基準を使用する。この情報は、角速度補正ステージ106の入力に適用され、角速度補正のステージ106自体は、モータ110の制御のステージ108を動かして、様々なモータのレジーム別個に制御して、これらのモータによって駆動されるロータの全体としての動きによってドローンの角速度を補正するものである。

0028

角速度制御ループ100は、ジャイロメータ102および加速度計114から供給される指示に基づいて動作する姿勢制御ループ112とインターリーブされる。これらのセンサから入来するデータは、ドローンの実際の姿勢の推定を生成するステージ118に適用され、このドローンの実際の姿勢の推定は、姿勢補正のステージ120に適用される。このステージ120は、ドローンの実際の姿勢を、ユーザ124によって直接与えられるコマンドに基づいて、かつ/またはドローンの自動操縦によって水平速度補正回路126を介して内部で生成されるデータに基づいて、回路122によって生成される角度セットポイントと比較する。回路120に適用され、ドローンの実際の姿勢と比較され、場合によって補正されるセットポイントは、モータを適宜制御するために、回路120から回路104に伝送される。

0029

水平速度制御ループ130は、垂直ビデオカメラ16と、超音波遠隔測定センサ132と、高度計として働く気圧センサ134とを含む。回路136は、垂直カメラ16によって生成された画像を、加速度計114および姿勢推定回路118の信号と組み合わせて処理することができるようにして、回路138がドローンのピッチ軸およびロール軸の2つの軸に沿った水平速度VxおよびVyの推定を得ることを可能にするデータを生成する。推定した水平速度VxおよびVyは、回路140によって与えられる垂直速度Vzの推定と、センサ132および134の情報に基づいて回路142によって与えられる高度zの値の推定とによって補正される。

0030

ドローンの垂直変位を制御するために、ユーザ124は、高度セットポイントを計算する回路144にコマンドを与え、この高度セットポイントは、回路142によって与えられる推定高度値を受信する高度補正回路148を介して、上昇速度セットポイントVzを計算する回路146に与えられる。このようにして計算された上昇速度Vzは、回路150に与えられ、回路150は、この上昇速度Vzを、回路140によって推定された対応する速度と比較し、その結果に応じて全てのモータで同時に回転速度を上げる、または下げることによってモータコマンドデータ(回路108)を修正して、上昇速度セットポイントと測定した上昇速度の間の差が最小になるようにする。

0031

前方ビデオカメラ14について述べると、この前方ビデオカメラ14は、生ビデオデータピクセルデータ)を、慣性ユニット154(ジャイロメータ102、加速度計114および姿勢推定回路118など)によって決定されたキャプチャゾーン内の有用なピクセルの選択を保証するウィンドウ生成回路152に伝送する。キャプチャゾーン内に記入されたビデオデータは、修正されたビデオデータを生成する幾何学的歪み補正回路156に与えられ、この修正されたビデオデータは、ユーザが保持している遠隔の遠隔制御デバイスへのビデオ画像の伝送を保証する発振回路158に伝送される。

0032

次に、回路138によって推定される水平速度の計算のためのジャイロメータ信号と垂直カメラの画像信号の同期に関する様々な態様について、図3を参照して、さらに詳細に説明する。

0033

ジャイロメータ102、前方カメラ(水平カメラ)14および垂直視カメラ16は、共通のクロック回路160によって動かされ、ジャイロメータならびにカメラ14および16のそれぞれの動作周波数は、このクロック160の周波数CLKの整数分の1である。

0034

したがって、ジャイロメータ102および垂直視カメラ16は、
Fgyro=K.FcamV
となるように構成される。ここで、
Fgyroは、ジャイロメータの取得周波数であり、
FcamVは、カメラ16による画像の取得周波数であり(通常はFcamV=60Hz)、
Kは、正の整数である。

0035

Kが整数であり、ベースクロックがジャイロメータとカメラとで同じであることにより、ドリフトがなく、角度の測定が常に同じ瞬間に行われる状態で、常に信号ScamVの画像あたりK個のジャイロメータ信号Sgyroのサンプルがあることが保証される。

0036

水平カメラ14は、上述のウィンドウ生成回路152および歪み補正回路156に信号ScamHを伝送して、ビデオ画像がユーザに対して出力される前に、ビデオ画像を安定させ、ビデオ画像の様々なアーチファクトを補正することを可能にする。この画像信号ScamHは、同期信号Vsync_CamHと関連付けられた画像コンテンツ信号を含む。

0037

ジャイロメータ102は、上述のドローン姿勢推定回路118に伝送される信号Sgyroを伝送し、このドローン姿勢推定回路118は、3つの軸方向のドローンの回転φ、θおよびψを推定し、これらを回路152、156および136に伝送する。ジャイロメータ信号Sgyroは、同期信号Vsync_Gyroと関連付けられたコンテンツ信号(回転の測定値)を含む。

0038

垂直カメラ16は、上述の回路136に印加される信号ScamVを伝送し、この回路136は、いくつかあるビデオ処理動作の中で、特にドローンが上方を飛行する地面の2つの連続した画像の間の見かけの変位を比較することにより動作するオプティカルフローアルゴリズムを含む様々なアルゴリズムを適用することによって水平速度VxおよびVyを計算する前に、画像ごとに回路118から伝送される回転推定に応じて、ある画像から次の画像への回転を補償することを保証する。この画像信号ScamVは、同期信号Vsync_CamVと関連付けられた画像コンテンツ信号を含む。

0039

図4は、
水平カメラ14の同期信号Vsync_CamH、
ジャイロメータ102の同期信号Vsync_Gyro、および
垂直カメラ16の同期信号Vsync_CamV
を対比して示す一連のクロノグラムを示す。

0040

水平カメラから伝送されるフレームレートは、通常は30Hzであり、垂直カメラから伝送されるフレームレートは、60Hzである。

0041

これらのクロノグラムから分かるように、水平カメラは、比較的低速で取得を行い、画像の取得は、信号Vsync_CamHの立ち上がり縁部で開始され、同じ信号の立ち下がり縁部で終了する。水平カメラの画像は、このようにジャイロメータの有意な数のサンプルに対応する(この簡略化した例では、信号Sgyroのサンプルを6個示すが、現実には、通常は30個のサンプルがある)。

0042

垂直カメラについて述べると、取得は、信号Vsync_CamVの立ち上がり縁部と立ち下がり縁部との間ではるかに早く行われ、速度推定アルゴリズムは、2つの連続した画像の間におけるドローンの姿勢の差を、可能な限り正確に把握していなければならない。図示の例では、この取得は、ジャイロメータ信号の1つのサンプルにしか対応していない(現実には、通常は4つのサンプルに対応する)。

0043

2つの連続した画像の間におけるドローンの姿勢の変化は、各ジャイロメータから伝送されるジャイロメータ信号Sgyroの積分で計算すると有利である(図4のクロノグラムInteger_Sgyro)。しかし、何よりも、ジャイロメータ信号Sgyroと垂直カメラから伝送される画像信号ScamVとの間に、極めて正確な同期があることが不可欠である。

0044

この点で、ジャイロメータセンサの信号Sgyroおよびカメラ16の信号ScamVは同じレート(1つの整数倍内)で伝送されるが、これは、これら2つの信号の位相が一致すること、すなわちこれらが現実に同期することについて保証するものではない。

0045

さらに厳密には、共通のクロックは、ジャイロメータ信号Sgyroがビデオ信号ScamVに対して「スライド」しないように作用する。つまり、新たな画像が利用可能であるときに、ジャイロメータが新たなデータを伝送する前に、常に同じ時間間隔が経過する。一方、ジャイロメータセンサはビデオカメラと同時に始動しているわけではないので、この時間間隔は、ドローンごとに、また操縦シーケンスごとに異なる。

0046

実際に、ビデオ取得とジャイロメータ取得は、ソフトウェアによってトリガされ、したがって、これら2つの取得が同時に始動するかどうかは不確かであり、これら2つの始動を隔てる時間間隔が、ドローンごとに、また同じドローンでも操縦シーケンスごとに一定であるかどうかは不確かである。

0047

完璧な同期を保証するために、本発明は、信号SgyroとScamVの間の位相の測定にハードウェア構成要素170を使用することを提案することを特徴とする。この構成要素は、そのハードウェアである性質上、高い確度で、かつ非常に高速に、信号Vsync_CamVとVsync_Gyro(図4)の間の時間のずれΔを測定することができる。クロックがドリフトしないように設定されているので、1回の測定で十分であることに留意されたい。

0048

2つの上記の機構、すなわち共通のクロック160およびハードウェアの移相測定回路170は、画像開始の取得の瞬間と、ジャイロメータのサンプリング周期の終了時との間の移相の極めて正確な測定を実現し、これにより、ジャイロメータ信号とビデオ信号とを、実時間で、1クロックサイクル内の極めて高い確度で、時間的に関連付けることが可能になる。

0049

システムクロック160は数メガヘルツで動作し、このことは、ビデオ信号とジャイロメータ信号の間のタイミングに数ナノ秒の誤差があることを意味するが、これは非常に小さく、これにより極めて正確かつ効率的な補正を行うことができる。

0050

一方、この機構がない場合には、ジャイロメータの新たなデータそれぞれの伝送の瞬間および取得した新たな画像のそれぞれの伝送の瞬間をソフトウェアによって記録することが必要となる。このような方法は、システムの反応時間に敏感になるのではるかに正確になり、かつ不規則になり、また100μs程度の確度しか実現できない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ