図面 (/)

技術 移動ターゲットを認識、追跡、および合焦するための方法及びシステム

出願人 エスゼットディージェイアイテクノロジーカンパニーリミテッド
発明者 ミャオ、レイレイウ、ディカオ、ジーシェン
出願日 2017年6月2日 (3年8ヶ月経過) 出願番号 2019-563569
公開日 2020年7月27日 (6ヶ月経過) 公開番号 2020-522002
状態 未査定
技術分野 写真撮影方法及び装置 自動焦点調節 スタジオ装置 焦点調節
主要キーワード 取付デバイス 推進デバイス 空気圧デバイス 感知機器 総和関数 距離測定デバイス フック留め ターゲット物体
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年7月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題・解決手段

移動ターゲットを認識、追跡、および合焦するためのシステムおよび方法が開示される。開示される実施形態によれば、システムおよび方法は、撮像デバイスに対して移動する移動ターゲットを認識すること、移動ターゲットを追跡すること、および撮像デバイスから移動ターゲットまでの距離を決定することができる。

概要

背景

無人航空機(「UAV」)(時として「ドローン」と呼ばれる)などの可動物体は、ユーザが遠隔操作することができる、および/または自動飛行用にプログラムすることができる様々なサイズおよび構成のパイロット不要の航空機を含む。UAVは、人が捕捉するのは困難な、固定の観点および/または移動する観点からの場面を捕捉するために撮像デバイスを備えることがある。さらに、UAVは、特定の期間にわたって、またはある位置から別の位置への移動時間にわたって撮像データを収集するように装備されることがある。これらの状況では、UAVは、光学または感知機器を使用して収集された情報に関連付けて制御されて、人、車両、移動物体静止物体などのターゲット物体(「ターゲット」)を認識、追従(「追跡」)、および合焦して、高品質の所望の画像を実現することができる。

概要

移動ターゲットを認識、追跡、および合焦するためのシステムおよび方法が開示される。開示される実施形態によれば、システムおよび方法は、撮像デバイスに対して移動する移動ターゲットを認識すること、移動ターゲットを追跡すること、および撮像デバイスから移動ターゲットまでの距離を決定することができる。

目的

開示する本開示の実施形態は、深層機械学習およびレーザレーダに基づくマルチターゲット追跡および合焦のための方法およびシステムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

移動ターゲットを認識、追跡、および合焦するための方法であって、撮像デバイスに対して移動する前記移動ターゲットを認識するステップと、前記移動ターゲットを追跡するステップと、前記撮像デバイスから前記移動ターゲットまでの距離を決定するステップとを含む方法。

請求項2

前記決定された距離に基づいて前記移動ターゲットに合焦するステップをさらに含む、請求項1に記載の方法。

請求項3

前記移動ターゲットを認識するステップが深層機械学習ニューラルネットワークによって行われる、請求項1に記載の方法。

請求項4

前記ニューラルネットワークが1つまたは複数の畳込み層を含む、請求項3に記載の方法。

請求項5

前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項3に記載の方法。

請求項6

前記撮像デバイスが可動物体に設置される、請求項1に記載の方法。

請求項7

前記移動ターゲットを追跡するステップが、前記可動物体の推進デバイスを制御することによって行われる、請求項6に記載の方法。

請求項8

前記距離を決定するステップがレーザ測定デバイスによって行われる、請求項1に記載の方法。

請求項9

前記距離を決定するステップが超音波測定デバイスによって行われる、請求項1に記載の方法。

請求項10

前記移動ターゲットに合焦するステップが、前記撮像デバイスの焦点距離を調整することによって行われる、請求項2に記載の方法。

請求項11

前記移動ターゲットが、複数の移動ターゲットのうちの1つまたは複数である、請求項1に記載の方法。

請求項12

移動ターゲットを認識、追跡、および合焦するためのシステムであって、制御装置を備え、前記制御装置が、1つまたは複数のプロセッサを有し、撮像デバイスに対して移動する前記移動ターゲットを認識すること、前記移動ターゲットを追跡すること、および前記撮像デバイスから前記移動ターゲットまでの距離を決定することを行うように構成される、システム。

請求項13

前記制御装置が、前記決定された距離に基づいて前記移動ターゲットに合焦するようにさらに構成される、請求項12に記載のシステム。

請求項14

前記移動ターゲットの認識が深層機械学習のニューラルネットワークによって行われる、請求項12に記載のシステム。

請求項15

前記ニューラルネットワークが1つまたは複数の畳込み層を含む、請求項14に記載のシステム。

請求項16

前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項14に記載のシステム。

請求項17

前記撮像デバイスが可動物体に設置される、請求項12に記載のシステム。

請求項18

前記移動ターゲットを追跡することが、前記可動物体の推進デバイスを制御することによって行われる、請求項17に記載のシステム。

請求項19

前記距離を決定することがレーザ測定デバイスによって行われる、請求項12に記載のシステム。

請求項20

前記距離を決定することが超音波測定デバイスによって行われる、請求項12に記載のシステム。

請求項21

前記制御装置が、前記撮像デバイスの焦点距離を調整するようにさらに構成される、請求項13に記載のシステム。

請求項22

前記移動ターゲットが、複数の移動ターゲットの1つまたは複数である、請求項12に記載のシステム。

請求項23

複数のデバイスと通信し、移動ターゲットを認識、追跡、および合焦するように構成された制御装置を備える無人航空機UAV)システムであって、前記制御装置が、1つまたは複数のプロセッサを備え、前記プロセッサが、撮像デバイスに対して移動する前記移動ターゲットを認識すること、前記移動ターゲットを追跡すること、および前記撮像デバイスから前記移動ターゲットまでの距離を決定することを行うように構成される、無人航空機(UAV)システム。

請求項24

前記制御装置が、前記決定された距離に基づいて前記移動ターゲットに合焦するようにさらに構成される、請求項23に記載のUAV。

請求項25

前記移動ターゲットを認識することが深層機械学習のニューラルネットワークによって行われる、請求項23に記載のUAV。

請求項26

前記ニューラルネットワークが1つまたは複数の畳込み層を含む、請求項25に記載のUAV。

請求項27

前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項25に記載のUAV。

請求項28

前記距離を決定することがレーザ測定デバイスによって行われる、請求項23に記載のUAV。

請求項29

前記制御装置が、前記撮像デバイスの焦点距離を調整するようにさらに構成される、請求項24に記載のUAV。

請求項30

実行されるときに、移動ターゲットを認識、追跡、合焦するための方法をコンピュータに実施させる命令を記憶する非一時的なコンピュータ可読媒体であって、前記方法が、撮像デバイスに対して移動する前記移動ターゲットを認識するステップと、前記移動ターゲットを追跡するステップと、前記撮像デバイスから前記移動ターゲットまでの距離を決定するステップとを含む、非一時的なコンピュータ可読媒体。

技術分野

0001

特許文書の開示の一部は、著作権保護の対象となる資料が含まれている。著作権者は、特許商標の特許ファイルまたは記録に表示されているときに特許書類または特許開示を何人かが複製することに対しては異議を唱えないが、それ以外には全ての著作権留保する。

0002

本開示は、一般に撮像技術に関し、より詳細には、深層機械学習およびレーザレーダに基づくマルチターゲット追跡およびオートフォーカスのための方法およびシステムに関する。

背景技術

0003

無人航空機(「UAV」)(時として「ドローン」と呼ばれる)などの可動物体は、ユーザが遠隔操作することができる、および/または自動飛行用にプログラムすることができる様々なサイズおよび構成のパイロット不要の航空機を含む。UAVは、人が捕捉するのは困難な、固定の観点および/または移動する観点からの場面を捕捉するために撮像デバイスを備えることがある。さらに、UAVは、特定の期間にわたって、またはある位置から別の位置への移動時間にわたって撮像データを収集するように装備されることがある。これらの状況では、UAVは、光学または感知機器を使用して収集された情報に関連付けて制御されて、人、車両、移動物体静止物体などのターゲット物体(「ターゲット」)を認識、追従(「追跡」)、および合焦して、高品質の所望の画像を実現することができる。

課題を解決するための手段

0004

本明細書で開示される実施形態における深層機械学習およびレーザレーダに基づくマルチターゲット追跡および合焦のための方法およびシステムは、従来のシステムの欠点を克服する。

0005

一態様では、本開示は、移動ターゲットを認識、追跡、および合焦するための方法に関する。この方法は、撮像デバイスに対して移動する移動ターゲットを認識するステップと、移動ターゲットを追跡するステップと、撮像デバイスから移動ターゲットまでの距離を決定するステップとを含む。

0006

別の態様では、本開示は、移動ターゲットを認識、追跡、および合焦するためのシステムに関する。このシステムは、1つまたは複数のプロセッサを有する制御装置を含む。この制御装置は、撮像デバイスに対して移動する移動ターゲットを認識すること、移動ターゲットを追跡すること、および撮像デバイスから移動ターゲットまでの距離を決定することを行うように構成することができる。

0007

さらに別の態様において、本開示は、無人航空機(UAV)システムに関する。UAVシステムは、複数のデバイス通信する制御装置を含むことがある。この制御装置は、撮像デバイスに対して移動する移動ターゲットを認識すること、移動ターゲットを追跡すること、および撮像デバイスから移動ターゲットまでの距離を決定することを行うように構成することができる。

0008

さらに別の態様では、本開示は、実行されるときに、移動ターゲットを認識、追跡、合焦する方法をコンピュータに実施させる命令を記憶する非一時的なコンピュータ可読媒体に関する。この方法は、撮像デバイスに対して移動する移動ターゲットを認識するステップと、移動ターゲットを追跡するステップと、撮像デバイスから移動ターゲットまでの距離を決定するステップとを含む。

図面の簡単な説明

0009

本開示の実施形態による、支持機構および搭載物ならびに制御端末を有する例示的な可動物体の概略図である。
本開示による実施形態で使用され得る例示的な制御端末の概略図である。
本開示による実施形態で使用され得る例示的な制御端末の概略図である。
本開示の実施形態で使用されることがある例示的な制御装置の概略図である。
本開示の実施形態による、深層機械学習のニューラルネットワークによって複数のターゲットが認識される概略図である。
本開示の実施形態による、フレームレートを改良するための深層機械学習のニューラルネットワークによって複数のターゲットが認識される概略図である。
本開示の実施形態による例示的なターゲット追跡技法の概略図である。
本開示の実施形態による、ターゲットを使用して生成され得る例示的な像を示す概略図である。
本開示の実施形態による、ターゲットの移動後の図6Aのターゲットの例示的な像を示す概略図である。
本開示の実施形態による、ターゲットに関して決定され得る例示的な方向を示す概略図である。
本開示の実施形態による、図7Aのターゲットまでの距離の例示的な測定を示す概略図である。
本開示の実施形態による、移動ターゲットの認識、追跡、および合焦のために実施され得る例示的な方法の流れ図である。

実施例

0010

以下の詳細な説明では添付図面を参照する。図面および以下の説明では、可能な限り、同一または同様の部分を表すために同一の参照番号が使用される。本明細書ではいくつかの例示的実施形態を述べるが、修正形態、適応形態、および他の実装形態も可能である。例えば、図面に示されている構成要素に置換、追加、または修正を施すことができる。本明細書で述べる例示的な方法は、開示する方法のステップに対して置換、並べ替え、除去、または追加を行うことによって修正することができる。したがって、以下の詳細な説明は、開示する実施形態および実施例に限定されない。そうではなく、適切な範囲は、添付の特許請求の範囲によって定義される。

0011

移動物体/ターゲットを特定、追跡、および合焦するための従来の手法がある。例えば、カムシフトアルゴリズムは、赤外線撮像を使用してポートレイト認識および追跡を実現する。カムシフトアルゴリズムは、テンプレートマッチングに基づいてフォーカスウィンドウを選択し、移動物体を撮像するために赤外線を使用するときのオートフォーカスに関連する問題を解決することができる。カムシフトアルゴリズムは、単純な場合にはターゲットを追跡するのに適しているが、より複雑な状況では物体を追跡できない。隅、ライン、または縁など物体の自然な特徴部を検出することによって、物体の自動合焦(「オートフォーカス」)および追跡を実現することができる。さらに、Kanade−Lucas−Tomasiアルゴリズムに基づく特徴点マッチングを使用して、カメラ運動ベクトル推定することができ、空間位置不変基準を使用して、マッチング点チェックし、エラーマッチングされた点を効果的に削除することができる。これらの従来の手法は、移動物体を効果的に追跡することができるが、複雑なシーンでは、追跡精度は高くなく、計算プロセスがより複雑になる。さらに、オートフォーカスプロセスでは、ターゲットの動きがフォーカスウィンドウ内のシーンを変えることがあり、それにより、フォーカスウィンドウ内で背景の一部が変化することがあり、合焦ができなかったり不安定になったりする。

0012

開示する本開示の実施形態は、深層機械学習およびレーザレーダに基づくマルチターゲット追跡および合焦のための方法およびシステムを提供する。開示する方法およびシステムは、追跡および合焦技術用のデジタル画像処理に基づくことがあり、カメラビデオ記録など様々なタイプの画像および撮像システムに適用されることがある。深層機械学習に基づくデジタル画像処理は、複数のターゲットを効果的に認識し、ターゲットを正確に追跡することができる。シーン全体ではなく、認識されたターゲットのみに関してレーザレーダによって得られる正確な距離測定値をさらに組み合わせることによって、デバイスに関連するコストを低減することができ、マルチターゲット追跡および合焦を実現することができる。したがって、低いターゲット認識率、追跡の不安定性、および合焦の不安定性または合焦の不良など、移動物体の追跡および合焦に関連する従来の問題を解決することができる。開示する実施形態で使用するとき、「ターゲット」は、追跡される物体であり、「移動ターゲット」は、追跡に使用される撮像システムに対して移動している追跡対象の物体であり、したがって、撮像システムとターゲット物体の少なくとも一方が他方に対して移動している。

0013

一般に、レーザレーダ距離測定は、例えば光検出および測距(LiDAR)技法を使用して、ターゲットにパルスレーザ光照射し、センサを用いて反射パルスを測定することによって、そのターゲットまでの距離を測定するためのプロセスを表す。例えば、赤外線レーザデバイスは、物体に向けて細いビームとしてレーザパルスを送信することができ、パルスが物体で反射されてレーザパルスの送信元に戻されるまでにかかる時間が求められる。物体からレーザデバイスまでの距離は、パルスが送信された時とその反射パルスが受信された時との間の測定された経過時間と、光速とに基づいて計算することができる。開示する本開示の実施形態を、そのようなレーザレーダ距離測定を使用して述べるが、超音波距離測定など他の適切な距離測定技法を使用することもできる。

0014

深層機械学習は、例えば画像特徴部抽出および/または変換を実施するように構成された線形および/または非線形処理デバイスまたはソフトウェア相互接続された「層」を使用し得る機械学習アルゴリズムクラスを表すことがあり、ここで、連続する層はそれぞれ、その入力として、前の層からの出力を使用する。深層機械学習は、教師あり(例えば分類)または教師なし(例えばパターン解析)でよく、より高次の特徴部をより低次の特徴部から導出して、データの階層表現(例えば画像の画素)を形成することができる。深層機械学習によって処理される観察データ(例えば画像や音声データなど)は、例えば画素毎の強度値のベクトル、エッジ集合、特定の形状の領域、サンプリングされた信号、スペクトル周波数など、多くの形で表現されていてよい。深層機械学習アーキテクチャは、深層ニューラルネットワーク、畳込み深層ニューラルネットワーク、ディープビリーフネットワーク(deep belief network)、再帰型ニューラルネットワークなどを含むことがある。

0015

ニューラルネットワークは、個々のニューラルユニット(すなわちニューロン)の集合に基づく計算モデルまたはシステムである。ニューラルユニットの集合は、ニューラルユニットの異なる層、例えば、入力層、1つまたは複数の隠れ層、および出力層として編成することができる。各ニューラルユニットは、異なる層の多くの他のニューラルユニットと接続されて、活性化関数(例えば総和関数)を使用して計算されることがある。観察データ(例えば画像データまたはパターン)は、入力層を介してニューラルネットワークに提示されることがあり、入力層は、その観察データに対応する情報を1つまたは複数の隠れ層に通信し、隠れ層で、活性化関数と重み付き接続モデルとを使用して実際の処理を行うことができる。隠れ層は、出力層にリンクすることがあり、出力層は、観察データの処理から決定された出力を提供することができる。いくつかの実施形態では、ニューラルネットワークは、自己学習型であって、例を用いて訓練されることもある。例えば、ニューラルネットワークに学習規則を適用して、入力された観察データに従って接続の1つまたは複数の重み付け(例えばスカラパラメータ)を修正することができる。

0016

開示する実施形態では、適切なニューラルネットワークが選択され、ネットワーク内の対応する層の特性が理解される。ニューラルネットワークは、例えば、様々な環境で収集された多数のサンプルを使用して訓練されることが好ましい。訓練から得られた重み付けは、ニューラルネットワークに入力された画像データ内のターゲットを認識するために使用されることがある。さらに、様々な環境での物体の画像と、ネットワークの訓練から決定された重み付けパラメータとを使用してニューラルネットワークを試験することによって、追跡アルゴリズムを使用して画像データ内の1つまたは複数のターゲット物体を追跡することができる。いくつかの実施形態では、レーザレーダによる1つまたは複数の距離測定を使用して、撮像デバイスから、ユーザが関心を持つ特定のターゲット物体のみまでの距離を測定することができる。撮像デバイスによる所望のターゲット物体への自動合焦は、測定された距離に基づいて撮像デバイスの焦点距離を自動的に調整することによって実現することができる。

0017

所望のターゲット物体を含む固定フォーカスウィンドウを選択するなど、対象のターゲット物体のみに合焦することによって、ターゲット物体の追跡および合焦に関連する時間および計算コストを大幅に低減することができ、背景情報による干渉を大幅に減少させることができ、リアルタイムでのターゲット追跡を可能にし、柔軟にかつ選択的に、1つまたは複数の所望のターゲット物体のみに対して合焦することを可能にする。

0018

以下の例示的実施形態はUAVなど可動物体の文脈で述べるが、他の実装形態も可能であり、UAVを使用せずに代替の実施形態を採用することもできることを当業者は理解されよう。例えば、本明細書で開示するシステムおよび方法は、例えば移動物体もしくは静止物体に対して様々な撮像システムを使用して実施することができ、または開示する実施形態に従うより大きなシステムの一部として実施することもできる。

0019

図1に、環境内を移動または走行するように構成され得る例示的な可動物体10を示す。可動物体10は、適切な媒体(例えば、表面、空気、水、レール宇宙空間、地下など)の上または中を走行するように構成された任意の適切な物体、デバイス、メカニズム、システム、または機械でよい。例えば、可動物体10はUAVでよい。本明細書における例示の目的で、本明細書では可動物体10をUAVとして図示して述べるが、本開示によるいくつかの実施形態では、追加または代替として、他のタイプの可動物体(例えば、ホイール付きの物体、海上物体、移動物体、他の空中物体など)が使用されてもよい。本明細書で使用するとき、UAVという用語は、(例えば電子制御システムを介して)自動的に、および/またはオフボード人員によって手動で操作および/または制御されるように構成された空中デバイスを表すことがある。

0020

可動物体10は、1つまたは複数の推進デバイス12を含むことがあり、搭載物14を搬送するように構成されてもよい。いくつかの実施形態では、図1に示されるように、搭載物14は、支持機構16によって可動物体10に接続される、または取り付けられることがある。支持機構16は、搭載物14と可動物体10との間での1つまたは複数の相対移動度を実現することがある。他の実施形態では、搭載物14は、支持機構16なしで可動物体10に直接取り付けられてもよい。また、可動物体10は、他の構成要素と通信する検知システム18、通信システム20、および制御装置22を含むこともある。

0021

可動物体10は、可動物体10を推進および操舵するために様々な位置(例えば可動物体10の上、横、前、後ろ、および/または下)に位置決めされた1つまたは複数(例えば、1、2、3、3、4、5、10、15、20個)の推進デバイス12を含み得る。推進デバイス12は、制御された飛行を持続するための力を生成するように動作可能なデバイスまたはシステムでよい。推進デバイス12は、動力源共有することがあり、または動力源をそれぞれ個別に含むことがあり、または動力源に動作可能に接続されることがある。動力源は、例えばモータ(例えば電気モータ油圧モータ空気圧モータなど)、エンジン(例えば内燃機関タービンエンジンなど)、バッテリバンクなど、またはそれらの組合せである。また、各推進デバイス12は、1つまたは複数の回転構成要素24を含むこともあり、回転構成要素24は、動力源に駆動可能に接続され、制御された飛行を持続するための力の発生に関与するように構成される。例えば、回転構成要素24は、ロータプロペラブレードノズルなどを含むことがあり、これらは、動力源から動力を伝達するように構成されたシャフト、軸、ホイール、油圧システム空気圧システム、もしくは他の構成要素もしくはシステムにおいて、またはそれらによって駆動されることがある。推進デバイス12および/または回転構成要素24は、互いに対しておよび/または可動物体10に対して調整可能(例えば傾斜可能)でよい。代替として、推進デバイス12および回転構成要素24は、互いに対しておよび/または可動物体10に対して固定された向きを有することがある。いくつかの実施形態では、各推進デバイス12は同じタイプでよい。他の実施形態では、推進デバイス12は複数の異なるタイプでよい。いくつかの実施形態では、全ての推進デバイス12が一斉に(例えば、全て同じ速度および/または角度で)制御されることがある。他の実施形態では、1つまたは複数の推進デバイスが、例えば速度および/または角度に関して独立して制御されることもある。

0022

推進デバイス12は、可動物体10を1つまたは複数の垂直方向および水平方向に推進するように、ならびに可動物体10を1つまたは複数の軸の周りで回転させるように構成されてもよい。すなわち、推進デバイス12は、可動物体10の並進運動および回転運動を生成して維持するための揚力および/または推力を提供するように構成されてもよい。例えば、推進デバイス12は、可動物体10が所望の高度を実現して維持できるようにし、全方向への移動のための推力を提供し、可動物体10の操舵を可能にするように構成されてもよい。いくつかの実施形態では、推進デバイス12は、可動物体10が垂直離陸および着陸(すなわち、水平推力なしの離陸および着陸)を行うことを可能にすることがある。他の実施形態では、可動物体10は、飛行を実現して持続するために、一定の最小水平推力を必要とすることがある。推進デバイス12は、複数の軸に沿ったおよび/または複数の軸の周りでの可動物体10の動きを可能にするように構成されてもよい。

0023

搭載物14は、1つまたは複数の感知デバイス19を含み得る。感知デバイス19は、ターゲット(例えば物体、風景写真またはビデオ撮影の被写体など)の画像またはビデオ調査、追跡、および捕捉など、データまたは情報を収集または生成するためのデバイスを含み得る。感知デバイス19は、画像を生成するために使用することができるデータを収集するように構成された撮像デバイスを含み得る。例えば、撮像デバイスは、写真カメラビデオカメラ赤外線撮像デバイス紫外線撮像デバイス、X線デバイス超音波撮像デバイスレーダデバイスなどを含み得る。追加または代替として、感知デバイス19は、マイクロフォンまたは超音波検出器など、音声データを捕捉するためのデバイスを含むこともある。追加または代替として、感知デバイス19は、視覚信号音声信号、および/または電磁信号を捕捉するための他の適切なセンサを含むこともある。撮像デバイスは、望ましい画像品質でターゲットを撮像するために焦点距離を調整することによって、ターゲットへのオートフォーカスを実施することが可能であり得る。感知デバイス19は、撮像デバイスからターゲットまでの距離を測定する1つまたは複数の距離測定デバイスを含むことがある。距離測定デバイスは、レーザレーダデバイス、超音波デバイス、および/またはそれらの組合せを実装することがある。

0024

支持機構16は、搭載物14を保持するように、および/または可動物体10に対して搭載物14を調整(例えば回転)できるように構成された1つまたは複数のデバイスを含み得る。例えば、支持機構16はジンバルでよい。支持機構16は、以下に述べるように、搭載物14を1つまたは複数の軸の周りで回転させるように構成されてもよい。いくつかの実施形態では、支持機構16は、搭載物14の観点をより大きく制御できるようにするために、各軸の周りで360°の回転を可能にするように構成されてもよい。他の実施形態では、支持機構16は、搭載物14の回転範囲を、搭載物14の軸の1つまたは複数の周りで360°未満(例えば、≦270°、≦210°、≦180°、≦120°、≦90°、≦45°、≦30°、≦15°など)に制限することがある。

0025

支持機構16は、フレームアセンブリ26と、1つまたは複数のアクチュエータ部材28と、1つまたは複数の支持機構センサ30とを含み得る。フレームアセンブリ26は、搭載物14を可動物体10に結合し、いくつかの実施形態では、可動物体10に対して搭載物14が動くことを可能にするように構成されてもよい。いくつかの実施形態では、フレームアセンブリ26は、互いに対して可動な1つまたは複数のサブフレームまたは構成要素を含み得る。作動部材28は、可動物体10に対する搭載物14の並進運動および/または回転運動を可能にするために、フレームアセンブリの構成要素を互いに対して駆動させるように構成されてもよい。他の実施形態では、アクチュエータ部材28は、搭載物14に直接作用して、フレームアセンブリ26および可動物体10に対する搭載物14の運動を生じさせるように構成されてもよい。アクチュエータ部材28は、適切なアクチュエータおよび/または力伝達構成要素でよく、またはそれらを含んでいてもよい。例えば、アクチュエータ部材28は、電気モータを含むことがあり、電気モータは、軸、シャフト、レール、ベルトチェーンギア、および/または他の構成要素と協働して、フレームアセンブリ26および/または搭載物14の構成要素に直線運動または回転運動を行わせるように構成される。

0026

支持機構センサ30は、支持機構16および/または搭載物14の状態情報を測定、検知、検出、または決定するように構成されたデバイスを含み得る。状態情報は、位置情報(例えば相対位置、向き、姿勢直線変位角度変位など)、速度情報(例えば直線速度、角速度など)、加速度情報(例えば直線加速度、角加速度など)、および/または可動物体10に対する支持機構16または搭載物14の動き制御に関する他の情報を含み得る。支持機構センサ30は、ポテンショメータ光センサビジョンセンサ磁気センサ、運動または回転センサ(例えばジャイロスコープ加速度計慣性センサなど)など、1つまたは複数のタイプの適切なセンサを含み得る。支持機構センサ30は、フレームアセンブリ26の構成要素もしくはアクチュエータ部材28など支持機構16の様々な構成要素、もしくは可動物体10に関連付けられるか、またはそれらに取り付けられることがある。支持機構センサ30は、有線または無線接続(例えばRFID、Bluetooth(登録商標)、Wi−Fi、ラジオ携帯電話など)を介してデータおよび情報を制御装置22と通信するように構成されてもよい。支持機構センサ30によって生成され、制御装置22に通信されるデータおよび情報は、可動物体10および/またはターゲットの状態情報の決定など、さらなる処理のために制御装置22によって使用されることがある。

0027

支持機構16は、1つまたは複数の減衰要素を介して可動物体10に結合されることがあり、減衰要素は、可動物体10から搭載物14への望ましくない衝撃または他の力伝達を低減または除去するように構成される。減衰要素は、能動的、受動的、またはハイブリッド(すなわち能動的な特性と受動的な特性とを備える)でよい。減衰要素は、固体液体、および気体を含む任意の適切な材料または材料の組合せから形成されることがある。ゴム、ばね、ゲル発泡材、および/または他の材料など圧縮可能または変形可能な材料が、減衰要素として使用されることがある。減衰要素は、搭載物14を可動物体10から隔離する、および/または可動物体10から搭載物14への力の伝播消散させる働きをすることがある。また、減衰要素は、ピストン、ばね、油圧デバイス、空気圧デバイスダッシュポットショックアブソーバ、および/または他のデバイス、またはそれらの組合せなど、減衰効果を提供するように構成されたメカニズムまたはデバイスを含むこともある。

0028

検知システム18は、可動デバイス10の1つまたは複数の構成要素または他のシステムに関連する1つまたは複数のセンサを含み得る。例えば、検知システムは、可動物体10および/またはターゲットに関する位置情報、速度情報、および加速度情報を決定するためのセンサを含み得る。いくつかの実施形態では、検知システムは、支持機構センサ30を含むこともある。検知システム18の構成要素は、可動物体10、その構成要素、またはそのターゲットに関する追加情報を決定するために使用される(例えば制御装置22または別のデバイスによって処理される)ことがあるデータおよび情報を生成するように構成されてもよい。検知システム18は、可動物体10の動きの1つまたは複数の態様を検知するための1つまたは複数のセンサを含み得る。例えば、検知システム18は、上で論じた搭載物14に関連する感知デバイス、および/または追加の感知デバイス、例えば、測位システム(例えばGPS、GLONASS、Galileo、Beidou、GAGANなど)用の測位センサ運動センサ、慣性センサ(例えばIMUセンサ)、近接センサイメージセンサなどを含み得る。検知システム18はまた、天候情報(例えば温度、気圧湿度など)、照明条件(例えば光源周波数)、空気成分、もしくは近くの障害物(例えば物体、構造物人物、他の車両など)など、周囲環境に関係するデータもしくは情報を提供するためにセンサを含むこともあり、またはそのようなデータもしくは情報を提供するように構成されることもある。

0029

検知システム18は、可動物体からターゲット物体までの距離を決定するためにLiDAR測定を行うなど、レーザレーダ距離測定を実施するための1つまたは複数の発光素子およびセンサを含むことがある。いくつかの実施形態では、LiDARレーザおよび対応するセンサは、可動物体10の任意の場所に取り付けられることがあり、または、別個モジュールとして(例えば支持機構16を用いて)可動物体に取り付けられる、もしくは可動物体にある任意の他のデバイスもしくはセンサに含まれることがある。

0030

通信システム20は、制御装置22とオフボードエンティティとの間でデータ、情報、コマンド、および/または他のタイプの信号の通信を可能にするように構成されてもよい。通信システム20は、1方向または2方向通信を行うように構成された受信機送信機、または送受信機など、信号を送信および/または受信するように構成された1つまたは複数の構成要素を含み得る。通信システム20の構成要素は、データ、情報、もしくはコマンドを示す信号、および/または他の信号を送信するのに有用な1つまたは複数の通信ネットワーク(ラジオ、携帯電話、Bluetooth、Wi−Fi、RFID、および/または他のタイプの通信ネットワークなど)を介してオフボードエンティティと通信するように構成されてもよい。例えば、通信システム20は、飛行中に可動物体10を制御するための入力を提供するためのデバイス、例えば制御端末(「端末」)32との通信を可能にするように構成されてもよい。

0031

端末32は、ユーザからの入力(すなわちユーザ入力)などの入力を受信し、入力を示す信号を制御装置22に通信するように構成されてもよい。端末32は、入力を受信して、1つまたは複数のタイプの情報を示す対応する信号を生成するように構成されることがあり、そのような情報は、例えば、(例えば推進デバイス12を介して)可動デバイス10、搭載物14、および/または支持機構16を動かすまたは操縦するための制御データ(例えば信号)などである。また、端末32は、動作データ、例えば位置データ、速度データ、加速度データ感知データ、ならびに可動物体10、その構成要素、および/またはその周囲環境に関係する他のデータおよび情報など、可動物体10からのデータおよび情報を受信するように構成されることもある。端末32は、飛行パラメータを制御するように構成された物理スティックを備えたリモートコントローラでよく、または同じ目的のための仮想制御機能を備えたタッチスクリーンデバイス(例えばスマートフォンもしくはタブレット)でよく、ならびにスマートフォンもしくはタブレット上のアプリケーション、またはそれらの組合せに用いられてもよい。

0032

いくつかの実施形態では、端末32はスマートアイグラスでよい。本明細書で使用するとき、スマートアイグラスは、着用者が見る画像またはシーンに追加情報を提供することができる任意のウェアラブルコンピュータグラスまたは他のウェアラブルアイテムを含むことがある。スマートアイグラスは、透明ヘッドアップディスプレイ(HUD)または拡張現実(AR)オーバレイ機能を有する光学ヘッドマウントディスプレイ(OHMD)または組込みワイヤレスグラスを含むことがあり、そのようなディスプレイは、投影されたデジタル画像を反射する機能を有し、また、ユーザがディスプレイを通して見る、またはディスプレイを用いてより良く見ることができるようにする機能を有する。スマートアイグラスは、例えば、セルラ技術またはWi−Fiを介して可動物体10から受信された画像、ビデオ、および他のデータまたは情報のためのフロントエンドディスプレイとして機能することがある。いくつかの実施形態では、スマートアイグラスは、自然言語音声コマンドおよび/またはスマートアイグラスのタッチボタンの使用によって可動物体10を制御することもできる。

0033

図2Aおよび2Bに示される例では、端末32は、端末32と可動物体10または別の端末32など他のエンティティとの間での情報の通信を容易にする通信デバイス34を含み得る。通信デバイス34は、信号を送信または受信するように構成されたアンテナまたは他のデバイスを含み得る。また、端末32は、可動物体10に通信するためにユーザからの入力を受信するように構成された1つまたは複数の入力デバイス36を含むこともある。図2Aは、可動物体10またはその構成要素の所望の動きを示すユーザ入力を受信するように構成された複数の入力デバイス38、40、42、および44を備える入力デバイス36を有する端末32の一例示的実施形態を示す。しかし、端末の他の可能な実施形態またはレイアウトも可能であり得て、本開示の範囲内にあることを理解されたい。

0034

端末32は、入力デバイスを含むことがあり、入力デバイスは、例えば、入力レバー38および40、ボタン42、トリガ44、および/またはユーザから1つもしくは複数の入力を受信するための他のタイプの入力デバイスである。端末32の各入力デバイスは、制御装置22に通信可能であり、処理のための入力として制御装置22によって使用可能な入力信号を生成するように構成されてもよい。飛行制御入力に加えて、端末32は、手動制御設定、自動制御設定、制御支援設定など他の情報のユーザ入力を受信するために使用されることもあり、これらのユーザ入力は、例えばボタン42および/またはトリガ44を介して受信されることがある。端末32は、ボタン、スイッチ、ダイヤルレバー、トリガ、タッチパッドタッチスクリーンソフトキーマウスキーボード音声認識デバイス、および/または他のタイプの入力デバイスなど、他のまたは追加の入力デバイスを含むことがあることを理解されたい。

0035

図2Bに示されるように、端末32はまた、ユーザへのおよび/またはユーザからの情報を表示および/または受信するように構成されたディスプレイデバイス46を含むこともある。例えば、端末32は、可動物体10から信号を受信するように構成されることがあり、この信号は、可動物体10の動きに関する情報もしくはデータ、および/または(例えば搭載物14と共に)可動物体10を使用して捕捉されたデータ(例えば撮像データ)を示すことがある。いくつかの実施形態では、ディスプレイデバイス46は、多機能画面48上に情報を表示し、多機能画面48を介してユーザ入力を受信するように構成された多機能ディスプレイデバイスでよい。例えば、一実施形態では、ディスプレイデバイス46は、多機能画面48を介して1つまたは複数のユーザ入力を受信するように構成されてもよい。別の実施形態では、多機能画面48は、ユーザ入力を受信するための唯一の入力デバイスであり得る。

0036

いくつかの実施形態では、端末32は、1つまたは複数のユーザ入力を受信するための対話式グラフィカルインタフェースでよく、またはそれを含んでいてもよい。すなわち、端末32は、グラフィカルユーザインタフェースGUI)でよく、および/またはユーザ入力を受信するための入力デバイス36の1つまたは複数のグラフィカルバージョンを含んでいてもよい。端末32および/または入力デバイス36のグラフィカルバージョンは、ディスプレイデバイス(例えばディスプレイデバイス46)または多機能画面(例えば多機能画面48)に表示可能であり、対話式グラフカルフィーチャ(例えばグラフィカルボタン、テキストボックスドロップダウンメニュー、対話式画像など)のグラフィカルフィーチャを含む。例えば、一実施形態では、端末32は、入力レバー38および40、ボタン42、ならびにトリガ44のグラフィカル表現を含むことがあり、これらのグラフィカル表現は、多機能画面48に表示され、多機能画面48を介してユーザ入力を受信するように構成されてもよい。いくつかの実施形態では、端末32は、入力デバイス36のグラフィカルバージョンなど、グラフィカル入力デバイスを介して全てのユーザ入力を受信するように構成されてもよい。端末32は、任意の適切な電子デバイス(例えば携帯電話やタブレットなど)のディスプレイデバイスまたは多機能画面に対話式インターフェースを提供するために、コンピュータアプリケーション(例えば「アプリ」)と協働して入力デバイス36のグラフィカルバージョンを生成するように構成されてもよい。

0037

いくつかの実施形態では、ディスプレイデバイス46は、端末32の一体構成要素でよい。すなわち、ディスプレイデバイス46は、端末32に取り付けられる、または固定されることがある。他の実施形態では、ディスプレイデバイスは、端末32に接続可能(および端末32から切断可能)でよい。すなわち、端末32は、(例えば接続ポートまたは無線通信リンクを介して)ディスプレイデバイス46に電子的に接続可能であり、および/または他の方法で、取付デバイス50によって、例えばクランプ留めクリップ留め掛け留め、フック留め接着、または他のタイプの取付デバイスによって端末32に接続可能である。

0038

いくつかの実施形態では、端末32は、可動物体10の動きおよび/または他の動作態様を制御するように構成可能な電子デバイスと通信するように構成されてもよい。例えば、ディスプレイデバイス46は、携帯電話、タブレット、パーソナルデジタルアシスタントラップトップコンピュータ、または他のデバイスなど、電子デバイスのディスプレイ構成要素でよい。このようにすると、ユーザは、他の電子デバイスの機能を可動物体10の制御の態様に組み込むことができることがあり、これは、より柔軟で適応性のある制御方式を使用できるようにする。例えば、端末32は、メモリおよび少なくとも1つのプロセッサを有する電子デバイスと通信するように構成されることがあり、このとき、これらの制御デバイスを使用して、電子デバイスに関連する入力デバイス(例えば多機能ディスプレイ、ボタン、記憶されたアプリ、ウェブベースのアプリケーションなど)を介してユーザ入力を提供することができる。また、端末32と電子デバイスとの間の通信は、ソフトウェア更新パッケージおよび/または他の情報を受信し、次いで(例えば通信システム20を介して)制御装置22に通信できるように構成されることもある。

0039

望みであれば、端末32を介して受信された入力を可動デバイス10の所望のまたは実際の動きに関係付ける他の制御規則が使用されることもあることに留意されたい。

0040

図3に示されるように、制御装置22は、1つまたは複数の構成要素、例えばメモリ52および少なくとも1つのプロセッサ54を含み得る。メモリ52は、非一時的なコンピュータ可読媒体でよく、またはそれを含んでいてよく、さらに、非一時的なコンピュータ可読媒体の1つまたは複数のメモリユニットを含むことができる。メモリ52の非一時的なコンピュータ可読媒体は、フロッピーディスク光ディスク、DVD、CD−ROMマイクロドライブ、および光磁気ディスク、ROM、RAM、EPROM、EEPROM、DRAMVRAMフラッシュメモリデバイス磁気または光カードナノシステム分子メモリICを含む)、または命令および/またはデータを記憶するのに適した任意のタイプの媒体もしくはデバイスを含めた任意のタイプの揮発性または不揮発性メモリデバイスでよく、またはそれを含んでいてよい。メモリユニットは、非一時的なコンピュータ可読媒体の永久的部分および/またはリムーバブル部分(例えば、SDカードやRAMなどのリムーバブルメディアまたは外部ストレージ)を含み得る。

0041

検知システム18からの情報およびデータは、メモリ52の非一時的なコンピュータ可読媒体に通信されて記憶されることがある。また、メモリ52に関連付けられたコンピュータ可読媒体は、本明細書で述べる方法の任意の適切な実施形態を実施するためにプロセッサ54によって実行可能な論理、コード、および/またはプログラム命令を記憶するように構成されることもある。例えば、メモリ52に関連付けられたコンピュータ可読媒体は、プロセッサ54によって実行されるときに、1つまたは複数のステップを含む方法をプロセッサに実施させるコンピュータ可読命令を記憶するように構成されてもよい。非一時的なコンピュータ可読媒体に記憶されている命令に基づいてプロセッサによって実施される方法は、メモリ52の非一時的なコンピュータ可読媒体に記憶されているデータまたは情報の入力、端末32から受信された入力、検知システム18から受信された入力(例えば、検知システムから直接受信されるか、またはメモリから検索される)、および/または通信システム20を介して受信された他の入力などの入力を処理することを含み得る。非一時的なコンピュータ可読媒体は、処理ユニットによって処理すべき検知モジュールからの検知データを記憶するように構成されてもよい。いくつかの実施形態では、非一時的なコンピュータ可読媒体を使用して、処理ユニットによって生成された処理結果を記憶することができる。

0042

図1での感知デバイス19は、図3の例示的実施形態での撮像システム19によって具現化されることがある。開示するこの実施形態では、撮像システム19は、画像を生成するために使用することができるデータを収集して、ターゲット(例えば、物体、風景、写真またはビデオ撮影の被写体など)の画像またはビデオを調査、追跡、および捕捉するように構成された撮像デバイスを含むことがある。例えば、撮像デバイスは、写真カメラ、ビデオカメラ、赤外線撮像デバイス、紫外線撮像デバイス、X線デバイス、超音波撮像デバイス、レーダデバイスなどを含むことがある。この例示的実施形態では、撮像デバイスは、ターゲットを識別および追跡するためにターゲットの光学データを生成するように構成されることがある。例えば、撮像デバイスは、カメラまたはビデオカメラなどの光学デバイスでよい。撮像デバイスは、ターゲットの1つまたは複数の特徴部を示す撮像データを生成するように構成されることがある。撮像システム19は、有線または無線接続(例えば、RFID、Bluetooth、Wi−Fi、ラジオ、セルラなど)を介して制御装置22とデータ(例えば画像フレーム)および情報を通信するようにさらに構成されることがある。撮像システム19によって生成され、制御装置22に通信されるデータおよび情報は、さらなる処理のために制御装置22が使用することができる。

0043

プロセッサ54は、1つまたは複数のプロセッサを含むことがあり、プログラム可能なプロセッサ、例えば中央処理装置(CPU)を具現化することがある。プロセッサ54は、メモリ52または別のメモリデバイスに動作可能に結合されることがあり、このメモリは、1つまたは複数の方法ステップを実施するためにプロセッサ54によって実行可能なプログラムまたは命令を記憶するように構成される。本明細書で述べる方法ステップは、メモリ52に記憶され、プロセッサ54によって実施されるように構成されることがあり、プロセッサ54によって方法ステップが実施されることに留意されたい。

0044

いくつかの実施形態では、プロセッサ54は、ターゲット認識モジュール56、ターゲット追跡モジュール58、ターゲット距離モジュール60、およびターゲット合焦モジュール62など、1つまたは複数の制御モジュールを含むことがあり、および/または代替としてそれらの制御モジュールに動作可能に結合されることがある。ターゲット認識モジュール56、ターゲット追跡モジュール58、ターゲット距離モジュール60、およびターゲット合焦モジュール62は、プロセッサ54で実行するためのソフトウェアとして実装されても、プロセッサ54(図示せず)とは別のハードウェアおよび/またはソフトウェアコンポーネントとして実装されてもよい。

0045

ターゲット認識モジュール56は、撮像システム19によって捕捉された画像またはビデオに現れる1つまたは複数のターゲットを認識するように構成されることがある。ターゲット認識モジュールは、限定はしないが深層機械学習を含む任意の適切な技法によって実装されることがある。例えば、深層機械学習の例では、入力として完全な画像またはビデオフレームがニューラルネットワークによって受信され、ニューラルネットワークは、完全な画像またはビデオフレームを様々な領域に分割することができる。ニューラルネットワークはさらに、各領域のバウンディングボックスと、領域内にターゲットが現れる確率とを予測することができる。本明細書で使用される深層機械学習アルゴリズムは、任意の適切な深層機械学習アルゴリズムでよく、そのような深層機械学習アルゴリズムは、市販の深層機械学習ソフトウェアパッケージ、例えばYOLO(You Only Look Once)リアルタイムターゲット検出システムを含むことがある。

0046

例えば、YOLO(バージョン2)のニューラルネットワークは32層を含み、ここで、22層が畳込み層であり、これらの層は、ターゲットを効率的に識別し、ターゲット物体を含むターゲット領域を検出することができる。このニューラルネットワークを使用して、開示する実施形態に従ってターゲットを正確に追跡することができる。

0047

いくつかの実施形態では、深層機械学習のニューラルネットワークのオフライン訓練を行うことができる。例えば、様々な訓練サンプルを用意して、それらにラベルを付けることができる。訓練サンプルは、様々な環境、状況、シーンで捕捉された多数のサンプルを含むことがある。ラベルを付けられた訓練サンプルは、多数の物体特徴部を学習するためにオフライン訓練用にニューラルネットワークに入力することができ、それにより、多数のターゲットをUAVによってリアルタイムで正確に認識することができる。訓練後の重み付けを試験することができる。複数回反復した後、入力された訓練サンプルに基づいて、有効な重み付けパラメータセットを得ることができる。図4Aは、ニューラルネットワークを使用して画像内の複数の物体(例えば、車、自転車)およびそれらの対応する領域(バウンディングボックス)が識別され得る概略図を示す。次いで、これらの識別された物体の1つまたは複数を、追跡対象のターゲット物体として指定することができる。

0048

いくつかの実施形態では、画像フレームレート処理を改良するために異なるニューラルネットワークを使用することができる。例えば、Tiny YOLOニューラルネットワークを利用することができ、これは、8層の畳込み層を含めた17層を含む。図4Bは、画像フレームレート処理を改良するように構成されたニューラルネットワークを使用して、画像内の複数のターゲット物体(例えば、、人、)およびそれらの対応する領域(バウンディングボックス)が識別され得る概略図を示す。

0049

ターゲット追跡モジュール58は、ターゲット認識モジュール56によって既に正確に認識されている1つまたは複数のターゲットを追跡するように構成することができる。1つまたは複数のターゲットが認識されると、ターゲット追跡モジュール58は、ターゲット追跡アルゴリズムを使用してターゲットを追跡することができる。そのような追跡アルゴリズムは、可動物体10の推進デバイス12の制御を助け、6自由度(例えば、可動物体10の座標軸に沿った3つの並進方向および可動物体10の座標軸の周りでの3つの回転方向)に関する可動物体10の空間的配置、速度、および/または加速度を調整して、可動物体10が所望のターゲット物体を自動的に追跡できるようにする。

0050

図5を参照すると、ターゲット追跡は、可動物体10に接続されたカメラ64などの感知デバイス(すなわち、図1での感知デバイス19および図3での撮像システム19)と共に実施することができる。カメラ64は、画像座標系67の像面66で、ターゲット物体(例えば、図4Aでの犬または図4Bでの羊)を含む画像を捕捉するように構成されることがある。ターゲット物体のターゲット画像65が像面66内に形成されることがあり、ターゲット画像65の周囲にバウンディングボックス68が生成されることがある。

0051

ターゲット画像65は、開口撮像モデルに基づいて表されることがあり、このモデルは、3次元空間内の物体点からの光線を2次元像面上に投影して画像点を形成することができると仮定する。カメラ64は、例えばカメラの中心70から測定される光軸69と、焦点距離72とを含むことがある。光軸69がカメラ中心70と像面66の中心との両方を通過するとき、カメラ中心70と像面66の中心との間の距離は、カメラの焦点距離72と等しい、または実質的に同じ距離になり得る。

0052

次いで、カメラ中心70とターゲット80との間の地面上での投影相対距離74(例えば、カメラ64からターゲット物体までの距離)を、幾何学的関係および座標変換に基づいて決定することができる。例えば、ターゲット80は、ワールド座標系における上側ターゲットポイント(xt,yt,zt)および下側ターゲットポイント(xb,yb,zb)を有することがあり、これらは、それぞれ上側画像点(ut,vt)および下側画像点(ub,vb)として像面66上に投影することができる。上側の線は、ワールド座標系のZ軸に対して第1の傾斜角76でカメラ中心70および上側画像点を通過する。また、下側の線は、Z軸からの第2の傾斜角78でカメラ中心70および下側画像点を通過する。

0053

カメラ64からターゲット画像65の上側および下側までの上側および下側の線を表す方向ベクトル



は、以下のように表すことができる。



ここで、Kはカメラの固有行列を表し、Rはカメラの回転を表す。

0054

次いで、カメラの高さhcと画像座標系67でのバウンディングボックス68の位置とに基づいて、ターゲットまでの距離74を決定することができる。例えば、ターゲット物体80までの距離74は、d=−hc/zb*Pbとして計算することができ、ターゲット高さは、ho=hc+ztd/Ptとして計算することができ、ここで、hcは、測定されたまたは実効のカメラ高さであり、Pbは、地面での



の投影長さであり、Ptは、地面での



の投影長さである。これらは以下のように定義される。

0055

その後、システムは、ターゲット高度が変化する(例えば、ターゲットが荒い地形、傾斜、階段を通って進む、物体に登る、様々な高度で浮遊または飛行する)ときでさえ、ターゲットまでの(例えばX軸に沿った)直線距離74を推定することができる。ターゲット物体80と可動物体10との間の地面での投影相対距離74は、hc/dhとして計算することができ、ここで、dhは、カメラから単位距離にあるターゲットの推定高さを表し、以下の式を使用して計算することができる。

0056

いくつかの実施形態によれば、ターゲット追跡を可能にするために、制御装置22は、飛行中に所望の値またはデフォルト値で一定の距離74を維持するために、ターゲット追跡モジュール60によって推進デバイス12を自動的に制御するように構成することができる。例えば、ターゲット追跡モジュール60は、距離74を連続的または定期的に計算し、フィードバック制御(例えばPID制御)を使用して、距離74を所望の値(例えば端末32を介してユーザによって入力される)またはデフォルト値で保つように構成することができる。ターゲット追跡中に可動物体が荒れた地形、斜面、その他の物体を横切るときなど、可動物体10の高さが変化するときでさえ、ターゲット追跡を行うことができる。

0057

いくつかの実施形態では、撮像システム19が1つまたは複数の画像を捕捉するプロセス中であっても、追跡を行うことができる。1つまたは複数の画像は、画像内の第1のターゲットに焦点を有することがあり、その一方で、いくつかの他のターゲットについて追跡を行うことができる。例えば、各ターゲットは、それぞれのバウンディングボックスで取り囲まれている。そのような実施形態では、第1のターゲットから、いくつかの他のターゲットの1つである第2のターゲット(例えば1つまたは複数の画像内の別のターゲット)に焦点が切り替えられるとき、システムは、第2のターゲットに対して測定された距離に基づいて再合焦操作を行うことができる。開示したこれらの実施形態に加えて、第2のターゲットまでの距離の測定は、画像の全領域を走査するのではなく、第2のターゲットを取り囲むバウンディングボックス内の領域を走査することによって決定することもできる。したがって、これらの実施形態でのシステムは、処理時間およびコストの低減の面でさらなる利点を有することができる。

0058

また、いくつかの実施形態では、例えばコストを低減し、フレームレートを増加させるために、対象のターゲットに関してのみ追跡を行うことができる。そのようなシナリオでは、対象のターゲットは、画像の特定の領域内の対象のターゲットを認識する(例えば図4Aでのバウンディングボックス内の犬を認識する)深層機械学習のニューラルネットワークによって識別されることがある。そのような実施形態では、システムは、対象のターゲットを追跡、合焦、および撮像するための計算コストを低減することができる。これらの実施形態に加えて、対象のターゲットが例えば第1のターゲット(例えば図4Aでの犬)から第2のターゲット(例えば図4Aでの車)に切り替えられるとき、第2のターゲット(例えば車)の追跡は、第2のターゲットが第1のターゲットに近接しているので迅速かつ効率的に行うことができ、それにより、第2のターゲットの追跡、合焦、および撮像に関連する計算コストを低減するだけでなく、撮像ターゲットのフレームレートを増加させる。

0059

いくつかの実施形態では、追跡は、UAVの動きを伴うことがあり、または静止物体から行われることもある。

0060

ターゲット距離モジュール60は、例えば撮像システム19からターゲット物体までの距離を決定するように構成されることがある。ターゲットが識別、認識、および追跡された後、ターゲットの高品質画像を取得するために正確な合焦が用いられる。ターゲット物体と可動物体10との相対運動により、撮像システム19からターゲット物体までの距離は絶えず変化し得る。ターゲットへの正確な合焦を得るためには、ターゲットまでの距離をリアルタイムで測定する必要がある。

0061

図6Aは、ターゲット物体に対して移動する前にターゲット物体の画像を生成するための例示的実施形態の概略図を示す。図6Aに示されるように、撮像面上にターゲットSの像S0'が形成される。ターゲット物体および像から像面までの距離は、それぞれ−lおよび−l'である。画像S0'の高さは、式(1)で定義されるように、−h0'である。



ここで、



像倍率である。ターゲット物体が動くと、図6Bに示されるように、物体距離および像距離がそれぞれ−l+Δl'およびl'−Δl'に変化する。ターゲットSの像S1'の高さは、式(2)で定義されるように、−h1'に変わる。



ここで、



は、ターゲットの移動後の像倍率である。ターゲットの移動により、ターゲット像が変化していることが分かる。

0062

式(1)と(2)を組み合わせることによって、以下のように式(3)を決定することができる。



したがって、像高オフセットは、以下のように式(4)で表すことができる。



式(4)から、初期像高と画角が同じであるターゲットでは、ターゲット物体距離が大きくなるほど像高オフセットが小さくなることが分かる。しかし、ターゲット物体距離が無限遠であっても、式(5)で示されるように像高オフセットが依然として存在する。



したがって、ターゲットが動くとき、ターゲット物体距離を正確に測定しなければならず、その測定した物体距離に基づいて、撮像システム19内のフォーカス制御メカニズムを駆動させることによって正確な合焦を実現することができる。

0063

いくつかの実施形態では、コストを低減し、フレームレートを増加させるために、距離測定は、対象のターゲット物体に関してのみ行われることがある。例えば、深層機械学習のニューラルネットワークは、対象のターゲットと、対象のターゲットを含む領域(すなわちバウンディングボックス)とを認識する。バウンディングボックスに従って、図7Aに示されるように、ターゲット物体の中心位置と中心位置の方向とを計算することができる。図7Aでは、ターゲット物体の中心位置tが、中心点Pおよび画像座標系を有する像面上に示されており、カメラの中心C(例えば、撮像システム19)をターゲット物体の中心位置tにつなぐことによって、中心位置の方向が示されている。図7Bで、画像座標系でのターゲット中心位置tの画素位置を(u,v)と仮定すると、vは、式(6)で表すことができる。



ここで、fは、カメラを較正することによって得ることができるカメラの焦点距離であり、YおよびZは、カメラ座標系(すなわちワールド座標系)での座標である。ターゲットの中心位置tの方向の角度αは、以下のように式(7)で決定することができる。

0064

中心位置方向の範囲内でターゲットまでの距離を測定するために、図7Bに示されるようなレーザレーダなどの距離測定デバイスが使用される。測定デバイスをカメラのごく近傍に配置することができ、それにより、レーザレーダは、例えば図7Bに示されるΨの角度範囲内で、中心位置方向の角度αに基づいて特定の範囲を走査することによって、対象のターゲットまでの距離を測定することができる。ターゲット合焦モジュール62は、撮像システム19内のフォーカス制御メカニズム/モジュールを制御するように構成することができる。フォーカス制御メカニズムは、撮像システム10の内蔵メカニズムでよく、または当業者に知られている任意のフォーカス制御メカニズムでもよい。ターゲット物体までの距離が決定された後、フォーカス制御メカニズムを作動させて、撮像システム19の焦点距離を自動的に調整して、測定された距離に応じて対象のターゲットに対する正確な合焦を実現することができる。

0065

プロセッサ54は、通信システム20に動作可能に結合して、1つまたは複数の外部デバイス(例えば端末32、ディスプレイデバイス46、または他のリモートコントローラ)からデータを送信および/または受信するように構成することができる。有線通信または無線通信など任意の適切な通信手段を使用して、制御装置22との間でデータおよび情報を転送することができる。例えば、通信システム20は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワークWAN)、赤外線、無線、Wi−Fi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーククラウド通信などの1つまたは複数を利用することができる。任意選択で、タワー、衛星、または移動局などの中継局を使用することができる。無線通信は、近接依存性でも近接独立性でもよい。いくつかの実施形態では、通信のために視線が必要とされることも、必要とされないこともある。通信システム20は、検知システム18からの検知データ、プロセッサ54によって生成された処理結果、所定の制御データ、端末32またはリモートコントローラからのユーザコマンドなどの1つまたは複数を送信および/または受信することができる。

0066

制御装置22の構成要素は、任意の適切な構成で配置することができる。例えば、制御装置22の構成要素の1つまたは複数は、可動物体10、支持機構16、搭載物14、端末32、検知システム18、または上記の1つもしくは複数と通信する追加の外部デバイスに位置させることができる。いくつかの実施形態では、1つまたは複数のプロセッサまたはメモリデバイスは、可動物体10、支持機構16、搭載物14、端末32、検知システム18、上記の1つまたは複数と通信する追加の外部デバイス、またはそれらの適切な組合せなど、様々な位置に配置することができ、それにより、システムによって実施される処理および/またはメモリ機能の任意の適切な態様が前述の位置の1つまたは複数で行われ得る。

0067

開示する実施形態によれば、図8は、深層機械学習およびレーザレーダに基づいてターゲットを認識、追跡、および合焦するために使用され得る例示的な方法800を示す。ここでは、単に例として1つのターゲットを述べるが、方法800を複数のターゲットに適用することもできる。

0068

ステップ802において、ターゲット物体が画像内で認識される。ターゲットは、図4Aでの犬または車など、画像内で識別された任意の物体でよく、撮像システムに対して移動することがある。ターゲット物体は、撮像システムによって、1つまたは複数の画像、またはビデオに捕捉されることがある。上述したように、ターゲット物体は、ニューラルネットワークおよび深層機械学習技法のアルゴリズムによって、1つまたは複数の画像またはビデオフレーム内で識別および認識することができる。深層機械学習技法のニューラルネットワークおよびアルゴリズムは、可動物体10の制御装置22に実装することができる。

0069

ステップ804で、ターゲットが追跡される。上述したように、ターゲットが移動している間にターゲットを追跡することは、可動物体10の推進デバイス12を制御して、6自由度(例えば、可動物体10の座標軸に沿った3つの並進方向および可動物体10の座標軸の周りでの3つの回転方向)に関して可動物体10の空間的配置、速度、および/または加速度を調整して、可動物体10がターゲットを自動的に追跡できるようにすることによって実現することができる。

0070

ステップ806で、撮像システム19からターゲットまでの距離を決定することができる。対象のターゲットを追跡することができると、例えばレーザレーダデバイスによって、撮像システム10からターゲットまでの距離を測定することができる。レーザレーダデバイスは、撮像システム19に埋め込まれても、撮像システム19に取り付けられてもよい。代替として、レーザレーダシステムは、距離を測定するために撮像システムと連係動作するスタンドアローンデバイスでもよい。レーザレーダデバイスは、赤外線レーザパルスまたは任意の他のレーザパルスもしくはビームを所望の周波数でターゲットに向けて放出し、ターゲット物体で反射した光ビーム受光することができる。ターゲットとレーザレーダデバイスとの間を往復する光ビームの総移動時間と、光速とを用いて、レーザレーダデバイス/撮像システム19からターゲットまでの距離を計算することができる。

0071

ステップ808で、決定された距離に基づいてターゲットへの合焦が行われる。移動ターゲットに関して距離が決定されると、測定された距離に基づいて、撮像システム19のフォーカス制御メカニズムによって撮像システムの焦点距離を自動的に調整することができる。

0072

開示する本開示の実施形態は、深層機械学習のニューラルネットワークに基づいて複数のターゲットを識別および認識するための方法およびシステムを提供する。様々な環境、状況、およびシーンで複数のターゲットを効果的に認識することができる。レーザレーダデバイスは、単純であり信頼性が高く、レーザレーダデバイスによって決定される距離に基づいて正確な合焦を自動的に実現することができる。高品質の撮像デバイスを使用して、移動ターゲット物体の画像を捕捉することができる。さらに、暗色の物体またはガラスの後ろの物体も、開示する実施形態に従ってオートフォーカスすることができる。したがって、開示する本開示の実施形態は、レーザ測距と、物体追跡のためのニューラルネットワーク/深層学習との組合せを採用する。

0073

開示する方法およびシステムに対して様々な変更および変形を施すことができることが当業者には明らかであろう。他の実施形態は、本明細書の考察、ならびに開示する方法およびシステムの実施から当業者には明らかになろう。本明細書および上記の例は、単に例示とみなされ、真の範囲は、添付の特許請求の範囲およびそれらの均等物によって示されることが意図される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ