図面 (/)

技術 目標追跡システム、デバイスおよび方法

出願人 エスゼットディージェイアイテクノロジーカンパニーリミテッド
発明者 ザン、ボ
出願日 2014年7月30日 (7年6ヶ月経過) 出願番号 2016-526059
公開日 2017年1月26日 (5年0ヶ月経過) 公開番号 2017-503226
状態 特許登録済
技術分野 飛行船・気球・飛行機 スタジオ装置 移動体の位置、進路、高度又は姿勢の制御
主要キーワード フレームコンポーネント 可動支持機構 統合端末 ウェアラブルデバイス サポートプラットフォーム 警告インジケータ 宇宙探査 小型飛行船
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

本発明は、UAVによる目標追跡に関するシステム、方法、およびデバイスを提供する。UAVは、UAVに接続された撮像デバイスにより追跡される目標に関する制御端末から、目標情報を受信する。撮像デバイスにより取り込まれる1または複数の画像中の予め定められた位置および/または目標のサイズを維持するように目標を自動的に追跡するべく、目標情報はUAVにより用いられ得る。制御端末は、撮像デバイスからの複数の画像を表示し、ならびに目標情報に関するユーザ入力を可能にするように構成され得る。

概要

背景

概要

本発明は、UAVによる目標追跡に関するシステム、方法、およびデバイスを提供する。UAVは、UAVに接続された撮像デバイスにより追跡される目標に関する制御端末から、目標情報を受信する。撮像デバイスにより取り込まれる1または複数の画像中の予め定められた位置および/または目標のサイズを維持するように目標を自動的に追跡するべく、目標情報はUAVにより用いられ得る。制御端末は、撮像デバイスからの複数の画像を表示し、ならびに目標情報に関するユーザ入力を可能にするように構成され得る。

目的

本発明は、UAVによる目標追跡に関する複数のシステム、方法、およびデバイスを提供する

効果

実績

技術文献被引用数
5件
牽制数
7件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

無人航空機UAV)を制御するための方法であって、遠隔ユーザから1または複数のナビゲーションコマンドを受信し、飛行経路に沿って前記UAVを移動させるステップと、前記遠隔ユーザから、前記UAV上の撮像デバイスにより追跡される目標についての目標情報を受信するステップと、前記UAVが前記遠隔ユーザからの前記1または複数のナビゲーションコマンドに従って前記飛行経路に沿って移動する間に、前記UAVまたは前記撮像デバイスのうち少なくとも1つを自動的に調整することにより、前記目標情報に従って前記目標を追跡するステップとを備える、方法。

請求項2

複数の追跡機能を有する無人航空機(UAV)であって、個別に、または集合的に、遠隔ユーザから(1)飛行経路に沿って前記UAVを移動させる1または複数のナビゲーションコマンド、および(2)前記UAV上の撮像デバイスにより追跡される目標についての目標情報を受信するように構成された1または複数のレシーバと、前記UAVが前記遠隔ユーザからの前記1または複数のナビゲーションコマンドに従い、前記飛行経路に沿って移動する間に、前記UAVまたは前記撮像デバイスのうち少なくとも1つを自動的に調整することにより、前記目標情報に従って前記目標を個別に、または集合的に追跡するように構成された1または複数のプロセッサとを備える、UAV。

請求項3

無人航空機(UAV)を制御するためのシステムであって、個別に、または集合的に、遠隔ユーザから(1)飛行経路に沿って前記UAVを移動させる1または複数のナビゲーションコマンド、および(2)前記UAV上の撮像デバイスにより追跡される目標についての目標情報を受信するように構成された1または複数のレシーバと、前記UAVが前記遠隔ユーザからの前記1または複数のナビゲーションコマンドに従い、前記飛行経路に沿って移動する間に、前記UAVまたは前記撮像デバイスのうち少なくとも1つを自動的に調整することにより、前記目標情報に従って前記目標を個別に、または集合的に追跡するように構成された1または複数のプロセッサとを備える、システム。

請求項4

前記撮像デバイスは、カメラまたはカムコーダーを含む、請求項3に記載のシステム。

請求項5

1または複数のナビゲーションコマンドは、前記UAVの速度、位置、または姿勢を制御するように適合される、請求項3に記載のシステム。

請求項6

前記目標は、参照物体に対して実質的に静止状態にある、請求項3に記載のシステム。

請求項7

前記目標は、参照物体に対して移動する、請求項3に記載のシステム。

請求項8

前記目標情報は、初期目標情報を含む、請求項3に記載のシステム。

請求項9

前記初期目標情報は、前記撮像デバイスにより取り込まれた画像中に前記目標の初期位置または初期サイズを含む、請求項8に記載のシステム。

請求項10

前記目標情報は、目標タイプ情報を含む、請求項3に記載のシステム。

請求項11

前記目標情報に従って前記目標を追跡するステップは、画像認識アルゴリズムを用いて、前記目標タイプ情報に基づき、前記撮像デバイスにより取り込まれた1または複数の画像中から、追跡する前記目標を識別するステップを更に有する、請求項10に記載のシステム。

請求項12

前記目標タイプ情報は、色、テクスチャ、またはパターン情報を含む、請求項10に記載のシステム。

請求項13

前記目標情報は、予想目標情報を含む、請求項3に記載のシステム。

請求項14

前記予想目標情報は、前記撮像デバイスにより取り込まれた画像中の前記目標の予想位置または予想サイズを含む、請求項13に記載のシステム。

請求項15

前記目標の前記予想サイズは、前記目標の初期サイズと同一である、請求項14に記載のシステム。

請求項16

前記目標の前記予想位置は、前記目標の初期位置と同一である、請求項14に記載のシステム。

請求項17

前記目標情報に従って前記目標を追跡するステップは、前記撮像デバイスにより取り込まれた1または複数の画像中における前記目標の前記予想位置または前記予想サイズを予め定められた程度の公差内に維持するステップを有する、請求項14に記載のシステム。

請求項18

前記撮像デバイスは、前記撮像デバイスが前記UAVに対して移動することを可能にするように構成されたキャリアを介して前記UAVに接続される、請求項3に記載のシステム。

請求項19

前記キャリアは、前記撮像デバイスが前記UAVに対する少なくとも2つの軸を中心として回転することを可能にするように構成される、請求項18に記載のシステム。

請求項20

前記目標情報に従って前記目標を追跡するステップは、前記UAVが前記遠隔ユーザからの前記1または複数のナビゲーションコマンドに従い、前記飛行経路に沿って移動する間に、前記UAV、前記キャリア、または前記撮像デバイスのうち少なくとも1つを自動的に調整するステップを有する、請求項18に記載のシステム。

請求項21

前記目標情報は、予想目標情報を含み、前記目標情報に従って前記目標を追跡するステップは、前記撮像デバイスにより取り込まれた1または複数の画像に基づいて、前記目標の現在の目標情報を判断するステップと、前記現在の目標情報の前記予想目標情報からの偏差を検出するステップと、前記偏差を実質的に補正するように、前記UAV、前記キャリア、または前記撮像デバイスに対する調整値を算出するステップとを有する、請求項18に記載のシステム。

請求項22

前記偏差は、前記目標の位置における変化に関係し、算出済みの前記調整値は、前記UAVに対する角速度に関係する、請求項21に記載のシステム。

請求項23

前記角速度は、前記UAVのヨー軸に相対する、請求項22に記載のシステム。

請求項24

前記角速度は、前記UAVのピッチ軸に相対する、請求項22に記載のシステム。

請求項25

前記偏差は、前記目標の位置における変化に関係し、算出済みの前記調整値は、前記UAVに対する前記撮像デバイスの角速度に関係する、請求項21に記載のシステム。

請求項26

前記角速度は、前記撮像デバイスのヨー軸に相対する、請求項25に記載のシステム。

請求項27

前記角速度は、前記撮像デバイスのピッチ軸に相対する、請求項25に記載のシステム。

請求項28

算出済みの前記調整値は、前記撮像デバイスを前記UAVに対して移動させるように前記キャリアに対する複数の制御信号を生成するべく用いられる、請求項25に記載のシステム。

請求項29

前記偏差は、前記目標のサイズにおける変化に関係し、前記調整値は、前記UAVに対する線形速度に関係する、請求項21に記載のシステム。

請求項30

前記偏差は、前記目標のサイズにおける変化に関係し、前記調整値は、前記撮像デバイスの1または複数のパラメータに関係する、請求項21に記載のシステム。

請求項31

前記撮像デバイスの前記1または複数のパラメータは、焦点距離ズーム、またはフォーカスを含む、請求項30に記載のシステム。

請求項32

算出済みの前記調整値は、予め定められた範囲に限定される、請求項21に記載のシステム。

請求項33

前記予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する、請求項32に記載のシステム。

請求項34

前記制御システムは、前記UAV用ナビゲーション制御システムまたは前記キャリア用の制御システムを含む、請求項33に記載のシステム。

請求項35

警告信号は、算出済みの前記調整値が前記予め定められた範囲から外れる場合に、提供される、請求項32に記載のシステム。

請求項36

前記目標を追跡するステップは、算出済みの前記調整値を予め定められた最大閾値と比較するステップと、算出済みの前記調整値が前記予め定められた最大閾値を超える場合に、前記予め定められた最大閾値を提供するステップとを有する、請求項21に記載のシステム。

請求項37

前記予め定められた最大閾値は、前記UAVもしくは前記撮像デバイスに対する最高角速度もしくは最高線形速度を含む、請求項32に記載のシステム。

請求項38

前記目標を追跡するステップは、算出済みの前記調整値を予め定められた最小閾値と比較するステップと、算出済みの前記調整値が前記予め定められた最小閾値よりも小さい場合に、前記予め定められた最小閾値を提供するステップとを有する、請求項21に記載のシステム。

請求項39

前記予め定められた最小閾値は、前記UAVもしくは前記撮像デバイスに対する最低角速度もしくは最低線形速度を含む、請求項38に記載のシステム。

請求項40

前記目標情報は、前記遠隔ユーザにアクセス可能遠隔制御デバイスから受信される、請求項3に記載のシステム。

請求項41

前記1または複数のナビゲーションコマンドは、同一の前記遠隔制御デバイスから受信される、請求項40に記載のシステム。

請求項42

前記1または複数のナビゲーションコマンドは、異なる遠隔制御デバイスから受信される、請求項40に記載のシステム。

請求項43

前記遠隔制御デバイスは、タッチスクリーンジョイスティックキーボード、またはマウスからのユーザ入力を受信するように構成される、請求項40に記載のシステム。

請求項44

前記遠隔制御デバイスは、ウェアラブルデバイスからのユーザ入力を受信するように構成される、請求項40に記載のシステム。

請求項45

前記遠隔制御デバイスは、前記UAVから、前記撮像デバイスにより取り込まれた1または複数の画像を受信し、前記1または複数の画像を表示し、表示された画像中から、目標におけるユーザ選択を受信し、前記目標の前記ユーザ選択に基づいて前記目標についての前記目標情報を生成し、前記目標情報を前記UAVに送信するように構成される、請求項40に記載のシステム。

請求項46

前記遠隔制御デバイスは、ユーザ入力に基づいて前記1または複数のナビゲーションコマンドを生成し、前記1または複数のナビゲーションコマンドを前記UAVに送信するように更に構成される、請求項41に記載のシステム。

請求項47

前記遠隔制御デバイスは、前記目標に関係する追跡情報を受信し、前記追跡情報を用いて前記1または複数の画像を表示するように更に構成される、請求項41に記載のシステム。

請求項48

複数の追跡機能を有する無人航空機(UAV)であって、個別に、または集合的に、遠隔ユーザから前記UAV上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するように構成された1または複数のレシーバと、前記撮像デバイスにより取り込まれた1または複数の画像に基づいて、前記目標の予め定められた位置または予め定められたサイズからの偏差を個別に、または集合的に検出し、前記目標の前記予め定められた位置または前記予め定められたサイズからの検出済みの前記偏差を実質的に補正するように、前記UAV、キャリア、または前記撮像デバイスを自動的に調整する複数のコマンドを生成するように構成された1または複数のプロセッサとを備え、前記ユーザ指定目標情報は、前記撮像デバイスにより取り込まれた画像中の前記目標の前記予め定められた位置または前記予め定められたサイズを含み、前記撮像デバイスは、前記撮像デバイスが前記UAVに対して移動することを可能にするように構成された前記キャリアを介して前記UAVに接続される、UAV。

請求項49

無人航空機(UAV)を制御するためのシステムであって、個別に、または集合的に、遠隔ユーザから前記UAV上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するように構成された1または複数のレシーバと、前記撮像デバイスにより取り込まれた1または複数の画像に基づいて、前記目標の予め定められた位置または予め定められたサイズからの偏差を個別に、または集合的に検出し、前記目標の前記予め定められた位置または前記予め定められたサイズからの検出済みの前記偏差を実質的に補正するように、前記UAV、キャリア、または前記撮像デバイスを自動的に調整する複数のコマンドを生成するように構成された1または複数のプロセッサとを備え、前記ユーザ指定目標情報は、前記撮像デバイスにより取り込まれた画像中の前記目標の前記予め定められた位置または前記予め定められたサイズを含み、前記撮像デバイスは、前記撮像デバイスが前記UAVに対して移動することを可能にするように構成された前記キャリアを介して前記UAVに接続される、システム。

請求項50

無人航空機(UAV)を制御するための方法であって、遠隔ユーザから、前記UAV上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するステップと、前記UAVに搭載したプロセッサにより、前記撮像デバイスにより取り込まれた1または複数の画像に基づいて、前記目標の予め定められた位置または予め定められたサイズからの偏差を検出するステップと、前記目標の前記予め定められた位置または前記予め定められたサイズからの検出済みの前記偏差を実質的に補正するように、前記UAV、キャリア、または前記撮像デバイスを自動的に調整するステップとを備え、前記ユーザ指定目標情報は、前記撮像デバイスにより取り込まれた画像中における前記目標の前記予め定められた位置または前記予め定められたサイズを含み、前記撮像デバイスは、前記撮像デバイスが前記UAVに対して移動することを可能にするように構成された前記キャリアを介して前記UAVに接続される、方法。

請求項51

前記撮像デバイスは、カメラまたはカムコーダーを含む、請求項50に記載の方法。

請求項52

前記遠隔ユーザから、前記UAVの速度、位置、向き、または姿勢を制御するように適合された1または複数のコマンドを受信するステップを更に備える、請求項50に記載の方法。

請求項53

前記遠隔ユーザから、前記キャリアの速度、位置、向き、または姿勢を制御するように適合された1または複数のコマンドを受信するステップを更に備える、請求項50に記載の方法。

請求項54

前記遠隔ユーザから、前記撮像デバイスの1または複数の動作パラメータを制御するように適合された1または複数のコマンドを受信するステップを更に備える、請求項50に記載の方法。

請求項55

前記撮像デバイスの前記1または複数の動作パラメータは、焦点距離、ズームレベル撮像モード画像解像度、フォーカス、被写界深度露出レンズ速度、または視界を含む、請求項54に記載の方法。

請求項56

前記キャリアは、前記撮像デバイスが前記UAVに対する少なくとも1つの軸を中心として回転することを可能にするように構成される、請求項50に記載の方法。

請求項57

前記キャリアは、前記撮像デバイスが前記UAVに対する少なくとも2つの軸を中心として回転することを可能にするように構成される、請求項56に記載の方法。

請求項58

前記目標の前記目標情報は、目標タイプ情報を更に含む、請求項50に記載の方法。

請求項59

前記目標タイプ情報は、前記目標の色またはテクスチャを含む、請求項58に記載の方法。

請求項60

前記目標の前記予め定められた位置は、前記目標の初期位置または予想位置を含む、請求項50に記載の方法。

請求項61

前記目標の前記予め定められたサイズは、前記目標の初期サイズまたは予想サイズを含む、請求項50に記載の方法。

請求項62

前記目標の前記予め定められた位置または前記予め定められたサイズからの前記偏差を検出するステップは、前記撮像デバイスにより取り込まれた前記1または複数の画像中の前記目標の位置またはサイズを、前記予め定められた位置または前記予め定められたサイズとそれぞれ比較するステップを有する、請求項50に記載の方法。

請求項63

前記UAV、前記キャリア、または前記撮像デバイスを調整するステップは、前記偏差を実質的に補正するように、前記UAV、前記キャリア、または前記撮像デバイスに対する調整値を算出するステップを有する、請求項50に記載の方法。

請求項64

前記偏差は、前記目標の位置における変化に関係し、前記調整値は、前記UAVに対する角速度に関係する、請求項63に記載の方法。

請求項65

前記角速度は、前記UAVのヨー軸に相対する、請求項64に記載の方法。

請求項66

前記角速度は、前記UAVのピッチ軸に相対する、請求項64に記載の方法。

請求項67

前記偏差は、前記目標の位置における変化に関係し、前記調整値は、前記UAVに対する前記撮像デバイスの角速度に関係する、請求項63に記載の方法。

請求項68

算出済みの前記調整値は、前記撮像デバイスを前記UAVに対して移動させるように前記キャリアに対する複数の制御信号を生成するべく用いられる、請求項67に記載の方法。

請求項69

前記角速度は、前記撮像デバイスのヨー軸に相対する、請求項67に記載の方法。

請求項70

前記角速度は、前記撮像デバイスのピッチ軸に相対する、請求項67に記載の方法。

請求項71

前記偏差は、前記目標のサイズにおける変化に関係し、前記調整値は、前記UAVに対する線形速度に関係する、請求項63に記載の方法。

請求項72

前記偏差は、前記目標のサイズにおける変化に関係し、前記調整値は、前記撮像デバイスの1または複数のパラメータに関係する、請求項63に記載の方法。

請求項73

前記撮像デバイスの前記1または複数のパラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む、請求項72に記載の方法。

請求項74

算出済みの前記調整値は、予め定められた範囲に限定される、請求項63に記載の方法。

請求項75

前記予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する、請求項74に記載の方法。

請求項76

前記制御システムは、前記UAV用のナビゲーション制御システムまたは前記キャリア用の制御システムを含む、請求項75に記載の方法。

請求項77

前記調整値が前記予め定められた範囲から外れる場合に、警告信号を提供するステップを更に備える、請求項74に記載の方法。

請求項78

警告信号は、オーディオ信号または視覚信号を提供するべく用いられる、請求項74に記載の方法。

請求項79

警告信号は、動力信号を提供するべく用いられる、請求項74に記載の方法。

請求項80

実質的にリアルタイムで、前記撮像デバイスにより取り込まれた複数の画像を前記遠隔ユーザにアクセス可能な遠隔ユーザデバイスに送信するステップを更に備える、請求項50に記載の方法。

請求項81

前記遠隔ユーザデバイスは、前記撮像デバイスにより取り込まれた前記複数の画像を表示するためのディスプレイを含む、請求項80に記載の方法。

請求項82

前記遠隔ユーザデバイスは、前記目標情報を提供するための入力デバイスを含む、請求項81に記載の方法。

請求項83

記入力デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、またはスタイラスを含む、請求項82に記載の方法。

請求項84

前記入力デバイスは、ウェアラブルデバイスを含む、請求項82に記載の方法。

請求項85

前記目標情報は、送信済みの前記複数の画像に基づいて提供される、請求項82に記載の方法。

請求項86

実質的にリアルタイムで、前記目標の追跡情報を前記遠隔ユーザデバイスに提供するステップを更に備える、請求項80に記載の方法。

請求項87

前記遠隔ユーザデバイスは、前記遠隔ユーザデバイス上に表示された1または複数の画像中から前記目標のユーザ選択を受信し、前記目標の前記ユーザ選択に基づいて、前記目標の前記目標情報を生成するように構成される、請求項81に記載の方法。

請求項88

無人航空機(UAV)を制御するための方法であって、ディスプレイにより、実質的にリアルタイムで前記UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を表示するステップと、入力デバイスにより、実質的にリアルタイムで表示される前記1または複数の画像のうち少なくとも1つから目標のユーザ選択を受信するステップと、前記目標の前記ユーザ選択に少なくとも部分的に基づいて、前記目標の目標情報を生成するステップと、前記UAVが前記目標情報に従って前記目標を自主的に追跡することを可能にするように、前記UAVに前記目標情報を提供するステップを備える、方法。

請求項89

無人航空機(UAV)を制御するためのシステムであって、前記UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を表示するように構成されたディスプレイと、前記ディスプレイ上に表示される前記1または複数の画像のうち少なくとも1つから目標のユーザ選択を受信するように構成された入力デバイスと、前記目標の前記ユーザ選択に少なくとも部分的に基づいて、前記目標の目標情報を個別に、または集合的に生成するように構成された1または複数のプロセッサと、前記UAVが前記目標情報に従って前記目標を自主的に追跡することを可能にするように、前記UAVに前記目標情報を提供するように構成されたトランスミッタとを備える、システム。

請求項90

無人航空機(UAV)を制御するための装置であって、前記UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を表示するように構成されたディスプレイと、前記ディスプレイ上に表示される前記1または複数の画像のうち少なくとも1つから目標のユーザ選択を受信するように構成された入力デバイスと、前記目標の前記ユーザ選択に少なくとも部分的に基づいて、前記目標の目標情報を個別に、または集合的に生成するように構成された1または複数のプロセッサと、前記UAVが前記目標情報に従って前記目標を自主的に追跡することを可能にするように、前記UAVに前記目標情報を提供するように構成されたトランスミッタとを備える、装置。

請求項91

前記目標情報は、初期目標情報を含む、請求項90に記載の装置。

請求項92

前記初期目標情報は、前記撮像デバイスにより取り込まれた画像中に前記目標の初期位置または初期サイズを含む、請求項91に記載の装置。

請求項93

前記初期目標情報は、前記目標の前記ユーザ選択に基づいて生成される、請求項91に記載の装置。

請求項94

前記目標情報は、目標タイプ情報を含む、請求項90に記載の装置。

請求項95

前記目標タイプ情報は、色、テクスチャ、またはパターン情報を含む、請求項94に記載の装置。

請求項96

前記目標タイプ情報は、前記目標の前記ユーザ選択に基づいて生成される、請求項94に記載の装置。

請求項97

前記目標情報は、予想目標情報を含む、請求項90に記載の装置。

請求項98

前記予想目標情報は、前記目標の前記ユーザ選択に基づいて生成される、請求項97に記載の装置。

請求項99

前記予想目標情報は、前記撮像デバイスにより取り込まれた画像中に前記目標の予想位置または予想サイズを含む、請求項97に記載の装置。

請求項100

前記目標情報は、予想目標情報を含まない、請求項90に記載の装置。

請求項101

前記入力デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、スタイラス、またはウェアラブルデバイスを含む、請求項90に記載の装置。

請求項102

前記目標の前記ユーザ選択は、前記ディスプレイ上に表示される前記1または複数の画像のうち前記少なくとも1つの区域を選択するユーザにより実現され、選択された前記区域は、前記目標に対応する、請求項90に記載の装置。

請求項103

前記目標の前記ユーザ選択は、前記ディスプレイ上に表示される前記1または複数の画像のうち前記少なくとも1つの区域を直接にタッチするユーザにより実現され、タッチされた前記区域は、前記目標に対応する、請求項102に記載の装置。

請求項104

前記ユーザは、スタイラス、マウス、キーボード、またはウェアラブルデバイスを用いて前記区域を選択する、請求項102に記載の装置。

請求項105

前記区域を選択することは、前記区域をタッチすること、スワイプすること、回転させること、またはクリックすることを含む、請求項102に記載の装置。

請求項106

前記1または複数のプロセッサは、前記目標の前記ユーザ選択に応答して、選択インジケータを用いて選択された前記目標を個別に、または集合的に前記ディスプレイ上に表示するように更に構成され、前記選択インジケータは、前記目標が前記ユーザにより選択されていることを示す、請求項90に記載の装置。

請求項107

前記1または複数のプロセッサは、個別に、または集合的に、前記目標に関係する追跡情報を受信し、前記追跡情報に基づいて、前記撮像デバイスにより取り込まれた1または複数の後続の画像中の追跡インジケータを用いて選択された前記目標を表示するように更に構成され、前記追跡インジケータは、実質的にリアルタイムで、前記目標が前記目標情報に従って前記UAVにより追跡されていることを示す、請求項90に記載の装置。

請求項108

無人航空機(UAV)を制御するための方法であって、実質的にリアルタイムで、前記UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を受信するステップと、前記1または複数の画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標のユーザ指定目標情報を受信するステップと、前記ユーザ指定目標情報を前記UAVに提供するステップと、前記1または複数の画像、および前記1または複数の画像中の前記目標と関連する追跡インジケータを表示するステップとを備え、前記追跡インジケータは、前記目標が前記ユーザ指定目標情報に従って、実質的にリアルタイムで前記UAVにより追跡されていることを示す、方法。

請求項109

無人航空機(UAV)を制御するための装置であって、実質的にリアルタイムで、前記UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を受信するように構成されたレシーバと、前記1または複数の画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標についてのユーザ指定目標情報を受信するように構成された入力デバイスと、前記ユーザ指定目標情報を前記UAVに提供するためのトランスミッタと、前記1または複数の画像、および前記1または複数の画像中の前記目標に関連する追跡インジケータを表示するように構成されたディスプレイとを備え、前記追跡インジケータは、前記目標が前記ユーザ指定目標情報に従って、実質的にリアルタイムで前記UAVにより追跡されていることを示す、装置。

請求項110

無人航空機(UAV)を制御するためのシステムであって、実質的にリアルタイムで、前記UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を受信するように構成されたレシーバと、前記1または複数画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標についてのユーザ指定目標情報を受信するように構成された入力デバイスと、前記ユーザ指定目標情報を前記UAVに提供するためのトランスミッタと、前記1または複数の画像、および前記1または複数の画像中の前記目標に関連する追跡インジケータを表示するように構成されたディスプレイとを備え、前記追跡インジケータは、前記目標が前記ユーザ指定目標情報に従って、実質的にリアルタイムで前記UAVにより追跡されていることを示す、システム。

請求項111

前記入力デバイスは、前記UAVの速度、位置、向き、もしくは姿勢を制御するように適合された1もしくは複数のコマンド、または前記撮像デバイスの1もしく複数の動作パラメータを受信するように更に構成される、請求項110に記載のシステム。

請求項112

前記撮像デバイスは、前記撮像デバイスが少なくとも1つの軸に沿って前記UAVに対して回転することを可能にするように構成されたキャリアを介して前記UAVに接続され、前記入力デバイスは、前記キャリアの速度、位置、向き、または姿勢を制御するように適合された1または複数のコマンドを受信するように更に構成される、請求項110に記載のシステム。

請求項113

前記キャリアは、前記撮像デバイスが前記UAVに対する少なくとも2つの軸を中心として回転することを可能にするように構成される、請求項112に記載のシステム。

請求項114

前記目標は、前記UAV、前記キャリア、または前記撮像デバイスのうち少なくとも1つに対する自動調整により、前記目標情報に従って前記撮像デバイスにより追跡される、請求項112に記載のシステム。

請求項115

前記システムは、前記UAVの速度、位置、向き、もしくは姿勢を制御するように適合された1もしくは複数のコマンド、または前記撮像デバイスの1もしくは複数の動作パラメータを受信するように構成された第2の入力デバイスを更に備える、請求項110に記載のシステム。

請求項116

前記撮像デバイスは、前記撮像デバイスが少なくとも1つの軸に沿って前記UAVに対して回転することを可能にするように構成されたキャリアを介して前記UAVに接続され、前記システムは、前記キャリアの速度、位置、向き、または姿勢を制御するように適合された1または複数のコマンドを受信するように構成された第2の入力デバイスを更に備える、請求項110に記載のシステム。

請求項117

前記撮像デバイスの前記1または複数の動作パラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む、請求項116に記載のシステム。

請求項118

前記目標は、前記UAV、前記キャリア、または前記撮像デバイスのうち少なくとも1つに対する自動調整により、前記目標情報に従って前記撮像デバイスにより追跡される、請求項116に記載のシステム。

請求項119

前記予め定められた位置は、前記目標の初期位置を含む、請求項110に記載のシステム。

請求項120

前記予め定められたサイズは、前記目標の初期サイズを含む、請求項110に記載のシステム。

請求項121

前記予め定められた位置は、前記目標の予想位置を含む、請求項110に記載のシステム。

請求項122

前記予め定められたサイズは、前記目標の予想サイズを含む、請求項110に記載のシステム。

請求項123

前記目標情報は、目標タイプ情報を更に含む、請求項110に記載のシステム。

請求項124

前記目標情報は、前記目標のユーザ選択に基づいて生成される、請求項110に記載のシステム。

請求項125

前記追跡インジケータは、幾何形状チェマーク、または矢印を含む、請求項110に記載のシステム。

請求項126

前記幾何形状は、円、長方形、または三角形を含む、請求項125に記載のシステム。

請求項127

前記目標は、前記UAVまたは前記撮像デバイスのうち少なくとも1つに対する自動調整により、前記目標情報に従って前記撮像デバイスにより追跡される、請求項110に記載のシステム。

技術分野

0001

無人航空機UAV)等の航空機は、事および非軍事的用途のための調査偵察、および探検のタスクを実行するべく、用いられ得る。そのような複数の航空機は、周囲環境の画像を取り込する等、特定の機能を実行するように構成された搭載物を搬送し得る。

0002

いくつかの例において、航空機が特定の目標を追跡することが所望であり得る。従来、小さいサイズの航空機にとり、そのような追跡は、ユーザにより操作される遠隔制御端末またはデバイスからの複数の制御コマンドにより実現される。そのような手動追跡制御は、可動物体または目標が迅速に移動する場合、または可動物体がユーザの視野から少なくとも部分的に遮断される場合等、一定の複数の条件においては困難となり得る。更に、そのような手動追跡に必要な注意力は、典型的には、航空機のナビゲーションを制御するユーザとは別の、航空機に搭載されたカメラを制御する専用ユーザを必要とし、それにより航空写真、および航空機の他の複数の用途のコストを増大させる。

0003

いくつかの例において、航空機が特定の目標を追跡することが所望であり得る。従って、自動式または半自動式の目標追跡を提供し、それにより手動で複数の目標を追跡する航空機の操作者の負担を軽減する改善されたUAV追跡方法およびシステムに対する必要性が、存在する。本発明は、UAVによる目標追跡に関する複数のシステム、方法、およびデバイスを提供する。UAVは、UAVに接続された撮像デバイスにより追跡される目標に関する制御端末から、目標情報を受信するように構成され得る。目標情報は、撮像デバイスにより取り込まれる1または複数の画像中の目標の予め定められた位置および/またはサイズを維持するように目標を自動的に追跡するべく、UAVにより用いられ得る。追跡のいずれの説明も、撮像デバイスによる視覚的追跡を含み得る。制御端末は、撮像デバイスからの複数の画像を表示し、ならびに目標情報に関するユーザ入力を可能にするように構成され得る。

0004

本発明の一態様によれば、無人航空機(UAV)を制御するための方法が提供される。本方法は、遠隔ユーザから1または複数のナビゲーションコマンドを受信し、飛行経路に沿ってUAVを移動させるステップと、遠隔ユーザから、UAV上の撮像デバイスにより追跡される目標についての目標情報を受信するステップと、UAVが遠隔ユーザからの1または複数のナビゲーションコマンドに従って飛行経路に沿って移動する間に、UAVまたは撮像デバイスのうち少なくとも1つを自動的に調整することにより、目標情報に従って目標を追跡するステップとを備える。

0005

本発明の別の態様によれば、複数の追跡機能を有する無人航空機(UAV)が提供される。UAVは、個別に、または集合的に、遠隔ユーザから(1)飛行経路に沿ってUAVを移動させる1または複数のナビゲーションコマンド、および(2)UAV上の撮像デバイスにより追跡される目標についての目標情報を受信するように構成された1または複数のレシーバと、UAVが遠隔ユーザからの1または複数のナビゲーションコマンドに従い、飛行経路に沿って移動する間に、UAVまたは撮像デバイスのうち少なくとも1つを自動的に調整することにより、目標情報に従って目標を個別に、または集合的に追跡するように構成された1または複数のプロセッサとを備える。

0006

本発明の別の態様によれば、無人航空機(UAV)を制御するためのシステムが提供される。システムは、個別に、または集合的に、遠隔ユーザから(1)飛行経路に沿ってUAVを移動させる1または複数のナビゲーションコマンド、および(2)UAV上の撮像デバイスにより追跡される目標についての目標情報を受信するように構成された1または複数のレシーバと、UAVが遠隔ユーザからの1または複数のナビゲーションコマンドに従い、飛行経路に沿って移動する間に、UAVまたは撮像デバイスのうち少なくとも1つを自動的に調整することにより、目標情報に従って目標を個別に、または集合的に追跡するように構成された1または複数のプロセッサとを備える。

0007

いくつかの実施形態において、撮像デバイスは、カメラまたはカムコーダーを含む。

0008

いくつかの実施形態において、1または複数のナビゲーションコマンドは、UAVの速度、位置、または姿勢を制御するように適合される。

0009

いくつかの実施形態において、目標は、参照物体に対して実質的に静止状態にある。

0010

いくつかの実施形態において、目標は、参照物体に対して移動する。

0011

いくつかの実施形態において、目標情報は、初期目標情報を含む。

0012

いくつかの実施形態において、初期目標情報は、撮像デバイスにより取り込まれた画像中に目標の初期位置または初期サイズを含む。

0013

いくつかの実施形態において、目標情報は、目標タイプ情報を含む。

0014

いくつかの実施形態において、目標情報に従って目標を追跡するステップは、画像認識アルゴリズムを用いて、目標タイプ情報に基づき、撮像デバイスにより取り込まれた1または複数の画像中から、追跡する目標を識別するステップを更に有する。

0015

いくつかの実施形態において、目標タイプ情報は、色、テクスチャ、またはパターン情報を含む。

0016

いくつかの実施形態において、目標情報は、予想目標情報を含む。

0017

いくつかの実施形態において、予想目標情報は、撮像デバイスにより取り込まれた画像中の目標の予想位置または予想サイズを含む。

0018

いくつかの実施形態において、目標の予想サイズは、目標の初期サイズと同一である。

0019

いくつかの実施形態において、目標の予想位置は、目標の初期位置と同一である。

0020

いくつかの実施形態において、目標情報に従って目標を追跡するステップは、撮像デバイスにより取り込まれた1または複数の画像中における目標の予想位置または予想サイズを予め定められた程度の公差内に維持するステップを有する。

0021

いくつかの実施形態において、撮像デバイスは、撮像デバイスがUAVに対して移動することを可能にするように構成された支持機構を介してUAVに接続される。

0022

いくつかの実施形態において、支持機構は、撮像デバイスがUAVに対する少なくとも2つの軸を中心として回転することを可能にするように構成される。

0023

いくつかの実施形態において、目標情報に従って目標を追跡するステップは、UAVが遠隔ユーザからの1または複数のナビゲーションコマンドに従い、飛行経路に沿って移動する間に、UAV、支持機構、または撮像デバイスのうち少なくとも1つを自動的に調整するステップを有する。

0024

いくつかの実施形態において、目標情報は、予想目標情報を含み、目標情報に従って目標を追跡するステップは、撮像デバイスにより取り込まれた1または複数の画像に基づいて、目標の現在の目標情報を判断するステップと、現在の目標情報の予想目標情報からの偏差を検出するステップと、偏差を実質的に補正するように、UAV、支持機構、または撮像デバイスに対する調整値を算出するステップとを有する。

0025

いくつかの実施形態において、偏差は、目標の位置における変化に関係し、算出済みの調整値は、UAVに対する角速度に関係する。

0026

いくつかの実施形態において、角速度は、UAVのヨー軸に相対する。

0027

いくつかの実施形態において、角速度は、UAVのピッチ軸に相対する。

0028

いくつかの実施形態において、偏差は、目標の位置における変化に関係し、算出済みの調整値は、UAVに対する撮像デバイスの角速度に関係する。

0029

いくつかの実施形態において、算出済みの調整値は、撮像デバイスをUAVに対して移動させるように支持機構に対する複数の制御信号を生成するべく用いられる。

0030

いくつかの実施形態において、偏差は、目標のサイズにおける変化に関係し、調整値は、UAVに対する線形速度に関係する。

0031

いくつかの実施形態において、偏差は、目標のサイズにおける変化に関係し、調整値は、撮像デバイスの1または複数のパラメータに関係する。

0032

いくつかの実施形態において、撮像デバイスの1または複数のパラメータは、焦点距離ズーム、またはフォーカスを含む。

0033

いくつかの実施形態において、算出済みの調整値は、予め定められた範囲に限定される。

0034

いくつかの実施形態において、予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する。

0035

いくつかの実施形態において、制御システムは、UAV用飛行制御システムまたは支持機構用の制御システムを含む。

0036

警告信号は、いくつかの実施形態において、算出済みの調整値が予め定められた範囲から外れる場合に、提供される。

0037

いくつかの実施形態において、目標を追跡するステップは、算出済みの調整値を予め定められた最大閾値と比較するステップと、算出済みの調整値が予め定められた最大閾値を超える場合に、予め定められた最大閾値を提供するステップとを有する。

0038

いくつかの実施形態において、予め定められた最大閾値は、UAVもしくは撮像デバイスに対する最高角速度もしくは最高線形速度を含む。

0039

いくつかの実施形態において、目標を追跡するステップは、算出済みの調整値を予め定められた最小閾値と比較するステップと、算出済みの調整値が予め定められた最小閾値よりも小さい場合に、予め定められた最小閾値を提供するステップとを有する。

0040

いくつかの実施形態において、予め定められた最小閾値は、UAVもしくは撮像デバイスに対する最低角速度もしくは最低線形速度を含む。

0041

いくつかの実施形態において、目標情報は、遠隔ユーザにアクセス可能遠隔制御デバイスから受信される。

0042

いくつかの実施形態において、1または複数のナビゲーションコマンドは、同一の遠隔制御デバイスから受信される。

0043

いくつかの実施形態において、1または複数のナビゲーションコマンドは、異なる遠隔制御デバイスから受信される。

0044

いくつかの実施形態において、遠隔制御デバイスは、タッチスクリーンジョイスティックキーボードマウス、またはスタイラスからのユーザ入力を受信するように構成される。

0045

いくつかの実施形態において、遠隔制御デバイスは、ウェアラブルデバイスからのユーザ入力を受信するように構成される。

0046

いくつかの実施形態において、遠隔制御デバイスは、UAVから、撮像デバイスにより取り込まれた1または複数の画像を受信し、1または複数の画像を表示し、表示された画像中から、目標におけるユーザ選択を受信し、目標のユーザ選択に基づいて目標についての目標情報を生成し、目標情報をUAVに送信するように構成される。

0047

いくつかの実施形態において、遠隔制御デバイスは、ユーザ入力に基づいて1または複数のナビゲーションコマンドを生成し、1または複数のナビゲーションコマンドをUAVに送信するように更に構成される。

0048

いくつかの実施形態において、遠隔制御デバイスは、目標に関係する追跡情報を受信し、追跡情報を用いて1または複数の画像を表示するように更に構成される。

0049

本発明の一態様によれば、複数の追跡機能を有する無人航空機(UAV)が提供される。UAVは、個別に、または集合的に、遠隔ユーザからUAV上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するように構成された1または複数のレシーバと、撮像デバイスにより取り込まれた1または複数の画像に基づいて、目標の予め定められた位置または予め定められたサイズからの偏差を個別に、または集合的に検出し、目標の予め定められた位置または予め定められたサイズからの検出済みの偏差を実質的に補正するように、UAV、支持機構、または撮像デバイスを自動的に調整する複数のコマンドを生成するように構成された1または複数のプロセッサとを備え、ユーザ指定目標情報は、撮像デバイスにより取り込まれた画像中の目標の予め定められた位置または予め定められたサイズを含み、撮像デバイスは、撮像デバイスがUAVに対して移動することを可能にするように構成された支持機構を介してUAVに接続される。

0050

本発明の別の態様によれば、無人航空機(UAV)を制御するためのシステムが提供される。システムは、個別に、または集合的に、遠隔ユーザからUAV上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するように構成された1または複数のレシーバと、撮像デバイスにより取り込まれた1または複数画像に基づいて、目標の予め定められた位置または予め定められたサイズからの偏差を個別に、または集合的に検出し、目標の予め定められた位置または予め定められたサイズからの検出済みの偏差を実質的に補正するように、UAV、支持機構、または撮像デバイスを自動的に調整する複数のコマンドを生成するように構成された1または複数のプロセッサとを備え、ユーザ指定目標情報は、撮像デバイスにより取り込まれた画像中の目標に予め定められた位置または予め定められたサイズを含み、撮像デバイスは、撮像デバイスがUAVに対して移動することを可能にするように構成された支持機構を介してUAVに接続される。

0051

本発明の別の態様によれば、無人航空機(UAV)を制御するための方法が提供される。本方法は、遠隔ユーザから、UAV上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するステップと、UAVに搭載したプロセッサにより、撮像デバイスにより取り込まれた1または複数の画像に基づいて、目標の予め定められた位置または予め定められたサイズからの偏差を検出するステップと、目標の予め定められた位置または予め定められたサイズからの検出済みの偏差を実質的に補正するように、UAV、支持機構、または撮像デバイスを自動的に調整するステップとを備え、ユーザ指定目標情報は、撮像デバイスにより取り込まれた画像中における目標の予め定められた位置または予め定められたサイズを含み、撮像デバイスは、撮像デバイスがUAVに対して移動することを可能にするように構成された支持機構を介してUAVに接続される。

0052

いくつかの実施形態において、撮像デバイスは、カメラまたはカムコーダーを含む。

0053

いくつかの実施形態において、本方法は、遠隔ユーザから、UAVの速度、位置、向き、または姿勢を制御するように適合された1または複数のコマンドを受信するステップを更に備える。

0054

いくつかの実施形態において、本方法は、遠隔ユーザから、支持機構の速度、位置、向き、または姿勢を制御するように適合された1または複数のコマンドを受信するステップを更に備える。

0055

いくつかの実施形態において、本方法は、遠隔ユーザから、撮像デバイスの1または複数の動作パラメータを制御するように適合された1または複数のコマンドを受信するステップを更に備える。

0056

いくつかの実施形態において、撮像デバイスの1または複数の動作パラメータは、焦点距離、ズームレベル撮像モード画像解像度、フォーカス、被写界深度露出レンズ速度、または視界を含む。

0057

いくつかの実施形態において、支持機構は、撮像デバイスがUAVに対する少なくとも1つの軸を中心として回転することを可能にするように構成される。

0058

いくつかの実施形態において、支持機構は、撮像デバイスがUAVに対する少なくとも2つの軸を中心として回転することを可能にするように構成される。

0059

いくつかの実施形態において、目標の目標情報は、目標タイプ情報を更に含む。

0060

いくつかの実施形態において、目標タイプ情報は、目標の色またはテクスチャを含む。

0061

いくつかの実施形態において、目標の予め定められた位置は、目標の初期位置または予想位置を含む。

0062

いくつかの実施形態において、目標の予め定められたサイズは、目標の初期サイズまたは予想サイズを含む。

0063

いくつかの実施形態において、目標の予め定められた位置または予め定められたサイズからの偏差を検出するステップは、撮像デバイスにより取り込まれた1または複数の画像中の目標の位置またはサイズを、予め定められた位置または予め定められたサイズとそれぞれ比較するステップを有する。

0064

いくつかの実施形態において、UAV、支持機構、または撮像デバイスを調整するステップは、偏差を実質的に補正するように、UAV、支持機構、または撮像デバイスに対する調整値を算出するステップを有する。

0065

いくつかの実施形態において、偏差は、目標の位置における変化に関係し、調整値は、UAVに対する角速度に関係する。

0066

いくつかの実施形態において、角速度は、UAVのヨー軸に相対する。

0067

いくつかの実施形態において、角速度は、UAVのピッチ軸に相対する。

0068

いくつかの実施形態において、偏差は、目標の位置における変化に関係し、調整値は、UAVに対する撮像デバイスの角速度に関係する。

0069

いくつかの実施形態において、算出済みの調整値は、撮像デバイスをUAVに対して移動させるように支持機構に対する複数の制御信号を生成するべく用いられる。

0070

いくつかの実施形態において、角速度は、撮像デバイスのヨー軸に相対する。

0071

いくつかの実施形態において、角速度は、撮像デバイスのピッチ軸に相対する。

0072

いくつかの実施形態において、偏差は、目標のサイズにおける変化に関係し、調整値は、UAVに対する線形速度に関係する。

0073

いくつかの実施形態において、偏差は、目標のサイズにおける変化に関係し、調整値は、撮像デバイスの1または複数のパラメータに関係する。

0074

いくつかの実施形態において、撮像デバイスの1または複数のパラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む。

0075

いくつかの実施形態において、算出済みの調整値は、予め定められた範囲に限定される。

0076

いくつかの実施形態において、予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する。

0077

いくつかの実施形態において、制御システムは、UAV用のナビゲーション制御システムまたは支持機構用の制御システムを含む。

0078

いくつかの実施形態において、本方法は、調整値が予め定められた範囲から外れる場合に、警告信号を提供するステップを更に備える。

0079

いくつかの実施形態において、警告信号は、オーディオ信号または視覚信号を提供するべく用いられる。

0080

いくつかの実施形態において、警告信号は、動力信号を提供するべく用いられる。

0081

いくつかの実施形態において、本方法は、実質的にリアルタイムで、撮像デバイスにより取り込まれた複数の画像を遠隔ユーザにアクセス可能な遠隔ユーザデバイスに送信するステップを更に備える。

0082

いくつかの実施形態において、遠隔ユーザデバイスは、撮像デバイスにより取り込まれた複数の画像を表示するためのディスプレイを含む。

0083

いくつかの実施形態において、遠隔ユーザデバイスは、目標情報を提供するための入力デバイスを含む。

0084

いくつかの実施形態において、入力デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、またはスタイラスを含む。

0085

いくつかの実施形態において、入力デバイスは、ウェアラブルデバイスを含む。

0086

いくつかの実施形態において、目標情報は、複数の送信済み画像に基づいて提供される。

0087

いくつかの実施形態において、本方法は、実質的にリアルタイムで、目標の追跡情報を遠隔ユーザデバイスに提供するステップを更に備える。

0088

いくつかの実施形態において、遠隔ユーザデバイスは、遠隔ユーザデバイス上に表示された1または複数の画像中から目標のユーザ選択を受信し、目標のユーザ選択に基づいて、目標の目標情報を生成するように構成される。

0089

本発明の別の態様によれば、無人航空機(UAV)を制御するための方法が提供される。本方法は、ディスプレイにより、実質的にリアルタイムでUAVに接続された撮像デバイスにより取り込まれた1または複数の画像を表示するステップと、入力デバイスにより、実質的にリアルタイムで表示される1または複数の画像のうち少なくとも1つから目標のユーザ選択を受信するステップと、目標のユーザ選択に少なくとも部分的に基づいて、目標の目標情報を生成するステップと、UAVが目標情報に従って目標を自主的に追跡することを可能にするように、UAVに目標情報を提供するステップを備える。

0090

本発明の別の態様によれば、無人航空機(UAV)を制御するためのシステムが提供される。システムは、UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を表示するように構成されたディスプレイと、ディスプレイ上に表示される1または複数の画像のうち少なくとも1つから目標のユーザ選択を受信するように構成された入力デバイスと、目標のユーザ選択に少なくとも部分的に基づいて、目標の目標情報を個別に、または集合的に生成するように構成された1または複数のプロセッサと、UAVが目標情報に従って目標を自主的に追跡することを可能にするように、UAVに目標情報を提供するように構成されたトランスミッタとを備える。

0091

本発明の別の態様によれば、無人航空機(UAV)を制御するための装置が提供される。装置は、UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を表示するように構成されたディスプレイと、ディスプレイ上に表示される1または複数の画像のうち少なくとも1つから目標のユーザ選択を受信するように構成された入力デバイスと、目標のユーザ選択に少なくとも部分的に基づいて、目標の目標情報を個別に、または集合的に生成するように構成された1または複数のプロセッサと、UAVが目標情報に従って目標を自主的に追跡することを可能にするように、UAVに目標情報を提供するように構成されたトランスミッタとを備える。

0092

いくつかの実施形態において、目標情報は、初期目標情報を含む。

0093

いくつかの実施形態において、初期目標情報は、撮像デバイスにより取り込まれた画像中に目標の初期位置または初期サイズを含む。

0094

いくつかの実施形態において、初期目標情報は、目標のユーザ選択に基づいて生成される。

0095

いくつかの実施形態において、目標情報は、目標タイプ情報を含む。

0096

いくつかの実施形態において、目標タイプ情報は、色、テクスチャ、またはパターン情報を含む。

0097

いくつかの実施形態において、目標タイプ情報は、目標のユーザ選択に基づいて生成される。

0098

いくつかの実施形態において、目標情報は、予想目標情報を含む。

0099

いくつかの実施形態において、予想目標情報は、目標のユーザ選択に基づいて生成される。

0100

いくつかの実施形態において、予想目標情報は、撮像デバイスにより取り込まれた画像中に目標の予想位置または予想サイズを含む。

0101

いくつかの実施形態において、目標情報は、予想目標情報を含まない。

0102

いくつかの実施形態において、入力デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、スタイラス、またはウェアラブルデバイスを含む。

0103

いくつかの実施形態において、目標のユーザ選択は、ディスプレイ上に表示される1または複数の画像のうち少なくとも1つの区域を選択するユーザにより実現され、選択された区域は、目標に対応する。

0104

いくつかの実施形態において、目標のユーザ選択は、ディスプレイ上に表示される1または複数の画像のうち少なくとも1つの区域を直接にタッチするユーザにより実現され、タッチされた区域は、目標に対応する。

0105

いくつかの実施形態において、ユーザは、スタイラス、マウス、キーボード、またはウェアラブルデバイスを用いて区域を選択する。

0106

いくつかの実施形態において、区域を選択することは、区域をタッチすること、スワイプすること、回転させること、またはクリックすることを含む。

0107

いくつかの実施形態において、1または複数のプロセッサは、目標のユーザ選択に応答して、選択インジケータを用いて選択目標を個別に、または集合的にディスプレイ上に表示するように更に構成され、選択インジケータは、目標がユーザにより選択されていることを示す。

0108

いくつかの実施形態において、1または複数のプロセッサは、個別に、または集合的に、目標に関係する追跡情報を受信し、追跡情報に基づいて、撮像デバイスにより取り込まれた1または複数の後続の画像中の追跡インジケータを用いて選択目標を表示するように更に構成され、追跡インジケータは、実質的にリアルタイムで、目標が目標情報に従ってUAVにより追跡されていることを示す。

0109

本発明の別の態様によれば、無人航空機(UAV)を制御するための方法が提供される。本方法は、実質的にリアルタイムで、UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を受信するステップと、1または複数の画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標のユーザ指定目標情報を受信するステップと、ユーザ指定目標情報をUAVに提供するステップと、1または複数の画像、および1または複数の画像中の目標と関連する追跡インジケータを表示するステップとを備え、追跡インジケータは、目標がユーザ指定目標情報に従って、実質的にリアルタイムでUAVにより追跡されていることを示す。

0110

本発明の別の態様によれば、無人航空機(UAV)を制御するための装置が提供される。装置は、実質的にリアルタイムで、UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を受信するように構成されたレシーバと、1または複数画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標についてのユーザ指定目標情報を受信するように構成された入力デバイスと、ユーザ指定目標情報をUAVに提供するためのトランスミッタと、1または複数の画像、および1または複数の画像中の目標に関連する追跡インジケータを表示するように構成されたディスプレイとを備え、追跡インジケータは、目標がユーザ指定目標情報に従って、実質的にリアルタイムでUAVにより追跡されていることを示す。

0111

本発明の別の態様によれば、無人航空機(UAV)を制御するためのシステムが提供される。システムは、実質的にリアルタイムで、UAVに接続された撮像デバイスにより取り込まれた1または複数の画像を受信するように構成されたレシーバと、1または複数画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標についてのユーザ指定目標情報を受信するように構成された入力デバイスと、ユーザ指定目標情報をUAVに提供するためのトランスミッタと、1または複数の画像、および1または複数の画像中の目標に関連する追跡インジケータを表示するように構成されたディスプレイとを備え、追跡インジケータは、目標がユーザ指定目標情報に従って、実質的にリアルタイムでUAVにより追跡されていることを示す。

0112

いくつかの実施形態において、入力デバイスは、UAVの速度、位置、向き、もしくは姿勢を制御するように適合された1もしくは複数のコマンド、または撮像デバイスの1もしくは複数の動作パラメータを受信するように更に構成される。

0113

いくつかの実施形態において、撮像デバイスは、撮像デバイスが少なくとも1つの軸に沿ってUAVに対して回転することを可能にするように構成された支持機構を介してUAVに接続され、入力デバイスは、支持機構の速度、位置、向き、または姿勢を制御するように適合された1または複数のコマンドを受信するように更に構成される。

0114

いくつかの実施形態において、支持機構は、撮像デバイスがUAVに対する少なくとも2つの軸を中心として回転することを可能にするように構成される。

0115

いくつかの実施形態において、目標は、UAV、支持機構、または撮像デバイスのうち少なくとも1つに対する自動調整により、目標情報に従って撮像デバイスにより追跡される。

0116

いくつかの実施形態において、第2の入力デバイスが含まれ、UAVの速度、位置、向き、もしくは姿勢を制御するように適合された1もしくは複数のコマンド、または撮像デバイスの1もしくは複数の動作パラメータを受信するように構成される。

0117

いくつかの実施形態において、撮像デバイスは、撮像デバイスが少なくとも1つの軸に沿ってUAVに対して回転することを可能にするように構成された支持機構を介してUAVに接続され、システムは、支持機構の速度、位置、向き、または姿勢を制御するように適合された1または複数のコマンドを受信するように構成された第2の入力デバイスを更に備える。

0118

いくつかの実施形態において、撮像デバイスの1または複数の動作パラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む。

0119

いくつかの実施形態において、目標は、UAV、支持機構、または撮像デバイスのうち少なくとも1つに対する自動調整により、目標情報に従って撮像デバイスにより追跡される。

0120

いくつかの実施形態において、予め定められた位置は、目標の初期位置を含む。

0121

いくつかの実施形態において、予め定められたサイズは、目標の初期サイズを含む。

0122

いくつかの実施形態において、予め定められた位置は、目標の予想位置を含む。

0123

いくつかの実施形態において、予め定められたサイズは、目標の予想サイズを含む。

0124

いくつかの実施形態において、目標情報は、目標タイプ情報を更に含む。

0125

いくつかの実施形態において、目標情報は、目標のユーザ選択に基づいて生成される。

0126

いくつかの実施形態において、追跡インジケータは、幾何形状チェマーク、または矢印を含む。

0127

いくつかの実施形態において、幾何形状は、円、長方形、または三角形を含む。

0128

いくつかの実施形態において、目標は、UAVまたは撮像デバイスのうち少なくとも1つに対する自動調整により、目標情報に従って撮像デバイスにより追跡される。

0129

本発明の異なる複数の態様は、個別に、集合的に、または互いに組み合わせて識別され得ることを理解されたい。本明細書において説明される本発明の様々な態様は、以下に記載される具体的な複数の用途、またはその他のタイプの複数の可動物体のいずれかに適用され得る。無人航空機等、航空機の本明細書におけるいずれの説明も、あらゆる乗り物等、いずれの可動物体にも適用され、用いられ得る。更に、航空上の動き(例えば、飛行)の文脈において本明細書で開示される複数のシステム、デバイス、および方法は、地上もしくは水上での移動、水中での動きもしくは空間での動き等、他の複数の種類の動きの文脈においても適用され得る。

0130

本開示の更なる複数の態様および利点は、本開示の複数の例示的な実施形態のみが本開示を実行するべく企図される最良の形態の例示として専ら示され、説明される、以下の詳細な説明から当業者には明らかであろう。理解されるように、本開示は、他の異なる複数の実施形態が可能であり、そのいくつかの詳細は、全て本開示を逸脱することなく、明らかな様々な観点において複数の修正形態が可能である。従って、複数の図面および説明は、その性質において限定的ではなく、例示的なものとしてみなされものである。

0131

[参照による組み込み] 本明細書において言及される全ての刊行物、特許、および特許出願は、個別の各刊行物、特許、または特許出願が参照により組み込まれることを具体的および個別に示される場合と同一の程度で、参照により本明細書に組み込まれる。

図面の簡単な説明

0132

本発明の複数の新規な特徴は、添付の特許請求の範囲に具体的に記載される。本発明の複数の原理が利用される例示的な実施形態を記載する以下の詳細な説明および添付の複数の図面の参照により、本発明の複数の特徴および利点についてより良い理解が得られるであろう。

0133

複数の実施形態による、例示的な目標追跡システムを図示する。

0134

複数の実施形態による、追跡システムにおける複数のコンポーネント間画像関連データの例示的フローを図示する。

0135

複数の実施形態による、追跡システムにおける複数のコンポーネント間の制御データの例示的フローを図示する。

0136

複数の実施形態による、目標追跡を実装するための例示的処理を図示する。

0137

複数の実施形態による、可動物体、支持機構、および搭載物の例示的構成を図示する。

0138

複数の実施形態による、目標の予想位置を維持するための例示的追跡方法を図示する。

0139

複数の実施形態による、目標の予想サイズを維持するための例示的追跡方法を図示する。

0140

複数の実施形態による、目標追跡を実装するための別の例示的処理を図示する。

0141

複数の実施形態による、ナビゲートおよび追跡する可動物体を制御するための例示的処理を図示する。

0142

複数の実施形態による、目標を選択するための例示的処理を図示する。

0143

複数の実施形態による、追跡目標ビューイングするための例示的処理を図示する。

0144

複数の実施形態による、可動物体を制御するための例示的制御端末を図示する。

0145

いくつかの実施形態による、ユーザインタフェースを用いて目標を選択するための例示的方法を図示する。
いくつかの実施形態による、ユーザインタフェースを用いて目標を選択するための例示的方法を図示する。
いくつかの実施形態による、ユーザインタフェースを用いて目標を選択するための例示的方法を図示する。

0146

複数の実施形態によるUAVを図示する。

0147

複数の実施形態による、支持機構および搭載物を含む可動物体を図示する。

0148

複数の実施形態による、可動物体を追跡するための例示的システムを図示する。

0149

複数の実施形態による、可動物体を制御するための例示的システムを図示する。

0150

本発明の例示的使用事例を図示する。

実施例

0151

本発明は、無人航空機(UAV)による目標追跡に関するシステム、方法、およびデバイスを提供する。UAVは、UAV接続された撮像デバイスにより追跡される目標に関する目標情報を、制御端末から受信するように構成され得る。目標情報は、撮像デバイスにより取り込まれる1または複数の画像中の予め定められた位置および/または目標のサイズを維持するように、撮像デバイスに目標を自動的に追跡させるべく、UAVにより用いられ得る。目標の追跡は、UAVが、複数のユーザコマンドおよび/または予め定められたナビゲーションパスに従ってナビゲートするべく制御される間に実行され得る。制御端末は、撮像デバイスからの複数の画像を表示し、ならびに目標情報に関するユーザ入力を可能にするように構成され得る。

0152

本明細書において提供される複数の追跡方法およびシステムを用いて、一ユーザは、外部の人の支援なしに実質的に同時に、UAVのナビゲーションおよび目標の追跡の双方を制御し得る。ユーザは、制御端末のユーザインタフェースを利用し、追跡する目標および/または追跡する目標のタイプを指定し得る。そのようなユーザ指定目標情報は、UAVに送信され、UAVは、例えばUAVに搭載した撮像デバイスを用いて目標を自主的に追跡し得る。撮像デバイスにより取り込まれた複数の画像(例えば、映像および/または動画)は、表示、再生、格納、または他の目的のために制御端末にリアルタイムで送信され得る。また、ユーザは、制御端末を用いてリアルタイムで追跡する目標を変更または調整し得る。有利なことに、そのような自主的追跡は、ユーザが、UAVのナビゲーションを制御する等の他の活動、またはその他の活動に従事する間にUAVにより実行され得る。

0153

例えば、ユーザは、UAVを、ハイキングまたはバイキング等の様々な活動に従事するときに自身を追跡するように構成し得る。ユーザは、制御端末により提供されるユーザインタフェースを用いてUAVの追跡目標として自身を指定し得る。例えば、ユーザは、例えばタッチスクリーンを用いて、制御端末のユーザインタフェース上に表示される画像から、目標として自身を選択し得る。目標情報がUAVに送信されると、ユーザは、UAV、支持機構、または撮像デバイスの調整等、目標の手動追跡に関連する低レベルの複数の操作から解放され得る。その代わりに、UAVが本明細書において提供される複数の方法を用いて、提供された目標情報に基づいてユーザをリアルタイムで自動的に追跡する間、ユーザは、バイキング等の他の複数の活動に集中することができる。例えば、UAVおよび/または撮像デバイスの姿勢、位置、速度、ズーム、および他の態様は、ユーザが撮像デバイスにより取り込まれた複数の画像中の指定された位置および/またはサイズを維持することを確実にするべく、自動的に調整され得る。追跡処理中に取り込まれた複数の画像(例えば、動画または映像)は、表示、再生、格納、または他の目的のためにリアルタイムで、または実質的にリアルタイムで制御端末にストリーミングされ得る。上記の全ては、1人で比較的容易に実現され、以前の実現が困難な複数のタスクを、ユーザが実現するのをより容易にすることができる。

0154

有利なことに、本明細書において説明されるそのような複数の追跡方法およびシステムは、必要とされる努力、および手動追跡からもたらされる複数の誤差を減少させるように、追跡処理の低レベル制御部分の自動化を容易にする。同時に、本明細書において説明される複数の追跡方法およびシステムは、所望の場合に、ユーザが追跡処理の高レベル制御を(例えば、追跡する目標のタイプを指定することにより)維持することを更に可能にする。

0155

図1は、複数の実施形態による、例示的な目標追跡システム100を図示する。システム100は、可動物体101および制御端末112を含む。システム100は、1または複数の目標116を追跡するべく用いられ得る。可動物体101は、無人航空機(UAV)として図示されるが、この図示は、限定するものとして意図されず、いずれの好適なタイプの可動物体も、本明細書において説明されるように用いられ得る。当業者は、航空機システムの文脈において本明細書において説明される複数の実施形態のいずれかが、任意の好適な可動物体に適用され得ることを理解するであろう。

0156

いくつかの実施形態において、可動物体101は、支持機構102および搭載物104を含み得る。支持機構102は、搭載物104が可動物体101に対して移動することを可能にし得る。例えば、支持機構102は、搭載物104が1つ、2つ、3つ、またはそれより多い軸を中心として回転することを可能にし得る。代替的または追加的に、支持機構102は、搭載物104が1つ、2つ、3つ、またはそれより多い軸に沿って線的に移動することを可能にし得る。回転運動または並進移動のための複数の軸は、互いに垂直であるか、またはそうでないことがある。

0157

いくつかの実施形態において、搭載物104は、搭載物104が可動物体101に対して実質的に静止状態になるように、可動物体101に堅固に接続または接続され得る。例えば、可動物体101および搭載物104を接続する支持機構102は、搭載物104が可動物体101に対して移動することを可能にしないことがある。あるいは、搭載物104は、支持機構を必要とすることなく、可動物体101に直接に接続され得る。

0158

いくつかの実施形態において、搭載物104は、1または複数の目標116を調査または追跡するための1または複数のセンサを含み得る。そのような搭載物の複数の例としては、画像取り込みデバイスもしくは撮像デバイス(例えば、カメラもしくはカムコーダー、赤外線撮像デバイス紫外線撮像デバイス等)、音声取り込みデバイス(例えば、放物面マイク)、赤外線撮像デバイス等が挙げられ得る。任意の好適なセンサは、搭載物104に組み込まれ、任意の視覚信号、オーディオ信号、電磁気信号、またはその他の所望の信号を取り込み得る。複数のセンサは、静的感知データ(例えば、写真)または動的感知データ(例えば、動画)を提供し得る。複数のセンサは、リアルタイムで、または複数の高周波数で感知データを連続的に取り込み得る。

0159

様々な実施形態において、可動物体101により追跡される目標116は、任意の天然物体もしくは人造物体、または地理風景(例えば、山脈、草木、谷、、または川)、建物、乗り物(例えば、航空機、船舶、車、トラックバスバン型車、または自動二輪車)等の複数の構造を含み得る。目標116は、人または動物等、生きた被験物も含み得る。目標116は、任意の好適な参照フレームに対して移動し、または静止状態であり得る。参照フレームは、相対的に固定された参照フレーム(例えば、周囲環境または地球)であり得る。あるいは、参照フレームは、移動参照フレーム(例えば、移動する乗り物)であり得る。様々な実施形態において、目標116は、パッシブな目標またはアクティブな目標を含み得る。アクティブな目標は、目標のGPS位置等、目標についての情報を可動物体に送信するように構成され得る。情報は、アクティブな目標の通信ユニットから可動物体の通信ユニットへの無線通信により、可動物体に送信され得る。アクティブな目標の複数の例としては、友好的な乗り物、建物、群衆等が挙げられ得る。パッシブな目標は、目標についての情報を送信するように構成されない。パッシブな目標の複数の例としては、中立もしくは敵対する乗り物、建物、群衆等が挙げられ得る。

0160

可動物体101は、制御データを受信するように構成され、制御端末112は、制御データを提供するように構成され得る。制御データは、可動物体101の複数の態様を直接的または間接的に制御するべく用いられ得る。いくつかの実施形態において、制御データは、可動物体101の位置、速度、向き、姿勢等、可動物体の複数のナビゲーションパラメータを制御するためのナビゲーションコマンドを含み得る。制御データは、UAVの飛行を制御するべく用いられ得る。制御データは、UAVの飛行に影響し得る1または複数の推進ユニット106の動作に影響し得る。他の複数の場合において、制御データは、可動物体101の個別のコンポーネントを制御するための複数のコマンドを含み得る。例えば、制御データは、支持機構102の複数の動作を制御するための情報を含み得る。例えば、制御データは、可動物体101に対する搭載物104の角運動および/または線形運動を生じさせるように、支持機構102の作動メカニズムを制御するべく用いられ得る。別の例として、制御データは、搭載物を用いることなく支持機構102の移動を制御するべく用いられ得る。別の例として、制御データは、静止画もしくは動画を撮影し、ズームインもしくはズームアウトし、オンもしくはオフにし、複数の撮像モードを切り替え、画像解像度を変更し、フォーカスを変更し、被写界深度を変更し、露出時間を変更し、レンズの速度を変更し、ビューイング角度または視界を変更する等により、搭載物104の1または複数の動作パラメータを調整するべく用いられ得る。他の複数の実施形態において、制御データは、可動物体101の感知システム(図示せず)、通信システム(図示せず)等を制御するべく用いられ得る。

0161

いくつかの実施形態において、制御端末112からの制御データは、目標情報を含み得る。いくつかの場合において、目標情報は、可動物体101により搬送された撮像デバイスにより取り込まれた1または複数の画像中の目標の初期位置(例えば、座標)および/またはサイズ等、特定の目標の特性を含み得る。更に、または代替的に、目標情報は、色、テクスチャ、パターン、サイズ、形状、寸法等を含む複数の目標のタイプまたはカテゴリの特性等の目標タイプ情報を含み得る。目標情報は、目標の画像のデータ表現を含み得る。これは、視界における目標の画像を含み得る。視界は、撮像デバイスにより取り込まれた画像によって画定され、または包囲され得る。

0162

また、目標情報は、予想目標情報を含み得る。予想目標情報は、追跡される目標が撮像デバイスにより取り込まれた複数の画像において満たすと予想される特性を指定する。予想目標情報は、追跡される目標が予想目標情報に従って1または複数の画像において外観を維持するように、可動物体、支持機構、および/または撮像デバイスを調整するべく用いられ得る。例えば、目標は、撮像デバイスにより取り込まれた1または複数の画像中の予想位置および/またはサイズを維持するように、追跡され得る。例えば、追跡目標の予想位置は、画像の中心付近にあるか、または中心から離れていることがある。追跡目標の予想サイズは、ほぼ一定の数のピクセルになり得る。予想目標情報は、初期目標情報と同一であるか、またはそうでないことがある。様々な実施形態において、予想目標情報は、制御端末により提供され、または提供されないことがある。例えば、予想目標情報は、可動物体に搭載した処理ユニットにより実行される制御ロジックにおいてハードコーデンイングされ、可動物体からローカルの、および/または遠隔データストアに格納され、他の好適な複数のソースから得られ得る。

0163

いくつかの実施形態において、目標情報(特定の目標情報および目標タイプ情報を含む)は、制御端末112におけるユーザ入力に少なくとも部分的に基づいて生成され得る。更に、または代替的に、目標情報は、他の複数のソースからのデータに基づいて生成され得る。例えば、目標タイプ情報は、ローカルまたは遠隔のデータ記憶装置から抽出された前の複数の画像および/またはデータに基づいて派生し得る。画像は、可動物体101または他の複数のデバイスに接続された撮像デバイス104によりすでに取り込まれている可能性がある。複数の画像は、コンピュータにより生成され得る。そのような目標タイプ情報は、ユーザにより選択され、および/または既定により可動物体に自動的に提供され得る。

0164

目標情報は、1または複数の目標116を追跡するべく、可動物体101により用いられ得る。追跡および関係するその他のデータ処理は、少なくとも部分的に、可動物体101に搭載した1または複数のプロセッサにより実行され得る。いくつかの実施形態において、目標情報は、可動物体により、追跡される目標116を識別するべく用いられ得る。目標のそのような識別は、特定の目標の特定の複数の特性(例えば、可動物体により取り込まれた画像中の目標における初期座標)、または目標のタイプの複数の一般的特性(例えば、追跡される目標の色および/またはテクスチャ)を含む、初期目標情報に基づいて実行され得る。いくつかの場合において、目標識別は、任意の好適な画像認識および/またはマッチングアルゴリズムを伴い得る。いくつかの実施形態において、目標識別は、2つまたはそれより多い画像を比較し、その中に含まれる複数の特徴を判断し、抽出し、および/または一致させることを含む。

0165

目標が識別されると、予想位置および/またはサイズ等、目標の予想特性からの偏差を検出するべく、予想目標情報は、用いられ得る。いくつかの実施形態において、現在の目標特性または情報は、可動物体により取り込まれた1または複数の画像に基づいて判断され得る。現在の目標情報は、制御端末により提供された予想目標情報と比較され、それからの偏差を判断し得る。目標の位置における変化は、画像中の目標の座標(例えば、目標の中心点の座標)を予想目標位置の座標と比較することにより検出され得る。目標のサイズにおける変化は、予想目標サイズを有する目標によりカバーされる区域のサイズ(例えば、ピクセルでの)を比較することにより検出され得る。いくつかの実施形態において、サイズにおける変化は、目標の向き、複数の境界、または他の複数の特性を検出することにより検出され得る。

0166

検出された偏差に少なくとも部分的に基づいて、複数の制御信号が、(例えば、可動物体に搭載した1または複数のプロセッサにより)生成され、検出された偏差を実質的に補正する調整を生じさせる。従って、調整は、可動物体により取り込まれた複数の画像中の1または複数の予想目標特性(例えば、目標位置および/またはサイズ)を実質的に維持するべく、用いられ得る。いくつかの実施形態において、調整は、可動物体がユーザにより提供される複数のナビゲーションコマンド(例えば、ホバリングまたは移動)、および/または複数の予め定められたナビゲーションパスを実行するときに、実質的にリアルタイムに実行され得る。また、調整は、撮像デバイスが1または複数の画像を取り込むときに実質的にリアルタイムで実行され得る。いくつかの実施形態において、調整値は、可動物体に搭載した1または複数のセンサ(例えば、近接センサまたはGPSセンサ)により得られた感知データ等、他の情報に基づいて生成され得る。例えば、追跡される目標の位置情報は、近接センサにより得られ、および/または目標自体(例えば、GPS位置)により提供され得る。そのような位置情報は、調整値を生成するべく、検出された偏差に加えて用いられ得る。

0167

調整は、可動物体、支持機構、および/または搭載物(例えば、撮像デバイス)に関し得る。例えば、調整は、可動物体および/または搭載物(例えば、撮像デバイス)にその位置、姿勢、向き、角速度および/または線形速度等を変更させ得る。調整は、支持機構に搭載物(例えば、撮像デバイス)を、1つ、2つ、3つ、またはそれより多い軸を中心とし、またはこれに沿って等、可動物体に対して移動させ得る。更に、調整は、搭載物(例えば、撮像デバイス)自体のズーム、フォーカス、または他の複数の動作パラメータ(例えば、ズームイン/ズームアウト)に対する調整を含み得る。

0168

いくつかの実施形態において、調整値は、検出された偏差のタイプに少なくとも部分的に基づいて生成され得る。例えば、予想目標位置からの偏差は、1つ、2つ、または3つの回転軸を中心とする可動物体および/または搭載物の回転(例えば、支持機構を介する)を必要とすることがある。別の例として、予想目標サイズからの偏差は、好適な軸に沿った可動物体の並進移動、および/または撮像デバイスのズームに対する複数の変更(例えば、ズームインまたはズームアウト)を必要とすることがある。例えば、現在または実際の目標サイズが予想目標サイズより小さい場合、可動物体は、目標のより近くに移動する必要があり、および/または撮像デバイスは、目標に対してズームインされる必要があり得る。他方、現在または実際の目標サイズが予想目標サイズより大きい場合、可動物体は、目標からより遠くに移動する必要があり、および/または撮像デバイスは、目標からズームアウトされる必要があり得る。

0169

様々な実施形態において、予想目標情報からの偏差を実質的に補正する調整は、複数の制御信号により、可動物体、支持機構、撮像デバイス、またはこれらのいずれかの組み合わせ等、1または複数の制御可能な物体を制御することにより実現され得る。いくつかの実施形態において、複数の制御可能な物体は、調整を実装するように選択され、対応する複数の制御信号は、複数の制御可能な物体の構成または設定に少なくとも部分的に基づいて生成され得る。例えば、2つの軸を中心とする回転(例えば、ヨーおよびピッチ)を伴う調整は、撮像デバイスが可動物体に堅固に接続され、従って、可動物体に対して移動可能できない場合に、2つの軸の周囲における可動物体の回転のみにより実現され得る。撮像デバイスが可動物体に直接に接続され、または撮像デバイスが撮像デバイスと可動物体との間の相対的移動を可能できない支持機構を介して可動物体に接続される場合が、この場合であり得る。同一の2つの軸による調整は、支持機構により、撮像デバイスが可動物体に対して少なくとも1つの軸を中心として回転することを可能とする場合、可動物体および支持機構の双方に対する調整を組み合わせることにより実現され得る。この場合、支持機構は、調整のために必要とされる2つの軸のうち1つまたは2つを中心とする回転を実装するように制御され、可動物体は、2つの軸のうち1つまたは2つを中心とする回転を実装するように制御され得る。例えば、支持機構は、撮像デバイスが調整のために、必要とされる2つの軸のうち1つを中心として回転することを可能にする1つの軸のジンバルを含み得るが、残余の軸を中心とする回転は、可動物体により実現される。あるいは、同一の2つの軸による調整は、支持機構が、撮像デバイスに可動物体に対して2つまたはそれより多い軸を中心として回転することを可能にする場合、支持機構単独で実現され得る。例えば、支持機構は、2つの軸または3つの軸のジンバルを含み得る。

0170

別の例として、目標のサイズにおける変更を補正する調整は、(例えば、撮像デバイスが必要とされるズームレベルをサポートする場合に)撮像デバイスのズームイン/ズームアウトを制御し、(例えば、目標のより近く、またはより遠くになるように)可動物体の移動を制御し、あるいは撮像デバイスのズームイン/ズームアウトおよび可動物体の移動の組み合わせにより、実現され得る。可動物体に搭載したプロセッサは、物体または複数の物体の組み合わせのいずれを調整するかに関する判断を行い得る。例えば、撮像デバイスが画像中の目標の必要とされるサイズを維持するのに必要とされるズームレベルをサポートしない場合、可動物体は、撮像デバイスのズームを調整することに代えて、またはこれに加えて移動するように制御され得る。

0171

いくつかの実施形態において、調整は、他の複数の制約を考慮に入れて実装され得る。例えば、可動物体のナビゲーションパスが予め定められている場合において、調整は、可動物体の移動に影響を与えすることなく、支持機構および/または撮像デバイスにより実装され得る。可動物体のナビゲーションパスは、例えば、遠隔ユーザが制御端末を介して可動物体のナビゲーションをアクティブに制御する場合、または可動物体が、予め格納されたナビゲーションパスにより(例えば、自主的にまたは半自主的に)ナビゲートする場合に予め定められていることがある。

0172

複数の制約の例としては、複数の回転角度、角速度および/もしくは線速度、可動物体に対する複数の動作パラメータ等、支持機構、ならびに/または搭載物(例えば、撮像デバイス)に対する最大限度および/もしくは最小限度が挙げられ得る。そのような複数の最大閾値および/または最小閾値は、調整の範囲を制限するべく用いられ得る。例えば、一定の軸を中心とする可動物体および/または撮像デバイスの角速度は、可動物体、支持機構、および/または搭載物(例えば、撮像デバイス)に対して可能にされる最高角速度により制限され得る。別の例として、可動物体および/または支持機構の線速度は、可動物体、支持機構、および/または搭載物(例えば、撮像デバイス)に対して可能にされる最高線形速度により制限され得る。更に別の例として、撮像デバイスの焦点距離に対する調整は、特定の撮像デバイスに対する最大焦点距離および/または最小焦点距離により制限される。いくつかの実施形態において、そのような複数の制限は、予め定められ、可動物体、支持機構、および/または搭載物(例えば、撮像デバイス)の特定の構成に依存し得る。いくつかの例において、そのような複数の構成は、(例えば、製造者、管理者、またはユーザにより)構成可能であり得る。

0173

いくつかの実施形態において、可動物体101は、可動物体101に搭載した複数のセンサにより得られた感知データ等のデータ、および可動物体101により追跡される1または複数目標の特性を示すべく用いられる追跡データまたは情報を提供するように構成され、制御端末112は、これらを受信するように構成され得る。感知データの複数の例としては、可動物体101により搬送される撮像デバイスにより取得した画像データ、または他の複数のセンサにより取得した他のデータが挙げられ得る。例えば、リアルタイムまたはほぼリアルタイムの動画は、可動物体101および/または搭載物104(例えば、撮像デバイス)から制御端末112へとストリーミングされ得る。また、感知データは、複数の全地球測位システム(GPS)センサ、動きセンサ慣性センサ、近接センサ、または他のセンサにより得られたデータを含み得る。追跡情報の複数の例としては、可動物体から受信された1または複数の画像フレーム中の目標の相対座標もしくは絶対座標、ならびに/またはサイズ、複数の連続画像フレーム間の目標の複数の変化、GPS座標、または目標についての他の位置情報等が挙げられ得る。いくつかの実施形態において、追跡情報は、(例えば、目標の周囲のボックス等のグラフィック追跡インジケータにより)追跡されるものとして目標を表示する制御端末112により用いられ得る。様々な実施形態において、制御端末により受信されるデータは、未処理データ(例えば、複数のセンサにより得られた未処理感知データ)、および/または処理済みデータ(例えば、可動物体上で1または複数のプロセッサにより処理される追跡情報)を含み得る。

0174

いくつかの実施形態において、制御端末112は、可動物体101、支持機構102、および/または搭載物104から離れているか、または遠隔の場所に位置付けられる。制御端末112は、サポートプラットフォーム上に配置され、またはこれに取り付けられ得る。あるいは、制御端末112は、ハンドヘルドデバイスまたはウェアラブルデバイスであり得る。例えば、制御端末112は、スマートフォンタブレットラップトップ、コンピュータ、眼鏡グローブヘルメット、マイク、またはこれらの好適な組み合わせを含み得る。

0175

制御端末112は、ディスプレイにより可動物体101から受信されたデータを表示するように構成され得る。表示されるデータは、可動物体101により搬送された撮像デバイスにより得られた複数の画像(例えば、静止画像および動画)等の感知データを含み得る。表示されるデータは、画像データから別個に表示され、または画像データの上部にスーパーインポーズされる追跡情報も含み得る。例えば、ディスプレイは、追跡される目標を囲繞するボックス、円、またはその他の幾何形状等の追跡インジケータを用いて、目標が示され、または強調表示される複数の画像を表示するように構成され得る。いくつかの実施形態において、複数の画像および追跡インジケータは、画像データとして実質的にリアルタイムで表示され、追跡情報は、可動物体から、および/または画像データが得られるときに受信される。他の複数の実施形態において、表示は、いくらか遅延の後に提供され得る。

0176

制御端末112は、入力デバイスを介してユーザ入力を受信するように構成され得る。入力デバイスとしては、ジョイスティック、キーボード、マウス、スタイラス、マイク、画像もしくは動きセンサ、慣性センサ等が挙げられ得る。任意の好適なユーザ入力は、手動で入力される複数のコマンド、音声制御ジェスチャ制御、または位置制御(例えば、端末の移動、位置、もしくは傾斜による)等により端末とインタラクトするべく用いられ得る。例えば、制御端末112は、ジョイスティックを操作し、制御端末の向きもしくは姿勢を変更し、キーボード、マウス、指、もしくはスタイラスを用いてグラフィックスユーザインタフェースとインタラクトし、またはその他の好適な方法を用いることにより、ユーザが可動物体、支持機構、搭載物、またはこれらのいずれかのコンポーネントの状態を制御することを可能にするように構成され得る。

0177

また、制御端末112は、ユーザが任意の好適な方法を用いて、目標情報を入力することを可能にするように構成され得る。いくつかの実施形態において、制御端末112は、ユーザが表示される1または複数の画像(例えば、動画またはスナップショット)から目標を直接に選択することを可能にするように構成され得る。例えば、ユーザは、指もしくはスタイラスを用いてスクリーンを、またはマウスもしくはジョイスティックを用いて選択を直接にタッチすることにより、目標を選択し得る。ユーザは、目標を引き回し、画像中の目標をタッチし、またはそうでなければ目標を選択し得る。コンピュータビジョンまたは他の複数の技術は、目標の境界を判断するべく用いられ得る。そうでなければ、ユーザ入力は、目標の境界を画定し得る。1または複数の目標は、一度に選択され得る。いくつかの実施形態において、選択目標は、ユーザが追跡するための目標を選択したことを示す選択インジケータを用いて表示される。いくつかの他の実施形態において、制御端末は、ユーザが所望の目標に関連する色、テクスチャ、形状、寸法、または他の複数の特性等の目標タイプ情報を入力し、または選択することを可能にするように構成され得る。例えば、ユーザは、目標タイプ情報をタイプ入力し、グラフィックスユーザインタフェースを用いてそのような情報を選択し、またはその他の好適な方法を用い得る。いくつかの他の実施形態において、目標情報は、遠隔もしくはローカルなデータストア、制御端末に、またはそうでなければ、これとの通信に動作可能に接続された他のコンピューティングデバイス等、ユーザ以外の複数のソースから得られ得る。

0178

いくつかの実施形態において、制御端末は、ユーザが手動追跡モード自動追跡モードとの間で選択することを可能にする。手動追跡モードが選択されると、ユーザは、追跡する特定の目標を指定し得る。例えば、ユーザは、制御端末により表示される画像から目標を手動で選択し得る。次に、選択目標(例えば、座標および/またはサイズ)に関連する特定の目標情報は、目標の初期目標情報として可動物体に提供される。他方、自動追跡モードが選択されると、ユーザは、追跡される特定の目標を指定しない。むしろ、ユーザは、例えば、制御端末により提供されるユーザインタフェースを介して、追跡される目標のタイプについての記述情報を指定し得る。次いで、可動物体は、特定の目標の初期目標情報または目標タイプ情報を用いて、追跡される目標を自動的に識別し、次に、識別された目標を追跡し得る。

0179

一般に、特定の目標情報(例えば、初期目標情報)を提供することは、目標の追跡の更なるユーザ制御、および可動物体に搭載した処理システムによるあまり自動化されない処理もしくは計算(例えば、画像または目標の認識)を必要とする。他方、目標タイプ情報を提供することは、追跡処理のユーザ制御をあまり必要としないが、搭載処理システムにより実行される更なる計算を必要とする。ユーザと搭載処理システムとの間の追跡処理に対する制御の適切な割り当ては、可動物体の周囲、可動物体の速度もしくは高度、ユーザ嗜好、ならびに可動物体に搭載され、および/もしくは搭載されない利用可能なコンピューティングリソース(例えば、CPUもしくはメモリ)等、様々な要因に応じて調整され得る。例えば、可動物体が相対的に単純な環境(例えば、広いオープンスペースまたは屋外)においてナビゲートする場合よりも、可動物体が(例えば、多くの建物もしくは障害物を伴い、または屋内の)相対的に複雑な環境においてナビゲートする場合に、相対的により多くの制御がユーザに割り当てられ得る。別の例として、更なる制御は、可動物体がより高い高度にある場合よりも、可動物体がより低い高度にある場合に、ユーザに割り当てられ得る。更に別の例として、更なる制御は、可動物体が複雑な複数の計算を比較的迅速に実行するように適合された高速プロセッサ装備される場合に、可動物体に割り当てられ得る。いくつかの実施形態において、ユーザと可動物体との間の追跡処理に対する制御の割り当ては、本明細書において説明される複数の要因に基づいて動的に調整され得る。

0180

本明細書等において説明される制御データを生成するべく、ユーザ入力は、少なくとも部分的に用いられ得る。制御データは、制御端末、可動物体、第3のデバイス、またはこれらのいずれかの組み合わせにより生成され得る。例えば、ジョイスティックもしくは制御端末のユーザの操作、またはグラフィックスユーザインタフェースとのインタラクションは、可動物体、支持機構、または搭載物の状態またはパラメータを変更するための複数の予め定められた制御コマンドに変換され得る。別の例として、制御端末により表示される画像中の目標のユーザの選択は、目標の初期および/もしくは予想位置、ならびに/またはサイズ等、追跡目的のための初期および/もしくは予想目標情報を生成するべく用いられ得る。代替的または追加的に、制御データは、遠隔もしくはローカルなデータストア、制御端末に動作可能に接続された他の複数のコンピューティングデバイス等、複数の非ユーザソースから得られた情報に基づいて生成され得る。

0181

図2は、複数の実施形態による、追跡システムにおける複数のコンポーネント間の画像関連データの例示的フロー200を図示する。いくつかの実施形態において、画像関連データは、未処理もしくは処理済み画像データ、ならびに複数の目標の追跡情報等、画像データから抽出または派生したデータを含む。図示されるように、未処理画像データは、画像センサ204により取り込まれ得る。画像センサ204は、複数の光信号電子信号に変換するように構成され得る。画像センサ204は、複数の固体撮像素子(CCD)、相補性金属酸化膜半導体(CMOS)技術、もしくはN型金属酸化膜半導体NMOS、能動MOS)技術、またはその他のタイプのセンサを用いる複数の能動ピクセルセンサを含み得る。画像センサは、UAV等の可動物体に接続され得る。例えば、画像センサは、支持機構を用い、または用いないUAVにより搬送される撮像デバイス(例えば、カメラ)の部分であり得る。画像センサおよび/または撮像デバイスは、幅、高さ、アスペクト比メガピクセルカウント解像度、または質等のあらゆる好適なパラメータを有する複数の映像、動画、またはその他の画像データを取り込むように構成され得る。例えば、撮像デバイスは、高精細度動画または超高精細度動画(例えば、720p、1080i、1080p、1440p、2000p、2160p、2540p、4000p、4320p等)を取り込むように構成され得る。

0182

画像センサ204により取り込まれた画像データは、データストレージデバイス202に格納され得る。データストレージデバイス202は、半導体技術、磁気技術、光学技術、または任意の好適な技術に基づいて、フラッシュメモリ、複数のUSBドライブメモリカードソリッドステートドライブSSD)、ハードディスクドライブ(HDD)、フロッピー登録商標ディスク光ディスク磁気テープ等を含み得る。例えば、データストレージデバイス202は、PCカード、CompactFlash(登録商標)、SmartMedia(登録商標)、メモリスティック、メモリスティックDuo、メモリスティックPRO Duo、ミニチュアカード、マルチメディアカードMMC)、リデューストサイズマルチメディアカード(RS—MMC)、MMCマイクロカード(MMCmicro)、PS2カードセキュアデジタル(SD)カード、SxS、ユニバーサルフラッシュストレージ(UFS)、miniSD、microSD、xDピクチャカード、インテリジェントスティック(iStick)、シリアルフラッシュモジュールSFM)、NTカード、XQDカード等の任意の好適な複数のフォーマットのメモリカード等、撮像デバイスに係脱可能に接続できる複数のリムーバブルストレージデバイスを含み得る。データストレージデバイス202は、撮像デバイスに動作可能に接続され得る、複数の外部ハードディスクドライブ光ドライブテープドライブ、フロッピー(登録商標)ドライブ、および他の好適なストレージデバイスも含み得る。

0183

画像センサ204により取り込まれた画像データは、画像送信モジュール206により制御端末212に送信され得る。いくつかの実施形態において、画像データは、画像送信モジュール206により送信される前に、圧縮され、またはそうでなければ処理され得る。他の複数の場合において、画像データは、送信される前に、圧縮され、または処理され得る。送信済み画像データは、制御端末212を操作するユーザが、画像データに基づいて画像データをビューイングし、および/または制御端末212とインタラクトし得るように、制御端末212上に表示され得る。

0184

画像センサ204により取り込まれた画像データは、前処理ユニット208により前処理され得る。前処理ユニット208は、任意のハードウェアソフトウェア、またはこれらの組み合わせを含み得る。前処理ユニット208の複数の例としては、フィールドプログラマブルゲートアレイFPGA)が挙げられ得る。前処理ユニット208は、特定の情報を抽出するべく画像データが処理される前に、未処理画像データを前処理する画像センサ204に動作可能に接続され得る。前処理ユニット208により実行される複数のタスクの例としては、画像座標系正確度補償する再サンプリングノイズ低減コントラスト増強スケール空間表現等が、挙げられ得る。

0185

前処理ユニット208により処理される画像データは、(例えば、汎用メモリコントローラ(GPMC)接続を介して)前処理ユニット208に接続される処理ユニット210により、更に処理され得る。処理ユニット210は、1または複数のARMプロセッサを含み得る。処理ユニット210は、本明細書において説明される複数の方法の任意の複数の好適な実施形態を実行するように構成され得る。処理ユニット210により実行される複数のタスクの例としては、任意の好適なレベル複雑度における特徴抽出画像分割データ検証、画像認識、画像登録画像マッチング等が挙げられ得る。いくつかの実施形態において、処理ユニット210は、可動物体により追跡される目標に関係する追跡情報を生成する。追跡情報は、可動物体の処理ユニットによる画像処理に基づいて、および/または制御端末により提供される目標情報に基づいて、生成され得る。追跡情報は、例えば、1または複数の画像中の目標の位置、サイズ、または他の複数の特性を含み得る。

0186

処理ユニット210により判断される追跡情報は、通信モジュール(図示せず)を介して制御端末212に提供され得る。いくつかの実施形態において、通信モジュールは、上記の画像送信モジュール206と別個であり得る。他の複数の実施形態において、通信モジュールは、画像送信モジュール206を含み、またはこれに含まれ得る。有線通信または無線通信等の通信の任意の好適な手段は、通信モジュールおよび/または画像送信モジュール206のために用いられ得る。例えば、通信モジュールおよび/または画像送信モジュール206は、複数のローカルエリアネットワーク(LAN)、複数のワイドエリアネットワーク(「WAN)、赤外線無線、WiFi、複数のポイントツーポイント(P2P)ネットワーク、複数の通信ネットワーククラウド通信等のうち1または複数を利用し得る。任意選択で、タワー、衛星、または移動局等の複数の中継局が用いられ得る。複数の無線通信は、近接性に依存し得、または近接性に依存しない。いくつかの実施形態において、視野は、複数の通信のために必要とされ、または必要とされないことがある。また、追跡情報に加えて、通信モジュールは、可動物体に搭載した他の複数のセンサからの感知データ、感知データを処理することにより判断された位置情報および/または動き情報、予め定められた制御データ、複数の遠隔制御端末からのユーザコマンド等を送信し、および/または受信するように構成され得る。

0187

いくつかの実施形態において、画像送信モジュール206により提供される画像データは、追跡インジケータ(例えば、目標の周囲の円またはボックス)を用いて目標を示すべく、処理ユニット210により生成される追跡情報により拡張され、そうでなければこれと組み合わされ得る。ユーザは、拡張画像データをビューイングし、撮像デバイスにより追跡されるときに目標を見ることができる。また、ユーザは、拡張画像データに基づいて制御端末とインタラクトし得る。例えば、ユーザは、(例えば、異なる目標に対応するスクリーンの区域をタッチすることにより)拡張画像データから追跡する異なる目標を選択し得る。

0188

いくつかの実施形態において、追跡情報は、制御端末212による要求に応答して制御端末212に提供され得る。例えば、制御端末212は、ユーザが追跡される目標が強調表示され、またはそうでなければ示される一定のビューイングモード(例えば、プレビューモード)を選択する場合にのみ、そのような追跡情報を要求し得る。代替的または追加的に、追跡情報は、制御端末212による要求がなくとも、制御端末212に提供され得る。例えば、追跡情報は、周期ベースで(例えば、0.1秒、0.2秒、0.5秒、1秒、または2秒毎に)制御端末212に送られ得る。

0189

図3は、複数の実施形態による、追跡システムにおける複数のコンポーネント間の制御データの例示的フロー300を図示する。上述のように、制御データは、可動物体(例えば、UAV)により用いられる目標情報を含み、目標、ならびに可動物体またはそのコンポーネントの様々な態様を制御するための他のデータを追跡し得る。制御データは、制御端末304とインタラクトするユーザ302により生成され得る。生成された制御データは、特定の目標情報(例えば、初期目標情報)306および目標タイプ情報308を含み得る。

0190

特定の目標情報306は、座標(例えば、ピクセル座標)、サイズ等、特定の目標についての複数の特性を含み得る。いくつかの実施形態において、特定の目標情報306は、ユーザが、制御端末304により提供されたユーザインタフェースを介して追跡する特定の目標を選択または指定したときに、生成され得る。例えば、制御端末は、ユーザが手動追跡モードと自動追跡モードとの間で選択することを可能にし得る。手動追跡モードが選択されると、ユーザは、(例えば、表示される1または複数の画像から目標を選択することにより)追跡する特定の目標を指定し得る。ユーザ選択に基づいて、特定の目標情報が生成され得る。

0191

目標タイプ情報308は、特定の目標についての情報ではなく、追跡される目標のタイプを記載する情報を含み得る。そのような目標タイプ情報は、色、テクスチャ、パターン、サイズ、形状、寸法等、様々な目標特性を含み得る。いくつかの実施形態において、目標情報(特定の目標情報および目標タイプ情報を含む)は、制御端末304におけるユーザ入力に少なくとも部分的に基づいて生成され得る。例えば、制御端末は、ユーザが手動追跡モードと自動追跡モードとの間で選択することを可能にし得る。自動追跡モードが選択されると、ユーザは、目標タイプ情報を入力し、または選択し得る。更に、または代替的に、目標情報は、他の複数のソースからのデータに基づいて生成され得る。例えば、目標タイプ情報は、前の複数の画像に基づいて派生し、および/またはローカルもしくは遠隔のデータ記憶装置から抽出され得る。いくつかの実施形態において、予め規定された複数の目標タイプまたはパターンは、選択のためにユーザに提示され得る。いくつかの他の実施形態において、予め規定された複数の目標タイプまたはパターンは、既定により、ユーザの介在なしに可動物体に自動的に提供され得る。

0192

任意選択で、目標情報は、本明細書において説明されるもの等の予想目標情報を含み得る。予想目標情報は、初期目標情報と重複し、または重複しない場合がある。

0193

目標情報(特定の目標情報306および目標タイプ情報308を含む)は、例えば、通信モジュール(図示せず)を介して処理システム310に提供され得る。処理システム310は、可動物体(例えば、UAV)に搭載されてもよい。処理システム310は、データ処理ユニット312およびコマンド制御ユニット314を含み得る。データ処理ユニット312は、本明細書において説明される複数の方法の任意の実施形態を実行するように構成され得る。例えば、データ処理ユニット312は、目標情報(例えば、特定の目標情報306および/または目標タイプ情報308を含む)に基づいて目標を識別し、目標情報からの偏差等を判断するように構成され得る。データ処理ユニット312は、図2においてそれぞれ説明された前処理ユニット208および処理ユニット210に類似するもの等の前処理ユニットおよび/または処理ユニットを含み得る。例えば、データ処理ユニット312は、FPGAおよび/または1または複数のARMプロセッサを含み得る。

0194

データ処理ユニット312は、可動物体の状態を制御するように構成されたコマンド制御モジュール314に動作可能に接続され得る。コマンド制御モジュール314は、本明細書において説明される複数の方法の任意の実施形態を実行するように構成され得る。例えば、コマンド制御モジュール314は、データ処理ユニット312からの複数の結果に基づいて目標を実質的に追跡するべく、可動物体のコンポーネントを制御する複数の制御コマンドまたは信号316を生成するように構成され得る。

0195

複数の制御コマンド316は、可動物体の複数の推進メカニズムのための複数のコマンドを含み、複数の画像のうち1または複数における位置および/またはサイズに関する目標の検出された偏差を補正するべく、最大6自由度に対する、可動物体の空間的配置、速度、および/または加速度を調整し得る。また、制御コマンド316は、支持機構を介して可動物体により搬送される搭載物(例えば、撮像デバイス)の空間的配置、速度、および/または加速度を調整するように、支持機構の状態を調整する複数のコマンドを含み得る。

0196

また、制御コマンド316は、支持機構を介して可動物体により搬送される搭載物(例えば、撮像デバイス)の空間的配置、速度、および/または加速度を調整するように、支持機構の状態を調整する複数のコマンドを含み得る。

0197

制御コマンド316は、複数の静止画または動画を撮影し、ズームインもしくはズームアウトし、オンもしくはオフにし、複数の撮像モードを切り替え、画像解像度を変更し、フォーカスを変更し、被写界深度を変更し、露出時間を変更し、レンズの速度を変更し、ビューイング角度または視界を変更する等により、搭載物の1または複数の動作パラメータを調整する複数のコマンドを含み得る。

0198

代替的または追加的に、複数の上記制御コマンドのいずれも、制御端末304から処理システム310に直接に提供され得る。例えば、ユーザは、処理システム310が可動物体および/または支持機構に対する複数の制御コマンドを生成する間に、撮像デバイスのズームイン/ズームアウトを制御する、制御端末304を用いることができる。別の例として、ユーザは、処理システム310が可動物体および/または撮像デバイスに対する複数の制御コマンドを生成する間に、可動物体を直接に制御し得る。これは、ユーザが、処理システム310により自動的に実行される、目標の追跡について懸念することなく、可動物体のナビゲーションを制御することに集中することを可能にし得る。

0199

様々な実施形態において、ユーザと自動追跡システムとの間の追跡制御の割り当ては、可動物体の周囲、可動物体の速度もしくは高度、ユーザ嗜好、ならびに可動物体に搭載され、および/もしくは搭載されない利用可能なコンピューティングリソース(例えば、CPUもしくはメモリ)等、様々な要因に応じて異なり得る。例えば、可動物体が相対的に単純な環境(例えば、広いオープンスペースまたは屋外)においてナビゲートする場合よりも、可動物体が(例えば、多くの建物もしくは障害物を伴い、または屋内の)相対的に複雑な環境においてナビゲートする場合に、相対的により多くの制御がユーザに割り当てられ得る。別の例として、更なる制御は、可動物体がより高い高度にある場合よりも、可動物体がより低い高度にある場合に、ユーザに割り当てられ得る。更に別の例として、更なる制御は、可動物体が複雑な複数の計算を比較的迅速に実行するように適合された高速プロセッサで装備される場合に、可動物体に割り当てられ得る。いくつかの実施形態において、ユーザと可動物体との間の追跡処理に対する制御の割り当ては、本明細書において説明される複数の要因に基づいて動的に調整され得る。

0200

本発明の一態様によれば、撮像デバイスにより取り込まれた1または複数の画像中における目標の予想位置および/またはサイズを実質的に維持するように、可動物体に接続された撮像デバイスによる目標を追跡する複数の方法およびシステムが提供される。

0201

図4は、複数の実施形態による、目標追跡を実装するための例示的処理400を図示する。処理400の複数の態様は、UAV等、本明細書において説明される可動物体に搭載され、および/または搭載されない1または複数のプロセッサにより実行され得る。処理400(または本明細書において説明されるその他の処理もしくは複数の改変形態、および/またはこれらの組み合わせ)のうちいくつかもしくは全ての態様は、複数の実行可能命令を用いて構成された1もしくは複数のコンピュータ/制御システムの制御下で実行されてもよく、ハードウェアまたはこれらの組み合わせにより1もしくは複数のプロセッサに集合的に実行する、コード(例えば、実行可能命令、1もしくは複数のコンピュータプログラム、または1もしくは複数のアプリケーション)として実装されてもよい。コードは、例えば、1または複数のプロセッサにより実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読記憶媒体上に格納され得る。コンピュータ可読記憶媒体は、非一時的であってもよい。複数の動作が説明される順序は、限定と解釈されることを意図せず、任意の数の説明される動作は、複数の処理を実装するべく、任意の順序で、および/または並列に組み合わされてもよい。

0202

処理400は、1または複数の目標に対する目標情報を得るステップ402を含む。目標情報は、本明細書において説明されるもの等の制御端末から受信され得る。追加的または代替的に、目標情報は、可動物体(例えば、UAV)、または別の可動物体(例えば、別のUAV)、サーバ等、可動物体の遠隔のデバイスに搭載したコンポーネント(例えば、メモリ)から得られ得る。いくつかの場合において、目標についての目標情報は、目標自体により提供されることがある。

0203

様々な実施形態において、目標情報は、特定の知られている目標、または潜在的に知られていない目標についての目標タイプ情報に特有の初期目標情報を含むことがある。特定の目標情報は、座標(例えば、ピクセル座標)、サイズ、位置、および1または複数の画像中の目標についての他の情報を含む。特定の目標情報は、本明細書において説明されるもの等、既存の画像データでのユーザインタラクションに基づいて生成され得る。例えば、特定の目標情報は、ユーザがユーザに対して表示される1または複数の画像から、目標として特定の物体を選択すると、生成され得る。特定の目標情報は、目標が1または複数の画像中から、遠隔ユーザにより選択されるときの目標の初期位置および/またはサイズを含み得る。

0204

また、目標情報は、潜在的に知られていない、もしくは識別されない複数の目標のタイプ、またはグループについての色、テクスチャ、寸法、サイズ、位置、および/またはその他の特性等の目標タイプ情報を含み得る。目標タイプ情報は、具体的には、ユーザにより入力され得る。あるいは、ユーザは、既存の目標パターンまたはタイプ(例えば、一定値よりも大きいか、またはこれよりも小さい黒い物体または丸い物体)を選択してもよい。いくつかの実施形態において、ユーザは、1または複数の画像中から1または複数の目標を選択することにより、目標タイプ情報を提供し得る。次に、複数の選択目標の複数の特徴または特性は、抽出および/または一般化され、目標タイプ情報を生成し得、目標タイプ情報は、類似の複数の特徴または特性を有する他の複数の目標を識別するべく用いられ得る。様々な実施形態において、そのような特徴抽出は、制御端末、可動物体上の処理ユニット、または第3のデバイスにより実行され得る。

0205

目標情報(特定の目標情報および目標タイプ情報を含む)は、識別されると、目標が追跡されるとき目標が維持されるべき予想特性を任意選択で含み得る。例えば、目標情報は、画像中の絶対座標または相対座標により表される目標の予想位置を含み得る。追跡システムは、目標が公差の予め規定された程度内で、長時間にわたって実質的に同一の予想位置に保持されるように、目標を追跡するよう構成され得る。代替的または追加的に、目標情報は、目標の予想サイズ(例えば、目標により占められたいくつかのピクセルにより表される)を含み得る。追跡システムは、目標が公差の予め規定された程度内で、実質的に同一の予想サイズに保持されるように、目標を追跡するよう構成され得る。そのような予想目標情報は、特定の目標に対する初期目標情報と同一であるか、または異なることがある。一般的に、初期目標情報は、目標を識別するべく用いられる。目標が識別されると、予想目標情報は、予想目標情報からの任意の偏差を検出し、そのような偏差が補正され得るように用いられ得る。また、いくつかの場合において、目標情報は、識別される場合に目標が追跡されるべき期間を示す期間値または有効期間、目標情報が特定の目標情報または目標タイプ情報等を含むか否かを示すフラグ等、他の複数の値も含み得る。

0206

いくつかの実施形態において、目標が維持されるべき予想目標情報は、制御端末により提供され得る。例えば、予想目標情報は、制御端末に対するユーザ入力に基づき、または制御端末のローカルもしくは遠隔の構成ファイルもしくはデータストアに基づいて生成され得る。いくつかの他の実施形態において、予想目標情報は、可動物体により提供され得る。例えば、可動物体は、既定により画像の実質的に中心に、または画像の特定座標の周囲に目標を保持するように構成され得る。別の例として、可動物体は、既定により、撮像デバイスにより取り込まれる目標を特定サイズに保持するように構成され得る。なおもいくつかの他の実施形態において、予想目標情報は、可動物体の外部のいくつかの他の物体またはデバイスにより提供され得る。

0207

処理400は、目標情報が受信されると、目標情報に基づき、例えば、目標タイプ情報に基づいて目標を識別するステップ404を含む。CAD様式の複数の物体モデル(例えば、エッジ検出プリマルスケッチ、Marr、MohanおよびNevatia、Lowe、またはOlivier Faugeras)、複数の外観ベースの方法(例えば、エッジマッチング、分割統治法、グレースケールマッチンググラジエントマッチング、受容野応答の複数のヒストグラム、または大きな複数のモデルベースを用いる)、特徴ベースの複数の方法(例えば、複数のインタープリテーションツリー(interpretation tree)、仮設および試験ポーズ一貫性、ポーズクラスタ形成不変性幾何学的ハッシュ法スケール不変特徴量変換(SIFT)、または高速堅牢特徴(SURF)を用いる)、複数の遺伝的アルゴリズム等に基づく複数のアプローチを含む、任意の好適な画像認識または複数の識別技術が、用いられ得る。

0208

目標が識別された後、撮像デバイスにより取り込まれた後続の複数の画像は、406において、予想位置および/またはサイズ等、目標が維持すべき一定の予想特性からの目標の偏差を検出するべくモニタリングされ得る。上述のように、予想目標情報は、(例えば、ユーザ入力に基づいて)、制御端末、可動物体に関連する構成ファイルもしくはメモリにより、またはいくつかの他のソースから供給され得る。予想目標情報は、初期目標情報と同一であるか、同一でないことがある。目標の偏差は、複数の予想特性と、1または複数の画像中における目標の各位置、サイズ、および/またはその他の好適な特性を比較することにより実現され得る。本明細書において論じられるもの等の任意の好適な画像認識または複数の識別技術が、用いられ得る。

0209

いくつかの実施形態において、予想目標情報は、検出された偏差が一定の予め規定された複数の公差値内に収まる場合には、実質的に維持されているとみなされる。そのような複数の場合に、偏差は、無視できるものとみなされ得、矯正的調整は必要とされない。偏差が予め規定された公差値を超える場合にのみ、矯正的調整が必要とされる。例えば、目標の現在位置が予想される座標からの予め定められた数のピクセル内にある場合、偏差は、無視できるとみなされ得、従って矯正的調整は、必要とされない。同様に、目標の現在のサイズが予想されるサイズの予め定められた数のピクセル内にある場合、偏差は、無視できるとみなされ得る。公差の予め規定された程度は、制御端末を操作する複数のユーザにより構成された複数のシステムパラメータにより規定され、または別の方法で規定され得る。

0210

偏差を補正し、目標の予想特性を実質的に維持するべく、408において、可動支持機構および/または撮像デバイスを調整する複数の制御信号またはコマンドが生成され得る。いくつかの実施形態において、目標の位置における複数の偏差は、図6において更に詳細に論じられるもの等、可動物体および/または撮像デバイスの姿勢に対する調整により(支持機構を介して)補正され得る。例えば、そのような調整は、1または複数の回転軸を中心とする可動物体および/または撮像デバイスの角速度を変更することを伴い得る。目標のサイズにおける複数の偏差は、図7において更に詳細に論じられるもの等、可動物体の位置、および/または撮像デバイスの動作パラメータに対する調整により補正され得る。例えば、そのような調整は、軸に沿った可動物体の線形速度を変更することを伴い得る。代替的または追加的に、調整は、撮像デバイスに関連するズーム、フォーカス、または他の複数の特性を変更することを伴い得る。

0211

いくつかの実施形態において、調整は、システム構成により課される複数の制約、制御端末を操作するユーザ、または他の複数のエンティティにより制限されることがある。そのような複数の制約の例としては、可動物体(例えば、その推進システム)、支持機構(例えば、その作動部材)、撮像デバイス等のための複数の回転角度に対する最大限度および/もしくは最小限度、角速度および/もしくは線速度等が挙げられ得る。そのような複数の閾値は、調整の範囲を制限するべく用いられ得る。例えば、一定の軸を中心とする可動物体に対する(支持機構を介した)可動物体および/または撮像デバイスの角速度に伴う調整は、可動物体および/または支持機構に対して許される最高角速度により制限され得る。別の例として、可動物体に対する(支持機構を介した)可動物体および/または撮像デバイスの線速度に伴う調整は、可動物体および/または支持機構に対して許される最高線形速度により制限され得る。いくつかの実施形態において、そのような複数の制限は、予め定められ、可動物体、支持機構、および/または撮像デバイスの特定の構成に依存し得る。いくつかの実施形態において、複数の制限は、(例えば、製造者、管理者、またはユーザにより)構成可能であり得る。

0212

いくつかの実施形態において、複数の警告インジケータは、上記の複数の制約に応じて調整が修正される場合(例えば、一定の軸を中心とする可動物体および/または支持機構の角速度が可動物体および/または支持機構に対して許される最高角速度により制限される場合)に、提供され得る。そのような複数の警告インジケータの例としては、テキスト音声(例えば、サイレンもしくは警告音)、視覚的(例えば、一定の色の光もしくは閃光)、動力学的(例えば、振動もしくは移動)、その他の好適なタイプの信号が挙げられ得る。そのような複数の警告インジケータは、可動物体またはそのコンポーネントにより直接に提供され得る。代替的または追加的に、複数の警告インジケータは、制御端末(例えば、ディスプレイにより)提供され得る。後者の場合に、制御端末は、可動物体からの複数の信号に基づいて複数の警告インジケータを提供し得る。

0213

いくつかの実施形態において、調整は、可動物体がユーザにより提供される複数のナビゲーションコマンドまたは予め定められた飛行経路を実行し、および/または撮像デバイスが1または複数の画像を取り込むときに実質的にリアルタイムに実行され得る。いくつかの実施形態において、調整値は、可動物体に搭載した1または複数のセンサ(例えば、近接センサまたはGPSセンサ)により得られた感知データ等、他の情報に基づいて生成され得る。例えば、追跡される目標の位置情報は、近接センサにより得られ、および/または目標自体(例えば、GPS位置)により提供され得る。そのような位置情報は、本明細書において説明されるもの等、目標を追跡する複数の調整制御信号を生成するべく、検出された偏差に加えて用いられ得る。

0214

様々な実施形態において、予想目標情報からの偏差の検出406、および/または検出された偏差を補正する複数の制御コマンドの生成408は、予め規定され、または不特定の期間中、反復され得る。いくつかの実施形態において、そのような偏差検出および/または制御コマンド生成は、一定の間隔(例えば、0.01秒、0.1秒、0.2秒、0.5秒、または1秒毎)で実行され得る。

0215

図5は、複数の実施形態による、可動物体、支持機構、および搭載物の例示的構成500を図示する。構成500は、目標を追跡するべく用いられ得る、可動物体502および/または搭載物506に対する例示的な複数のタイプの調整を図示するべく、用いられる。可動物体502および搭載物506は、本明細書において論じられる任意の複数の実施形態を含み得る。例えば、可動物体502は、UAVを含み得、搭載物506は、撮像デバイスを含み得る。

0216

可動物体502は、X1軸(ピッチ)510、Y1軸(ヨー)508、およびZ1軸(ロール)512等、最大3つの垂直の軸を中心として回転することが可能であり得る。3つの軸を中心とする回転は、それぞれ、ピッチ回転522、ヨー回転520、およびロール回転524と呼ばれ得る。X1軸、Y1軸、およびZ1軸を中心とする可動物体502の角速度は、ωX1、ωY1、およびωZ1としてそれぞれ表され得る。また、可動物体502は、それぞれX1軸、Y1軸、およびZ1軸に沿って、並進移動528、526、および530が可能であり得る。X1軸、Y1軸、およびZ1軸に沿った可動物体502の線形速度は、VX1、VY1、およびVZ1としてそれぞれ表され得る。

0217

例示的構成において、搭載物506は、支持機構504を介して可動物体502に接続される。支持機構504は、搭載物506に、最大3つの垂直の軸X2(ピッチ)516、Y2(ヨー)514、およびZ2(ロール)518を中心とし、および/またはこれに沿った可動物体に対して、移動させることが可能であり得る。X2軸、Y2軸、およびZ2軸は、それぞれX1軸、Y1軸、およびZ1軸に平行してもよい。搭載物が光学モジュール507を含む撮像デバイスであるいくつかの実施形態において、ロール軸Z2518は、光学モジュール507のための光学経路または光軸に実質的に並行であり得る。光学モジュール507は、複数の画像を取り込むべく、本明細書において説明されるもの等の画像センサに光学的に接続され得る。支持機構504は、支持機構506に、電気モータ等の支持機構に関連する複数のアクチュエータに提供される複数の制御信号に基づいて、最大3つの垂直の軸X2(ピッチ)516、Y2(ヨー)514、およびZ2(ロール)518を中心として回転させ得る。3つの軸を中心とする回転は、それぞれ、ピッチ回転534、ヨー回転532、およびロール回転536と呼ばれ得る。X2軸、Y2軸、およびZ2軸を中心とする搭載物506の角速度は、ωX2、ωY2、およびωZ2としてそれぞれ表され得る。また、支持機構504は、搭載物506に、可動物体502に対するX2軸、Y2軸、およびZ2軸に沿った並進移動540、538、および542に従事させ得る。X2軸、Y2軸、およびZ2軸に沿った搭載物506の線形速度は、それぞれVX2、VY2、およびVZ2として表され得る。

0218

いくつかの実施形態において、支持機構504は、搭載物506に、可動物体502に対する3つの軸X2、Y2、およびZ2のサブセットを中心とし、および/またはこれらに沿って移動させることのみが可能であってもよい。例えば、支持機構504は、搭載物506が複数の軸に沿って移動することを可能にすることなく、搭載物506がX2、Y2、Z2、またはこれらの任意の組み合わせを中心として回転することのみを可能にし得る。例えば、支持機構504は、搭載物506がX2軸、Y2軸、およびZ2軸のうち1つを中心として回転することを可能にし得る。支持機構504は、搭載物506がX2軸、Y2軸、およびZ2軸のうち2つのみを中心として回転することを可能にし得る。支持機構504は、搭載物506がX2軸、Y2軸、およびZ2軸の3つ全てを中心として回転することを可能にし得る。

0219

いくつかの他の場合において、支持機構504は、搭載物506が複数の軸のいずれかを中心として回転することを可能にすることなく、搭載物506がX2軸、Y2軸、またはZ2軸、またはこれらの任意の組み合わせに沿って移動することのみを可能にし得る。例えば、支持機構504は、搭載物506がX2軸、Y2軸、およびZ2軸のうち1つのみに沿って移動することを可能にし得る。支持機構504は、搭載物506がX2軸、Y2軸、およびZ2軸のうち2つのみに沿って移動することを可能にし得る。支持機構504は、搭載物506がX2軸、Y2軸、およびZ2軸の3つ全てのみに沿って移動することを可能にし得る。

0220

なおもいくつかの他の実施形態において、支持機構504は、搭載物506が可動物体に対する回転および並進移動の双方を実行することを可能にし得る。例えば、支持機構504は、搭載物506がX2軸、Y2軸、およびZ2軸の1つ、2つ、または3つに沿って移動し、および/またはこれらを中心として回転することを可能にするように構成され得る。

0221

いくつかの他の実施形態において、搭載物506は、支持機構504を用いることなく、可動物体502に直接に接続され得、または支持機構504は、搭載物506が可動物体502に対して移動することを可能にないことがある。そのような複数の場合において、搭載物506の姿勢、位置、および/または向きは、可動物体502に対して固定される。

0222

様々な実施形態において、搭載物506の姿勢、向き、および/または位置に対する調整は、可動物体502、支持機構504、および/または搭載物506に対する好適な調整により、集合的に、または個別に実現され得る。例えば、搭載物に対する所与の軸(例えば、ヨー軸)を中心とする60度の回転は、可動物体単独による60度の回転、搭載物による、支持機構により実現される可動物体に対する60度の回転、または可動物体に対する、可動物体による40度の回転および搭載物による20度の回転の組み合わせにより実現され得る。

0223

同様に、搭載物の並進移動は、可動物体502および支持機構504に対する調整値により集合的に、または個別に実現され得る。所望の調整値は、搭載物の複数の動作パラメータに対する調整値により、追加的または代替的に実現され得る。搭載物のそのような複数の動作パラメータとしては、例えば、撮像デバイスのズームイン/ズームアウトレベルまたは焦点距離が挙げられ得る。

0224

図6は、複数の実施形態による、目標の予想位置を維持するための例示的追跡方法を図示する。可動物体により搬送された撮像デバイスにより取り込まれる等した例示的な画像600が、示される。画像は、Wピクセルの幅およびHピクセルの高さを有すると仮定されたい(WおよびHは、正の整数である)。画像中の位置は、水平方向の軸601(画像の幅)および鉛直方向の軸603(画像の高さ)に沿った座標のペアにより画定され得、画像の左上隅は、座標(0、0)を有し、画像の右下隅は、座標(W、H)を有する。

0225

画像600中に取り込まれた目標は、位置P(u、v)602に位置付けられ、目標の予想位置は、P602とは異なるP0(u0、v0)604であると仮定されたい。いくつかの実施形態において、目標P0(u0、v0)の予想位置は、画像の中心付近であり得るので、従って



および/または



となる。他の実施形態において、目標の予想位置は、画像中の任意の別の場所(例えば、中心から離れた)に位置付けら得る。様々な実施形態において、目標の予想位置は、(例えば、制御端末により提供された)目標の初期位置と同一であってもよく、またはそうでなくてもよい。現在位置Pは、予想位置P0から偏差し、そして、偏差は、予め定められた閾値(u0からのΔx、およびv0からのΔyにより表されるもの等)を超えると仮定し、予想位置P0に近接するPからの目標位置をもたらすべく、調整が必要とされる。

0226

いくつかの実施形態において、予想目標位置からの偏差は、1または複数の軸を中心とする撮像デバイスの視界を回転させるための1または複数の角速度を派生させるべく、用いられ得る。例えば、画像の水平方向の軸601に沿った偏差(例えば、uとu0との間)は、Y(ヨー)軸606を中心として撮像デバイスの視界を回転させるための角速度ωY610を次式のように派生させるべく、用いられ得る。

0227

撮像デバイスの視界に対するY軸を中心とする回転は、可動物体の回転、可動物体に対する(支持機構による)搭載物の回転、または双方の組み合わせにより実現され得る。いくつかの実施形態において、搭載物に対する調整は、可動物体に対する調整が実行不可能であるか、またはそうでなければ所望でない場合、例えば、可動物体のナビゲーションパスが予め定められている場合に選択され得る。方程式(1)において、



は、予め規定され、および/または(例えば、回転が可動物体により実現されたときの)可動物体の構成、(例えば、回転が支持機構により実現されたときの)支持機構の構成、またはその双方(例えば、回転が可動物体および支持機構の組み合わせにより実現された場合)に基づいて較正され得る定数である。いくつかの実施形態において、



は、ゼロより大きい



。他の複数の実施形態において、



は、ゼロ以下であってもよい



。いくつかの実施形態において、



は、対応する制御レバー量に対する算出済みのピクセル値、または一定の軸(例えば、ヨー軸)を中心とする角速度を制御する感度マッピングするべく、用いられ得る。一般に、制御レバーは、制御可能な物体(例えば、UAVまたは支持機構)の角運動または線形運動を制御するべく、用いられ得る。より大きな制御レバー量は、(角運動または線形運動に対する)より大きな感度およびより高い速度に対応する。いくつかの実施形態において、制御レバー量またはその範囲は、UAVのための飛行制御システムの複数の設定パラメータ、または支持機構のための制御システムの複数の設定パラメータにより判断され得る。制御レバー量の範囲の上限および下限は、あらゆる任意の数を含み得る。例えば、制御レバー量の範囲は、ある飛行制御システムについては(1000、−1000)であり、別の飛行制御システムについては(−1000、1000)であり得る。

0228

例えば、複数の画像は、W=1024ピクセルの幅およびH=768ピクセルの高さを有すると仮定されたい。従って、複数の画像のサイズは、1024×768である。更に、目標の予想位置は、



を有すると仮定されたい。従って、



となる。ヨー軸を中心とする制御レバー量の範囲は、(−1000、1000)であると仮定すると、最大制御レバー量または最大感度は、1000および



である。従って、



の値は、撮像デバイス、(例えば、一定の回転軸を中心とする)制御レバー量の範囲、最大制御レバー量もしくは最大感度、および/または他の複数の要因により提供される画像解像度もしくはサイズにより、影響され得る。

0229

例えば、回転が可動物体の回転により実現される場合、図6のY軸606は、図5において図示される可動物体に対するY1軸508に対応し、視界



の全体的な角速度は、可動物体に対する角速度



として表される。

0230

方程式(2)において、



は、可動物体の構成に基づいて規定される定数である。いくつかの実施形態において、



は、ゼロより大きい







は、上述の



と同様に規定され得る。例えば、



の値は、画像解像度もしくはサイズ、および/または(例えば、ヨー軸を中心とする)可動物体に対する制御レバー量の範囲に基づいて規定され得る。

0231

同様に、回転が(例えば、支持機構による)可動物体に対する搭載物の回転により実現される場合、図6のY軸606は、図5において図示される搭載物のY2軸514に対応し、視界



の全体的な角速度は、可動物体に対する搭載物の角速度



として表される。

0232

方程式(3)において、



は、支持機構の構成および/または搭載物に基づいて規定される定数である。いくつかの実施形態において、



は、ゼロより大きい







は、上述の



と同様に規定され得る。例えば、



の値は、画像解像度もしくはサイズ、および/または(例えば、ヨー軸を中心とする)支持機構に対する制御レバー量の範囲に基づいて規定され得る。

0233

一般に、Y(ヨー)軸606を中心とする視界の角速度は、次式で可動物体の角速度



の組み合わせ、および可動物体に対する搭載物の角速度



として表され得る。

0234

方程式(4)において、



または



のいずれかは、ゼロであってもよい。

0235

本明細書において図示されるように、Y(ヨー)軸を中心とする回転の方向は、



の符号に依存することがある。例えば、予想位置が(図6において図示されるように)実際の位置の右側に位置付けられる場合、



および視界は、予想位置に対する目標をもたらすべく、ヨー軸606を中心として反時計回りに(例えば、パンの左側)回転する必要がある。他方、予想位置が実際の位置の左側に位置付けられる場合、



および視界は、予想位置に対する目標をもたらすべく、ヨー軸606を中心として時計回りに(例えば、パンの右側)回転する必要がある。

0236

本明細書において図示されるように、所与の軸(例えば、Y(ヨー)軸)を中心とする回転速度(例えば、角速度の絶対値)は、軸に沿った目標の予想位置と実際の位置(すなわち



)との間の距離に依存することがある。距離が遠くなる程、回転速度は高くなる。同様に、距離が近くなる程、回転速度は遅くなる。予想位置が軸に沿った目標の位置に一致すると(例えば、



)、軸を中心とする回転速度はゼロになり、回転は停止する。

0237

上述のように、予想目標位置および水平方向の軸601に沿った実際の目標位置からの偏差を調整するための方法は、異なる軸603に沿った目標の偏差を補正するべく、同様に適用され得る。(例えば、vとv0との間の)画像の鉛直方向の軸603に沿った偏差は、例えば、次式のように、X(ピッチ)軸608を中心とする撮像デバイスの視界の角速度ωX612を派生させるべく用いられ得る。

0238

撮像デバイスの視界に対するX軸を中心とする回転は、可動物体の回転、可動物体に対する(支持機構による)搭載物の回転、または双方の組み合わせにより実現され得る。従って、方程式(5)において、



は、予め規定され、および/または(例えば、回転が可動物体により実現されたときの)可動物体の構成、(例えば、回転が支持機構により実現されたときの)支持機構の構成、またはその双方(例えば、回転が可動物体および支持機構の組み合わせにより実現された場合)に基づいて較正され得る定数である。いくつかの実施形態において、



は、ゼロより大きい



。他の複数の実施形態において、



は、ゼロ以下であってもよい



。いくつかの実施形態において、



は、対応する制御レバー量に対する算出済みのピクセル値、または一定の軸(例えば、ピッチ軸)を中心とする角速度を制御する感度をマッピングするべく、用いられ得る。一般に、制御レバーは、制御可能な物体(例えば、UAVまたは支持機構)の角運動または線形運動を制御するべく、用いられ得る。より大きな制御レバー量は、(角運動または線形運動に対する)より大きな感度およびより高い速度に対応する。いくつかの実施形態において、制御レバー量またはその範囲は、UAVのための飛行制御システムの複数の設定パラメータ、または支持機構のための支持機構制御システムの複数の設定パラメータにより判断され得る。制御レバー量の範囲の上限および下限は、あらゆる任意の数を含み得る。例えば、制御レバー量の範囲は、ある制御システム(例えば、飛行制御システムまたは支持機構制御システム)については(1000、−1000)であり、別の制御システムについては(−1000、1000)であり得る。

0239

例えば、複数の画像は、W=1024ピクセルの幅およびH=768ピクセルの高さを有すると仮定されたい。従って、複数の画像のサイズは、1024×768である。更に、目標の予想位置は、



を有すると仮定されたい。従って、



となる。ピッチ軸を中心とする制御レバー量の範囲は、(−1000、1000)であると仮定すると、最大制御レバー量または最大感度は、1000および



である。従って、



の値は、撮像デバイス、(例えば、一定の回転軸を中心とする)制御レバー量の範囲、最大制御レバー量もしくは最大感度、および/または他の複数の要因により提供される画像解像度もしくはサイズにより、影響され得る。

0240

例えば、回転が可動物体の回転により実現される場合、図6のX軸608は、図5において図示される可動物体に対するX1軸510に対応し、視界



の角速度は、可動物体に対する角速度



として表される。

0241

方程式(6)において、



は、可動物体の構成に基づいて規定される定数である。いくつかの実施形態において、



は、ゼロより大きい







は、上述の



と同様に規定され得る。例えば、



の値は、画像解像度もしくはサイズ、および/または(例えば、ピッチ軸を中心とする)可動物体に対する制御レバー量の範囲に基づいて規定され得る。

0242

同様に、回転が(例えば、支持機構による)可動物体に対する搭載物の回転により実現される場合、図6のX軸608は、図5において図示される搭載物のX2軸516に対応し、視界の角速度



は、可動物体に対する搭載物の角速度



として表される。

0243

方程式(6)において、



は、支持機構および/または搭載物の構成に基づいて規定される定数である。いくつかの実施形態において、



は、ゼロより大きい







は、上述の



と同様に規定され得る。例えば、



の値は、画像解像度もしくはサイズ、および/または(例えば、ピッチ軸を中心とする)可動物体に対する制御レバー量の範囲に基づいて規定され得る。

0244

一般に、X(ピッチ)軸608を中心とする視界の角速度は、次式で可動物体の角速度



および可動物体に対する搭載物の角速度



の組み合わせとして表され得る。

0245

方程式(7)において、



または



のいずれかは、ゼロであってもよい。

0246

本明細書において図示されるように、Y(ヨー)軸を中心とする回転の方向は、



の符号に依存することがある。例えば、予想位置が(図6において図示されるように)実際の位置の上方に位置付けられる場合、



および視界は、予想位置に対する目標をもたらすべく、ピッチ軸608を中心として時計回りに(例えば、ピッチの下方)回転する必要がある。他方、予想位置が実際の位置の下方に位置付けられる場合、



および視界は、予想位置に対する目標をもたらすべく、ピッチ軸608を中心として反時計回りに(例えば、ピッチの上方)回転する必要がある。

0247

本明細書において図示されるように、回転速度(例えば、角速度の絶対値)は、所与の軸(例えば、X(ピッチ)軸)に沿った目標の予想位置と実際の位置(すなわち



)との間の距離に依存する。距離が遠くなる程、回転速度は高くなる。距離が近くなる程、回転速度は遅くなる。予想位置が目標の位置に一致すると(例えば、



)、回転速度はゼロになり、回転は停止する。

0248

いくつかの実施形態において、上記で算出された角速度の複数の値は、システムの様々な制約により制限され、またはそうでなければ修正され得る。そのような複数の制約としては、可動物体および/もしくは撮像デバイスにより実現され得る最大速度および/もしくは最低速度、可動物体および/もしくは支持機構のための制御システムの制御レバー量もしくは最大制御レバー量、または最大感度の範囲等が挙げられ得る。例えば、回転速度は、算出された回転速度および許される最高速度の最低値であってもよい。

0249

いくつかの実施形態において、警告インジケータは、算出された複数の角速度が、本明細書において説明される複数の制約に応じて修正される必要がある場合に提供され得る。そのような複数の警告インジケータの例としては、テキスト、音声(例えば、サイレンもしくは警告音)、視覚的(例えば、一定の色の光もしくは閃光)、機械的、その他の好適なタイプの信号が挙げられ得る。そのような複数の警告インジケータは、可動物体、支持機構、搭載物、またはそれらのコンポーネントにより直接に提供され得る。代替的または追加的に、複数の警告インジケータは、制御端末(例えば、ディスプレイにより)提供され得る。後者の場合に、制御端末は、可動物体からの複数の信号に基づいて複数の警告インジケータを提供し得る。

0250

図7は、複数の実施形態による、目標の予想サイズを維持するための例示的追跡方法を図示する。可動物体により搬送された撮像デバイスにより取り込まれる等した例示的な画像700が、示される。目標702は、画像700により取り込まれると仮定されたい。画像中の目標の実際のサイズは、(目標の幅および目標の高さの積として算出されたもの等)ピクセルであり得る。予想された目標サイズSは、実際のサイズsより小さいか(例えば、予想目標は、704およびS=s0により表され得る)、または大きくなり得る(例えば、予想目標は、705およびS=s1により表され得る)。目標の予想サイズは、(例えば、制御端末により提供された)目標の初期サイズと同一であるか、そうでないことがある。現在のサイズsは、予想サイズs0またはs1から偏差し、そして、偏差は、予め定められた閾値(予め規定されたΔsピクセル等)を超えると仮定し、予想サイズs0またはs1に近接する目標サイズをもたらすべく、調整が必要とされる。

0251

画像および目標の表示区域は、長方形として示されるが、それは専ら例示的な目的のためであり、限定的であることを意図しない。むしろ、画像および/または目標の表示区域は、様々な実施形態において、円、楕円多角形等、任意の好適な形状であってもよい。同様に、本明細書において論じられる複数の区域は、ピクセルで表されるが、これらは、専ら例示的な目的のためであり、限定的であることを意図しない。他の複数の実施形態において、複数の区域は、メガピクセル、mm2、cm2、インチ2等、任意の好適な単位で表され得る。

0252

いくつかの実施形態において、予想目標サイズからの偏差は、1または複数の軸に沿った可動物体および/または撮像デバイスの1または複数の線形速度を派生させるべく、用いられ得る。例えば、実際の目標サイズsと予想目標サイズS(例えば、S=s0またはs1)との間の目標サイズにおける偏差は、次式のように、Z(ロール)軸710に沿って可動物体を移動させるための線形速度Vを判断するべく、用いられ得る。

0253

方程式(8)において、



は、視界を目標に向かって、および/または目標から離れて移動させ得る可動物体または任意の好適な制御可能な物体(例えば、支持機構)の構成に基づいて規定される定数である。いくつかの実施形態において、



は、ゼロより大きい



。他の複数の実施形態において、



は、ゼロ以下であってもよい



。いくつかの実施形態において、



は、対応する制御レバー量に対する算出済みのピクセル値、または線形速度を制御する感度をマッピングするべく、用いられ得る。

0254

一般に、Vは、目標に向かって、または目標から離れた可動物体の速度を表す。速度ベクトルは、UAVから目標へと指し示す。目標の実際のサイズsが予想サイズSより小さい場合、V>0であり、可動物体は、複数の画像中に取り込まれた目標のサイズを増大させるように、目標に向かって移動する。他方、目標の実際のサイズsが予想サイズSより大きい場合、V<0であり、可動物体は、複数の画像中に取り込まれた目標のサイズを減少させるように、目標から離れて移動する。

0255

例えば、複数の画像は、W=1024ピクセルの幅およびH=768ピクセルの高さを有すると仮定されたい。従って、複数の画像のサイズは、1024×768である。線形速度を制御するための制御レバー量の範囲は、(−1000、1000)であると仮定されたい。複数の例示的な実施形態において、



の場合は



であり、



の場合は



である。

0256

いくつかの実施形態において、上記で算出された速度の複数の値は、システムの様々な制約により制限され、またはそうでなければ修正され得る。そのような複数の制約としては、可動物体および/もしくは撮像デバイスにより実現され得る最大速度および/もしくは最低速度、可動物体および/もしくは支持機構のための制御システムの最大感度等が挙げられ得る。例えば、可動物体の回転速度は、算出された速度および許される最高速度の最低値であってもよい。

0257

代替的または追加的に、実際の目標サイズと予想目標サイズとの間の偏差は、偏差を補正するべく、ズームレベルまたは焦点距離等、撮像デバイスの複数の動作パラメータに対する調整を派生させるように用いられ得る。撮像デバイスに対するそのような調整は、可動物体に対する調整が実行不可能であるか、またはそうでなければ所望でない場合、例えば、可動物体のナビゲーションパスが予め定められている場合に必要となり得る。例示的な焦点距離の調整値Fは、次式で表され得る。

0258

式中、



は、撮像デバイスの構成に基づいて規定される定数である。いくつかの実施形態において、



は、ゼロより大きい



。他の複数の実施形態において、



は、ゼロ以下であってもよい







の値は、複数のタイプのレンズおよび/または撮像デバイスに基づいて規定されてもよい。

0259

目標の実際のサイズsが予想サイズSより小さい場合、F>0であり、焦点距離は、複数の画像中に取り込まれた目標のサイズを増大させるように、



により増大する。他方、目標の実際のサイズsが予想サイズSより大きい場合、F<0であり、焦点距離は、複数の画像中に取り込まれた目標サイズを減少させるように、



により減少する。例えば、一実施形態において、



である。これは、例えば、目標の実際のサイズが予想サイズSのサイズの二倍である場合、それに応じて焦点距離が10mmだけ減少すべきであることを意味し(すなわち、



)、その逆も当てはまる

0260

いくつかの実施形態において、焦点距離等、撮像デバイスの複数の動作パラメータに対する調整は、システムの様々な制約により制限され、そうでなければ修正され得る。そのような複数の制約としては、例えば、撮像デバイスにより実現され得る最大焦点距離および/または最小焦点距離が挙げられ得る。一例として、焦点距離範囲は(20mm、58mm)であると仮定されたい。更に、初期焦点距離は40mmであると仮定されたい。s>Sの場合に、焦点距離は、方程式(9)に従って減少するはずであり、s<Sの場合に、焦点距離は、方程式(9)に従って増加するはずである。しかし、そのような調整は、焦点距離範囲(例えば、20mm〜58mm)の下限および上限により制限される。換言すれば、調整値後の焦点距離は、最小焦点距離以上(例えば、20mm)になり、最大焦点距離(例えば、58mm)以下になるはずである。

0261

図6において上述したように、複数の警告インジケータは、算出済みの調整値(例えば、可動物体の線形速度または焦点距離)が本明細書において説明される複数の制約に応じて修正される場合に提供され得る。そのような複数の警告インジケータの例としては、テキスト、音声(例えば、サイレンもしくは警告音)、視覚的(例えば、一定の色の光もしくは閃光)、機械的、その他の好適なタイプの信号が挙げられ得る。そのような複数の警告インジケータは、可動物体、支持機構、搭載物、またはそれらのコンポーネントにより直接に提供され得る。代替的または追加的に、複数の警告インジケータは、制御端末(例えば、ディスプレイにより)提供され得る。後者の場合に、制御端末は、可動物体からの複数の信号に基づいて複数の警告インジケータを提供し得る。

0262

本発明の別の態様によれば、可動物体に接続された撮像デバイスにより目標を追跡するが、可動物体は、複数のナビゲーションコマンドによりナビゲートするように制御される、複数の方法およびシステムが提供される。

0263

図8は、複数の実施形態による、目標追跡を実装するための別の例示的処理800を図示する。処理800の複数の態様は、UAV等、本明細書において説明される可動物体に搭載した1または複数のプロセッサにより実行され得る。

0264

処理800は、例えば本明細書において説明されるもの等の遠隔制御端末から、複数のユーザナビゲーションコマンドおよび目標情報を受信するステップ802を備える。可動物体の位置、速度、向き、姿勢等、可動物体の複数のナビゲーションパラメータを制御するためのナビゲーションコマンドが用いられ得る。いくつかの場合に、ナビゲーションコマンドは、予め定められたナビゲーションパスに関係するもの等、予め格納されたいくつかのナビゲーションコマンドを実行する可動物体に対する複数の命令を含み得る。複数のナビゲーションコマンドは、804において、ユーザにより指定され、または予め格納されたナビゲーションパスに応じてナビゲートする可動物体を制御するべく用いられ得る。

0265

目標情報は、制御端末を操作するユーザにより選択されたもの等の特定目標の初期目標情報(例えば、位置および/またはサイズ)、および/または色、テクスチャ、パターン、サイズ、形状、寸法等の目標タイプ情報を含み得る。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ