図面 (/)

技術 トラッカ補助画像キャプチャ

出願人 クゥアルコム・インコーポレイテッド
発明者 ジョン、シンガオ、ダシャンビ、ニンレイバー、スティーブン・ダグラスベイス、スコット・デイビッドマッコーマック、ディアームイド
出願日 2014年5月30日 (6年5ヶ月経過) 出願番号 2016-519529
公開日 2016年9月5日 (4年2ヶ月経過) 公開番号 2016-526713
状態 特許登録済
技術分野 スタジオ装置 イメージ分析
主要キーワード 電子的コンポーネント 換えエリア 融合モジュール トラッキングモジュール カメラソフト 囲みボックス プロセス雑音 時間勾配
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年9月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題・解決手段

ピクチャ処理のための方法が説明される。第1のトラッキングエリアが得られる。第2のトラッキングエリアも得られる。その方法は、第1のトラッキングエリア及び第2のトラッキングエリアをトラッキングすることを開始することを含む。ピクチャ処理は、第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドを通過した時点で行われる。

概要

背景

[0003]過去数十年において、電子デバイスの使用が一般的になっている。特に、電子技術の進歩が、ますます複雑化しかつ便利になっている電子デバイスの費用を低減させている。費用の低減及び消費者の要求が、電子デバイスの使用を大きく増加させており、現代社会においては実際上遍く存在している。電子デバイスの使用が拡大しているのに応じて、電子デバイスの新しい及び改良された特徴を求める要求も増大している。より具体的には、新しい機能を実行する及び/又はより高速で、より効率的に、又はより高い品質で機能を実行する電子デバイスがしばしば求められている。

[0004]幾つかの電子デバイス(例えば、カメラビデオカムコーダデジタルカメラ携帯電話スマートフォンコンピュータテレビ、等)は、画像をキャプチャ又は利用する。例えば、デジタルカメラは、デジタル画像をキャプチャすることができる。

[0005]電子デバイスの新しい及び/又は改良された特徴がしばしば求められている。この説明からわかるように、電子デバイスの新しい及び/又は改良された特徴を追加するシステム及び方法が有益であることができる。

概要

ピクチャ処理のための方法が説明される。第1のトラッキングエリアが得られる。第2のトラッキングエリアも得られる。その方法は、第1のトラッキングエリア及び第2のトラッキングエリアをトラッキングすることを開始することを含む。ピクチャ処理は、第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドを通過した時点で行われる。

目的

ピクチャ処理を実装することは、説明されるトラッキング及び検出アルゴリズム現実世界の用途を提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ピクチャ処理のための方法であって、第1のトラッキングエリアを得ることと、第2のトラッキングエリアを得ることと、前記第1のトラッキングエリア及び前記第2のトラッキングエリアをトラッキングすることを開始することと、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うことと、を備える、方法。

請求項2

前記ピクチャ処理は、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの前記部分が前記スレショルドよりも大きくなった時点で行われる請求項1に記載の方法。

請求項3

前記ピクチャ処理は、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの前記部分が前記スレショルドよりも小さくなった時点で行われる請求項1に記載の方法。

請求項4

前記ピクチャ処理は、写真キャプチャすることを備える請求項1に記載の方法。

請求項5

前記写真は、前記予め記録された映像素材からキャプチャされる請求項4に記載の方法。

請求項6

前記写真は、ライブ素材からキャプチャされる請求項4に記載の方法。

請求項7

前記ピクチャ処理は、映像シーケンス編集することを備える請求項1に記載の方法。

請求項8

前記第1のトラッキングエリアによってトラッキングされたオブジェクトは、前記映像シーケンスから取り除かれる請求項7に記載の方法。

請求項9

前記第1のトラッキングエリアは、前記映像シーケンスの第1のフレームにおいて前記スレショルド超だけ前記第2のトラッキングエリアと重なり合っていると決定することと、前記映像シーケンスの第2のフレームを選択することであって、前記第1のトラッキングエリアは、前記第2のフレーム内の前記第2のトラッキングエリアと重なり合わないことと、前記第1のフレーム内の前記第1のトラッキングエリアを前記第2のフレームからの対応する置き換えエリアで置き換えることと、をさらに備える請求項8に記載の方法。

請求項10

前記第2のフレームは、前記第1のフレームよりも時間的に後に生じる請求項9に記載の方法。

請求項11

前記第2のフレームは、前記第1のフレームよりも時間的に早く生じる請求項9に記載の方法。

請求項12

前記編集された第1のフレームを編集された映像シーケンスの一部として格納することをさらに備える請求項9に記載の方法。

請求項13

前記第1のトラッキングエリア及び前記第2のトラッキングエリアは、フォーカスリングを介してユーザによって入られる請求項1に記載の方法。

請求項14

前記第1のトラッキングエリア及び前記第2のトラッキングエリアをトラッキングすることを開始することは、ユーザがタッチ画面から指を離した後に生じる請求項1に記載の方法。

請求項15

前記第2のトラッキングエリアは、アクションラインを備える請求項1に記載の方法。

請求項16

ピクチャ処理のために構成された電子デバイスであって、プロセッサと、前記プロセッサと電子的通信状態にあるメモリと、メモリに格納された命令であって、第1のトラッキングエリアを得、第2のトラッキングエリアを得、前記第1のトラッキングエリア及び前記第2のトラッキングエリアをトラッキングすることを開始し、及び前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うために実行可能である命令と、を備える、電子デバイス。

請求項17

前記ピクチャ処理は、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの前記部分が前記スレショルドよりも大きくなった時点で行われる請求項16に記載の電子デバイス。

請求項18

前記ピクチャ処理は、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの前記部分が前記スレショルドよりも小さくなった時点で行われる請求項16に記載の電子デバイス。

請求項19

前記ピクチャ処理は、写真をキャプチャすることを備える請求項16に記載の電子デバイス。

請求項20

前記写真は、前記予め記録された映像素材からキャプチャされる請求項19に記載の電子デバイス。

請求項21

前記写真は、ライブの素材からキャプチャされる請求項19に記載の電子デバイス。

請求項22

前記ピクチャ処理は、映像シーケンスを編集することを備える請求項16に記載の電子デバイス。

請求項23

前記第1のトラッキングエリアによってトラッキングされたオブジェクトは、前記映像シーケンスから取り除かれる請求項22に記載の電子デバイス。

請求項24

前記命令は、前記第1のトラッキングエリアは、前記映像シーケンスの第1のフレームにおいて前記スレショルド超だけ前記第2のトラッキングエリアと重なり合っていると決定し、前記映像シーケンスの第2のフレームを選択し、ここにおいて、前記第1のトラッキングエリアは、前記第2のフレーム内の前記第2のトラッキングエリアと重なり合わず、及び前記第1のフレーム内の前記第1のトラッキングエリアを前記第2のフレームからの対応する置き換えエリアで置き換えるためにさらに実行可能である請求項23に記載の電子デバイス。

請求項25

前記第2のフレームは、前記第1のフレームよりも時間的に後に生じる請求項24に記載の電子デバイス。

請求項26

前記第2のフレームは、前記第1のフレームよりも時間的に早く生じる請求項24に記載の電子デバイス。

請求項27

前記命令は、前記編集された第1のフレームを編集された映像シーケンスの一部として格納するためにさらに実行可能である請求項24に記載の電子デバイス。

請求項28

前記第1のトラッキングエリア及び前記第2のトラッキングエリアは、フォーカスリングを介してユーザによって入られる請求項16に記載の電子デバイス。

請求項29

前記第1のトラッキングエリア及び前記第2のトラッキングエリアをトラッキングすることを開始することは、ユーザがタッチ画面から指を離した後に生じる請求項16に記載の電子デバイス。

請求項30

前記第2のトラッキングエリアは、アクションラインを備える請求項1に記載の電子デバイス。

請求項31

ピクチャ処理のための装置であって、第1のトラッキングエリアを得るための手段と、第2のトラッキングエリアを得るための手段と、前記第1のトラッキングエリア及び前記第2のトラッキングエリアをトラッキングすることを開始するための手段と、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うための手段と、を備える、装置。

請求項32

前記ピクチャ処理は、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの前記部分が前記スレショルドよりも大きくなった時点で行われる請求項31に記載の装置。

請求項33

前記ピクチャ処理は、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの前記部分が前記スレショルドよりも小さくなった時点で行われる請求項31に記載の装置。

請求項34

前記ピクチャ処理は、写真をキャプチャすることを備える請求項31に記載の装置。

請求項35

前記ピクチャ処理は、映像シーケンスを編集することを備える請求項31に記載の装置。

請求項36

前記第1のトラッキングエリアによってトラッキングされたオブジェクトは、前記映像シーケンスから取り除かれる請求項35に記載の装置。

請求項37

前記第1のトラッキングエリアは、前記映像シーケンスの第1のフレームにおいて前記スレショルド超だけ前記第2のトラッキングエリアと重なり合っていると決定するための手段と、前記映像シーケンスの第2のフレームを選択するための手段であって、前記第1のトラッキングエリアは、前記第2のフレーム内の前記第2のトラッキングエリアと重なり合わない手段と、前記第1のフレーム内の前記第1のトラッキングエリアを前記第2のフレームからの対応する置き換えエリアで置き換えるための手段と、をさらに備える請求項36に記載の装置。

請求項38

ピクチャ処理のためのコンピュータプログラム製品であって、命令を有する非一時的なコンピュータによって読み取り可能な媒体を備え、前記命令は、第1のトラッキングエリアを得ることを電子デバイスに行わせるためのコードと、第2のトラッキングエリアを得ることを前記電子デバイスに行わせるためのコードと、前記第1のトラッキングエリア及び前記第2のトラッキングエリアをトラッキングすることを開始することを前記電子デバイスに行わせるためのコードと、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うことを前記電子デバイスに行わせるためのコードと、を備える、コンピュータプログラム製品。

請求項39

前記ピクチャ処理は、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの前記部分が前記スレショルドよりも大きくなった時点で行われる請求項38に記載のコンピュータプログラム製品。

請求項40

前記ピクチャ処理は、前記第2のトラッキングエリアと重なり合っている前記第1のトラッキングエリアの前記部分が前記スレショルドよりも小さくなった時点で行われる請求項38に記載のコンピュータプログラム製品。

請求項41

前記ピクチャ処理は、写真をキャプチャすることを備える請求項38に記載のコンピュータプログラム製品。

請求項42

前記ピクチャ処理は、映像シーケンスを編集することを備える請求項38に記載のコンピュータプログラム製品。

請求項43

前記第1のトラッキングエリアによってトラッキングされたオブジェクトは、前記映像シーケンスから取り除かれる請求項42に記載のコンピュータプログラム製品。

請求項44

前記命令は、前記第1のトラッキングエリアは、前記映像シーケンスの第1のフレームにおいて前記スレショルド超だけ前記第2のトラッキングエリアと重なり合っていると決定することを前記電子デバイスに行わせるためのコードと、前記映像シーケンスの第2のフレームを選択することを前記電子デバイスに行わせるためのコードであって、前記第1のトラッキングエリアは、前記第2のフレーム内の前記第2のトラッキングエリアと重なり合わないコードと、前記第1のフレーム内の前記第1のトラッキングエリアを前記第2のフレームからの対応する置き換えエリアで置き換えることを前記電子デバイスに行わせるためのコードと、をさらに備える請求項43に記載のコンピュータプログラム製品。

技術分野

0001

関連出願の相互参照
[0001]本出願は、“TRACKERSSISTEDIMAGECAPTURE”(トラッカ補助画像キャプチャ)に関する米国仮特許出願一連番号第61/835,414号(出願日:2013年6月14日)に関連するものであり、“TRACKER ASSISTED IMAGE CAPTURE”(トラッカ補助画像キャプチャ)に関する米国仮特許出願一連番号第61/835,414号(出願日:2013年6月14日)からの優先権を主張するものである。

0002

[0002]本開示は、概して、電子デバイスに関するものである。より具体的には、本開示は、トラッカ補助画像キャプチャのためのシステム及び方法に関するものである。

背景技術

0003

[0003]過去数十年において、電子デバイスの使用が一般的になっている。特に、電子技術の進歩が、ますます複雑化しかつ便利になっている電子デバイスの費用を低減させている。費用の低減及び消費者の要求が、電子デバイスの使用を大きく増加させており、現代社会においては実際上遍く存在している。電子デバイスの使用が拡大しているのに応じて、電子デバイスの新しい及び改良された特徴を求める要求も増大している。より具体的には、新しい機能を実行する及び/又はより高速で、より効率的に、又はより高い品質で機能を実行する電子デバイスがしばしば求められている。

0004

[0004]幾つかの電子デバイス(例えば、カメラビデオカムコーダデジタルカメラ携帯電話スマートフォンコンピュータテレビ、等)は、画像をキャプチャ又は利用する。例えば、デジタルカメラは、デジタル画像をキャプチャすることができる。

0005

[0005]電子デバイスの新しい及び/又は改良された特徴がしばしば求められている。この説明からわかるように、電子デバイスの新しい及び/又は改良された特徴を追加するシステム及び方法が有益であることができる。

0006

[0006]ピクチャ処理のための方法が説明される。第1のトラッキングエリアが得られる。第2のトラッキングエリアも得られる。その方法は、第1のトラッキングエリア及び第2のトラッキングエリアをトラッキング(track)することを開始することを含む。第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理が行われる。

0007

[0007]ピクチャ処理は、第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドよりも大きくなった時点で行うことができる。ピクチャ処理は、第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドよりも小さくなった時点でも行うことができる。ピクチャ処理は、写真をキャプチャすることを含むことができる。写真は、予め記録された映像素材(video footage)から又は素材からキャプチャすることができる。ピクチャ処理は、映像シーケンス編集することも含むことができる。第1のトラッキングエリアによってトラッキングされたオブジェクトは、映像シーケンスから取り除くことができる。

0008

[0008]第1のトラッキングエリアは、映像シーケンスの第1のフレームにおいて第2のトラッキングエリアとスレショルド超だけ重なり合っていると決定することができる。映像シーケンスの第2のフレームを選択することができる。第1のトラッキングエリアは、第2のフレーム内の第2のトラッキングエリアと重なり合うことができない。第1のフレーム内の第1のトラッキングエリアは、第2のフレームからの対応する置き換えエリアで置き換えることができる。

0009

[0009]第2のフレームは、第1のフレームよりも時間的に遅れて生じることができる。第2のフレームは、第1のフレームよりも時間的に早く生じることもできる。編集された第1のフレームは、編集された映像シーケンスの一部として格納することができる。第1のトラッキングエリア及び第2のトラッキングエリアは、フォーカスリングを介してユーザによって入ることができる。第1のトラッキングエリア及び第2のトラッキングエリアをトラッキングすることを開始することは、ユーザがタッチ画面から指を離した後に生じることができる。第2のトラッキングエリアは、アクションラインを含むことができる。

0010

[0010]ピクチャ処理のために構成された電子デバイスについても説明される。その電子デバイスは、プロセッサと、プロセッサと電子的な通信状態にあるメモリと、メモリに格納された命令と、を含む。それらの命令は、第1のトラッキングエリアを得るために実行可能である。それらの命令は、第2のトラッキングエリアを得るためにも実行可能である。それらの命令は、第1のトラッキングエリア及び第2のトラッキングエリアをトラッキングすることを開始するためにさらに実行可能である。それらの命令は、第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うためにも実行可能である。

0011

[0011]ピクチャ処理のための装置について説明される。その装置は、第1のトラッキングエリアを得るための手段を含む。その装置は、第2のトラッキングエリアを得るための手段も含む。その装置は、第1のトラッキングエリア及び第2のトラッキングエリアをトラッキングすることを開始するための手段をさらに含む。その装置は、第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うための手段も含む。

0012

[0012]ピクチャ処理のためのコンピュータプログラム製品についても説明される。そのコンピュータプログラム製品は、命令を有する非一時的なコンピュータによって読み取り可能な媒体を含む。それらの命令は、第1のトラッキングエリアを得ることを電子デバイスに行わせるためのコードを含む。それらの命令は、第2のトラッキングエリアを得ることを電子デバイスに行わせるためのコードも含む。それらの命令は、第1のトラッキングエリア及び第2のトラッキングエリアをトラッキングすることを開始することを電子デバイスに行わせるためのコードをさらに含む。それらの命令は、第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を電子デバイスに行わせるためのコードも含む。

図面の簡単な説明

0013

[0013]現在のシステム及び方法における使用のための電子デバイスを例示したブロック図である。
[0014]オブジェクトトラッキング及び検出モジュールを例示したブロック図である。
[0015]プロセッサによって実装される図2Aのシステム内の幾つかのコンポーネントを例示する。
[0016]動きに基づくトラッキング及びオブジェクト検出を行うための方法を例示した流れ図である。
[0017]動きに基づくトラッキングを行うための方法を例示した流れ図である。
[0018]前進後退誤差に基づいて動きに基づくトラッキングにおけるトラッキング誤差推定するための方法を例示した流れ図である。
[0019]オブジェクト検出を行うための方法を例示した流れ図である。
[0020]現在のシステム及び方法とともに使用することができる複数の異なるウィンドウサイズを例示したブロック図である。
[0021]オブジェクトトラッキング及び検出モジュールの他の可能な構成を例示したブロック図である。
[0022]平滑化モジュールを例示したブロック図である。
[0023]動きトラッキング結果内のジッターを平滑化するための方法を例示した流れ図である。
[0024]オブジェクトトラッキングを用いてピクチャ処理を行うための方法の流れ図である。
[0025]オブジェクトトラッキングを用いたピクチャ処理の一例を示す。
[0026]オブジェクトトラッキングを用いたピクチャ処理の例も示す。
[0027]オブジェクトトラッキングを用いたピクチャ処理の他の例を示す。
[0028]オブジェクトトラッキングを用いた映像シーケンスに関するピクチャ処理を行うための方法の流れ図である。
[0029]電子デバイス上に表示された未編集の映像シーケンス及び編集された映像シーケンスの両方の複数のフレームを例示する。
[0030]電子デバイス内に含めることができる幾つかのコンポーネントを例示する。

実施例

0014

[0031]モバイルプラットフォーム(例えば、タブレット電話)からのカメラを用いて画像内のオブジェクト又はその画像内のユーザによって定義された対象領域をトラッキングするのは困難であることがある。リアルタイムの性能(1秒当たり〜30フレーム(fps))を要求することができる。幾つかの構成は、ロバスト(robust)なトラッキングを得るためにオプティカルフローに基づくトラッカ及び画像コンテンツに基づく検出器の出力を結合することができる。しかしながら、既存のアルゴリズムの計算は、モバイルプラットフォームがリアルタイムの性能を達成する上で法外になることがある。

0015

[0032]現在のシステム及び方法は、トラッキング及び検出アルゴリズムの速度を向上させるための次の技法、すなわち、(1)各フレームにおいて可能な検出の一部分を使用する(例えば、ウィンドウの位置をランダムに選択する)、(2)以前の検出されたターゲットサイズに近い幾つかの空間的スケールのみをオブジェクト検出のために選択する、(3)前のトラッキングの信頼値に基づいて、部分的画像又は全体的画像のいずれにおいてオブジェクトを探索するかを決定する、(4)以前のトラッキング結果に基づいて検出ウィンドウ数を動的に調整する、(5)トラッカ及びオブジェクト検出器を平行して走らせる代わりに、トラッカのほうが計算的により低コストであるため、トラッカを最初に適用する、及び、(6)トラッカの信頼度がある一定のスレッドよりも低いときのみにオブジェクト検出器を走らせる、を実装することができる。技術的利点のうちの1つは、ターゲットオブジェクトをトラッキング及び/又は検出するために使用される計算を減らすことである。

0016

[0033]トラッキング及び検出アルゴリズムの1つの特定の用途は、ピクチャ処理である。ピクチャ処理は、写真を撮ること及び/又は映像を編集することを含むことができる。ピクチャ処理を実装することは、説明されるトラッキング及び検出アルゴリズムの現実世界の用途を提供することができる。

0017

[0034]ここにおいて使用される場合、用語“トラッキングする”及びそれの変形は、特定のオブジェクトを識別するのではなく、動きに基づくプロセスを意味する。例えば、オブジェクトトラッキング及び検出モジュールは、フレームからフレームへの動きをトラッキングし、電子デバイスの動き(例えば、カメラがパンしている場合)又はフレームからフレームへのオブジェクトの動きに基づいてターゲットオブジェクトの位置、サイズ又はフレームを決定することができる。用語“検出する”又はそれの変形は、例えば、フレームの一部分を基準画像と比較することによってターゲットオブジェクトを識別するのを試みるプロセスを意味する。例えば、オブジェクトトラッキング及び検出モジュールは、ターゲットオブジェクトを識別することを試みてキャプチャされたフレームの一部分を(ターゲットオブジェクトの)基準画像と比較することができる。一例においては、検出は、ターゲットをもはやトラッキングすることができないときに(例えば、オブジェクトが視野外に出た場合に)検出を使用することができる。動きに基づくトラッキング及びオブジェクト検出を行うシステム及び方法が以下においてより詳細に説明される。

0018

[0035]図1は、現在のシステム及び方法における使用のための電子デバイス102を例示したブロック図である。電子デバイス102は、無線通信デバイスモバイルデバイス移動局加入者局クライアントクライアント局ユーザ装置(UE)、遠隔局アクセス端末モバイル端末端末ユーザ端末加入者ユニット、等と呼ぶこともできる。電子デバイスの例は、ラップトップ又はデスクトップコンピュータ、携帯電話、スマートフォン、無線モデム、電子リーダータブレットデバイスゲームシステム、等を含む。これらのデバイスのうちの一部は、1つ以上の工業規格準拠して動作することができる。

0019

[0036]電子デバイス102、例えば、スマートフォン又はタブレットコンピュータ、は、カメラを含むことができる。カメラは、画像センサ114と、光学システム118(例えば、レンズ)の視野内に位置するオブジェクトの画像を画像センサ114上に集束させる光学システム118と、を含むことができる。電子デバイス102は、カメラソフトウェアアプリケーションと、ディスプレイ画面と、を含むこともできる。カメラアプリケーションが走っているときには、光学システム118の視野内に位置するオブジェクトの画像を画像センサ114によって録画することができる。画像センサ114によって録画中の画像は、ディスプレイ画面上に表示することができる。これらの画像は、相対的に高いフレームレートで高速で連続して表示することができ、いずれかの所定の時点において、光学システム118の視野内に位置するオブジェクトがディスプレイ画面上に表示される。現在のシステム及び方法は、キャプチャされた映像フレームの点で説明されているが、ここにおいて説明される技法は、あらゆるデジタル画像に対して使用することができる。従って、用語映像フレーム及びデジタル画像は、ここおいては互換可能な形で使用することができる。

0020

[0037]カメラアプリケーションのユーザインタフェース120は、ディスプレイ画面上に表示中の1つ以上のオブジェクトをトラッキングするのを可能にすることができる。電子デバイス102のユーザは、トラッキングされるべきオブジェクトを選択するのを許可されることができる。さらに、選択されたオブジェクトは、オブジェクトをのちに検出するための基準として使用することができる。

0021

[0038]一構成においては、ディスプレイは、例えば、指、スタイラス又はその他のツールによって物理的に触れることから入力を受け取るタッチ画面116である。タッチ画面116は、トラッキングされるべきターゲットオブジェクトを定義するタッチ入力を受け取ることができる。例えば、電子デバイス102が対象となる動物を含む自然の場面をキャプチャ中である場合は、ユーザは、その動物をトラッキングする又は必要な場合は検出するのを希望することを示す囲みボックス(bounding box)を描くことができる。ターゲットオブジェクトは、あらゆる適切な方法で選択することができる。例えば、トラッキングされるべき、検出されるべき、又は両方であるべきターゲットオブジェクトを選択するために、顔の認識、歩行者の認識、等を使用することができる。一構成においては、複数のオブジェクトをトラッキングすることができる。ユーザインタフェース120は、ユーザが、例えば1つ以上のターゲットオブジェクトを選択する(すなわち、定義する)ために、オブジェクトトラッキング及び検出モジュール104と対話するのを可能にすることができる。タッチ画面116は、ビューファインダ131を含むことができる。ビューファインダ131は、映像ストリーム又はライブフィードを表示するタッチ画面116の部分を意味することができる。例えば、ビューファインダ131は、カメラによって得られたビューを電子デバイス102上に表示することができる。

0022

[0039]電子デバイス102は、選択されたオブジェクトをトラッキングするための及び/又は映像フレームにおいてオブジェクトを検出するためのオブジェクトトラッキング及び検出モジュール104を含むことができる。オブジェクトトラッキング及び検出モジュール104は、1つ以上のオブジェクトをトラッキングするためのモーショントラッカ106を含むことができる。モーショントラッカ106は、前の映像フレームと現在の映像フレームとの間でのターゲットオブジェクトの位置及び/又は位置の変化を推定するためにフレームからフレームへの画像(例えば、映像フレーム)上における点の動きをトラッキングするために動きに基づくことができる。

0023

[0040]オブジェクトトラッキング及び検出モジュール104は、映像フレーム上のオブジェクトを検出するためのオブジェクト検出器108を含むこともできる。オブジェクト検出器108は、現在の映像フレームの全体又は一部分を選択されたオブジェクト又は(例えば、映像フレームのシーケンス内の)キャプチャされた前の映像フレーム112の一部分と比較することによってオブジェクトを検出するために、動きに基づくモデルではなく、オブジェクトモデルを使用することができる。オブジェクト検出器108は、映像フレーム内の複数のオブジェクトを検出するために使用することができる。

0024

[0041]オブジェクトトラッキング及び検出モジュール104は、メモリバッファ110を含むこともできる。メモリバッファ110は、1つ以上のキャプチャされたフレーム及びキャプチャされた映像フレームに関連するデータを格納することができる。一例においては、メモリバッファ110は、前のキャプチャされた映像フレーム112を格納することができる。オブジェクトトラッキング及び検出モジュール104は、動きに基づくトラッキング及び/又はオブジェクト検出を行う際にキャプチャされた前の映像フレーム112に関してメモリバッファ110から提供されたデータを使用することができる。データは、ターゲットオブジェクトをより正確にトラッキング及び/又は検出するために動きに基づくトラッキング及びオブジェクト検出を個別に適合化するためにメモリバッファ110からフィードバックを介して動きトラッカ106又はオブジェクト検出器108に提供することができる。例えば、メモリバッファ110は、オブジェクトをトラッキング又は検出するときにそのオブジェクトの位置及びサイズをより正確に突き止めるために使用することができる1つ以上のパラメータを動きトラッカ106及びオブジェクト検出器108に提供するために動きトラッカ106及びオブジェクト検出器108に位置及びウィンドウサイズのデータを提供することができる。

0025

[0042]上記のように、電子デバイス102は、動きに基づくトラッキングを行うことができる。動きに基づくトラッキングは、様々な方法を用いて行うことができる。一例においては、トラッキングは、動きトラッカ106が一対の画像It、It+1(例えば、映像フレーム)及び囲みボックスβtを受け入れ、囲みボックスβt+1を出力するメディアンフロー法によって行われる。囲みボックスβt内の長方形格子上で一組の点を初期化することができ、ItとIt+1との間での疎らな(sparse)動きフローを生成するためにそれらの点をトラッキングする。点予測の品質を推定することができ、各点に誤差を割り当てることができる。最悪の予測のうちの一部分(例えば、50%)は、フィルタリングして取り除くことができ、残りの予測は、囲みボックス全体の変位を推定するために使用される。モーショントラッカ106は、電子デバイス102によってキャプチャされた各映像フレームに関する動きに基づくトラッキングを行うことができる。同様の方法において、動きに基づくトラッキングは、1つ以上の勾配(例えば、x及びy勾配)を計算し、及び、時間勾配を計算するために一対のフレーム間の差を使用し、及び、現在の映像フレーム内のターゲットオブジェクトを正確にトラッキングするために複数の勾配値を使用することによって行うことができる。動きに基づくトラッキングに関するさらなる詳細が以下において提供される。

0026

[0043]動きに基づくトラッキングを行うときには、モーショントラッカ106は、動きトラッキング法の計算された又は推定された精度に基づいてトラッキング信頼値を決定することができる。幾つかの構成においては、トラッキング信頼値は、ターゲットオブジェクトが現在の映像フレーム又は映像フレームの定義されたウィンドウ内に入る尤度又は確率に対応する0と1との間の実数であることができる。トラッキング信頼値は、トラッキングスレショルドと比較することができる。トラッキング信頼値がトラッキングスレショルドよりも大きい場合は、ターゲットオブジェクトが現在の映像フレーム内で見つかる尤度が高くなることができる。代替として、トラッキング信頼値がトラッキングスレショルド以下である場合は、ターゲットオブジェクトが現在の映像フレーム内で見つかるかどうかの尤度が低くなるか又は不確実になる。様々なトラッキング信頼値決定方法を使用することができる。一構成においては、トラッキング信頼値は、現在の映像フレーム内のトラッキングされたウィンドウ(例えば、トラッキングパッチウィンドウ)と以前にキャプチャされた映像フレームからの以前に格納された画像パッチとの間の正規化相互相関NCC)を計算することによって決定される。トラッキング信頼値を決定することに関するさらなる詳細が以下において提供される。

0027

[0044]電子デバイス102は、オブジェクト検出を行うこともできる。オブジェクト検出は、様々な方法を用いて行うことができる。一構成においては、オブジェクト検出は、ターゲットオブジェクトが現在の映像フレームにおいて又は現在の映像フレームの特定のウィンドウ又はウィンドウの部分組内において見つかるかどうかを決定するために映像フレーム内のウィンドウの複数の部分組の内容がビューイングされるスライディングウィンドウ法を用いて行われる。すべての可能なウィンドウ位置及びサイズ又はそれらの部分組を映像フレーム内において探索することができる。例えば、各ウィンドウは、データのピクセルに対応することができ、オブジェクト検出器108は、ターゲットオブジェクトが特定のウィンドウ又はサブウィンドウ内に存在する信頼度(例えば、バイナリインジケータ)を決定するためにデータのピクセルを用いて1つ以上の計算を行うことができる。1つ以上のウィンドウに関連する信頼度に基づいて、検出器信頼値は、現在の映像フレームに関して入手することができる。さらに、オブジェクト検出の精度又は効率を向上させるために追加の技法を使用することができる。これらの技法のうちの一部が以下において説明される。

0028

[0045]幾つかの構成においては、モーショントラッカ106及びオブジェクト検出器108は、平行にではなく順次に動作することができる。例えば、電子デバイス102は、選択されたオブジェクト(例えば、ターゲットオブジェクト)の動きに基づくトラッキングを行うこと及びトラッキングされたパラメータに基づいて選択されたオブジェクトのオブジェクト検出を順次に行うことができる。一構成においては、電子デバイス102は、現在の映像フレームにおいて動きに基づくトラッキングを行うことができる。電子デバイス102は、トラッキングされたパラメータに基づいて現在のフレームにおけるオブジェクト検出を行うことができる。一構成においては、トラッキングされたパラメータは、信頼値とスレショルドの比較に基づくことができる。例えば、トラッキング信頼値がトラッキングスレショルドを下回る場合は、電子デバイス102は、オブジェクト検出を行うことができる。代替として、トラッキング信頼値がトラッキングスレショルドを上回る場合は、電子デバイス102は、現在の映像フレームに関するオブジェクト検出をスキップし、現在の映像フレームの動きトラッキング結果に基づいて次の映像フレームにおける動きに基づくトラッキングを行うことができる。換言すると、オブジェクト検出は、動きに基づくトラッキングがあまり良好でない、例えば、トラッキング信頼値がトラッキングスレショルドを下回る、ときのみに行うことができる。その他のトラッキングされたパラメータは、オブジェクト検出が行われるかどうか及び/又はどのようにして行われるかを考慮するときに使用することができる。トラッキングされるパラメータの例は、ターゲットオブジェクトの領域、ウィンドウ位置、ウィンドウサイズ、スケールレベル、ターゲットサイズ、トラッキング及び/又は検出信頼値、又は、ターゲットオブジェクトの効率的なトラッキング及び/又は検出を容易にするために使用することができるその他のパラメータを含むことができる。

0029

[0046]トラッキングされたパラメータに基づいて動きに基づくトラッキング及びオブジェクト検出を順次に行うことは、電子デバイス102がコストのかかる計算を行わずに映像フレーム内のターゲットオブジェクトをトラッキング及び/又は検出するのを可能にすることができる。具体的には、動きに基づくトラッキングは、オブジェクト検出よりも計算集約性が低いことができるため、電子デバイス102は、オブジェクト検出をスキップすることができ、現在の映像フレーム内のターゲットオブジェクトを正確にトラッキングするために動きに基づくトラッキングを使用することができる。例えば、トラッキング信頼値が特定のターゲットスレショルドを超えると電子デバイス102が決定した場合は、電子デバイス102は、現在の映像フレーム内のターゲットオブジェクトの位置又は存在を正確に決定する上で現在の映像フレームに関してオブジェクト検出を行う必要がないと決定することができる。さらに、オブジェクト検出は多くの事例において有益であることができるため、電子デバイス102は、ターゲットオブジェクトをより正確に検出するために又はトラッキングスレショルド値との比較に基づいて動きに基づくトラッキングが不適切である事例においてオブジェクト検出を行うためにオブジェクト検出を使用することができる事例を決定することができる。

0030

[0047]幾つかの構成においては、現在の映像フレームに関してオブジェクト検出をスキップするのではなく、オブジェクト検出を行うプロセスを絞り込むために又は個別に適合化するために、メモリバッファ110によって提供された動きに基づくトラッキングの結果及び/又は追加の情報を使用することができる。例えば、動きに基づくトラッキング法を用いてターゲットオブジェクトを正確にトラッキングすることができない場合、電子デバイス102は、位置、ウィンドウスケール、又は、動きに基づくトラッキングを介して提供されるパラメータなしの場合よりも低い計算電力を用いてオブジェクトをより正確に検出するためにオブジェクト検出中に使用することができるターゲットオブジェクトに関連するその他のトラッキングされたパラメータに関する情報を依然として推定又は入手することができる。従って、動きに基づくトラッキングがトラッキングスレショルドを超えるトラッキング信頼値を提供しない事例においても、オブジェクト検出を順次行うときに動きに基づくトラッキングの結果を使用することができる。

0031

[0048]電子デバイス102のビューファインダ131は、第1のトラッキングエリア133と、第2のトラッキングエリア135と、を含むことができる。第1のトラッキングエリア133及び第2のトラッキングエリア135の両方とも、タッチ画面116を使用するユーザによって指定することができる。例えば、ユーザは、タッチ画面116上のフォーカスリングを第1のトラッキングエリア133及び第2のトラッキングエリア135の希望される位置にドラッグすることができる。要求ではないが、トラッキングエリアのうちの1つは静止することができる。例えば、第1のトラッキングエリア133は、歩いている人に追従することができ、第2のトラッキングエリア135は、静止している樹木網羅することができる。一構成においては、第2のトラッキングエリア135は、電子デバイス102上のタッチ画面116全体を網羅することができる。

0032

[0049]電子デバイス102は、ピクチャ処理モジュール137を含むことができる。ピクチャ処理モジュール137は、異なるタイプのピクチャ処理、例えば、写真を撮る又は予め録画された映像を編集する、を提供することができる。ピクチャ処理モジュール137は、重なり合い143を含むことができる。重なり合い143は、第1のトラッキングエリア133と第2のトラッキングエリア135との間の重なり合いの量を反映させることができる。例えば、重なり合い143は、第1のトラッキングエリア133及び第2のトラッキングエリア135が互いにまったく重なり合っていない場合は、0%であることができる。同様に、重なり合い143は、第1のトラッキングエリア133が第2のトラッキングエリア135と完全に重なっている場合(又は、いずれのトラッキングエリアがより大きいかに依存して、第2のトラッキングエリア135が第1のトラッキングエリア133に完全に重なっている場合)は、100%であることができる。

0033

[0050]ピクチャ処理モジュール137は、スレショルド145を含むことができる。重なり合い143は、ピクチャ処理が行われるべきかどうかを決定するためにスレショルド145と比較することができる。例えば、重なり合い143がスレショルド145よりも大きくなったときに写真149を撮ることができる。他の例として、重なり合い143がスレショルド145よりも小さくなったときに写真149を撮ることができる。さらに他の例においては、重なり合い143がスレショルド145よりも大きくなったとき又は小さくなったときに映像編集を行うことができる。映像編集の一例においては、編集された映像シーケンスを得るために未編集の映像シーケンス147内のフレームを編集することができる。

0034

[0051]図2Aは、オブジェクトトラッキング及び検出モジュール204を例示したブロック図である。オブジェクトトラッキング及び検出モジュール204は、電子デバイス又は無線デバイス内に実装することができる。オブジェクトトラッキング及び検出モジュール204は、オプティカルフローモジュール226及びトラッキング信頼値208を有するモーショントラッカ206を含むことができる。オブジェクトトラッキング及び検出モジュール204は、スキャナロケータ230、スキャナスケーラ236、分類器238及び検出信頼値240を有するオブジェクト検出器208も含むことができる。メモリバッファ210は、モーショントラッカ206及びオブジェクト検出器208に提供することができるキャプチャされた前の映像フレーム212に関連するデータを格納することができる。オブジェクトトラッキング及び検出モジュール204、モーショントラッカ206、オブジェクト検出器208及びメモリバッファ210は、図1と関係させて上述されるオブジェクトトラッキング及び検出モジュール104、モーショントラッカ106、オブジェクト検出器108及びメモリバッファ110の構成であることができる。

0035

[0052]モーショントラッカ206は、現在の映像フレーム(N)224に関して動きに基づくトラッキングを行うために使用することができる。例えば、前の映像フレーム(N−1)222及び現在の映像フレーム(N)224を(例えば、電子デバイス102)によって受信することができる。前の映像フレーム(N−1)222は、映像フレームのシーケンスにおいて現在の映像フレーム(N)224の直前先行することができる。オブジェクトトラッキング及び検出モジュール204によって追加の映像フレームを入手及び処理することができる。前の映像フレーム(N−1)222は、モーショントラッカ206に提供することができる。さらに、メモリバッファ210は、ここにおいてはキャプチャされた前の映像フレーム222と呼ばれる前の映像フレーム(N−1)222に関連するデータを格納することができる。幾つかの構成においては、メモリバッファ210は、前の映像フレーム(N−1)222に関する情報を電子デバイス102から(例えば、カメラから)直接入手することができる。メモリバッファ210は、前の映像フレーム(N−1)222内のどこでオブジェクトがトラッキング及び/又は検出されたかを指定することができる融合モジュール260から前の映像フレーム(N−1)222に関するトラッキング結果を入手することもできる。前の映像フレーム(N−1)222又はその他の以前にキャプチャされた映像フレームに関するこの情報は、メモリバッファ210に格納することができる。

0036

[0053]モーショントラッカ206は、映像フレームのシーケンス内の現在の映像フレーム(N)を引き続き受信することができる。モーショントラッカ206は、(例えば、メモリバッファ210から提供された情報を用いて)現在の映像フレーム(N)224を前の映像フレーム(N−1)222と比較することができる。モーショントラッカ206は、オプティカルフローモジュール226を用いて現在の映像フレーム(N)222におけるオブジェクトの動きをトラッキングすることができる。オプティカルフローモジュール226は、現在の映像フレーム(N)224におけるオブジェクトの動きに基づくトラッキングを行うためのハードウェア及び/又はソフトウェアを含むことができる。

0037

前の映像フレーム(N−1)222及び現在の映像フレーム(N)224を比較することによって、モーショントラッカ206は、ターゲットオブジェクトが現在の映像フレーム(N)224内に存在する尤度に関連するトラッキング信頼値228を決定することができる。一例においては、トラッキング信頼値228は、ターゲットオブジェクトが現在の映像フレーム(N)224内に又は現在の映像フレーム(N)224内のウィンドウ内に存在する確実性の割合に基づいた(例えば、0と1との間の)実数である。

0038

[0054]オブジェクト検出器208は、現在の映像フレーム(N)224におけるオブジェクトを検出するために使用することができる。例えば、オブジェクト検出器208は、映像フレームシーケンス内の現在の映像フレーム(N)224を受信することができる。オブジェクト検出器208は、トラッキングされたパラメータに基づいて現在の映像フレーム(N)224に関するオブジェクト検出を行うことができる。トラッキングされたパラメータは、ターゲットオブジェクトを正確にトラッキング中である尤度に対応するトラッキング信頼値228を含むことができる。より具体的には、トラッキングされたパラメータは、トラッキング信頼値228とトラッキングスレショルド250との比較を含むことができる。トラッキングされたパラメータは、メモリバッファ210から提供された情報を含むこともできる。オブジェクトを検出するときに使用することができるトラッキングされたパラメータの幾つかの例は、領域、ウィンドウ位置、ウィンドウサイズ、又は、オブジェクト検出を行うときにパラメータとしてオブジェクト検出器208によって使用することができるその他の情報を含む。

0039

[0055]オブジェクト検出器208は、スキャナロケータ230を含むことができる。スキャナロケータ230は、ウィンドウ位置選択器232と、ランダマイザ234と、を含むことができる。ウィンドウ位置選択器232は、映像フレーム内の複数のウィンドウを選択することができる。例えば、映像フレームは、各々が関連する位置及びサイズを有する複数のウィンドウを含むことができる。一構成においては、各映像フレームは、複数の(例えば、約1万の)重なり合うウィンドウに分割され、各々は、映像フレーム内のすべてのピクセルの一部分を含む。代替として、あらゆる適切な数のウィンドウが存在することができ、それらは、重なり合うことができない。スキャナロケータ230内のウィンドウ位置選択器232は、ターゲットオブジェクトを識別するのを試みるべきウィンドウの位置を選択することができる。ランダマイザ234は、オブジェクトを検出するための様々なサイズ及び位置のウィンドウをランダムに選択することができる。幾つかの構成においては、ランダマイザ234は、映像フレーム内のウィンドウをランダムに選択する。代替として、ランダマイザ234は、1つ以上の要因に基づいてウィンドウをより精密に選択することができる。例えば、ランダマイザ234は、領域、サイズ又はオブジェクトが所在する可能性が最も高い一般的位置に基づいてウィンドウの選択を制限することができる。この情報は、メモリバッファ210を介して入手することができ、又は、全面的に信頼する上では十分に正確ではないが、オブジェクト検出を行うときに役立つ情報を提供することができる動きに基づくトラッキングを介して入手することができる。従って、ランダマイザ234は、探索すべき複数のウィンドウをランダムに選択することができる一方で、オブジェクト検出器208に提供された情報に基づいてウィンドウの選択を絞り込むことができ、従って、完全にはランダムでない。

0040

[0056]オブジェクト検出器208は、スキャナスケーラ236を含むこともでき、それは、ある一定のサイズのウィンドウを描く又は選択するために使用することができる。ウィンドウサイズは、オブジェクトを検出するときに又は画像が特定のウィンドウ内に存在するかどうかを検出するためにウィンドウの選択をオリジナルの画像と比較するときにウィンドウのサイズを絞るためにスキャナロケータ230によって使用することができる。スキャナスケーラ236は、オブジェクトを定義するときに一定のサイズ又はスケールレベルの1つ以上のウィンドウを最初に選択すること、又は代替として、メモリバッファ210から提供された情報に基づいて一定のサイズ又はスケールレベルの1つ以上のウィンドウを描くことができる。

0041

[0057]分類器238は、ターゲットオブジェクトの一部又は全体が特定のウィンドウ内で見つかるかどうかを決定するために使用することができる。幾つかの構成においては、分類器238は、ターゲットオブジェクトが特定のウィンドウ又はサブウィンドウ内で検出されるかどうかを示すために各ウィンドウに関する2進値を生成することができる。この分類(例えば、2進分類)は、オブジェクト検出器208によって探索される各ウィンドウに関して行うことができる。具体的には、分類器238は、オブジェクトが検出される各ウィンドウに関しては2進1、オブジェクトが検出されない各ウィンドウに関しては2進0を生成することができる。1及び0の数又は組み合わせに基づいて、オブジェクト検出器208は、ターゲットオブジェクトが現在の映像フレーム(N)224内に存在する尤度を示す検出信頼値240を決定することができる。幾つかの構成においては、検出信頼値240は、オブジェクトが正確に検出されている割合又は確率を示す0と1との間の実数である。

0042

[0058]オブジェクト検出器208は、領域、ターゲットサイズ、ウィンドウサイズ、スケールレベル、ウィンドウ位置及び1つ以上の信頼値を含む様々なトラッキングされたパラメータに従ってオブジェクト検出を行うことができる。映像フレームのウィンドウ又はウィンドウの部分組が探索され、オブジェクト検出器208が各々の探索されたウィンドウに関する2進値を得た時点で、オブジェクト検出器208は、ウィンドウサイズ及び最高の信頼値を有する現在の映像フレーム上の位置又は領域を決定することができる。この位置及びウィンドウサイズは、ターゲットオブジェクトをより正確にトラッキング及び/又は検出するために後続するトラッキング及び検出において使用することができる。

0043

[0059]上記のように、ターゲットオブジェクトを検出する際にはオブジェクト検出器208によって様々な方法を使用することができる。一構成においては、ターゲットオブジェクトを検出することは、すべての可能なウィンドウ位置及びすべての可能なウィンドウサイズにおいてウィンドウに関する2進分類を行うことを含むことができる。しかしながら、すべての可能なウィンドウを探索することは、リソース集約的である。従って、他の構成においては、オブジェクト検出器は、映像フレーム内のすべての可能なウィンドウではなく、ウィンドウ位置及びサイズの部分組を探索することができる。例えば、オブジェクト検出器208は、すべての可能なウィンドウのうちの1%を探索することができる。次に、検出が不成功である(例えば、検出信頼値240が検出スレショルド252よりも小さい)場合は、後続するキャプチャされたフレームにおいてより高い比率のウィンドウ位置、例えば、2%、を探索することができる。探索されるウィンドウ位置の比率の段階は、均一、非均一、低速又は高速であることができ、すなわち、連続するフレームは、1%、2%、3%、4%又は1%、2%、4%、8%であることができる。一構成においては、探索されるフレームの比率は、高い検出信頼値に応えて、すなわち、ターゲットオブジェクトが確実に次の映像フレームであるようにするために、非常に高く(例えば、80%、90%、100%)設定することができる。例えば、探索されるフレームの比率は、検出及びトラッキングモジュール値256を超える検出及びトラッキング信頼値に応えて少なくとも80%まで飛び越すことができる。代替として、その比率は、60%、70%、90%、等まで飛び越すことができる。さらに、検出及びトラッキングスレショルド値のための適切な値を使用することができる、例えば、0.6、0.65、0.7、0.75、0.8、0.85、等。さらに、探索されるウィンドウの比率は、ランダマイザ234(乱数生成器)に基づいてランダムに決定することができる。例えば、1%と15%との間のウィンドウのランダムな比率をキャプチャされたフレームにおいて探索することができる。すべてのウィンドウ位置の部分組を探索することによって、オブジェクト検出は、電子デバイス102ではより少ないリソースを使用することができる。

0044

[0060]さらに、現在のシステム及び方法は、各位置に関するウィンドウサイズの部分組を探索することができる。各ウィンドウサイズは、ここにおいてはスケールレベルと呼ばれ、各スケールレベルは、特定のウィンドウサイズに対応する。例えば、20の可能なスケールレベルが存在することができる。すべての20のスケールレベルを探索するのではなく、スケールレベル又はウィンドウサイズの部分組を各ウィンドウ位置において探索することができる。

0045

[0061]現在のシステム及び方法は、探索されるウィンドウ位置及びサイズを個別に適合化するためにメモリバッファ210からのフィードバックを使用することもできる。換言すると、ターゲットオブジェクトが成功裏に検出及び/又はトラッキングされた最後にキャプチャされた映像フレームの位置及びサイズを、現在の映像フレーム(N)224を探索するための開始点として使用することができる。例えば、ターゲットオブジェクトが最近の映像フレーム内で検出及びトラッキングされた(すなわち、最近キャプチャされた映像フレームに関する検出及びトラッキング信頼値256が検出及びトラッキングスレショルドを上回る)場合は、スキャナロケータは、最近のフレームに関連する位置及びサイズにおいて現在のキャプチャされたフレームを探索するのを開始することができる。例えば、ターゲットオブジェクトがオプティカルシステムの視野から出るか又はある距離の地点で消えた場合は、そのターゲットオブジェクトは、そのターゲットオブジェクトがオプティカルシステムの視野から出るか又はある距離の地点で消えたときと同じサイズで再度現れる可能性がより高い。従って、オブジェクト検出を行うときに後続する映像フレームにおいてターゲットオブジェクトを検出するためにサイズ又はサイズの範囲を予測することができる。

0046

[0062]さらに、キャプチャされた映像フレーム(N)224内で探索されるウィンドウ位置及びウィンドウサイズの探索範囲は、最近の映像フレーム(例えば、前の映像フレーム(N−1)222)内のターゲットオブジェクトに関連するウィンドウ位置及びウィンドウサイズと同様のそれらに限定することができる。ここにおいて使用される場合、用語“探索範囲”は、映像フレーム内のターゲットオブジェクトを検出及び/又はトラッキングするときに利用することができる候補のウィンドウ位置又は候補のウィンドウサイズ(又は両方)の組を意味する。例えば、探索されるウィンドウ位置の部分組は、ターゲットオブジェクトが最近の映像フレーム内のどこにおいて見つかったか、例えば、現在の映像フレーム(N)224の象限又は1/2のうちの1つ、に基づいて現在の映像フレーム(N)224の一部分内から選択することができる。換言すると、探索空間は、ターゲットオブジェクトが最後にトラッキング又は検出された場所の近くに限定することができる。同様に、各ウィンドウ位置に関して探索されるフレームのサイズは、ターゲットオブジェクトが最近の映像フレーム内で見つかったウィンドウのサイズに基づいて制限することができる。例えば、8のスケールレベルを有するウィンドウを用いて最近のフレームにおいてオブジェクトが検出された場合は、スキャナスケーラ236は、8±3の現在の映像フレーム(N)224に関するウィンドウスケールレベル、すなわち、スケールレベル5乃至11、のみを選択することができる。これは、低確率の探索をさらに排除し、オブジェクト検出の効率を向上させることができる。代替として、最近の(最近でない)映像フレームがターゲットオブジェクトを検出しなかった(すなわち、最近の映像フレームに関する検出及びトラッキング信頼値256が検出及びトラッキングスレショルドを下回る)場合は、オブジェクト検出器208は、探索される探索空間(ウィンドウ位置)を拡大することができ、例えば、1つの画像のより広い範囲又は画像全体を探索の対象にすることができる。

0047

[0063]オブジェクトトラッキング及び検出モジュール204は、単一のウィンドウを形成するために複数のウィンドウを融合するための融合モジュールを含むことができる。最初に2つの信頼値、すなわち、オブジェクト検出器208からの検出信頼値240及びモーショントラッカ206からのトラッキング信頼値225、が存在する。融合モジュール260は、2つの信頼値を結合して(例えば、より大きいそれを選択する)1つの検出及びトラッキング信頼値256にすることができる。検出及びトラッキング信頼値256は、ターゲットオブジェクトが映像フレームにおいて識別されたかどうかを示すことができる。一構成においては、検出及びトラッキング信頼値256は、0と1との間の実数であることができ、ここで、0は、特定の映像フレームにおいてターゲットオブジェクトが識別された最低の可能な信頼度を示し、1は、ターゲットオブジェクトが特定の映像フレームにおいて識別された最高の可能な信頼度を示す。換言すると、検出及びトラッキング信頼値256は、ターゲットオブジェクトが見つかった尤度の全体的な指標として働くことができる。さらに、検出及びトラッキング信頼値256は、次の映像フレーム内で探索すべきウィンドウ位置、ウィンドウサイズ又はウィンドウの比率を決定するために使用されるパラメータであることができる。融合モジュール260は、現在の映像フレーム(N)224に関する情報をメモリバッファ210に提供するために使用することができる。一例においては、融合モジュール260は、トラッキングされたウィンドウ242に関する情報(例えば、ウィンドウ位置224、ウィンドウサイズ246、等)及び検出及びトラッキング信頼値256をメモリバッファ210に提供することができる。融合モジュール260は、結合されたトラッキング結果(例えば、囲みボックス)を形成するために及び検出及びトラッキング信頼値256を計算するためにモーショントラッカ206及びオブジェクト検出器208からのトラッキング結果(例えば、囲みボックス)を使用することができる。

0048

[0064]メモリバッファ210は、前の映像フレーム(N−1)222、現在の映像フレーム(N)224又はその他のキャプチャされた映像フレームに関連する1つ以上の値を格納することができる。一構成においては、メモリバッファ210は、キャプチャされた前の映像フレーム212を格納し、それは、前の映像フレーム(N−1)222に対応する情報を含むことができる。キャプチャされた前の映像フレーム212は、各ウィンドウ242に関する位置244と、ウィンドウサイズ246と、(例えば、分類器238からの)2進決定248と、を含む、1つ以上のウィンドウ242に関する情報を含むことができる。キャプチャされた前の映像フレーム212は、トラッキングスレショルド250と、検出スレショルド252と、検出及びトラッキングスレショルド254と、を含むこともできる。トラッキングスレショルド250は、トラッキング信頼度がトラッキングスレショルド250よりも大きいかどうかを決定する258ためにモーショントラッカ206又はオブジェクトトラッキング及び検出モジュール204上の回路(例えば、信頼度比較器)に提供することができる。検出スレショルド252は、検出信頼値240が検出スレショルド252よりも大きいかどうかを決定するためにオブジェクト検出器208及びオブジェクトトラッキング及び検出モジュール204上のその他の回路に提供することができる。検出及びトラッキングスレショルド254は、トラッキングスレショルド250及び検出スレショルド252に基づく結合された値であることができる。検出及びトラッキングスレショルド254は、動きに基づくトラッキング及びオブジェクト検出に関する結合された信頼値を決定するために検出及びトラッキング信頼値256と比較することができる。スレショルドの各々は、ターゲットオブジェクトが映像フレーム内に所在する尤度に基づくことができる。オブジェクトトラッキング及び検出モジュール204は、特定の検出及びトラッキング信頼値256が得られるまで現在の映像フレーム(N)224に関する動きに基づくトラッキング及び/又は検出を行うことができる。さらに、動きに基づくトラッキング及びオブジェクト検出は、複数の映像フレームのシーケンス内の各フレームに関して行うことができる。

0049

[0065]動きに基づくトラッキング及びオブジェクト検出を行うことは、動きに基づくトラッキングを順次に行い、トラッキングされたパラメータに基づくオブジェクト検出によって後続されることを含むことができる。特に、現在のシステム及び方法は、2段階のトラッキング及び検出アプローチ法を実装することができる。動きに基づくトラッキングは、実際のオブジェクトを使用されるオブジェクト検出として識別するのではなく、場面の相対的な動きに基づくため、動きに基づくトラッキングは、電子デバイスにおいてはオブジェクト検出を行うよりもリソース集約性が低いことができる。従って、オブジェクト検出器208の代わりにモーショントラッカ206を使用するのがより効率的であることができ、ここで、ターゲットオブジェクトは、オブジェクト検出を行わずに正確にトラッキングすることができる。

0050

[0066]従って、オブジェクト検出器208と並行してモーショントラッカ206を使用する代わりに、オブジェクトトラッキング及び検出モジュール204は、モーショントラッカ206が不十分である、すなわち、動きトラッキング及びオブジェクト検出(行われる場合)が並行ではなく順次に行われる場合のみにオブジェクト検出器208を使用する。トラッキングが行われる各映像フレームに関して、モーショントラッカ206は、トラッキング信頼値228を生成することができ、それは、ターゲットオブジェクトが現在の映像フレーム(N)224内に存在する尤度を示す0と1との間の実数であることができる。

0051

[0067]2段階式トラッキング及び検出アプローチ法の一構成においては、モーショントラッカ206は、最初に、現在の映像フレーム(N)224に関する動きに基づくトラッキングを行うことができる。モーショントラッカ206は、動きに基づくトラッキングプロセスに基づいてトラッキング信頼値228を決定することができる。メモリバッファ210によって提供されたトラッキング信頼値228及びトラッキングスレショルド250を使用して、オブジェクトトラッキング及び検出モジュール204内の回路(例えば、信頼度比較器)は、トラッキング信頼値228がトラッキングスレショルド250を超えるかどうかを決定する258ことができる。トラッキング信頼値228がトラッキングスレショルド250よりも大きい場合は、オブジェクトトラッキング及び検出モジュール204は、出力262を生成するために、オブジェクト検出を行うことをスキップし、融合モジュール260にトラッキング結果を提供することができる。出力262は、ターゲットオブジェクトが現在の映像フレーム(N)224内に存在することを示す表示を含むことができる。さらに、出力262は、ターゲットオブジェクトに関する追加情報を含むことができる。

0052

[0068]トラッキング信頼値228がトラッキングスレショルド250を超えない場合は、オブジェクト検出器208は、現在の映像フレーム(N)224に関するオブジェクト検出を引き続いて行うことができる。オブジェクト検出は、現在の映像フレーム(N)224内のすべてのウィンドウ又はウィンドウの部分組に関して行うことができる。オブジェクト検出器208は、動きに基づくトラッキングの結果及び/又はメモリバッファ210から提供された情報に基づいてウィンドウの部分組、ウィンドウサイズ又はその他の検出基準を選択することもできる。オブジェクト検出は、オブジェクト検出器208に提供された1つ以上のトラッキングされたパラメータに基づいてロバストネスがより高い又はより低いプロセスを用いて行うことができる。オブジェクト検出器208は、検出信頼値240を決定し、検出信頼値240を検出スレショルド252と比較することができる。検出信頼値240が検出スレショルド252を上回る場合は、オブジェクト検出器208は、出力262を生成するために融合モジュール260に検出結果を提供することができる。出力262は、ターゲットオブジェクトが現在の映像フレーム(N)224内に存在することを示す表示を含めること及び/又は検出されたオブジェクトに関する情報を含めることができる。

0053

[0069]代替として、検出信頼値240が検出スレショルド252以下である場合は、オブジェクト検出器208は、よりロバストな方法を用いてオブジェクト検出を再度行うことができ、例えば、現在の映像フレーム(N)224内のより多くの数のウィンドウを探索することができる。オブジェクト検出器208は、条件を満たしている検出信頼値240が得られるまでオブジェクト検出プロセスを繰り返すことができる。条件を満たしている検出信頼値240が得られ、従って、現在の映像フレーム内のターゲットオブジェクトが識別された時点で、オブジェクトトラッキング及び検出モジュール204は、次の映像フレームに関するトラッキング及び検出を行うために使用することができる。

0054

[0070]図2Bは、プロセッサ264によって実装中の図2Aのシステム内の幾つかのコンポーネントを例示する。図2Aにおいて示されるように、オブジェクトトラッキング及び検出モジュール204は、プロセッサ264によって実装することができる。異なるコンポーネントを実装するために異なるプロセッサを使用することができる(例えば、1つのプロセッサは、モーショントラッカ206を実装するために使用することができ、他のプロセッサは、オブジェクト検出器208を実装するために使用することができ、さらに他のプロセッサは、メモリバッファ210を実装するために使用することができる)。

0055

[0071]図3は、動きに基づくトラッキング及びオブジェクト検出を行うための方法300を例示した流れ図である。方法300は、電子デバイス102、例えば、オブジェクトトラッキング及び検出モジュール104、によって実装することができる。電子デバイス102は、前の映像フレーム(N−1)222及び現在の映像フレーム(N)224を比較することによって現在の映像フレーム(N)224に関する動きに基づくトラッキングを行う302ことができる。オブジェクトをトラッキングすることは、対になった画像間の点をトラッキングすることによってメディアンフロー法を用いて行うことができる。その他の動きに基づくトラッキング方法を使用することもできる。さらに、動きに基づくトラッキングは、メモリバッファ110を介して提供されたキャプチャされた前の映像フレーム112に関する情報を用いて現在の映像フレーム(N)224に関して行うことができる。

0056

[0072]電子デバイス102は、トラッキング信頼値228を決定する304ことができる。トラッキング信頼値228は、ターゲットオブジェクトが正確にトラッキングされている尤度又は確実性を示すことができる。電子デバイス102は、トラッキング信頼値228がトラッキングスレショルド250よりも大きいかどうかを決定する306ことができる。トラッキング信頼値228がトラッキングスレショルド250よりも大きい場合は、電子デバイス102は、次の映像フレームに関する動きに基づくトラッキングを行う308ことができる。さらに、電子デバイス102は、動きに基づくトラッキングの結果に基づいて現在の映像フレーム(N)224に関するオブジェクト検出を行うのをスキップすることができる。換言すると、オブジェクト検出は、動きトラッキングがあまり良好でないとき、すなわち、トラッキング信頼値228がトラッキングスレショルド250よりも大きくない場合、のみに現在の映像フレーム(N)224に関して行うことができる。しかしながら、トラッキング信頼値228がトラッキングスレショルド250よりも大きくない場合は、電子デバイス102は、現在の映像フレーム(N)224に関するオブジェクト検出を行う310ことができる。電子デバイス102は、動きに基づくトラッキングに引き続いてオブジェクト検出を行うことができる。幾つかの構成においては、オブジェクト検出は、より高い検出信頼値240を得るために様々なロバストネス(robustness)で複数回行うことができる。

0057

[0073]図4は、動きに基づくトラッキングを行うための方法400を例示した流れ図である。方法400は、電子デバイス102、例えば、オブジェクトトラッキング及び検出モジュール104、によって実装することができる。電子デバイス102は、囲みボックスを用いてターゲットオブジェクトを識別する402ことができる。オブジェクトを識別する402ことは、タッチ画面116又は対象オブジェクトが選択されるその他の入力方法を用いて手作業で行うことができる。複数のオブジェクトを同様の方法で識別することができる。さらに、トラッキングされるべきオブジェクトを識別するためにその他の入力方法を使用することができる。一例においては、オブジェクトは、ターゲットオブジェクトの周囲に囲みボックスを手作業で描くことによって識別される。

0058

[0074]電子デバイス102は、囲みボックス内の格子上の点を初期化する404ことができる。格子上の点は、囲みボックス全体にわたって均一に配置することができる。さらに、それらの点は、2つの画像(例えば、前の映像フレーム(N−1)222及び現在の映像フレーム(N)224)の間の格子上でトラッキングする406ことができる。一例においては、それらの点は、画像間において疎らなモーションフローを生成するLucas−Kanadeトラッカによってトラッキングされる。電子デバイス102は、2つの画像(例えば、前の映像フレーム(N−1)222及び現在の映像フレーム(N)224)の間のトラッキング誤差を推定する408ことができる。トラッキング誤差を推定する408ことは、トラッキングされた点のうちの各点に誤差値を割り当てることを含むことができる。さらに、トラッキング誤差を推定する408ことは、例えば、前進−後退誤差、正規化相互相関(NCC)及び平方和差分を含む様々な方法を用いて行うことができる。推定されたトラッキング誤差は、トラッキング信頼値228を入手し、究極的には、ターゲットオブジェクトが現在の映像フレーム(N)224内に存在する尤度を決定するために使用することができる。一構成においては、トラッキング信頼値228は、現在の映像フレーム(N)224及び前の映像フレーム(N−1)222内のトラッキングされたウィンドウ間の正規化相互相関(NCC)を計算することによって得ることができる。トラッキング誤差は、図5に関係させて以下においてより詳細に説明される前進−後退誤差推定を含む追加の技法を用いて推定することもできる。さらに、電子デバイス102は、フィルタリングして410範囲外の点予測を取り除くことができる。例えば、電子デバイス102は、フィルタリングして最悪の予測のうちの50%を取り除くことができる。残りの予測は、囲みボックスの変位を推定するために使用することができる。

0059

[0075]電子デバイス102は、囲みボックスを更新する412ことができる。囲みボックスを更新する412ことは、更新された囲みボックスが次の映像フレームに関する新しい囲みボックスになるような形で行うことができる。次に、次の映像フレームに関して動きに基づくトラッキングプロセスを繰り返すことができ、トラッキング信頼値228がトラッキングスレショルド250以下である場合は、動きに基づくトラッキングプロセスは、ターゲットオブジェクトを正確にトラッキングすることができるまで次の映像フレームに関して中断することができる。幾つかの構成においては、現在の映像フレーム(N)224に関する動きに基づくトラッキングが満足のいく結果を提供しない場合は、電子デバイス102は、ターゲットオブジェクトの位置を突き止める際により高い信頼度を得るために現在の映像フレーム(N)224に関するオブジェクト検出を行うことができる。幾つかの構成においては、動きに基づくトラッキングが(例えば、ターゲットオブジェクトが映像フレームの範囲から出るときに)満足のいく結果を生み出すことができない場合は、ターゲットオブジェクトが検出されるまで後続する映像フレームに関してオブジェクト検出を行うことができる。

0060

[0076]図5は、前進−後退誤差に基づいて動きに基づくトラッキングにおけるトラフィック誤差を推定するための方法500を例示した流れ図である。方法500は、電子デバイス102(例えば、オブジェクトトラッキング及び検出モジュール104)によって実装することができる。幾つかの構成においては、電子デバイス102は、トラッキングされたウィンドウ間の正規化相互相関(NCC)を計算することができる。正規化相互相関(NCC)は、トラッキング信頼値228を決定するために使用することができる。電子デバイス102は、正規化相互相関(NCC)を補完する様々なトラッキング誤差推定技法(例えば、前進−後退誤差、平方和差分)を使用することもできる。前進−後退誤差推定を用いた一例においては、電子デバイス102は、フォワードトラジェクトリ(forward trajectory)を決定するために前の映像フレーム(N−1)222と現在の映像フレーム(N)224の間でのフォワードトラッキングを行う502ことができる。フォワードトラッキングは、kのステップに関して画像を前方にトラッキングすることを含むことができる。その結果得られるフォワードトラジェクトリは、(xt、xt+1、...、xt+k)に等しいことができ、ここで、xtは、時間的な点位置であり、kは、画像のシーケンスの長さを示す。電子デバイス102は、バックワードトラジェクトリを決定するために現在の映像フレーム(N)224と前の映像フレーム(N−1)222との間でバックワードトラッキングを行う504ことができる。その結果得られるバックワードトラジェクトリは、

0061

に等しくなることができ、ここで、

0062

である。

0063

[0077]電子デバイス102は、フォワードトラジェクトリとバックワードトラジェクトリとの間の前進−後退誤差を決定する506ことができる。前進−後退誤差は、フォワードトラジェクトリとバックワードトラジェクトリとの間の距離であると定義することができる。さらに、トラジェクトリの比較のために様々な距離を定義することができる。一構成においては、前進−後退誤差を決定するときには妥当性検査トラジェクトリの最初の点と最後の点との間のユークリッド距離を使用することができる。一構成においては、前進−後退誤差は、トラッキング誤差として使用することができ、それは、トラッキング信頼値228を決定するために使用することができる。

0064

[0078]図6は、オブジェクト検出を行うための方法600を例示した流れ図である。方法600は、電子デバイス102(例えば、オブジェクトトラッキング及び検出モジュール104)によって実装することができる。電子デバイス102は、現在の映像フレーム(N)224内のウィンドウ位置及びサイズの部分組を探索することによって現在の映像フレーム(N)224に関するオブジェクト検出及び動きに基づくトラッキングを行う602ことができる。

0065

[0079]電子デバイス102は、検出及びトラッキング信頼値256を決定する604ことができる。検出及びトラッキング信頼値256は、現在の映像フレーム(N)224においてターゲットオブジェクトが見つけられるかどうかに関する信頼度を提供することができる。電子デバイス102は、検出及び信頼値256が検出及びトラッキングスレショルド254よりも大きいかどうかも決定する606ことができる。検出及び信頼値256が検出及びトラッキングスレショルド254よりも大きい場合は、電子デバイス102は、次の映像フレーム内のウィンドウ及びサイズの部分組(例えば、同じ部分組)を用いて次の映像フレームに関するオブジェクト検出を行う608ことができる。代替として、検出及び信頼値256が検出及びトラッキングスレショルド254よりも小さい場合は、電子デバイス102は、次の映像フレームにおけるウィンドウ位置及びサイズのより大きい部分組を用いて次の映像フレームに関するオブジェクト検出を行う610ことができる。幾つかの構成においては、信頼値256が検出及びトラッキングスレショルド254よりも小さい場合は、電子デバイス102は、次の映像フレームの探索空間全体及び/又はすべてのウィンドウを用いて次の映像フレームに関するオブジェクト検出を行う610ことができる。

0066

[0080]図7は、現在のシステム及び方法とともに使用することができる複数の異なるウィンドウサイズ766を有する画像ウィンドウ700を例示したブロック図である。具体的には、図7は、10の可能なウィンドウサイズ766a−jの組を例示する。各ウィンドウサイズ766は、スケールレベル(例えば、1乃至10)に対応することができる。ここにおいては長方形として示されているが、探索されるウィンドウは、あらゆる形状、例えば、正方形、長方形、円形楕円形、ユーザによって定義された形、等であることができる。さらに、あらゆる数のウィンドウサイズ766又はスケールレベルを利用することができ、例えば、5、15、20、30、等である。

0067

[0081]上述されるように、探索範囲は、ある特定の位置に関して使用されるウィンドウサイズの部分組によって表すことができ、例えば、現在の映像フレーム(N)224において探索されるウィンドウサイズは、最近のフレーム内のターゲットオブジェクトに関連するウィンドウ位置及びウィンドウサイズに類似するそれらに限定することができる。例えば、フィードバックなしで、オブジェクト検出器208は、各々の選択されたウィンドウ位置に関してすべての10のウィンドウサイズ766a−jを探索することができる。しかしながら、第5のウィンドウサイズ766eを有するウィンドウを用いて最近の(最近でない)映像フレームにおいてオブジェクトが検出された場合は、スキャナスケーラ236は、5±3の現在のキャプチャされたフレームに関するウィンドウサイズ、すなわち、ウィンドウサイズ2乃至8、のみを選択することができる。換言すると、第1のウィンドウサイズ766a、第9のウィンドウサイズ766i及び第10のウィンドウサイズ766jを有するウィンドウは、最近の又は前の映像フレーム(N−1)222からのフィードバックに基づいて探索することができない。これは、低確率の探索をさらに排除し、オブジェクト検出の効率を向上させることができる。換言すると、最近の映像フレームからのフィードバックを使用することは、実施される計算を減少させるのに役立つことができる。代替として、最近の映像フレームがターゲットオブジェクトを検出しなかった(すなわち、最近のキャプチャされたフレームに関する検出及びトラッキング信頼値256が検出及びトラッキングスレショルド254よりも小さい)場合は、オブジェクト検出器208は、サイズレベルの部分組を用いることによって探索を制限することができない。

0068

[0082]図8は、オブジェクトトラッキング及び検出モジュール804の他の可能な構成を例示したブロック図である。図8において例示されるオブジェクトトラッキング及び検出モジュール804は、図2において例示されるオブジェクトトラッキング及び検出モジュール204と同様のモジュールを含むことができ及び同様の機能を実行することができる。具体的には、図8において例示されるオブジェクト検出器808、モーショントラッカ806、スキャナロケータ830、ウィンドウ位置選択器832、ランダマイザ834、スキャナスケーラ836、分類器838、融合モジュール860、メモリバッファ810、キャプチャされた前の映像フレーム812、ウィンドウ842、位置844、サイズ846、2進決定848、トラッキングスレショルド850、検出スレショルド852、検出及びトラッキングスレショルド854、検出信頼値840、トラッキング信頼値828及び検出及びトラッキング信頼値856は、図2において例示されるオブジェクト検出器208、モーショントラッカ206、スキャナロケータ230、ウィンドウ位置選択器232、ランダマイザ234、スキャナスケーラ236、分類器238、融合モジュール260、メモリバッファ210、キャプチャされた前の映像フレーム212、ウィンドウ242、位置244、サイズ246、2進決定248、トラッキングスレショルド250、検出スレショルド252、検出及びトラッキングスレショルド254、検出信頼値240、トラッキング信頼値228及び検出及びトラッキング信頼値256に対応することができ及び図2において例示されるオブジェクト検出器208、モーショントラッカ206、スキャナロケータ230、ウィンドウ位置選択器232、ランダマイザ234、スキャナスケーラ236、分類器238、融合モジュール260、メモリバッファ210、キャプチャされた前の映像フレーム212、ウィンドウ242、位置244、サイズ246、2進決定248、トラッキングスレショルド250、検出スレショルド252、検出及びトラッキングスレショルド254、検出信頼値240、トラッキング信頼値228及び検出及びトラッキング信頼値256と同様の機能を有することができる。

0069

[0083]さらに、オブジェクトトラッキング及び検出モジュール804は、ターゲットの動き及び検出の誤差に起因するジッターの影響を低減させるために使用される平滑化モジュール861を含むことができる。換言すると、平滑化モジュール861は、トラッキング結果を平滑化し、探索ウィンドウが位置(x、y)844及びサイズ(幅、高さ)846の両方においてより平滑なトラジェクトリを有するようにする。平滑化モジュール861は、単純な移動平均(MA)フィルタ又は自己回帰(AR)フィルタであることができる。位置844及びサイズ846に関する平滑化度は、異なることができる。位置844の平滑化には予測フィルタ、例えば、カルマンフィルタ、も適切であることができる。従って、平滑化モジュール861は、平滑化されていない位置863及び平滑化されていないサイズ865を入力として受信し、平滑化された位置867及び平滑化されたサイズ869を出力することができる。

0070

[0084]図9は、平滑化モジュール961を例示したブロック図である。平滑化モジュール961は、ターゲットの動き及びトラッキング誤差に起因するジッターの影響を低減させるために使用することができ、このため、トラッキング結果(囲みボックス)は、位置(x、y)844及びサイズ(幅、高さ)の両方においてより平滑なトラジェクトリを有する。一構成においては、位置平滑化フィルタ971及びサイズ平滑化フィルタ973は、平滑化されていない位置963及び平滑化されていないサイズ965を入力として受信し、平滑化された位置967及び平滑化されたサイズ969を出力するために自己回帰(AR)モデルを用いて実装される。

0071

[0085]自己回帰(AR)モデルにおいて、平滑化されるべき変数、位置又はサイズ、をXとする。さらに、オブジェクトトラッカによるXの出力をX’とする。この構成においては、時間tにおけるXの平滑化されたフィルタリング、Xt、は以下の方程式(1)に従って表すことができる。

0072

ここで、X’tは、時間tにおけるXのトラッカ出力であり、Xt−1は、時間t−1におけるXの平滑化された結果であり、W(0≦W≦−1)は、平滑化の効果を制御する平滑化重みである。例えば、X’tは、現在の映像フレーム(N)224に関して選択されたウィンドウ位置又はウィンドウサイズであることができ、Xt−1は、前の映像フレーム(N−1)222に関して使用されるウィンドウ位置又はウィンドウサイズであることができる。

0073

[0086]位置平滑化フィルタ971及びサイズ平滑化フィルタ973に関して異なる平滑化重み、W、を使用することができる。例えば、一構成においては、Wlocation=0.8及びWsize=0.4であり、このため、ウィンドウ位置に対してより少ない平滑化の効果があり、ウィンドウサイズに対してより強い平滑化の効果が存在する。平滑化重みのこの選択は、より小さいトラッキング遅延及びより小さいジッターをもたらす。

0074

[0087]さらに、平滑化重みの選択は、検出及びトラッキング信頼値856がある一定のスレショルド(例えば、検出及びトラッキングスレショルド854)を下回るときには低減させることもできる。これは、潜在的なトラッキング又は検出誤差が高いときにより強いフィルタリングを提供することができる。例えば、低いトラッキング信頼に応答して(例えば、検出及びトラッキング信頼値856が検出及びトラッキングスレショルド854を下回る)、位置及びサイズに関する平滑化重みは、Wlocation=0.65及びWsize=0.2にそれぞれ設定することができる。換言すると、重みのうちの1つ又は両方を小さくすることができ、それは、ウィンドウ位置及びサイズ選択を、現在の映像フレームのウィンドウ位置及びサイズよりも前の映像フレームのそれらにより大きく依存させることができる。

0075

[0088]さらに、重み付けは、検出及びトラッキング信頼値856ではなくトラッキング信頼値828又は検出信頼値840に基づくことができる。例えば、平滑重みWlocation及びWsizeは、トラッキング信頼値828がトラッキングスレッド850を下回ることに応じて小さくすることができる。すなわち、不良な動きトラッキングに応じてより強いフィルタリングを使用することができる。代替として、平滑化重みは、検出信頼値840が検出スレショルド852を下回ることに応じて小さくすることができる。すなわち、不良なオブジェクト検出に応じてより強いフィルタリングを使用することができる。

0076

[0089]他の構成においては、ウィンドウ位置を平滑化するためにカルマンフィルタを使用することができる。該構成においては、フィルタリングは、以下の方程式(2)乃至(7)に従って定義することができる。

0077

[0090]ここで、xk−1は、時間k−1における前の状態であり、xkは、xk=[x,y,x・,y・]によって定義される現在の状態であり、ここで、(x,y)は、バウンディングボックスの中心位置であり、(x・,y・)は、各方向における速度である。さらに、状態遷移モデル、Fk、及び観測モデル、H、は、以下の方程式(4)及び(5)によってそれぞれ定義することができる。

0078

[0091]ここで、Δtは、チューナブルな(tunable)パラメータである。さらに、wkは、以下の式(6)に従って共分散Qを有するゼロ平均多変量正規分布(すなわち、wk〜N(0,Q))から導き出されると仮定されるプロセス雑音である。

0079

[0092]ここで、σ1は、チューナブルなパラメータである。同様に、wkは、以下の方程式(7)に従って共分散Rを有するゼロ平均ガウス雑音(すなわち、vk〜N(0,R))であると仮定される観測雑音である。

0080

[0093]ここで、σ2は、チューナブルなパラメータである。

0081

[0094]図10は、動きトラッキング結果におけるジッターを平滑化するための方法1000を例示する流れ図である。方法1000は、電子デバイス102、例えば、電子デバイス102内のオブジェクトトラッキング及び検出モジュール804、によって実行することができる。電子デバイス102は、現在の映像フレーム224に関連する1つ以上のウィンドウ位置及び1つ以上のウィンドウサイズ、例えば、平滑化されていない位置863及び平滑化されていないサイズ865、を決定する1002ことができる。電子デバイス102は、1つ以上の平滑化されたウィンドウ位置867及び1つ以上の平滑化されたウィンドウサイズ869を生成するために1つ以上のウィンドウ位置及び1つ以上のウィンドウサイズをフィルタリングする1004こともできる。例えば、これは、移動平均フィルタ、自己回帰フィルタ又はカルマンフィルタを使用することを含むことができる。一構成においては、低いトラッキング信頼(例えば、検出及びトラッキング信頼値856が検出及びトラッキングスレッド854を下回る)に応じて、位置及びサイズに関する平滑化重みを小さくすることができる。代替として、平滑化重みは、検出信頼値840又はトラッキング信頼値828に基づいて小さくすることができる。電子デバイスは、1つ以上の平滑化されたウィンドウ位置867及び1つ以上の平滑化されたサイズ869によって定義された1つ以上のウィンドウを用いて現在の映像フレーム224内のターゲットオブジェクトを検出する1006こともできる。

0082

[0095]図11は、オブジェクトトラッキングを用いてピクチャ処理を行うための方法1100の流れ図である。方法1100は、電子デバイス102によって実行することができる。電子デバイス102は、第1のトラッキングエリア133を得る1102ことができる。電子デバイス102は、第2のトラッキングエリア135を得ることもできる。一構成においては、それらのトラッキングエリアのうちの各々は、タッチ画面116又はビューファインダ131を用いて電子デバイス102によって得ることができる。一例として、第2のトラッキングエリア135は、ビューファインダ131全体を網羅することができる。

0083

[0096]タッチ画面116内のエリア(典型的には正方形又は円であるが、その他の形状も使用することができる)は、ユーザによって定義することができる。このエリアは、トラッキングエリア又はフォーカスリングと呼ぶことができる。フォーカスリングは、電子デバイス102のユーザがトラッキングのためのオブジェクト又はエリアを素早く選択するのを可能にすることができるユーザインタフェース(UI)要素であることができる。一例として、ユーザは、フォーカスリングをエリア又はオブジェクト上に置き、それによってフォーカスリングをオブジェクトに取り付けることができる。ユーザの指がタッチ画面から離れた時点で、フォーカスリングがオブジェクトのトラッキングを開始することができる。

0084

[0097]フォーカスリングは、オブジェクトトラッキングの状態(例えば、オブジェクトをトラッキング中である、オブジェクトをトラッキング中でない、トラッキング中であるがオブジェクトが失われている)に依存して外観を変えることができる。フォーカスリングは、任意で形作られたオブジェクトのトラッキングを可能にするためにサイズを変えること又は形状を変える(例えば、円から楕円形又は正方形に変える)ことができる。一構成においては、トラッキングされたオブジェクト上のフォーカスリングに触れることは、電子デバイス102がそのオブジェクトをトラッキングするのを停止させることができる。フォーカスリングは、タッチ画面116又はビューファインダ131内においてオブジェクトに追従することができる。

0085

[0098]電子デバイス102が第1のトラッキングエリア133をトラッキングする1106ことを開始することができる。電子デバイス102は、第2のトラッキングエリア135をトラッキングする1108ことも開始することができる。電子デバイス102は、第1のトラッキングエリア133及び第2のトラッキングエリア135の重なり合い143がスレショルド145を通過した時点でピクチャ処理1110を行うことができる。構成に依存して、ピクチャ処理は、重なり合い143がスレショルド145を上回ったときに又は重なり合い143がスレショルド145を下回ったときに生じることができる。ピクチャ処理は、写真を撮ること及び/又は映像編集を行うこと(例えば、映像フレームからオブジェクトを取り除くこと)を含むことができる。

0086

[0099]図12Aは、オブジェクトトラッキングを用いるピクチャ処理の一例を示す。複数のフレーム1253a及びbが例示される。フレーム1253は、予め録画された映像シーケンス147の一部又はビューファインダ131を用いて電子デバイス102を通じて見られるライブフレームであることができる。フレームm1253aにおいて、歩いている人の周囲に第1のトラッキングエリア1233aが示され、静止している樹木の周囲に第2のトラッキングエリア1235aが示されている。ユーザは、歩いている人が静止している樹木の前にいる時点で写真149を撮るのを希望することができる。フレームm1253aにおいて、第1のトラッキングエリア1233aは、第2のトラッキングエリア1235aと重なり合っていない(すなわち、重なり合い143が0%である)。電子デバイス102は、重なり合い143が50%に達した時点でピクチャ処理を行うように構成することができる。この構成においては、電子デバイス102は、重なり合い143が50%に達した時点で写真を撮るように構成することができる。

0087

[00100]フレームn1253bにおいて、フレームm1253aから時間が経過している。第1のトラッキングエリア1233bは、歩いている人の上にとどまっており、第2のトラッキングエリア1235bは、静止している樹木上にとどまっている。歩いている人は移動しているため、今は、第1のトラッキングエリア1233bは、第2のトラッキングエリア1235bと50%超だけ重なり合っている。従って、電子デバイス102は、重なり合い1243aが50%に達した時点で写真149(この場合は、樹木の前を歩いている人の写真149)を撮るように構成されている。

0088

[00101]図12Bは、オブジェクトトラッキングを用いたピクチャ処理の例も示す。複数のフレーム1253c及びdが例示される。フレーム1253は、予め録画された映像シーケンス147の一部又はビューファインダ131を通じて見られるライブフレームであることができる。フレームm1253cにおいて、歩いている人の周囲に第1のトラッキングエリア1233aが示され、静止している樹木の近くにアクションライン1287が例示されている。アクションライン1287は、垂直線水平線、又はその他のタイプの線(例えば、曲線)であることができる。第1のトラッキングエリア1233c及びアクションライン1287の両方とも、ユーザによって設定することができる。ユーザは、歩いている人がアクションライン1287を越えた時点で(すなわち、重なり合い1243bが生じたときに)写真(又は連続的な写真)を撮ること又はその他の映像処理を行うことを希望することができる。

0089

[00102]フレームn1253dにおいて、フレームm1253cから時間が経過している。第1のトラッキングエリア1233dは、歩いている人の上にとどまっており、アクションライン1287は、静止している樹木の近くにとどまっている。歩いている人は移動しているため、今は、第1のトラッキングエリア1233dはアクションライン1287と重なり合っている。電子デバイス102は、第1のトラッキングエリア1233dがアクションライン1287を越えた時点で写真149を撮るか又はその他のピクチャ処理を行うように構成することができる。

0090

[00103]図13は、オブジェクトトラッキングを用いたピクチャ処理の他の例を示す。複数のフレーム1253a及びbが例示される。フレーム1253は、予め録画された映像シーケンス147の一部又はビューファインダ131を通じて見られるライブフレームであることができる。フレームn1353aにおいて、歩いている人の周囲に第1のトラッキングエリア1333aが示され、静止している樹木の周囲に及びその樹木の周囲のエリアの周囲に第2のトラッキングエリア1335aが例示されている。ユーザは、歩いている人がもはや見えなくなった時点で写真149(例えば、自然の写真)を撮ることを希望することができる。フレームm1353aにおいて、第2のトラッキングエリア1335aが第1のトラッキングエリア1333aと完全に重なり合っている(すなわち、重なり合い1343が100%である)。電子デバイス102は、重なり合い1343が0%に達した時点でピクチャ処理を行うように構成することができる。この構成においては、電子デバイス102は、重なり合い1343が0%に達した時点で写真149を撮るように構成することができる。

0091

[00104]フレームn1353bにおいて、フレームm1353aから時間が経過している。第1のトラッキングエリア1333bは、歩いている人の上にとどまっており、第2のトラッキングエリア1335bは、静止している樹木上にとどまっている。歩いている人は移動しているため、第1のトラッキングエリア1333aは、もはや第2のトラッキングエリア1335bと重なり合っていない。従って、電子デバイス102は、重なり合い1343が0%に達した時点で写真149(この場合は、歩いている人がいない静止している樹木の写真149)を撮るように構成されている。

0092

[00105]図14は、オブジェクトトラッキングを用いて映像シーケンス147に関するピクチャ処理を行うための方法1400の流れ図である。方法1400は、電子デバイス102によって実行することができる。ユーザは、ピクチャ処理のために電子デバイス102において複数のトラッキングエリアを選択することができる。電子デバイス102は、映像シーケンス147の第1のフレームにおいて第1のトラッキングエリア133が第2のトラッキングエリア135とスレショルド145超だけ重なり合っていると決定する1402ことができる。電子デバイス102は、映像シーケンス147から第2のフレームを選択する1404ことができる。第2のフレームは、第2のフレームの第1のトラッキングエリア133が第1のフレームの第1のトラッキングエリア133に対応する第2のフレームの置き換えエリアに重なり合わないような形で選択することができる。第2のフレームの置き換えエリアは、第1のフレームにおける第1のトラッキングエリア133の位置を反映させることができる。従って、置き換えエリアは、第1のトラッキングエリア133の背後の背景を示すことができる。第2のフレームは、第1のフレームの前又は後に生じるフレームであることができる。

0093

[00106]電子デバイス102は、第1のフレームの第1のトラッキングエリア133を第2のフレームの対応する置き換えエリアで置き換えることができる。電子デバイス102は、編集された第1のフレームを編集された映像シーケンス151の一部として格納することができる。

0094

[00107]図15は、デバイス102上に表示された未編集の映像シーケンス1547及び編集された映像シーケンス1551の両方の複数のフレーム1553a乃至dを例示する。編集された映像シーケンス1551を入手するために未編集の映像シーケンス1547においてオブジェクトトラッキングを用いたピクチャ処理を行うことができる。未編集の映像シーケンス1547のフレームm1553a、フレームn1553b及びフレームo1553cが例示される。フレーム1553a乃至cは、順次である(フレームn1553bがフレームm1553aの後に生じる)が、フレーム1553a乃至cの間で追加のフレーム(示されていない)が生じることができる(例えば、フレームn1553bが、フレームm1553aに引き続く中間フレームでない)。

0095

[00108]フレームm1553aは、歩いている人と静止している樹木とを含む。ユーザは、歩いている人を含む第1のトラッキングエリア1533a及び静止している樹木及び電子デバイス102を使用しているその歩いている人を含む第2のトラッキングエリア1535aを選択することができる。一構成においては、第2のトラッキングエリア1535aは、静止しているように構成することができる。ユーザは、未編集の映像シーケンス1547から歩いている人を取り除くように電子デバイス102を構成することもできる。

0096

[00109]ピクチャ処理は、第1のトラッキングエリア1533が第2のトラッキングエリア1535と重なり合わなくなった時点でフレームm1553aの第1のトラッキングエリア1533aを他のフレーム1553からの置き換えエリア1555で置き換えることができる。換言すると、フレームm1553a内の歩いている人は、その歩いている人が背景を露出させるだけ十分に移動した時点でその歩いている人の背後の背景で置き換えることができる。

0097

[00110]フレームn1553bは、(移動している第1のトラッキングエリア1533bによって囲まれている)歩いている人と、(静止している第2のトラッキングエリア1535cによって囲まれている)静止している樹木と、を含む。フレームn1553bの第1のトラッキングエリア1533bはフレームn1553bの第2のトラッキングエリア1535bと重なり合っているため、フレームn1553bは、フレームm1553aでの置き換えのための適切なフレームとして選択することができない。

0098

[00111]フレームo1553cは、(移動している第1のトラッキングエリア1533cによって囲まれている)歩いている人と、(静止している第2のトラッキングエリア1535cによって囲まれている)静止している樹木と、を含む。フレームo1553cの第1のトラッキングエリア1533cはフレームo1553cの第2のトラッキングエリア1535cと重なり合っていないため、フレームm1553a内での置き換えのためにフレームo1533cを選択することができる。置き換えエリア1555は、フレームm1553aの第1のトラッキングエリア1533aに対応することができる。従って、置き換えエリア1555は、フレームm1553aにおいて隠されている、歩いている人の背後の背景を含むことができる。ピクチャ処理は、フレームm1553aの第1のトラッキングエリア1533aをフレームo1553cの置き換えエリア155で置き換えることができる。従って、編集された映像シーケンス1551では、フレームm1553dは、歩いている人が取り除かれた状態で示されている。

0099

[00112]図16は、電子デバイス1602内に含めることができる幾つかのコンポーネントを例示する。電子デバイス1602は、移動局、ユーザ装置(UE)、アクセスポイント、等、例えば、図1において例示される電子デバイス102、であることができる。電子デバイス1602は、プロセッサ1603を含む。プロセッサ1603は、汎用単一チップ又は多チップマイクロプロセッサ(例えば、ARM)、専用マイクロプロセッサ(例えば、デジタル信号プロセッサ(DSP))、マイクロコントローラプログラマブルゲートアレイ、等であることができる。プロセッサ1603は、中央処理装置(CPU)と呼ぶことができる。電子デバイス1602内では単一のプロセッサ1603のみが示されているが、代替構成においては、プロセッサ1603の組み合わせ(例えば、ARM及びDSP)を使用することが可能である。

0100

[00113]電子デバイス1602は、メモリ1605も含む。メモリ1605は、電子情報を格納することが可能なあらゆる電子的コンポーネントであることができる。メモリ1605は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、磁気ディスク記憶媒体光記憶媒体RAM内フラッシュメモリデバイス、プロセッサとともに含まれる搭載メモリEPROMメモリ、EEPROMメモリレジスタ、等として具現化することができ、それらの組み合わせを含む。

0101

[00114]メモリ1605にはデータ1607a及び命令1609aを格納することができる。命令1609aは、ここにおいて開示される方法を実装するためにプロセッサ1603によって実行可能である。命令1609aを実行することは、メモリ1605に格納されるデータ1607aの使用を含むことができる。プロセッサ1603が命令1609aを実行するときには、命令1609bの様々な部分をプロセッサ1603にローディングすることができ、様々なデータ1607aをプロセッサ1603にローディングすることができる。

0102

[00115]電子デバイス1602は、電子デバイス1602への信号の送信又は電子デバイス1602からの信号の受信を可能にするための送信機1611と受信機1613とを含む。送信機1611及び受信機1613は、トランシーバ1615として総称することができる。トランシーバ1615にはアンテナ1617を電気的に結合することができる。電子デバイスは、複数の送信機、複数の受信機、複数のトランシーバ及び/又は追加のアンテナを含むこともできる(示されていない)。

0103

[00116]電子デバイス1602は、デジタル信号プロセッサ(DSP)1621を含むことができる。電子デバイス1602は、通信インタフェース1623も含むことができる。通信インタフェース1623は、ユーザが電子デバイス1602と対話するのを可能にすることができる。

0104

[00117]電子デバイス1602の様々なコンポーネントを1つ以上のバスによってまとめて結合することができ、それらは、電力バス制御信号バス状態信号バス、データバス、等を含むことができる。明確化を目的として、図16では様々なバスがバスシステム1619として例示される。

0105

[00118]ここにおいて説明される技法は、直交多重方式に基づく通信システムを含む様々な通信システムに関して使用することができる。該通信システムの例は、直交周波数分割多元接続(OFDMA)システム、単一搬送波周波数分割多元接続(SC−FDMA)システム、等を含む。OFDMAシステムは、直交周波数分割多重(OFDM)を利用し、それは、全体的なシステム帯域幅を複数の直交副搬送波に分割する変調技法である。これらの副搬送波は、トーンビン、等と呼ぶこともできる。OFDMの場合は、各副搬送波は、データとともに独立して変調することができる。SC−FDMAシステムは、システム帯域幅にわたって分布する副搬送波で送信するためにインターリービングされたFDMA(IFDMA)を、隣接する副搬送波の1つのブロックで送信するためにローカル化されたFDMA(LFDMA)を、又は、隣接する副搬送波の複数のブロックで送信するために拡張されたFDMA(EFDMA)を、利用することができる。概して、変調シンボルは、OFDMの場合は周波数領域で及びSC−FDMAの場合は時間領域で送信される。

0106

[00119]本開示により、電子デバイス内の回路は、前の映像フレーム及び現在の映像フレームを比較することによって現在の映像フレームに関して動きに基づくトラッキングを行うように好適化することができる。同じ回路、異なる回路、又は、同じ回路又は異なる回路の第2の部分を、トラッキングされたパラメータに基づいて現在の映像内でオブジェクト検出を行うように好適化することができる。第2の部分は、有利なことに第1の部分に結合することができ、又は、第1の部分と同じ回路内において具現化することができる。さらに、同じ回路、異なる回路、又は、同じ回路又は異なる回路の第3の部分を、上述される機能を提供する回路又は回路の一部分の構成を制御するように好適化することができる。

0107

[00120]用語“決定する”は、非常に様々な行動包含し、従って、“決定する”は、計算すること、演算すること、処理すること、導き出すこと、調査すること、検索すること(例えば、テーブル、データベース又は他のデータ構造における検索)、確認すること、等を含むことができる。さらに、“決定する”は、受信すること(例えば、情報を受信する)、アクセスすること(例えば、メモリ内のデータにアクセス)、等を含むことができる。さらに、“決定する”は、解決すること、選抜すること、選択すること、確立すること、等を含むことができる。

0108

[00121]“〜に基づいて”は、別の明記がないかぎり、“〜のみに基づく”ことは意味しない。換言すると、句“〜に基づく”は、“〜のみに基づく”こと及び“少なくとも〜に基づく”ことの両方を表す。

0109

[00122]用語“プロセッサ”は、汎用プロセッサ、中央処理装置(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、コントローラ、マイクロコントローラ、ステートマシン、等を包含するように広範に解釈されるべきである。幾つかの状況下においては、“プロセッサ”は、特定用途向け集積回路ASIC)、プログラマブルロジックデバイスPLD)、フィールドプログラマブルゲートアレイFPGA)、等を意味することができる。用語“プロセッサ”は、処理デバイスの組み合わせ、例えば、DSPと、1つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、DSPコアと関連する1つ以上のマイクロプロセッサとの組合せ、又はあらゆるその他の構成を意味することができる。

0110

[00123]用語“メモリ”は、電子情報を格納することが可能なあらゆる電子的コンポーネントを包含するように広範に解釈されるべきである。用語メモリは、様々なタイプのプロセッサによって読み取り可能な媒体、例えば、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、非揮発性ランダムアクセスメモリ(NVRAM)、プログラマブル読み取り専用メモリ(PROM)、消去可能プログラマブル読み取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、フラッシュメモリ磁気又は光学データ記憶装置、レジスタ、等、を意味することができる。メモリは、プロセッサがそのメモリから情報を読み取ること及び/又はそのメモリに情報を書き込むことができる場合にそのプロセッサと電子的通信状態にあると言われる。プロセッサに一体化されているメモリは、プロセッサと電子的通信状態にある。

0111

[00124]用語“命令”及び“コード”は、あらゆるタイプのコンピュータによって読み取り可能な命令を含むように広範に解釈されるべきである。例えば、用語“命令”及び“コード”は、1つ以上のプログラムルーチンサブルーチン関数プロシージャ、等を意味することができる。“命令”及び“コード”は、単一のコンピュータによって読み取り可能な文又は数多くのコンピュータによって読み取り可能な文を備えることができる。

0112

[00125]ここにおいて説明される機能は、ハードウェアによって実行されるソフトウェア又はファームウェア内に実装することができる。それらの機能は、コンピュータによって読み取り可能な媒体において1つ以上の命令として格納することができる。用語“コンピュータによって読み取り可能な媒体”又は“コンピュータプログラム製品”は、コンピュータ又はプロセッサによってアクセスすることができるあらゆる有形な記憶媒体を意味する。例として、及び限定することなしに、コンピュータによって読み取り可能な媒体は、RAM、ROM、EEPROM、CD−ROM又はその他の光ディスク記憶装置磁気ディスク記憶装置又はその他の磁気記憶デバイス、又は、希望されるプログラムコードを命令又はデータ構造の形態で搬送又は格納するために使用することができ及びコンピュータによってアクセスすることができるあらゆるその他の媒体、を備えることができる。ここにおいて用いられるときのディスク(disk及びdisc)は、コンパクトディスク(CD)(disc)と、レーザーディスク登録商標)(disc)と、光ディスク(disc)と、デジタルバータイルディスク(DVD)(disc)と、フロッピー(登録商標)ディスク(disk)と、Blu−ray(登録商標)ディスク(disc)と、を含み、ここで、diskは、通常は磁気的にデータを複製し、discは、レーザを用いて光学的にデータを複製する。コンピュータによって読み取り可能な媒体は、有形及び非一時的であることができることが注目されるべきである。用語“コンピュータプログラム製品”は、コンピューティングデバイス又はプロセッサによって実行すること、処理すること又は計算することができるコード又は命令(例えば、“プログラム”)と組み合わさったそのコンピューティングデバイス又はプロセッサを意味する。ここにおいて使用される場合、用語“コード”は、コンピューティングデバイス又はプロセッサによって実行可能なソフトウェア、命令、コード又はデータを意味することができる。

0113

[00126]ソフトウェア又は命令は、送信媒体を通じて送信することもできる。例えば、ソフトウェアが、同軸ケーブル光ファイバケーブルより対線デジタル加入者ライン(DSL)、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイトサーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、DSL、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、送信媒体の定義の中に含まれる。

0114

[00127]ここにおいて開示される方法は、説明される方法を達成するための1つ以上のステップ又は行動を備える。方法のステップ及び/又は行動は、請求項の範囲を逸脱することなしに互いに互換可能である。換言すると、説明されている方法の適切な動作のためにステップ又は行動の特定の順序が要求されないかぎり、特定のステップ及び/又は行動の順序及び/又は使用は、請求項の範囲を逸脱することなしに変更することができる。

0115

[00128]さらに、ここにおいて説明される方法及び技法を実行するためのモジュール及び/又はその他の該当する手段、例えば、図2A、2B、3乃至6、10、11及び14によって例示されるそれら、は、ダウンロードすること及び/又はデバイスによってその他の方法で入手することができることが評価されるべきである。例えば、デバイスは、ここにおいて説明される方法を実行するための手段の転送を容易にするためにサーバに結合することができる。代替として、ここにおいて説明される様々な方法は、記憶手段(例えば、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、物理的記憶媒体、例えば、コンパクトディスク(CD)又はフロッピーディスク、等)を介して提供することができ、従って、デバイスは、そのデバイスに記憶手段を結合するか又は提供した時点で様々な方法を入手することができる。

0116

[00129]請求項は、上において例示される正確な構成及びコンポーネントに限定されないことが理解されるべきである。請求項の範囲を逸脱することなしにここにおいて説明されるシステム、方法、及び装置の配置、動作及び詳細の様々な修正、変更及び変形を行うことができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ