図面 (/)

技術 テレプレゼンス及びロボット遠隔操作のためのフォーカスアンドコンテクストビューのシステム及び方法、第1の機器、第1の機器のための方法、及び非一時的コンピュータ読み取り可能媒体

出願人 富士ゼロックス株式会社
発明者 水谷良太ドナルドキンバースベンクラッツジェイムズボーガン
出願日 2016年7月12日 (4年5ヶ月経過) 出願番号 2016-137521
公開日 2017年6月15日 (3年6ヶ月経過) 公開番号 2017-107535
状態 特許登録済
技術分野 マニプレータ 画像処理 閉回路テレビジョンシステム
主要キーワード 連続経路 周囲エリア ヘッドトラッカ ブライユ点字 ワーピング関数 遠隔車両 中央領 中心窩領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

遠隔カメラからのビューを実際的にする、移動可能な機器のためのフォーカスアンドコンテクストビューを提供するシステム及び方法を提供する。

解決手段

ディスプレイの中央部分内に示され、コンテクストを提供するためにディスプレイのフォーカス部分の周りでゆがめられるコンテクストビューにおいて、別の部分をフォーカス部分とするために選択すると、移動可能な機器は、前方方向としてフォーカス部分に自らを方向付ける。

概要

背景

関連技術において、ビデオフィードを用いた、キーボード又はジョイスティックによる手動ロボット遠隔操作(例えば制御)は、苛立たしく退屈な作業となる場合がある。そのような関連技術の実装では、誤りが発生しやすい可能性もある。例えばビデオの受信におけるレイテンシは、それが少量であっても、ユーザは古い情報に基づいてコマンド送信することになるため、ロボットと物体との間の衝突をもたらす可能性がある。

自律位置決め及び操縦(autonomous localization and navigation)のための関連技術の方法は、同時位置決め及びマッピング(simultaneous localization and mapping技法によるマップの生成と、レーザスキャナ又はビーコンを使用したマップ内での位置決めとを含む。しかしこれらの関連技術の技法は、セットアップに時間を費やす必要があり、環境が変化するにつれて更新する必要がある。

人の視覚は、周囲状況の単一の包括的な視界感覚を提供する。それぞれの目の固定された位置について、人は約120度の水平視野角を有し、そのうち、小さな中央の中心窩領域のみが「高分解能」を有する。中心窩視野のうち中央の約2度のみを見、約31.46秒角の「分解能」を有する。中心窩は、網膜の約1パーセントを占め、しかし脳内の視覚皮質の50パーセント超を占める。両方の目が一緒に前方を見る場合、人は約180度の前方を向いた視野角を有する。目の運動のみを使用する(かつ頭を動かさない)場合、人は約270度の視野角を有する。人の脳はこれを非常に良好に統合するため、小さな中心窩領域の外側で我々の分解能がいかに低いかということにも、空間の全体的視覚を生成するためのサッカード(例えば、2つの停留フェーズの間の同じ方向における両方の目の迅速な同時移動、これは放射信号周波数偏移、あるいは身体部分又は装置の移動と関連付けられ得る)の必要性にも、更には頭部の運動にも、人は通常は気付かない。

概要

遠隔カメラからのビューを実際的にする、移動可能な機器のためのフォーカスアンドコンテクストビューを提供するシステム及び方法を提供する。ディスプレイの中央部分内に示され、コンテクストを提供するためにディスプレイのフォーカス部分の周りでゆがめられるコンテクストビューにおいて、別の部分をフォーカス部分とするために選択すると、移動可能な機器は、前方方向としてフォーカス部分に自らを方向付ける。(a)

目的

遠隔ロボット制御又は監視のために広いビュー又は周辺認識を人々に提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

移動可能な第2の機器操縦するように構成された第1の機器であって、前記第1の機器は、プロセッサを備え、前記プロセッサは、前記移動可能な第2の機器からの1つ以上のカメラ画像のそれぞれを第1の領域及び第2の領域に処理し、前記第2の領域は前記第1の領域を囲むゆがめられた画像であり、前記第1の領域は前記1つ以上のカメラ画像の前記それぞれの中央領域であり、前記第1の領域と前記第2の領域とからなる画像が生成され、そして、入力からの、ディスプレイの選択された部分の受信に対して、前記選択された部分を前記第1の領域として処理し、前記選択された部分に基づいて前記1つ以上のカメラ画像から前記第2の領域を決定し、前記移動可能な第2の機器に対して、前記選択された部分に基づいて前記移動可能な第2の機器の前方方向を変更するよう命令するように構成される、第1の機器。

請求項2

前記1つ以上のカメラ画像は、魚眼カメラ及び360度カメラのうちの少なくとも1つから提供される、請求項1に記載の第1の機器。

請求項3

前記プロセッサは、フォーカスされた部分を前記1つ以上の画像から生成することによって、前記1つ以上の画像を前記第1の領域に処理するように構成される、請求項1に記載の第1の機器。

請求項4

前記プロセッサは、前記移動可能な第2の機器が前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を変更する間の、前記移動可能な第2の機器を移動させるための入力に対して、方向の変更が完了したことを前記移動可能な第2の機器から受信次第、前記入力に基づいて移動するための命令を前記移動可能な第2の機器に提供するように構成される、請求項1に記載の第1の機器。

請求項5

前記プロセッサは、前記移動可能な第2の機器が、前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を変更する間の、前記移動可能な第2の機器を移動させるための入力に対して、前記移動可能な第2の機器の前記前方方向に基づいて、前記移動可能な第2の機器からの前記1つ以上のカメラ画像を前記第1の領域及び前記第2の領域に処理し、処理された前記第1の領域及び前記第2の領域に基づいて前記ディスプレイの表示を調節し、前記入力に基づいて移動するよう前記移動可能な第2の機器に命令するように構成される、請求項1に記載の第1の機器。

請求項6

前記プロセッサは、前記ディスプレイ上に、前記移動可能な第2の機器の前記前方方向の表示を提供し、前記移動可能な第2の機器が前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を方向付けている間の、前記移動可能な第2の機器を移動させるための入力に対して、移動させるための前記入力に従って、前記移動可能な第2の機器からの前記1つ以上のカメラ画像を前記第1の領域及び前記第2の領域に処理し、移動させるための前記入力に基づいて、前記前方方向の前記表示を更新するように構成される、請求項1に記載の第1の機器。

請求項7

前記プロセッサは、前記第1の領域と前記第2の領域とからなる画像を、連続歪み関数によって生成するように構成される、請求項1に記載の第1の機器。

請求項8

移動可能な第2の機器を操縦するように構成された第1の機器のための方法であって、前記方法は、前記移動可能な第2の機器からの1つ以上のカメラ画像のそれぞれを第1の領域及び第2の領域に処理し、前記第2の領域は前記第1の領域を囲むゆがめられた画像であり、前記第1の領域は前記1つ以上のカメラ画像の前記それぞれの中央領域であり、前記第1の領域及び前記第2の領域は連続歪み関数によって結合され、そして、入力からの、ディスプレイの選択された部分の受信に対して、前記選択された部分を前記第1の領域として処理し、前記選択された部分に基づいて前記1つ以上のカメラ画像から前記第2の領域を決定し、前記移動可能な第2の機器に対して、前記選択された部分に基づいて前記移動可能な第2の機器の前方方向を変更するよう命令することを含む、方法。

請求項9

前記1つ以上のカメラ画像は、魚眼カメラ及び360度カメラのうちの少なくとも1つから提供される、請求項8に記載の方法。

請求項10

前記1つ以上の画像を前記第1の領域に処理することは、フォーカスされた部分を前記1つ以上の画像から生成することを含む、請求項8に記載の方法。

請求項11

前記移動可能な第2の機器が、前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を変更する間の、前記移動可能な第2の機器を移動させるための入力に対して、方向の変更が完了したことを前記移動可能な第2の機器から受信次第、前記入力に基づいて移動するための命令を前記移動可能な第2の機器に提供することを更に含む、請求項8に記載の方法。

請求項12

前記移動可能な第2の機器が、前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を変更する間の、前記移動可能な第2の機器を移動させるための入力に対して、前記移動可能な第2の機器の前記前方方向に基づいて、前記移動可能な第2の機器からの前記1つ以上のカメラ画像を前記第1の領域及び前記第2の領域に処理し、処理された前記第1の領域及び前記第2の領域に基づいて前記ディスプレイの表示を調節し、前記入力に基づいて移動するよう前記移動可能な第2の機器に命令することを更に含む、請求項8に記載の方法。

請求項13

前記ディスプレイ上に、前記移動可能な第2の機器の前記前方方向の表示を提供し、前記移動可能な第2の機器が前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を方向付けている間の、前記移動可能な第2の機器を移動させるための入力に対して、移動させるための前記入力に従って、前記移動可能な第2の機器からの前記1つ以上のカメラ画像を前記第1の領域及び前記第2の領域に処理し、移動させるための前記入力に基づいて、前記前方方向の前記表示を更新することを更に含む、請求項8に記載の方法。

請求項14

移動可能な第2の機器を操縦するように構成された第1の機器のための命令を記憶する、非一時的コンピュータ読み取り可能媒体であって、前記命令は、前記移動可能な第2の機器からの1つ以上のカメラ画像のそれぞれを第1の領域及び第2の領域に処理し、前記第2の領域は前記第1の領域を囲むゆがめられた画像であり、前記第1の領域は前記1つ以上のカメラ画像の前記それぞれの中央領域であり、前記第1の領域及び前記第2の領域は連続歪み関数によって結合され、そして、入力からの、ディスプレイの選択された部分の受信に対して、前記選択された部分を前記第1の領域として処理し、前記選択された部分に基づいて前記1つ以上のカメラ画像から前記第2の領域を決定し、前記移動可能な第2の機器に対して、前記選択された部分に基づいて前記移動可能な第2の機器の前方方向を変更するよう命令することを含む、非一時的コンピュータ読み取り可能媒体。

請求項15

前記1つ以上のカメラ画像は、魚眼カメラ及び360度カメラのうちの少なくとも1つから提供される、請求項14に記載の非一時的コンピュータ読み取り可能媒体。

請求項16

前記1つ以上の画像を前記第1の領域に処理することは、フォーカスされた部分を前記1つ以上の画像から生成することを含む、請求項14に記載の非一時的コンピュータ読み取り可能媒体。

請求項17

前記移動可能な第2の機器が、前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を変更する間の、前記移動可能な第2の機器を移動させるための入力に対して、方向の変更が完了したことを前記移動可能な第2の機器から受信次第、前記入力に基づいて移動するための命令を前記移動可能な第2の機器に提供すること、を前記命令は更に含む、請求項14に記載の非一時的コンピュータ読み取り可能媒体。

請求項18

前記移動可能な第2の機器が前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を変更する間の、前記移動可能な第2の機器を移動させるための入力に対して、前記移動可能な第2の機器の前記前方方向に基づいて、前記移動可能な第2の機器からの前記1つ以上のカメラ画像を前記第1の領域及び前記第2の領域に処理し、処理された前記第1の領域及び前記第2の領域に基づいて前記ディスプレイの表示を調節し、前記入力に基づいて移動するよう前記移動可能な第2の機器に命令することを前記命令は更に含む、請求項14に記載の非一時的コンピュータ読み取り可能媒体。

請求項19

前記ディスプレイ上に、前記移動可能な第2の機器の前記前方方向の表示を提供し、前記移動可能な第2の機器が前記選択された部分に基づいて前記移動可能な第2の機器の前記前方方向を方向付けている間の、前記移動可能な第2の機器を移動させるための入力に対して、移動させるための前記入力に従って、前記移動可能な第2の機器からの前記1つ以上のカメラ画像を前記第1の領域及び前記第2の領域に処理し、移動させるための前記入力に基づいて、前記前方方向の前記表示を更新することを前記命令は更に含む、請求項14に記載の非一時的コンピュータ読み取り可能媒体。

技術分野

0001

本開示は一般にロボットシステムに関し、特に、ロボットシステムを遠隔制御及び管理するシステム及び方法に関する。

背景技術

0002

関連技術において、ビデオフィードを用いた、キーボード又はジョイスティックによる手動ロボット遠隔操作(例えば制御)は、苛立たしく退屈な作業となる場合がある。そのような関連技術の実装では、誤りが発生しやすい可能性もある。例えばビデオの受信におけるレイテンシは、それが少量であっても、ユーザは古い情報に基づいてコマンド送信することになるため、ロボットと物体との間の衝突をもたらす可能性がある。

0003

自律位置決め及び操縦(autonomous localization and navigation)のための関連技術の方法は、同時位置決め及びマッピング(simultaneous localization and mapping技法によるマップの生成と、レーザスキャナ又はビーコンを使用したマップ内での位置決めとを含む。しかしこれらの関連技術の技法は、セットアップに時間を費やす必要があり、環境が変化するにつれて更新する必要がある。

0004

人の視覚は、周囲状況の単一の包括的な視界感覚を提供する。それぞれの目の固定された位置について、人は約120度の水平視野角を有し、そのうち、小さな中央の中心窩領域のみが「高分解能」を有する。中心窩視野のうち中央の約2度のみを見、約31.46秒角の「分解能」を有する。中心窩は、網膜の約1パーセントを占め、しかし脳内の視覚皮質の50パーセント超を占める。両方の目が一緒に前方を見る場合、人は約180度の前方を向いた視野角を有する。目の運動のみを使用する(かつ頭を動かさない)場合、人は約270度の視野角を有する。人の脳はこれを非常に良好に統合するため、小さな中心窩領域の外側で我々の分解能がいかに低いかということにも、空間の全体的視覚を生成するためのサッカード(例えば、2つの停留フェーズの間の同じ方向における両方の目の迅速な同時移動、これは放射信号周波数偏移、あるいは身体部分又は装置の移動と関連付けられ得る)の必要性にも、更には頭部の運動にも、人は通常は気付かない。

先行技術

0005

Kevin Wayne Arthur著、「Effects of Field of View on Performance with Head-Mounted Displays」、博士学位論文, University of North Carolina, Chapet Hill, 2000
Patrick Baudisch、Nathaniel Good、Victoria Bellotti、and Pamela Schraedley著、「KeepingThings in Context: A Comparative Evaluation of Focus Plus Context Screens, Overviews, and Zooming」、CHI 2002 (April 20-25, 2002)
Andy Cockburn、Amy Karlson & Benjamin B. Bederson著、「A Review of Overview + Detail, Zooming, and Focus + Context Interfaces」、ACMComputing Surveys, 2009
Steven Johnson、Irene Rae、Bilge Mutlu、Leila Takayama著、「Can You See Me Now? How Field of View Affects Collaboration in Robotic Telepresence」、CHI 2015 (April 18-23, 2015)
Juho Kannala and Sami S. Brandt著、「A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses」、IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006
Malthias Trapp著、「Interactive Rendering Techniques for Focus Context Visualization of 3D Geovirtual Environments.」、博士学位論文, Hasso Plaltner Institute, University Potsdam, 2013
Xin Zhao、Wei Zeng、Xianfeng Gu、Arie Kaufman、Wei Xu、and Klaus Mueller著、「Conformal Magnifier: A Focus + Context Technique with Local Shape Preservation」、IEEE Transactions on Visualization and Computer Graphics, 2012
Shaun Williams. Blinky著、「Proof of concept to put peripheral vision into games」、インターネット(https://github.com/shaunlebron/blinky、https://youtube.com/watch?v-f9v_XN7Wxh)

発明が解決しようとする課題

0006

対照的に、関連技術において遠隔カメラからのビューを見ている場合、ビュー内には均一な分解能が存在し、ビューの外側には何も見えない。これは、遠隔の空間から切り離されている(removed)と感じるような「トンネル視野」の感覚を与える。カメラが操縦可能であるか、あるいは動き回ったり曲がったりすることが可能なロボットや遠隔車両上にある場合でさえ、カメラを移動させ、全体的場面が「知覚的」から「認知的」レベルの心的処理に移行する感覚を作るためには努力が必要である。高度に没入する体験のために、ユーザは、目の視野角(以下FOVと呼ぶ)に近い視野角を有するヘッドマウントディスプレイと、ヘッドトラッカとを備えてもよく、これにより、頭部が動いても遠隔位置にいるのと実質的に同じビューが提供されるようになる。あるいはユーザは、壁又はその他の周囲面上でビデオが表示される「ケイブ(CAVE)」内に座ってもよい。しかし多くの関連技術適用例について、これらは実際的ではないか、さもなければ望ましくない。そのようなビューの提供には、高帯域幅低レイテンシネットワーキング、より精巧なハードウェアが必要とされるか、又はユーザが不自然な装置を着用してユーザ自身局所環境から実質的に切り離されることが必要となる。ユーザは、例えば大きなディスプレイ上、ウェブページ内、又はタブレット上でビューを見ることを好む可能性がある。

課題を解決するための手段

0007

遠隔ロボット制御又は監視のために広いビュー又は周辺認識を人々に提供する例示的方法は、複数のカメラを使用するか、又は広視野角レンズを使用するものである。複数のカメラのビューは理解しにくい可能性があり、広視野角レンズは画像全体を通して歪みを作るか、又は180度の近くのビューに対して望ましくない「伸張した」画像を作る。例示的実装は、ビューパニングとロボット基部の回転との統合を提供し、これにより遠隔操作者に、より紛らわしくない体験が提供される可能性がある。

0008

本開示の態様は、移動可能な第2の機器を操縦するように構成された第1の機器を含んでもよい。第1の機器は、ディスプレイと、プロセッサとを含んでもよく、プロセッサは、移動可能な第2の機器からの1つ以上のカメラ画像のそれぞれを第1の領域及び第2の領域に処理し、第2の領域は第1の領域を囲むゆがめられた画像であり、第1の領域は1つ以上のカメラ画像のそれぞれの中央領域であり、第1の領域及び第2の領域は連続歪み関数(continuous distortion function)によって生成され、そして、入力からの、ディスプレイの選択された部分の受信に対して、選択された部分を第1の領域として処理し、選択された部分に基づいて1つ以上のカメラ画像から第2の領域を決定し、移動可能な第2の機器に、選択された部分に基づいて前方方向に方向付けられるよう命令するように構成される。第2の領域は処理される画像のパノラマ領域であってもよい。

0009

本開示の態様は、移動可能な第2の機器を操縦するように構成された第1の機器のためのプロセスを実行する命令を記憶する、非一時的コンピュータ読み取り可能媒体を更に含む。命令は、移動可能な第2の機器からの1つ以上のカメラ画像のそれぞれを第1の領域及び第2の領域に処理し、第2の領域は第1の領域を囲むゆがめられた画像であり、第1の領域は1つ以上のカメラ画像のそれぞれの中央領域であり、第1の領域及び第2の領域は連続歪み関数によって生成され、そして、入力からの、ディスプレイの選択された部分の受信に対して、選択された部分を第1の領域として処理し、選択された部分に基づいて1つ以上のカメラ画像から第2の領域を決定し、移動可能な第2の機器に、選択された部分に基づいて前方方向に方向付けられるよう命令することを含んでもよい。生成された画像の方向がロボットの進行方向と一致しない場合、ロボットはこの方向に向けて回転されてもよく、同時にビュー方向は調節され、従ってユーザは回転を意識しない。

0010

本開示の態様は、移動可能な第2の機器を操縦するように構成された第1の機器のための方法を更に含む。方法は、移動可能な第2の機器からの1つ以上のカメラ画像のそれぞれを第1の領域及び第2の領域に処理し、第2の領域は第1の領域を囲むゆがめられた画像であり、第1の領域は1つ以上のカメラ画像のそれぞれの中央領域であり、第1の領域及び第2の領域は連続歪み関数によって生成され、そして、入力からの、ディスプレイの選択された部分の受信に対して、選択された部分を第1の領域として処理し、選択された部分に基づいて1つ以上のカメラ画像から第2の領域を決定し、移動可能な第2の機器に、選択された部分に基づいて前方方向に方向付けられるよう命令することを含んでもよい。

0011

本開示の態様は、移動可能な第2の機器からの1つ以上のカメラ画像のそれぞれを第1の領域及び第2の領域に処理する手段であって、第2の領域は第1の領域を囲むゆがめられた画像であり、第1の領域は1つ以上のカメラ画像のそれぞれの中央領域であり、第1の領域及び第2の領域は連続歪み関数によって生成される、手段と、入力からの、ディスプレイ手段の選択された部分の受信に対して、選択された部分を第1の領域として処理する手段と、選択された部分に基づいて1つ以上のカメラ画像から第2の領域を決定する手段と、移動可能な第2の機器に、選択された部分に基づいて前方方向に方向付けられるよう命令する手段とを含み得るシステムを更に含んでもよい。

図面の簡単な説明

0012

広角レンズの例を示す図である。
例示的実装による例示的仮想ビューを示す図である。
例示的実装による例示的仮想ビューを示す図である。
例示的実装による、ビュー生成の幾何学的配置を示す図である。
例示的実装による、ビュー生成のための例示的フローを示す図である。
例示的実装による、移動可能な機器のためのカメラ及び制御様式の例を示す図である。
例示的実装による、移動可能な機器のためのカメラ及び制御様式の例を示す図である。
例示的実装による、移動可能な機器のためのカメラ及び制御様式の例を示す図である。
例示的実装によるフローチャートである。
例示的実装によるフローチャートである。
例示的実装によるフローチャートである。
例示的実装による、移動可能な機器の例示的ハードウェア図である。
一部の例示的実装における使用に好適な例示的コンピュータ装置を有する、例示的コンピューティング環境を示す図である。

実施例

0013

以下の詳細な説明では、本出願の図面及び例示的実装の更なる詳細を示す。図面間の冗長要素の参照番号及び説明は、明確化のために省略される。本明細書全体を通して使用される用語は、例として提供されるものであり、限定することを意図するものではない。例えば「自動」という用語の使用は、本出願の実装を実施する当業者の所望の実装に応じて、全自動の実装を、あるいは実装の特定の側面に対するユーザ又は操作者の制御を含む半自動の実装を含み得る。更に、本明細書に記載する例示的実装は、移動可能なロボットの文脈で説明されるが、例示的実装は、任意の移動可能な機器(例えばリモートコントロールカー)に適用され得、ロボットに限定されない。

0014

トンネル視野の問題に対処し、努力を要しない周辺視野を単純なシングルウィンドウディスプレイにおいて提供するために、例示的実装は、特別に構築されたフォーカスラスコンテクスト(F+C)ビューを含む。フォーカスプラスコンテクストの方法は、情報可視化の目的のために関連技術において適用されてきたが、ビデオテレプレゼンス又は遠隔操作のための関連技術においては考察されてこなかった。

0015

図1は、広く使用されているが、提案される例示的実装のフォーカスプラスコンテクストビューとは異なる、「魚眼レンズ」を含む広角レンズの例を示す。遠近感を維持する広角ビュー(すなわちピンホールカメラモデルに対応)は、180度の最大視野角(FOV)に制限され、FOVが約160度より大きくなるにつれて非常に「エリアディストーションした(area distorted)」ものとなる。

0016

例示的実装の要素は、中央領域において歪みがなく周囲エリア内に大量の周辺部を示すフォーカスプラスコンテクストビュー(注目箇所に関する情報とともに、状況把握や全体を概観する情報を表示するような手法)を提供するカメラシステムである。このビューは特別なフォーカス+コンテクストミラー又はレンズシステムによって提供され得るが、そのようなシステムの設計は困難な可能性があり、複雑な取り付け、又は複数のミラー/レンズを必要とする場合がある。より実際的な解決法としては、パノラマカメラ又は非常に広角のカメラからの画像をデジタル的にゆがませることが含まれ得る。理想的な画像のゆがみは、画像全体において不連続性がないという特性を有さなければならない。中央の歪みのない領域において、ワールド内の直線は画像内の直線にマッピングされなければならない(パースペクティブカメラに対応)。360度の視野角全体にわたって直線を直線にマッピングすることは可能ではないが、線は(角を導入しないように)連続的な派生物を用いて理想的には連続経路にマッピングされ得る。

0017

F+C(フォーカス+コンテント)ビューを生成するための例示的実装においては、設計された特性を有するビューに対して画像を再度デジタル的にゆがませることある。例示的実装では、入力は非常に広角のイメージングシステム又はパノラマのイメージングシステムを含み得、このイメージングシステムは複数のカメラを含んでもよく、又は図1に示すような非常に広角の「魚眼」レンズを有する単一のカメラを含んでもよい。最大240度のFOVを有する広角レンズが入手可能である。そのようなカメラシステムの出力は、次に、所与の方向におけるビューにマッピングされ、ここで、ビューの中央ピクセルはその方向に対応し、中央からより遠いピクセルは、その方向からの徐々により大きな角度に対応する。

0018

例示的実装は、特にロボット制御のための、テレプレゼンスに関する。例示的実装では、インタフェースは、ユーザが周辺部からの物体を可視化し、歪みのないビューのために周辺部にフォーカスするのを容易にする。例示的実装では、画像上の任意の場所の点を中央のフォーカス領域に向けてドラッグすることによって、周辺部はビュー内に入れられ得る。他の例示的実装では、画像内の任意の場所の点に対するユーザ操作(例えばダブルクリック)によって、周辺部はビュー内に入れられ得る。この操作は、指定された点がフォーカスして見られるよう、より円滑な移行のために、ビューを動画化してもよい。これはユーザにとっては、選択点がビュー内で中央に置かれるまで、その選択点に向けてカメラが移動しているかのように見える。

0019

周辺部をビュー内に入れるための一例示的実装では、ロボット(及び物理的カメラ)を固定位置のままとし、新たな仮想ビューを決定する。遠隔カメラがロボットも電動式プラットフォームも有さない単なる固定されたパノラマカメラである場合に、こうすることが周りを見回すために望ましい可能性がある。別のシナリオは、ユーザが画像内の任意の場所の点をクリックした場合に、ロボット(又はプラットフォーム)が回転してその点にフォーカスするというものである。

0020

所望の実装に応じてハイブリッド方法も考慮されてもよい。迅速に周りを見回すためには、仮想パニングが、慣性を有する物理的装置を移動させるよりも円滑かつ迅速であり得る。しかし、ロボットが移動される際に、ロボットの前方運動がカメラの方向にない場合、ビューは非常に紛らわしい可能性がある。一部のロボットは、全方向に移動可能な車輪型移動機構ホロノミックホイールシステム;holonomic wheel system)を装備している場合、ロボットの正面である前方方向に対して垂直方向への移動(ストレイフ;strafe)又は任意の方向への直接移動が可能である。しかし多くのロボットは「前方方向」を有し、移動する前に、最初に目標方向に回転しなければならない。この回転は、フォーカスプラスコンテクストパノラマインタフェース内に組み込まれてもよく、これにより、ユーザがどこを見ていても、前方に移動することをユーザが要求した場合、ロボットは最初にその位置に回転し、同時に、ロボットが回転する際に固定方向を見続けるように仮想ビューを調節する。

0021

例示的実装は、中央の歪みのない(遠近感的に正確な)領域が、ゆがめられたより大きな周辺画像によって囲まれて、継ぎ目なく(すなわち不連続性も不自然な角もなしに)接合されたものを示す、ビュー画像を生成する。ビュー画像の各ピクセルは、空間内のある方向に対応し、その方向に対応する入力カメラ(1つ又は複数)からのピクセルによって提供されなければならない。ピクセルはまた、所望の方向に最も近い入力ピクセル補間値によって生成されてもよい。中央の歪みのない領域と、ゆがめられたより大きな周辺領域とは、以下で説明する連続歪み関数を使用することによって連続的にかつ継ぎ目なしに結合されたビュー画像が生成される。

0022

図2(a)及び図2(b)は、例示的実装による例示的仮想ビューを示す。図2(a)及び図2(b)では、フォーカスされた部分は中央領域であり、この領域はより大きくかつ歪みがないようにされている。周辺部は圧縮されかつ歪んでおり、従って直線は曲がって見える。図2(a)では、仮想ビューは、コンピュータモニタの背面をフォーカスして示し、周辺部内のホワイトボードを右側に示す。ホワイトボード上の点をダブルクリックすると、図2(b)に示すように、その点が中央に移動されて歪みのないフォーカスされたビューとなる。

0023

多くのゆがめるための方法が可能であり、一例示的方法は、放射対称性ワーピング関数(radially symmetric warping functions)を含む。ある方向を指す仮想カメラを考慮すると、主光線は、中央ピクセルを通る光学中心からのベクトルnに対応する。ビュー画像座標vx,vyにおける所与のピクセルは、法線ベクトルvによって与えられるある所与の方向における光線に対応する。ビュー画像において、例示的実装は、ビュー画像を極座標θ,rに変換してもよい。nとvとの間の角度αはα=tan-1r/fによって与えられ、fは仮想カメラの焦点距離であることに留意されたい。自然な種類の歪み(Anatural class of distortions)は放射対称性であり、ある単調増加関数dについて、θ→θ及びr→d(r)によって記述される。(dが非単調である場合、一部のピクセル(ビュー方向)は画像内で繰り返される可能性がある。)ある固定定数kについてd(r)=krの場合、効果は、画像を1/kだけ均一に「拡大すること」と同じである(より長い焦点距離を使用してより狭い視野角を得ることと同等)。例示的実装では、r≦r0についてd(r)=krを選択して、半径r0を有する円の内側に、パースペクティブカメラに一致するビューを生成する。r0の外側では、例示的実装は、d(r)が線形よりも速く増加するようにして、生成されるビュー内により多くの周辺ビューを押し込めてもよい。d(r)が連続かつ微分可能であるように選択される限り、例示的実装では、画像内にいかなる不連続性も導入されず、線の画像内に角を導入することも回避される。

0024

この方法には、いかに速くd(r)が増加しても180度より大きな視野角を生成することはできないという点で、明白な制限が存在することに留意されたい。これは、d(r)が無限大に近付くにつれて、α=tan−1r/fがπ/2(すなわち主方向nから90度)に漸近的に近付くからである。しかしこの制限は、ビュー座標をθ,rではなくθ,αとして再パラメータ化することによって容易に克服され得る。すなわち例示的実装では、vx,vyをθ,rではなくθ,αにマッピングし、ここでα=tan−1r/fであり、次に、マッピングα→dα(α)によって歪みを生成する。ここで、dαは、d(r)がrからαに再パラメータ化されたものである。従って、α<α0=tan−1r0/fについて、dα(α)=tan−1(kftan(α))/fが存在する場合、結果は、拡大率1/kを有する遠近感的に正確な画像をr0の内側に含み得、しかしr0の外側では、例示的実装は、全視野角360度についてαを180度まで増加させ得る。

0025

図3は、例示的実装による、ビュー生成の幾何学的配置を示す。ビュー平面は、光学中心から距離fにある画像平面と同様である(fは焦点距離)。光学中心から中央ピクセルまでの方向はベクトルnに対応し、vx,vyにおける任意のピクセルまでの方向はvである。vx,vyは極座標においてθ,rとして表されてもよい。vとnとの間の角度はα=tan−1r/fである。

0026

例示的実装において、ビュー生成の幾何学的配置はインタフェースに適用される。フォーカスプラスコンテクストビューを用いる場合、ユーザの観点から、ロボットはその車輪という意味での前方方向を有する。従ってロボットの前方方向は、前方にある物体の方を向き、ユーザはそれをフォーカスして見るとともに、そしてユーザはフォーカスプラスコンテクストビュー内で何かを周辺に見て、ユーザがそれをクリックした場合、いくつかのことが発生する。

0027

従って例示的実装では、フォーカスプラスコンテクスト実装を使用することによって、ロボットが静止したままである間にカメラは仮想的にパンされ得る。360度カメラを含む例示的実装では、ユーザはビデオの任意の部分を選択することができ、次に、選択された部分内に再フォーカスし、従って仮想ビューは変更される。

0028

上述のような例示的実装では、提示されるビューは、ロボットの前方方向ではない方向に向けられている可能性がある。ロボットを操縦するための入力がユーザによって行われる場合、ビューがロボットの前方方向のビューではないかもしれなく、かつロボットはビューに対する前方に誘導されないので、結果として提供されているビューはユーザーにとって紛らわしいかもしれない。操縦するためには、ロボットが操縦され得るようになる前に、ユーザは仮想ビューを前方方向に戻さなければならない可能性がある。

0029

例示的実装では、ビュー内の点についての入力を受信した場合、ロボットはその操作を、選択された方向に移動するためのものと解釈して移動するように構成されてもよい。更に例示的実装では、ロボットが移動する際にビューがフォーカスプラスコンテクスト実装によって中央に保たれるように、仮想ビューは維持されてもよい。そのような例示的実装では、ビュー内での選択がビューを中央に変更し、ロボットは、選択に応答して、選択されたビューが前方方向となるよう方向を変更するように自らを構成する。これは、ロボットを所定の位置で回転させること、又は所望の実装に応じたその他の方法を含んでもよい。

0030

上述のようにフォーカスプラスコンテクストビューを利用する例示的実装では、対角視野角はおおよそ256度となり得る。例示的実装はパースペクティブカメラに改良を加え、ここで、パースペクティブカメラは可能な限り広角に拡張されたとしても最大視野角は180度である。従って、追加の周辺視野が画像に追加され得る。

0031

例示的実装では、カメラ画像は、フォーカスされた部分及びコンテクスト部分として処理され、コンテクスト部分はディスプレイ上のフォーカスされた部分の周りでゆがめられる。ビューが提供される場合、制御される移動可能な機器の前方方向(例えば、移動可能な機器の車輪の観点からの前方方向、機器のカメラアレイの観点からの前方方向など)を示すための指示(indication)が提供される。

0032

例示的実装では、前方方向は、フォーカスされた部分として設定される。ディスプレイのフォーカスされた部分以外の部分に対する入力操作を(例えばタッチスクリーンマウス入力などを介して)受信すると、カメラは所望の部分に仮想的にパンされることができ、所望の部分をフォーカス部分として提供するためにカメラ画像が再処理される。そのような例示的実装では、制御される移動可能な機器は静止したままで、仮想ビューのみが変更されてもよい。

0033

更なる例示的実装では、移動可能な機器は、選択された部分が、移動可能な機器の前方方向に向くよう回転するように命令されてもよい。そのような実装は、表示されるビューが、移動可能な機器の前方ではないいずれかの方向であるという問題に対処し得る。移動可能な機器を操縦するための入力が行われる場合、結果として示されているビューは紛らわしい可能性があるため、移動可能な機器が操縦される前に、仮想ビューを前方方向に戻すよう操縦することをユーザに強制する。

0034

従って例示的実装は、仮想ビューの中心以外の部分を選択するための入力が行われた場合に、移動可能な機器が回転して、選択された部分が移動可能な機器の前方方向となるように自らの方向を変更する処理を導入する。別の例示的実装様式では、仮想ビューの中心以外の部分を選択するための入力が行われた場合に、移動可能な機器は、選択された部分によって示される方向に移動するよう命令されてもよく、同時に、仮想ビューは、選択された部分がフォーカスされた部分として中央に置かれるように維持される。従って、移動可能な機器が移動している場合、仮想ビューは、入力によって指定された方向に移動可能な機器が移動しているかのように変更されてもよい。

0035

図4は、例示的実装による、ビュー生成のための例示的フローを示す。400において、カメラからのカメラ画像が処理される。カメラは、図1に示す360度又はその他の広角カメラ魚眼カメラ等)であってもよい。処理は、ピッチφ及びヨーβから光学中心を導出することを含む。決定に基づいて、例示的実装は401において中央部分を決定するように構成されてもよく、これは次に、図3に示すフォーカスされた部分を生成するフォーカシングのために処理される。カメラ画像の残りの部分は、フォーカスされた部分の周りでゆがめられたコンテクスト部分として処理される。402におけるこの処理のために、仮想ビュー内の各ピクセルについて、フローは、方向、ピッチφ、及びヨーβを計算する。403において、ピッチφ及びヨーβのそれぞれについて、フローは、カメラ内のカメラ画像から、最も近いピクセルを取得する。そのようなピクセルが取得され、次に、コンテクスト部分として中央部分の周りでゆがめられる。

0036

図5(a)〜図5(c)は、例示的実装による、移動可能な機器のためのカメラ及び制御様式の例を示す。図5(a)では、移動可能な機器500は物体501の方を向いており、物体501はディスプレイ503内に物体501-1として現れる。フォーカスされた部分はディスプレイ503の中央に提供され、これは物体501-1のように表示される。物体502はコンテクスト部分としてディスプレイ503内に、物体502-1のように表示される。矢印は、移動可能な機器500の前方方位を示す。図5(b)の例において、ユーザは、ディスプレイ上でコンテクスト部分の物体502-1をフォーカス部分として選択したとする。そうすると、次に、ディスプレイ503-1内に物体502-2で示したように、コンテクスト部分の物体502がフォーカスされた物体としてディスプレイ上でフォーカスされる。元のフォーカス物体501-1はこのとき、ディスプレイ503-1内において物体501-2として示すように、コンテクスト部分に移動され、フォーカス部分の側部の周りでゆがめられて表示される。図5(b)に示すように、仮想ビューの表示内容は変更されるが、移動可能な機器500は静止したままである。図5(b)における矢印は、移動可能な機器の前方方位が依然として物体501及びコンテクスト物体501-2に向けられていることを示す。

0037

図5(b)に示すように、ユーザーにより、中心部分とは異なる部分がフォーカス部分として選択された場合、移動可能な機器500は、移動可能な機器の前方方向が、選択されたフォーカス部分に向けて方向付けられるよう、自らを方向付けるように構成されてもよい。図5(c)の例では、移動可能な機器500は、所定の位置に回転することによって、前方方向が物体502に向くよう自らを方向付ける。

0038

図6(a)は、例示的実装によるフローチャートを示す。このフローチャートでは、移動可能な機器を制御する機器が、図5(b)に示すようなフォーカスする部分を設定するための、選択された部分を受信する。601において、フローは、選択された部分をフォーカスする部分となるよう処理する。新たなフォーカス部分は、360度カメラ又は広角カメラから提供されるカメラ画像から導出され、次に、図3及び図4のフローに基づいて処理される。602において、フローは、図3及び図4のフローに従って、新たなフォーカスされた部分に基づいてカメラ画像からコンテクスト部分を決定する。603において、移動可能な機器の前方方向を、選択された部分に基づく方向に向けるための命令が、移動可能な機器に送信されてもよい。例示的実装では、移動可能機器の前方方向が選択された部分になるように、移動可能な機器が自らの方向を変更している間に、移動可能な機器を移動させるための入力が受信された場合、移動可能な機器は、方向付けが完了するまで待ち、その後、入力に基づいて移動を開始するように更に構成されてもよい。このようにして、移動可能な機器の操作者は、移動可能な機器を移動させるための入力が行われる場合に、提供されるカメラビューが前面ビューであることが保証され、そして、移動可能機器が、カメラビューに従って自らの方向を変更するための回転が完了するまで、移動命令保留することが保証され得る。

0039

図6(b)は、例示的実装によるフローチャートを示す。一例示的実装では、移動可能な機器が、移動可能な機器の前方方向を、選択されたフォーカス部分に向くように向きを変更している間に、移動可能な機器を移動させるための入力が機器に対して行われる。この処理の間、611において、機器は、移動可能な機器の前方方位に基づいて、移動可能な機器からのカメラ画像をフォーカス部分及びコンテクスト部分に処理する。612において、機器は、新たに処理されたフォーカス部分及びコンテクスト部分に基づいてディスプレイを調節する。613において、機器は次に、入力に基づいて移動するよう移動可能な機器に命令する。この例示的実装では、入力を受信するとディスプレイは直ちに変化して、フォーカス部分を直接、移動可能な機器の現在の前方方位に、及びコンテクスト部分を、移動可能な機器の前方方位の周りに変更し、次に、移動可能な機器が入力に従って移動される。

0040

図6(c)は、例示的実装によるフローチャートを示す。例示的実装では、移動可能な機器の前方方向が、選択されたフォーカス部分を向いているようにするために、移動可能な機器が自らの向きを変更している間に、移動可能な機器を移動させるための入力が行われる。621において、機器は、移動させるための入力に従って、移動可能な機器からのカメラ画像をフォーカスされた部分及びコンテクスト部分に処理する。622において、機器は、移動させるための入力に基づいて、前方方位の指示を更新する。この例示的実装では、移動可能な機器の前方方位を示すための指示がディスプレイ上に提供される。移動可能な機器を移動させるための入力が行われた場合、移動可能な機器はその前方方位に従って移動する。しかし、選択されたフォーカス部分のパースペクティブは維持され、移動可能な機器の前方方位がどこに操作されたかを示すように、指示が更新される。従って仮想ビューは、カメラに基づいて、移動可能な機器が選択された方向に移動したかのように変更される。この例示的実装では、移動可能な機器は、静止したままであるように、かつ移動可能な機器が入力に従って移動したかのようにフォーカス部分及びコンテクスト部分上にズームインするように更に構成されてもよい。

0041

図7は、例示的実装による、移動可能な機器の例示的ハードウェア図を示す。移動可能な機器700は、プロセッサ701と、メモリ702と、ベースバンドプロセッサを有する通信インタフェース703と、1つ以上のカメラ704と、1つ以上のアクチュエータ705とを含んでもよい。メモリ702は、例えば図7に示すようなフローチャートを実行するためにプロセッサ701内にロードされてもよい命令を記憶してもよい。通信インタフェース703は、図6(a)〜図6(c)に示すように図8の機器から命令を受信し、プロセッサによる実行のために命令をメモリ702内に記憶するように構成されてもよい。カメラ704は、図3及び図4に示すフォーカスアンドコンテクスト処理に好適なカメラ画像を取得するための、360度カメラ又は広角カメラなどのカメラを含んでもよく、カメラ画像は、通信インタフェース703を介して図8の機器に送り返される。アクチュエータ705は、移動可能な機器700を操縦し、移動させるように構成されてもよい。例示的実装では、移動可能な機器700は、移動可能なロボットであってもよいが、所望の実装に応じてその他の実装も可能である。例えば、移動可能な機器700は、可動カメラを介した監視を提供するセキュリティカメラアレイであってもよく、これにより、所望の実装に応じて1つ以上のカメラ704が移動可能になる。

0042

図8は、別の移動可能な機器を操縦する機能を容易にする機器などの、一部の例示的実装における使用に好適な例示的コンピュータ装置を有する、例示的コンピューティング環境を示す。コンピューティング環境800内のコンピュータ装置805は、1つ以上の処理ユニットコア、又はプロセッサ810、メモリ815(例えば、RAM、ROMなど)、内部記憶装置820(例えば、磁気、光、半導体記憶装置、及び/又は有機)、及び/又は、I/Oインタフェース825を含んでもよく、これらのいずれも、情報を通信するための通信機構又はバス830上で結合されるか、又はコンピュータ装置805内に組み込まれてもよい。

0043

コンピュータ装置805は、入力/ユーザインタフェース835、及び出力装置/インタフェース840に通信可能に結合されてもよい。入力/ユーザインタフェース835、及び出力装置/インタフェース840のうちの一方又は両方は、有線又は無線インタフェースであってもよく、着脱可能であってもよい。入力/ユーザインタフェース835は、入力(例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティングカーソル制御マイクロフォン、カメラ、ブライユ点字運動センサ光学式読取装置など)を提供するために使用され得る物理的又は仮想的な任意の装置、構成要素、センサ、又はインタフェースを含んでもよい。出力装置/インタフェース840は、ディスプレイ、テレビ、モニタ、プリンタスピーカ、ブライユ点字などを含んでもよい。一部の例示的実装では、入力/ユーザインタフェース835、及び出力装置/インタフェース840は、コンピュータ装置805に組み込まれるか、又は物理的に結合されてもよい。他の例示的実装では、他のコンピュータ装置が、コンピュータ装置805のための入力/ユーザインタフェース835、及び出力装置/インタフェース840として機能するか、又はその機能を提供してもよい。

0044

コンピュータ装置805の例としては、以下に限定されないが、高移動性装置(例えば、スマートフォン、車両及びその他のマシン内の装置、人及び動物によって運ばれる装置など)、移動性装置(例えば、タブレット、ノートブックラップトップパーソナルコンピュータ携帯型テレビラジオなど)、及び移動性のために設計されていない装置(例えば、デスクトップコンピュータ、その他のコンピュータ、情報キオスク、1つ以上のプロセッサが組み込まれた及び/又は結合されたテレビ、ラジオなど)が含まれ得る。

0045

コンピュータ装置805は、外部記憶装置845に、並びに、同じ又は異なる構成の1つ以上のコンピュータ装置を含む任意の数のネットワーク接続された構成要素、装置、及びシステムと通信するためのネットワーク850に、(例えばI/Oインタフェース825を介して)通信可能に結合されてもよい。コンピュータ装置805又は任意の接続されたコンピュータ装置は、サーバクライアントシンサーバ、汎用マシン、専用マシン、又は別のもの(anotherlabel)として機能してもよく、又はそのサービスを提供してもよく、又はそのように呼ばれてもよい。

0046

I/Oインタフェース825は、以下に限定されないが、コンピューティング環境800内の少なくとも全ての接続された構成要素、装置、及びネットワークとの間で情報を通信するための、任意の通信又はI/Oプロトコル又は標準(例えば、イーサネット登録商標)、802.11x、ユニバーサルシステムバス、WiMax、モデムセルラネットワークプロトコルなど)を使用する有線及び/又は無線インタフェースを含んでもよい。ネットワーク850は、任意のネットワーク又はネットワークの組み合わせ(例えば、インターネット、ローカルエリアネットワークワイドエリアネットワーク電話ネットワーク、セルラネットワーク、衛星ネットワークなど)であってもよい。

0047

コンピュータ装置805は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能又はコンピュータ読み取り可能媒体を使用すること、及び/又はそれらを使用して通信を行うことが可能である。一時的媒体は、伝送媒体(例えば、金属ケーブル光ファイバ)、信号、搬送波などを含む。非一時的媒体は、磁気媒体(例えば、ディスク、及びテープ)、光媒体(例えば、CD ROM、デジタルビデオディスクブルーレイディスク)、半導体媒体(例えば、RAM、ROM、フラッシュメモリ、半導体記憶装置)、及びその他の不揮発性記憶装置又はメモリを含む。

0048

コンピュータ装置805は、一部の例示的コンピューティング環境内で、技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取り出されてもよく、非一時的媒体上に記憶されてそこから取り出されてもよい。実行可能命令は、1つ以上の任意のプログラミングスクリティング、及び機械言語(例えば、C、C++、C#、Java(登録商標)、Visual Basic、Python、Perl、JavaScript(登録商標)など)に由来するものであってもよい。

0049

プロセッサ(1つ又は複数)810は、ネイティブ又は仮想環境において、任意のオペレーティングシステム(OS)(図示せず)の下で実行可能である。論理ユニット860と、アプリケーションプログラミングインタフェースAPI)ユニット865と、入力ユニット870と、出力ユニット875と、様々なユニットが互いに通信するための、及びOS、他のアプリケーション(図示せず)と通信するためのユニット間通信機構895とを含む、1つ以上のアプリケーションが配備されてもよい。説明したユニット及び要素は、設計、機能、構成、又は実装において変更可能であり、提供された説明に限定されない。

0050

一部の例示的実装では、情報又は実行命令がAPIユニット865によって受信された場合、その情報又は実行命令は1つ以上の他のユニット(例えば、論理ユニット860、入力ユニット870、出力ユニット875)に通信されてもよい。場合によっては、上述のいくつかの例示的実装において、論理ユニット860は、ユニット間の情報の流れを制御し、APIユニット865、入力ユニット870、出力ユニット875によって提供されるサービスを指揮するように構成されてもよい。例えば、1つ以上のプロセス又は実装の流れは、論理ユニット860のみによって、又はAPIユニット865と連携して制御されてもよい。入力ユニット870は、例示的実装において説明した計算のための入力を取得するように構成されてもよく、出力ユニット875は、例示的実装において説明した計算に基づく出力を提供するように構成されてもよい。

0051

プロセッサ(1つ又は複数)810は、移動可能な機器700からのカメラ画像を受信し、それらを図3及び図4のフロー図に従って、フォーカスされた部分である第1の領域、及びコンテクスト部分である第2の領域のために処理するように構成されてもよい。プロセッサ(1つ又は複数)810は、図3及び図4のフロー図に従って、フォーカスされた部分の周りで、カメラ画像のコンテクスト部分をゆがめる処理を実行してもよい。プロセッサ(1つ又は複数)810はまた、移動可能な機器700に、受信された移動命令に従って図6(a)〜図6(c)に示したように移動するよう命令するように構成されてもよい。従って例示的実装では、プロセッサ(1つ又は複数)は、移動可能な機器からの1つ以上のカメラ画像のそれぞれを第1の領域及び第2の領域に処理してもよく、第2の領域は第1の領域を囲むゆがめられた画像であり、第1の領域は1つ以上のカメラ画像のそれぞれの中央領域であり、第1の領域と第2の領域との間の連続性を提供するために、第1の領域及び第2の領域は連続歪み関数によって生成される。例示的実装では、所望の実装に応じて、連続歪み関数による画像の処理は、移動可能な機器700によって行われてもよい。

0052

プロセッサ(1つ又は複数)810はまた、受信された入力に基づいてカメラ画像の別の部分がフォーカスされた部分であるようにするための、入力を受信するように命令されてもよい。入力は入力インタフェース835を介して行われてもよく、フォーカスされた部分は選択された部分であるように更新される。コンテクスト部分も、選択されフォーカスされた部分に基づいて更新される。更なる例示的実装では、プロセッサ(1つ又は複数)810はまた、移動可能な機器700の前方方位を示すための指示をディスプレイ上に提供するように構成されてもよい。

0053

詳細な説明のいくつかの部分は、コンピュータ内部の動作のアルゴリズム及び記号表現によって示されている。これらのアルゴリズム的記述及び記号表現は、データ処理技術の当業者によって自身のイノベーションの本質を他の当業者に伝達するために使用される手段である。アルゴリズムは、所望の最終状態又は結果をもたらす一連の定義されたステップである。例示的実装では、実行されるステップは、具体的な結果を達成するために具体的な量の物理的操作を必要とする。

0054

特に明記しない限り、説明から明らかなように、本明細書を通じて、「処理(processing)」、「演算(computing)」、「計算(calculating)」、「判定(determining)」、「表示(displaying)」などのような用語を利用する説明は、コンピュータシステムレジスタ及びメモリの内部で物理的(電子的)量として表されるデータを操作して、コンピュータシステムのメモリ又はレジスタあるいはその他の情報記憶伝送、又は表示装置の内部で物理的量として同様に表される他のデータに変換する、コンピュータシステム又はその他の情報処理装置の動作及び処理を含み得るということが理解される。

0055

例示的実装はまた、本明細書における動作を実行するための機器に関する。この機器は、必要な目的のために特別に構築されてもよく、又は1つ以上のコンピュータプログラムによって選択的に作動又は再構成される1つ以上の汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体又はコンピュータ読み取り可能な信号媒体などの、コンピュータ読み取り可能媒体内に記憶されてもよい。コンピュータ読み取り可能な記憶媒体は、以下に限定されないが、光ディスク磁気ディスク読み取り専用メモリランダムアクセスメモリ半導体装置及びドライブなどの有形媒体、あるいは電子情報を記憶するのに適した任意のその他のタイプの有形又は非一時的媒体を含んでもよい。コンピュータ読み取り可能な信号媒体は、搬送波などの媒体を含んでもよい。本明細書中に示すアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又はその他の機器にも本来的に関連するものではない。コンピュータプログラムは、所望の実装の動作を実行する命令を含む純粋なソフトウェア実装を含んでもよい。

0056

様々な汎用システムが、本明細書中の例によるプログラム及びモジュールと共に使用されてもよく、又は所望の方法ステップを実行するためのより特化された機器を構築することが好都合であることが判明する場合がある。加えて、例示的実装は、いずれかの特定のプログラミング言語準拠して説明されてはいない。様々なプログラミング言語が、本明細書中で説明した例示的実装の教示を実装するために使用されてもよいということが理解されるであろう。プログラミング言語(1つ又は複数)の命令は、1つ以上の処理装置、例えば中央処理ユニット(CPU)、プロセッサ、又はコントローラによって実行されてもよい。

0057

当技術分野において周知であるように、上述の動作はハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの何らかの組み合わせによって実行されてもよい。例示的実装の様々な態様は、回路及び論理デバイス(ハードウェア)を使用して実装されてもよく、他の態様は、プロセッサによって実行された場合に本出願の実装を実行する方法をプロセッサに実行させる、機械読み取り可能媒体上に記憶された命令(ソフトウェア)を使用して実装されてもよい。更に、本出願の一部の例示的実装はハードウェアのみにおいて実行されてもよく、他の例示的実装はソフトウェアのみにおいて実行されてもよい。その上、記載された様々な機能は、単一のユニット内で実行されてもよく、又は様々な手法で複数の構成要素にわたって分散されてもよい。ソフトウェアによって実行される場合、方法は、コンピュータ読み取り可能媒体上に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。所望される場合、命令は、圧縮及び/又は暗号化された形式で媒体上に記憶されてもよい。

0058

その上、本明細書の検討及び本出願の教示の実施から、本出願の他の実装は当業者にとって明らかであろう。記載された例示的実装の様々な態様及び/又は構成要素は、単独で、又は任意の組み合わせにおいて使用されてもよい。本明細書及び例示的実装は例としてのみ考慮されることが意図されており、本出願の真の範囲及び精神は特許請求の範囲によって示される。

0059

500 移動可能な機器
501物体
502 物体
503ディスプレイ
700 移動可能な機器
701プロセッサ
702メモリ
703通信インタフェース
704カメラ
705アクチュエータ
800コンピューティング環境
805コンピュータ装置
810 プロセッサ
815 メモリ
820内部記憶装置
825 I/Oインタフェース
830バス
835 入力/ユーザインタフェース
840出力装置/インタフェース
845外部記憶装置
850ネットワーク
860論理ユニット
865APIユニット
870入力ユニット
875出力ユニット
895ユニット間通信機構

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ