図面 (/)

この項目の情報は公開日時点(2017年4月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

実施態様は、医療処置トレーニングのための医療シミュレーションに関する。いくつかの実施態様では、システムは、少なくとも1つのプロセッサを有するシミュレーション処理コンポーネントを含み、このプロセッサは、物理手術部位に対する物理的手術用器具の位置及び構成の少なくとも一方を表す位置信号を使用して仮想環境を生成する。シミュレーション処理コンポーネントは、位置信号の変化に応じて及びシステムのユーザによる入力に対応する制御信号に応じて、仮想環境を更新する。更新は、仮想環境内仮想手術用器具を移動させることを含み、仮想手術用器具と仮想手術部位との相互作用は、物理的手術用器具と物理的手術部位との間の物理的関係によって少なくとも部分的に規定される。シミュレーション処理コンポーネントは、仮想環境の現在の状態を示すシミュレーション状態信号の表現を出力する。

概要

背景

患者への医療処置は、1人又は複数の医療関係者による様々な異なるタスクを含むことができる。いくつかの医療処置は、遠隔操作医療装置を含む1つ又は複数の装置を使用して行われる最小侵襲性外科処置である。いくつかのこのようなシステムでは、外科医は、コンソールを介して制御装置を操作し、手術や他の処置を行うために患者と相互作用する手術用器具遠隔で且つ正確に制御する。いくつかのシステムでは、様々な他の構成要素をシステムに使用して、処置を行うこともできる。例えば、手術用器具を、患者の近く又はこの上に位置付けされる別個器具装置又はカート上に設けることができ、映像出力装置及び他の設備及び装置を、1つ又は複数の追加のユニットに設けることができる。

システムは、特定のタイプのトレーニングを遠隔操作医療システムの使用に提供するように開発されてきた。例えば、実際の他のシステムコンポーネントの代わりに、シミュレータユニット外科医コンソールに結合して、処置を行うシミュレーションを外科医に提供することができる。このようなシステムでは、外科医は、シミュレートされた器具がコンソール制御の操作にどの様に応答するかを学ぶことができる。

しかしながら、外科医や他の様々な人員は、医療処置中に遠隔操作医療システムの他の構成要素でタスクを実行することができる。例えば、助手が、遠隔操作アーム及び器具ユニットの器具を正しい位置に移動及び位置付けすることができ、この移動及び位置付けは、処置に重大な影響を与えることがある。処置中に必要とされる情報を迅速に見つけることができるのは、助手にとって有益となり得る。
また、外科医及び助手によるそのようなタスクのトレーニング及び能力定量化することは有益となり得、それによってそのような人員が進捗状況を追跡し、能力を向上させることが可能になる。

概要

実施態様は、医療処置トレーニングのための医療シミュレーションに関する。いくつかの実施態様では、システムは、少なくとも1つのプロセッサを有するシミュレーション処理コンポーネントを含み、このプロセッサは、物理手術部位に対する物理的手術用器具の位置及び構成の少なくとも一方を表す位置信号を使用して仮想環境を生成する。シミュレーション処理コンポーネントは、位置信号の変化に応じて及びシステムのユーザによる入力に対応する制御信号に応じて、仮想環境を更新する。更新は、仮想環境内仮想手術用器具を移動させることを含み、仮想手術用器具と仮想手術部位との相互作用は、物理的手術用器具と物理的手術部位との間の物理的関係によって少なくとも部分的に規定される。シミュレーション処理コンポーネントは、仮想環境の現在の状態を示すシミュレーション状態信号の表現を出力する。

目的

システムは、特定のタイプのトレーニングを遠隔操作医療システムの使用に提供する

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

少なくとも1つのプロセッサを含むシミュレーション処理コンポーネントを有するシステムであって、前記シミュレーション処理コンポーネントは、物理手術部位に対する物理的手術用器具の位置及び構成の少なくとも一方を表す位置信号を使用して仮想環境を生成し、前記シミュレーション処理コンポーネントは、前記位置信号の変化に応じて及び当該システムのユーザによる入力に対応する制御信号に応じて前記仮想環境を更新し、前記仮想環境の更新は、前記仮想環境内仮想手術用器具を移動させることを含み、前記仮想手術用器具と前記仮想環境の仮想手術部位との相互作用は、前記物理的手術用器具と前記物理的手術部位との間の物理的関係によって少なくとも部分的に規定され、前記シミュレーション処理コンポーネントは、前記仮想環境の現在の状態を示すシミュレーション状態信号の表現を出力する、システム。

請求項2

前記物理的手術用器具は、完全に機能できないダミー器具を含む、請求項1に記載のシステム。

請求項3

前記物理的手術部位は、解剖学的モデルを含む、請求項1に記載のシステム。

請求項4

前記解剖学的モデルは、該解剖学的モデルに対する前記物理的手術用器具の位置を示すセンサ信号を前記シミュレーション処理コンポーネントに出力するように動作する少なくとも1つのセンサを含む、請求項3に記載のシステム。

請求項5

前記解剖学的モデルは、前記解剖学的モデルに対するカニューレの位置を示すセンサ信号を前記シミュレーション処理コンポーネントに出力するように動作する少なくとも1つのセンサを含む、請求項3に記載のシステム。

請求項6

前記シミュレーション処理コンポーネントに出力される制御信号を生成するために、前記ユーザによって操作可能な少なくとも1つの入力制御を含む制御コンソールをさらに含む、請求項1に記載のシステム。

請求項7

前記シミュレーション処理コンポーネントに結合され且つ前記シミュレーション状態信号の表現を視覚的に表示すように構成される表示装置をさらに含む、請求項1に記載のシステム。

請求項8

画像取込み装置を使用して取り込まれた前記物理的手術部位の画像を視覚的に表示すように構成された表示装置をさらに含む、請求項1に記載のシステム。

請求項9

前記物理的手術用器具に結合される遠隔操作医療装置をさらに含み、前記シミュレーション処理コンポーネントは、前記遠隔操作医療装置の要素の位置を決定し、該要素の位置を基準位置と比較し、フィードバック情報を前記ユーザに出力する、請求項1に記載のシステム。

請求項10

方法であって、当該方法は、少なくとも1つのプロセッサを含むシミュレーション処理コンポーネントを使用してシミュレートされた医療処置を調整するステップと、前記シミュレートされた医療処置の間に、少なくとも1人の研修生によって移動された遠隔操作医療装置の1つ又は複数の要素の1つ又は複数の位置に基づく位置信号を受信するステップであって、前記1つ又は複数の要素は、前記シミュレートされた医療処置を実行するために、物理的手術部位に対して物理的に位置付け可能である、受信するステップと、前記遠隔操作医療装置からの位置信号の統合を含む、前記シミュレートされた医療処置の現在の状態を示すシミュレーション状態信号を前記位置信号に基づいて決定するステップと、前記シミュレーション状態信号の表現を出力するように動作する少なくとも1つの出力装置に前記シミュレーション状態信号を送るステップと、を含む方法。

請求項11

前記位置信号は、シミュレートされたセットアップ手順で受信され、前記遠隔操作医療装置の1つ又は複数の要素のそれぞれが、マニピュレータアームと、手術用器具の少なくとも一部とを含み、前記マニピュレータアーム及び前記手術用器具の一部は、前記セットアップ手順の間のセットアップタスクで少なくとも1人の研修生によって空間内に位置付けされる、請求項10に記載の方法。

請求項12

前記位置信号は、少なくとも1人の研修生によって前記シミュレートされたセットアップ手順に従って実行される1つ又は複数の外科タスクを含むシミュレートされた外科手術で受信され、前記遠隔操作医療装置の1つ又は複数の要素は、前記遠隔操作医療装置に結合された外科医コンソールによって提供される制御信号に基づいて移動する、請求項11に記載の方法。

請求項13

前記シミュレートされた外科手術は、前記シミュレートされたセットアップ手順から得られた前記遠隔操作医療装置の構成に基づいている、請求項12に記載の方法。

請求項14

前記シミュレーション状態信号は、少なくとも1つの前記手術用器具の少なくとも端部の仮想表現を含む仮想環境を前記少なくとも1つの出力装置に表示させるデータを含む、請求項12に記載の方法。

請求項15

前記セットアップ手順の間に、前記セットアップタスクを監視及び記録するステップと、前記セットアップタスクを基準タスクと比較して、前記セットアップ手順の能力を評価するステップと、該評価した能力に基づいて、前記セットアップ手順の間に、リアルタイムフィードバック情報を前記少なくとも1人の研修生に出力するステップと、をさらに含む、請求項11に記載の方法。

請求項16

方法であって、当該方法は、シミュレートされた医療処置においてシミュレートされた物理的手術部位に対する1つ又は複数の物理的手術用器具の位置を示す位置信号を受信するステップと、前記位置信号に基づいて、仮想環境を更新するステップであって、該仮想環境は、前記物理的手術部位に対応する仮想手術部位を実現する、更新するステップと、ユーザによる制御コンソールの1つ又は複数の入力制御の操作を示す制御信号を前記制御コンソールから受信ステップと、前記制御信号に基づいて、前記仮想環境を更新するステップであって、該更新するステップは、前記仮想環境内で1つ又は複数の仮想手術用器具を移動させるステップを含み、前記仮想器具と前記仮想手術部位との相互作用は、前記物理的手術部位に対する前記1つ又は複数の物理的手術用器具の位置に基づくものである、更新するステップと、シミュレーション状態信号を少なくとも1つの出力装置に出力して、前記シミュレーション状態信号の表現の出力を生じさせるステップであって、前記シミュレーション状態信号は、前記仮想環境の現在の状態を示す、ステップと、を含む、方法。

請求項17

前記1つ又は複数の物理的手術用器具は、遠隔操作医療装置の関連するマニピュレータアームに結合され、前記物理的手術用器具及び前記マニピュレータアームは、前記制御コンソールからの制御信号によって遠隔操作される、請求項16に記載の方法。

請求項18

前記1つ又は複数の物理的手術用器具は、1人以上のユーザによって物理的な解剖学的モデルに対して手動で操作され、前記解剖学的モデルは、前記1つ又は複数の物理的手術用器具を感知するとともに前記位置信号を提供する1つ又は複数のセンサを含む、請求項16に記載の方法。

請求項19

前記位置信号は、前記シミュレートされた医療処置の外科タスク前に行われるシミュレートされたセットアップ手順で受信され、遠隔操作医療装置の1つ又は複数の要素のそれぞれが、マニピュレータアームと、手術用器具の少なくとも一部とを含み、前記マニピュレータアーム及び前記手術用器具の一部は、前記セットアップ手順の間にセットアップタスクにおいて配置される、請求項16に記載の方法。

請求項20

前記セットアップ手順の間に前記セットアップタスクを監視及び記録するステップと、前記セットアップタスクを基準タスクと比較して、前記セットアップ手順の能力及び結果を評価するステップと、該評価した能力に基づいて、前記セットアップ手順の間に、リアルタイムフィードバック情報を前記少なくとも1人の研修生に出力するステップと、をさらに含む、請求項19に記載の方法。

請求項21

前記位置信号は、1つ又は複数の外科タスクを含むシミュレートされた外科手術で受信され、前記遠隔操作医療装置の1つ又は複数の要素は、前記遠隔操作医療装置に結合された外科医コンソールによって提供される制御信号に基づいて移動する、請求項17に記載の方法。

請求項22

前記少なくとも1つの出力装置は、それぞれが仮想環境を表示す複数の表示装置を含み、前記表示装置の1つが、外科医コンソールに設けられ、前記表示装置の別の1つが、前記外科医コンソールから分離したビジョンカートに設けられる、請求項16に記載の方法。

技術分野

0001

開示される特徴は、医療用トレーニング設備及びその方法に関し、より具体的には、低侵襲性外科処置及び技術のトレーニングに使用される医療トレーニング設備及びその方法に関する。

背景技術

0002

患者への医療処置は、1人又は複数の医療関係者による様々な異なるタスクを含むことができる。いくつかの医療処置は、遠隔操作医療装置を含む1つ又は複数の装置を使用して行われる最小侵襲性外科処置である。いくつかのこのようなシステムでは、外科医は、コンソールを介して制御装置を操作し、手術や他の処置を行うために患者と相互作用する手術用器具遠隔で且つ正確に制御する。いくつかのシステムでは、様々な他の構成要素をシステムに使用して、処置を行うこともできる。例えば、手術用器具を、患者の近く又はこの上に位置付けされる別個器具装置又はカート上に設けることができ、映像出力装置及び他の設備及び装置を、1つ又は複数の追加のユニットに設けることができる。

0003

システムは、特定のタイプのトレーニングを遠隔操作医療システムの使用に提供するように開発されてきた。例えば、実際の他のシステムコンポーネントの代わりに、シミュレータユニット外科医コンソールに結合して、処置を行うシミュレーションを外科医に提供することができる。このようなシステムでは、外科医は、シミュレートされた器具がコンソール制御の操作にどの様に応答するかを学ぶことができる。

0004

しかしながら、外科医や他の様々な人員は、医療処置中に遠隔操作医療システムの他の構成要素でタスクを実行することができる。例えば、助手が、遠隔操作アーム及び器具ユニットの器具を正しい位置に移動及び位置付けすることができ、この移動及び位置付けは、処置に重大な影響を与えることがある。処置中に必要とされる情報を迅速に見つけることができるのは、助手にとって有益となり得る。
また、外科医及び助手によるそのようなタスクのトレーニング及び能力定量化することは有益となり得、それによってそのような人員が進捗状況を追跡し、能力を向上させることが可能になる。

課題を解決するための手段

0005

本出願の実施態様は、医療処置トレーニングのための医療シミュレーションに関する。いくつかの例では、システムは、少なくとも1つのプロセッサを含み、物理手術部位に対する物理的手術用器具の位置及び構成の少なくとも一方を表す位置信号を使用して仮想環境を生成するシミュレーション処理コンポーネントを含む。シミュレーション処理コンポーネントは、位置信号の変化に応じて及びシステムのユーザによる入力に対応する制御信号に応じて、仮想環境を更新する。仮想環境の更新は、仮想手術用器具を仮想環境内で移動させることを含み、仮想環境での仮想手術用器具と仮想手術部位との相互作用は、物理的手術用器具と物理的手術部位との間の物理的な関係によって少なくとも部分的に規定される。シミュレーション処理コンポーネントは、仮想環境の現在の状態を示すシミュレーション状態信号の表現を出力する。様々な実施態様は、ダミー器具、解剖学的モデル制御コンソール表示装置、遠隔操作医療装置、及び/又は他の変形形態を含むことができる。

0006

いくつかの実装例では、本方法は、シミュレーション処理コンポーネントを使用してシミュレートされた医療処置を調整するステップと、シミュレートされた医療処置中に、少なくとも1人の研修生によって移動された遠隔操作医療装置の要素の1つ又は複数の位置に基づいた位置信号を受信するステップとを含む。要素は、シミュレートされた医療処置を行うために、物理的手術部位に対して物理的に位置付け可能である。シミュレーション状態信号は、位置信号に基づいて決定され、シミュレーション状態信号は、遠隔操作医療装置からの位置信号の統合を含むシミュレートされた医療処置の現在の状態を示す。シミュレーション状態信号は、シミュレーション状態信号の表現を出力するように動作する少なくとも1つの出力装置に送られる。本方法の様々な実施態様は、研修生によって実行されるセットアップタスクについてのシミュレートされたセットアップタスクの位置信号及び/又はこのシミュレートされたセットアップ手順に従ったシミュレートされた外科手術の位置信号を受信するステップと、タスクを実行する少なくとも1つの研修生にリアルタイムフィードバック情報を出力するステップと、及び他の変形形態を含む。

0007

いくつかの例示的な実施態様では、本方法は、シミュレートされた医療処置においてシミュレートされた物理的手術部位に対する1つ又は複数の物理的手術用器具の位置を示す位置信号を受信するステップを含む。仮想環境は、位置信号に基づいて更新され、仮想環境は、物理的手術部位に対応する仮想手術部位を実現する。制御信号は、制御コンソールから受信され、ユーザによる制御コンソールの1つ又は複数の入力制御の操作を示す。本方法は、1つ又は複数の仮想手術用器具を仮想環境内で移動させることを含む制御信号に基づいて、仮想環境を更新する。仮想器具と仮想手術部位との相互作用は、物理的手術部位に対する1つ又は複数の物理的手術用器具の位置に基づいている。シミュレーション状態信号が、シミュレーション状態信号の表現の出力を発生させる少なくとも1つの出力装置に出力され、シミュレーション状態信号は、仮想環境の現在の状態を示す。本方法の様々な実施態様は、遠隔操作医療装置の関連するマニピュレータアームに結合される物理的手術用器具、又は1人以上のユーザによって物理的解剖学的モデルに対して手動で操作される物理的手術用器具、及び他の変形形態を含むことができる。

図面の簡単な説明

0008

いくつかの実施態様に係る遠隔操作医療システムを含む例示的なシミュレーションシステムの概略図である。
シミュレーション処理コンポーネントの一例及びシミュレーションシステムの他の構成要素との通信を示すブロック図である。
本明細書に記載される1つ又は複数の実施態様に係るシミュレートされたセットアップ手順を提供する例示的な方法を示すフロー図である。
本明細書に記載される1つ又は複数の実施態様に係るシミュレートされた外科手術を提供する例示的な方法を示すフロー図である。
シミュレートされた医療処置の自動評価に使用することができる例示的なシステムの態様の概略図である。
シミュレーションシステムの1つ又は複数の表示画面に表示させることができるトレーニング画像スクリーンの一例である。
シミュレーションシステムの1つ又は複数の表示画面に表示させることができるトレーニング画像画面の一例である。
本明細書に記載されるいくつかの構成要素の例を含むシミュレーションシステムの一例を示す図である。
図7Aの外科医コンソールに設けられた例示的な表示画面を示す図である。
例示的な遠隔操作医療装置及び解剖学的モデルの斜視図である。
本明細書に記載されるいくつかの構成要素の例を含むシミュレーションシステムの別例を示す図である。
図9Aの外科医コンソールに設けられた例示的な表示画面を示す図である。
解剖学的モデル内で器具を追跡することに関連する例を示す図である。
解剖学的モデル内で器具を追跡することに関連する例を示す図である。
解剖学的モデル内で器具を追跡することに関連する例を示す図である。
遠隔操作手術用器具と手動手術用器具との両方の使用を含むシミュレートされた医療処置における解剖学的モデルの使用の一例の概略図である。
遠隔操作手術用器具と手動手術用器具との両方の使用を含むシミュレートされた医療処置における解剖学的モデルの使用の一例の概略図である。
図11A図11Bに関する解剖学的モデルを使用するための例示的な方法を示すフロー図である。
手動手術用器具の使用を含むシミュレートされた医療処置における解剖学的モデルの使用の第2の例の概略図である。
手動手術用器具の使用を含むシミュレートされた医療処置における解剖学的モデルの使用の第2の例の概略図である。
図13A図13Bに関する解剖学的モデルを使用するための例示的な方法を示すフロー図である。

実施例

0009

本願は、シミュレートされた外科処置及びトレーニング演習に関する特徴を開示する。シミュレーションシステム及び方法の様々な開示された実施態様は、特定の外科処置についてのシミュレーション設備の位置付け、配置のための現実的なセットアップ手順だけでなく、実際の外科手術のためにこのような設備の現実的な使用を提供及び教示する。シミュレーションは、実際の医療処置の全ての段階に関与する構成要素の一部又は全てを含むことができ、このような処置に何人かの人員を含み、この人員に非常に現実的なトレーニングを提供することができる。これらのシミュレートされた全ての医療処置の間に実行される様々なタスクは、記録及び評価することができ、能力についての適切なフィードバックが提供され、処置の詳細について高度な解析を可能にし、医療処置の全ての機能について研修生が自分のスキルをより効率的に向上させるのを可能にする。本明細書に記載される様々なシミュレーションの特徴によって、ユーザが学び、実践することを可能にし、及びユーザの能力の定量化及びユーザの進捗状況の追跡を可能にする。

0010

いくつかの実施態様について、カリフォルニア州のサニベールの、Intuitive Surgical社により市販されているda Vinci(登録商標手術システム(例えば、da Vinci(登録商標)のSiTMHDTM手術システムとして販売されているモデルIS3000)等の遠隔操作医療システムを使用して説明する。しかしながら、知識のある者は、本明細書に開示された特徴は、遠隔操作、及び該当する場合に非遠隔操作(例えば、手動の)実施形態及び実装態様を含む様々な方法で具現化し且つ実施できることは理解されよう。da Vinci(登録商標)手術システム(例えば、da Vinci(登録商標)STMDTM手術システムとして市販されているモデルIS3000;モデルIS2000)での実施態様は、単なる例示であり、本明細書に開示される本発明の態様の範囲を限定するものとみなすべきではない。

0011

本明細書では、「セットアップ手順」又は「手術セットアップ手順」は、1つ又は複数の後の外科手術を行うためにシステムコンポーネントを構成するセットアップタスクを指す。「外科手術」又は「手術部位処置」は、手術部位での外科タスクを含む実際の外科手術を指す。「シミュレートされた医療処置」又は「シミュレートされた外科処置」は、セットアップ手順及び外科手術を含むシミュレートされた手順全体を指すことができ、又は単にセットアップ手順又は外科手術を含むことができる。用語「遠隔操作医療システム」は、1つ又は複数のマスター制御装置及び1つ又は複数のスレーブ遠隔操作医療装置を使用して外科手術を行うために使用される1つ又は複数の構成要素から構成されるシステムを指す。「遠隔操作医療装置」は、マスター遠隔装置によって制御されるスレーブ装置とすることができ、ユーザにより遠隔操作医療装置から遠隔で操作される制御コンソール又は外科医コンソール等の1つ又は複数のマスター制御装置によって提供される信号に応答して、移動又は操作することができるような、マニピュレータアーム及び/又は手術用器具等の1つ又は複数の要素を含むことができる。「ウェットラボ(wet-lab)」演習は、組織サンプル、ブタモデル、又は解剖用の死体等の実際の(本当の)組織でのあらゆる演習を指す。「ドライラボ(dry-lab)」演習は、(縫合用)フォームワイヤ上のリング等のオブジェクトを使用する「無生物」演習を含む、非組織モデル又はオブジェクトを使用する演習を指す。

0012

図1は、いくつかの実施態様に係る遠隔操作医療システムを含む例示的なシミュレーションシステム100の概略図である。
シミュレーションシステム100を使用することによって、実際の患者を使用せずに、実際の医療処置をシミュレートすることができる。実際のヒト患者に行うことができないあらゆるシミュレートされた医療処置又はトレーニング活動を、シミュレーションシステム100又はその変形形態を使用して行うことができる。例えば、ドライラボ・トレーニングタスク(例えば、無生物演習)及び/又はウェットラボ・トレーニングタスク(例えば、実際の組織、ブタモデル、又は解剖用の死体での演習)のシミュレーションを行うことができる。

0013

図示される例では、シミュレーションシステム100は、シミュレーション処理コンポーネント(又は「処理コンポーネント」)102、外科医コンソール104、患者側カート106、及びビジョン側カート108を含むことができる。本明細書の種々の実施態様で記載されるように、追加的に又は代替的に、他の構成要素をシミュレーションシステム100に含めることができる。
シミュレーション処理コンポーネント102は、シミュレーションシステム100の様々な他の構成要素を含むシミュレーションを統合、制御、及び/又は実施することができる。シミュレーションは、実際の患者が存在している又は実際の患者を手術しているかのようにシステムコンポーネントを含む医療処置環境をシミュレートする。いくつかの実施態様では、シミュレーション処理コンポーネントは、実際の物理的手術部位の1つ又は複数の要素を表す仮想手術部位を含む仮想環境の表示を実現し及び制御する。いくつかの実施形態は、物理的モデル及び/又はオブジェクトを含む物理的手術部位を含むことができる。

0014

いくつかの実施態様では、処理コンポーネント102は、シミュレーションシステムのシミュレーション構成要素を統合し、及び/又はシミュレートされた医療処置中に得られたパラメータ監視及び記録することができる。
シミュレーションは、インタラクティブなものであり、シミュレーション内のこれらの構成要素のユーザ操作に基づいて、システムの他の構成要素から多数の入力を受信するシミュレーション処理コンポーネント102が含まれる。シミュレーション処理コンポーネントは、それらの入力に基づいて多数の出力も提供し、ここで、この出力によって、シミュレーションシステムの構成要素を統合することができ、且つシステム100の1つ又は複数の構成要素に設けられた異なるタイプの出力装置(表示画面、音声スピーカモータ等)のいずれかを介してシステムのユーザにその出力を提供することができる。例えば、シミュレーション処理コンポーネントは、1つ又は複数の出力装置に提供されるシミュレーション状態信号を介してユーザに出力を提供することができる。シミュレーション処理コンポーネントは、このコンポーネントが出力する信号によってユーザにフィードバック情報を提供することもできる。

0015

シミュレーション状態信号は、1つ又は複数のシステムコンポーネントからの入力(例えば、影響)の統合を含むシミュレートされた医療処置の現在の状態を示すことができる。シミュレートされた医療処置の現在の「状態」は、シミュレーションシステムの構成要素の入力によって影響を受けるような、医療処置のパフォーマンスにおける進捗状況やステータスの現在位置である。例えば、いくつかの実施態様では、シミュレーション状態信号は、物理的手術部位に対する患者側カート106の遠隔操作医療装置の遠隔操作される物理的手術用器具の現在位置を示すことができ、ここで、これらの現在の器具位置は、例えばセットアップ手順において、シミュレートされた医療処置の部位に対して手術用器具を位置付けする際の現在の進捗状況を示す。例えば、シミュレーション状態信号は、ある器具と他の器具や表面との衝突、又は構成要素の誤配置等の医療処置のイベントも示すことができる。いくつかの実施態様では、シミュレートされた医療処置の現在の状態は、シミュレーション処理コンポーネントによって実現される仮想手術部位等の仮想環境の現在の状態を含むことができる。例えば、シミュレーション状態信号は、手術用器具の仮想表現及び現在位置を含む仮想環境を表すデータを含むことができる。シミュレーション状態信号は、外科医コンソール102からの制御入力に基づいて、仮想環境内の仮想手術用器具の現在位置を示すことができ、仮想手術用器具のその位置は、シミュレートされた医療処置の外科タスクの現在の状態を示す。

0016

出力装置(複数可)は、シミュレーション状態信号の表現を出力することができる。この表現は、グラフカル(例えば、完全な視覚画像合成画像、完全なカメラ画像、又はカメラ画像/仮想画像組合せ)、触覚(tactile)、触知(haptic)、聴覚等の様々なタイプの出力を使用して出力することができる。例えば、シミュレートされたセットアップ手順では、出力表現は、物理的器具のグラフィック表現、表示された視覚的な状態、通知、視覚テキストマーカー音声キュー及び他の出力、触覚応答、及び/又は他の出力を含むことができる。シミュレートされた外科手術中に、出力表現は、物理的部位の仮想環境又は画像等の手術部位における表示環境を含むことができる。いくつかの例では、仮想環境の初期状態は、シミュレーション処理コンポーネントによって、様々な制御出力信号を他の構成要素に提供することにより選択することができ、ユーザは、外科医コンソール104及び/又は患者側カート106等の構成要素を介したユーザ入力に基づいた状態シミュレーション信号によって、仮想環境への最新の更新を体験することができる。出力装置(複数可)は、フィードバック情報を提供する信号の表現も出力することができる。

0017

以下に説明するように、シミュレーション処理コンポーネント102は、1つ又は複数のプロセッサ(例えば、マイクロプロセッサ集積回路ロジック、及び/又は他の処理回路)だけでなく、メモリ、入力/出力インターフェイス、及び他の構成要素を使用して実現することができる。いくつかの実施態様では、シミュレーション処理コンポーネント102は、シミュレーションシステム内の他の構成要素から分離している特定の外部ユニット又はスタンドアロン型ユニットとして実現することができる。他の実施態様では、処理コンポーネント102は、シミュレーションシステム100の他の構成要素内に又はこの一部として提供されるか、及び/又はシステム100の多数の他の構成要素内に分散される。

0018

外科医コンソール又は制御コンソール等の1つ又は複数のマスターコンソール104をシステム100に含めて、外科医の研修生等のユーザに手術用器具を遠隔操作することができる入力制御だけでなく、様々な他の制御も提供することができる。外科医コンソール104は、視覚、音声、及び/又は触覚出力装置等の出力装置も含むことができる。ユーザは、コントロールを操作して、制御入力信号をシミュレーション処理コンポーネントに供給する。制御入力信号は、外科医コンソール104から、患者側カート106及び/又はビジョン側カート108等のシミュレーションシステムの1つ又は複数の他の構成要素に提供することもできる。例えば、患者側カート106の遠隔操作されるスレーブ器アームを制御することができ、例えば各手術用器具は、外科医コンソールの1つ又は複数の対応するマスター制御によって作動される。このような遠隔操作医療装置及び手術用器具のいくつかの例について、以下で説明する。

0019

外科医コンソール104は、接続105によって示されるように、シミュレーション処理コンポーネント102と通信する。接続105は、1つ又は複数のワイヤ又はケーブル無線接続等の任意のタイプの通信チャネルとすることができる。外科医コンソール104は、コンソール104のコントロールの操作を示す信号を出力する。例えば、ユーザが、レバー、ジョイスティック、又はダイヤルを動かし、特定のボタン又はタッチスクリーンを選択し、又は他のコントロールを選択した場合に、対応する信号がシミュレーション処理コンポーネント102に提供される。いくつかの実施態様では、これらの信号は、実際の医療処置中に遠隔操作医療システムの患者側カート106及び/又はビジョン側カート108等の他の構成要素に提供される標準信号とすることができ、ここでシミュレーション処理コンポーネント102は、これらの同じ標準信号を処理することができる。他の実施態様では、シミュレーションに特有のシミュレーション信号は、外科医コンソール104によって出力することができる。シミュレーション処理コンポーネント102は、例えば、この入力を使用してシミュレーションの仮想環境を更新することができる。

0020

いくつかの実施態様では、外科医コンソール104は、シミュレーションシステム100の患者側カート106及び/又はビジョン側カート108等の1つ又は複数の構成要素に信号を出力することもできる。例えば、シミュレーション処理コンポーネント100によって受信された信号は、シミュレーション処理コンポーネントによって、これらの他の構成要素に中継することができる。あるいはまた、外科医コンソール104は、接続105と同様のシミュレーションシステムの1つ又は複数の他の構成要素との別個の直接的な接続を有することができる。出力信号によって、シミュレーション処理コンポーネント102を使用しない遠隔操作医療システムにこれらの他の構成要素の動作を同様に駆動させることができる。

0021

また、外科医コンソール104は、シミュレーション処理コンポーネント102から接続105で信号を受信する。これらの受信信号は、実際の医療処置において外科医コンソール104により通常受信される信号を含み、その信号は、ビデオ、音声、及び触覚出力によってシミュレーション状態信号の表現をそのユーザに提供する外科医コンソールの視覚、音声、及び/又は触覚出力装置を更新するために使用されるシミュレーション状態信号を含む。いくつかの実施態様では、これらの信号は、シミュレーション処理コンポーネント102によって生成され、シミュレーション処理コンポーネント102によって提供され且つ外科医コンソールに表示されるシミュレートされた仮想環境の現在の状態を表すことができる。いくつかの実施態様では、受信した信号は、シミュレーション処理コンポーネント102において患者側カート106及び/又はビジョン側カート108から受信した信号等の、シミュレーションシステムの1つ又は複数の他の構成要素によって提供される信号を含み、次にシミュレーション処理コンポーネント102から外科医コンソール104に中継することができる。さらに他の実施態様では、シミュレーション処理コンポーネント102は、1つ又は複数の他の構成要素から信号を受信することができ、シミュレーション処理コンポーネントによって実行されたシミュレーションに基づいて、これらの信号を処理又は変更することができる。処理された信号は、次にその使用のために外科医コンソール104に送ることができる。いくつかの例では、シミュレーション処理コンポーネント102は、手術部位における内視鏡又は他の撮像装置から供給される画像又はビデオ等の、シミュレーションシステムの他の構成要素から受信されたデータと組み合わされる又はこのデータに統合される拡張現実データを作成することができ、組み合わされたデータは、シミュレーション状態信号として外科医コンソール104に送ることができる。いくつかの実施態様では、外科医コンソール104は、接続105と同様のシミュレーションシステムの1つ又は複数の他の構成要素との別個の追加の直接的な接続を有することができ、それらの他の構成要素からシミュレーション処理コンポーネント102を使用しない遠隔操作医療システムに同様に信号を受信する。

0022

いくつかの実施態様では、複数のマスターコンソール104は、シミュレーション処理コンポーネント102と通信することができる。例えば、複数のコンソールは、医療処置中に、専任のユーザによってそれぞれ同時に操作することができ、例えば各ユーザが特定の装置器具を制御し、一人のユーザが手術演習で他のユーザを補助することができる。各外科医コンソール104は、シミュレーション処理コンポーネント102に信号を送ることができ、シミュレーション処理コンポーネントから、例えば仮想環境を表す信号を受信することができる。いくつかのシミュレーションの実施態様は、例えばコンソール104又は他の装置(例えば、システム100の他の制御パネル)の入力制御を介してコントロールを渡すようなコマンドを送ることによって、コンソール104におけるユーザが、1つ又は複数の(仮想及び/又は物理的)手術用器具のコントロールを、又は他の構成要素のコントロール又は入力を別のコンソール104の別のユーザに渡すことが可能になる。いくつかの場合には、各外科医コンソールに適切な信号を、そのコンソールで受信することができ、例えば、特定のコンソールがどの器具を制御するかに基づいて、異なる視覚的視点を各コンソール104におけるシミュレートされた手術部位に出力する。いくつかの実施態様は、複数のコンソール104を有するシミュレーションに特有の機能を含むことができる。例えば、仮想ポインタをコンソール104の表示画面上に生成及び表示することができ、ここで、1つのコンソール104における一人のオペレータ(例えば専門家)が、他のコンソール104における他のオペレータ(例えば、新しい研修生)によって視認されるように表示されるオブジェクトにポインタ及びポイントを制御することができる。

0023

1つ又は複数の患者側カート106は、実際の遠隔操作医療処置中に行われる、被制御装置の現実的な物理的相互作用を提供するために、シミュレーションシステム100に含めることができる。例えば、患者側カート106を操作する研修助手等の1人又は複数のユーザが、遠隔操作医療処置に使用される実際の患者側の装置を使用してシミュレートされた医療処置中にトレーニングを受けることができる。いくつかの研修生(例えば、他の外科医の研修生)は、外科医コンソール104を操作して、遠隔操作物理的アーム又は他の要素及び/又は他の機能を移動させるように患者側カート106を制御するようにトレーニングすることができる。このような機構によって、ユーザがシミュレートされた医療処置中に、現実的に、正確に、且つ効果的にトレーニングを受けることを可能にする。

0024

患者側カート106は、システム100の他の構成要素とは別のスタンドアロン型装置とすることができる。カート106は、様々な異なる機構及び装置を含むことができ、患者への遠隔操作医療手術を可能にする。いくつかの例では、カート106は、複数の被制御マニピュレータアーム114等の1つ又は複数の操作可能な要素を含み、各マニュピュレータアームは、着脱可能に取り付けられた1つ又は複数の手術用器具を有することができる。このようなアーム及びそれら手術用器具は、外科医コンソール104のユーザが器具を操作して医療外科手術を患者に行うことを可能にするように、特定の範囲及び動作モードで駆動することができる。例えば、カート106のアーム及び/又は器具内のアクチュエータ(例えば、モータ)は、コンソール104からの信号により制御することができ、及び器具の運動を駆動して外科タスクを行うことができる。
いくつかの実施態様では、追加の患者側カート106を、シミュレーションに含めることができる。一部の患者側カートは、遠隔操作医療装置を含むことができる一方、他の患者側カートは、他のタイプの装置(他の手術用器具、ビデオディスプレイ手術室手術台等)を含むことができる。さらに、他の患者側カートは、遠隔操作医療装置と非遠隔操作装置との両方を含むことができる。

0025

患者側カート106の研修生のユーザは、カート106を含むセットアップ手順を行い、(例えば、シミュレートされた)手術を行うのを可能にする。例えば、このセットアップ手順は、カートを適切な位置に移動し、各アーム114を適切な位置に移動させる等のタスクを含むことができる。いくつかの実施態様では、患者側カート106のセットアップは、物理的な解剖学的モデル120に関して行うことができる。例えば、解剖学的モデル120は、ヒトの患者又は他の被験体の一部をシミュレートすることができ、患者側カート106の手術用器具を適切に位置付けするのを可能にする種々の機構を含むことができる。いくつかの例では、カート106をさらにセットアップするために、ユーザは、カート106の手術用器具を(例えば、ポート配置によって指定された)解剖学的モデル120の適切な開口部内に配置し、それによって、器具が、モデル120の内部にシミュレートされた物理的手術部位へのアクセスを得る。手術用器具をアーム114に正しく設置する、カート106の特定のコントロールを選択及び操作して必要な機能を有効にする、マニピュレータアームの位置付けを調整して患者とのクリアランスを達成する又は衝突を回避する等の他のセットアップタスクも行うことができる。

0026

患者側カート106は、接続107によって示されるように、シミュレーション処理コンポーネント102と通信する。接続107は、1つ又は複数のワイヤ又はケーブル、無線接続等の任意のタイプの通信チャネルとすることができる。患者側カート106は、アーム114の運動及びアーム114に取り付けられた及び/又は他の方法でカート106に結合された手術用器具の操作等の遠隔操作機能を制御する信号をシミュレーション処理コンポーネント102から受信することができる。また、患者側カート106は、カート106上の視覚、音声、又は他の出力装置からカートのユーザに出力を生成するシミュレーション状態信号(例えば、データ)等の他の信号を受信することができる。いくつかの例では、患者側カート106によって受信される信号は、実現される仮想環境に基づいてシミュレート処理コンポーネント102によって生成することができ、及び/又は外科医コンソールによって提供され、シミュレーション処理コンポーネント102によってカート106を通過させることができる。

0027

患者側カート106は、接続107でシミュレーション処理コンポーネント102にも信号を送る。このような信号は、カート106のセンサによって決定されるようなカート106のアーム114及び手術用器具の位置及び姿勢を含む、カート106の現在の状態を表すデータを含むことができる。例えば、関節位置センサ、サーボモータ位置エンコーダファイバブラッグ格子形状センサ等を使用して、アームマニピュレータに関連する運動学的な情報(位置及び/又は姿勢)を決定することができる。信号は、患者側カート106の内視鏡又は他の撮像器具によって取り込まれた物理的手術部位の視覚画像及び/又は手術部位又はシュミレーションされた患者を表す他の画像(例えば、レンダリングされた超音波画像、患者のバイタルサイン等)を表すデータを含むことができる。カートのユーザの動作やメッセージマイクからの又はカートの装置との相互作用によって生成された音声データ、他の形式のデータを表す入力データ等の他の信号も送ることができる。特定のカート制御、機能等の状態を表す種々の他の信号も送ることができる。いくつかの実施態様では、これらの信号は、実際の医療処置のために遠隔操作医療システムの外科医コンソール104に提供される標準信号とすることができ、ここで、シミュレーション処理コンポーネント102は、これらの同じ標準信号を処理することができる。他の実施態様では、シミュレーションに特有のシミュレーション信号は、患者側カート106によって出力することができる。シミュレーション処理コンポーネント102は、この信号を使用して、例えば、シミュレーションの仮想環境を更新することができる。

0028

いくつかの実施態様では、患者側カート106は、シミュレーション処理コンポーネント102にその信号を送ることができ、コンポーネント102は、外科医コンソールに送信されることに応答して適切な信号を生成する。いくつかのケース又は実施態様では、シミュレーション処理コンポーネントは、カート106から接続125を介して外科医コンソール104に直接的に1つ又は複数の信号を中継することができる。さらに他の実施態様では、患者側カート106は、外科医コンソール104、ビジョン側カート108、及び/又は他のシステムコンポーネントに追加の直接的な接続を有することができる。

0029

いくつかの実施態様では、解剖学的モデル120は、それ自体のセンサを含むことができ、接続107と同様の接続でシミュレーション処理コンポーネント102との間で信号を提供する及び/又は信号を受信することができる。例えば、接続121によって、解剖学的モデル120とシミュレーション処理コンポーネント102との間で信号を提供することができる。あるいはまた、モデル120は、モデル120とシミュレーション処理コンポーネント102との間で信号を中継できる患者側カート106に接続することができる。以下でより詳細に説明するように、モデル120上のこのようなセンサによって、手動手術用器具をシミュレーションにより追跡することが可能になる。
システム100のいくつかの実施態様は、解剖学的モデル120と同様にシミュレーション処理コンポーネント102への接続及び通信を含むことができる(例えば、モデル120を支持する手術台、追加手術や機能のための補助テーブル又はカート等の)他の手術室の設備を含むことができる。例えば、このような他の設備を含むことができ、その使用によって、本明細書に記載のシミュレーションタスク及び手順について評価することができる。

0030

1つ又は複数のビジョン側カート108は、シミュレーションシステムの助手のユーザに出力情報を提供するために、及び/又は視覚及びデータ処理ハードウェア等の設備を保持するために、シミュレーションシステム100のいくつかの実施態様に含めることができる。ビジョン側カート108は、システム100の他の構成要素とは別個のスタンドアロン型装置とすることができる。例えば、いくつかの遠隔操作医療システムでは、ビジョン側カート108は、患者側カート106をセットアップし及び操作する助手等の、助手によって使用することができる。ビジョン側カート108は、表示画面等の1つ又は複数の視覚的な出力装置を含み、医療処置を行う際に有用な様々な情報を出力することができる。例えば、表示画面は、患者側カート106の手術用器具に設けられた内視鏡カメラにより取り込まれた手術部位のビューを表示することができ、助手のユーザが、外科手術のために必要な位置にカメラを調整することが可能になる。表示画面には、外科医コンソールにおいて外科医によって起動された1つ又は複数のコントロールの状態、医療処置に使用される他の装置の状態等の他の出力情報も表示することができる。

0031

ビジョン側カート108は、接続109によって示されるように、シミュレーション処理コンポーネント102と通信する。接続109は、1つ又は複数のワイヤ又はケーブル、無線接続等の任意のタイプの通信チャネルとすることができる。ビジョン側カート108は、シミュレーション処理コンポーネント102からの信号を受信することができ、手術部位をシミュレートする仮想環境の表示又は物理的手術部位で取り込まれた画像の表示、様々なシステムコンポーネントに関する状態情報の表示、及びカート108の適切な出力装置を介した任意の他のタイプの出力(音声、触覚等)を生じさせるシミュレーション状態信号等の機能を制御する。また、ビジョン側カート108は、外科医コンソール104によって提供され、且つシミュレーション処理コンポーネント102によりカート108を通して中継されるこのような信号を受信することができる。

0032

ビジョン側カート108は、接続109で、シミュレーション処理コンポーネント102及び/又はシステム100の他の構成要素にも信号を送る。このような信号は、ユーザによって起動された、ビジョン側カートでのコントロール又は他の入力装置の現在の状態を表すデータを含むことができる。信号は、ビジョン側カート108によって患者側カート106等の他の構成要素から受信され、カート108によってシミュレーション処理コンポーネント102及び/又は外科医コンソール104に中継されるデータを含むことができる。いくつかの実施態様では、カート108により出力された信号は、遠隔操作医療システムの外科医コンソール104に提供される標準信号とすることができ、ここで、シミュレーション処理コンポーネント102は、これら同じ標準信号を処理することができる。他の実施態様では、特定のシミュレーション信号は、ビジョン側カート108により出力することができる。シミュレーション処理コンポーネント102は、この信号を使用して、例えばシミュレーションの仮想環境を更新することができる。いくつかの実施態様では、ビジョン側カート108は、その信号をシミュレーション処理コンポーネント102に送ることができ、外科医コンソール104及び/又は患者側カート106に送信されることに応答して適切な信号を生成する。いくつかのケース又は実施態様では、シミュレーション処理コンポーネント102は、カート108から接続127を介して外科医コンソール104等の他の構成要素に直接的に1つ又は複数の信号を中継することができる。さらに他の実施態様では、ビジョン側カート108は、外科医コンソール104、患者側カート106、及び/又は他の構成要素への追加の直接的な接続を有することができる。

0033

いくつかの実施態様では、様々な物理的手術用器具がシミュレーションシステム100によって使用され、実際の医療処置をより完全にシミュレートすることができる。これらの手術用器具は、実際の医療処置をシミュレートする際に使用される完全な、実際の手術用器具を含むことができる。カニューレ130及び腹腔鏡器具132等の標準的な手動手術用器具を使用することができ、この手動手術用器具は、遠隔操作される患者側カート106を必要としない器具である。さらに、手術用器具134及び滅菌アダプタドレープ器具136等の、患者側カート106で使用される手術用器具を使用することができ、これらの手術用器具は、患者側カート106の遠隔操作マニピュレータアームに取り外し可能に取り付けられる。

0034

シミュレーションシステム100のいくつかの実施態様は、さらに又は代わりに、非動作の「(fake)」手術用器具138を使用することができる。これらは、シミュレーションシステムのみに使用され、且つ完全な器具機能を提供しないダミー器具とすることができる。例えば、非動作器具138は、完全に動作する器具のようにマニピュレータアーム114に取り付けることができるが、カニューレ又は解剖学的モデル120の開口部にのみ挿入する必要がある器具の一部を含むことができる。こうして、シャフト及びエンドエフェクタを、ダミー器具から取り外すことができ、及び/又はダミー器具は、機構を含まない中空の器具、又はシミュレートされた医療処置中にこのような器具をセットアップ及び使用する経験をユーザに提供する他の非動作器具のバージョンとすることができる。

0035

図2は、シミュレーション処理コンポーネント102の一例及びシミュレーションシステム100の他の構成要素との通信を示すブロック図である。
シミュレーション処理コンポーネント102は、様々な機能のシミュレーションを行うことができる入力処理ブロック202を含むことができる。いくつかの実施態様では、入力処理ブロック202は、シミュレーションシステムによって提供されるシミュレーションのための1つ又は複数の仮想環境を実現することができる。例えば、仮想環境は、物理的手術部位又はその一部をシミュレートすることができ、2次元(2D)又は3次元(3D)環境を提供することができる。いくつかの例では、皮膚表面及び内臓器官又は他の身体構造仮想モデルだけでなく、実際の外科手術で使用される手術用器具及び他のオブジェクトの仮想モデルを含む人体の一部をシミュレートすることができる。仮想モデルは、外科医コンソール104によって提供される信号210に基づいてシミュレーション処理ブロック202によって変更及び更新することができ、その信号は、患者側カートの遠隔操作アーム上の手術用器具をどの様に移動及び操作するかの指示を、外科医コンソール上のマスターコントロールの操作に示す。信号210は、特定の使用モードに入る、他の外科的機能(例えば、液体スプレー吸入等)を起動する、又は他の機能を実行する等の他のコマンドを示すこともできる。

0036

また、入力処理ブロック202は、患者側カート106から信号212を受信することができる。これらの信号は、患者側カートのマニピュレータアーム及び手術用器具の位置及び姿勢だけでなく、上述したように、カート106上の各種コントロールの状態も含むことができる。入力処理ブロック202は、上述したようにカート108上の各種コントロールの状態を含むビジョン側カート108からの信号214も受信することができる。入力処理ブロック202は、例えば手動で操作される手術用器具を追跡する、解剖学的モデル120の1つ又は複数のセンサを含む追跡装置218からの信号215を受信することができる。シミュレーションシステムの他の構成要素(図示せず)は、同様に、構成要素の位置を追跡する手術室のセンサ等の信号を入力処理ブロック202に提供することができる。

0037

入力処理ブロック202は、いくつかの実施態様では、シミュレータユーザインターフェイス(UI)220からの信号216も受信することができる。シミュレータインターフェイス220は、1つ又は複数のオプションや選択をシミュレーションシステム100のユーザ(複数可)に提示して、医療処置のシミュレーションの機能をカスタマイズ及び/又は選択させることができる。シミュレータインターフェイス220は、外科医コンソール104、患者側カート106、及び/又はビジョン側カート108等のシミュレーションシステムの1つ又は複数の構成要素に提示することができる。あるいはまた、シミュレータインターフェイスは、コンピュータシステムデスクトップコンピュータラップトップコンピュータサーバ携帯器具等)の専用の装置上に実装することができる。例えば、シミュレータインターフェイス220は、シミュレートするための多数の異なる医療処置等のオプションだけでなく、シミュレーションシステムで使用されるそれら医療処置及び構成要素の様々なオプション、設定、好みもユーザに表示することができる。これらの選択は、信号216で入力処理ブロック202に提供することができる。いくつかの実施態様では、単一のインターフェイス220は、シミュレートされたセットアップ手順だけでなくシミュレートされた外科手術のオプションも提示することができ、こうして、統合型インターフェイスによって遠隔操作される医療処置の全ての段階のシミュレートされた態様を制御するのが可能になる。

0038

シミュレーション処理コンポーネント102は、出力ブロック204も含むことができる。このブロックは、シミュレーション処理ブロック202によって指示されると、シミュレーションシステム100の種々の構成要素を制御又は駆動するための信号を提供することができる。例えば、いくつかの信号は、患者側カートのアクチュエータを制御して遠隔マニピュレータアームを移動させる又は別の医療機能空気吸引等)を指令する信号等の、構成要素上の機能に命令するための信号とすることができる。いくつかの信号は、出力をユーザに示すシミュレーション状態信号とすることができる。例えば、出力ブロック204は、外科医コンソール104のコントロールのユーザ操作に対応して移動する仮想手術部位及びその部位での仮想手術用器具の表示を示すデータ等の、外科医コンソールのディスプレイビデオ出力を提供する信号230出力を外科医コンソール104に送ることができる。同様に、出力ブロック204は、信号232を患者側カート106に、信号234をビジョン側カートに、及び信号236をシミュレータインターフェイス220に送信して、これらの構成要素上でそれらの機能に関連するビデオ表示を起動することができる。例えば、患者側カート106及び/又はビジョン側カート108は、1つ又は複数の内視鏡器具又は他の撮像器具の位置に基づいて、手術部位を示すグラフィカルな仮想環境を表示することができる。状態メッセージ等の他の視覚的出力も同様に提供することができる。いくつかの実施態様では、出力ブロック204は、状態、更新等を提供する追跡装置に信号235を送ることができる。音声及び触覚出力等の他のタイプの出力も、構成要素への信号によって生じさせることができる。シミュレータインターフェイス220は、信号236で提供されるようなユーザから受信した入力に基づいて、その外観を更新することができ、グラフィカルなメニュ項目及び/又は他の選択やオプションを表示すグラフィカル・ユーザインターフェイス、又は他のタイプのインターフェイス等のインターフェイスを表示することができる。

0039

シミュレーション処理コンポーネント102は、シミュレーション処理ブロック202と通信するメモリ206も含むことができる。メモリ206は、シミュレーション処理ブロック202及びシミュレーションシステム100に必要な種々のデータを格納することができる。例えば、シミュレーションを実現するためのプログラム命令及び1つ又は複数の仮想環境を表すデータ、3次元モデル、及び種々の設定を、メモリ206に格納することができる。またいくつかの実施態様では、シミュレーション処理コンポーネント102は、シミュレートされた手順の間に発生するイベントやアクションに基づくパラメータを監視することができ、及びそのようなパラメータをメモリ206に格納することができる。以下に説明するように、例えば、手順、手順の間の構成要素の位置等のタスクを実行するのに要する時間等のパラメータを格納することができる。

0040

図3は、本明細書に記載の1つ又は複数の実施態様に係るシミュレートされた医療処置を提供するための例示的な方法300を示すフロー図である。方法300は、シミュレーション処理コンポーネント102によって制御及び/又は統合することができる。この例では、セットアップ手順の後に実行されるシミュレートされた外科手術の準備前及び準備中に、シミュレーションシステムの1つ又は複数の構成要素を構成するシミュレートされたセットアップ手順について説明している。この例では、マニピュレータアームを有する患者側カート106をシミュレートされたセットアップ手順で使用することを想定している。他の実施態様は、同様の又は同等のセットアップ構成要素又はタスクを含むことができる。

0041

方法300のシミュレートされたセットアップ手順は、1人又は複数のユーザの研修生がセットアップタスクを形成している間に行うことができる。例えば、1人の研修生は、総合的なトレーニングを積むために、全てのタスクを実行する必要がある。他の実施態様では、多数の研修生が、実際の外科処置のようにシミュレートされた手順のセットアップタスクを実行するために同時に又は他の方法で必要とされ得る。例えば、1人の研修生が、構成要素を手術室に位置付けし、他の研修生が、ポートを配置し、及び別の研修生が、ドッキングさせるためにマニピュレータアームを位置付けする必要があり得る。シミュレーションシステムの利点は、単一のシステム上で複数の研修生を同時にトレーニングする能力を含む。

0042

ブロック302では、シミュレーション処理コンポーネントは、シミュレーションのオプション選択を受信する。これらは、セットアップ手順を設定するための様々な選択とすることができ、及び例えば外科医コンソール104及び/又はビジョン側カート108の表示装置により表示されるグラフィカル・ユーザインターフェイス220等の表示インターフェイスからユーザが入力することができる。選択は、一般的な手術や、泌尿器の、婦人科の、経口的、心臓の、胸部の、及び/又は小児外科手術のために計画された処置等の、シミュレーションのためにセットアップされる外科手術のタイプを含むことができる。選択は、セットアップ手順で使用される特定のシステムコンポーネント、ユーザ研修生(複数可)に関係する経験レベル、シミュレーションの難易度レベル初心者、標準的な者、専門家等)、処置の時間パラメータ等も含むことができる。いくつかの実施態様では、このインターフェイスは、(例えば、図4で説明するように)セットアップの後に行われるシミュレートされた外科手術に使用されるものと同じインターフェイスとすることができる。

0043

ブロック304では、シミュレーション処理コンポーネントは、ユーザがシミュレーションシステムの1つ又は複数の構成要素を位置付けすることを示す信号を受信し記録する。このような構成要素は、シミュレーション領域内の特定の位置、例えばその領域内の絶対位置又は互いに対する位置に位置付けする必要があり得る。例えば、患者側カート106は、手術台及び/又は解剖学的モデルに対して配置することができ、及び/又はビジョン側カート108は、患者側カート106、外科医コンソール104、又は他の構成要素に対して位置付けすることができる。いくつかの実施態様では、セットアップシミュレーション中に、外科医コンソール及び使用される任意の他の構成要素(麻酔テーブル等)等の追加の構成要素を位置付けすることができる。いくつかの実施態様では、構成要素の位置は、身体シミュレーション領域上に位置付けされるカメラ用のセンサ、構成要素の動きを検出するセンサ等のセンサを使用して追跡することができ、これらの位置は、シミュレーション処理コンポーネント102に送信され、この処理コンポーネントより監視及び記録することができる。ユーザは、例えばビジョン側カート108又は他の構成要素を介して入力を提供することにより、そのユーザが、システムコンポーネントの配置を完了したことを処理コンポーネントに示すこともできる。シミュレーション処理コンポーネント102は、受信信号及びタスクを完了するのに要する時間等のパラメータを記録することができ、このブロックの間にフィードバックを提供する信号を出力することができる。例えば、フィードバックは、配置に関する命令、実際の及び/又は所望の構成要素の配置のグラフィカルな空間図マップ、ユーザが適切な配置から著しく逸脱した場合のアラート、特定の測定が行われなかった場合の警告(例えば、アームを配置することなく患者側カートを移動する)等の視覚及び/又は音声表示を含むことができる。いくつかの実施態様では、システムコンポーネントの1つ又は複数の出力装置にフィードバックを表示することができる。

0044

ブロック306では、この方法は、ユーザがセットアップ手順のためにモデルを位置付けすることを示す信号を受信することができる。例えば、いくつかの実施態様では、ユーザが、患者側カート108のマニピュレータアーム及び器具を移動させて1つ又は複数の既知の位置でモデルの表面に触ることができる場合に、静的な位置合わせ技術を使用することができる。アームの位置を追跡するセンサを使用して、シミュレーション処理コンポーネントは、マニピュレータアーム及び/又は手術用器具等の患者側カートの要素に対する3次元空間内でのモデルの位置及び姿勢を決定することができる。例えば、これによって、手術室及び/又は手術部位の仮想シーンをレンダリングすることが可能になり、シミュレータシステムが、可能な場合に、例えばユーザが現在どのポート(複数可)を使用しており、どの様に正確なポートに移動させるかについての提案、評価及び/又はスコアリング等の直接的なフィードバックを提供することが可能になる。レーザ位置合わせガイドの使用又はモデルの位置及び姿勢を拘束する剛性固定具へのアームのドッキング等の他の方法を、他の実施態様で使用することができる。ユーザは、自分がモデルの位置付けを完了したことをシミュレーション処理コンポーネントに示すことができる。いくつかの実施態様では、シミュレーション処理コンポーネント102は、センサ信号及びタスクを完了するのに要する時間等のパラメータを記録することができ、このブロック中に、そのような視覚表示を更新する等の、実行されるタスクの進捗状況に関するフィードバックをユーザに提供することができる。

0045

他の実施態様では、解剖学的モデルの位置付けは、ブロック306の代わりに方法300の後の時点で感知することができる。例えば、遠隔操作医療装置に対するモデルの位置及び姿勢は、遠隔操作アームのセンサを使用して及び/又はモデルのセンサを使用して、ドッキングした後にブロック310で感知することができる。

0046

ブロック308では、シミュレーション処理コンポーネントは、ユーザが外科手術に使用するための物理的手術部位でのポートを選択又は配置することを示す信号を受信し記録する。例えば、ポートは、物理的手術部位に及び/又はこの部位等に位置付けされた解剖学的モデルに配置することができる。ポートは、手術用器具が挿入されるモデルの開口部又は他の位置であり、及びポートは、シミュレーションのために選択された標的解剖学的構造及び外科手術に応じた特定のパターンや距離の要件を含む。いくつかの実施態様では、ポートを配置することは、(例えば、いくつかの実施態様では、モデル内のセンサから検出することができる)モデルの選択された開口部にカメラカニューレ等のカニューレを配置すること、所望の手術部位の部分が、内視鏡又は他のカメラの手術用器具の視野内にあり且つ器具を操作する可動域がカニューレ内に配置されるようにカニューレ器具を動作させることを含むことができる。いくつかの実施態様では、システムは、解剖学的モデル内のセンサを使用して及び/又は(以下で説明する)ドッキングした後の遠隔操作アーム内のセンサを使用して、ポートの配置を検出することができる。ユーザは、自分がポートの配置を完了したことをシミュレーション処理コンポーネントに示すことができる。シミュレーション処理コンポーネント102は、センサ信号及びタスクを完了するために要した時間等のパラメータを記録することができ、及び視覚的な表示の更新を含む、このブロックの間に実行されるタスクの進捗状況や正確性に関するフィードバック(配置されたポートの位置の正確性等)をユーザに提供することができる。

0047

ブロック310では、シミュレーション処理コンポーネントは、ユーザが、患者側カートのマニピュレータアーム及び/又は他の要素を、モデルの選択されたポート上の又は内の適切な位置及び配置に位置付け(ドッキング)することを示す信号を受信し記録する。例えば、ユーザは、マニピュレータ同士の衝突回避及び器具の必要な可動域等のパラメータを考慮して、マニピュレータアームを特定の角度で、互いに所定の距離で位置付けすることができる。シミュレーション処理コンポーネントは、マニピュレータアームの位置及び姿勢を示す信号を患者側カートのアームのセンサから受信する。様々な実施態様によって、ユーザが、手動で及び/又は遠隔制御でアーム又は他の要素を移動するのが可能になる。ユーザは、自分がドッキングを完了したことをシミュレーション処理コンポーネントに示すことができる。シミュレーション処理コンポーネント102は、センサ信号及びタスクを完了するのに要した時間等のパラメータを記録することができ、及び視覚表示を更新する等の、このブロックの間に実行されたタスクの進捗状況や正確性に関するフィードバックをユーザに提供することができる。

0048

ブロック312では、シミュレーション処理コンポーネントは、ユーザが手術用器具を患者側カートのポートに挿入していることを示す信号を受信し記録する。シミュレーション処理コンポーネントは、アーム及び/又はモデルの表面に対する手術用器具の位置を示す信号を、患者側カートのアーム内のセンサから及び/又手術用器具のセンサから受信する。特定の距離や挿入量、器具を所定の位置にロックすること等の要件を含むことができる。いくつかの実施態様では、モデル内のセンサは、カニューレ内の器具を検出することができる。

0049

いくつかの実施態様では、手術用器具は、手術用器具として機能しないダミー器具である。また、手動(例えば、非遠隔操作)器具を使用する場合に、モデルのセンサは、このような手動器具の位置(及び/又は手術室の他の位置)を追跡することができる。ユーザは、手術用器具の配置が完了したことをシステムに知らせることができる。いくつかの実施態様では、シミュレーション処理コンポーネント102は、ブロック310の間のセンサ信号及びタスクを完了するのに要する時間等のパラメータを記録することができる。処理コンポーネントは、ブロック312でフィードバックを提供することもできる。これは、信号を出力するシミュレーション処理コンポーネント102を含み、シミュレーションシステムの1つ又は複数の表示画面による器具挿入に関する、様々な仮想画像のビデオ表示、進捗状況の指標、提案、ヒント、警告等を生じさせることができる。

0050

ブロック304〜312では、様々なタイプのビデオ出力を提供することができる。例えば、助手のユーザは、(例えば、ビジョン側カート108の)ディスプレイを確認して、セットアップ手順の間にアーム及び/又は手術用器具が正しく位置付けされているかどうかを判定するのを助けることができる。手術部位の表示は、手術部位における手術用器具及び他のオブジェクトの現在位置を含むことができる。いくつかの実施態様では、ディスプレイは、患者側カートの内視鏡器具又は他の撮像器具(例えば、超音波センサ、患者のバイタルサインセンサ等)によって取り込まれた、患者側カート及び/又はモデルでの物理的手術部位の取込み画像、モデルカメラ又はセンサ、及び/又は物理的部位に向けられた他の視覚センサを示す。このセットアップは、無生物/ドライラボモデルや、ブタ又は解剖用の死体のトレーニングプロトコル等の生きている組織モデルでのトレーニングに使用することができる。

0051

他の実施態様では、ディスプレイは、シミュレーション処理コンポーネントによって生成され、物理的手術部位での手術用器具及び/又は他のオブジェクトの検出位置に基づいた仮想環境及び仮想手術部位を示す。例えば、手術用器具の位置は、それらのマニピュレータアーム内のセンサから知ることができ、その部位での他のオブジェクトの位置は、カメラ(複数可)によって送信された取込み画像から知ることができる。シミュレーション処理コンポーネントは、これらの既知の画像及び位置に基づいて仮想環境を生成する。仮想手術用器具及びオブジェクトは、(もしあれば)それら物理的な対応物と同じように見えるように表示することができ、又は仮想環境内に異なる外観を有する仮想オブジェクトとして表示することができる。

0052

いくつかの実施態様では、仮想環境は、実際の医療処置で見られるような現実の周囲環境の表示を含むことができる。例えば、表示された手術部位の背景は、体壁、血管、又は他の現実の周囲環境を含むことができる。いくつかの実施態様では、仮想環境は、その部位での物理的オブジェクトの正確な表現を含むことができる一方、その部位の背景及び周囲環境は、(例えば、図8Bに示されるように)実際の医療処置として現実に見えるようにすることができる。

0053

ブロック314では、シミュレーション処理コンポーネントは、セットアップ手順に関連する最終的なパラメータ、メトリックスコア、及び/又は他のフィードバック等のフィードバック情報を出力することができる。いくつかの実施態様では、フィードバック情報は、さらに又は代わりに、(例えば、ブロック304〜312での)1つ又は複数のタスク又は演習の実行中に又は完了時に研修生に表示することができ、それによって、研修生は、自分の進捗状況を監視することができ、又は自分の能力を初心者から専門家の範囲に及ぶ他の人に対して比較することができる。

0054

例えば、メトリックは、記録したパラメータから決定することができ、セットアップ手順の間の様々なタスクについての助手によって費やされた時間だけでなく、セットアップに使用された構成要素及び器具の配置位置の概要も含むことができる。以下により詳細に説明するように、評価及びスコアは、セットアップ手順の間にユーザが完了したタスクに基づいて、シミュレーション処理コンポーネントによって決定することもできる。シミュレーション処理コンポーネントは、研修生がどれ位上手くタスクを実行したか等の評価結果だけでなく、そのタスクをより良く実行するためのヒントや指示を示すフィードバックを出力することができる。この情報の一部又は全部を、1つ又は複数のディスプレイに又はシミュレーションシステムの他の出力装置に出力することができる。

0055

ブロック316では、この方法は、セットアップが完了したかどうかを確認する。例えば、シミュレーション処理コンポーネント102は、システムコンポーネントの得られた位置付けを評価し、システムコンポーネント及び手術用器具が外科手術に進むことができるように適切に配置されているかどうかを判定することができる。配置が酷く不正確な場合、又はユーザが段階を繰り返す要求をした場合に、次にブロック318で、シミュレーション処理コンポーネントは、ユーザにセットアップ手順の適切な段階又はブロックを繰り返させる。

0056

セットアップが完了した場合に、次にブロック320では、本方法は、シミュレートされた外科手術が、セットアップ手順で使用されたのと同じシミュレーションシステム上で開始すべきかどうかを確認することができる。手術シミュレーションは、例えば、ブロック302のシミュレーション選択に示してもよい。外科手術シミュレーションを開始する場合に、方法は、図4に記載されるように進む。それ以外の場合に、この方法は、終了する、又は種々の更なるアクションを行って、解剖学的モデルの物理的手術部位での外科タスク演習を異なる演習と交換する等、トレーニングを続行又は繰り返すことができる。

0057

図4は、本明細書に記載の1つ又は複数の実施態様に係るシミュレートされた外科手術を提供するための例示的な方法400を示すフロー図である。この例では、手術部位(仮想部位及び/又は物理的部位)で外科タスクを実行するシミュレートされた外科手術について、説明している。方法400は、シミュレーション処理コンポーネント102によって制御及び統合することができる。
いくつかの実施態様では、方法400は、図3のセットアップ手順の後に行うことができる。従って、そのような実施態様は、単一のソフトウェア及びユーザインターフェイス(UI)のフレームワークの下で全て、遠隔操作医療システム上のシミュレーションフレームワークを別の外科医コンソール及び患者側カートで使用して、進捗状況を監視及び追跡し、出力及びフィードバックを表示する能力を提供することができる。方法400は、図3に記載されるように、シミュレーションシステムコンポーネントのセットアップが完了していると想定して説明する。

0058

方法400のシミュレートされたセットアップ手順は、外科タスクを実行する1人又は複数のユーザ研修生によって行うことができる。例えば、1人の研修生が、外科医コンソールを使用してシミュレートされた外科タスクを実行するために必要とされ得る。他の実施態様では、多数の研修生が、実際の外科処置のように、シミュレートされた手順について外科タスクを実行するために同時に又は他の方法で必要とされ得る。例えば、1人の(外科医の)研修生が、外科医コンソールを使用して器具を制御する必要がある一方、別の(助手の)研修生が、手術部位で追加の手動器具を制御する、又はいくつかの他の補助機能(例えば、器具交換、患者側カートでのアームの位置調整、送られる内視鏡の輝度調整、ポート調整、手動腹腔鏡器具を使用して遠隔操作器具に縫合糸を通すこと、コンソールの外科医を支援するための子宮マニピュレータの調整等)を行う必要があり得る。2つ(又はそれ以上)の外科医コンソールにおける2つ(又はそれ以上)の外科医の研修生は、タスクコントロールを分担し、器具のコントロールを交換し、及び/又は他の例では、互いにトレーニングを提供することができる。シミュレーションシステムの利点は、単一のシステム上で複数の研修生を同時にトレーニングする能力を含むことである。

0059

ブロック402では、シミュレーション処理コンポーネントは、シミュレーションについてのオプション及び選択を受信することができる。このような選択は、行われる外科手術の種類、行われる手術の特定の段階又はサブ段階、使用される特定の構成要素及び/又は器具等を含むことができる。例えば、図3のセットアップ手順に選択を提供するために使用された同一のグラフィカル・インターフェイスを、外科手術のために使用することができる。

0060

ブロック404では、この方法は、患者側カート及びビジョン側カート等の他の構成要素を用いずに、シミュレーションが外科医コンソールのみを使用しているかどうかを確認する。例えば、ユーザは、ブロック402で、コンソールのみのシミュレーションを指定してもよい。外科医コンソールのみが使用される場合に、次にブロック406では、シミュレーション処理コンポーネント102は、仮想環境をコンソール表示装置上に表示すために(シミュレーション状態信号等の)信号を出力する。この仮想環境は、コンソールのユーザが手術する手術部位を示すことができる。例えば、実際の解剖学的構造に対応して同様に見える仮想解剖学的構造を含む3次元仮想環境を表示することができる。また、コンソールのユーザによって制御される仮想手術用器具も、仮想環境に表示される。仮想環境内で表示される特定の仮想解剖学的構造及び仮想手術用器具は、ブロック402で行われた選択に基づくことができ、ここで、シミュレーション処理コンポーネントは、ユーザによって選択された処置の種類及び他の選択に基づいて、適切な環境を決定することができる。

0061

ブロック408では、シミュレーション処理コンポーネントは、他の信号をコンソールに提供する。この信号は、仮想環境において発生する任意のイベント又は相互作用をユーザに知らせる音声データ、触覚出力をコンソールに出力するための触覚データ、及び/又は任意の他の適切なデータ等のシミュレーション状態信号を含むことができる。いくつかの実施態様では、提供される信号は、メトリック、スコア、指示、警告、ヒント、又は他の情報等の能力フィードバック情報も含むことができる。

0062

ブロック410では、シミュレーション処理コンポーネント102は、コンソールから信号を受信する。これらの信号は、ハンドグリップ、ボタン、フットペダル、及び他のコントロール等のコンソール上でのコントロールのユーザ操作に基づいて、方向又は測位信号を含むことができる。シミュレーション処理コンポーネントは、ユーザが遠隔操作される物理的手術用器具を制御しているかのように、ユーザ入力に対応するように仮想手術用器具を移動させることを含むコンソールから受信した信号に基づいて、仮想環境を更新することができる。シミュレーション処理コンポーネント102は、例えば物理的モデルに従って、仮想手術用器具と仮想解剖学的構造との相互作用を決定することもできる。

0063

ブロック411では、シミュレーション処理コンポーネントは、シミュレーション手順の間に通信される信号やイベント等のパラメータを記録する。例えば、このような信号やイベントは、ブロック406〜410で送受信される信号、これらのブロックに提供された警告又は他の能力フィードバック、これらのブロックに提供されたユーザ入力、外科タスクを完了するために研修生(複数可)によって費やされた時間等とすることができる。

0064

ブロック412では、シミュレーション処理コンポーネントは、シミュレートされた外科手術が完了したかどうかを確認することができる。例えば、ユーザは、シミュレーションがコンソールの制御による入力によって終了していることを示すことができる。操作が完了していない場合に、この方法は、ブロック408に戻り、コンソールからの信号を受信し、仮想環境でのシミュレーションを継続する。操作が完了した場合に、方法は、以下に説明するブロック438に進む。

0065

ブロック404で、シミュレートされた外科手術が外科医コンソールのみを使用していないことをこの方法が検出した場合に、方法はブロック416に進み、方法は、シミュレーションが仮想環境を表示すかどうかを確認する。例えば、仮想環境は、ビジョン側カートのディスプレイ等のシミュレーションシステムのコンソールディスプレイ及び他のディスプレイ上に表示することができ、及びブロック406について上述したように同様の仮想環境とすることができる。仮想環境を表示する場合に、次にブロック418では、シミュレーション処理コンポーネント102は、(例えば、シミュレーション状態信号等の)信号を1つ又は複数の構成要素に出力して、仮想環境をディスプレイ上に表示させる。方法は、次に、以下に詳述するブロック416に進む。

0066

ブロック416で、非仮想環境を表示しているとこの方法が判定した場合に、次にカメラによって取り込まれた物理的手術部位の画像を受信して表示する。ブロック420では、この方法は、拡張表示を出力すべきかどうかを確認する。拡張表示によって、カメラにより取り込まれた画像の上にコンピュータで生成されたグラフィックスを表示させることが可能になる。そうでない場合に、プロセスは、ブロック424に進む。拡張表示を使用する場合に、ブロック422では、シミュレーション処理コンポーネントは、受信した画像上にオーバーレイ視覚データを重ね合せるように処理する。例えば、そのような視覚的な重合せは、警告、命令等のフィードバック情報を提供するテキスト、グラフィックス、及びインターフェイスオブジェクトを含むことができる。いくつかの実施態様では、視覚的な重合せは、システムのアーム、手術用器具、又は他の構成要素を何処に位置付けすべきかを指示するための指標を提供することができる。

0067

ブロック424では、シミュレーション処理コンポーネント102は、物理的手術部位及び/又はシミュレートされた患者の画像を提供するカメラデータを、1つ又は複数の内視鏡及び/又は他の撮像器具(例えば、超音波センサ、バイタルサインセンサ等)から受信する。例えば、内視鏡は、患者側カートのアームに設けられた手術用器具のうちの1つとすることができる。シミュレーション処理コンポーネント102は、(例えば、シミュレーション状態信号等の)信号を判定し出力して、外科医コンソール104及び(使用される場合に)ビジョン側カート108の表示画面等のシステムの表示装置上に手術部位の画像を表示させる。拡張画像を使用しない場合に、出力信号は、カメラデータのみを含む。そうでなければ、ブロック422の拡張された視覚的な重合せ信号は、ディスプレイに出力するためにカメラ画像及び合成信号と組み合わされる。シミュレーション後に、信号を使用して、ディスプレイを更新する。

0068

ブロック426では、シミュレーション処理コンポーネント102は、外科医コンソール及び他のシステムコンポーネントに他の信号を提供する。この信号は、システムコンポーネントに音声を出力するための音声データ、システムコンポーネントに触覚出力を出力するための触覚データ等を含むことができる。いくつかの実施態様では、これらの信号は、シミュレーション処理コンポーネントが患者側カート及び/又はビジョン側カートに中継する、外科医コンソールから受信される制御信号を含むことができる。同様に、信号は、シミュレーション処理コンポーネントが外科医コンソール及び/又はビジョン側カートに中継する、患者側カートから受信した位置信号及び/又は制御信号を含むことができる。いくつかの実施態様では、提供された信号は、メトリック、スコア、指示、警告、ヒント、又は他の情報等の、システムコンポーネントに提供されるフィードバック情報も含むことができる(及び/又はフィードバック情報をブロック422において拡張された視覚データに含めることができる)。

0069

ブロック428では、シミュレーション処理コンポーネント102は、外科医コンソール104と、患者側カート106及びビジョン側カート108(存在する場合に)等の他のシステムコンポーネントとから信号を受信する。例えば、外科医コンソールからの制御信号は、患者側カート106のアームや手術用器具を移動及び他に操作するために使用されるマスターレバー等の、コンソールのユーザによるコンソール上のコントロールの操作を示すことができる。患者側カートからの信号は、それらアームや器具の位置及び姿勢を示す、遠隔操作されるアームや手術用器具内のセンサからの位置信号を含むことができる。ビジョン側カートからの信号は、助手のユーザによって操作されるそのビジョン側カート上のコントロールからの制御信号を含むことができる。手動の手術用器具を解剖学的モデルで使用するいくつかの実施態様では、シミュレーション処理コンポーネントは、モデル内に挿入される又はこのモデルと接触する手動手術用器具の位置を示すセンサ信号を含むことができる信号をモデルから受信することができる。

0070

ブロック430では、シミュレーション処理コンポーネントは、シミュレーション手順の間に通信される信号やイベント等のパラメータを記録する。例えば、このような信号やイベントは、ブロック418〜428で送受信される信号、これらのブロックで提供された警告又は他の能力フィードバック、これらのブロックで提供されたユーザ入力、外科タスクを完了するために研修生(複数可)によって費やされた時間等とすることができる。

0071

ブロック406〜410又はブロック416〜428は、1つ又は複数の外科タスクの実行中に及び/又はシミュレートされた外科手術の演習中に実施することができる。例えば、外科医の研修生等のユーザは、モデル内のカニューレに挿入される手術用器具を遠隔操作することによって、例えば仮想器具を制御することによって、シミュレートされた手術部位でシミュレートされた演習を行うことができる。このような演習は、仮想又は物理的手術部位での縫合、オブジェクト操作等、又は1つ又は複数の他のシミュレートされたタスクを含むことができる。助手の研修生は、いくつかの実施態様において、患者側のタスクを同時に実行することができ、又はタスク同士の間に実行することができる。

0072

ブロック432では、シミュレーション処理コンポーネントは、誤ったセットアップが外科手術のシミュレーション中に行われているかどうかを確認する。これは、セットアップ手順が、手術前にシミュレートされた場合であって、モデルポートの誤った選択、(例えば、アーム、手術用器具、又は解剖学的モデルを遠隔操作する)システムコンポーネントの誤った配置を含む、又は他の誤った設定や選択を含む場合に行うことができる。このような誤ったセットアップ設定は、後続の外科手術に重大な影響を与える恐れがある。例えば、衝突がアーム又は器具同士の間で発生する、可動域が阻害される、運動の限界に早期に達する可能性がある。シミュレートされた外科手術がこの誤ったセットアップを使用して行われた場合に、次にブロック434では、シミュレーション処理コンポーネントは、誤ったセットアップ及びこの誤ったセットアップが外科手術にどの様な影響を与えるかを示すフィードバックをシミュレーションの1人又は複数のユーザに出力する。例えば、フィードバック情報の出力は、誤って位置付けされたアーム又は手術用器具によって、シミュレートされた患者の組織に対して外科タスクが失敗する又は不十分に実行される、意図しない変化を引き起こすことを示すことができる。このフィードバックは、ユーザが全てのエラー修正するのを可能にするための修正セットアップも示すことができる。いくつかの実施態様では、このようなフィードバックは、シミュレートされた外科手術中の任意の時点で出力することができる。

0073

ブロック434の後、又はセットアップが正しかった場合に、方法はブロック436に進み、方法は、シミュレートされた外科手術が完了したかどうかを確認する。例えば、これは、1人又は複数のユーザによって手術が終了したことを示す入力をシステムに提供することによって示すことができ、又はシミュレーション処理コンポーネントは、構成要素の位置の評価、手術部位の画像に基づいて、手術が終了したと自動的に判断することができる。シミュレートされた手術が完了していない場合に、この方法は、ブロック416に戻り、手術部位の環境を表示し続け、及びシステムコンポーネント同士の間で信号を通信する。シミュレートされた手術が完了した場合に、次に方法は、ブロック438に進む。

0074

ブロック438では、シミュレーション処理コンポーネントは、最終的なパラメータ、メトリック、スコア、及び/又は他のフィードバック等のフィードバック情報をシミュレーションのユーザに出力する。いくつかの実施態様では、フィードバック情報は、(例えば、ブロック406〜410又は416〜428における)1つ又は複数の演習の実行中に又は完了時に研修生(複数可)に表示することができ、それによって、研修生は、自分の進捗状況を監視することができ、自分の能力を初心者から専門家のスキルレベルに及ぶ他の人のデータベースに対して比較することができる。図3のセットアップ手順について上述したのと同様に、メトリックは、パラメータから決定することができ、及び外科手術中の様々なタスクについてユーザが要した時間、外科手術で使用された構成要素及び器具の配置位置の概要等を含むことができる。評価及び/又はスコアは、以下に説明するように、外科手術中にユーザが完了した外科タスクに基づいて、シミュレーション処理コンポーネントによって決定することもできる。シミュレーション処理コンポーネントは、研修生がどれ位上手くタスクを実行したか等の評価結果だけでなく、タスクをより良く実行するためのヒントや指示を示すフィードバックを出力することができる。この情報の一部又は全部を、シミュレーションシステムの1つ又は複数のディスプレイに及び/又は他の出力装置に出力することができる。

0075

シミュレーション中の研修生の能力の評価及びガイダンス
図3及び図4に関して上述したシミュレートされたセットアップ手順及び外科手術中に、様々な手順の異なる段階での構成要素の位置及び運動、様々なタスクを完了するための時間等の、セットアップ及び外科タスクに関連する各種のデータやパラメータは、シミュレーション処理コンポーネントによって監視(測定)し記録することができる。システムは、メトリックを決定し、記録したパラメータに基づいて、シミュレーション中に1つ又は複数の研修生の能力に関連した自動評価を行うことができる。システムは、手順の間に及び以降の手順についてガイダンスを提供するために、手順の間に評価に基づいてリアルタイムの能力フィードバックを研修生に提供することもできる。

0076

いくつかの実施態様では、評価は、これらの手順の間に記録されたパラメータ(そこから決定されたメトリック)を対応するタスクについて格納された基準パラメータ及びメトリックと自動的に比較することを含むことができる。基準パラメータは、以前のシミュレートされた医療処置中に記録されたこれらのタスク又はパラメータについて正しい又は最適なパラメータとすることができる。関係スキルに関連するパラメータを評価して、研修生の改善を測定する、又はある研修生の能力パラメータを(同時に行われる又は以前の)他の研修生による又は専門家のスキルレベルを有すると認めた者によって実演された対応するパラメータと比較することができる。従って、特定のパラメータの研修生のスキルレベルは、(例えば、期待される改善に関して研修生の進捗状況を判断するために)同僚に対して、又は(例えば、高いスキルレベルからの逸脱の度合を特定するために)専門家に対して評価することができる。(患者の位置に物理的に近い動作に関連付けられた、例えば、マニピュレータアームの位置及び姿勢のセットアップ、カニューレポートの配置、ドッキング、外科タスク中の補助等の)図3及び図4の患者側スキルと、(図4の外科手術の外科タスクの実行に関連付けられた、例えば、内視鏡カメラの遠隔操作又は手動の位置付け、組織器具の手術部位への移動等の)外科医側スキルとの両方を、評価することができる。

0077

評価コンポーネントは、全てのタスクの全体的な完了時間、特定のタスクの完了時間、マニピュレータ又は器具の位置及び姿勢等の研修生によって実行されるタスクに関連するパラメータだけでなく、研修生によって行われたアクションの他のパラメータも測定することができる。いくつかのケースでは、評価は、パラメータに関連する所定の基準及びこの比較に基づいて1つ又は複数のスコアを決定することを含むことができ、スコアは、関連するタスクの能力に基づいて、研修生の能力レベルやスキルを示すことができる。例えば、スコアは、処置中に1つ又は複数のタスクを実行するのに必要な時間及び/又は1つ又は複数のタスク中のシステムコンポーネントの位置付け又は移動に基づくことができる。指定されたパラメータに関連した研修生のスキルレベルは、マニピュレータアームの及び手術用器具のセンサからの等の遠隔操作医療システムから得られた運動学及び/又は他のセンサ情報を用いて自動的にスコア計算することができる。

0078

図3のようなシミュレートされたセットアップ手順について、評価システムは、センサ情報を使用して、演習中に方向付けられた器具の位置及び姿勢を決定することができる。例えば、センサ情報は、(例えば、手術用器具の遠隔中心位置及び関節のセットアップ値を使用して)ブロック304〜310の実行中に得られたマニピュレータアームからの運動学的情報だけでなく、その処置に使用される他のセンサからのセンサ情報も含むことができる。いくつかの実施態様では、特定の外科タスクについての特に効果的な又は理想的なマニピュレータの位置及び姿勢を規定する運動学セットアップテンプレートを作成することができる。研修生の外科タスクの演習能力に関連するデータは、能力スコアを作成するためのそのテンプレートと比較される。この比較を使用して、研修生が特定の外科タスク演習についてポートを正しく選択したかどうか、マニピュレータアームのセットアップ関節及び他の構造体を正しく構成して関連するマニピュレータアームを適切な位置及び姿勢に配置しているかどうか、マニピュレータの衝突回避が最小化された状態で有効手術部位にアクセスを可能にするようにカニューレポートが適切に位置付けされ且つ間隔が開けられているかどうかを判定する。理想的なテンプレート情報は、例えば、研修生及び/又は専門家の以前の能力からのクラスタ化又は平均化された位置、運動、及び/又は配置、又は器具、アーム構成要素の既知の最適な位置とすることができる。

0079

別の例では、タスク演習の時間パラメータは、カニューレドッキング演習の開始時にタイマーを開始し、全てのマニピュレータを関連するカニューレに正しくドッキングしたことをシステムが感知したときにタイマーを停止することによって測定することができる。別の例として、タスク演習のマニピュレータ衝突回避パラメータは、ドッキングされた各マニピュレータアームからのセンサ情報をテンプレートセンサ情報に対して比較して、研修生がマニピュレータを規定の理想的な位置及び姿勢に又は規定の位置及び姿勢エンベローブ内にどれ位近くに配置できるようになったかを判定することにより、測定することができる。同様に、解剖学的モデル120の既知の物理的寸法一緒に、マニピュレータアームからのセンサ情報を使用して、研修生がカニューレをモデルの正しいポート配置パターンに適切に位置付けしたかどうか、又は各カニューレの運動の遠隔中心(マニピュレータアームが移動する際に空間に静止して留まる各カニューレ上の位置)が、患者の体壁における組織の外傷を最小化するように、正しく位置付けされているかどうかを判定することができる。

0080

スコアは、様々な方法で決定することができる。研修生は、例えば、選択された外科手術についてポート配置をどれ位上手く選択したか、又は正しいポート配置を決定するのにどれ位の時間を要したかについてスコア計算することができる。又は、研修生は、(例えば、マニピュレータアームの衝突回避に関して)マニピュレータアームを配置されたカニューレにどの様に結合したか、又は解剖学的モデルに配置されたカニューレにマニピュレータアームを結合するのに研修生がどれ位の時間を要したかについてスコア計算することができる。

0081

メトリックは、研修生が演習を完了した際に、自分の能力を示すためにサンプリング及び/又は決定してもよく、これらの中間評価は、スコアを得るために、テンプレートに対してプロットすることができる。例えば、履歴データは、タスクを最も効率的に完了するために特定の動作を特定の順序で完了する必要があることを示すことができ、センサデータは、研修生がその動作を実行する実際の順序を示すために使用してもよく、完了した実際の動作順序に対する推奨される動作順序との間の差は、研修生のスコアを決定するために使用される。

0082

図4の外科手術中に行われる外科タスクについて、システムは、同様に、メトリックを計算する運動学的データ(例えば、運動量、演習での誤り、器具の運動の経済性等)に基づいて、1つ又は複数のタスクの演習の完了時間及びアーム位置等のパラメータを記録し判定することができる。能力パラメータは、演習を行う間、外科タスクの実行中に複数回測定することができ、メトリックは、これらのパラメータから決定される。ドライラボ演習の一例では、トレーニング演習は、研修生が手術用器具を用いてリングを拾い上げ、このリングを落とすことなく、リングを経路に沿って終了位置まで移動させる(必要に応じて別のハンドによって制御される他の器具にリングを移動させる)一方、全ての回で、リング及び器具チップを視野の中心に維持するようにカメラを移動させる、及び研修生の手を中央制御位置に維持するように制御装置を再配置することを要求することができる。縫合演習の別の例では、研修生は、手術部位をカメラの視野内に維持しながら、針を構成要素の縫合穴の所定の経路に駆動する、又は縫合糸を開口部に駆動して縫合糸の位置に関して閉じた空間要件となることを要求することができる。外科手術中の患者側タスク(例えば、助手の研修生は、1つ又は複数の器具を手術部位に案内し、付属部品を制御する等)は、それら助手の能力を同様に測定することができる。

0083

外科手術の評価のスコア及び/又は他の結果は、評価した外科演習について研修生の推定ベルやスキルを示す。いくつかの実施態様は、例えば、器具のエンドエフェクタの操作が、外科タスクについて理想的な又は正しい位置にどれ位近いか、及び/又は縫合糸、組織切断等についての理想的な位置にどれ位近いかを示すグラフィック表示のフィードバックを提供することができる。いくつかの実施態様は、タスク実行中に、正確な又は不正確な縫合糸、器具位置、ヒントの指標等のリアルタイムフィードバックを研修生等に出力することができる。いくつかのリアルタイムフィードバックは、器具をどの様に配置、移動、又は位置付けすべきかを示す教示とすることができる。

0084

いくつかの例では、パラメータ及び/又はスコアは、特定のユーザ又はチームの能力に基づいて第1の時間に決定することができ、次に、同一のパラメータ及び/又はスコアは、同じタイプの処置の実行中に第2の時間に記録することができる。これらのパラメータを比較して、特定の処置について、同じユーザ又はチームの能力を評価することができる。他の例では、パラメータは、異なるユーザ又はチームについて記録され、異なるユーザ及びチームを評価するために比較することができる。

0085

シミュレーション手順に基づいた研修生のこのようなスコアリングによって、その研修生の能力及び向上を測定することができる。また、研修生は、研修生が必要なタスクをどの位上手く実行することができ、及び/又は研修生の相対的な学習速度及び効率を評価し、及び/又は研修生のスキルレベルを決定するために、他の研修生に関して又は履歴データに関してスコア計算することができる。また、集約的な履歴スコアは、研修生が特定のタスクを実行するために困難性を明らかにすることができ、そのトレーニングは、そのタスクについてのトレーニングプログラムを改善するために変更することができる。

0086

図3及び図4の方法を使用して、トレーニング演習中に様々な役割の複数の研修生又はチームの能力を一度に測定し評価することができる。例えば、シミュレーションシステムは、1人又は複数の外科医、助手、看護師等の複数の人から構成されるチームのためのトレーニングを提供することができる。いくつかの例では、1つ又は複数の助手の研修生は、図3及び/又は図4の方法の患者側タスクを実行することができ、及び外科医の研修生は、コンソールを操作しながら、図4の方法の外科タスクを実行することができる。外科医以外の研修生は、解剖学的モデルを使用して患者側スキル(例えば、ポート配置、ドッキング、システムセットアップ、カメラ及び器具の挿入等)を練習することができる。これは、外科医以外の研修生が、大抵の場合に、手術室でこれらの活動を行うからである。チームは、自分たち意思疎通をトレーニングして、従来の腹腔鏡ツールを使用して器具交換、ポート調整、縫合糸を通すこと等の様々なタスクを連携して実行する、子宮マニピュレータを調整してコンソール外科医を支援すること等を行うことができる。

0087

研修生のチーム等にトレーニングを提供するいくつかの実施態様では、上述した評価及びスコアリング方法を拡張して、個々の研修生に加えて、手術室のチームの能力を評価することができる。例えば、チームで協調して取り組むタスクの能力レベルやスキルを示す種々のスコアを出力することができる。このような評価は、上述したのと同様に自動化されたメトリックによって支援され、進捗状況を追跡し、及び履歴データと比較することができる。これらの機能は、チームが自分達効率性を理解し、自分達をどの様に改善すべきかの習熟度の基準を提供するのに役立つ。
遠隔操作医療処置のトレーニング、評価及びスコアリングのいくつかの例は、”Anatomical Model and Method for Surgical
Training”という標題同時係属中の米国特許出願第13/968,253号に記載されおり、この文献は、その全体を参照することにより本明細書に組み込まれる。

0088

図5は、シミュレーションシステム100を使用してシミュレートされた医療処置の自動評価に使用される例示的なシステム500の態様の概略図である。図5に示されるように、この例では、外科医コンソール104等の入力装置、及び/又は患者側カート106等の遠隔操作医療装置、又は1つ又は複数の医療器具の位置及び/又は姿勢に関するデータを提供可能な他のシステムを含むことができる医療装置502が使用される。医療装置502は、評価システム508に含まれるメモリ506に格納されるパラメータ情報504を提供する。例えば、評価システム508は、シミュレーション処理コンポーネント102に実装することができ、及び例えば、メモリ506は、メモリ206に実装することができる。

0089

パラメータ情報504は、上述したように運動学的な情報や他のセンサ情報等の、研修生の能力及び/又は関連するデータの能力パラメータを含むことができる。情報504は、例えば、シミュレーションシステム内のアプリケーションプログラム・インターフェイス(API)を介して提供してもよい。(外科医又は研修生等の)操作者がコントロールの位置及び/又は姿勢を外科医コンソール104、ビジョン側カート108等に表す情報等のパラメータ情報504は、患者側カート106から及び/又はシステムの他の構成要素から提供することができる。

0090

いくつかの実施態様では、解剖学的モデル120に関連する(例えば、物理的寸法、カニューレポートの可能な位置、手術用マニピュレータ又は器具の位置等の)解剖学的モデル情報510は、メモリ506にも入力される。ベースライン、研修生の能力パラメータと比較するための所望の及び/又は正しいパラメータ及びデータを示すテンプレート情報512もメモリ506に入力することができる。システムのプロセッサ514、センサ等のシステム100又は500の他の構成要素によって収集及び/又は判定することができるイベントデータ、例えば研修生のタスク及びタスク完了に関連する記録時間等の他のパラメータ情報もメモリ506に格納することができる。こうして、メモリ506は、研修生の能力の評価を行うために評価システム508が使用する情報を格納することができる1つ又は複数の物理的なメモリ位置とすることができる。このような評価は、この評価を行うために使用することができる1つ又は複数の情報処理装置(例えば、マイクロプロセッサ(複数可)又は他の処理回路)とすることができるプロセッサ514によって実行される。

0091

1つ又は複数のスコア、ガイダンス・フィードバック、及び/又は他の情報等の評価結果を、表示画面又は他の表示装置上への可視化表示等の出力装置516、プリンタによる物理的なプリントアウト、又は他の出力を介して出力することができる。個々の演習結果を、(例えば、オペレータの選択入力518での入力に応じて)履歴データ520に追加してもよく、次にテンプレート情報512を変更するために使用してもよい。いくつかの実施態様では、オペレータ入力装置518によって、実施される特定の外科タスク演習を特定する及び/又は使用される特定の解剖学的モデルを特定する等の、トレーニングシステムのオペレータがトレーニング演習に関連する各種選択を入力するのを可能にする。評価システムは、適切な情報(例えば、適切なテンプレート情報512)を自動的に選択してこれを使用し、評価を行うことができる。

0092

評価システム508の実施形態は、(例えば、システムのディスプレイを介して表示される出力を用いて)遠隔操作医療システムに具現化してもよく、又はラップトップコンピュータ又は他の電子器具等の例えば別の小型コンピュータシステム上で実現してもよい。このような評価システムは、多数の医療装置からの及び医療従事者(例えば、外科医)の集団からのデータ収集を容易にし、研修生又は外科医の集団内でのデータ及び/又はスコアの比較を容易にするために、中央データベースネットワーク接続してもよい。
手術システムのトレーニングの使用に加えて、本明細書に開示される種々の特徴は、手動手術用器具をシミュレートされた医療処置で使用することに基づいたタスクに使用することができる。トレーニングのためのスコア計算の態様は、手術部位の位置に到達する能力、器具の干渉カメラ位置、外科医の快適性等の手作業でのトレーニングに適合させることができる。自動化されたスコア計算の態様は、上述したような解剖学的モデルの及び/又は他の位置の各種センサにより、カニューレ、手術用器具等の1つ又は複数の構成要素の位置を感知することに基づくことができる。

0093

様々な実施態様は、理想的な又は所望の位置に対する差、時間、メトリック及び/又はスコア、研修生のレベル及び/又はスキル、及び正しい又は所望の結果を得るための提案及び/又は指示を示す評価結果及び/又は案内フィードバックを、シミュレートされた手順の間及び後に研修生に提供することができる。例えば、マニピュレータアームが外科タスクについての理想的な又は正確な位置にどれ位近くに配置されているかを示すグラフ図を表示装置に表示させることができる。さらに、いくつかの実施態様は、タスクの実行中に、手術用器具の正確な又は不正確な配置及び位置の指標、研修生へのヒント、特定の器具についての正しい位置及び姿勢や可動域及び配置の許容範囲のグラフィック表示の指標等のリアルタイムフィードバックを出力することができる。いくつかのリアルタイムフィードバックは、処置において何時何処で器具を配置又は位置付けすべきかを示す教示とすることができる。システムは、モデル内のポート、構成要素の位置、及びドックマニピュレータアームをどの様に選択するかを実演する指導を人に提供することができる。

0094

図6A及び図6Bは、上述したようなシミュレーションシステムの1つ又は複数の表示画面に表示させることができるトレーニング画像の画面600の例である。例えば、画面600上の画像は、セットアップ手順の間に患者側カートのマニピュレータアームを配置する際にユーザを支援し案内するように表示させることができる。
図6Aでは、表示画面600は、例えば、以下の図7Aの患者側カート706と同様に、患者側カートの例示的な実装態様の画像602を示す。画像602は、3つのマニピュレータアーム604の画像を含む。いくつかの実施態様では、セットアップシミュレーション手順の間に、ユーザは、アーム画像604に対応する物理的なアームを物理的に移動させ、ここでこの動きは、アームセンサを介してシミュレーション処理コンポーネント(又は、他の処理コンポーネント)によって感知され、及び処理コンポーネントによって、物理的なアームに対応して移動するように、アーム画像604を画面600上に表示させる。

0095

特定の段階又はセットアップ手順のブロックにおける所望の位置に対するアームの状態を示す指標も表示することができる。例えば、画像602は、身体(患者)側カートの1つ又は複数のアームの位置が現在不正確又は準最適であることを示すことができる。一例では、表示画面600は、不正確な位置にある画像602の領域の周りに囲まれた線や境界線606を表示することができる。この例では、左のマニピュレータアーム604が、ライン606によって丸で囲まれているその関節の領域が不正確であることを示す。こうして、ライン606によって、視聴者注意を誤って位置付けされた領域に向ける。いくつかの実施態様では、特定の関節の強調表示608等のより正確な指標は、誤った位置付けを具体的に指摘することができる。例えば、強調表示608は、特定の色、パターン、又は他の識別マークとすることができる。キャプション610は、強調表示608で示されるその特定の問題を示すことができ、この場合には左のマニピュレータアーム(患者側マニピュレータ、PSM)604は、例えば解剖学的モデルに向けて十分に前方に向いていないことを示す。ユーザが所望する場合に、いくつかの実施態様では、誤った位置付けについての更なる説明を、表示させることができる。

0096

図6Bは、患者側カートの表示画像602に示されるように、物理的な患者側カートの異なる部分が、誤って位置付けされた表示画面600の別の例を示す。ライン616は、不正確な位置付けである画像602の領域を示し、この例では、内視鏡の中央アーム(ECM)、すなわち患者側カートの中央アーム604が不正確な位置付けであることを示す。強調表示618は、修正する必要があるアーム604の特定の関節を示す。例えば、キャプション610は、中央の内視鏡マニピュレータ604が、現在選択された外科手術の患者やモデル内に挿入された場合に、そのアームの器具が正確な又は最適なビューを提供することを可能にする「スイートスポット(sweet spot)」内に位置付けされていないことを示す強調表示618を視聴者に通知する。他の実施態様では、視覚、音声、触覚、又は他の形態を含む他のタイプの線、境界、及び/又は指標を表示させることができる。

0097

画面600の画像等の仮想現実又は他の生成された画像、及び/又はカメラ画像に重ね合わされた拡張現実(AR)ゴースト画像は、関心又は興味システム領域をユーザに示す又は強調表示するためにシステム表示装置上に表示することができる。例えば、マニピュレータアームのセットアップされた関節は、上述したように、誤った位置を強調表示することができる。また、マニピュレータアーム及び/又は器具の到達限界を表示することができる。さらに、アーム及び/又は器具同士の間の内部又は外部の衝突が生じる空間領域を、ユーザが意識するように、ゾーンとして強調表示することができる。

0098

いくつかの実施態様では、提案等のフィードバック情報を、画面600上に表示することができる。例えば、テキストによる提案は、強調表示されたアームを正しい位置に移動させる推定移動量を示すことができる。グラフィック表示の提案は、同じディスプレイ600上に、現在の誤った位置に対する正しい位置を(例えば、異なる色又は他の形式で)表示することができる。ユーザが判断を下す又は決定を行うことを可能にするためにより広範なヒントを提供することもできる。このような提案は、タスクを実行するための正しい方法を学ぶようにトレーニング演習中のユーザを導くことができる。

0099

種々の他のタイプのフィードバック情報を、セットアップ手順及び外科手術中に1つ又は複数の表示画面上に表示して、システムセットアップに関するガイダンス及びマニピュレータアームの正確な位置付けだけでなく、外科タスクに関するガイダンスも提供することができる。例えば、指示や警告等のテキスト情報メッセージを表示して、手順の間に正確な又は不正確なアクション又は位置付けをユーザに通知することができる。(例えば、モータ制御されるマニピュレータアーム及び/又は手術用器具での)音声出力又は触覚出力等のいくつかのフィードバックを、他の形態で提供することができる。

0100

こうして、シミュレーションシステムは、ライラボ又はウェットラボの患者側のトレーニングシナリオ等の処置中にシステムのセットアップのガイダンスやスキルのフィードバックを研修生に提供することができる。これはまた、特に複数の研修生を同時にトレーニングする場合に、シミュレーション手順の間にミス絶えず見つけるような、助手をトレーニングする際の負担を軽減することができる。システムは、例えば、患者側カート(及び他の構成要素)及び/又は解剖学的モデルで手動の器具を操作するユーザだけでなく、外科医コンソールを操作する外科医の研修生を支援するために、外科手術及びタスク中にガイダンス及びフィードバックを提供することもできる。

0101

実施例
シミュレートされた外科手術についての多くの異なる変形形態は、本明細書に記載のシミュレーションシステム100及び方法に基づいて実施することができる。いくつかの例示的なシミュレーション構成について、以下に説明する。
シミュレーションは、外科手術のセットアップをシミュレートするために必要な患者側カート106、ビジョン側カート108、及び/又は他のシステムコンポーネントを使用するセットアップ手順を含むことができる。

0102

いくつかの実施態様では、セットアップシミュレーションで患者側カート106のみが、使用される。例えば、ユーザは、カートの位置、カートのアーム、カートの手術用器具をセットアップすることができ、シミュレーション処理コンポーネント102は、これらの要素の位置を読み取り、現在のシミュレーション状態及びセットアップをどれ位上手く行えたかについてのフィードバック等を提供することができる。例えば、表示患者側カート又は別の構成要素上の表示画面、及び/又は音声スピーカ等の出力装置を使用して、セットアップ手順の現在の状態の表現及び/又はセットアップ手順のユーザ能力に関するフィードバックを出力することができる。

0103

シミュレートされたセットアップ手順のいくつかの実施態様は、解剖学的モデルの使用を含むことができる。助手の研修生は、手術台上の解剖学的モデルをセットアップすることができる。モデルは、剛性材料から形成された無生物モデルとすることができ、略ヒト患者の一部のような形状とすることができる。このモデルは、特定の外科手術についての特定の構成となるようにセットアップすることができる。例えば、無生物のトレーニング演習では、ワイヤで操作するビーズやリング、縫合、切断される材料のゴム発泡体片、又は他に手術用器具で操作される物等の演習装置をモデル内に配置することができる。ウェットラボ演習では、モデルは、ブタ又は解剖用の死体モデル等の生物試料とすることができ、及び/又は1つ又は複数の生物試料を、無生物のモデル内に配置することができる。

0104

セットアップ手順のいくつかの実施態様では、助手の研修生は、患者側カートを解剖学的モデルに近い手術位置に位置付けすることができる。いくつかの実施態様では、シミュレーション処理コンポーネント102は、患者側カート106の位置を示す信号を受信することができ、シミュレーション処理コンポーネントは、患者側カート106又はビジョン側カート108の表示画面等のディスプレイに信号を提供することができ、処置の現在の状態の指標及び解剖学的モデルに対する患者側カートの位置付けの正確性に関するフィードバックを助手の研修生に提供する。いくつかの実施態様では、助手は、患者側カートに対してモデルを配置し、複数の点でモデル表面に接触するように患者側カートのアームを位置付けすることができる。次に、助手の研修生は、解剖学的モデルに対して患者側カートのアーム及び器具を位置付けすることができる。助手は、モデルに適切な開口部を選択し、このモデルの選択された開口部にカニューレを配置し、次に手術用器具をカニューレ内に適切に配置することができる。

0105

いくつかのシミュレーションでは、完全に機能する手術用器具が、患者側カートのアームに設けられ、研修生は、手術用器具をモデルのポート内に挿入することができる。他の実施態様では、1つ又は複数のダミー器具を、患者側カートのアームに設ける。これらのダミー器具は、カニューレ内に挿入することができる器具のベース部分を含むことができるが、爪、はさみ、又はメス等のエンドエフェクタを含まない。
いくつかの実施態様では、手動器具も、解剖学的モデルに関連して、医療処置で使用することができる。助手の研修生は、手動器具をモデルの適切な開口部に配置することができ、これらの器具の位置は、シミュレーション処理コンポーネントによって追跡される。

0106

様々な実施態様では、ビジョン側カート108は、さらに又は代わりに、セットアップシミュレーションに使用することができる。いくつかの実施態様では、ビジョン側カートは、セットアップ手順において解剖学的モデル及び患者側カートと共に使用される。ユーザは、例えばモデル上に及び/又は内に位置付けされた1台以上のカメラによって取り込まれたようなモデル及び/又は遠隔操作医療装置のアームや器具をビジョン側カートの表示画面上で見ることができる。例えば、ユーザは、ビジョン側カートの表示画面を見て、ユーザが内視鏡器具を位置付けした後の手術部位の画像を表示画面に提供するこの内視鏡のビューに基づいて、手術用器具が正しく位置付けされているかどうかを決定することができる。いくつかの実施態様では、解剖学的モデル、物理的手術部位、及び/又は遠隔操作アーム及び器具をモデル化する仮想環境を表示することができる。いくつかの実施態様では、ユーザは、シミュレートされた手順で1つ又は複数の機能を制御するためにビジョン側カート上のコントロールの使用を必要とし得る。

0107

別の実施態様では、ビジョン側カートは、解剖学的モデル無しで及び/又は患者側カート無しで、セットアップ手順で使用される。例えば、ユーザは、ビジョン側カートを手術領域内に位置付けするように試験する、及び/又は外科医コンソール等の他の構成要素に対してビジョン側カートを位置付けするように試験することができる。
いくつかの実施態様では、1つ又は複数の外科医コンソールを、シミュレートされたセットアップ手順に含めることができる。例えば、外科医コンソールを手術領域内に位置付けすることをシミュレートすることができる。外科医の研修生が、セットアップ手順の間に、解剖学的モデルでのポート選択等のいくつかのタスクを実行するために必要とされ得る。外科医コンソールは、単独で、又は患者側カート、ビジョン側カート、及び/又は解剖学的モデル等の他の構成要素と一緒に使用することができる。例えば、セットアップ手順は、構成要素の手術領域内への位置付け及び器具の解剖モデル上へのセットアップがシミュレートされる場合に、外科医コンソール及び解剖学的モデルをのみを含むことができる。一例では、ユーザが手動器具をモデル内でセットアップしながら、モデルの物理的な態様に基づいた仮想手術部位を、外科医コンソールによって表示することができる。

0108

シミュレーションシステムの他の構成要素も、セットアップシミュレーション中に単独で、又は他の構成要素と共に使用することができる。例えば、シミュレーション処理コンポーネントは、使用されるシステムコンポーネントを監視することができ、助手が、各システムコンポーネントを手術領域や手術室内に正しく位置付けするために必要とされ得る。
いくつかの実施態様では、セットアップ手順は、シミュレーションのみを行うことができる。他の実施態様では、外科手術のシミュレーションを、実際の外科処置のように、セットアップ手順の後に行うことができる。あるいはまた、セットアップ手順のシミュレーションをすることなく、シミュレートされた外科手術を、それ自体で行うことができる。

0109

様々な実施態様を使用して、外科手術のシミュレーションを行うことができる。一実施態様では、外科医コンソールのみが使用され、シミュレーション構成要素は、仮想手術用器具が、コンソールを操作する外科医の研修生によって提供されるユーザ入力に基づいて仮想構造を仮想手術部位で操作するように表示される仮想環境のシミュレーションを提供する。
他の実施態様では、外科医コンソール(複数可)及び解剖学的モデルのみが、シミュレートされた外科手術で使用される。例えば、遠隔操作手術用器具は、シミュレーション処理コンポーネント102によって仮想環境内で表示され且つコンソールの研修生によって制御される仮想器具とすることができる。助手の研修生によって制御される1つ又は複数の実際の手動器具を、モデル内に挿入することができ、ここで、手動器具の位置が、モデルのセンサを使用してシミュレーション処理コンポーネントによって追跡され、シミュレーション処理コンポーネントによって、手動器具チップ仮想バージョン又は画像取込みされた手動器具を、仮想遠隔操作手術用器具と一緒に仮想環境内で表示するのを可能にする。

0110

別の変形形態では、外科医コンソール及び患者側カート106が、外科手術で使用される。いくつかの例では、仮想環境が、シミュレーション処理コンポーネント102によって、例えば外科医コンソール104のディスプレイに表示される。外科医コンソールを操作する研修生は、患者側カートの物理的なアーム及び手術用器具を制御する入力を提供するが、シミュレーション処理コンポーネントは、これらの器具の手術部位における対応する仮想バージョンをシミュレーションシステムのディスプレイ上に表示する。従って、実際の又はダミー器具を、患者側カートの手術用器具に使用することができる。そのような実施態様の一例を、図7A及び図7Bに関連して以下に示す。

0111

別の変形形態では、外科医コンソール及び患者側カートは、物理的手術部位を外科医コンソールの表示装置に表示するシミュレートされた外科手術で使用される。例えば、物理的手術部位の画像を取り込むカメラ(又は、他の撮像器具)を有する1つ又は複数の内視鏡を含む実際の、完全に機能する手術用器具が、物理的モデル内に挿入される。画像は、コンソールディスプレイ上に表示される。こうして、コンソールのユーザは、自分が操作している実際の器具を見ている。シミュレーションシステムは、記録パラメータを含むシミュレーションを調整し、ガイダンス及び評価等を提供することができる。そのような実施態様の一例を、図9A及び図9Bに関連して以下に示す。

0112

他の変形形態では、ユーザに表示される画像は、生成された仮想画像と物理的手術部位の取込み画像の組合せとすることができる。例えば、生成された仮想器具は、他の物理的器具の取込み画像と一緒に表示することができ、又は物理的器具の画像は、実際の手術部位のように見えるように生成された仮想背景と一緒に表示することができる。いくつかの実施態様では、物理的手術部位の画像は、物理的手術部位の画像の一部の上に表示される拡張画像と組み合わせることができる。例えば、グラフィックは、医療処置前、中、及び後に、物理的部位の画像上に重ね合わされ、状態、指示、警告、及び他の情報等のフィードバック情報を提供することができる。

0113

他の変形形態では、ビジョン側カートが、システムに含まれる。手術部位の上述したディスプレイのいずれかは、助手のユーザによって視認されるビジョン側カートの1つ又は複数のディスプレイ上にも表示すことができる。いくつかの実施態様では、外科医コンソール及びビジョン側カートは、いくつかの実施態様で異なる画像やビューを表示することができる。例えば、シミュレーションシステムのいくつかの表示画面は、物理的手術部位の内視鏡又はカメラビューを表示することができる一方、システムの他の表示画面は、物理的手術部位に対応する仮想環境を表示することができる。例えば、物理的部位のカメラビューは、助手のユーザがその手術部位での手動器具を操作するためにビジョン側カートによって表示することができる。一方、物理的部位に対応する仮想環境は、外科医コンソールに表示させることができる。別の例では、ビジョン側カートは、外科医コンソールによって表示された手術部位の画像の代わりに又はこれに加えて、教育のフィードバックを表示することができる。

0114

図7Aは、本明細書に記載のいくつかの構成要素の例を含むシミュレーションシステム700の一例を示す。外科医コンソール704は、コンソールに座ってコントロールを操作する外科医又は外科医の研修生等のユーザにコントロールを提供することができ、また、(図5Bに示される)表示画面も含むことができる。患者側カート706は、アームの端部に手術用器具を含み且つ外科医コンソール504においてユーザによって操作されるコントロールに応答する多数のマニピュレータアーム714を含む。手術室のテーブル722が、患者側カート706に隣接して位置付けされ、及び患者側カートの手術用器具を受容することができる解剖学的モデル720(この例のモデルは、手術台の上の布で覆われている)を含むことができる。ビジョン側カート708は、表示画面726と、電子器具等の他の構成要素とを含むことができる。この例では、表示画面726は、シミュレーション処理コンポーネントによって生成された仮想手術部位を表示する。例えば、モデル720は、1つ又は複数の開口部を有するが内部の物理的手術部位を有さない表面又はオブジェクトのみとすることができ、ここで、画面726上の仮想手術部位は、対応する物理的部位に基づいていない。別の例では、画面726上に示される仮想手術部位は、モデル720内に含まれる物理的部位に少なくとも部分的に対応することができる。シミュレーション処理コンポーネント102は、システム700の外科医コンソール704、患者側カート706等の1つ又は複数の構成要素に配置することができ、又はそれ自体のハウジング(図示せず)内に配置することができる。

0115

図7Bでは、外科医コンソール704に設けられた例示的な表示画面740が示される。いくつかの実施態様では、2つの立体表示画面740を、3次元ビューを表示すために設けることができ、及び/又は画面740は、タッチ感応式スクリーンとすることができる。この例では、表示画面740は、シミュレーション処理コンポーネント104によって生成された仮想環境を表示する。例えば、仮想器具チップ742(例えば、エンドエフェクタ又は他の端部)が、コンソール704でのコントロールのユーザ操作に基づいて、表示画面740上に表示され且つ移動される。これらの表示された仮想器具チップ742は、患者側カート706における、モデル720内で移動する物理的器具チップも追跡する。オブジェクト746の一部を縫合する際に使用される器具チップ742によって把握されるスレッド744等の環境内のオブジェクトも表示される。いくつかの実施態様では、仮想スレッドが、仮想環境内で生成され、及び/又はオブジェクト746は、モデル720内の物理的オブジェクトとは異なる新たな仮想オブジェクトとして生成される。他の実施態様では、仮想スレッド744は、物理的器具チップによってモデル720内で操作される物理的なスレッドに対応することができる。同様に、操作されたオブジェクト746は、モデル720内の物理的オブジェクトに対応することもできる。

0116

いくつかの実施態様では、図7Aに示されるように、ビジョン側カート708上の表示画面726は、コンソール704の画面740上に表示されるのと同じ環境を表示することができる。これによって、助手のユーザは、コンソールのユーザが視認しているシーンを見ることができ、手術処置の間に今まで以上の支援を可能にする。
他の実施態様では、患者側カート706の内視鏡又は他の撮像装置は、モデル720内の物理的部位の画像を取り込むことができ、実際の物理的部位のこれらの画像は、生成された仮想環境の代わりに又はいくつかの生成された仮想オブジェクトと組み合わせて、表示画面740及び/又は表示画面726上に表示することができる。

0117

図8は、図7Aに示される患者側カート706と同様の患者側カート106に含めることができる例示的な遠隔操作医療装置800及び例示的な解剖モデルを示す斜視図である。装置800は、複数のマニピュレータアームを含むことができ、ここで各アームは、1つ又は複数の手術用器具に結合される。例えば、各アームは、患者モデル内の各ポート又はカニューレに結合(ドッキング)することができる遠隔操作マニピュレータとみなすことができ、及びマニピュレータは、カニューレと、カニューレを通ってモデル又は患者内に延びて物理的手術部位に到達する器具との両方を制御する。例えば、一方の器具802は、カメラ又は内視鏡用器具とすることができ、及び他の3つの器具804、806、808は、外科手術用器具とすることができる。

0118

外科手術室の環境の患者に行われるシミュレーションを向上させるために使用される解剖学的モデル820の例が示される。モデル820は、複数の孔822と、カニューレ及び手術用器具が挿通される患者の表面をシミュレートする上面とを含むことができる。いくつかの実施態様では、1つのカニューレ及び器具を、それぞれの孔に挿入することができるが、他の実施態様では、複数のカニューレ及び/又は器具を、単一の孔(例えば、単一の部位)に挿通することができる。モデル820は、その下部又は内部に、1つ又は複数の物理的手術部位824を保持することができる空洞部を含むことができ、その手術部位において、可撓性材料、スレッド、ワイヤ上のビーズ等の演習オブジェクトを操作する物理的な演習を行うことができる。

0119

モデル820は、手術台上の患者の位置に対応する位置で(上述した手術台722等の)手術台の上に置かれる。セットアップシミュレーション手順のいくつかの実施態様では、異なる外科手術は、様々な異なるポート配置を必要とし、トレーニングを受けているユーザは、1つの外科手術について第1の位置に(例えば、手術台の脚部で、患者の脚部の間の位置をシミュレートする)及び別の外科手術について第2の位置に(例えば、手術台の側面に)装置800を位置付けする必要があり得る。解剖学的モデル820及び演習についてのいくつかの例は、”Anatomical Model and Method for Surgical Training”という標題の同時係属中の米国特許出願第13/968,253号に記載され、この文献は、その全体を参照することにより本明細書に組み込まれる。

0120

図9Aは、本明細書に記載されるいくつかの構成要素の例を含むシミュレーションシステムの別の例900を示す。図7Aと同様に、外科医コンソール904は、ユーザにコントロールを提供することができ、及び1つ又は複数の表示画面(図9Bに示す例)も含むことができる。患者側カート906は、アームの端部に手術用器具を含むとともに外科医コンソール904のユーザによって操作されるコントロールに応答する多数のマニピュレータアーム914を含む。手術室のテーブル922が、患者側カート906に隣接して位置付けされ、及び上述したのと同様の解剖学的モデル920を含むことができる。ビジョン側カート908は、表示画面926と、電子機器等の他の構成要素とを含むことができる。この例では、以下の図9Bで説明するように、表示画面926は、外科医コンソールの画面に表示される環境と同様の仮想環境を表示する。シミュレーション処理コンポーネント102に対応する構成要素は、上述したのと同様に、システム900の1つ又は複数の構成要素に配置することができる。

0121

シミュレーションシステム900は、腹腔鏡器具として示される手動器具930等の手動手術用器具も含むことができる。いくつかの実施態様では、手動器具930は、シミュレートされた外科手術中に、助手のユーザによってモデル920内で又はこのモデルに対して案内され且つ操作することができる一方、外科医のユーザは、外科医コンソール904を使用して、遠隔操作手術用器具を制御する。外科医の研修生及び助手の研修生は、シミュレーション中に一緒にトレーニングすることができる。他の実施態様では、外科医の研修生は、外科医コンソール904を操作することができ、及び1つ又は複数の手動器具930を操作することができ、ここで例えば、1つ又は複数の遠隔操作器具(例えば、内視鏡器具)は、シミュレーションシステムによって動作させることができる。いくつかの実施態様によって、遠隔操作器具を使用する外科手術のシミュレーションが可能になり、次に1つ又は複数の手動器具を使用して、その同じ外科手術のシミュレーションを可能にする。これらの2つのシミュレーションの結果は、次にシステムによって比較することができ、その結果がまとめられる。手動器具930を含むいくつかの実施態様について、以下で説明する。

0122

図9Bでは、外科医コンソール904に設けられた例示的な表示画面940が示される。この例では、表示画面940は、シミュレーション処理コンポーネント104によって生成された2D又は3D環境とするとことができる仮想環境を表示し、いくつかの実施態様ではタッチ感応式スクリーン上に表示することができる。この例では、仮想環境は、図7Bの生成された演習環境の代わりに、身体組織及び他の身体要素を含む実際の患者内の実際の患者の手術部位をシミュレーションする内部の現実的な背景を提供する。仮想器具チップ942が表示され、コンソール904におけるコントロールのユーザ操作に基づいて、表示画面940上で移動される。表示された器具チップ942は、モデル920内の物理的手術部位で移動する、患者側カート906の物理的器具チップも追跡する。

0123

器具チップ又はエンドエフェクタ942aによって把持され、演習の仮想オブジェクト948を辿る道筋946に沿って移動するリング944等の仮想環境内のオブジェクトも表示される。いくつかの実施態様では、リング944とワイヤトラック946は、仮想器具942に対応する物理的器具によって操作される、モデル920に提供された対応する物理的オブジェクトを有することができる。他の実施態様では、物理的オブジェクトを1つ又は複数の仮想オブジェクトに対応させる必要はない。例えば、仮想オブジェクトのいずれも、物理的器具に対応させる必要はなく、患者側カートの物理的器具は、ダミー器具とすることができる。それとも、仮想器具は、単にモデルに何ら相互作用しない物理的器具に対応させることができる。

0124

例えば、器具チップ942bは、モデル920内の物理的部位に対応する物理的オブジェクトを有さない仮想オブジェクト950を把持することができる。いくつかの実施態様では、触覚出力が、外科医コンソールの1つ又は複数のアクチュエータを使用して外科医コンソール904のコントロールに提供することができ、ユーザにオブジェクト950を操作する感覚を提供する。
いくつかの実施態様では、器具チップ952は、画面840上に及び仮想環境内に表示することができる。例えば、チップ952は、図9Aに示した解剖学的モデル920内に挿入された手動器具930等の手動器具に対応させることができる。器具930の物理的端部や先端は、本明細書のいくつかの実施態様で説明したように、モデル920内で追跡することができ、その対応する仮想チップ952は、画面940の仮想環境内でそれに応じて移動する。例えば、仮想チップ952は、モデル920内の物理的オブジェクトに対応する仮想オブジェクトと、及び/又は物理的オブジェクトと全く対応しない仮想オブジェクトと、相互作用するように表示することができる。

0125

図10A図10Cは、解剖学的モデル内で器具を追跡することに関連する例を示す。図10Aは、患者側カート1002の例示的な実施態様1000及び解剖学的モデル1004の概略図である。患者側カート1002のマニピュレータアーム1006a、1006b、及び1006cは、それぞれ、手術用器具1008a、1008b、及び1008cである手術用器具を含み、及びマニピュレータアーム1006dは、内視鏡器具1008dである操作用器具を含む。各器具1008a〜dは、それぞれ、関連するカニューレ1010a、1010b、1010c、又は1010d内に挿入される(例えば、器具は、カニューレ1010内のトロカールとすることができ、又はカニューレ1010は、いくつかの例では、モデル1010に最初に挿入されるトロカール1008の一部とすることができる)。カニューレ1010は、モデル1004の開口部に挿入される。
例えば、内視鏡器具1008dは、独自の感知基準原点1014を有することができ、モデル1004に挿入された器具及びカニューレをその基準原点に対して感知することができる。例えば、内視鏡カメラは、それらカニューレがカメラの視野内で移動したときに、モデル内でのカニューレ1010の画像を取り込むことができる。

0126

モデル1004は、モデル1004に挿入された器具を追跡する(又は、他の方法で相互作用する)ための独自の感知システムも含むことができる。図10Aの例示的な実施態様では、1つ又は複数のセンサが、カニューレ1010を感知するために、モデル1004内に設けられる。この例では、カメラシステム1020が、モデル1004の内部を感知するために、モデル1004の内部ベースに位置付けされる。例えば、カメラシステム1020は、モデル1004等の患者側要素(PSE)の付近又はこの内部に位置付けすることができ、又はモデルの底部又は側面の他の位置に位置付けすることができる。こうして、カメラシステム1020は、モデルに挿入されるカニューレ1010の位置を示すだけでなく、カニューレ1010に挿通された手術用器具1008の位置を示す画像を連続的に取り込む。こうして、カメラシステム1020は、カメラシステムによって取り込まれた画像の基準点となる独自の感知基準原点1022を有する。図10Aの例では、2つのカメラが、カメラシステム1020に示されており、解剖学的モデルでのカニューレ1010の位置を決定する際のステレオ三角測量を可能にする。他の実施態様では、カメラシステム1020は、カニューレ及び器具の位置及び動きを取り込むために、単一のカメラ又は他のタイプのセンサを含むことができる。

0127

図10Bは、図10Aのモデル1004内のカメラシステム1020等の、解剖学的モデル内のカメラシステムの例示的なビュー1050を示す。カメラシステム1020は、2つのカメラを含み、左側のビュー1052は、一方のカメラのビューであり、右側のビュー1054は、他方のカメラのビューである。上面1056及び底面1058だけでなく、モデルの上部の開口部1060も示されている。カニューレ1010は、モデルの特定の孔に挿通された状態で見ることができる。2つのカメラを有するこの例では、ステレオ三角測量を使用して、カメラのシステム原点に対する各カニューレ1010の位置を正確に決定することができる。いくつかの実施態様では、各カニューレ1010は、個々のマーク又は他の特徴を用いて他の各カニューレ1010と区別することができる。例えば、各カニューレ1010は、異なる外部の色を有することができ、感知システム1020によって各カニューレ1010を容易に識別するのを可能にする。

0128

図10Cは、表面に孔1060を含むモデル1004の上部の外面の平面図を示す。マーク1070は、挿入されたカメラシステム1020によってカニューレ1010が検出された特定の孔を示す。このようなビューは、カメラシステム1020の感知ビュー及び可視化ソフトウェアで使用される解剖学的モデル1004の(例えば)3Dコンピュータ支援設計CAD)モデルに基づいて、シミュレーション処理コンポーネント104によって作成することができる。図10Cのビューを使用して、シミュレートされた医療処置中に、教育又は指導目的のためにモデルのポート配置を表示することができる。例えば、マーキングに使用されたポートを示すビューは、シミュレートされる特定の医療処置で使用される正しいポートを表示する同様のビューの次に表示することができる。
手動器具は、上述したカニューレ及び遠隔操作器具と同様に、感知システム1020によって追跡することができる。例えば、手動の腹腔鏡ツールを追跡することができる。他の器具は、子宮マニピュレータ、引戻しツール、針通しツール、別のマニピュレータアーム、又はシミュレーションシステムの別の構成要素に取り付けられた器具、又は患者側カートとは別の器具又は装置がシミュレーション環境内に組み込まれ且つ追跡される他の器具を含むことができる。

0129

図11A及び11Bは、遠隔操作及び手動両方の手術用器具の使用を含むシミュレートされた医療処置における解剖学的モデル1100の使用の一例の概略図である。図11Aは、モデル1100及び挿入された器具の外部ビューであり、及び図11Bは、モデル1100の内部ビューである。モデル1100は、上述したモデルと同様とすることができ、モデルの上側棚部に開口部1102を含み、この開口部を介して、カニューレ1104が、セットアップ手順の間に挿入される。腹腔鏡用器具や内視鏡等の遠隔操作手術用器具を、カニューレ1104内に挿入することができる。あるいはまた、手動腹腔鏡器具1110等の手動手術用器具を、1つ又は複数のカニューレ1104内に挿入することができる。

0130

この実施態様では、カニューレ1104及び器具1110等の手動器具を感知するために、センサをモデル1100内に設けることができる。この例では、カメラシステム1112は、図10Aについて記載したのと同様に、モデル1100の内部を感知するためにモデル1100の内部ベースに位置付けされる。こうして、カメラシステム1112は、カニューレ1104がモデル内に挿入された時点を示す画像だけでなく、手術用器具がカニューレ1104内に挿入された時点を示す画像を取り込むことができる。いくつかの実施態様では、手術遠隔操作器具の位置は、遠隔操作のアーム内のセンサに基づいて既知であるので、そのような器具を追跡する必要はなく、例えば、モデル1100の中空内部に延びないようなダミー器具を使用することができる。
他の実施態様では、カメラの代わりに他のタイプのセンサを使用することができる。例えば、電磁センサ、他の光学センサ等を使用して、カニューレ及び手動手術用器具を感知することができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ