図面 (/)

技術 レーザ改良された3D表面再構成

出願人 コーニンクレッカフィリップスエヌヴェ
発明者 ポポヴィックアレクサンドラ
出願日 2011年1月14日 (6年10ヶ月経過) 出願番号 2012-552494
公開日 2013年5月30日 (4年5ヶ月経過) 公開番号 2013-519417
状態 特許登録済
技術分野 内視鏡 内視鏡
主要キーワード 較正マトリックス 実際寸法 基礎マトリックス 基本マトリックス レーザポイント 較正材料 表面フィーチャ 無作為標本

この技術の活用可能性のある市場・分野

関連する未来課題
重要な関連分野

この技術に関連する成長市場

関連メディア astavision

  • 人工筋肉・ソフトアクチュエータ

    人工筋肉とは、ゴムや導電性ポリマー、形状記憶合金、カーボン・ナノチューブなどで作られた伸縮性のアクチ…

  • 高度運転支援・自動運転

    2015年1月、米国ラスベガスで開催された「2015 International CES (Cons…

  • MEMS・マイクロマシン・組込システム

    MEMS (Micro Electro Mechanical Systems:微小電気機械システム)…

後で読みたい技術情報を見つけたら、ブックマークしておきましょう!

ページの右上にあるブックマークボタンからこのページをブックマークできます。
あなたがブックマークした技術情報は、いつでもマイページのリストから閲覧することが出来ます。

この項目の情報は公開日時点(2013年5月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題・解決手段

次元対象41の表面を再構成する方法は、レーザ11によって3次元対象41の表面上にレーザスポットパターン12、14を投射するステップと、内視鏡21が3次元対象41に対し平行移動され及び/又は回転されるに従って、一連内視鏡画像24を生成するステップと、を含む。各々の内視鏡画像24は、レーザ11によって3次元対象41の表面上に投射されるレーザスポットパターン12、14内のレーザスポットアレイ13、15の異なるビュー23を示す。レーザスポットアレイ13、15は、レーザスポットパターン又はそのサブセット12、14と同一でありうる。方法は更に、内視鏡画像24に示されるレーザスポットアレイ13、15のそれぞれ異なるビュー23の対応付けに基づいて、3次元対象41の表面を再構成することを含む。

背景

最小侵襲性内視鏡外科手術は、剛性又は可撓性の内視鏡が、自然開口部又は皮膚の小さい切開部(すなわちポート)を通じて患者身体に導入される外科的なプロシージャである。内視鏡を伴う付加の外科ツールが、同様のポートを通じて患者の身体に導入され、内視鏡は、外科ツールの外科医に、外科的な部位に関する視覚的フィードバックを提供するために使用される。最小侵襲性の内視鏡外科手術の例は、内視鏡心臓外科手術(例えば内視鏡下心バイパス又は僧帽弁置換術)、腹部腹腔鏡検査関節鏡検査及び気管支鏡検査を含むが、これらに限定されるものではない。

内視鏡検査におけるレーザ計測は、内視鏡検査画像において対象のサイズを測定する可能性を提供する種類の方法である。かかるレーザ計測は、通常、工業用内視鏡法に関して行われるが、医学においても使用される。レーザ計測において、コリメートされたレーザビームは、内視鏡カメラ光軸と平行に位置付けられる。レーザビームは、考察中の対象上に又は対象の近傍に、レーザドット投射する。レーザのビームコリメーションの場合、対象上の又はその近傍のドットサイズは、対象までの距離に関係なく同じままである。従って、ドットサイズは、画像のサイズ較正材料役割を果たす。

当分野において知られている1つの方法は、レーザ計測用の較正されたレーザドットを生成するために、レーザ生成装置を内視鏡の遠位端に配置することである。基本的に、このレーザ計測方法は、1つのコリメートされたレーザドットを対象(例えば組織)に投射し、レーザドットの直径から対象のスケール導出する。

概要

次元対象41の表面を再構成する方法は、レーザ11によって3次元対象41の表面上にレーザスポットパターン12、14を投射するステップと、内視鏡21が3次元対象41に対し平行移動され及び/又は回転されるに従って、一連内視鏡画像24を生成するステップと、を含む。各々の内視鏡画像24は、レーザ11によって3次元対象41の表面上に投射されるレーザスポットパターン12、14内のレーザスポットアレイ13、15の異なるビュー23を示す。レーザスポットアレイ13、15は、レーザスポットパターン又はそのサブセット12、14と同一でありうる。方法は更に、内視鏡画像24に示されるレーザスポットアレイ13、15のそれぞれ異なるビュー23の対応付けに基づいて、3次元対象41の表面を再構成することを含む。

目的

内視鏡を伴う付加の外科ツールが、同様のポートを通じて患者の身体に導入され、内視鏡は、外科ツールの外科医に、外科的な部位に関する視覚的フィードバックを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

次元対象の表面上にレーザスポットパターン投射するレーザと、内視鏡が前記3次元対象に対し平行移動され又は回転されるに従って、一連内視鏡画像生成する内視鏡であって、各内視鏡画像が、前記レーザによって前記3次元対象の前記表面上に投射される前記レーザスポットパターン内のレーザスポットアレイのそれぞれ異なるビューを示す、内視鏡と、前記内視鏡と通信するとともに、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューの対応付けに基づいて、前記3次元対象の前記表面を再構成する画像再構成装置と、を有するシステム。

請求項2

前記レーザスポットパターン及び前記レーザスポットアレイが同一である、請求項1に記載のシステム。

請求項3

前記レーザスポットアレイが、前記レーザスポットパターンのサブセットである、請求項1に記載のシステム。

請求項4

前記3次元対象の前記表面の前記再構成は、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基本マトリックスを生成し、前記基本マトリックス及び前記レーザスポットアレイの前記それぞれ異なるビューの関数として、3次元対象ポイントを再構成する、ことを含む、請求項1に記載のシステム。

請求項5

前記3次元対象の前記表面の前記再構成は、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基本マトリックスを生成し、前記内視鏡画像に示される前記3次元対象の表面フィーチャ検出し、前記基本マトリックス及び前記内視鏡画像において検出された前記3次元対象の前記表面フィーチャの関数として、3次元対象ポイントを再構成する、ことを含む、請求項1に記載のシステム。

請求項6

前記3次元対象の前記表面の前記再構成は、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基本マトリックスを生成することを含む、請求項1に記載のシステム。

請求項7

前記3次元対象の前記表面の前記再構成は更に、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基礎マトリックスを生成することを含み、前記基礎マトリックスは、前記基本マトリックス及び前記内視鏡のカメラ較正に関連するカメラ較正マトリックスの関数である、請求項6に記載のシステム。

請求項8

前記3次元対象の前記表面の前記再構成は更に、前記基礎マトリックスの関数として並進ベクトル及び回転マトリックスを生成することを含む、請求項7に記載のシステム。

請求項9

前記3次元対象の前記表面の前記再構成は更に、前記並進ベクトル及び前記回転マトリックスの関数として前記レーザスポットアレイの各ビューについて投射マトリックスを生成することを含み、各投射マトリックスは、前記レーザスポットアレイの関連するビューの線形変換である、請求項8に記載のシステム。

請求項10

前記3次元対象の前記表面の前記再構成は更に、各投射マトリックス及び前記レーザスポットアレイの前記関連するビューの関数として、3次元対象ポイントを再構成することを含む、請求項9に記載のシステム。

請求項11

前記3次元対象の前記表面の前記再構成は更に、前記レーザスポットアレイの各ビューについて、前記内視鏡画像に示される前記3次元対象の表面フィーチャを検出し、各投射マトリックス及び前記内視鏡画像において検出された前記3次元対象の各表面フィーチャの関数として、3次元対象ポイントを再構成する、ことを含む、請求項9に記載のシステム。

請求項12

前記内視鏡は、術中に、前記内視鏡画像の少なくとも2つに基づいて較正される、請求項1に記載のシステム。

請求項13

内視鏡が3次元対象に対し平行移動され又は回転されるに従って、一連の内視鏡画像を生成する内視鏡であって、各内視鏡画像が、前記3次元対象の表面上に投射されるレーザスポットパターン内のレーザスポットアレイのそれぞれ異なるビューを示す、内視鏡と、前記内視鏡と通信するとともに、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューの対応付けに基づいて、前記3次元対象の表面を再構成する画像再構成装置と、を有するシステム。

請求項14

前記3次元対象の前記表面の前記再構成は、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基本マトリックスを生成し、前記基本マトリックス及び前記レーザスポットアレイの前記それぞれ異なるビューの関数として、3次元対象ポイントを再構成する、ことを含む、請求項13に記載のシステム。

請求項15

前記3次元対象の前記表面の前記再構成は、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基本マトリックスを生成し、前記内視鏡画像に示される前記3次元対象の表面フィーチャを検出し、前記基本マトリックス及び前記内視鏡画像において検出された前記3次元対象の前記表面フィーチャの関数として、3次元対象ポイントを再構成する、ことを含む、請求項13に記載のシステム。

請求項16

3次元対象の表面を再構成する方法であって、前記3次元対象の表面上にレーザスポットパターンを投射するステップと、内視鏡が前記3次元対象に対し平行移動され又は回転されるに従って、一連の内視鏡画像を生成するステップであって、各内視鏡画像が、前記3次元対象の前記表面上に投射される前記レーザスポットパターン内のレーザスポットアレイのそれぞれ異なるビューを示す、ステップと、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューの対応付けに基づいて、前記3次元対象の前記表面を再構成するステップと、を含む方法。

請求項17

前記レーザスポットアレイが、前記レーザスポットパターンのサブセットである、請求項16に記載の方法。

請求項18

前記内視鏡は、術中に、前記内視鏡画像の少なくとも2つに基づいて較正される、請求項16に記載の方法。

請求項19

前記3次元対象の前記表面を再構成する前記ステップは、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基本マトリックスを生成し、前記基本マトリックス及び前記レーザスポットアレイの前記それぞれ異なるビューの関数として、3次元対象ポイントを再構成する、ことを含む、請求項16に記載の方法。

請求項20

前記3次元対象の前記表面を再構成する前記ステップは、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基本マトリックスを生成し、前記内視鏡画像に示される前記3次元対象の表面フィーチャを検出し、前記基本マトリックス及び前記内視鏡画像において検出された前記3次元対象の前記表面フィーチャの関数として、3次元対象ポイントを再構成する、ことを含む、請求項16に記載の方法。

技術分野

0001

本発明は、概して、最小侵襲性内視鏡外科手術の間に、対象の3次元(「3D」)表面を再構成することに関する。本発明は、特に、内視鏡の術中のカメラ較正のために及び対象の表面の3D再構成のための、対象の表面上のレーザスポットパターン再生可能且つ精確なフィーチャ生成検出及び利用に関する。

背景技術

0002

最小侵襲性の内視鏡外科手術は、剛性又は可撓性の内視鏡が、自然開口部又は皮膚の小さい切開部(すなわちポート)を通じて患者身体に導入される外科的なプロシージャである。内視鏡を伴う付加の外科ツールが、同様のポートを通じて患者の身体に導入され、内視鏡は、外科ツールの外科医に、外科的な部位に関する視覚的フィードバックを提供するために使用される。最小侵襲性の内視鏡外科手術の例は、内視鏡心臓外科手術(例えば内視鏡下心バイパス又は僧帽弁置換術)、腹部腹腔鏡検査関節鏡検査及び気管支鏡検査を含むが、これらに限定されるものではない。

0003

内視鏡検査におけるレーザ計測は、内視鏡検査画像において対象のサイズを測定する可能性を提供する種類の方法である。かかるレーザ計測は、通常、工業用内視鏡法に関して行われるが、医学においても使用される。レーザ計測において、コリメートされたレーザビームは、内視鏡カメラ光軸と平行に位置付けられる。レーザビームは、考察中の対象上に又は対象の近傍に、レーザドット投射する。レーザのビームコリメーションの場合、対象上の又はその近傍のドットサイズは、対象までの距離に関係なく同じままである。従って、ドットサイズは、画像のサイズ較正材料役割を果たす。

0004

当分野において知られている1つの方法は、レーザ計測用の較正されたレーザドットを生成するために、レーザ生成装置を内視鏡の遠位端に配置することである。基本的に、このレーザ計測方法は、1つのコリメートされたレーザドットを対象(例えば組織)に投射し、レーザドットの直径から対象のスケール導出する。

発明が解決しようとする課題

0005

これに対して、当分野において知られている別の方法は、4つのレーザドットを対象(例えば組織)上に投射して画像内の対象のスケールを得るために、内視鏡カメラの光軸と平行にセットされる4つのレーザビームを有する内視鏡を利用する。この方法のために、半径方向歪みの補償が、歪みパラメータを得るためにチェスボード様の較正グリッドを使用して実施される。その後、レーザドットの3D位置は、レンズジオメトリを使用して、ポイント間の幾何学的な関係から計算されることができる。最後に、較正ルーラが、内視鏡画像上に表示される。

0006

最小侵襲性の内視鏡外科手術に関して上述したように、内視鏡は、手術部位唯一の視覚的フィードバックを提供している。しかしながら、内視鏡画像は、通常、2次元(「2D」)であり、これは、ビュー内の対象の深さ情報並び相対位置及びサイズを得る際の困難さを呈する。一連の2D画像から3D表面を再構成するための知られているアルゴリズムは、2又はそれ以上のフレーム内のポイント間の対応付けを見つけることに依存する。このようなアルゴリズムに基づく3D再構成の品質は、一致したフィーチャの精確さに大きく依存する。特に、無作為標本コンセンサス(「RANSAC」)最適化を使用して、2D+tシリーズから3D表面を再構成するために、8又はそれ以上のフィーチャ一致が、見つけられる必要がある。しかしながら、外科手術において、内視鏡ビュー内の対象(例えば、心臓内視鏡検査における心臓組織又は関節鏡検査における骨表面)は、非常に多くの場合、平滑であり、フィーチャがなく、よって、特徴検出及び突き合せを困難な作業にする。

0007

上述したレーザ計測方法は、単一のコリメートレーザドット又はスコープの光軸と平行に位置付けられる複数のレーザビームを使用することによって、スケール問題(すなわち対象サイズ)を解決する。しかしながら、これらの方法は、3D再構成の品質問題対処しない。これらの方法の別の不利益は、それらが、レーザビームが内視鏡の光軸と平行であることを必要とすることである。従って、レーザ光源及び内視鏡ファイバが、内視鏡自体に組み込まれなければならず、このことは、内視鏡の直径を増大させ、ゆえに、外科的プロシージャの侵襲性を増加させる。

0008

本発明は、対象の表面の精確な再構成及び術中のカメラ較正を容易にするために、3D対象(例えば関心のある器官又は組織)の表面上にレーザスポットパターン(例えば円形ドットマトリックス)を投射するレーザを利用し、これは、2D内視鏡ビューから対象の表面の深さ情報並びに相対位置及びサイズを得る際の困難さを解決する。

課題を解決するための手段

0009

本発明の1つの形態は、レーザ、内視鏡及び画像再構成装置を用いるシステムである。動作中、レーザは、3D対象(例えば関心のある器官又は組織)の表面上に、レーザスポットパターン(例えば円形ドットのマトリックス)を投射する。内視鏡が、3D対象に対し平行移動され及び/又は回転されるに従って、内視鏡は、一連の内視鏡画像を生成し、各々の内視鏡画像は、レーザによって3D対象の表面上に投射されるレーザスポットパターン内のレーザスポットアレイのそれぞれ異なるビューを示す。画像再構成装置は、内視鏡画像に示されるレーザスポットアレイのそれぞれ異なるビューの対応付けから、3D対象の表面を再構成する。

0010

本発明の目的のために、「レーザスポットパターン」という語は、概して、内視鏡アプリケーションのための任意の幾何学的な形、任意の色及び任意の実際寸法をもつ2又はそれ以上のレーザスポットの任意の空間配列として、ここで規定される。「レーザスポットアレイ」という語は、関連するレーザスポットパターンのレーザスポット又はその任意のサブセットの空間配列を有するものとして、ここで広義に規定される。レーザスポットパターン及びレーザスポットアレイの中で、各スポットの幾何学的な形、色及び寸法は、レーザスポットの一部又は全部について同一であってもよく、又は異なってもよい。更に、レーザスポットアレイは、術前又は術中に、レーザスポットパターン内に規定されることができる。

0011

更に、「内視鏡」という語は、概して、身体を内側からイメージングする能力を有する任意の装置として、ここに規定される。本発明の目的を達成するための内視鏡の例は、可撓性又は剛性の任意のタイプのスコープ(例えば、内視鏡、関節鏡気管支鏡、コレドコスコープ、結腸鏡膀胱鏡十二指腸内視鏡、胃鏡子宮鏡腹腔鏡喉頭鏡神経内視鏡、耳鏡プッシュ式腸鏡鼻咽頭内視鏡、S状結腸鏡副鼻腔内視鏡、胸部内視鏡、その他)、及び画像システム備えるスコープ(例えばイメージング装置を有する入れ子式カニューレ)と同様の任意の装置を含むが、これらに限定されるものではない。イメージングは、局所的であり、表面画像は、ファイバ光学部品、レンズ、又は小型化された(例えばCCDベースの)イメージングシステムによって光学的に得られることができる。

0012

本発明の上述の形態及び他の形態並びに本発明のさまざまな特徴及び利点が、添付の図面に関連して理解される本発明のさまざまな実施形態の以下の詳細な説明から、一層明らかになるであろう。詳細な説明及び図面は、本発明を単に説明するものであって制限するものではなく、本発明の範囲は、添付の請求項及びその等価なものによって規定される。

図面の簡単な説明

0013

本発明による、3D画像再構成システムの例示の実施形態を示す図。
本発明による、レーザスポットアレイの一連の異なるビューの例を示す図。
本発明による、図2に示されるレーザスポットアレイの一連の異なるビューの別の例を示す図。
本発明による、内視鏡外科方法の例示の実施形態を示すフローチャート
図1に示されるシステムによる、図4に示される方法の例示の内視鏡アプリケーションを示す図。
本発明による、3D表面再構成方法の例示の実施形態を表すフローチャート。

実施例

0014

本発明による3D表面再構成アルゴリズムの実現は、レーザが、レーザスポットパターンを3D対象に投射し、内視鏡が、レーザスポットパターン内のレーザスポットアレイの一連の2D内視鏡画像を生成することによって、達成される。レーザスポットパターンは、内視鏡画像間のレーザスポットアレイの対応付けを容易にするために、3D対象に投射される再生可能且つ精確なフィーチャとしての役割を果たす。

0015

例えば、図1に示されるように、レーザ光源10によって供給されるレーザ11は、円形ドットの7x7マトリックス配列を有するレーザスポットパターン12を投射する。レーザスポットパターン12内には、円形ドットの3x3マトリックス配列を有するレーザスポットアレイ13がある。最小侵襲性の内視鏡外科手術の間、内視鏡21は、レーザスポットパターン12の全部又一部にフォーカスされ、それによって、内視鏡21の視野22は、レーザスポットアレイ13を取り囲む。

0016

より具体的には、図2は、内視鏡21が3D対象の方向に平行移動するに従って、内視鏡21によって生成される内視鏡ビュー23a−23cのシーケンスを示す。このように、レーザスポットパターン12は、それぞれ異なる内視鏡ビュー23a−23cにおいて拡大し、レーザスポットアレイ13は、各々の内視鏡ビュー23a−23cにおいて識別可能である。内視鏡ビュー23a−23cを通じたレーザスポットパターンの拡大は、以下に更に説明されるように、3D表面再構成アルゴリズムを実現するためのレーザスポットアレイ13の動きの役割を果たす。

0017

図3は、内視鏡21が、3D対象の方向へ更に平行移動するに従って、内視鏡21によって生成される内視鏡ビュー23d−23fの付加のシーケンスを示す。再び、レーザスポットパターン12は、内視鏡ビュー23d−23fを通じて拡大し、レーザスポットアレイ13は、各々の内視鏡ビュー23d−23fにおいて識別可能であり、内視鏡ビュー23d−23fを通じたレーザスポットパターンの拡大は、以下に更に説明されるように、3D表面再構成アルゴリズムを実現するためのレーザスポットアレイ13の動きの役割を果たす。

0018

図2及び図3は、内視鏡画像間のレーザスポットアレイの対応付けを容易にするために、3D対象に投射される再生可能且つ精確なフィーチャとしてのレーザスポットパターンの本発明の原理を明確に説明するために提供される。実際、好適には、レーザスポットパターンは、9又はそれ以上のレーザスポットを含み、内視鏡画像の数は、2又はそれ以上であり、内視鏡カメラとレーザスポットパターンとの間の距離は、内視鏡画像のすべてを通じてレーザスポットパターン全体の識別を容易にし、レーザスポットパターン自体が、レーザスポットアレイとして機能する。それにもかかわらず、図2及び図3は、レーザスポットパターンの全部又は一部にせよ、レーザスポットアレイが内視鏡画像のすべてにおいて識別可能でなければならないことを強調する。

0019

図1に戻って参照すると、画像再構成装置20は、対象の表面の3D画像を再構成するために、レーザスポットアレイの生成された画像を処理する。本発明の目的のために、画像再構成装置は、概して、3D再構成アルゴリズム(例えばプログラムされたコンピュータ)に従って内視鏡画像を処理することにより対象の表面の3D再構成を生成するように構成される任意の装置として、ここで広義に規定される。本明細書で用いられる「生成」という語は、コンピュータ処理及びメモリ記憶/取り出しの目的で、特に画像データセット及びビデオフレームのような情報(例えば、データ、テキスト、画像、ボイス及びビデオ)を生成し、計算し、出力し、供給し、取得し、発生し、形成し、開発し、展開し、変形し、変換し、変更し、又は他のやり方利用可能にするための、当分野において現在又は今後知られる任意の技法を含むものとして広義に規定される。

0020

図4は、本発明の内視鏡外科方法を表すフローチャート30を示す。フローチャート30は、術前ステージS32及びS33並びに術中ステージS34−S37を含む。本明細書で用いられる「術前」という語は、内視鏡アプリケーションの前に行われる又はその前の期間又は準備に関連する任意のアクティビティを述べるために広義に規定される。本明細書で用いられる「術中」という語は、内視鏡アプリケーション(例えば内視鏡を走査する)の間に行われ、実施され、又は遭遇される任意のアクティビティとして記述するために広義に規定される。内視鏡アプリケーションの例は、関節鏡検査、気管支鏡検査、大腸内視鏡検査、腹腔鏡検査、脳内視鏡検査及び内視鏡下心臓外科手術を含むが、これらに限定されるものではない。内視鏡下心臓外科手術の例は、内視鏡下冠状動脈バイパス、内視鏡僧帽弁及び大動脈弁修復及び置換を含むが、これらに限定されるものではない。

0021

術前ステージS31は、レーザスポットパターンを3D対象に投射するためのレーザを選択することを含む。実際、Lasiris SNFレーザが、内視鏡アプリケーションのために使用されることができ、その場合、レーザは、約600nmの波長及び100mWより小さい電力をもつ。更に、レーザは、好適には、円形ドットの緑又は青の7x7マトリックスのレーザスポットパターンを投射し、その場合、円形ドットの8又はそれ以上が、レーザスポットアレイとしての役割を果たす。更に、円形ドットは、0.5mmの直径を有するとともに、円形ドットの間に4mmの間隔を有することができる。90度又はそれ以下の扇角度(FA)を特定するために、対象サイズ(L)及び動作距離(D)が、下式[1]によって理解されるべきである:
FA = 2*arcsin(L/(2*D)) [1]

0022

図5は、対象サイズLを有する40の組織41から距離Dのところにあるレーザ11を含む関節鏡アプリケーションの例を示す。

0023

図4を再び参照して、術前ステージS32は、内視鏡の知られているカメラ較正を含む。一実施形態において、レーザは、レーザスポットパターンを対照的な平面(例えば白色の平面)に投射し、ここで、レーザスポットパターンは、一様なマトリックス(例えば、円形ドットの7x7マトリックス)を有し、又は異なる数の2次元のレーザスポットをもつマトリックス(例えば、円形ドットの6x7マトリックス)を有する。較正パラメータ及び半径方向歪みは、平面に対し内視鏡を2又はそれ以上の異なる向きに配した状態で平面上のレーザスポットパターンの画像を取得し、画像内のレーザポイントを検出することによって、算出される。

0024

術中ステージS33は、3D対象の表面上にレーザスポットパターンを生成することを含む。例えば、図5に示すように、レーザ11は、膝40の外科手術器具ポート43内に挿入され、それによって、組織41上に円形ドットの5x5マトリックスのレーザスポットパターン14を投射する。

0025

術中ステージS34の実行は、ステージS32が術前フェーズの間に実行されなかったかどうか、又は内視鏡の再較正が必要とされるかどうか、に依存する。実行される場合、術中ステージS34は、内視鏡が、レーザスポットパターンに対し内視鏡を2又はそれ以上の異なる向きに配した状態で、3D対象上に投射されるレーザスポットパターンの画像を取得することを含む。例えば、図5に示されるように、内視鏡21は、膝40の視覚ポート42に挿入され、それによって、レーザスポットパターン14(例えば画像24)の画像を生成する。内視鏡24は、さまざまな異なる視野角及び方向から同じレーザスポットアレイの画像を生成するために、任意の方向及び回転位置にポート42(すなわちピボット点)の周りを移動されることができる。その後、画像内のレーザスポットアレイとしてレーザスポットパターン14を検出し、又は画像内のレーザスポットアレイ15を検出することにより、カメラパラメータの算出が可能になる。

0026

レーザスポットの検出は、色閾値処理のような、当分野において知られている任意のアルゴリズムを用いて実施されることができる。検出の結果は、各画像の座標系におけるスポットの位置x=[x,y]Tである。

0027

術中ステージS35は、内視鏡が、3D対象及びポート42に対し平行移動され及び/又は回転されるに従って、3D対象上に、レーザスポットパターンの2又はそれ以上の一連の画像を生成することを含む。例えば、図5に示すように、内視鏡21は、膝40のポート42に挿入され、それにより、内視鏡21が矢印で示されるように組織41の方向に平行移動されるに従って、レーザスポットパターン14の画像(例えば画像24)を生成する。

0028

術中ステージS36は、ステージS35の間に取得される内視鏡画像及び術前ステージS32又は術中ステージS34の間に得られる内視鏡の較正に基づいて、対象の表面を3D再構成する。実際、3D再構成アルゴリズムは、対象の3D再構成を達成するために、ステージS36の間に実現されることができる。一実施形態において、図6は、ステージS36の間に実現されることができる3D表面再構成を表すフローチャート50を示す。

0029

図6を参照して、フローチャート50のステージS51は、内視鏡画像を通じてレーザスポットアレイのそれぞれ異なるビューを関連付けるための基本マトリックス(F)を生成することを含む。一実施形態において、2つの異なるビュー(x)及び(x')の同じレーザスポットに関して、基本マトリックス(F)は、3x3マトリックスであり、以下の知られている式[2]によって規定される:
xT * F * x' = 0 [2]
2つの異なるビューにおけるNレーザースポットについて、N個の式の組が規定される:
x1T * F * x1' = 0
・・・ [3]
xNT* F * xN' = 0

0030

式[3]からの未知数(F)は、レーザスポットアレイが8つのレーザスポット(N=8)を有する場合は8ポイントアルゴリズムを使用して計算されることができ、又はレーザスポットアレイが9又はそれ以上のレーザスポットを含む場合は反復法(例えばRANSAC)を使用して計算されることができる。

0031

ステージS52は、基礎マトリックス(E)を生成し、又は複数の内視鏡画像の間でレーザスポットアレイの異なるビューを関連付けることを含む。一実施形態において、基礎マトリックス(E)は、以下の知られている式[4]から計算される:
E = KT * F * K = 0 [4]

0032

較正マトリックス(K)は、内視鏡の術前又は術中の較正を表す3x3マトリックスである。

0033

ステージS53は、基礎マトリックス(E)の関数として、並進ベクトル(T)及び回転マトリックス(R)(内視鏡が回転される場合)を生成することを含む。一実施形態において、並進ベクトル(T)及び回転マトリックス(R)は、以下の知られている式[5]から導出される:
E = U * Σ *VT= 0 [5]

0034

ステージS54は、レーザスポットアレイの各ビューごとに投射マトリックスを生成することを含む。レーザスポットアレイの2つのビューに関する一実施形態において、スポット(x)と関連付けられるビューの投射マトリックスP1及びスポット(x')に関連付けられるビューの投射マトリックスP2が、以下の知られている式[6]及び[7]から計算される:
P1 = K * [I|0] [6]
P2 = KT * [R|T] * K [7]

0035

ステージS55は、内視鏡画像内の対象のレーザスポットアレイすなわち顕著なフィーチャ(例えばエッジ)から、3D対象ポイントを再構成することを含む。一実施形態において、2つのビューについてピンホールカメラモデルを使用する場合、3D対象ポイントXは、以下の知られている式[8]及び[9]から計算される:
x = P1 * X [8]
x' = P2 * X [9]

0036

計算された3D対象ポイントXは、三角測量及び式[8]及び[9]を使用して再構成されることができる。

0037

ポイントx及びx'に関して、2つの組が、ステージS55のために使用されることができる。

0038

第1の実施形態において、レーザスポットx及びx'は、フィーチャとして使用されることができる。これらのフィーチャは、それらが非常に精確であり且つ信頼できるものであるので、強いフィーチャである。この実施形態は、関連するレーザスポットアレイと同程度の数のポイントを有する非常にまばらな3Dモデルを与える。

0039

第2の実施形態において、当分野において知られているフィーチャ検出方法(例えばSIFT方法)を使用して検出される弱い対象表面フィーチャ(例えばエッジ)が、ポイントx及びx'から計算される投射マトリックスP1及びP2と共に使用されることができる。この方法は、ポイントx及びx'のより低い精度を有するが、投射マトリックスP1及びP2の高精度を維持する高密度の表面をもたらす。

0040

本発明のさまざまな実施形態が図示され記述されているが、当業者であれば、ここに記述される本発明の実施形態が説明的なものであり、さまざまな変形及び変更がなされることができ、等価なものが、本発明の真の範囲から逸脱することなく、それらの構成要素と置き換えられることができることが理解されるであろう。更に、多くの変形が、本発明の教示を、その中心的な範囲を逸脱することなく適応させるように行われることができる。従って、本発明は、本発明を実施するために企図される最良のモードとして開示される特定の実施形態に限定されず、本発明は、添付の請求項の範囲に入るすべての実施形態を含むことが意図される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する未来の課題

関連する公募課題

ページトップへ

おすすめの成長市場

関連メディア astavision

  • 生体情報デバイス・バイオセンサ

    「音楽を学習した人工知能は、人間を感動させることができるか?」をテーマに、クラブイベント「2045」…

  • MEMS・マイクロマシン・組込システム

    MEMS (Micro Electro Mechanical Systems:微小電気機械システム)…

  • 人工筋肉・ソフトアクチュエータ

    人工筋肉とは、ゴムや導電性ポリマー、形状記憶合金、カーボン・ナノチューブなどで作られた伸縮性のアクチ…

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

( 分野番号表示ON )※整理標準化データをもとに当社作成

ページトップへ

新着 最近公開された関連が強い技術

  • オリンパス株式会社の「内視鏡」が公開されました。(2017/09/07)

    【課題・解決手段】内視鏡(1)は、第1の湾曲部(7a)および第2の湾曲部(7b)を備えた湾曲部(7)と、第2の湾曲部(7b)の先端部分に先端が固定され、湾曲操作ワイヤ(41,42)が挿通された第1のガ ... 詳細

  • オリンパス株式会社の「観察光学系ユニット、撮像ユニット、及び、内視鏡」が公開されました。(2017/09/07)

    【課題・解決手段】後群レンズ58のうち最も被写体側に位置する第1レンズ58aを、外周が後群レンズ枠57に保持される基部58bと、基部58bよりも小さい外周にて形成され、移動レンズ枠65の進退移動可能な ... 詳細

  • オリンパス株式会社の「医療機器及び内視鏡コネクタ用キャップ」が公開されました。(2017/09/07)

    【課題・解決手段】内視鏡2は、本体装置3に接続した状態において照明用口金受け25a内に予め定めた挿入状態で配置されて接続状態になる照明用口金16aを有する第2内視鏡用コネクタ16と、第2内視鏡コネクタ ... 詳細

この技術と関連性が強い技術

この技術と関連性が強い人物

関連性が強い人物一覧

この技術と関連する未来の課題

関連する未来の課題一覧

この技術と関連する公募課題

公募課題一覧

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ