図面 (/)

技術 観察補助装置、情報処理方法、およびプログラム

出願人 ライカミクロジュステムス(シュヴァイツ)アーゲー
発明者 鎌田恭輔田村有希恵竹内文也
出願日 2016年5月24日 (5年8ヶ月経過) 出願番号 2017-521836
公開日 2018年4月12日 (3年10ヶ月経過) 公開番号 WO2016-194699
状態 特許登録済
技術分野 顕微鏡、コンデンサー 蛍光または発光による材料の調査,分析
主要キーワード 位置対応関係 分光結果 観察フィルタ 最大値近傍 ウェッジ基板 焼き込み 分光分析結果 励起波長領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

励起光光源として用いた観察を適切かつ容易に行なうことができる観察補助装置を提供する。

解決手段

光源として励起光と励起光以外の波長を含む光である観察光とを切り替え利用可能であり、第二のビームスプリッタ202を備えた顕微鏡2の、第二ビームスプリッタ202から出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、顕微鏡2の同じ観察領域の画像を撮像する撮像部104と、励起光と観察光とをそれぞれ光源として用いて撮像部104が撮像した画像を重ねて合成して出力する出力部106と、を備えるようにした。

概要

背景

従来の技術として、蛍光手術用実体顕微鏡は、観察対象野内の観察対象蛍光区域識別するための蛍光手術用実体顕微鏡であって、励起稼動状態では前記観察対象野を、少なくとも1つの照明光線路を介して励起波長領域内の光で照射し、手術稼動状態では前記観察対象野を、前記少なくとも1つの照明光線路を介して照明波長領域内の光で照射する第1照明装置と、前記観察対象野によりもたらされた反射光及び発光光を案内するための観察光線路と、前記励起波長領域内及び発光波長領域内において透過性である、前記観察光線路内の(好ましくは選択的に挿入可能な)第1観察フィルタとを含んで構成される蛍光手術用実体顕微鏡が知られていた(例えば、特許文献1参照)。

概要

励起光光源として用いた観察を適切かつ容易に行なうことができる観察補助装置を提供する。光源として励起光と励起光以外の波長を含む光である観察光とを切り替え利用可能であり、第二のビームスプリッタ202を備えた顕微鏡2の、第二ビームスプリッタ202から出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、顕微鏡2の同じ観察領域の画像を撮像する撮像部104と、励起光と観察光とをそれぞれ光源として用いて撮像部104が撮像した画像を重ねて合成して出力する出力部106と、を備えるようにした。

目的

本発明は、上記のような課題を解消するためになされたものであり、励起光を光源として用いた観察を適切かつ容易に行なうことができる観察補助装置等を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光源として励起光と励起光以外の波長を含む光である観察光とを切り替え利用可能であり、第二のビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像部と、励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力部とを備えた観察補助装置

請求項2

前記顕微鏡は、第一ビームスプリッタを更に備え、励起光を光源として利用した場合に前記顕微鏡の第一ビームスプリッタから出射される光を分光する分光部を更に備え、前記出力部は、前記分光部による分光結果に応じた出力を更に行なう請求項1記載の観察補助装置。

請求項3

前記第一ビームスプリッタから出射される光のうちの少なくとも一部の光が入射され、当該入射された光を前記分光部に対して出射させる光ファイバを更に備え、前記分光部は、前記第一ビームスプリッタから出射される光のうちの、前記光ファイバを介して入射される光を分光する請求項2記載の観察補助装置。

請求項4

前記顕微鏡の拡大率および焦点距離の少なくとも一方を受け付ける受付部を更に備え、前記出力部は、前記分光部の分光結果を、前記受付部が受け付けた拡大率および焦点距離の少なくとも一方に応じて補正する請求項2記載の観察補助装置。

請求項5

前記顕微鏡は、オートズーム機構を有しており、前記出力部は、前記オートズーム機構が出力するズームの拡大率に応じて、前記分光部の分光結果を補正する請求項4記載の観察補助装置。

請求項6

前記出力部は、前記分光部の分光結果が予め指定された条件を満たす場合に、予め指定された出力を行なう請求項2記載の観察補助装置。

請求項7

前記分光部は、励起光を光源として通常組織を観察した場合に前記第一ビームスプリッタから出射される光の分光と、異常組織を観察した場合に前記第一ビームスプリッタから出射される光の分光と、をそれぞれ行ない、前記出力部は、通常組織に対する分光結果と、異常組織に対する分光結果との比較に関する情報を出力する請求項2記載の観察補助装置。

請求項8

前記分光部は、同じ観察対象を、観察光を光源として観察した場合に前記第一ビームスプリッタから出射される光と、励起光を光源として観察した場合に前記第一ビームスプリッタから出射される光と、をそれぞれ分光し、前記出力部は、前記分光部の、観察光を光源とした場合の分光結果を用いて、励起光を光源として得られた分光結果を補正する請求項2記載の観察補助装置。

請求項9

前記撮像部は、前記顕微鏡の第二ビームスプリッタから出射される光を用いて、同じ光源を用いた場合における顕微鏡の同じ観察領域の複数の画像を撮像し、前記出力部は、前記撮像部が撮像した複数の画像を合成した画像を更に出力する請求項1記載の観察補助装置。

請求項10

前記出力部は、更に、励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像をそれぞれが重ならないように同時に出力する請求項1記載の観察補助装置。

請求項11

光源として励起光を用いた場合に、前記撮像部が撮像した画像について、当該撮像した画像が移動したか否か、または画像の拡大率が変化したか否かを判断する判断部を更に備え、前記撮像部は、前記判断部が、画像の移動または拡大率の変化を検出した場合に、光源を観察光に切り替えて顕微鏡の観察領域の画像を撮像し、前記出力部は、観察光を光源として前記撮像部が撮像した画像の出力を更新する請求項1記載の観察補助装置。

請求項12

前記観察光は、自然光である請求項1記載の観察補助装置。

請求項13

撮像部と、出力部とを用いて行なわれる情報処理方法であって、前記撮像部が、光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二ビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像ステップと、前記出力部が、励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力ステップとを備えた情報処理方法。

請求項14

コンピュータを、光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像部と、励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力部として機能させるためのプログラム

技術分野

0001

本発明は、励起光光源として利用可能な顕微鏡に取り付けて診断に利用可能な装置等に関するものである。

背景技術

0002

従来の技術として、蛍光手術用実体顕微鏡は、観察対象野内の観察対象蛍光区域識別するための蛍光手術用実体顕微鏡であって、励起稼動状態では前記観察対象野を、少なくとも1つの照明光線路を介して励起波長領域内の光で照射し、手術稼動状態では前記観察対象野を、前記少なくとも1つの照明光線路を介して照明波長領域内の光で照射する第1照明装置と、前記観察対象野によりもたらされた反射光及び発光光を案内するための観察光線路と、前記励起波長領域内及び発光波長領域内において透過性である、前記観察光線路内の(好ましくは選択的に挿入可能な)第1観察フィルタとを含んで構成される蛍光手術用実体顕微鏡が知られていた(例えば、特許文献1参照)。

先行技術

0003

特開2012−58732号公報(第1頁、第1図等)

発明が解決しようとする課題

0004

しかしながら、従来の技術においては、励起光を光源として用いて、顕微鏡により観察対象を観察する際に、適切かつ容易に観察を行なうことができないという課題があった。

0005

例えば、励起光を光源として用いた観察においては、励起光で励起された部分しか観察することができないため、励起されていない部分がどのようになっているかを確認することができず、励起されていない部分の状況の同時把握ができなかった。また、励起光で観察しただけでは、医師等が、適切な領域を観察しているか否かを判断することが困難であった。

0006

例えば、励起光を光源として用いた観察においては、観察される領域の見え方が、自然光等を光源として用いた場合とは大きく異なるため、医師等は、適切な領域を観察しているか否かを判断することが困難であり、蛍光する部分の自然光画像との位置対応関係掌握しにくい等の問題もあった。つまり、蛍光画像のみでは解剖学的位置との整合性をとることが困難であり、蛍光発色部分と自然光下の解剖学的な術野の両者の同時把握も必要である。

0007

本発明は、上記のような課題を解消するためになされたものであり、励起光を光源として用いた観察を適切かつ容易に行なうことができる観察補助装置等を提供することを目的とする。

課題を解決するための手段

0008

本発明の観察補助装置は、光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、顕微鏡の同じ観察領域の画像を撮像する撮像部と、励起光と観察光とをそれぞれ光源として用いて撮像部が撮像した画像を重ねて合成して出力する出力部とを備えた観察補助装置である。

0009

かかる構成により、励起光を光源として用いた観察を適切かつ容易に行なうことができる。例えば、励起光と観察光とをそれぞれ光源として用いて撮像した画像を重ねて合成して出力することで、観察光を用いた画像で観察可能な励起光では観察できない部分と、励起光を用いた画像で観察可能な蛍光を発する部位とを同時観察できる。また、例えば、観察光で観察可能な励起光で観察できない部分を見ることで適切な場所を観察しているか否かを確認しながら、励起光による観察を行なうことができる。また、励起光を用いた画像と観察光を用いた画像が重ねて合成されて出力されるため、両方の画像に示されている部位等の対応関係一目瞭然に容易に把握することができる。また、両方の画像間で視線を移動させる必要がないため、視認性に優れている。

0010

また、本発明の観察補助装置は、前記観察補助装置において、顕微鏡は、第一ビームスプリッタを更に備え、励起光を光源として利用した場合に顕微鏡の第一ビームスプリッタから出射される光を分光する分光部を更に備え、出力部は、分光部による分光結果に応じた出力を更に行なう観察補助装置である。

0011

かかる構成により、顕微鏡により観察対象を観察する際に、顕微鏡の観察領域についての分光分析を同時に行なうことができることができる。

0012

また、本発明の観察補助装置は、前記観察補助装置において、第一ビームスプリッタから出射される光のうちの少なくとも一部の光が入射され、入射された光を分光部に対して出射させる光ファイバを更に備え、分光部は、第一ビームスプリッタから出射される光のうちの、光ファイバを介して入射される光を分光する観察補助装置である。

0013

かかる構成により、顕微鏡により観察対象を観察する際に、顕微鏡の観察領域についての分光分析を同時に行なうことができる。また、光ファイバで接続することにより、例えば、観察補助装置、特に分光部を配置する位置についての自由度を高くすることができる。

0014

また、本発明の観察補助装置は、前記観察補助装置において、顕微鏡の拡大率および焦点距離の少なくとも一方を受け付ける受付部を更に備え、出力部は、分光部の分光結果を、受付部が受け付けた拡大率および焦点距離の少なくとも一方に応じて補正する観察補助装置である。

0015

かかる構成により、拡大率や焦点距離の変化による分光部に入射される光の変化を補正した分光結果をえることができる。

0016

また、本発明の観察補助装置は、前記観察補助装置において、顕微鏡は、オートズーム機構を有しており、出力部は、オートズーム機構が出力するズームの拡大率に応じて、分光部の分光結果を補正する観察補助装置である。

0017

かかる構成により、顕微鏡のズームの拡大率に応じた補正を自動的に行なうことができる。

0018

また、本発明の観察補助装置は、前記観察補助装置において、出力部は、分光部の分光結果が予め指定された条件を満たす場合に、予め指定された出力を行なう観察補助装置である。

0019

かかる構成により、観察領域で観察される観察対象が予め指定された条件を満たすか否かを判断することができる。

0020

また、本発明の観察補助装置は、前記観察補助装置において、分光部は、励起光を光源として通常組織を観察した場合に第一ビームスプリッタから出射される光の分光と、異常組織を観察した場合に第一ビームスプリッタから出射される光の分光と、をそれぞれ行ない、出力部は、通常組織に対する分光結果と、異常組織に対する分光結果との比較に関する情報を出力する観察補助装置である。

0021

かかる構成により、例えば、正常組織に対する分光結果を参考にして異常組織に対する分光結果を分析することができる。

0022

また、本発明の観察補助装置は、前記観察補助装置において、分光部は、同じ観察対象を、観察光を光源として観察した場合に第一ビームスプリッタから出射される光と、励起光を光源として観察した場合に第一ビームスプリッタから出射される光と、をそれぞれ分光し、出力部は、分光部の、観察光を光源とした場合の分光結果を用いて、励起光を光源として得られた分光結果を補正する観察補助装置である。

0023

かかる構成により、励起光を光源とした場合に得られた分光結果から、観察光の影響を除去することができる。

0024

また、本発明の観察補助装置は、前記観察補助装置において、前記撮像部は、顕微鏡の第二ビームスプリッタから出射される光を用いて、同じ光源を用いた場合における顕微鏡の同じ観察領域の複数の画像を撮像し、出力部は、撮像部が撮像した複数の画像を合成した画像を更に出力する観察補助装置である。

0025

かかる構成により、複数の画像を合成して画像内の特定の部分等、例えば、蛍光している部分等を強調した画像を出力することができる。

0026

また、本発明の観察補助装置は、前記観察補助装置において、出力部は、更に、励起光と観察光とをそれぞれ光源として用いて撮像部が撮像した画像をそれぞれが重ならないよう同時に出力する観察補助装置である。

0027

かかる構成により、合成した画像に加えて、合成していない観察光を光源とした場合の観察領域の画像と、励起光を光源とした場合の観察領域の画像とを出力することができる。これにより、例えば、観察光を光源とした場合の観察領域の画像と、励起光を光源とした場合の観察領域の画像とを比較することができる。また、観察光を光源とした画像に表示されている部分と、励起光を光源とした画像に表示されている部分を明確に分離して視認することができる。

0028

また、本発明の観察補助装置は、前記観察補助装置において、光源として励起光を用いた場合に、撮像部が撮像した画像について、撮像した画像が移動したか否か、または画像の拡大率が変化したか否かを判断する判断部を更に備え、撮像部は、判断部が、画像の移動または拡大率の変化を検出した場合に、光源を観察光に切り替えて顕微鏡の観察領域の画像を撮像し、出力部は、観察光を光源として撮像部が撮像した画像の出力を更新する観察補助装置である。

0029

かかる構成により、励起光を用いて観察している場合における観察領域の変更を検出して、変更された観察領域についての観察光を光源として用いた撮像画像を自動的に取得することができる。

0030

また、本発明の観察補助装置は、前記観察補助装置において、観察光が自然光である観察補助装置である。

0031

かかる構成により、励起光を光源として用いた観察を適切かつ容易に行なうことができる。例えば、励起光と自然光とをそれぞれ光源として用いて撮像した画像を重ねて合成して出力することで、自然光を用いた画像で観察可能な励起光では観察できない部分と、励起光を用いた画像で観察可能な蛍光を発する部位とを同時観察できる。また、例えば、自然光で観察可能な励起光では観察できない部分を見ることで適切な場所を観察しているか否かを確認しながら、励起光による観察を行なうことができる。また、励起光を用いた画像と自然光を用いた画像が重ねて合成されて出力されるため、両方の画像に示されている部位等の対応関係は一目瞭然に容易に把握することができる。また、両方の画像間で視線を移動させる必要がないため、視認性に優れている。

発明の効果

0032

本発明による観察補助装置等によれば、励起光を光源として用いた観察を適切かつ容易に行なうことができる。

図面の簡単な説明

0033

本発明の実施の形態における診断システムの構成の一例を示す模式図
同診断システムの観察補助装置の動作について説明するフローチャート
同診断システムの観察補助装置が取得した分光結果の一例を示す図
同診断システムの観察補助装置が取得したグラフの一例を示す図
同診断システムの観察補助装置による複数の画像を合成する処理を説明するための、合成対象となる4枚のフレーム画像を示す模式図(図5(a))、および合成した画像を示す模式図(図5(b))
同診断システムの観察補助装置による表示例を示す図
同診断システムの観察補助装置が取得したグラフの一例を示す図
本発明の実施の形態におけるコンピュータシステム外観の一例を示す図
同コンピュータシステムの構成の一例を示す図

実施例

0034

以下、観察補助装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

0035

(実施の形態)
図1は、本発明の実施の形態における診断システム1000の一例を示す模式図である。

0036

診断システム1000は、観察補助装置1、顕微鏡2を備える。

0037

観察補助装置1は、分光部101、光ファイバ102、受付部103、撮像部104、判断部105、出力部106を備える。

0038

顕微鏡2は、第一ビームスプリッタ201、第二ビームスプリッタ202、レンズ群203、オートズーム機構204、接眼部205、光源206、偏向プリズム207を備える。

0039

顕微鏡2は、光源として励起光を利用可能な顕微鏡である。顕微鏡2は、例えば、光学顕微鏡である。顕微鏡2は、例えば、手術用実体顕微鏡である。励起光は、例えば、観察対象に蓄積された蛍光物質を励起させる波長の光である。蛍光物質が蓄積された部分を含む領域に励起光を照射することにより、蛍光物質が蓄積された部分から蛍光を発光放射)させることができ、蛍光物質が蓄積された部分を顕微鏡により視認することが可能となる。

0040

顕微鏡2は、同一の光線路20上に配置されるレンズ群203と、第一ビームスプリッタ201と、第二ビームスプリッタ202と、接眼部205と、を備えており、レンズ群203に対向した位置に配置される観察対象を、レンズ群203と、第一ビームスプリッタ201と、第二ビームスプリッタ202とを介して接眼部205から観察可能となっている。ここでの同一の光線路20は、例えば、観察対象からレンズ群203に入射される光が、接眼部205まで進む光線路である。この光線路20に対する第一ビームスプリッタ201と第二ビームスプリッタ202との配置は、逆であっても良い。

0041

レンズ群203は、1以上のレンズ、通常は複数のレンズで構成されている。ここでは一例として、レンズ群203が、観察対象側に配置される対物レンズ203aと、ズームレンズ203bとを有している場合を示している。対物レンズ203aは、図示しない1以上のレンズ(通常は、複数のレンズ)で構成されている。対物レンズ203aが複数のレンズで構成される場合、その枚数や、構成されるレンズの種類や組合わせ等については問わない。

0042

ズームレンズ203bは、複数のレンズ(図示せず)で構成されており、1以上のレンズの位置を前後に移動させることにより、焦点距離や拡大率を変更できるようになっている。拡大率は、倍率と考えてもよい。ここでは、ズームレンズ203bは、オートズーム機構204によって、図示しない操作部に対してユーザが行なった操作に応じて、構成する1以上のレンズの位置を電動で移動させることにより、拡大率を変更可能となっている。ただし、ズームレンズ203bは、手動で操作可能なズームレンズであっても良い。オートズーム機構204は、例えば、ズームレンズ203bの現在の拡大率を示す情報や、ズームによって変更される焦点距離等の情報を取得して、観察補助装置1に対して出力してもよい。なお、オートズーム機構204の構成や、オートズーム機構204が、拡大率の情報等を取得するための構成については公知であるため、ここでは詳細な説明は省略する。

0043

また、対物レンズ203aは、対物レンズ203a自身の焦点距離の情報や、拡大率の情報等を取得して、観察補助装置1に対して出力しても良い。対物レンズ203aの拡大率の情報等を取得するための構成については公知であるため、ここでは詳細な説明は省略する。かかることは、後述する接眼部205が有する接眼レンズ(図示せず)等においても同様である。

0044

なお、本実施の形態においては、レンズ群203は、ズームレンズと同様の、レンズの位置を移動可能な構成を有する複数のレンズで構成される対物レンズであっても良い。また、レンズ群203は、ズームレンズ203bを有していなくても良い。また、ズームレンズ203bの設けられている位置は問わない。

0045

第一ビームスプリッタ201は、観察対象からレンズ群203を経て入射される光を2つに分離して、分離した一方の光を、上述した接眼部205に至る光線路20に出射する。また、分離した他方の光を、観察補助装置1の分光部101に対して出射する。つまり、分離した他方の光を、第一ビームスプリッタ201から分光部101に入射される光線路21に対して出射する。ここでは、具体的には、分光部101と光学的に結合された光ファイバ102に、分離した光を入射させる。光ファイバ102の第一ビームスプリッタ201側の端面近傍には、第一ビームスプリッタ201で分離された光を集光して、光ファイバ102の端面に入射させるための1以上のレンズ(図示せず)を備えていても良い。例えば、第一ビームスプリッタ201は、入射される光の一部を反射させ、残りの光を透過させることで、光を2つに分離する。通常、反射光を、分光部101に対して出射する。第一ビームスプリッタ201としては、例えば、プリズム型、平面型ウェッジ基板型等が知られている。ここでは、一例としてプリズム型の第一ビームスプリッタ201を用いた場合を例に挙げて示している。なお、第一ビームスプリッタ201はハーフミラーであってもよい。なお、ビームスプリッタの構成は、公知であるため、ここでは詳細な説明は省略する。

0046

第二ビームスプリッタ202は、観察対象からレンズ群203と第一ビームスプリッタ201とを経て入射される光を2つに分離して、分離した一方の光を、上述した接眼部205に至る光線路20に出射する。また、分離した他方の光を、観察補助装置1の撮像部104に対して出射する。つまり、分離した他方の光を、第一ビームスプリッタ201から分光部101に入射される光線路21に対して出射する。撮像部104と、第二ビームスプリッタ202との間は、例えば、接続管や、マウント部材等の接続部202bを介して接続される。撮像部104と、第二ビームスプリッタ202との間には、第二ビームスプリッタ202で分離された光を集光して、撮像部104の撮像面(図示せず)等に入射させるための1以上のレンズ(図示せず)を備えていても良い。第二ビームスプリッタ202の構成等については、第一ビームスプリッタ201と同様のものが利用可能であるため、ここでは詳細な説明は省略する。

0047

顕微鏡2は、通常、2つの接眼部205を備えている。ただし、接眼部205は一つであっても良い。接眼部205には、例えば、接眼レンズ(図示せず)が設けられている。

0048

なお、顕微鏡2は、上記以外の1以上のレンズ等の光学系を備えていても良い。例えば、例えば、上述した同一の光線路上に、結像レンズ(図示せず)や、偏向プリズム(図示せず)等を備えていても良い。結像レンズを備えている場合、第一ビームスプリッタ201や第二ビームスプリッタ202は、それぞれ、対物レンズ203aと、結像レンズとの間に設けるようにすることが好ましい。

0049

また、ここでは説明を省略しているが、顕微鏡2は、フォーカス機構等を備えていても良い。

0050

また、顕微鏡2は、焦点距離の情報や拡大率の情報の少なくとも一方を取得して、観察補助装置1に出力する顕微鏡情報出力部(図示せず)等を備えていても良い。なお、顕微鏡の焦点距離や拡大率の情報を取得して出力する構成は公知技術であるため、ここでは詳細な説明は省略する。

0051

光源206は、励起光を顕微鏡2の観察対象に対して照射する。光源206は、例えば、偏向プリズム207で偏向させた励起光を観察対象に対して照射する。観察対象は、例えば試料である。観察対象は、具体的には、生体腫瘍が発生している患部等である。観察対象に対して励起光を照射するということは、観察領域に励起光を照射することと考えてもよい。なお、偏向プリズム207を介さずに、直接光源206から光を観察対象に照射するようにしても良い。また、観察対象と光源206との間の1以上のレンズ(図示せず)や1以上の凹面鏡等のミラー(図示せず)等を配置してもよい。

0052

光源206は、観察対象の表面から光を照射してもよく、裏面から光を照射しても良い。例えば、顕微鏡2が手術用顕微鏡である場合、光源206は観察対象の正面から光を照射する。

0053

光源206が照射する励起光の波長は、観察対象が有する蛍光物質を励起させて蛍光を発光させることが可能な波長あるいは波長帯の光であり、その波長あるいは波長帯は、励起対象となる蛍光物質に応じて決定される。例えば、観察対象が腫瘍である場合において5−ALA(5−Aminolevulinic Acid)を投与した場合、この5−ALAが腫瘍細胞内集積して蛍光物質(ProtoporphyrinIX:PpIX)となるが、この蛍光物質から蛍光を発光させるためには、例えば、波長が400nmの励起光が用いられる。

0054

顕微鏡2においては、例えば、光源206を点灯させることで、励起光を観察対象に照射する光の光源として利用可能となり、光源206を消灯させることで、自然光を観察対象に照射する光の光源として利用可能となる。つまり、顕微鏡2は、光源206の点灯と消灯との切換により、観察対象に照射する光の光源として励起光と自然光とを切り替えて利用することが可能である。あるいは、光源206の光を観察対象に照射するか照射しないかを、光源206の照射方向や、偏向プリズム207の位置を変更させることによって、切り替えてもよい。ここでの自然光は、環境光や、可視光や、白色光等と考えてもよく、必ずしも太陽光でなくても良い。自然光は、例えば、室内に設けられた照明等が発する室内光等と考えてもよい。例えば、自然光は、出術室等において手術中に、観察対象に照射される照明光であってもよい。なお、顕微鏡2は、観察対象に自然光を照射するための光源(図示せず)や、偏向プリズム(図示せず)等を有していても良い。

0055

光源206は、出射する励起光の強度を切り替え可能なものであっても良い。例えば、光源206は、同じ波長帯の光を照射する複数の光源(図示せず)で構成されていても良く、この場合、複数の光源のオンオフの組合わせにより、出射される光の強度を変更することが可能である。

0056

なお、顕微鏡2は、観察補助装置1が出力する情報、例えば制御情報に応じて、光源として、励起光を利用する場合と、自然光を利用する場合とを適宜切り替え可能なものであっても良い。例えば、顕微鏡2は、観察補助装置1が出力する情報により、励起光を照射する光源206を点灯、消灯を切り替えられるものであってもよい。

0057

なお、図1に示した顕微鏡2は、一例であり、本実施の形態においては、叙述したような機能や構造等を備えている顕微鏡であれば、他の構造の顕微鏡であっても良い。

0058

観察補助装置1は、例えば、顕微鏡2による観察を補助するために用いられる装置である。観察補助装置1は、顕微鏡2に着脱可能となるように取り付けられるものであることが好ましい。ただし、観察補助装置1は、顕微鏡2に取り付けられた状態で固定されていても良い。観察補助装置1は、例えば、医療用に用いられる装置である。医療用に用いられるということは、例えば、診断や手術灯の医療行為や、医療行為に関連した検査等に用いられることである。

0059

分光部101は、顕微鏡2の、第一ビームスプリッタ201から出射される光を分光する。例えば、分光部101は、第一ビームスプリッタ201から出射される光のうちの、光ファイバ102を介して入射される光を分光する。例えば、分光部101は、光ファイバ102を介して、第一ビームスプリッタ201と光学的に接続される。光ファイバ102は、例えば、観察補助装置1の一部と考えてよい。

0060

分光部101は、例えば、入射される光を分光して、波長毎の光強度を取得する。なおここでの波長は、周波数に適宜、置き換えて考えてもよい。かかることは以下においても同様である。分光部101が取得する光強度は、例えば、相対強度である。光強度の単位等は問わない。光強度は、光強度を示す信号強度であっても良い。分光部101は、例えば、入射光スペクトルを取得する。スペクトルは、例えば、分光スペクトルである。分光スペクトルは、例えば、観察対象についての蛍光スペクトルや、反射スペクトルである。例えば、分光部101は、光源206から照射される励起光によって観察対象の蛍光物質から発光されて、第一ビームスプリッタ201で分離されて入射される蛍光のスペクトルを取得する。また、例えば、分光部101は、観察対象で反射され、第一ビームスプリッタ201で分離されて入射される自然光のスペクトルを取得する。なお、分光部101が取得するスペクトルは、例えば、吸収スペクトルや、発振スペクトルであってもよい。なお、分光部101が取得する光強度は、例えば、相対強度である。例えば、分光部101が取得するスペクトルは、複数の波長と相対的な光強度とを対応付けて有する情報である。

0061

例えば、分光部101は、同じ観察対象を、自然光を光源として観察した場合に第一ビームスプリッタ201から出射される光と、励起光を光源206として観察した場合に第一ビームスプリッタ201から出射される光と、をそれぞれ分光し、それぞれの分光結果を取得するようにしてもよい。分光結果は、波長毎の光強度の値や、スペクトルである。取得したそれぞれの分光結果は、例えば、図示しない格納部等に蓄積しておく。なお、励起光だけを光源として用いて観察を行なう場合、顕微鏡2が配置された部屋等の照明を消灯したり、部屋等への外部からの光を遮光したりすることが好ましい。このように消灯や遮光を行なわないで励起光を光源として用いて観察を行なった場合、分光部101は、励起光により発生する蛍光と、自然光による反射光との両方の分光を行なうこととなる。

0062

また、分光部101は、励起光を光源206として通常組織を観察した場合に第一ビームスプリッタ201から出射される光の分光と、異常組織を観察した場合に第一ビームスプリッタ201から出射される光の分光と、をそれぞれ行ない、それぞれの分光結果を取得するようにしても良い。例えば、ユーザが、観察対象となる組織を、通常組織と、異常組織とに切り替えるようにして、分光部101は、それぞれの組織について分光結果を取得する。組織とは、通常、生体の組織である。異常組織とは、例えば、病変部位の組織である。病変部位の組織とは腫瘍組織である。通常組織は、異常組織以外の組織である。ただし、通常組織と異常組織として用いられる組織は、同じ生体、例えば同じ被験者の同様の部位、例えば同じ臓器や、近接した部位等の組織であることが好ましい。取得したそれぞれの分光結果は、例えば、図示しない格納部等に蓄積しておく。

0063

なお、分光部101の構成や、分光部101が分光を行なうための動作等については、以下のURL等に示されている分光器のような通常の分光器と同様であるため、ここでは詳細な説明は省略する("ミニ分光器:ラマン分光装置用|浜松ホトクス"、[online]、[平成27年5月29日検索]、インターネット<URL:http://www.hamamatsu.com/jp/ja/product/application/1505/4517/4387/index.html>」。

0064

光ファイバ102には、第一ビームスプリッタ201から出射される光のうちの少なくとも一部の光が入射される。そして、光ファイバ102は、入射された光を分光部101に対して出射させる。光ファイバ102には、第一ビームスプリッタ201で分離された光のうちの、接眼部205に至る光線路20に出射される光とは異なる光の全てが入射されても良く、その一部だけが入射されても良い。例えば、一部の光だけを図示しないレンズ等で集光して光ファイバ102に入射させるようにしても良い。例えば、顕微鏡2の観察領域内の一部の領域、好ましくは、観察領域の中央近傍から得られる光だけが、光ファイバ102に入射されるようにしても良い。観察領域の中央近傍とは、例えば、観察領域の中心位置を含む対象な領域であって、観察領域の50%以下の面積、好ましくは7〜13%の面積を占める領域である。例えば、7〜13%の面積とすることで、通常のカメラ中央重点測光と同様の面積の光を受光することとなり、観察領域の適切な部位の光を受光することができる。顕微鏡2の観察領域は、例えば、顕微鏡2の観察野や、視野等と考えてもよい。

0065

受付部103は、顕微鏡2の拡大率および焦点距離の少なくとも一方を受け付ける。例えば、受付部103は、上述したような顕微鏡2のオートズーム機構204や対物レンズ203aや、接眼部205や、図示しない顕微鏡情報出力部等が出力する拡大率および焦点距離の少なくとも一方の情報を受け付けても良い。また、上述したような顕微鏡2のオートズーム機構204や対物レンズ203aや、接眼部205や、図示しない顕微鏡情報出力部等が出力する顕微鏡2が使用しているレンズを示す情報や、ズームレンズの状況を示す情報等を受け付けて、この受け付けた情報を用いて、受付部103が、拡大率や焦点距離の情報を算出してもよく、このような場合も、実質的に、拡大率および焦点距離の少なくとも一方を受け付けることと考えてもよい。また、ユーザが図示しない入力デバイス等を介して入力した拡大率および焦点距離の情報を受け付けても良い。顕微鏡2の拡大率は、通常の顕微鏡の拡大率(あるいは倍率)と同様であり、例えば、顕微鏡2のレンズ群203の拡大率と、接眼部205が有する接眼レンズ(図示せず)の拡大率との積である。なお、顕微鏡2の拡大率や焦点距離の算出方法や、取得方法については、公知技術であるため、ここでは詳細な説明は省略する。ここでの受け付けは、入力インターフェース(図示せず)を介した情報の入力の受付や、キーボードマウスタッチパネルなどの入力デバイスから入力された情報の受け付けなどを含む概念である。入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部103は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

0066

撮像部104は、顕微鏡2の第二ビームスプリッタ202から出射される光を用いて、顕微鏡2の同じ観察領域の画像を撮像する。撮像部104は、CCDやCMOS等の撮像素子(図示せず)を備えている。撮像部104が備えている撮像素子の画素数や、サイズ等は問わない。撮像部104が撮像する画像は、通常、カラーの画像であるが、文句ローム画像であっても良い。撮像部104が撮像する画像は、動画像であっても良く、静止画像であっても良く、その両方であってもよい。撮像部104は、一定または不定時間間隔毎に連続して2以上の静止画像を撮像してもよい。例えば、撮像部104は、第二ビームスプリッタ202から出射され、図示しない接続管やマウント部材等を介して入射される光を分光する。例えば、撮像部104は、接続管やマウント部材等を介して、第二ビームスプリッタ202と光学的に接続される。撮像部104と第二ビームスプリッタ202との間には、適宜、図示しない1以上のレンズやミラー、プリズム等が設けられていても良い。

0067

撮像部104は、例えば、顕微鏡2の第二ビームスプリッタ202から出射される光を用いて、顕微鏡2の同じ観察領域の複数の画像を撮像してもよい。例えば、撮像部104は、予め指定された時間間隔ごとに連続して同じ観察領域の画像を複数回撮像して、顕微鏡2の同じ観察領域の複数の画像を撮像してもよい。また、この複数の画像は、同じ観察領域を撮像した動画像の、連続した複数のフレーム画像や、動画像から予め指定された1以上のフレーム画像数おきに順次取得された複数のフレーム画像であってもよい。例えば、撮像部104は、動画像を取得し、この動画像から、このような複数のフレーム画像を取得しても良い。同じ観察領域の複数の画像とは、例えば、観察領域を移動させず、また、観察領域に対して拡大率の変更等を行なわずに撮像された複数の画像である。例えば、撮像部104は、図示しない受付部が、同じ観察領域の複数の画像を撮像する指示を受け付けた場合に、複数の画像を撮像するようにしてもよく、常時、複数の画像を撮像するようにしても良い。

0068

また、撮像部104は、顕微鏡2の、第二ビームスプリッタ202から出射される光を用いて、励起光と自然光とをそれぞれ光源206として用いた場合の、顕微鏡2の同じ観察領域の画像を撮像してもよい。同じ観察領域の画像とは、上記と同様に、観察領域を移動させず、かつ拡大率の変更を行なわずに撮像した画像である。ここで撮像する画像は、いずれも静止画像であってもよく、いずれも動画像であっても良く、一方が静止画像で、他方が動画像であっても良い。

0069

また、撮像部104は、後述する判断部105が、画像の移動または拡大率の変化を検出した場合に、光源を自然光に切り替えて顕微鏡2の観察領域の画像を撮像してもよい。移動または拡大率の変化の検出対象となる画像は、例えば、励起光を光源として用いて撮像された動画像または、2以上の静止画像、好ましくは、2以上の連続した順番で撮像された静止画像である。画像の移動とは、例えば、画像内における撮像対象の移動や、対応する画素画素群の移動や、対応する動きオブジェクトの移動である。かかることは拡大率の変化についても同様である。また、ここでの画像の移動は、顕微鏡2の移動等に伴う観察領域の移動によるものであっても良く、観察対象の移動によるものであってもよい。かかることは拡大率の変化についても同様である。ここでの画像の移動や拡大率の変化は、閾値以上の画像の移動や、拡大率の変化である。例えば、撮像部104は、励起光を光源として用いた画像を撮像していた場合において、後述する判断部105が、画像の移動または拡大率の変化を検出した場合に、一時的に、光源を自然光に切り替えて顕微鏡2の観察領域の画像を撮像し、撮像後、光源を励起光に再度切り替えて顕微鏡2の観察領域の画像を撮像してもよい。これにより、観察領域の設定に変化があった場合に、変化した観察領域を自然光で撮像した画像を取得することができ、変化後の観察領域を自然光で撮像した画像を取得することができる。

0070

判断部105は、光源206として励起光を用いた場合に、撮像部104が撮像した画像について、撮像した画像が移動したか否か、または画像の拡大率が変化したか否かを判断する。例えば、判断部105は、励起光を用いて撮像された動画像または、2以上の静止画像、好ましくは、2以上の連続した順番で撮像された静止画像において、画像が移動したか否か、または画像の拡大率が変化したいか否かを判断する。例えば、動画像のフレーム画像間や、2以上の静止画像間において、差分画像等を用いて画素や、画素ブロックや画素オブジェクト等の画素群について動き検出を行なって、その動きから、画像の動きや、画像の拡大率の変化を検出する。例えば、画素や画素群について検出した動きが閾値以上である場合、画像が動いたと判断する。また、動き検出により検出された画素群や動きオブジェクトの大きさの変化、例えば、面積の変化が、閾値以上である場合、画像の拡大率が変化したと判断する。なお、撮像した画像から、画像の動きを検出したり、画像の拡大率の変化の有無を判断する処理は、被写体の動き等を検出する技術等として、公知の技術であるため、ここでは、詳細な説明は省略する。

0071

出力部106は、分光部101による分光結果に応じた出力を行なう。出力部106は、例えば、分光部101による分光結果を出力する。例えば、出力部106は、分光部101が分光結果として取得した波長毎の光強度の値を、グラフや表で出力する。例えば、出力部106は、波長毎の光強度の値を、横軸を波長、縦軸を光強度としたグラフで表示する。例えば、出力部106は、分光結果として取得した波長毎の光強度のうちの予め指定された波長帯(波長の範囲)の光強度を用いて基準値を設定し、この波長帯以外の他の波長について取得した光強度としては、この基準値を基準として取得した値を出力するようにしても良い。基準値を基準として取得した光強度の値とは、例えば、分光部101が取得した波長毎の光強度と、基準値との差で表される光強度の値である。例えば、出力部106は、設定した基準値に対応する光強度を0とした場合の、波長毎の光強度を算出して出力しても良い。基準値は、予め指定された波長帯の光強度に応じて設定される。予め指定された波長帯は、例えば、異常組織についての分光結果と通常組織についての分光結果でも、光強度の値に大きな違いがないと考えられる波長帯であることが好ましい。予め指定された波長帯は、例えば、500〜530nmの範囲内に設定される波長帯である。例えば、出力部106は、分光結果のうちの、予め指定された波長帯に含まれる波長について取得された光強度の平均値や、中間値等である。ただし、予め指定された波長帯に含まれる波長からどのように、基準値を取得してもよい。

0072

また、出力部106は、分光部101が分光結果として取得した波長毎の光強度の値を用いて、光強度が最大値を取る波長を検出し、この波長の値を分光結果に応じた出力として出力してもよい。ここでの最大値は、予め指定された波長帯、つまり波長の範囲内における最大値であっても良い。例えば、波長が、550−750nmまでの範囲における最大値であっても良い。また、この最大値の光強度の値を取得して、分光結果に応じた出力として出力してもよい。また、この上記のグラフの光強度が最大となる波長の近傍の面積を算出して出力しても良い。この面積は、どのように算出しても良く、例えば、積分等を用いて算出してもよい。また、出力部106は、分光部101が分光結果として取得した波長毎の光強度の値を用いて2以上のピークを検出し、このピークの光強度の値の比を算出して出力しても良い。ピークを自動で検出する技術は公知であるため、詳細な説明は省略する。なお、ここでの光強度としては、分光部101が取得した光強度の値を用いても良く、上述したような分光結果が示す光強度と基準値との差を用いるようにしてもよい。かかることは、以下においても同様である。

0073

また、出力部106は、分光部101の分光結果を、受付部103が受け付けた拡大率および焦点距離の少なくとも一方に応じて補正してもよい。ここでの補正は、分光結果全体に対して行なわれても良く、一部に対して行なわれても良い。そして、出力部106は、補正した分光結果に応じた出力を行うようにしてもよい。具体的には、分光結果が有する1以上の波長の光強度の値を、受付部103が受け付けた拡大率および焦点距離の少なくとも一方に応じて補正してもよい。例えば、拡大率が大きくなる(あるいは焦点距離が長くなる)と、顕微鏡2の観察領域(例えば、観察野)に入射される光の量が減ることから、出力部106は、拡大率が増加するに従って(あるいは焦点距離が長くなるに従って)、連続的あるいは非連続的に、1以上の波長の光強度の値を増加させるようにしてもよい。ここでの、1以上の波長は、分光部101が光強度の値を取得した全ての波長であってもよく、その一部の波長でも良い。例えば、最大値の光強度が得られた波長の光強度や、ピークの光強度が得られた波長の光強度だけを補正しても良い。あるいは、最大値の光強度が得られた波長とその近傍の波長の光強度や、ピークの光強度が得られた波長とその近傍の波長の光強度だけを補正しても良い。ここでの最大値は、予め指定された波長帯、つまり波長の範囲における最大値であっても良い。

0074

例えば、拡大率がn倍になると、観察領域から入射される光は、1/n2倍に減少するため、出力部106は、拡大率がn倍になると、分光結果が有する1以上の波長の光強度の値をn2倍に補正する。例えば、出力部106は、光強度の最大値を、n2倍に補正する。この場合のn倍の基準となる拡大率は予め指定しておくようにすればよい。この基準となる拡大率の場合の拡大率を1倍と考えるようにすればよい。なお、焦点距離に関しても、焦点距離の変化による観察領域の面積の変化による光量の変化を補うように、光強度を補正すればよい。

0075

なお、例えば、分光部101が取得した分光結果の光強度の最大値をL1、上述したように求めた基準値をLBとすると、この最大値L1については、拡大率のn倍に応じて光強度をn2倍に補正して、補正後の光強度をn2L1とするとともに、他の波長Xの光強度LXについては、この基準値LBの光強度が補正の前後で変更されないように、(n2L1−LB)Lx/n2L1を補正値として取得するようにしても良い。つまり、補正後の最大値と基準値との間に、分光結果の各波長の光強度を割り当てるよう、各波長の光強度を補正するようにしてもよい。

0076

なお、出力部106は、オートズーム機構204が出力するズームの拡大率に応じて、分光部101の分光結果を補正するようにしてもよい。例えば、オートズーム機構204から、ズームの拡大率の情報、即ち顕微鏡2の拡大率を示す情報を取得して、この拡大率に応じて、上記の拡大率に応じた補正と同様の補正を行なうようにしてもよい。

0077

出力部106は、励起光を光源として用いた場合の、分光部101の分光結果が予め指定された条件を満たす場合に、予め指定された出力を行なうようにしてもよい。例えば、出力部106は、分光結果である波長毎の光強度の中に、予め設定された閾値以上の光強度が存在するか否かを判断し、存在する場合に、条件を満たすと判断して予め指定された出力を行うようにしてもよい。また、例えば、出力部106は、分光結果である波長毎の光強度の最大値が、予め設定された閾値以上の光強度であるか否かを判断し、閾値以上である場合に、条件を満たすと判断して予め指定された出力を行うようにしてもよい。また、例えば、出力部106は、分光結果である波長毎の光強度の最大値について上述したように取得した面積が、予め設定された閾値以上であるか否か、を判断し、存在する場合に、条件を満たすと判断して予め指定された出力を行うようにしてもよい。なお、ここでの光強度の最大値や閾値等は、分光部101が取得した光強度の最大値や閾値であっても良く、上述したような基準値を基準として取得した光強度についての最大値や閾値であっても良い。

0078

ここでの予め指定された出力は、例えば、顕微鏡2の観察領域(例えば観察野)として、適切な観察領域が設定されていること等を観察者等に通知するための出力である。ここでの予め指定された出力は、例えば、予め指定された音の出力や、予め指定された画像の表示や、予め指定されたランプ等の点灯や点滅である。予め指定された音は、例えば、ブザー音アラーム音であってもよく、予め用意された音声ファイル再生等であっても良い。音を出力することで、顕微鏡2による観察を妨げずに、条件を満たすことを通知することができる。例えば、顕微鏡2の接眼部205内に透過型液晶パネル(図示せず)や、部分的に発光させることが可能な透明なパネル等を設け、出力部106は、この液晶パネルに予め指定された表示を行なったり、予め指定された光を発光させても良い。なお、予め指定された出力を行なうということは、出力に予め指定された変化を加えることと考えても良く、例えば、予め指定された条件を満たさない場合に出力していた出力を、条件を満たした場合に終了すること等も含む概念である。

0079

なお、出力部106は、励起光を光源として用いた場合の、分光部101による分光結果において、予め指定された波長や波長帯に、光強度のピークが存在するか否かを判断し、判断結果に応じて、観察対象が異常組織であるか否かを示す情報を出力するようにしてもよい。例えば、以下に述べる非特許文献1に示すように、蛍光物質PpIXを用いて、励起光を観察対象に照射して得られた光を分光分析した場合、腫瘍組織においては、636nmにピークが存在することが知られていることから、ピークが検出された周波数が636nmである場合に、異常組織が観察領域に含まれることを示す情報、例えば音を出力してもよい。(非特許文献1:島谷 浩二、外1名、"手術顕微鏡下5−ALA誘導蛍光計測による脳腫瘍の術中同定に関する研究"、[online]、[平成27年5月26日検索]、インターネット<URL:http://repository.dl.itc.u−tokyo.ac.jp/dspace/bitstream/2261/20382/1/K−01362−a.pdf>)。

0080

なお、出力部106は、上述したような補正した分光結果と補正していない分光結果とをそれぞれ出力しても良い。また、上述したような補正した分光結果と補正していない分光結果との少なくとも一方と、上述したような予め指定された出力とを、それぞれ出力するようにしても良い。

0081

出力部106は、例えば、分光部101が取得した通常組織に対する分光結果と、異常組織に対する分光結果との比較に関する情報を出力する。比較に関する情報とは、例えば、通常組織に対する分光結果と異常組織に対する分光結果とを比較可能となるように示した情報である。例えば、分光部101が取得して蓄積したこれらの分光結果に関する情報を同時に、好ましくは同じ画面に出力する。例えば、通常組織に対する分光結果のグラフと、異常組織に対する分光結果のグラフとを重ねて示したグラフである。また、比較に関する情報は、通常組織に対する分光結果と異常組織に対する分光結果との差を示す情報であり、例えば、各波長毎の値の差を示すグラフである。

0082

出力部106は、分光部101の、自然光を光源とした場合の分光結果を用いて、励起光を光源として得られた分光結果を補正してもよい。そして、補正した分光結果に応じた情報を上記の補正していない分光結果と同様に出力しても良い。例えば、出力部106は、励起光を光源として得られた分光結果と、自然光を光源とした場合の分光結果との差を、補正した分光結果として取得して出力しても良い。例えば、出力部106は、励起光を光源として得られた分光結果が示す各周波数毎の光強度から、自然光を光源とした場合の分光結果が示す上記の各周波数に対応する周波数毎の光強度を減算し、減算して得られた各周波数毎の光強度の値を出力する。

0083

出力部106は、例えば、上記のように撮像部104が同じ観察領域を撮像した複数の画像を合成した画像を更に出力してもよい。ここでの同じ観察領域を撮像した複数の画像は、例えば、同じ光源、例えば励起光の光源206を用いて撮像された複数の画像である。例えば、出力部106は、撮像部104が撮像した複数の画像を合成する。そして、合成した画像を出力、例えば、図示しないモニタ等に表示する。出力部106は、例えば、同じ観察領域を撮像した動画像から予め指定された数の複数のフレーム画像を順次取得し、予め指定された数のフレーム画像を取得する毎に、このフレーム画像を合成して、合成した画像を順次表示するようにしても良い。この場合、例えば、新たに合成した画像を表示する際には、直前に表示されていた画像を、新たに合成した画像で更新するようにすればよい。

0084

複数の画像の合成は、例えば、蛍光物質によって蛍光している部分が強調される、あるいは視認しやすくなるような合成であることが好ましい。例えば、輝度の高い部分(明るい部分)がより明るくなるような合成であることが好ましい。例えば、複数の画像の合成は、複数の画像の加算平均である。また、複数の画像の合成は、複数の画像のスクリーン合成であっても良い。画像の加算平均や、スクリーン合成については、公知技術であるため、ここでは詳細な説明は省略する。ただし、上記以外の合成を行なうようにしてもよい。合成方法は、ユーザが適宜設定できるようにしても良い。

0085

出力部106は、例えば、励起光と自然光とをそれぞれ光源として用いて撮像部104が撮像した画像を更に出力(例えば表示)するようにしてもよい。例えば、出力部106は、それぞれの光源で撮像された画像を、同時に表示してもよい。例えば、それぞれの光源で撮像された画像を、一の画面内に配置して同時に表示してもよい。この場合、例えば、画像同士は重ならないようにしてもよい。また、出力部106は、画像同士を完全に重ねて表示しても良い。完全に重ねるとは、画像同士の四辺や、向き、角が一致するよう重ねることである。重ねる際には、例えば、上に配置される画像の透過度を、下に配置される画像が表示されるよう、0%以外の値、例えば、50%程度に設定して配置しても良く、上に配置される画像を、オーバーレイ合成や、スクリーン合成、焼き込み合成、乗算合成等の合成モードで下の画像に対して合成するようにしてもよい。また、出力部106は、例えば、励起光と自然光とをそれぞれ光源として用いて撮像部104が撮像した画像を重ねて合成して出力するとともに、更に、この励起光と自然光とをそれぞれ光源として用いて撮像部104が撮像した画像をそれぞれが重ならないように出力するようにしてもよい。出力部106は、例えば、撮像部104が、励起光を光源として用いて、現在、画像(例えば動画像)を撮像している場合、励起光を用いて撮像された画像としては、撮像された最新の画像を順次表示するようにし、自然光を用いて撮像された画像については、図示しない格納部等に蓄積されている同じ撮像領域について直前に自然光を光源として撮像した画像を表示するようにしてもよい。また、出力部106は、撮像部104が、自然光を光源として用いて、現在、画像(例えば、動画像)を撮像している場合、自然光を用いて撮像された画像としては、撮像された最新の画像を順次表示するようにし、励起光を用いて撮像された画像については、図示しない格納部等に蓄積されている同じ撮像領域について直前に励起光を光源として撮像した画像を表示するようにしてもよい。また、出力部106は、撮像部104が顕微鏡2の同じ観察領域を同じ光源を用いて撮像した複数の画像を合成した画像を更に出力してもよい。例えば、出力部106は、同じ光源を用いて撮像した同じ領域の複数の画像を合成した画像を、同じ観察領域を励起光と自然光とをそれぞれ光源として撮像した画像を重ねて合成した画像とともに、出力してもよい。

0086

なお、現在、励起光を光源として画像(例えば、動画像)を撮像している場合においても、予め指定された一定または不定の時間毎に、順次、自然光を光源とした撮像を行なうようにして、自然光を光源として撮像が行なわれる毎に、この画像で、直前に表示されていた自然光を光源として撮像されていた画像を更新するようにしても良い。例えば、撮像部104が、励起光を光源として29フレームのフレーム画像を撮像する毎に、自然光を光源として1フレームのフレーム画像を撮像するようにし、出力部106は、励起光を光源として撮像したフレーム画像については順次表示するとともに、自然光を光源として撮像した画像としては、29フレーム毎に撮像したフレーム画像を、順次、更新して表示するようにすればよい。また、撮像部104は、例えば、励起光を光源として、予め決められた時間(例えば、20秒間等)撮影を行なう毎に、自然光を一瞬照射して撮影を行なうようにしてもよい。なお、撮像部104は、例えば、顕微鏡2に対して光源を切り替える指示を出力することで、撮像に利用する光源を、適宜、切り替えるようにする。

0087

また、出力部106は、例えば、判断部105による画像の移動または拡大率の変化の検出に応じて、撮像部104が自然光を光源206として画像を撮像した場合に、この画像で、自然光を光源206として撮像部104が撮像した画像の出力を更新するようにしてもよい。特に、現在、励起光を光源として用いて撮像部104が撮像を行なっている場合には、このようにすることが好ましい。これにより、観察領域が変更された場合に、自然光を光源として用いて撮像された画像を更新することができ、励起光を用いて撮像されている部分を、自然光で撮像した画像でも示すことができる。

0088

なお、光ファイバ102を介して分光部101が光を受光する範囲が、上述したように顕微鏡2の観察領域の一部の範囲である場合、出力部106は、この顕微鏡2の観察領域のうちの、光ファイバ102を介して分光部101が光を受光する一部の範囲を示す画像を、撮像部104が撮像した観察領域の画像内に表示してもよい。例えば、画像に範囲を示す輪郭の画像等を表示してもよい。また、出力部106は、接眼部205に設けられた透過型の液層パネル等に、この光ファイバ102を介して分光部101が光を受光する一部の範囲を示す画像を表示してもよい。

0089

また、出力部106は、自然光を光源として撮影した画像と、励起光を光源として撮影した画像とを合成する際に、励起光を光源として撮影した画像の蛍光表示範囲(例えば、病的領域等)の輝度を、デフォルトの輝度に設定しても良く、ユーザ等の指示に応じて手動で設定しても良い。また、出力部106は、分光部101の分光結果に対応した輝度となるよう撮影した画像の蛍光表示範囲の輝度を自動設定しても良い。例えば、出力部106は、撮影した画像の蛍光表示範囲の輝度が、分光部106が取得した分光結果が示す蛍光値最大値近傍の値の、予め決められた比率の値となるように、蛍光表示範囲の輝度値を設定しても良い。例えば、出力部106は、蛍光表示範囲の輝度の最大値が、分光部106が取得した分光結果が示す蛍光値の最大値近傍の値の、予め決められた比率の値となるように、撮影した画像の蛍光表示範囲に割り当てられる輝度値の範囲を設定するようにしても良い。最大値近傍の値は、最大値であってもよい。予め決められた比率は、例えば、1%以上100%未満の値である。

0090

出力とは、モニタへの表示、プロジェクターを用いた投影プリンタへの印字音出力、ランプ等の点灯、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。ここでの表示は、有線接続無線接続されたモニタへの表示や、無線接続された他の装置のモニタへの表示等も含む概念である。

0091

出力部106は、モニタやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。また、出力部106は、複数の出力デバイスを備えていても良い。この複数の出力デバイスは同じ種類の出力デバイスを含んでいても良く、異なる種類の出力デバイスを含んでいても良い。出力部106は、1または2以上の出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

0092

次に、診断システム1000の観察補助装置1の動作の一例について図2のフローチャートを用いて説明する。

0093

(ステップS101)分光部101は、自然光を光源として用いた状態の顕微鏡2の第一ビームスプリッタ201から出射される光を受光するタイミングであるか否かを判断する。受光するタイミングは、予め指定された一定または不定の時間間隔であっても良く、励起光を光源として観察が行なわれる直前のタイミングであっても良い。受光するタイミングである場合、光ファイバ102等を介して光を受光して、ステップS102に進み、タイミングでない場合、ステップS106に進む。

0094

(ステップS102)分光部101は、ステップS101で受光した光を分光して、分光結果である波長毎の光強度の値を取得する。

0095

(ステップS103)分光部101は、ステップS101で受光した光を図示しない格納部等に蓄積する。なお、自然光を光源として用いた場合の分光結果が不要であれば、ステップS102とステップS103との処理は省略しても良い。

0096

(ステップS104)撮像部101は、第二ビームスプリッタ202から出力される光を用いて、自然光を光源とした場合の撮像領域の画像を撮像する。

0097

(ステップS105)撮像部101は、ステップS104で撮像した画像を、図示しない格納部に蓄積して、ステップS101に戻る。

0098

(ステップS106)分光部101は、顕微鏡2により励起光を光源として用いた観察が行なわれるか否かを判断する。例えば、顕微鏡2から、励起光を出射する光源206が点灯したこと、あるいは点灯していることを示す情報を受信した場合に、励起光を光源として用いた観察が行なわれると判断してもよく、ユーザから励起光を光源に用いることを示す情報を図示しない受付部等が受け付けた場合に、励起光を光源として用いた観察が行なわれると判断してもよい。励起光を光源として用いた観察が行なわれる場合、ステップS107に進み、行なわれない場合、ステップS101に戻る。

0099

(ステップS107)分光部101は、励起光を光源として用いた状態の顕微鏡2の第一ビームスプリッタ201から出射される光を受光するタイミングであるか否かを判断する。例えば、分光部101は、電源投入後や、観察補助装置1の起動後から、予め指定された時間が経過する毎に、受光するタイミングであると判断する。受光するタイミングである場合、光ファイバ102等を介して光を受光してステップS108に進み、受光するタイミングでない場合、ステップS116に進む。

0100

(ステップS108)分光部101は、ステップS107で受光した光を分光して、分光結果である波長毎の光強度の値を取得する。

0101

(ステップS109)受付部103は、顕微鏡2から、拡大率や焦点距離の情報を受信する。また、自然光を光源として利用してステップS102等で取得し蓄積した波長毎の光強度の値を読み出しても良い。

0102

(ステップS110)出力部106は、ステップS109で取得した拡大率や焦点距離の情報は、自然光を光源として利用して取得した波長毎の光強度の値を用いて、ステップS108で取得した分光結果を補正する。

0103

(ステップS111)出力部106は、ステップS110で補正した分光結果が、予め指定された条件を満たすか否かを判断する。例えば、分光結果が示す予め指定された波長帯(波長範囲)のうちの光強度の最大値が、予め指定された閾値を超えているか否かを判断し、超えている場合、条件を満たすと判断し、超えていない場合、条件を満たさないと判断する。条件を満たすと判断した場合、ステップS112に進み、条件を満たさないと判断した場合、ステップS113に進む。

0104

(ステップS112)出力部106は、予め指定された出力を行なう。予め指定された出力は、例えば、音の出力や、ランプ等の点灯である。

0105

(ステップS113)出力部106は、分光結果を示すグラフを表示する。なお、後述するステップS114において、正常な組織について取得された分光結果の情報が蓄積されている場合、この正常な組織について取得された分光結果のグラフを、例えば、上記の分光結果のグラフと重ねて表示してもよい。例えば、上記の分光結果のグラフが、例えば異常な組織についての取得された分光結果のグラフである場合、正常な組織と異常な組織とについてそれぞれ取得された分光結果を比較するグラフを表示することができる。

0106

(ステップS114)出力部106は、正常な組織について取得された分光結果の情報として、ステップ108で取得した分光結果や、ステップS110で補正した分光結果の情報を蓄積するか否かを判断する。例えば、出力部106は、図示しない操作受付部等が、ユーザ等から、正常な組織について取得された分光結果の情報として、ステップS110で補正した分光結果の情報を蓄積する指示を受け付けたか否かを判断する。正常な組織について取得された分光結果の情報として蓄積する場合、ステップS115に進み、蓄積しない場合、ステップS101に戻る。

0107

(ステップS115)出力部106は、ステップS108で取得した分光結果や、ステップS110で補正した分光結果等を、図示しない格納部等に蓄積する。そして、ステップS101に戻る。

0108

(ステップS116)撮像部104は、顕微鏡2の第二ビームスプリッタ202から出射される光を用いて、励起光を光源として利用した場合の観察領域の画像を、順次、撮像する。例えば、撮像部104は観察領域の動画像を撮像する。

0109

(ステップS117)判断部105は、ステップS116で撮像部104が順次撮像した複数の画像(例えば、動画像を構成する連続したフレーム画像)に対して、画像の移動や拡大率の変化を検出する処理を行ない、予め指定された閾値以上の画像の移動や、拡大率の変化が検出された場合、ステップS121に進み、検出されなかった場合、ステップS118に進む。

0110

(ステップS118)出力部106は、ステップS116において、予め指定された数の複数の画像が撮像されたか否かを判断する。撮像された場合、ステップS119に進み、撮像されていない場合、ステップS116に戻る。

0111

(ステップS119)出力部106は、ステップS116において撮像された複数の画像のうちの、予め指定された数の複数の画像を合成する。例えば、複数の画像の加算平均を行なって、一の画像を取得する。

0112

(ステップS120)出力部106は、ステップS119で合成により取得した画像を図示しないモニタ等に表示する。例えば、出力部106は、撮像部104が、自然光を光源として利用して撮像した最新の観察領域の画像を、ステップS119で合成した画像と同一画面に同時に表示してもよい。そして、ステップS101に戻る。

0113

(ステップS121)撮像部104は、例えば、顕微鏡2に光源を自然光に切り替えさせるための指示等を送信して顕微鏡2の光源を自然光に切り替えて、第二ビームスプリッタ202から出射される光を用いて、自然光を光源として利用した場合の、顕微鏡2の観察領域の画像を撮像する。ここで撮像する画像は、静止画像であっても良く、動画像であっても良く、動画像の1フレーム画像や連続した数フレーム画像であっても良い。

0114

(ステップS122)撮像部104は、撮像した画像を、図示しない格納部等に蓄積する。

0115

(ステップS123)分光部101は、光源を自然光に切り替えた状態の、第一ビームスプリッタ201から出射される光を、光ファイバ102等を介して受光して、波長毎の光強度を分光結果として取得する。

0116

(ステップS124)分光部101は、ステップS123で取得した分光結果を、図示しない格納部等に蓄積する。そして、ステップS116に戻る。

0117

なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

0118

以下、本実施の形態における診断システム1000の具体的な動作について説明する。ここでは、顕微鏡2が手術用顕微鏡であり、この手術用顕微鏡を手術室で、5−ALAを経口投与した患者の患部を観察対象として観察するために利用する場合を例に挙げて説明する。また、光源206が出射する励起光の波長が400nmであるとし、自然光は、手術室内の照明であるとする。

0119

まず、顕微鏡2のレンズ群203の対物レンズ203aを、観察対象である腫瘍組織上に移動させ、自然光を光源として用いた観察するための操作を、ユーザが顕微鏡2の図示しない操作部等に対して行なうと、顕微鏡2の光源206は点灯されず、自然光のうちの観察対象において反射された光が、レンズ群203等を経て接眼部205に至る光線路20に出射され、顕微鏡2の接眼部205からは、レンズ群203等で拡大された観察対象が肉眼で観察される。これにより、観察対象を自然光により観察することができる。

0120

観察対象からレンズ群203を経て出射される光は、第一ビームスプリッタ201で2つに分離され、分離された一方の光が、光ファイバ102に入射され、光ファイバ102を経て、観察補助装置1の分光部101に入射される。

0121

また、第一ビームスプリッタ201で分離された光のうちの、接眼部205に向かう光線路に出射される光は、第二ビームスプリッタ202で2つに分離され、分離された一方の光が観察補助装置1の撮像部104に入射される。

0122

分光部101は、自然光を光源として用いた場合に入射される光を受光するタイミングであるか否かを判断する。ここでは、例えば、図示しない時計等から取得される現在の時刻が、上記の操作から予め指定された時間が経過した受光するタイミングを示す時刻であると判断して、光ファイバ102を介して入射される光から波長毎の光強度を取得する。この波長毎の光強度は、自然光を光源として用いた場合の分光結果である。取得した分光結果は、図示しない格納部等に蓄積する。

0123

また、撮像部104は、入射される光を用いて、顕微鏡2の観察領域の静止画像を撮像する。この画像は、観察領域を自然光を用いて撮像した画像である。撮像した画像は、図示しない格納部等に蓄積する。

0124

ここで、手術室の照明を消灯し、励起光を光源として用いた観察するための操作を、ユーザが顕微鏡2の図示しない操作部等に対して行なうと、光源206が予め指定された明るさ(例えば1800ルクス)の励起光を患部に対して照射する。ここでは、例えば、顕微鏡2の拡大率が、基準となる拡大率に設定され、焦点距離も基準となる焦点距離に設定されていたとする。励起光が照射されることで、観察対象である腫瘍組織の蛍光物質が蓄積された部分が蛍光を発光し、顕微鏡2の観察対象から発光された蛍光が、レンズ群203等をへて接眼部205に至る光線路に出射され、顕微鏡2の接眼部205からは、レンズ群203等で拡大された観察対象の蛍光が肉眼で観察される。また、顕微鏡2は、例えば、励起光を光源として利用した観察が行なわれることを示す情報を観察補助装置1に対して送信する。また、顕微鏡2のレンズ群203等が、現在の拡大率や焦点距離等の情報を、観察補助装置1に送信する。

0125

観察対象からレンズ群203を経て出射される光(蛍光)は、第一ビームスプリッタ201で2つに分離され、分離された一方の光が、光ファイバ102に入射され、光ファイバ102を経て、観察補助装置1の分光部101に入射される。

0126

また、第一ビームスプリッタ201で分離された光のうちの、接眼部205に向かう光線路に出射される光は、第二ビームスプリッタ202で2つに分離され、分離された一方の光が観察補助装置1の撮像部104に入射される。

0127

観察補助装置1の図示しない受信部等が、励起光を光源として利用した観察が行なわれることを示す情報を顕微鏡2から受診すると、分光部101は、光ファイバ102を介して入射される光から波長毎の光強度を取得する。

0128

また、受付部103は、顕微鏡2から送信される拡大率等の情報を受信する。

0129

図3は、分光部101が取得した波長毎の光強度を示すスペクトルのグラフの一例である。図3においては、横軸は波長、縦軸は光強度を示す。ここでの光強度は、相対強度である。

0130

出力部106は、分光部101が取得した分光結果の500nmから520nmの範囲の波長毎の光強度から基準値を取得し、この基準値が示す光強度の値を0とした場合の周波数毎の光強度を分光部101が取得した分光結果を用いて取得する。そして、このようにして取得した分光結果である波数毎の光強度を示すグラフの画像を取得する。ここでは、一例として、波長毎の光強度を示す近似曲線のグラフの画像を取得する。

0131

図4は、出力部106が取得したグラフの画像を示す図である。図4においては、横軸は波長、縦軸は光強度を示す。ここでの光強度は、相対強度である。

0132

なお、自然光を光源として用いた場合において同じ観察領域について分光部101が取得した上述したような分光結果を用いて、励起光を光源として用いた場合に得られる分光結果を補正するようにしても良いが、ここでは、励起光を光源として用いた観察を行なう際には、自然光を消灯するため、観察には自然光の影響が少ないことから、このような補正を行わないよう予め設定されているものとする。

0133

また、分光部101が取得した分光結果を、基準値が示す光強度の値が0となるように変更して得られた分光結果のうちの、550nm〜750nmまでの間の波長における光強度の最大値を検出する。そして、検出した光強度に対して、必要に応じて補正を行なう。ただし、ここでは、顕微鏡2から受信した拡大率や焦点距離の値が、いずれも予め指定された基準となる値と一致するため、拡大率や焦点距離等に応じた補正は行なわない。なお、受信した拡大率等が、基準値と異なる場合、この基準値に対する拡大率の違い等に応じて、最大値を補正するようにすればよい。そして、出力部106は、分光部101が取得した光強度の最大値(補正を行なっている場合は、最大値を補正した値)が、予め設定された光強度の閾値以上であるか否かを判断する。例えば、閾値以上である場合、顕微鏡2の観察領域に、蛍光物質が含まれる部分、即ち蛍光物質が蓄積された腫瘍組織が適切に配置されていると考えられる。ここでは、閾値以上であったとすると、出力部106は、予め指定された音を出力する。この音により、ユーザは、現在設定している観察領域が適切な観察領域であることを、接眼部205から観察領域を確認しながら認識することができる。なお、この音は、閾値未満であった光強度が、最初に閾値以上になったときにのみ発せられるようにすることが好ましい。

0134

音が発せられない場合、適切な観察領域が設定していないと考えられることから、ユーザは、顕微鏡2の観察領域を音が発せられるまで移動させて、適切な観察領域を探すようにすればよい。

0135

また、撮像部104は、第二ビームスプリッタ202から出力される光を受光することで、顕微鏡2の観察領域の画像を撮像する。ここでは、連続した複数のフレーム画像で構成される動画像を撮像する。そして、撮像したフレーム画像から予め指定された数の複数の連続したフレーム画像、例えば、4枚の連続したフレーム画像を取得し、取得したフレーム画像の合成、ここでは加算平均を行なう。

0136

図5は、出力部106が行なう複数の画像を合成する処理を説明するための、合成対象となる4枚のフレーム画像を示す模式図(図5(a))、および合成した画像を示す模式図(図5(b))である。図において、領域51〜54は、各フレーム画像の蛍光部分であるとする。また、領域55は、合成された画像のうちの、蛍光部分が合成された領域である。

0137

加算平均を行なうことで、例えば、同じ観察領域で観察を行なっている際に観察対象の観察されている部分が少し動いた場合においても、撮像した複数の画像間において変化のあった部分の画素が複数の画像間で平均化されて値が変化し、変化のない部分は平均化されても値が変化しないため、変化のない部分が強調されて表示されることとなる。観察対象が生体である場合、心拍呼吸等による観察対象の小さな動きは避けられないが、図5に示すように加算平均を行なうことで、蛍光部分を示す画素のうちの変化の少ない部分が強調表示されることとなり、結果的に、蛍光部分を強調した画像を得ることができる。

0138

そして、出力部106は、図5(b)に示したような励起光を光源として撮像した複数の画像を合成して得られた画像と、上記において自然光を光源とした場合に撮像部104が撮像した観察領域の画像とをモニタ106aに配列して同時に表示する。ここでは、例えば、図4に示した分光結果のグラフも、同時に表示するものとする。

0139

図6は、出力部106による分光結果を示すグラフと、観察領域を撮像した画像との表示例を示す図であり、画像61は分光結果を示すグラフ、画像62は励起光を光源として用いた場合に撮像した複数の画像を合成した画像、画像63は、自然光を光源として用いた場合に撮像した複数の画像を合成した画像である。

0140

なお、撮像部104が励起光を光源として用いた際に撮像した複数のフレーム画像を用いて、判断部105が、適宜、動き検出等を行なって、フレーム画像間における画像の移動や拡大率の変化の有無を判断し、画像の移動や拡大率の変化が検出された場合には、上位のように連続した4つのフレーム画像を合成せずに、顕微鏡2の光源206の消灯させて、光源を自然光に切り替えることで、撮像部104が、一旦、変化があった観察領域の画像を自然光を用いて撮像するようにして、出力部106により表示される観察領域の画像を、この撮像された画像で更新するようにしてもよい。そして、再度、励起光を用いて観察領域の画像を撮像するようにすることで、撮像された画像に変化があった場合に、変化後の観察領域を、自然光を光源として用いて撮像された画像と、励起光を光源として用いて撮像された画像とを出力、例えば、表示することができる。

0141

なお、分光部101等が上記と同様の処理を行なって、励起光を光源として用いて正常組織を観察する際の分光結果を予め取得しておくようにし、この分光結果を、出力部106等が、ユーザ等の操作に応じて、正常な組織の分光結果として図示しない格納部等に蓄積しておくようにする。そして、図4に示すような異常組織の分光結果を示すグラフを作成する際に、この正常な組織の分光結果から作成されたグラフを重ねたグラフを作成するようにして、このグラフを、図4に示すグラフの代わりに、モニタ106a等に表示するようにしてもよい。

0142

図7は、異常組織の分光結果を示すグラフと正常組織の分光結果を示すグラフとを重ねたグラフを示す図であり、実線71は、異常組織の分光結果を示すグラフであり、点線72は、正常組織の分光結果を示すグラフである。

0143

以上、本実施の形態によれば、励起光を光源として用いて、顕微鏡により観察対象を観察する際に、観察領域についての分光分析を同時に行なうことができる。これにより、分光分析結果を利用して、例えば、顕微鏡2の観察領域が適切な位置に設定されているかということを、リアルタイムに認識することができ、励起光を用いて適切な観察を行なうことができる。また、分光分析結果を利用して、観察領域における異常組織の検出をリアルタイムに行なうこと等も可能となる。

0144

例えば、従来の技術においては、顕微鏡により観察している領域内の蛍光物質が励起光に応じて発する光量を定量的に把握することができないため、光量の多い部分、即ち蛍光物質が多い部分を観察しているか否かを、観察者自身が主観的に判断しなければならず、その結果、顕微鏡の観察領域が蛍光物質の多い領域に設定されているか否かを正確に判断できず、適切な観察を行なうことができない問題や、適切な観察領域を探すために、長い時間を必要としてしまう問題があったが、本実施の形態によれば、分光結果によって、適切な観察領域を観察しているか否か等をリアルタイムに、容易に確認することが可能となる。

0145

また、従来の技術においては、顕微鏡で観察を行なっている際に、観察対象が、異常組織であるか否か等を、分光結果を用いて判断することができなかった。例えば、分光結果を出力するためには、観察を一旦中断しなければならず、リアルタイムな判断等が行えないため、手術等の短時間に判断を行いたい状況では、利用しにくい、という問題があった。これに対し、本実施の形態においては、分光分析結果を利用して、観察領域における異常組織の検出をリアルタイムに行なうことができ、短時間に判断を行ないたい状況等においても利用可能とすることができる。

0146

また、本実施の形態においては、例えば、励起光と自然光とをそれぞれ光源として用いて撮像した画像を重ねて合成して出力することで、自然光を用いた画像で適切な観察場所を観察しているか否かを確認しながら、励起光を用いた画像で蛍光を発する部位も同時に観察できる。また、励起光を用いた画像と自然光を用いた画像が重ねて合成されて出力されるため、両方の画像に示されている部位等の対応関係は一目瞭然に容易に把握することができる。また、両方の画像間でユーザが視線を移動させる必要がないため、視認性を向上させることができる。これにより、本実施の形態においては、励起光を光源として用いた観察を適切かつ容易に行なうことができる。

0147

なお、上記実施の形態においては、光源として励起光と自然光とを用いる場合について説明したが、本発明は、光源として励起光と励起光以外の波長を含む光(以下、観察光と称す)とを用いる場合において適用可能なものである。観察光を用いて撮像した画像には、励起光を用いて撮像した画像には見えない部分が含まれることとなるため、上記のように、光源として励起光と観察光とを用いることにより、それぞれを光源として撮像した画像を重ねて合成して出力することによって励起光だけでは観察できない部分も同時に観察することが可能となり、観察を適切かつ容易に行なうことができる。

0148

励起光以外の波長を含む光とは、励起光の波長以外の波長の光を少なくとも含む光と考えて良い。観察光は、励起光以外の波長の光を含んでいれば励起光を含んでいても良く、励起光を含んでいなくても良い。観察光は、上記実施の形態において説明したような自然光であっても良く、自然光を含んでいても良く、自然光を含んでいなくても良い。観察光は、単色光であっても良く、複色光であっても良い。観察光は、可視光を含んでいても良く、含んでいなくても良い。例えば、励起光が赤色光でない場合、観察光は、赤色光や赤色光を含む光であっても良い。また、励起光が波長800nm以外の光である場合、観察光は、非可視光である波長800nmの光であってもよい。この場合のように、観察光が非可視光である場合、撮像部等として赤外線カメラ等のような非可視光を光源として用いて撮像が可能な構成を備えた撮像部等を用いることが好ましい。

0149

なお、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

0150

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりする情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。

0151

また、上記各実施の形態では、観察補助装置がスタンドアロンである場合について説明したが、観察補助装置は、スタンドアロンの装置であってもよく、サーバクライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。

0152

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスク半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部(例えば、ハードディスクやメモリ等の記録媒体)にアクセスしながらプログラムを実行してもよい。

0153

なお、上記各実施の形態における観察補助装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、光源として励起光と励起光以外の波長を含む光である観察光とを切り替えて利用可能であり、第二のビームスプリッタを備えた顕微鏡の、当該第二ビームスプリッタから出射される光を用いて、励起光と観察光とをそれぞれ光源として用いた場合の、前記顕微鏡の同じ観察領域の画像を撮像する撮像部と、励起光と観察光とをそれぞれ光源として用いて前記撮像部が撮像した画像を重ねて合成して出力する出力部として機能させるためのプログラムである。

0154

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。

0155

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

0156

図8は、上記プログラムを実行して、上記実施の形態による観察補助装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

0157

図8において、コンピュータシステム900は、CD−ROM(Compact Disk Read Only Memory)ドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。

0158

図9は、コンピュータシステム900の内部構成を示す図である。図9において、コンピュータ901は、CD−ROMドライブ905に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラム命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。

0159

コンピュータシステム900に、上記実施の形態による観察補助装置等の機能を実行させるプログラムは、CD−ROM921に記憶されて、CD−ROMドライブ905に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921、またはネットワークから直接、ロードされてもよい。

0160

プログラムは、コンピュータ901に、上記実施の形態による観察補助装置の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。

0161

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

0162

以上のように、本発明にかかる観察補助装置等は、顕微鏡を用いた観察を補助する装置等として適しており、特に、顕微鏡の観察領域から得られる光を分光する装置等として有用である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ