図面 (/)

技術 画像処理装置および顕微鏡システム

出願人 オリンパス株式会社
発明者 北川久雄山下裕介
出願日 2017年10月25日 (1年10ヶ月経過) 出願番号 2017-205693
公開日 2019年5月23日 (3ヶ月経過) 公開番号 2019-078884
状態 未査定
技術分野 顕微鏡、コンデンサー 蛍光または発光による材料の調査,分析
主要キーワード 可変ピン プロジェクション画像 微小組織 形状的特徴 中心位置情報 横断面画像 計測パラメータ 統計表
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年5月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

次元画像データで取得された細胞群あるいは各細胞形態的特徴目視観察を容易にして、観察精度を向上する顕微鏡を提供する。

解決手段

顕微鏡3により、細胞集塊に対して焦点位置を異ならせて取得された複数の2次元画像に基づいて、細胞集塊を構成している各細胞の3次元画像を生成する3次元画像生成部71と、生成された3次元画像を処理して、1以上の計測パラメータに基づき特徴量を解析する解析部71と、解析結果をグラフ化して表示する解析結果表示部71と、表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部71と、選択された関心領域に含まれる複数の細胞に対応する3次元画像から、細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元表示画像を生成し一覧表示するギャラリー生成部71とを備える画像処理装置9を提供する。

概要

背景

従来、1つ以上の細胞容器の底面に単層に配列して、細胞から発せられる蛍光または発光シグナルカメラによって撮影する観察システムが知られている(例えば、特許文献1参照。)。
この観察システムにおいては、蛍光または発光シグナルを計測して、その分布や強度から細胞を識別し、識別された細胞の2次元画像を配列して一覧表示するギャラリー表示を利用することによって、測定対象の細胞の目視確認を容易にしている。

概要

3次元画像データで取得された細胞群あるいは各細胞の形態的特徴目視観察を容易にして、観察精度を向上する顕微鏡を提供する。顕微鏡3により、細胞集塊に対して焦点位置を異ならせて取得された複数の2次元画像に基づいて、細胞集塊を構成している各細胞の3次元画像を生成する3次元画像生成部71と、生成された3次元画像を処理して、1以上の計測パラメータに基づき特徴量を解析する解析部71と、解析結果をグラフ化して表示する解析結果表示部71と、表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部71と、選択された関心領域に含まれる複数の細胞に対応する3次元画像から、細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元表示画像を生成し一覧表示するギャラリー生成部71とを備える画像処理装置9を提供する。

目的

本発明は、上述した事情に鑑みて成されたものであって、3次元画像データで取得された細胞群あるいは各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができる画像処理装置および顕微鏡システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

顕微鏡により、細胞集塊に対して焦点位置を異ならせて取得された複数の2次元画像に基づいて、前記細胞集塊を構成している各細胞の3次元画像を生成する3次元画像生成部と、該3次元画像生成部により生成された前記3次元画像を処理して、1以上の計測パラメータに基づき特徴量を解析する解析部と、該解析部による解析結果をグラフ化して表示する解析結果表示部と、該解析結果表示部により表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部と、該関心領域選択部により選択された前記関心領域に含まれる複数の前記細胞に対応する前記3次元画像から、前記細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元表示画像を生成し一覧表示するギャラリー生成部とを備える画像処理装置

請求項2

前記軸が、前記細胞の長手軸である請求項1に記載の画像処理装置。

請求項3

前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面のうち、前記細胞の重心位置を含む平面である請求項2に記載の画像処理装置。

請求項4

前記平面が、前記長手軸に直交する平面のうち、前記長手軸方向の中央位置を含む平面である請求項2に記載の画像処理装置。

請求項5

前記平面が、前記長手軸に沿う平面のうち、前記細胞の重心位置を含む平面である請求項2に記載の画像処理装置。

請求項6

前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面であり、前記表示画像が、前記長手軸方向または前記長手軸方向に直交する方向に沿って配置される各画素輝度最大値を前記平面に投影した画像である請求項2に記載の画像処理装置。

請求項7

顕微鏡により、複数の細胞集塊に対して焦点位置を異ならせて取得された複数の2次元画像に基づいて、各前記細胞集塊の3次元画像を生成する3次元画像生成部と、該3次元画像生成部により生成された前記3次元画像を処理して、1以上の計測パラメータに基づき特徴量を解析する解析部と、該解析部による解析結果をグラフ化して表示する解析結果表示部と、該解析結果表示部により表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部と、該関心領域選択部により選択された前記関心領域に含まれる複数の前記細胞集塊に対応する前記3次元画像から、前記細胞集塊の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元の表示画像を生成し一覧表示するギャラリー生成部とを備える画像処理装置。

請求項8

前記軸が、前記細胞集塊の長手軸である請求項7に記載の画像処理装置。

請求項9

前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面のうち、前記細胞集塊の重心位置を含む平面である請求項8に記載の画像処理装置。

請求項10

前記平面が、前記長手軸に直交する平面のうち、前記長手軸方向の中央位置を含む平面である請求項8に記載の画像処理装置。

請求項11

前記平面が、前記長手軸に沿う平面のうち、前記細胞集塊の重心位置を含む平面である請求項8に記載の画像処理装置。

請求項12

前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面であり、前記表示画像が、前記長手軸方向または該長手軸方向に直交する方向に沿って配置される各画素の輝度の最大値を前記平面に投影した画像である請求項8に記載の画像処理装置。

請求項13

請求項1から請求項12のいずれかに記載の画像処理装置と、前記細胞集塊に対して焦点位置を異ならせた複数の前記2次元画像を取得する顕微鏡とを備える顕微鏡システム

技術分野

0001

本発明は、画像処理装置および顕微鏡システムに関するものである。

背景技術

0002

従来、1つ以上の細胞容器の底面に単層に配列して、細胞から発せられる蛍光または発光シグナルカメラによって撮影する観察システムが知られている(例えば、特許文献1参照。)。
この観察システムにおいては、蛍光または発光シグナルを計測して、その分布や強度から細胞を識別し、識別された細胞の2次元画像を配列して一覧表示するギャラリー表示を利用することによって、測定対象の細胞の目視確認を容易にしている。

先行技術

0003

WO2009/110614号公報

発明が解決しようとする課題

0004

スフェロイドのように3次元的な組織構造を有する細胞群、あるいはその細胞群を構成している各細胞の目視観察を行う場合に、細胞群あるいは各細胞の画像データは3次元画像データであるため、各細胞の形態的な特徴を一覧表示して目視確認を容易にするには、2次元化した画像をギャラリー表示することが好ましい。
しかしながら、各細胞の3次元画像データを2次元化する場合に、細胞の形態的特徴が損なわれてしまい、精度よく観察することが困難になるという不都合がある。

0005

本発明は、上述した事情に鑑みて成されたものであって、3次元画像データで取得された細胞群あるいは各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができる画像処理装置および顕微鏡システムを提供することを目的としている。

課題を解決するための手段

0006

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、顕微鏡により、細胞集塊に対して焦点位置を異ならせて取得された複数の2次元画像に基づいて、前記細胞集塊を構成している各細胞の3次元画像を生成する3次元画像生成部と、該3次元画像生成部により生成された前記3次元画像を処理して、1以上の計測パラメータに基づき特徴量を解析する解析部と、該解析部による解析結果をグラフ化して表示する解析結果表示部と、該解析結果表示部により表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部と、該関心領域選択部により選択された前記関心領域に含まれる複数の前記細胞に対応する前記3次元画像から、前記細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元の表示画像を生成し一覧表示するギャラリー生成部とを備える画像処理装置を提供する。

0007

本態様によれば、顕微鏡により細胞集塊に対して焦点位置を異ならせて取得された複数の2次元画像が入力されると、細胞集塊を構成している各細胞の3次元画像が3次元画像生成部により生成される。生成された3次元画像は解析部により処理されて1以上の計測パラメータに基づいて特徴量が解析され、解析結果が、解析結果表示部によりグラフ化されて表示される。

0008

ユーザがグラフ上で関心領域を選択すると、選択された関心領域に含まれる複数の細胞に対応する3次元画像から、細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元の表示画像がギャラリー生成部により生成され、一覧表示される。すなわち、一覧表示される各細胞の2次元の表示画像は、細胞の任意の横断面ではなく、細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元画像であるため、相互に比較し易く、3次元画像データで取得された各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができる。

0009

上記態様においては、前記軸が、前記細胞の長手軸であってもよい。
このようにすることで、各細胞の長手軸を基準とした平面に沿う2次元画像を一覧表示することにより、各細胞の形状的特徴を表す画像として意味のある2次元画像どうしを比較可能とし、相互に比較し易く、3次元画像データで取得された各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができる。

0010

また、上記態様においては、前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面のうち、前記細胞の重心位置を含む平面であってもよい。
このようにすることで、各細胞の重心位置における横断面を一覧表示することができ、各細胞の形状的特徴を表す画像として意味のある2次元画像どうしを比較可能とし、相互に比較し易くすることができる。

0011

また、上記態様においては、前記平面が、前記長手軸に直交する平面のうち、前記長手軸方向の中央位置を含む平面であってもよい。
このようにすることで、各細胞の長手軸方向の中央位置における横断面を一覧表示することができ、各細胞の形状的特徴を表す画像として意味のある2次元画像どうしを比較可能とし、相互に比較し易くすることができる。

0012

また、上記態様においては、前記平面が、前記長手軸に沿う平面のうち、前記細胞の重心位置を含む平面であってもよい。
このようにすることで、各細胞の重心位置における縦断面を一覧表示することができ、各細胞の形状的特徴を表す画像として意味のある2次元画像どうしを比較可能とし、相互に比較し易くすることができる。

0013

また、上記態様においては、前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面であり、前記表示画像が、前記長手軸方向または前記長手軸方向に直交する方向に沿って配置される各画素輝度最大値を前記平面に投影した画像であってもよい。
このようにすることで、各細胞の各画素の最大値を長手軸に直交する平面に投影した画像を一覧表示することができ、各細胞の形状的特徴を表す画像として意味のある2次元画像どうしを比較可能とし、相互に比較し易くすることができる。

0014

また、本発明の他の態様は、顕微鏡により、複数の細胞集塊に対して焦点位置を異ならせて取得された複数の2次元画像に基づいて、各前記細胞集塊の3次元画像を生成する3次元画像生成部と、該3次元画像生成部により生成された前記3次元画像を処理して、1以上の計測パラメータに基づき特徴量を解析する解析部と、該解析部による解析結果をグラフ化して表示する解析結果表示部と、該解析結果表示部により表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部と、該関心領域選択部により選択された前記関心領域に含まれる複数の前記細胞集塊に対応する前記3次元画像から、前記細胞集塊の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元の表示画像を生成し一覧表示するギャラリー生成部とを備える画像処理装置を提供する。

0015

本態様によれば、顕微鏡により複数の細胞集塊に対して焦点位置を異ならせて取得された複数の2次元画像が入力されると、各細胞集塊の3次元画像が3次元画像生成部により生成される。生成された3次元画像は解析部により処理されて1以上の計測パラメータに基づいて特徴量が解析され、解析結果が、解析結果表示部によりグラフ化されて表示される。

0016

ユーザがグラフ上で関心領域を選択すると、選択された関心領域に含まれる複数の細胞集塊に対応する3次元画像から、細胞集塊の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元の表示画像がギャラリー生成部により生成され、一覧表示される。すなわち、一覧表示される各細胞集塊の2次元の表示画像は、細胞集塊の任意の横断面ではなく、細胞集塊の形状的特徴に基づいて定まる軸を基準とした平面に沿う2次元画像であるため、相互に比較し易く、3次元画像データで取得された各細胞集塊の形態的特徴の目視観察を容易にして、観察精度を向上することができる。

0017

上記態様においては、前記軸が、前記細胞集塊の長手軸であってもよい。
また、上記態様においては、前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面のうち、前記細胞集塊の重心位置を含む平面であってもよい。

0018

また、上記態様においては、前記平面が、前記長手軸に直交する平面のうち、前記長手軸方向の中央位置を含む平面であってもよい。
また、上記態様においては、前記平面が、前記長手軸に沿う平面のうち、前記細胞集塊の重心位置を含む平面であってもよい。

0019

また、上記態様においては、前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面であり、前記表示画像が、前記長手軸方向または該長手軸方向に直交する方向に沿って配置される各画素の輝度の最大値を前記平面に投影した画像であってもよい。
また、本発明の他の態様は、上記いずれかの画像処理装置と、前記細胞集塊に対して焦点位置を異ならせた複数の前記2次元画像を取得する顕微鏡とを備える顕微鏡システムを提供する。

発明の効果

0020

本発明によれば、3次元画像データで取得された細胞群あるいは各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができるという効果を奏する。

図面の簡単な説明

0021

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。
図1の顕微鏡システムにより観察する細胞集塊の一例を示す斜視図である。
ラベル画像の一例を示す図である。
テーブルの一例を示す図である。
XY断面画像、XZ断面画像およびYZ断面画像を並列してモニタに表示する様子を示す図である。
モニタに各断面画像、グラフおよびギャラリー表示を並列して表示する様子を示す図である。
図1の顕微鏡システムに備えられる画像処理装置において、ヒストグラム上において関心領域を指定する場合を説明する図である。
図1の顕微鏡システムに備えられる画像処理装置において、ギャラリー表示のための条件を入力させる画面の例を示す図である。
図1の顕微鏡システムにより各細胞のギャラリー表示を行う手順を説明するフローチャートである。
図7の関心領域に含まれる細胞の3次元画像において抽出された長手軸および重心位置と、重心位置を含み長手軸に直交する横断面とを示す斜視図である。
図7の関心領域に含まれる細胞の3次元画像において抽出された長手軸および中央位置と、中央位置を含み長手軸に直交する横断面とを示す斜視図である。
図7の関心領域に含まれる細胞の3次元画像において抽出された長手軸と、細胞における長手軸に沿う方向の最大輝度値を長手軸に直交する投影面に投影したプロジェクション画像の一例とを示す斜視図である。
図7の関心領域に含まれる細胞の3次元画像において抽出された長手軸および重心位置と、重心位置を含み長手軸に沿う縦断面とを示す斜視図である。
細胞集塊において該細胞集塊の長手軸および重心位置を抽出し、重心位置を通り長手軸に直交する平面に沿う2次元画像を生成する場合について説明する斜視図である。

実施例

0022

本発明の一実施形態に係る画像処理装置9および顕微鏡システム1について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム1は、図1に示されるように、レーザ走査型顕微鏡(顕微鏡)3と、レーザ走査型顕微鏡3を制御したり画像を構築したりする制御装置5と、制御装置5により構築された画像を表示するモニタ7と、PC(Personal Computer:画像処理装置)9と、操作者が各種入力を行うマウスキーボード等の入力部11とを備えている。

0023

レーザ走査型顕微鏡3は、複数の細胞S(図2参照)により構成されるスフェロイド(細胞集塊)Tを収容するシャーレ等の透明な容器(図示略)を搭載する電動ステージ13と、レーザ光出射するレーザ光源部15と、レーザ光源部15から出射されたレーザ光を2次元的に走査するスキャナ17と、スキャナ17により走査されたレーザ光を細胞Sに集光する対物レンズ19と、対物レンズ19によるレーザ光の照射により細胞Sにおいて発生する蛍光を検出して細胞Sの画像を取得する画像取得部21と、これらを収容する暗箱23とを備えている。

0024

電動ステージ13は、図示しない3個のモータを備え、相互に直交するX,Y,Z方向の移動軸に沿って独立して移動して、搭載した容器を3次元方向に移動させることができるようになっている。

0025

暗箱23内は、電動ステージ13を含んだ上方の上方領域25Aと、それよりも下方の下方領域25Bとに区画されている。上方領域25Aにはヒータ27が配置され、上方領域25A内の温度が所定の培養条件(例えば、27℃±0.5℃)となるように調整されている。また、上方領域25A内には、電動ステージ13に位置決め状態に搭載されるサンプルホルダ29が配置されている。

0026

サンプルホルダ29は、電動ステージ13上で容器を位置決め状態に保持することができるようになっている。サンプルホルダ29により保持された容器は、簡易型インキュベータ31内に収容されてその培養条件(例えば、湿度100%およびCO2濃度0.5%)が維持されるようになっている。図中符号33は、位相差観察用の位相差コンデンサである。

0027

レーザ光源部15は、異なる波長のレーザ光を発生する複数のレーザダイオード35と、これら複数のレーザダイオード35から発せられたレーザ光を単一の光路合流させるミラー37およびダイクロイックミラー39とを備えている。
スキャナ17は、例えば、相互に直交する軸線回り揺動させられる2枚のガルバノミラーを対向させて構成されたいわゆる近接ガルバノミラーである。

0028

対物レンズ19は、ドライ観察用の対物レンズ19Aと、油浸または水浸観察用の対物レンズ19Bとがレボルバ41によって切り替え可能に設けられている。また、対物レンズ19にはオートフォーカス機能が備えられていて、定期的にまたは必要に応じて合焦位置を検出し、対物レンズ19が光軸に沿う方向に移動させられることにより、対物レンズ19の焦点位置を細胞Sの表面に一致させることができるようになっている。

0029

図中符号43は、対物レンズ19Bと容器底面との間に油浸用のエマージョンオイルまたは水浸用の水を供給するポンプであり、図中符号45は、水またはエマージョンオイルを除去するためのエアブラシである。
スキャナ17と対物レンズ19との間には、スキャナ17により走査されたレーザ光を集光する瞳投影レンズ47および結像レンズ49が配置されている。

0030

画像取得部21は、レーザ光源部15とスキャナ17との間に挿入されて、細胞Sから発せられ、対物レンズ19、結像レンズ49、瞳投影レンズ47およびスキャナ17を介して戻る蛍光をレーザ光の光路から分岐するビームスプリッタ51と、ビームスプリッタ51により分岐された蛍光を集光するコンフォーカルレンズ53と、可変ピンホール55と、コリメートレンズ57と、コリメートレンズ57により略平行光とされた蛍光を回折させて波長毎に分離するグレーティング59と、グレーティング59により分離された蛍光を集光する集光レンズ61と、集光された蛍光を波長毎に分岐するビームスプリッタ63と、ビームスプリッタ63により分岐された蛍光をそれぞれ検出する光検出器65とを備えている。可変ピンホール55は、対物レンズ19の焦点位置と光学的に共役な位置関係に配置されている。符号67はピンホールである。

0031

制御装置5は、電動ステージ13およびスキャナ17の駆動を制御し、光検出器65から出力される輝度情報に基づいて画像を構築するようになっている。例えば、制御装置5は、電動ステージ13を対物レンズ19に対して3次元的に移動させることによってスフェロイドTを対物レンズ19の焦点位置に対して3次元的に移動させながら、各焦点位置においてスキャナ17によりレーザ光を2次元的に走査させ、細胞Sから発せられる蛍光を検出した光検出器65から出力される輝度信号に基づいて対物レンズ19の焦点位置に配置されている細胞Sのスライス画像撮像画像)を構築していくことにより、各細胞Sについて複数枚のスライス画像を取得するようになっている。

0032

そして、制御装置5は、各細胞Sの複数枚のスライス画像を画像処理することにより、スフェロイドT全体の3次元画像を構築するようになっている。制御装置5により取得された複数枚のスライス画像および3次元画像のデータはPC9に送られる。

0033

制御装置5は、PC9との間でデータ通信するための第1の通信I/F回路(不図示)と、電動ステージ13、スキャナ17、光検出器65などを制御するためにレーザ走査型顕微鏡3とデータ通信するための第2の通信I/F回路(不図示)と、CPU(不図示)と、メモリ(不図示)などとで構成されている。なお、3次元画像を効率よく生成するために、CPUとは別にGPU(Graphics Processing Unit:不図示)を備えていてもよい。

0034

本実施形態に係る画像処理装置は、PC9により構成されている。
PC9は、各種プログラムや画像データ、グラフデータ等を記憶するディスク(HDD:Hard Disk Drive)69と、ディスク69に記憶されているプログラムを実行するCPU(Central Processing Unit、3次元画像生成部、解析部、関心領域選択部、解析結果表示部、ギャラリー生成部)71と、CPU71によるプログラムの実行により得られた細胞Sの認識結果や解析結果を記憶するRAM(Random Access Memory)等のメモリ73とを備えている。

0035

ディスク69には、CPU71が実行するプログラムとして、例えば、認識プログラム表示プログラムおよび計測プログラムが記憶されている。また、ディスク69には、制御装置5により取得された各細胞Sの複数枚のスライス画像およびスフェロイドT全体の3次元画像等の画像データが記憶されるようになっている。

0036

CPU71は、認識プログラムの実行により、3次元画像上のスフェロイドT全体や個々の細胞Sに対して認識処理を行うようになっている。認識処理においては、例えば、サイズが異なる複数のLoG(Laplacian Of Gaussian)フィルタを採用して、これらLoGフィルタの出力値から局所的なピーク位置およびそのサイズを検出し、これをシード(細胞Sの中心位置)とする。そして、2次元的および3次元的にLoGフィルタを適用し、その結果を組み合わせる。次いで、シード周辺の近傍領域をそのサイズに基づいてトリミングおよび適応的に2値化処理を行い、認識した細胞Sの領域を形成する。

0037

また、CPU71は、認識したスフェロイドT全体または個々の細胞Sを互いに異なるラベルを付して特定し、例えば、図3に示すようなラベル画像と図4に示すようなテーブルを生成するようになっている。また、CPU71は認識した個々の細胞Sの3次元画像を生成するようになっている。

0038

ラベル画像は、図3に示すように、認識された対象毎にラベルとしてオブジェクトID(例えば、1、2、3、4、・・・k・・・n。)が付与されるとともに、認識されていないバックグラウンドには0が付与されて表された2次元的な画像である。テーブルは、図4に示すようなラベル(オブジェクトID)とその中心位置情報とその外接矩形とが関連付けられた情報である。CPU71により生成されたラベル画像、3次元画像およびテーブルはメモリ73に記憶される。

0039

また、CPU71は、計測プログラムの実行により、3次元画像から認識されたスフェロイドTを構成する個々の細胞Sを計測・解析し、計測・解析した細胞Sの特性の分布を示すグラフを生成するようになっている。グラフとしては、例えば、ヒストグラム、散布図ライングラフ等が挙げられる。CPU71により生成されたグラフはディスク69に記憶されるようになっている。

0040

また、CPU71は、表示プログラムの実行により、例えば、図5に示すように、3次元画像を構成する互いに直交する3つの断面画像、すなわち、XY断面画像、XZ断面画像およびYZ断面画像を対応付けてモニタ7に同時に表示させるようになっている(3面表示)。ここで、座標軸Zは重力方向に一致し、XY平面は水平方向に一致している。各断面画像は、XY方向の撮像画像と、3次元画像をXZ方向およびYZ方向に切断した断面により生成される2次元的な画像である。

0041

また、CPU71は、図6に示すように、計測・解析した細胞Sの特性の分布を示すヒストグラムや散布図等のグラフおよび統計表示をモニタ7に各断面画像と並列に表示させるようになっている。さらに、CPU71は、モニタ7に表示されたヒストグラムや散布図等のグラフ上において、ユーザに関心のある領域(関心領域)を選択させることができるようになっている。

0042

例えば、図7に示されるように、ヒストグラム上において関心領域を取り囲むように矩形等の線図を描かせることにより、線図内に囲われた関心領域内に含まれる細胞Sが選択されるようになっている。
また、CPU71は、図8に示されるように、ギャラリー表示に関する条件をユーザに選択させる画面をモニタ7に表示するようになっている。ギャラリー表示に関する条件としては、表示する画像の種類を示す表示モード、表示する画像の細胞Sにおける位置、縦横に一覧表示する際の表示順序、および、表示するチャネルを挙げることができる。

0043

表示する画像の種類としては、例えば、断面画像とプロジェクション画像を挙げることができる。断面画像としては、例えば、細胞Sの長手軸Aに直交する横断面の画像を挙げることができる。プロジェクション画像としては、例えば、細胞Sの長手軸Aに沿う方向の最大輝度を長手軸Aに直交する平面に投影した画像を挙げることができる。

0044

表示する画像の細胞Sにおける位置としては、例えば、細胞Sの長手軸Aに沿う方向の中央位置Cであるか重心位置Gの横断面であるかを選択することができる。
表示順序としては、表示する横断面の大きさ順、最大輝度の大きさ順、平均輝度の大きさ順などを選択することができる。また、順序については昇順降順を切り替えることができる。

0045

また、表示するチャネルとしては、チャネルCH1,CH2のどちらの光検出器65により検出された蛍光に基づき生成された画像を表示するかあるいは両方表示するのかについて選択することができる。

0046

ギャラリー表示に関する条件が入力された場合には、CPU71は関心領域に含まれる細胞Sとして検索された全てのラベルに対応する細胞Sの3次元画像を処理して、各細胞Sの長手軸Aを抽出するとともに、入力された条件に従って、各細胞Sの2次元画像を生成し、モニタ7に一覧表示するようになっている。

0047

このように構成された画像処理装置9および顕微鏡システム1の作用について説明する。
最初に、本実施形態に係る顕微鏡システム1により、細胞Sの3次元画像を取得する場合について説明する。
まず、サンプルホルダ29により容器を保持させて、容器を電動ステージ13上に搭載し、レーザ光源部15からレーザ光を発生させる。

0048

レーザ光源部15から発せられたレーザ光は、スキャナ17によって2次元的に走査され、瞳投影レンズ47、結像レンズ49および対物レンズ19を介して容器内の細胞Sに集光される。レーザ光の照射位置においては、細胞S内に存在している蛍光物質励起されて蛍光が発生する。発生した蛍光は、対物レンズ19、結像レンズ49、瞳投影レンズ47およびスキャナ17を介してレーザ光の光路を戻り、ビームスプリッタ51によって分岐されて画像取得部21に入射する。

0049

画像取得部21に入射した蛍光は、コンフォーカルレンズ53によって集光され、可変ピンホール55を通過した蛍光のみがコリメートレンズ57によって略平行光とされた後、グレーティング59によって分光されて集光レンズ61およびビームスプリッタ63を介して波長毎に異なる光検出器65により検出される。そして、制御装置5において、光検出器65から出力される輝度信号に基づいて細胞Sのスライス画像が構築され、構築された複数枚のスライス画像が画像処理されて3次元画像が構築される。

0050

この場合において、可変ピンホール55を十分に絞っておくことにより、対物レンズ19の焦点位置から発生した蛍光のみを通過させて光検出器65により検出し、ブレのない鮮明な共焦点蛍光画像を取得することができる。

0051

次に、本実施形態に係る画像処理装置9および顕微鏡システム1により、細胞集塊Tを構成する個々の細胞Sの2次元画像のギャラリー表示を行う手順について図9のフローチャートを参照して説明する。
まず、CPU71により、認識プログラムが実行され、ディスク69に記憶されている3次元画像上の個々の細胞Sが認識されて互いに異なるラベルを付されて特定され、図3に示すようなラベル画像と図4に示すようなテーブルが生成される。また、認識された個々の細胞Sの3次元画像が生成される。

0052

また、CPU71により、計測プログラムが実行され、3次元画像から認識された個々の細胞Sが計測・解析され、計測・解析された細胞Sの特性の分布を示すグラフが生成される。そして、CPU71により、表示プログラムが実行され、3次元画像を構成するXY断面画像、XZ断面画像およびYZ断面画像と、ヒストグラム等のグラフとが相互に対応付けられてモニタ7に並列に表示される。

0053

続いて、例えば、図7に示すように、モニタ7に表示されたヒストグラム上においてユーザが入力部11により任意の関心領域を指定すると(ステップSA1)、CPU71は、図8に示されるように、ギャラリー表示に関する条件をユーザに選択させる画面をモニタ7に表示する(ステップSA2)。
そして、CPU71により、ディスク69に記憶されているラベル画像およびテーブルにおいて、関心領域に含まれる全ての細胞Sのラベルが検索される(ステップSA3)。

0054

ラベルが存在する場合(ステップSA4)には、図6の画面において設定された条件に従って、関心領域内の各細胞Sの2次元画像が生成される(ステップSA5)。
ユーザが、例えば、図6に示されるように、断面画像、重心位置G、横断面積の大きさ、降順およびチャネルCH1,CH2の両方を選択した場合には、関心領域の指定により、関心領域内に含まれる全ての細胞Sの3次元画像から、図10に示されるように、各細胞Sの長手軸Aおよび重心位置Gが検出され、各細胞Sの長手軸Aに直交し重心位置Gを含む平面(図中、斜線部)に沿う2次元画像、すなわち、各細胞Sの重心位置Gの横断面画像が生成される。

0055

関心領域内に含まれる全ての細胞Sについて2次元画像が生成された場合には(ステップSA6)、各細胞Sについて生成された2次元画像は、横断面積の大きい順に一覧表示(ギャラリー表示)される(ステップSA7)。

0056

また、ユーザが、例えば、チャネルCH1のみを選択した場合には、全ての細胞SからCH2により蛍光画像が取得された細胞Sが除かれる。また、ユーザが昇順を選んだ場合には、細胞Sの2次元画像が横断面積の小さい順に一覧表示される。

0057

また、ユーザが、中央位置Cを選択した場合には、図11に示されるように、指定された関心領域内に含まれる全ての細胞Sの3次元画像から、各細胞Sの長手軸Aおよび長手軸方向の中央位置Cが検出され、各細胞Sの長手軸Aに直交し長手軸方向の中央位置Cを含む平面(図中、斜線部)に沿う2次元画像、すなわち、各細胞Sの長手軸方向の中央の横断面画像が生成される。

0058

また、ユーザが、プロジェクション画像を選択した場合には、図12に示されるように、指定された関心領域内に含まれる全ての細胞Sの3次元画像から、各細胞Sの長手軸Aが検出され、長手軸Aに沿う方向の最大輝度を長手軸Aに直交する平面Bに投影した画像が生成される。

0059

このように、本実施形態に係る画像処理装置9および顕微鏡システム1によれば、スフェロイドTを構成している各細胞Sの2次元画像が一覧表示されるので、ユーザは一目で細胞Sの状態を比較して観察することができる。この場合に、各細胞Sの2次元画像は、細胞Sの形状的特徴に基づいて定まる軸である長手軸Aを基準とした平面に沿っているので、細胞Sの形状的特徴を良好に表しているとともに、統一された基準に従って生成されているので、細胞S間での比較を容易にすることができるという利点がある。その結果、3次元画像データで取得された細胞群あるいは各細胞Sの形態的特徴の観察精度を向上することができる。

0060

なお、本実施形態においては、細胞Sの長手軸Aに直交する平面に沿い、長手軸方向の中央位置Cあるいは重心位置Gを含む平面に沿う横断面の画像をギャラリー表示することとしたが、これに限定されるものではなく、例えば、図13に示されるように、長手軸方向に沿う平面(図中、斜線部)であって重心位置Gを含む平面に沿う縦断面の画像をギャラリー表示することにしてもよい。

0061

また、本実施形態においては、ギャラリー表示するための条件をユーザに入力させることとしたが、これに代えて、上記いずれかの条件を予め設定しておき、関心領域が指定された場合には、関心領域に含まれる全ての細胞Sについて設定された条件で2次元画像を生成しギャラリー表示することにしてもよい。

0062

また、ユーザがギャラリー表示されたいずれかの細胞Sを指定した場合に、対応する散布図やヒストグラム、あるいはスフェロイドTの3次元画像を構成するXY断面画像、XZ断面画像およびYZ断面画像において対応する細胞Sをハイライト表示することにしてもよい。また、ギャラリー表示における表示順断面積の大きさ順、最大輝度の大きさ順、あるいは平均輝度の大きさ順としたが、これに限定されるものではなく、例えば検出順に表示することにしてもよい。

0063

また、本実施形態においては、単一のスフェロイドTを構成する個々の細胞Sについてギャラリー表示する場合を説明したが、これに代えて、サンプルホルダ29に保持された容器に複数のスフェロイドTが点在した状態で培養されている場合に、図14に示されるように、各スフェロイドTの形状的特徴に基づいて定まる軸(例えば、長手軸D)を基準とした平面(例えば、長手軸Dに直交し重心Pを含む平面)に沿う2次元画像を生成し、ギャラリー表示することにしてもよい。

0064

また、本実施形態においては、細胞SまたはスフェロイドTの形状的特徴に基づいて定まる軸として細胞SまたはスフェロイドTの長手軸A,Dを例示したが、これに限定されるものではない。
例えば、球状の細胞Sからなる細胞集塊Tまたは球状の3次元の細胞集塊T等の長手軸A,Dを有しない場合には、球体という形状的特徴に基づいてZ軸(光軸方向)を基準とした平面に沿うようにギャラリー表示してもよい。

0065

また、本実施形態においては、細胞集塊としてスフェロイドTを例示したが、これに限定されるものではなく、ニューロスフェアオルガノイド等の3次元培養細胞群、iPS細胞ES細胞等の幹細胞から発生・分化あるいは再生過程にある微小組織線虫ゼブラフィッシュ・マウス等の小動物肝臓・脳・腫瘍などの組織、発生初期のいずれかに適用してもよい。

0066

また、実施形態においては、図7に示すようにヒストグラム上にて関心領域を指定するものを例示したが、これに代えて、散布図やライングラフ等にて関心領域を指定するようにしてもよい。

0067

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の各実施形態に適用したものに限定されることなく、これらの実施形態を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

0068

1顕微鏡システム
3レーザ走査型顕微鏡(顕微鏡)
9 PC(画像処理装置)
71 CPU(解析部、関心領域選択部、解析結果表示部、ギャラリー生成部、3次元画像生成部)
A,D長手軸(軸)
C 中央位置
G 重心位置
S細胞
Tスフェロイド(細胞集塊)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • オリンパス株式会社の「 培養観察システム」が 公開されました。( 2019/07/18)

    【課題・解決手段】細胞培養時の確認作業の煩わしさを低減する。インキュベータ内に配置され、培養容器内のサンプルを観察する観察装置と、インキュベータ外に配置され、該観察装置と情報の授受をするステーションサ... 詳細

  • オリンパス株式会社の「 細胞状態計測装置」が 公開されました。( 2019/07/18)

    【課題・解決手段】本発明の細胞状態計測装置(100)は、容器内の培養面上で培養される細胞からの光を検出する直線状のラインセンサ(21)を有し、1ライン分のプレ画像を取得し、その後、ラインセンサ(21)... 詳細

  • 日本分光株式会社の「 全反射光学部材およびこれを備えた全反射測定装置」が 公開されました。( 2019/07/18)

    【課題・解決手段】本発明は、多重反射法に使用可能で、試料との接触面積を小さくすることが可能な全反射プリズムを提供する。全反射プリズム2は、板状の光学部材からなり、表裏いずれかの面の中心から外れた位置に... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ