図面 (/)

技術 細胞の運動観察方法、画像処理プログラム及び画像処理装置

出願人 株式会社ニコン
発明者 三村正文中川敬
出願日 2012年10月10日 (6年9ヶ月経過) 出願番号 2012-225243
公開日 2014年5月1日 (5年2ヶ月経過) 公開番号 2014-076000
状態 拒絶査定
技術分野 酵素、微生物を含む測定、試験 粒子の特徴の調査 微生物・酵素関連装置
主要キーワード 各条件値 最外輪郭 分散フィルタ 近似範囲 特定位 高倍観察 ミクロ画像 解析範囲
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年5月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

細胞集団が不均一な厚みを有する場合でも、該細胞集団の全体にわたって細胞運動を正確に観察可能な手段を提供する。

解決手段

画像処理装置100は、互いに異なる露光量で観察視野内に位置する心筋細胞コロニー撮影された時系列画像を取得して画像を解析する画像解析部130と、画像解析部130による解析結果を出力する出力部140とを備え、画像解析部130は、該異なる露光量ごとに取得した時系列画像からコロニー内における動きのある領域をそれぞれ抽出する動きベクトル検出部131と、該異なる露光量ごとに抽出された動き領域面積の大きさを指標として、複数の露光量の中から最適露光量を決定する最適露光量決定部132とを備え、最適露光量のもとでコロニーの拍動運動を観察するように構成される。

概要

背景

心筋疾患などを対象とした再生医療の分野では、胚性幹細胞(embryonic stem cell:ES細胞)や人工多能性幹細胞(induced pluripotent stem cell:iPS細胞)などの幹細胞から分化誘導した心筋細胞が再生医療のリソースとして利用が期待されている。このような心筋細胞などの培養細胞の状況を観察する装置の例として、培養顕微鏡が挙げられる。培養顕微鏡は、心筋細胞の培養に好適な環境を形成する培養装置インキュータ)と、培養装置に収容された培養容器内の心筋細胞の状態を観察する観察系とを備え、予め設定された一定時間ごとに心筋細胞の観察画像を取得し、心筋細胞の状態の観察、記録、管理等を行うことができるように構成される(例えば、特許文献1を参照)。

概要

細胞集団が不均一な厚みを有する場合でも、該細胞集団の全体にわたって細胞運動を正確に観察可能な手段を提供する。画像処理装置100は、互いに異なる露光量で観察視野内に位置する心筋細胞のコロニー撮影された時系列画像を取得して画像を解析する画像解析部130と、画像解析部130による解析結果を出力する出力部140とを備え、画像解析部130は、該異なる露光量ごとに取得した時系列画像からコロニー内における動きのある領域をそれぞれ抽出する動きベクトル検出部131と、該異なる露光量ごとに抽出された動き領域面積の大きさを指標として、複数の露光量の中から最適露光量を決定する最適露光量決定部132とを備え、最適露光量のもとでコロニーの拍動運動を観察するように構成される。

目的

そのため近年では、心筋細胞の拍動運動を定量的に評価・判断し得る画像処理の開発が望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

互いに異なる露光量で観察視野内に位置する細胞集団時系列画像撮影し、該異なる露光量ごとに取得した前記時系列画像から前記細胞集団内における動きのある領域をそれぞれ抽出し、該異なる露光量ごとに抽出された前記動き領域面積の大きさを指標として、複数の前記露光量の中から最適露光量を決定し、前記最適露光量のもとで細胞集団の運動を観察することを特徴とする細胞の運動観察方法

請求項2

前記動き領域の面積が最大値を示した露光量を前記最適露光量として決定することを特徴とする請求項1に記載の細胞の運動観察方法。

請求項3

前記観察視野を複数の注目領域に分割し、前記注目領域ごとに前記動き領域の面積の最大値を検出できる最適露光量を導出することを特徴とする請求項2に記載の細胞の運動観察方法。

請求項4

前記時系列画像における二以上の画像間の動きベクトルを検出し、前記時系列画像において前記動きベクトルが検出された領域を前記動き領域として抽出することを特徴とする請求項1〜3のいずれかに記載の細胞の運動観察方法。

請求項5

コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、互いに異なる露光量で観察視野内に位置する細胞集団の時系列画像を撮影するステップと、該異なる露光量ごとに取得した前記時系列画像から前記細胞集団内における動きのある領域をそれぞれ抽出するステップと、該異なる露光量ごとに抽出された前記動き領域の面積の大きさを指標として、複数の前記露光量の中から最適露光量を決定するステップと、前記最適露光量のもとで細胞集団の運動を観察するステップと、を前記コンピュータに実現させることを特徴とする画像処理プログラム。

請求項6

前記動き領域の面積が最大値を示した露光量を前記最適露光量として決定することを特徴とする請求項5に記載の画像処理プログラム。

請求項7

前記観察視野を複数の注目領域に分割し、前記注目領域ごとに前記動き領域の面積の最大値を検出できる最適露光量を導出することを特徴とする請求項6に記載の画像処理プログラム。

請求項8

前記時系列画像における二以上の画像間の動きベクトルを検出し、前記時系列画像において前記動きベクトルが検出された領域を前記動き領域として抽出することを特徴とする請求項5〜7のいずれかに記載の画像処理プログラム。

請求項9

互いに異なる露光量で観察視野内に位置する細胞集団が撮影された時系列画像を取得して画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備えた画像処理装置であって、前記画像解析部は、該異なる露光量ごとに取得した前記時系列画像から前記細胞集団内における動きのある領域をそれぞれ抽出する動き領域検出部と、該異なる露光量ごとに抽出された前記動き領域の面積の大きさを指標として、複数の前記露光量の中から最適露光量を決定する最適露光量決定部とを備え、前記最適露光量のもとで細胞集団の運動を観察することを特徴とする画像処理装置。

請求項10

前記最適露光量決定部は、前記動き領域の面積が最大値を示した露光量を前記最適露光量として決定することを特徴とする請求項9に記載の画像処理装置。

請求項11

前記最適露光量決定部は、前記観察視野を複数の注目領域に分割し、前記注目領域ごとに前記動き領域の面積の最大値を検出できる最適露光量を導出することを特徴とする請求項10に記載の画像処理装置。

請求項12

前記動き領域検出部は、前記時系列画像における二以上の画像間の動きベクトルを検出し、前記時系列画像において前記動きベクトルが検出された領域を前記動き領域として抽出することを特徴とする請求項9〜11のいずれかに記載の画像処理装置。

技術分野

0001

本発明は、細胞観察において取得された時系列画像から細胞集団運動を観察するための最適な露光量を判別する細胞の運動観察方法画像処理プログラム及び画像処理装置に関する。

背景技術

0002

心筋疾患などを対象とした再生医療の分野では、胚性幹細胞(embryonic stem cell:ES細胞)や人工多能性幹細胞(induced pluripotent stem cell:iPS細胞)などの幹細胞から分化誘導した心筋細胞が再生医療のリソースとして利用が期待されている。このような心筋細胞などの培養細胞の状況を観察する装置の例として、培養顕微鏡が挙げられる。培養顕微鏡は、心筋細胞の培養に好適な環境を形成する培養装置インキュータ)と、培養装置に収容された培養容器内の心筋細胞の状態を観察する観察系とを備え、予め設定された一定時間ごとに心筋細胞の観察画像を取得し、心筋細胞の状態の観察、記録、管理等を行うことができるように構成される(例えば、特許文献1を参照)。

先行技術

0003

特開2008−67646号公報

発明が解決しようとする課題

0004

上記特許文献1に記載されているように、心筋細胞を培養する過程において、幹細胞が自律的に収縮弛緩拍動運動を周期的に繰り返す心筋細胞に分化したか否かの品質評価を行うにあたり、現状では未だ拍動運動の検出は目視判定により行われていることが多い。しかしながら、従来行われてきた目視判定による手法では、一定の経験を有する知見者が時間をかけて観察する必要があるとともに、観察者主観によるところが大きく、心筋細胞の拍動運動を定量的に評価・判断することが困難であった。

0005

そのため近年では、心筋細胞の拍動運動を定量的に評価・判断し得る画像処理の開発が望まれているが、例えば、心筋細胞コロニーの時系列画像を撮影して画像処理にて拍動領域を検出する場合、コロニーが不均一な厚みを有するとき、光源照明光量が十分でないと厚みのある部位で黒潰れ現象が生じ、照明光量が高すぎると薄い部位で飽和して白飛び現象が生じるため、心筋細胞コロニーから拍動領域を取りこぼすことなく正確に検出することが困難になるという課題があった。

0006

本発明は、上記のような課題に鑑みてなされたものであり、細胞集団が不均一な厚みを有する場合でも、該細胞集団の全体にわたって細胞運動を正確に観察可能な手段を提供することを目的とする。

課題を解決するための手段

0007

本発明を例示する第1の態様に従えば、互いに異なる露光量で観察視野内に位置する細胞集団の時系列画像を撮影し、該異なる露光量ごとに取得した時系列画像から細胞集団内における動きのある領域をそれぞれ抽出し、該異なる露光量ごとに抽出された動き領域面積の大きさを指標として、複数の露光量の中から最適露光量を決定し、最適露光量のもとで細胞集団の運動を観察することを特徴とする細胞の運動観察方法が提供される。

0008

本発明を例示する第2の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、互いに異なる露光量で観察視野内に位置する細胞集団の時系列画像を撮影するステップと、該異なる露光量ごとに取得した時系列画像から細胞集団内における動きのある領域をそれぞれ抽出するステップと、該異なる露光量ごとに抽出された動き領域の面積の大きさを指標として、複数の露光量の中から最適露光量を決定するステップと、最適露光量のもとで細胞集団の運動を観察するステップと、をコンピュータに実現させることを特徴とする画像処理プログラムが提供される。

0009

本発明を例示する第3の態様に従えば、互いに異なる露光量で観察視野内に位置する細胞集団が撮影された時系列画像を取得して画像を解析する画像解析部と、画像解析部による解析結果を出力する出力部とを備えた画像処理装置であって、画像解析部は、該異なる露光量ごとに取得した時系列画像から細胞集団内における動きのある領域をそれぞれ抽出する動き領域検出部と、該異なる露光量ごとに抽出された動き領域の面積の大きさを指標として、複数の露光量の中から最適露光量を決定する最適露光量決定部とを備え、最適露光量のもとで細胞集団の運動を観察することを特徴とする画像処理装置が提供される。

発明の効果

0010

本発明の細胞の運動観察方法、画像処理プログラム及び画像処理装置によれば、細胞集団が不均一な厚みを有する場合でも、該細胞集団の全体にわたって細胞運動を正確に観察することが可能である。

図面の簡単な説明

0011

画像処理プログラムの概要を示すフローチャートである。
画像処理プログラムのサブフローチャートである。
本発明の適用例として示す培養観察システムの概要構成図である。
上記培養観察システムのブロック図である。
照明光量を変化させてコロニーを観察した状況を説明するための模式図である。
最適露光量決定処理の具体的な手順1〜4を示す模式図である。
最適露光量決定処理の具体的な手順5〜7を示す模式図である。
最適露光量決定処理の具体的な手順8〜10を示す模式図である。
動きベクトルを利用した露光量の最適化手法として画像処理の具体的な手順11〜13を示す模式図である。
心筋細胞の拍動の様子を説明するための模式図である。
動きベクトルを利用した拍動領域検出手法を説明するための模式図である。
最適露光量のグルーピング処理を説明するための模式図である。
画像処理装置の概要構成を示すブロック図である。

実施例

0012

以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図3及び図4に示しており、まず培養観察システムBSの全体構成について概要説明する。

0013

培養観察システムBSは、大別的には、筐体1の上部に設けられた培養室2と、複数の培養容器10を収容保持する状のストッカー3と、培養容器10内の試料を観察する観察ユニット5と、培養容器10をストッカー3と観察ユニット5との間で搬送する搬送ユニット4と、システムの作動を統括的に制御する制御ユニット6と、画像表示装置を備えた操作盤7などから構成される。

0014

培養室2は、培養環境を形成する部屋であり、断熱材で覆われた恒温室となっている。この培養室2に付随して、培養室2内の温度を調整する温度調整装置21、湿度を調整する加湿器22、CO2ガスやN2ガス等のガスを供給するガス供給装置23、培養室2全体の環境を均一化させるための循環ファン24、培養室2の温度や湿度、二酸化炭素濃度等を検出する環境センサ25などが設けられている。各機器の作動は制御ユニット6により制御され、培養室2の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤7において設定された培養条件合致した状態に維持される。

0015

ストッカー3は、前後及び上下に仕切られた棚状に形成され、各棚に固有番地が設定されており、例えば、前後方向をA〜C列、上下方向を1〜7段とした場合に、A列5段の棚が「A−5」のように設定される。培養容器10は、培養する細胞の種別や目的に応じてディッシュウェルプレートフラスコなど適宜なものが選択され、例えばディッシュタイプの培養容器に細胞試料(以下で詳述する「心筋細胞」)が所定の培地とともに注入保持される。各培養容器10にはコード番号が付与され、ストッカー3の指定番地対応付けられて収容されている。

0016

搬送ユニット4は、培養室2内の内部に設けられて上下移動可能なZステージ41、前後移動可能なYステージ42、左右移動可能なXステージ43などからなり、Xステージ43の先端側に培養容器10を持ち上げ支持する支持アーム45が設けられている。搬送ユニット4は、ストッカー3の全棚と観察ユニット5との間を移動可能な移動範囲を有している。

0017

観察ユニット5は、試料のマクロ観察を行うマクロ観察系54、試料のミクロ観察を行う顕微観察系55、マクロ観察系54の光軸に沿って試料台15の下方から試料を照明する第1照明部51、顕微観察系55の光軸に沿って試料台15の上方から試料を照明する第2照明部52及び下方から試料を照明する第3照明部53、観察系54,55の撮像装置により撮影した画像を取得して各種の画像処理を施す画像処理装置100などから構成される。試料台15は、透光性を有する材質で形成されるとともに観察領域に透明な窓部16が設けられている。また、試料台15は、制御ユニット6からの駆動制御によりXY方向(水平面内方向)及びZ方向(上下方向)に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器10をXY方向に移動させることにより、培養容器10をマクロ観察系54の光軸上へ挿入したり、顕微観察系55の光軸へ挿入したりすることが可能になっている。

0018

第1照明部51は、下部フレーム1b側に設けられた面発光の光源からなり、試料台15の下方から培養容器10全体をバックライト照明する。第2照明部52は、LED(Light Emitting Diode)やハロゲンランプ等の光源52aと、輪帯絞りコンデンサレンズ等からなる照明光学系52cとを有しており、試料台15の上方から顕微観察系55の光軸に沿って培養容器10内の試料を照明する。第3照明部53は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のLEDや水銀等の光源53aと、各光源53aから射出された光を顕微観察系55の光軸に重畳させるビームスプリッタ蛍光フィルタ等からなる照明光学系53cとを有しており、試料台15の下方から顕微観察系55の光軸に沿って培養容器10内の試料を照明する。各光源52a,53aの照明光量は、制御ユニット6からの駆動信号電流電圧)に基づいて制御される。

0019

マクロ観察系54は、観察光学系54aと、この観察光学系54aにより結像された試料の像を撮影するCCDカメラ等の撮像装置54cとを有しており、第1照明部51によりバックライト照明された培養容器10の上方からの全体観察画像(マクロ画像)を撮影する。

0020

顕微観察系55は、対物レンズ位相リング等からなる観察光学系55aと、観察光学系55aにより結像された試料の像を撮影する冷却CCD等の撮像装置55cとを有している。対物レンズは、レンズ駆動機構87により光軸に沿う方向(Z方向)に往復移動可能に構成されており、対物レンズと試料面との光軸方向の相対位置(光学的距離)を変化させることにより焦点調節が可能になっている。また、対物レンズは複数設けられるとともに、レボルバスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では、少なくとも低倍観察用(例えば2倍観察用)と高倍観察用(例えば10倍観察用)との2種類の倍率の間で変倍可能なように切り換えられる。顕微観察系55は、第2照明部52により照明された試料の位相差画像、第3照明部53により照明された試料の反射像、第3照明部53により照明された試料の蛍光画像など、培養容器10内の試料を顕微鏡観察した顕微観察画像ミクロ画像)を撮影する。

0021

画像処理装置100は、マクロ観察系54の撮像装置54c、顕微観察系55の撮像装置55cにより撮影され、これらの撮像装置から入力された信号を処理して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置100は、これらの観察画像(画像データ)に対して画像解析を施し、タイムラプス画像の生成、細胞運動の動きベクトルの検出、画像特徴量の算出、細胞の拍動運動の解析、などを実行する。また、画像処理装置100は、これらの観察画像(画像データ)に対して画像解析を施し、タイムラプス画像の生成、細胞運動の動きベクトルの検出、細胞の拍動運動の解析、拍動検出のための露光量決定処理、などを実行する。なお、画像処理装置100については、後に詳述する。

0022

制御ユニット6は、処理を実行するCPU61、培養観察システムBSの制御プログラムや制御データ等が設定記憶されたROM62、観察条件や画像データ等を一時記憶するRAM63などを有し、培養観察システムBSの作動を制御する。そのため、図3に示すように、培養室2、搬送装置4、観察ユニット5、操作盤7の各構成機器が制御ユニット6に接続されている。RAM63には、観察プログラムに応じた培養室2の環境条件や、観察スケジュール、観察ユニット5における観察種別や観察位置、観察倍率等が設定され記憶される。また、RAM63には、観察ユニット5により撮影された画像データを記録する画像データ記録領域が設けられ、培養容器10のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。

0023

操作盤7には、キーボードマウス、スイッチ等の入出力機器が設けられた操作パネル71、操作画面や画像データ等を表示する表示パネル72が設けられ、操作パネル71において観察プログラムの設定や条件選択動作指令等の入力が行われる。通信部65は有線または無線通信規格準拠して構成されており、この通信部65に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。

0024

このように概要構成される培養観察システムBSは、操作盤7において設定された観察プログラムに従ってCPU61が各部の作動を制御し、培養容器10内の試料の撮影を自動的に実行する。観察プログラムがスタートされると、CPU61はRAM63に記憶された環境条件の各条件値を読み込むとともに、環境センサ25から入力される培養室2の環境状態を検出し、条件値実測値との差異に応じて温度調整装置21、加湿器22、ガス供給装置23、循環ファン24等を作動させて、培養室2の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。

0025

また、CPU61はRAM63に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット4のX,Y,Zステージ41,42,43を作動させてストッカー3から観察対象の培養容器10を観察ユニット5の試料台15に搬送して、観察ユニット5による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット4によりストッカー3から搬送してきた培養容器10をマクロ観察系54の光軸上に位置決めして試料台15に載置し、第1照明部51の光源を点灯させて、バックライト照明された培養容器10の上方から撮像装置54cにより全体観察像を撮影する。撮像装置54cから制御ユニット6に入力された信号は、画像処理装置100により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにRAM63の画像データ記憶領域に記憶される。

0026

また、観察プログラムにおいて設定された観察が、培養容器10内の特定位置の試料のミクロ観察である場合には、搬送ユニット4により搬送してきた培養容器10内の特定位置を顕微観察系55の光軸上に位置決めして試料台15に載置し、第2照明部52又は第3照明部53の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置55cに撮影させる。撮像装置55cにより撮影されて制御ユニット6に入力された信号は、画像処理装置100により処理されて顕微観察画像(位相差画像、蛍光画像等)が生成され、その画像データが撮影日時等のインデックス・データなどとともにRAM63の画像データ記憶領域に記憶される。

0027

以上のように構成される培養観察システムBSにおいて、画像処理装置100は、撮像装置54c,55cにより所定時間を隔てて心筋細胞の細胞集団(コロニー)が撮影された時系列画像を取得し、この取得した時系列画像を解析して心筋細胞の拍動運動を検出する機能を有している。

0028

心筋細胞は、例えば、心臓疾患などを対象とした再生医療のリソースとして、胚性幹細胞(embryonic stem cell:ES細胞)や人工多能性幹細胞(induced pluripotent stem cell:iPS細胞)から分化誘導されたものであり、自律的に収縮・弛緩の拍動運動を所定の時間間隔で周期的に繰り返す。心筋細胞は、細胞同士が接着し合い細胞集団(コロニー)を形成しており、フィーダ細胞とともにディッシュ(培養容器10)内に散布されている。

0029

このように培養容器10のディッシュ内には心筋細胞のコロニーが散布されているが、実際に拍動しているコロニーは多くはなく、それらのコロニー内においても拍動部位(拍動領域)は輪郭部や中央部など部分的であるので、この拍動部位(拍動領域)を検出するにはディッシュ内を網羅的に探索する必要がある。そのため、顕微観察系55には出来るだけ広視野な低倍レンズを用いてディッシュ全体に亘った各視野範囲において時系列画像を取得し、拍動の有無を画像処理によって検出する流れをとる。

0030

例えば、図5に示す心筋細胞MCのコロニーCに注目する。図5(a)に示すように、コロニーCの外周部では細胞個々が確認できる位の薄さであり、この部位が拍動している場合には通常の照明光量を用いて画像処理によって比較的容易に検出が可能である。ところが、コロニーCの中心部において(内部にいくにつれて)厚みが増す場合には光源からの照明光が吸収または散乱して黒潰れ状態となり、この部位で拍動が生じていても輝度変化微小であることから画像処理による検出が困難となる。しかし、図5(b)に示すように、光源の照明光量を増加させたり観察系の露出時間を長時間とったりして露光量を増大させてやれば、コロニーC内部に関しても拍動の様子を観察することができ、拍動の検出が可能となり得る。実際には、コロニーCの各部位では複数の細胞が積層されており、細胞個々までの判別は難しいが、拍動の有無は十分に観察可能である。一方、露光量を大きくとったことによって、コロニーCの外周部などの厚みの薄い部位においては白飛び(輝度飽和)が生じ、そこが拍動している場合には拍動の検出が困難となる。

0031

そこで、画像処理装置100では、動きベクトルを指標とした拍動領域検出手法を利用して最適露光量を決定する。より具体的には、画像処理装置100は、互いに異なる露光量で観察視野内に位置する心筋細胞のコロニーの時系列画像を撮影し、該異なる露光量ごとに取得した時系列画像からコロニー内における動きのある領域をそれぞれ抽出し、該異なる露光量ごとに抽出された動き領域の面積の大きさを指標として、複数の露光量の中から最適露光量を決定し、この最適露光量のもとで心筋細胞の拍動運動を観察する。

0032

それでは、以下にこの画像処理装置100が実行する画像処理方法(運動観察方法)について基本的な概念から説明する。なお、以降の説明では、第2照明部52及び顕微観察系55等によって構成される位相差顕微鏡によって撮影される位相差画像(顕微観察画像)に基づいて観察を行う場合を例示する。このとき、顕微観察系55では、観察光学系55aの観察倍率を切り換えることにより低倍観察及び高倍観察が可能である。

0033

図6図9は、拍動検出のための最適露光量決定処理の具体的な手順を示す模式図である。先ず、培養容器10内から所定の厚みがあり全体が拍動しているような心筋細胞MCのコロニーCをサンプルとして利用する。このサンプルの時系列画像を広視野な低倍観察系(本実施形態では、顕微観察系55で低倍の対物レンズを使用)にて初期の露光量EX(0)のもとで撮影取得し、画像処理装置100において画像処理を施す。

0034

図6(a)に示すように、初期の露光量EX(0)で、所定時間をおいて撮影された時系列画像における時刻tの第1画像と、時刻t−1の第2画像とについて、サンプルとなる心筋細胞MCのコロニーCの最も外側の輪郭を抽出してセグメンテーションを行い、そのコロニーCの内部領域Iを設定する。このような最外輪郭抽出処理には、例えば、分散フィルタを施したのち二値化させる手法や、動的輪郭法(SnakesやLevel Set法)などが挙げられる。上記の時系列画像は、例えば、拍動運動の弛緩〜収縮をサンプリングできる時間間隔且つ拍動周期以上の期間で必要であり、具体的にはサンプルとなる心筋細胞のコロニーの拍動状況に応じて設定されるものであり、例えば、時刻t−1に弛緩時、時刻tに収縮時、が設定される。

0035

ここで、図10に示すように、心筋細胞MCの拍動運動は、収縮・弛緩を繰り返す周期的な動きであることから、セグメント化されたコロニーCの内部領域Iに対し、動きベクトルを指標とした拍動領域検出手法を利用して拍動領域を検出する。拍動領域検出手法は、例えば図11に示すように、時系列画像(第1画像及び第2画像間)での動きベクトル(図中では符号「V」で示す)を推定し、この動きベクトルの検出された領域を動きのある領域、すなわち、拍動領域として検出する手法である。

0036

動きベクトル(図中では符号「V」で示す)は、時刻t−1の第1画像と、次時刻tの第2画像との間で、例えばオプティカルフロー法ブロックマッチング法勾配法位相相関法などの既知の手法を利用して推定する。この動きベクトルは、例えば各画像において画素単位で検出され、第1画像での注目画素中心座標(始点)から、この注目画素に対応する第2画像での対応画素の中心座標(終点)までのベクトルとして算出される。より詳細には、動きベクトルは、2つの画像間(第1画像及び第2画像間)における各検出点での動きの向きと大きさを表すベクトル(速度ベクトルとも称される)であり、このベクトルの向きが動きの方向を表し、ベクトルの長さが動き量を表している。なお、ここでは、動きベクトルが検出された各画素を動き領域として定義するが、視野画像をN×M画素(複数画素)からなるブロック毎に分割して、動きベクトルをこのブロック単位で検出し、このブロックを動き領域として定義してもよい。

0037

図6(b)において、このサンプル(心筋細胞MCのコロニーC)の内部領域Iでは、初期の露光量EX(0)のもとで、その外輪郭部分が動きベクトルの検出された拍動検出領域A(0)となる。ここで、図6(c)に示すように、動きベクトルが検出されなかった非拍動領域に着目して、拍動検出領域A(0)をWピクセルだけ膨張処理した領域を算出する。ここで、膨張処理でのWピクセル分の幅は、初回の拍動検出領域A(0)に相当する幅程度に設定することが好ましい。図6(d)に示すように、拍動検出領域A(0)をWピクセルだけ膨張処理した領域と、内部領域Iから拍動検出領域A(0)を除いた領域と、で重なる部分を注目領域S(1)とする。

0038

次いで、図7(a)に示すように、露光量EXを段階的に変化(EX=EX(0)+ΔEX)させる。図7(b)に示すように、この露光量のもとで拍動領域検出手法を利用して注目領域S(1)内における拍動検出領域A(1)を算出し、この拍動検出領域A(1)が最大となる露光量EX(1)を決定する。そして、図7(c)に示すように、注目領域S(1)をWピクセルだけ膨張処理した領域と、内部領域Iから拍動検出領域A(1)及び注目領域S(1)を除いた領域と、で重なる部分を次の注目領域S(2)として設定する。

0039

次いで、図8(a)に示すように、露光量EXを段階的に変化(EX=EX(1)+ΔEX)させる。図8(b)に示すように、この露光量のもとで拍動検出手法を利用して注目領域S(2)内における拍動検出領域A(2)を算出し、この拍動検出領域A(2)が最大となる露光量EX(2)を決定する。そして、図8(c)に示すように、注目領域S(2)をWピクセルだけ膨張処理した領域と、内部領域Iから拍動検出領域A(1)及び注目領域S(1),S(2)を除いた領域と、で重なる部分を次の注目領域S(3)として設定する。

0040

次いで、図9(a)に示すように、露光量EXを段階的に変化(EX=EX(2)+ΔEX)させる。図9(b)に示すように、この露光量のもとで拍動領域検出手法を利用して注目領域S(3)内における拍動検出領域A(3)を算出し、この拍動検出領域A(3)が最大となる露光量EX(3)を決定する。図9(c)に示すように、注目領域S(3)をWピクセルだけ膨張処理した領域と、内部領域Iから拍動検出領域A(1)及び注目領域S(1),S(2),S(3)を除いた領域と、で重なる部分を次の注目領域S(4)として算出する。しかしながら、内部領域Iから拍動検出領域A(1)及び注目領域S(1),S(2),S(3)を除いた領域はゼロ、つまり、A(1)=S(1)+S(2)+S(3)であり、それ以上は注目領域S(4)を抽出できないので、ここでの処理を終了する。こうして、注目領域S(n)を抽出できなくなるまで、或いは、露光量EXが最大露光量許容値)EXmaxを超えるまで、処理を繰り返す。

0041

このように、同一被写体(注目領域S(n))を異なる露光量で撮影して、画像解析にて注目領域S(n)から拍動検出領域Aの最大値を検出することのできた露光量EXを、コロニーCの拍動運動を観察するための最適な露光量EX(0),EX(1),EX(2),…,EX(N)として決定する。

0042

また、露光量の最適化処理の後処理として、最適化した複数の露光量EX(0),EX(1),EX(2),…EX(N)をグルーピング処理してもよい。グルーピング処理では、順次算出された露光量EX(0),EX(1),EX(2),…EX(N)に対し、露光量の大きさが互いに近似している場合、つまりは露光量の大きさが所定範囲内(近似範囲内)に含まれる2以上の露光量を同一グループ化して、同一グループ内の露光量の平均値最小値、最大値などをとってグループ内の代表値として統一する。

0043

ここで、図12を参照してグルーピング処理の一例を説明すると、露光量EX(0),EX(1),EX(2),…に対し、所定範囲内に含まれる露光量群として、露光量EX(1)〜EX(3)を1つのグループEXG(1)に纏めるとともに、露光量EX(5)〜EX(7)を1つのグループEXG(3)に纏める。ここで、グループEXG(1)の露光量の代表値はこれらの平均値EX(2)とし、グループEXG(3)の露光量の代表値はこれらの平均値EX(6)とすることが考えられる。なお、露光量EX(4)は、隣接する露光量EX(3),EX(5)のいずれに対しても所定範囲(近似範囲)に含まれないため、他の露光量とはグループ化されず、EX(4)単体でグループEXG(2)を構成する。また、グルーピング処理の規則として、グループ化する個数の最大値(例えば4個まで)を規定したり、初期の露光量EX(0)と最大の露光量EX(N)はグループ化を禁じたりしてもよい。また、初期の露光量EX(0)と最大の露光量EX(N)との差が小さい場合には、全ての露光量の平均値EXaveを最適露光量として統一してもよい。

0044

以上のようにして決定された1又は複数の最適露光量に基づいて、ディッシュ内の全ての心筋細胞のコロニーについて拍動の検出を実行する。そのため、露光量の最適化処理には、ディッシュ内から代表的な心筋細胞のコロニーを選択してこれをサンプルとして利用することが好ましい。

0045

次に、培養観察システムBSの画像処理装置100において実行される画像解析の具体的なアプリケーションについて図1図2及び図13を併せて参照しながら説明する。ここで、図1は画像処理プログラムGPにおける処理の概要を示すフローチャート、図2は画像処理プログラムGPにおける最適露光量決定処理を示すサブフローチャート、図13は画像処理装置100の概要構成を示すブロック図である。

0046

画像処理装置100は、撮像装置54c,55cにより撮影された画像を記憶する画像記憶部110と、観察ユニット5における露光量を調節する露光量調節部120と、画像記憶部110に記憶された画像を取得して解析する画像解析部130と、画像解析部130により解析された解析結果を出力する出力部140とを備えて構成される。露光量調節部120は、例えば、光源の照明光量、露出時間(撮像素子電荷蓄電時間)、絞り、ISO感度など、のうちの少なくとも1つ以上のパラメータを制御して、露光量を段階的又は連続的に調節する。画像解析部130は、オプティカルフロー法、ブロックマッチング法、勾配法、位相相関法等の既知の手法を利用して時系列画像から第1画像及び第2画像間の動きベクトルを検出する動きベクトル検出部131と、動きベクトルが検出された動き領域の大きさを指標として細胞観察のための最適な露光量を決定する最適露光量決定部132と、を備える。出力部140からは、画像解析部120による解析結果、例えば、動きベクトルの検出結果、最適露光量の演算結果、拍動運動する心筋細胞の判別結果、などが出力され、表示パネル72への表示や記憶媒体への記録、通信部65を介して外部へのデータ送信等が行われる。

0047

画像処理装置100は、ROM62に設定記憶された画像処理プログラムGPがCPU61に読み込まれ、CPU61によって画像処理プログラムGPに基づく処理が順次実行されることによって構成される。換言すれば、画像処理プログラムGPはハードウェア資源であるCPU61(コンピュータ)を画像処理装置として機能させるためのソフトウェアである。

0048

既述したように、培養観察システムBSでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器10内の心筋細胞集団(コロニー)の観察が行われる。具体的に、CPU61は、搬送ユニット4の各ステージ41,42,43を作動させてストッカー3から観察対象の培養容器10を観察ユニット5に搬送(本実施形態では、顕微観察系55の光軸上に配置)する。CPU61は、試料台15を面内方向(X,Y方向)に移動させるとともに、レンズ駆動機構87により対物レンズを光軸方向に沿って移動させて、培養容器10内の試料と対物レンズとの位置決めを行う。なお、ここでは低倍観察用(例えば、倍率=2倍、NA=0.09)の対物レンズを用いており、これにより広範囲の観察視野の画像を取得することができる。

0049

画像解析部130は、画像処理プログラムGPに基づき、撮像装置(説明では顕微観察系の撮像装置55cとする)により撮影され、画像記憶部110に記憶された心筋細胞のコロニーの画像を以下のように画像処理する。

0050

先ず始めに、ステップS1では、培養容器10のディッシュ内に散布されたコロニーの時系列画像を撮像装置55cにより撮影し、拍動領域検出手法により自律的に拍動しているコロニーを検出する。なお、ディッシュ内に散布された心筋細胞のコロニーには、全体が拍動しているもの、部分的に拍動しているもの、拍動の大小など様々であるが、ここでは少なくとも予め設定された所定面積以上の拍動部位を認識できるコロニーを検出する。

0051

ステップS2では、ステップS1にて検出された複数のコロニーの中からサンプルとなるコロニーを選択する。例えば、サンプルとしては、厚みが十分あり全体が拍動しているような典型的なコロニーを選択する。

0052

ステップS3では、拍動領域検出手法により算出された拍動検出領域の面積を指標として最適露光量EX(n)(n=1,2,3,…,N)を決定する。ここで、図2はステップS3のサブルーチンに係る最適露光量決定処理のフローチャートである。

0053

ステップS301では、露光量調節部120は、露光量EXをRAM63に予め記憶された初期の露光量EX(0)に設定する。露光量調節部120は、例えば、光源の照明光量、露出時間(撮像素子の電荷蓄電時間)、絞り、ISO感度など、のうちの少なくとも1つ以上のパラメータを制御して、露光量を段階的又は連続的に調節する。

0054

ステップS302では、撮像装置55cにより初期の露光量EX(0)で観察対象(サンプル)となるコロニーの時系列画像(時刻t=1,2,3,…,N−1,N,…)を撮影する。

0055

ステップS303では、画像解析部は、時系列画像から時刻t−1の第1の画像と、所定時間を隔てた時刻tの第2画像とを取得し、各画像に対して分散フィルタを施したのち二値化させる手法や動的輪郭法(SnakesやLebelSet法)などを利用して、心筋細胞コロニーのセグメンテーションを行い、コロニーの内部領域Iを設定する。

0056

ステップS304では、画像解析部130は、拍動領域検出手法を利用してコロニーの内部領域I内で動きのある領域、すなわち、オプティカルフロー法などの既知の手法を利用して動きベクトルが検出された動き領域を拍動検出領域A(0)として算出し、これを初期の注目領域S(0)として設定する。

0057

ステップS305では、画像解析部130は、繰り返し番号nに初期値0を設定する。ステップS306では、元の注目領域S(n)に対し所定の膨張処理を行って新たな注目領域S(n+1)を設定する。具体的には、元の注目領域S(n)をWピクセルだけ膨張処理した領域と、コロニー内部領域Iから元の注目領域S(0)を除いた領域と、で重なる部分を新たな注目領域S(n+1)とする。

0058

ステップS307では、露光量調節部120は、露光量EXを露光量EX(n)に設定する。ステップS308では、拍動領域面積最大値Amaxに初期値0を設定する。ステップS309では、ステップS307で設定した露光量EX(n)のもとで撮影を行って時系列画像(第1画像及び第2画像)を取得する。

0059

ステップS310では、拍動領域検出手法を利用して注目領域S(n+1)における拍動検出領域(この領域の面積:「拍動領域面積」とも称する)Aを算出する。拍動領域面積Aは、例えば、この拍動領域内に含まれる画素数などで表される。

0060

ステップS311では、拍動領域面積Aが拍動領域面積最大値Amaxを超えていれば拍動領域面積最大値Amaxを拍動領域面積Aに更新する。なお、拍動領域面積Aが拍動領域面積最大値Amaxを超えていない場合には、拍動領域面積最大値Amaxは更新されない。

0061

ステップS312では、露光量EXが許容値EXmax以下であるか否かを判定する。ステップS312で肯定判定(Yes)の場合、すなわち、露光量EXが許容値EXmax以下である場合には、ステップS313において、露光量EXをΔEXだけ増加してステップS306に移行し、この露光量のもとでステップS306〜S312を繰り返す。ステップS312で否定判定(No)の場合、すなわち、露光量EXが許容値EXmaxを超える場合には、ステップS314において、注目領域S(n+1)内での拍動領域面積Aが最大であった露光量を最適露光量EX(n+1)として決定する。

0062

ステップS315では、露光量EX(n+1)が許容値EXmax以下であるか否かを判定する。ステップS315で肯定判定(Yes)の場合、すなわち、露光量EX(n+1)が許容値EXmax以下である場合には、ステップS316において、注目領域S(n+1)に所定の膨張処理を行って新たな注目領域を設定できるか否かを判定する。つまり、注目領域S(n+1)をWピクセルだけ膨張処理した領域と、コロニーの内部領域Iから注目領域S(n+1)を除いた領域と、で重なる部分が抽出されるか否かを判定する。

0063

ステップS316で肯定判定の場合、すなわち、新たな注目領域を設定できる場合には、ステップS317において、繰り返し番号nを1インクリメントして、ステップS306に移行し、この新たな注目領域S(n+1)について拍動領域検出手法を用いた最適露光量を決定する。一方、ステップS315で否定判定(No)の場合、すなわち、露光量EX(n+1)が許容値EXmaxを超える場合には、ステップS318に移行する。また、ステップS316で否定判定(No)の場合、すなわち、新たな注目領域を設定できない場合にも、ステップS318に移行する。

0064

ステップS318では、最適露光量EX(0),EX(1),EX(2),…EX(N)を決定する。なお、このステップで決定した複数の最適露光量に対し、前述したグルーピング処理を施してもよい。

0065

メインフローチャート(図1)に戻って、ステップS4では、ディッシュ内の所定の基準位置原点)が、顕微観察系55の観察倍率(対物レンズの倍率)に応じて定まる視野範囲に入るようにステージをX,Y方向に移動させる。ステップS5では、繰り返し数nに初期値0を設定する。ステップS6では、最適露光量EX(n)のもとで観察視野の時系列画像を取得する。

0066

ステップS7では、取得した時系列画像に対して動きベクトルを指標とした拍動領域検出手法を利用して、視野範囲での拍動検出領域を算出する。

0067

ステップS8では、繰り返し数nが最大値Nより小さいか否か、すなわち、最適露光量EX(n)が最大露光量EX(N)より小さいか否かを判定する。ステップS8で肯定判定(Yes)の場合には、ステップS9において、繰り返し数nが1インクリメントされ、ステップS6に戻る。ステップS8で否定判定(No)の場合には、ステップS10に移行する。

0068

ステップS10では、各最適露光量で検出されたそれぞれの拍動検出領域は同じ視野範囲にあるとして重ね合わせ(加算処理)を行い、その視野範囲で合算した拍動領域を導出する。ステップS11では、ディッシュ内の全ての視野範囲に対して時系列画像を撮影して拍動検出を行ったか否かを判定する。ステップS11で否定判定(No)の場合、すなわち、視野範囲が残っている場合には、ステップS12において、ディッシュ内の次の視野範囲にステージを移動させる。そして、ステップS5に戻り、次の視野範囲でステップS6〜S11までの処理が繰り返される。

0069

一方、ステップS11で肯定判定(Yes)の場合、すなわち、全ての視野領域について拍動検出が完了した場合には、処理を終了する。これにより検出した拍動部位は座標として記憶しておき、それぞれの拍動部位をピックアップして別の観察系(例えば蛍光観察系)へ移して解析にあたったり、培養容器10を試料台15からストッカー3の所定番地の棚に戻して培養を続行したりする。また、顕微観察系55では、観察光学系55a(対物レンズ)の観察倍率を切り換えることにより、各拍動部位に対して高倍観察が可能であり、心筋細胞の拍動そのものを解析することもできる。

0070

さらに、拍動部位をピックアップした場合、または高倍観察した場合において、拍動の変化を解析するステップへと移る。例えば、薬品投与した場合の拍動の変化や、電極を使用した心電図解析を実施する。

0071

以上説明したように、本実施形態に係る画像処理プログラムGP、この画像処理プログラムGPが実行されることにより構成される画像処理方法(運動観察手法)及び画像処理装置100によれば、互いに異なる露光量ごとに取得した時系列画像からコロニー内の動きのある領域をそれぞれ抽出し、該異なる露光量ごとに抽出された拍動領域の面積を指標(評価値)として複数の露光量の中から最適露光量を決定するため、コロニーが不均一な厚みを有する場合でも、最適露光量のもとでコロニー全体にわたって心筋細胞の拍動運動を正確に観察することが可能である。

0072

なお、以上説明した本実施形態に係る画像処理プログラムGP,画像処理方法(拍動検出方法)及び画像処理装置100は、上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

0073

上述の実施形態では、培養観察システムBSにおいて撮像装置にて撮影され、RAM63に記憶された時系列画像(画像データ)を読み出して心筋細胞の拍動運動を解析する構成を例示したが、これに限定されるものではなく、撮像装置により撮影されて画像を第1、第2画像としてリアルタイムで解析し現時点における拍動運動を解析して表示するように構成してもよく、また、他の観察システムにおいて撮影され磁気記憶媒体等に記録された時系列画像や、通信回線を通じて転送されてきた時系列画像を読み込んで、拍動運動を解析するように構成してもよい。さらに、観察者が観察画像の所定範囲(例えば、特定のコロニーや、コロニー内の特定部位)をマウス等により解析範囲として設定し、この設定された解析範囲について画像処理装置が拍動運動の解析を実行するように構成してもよい。

0074

また、上述の実施形態では、時系列画像における2枚の画像間の動きベクトルを利用して動きのある領域を抽出する構成を例示しているが、これに限定されるものではなく、例えば、移動体追尾等で利用するトラッキング手法や、画像の差分処理、などの他の既知の手法を利用して動きのある領域を抽出してもよい。

0075

Cコロニー
V動きベクトル
MC心筋細胞
EX露光量
BS培養観察システム
GP1,GP2画像処理プログラム
5観察ユニット6制御ユニット
54マクロ観察系 54c撮像装置
55顕微観察系55c 撮像装置
61 CPU 62 ROM
63 RAM 100画像処理装置
130画像解析部 131動きベクトル検出部
132特徴量算出部 140 出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ