図面 (/)

技術 細胞塊の状態判別方法、この方法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法

出願人 株式会社ニコン
発明者 三村正文矢野和弘伊藤啓佐々木秀貴
出願日 2010年6月9日 (9年1ヶ月経過) 出願番号 2011-519523
公開日 2012年11月29日 (6年7ヶ月経過) 公開番号 WO2010-146802
状態 未査定
技術分野 微生物・酵素関連装置 酵素、微生物を含む測定、試験
主要キーワード 抜き枠 推定度 分別結果 着目部分 単層領域 Y座標 分散フィルタ 評価判断
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年11月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題・解決手段

所定時刻を隔てた二枚の観察画像から細胞塊複層化の状態を判断可能な手段を提供する。画像処理プログラム(GP)は、撮像装置により所定時間を隔てて撮影された第1画像及び第2画像を取得するステップ(S10)と、第1画像の局所領域の輝度分布を基準とし、第2画像の対応位置を含む近傍でブロックマッチングを行って、最もマッチングの高い領域の近似度を代表近似度とし、局所領域を順次移動させて細胞塊各部の代表近似度を算出するステップ(S40)と、算出された代表近似度に応じた複層化情報を出力するステップ(S50)とを備え、第1、第2画像から細胞塊の複層化の状態を判断可能な複層化情報を出力するように構成される。

概要

背景

細胞を培養しながら観察する装置の一例として培養顕微鏡が挙げられる。培養顕微鏡は、細胞の培養に好適な環境を形成する培養装置と、培養容器内の細胞を顕微観察する顕微観察系とを備え、生きた細胞を培養しながら、細胞の変化や分裂などを観察できるように構成される(例えば特許文献1を参照)。生細胞培養過程では、細胞分裂の進行により細胞塊が形成される。細胞分裂の初期過程では、分裂した細胞が単層状態培地内を水平方向に広がるが、細胞分裂が活発化して細胞塊が成熟してくると、細胞が泡立つように上下方向にも広がり、いわゆる複層化が進行する。

培養顕微鏡を用いた従来の細胞観察手法では、細胞塊の複層化の状態判定を、顕微観察画像目視観察して判別する目視判定や、試薬投与して着色状態等から判別する試薬判定により行っていた。

概要

所定時刻を隔てた二枚の観察画像から細胞塊の複層化の状態を判断可能な手段を提供する。画像処理プログラム(GP)は、撮像装置により所定時間を隔てて撮影された第1画像及び第2画像を取得するステップ(S10)と、第1画像の局所領域の輝度分布を基準とし、第2画像の対応位置を含む近傍でブロックマッチングを行って、最もマッチングの高い領域の近似度を代表近似度とし、局所領域を順次移動させて細胞塊各部の代表近似度を算出するステップ(S40)と、算出された代表近似度に応じた複層化情報を出力するステップ(S50)とを備え、第1、第2画像から細胞塊の複層化の状態を判断可能な複層化情報を出力するように構成される。

目的

本発明は、このような課題に鑑みてなされたものであり、細胞に試薬投与によるダメージを与えることなく、撮像装置により撮影された少数の画像から細胞塊の複層化の状態を判別可能な手段を提供する

効果

実績

技術文献被引用数
5件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像装置により所定時間を隔てて細胞塊撮影された第1画像及び第2画像を取得し、前記第1画像の細胞塊における局所領域の輝度分布を基準とし、前記第2画像の細胞塊における対応位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、前記第1画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出し、算出された前記細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判断することを特徴とする細胞塊の状態判別手法。

請求項2

前記近似度は相関値であり、前記代表近似度の相関値が閾値以下である場合に、当該部位は複層化されていると判断することを特徴とする請求項1に記載の細胞塊の状態判別手法。

請求項3

前記近似度は差分であり、前記代表近似度の差分が閾値以上である場合に、当該部位は複層化されていると判断することを特徴とする請求項1に記載の細胞塊の状態判別手法。

請求項4

コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により所定時間を隔てて細胞塊が撮影された第1画像及び第2画像を取得するステップと、前記第1画像の細胞塊における局所領域の輝度分布を基準とし、前記第2画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、前記第1画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出するステップと、算出された前記代表近似度に応じた複層化情報を出力するステップとを備え、取得した前記第1、第2画像から細胞塊の複層化の状態を判断可能な複層化情報を出力するようにコンピュータを機能させるための画像処理プログラム。

請求項5

前記近似度は相関値であり、前記複層化情報を出力するステップは、前記代表近似度の相関値が閾値以下である場合に、当該部位は複層化されていると判断した複層化情報を出力するように構成されることを特徴とする請求項4に記載の画像処理プログラム。

請求項6

前記近似度は差分であり、前記複層化情報を出力するステップは、前記代表近似度の差分が閾値以上である場合に、当該部位は複層化されていると判断した複層化情報を出力するように構成されることを特徴とする請求項4に記載の画像処理プログラム。

請求項7

前記複層化情報を出力するステップは、前記複層化されていると判断された部位の前記細胞塊における位置情報を出力するように構成されることを特徴とする請求項5または6に記載の画像処理プログラム。

請求項8

前記複層化情報を出力するステップは、前記複層化されていると判断された部位の前記細胞塊に占める大きさの情報を出力するように構成されることを特徴とする請求項5〜7のいずれかに記載の画像処理プログラム。

請求項9

前記第1画像及び前記第2画像に複数の細胞塊が含まれる場合において、前記複層化情報を出力するステップは、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、分別結果を出力するように構成されることを特徴とする請求項5〜8のいずれかに記載の画像処理プログラム。

請求項10

撮像装置により所定時間を隔てて細胞塊が撮影された第1画像及び第2画像を取得して画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備えた画像処理装置であって、前記画像解析部は、前記第1画像の細胞塊における局所領域の輝度分布を基準とし、前記第2画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、前記第1画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出し、算出された前記細胞塊各部の代表近似度に応じた複層化情報を生成して、前記出力部が、前記画像解析部により生成された細胞塊の複層化情報を出力するように構成したことを特徴とする画像処理装置。

請求項11

前記近似度は相関値であり、前記画像解析部は前記代表近似度の相関値が閾値以下である場合に、当該部位は複層化されていると判断した複層化情報を生成するように構成されることを特徴とする請求項10に記載の画像処理装置。

請求項12

前記近似度は差分であり、前記画像解析部は前記代表近似度の差分が閾値以上である場合に、当該部位は複層化されていると判断した複層化情報を出力するように構成されることを特徴とする請求項10に記載の画像処理装置。

請求項13

前記画像解析部は、複層化されていると判断された部位の前記細胞塊における位置を算出し、前記出力部は、前記画像解析部により算出された複層化の位置情報を出力するように構成されることを特徴とする請求項11または12に記載の画像処理装置。

請求項14

前記画像解析部は、複層化されていると判断された部位の前記細胞塊に占める大きさの情報を算出し、前記出力部は、画像解析部により算出された複層化の大きさの情報を出力するように構成されることを特徴とする請求項11〜13のいずれかに記載の画像処理装置。

請求項15

前記第1画像及び前記第2画像に複数の細胞塊が含まれる場合において、前記画像解析部は、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、前記出力部は、分別結果を出力するように構成されることを特徴とする請求項11〜14のいずれかに記載の画像処理装置。

請求項16

細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、請求項10〜15のいずれかに記載の画像処理装置を用いて観察し、培養により変化する前記細胞における細胞塊の複層化の状態を判別する判別ステップと、を備えることを特徴とする細胞塊の製造方法。

請求項17

細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、撮像装置により撮影して所定時間を隔てて撮影された第1画像および第2画像を取得する取得ステップと、前記第1画像の細胞塊における局所領域の輝度分布を基準とし、前記第2画像の細胞塊における前記局所領域に対応する位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該局所領域の代表近似度とする近似度設定ステップと、前記第1画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出する算出ステップと、前記算出ステップにおいて算出された前記細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判別する判別ステップと、を備えることを特徴とする細胞塊の製造方法。

技術分野

0001

本発明は、細胞観察において取得された時系列画像から細胞塊複層化の状態を判別する状態判別手法に関するものである。

背景技術

0002

細胞を培養しながら観察する装置の一例として培養顕微鏡が挙げられる。培養顕微鏡は、細胞の培養に好適な環境を形成する培養装置と、培養容器内の細胞を顕微観察する顕微観察系とを備え、生きた細胞を培養しながら、細胞の変化や分裂などを観察できるように構成される(例えば特許文献1を参照)。生細胞培養過程では、細胞分裂の進行により細胞塊が形成される。細胞分裂の初期過程では、分裂した細胞が単層状態培地内を水平方向に広がるが、細胞分裂が活発化して細胞塊が成熟してくると、細胞が泡立つように上下方向にも広がり、いわゆる複層化が進行する。

0003

培養顕微鏡を用いた従来の細胞観察手法では、細胞塊の複層化の状態判定を、顕微観察画像目視観察して判別する目視判定や、試薬投与して着色状態等から判別する試薬判定により行っていた。

先行技術

0004

特開2004−229619号公報

発明が解決しようとする課題

0005

しかしながら、従来行われてきた目視判定の手法では、多数の時系列画像から細胞塊を抽出し複層化された状態を判別するのに、一定の経験を有する知見者が時間をかけて判別する必要があった。特に、各時刻観察画像に多数の細胞塊が含まれる場合に、個々の細胞塊を識別しながら複層化の状態判別を行うことは大変煩雑な作業であった。また、目視判定では細胞塊において複層化された部位の位置や大きさ(面積や細胞塊に占める比率等)を定量的に捉えることが困難であるという課題があった。さらに、試薬判定の手法では、試薬の投与により細胞に与える化学的物理的影響や、培養された細胞を利用する際の制約が大きいという課題があった。

0006

本発明は、このような課題に鑑みてなされたものであり、細胞に試薬投与によるダメージを与えることなく、撮像装置により撮影された少数の画像から細胞塊の複層化の状態を判別可能な手段を提供することを目的とする。

課題を解決するための手段

0007

本発明を例示する第1の態様に従えば、撮像装置により所定時間を隔てて細胞塊が撮影された第1画像及び第2画像を取得し、第1画像の細胞塊における局所領域の輝度分布を基準とし、第2画像の細胞塊における対応位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、第1画像における局所領域を移動させて細胞塊各部の代表近似度を算出し、算出された細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判断することを特徴とする細胞塊の状態判別手法が提供される。

0008

本発明を例示する第2の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により所定時間を隔てて細胞塊が撮影された第1画像及び第2画像を取得するステップと、第1画像の細胞塊における局所領域の輝度分布を基準とし、第2画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、第1画像における局所領域を移動させて細胞塊各部の代表近似度を算出するステップと、算出された代表近似度に応じた複層化情報を出力するステップとを備え、取得した第1、第2画像から細胞塊の複層化の状態を判断可能な複層化情報を出力するようにコンピュータを機能させるための画像処理プログラムが提供される。

0009

本発明を例示する第3の態様に従えば、撮像装置により所定時間を隔てて細胞塊が撮影された第1画像及び第2画像を取得して画像を解析する画像解析部と、画像解析部による解析結果を出力する出力部とを備えて画像処理装置が構成される。この画像処理装置において、前記画像解析部は、第1画像の細胞塊における局所領域の輝度分布を基準とし、第2画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、第1画像における局所領域を移動させて細胞塊各部の代表近似度を算出し、算出された細胞塊各部の代表近似度に応じた複層化情報を生成して、前記出力部が、画像解析部により生成された細胞塊の複層化情報を出力するように構成される。

0010

なお、以上の本発明において、前記近似度は相関値であり、代表近似度の相関値が閾値以下である場合に、当該部位は複層化されていると判断することが好ましい。また、前記近似度は差分であり、代表近似度の差分が閾値以上である場合に、当該部位は複層化されていると判断することも好ましい。

0011

また、本発明の画像処理プログラムまたは画像処理装置において、複層化されていると判断された部位の細胞塊における位置情報を出力するように構成することが好ましく、複層化されていると判断された部位の細胞塊に占める大きさの情報(面積、体積、これらの比率等)を出力するように構成することが好ましい。また、画像中に複数の細胞塊が含まれる場合において、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、分別結果を出力するように構成されることが望ましい。

0012

また、本発明を例示する第4の態様に従えば、細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、上述の画像処理装置を用いて観察し、培養により変化する前記細胞における細胞塊の複層化の状態を判別する判別ステップと、を備えて細胞塊の製造方法が提供される。

0013

また、本発明を例示する第5の態様に従えば、細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、撮像装置により撮影して所定時間を隔てて撮影された第1画像および第2画像を取得する取得ステップと、前記第1画像の細胞塊における局所領域の輝度分布を基準とし、前記第2画像の細胞塊における前記局所領域に対応する位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該局所領域の代表近似度とする近似度設定ステップと、前記第1画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出する算出ステップと、前記算出ステップにおいて算出された前記細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判別する判別ステップと、を備えて細胞塊の製造方法が提供される。

発明の効果

0014

本発明の細胞塊の状態判別手法、画像処理プログラム及び画像処理装置おいては、撮像装置により所定時間を隔てて細胞塊が撮影された第1画像及び第2画像について、第1画像の局所領域の輝度分布を基準としたブロックマッチングを行い、算出された細胞塊各部の代表近似度に基づいて細胞塊の複層化の状態が判別される。従って、本発明によれば、試薬の投与によって細胞にダメージを与えるようなことがなく、撮像装置により撮影された少数の画像から細胞塊の複層化の状態を判別可能な手段を提供することができる。

図面の簡単な説明

0015

画像処理プログラムの概要構成を例示するフローチャートである。
本発明の適用例として示す培養観察システムの概要構成図である。
上記培養観察システムのブロック図である。
画像処理装置の概要構成を例示するブロック図である。
所定時間を隔てて撮影された細胞塊の第1画像(a)及び第2画像(b)である。
セグメンテーションラベリングされた細胞塊の状況を例示する模式図である。
第1画像において設定される局所領域の構成例(a)と、第2画像において対応位置を含む近傍部についてブロックマッチングを実行する状況を説明するための説明図(b)である。
細胞塊に対する局所領域の大きさを例示する説明図(a)と、画像解析により算出された複層化情報の表示構成例(b)である。
細胞塊の製造方法を示すフローチャートである。

実施例

0016

以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を図2及び図3に示しており、まず培養観察システムBSの全体構成について概要説明する。

0017

培養観察システムBSは、大別的には、筐体1の上部に設けられた培養室2、複数の培養容器10を収容保持するストッカー3、培養容器10内の試料を観察する観察ユニット5、培養容器10を搬送する搬送ユニット4、システムの作動を制御する制御ユニット6、及び画像表示装置を備えた操作盤7などから構成される。

0018

培養室2は、培養環境を形成する部屋であり、この培養室2に付随して温度調整装置21、加湿器22、CO2ガスやN2ガス等のガスを供給するガス供給装置23、循環ファン24、培養室2の温度や湿度等を検出する環境センサ25などが設けられている。ストッカー3は、前後及び上下に仕切られた状に形成され各棚に固有番地が設定される。培養容器10は、培養する細胞の種別や目的に応じて適宜選択され、例えばディッシュタイプの培養容器に細胞試料液体培地とともに注入保持される。各培養容器10にはコード番号が付与され、ストッカー3の指定番地に対応づけて収容される。搬送ユニット4は、培養室2の内部に設けられて上下移動可能なZステージ41、前後移動可能なYステージ42、左右移動可能なXステージ43などからなり、Xステージ43の先端側に培養容器10を持ちあげ支持する支持アーム45が設けられている。

0019

観察ユニット5は、試料台15の下側から試料を照明する第1照明部51、顕微観察系55の光軸に沿って試料台15の上方から試料を照明する第2照明部52及び下方から試料を照明する第3照明部53、試料のマクロ観察を行うマクロ観察系54、試料のミクロ観察を行う顕微観察系55、及び画像処理装置100などから構成される。試料台15には顕微観察系55の観察領域に透明な窓部16が設けられている。

0020

マクロ観察系54は、観察光学系54aと、観察光学系により結像された試料の像を撮影するCCDカメラ等の撮像装置54cとを有して構成され、第1照明部51によりバックライト照明された培養容器10の上方からの全体観察画像(マクロ像)が取得される。顕微観察系55は、対物レンズや中間変倍レンズ蛍光フィルタ等からなる観察光学系55aと、観察光学系55aにより結像された試料の像を撮影する冷却CCDカメラ等の撮像装置55cとを有して構成される。対物レンズ及び中間変倍レンズは各々複数設けられ、レンズの組み合わせを変化させることにより任意の観察倍率に設定可能に構成される。顕微観察系55では、第2照明部52により照明された細胞の透過像、第3照明部53により照明された細胞の反射像、第3照明部53により照明された細胞の蛍光像など、培養容器10内の細胞を顕微鏡観察した顕微観察像(ミクロ像)が取得される。

0021

画像処理装置100は、マクロ観察系54の撮像装置54c、顕微観察系55の撮像装置55cにより撮影され、これらの撮像装置から入力された信号を処理して全体観察画像や顕微観察画像などの画像を生成する。また、画像処理装置100は、これらの観察画像(画像データ)に画像解析を施し、タイムラプス画像の生成、細胞の移動方向予測、細胞の運動状態の解析、細胞塊の複層化の状態の解析などを行う。なお、画像処理装置100については、後に詳述する。

0022

制御ユニット6は、処理を実行するCPU61、培養観察システムBSの制御プログラムや制御データ等が設定記憶されたROM62、ハードディスクやDVD等の補助記憶装置を含み観察条件や画像データ等を一時記憶するRAM63などを有し、培養観察システムBSの作動を制御する。そのため、図3に示すように、培養室2、搬送ユニット4、観察ユニット5、操作盤7の各構成機器が制御ユニット6に接続されている。RAM63には、観察プログラムに応じた培養室2の環境条件や、観察スケジュール、観察ユニット5における観察種別や観察位置、観察倍率等が設定され記憶される。また、RAM63には、観察ユニット5により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器10のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。

0023

操作盤7には、キーボードやスイッチ等の入出力機器が設けられた操作パネル71、操作画面や観察画像、解析結果等を表示する表示パネル72が設けられ、操作パネル71において観察プログラムの設定や条件選択動作指令等の入力が行われる。通信部65は有線または無線通信規格準拠して構成されており、この通信部65に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。

0024

このように概要構成される培養観察システムBSは、操作盤7において設定された観察プログラムに従ってCPU61が各部の作動を制御し、培養容器10内の試料の撮影を自動的に実行する。観察プログラムがスタートされると、CPU61はRAM63に記憶された環境条件に基づいて温度調整装置21、加湿器22等の作動を制御する。また、RAM63に記憶された観察条件を読み込み、観察スケジュールに基づいてX,Y,Zステージ43,42,41を作動させてストッカー3から観察対象の培養容器10を試料台15に搬送し、観察ユニット5による観察を開始させる。例えば、観察プログラムにおいて設定された観察が細胞のミクロ観察である場合には、該当する培養容器10を顕微観察系55の光軸上に位置決めし、第2照明部52または第3照明部53の光源点灯させて、顕微観察像を撮像装置55cに撮影させる。

0025

以上のように構成される培養観察システムBSにおいて、画像処理装置100は、撮像装置(54c、55c)により所定時間を隔てて撮影された複数の画像を取得し、画像に含まれる細胞塊の複層化の状態を判別する機能を有しており、例えば、iPS細胞ES細胞等の解析に好適に利用される。

0026

画像処理装置100では、所定時間を隔てて撮影された2枚の細胞塊の観察画像を用い、前時刻の細胞塊の一部領域(局所領域)の輝度分布を基準として、次時刻のその位置を含む周辺部に対してブロックマッチングを行い、最もマッチングの高い領域(領域内の輝度分布の変化が最も少ない位置領域)の近似度を当該位置領域の代表近似度として、複層化の状態を評価判断する。この手法は、細胞が複層化していない部位(単層領域)と、複層化した部位の画像が、以下の特徴をもつことを利用する。

0027

細胞塊は複数の細胞が寄せ集まったものであるが、単純に寄せ集まって水平方向に広がる単層の細胞塊は、元の細胞個々の形状は多少の移動や回転が起きることがあっても、細胞の大きさ及び細胞同士の境界を観察することができ、構造は保たれていると考えられる。一方、細胞が複層化される場合には、細胞塊内部において上下方向に分裂や移動が行われて泡立つように変化するため、画像の空間的な構造や明るさが大きく変化する。

0028

このように、単層領域では細胞塊内部の変化が空間的な移動を主体とするため、2画像の対応位置周辺でブロックマッチングを行うことによりマッチングの度合いが高くなるのに対し、複層化領域では、細胞塊内部での変化が空間的な移動だけでなく構造的な変化を伴うため、周辺探索を行ってもマッチングの度合いが低くなる。例えば、近似度として相関値を用いた場合に、単層領域では代表近似度が高いのに対し、細胞が泡立つように変化する複層化領域では代表近似度が低くなり、代表近似値の大きさにより複層化の状態を判断することができる。

0029

本発明は、このような単層領域と複層化領域の画像上の特徴に着目し、所定時間を隔てた2枚の細胞塊の観察画像を画像処理することにより複層化の状態を判別する。画像処理装置100は、前時刻の観察画像(説明では第1画像とする)の細胞塊における局所領域の輝度分布を基準とし、次時刻の観察画像(同様、第2画像とする)の細胞塊における対応位置を含む近傍部で輝度分布のブロックマッチングを行い、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、第1画像における局所領域を画像内で順次移動させて細胞塊各部の代表近似度を算出し、算出された細胞塊各部の代表近似度に基づいて細胞塊の複層化の状態を判断可能に出力する。

0030

図4に画像処理装置100のブロック図を示し、図1に上記のような複層化状態の判別処理を行う画像処理プログラムGPのフローチャートを示す。

0031

画像処理装置100は、撮像装置(55c,54c)により撮影された細胞塊の画像を取得して画像を解析する画像解析部120と、画像解析部120により解析された解析結果を出力する出力部130とを備えて構成され、画像解析部120による解析結果、例えば複層化が進んでいると推定される部位の位置や大きさの情報(面積、体積、比率等)、複層化の推定度、複層化された部位を含む細胞塊と含まない細胞塊との判別などが出力部130から出力され表示パネル72等に表示されるように構成される。

0032

画像処理装置100は、ROM62に設定記憶された画像処理プログラムGPがCPU61に読み込まれ、CPU61によって画像処理プログラムGPに基づく処理が順次実行されることによって構成される。換言すれば、画像処理プログラムGPはハードウェア資源であるCPU61(コンピュータ)を画像処理装置100として機能させるためのソフトウェアである。

0033

画像解析部120は、画像処理プログラムGPに基づき、撮像装置(説明ではミクロ系の撮像装置55cとする)により撮影され、RAM63に記録された細胞塊の画像を以下のように画像処理する。なお、撮像装置55cにより第2画像が撮影されたときに、RAM63に記録された第1画像と新たに取得された第2画像とから、現時点の細胞塊の複層化状態をリアルタイムで画像処理し出力するようにしてもよい。

0034

画像解析部120は、ステップS10においてRAM63に記憶された時刻tの細胞観察画像図5(a)に示す第1画像)と、所定時間を隔てた次時刻t+1の細胞観察画像(図5(b)に示す第2画像)とを取得し、ステップS20において各画像に対してレベルセット(Level Set)及び分散フィルタによって細胞塊MCのセグメンテーションを行う。このとき、図6に示すように、画像中にセグメント化された細胞塊MCが複数含まれるような場合には、各細胞塊MCに対してラベリングを行い、第1画像と第2画像との間で細胞塊の対応をとる。例えば、それぞれの画像でラベリング1,2,3…を施した細胞塊MCについて、像が重なるラベル同士を同じ細胞塊として対応づける。なお、上記所定時間は、観察する細胞の種別や活動状況に応じて適宜選択されるものであるが、細胞の活動が活発な場合には10分〜1時間程度、低調な場合には30分〜2時間程度の時間間隔を隔てた画像が選択される。

0035

次いで、第1画像→第2画像画での細胞塊の移動による効果を小さくするため、細胞塊MCの位置合わせを行う(不図示)。位置合わせは、細胞塊の重心位置や外接矩形頂点位置などを基準として行うことができ、図形モーメント相関が最大(差分が最小)となるように細胞塊の角度を揃えることにより回転の効果を小さくすることができる。なお、各細胞塊の輪郭形状や輝度分布の差分が最小(相関値が最大)となる位置及び角度で位置合わせを行うようにしてもよい。

0036

ステップS30では、第1画像の細胞塊MCにおいて、画像を形成する画素を中心とする局所領域Aを設定する。「局所領域」Aは、図7(a)に白抜きの枠で囲んで示すように、細胞塊の大きさに比べて十分に小さく設定され、例えば、5×5〜15×15画素程度(細胞数個程度の大きさ)に設定される。なお、局所領域の位置設定は、ステップS20においてセグメント化された細胞塊の輪郭端部を起点として自動設定されるように構成できるほか、例えば、細胞塊の特定部分着目部分)について、オペレータマウス等により解析範囲を指定して解析を実行するような場合に、設定された解析範囲の端部や中央を起点として設定されるように構成してもよい。

0037

こうして設定された局所領域について、ステップS40においてブロックマッチングが行われる。ブロックマッチングは、第1画像において設定された局所領域(ブロック)Aの輝度分布を基準とし(図7(a)を参照)、第2画像における対応位置領域を含む周辺に対し、図7(b)に示すように、局所領域Aの輝度分布をスキャンして各位置での近似度を算出し、最もマッチングの高い位置を探索する。

0038

近似度の評価指標として、輝度分布の相関値や差分、あるいは乗算値などを用いることができ、例えば、相関値を用いる場合には相関値が最も大きい(1に近い)位置、評価指標として差分を用いる場合には差分が最も小さい(0に近い)位置を探索する。そして、最もマッチングの高い位置の近似度を当該位置の代表近似度としてRAM63に記録する。以降では近似度として相関値を用いた場合について説明を続ける。

0039

局所領域が単層構造の場合には、時間経過による細胞塊の変化が細胞の移動を主体とするため、対応位置を含む周辺部でブロックマッチングを行うことによって代表近似度の相関値は大きな値をとる。一方、局所領域が複層化された部位である場合には、時間経過による細胞塊の変化が空間的な構造の変形や輝度変動を伴うため、周辺探索を行っても代表近似度の相関値は小さな値となる。

0040

ステップS40では、比較基準である第1画像の局所領域を、画像内で所定画素単位画素または複数画素)移動させてブロックマッチングを順次行い、細胞塊全域(解析範囲が指定されている場合には観察範囲全域)について各部の代表近似度を算出する。ステップS50では、ステップS40で得られた細胞塊各部の代表近似度を、細胞塊の複層化の状態として判断可能な複層化情報に変換して出力部130から出力し、表示パネル72等に表示させる。

0041

図8は、(a)に局所領域の大きさを点線で例示するとともに、同図(b)において複層化情報の出力例を示すものである。この複層化情報の出力例では、第2画像の細胞塊の外形輪郭線Lとともに、代表近似度の相関値が高い部位を暗く、相関値が低い部位を明るく、相関値に応じた多段階グラデーション表示として表示させている。近似度として差分等を用いた場合も同様に多段階のグラデーション表示させることができる。

0042

この複層化情報の表示画像から、外形輪郭線で囲まれた細胞塊の内部において、明度が高いほど(グレースケールでは白に近いほど)複層化が進んでいると判断でき、細胞塊のどの部位で、どの程度複層化が進行しているかを視覚的に判断することができる。

0043

複層化情報の他の出力例として、代表近似度の相関値が、所定の閾値以下である領域を複層化されていると判断し、図5(b)に示した第2画像中に複層化された部位を白抜きの枠により囲んで識別表示する態様や、複層化領域と単層領域とを色分け等により識別表示する態様などが例示される。

0044

なお、ブロックマッチングにより代表近似度となった位置領域について、その位置領域の輝度分布から空間的な輝度変化(ばらつき)を算出し、代表近似度の相関値が所定の閾値以下であり、かつ少なくとも第2画像における空間的な輝度変化が所定の閾値以上のときに、当該位置領域は複層化されていると判断して、第2画像中に白抜き枠などにより複層化領域を囲んで識別表示するように構成してもよい。空間的な輝度変化の指標として、輝度値の分散や、空間方向に対する輝度値の微分の総和などが例示される。これは、単層状態の部位は空間的な輝度変化が小さいのに対して、複層化された部位は空間的な輝度変化が比較的大きいことを利用するものである。

0045

このような構成によれば、第1画像において局所領域が既に複層化されており、ブロックマッチングにより算出された代表近似度が中程度の相関値(グレースケールにおける中間色)となるような部位について、当該部位が複層化されているのか否かを、より的確に識別判断することができる。なお、空間的な輝度変化が大きな位置領域は、複層化された部位のほか、細胞塊内外の境界の部分があるが、境界部分はブロックマッチングによって算出される代表近似度の相関値が大きく(1に近く)なるため、上記複層化状態の識別判断で省かれる。

0046

このように、複層化された領域を判別して表示する場合の複層化情報として、細胞塊における複層化領域の位置情報(例えばX−Y座標位置)や、細胞塊に占める複層化領域の大きさの情報(面積、体積、これらの比率等)があり、これらの数値データを出力して表示パネル72等に表示させることも、複層化状態を定量的に判断する上で好ましい態様である。

0047

以上では、観察画像から特定の細胞塊を選択し拡大表示した状態での解析事例を示したが、図6のように画像中に複数の細胞塊が含まれており、解析範囲を特に指定しないような場合には、観察画像に含まれる各細胞塊について同様の複層化解析が実行される。この場合、表示画面を切り換えることにより、各個別の細胞塊について複層化の状態を表示させ、あるいは観察画像中に、複層化された部位を含む細胞塊と含まない細胞塊とに識別して表示させることができる。

0048

例えば、複層化された部位を有する細胞塊を黄色、複層化部位の無い内細胞塊を青色のように分別表示し、または、各細胞塊に占める複層化部位の面積比に応じて、面積比が高い細胞塊ほど赤く、面積比が低くなるにつれて黄色〜緑〜青のように識別表示する表示形態が例示される。なお、解析結果をプリンタやRAM63、磁気記録媒体等に出力して記録させ、あるいは通信部65を介してシステム外部に出力するように構成してもよい。

0049

これにより、観察者は画像に含まれる細胞塊の複層化の状態を定量的に目視判断することができる。このように、画像処理装置100においては、撮像装置により所定時間を隔てて細胞塊が撮影された第1画像及び第2画像について、第1画像の局所領域の輝度分布を基準としたブロックマッチングを行い、最も近似する代表近似度に基づいて細胞塊の複層化状態が判別される。従って、画像処理装置100による細胞塊の状態判別手法によれば、試薬の投与によって細胞にダメージを与えるようなことがなく、撮像装置により撮影された少数の画像から細胞塊の複層化の状態を判別可能な手段を提供することができる。

0050

なお、以上説明した実施形態では、培養観察システムBSにおいて撮像装置に撮影され、RAM63に記憶された時系列画像(画像データ)を読み出して複層化状態を解析する構成を例示したが、撮像装置により撮影された画像を逐次第1、第2画像としてリアルタイムで解析するように構成してもよく、また、他の観察システムにおいて撮影され磁気記憶媒体等に記録された画像を読み出して複層化状態を解析するように構成してもよい。また、オペレータが第1画像の所定範囲(例えば、特定の細胞塊や、細胞塊における特定部位)をマウス等により解析範囲として設定し、設定された解析範囲について画像処理装置が複層化状態の解析を実行するように構成してもよい。

0051

次に、本発明の実施形態に係る細胞塊の製造方法について、図9を参照して説明する。この製造方法は、基本的には、細胞を培養する培養ステップ(S110)と、この培養ステップにおいて培養される細胞を、前述した画像処理装置を用いて観察し、培養により変化する細胞における細胞塊の複層化の状態を判別する判別ステップ(S120−S140)とを備える。

0052

より具体的には、細胞を培養する培養ステップ(S110)と、この培養ステップにおいて培養される細胞を、撮像装置により撮影して所定時間を隔てて撮影された第1画像および第2画像を取得する取得ステップ(S120)と、第1画像の細胞塊における局所領域の輝度分布を基準とし、第2画像の細胞塊における上記局所領域に対応する位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該局所領域の代表近似度とする近似度設定ステップ(S130)と、第1画像における局所領域を移動させて細胞塊各部の代表近似度を算出する算出ステップ(S140)と、前記算出ステップにおいて算出された前記細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判別する判別ステップ(S150)と、所定の基準に基づいて、細胞塊を選別する選別ステップ(S160)と、選別した細胞塊を採取、保存する採取保存ステップ(S170)とを備えて、製造方法が構成される。なお、培養される細胞は、ヒト、ウシウマブタ、マウス等の動物由来の細胞であってもよいし、植物由来の細胞であってもよい。また、細胞塊の保存は凍結保存であってもよい。

0053

A局所領域BS培養観察システム
GP画像処理プログラムMC細胞塊
5観察ユニット6制御ユニット
54マクロ観察系 54c撮像装置
55顕微観察系55c 撮像装置
61 CPU(コンピュータ) 62 ROM
63 RAM 100画像処理装置
120画像解析部 130 出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アース環境サービス株式会社の「 細菌の迅速検査報告方法」が 公開されました。( 2019/05/30)

    【課題】検体を動画撮影して画像処理することにより、短時間のうちに生菌の有無及び種類と数の分析を行い、その結果を検査依頼者にフィードバックすることができる、細菌の迅速検査方法を提供することを課題とする。... 詳細

  • 株式会社カネカの「 増幅核酸検出方法及び検出デバイス」が 公開されました。( 2019/05/30)

    【課題】ハイブリダイゼーション法の特異性の高さを活用し、かつ、PCR産物の検出工程に要する時間と工程を減らし、特殊な装置を必要とすることなく、簡便かつ高精度に、目視にて検出する核酸検出方法、および核酸... 詳細

  • ソニー株式会社の「 受精卵品質評価方法、プログラム及び情報処理装置」が 公開されました。( 2019/05/23)

    【課題】高精度に評価された受精卵の品質評価結果が得られる受精卵品質評価方法、受精卵品質評価システム、プログラム及び情報処理装置を提供すること。【解決手段】本技術に係る受精卵品質評価方法は、ネットワーク... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ