図面 (/)

技術 染色画像生成システム、染色画像生成方法および染色画像生成プログラム

出願人 国立大学法人山梨大学
発明者 安藤英俊長友啓明若山照彦平田修司
出願日 2020年2月14日 (2年0ヶ月経過) 出願番号 2020-022917
公開日 2021年9月2日 (5ヶ月経過) 公開番号 2021-126074
状態 未査定
技術分野 微生物・酵素関連装置
主要キーワード 機械学習モデル 解析用途 既定回数 紫外線照明 損失関数 可視光照明 活性化関数 識別モデル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年9月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

受精卵死滅させずに染色された状態の受精卵を解析可能にする技術の提供。

解決手段

解析対象の受精卵に可視光照射して撮影した画像である解析用可視光照射画像を取得する解析用可視光照射画像取得部と、染色液を含む溶媒中の学習用受精卵に可視光を照射して撮影した画像である学習用可視光照射画像と前記学習用受精卵に紫外線を照射して撮影した画像である学習用紫外線照射画像とに基づいて機械学習された機械学習モデルであって、可視光照明下の受精卵の画像から、染色された受精卵の画像を生成する機械学習モデルに対して、前記解析用可視光照射画像を入力し、前記解析対象の受精卵が染色された画像である染色画像を生成する染色画像生成部と、を備える染色画像生成システムを構成する。

概要

背景

人工授精によって得られた受精卵においては、当該受精卵の出生率が高いことが期待される。受精卵が正常であるか否か、染色体異常があるか否か等の解析を行うために、従来、受精卵の各種の特徴に基づいて解析を行う技術が知られている。例えば、特許文献1においては、受精卵の経時変化に基づいて解析を行う技術が開示されている。特許文献2においては、受精卵の細胞皮質の量に基づいて解析を行う技術が開示されている。特許文献3においては、受精卵の正常画像データと異常画像データとに基づいて識別器を生成する技術が開示されている。

概要

受精卵を死滅させずに染色された状態の受精卵を解析可能にする技術の提供。解析対象の受精卵に可視光照射して撮影した画像である解析用可視光照射画像を取得する解析用可視光照射画像取得部と、染色液を含む溶媒中の学習用受精卵に可視光を照射して撮影した画像である学習用可視光照射画像と前記学習用受精卵に紫外線を照射して撮影した画像である学習用紫外線照射画像とに基づいて機械学習された機械学習モデルであって、可視光照明下の受精卵の画像から、染色された受精卵の画像を生成する機械学習モデルに対して、前記解析用可視光照射画像を入力し、前記解析対象の受精卵が染色された画像である染色画像を生成する染色画像生成部と、を備える染色画像生成システムを構成する。

目的

本発明は、前記課題にかんがみてなされたもので、受精卵を死滅させずに染色された状態の受精卵を解析可能にすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

解析対象受精卵可視光照射して撮影した画像である解析用可視光照射画像を取得する解析用可視光照射画像取得部と、染色液を含む溶媒中の学習用受精卵に可視光を照射して撮影した画像である学習用可視光照射画像と前記学習用受精卵に紫外線を照射して撮影した画像である学習用紫外線照射画像とに基づいて機械学習された機械学習モデルであって、可視光照明下の受精卵の画像から、染色された受精卵の画像を生成する機械学習モデルに対して、前記解析用可視光照射画像を入力し、前記解析対象の受精卵が染色された画像である染色画像を生成する染色画像生成部と、を備える染色画像生成システム

請求項2

前記学習用受精卵に対する前記紫外線の照射および前記学習用紫外線照射画像の撮影は、前記学習用可視光照射画像の撮影後に行われる、請求項1に記載の染色画像生成システム。

請求項3

前記解析用可視光照射画像は、前記染色液を含まない溶媒中に存在する解析対象の前記受精卵を撮影した画像である、請求項1または請求項2に記載の染色画像生成システム。

請求項4

前記機械学習モデルは、前記学習用可視光照射画像に基づいて生成された前記染色画像と、前記学習用紫外線照射画像とに対して平滑化処理および輪郭強調処理が適用され、適用後の画像の差を小さくするように機械学習されたモデルである、請求項1〜請求項3のいずれか一項に記載の染色画像生成システム。

請求項5

解析対象の受精卵に可視光を照射して撮影した画像である解析用可視光照射画像を取得する解析用可視光照射画像取得工程と、染色液を含む溶媒中の学習用受精卵に可視光を照射して撮影した画像である学習用可視光照射画像と前記学習用受精卵に紫外線を照射して撮影した画像である学習用紫外線照射画像とに基づいて機械学習された機械学習モデルであって、可視光照明下の受精卵の画像から、染色された受精卵の画像を生成する機械学習モデルに対して、前記解析用可視光照射画像を入力し、前記解析対象の受精卵が染色された画像である染色画像を生成する染色画像生成工程と、を含む染色画像生成方法

請求項6

コンピュータを、解析対象の受精卵に可視光を照射して撮影した画像である解析用可視光照射画像を取得する解析用可視光照射画像取得部、染色液を含む溶媒中の学習用受精卵に可視光を照射して撮影した画像である学習用可視光照射画像と前記学習用受精卵に紫外線を照射して撮影した画像である学習用紫外線照射画像とに基づいて機械学習された機械学習モデルであって、可視光照明下の受精卵の画像から、染色された受精卵の画像を生成する機械学習モデルに対して、前記解析用可視光照射画像を入力し、前記解析対象の受精卵が染色された画像である染色画像を生成する染色画像生成部、として機能させる染色画像生成プログラム

技術分野

0001

本発明は、染色画像生成システム、染色画像生成方法および染色画像生成プログラムに関する。

背景技術

0002

人工授精によって得られた受精卵においては、当該受精卵の出生率が高いことが期待される。受精卵が正常であるか否か、染色体異常があるか否か等の解析を行うために、従来、受精卵の各種の特徴に基づいて解析を行う技術が知られている。例えば、特許文献1においては、受精卵の経時変化に基づいて解析を行う技術が開示されている。特許文献2においては、受精卵の細胞皮質の量に基づいて解析を行う技術が開示されている。特許文献3においては、受精卵の正常画像データと異常画像データとに基づいて識別器を生成する技術が開示されている。

先行技術

0003

特開2018−171039号公報
特開2019−17289号公報
特開2019−97425号公報

発明が解決しようとする課題

0004

上述の従来技術は、染色体の状態を直接的に視認して解析するものではない。受精卵が正常であるか否か、染色体異常があるか否か等の解析は、染色体の状態を直接的に視認して行うことが好ましい。

0005

染色体を直接的に観察するために、受精卵を染色液で染色することが行われている。染色液によれば、紫外線照明下で染色体が蛍光を発して染色されるため、染色体の構造等を視認して解析を行うことができる。しかし、受精卵を染色液で染色すると、死滅するため、解析後の受精卵を利用することができない。
本発明は、前記課題にかんがみてなされたもので、受精卵を死滅させずに染色された状態の受精卵を解析可能にすることを目的とする。

課題を解決するための手段

0006

上述の目的を達成するため、染色画像生成システムは、解析対象の受精卵に可視光照射して撮影した画像である解析用可視光照射画像を取得する解析用可視光照射画像取得部と、染色液を含む溶媒中の学習用受精卵に可視光を照射して撮影した画像である学習用可視光照射画像と前記学習用受精卵に紫外線を照射して撮影した画像である学習用紫外線照射画像とに基づいて機械学習された機械学習モデルであって、可視光照明下の受精卵の画像から、染色された受精卵の画像を生成する機械学習モデルに対して、前記解析用可視光照射画像を入力し、前記解析対象の受精卵が染色された画像である染色画像を生成する染色画像生成部と、を備える。

0007

すなわち、染色画像生成システムにおいては、受精卵に可視光を照射して撮影した画像から、受精卵が染色された画像を生成する機械学習モデルが予め生成されている。このため、解析対象の受精卵を可視光照明下で撮影し、機械学習モデルに入力すれば、解析対象の受精卵が染色された画像である染色画像を生成することができる。染色画像に対して解析を行えば、解析対象の受精卵が正常であるか否か、染色体異常があるか否か等を推定することができる。そして、解析対象の受精卵に染色液は用いられないため、解析によって受精卵が死滅することはない。従って、解析対象の受精卵の中から正常な可能性が高い受精卵を選別するなどにより、不妊治療における人工授精や、畜産業界での人工授精などにおける出生率を向上させることができる。

図面の簡単な説明

0008

染色画像生成システムの概略構成図である。
染色画像生成システムのブロック図である。
生成モデル識別モデルを説明する図である。
機械学習処理フローチャートである。
染色画像生成処理のフローチャートである。

実施例

0009

ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)染色画像生成システムの構成:
(2)機械学習処理:
(3)染色画像生成処理:
(4)他の実施形態:

0010

(1)染色画像生成システムの構成:
図1は染色画像生成システム10を含む受精卵解析システム1の概略構成を示す図であり、図2は受精卵解析システム1のブロック図である。受精卵解析システム1は、染色画像生成システム10、顕微鏡40、ディスプレイ50を備えている。図1図2においては省略されているが、染色画像生成システム10に対して各種のユーザインタフェースキーボードマウス等)が接続されていてもよい。本実施形態において、受精卵解析システム1で撮影される対象はシャーレS内の溶媒中に存在する受精卵である。本実施形態においては受精卵の染色体等が解析対象となるが、当該染色体を解析可能にするため、顕微鏡40が利用される。

0011

本実施形態にかかる顕微鏡40は、対物レンズLo、接眼レンズLeを備えており、ユーザは、回転部Rを回転操作しながら接眼レンズLeを通して受精卵を拡大観察することが可能である。なお、拡大倍率は、例えば、100倍程度である。本実施形態にかかる顕微鏡40は、カメラ41、可視光源42、UV光源43を備えている。カメラ41は、可視光(例えば、400nm〜750nm)の強度を検出するエリアセンサを備えたカメラである。なお、本実施形態においてカメラ41は、紫外線を出力しない。

0012

可視光源42は、白色光観察対象に照射する光源である。UV光源43は、紫外線(例えば400nmより小さい波長の光)を観察対象に照射する光源である。顕微鏡40においては、手動または自動で光源を切り替えることができる。従って、可視光源42が点灯され、UV光源43が消灯された状態でカメラ41による撮影が行われると、可視光照明下で受精卵を撮影することができる。また、UV光源43が点灯され、可視光源42が消灯された状態でカメラ41による撮影が行われると、紫外線照明下で受精卵を撮影することができる。

0013

本実施形態において染色画像生成システム10は、据置型コンピュータであり、制御部20、記録媒体30を備えている。また、染色画像生成システム10には、図示しないインタフェースを介して顕微鏡40およびディスプレイ50が接続される。染色画像生成システム10の制御部20は、顕微鏡40に対して種々の信号を出力し、顕微鏡40から画像データ等の種々の情報を取得することができる。また、染色画像生成システム10は、ディスプレイ50を制御して任意の画像を表示させることができる。

0014

制御部20は、図示しないCPU,RAM,ROM,GPUを備えており、記録媒体30等に記録された各種プログラムを実行することができる。本実施形態において、制御部20は、染色画像生成プログラム21と機械学習プログラム22とを実行することができる。染色画像生成プログラム21は、カメラ41によって解析対象の受精卵が可視光照明下で撮影された解析用可視光照射画像に基づいて、受精卵が染色された画像である染色画像を生成する機能を制御部20に実行させるプログラムである。染色画像生成プログラム21が実行されると、制御部20は、解析用可視光照射画像取得部21a、染色画像生成部21bとして機能する。

0015

本実施形態において、当該染色画像の生成は予め行われた機械学習の結果に基づいて実行される。機械学習プログラム22は、カメラ41によって学習用受精卵が可視光照明下で撮影された学習用可視光照射画像と、学習用受精卵が紫外線照明下で撮影された学習用紫外線照射画像とに基づいて染色画像を生成するためのモデルを機械学習する機能を制御部20に実行させるプログラムである。機械学習プログラム22が実行されると、制御部20は、機械学習部22aとして機能する。

0016

(2)機械学習処理:
本実施形態において、機械学習処理は、ニューラルネットワークを形成する訓練モデルを最適化する処理である。本実施形態においては、可視光照明下で受精卵が撮影された画像から染色画像を生成するモデルを機械学習する。従って、本実施形態において、モデルとは、入力される画像データの画素毎の階調値入力値とし、生成される画像の画像データの画素毎の階調値を出力値とした場合における両データの対応関係導出する式を示す情報である。

0017

モデルは、種々の態様であってよいが、本実施形態においては、pix2pixと呼ばれるモデルを機械学習することが想定されている。なお、pix2pixについては、例えば、Image-to-Image Translation with Conditional Adversarial Networks(arXiv:1611.07004v3 [cs.CV] 26 Nov 2018)に開示されている。

0018

図3は、本実施形態における機械学習モデルを模式的に示す図である。本実施形態においては、生成モデルGと識別モデルDとが訓練モデルとして用意される。生成モデルGは、1枚の画像から他の画像を生成するモデルである。識別モデルDは、第1の画像および第2の画像を比較し、第2の画像が、第1の画像から生成された物の画像であるか否か識別するモデルである。

0019

本実施形態においては、受精卵に可視光を照射して撮影した画像Ivtを生成モデルGに入力し、受精卵に紫外線を照射して撮影した画像Iufを生成するように機械学習する。また、本実施形態においては、受精卵に可視光を照射して撮影した画像Ivtを第1の画像とし、生成モデルGで生成された画像Iuf、または受精卵に紫外線を照射して撮影した画像Iutを第2の画像として識別モデルDに入力する。そして、第2の画像が生成された画像Iufである場合に偽、第2の画像が第1の画像の受精卵を染色液に入れて紫外線照明下で撮影した画像Iutである場合に真を出力するように、識別モデルDは機械学習される。機械学習を行う際のモデルの構造や損失関数の設定等は、種々の手法で行われてよく、例えば、上述のImage-to-Image Translation with Conditional Adversarial Networks(arXiv:1611.07004v3 [cs.CV] 26 Nov 2018)など、種々の公知技術を利用可能である。

0020

以上のような機械学習を行うにあたり、記録媒体30には予め教師データ30aが記録される。制御部20は、当該教師データ30aに基づいてニューラルネットワークの訓練モデルを最適化し、最適化された機械学習済のモデルを機械学習モデル30bとして記録媒体30に記録させる。教師データ30aは、受精卵に可視光を照射して撮影した画像と、当該受精卵の溶媒中に染色液が入れられた状態で紫外線を照射して撮影した画像との組が複数組用意されることで生成される。

0021

生成モデルGの機械学習を効率的に進め、かつ、充分な精度になるまで進めるためには、可視光照明下と紫外線照明下とで同一の状態の受精卵の画像が教師データ30aの組になることが好ましい。すなわち、受精卵は溶媒中で容易に移動し、回転するため、容易に異なる姿勢になる。姿勢が同一であれば受精卵の構成要素(細胞核や染色体等)が画像内で同一の位置にあるため、可視光照明下で撮影された画像と紫外線照明下で撮影された画像との差異は主に染色の有無になる。この場合、生成モデルGは、単に、染色されていない受精卵を染色された受精卵に変換すればよいため、比較的単純な変換を行えばよい。

0022

しかし、受精卵における位置の変動や回転を許容すると、受精卵の構成要素の染色による変化に加え、位置や姿勢等の変化を生成モデルGによって再現する必要がある。このような学習は非常に困難であり、染色体の解析などに耐え得る程度の高精度の再現を実行可能な生成モデルを機械学習することは事実上不可能である。

0023

そこで、本実施形態においては、可視光照明下で撮影された画像と、紫外線照明下で撮影された画像とで受精卵が同一の状態(またはほぼ同一の状態)であるように撮影を行う。具体的には、利用者は、学習用受精卵が存在する溶媒をシャーレS内に用意して顕微鏡40にセットする。次に、利用者は、溶媒に染色液を入れる。染色液は、例えば、Hoechst(登録商標) 33342等のヘキスト染色剤等を利用可能であり、例えば、溶媒に対して、例えば、1mg/ml程度の量とされる。

0024

本実施形態において学習用受精卵は、染色液を含む溶媒中で紫外線が照射されると蛍光を発するが、可視光が照射されても蛍光は観察されない(またはほぼ観察されない)。従って、シャーレSに対して染色液を入れた後に、可視光照明下および紫外線照明下で学習用受精卵を撮影すれば、同一の状態(またはほぼ同一の状態)の受精卵を可視光、紫外線のそれぞれで照明した場合の画像を撮影することができる。

0025

本実施形態にかかる制御部20は、機械学習プログラム22の機能により、このような撮影を行うことができる。具体的には、シャーレSに対して染色液を入れ、顕微鏡40を操作してカメラ41の視野内に学習用受精卵を配置した後、利用者が撮影指示を行う。撮影指示が行われると制御部20は、可視光源42を制御して可視光を出力させ、UV光源43を制御して紫外線が出力されない状態にする。また、制御部20は、カメラ41を制御して学習用受精卵を撮影する。撮影された学習用可視光照射画像は、RAMに記録される。

0026

さらに、制御部20は、可視光源42を制御して可視光が出力されない状態とし、UV光源43を制御して紫外線を出力させる。また、制御部20は、カメラ41を制御して学習用受精卵を撮影する。撮影された学習用紫外線照射画像は、RAMに記録される。そして、制御部20は、撮影された学習用可視光照射画像と学習用紫外線照射画像とを対応づけた1組のデータとし、教師データ30aとして記録媒体30に記録する。制御部20は、以上の処理を繰り返すことにより、複数組のデータを有する教師データ30aを作成する。

0027

なお、教師データ30aを構成する学習用可視光照射画像と学習用紫外線照射画像とにおける縦横画素数は、生成モデルGに応じて決まる既定の数である。従って、制御部20は、当該既定の数に合わせるために拡大、縮小処理トリミング処理を行ってよい。また、教師データ30aの作成に際しては、各種の手法でデータ作成処理の効率化が行われてもよい。例えば、複数の学習用受精卵がカメラ41の視野に存在する状態で撮影が行われ、1個ずつの学習用受精卵の画像が切り出されてもよい。

0028

さらに、機械学習を実施するためには、教師データ30aのデータ量が十分に確保されていることが好ましい。そこで、データ量を増やすために、各種の水増し処理、例えば、画像の回転、移動、反転、拡大、縮小の各処理が行われ、異なる組の教師データ30aとされてもよい。

0029

教師データ30aにおいては、学習用受精卵が同一の状態で撮影されればよく、この意味では学習用紫外線照射画像が先に撮影され、学習用可視光照射画像が後に撮影されてもよい。ただし、本実施形態のように、学習用受精卵に対する紫外線の照射および学習用紫外線照射画像の撮影が、学習用可視光照射画像の撮影後に行われる構成であるとより好ましい。すなわち、染色液を溶媒に入れてから学習用受精卵が蛍光を出力可能になるまでに、僅かに時間がかかる可能性がある。また、染色液によって可視光下で学習用受精卵の色が僅かに変化する場合、染色開始からの時間が長いほどその影響が大きいと考えられる。

0030

そこで、先に学習用可視光照射画像を撮影し、後に学習用紫外線照射画像を撮影する構成とすれば、染色液による影響を抑制した状態で学習用可視光照射画像を撮影し、染色液によって蛍光が出力される状態で学習用紫外線照射画像することが可能である。なお、本出願人の実験によれば、学習用可視光照射画像と学習用紫外線照射画像とにおいて、一方の受精卵の画像を基準とした場合に許容される他方の受精卵の画像のずれは4%程度であることが判明している。従って、ずれが4%以内になるように教師データ30aを用意することが好ましい。また、学習用可視光照射画像と学習用紫外線照射画像とを撮影した場合に、両者のずれが4%より大きい場合、回転処理等の画像処理を行って、両者のずれを4%未満にして教師データ30aとする構成としてもよい。

0031

以上のような教師データ30aは、機械学習が行われる前に予め用意される。教師データ30aが用意されると、当該教師データ30aを利用して機械学習を行うことができる。すなわち、訓練モデルとして予め用意された生成モデルGに対し、学習用可視光照射画像を入力すると、染色画像が生成される。一方、識別モデルDに対して、当該生成された染色画像と、染色画像を生成する際の基の学習用可視光照射画像を入力すると、偽または真が出力される。識別モデルDに対して、学習用可視光照射画像と学習用紫外線照射画像とを入力すると、偽または真が出力される。

0032

そこで、生成された染色画像が入力された場合に識別モデルDが偽を出力し、学習用紫外線照射画像が入力された場合に識別モデルDが真を出力するように学習を進めれば、生成モデルGによって生成される染色画像が本物の画像(染色された受精卵を撮影した画像)に近くなる。

0033

図4は機械学習処理を示すフローチャートである。機械学習処理は、解析対象の受精卵の染色画像の生成が行われる前に予め実行される。また、機械学習処理が行われる前には、予め教師データ30aが用意される。機械学習処理が開始されると、制御部20は、機械学習部22aの機能により、訓練モデルを取得する(ステップS100)。本実施形態において、制御部20は、可視光照明下で撮影された受精卵の画像を入力値とし、受精卵が染色液に入れられ、紫外線照明下で蛍光を発した状態で撮影された画像を出力値とする生成モデルGの訓練モデル(モデルを示すフィルタ活性化関数、損失関数等の情報)を取得する。

0034

また、制御部20は、可視光照明下で撮影された受精卵の画像と、染色された受精卵の画像(生成された染色画像または撮影された染色画像)とを入力値とし、染色された受精卵の画像が真偽のいずれであるのかを出力値とする識別モデルDの訓練モデル(モデルを示すフィルタや活性化関数、損失関数等の情報)を取得する。

0035

次に、制御部20は、機械学習部22aの機能により、教師データ30aを取得する(ステップS105)。本実施形態において、教師データ30aは、学習用可視光照射画像と学習用紫外線照射画像が対応づけられた情報である。

0036

次に、制御部20は、機械学習部22aの機能により、テストデータを取得する(ステップS110)。本実施形態においては、教師データ30aの一部を抽出し、学習の汎化が行われたか否かを確認するためのテストデータとする。なお、テストデータは、機械学習には使用されない。

0037

次に、制御部20は、機械学習部22aの機能により、初期値を決定する(ステップS115)。すなわち、制御部20は、ステップS100で取得した訓練モデルのうち、学習対象となる可変パラメーター(フィルタの重みやバイアス等)に対して初期値を与える。初期値は、種々の手法で決定されて良い。むろん、学習の過程でパラメーターが最適化されるように初期値が調整されても良いし、各種のデータベース等から学習済のパラメーターが取得されて利用されても良い。

0038

次に、制御部20は、機械学習部22aの機能により、学習を行う(ステップS120)。すなわち、制御部20は、ステップS100で取得した訓練モデルの生成モデルGに対して、ステップS105で取得した教師データ30aの学習用可視光照射画像を入力し、染色画像を出力する。次に、制御部20は、識別モデルDに対して学習用可視光照射画像と、比較画像とを入力し、真偽のいずれかを出力する。なお、比較画像は、学習用紫外線照射画像(すなわち、真の画像)または生成モデルGで生成された染色画像(すなわち、偽の画像)のいずれかである。いずれを利用するのかは、予め統計的に決められている。

0039

訓練モデルによる最終的な出力値、すなわち、生成モデルGによって生成された染色画像と、識別モデルDによって識別された真偽の出力とが得られると、制御部20は、当該出力値と、正解値(教師データ30aが示す学習用紫外線照射画像と、比較画像の真偽を示す情報)とに基づいて、出力値と正解値との誤差を評価する損失関数に基づいて誤差を特定する。損失関数Eが得られたら、制御部20は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。すなわち、制御部20は、損失関数Eのパラメーターによる微分に基づいてパラメーターを更新する処理を既定回数繰り返す。

0040

損失関数Eは、公知の各種の態様とすることができるが、さらに、染色画像をより鮮明にするための要素が加えられてもよい。すなわち、GAN(Generative Adversarial Network)等のモデルによって生成される画像は、細部が不鮮明になりやすい。一方、受精卵の染色画像を解析する際には、染色体や細胞の細部が解析されることが多い。従って、細胞の細部が再現されない状態で染色画像が生成されると解析に利用しづらい。そこで、生成モデルGにおいて、生成された染色画像が、学習用紫外線照射画像と同程度の鮮鋭度になるほど損失が少なくなるように、損失関数が定義されてもよい。

0041

具体的には、学習用可視光照射画像に基づいて生成された染色画像と、学習用紫外線照射画像とに対して平滑化処理および輪郭強調処理(LoG(Laplacian of Gaussian))が適用され、適用後の画像の差を示す損失関数が、生成モデルGの損失関数に含まれていてもよい。この損失関数が小さくなるようにパラメーターが調整されると、染色画像の鮮鋭度が高くなるように生成モデルGを機械学習させることができる。この結果、染色画像がシャープになり、細部が不鮮明になることを防止することができる。

0042

以上のようにして、既定回数のパラメーターの更新が行われると、制御部20は、訓練モデルの汎化が完了したか否かを判定する(ステップS125)。すなわち、制御部20は、ステップS110で取得したテストデータの学習用可視光照射画像を訓練モデルの生成モデルGに入力して染色画像を生成する。また、制御部20は、生成された染色画像とテストデータの学習用可視光照射画像とを訓練モデルの識別モデルDに入力して、真偽を判定する。そして、制御部20は、テストデータのうち、真が出力された数を取得し、テストデータの全サンプル数で除することで推定精度を取得する。本実施形態において、制御部20は、推定精度が閾値以上である場合に汎化が完了したと判定する。

0043

なお、汎化性能の評価に加え、ハイパーパラメーター妥当性の検証が行われてもよい。すなわち、学習対象となる可変のパラメーター以外の可変量であるハイパーパラメーター、例えば、ノードの数等がチューニングされる構成において、制御部20は、検証データに基づいてハイパーパラメーターの妥当性を検証しても良い。検証データは、ステップS110と同様の処理により、教師データ30aから検証データを予め抽出し、訓練に用いないデータとして確保しておくことで取得すれば良い。

0044

ステップS125において、訓練モデルの汎化が完了したと判定されない場合、制御部20は、ステップS120を繰り返す。すなわち、さらに学習対象となる可変のパラメーターを更新する処理を行う。一方、ステップS125において、訓練モデルの汎化が完了したと判定された場合、制御部20は、機械学習済の訓練モデルを機械学習モデル30bとして記録媒体30に記録する(ステップS130)。なお、本実施形態においては、機械学習モデル30bの追加学習等を実施可能にするため、生成モデルGと識別モデルDとが機械学習モデル30bとして記録媒体30に記録されるが、染色画像の生成を行い、識別を行わないことが想定されるのであれば、生成モデルGが機械学習モデル30bとして記録され、識別モデルDが記録されない構成であってもよい。

0045

(3)染色画像生成処理:
次に、解析対象の受精卵(例えば、人工授精後における出生率を推定する対象の受精卵や人工授精後に染色体異常が存在しないか解析する対象の受精卵等)を可視光照明下で撮影した画像に基づいて実施される染色画像生成処理を図5に示すフローチャートに基づいて説明する。染色画像生成処理は、機械学習モデル30bが記録媒体30に記録された後に実行される。染色画像生成処理を実行するに際し、利用者は、解析対象の受精卵を含む溶媒をシャーレS内に用意し、顕微鏡40にセットする。ここで、シャーレS内の溶媒に染色液は入れられない。すなわち、本実施形態においては、受精卵の生命を維持させるため、溶媒に染色液が入れられていない状態で解析用可視光照射画像が撮影される。

0046

このようなシャーレSが顕微鏡40にセットされた状態で利用者は、顕微鏡40を操作して可視光源42を点灯させ、カメラ41の視野内に解析対象の受精卵を移動させる。この状態で利用者が図示しないマウスやキーボード等の操作部によって染色画像生成処理の開始を指示すると、制御部20は、染色画像生成プログラム21の実行を開始する。

0047

染色画像生成プログラム21の実行が開始されると、制御部20は、解析用可視光照射画像取得部21aの機能により、解析対象の受精卵に可視光を照射させる(ステップS200)。すなわち、制御部20は、可視光源42に制御信号を出力し、既定の強度で可視光源42を点灯させる。この際、UV光源43は消灯した状態とされる。

0048

次に、制御部20は、解析用可視光照射画像取得部21aの機能により、カメラ41によって解析用可視光照射画像を撮影する(ステップS205)。すなわち、制御部20は、カメラ41を制御し、可視光が照射された解析対象の受精卵の画像データを取得する。また、制御部20は、撮影された画像データを、記録媒体30に記録する(図2に示す解析用可視光照射画像データ30c)。

0049

次に、制御部20は、染色画像生成部21bの機能により、解析用可視光照射画像を機械学習モデルに入力する(ステップS210)。すなわち、制御部20は、記録媒体30に記録された機械学習モデル30bを取得し、解析用可視光照射画像を生成モデルGに入力し、染色画像を取得する。

0050

次に、制御部20は、染色画像生成部21bの機能により、染色画像を表示させる(ステップS215)。すなわち、制御部20は、ディスプレイ50を制御し、ステップS210で取得された染色画像を表示させる。染色画像の表示態様は、種々の態様であって良く、本実施形態においては、ステップS205で撮影された画像が静止画として表示される。むろん、複数枚の染色画像が同時に表示されてもよいし、ステップS205で撮影された解析用可視光照射画像と染色画像とが並べて表示されてもよい。また、ステップS205で解析用可視光照射画像を連続的に撮影することで動画データを生成し、機械学習モデル30bの生成モデルGで生成した染色画像の動画データを生成し、染色画像の動画データを表示させる構成等であってもよい。

0051

以上のような本実施形態によれば、解析対象の受精卵を可視光照明下で撮影した画像に基づいて、染色液を含む溶媒内の受精卵に紫外線を照射した場合に出力される可視光の蛍光によって形成される画像と同等の染色画像を生成することができる。当該染色画像を生成するために、解析対象の受精卵の溶媒に染色液は入れられない。また、受精卵に対して紫外線が照射されることもない。従って、染色画像を生成するために受精卵を死滅させることはないし、紫外線による損傷を発生させることもない。

0052

そして、染色画像に対して解析を行えば、解析対象の受精卵が正常であるか否か、染色体異常があるか否か等を推定することができる。従って、解析対象の受精卵の中から正常な可能性が高い受精卵を選別するなどにより、不妊治療における人工授精や、畜産業界での人工授精などにおける出生率を向上させることができる。

0053

(4)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、染色液が入れられた溶媒中の受精卵を可視光照明下と紫外線照明下で撮影した画像に基づいて機械学習モデルを生成する限りにおいて、他にも種々の実施形態を採用可能である。例えば、染色画像生成システムは、複数の装置によって実現されても良く、機械学習がサーバで実施され、染色画像の生成がクライアントで実施されるシステム等であっても良い。この構成においては、例えば、複数のクライアントから教師データが収集され、この教師データに基づいてサーバにおいて機械学習が行われる構成であっても良い。

0054

さらに、解析用可視光照射画像取得部21a、染色画像生成部21b、機械学習部22aの少なくとも一部が複数の装置に分かれて存在してもよい。例えば、機械学習部22aにおいて、教師データ30aを作成する処理と、教師データ30aに基づいて機械学習を行う処理とが異なる装置で実施される構成等であっても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。例えば、機械学習を実行するシステムと染色画像生成システム10とが異なる装置で構成される場合、染色画像生成システム10で利用される顕微鏡40は、UV光源43を備えていなくてもよい。

0055

解析用可視光照射画像取得部は、解析対象の受精卵に可視光を照射して撮影した画像である解析用可視光照射画像を取得することができればよい。すなわち、解析用可視光照射画像取得部は、機械学習モデルに対して入力される受精卵の画像である解析用可視光照射画像を取得することができればよい。なお、解析用可視光照射画像は、可視光照明下で撮影されればよいが、機械学習モデルを学習するための教師データを生成する際の照明条件と同一の照明条件で撮影されることが好ましい。また、解析用可視光照射画像は、機械学習モデルに対して入力されるため、機械学習モデルに入力されるフォーマット(画素数、チャネル数)である必要がある。むろん、フォーマットに合わせるために任意の画像処理が行われてよく、トリミング拡大縮小エッジ強調色変換コントラスト調整、回転等の各種画像処理が行われてよい。

0056

可視光は、種々の状態で照射されて良い。すなわち、可視光は、解析用可視光照射画像が撮影できるように受精卵に対して照射されれば良く、受精卵と可視光源との位置関係は種々の関係とすることができる。むろん、位置関係が可変であっても良いし、可視光の強度が可変であっても良い。解析用可視光照射画像を表現するためのチャネル数は任意であるが、可視光の波長域網羅するためには典型的には3チャネルで解析用可視光照射画像が表現されることが好ましい。受精卵は、生命が維持される状態で保持、撮影されることが好ましく、例えば、シャーレに入れられた水等の溶媒中に存在する受精卵が撮影される構成等が想定される。

0057

染色画像生成部は、機械学習モデルに対して、解析用可視光照射画像を入力し、解析対象の受精卵が染色された画像である染色画像を生成することができればよい。すなわち、可視光照明下の受精卵の画像から染色された画像を生成する機械学習モデルが予め生成されている。そして、染色画像生成部は、任意の解析対象の受精卵を撮影した解析用可視光照射画像を当該機械学習モデルに対して入力して、染色画像を生成する。染色液は、溶媒に入れられることによって紫外線照明下で受精卵から蛍光を出力させる液体であれば良く、例えば、ヘキスト染色剤以外の各種の染色剤を採用可能である。溶媒は、受精卵の生命が維持される状態で保持できる液体であることが好ましく、例えば、水等である。

0058

機械学習モデルは、可視光照明下の受精卵の画像を染色された受精卵の画像に変換するモデルであれば良く、上述の構成以外にも種々の構成を採用可能である。すなわち、機械学習モデルは、DCGAN(Deep Convolutional Generative Adversarial Networks)の各種態様やそれらの派生の態様、conditional GAN等で得られる画像−画像変換モデルであってもよい。

0059

機械学習の態様は限定されず、例えばニューラルネットワークを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルタのサイズ、フィルタの種類、パディングストライドの種類、プーリング層の種類や有無、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、深層学習(ディープラーニング)、サポートベクターマシンクラスタリング強化学習等によって学習が行われてもよい。さらに、モデルの構造(例えば、層の数や層毎のノードの数等)が自動的に最適化される機械学習が行われてもよい。

0060

解析用可視光照射画像や学習用可視光照射画像などの受精卵の画像は、染色体などの解析対象が視認できる状態であれば良い。従って、顕微鏡等の拡大装置を利用して撮影されることが好ましく、その倍率等は解析用途等によって調整可能である。

0061

さらに、本発明のように、染色液が入れられた溶媒中の受精卵を可視光照明下と紫外線照明下で撮影した画像に基づいて機械学習モデルを生成する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えた顕微鏡等を提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

0062

1…受精卵解析システム、10…染色画像生成システム、20…制御部、21…染色画像生成プログラム、21a…解析用可視光照射画像取得部、21b…染色画像生成部、22…機械学習プログラム、22a…機械学習部、30…記録媒体、30a…教師データ、30b…機械学習モデル、30c…解析用可視光照射画像データ、40…顕微鏡、41…カメラ、42…可視光源、43…UV光源、50…ディスプレイ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ