図面 (/)

技術 観察装置、眼鏡型端末装置、観察システム、観察方法、試料位置取得方法、観察プログラム及び試料位置取得プログラム

出願人 オリンパス株式会社
発明者 網野宏樹松音英明八道剛野中修
出願日 2016年9月21日 (4年5ヶ月経過) 出願番号 2016-184490
公開日 2018年3月29日 (2年10ヶ月経過) 公開番号 2018-046773
状態 未査定
技術分野 カメラ本体及び細部(構成部品等) 微生物・酵素関連装置
主要キーワード Y座標 作業経過 作業対象位置 作業判定 移動制御量 移動制御情報 指標位置 移動制御信号
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

観察のみならず、作業性の向上を可能にすることができる装置、システムを提供することを目的とする。

解決手段

観察装置10は、培養容器が載置された方向の画像を取得する画像取得部13aと、表示部22を有する眼鏡型端末装置20と通信する通信部14と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部11とを具備する。

概要

背景

一般に、細胞培養は、増殖環境を厳密に管理する必要があり、インキュベータ等が採用される。インキュベータは、温度、湿度二酸化炭素濃度等の増殖条件を安定して制御できるようになっており、インキュベータ内培養容器を配置することで、管理された環境下での培養が可能となる。

このようなインキュベータ内に配置された培養容器内細胞の状態を観察する観察装置も開発されている。

特許文献1においては、インキュベータ内にカメラ装置を配置した観察装置が開示されている。

概要

観察のみならず、作業性の向上を可能にすることができる装置、システムを提供することを目的とする。観察装置10は、培養容器が載置された方向の画像を取得する画像取得部13aと、表示部22を有する眼鏡型端末装置20と通信する通信部14と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部11とを具備する。

目的

本発明は、観察のみならず、作業性の向上を可能にすることができる観察装置、眼鏡型端末装置、観察システム観察方法、試料位置取得方法観察プログラム及び試料位置取得プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

培養容器が載置された方向の画像を取得する画像取得部を有し、上記培養容器中の試料に対する作業を行う時の試料位置を与えられた時に、上記画像取得部を制御して上記試料位置に対応する撮像画像を取得させる制御部とを具備したことを特徴とする観察装置

請求項2

上記制御部は、上記試料位置の位置情報に基づいて上記画像取得部が取得する画像の視野範囲を制御することを特徴とする請求項1に記載の観察装置。

請求項3

上記制御部は、上記試料位置の位置情報に基づいて上記画像取得部を移動させることで上記視野範囲の位置を移動させて、上記試料位置を含む所定範囲の画像を表示可能にする画像出力を得ることを特徴とする請求項2に記載の観察装置。

請求項4

上記培養容器中の試料に対する作業に関する情報を取得する情報取得部と、上記作業に関する情報に基づいて作業判定を行って上記試料位置の位置情報を取得する作業判定部と、を具備したことを特徴とする請求項1乃至3のいずれか1つに記載の観察装置。

請求項5

上記情報取得部は、上記培養容器中の試料に対する作業を撮像して得た撮像画像を上記作業に関する情報とすることを特徴とする請求項4に記載の観察装置。

請求項6

上記情報取得部は、上記画像取得部における画像取得において採用される撮像レンズよりも広角の撮像レンズを用いて画像を取得することを特徴とする請求項5に記載の観察装置。

請求項7

上記制御部が取得した撮像画像に基づく表示を行う表示部を具備したことを特徴とする請求項1乃至6のいずれか1つに記載の観察装置。

請求項8

上記表示部は、眼鏡型のウェアラブル端末により構成されることを特徴とする請求項7に記載の観察装置。

請求項9

培養の作業時に使用される眼鏡型端末装置であって、培養容器中の試料に対する作業に関する情報を取得する情報取得部と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する作業判定部とを具備したことを特徴とする眼鏡型端末装置。

請求項10

筐体上に載置された上記培養容器の撮像画像を取得する画像取得部と、上記試料位置の位置情報が与えられ、上記画像取得部を制御して上記培養容器中の試料の撮像画像を取得させて、上記試料位置を含む所定範囲の画像を表示可能にする画像出力を得る制御部とを具備する観察部から上記画像出力を受信し、受信した上記画像出力に基づく表示を行う表示部を具備したことを特徴とする請求項9に記載の眼鏡型端末装置。

請求項11

上記表示部は、眼鏡のレンズ部に上記画像出力に基づく表示を行うことを特徴とする請求項10に記載の眼鏡型端末装置。

請求項12

培養容器が載置された方向の画像を取得する画像取得部と、表示部を有する眼鏡型端末装置と通信する通信部と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部とを具備したことを特徴とする観察装置。

請求項13

表示部を有する眼鏡型端末装置と、培養容器が載置された方向の画像を取得する画像取得部と、上記眼鏡型端末装置と通信する通信部と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部とを具備したことを特徴とする観察システム

請求項14

培養容器中の試料に対する作業を行う時の試料位置を取得する手順と、上記培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する撮像画像を取得させる手順とを具備したことを特徴とする観察方法

請求項15

培養の作業時に使用される眼鏡型端末装置によって、培養容器中の試料に対する作業に関する情報を取得する手順と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する手順とを具備したことを特徴とする試料位置取得方法

請求項16

表示部を有する眼鏡型端末装置によって、培養容器中の試料に対する作業を行う時の試料位置に関する情報を取得する手順と、上記試料位置に関する情報に基づいて、培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する位置の撮像画像を取得させる手順と、上記取得した撮像画像を上記眼鏡型端末装置に送信して上記表示部に上記撮像画像を表示させる手順とを具備したことを特徴とする観察方法。

請求項17

コンピュータに、培養容器中の試料に対する作業を行う時の試料位置を取得する手順と、上記培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する撮像画像を取得させる手順とを実行させるための観察プログラム

請求項18

コンピュータに、培養の作業時に使用される眼鏡型端末装置によって、培養容器中の試料に対する作業に関する情報を取得する手順と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する手順とを実行させるための試料位置取得プログラム

請求項19

コンピュータに、表示部を有する眼鏡型端末装置によって、培養容器中の試料に対する作業を行う時の試料位置に関する情報を取得する手順と、上記試料位置に関する情報に基づいて、培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する位置の撮像画像を取得させる手順と、上記取得した撮像画像を上記眼鏡型端末装置に送信して上記表示部に上記撮像画像を表示させる手順とを実行させるための観察プログラム。

技術分野

0001

本発明は、細胞培養等に関する作業を効率的に支援する観察装置眼鏡型端末装置観察システム観察方法試料位置取得方法観察プログラム及び試料位置取得プログラムに関する。

背景技術

0002

一般に、細胞培養は、増殖環境を厳密に管理する必要があり、インキュベータ等が採用される。インキュベータは、温度、湿度二酸化炭素濃度等の増殖条件を安定して制御できるようになっており、インキュベータ内培養容器を配置することで、管理された環境下での培養が可能となる。

0003

このようなインキュベータ内に配置された培養容器内細胞の状態を観察する観察装置も開発されている。

0004

特許文献1においては、インキュベータ内にカメラ装置を配置した観察装置が開示されている。

先行技術

0005

特許第4490154号公報

発明が解決しようとする課題

0006

ところで、細胞培養等では、多種多様の作業と状態確認のための各種観察が繰り返される。これらの作業の多くに、手際の良さが求められていた。

0007

本発明は、観察のみならず、作業性の向上を可能にすることができる観察装置、眼鏡型端末装置、観察システム、観察方法、試料位置取得方法、観察プログラム及び試料位置取得プログラムを提供することを目的とする。

課題を解決するための手段

0008

本発明の一態様による観察装置は、培養容器が載置された方向の画像を取得する画像取得部を有し、上記培養容器中の試料に対する作業を行う時の試料位置を与えられた時に、上記画像取得部を制御して上記試料位置に対応する撮像画像を取得させる制御部とを具備する。

0009

また、本発明の一態様による眼鏡型端末装置は、培養の作業時に使用される眼鏡型端末装置であって、培養容器中の試料に対する作業に関する情報を取得する情報取得部と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する作業判定部とを具備する。

0010

また、本発明の他の態様による観察装置は、培養容器が載置された方向の画像を取得する画像取得部と、表示部を有する眼鏡型端末装置と通信する通信部と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部とを具備する。

0011

また、本発明の他の態様による観察システムは、表示部を有する眼鏡型端末装置と、培養容器が載置された方向の画像を取得する画像取得部と、上記眼鏡型端末装置と通信する通信部と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部とを具備する。

0012

また、本発明の他の態様による観察方法は、培養容器中の試料に対する作業を行う時の試料位置を取得する手順と、上記培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する撮像画像を取得させる手順とを具備する。

0013

また、本発明の他の態様による試料位置取得方法は、培養の作業時に使用される眼鏡型端末装置によって、培養容器中の試料に対する作業に関する情報を取得する手順と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する手順とを具備する。

0014

また、本発明の他の態様による観察方法は、表示部を有する眼鏡型端末装置によって、培養容器中の試料に対する作業を行う時の試料位置に関する情報を取得する手順と、上記試料位置に関する情報に基づいて、培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する位置の撮像画像を取得させる手順と、上記取得した撮像画像を上記眼鏡型端末装置に送信して上記表示部に上記撮像画像を表示させる手順とを具備する。

0015

また、本発明の他の態様による観察プログラムは、コンピュータに、培養容器中の試料に対する作業を行う時の試料位置を取得する手順と、上記培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する撮像画像を取得させる手順とを実行させる。

0016

また、本発明の他の態様による試料位置取得プログラムは、コンピュータに、培養の作業時に使用される眼鏡型端末装置によって、培養容器中の試料に対する作業に関する情報を取得する手順と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する手順とを実行させる。

0017

また、本発明の他の態様による観察プログラムは、コンピュータに、表示部を有する眼鏡型端末装置によって、培養容器中の試料に対する作業を行う時の試料位置に関する情報を取得する手順と、上記試料位置に関する情報に基づいて、培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する位置の撮像画像を取得させる手順と、上記取得した撮像画像を上記眼鏡型端末装置に送信して上記表示部に上記撮像画像を表示させる手順とを実行させる。

発明の効果

0018

本発明によれば、効率的な作業と微細観察の両立を可能にすることができるという効果を有する。

図面の簡単な説明

0019

本発明の第1の実施の形態に係る観察装置を示すブロック図。
第1観察部の一例を示す説明図。
第2観察部の一例を示す説明図。
操作及び記録部30の一例として、タブレットPCやスマートフォン等によって構成された例を示す説明図。
実施の形態の動作を説明するための説明図。
実施の形態の動作を説明するための説明図。
実施の形態の動作を説明するための説明図。
実施の形態の動作を説明するためのフローチャート
実施の形態の動作を説明するためのフローチャート。
培養容器の一例を示す説明図。
培養容器の一例を示す説明図。
透明板41f上に形成した指標50を利用した場合のピペット先端位置の判定方法の一例を示す説明図。
透明板41f上に形成した指標50を利用した場合のピペット先端位置の判定方法の一例を示す説明図。
本発明の第2の実施の形態において採用される動作フローを示すフローチャート。
カウントモードにおいて採用される移動パターン情報を示す説明図。
カウントモードにおけるカメラ装置43の移動を説明するための説明図。

実施例

0020

以下、図面を参照して本発明の実施の形態について詳細に説明する。

0021

(第1の実施の形態)
図1は本発明の第1の実施の形態に係る観察装置を示すブロック図である。本実施の形態は、培養中の細胞を観察する第1観察部(ヘッド部)と第1観察部における観察結果を得て確認するための第2観察部(表示部)とを備える。図2は第1観察部(ヘッド部)の一例を示す説明図であり、図3は第2観察部(表示部)の一例を示す説明図である。なお、図3では第2観察部(表示部)をウェアラブル端末によって構成する例を示しているが、第2観察部としては各種表示機器を採用することができる。更に、後述するように、第1観察部(ヘッド部)の一部機能拡張によって第2観察部(表示部)の機能を達成することや、第2観察部(表示部)の一部機能拡張によって第1観察部(ヘッド部)の機能を達成することで、一方を省略して実施形態を構成することも可能である。

0022

図1において、第1観察部(ヘッド部)10には制御部11が設けられている。制御部11は、第1観察部10の各部を制御する。制御部11は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、必要に応じて、ハードウェア電子回路で一部を置き換えてもよく、人工知能に一部の判断を担わせてもよい。

0023

第1観察部(ヘッド部)10は、情報取得部13を備えている。情報取得部13は、画像取得部13a及び位置取得部13bを有する。画像取得部13aは、例えば図示しない撮像レンズ及び撮像素子により構成された撮像部を有するカメラ装置等によって構成することができ、被写体を撮像し、電気的な撮像画像データを取得して画像出力として出力することができるようになっている。

0024

移動部12は、制御部11に制御されて、画像取得部13aが撮像する画像の視野を動かすことができるようになっている。例えば、移動部12は、撮像レンズを移動させることにより、視野の位置を変化させることができる。例えば、移動部12は、撮像レンズをズーム及びフォーカス方向と直交するx方向、y方向に所定範囲で動かすものである。これによって、視野の位置が変わる。その他、撮像レンズをズーム及びフォーカス方向に移動させるとことにより、画角ピントなども設定可能である。なお、画像取得部13aは高倍率望遠画像を撮像することができるようになっており、視野範囲は比較的狭いが、ズーム機能複眼などを利用してこれに限らない工夫が可能である。

0025

位置取得部13bは、画像取得部13aによる撮像画像又は画像取得部13aを構成する撮像レンズや撮像素子の位置の情報に基づいて画像取得部13aの視野範囲の情報を取得し、位置情報として移動部12にフィードバックすることができる。移動部12は、フィードバック制御によって、確実に指定した視野範囲で撮像が行われるように制御を行うことができる。なお、移動部12において移動制御量を把握して移動制御を行うことができる場合には、位置取得部13bは省略可能である。

0026

操作部32は、ユーザ操作受け付けて、ユーザ操作に基づく操作信号を通信部14に出力することができるようになっている。通信部14は、操作部32から操作信号を受信すると、受信した操作信号を制御部11に与える。これにより、制御部11は、ユーザ操作に応じて各部を制御することができるようになっている。例えば、操作部32によって、画像取得部13aの視野範囲の移動に関する移動制御情報が操作信号として出力された場合には、制御部11は、受信した移動制御情報に基づいて、画像取得部13aの視野範囲を変化させるように、移動部12を制御するようになっている。

0027

制御部11は、情報取得部13からの撮像画像を記録部31に与えて記録させることができる。記録部31は、所定の記録媒体に撮像画像を記録する。また、記録部31には、移動パターン記録部31aが設けられている。移動パターン記録部31aには、画像取得部13aの視野範囲を変化させるための移動パターンの情報(移動パターン情報)が記録されている。制御部11は、移動パターン記録部31aから移動パターン情報を読み出して、この情報に基づく移動パターンに従って、移動部12を制御することにより、画像取得部13aの視野範囲を移動パターンに応じて変化させることができるようになっている。

0028

なお、第1観察部(ヘッド部)10にはバッテリ15が設けられている。バッテリ15は、第1観察部10を駆動するために必要な電力を発生して各部に供給するようになっている。なお、バッテリ15の電力の発生は、手動機械スイッチや制御部11によって制御されるようになっている。

0029

第2観察部(表示部)20には、制御部21が設けられている。制御部21は、第2観察部20の各部を制御する。制御部21は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよい。

0030

第2観察部20(表示部)には、通信部24が設けられている。通信部24は、第1観察部10の通信部14との間で通信により情報の授受が可能である。また、第2観察部20には、表示部22が設けられている。第1観察部10の制御部11は、情報取得部13によって取得された撮像画像を通信部14,24を介して第2観察部20に与えることが可能である。制御部21は、通信部14,24を介して受信した撮像画像を表示部22に与えて表示させることができる。こうして、第1観察部10の情報取得部13によって取得された被写体の撮像画像を第2観察部20の表示部22において表示させることが可能である。

0031

第2観察部(表示部)20にはバッテリ25が設けられている。バッテリ25は、第2観察部20を駆動するために必要な電力を発生して各部に供給するようになっている。なお、バッテリ25の電力の発生は、制御部21によって制御されるようになっている。

0032

本実施の形態においては、第2観察部20(表示部)においても情報取得部23が設けられている。情報取得部23は、画像取得部23aを有している。画像取得部23aは、例えば図示しない撮像レンズ及び撮像素子により構成された撮像部を有するカメラ装置等によって構成することができ、比較的広い視野範囲での撮像が可能である。例えば、画像取得部23aは、第1観察部10の画像取得部13aにおける視野範囲を含む広い範囲の視野範囲であって、画像取得部13aの被写体に対する作業を観察可能な視野範囲を有していてもよい。なお、情報取得部23は、ユーザの発話音声を取得する音声取得部を備えていてもよい。

0033

情報取得部23からの撮像画像は制御部21に供給される。制御部21は作業判定部21aを備えている。作業判定部21aは、情報取得部23からの撮像画像に対する画像解析によって、画像取得部13aの被写体に対するユーザの作業に関する判定(作業判定)を行うことができるようになっている。例えば、作業判定部21aは、ユーザが画像取得部13aの被写体に対してピペッティングを実施した場合には、当該ユーザの作業がピペッティング作業であるものと判定し(例えば、その旨を指定するなどした場合、通信や音声判定画像判定等を開始して)、当該ピペッティング作業の対象である被写体の位置(以下、作業対象位置という)を判定することができるようになっている。作業判定部21aは、判定結果である作業対象位置の位置情報を通信部24,14を介して第1観察部10の制御部11に送信することができるようになっている。つまり、培養容器が載置される部分からの画像を取得する画像取得部13aを有し、上記培養容器中の試料に対する作業を行う時の試料位置(上記作業対象位置)の情報を通信部等で得た時に(通信せず、自機で判定してもよい)、上記画像取得部を制御して上記試料位置に対応する撮像画像を取得させる制御部を具備したことを特徴とする観察装置となっている。

0034

なお、実施形態においては、ピペッティング作業の判定の例を示したが、作業判定はこの例に限らない。例えば、スパチュラによる細胞の回収時等の作業を判定することも可能であり、細胞培養に関する各種作業についての作業判定が可能である。

0035

更に、情報取得部23が音声取得部を備えている場合には、作業判定部21aはユーザが発した音声解析して、作業判定を行ってもよい。この場合には、作業判定部21aは、音声認識結果によって作業の内容や作業対象位置を判定することができる。また、作業判定部21aは、画像及び音声解析によって、作業判定を行ってもよい。例えば、ユーザが培養容器をふったり傾けたりした状態で細胞を確認する場合等においては、作業判定部21aは、ユーザのこのような作業を画像解析により判定すると共に、ユーザが発する作業対象位置を特定する音声に対する判定によって、作業内容及び作業対象位置の判定を行ってもよい。制御部11が一部の判断を人工知能などに担わせる時には、このユーザの音声や操作の特徴で、正しい判定と間違った判定の違いを学習するようにして、深層学習を行い、判定精度を向上させていく事が出来る。

0036

本実施の形態においては、制御部11は、第2観察部20から送信された位置情報に基づいて移動部12を制御して、視野範囲内に作業対象位置が含まれるように、画像取得部13aの視野範囲の位置を移動させるようになっている。

0037

なお、図1では第1観察部10に制御部11を設け、第2観察部20に制御部21をそれぞれ設ける例を示したが、第1観察部10又は第2観察部20のいずれか一方に制御部を設けて、この制御部によって第1観察部10及び第2観察部20の各部を制御してもよく、また、制御部11,21及び通信部14,24によって制御部1を構成し、制御部1によって第1観察部10及び第2観察部20の各部を制御してもよい。

0038

図2図1中の第1観察部10の一例を示している。第1観察部10の観察対象は、シャーレ等の培養容器51中の試料である。図2では、培養容器51は、底板四角形状の上方が開口した箱体であるが、底板の形状は円形状のものであってもその他の形状のものであってもよい。培養容器51の底板上には培地52が形成されている。培地52上に細胞53が培養されている。

0039

第1観察部10は図1の操作及び記録部30を除く回構成要素が収納された筐体41を有する。筐体41は培養が行われる高い湿度、比較的高温の環境下で装置に影響が出ることがないように、密封構造が取られ、四方側板41a〜41dによって囲まれ、底面に底板41eが配置され、上面は培養容器が載置される方向なので、装置から観察が可能なように透明板41fが配置されて、側板41a〜41d、底板41e及び透明板41fによって密閉された箱形状を有する。なお、図2では図面の見やすさを考慮して、透明板41fは側板41a〜41dから離間した状態を示しているが、実際には透明板41fを側板41a〜41dに当接させて、筐体41内部を密封する構造となっている。なお、この筐体41に操作及び記録部30の全部または一部が収められていてもよく、作業性に合わせて外部に拡張可能にしてもよい。

0040

筐体41内には、カメラ台42に取り付けられたカメラ装置43が収納されている。カメラ装置43は、図1の情報取得部13、制御部11及び通信部14に相当する。筐体41内には、x方向にカメラ装置43を進退させるためのx送りネジ44x、y方向にカメラ装置43を進退させるためのy送りネジ44yが設けられている。x送りネジ44xは、一端が支持部材45に回動自在に支持され、他端はカメラ台42の図示しないねじ孔に螺入されている。x送りネジ44xが回動することで、カメラ台42はx方向に進退自在である。また、y送りネジ44yは、一端が支持部材47に回動自在に支持され、他端は支持部材45が固定された移動部材46の図示しないねじ孔に螺入されている。y送りネジ44yが回動することで、移動部材46はy方向に進退自在である。従って、x,y送りネジ44x,44yを適宜回動させることによって、カメラ台42をx,y方向の任意の位置に移動させることが可能である。

0041

x,y送りネジ44x,44yは、それぞれ図示しない2つのモータによって回動されるようになっており、移動制御回路48は、この2つのモータを駆動することができるようになっている。移動制御回路48を含むカメラ台42の移動機構によって、図1の移動部12が構成される。なお、この位置を変えるスキャン走査機構は、様々な方式に変更可能で、ベルトで動かす方式でもよく、レールに沿ってモータで移動する方式でもよい。

0042

図1の画像取得部13aを構成するカメラ装置43は、透明板41fを介して入射される光を取り込む光学系43aを有しており、光学系43aの結像位置には、図示しない撮像素子が設けられている。光学系43aは、フォーカス(合焦)状態に設定するために可動されるフォーカスレンズフォーカス状態で変倍するズームレンズ等(図示せず)を有する。なお、カメラ装置43は、光学系43a中のレンズ及び絞りを駆動する図示しない機構部を有している。

0043

本実施の形態においては、透明板41a上には、培養容器51を載置可能である。透明板41fのサイズ、即ち筐体41のサイズは、例えば、培養容器51を透明板41f上に載置可能なサイズであればよい。図2では、透明板41fは培養容器51よりもサイズが大きい例を示したが、筐体41は、培養容器51と同様のサイズで構成することができ、例えば、携帯性に優れたスマートフォン等と同様のサイズ及び重量に構成することが可能である。

0044

本実施の形態においては、培養容器51を図示しない支持部材によって、透明板41f上に固定的に配置することができるようになっていてもよい。筐体が密閉構造で小型であれば、洗浄などの取り扱いにも耐え、あたかも培養容器と一体の機器として扱うことが出来る。

0045

カメラ装置43は、透明板41f上に載置された培養容器51内の細胞53の撮像画像を取得することができる。培養容器51を透明板41f上に固定的に配置した場合には、筐体41を傾斜させた場合でも、透明板41fと培養容器51との位置関係は変化しない。従って、例えば、クリーンベンチ内において筐体41と共に培養容器51を傾斜させるような作業を行う場合でも、透明板41f上に固定された状態の培養容器51とカメラ装置43の光学系43aとの位置関係は変化しないので、カメラ装置43のx、y方向の位置や、フォーカス状態が変化することはなく、カメラ装置43の固定などの制御により同じ細胞の状態を継続して観察可能である。

0046

カメラ装置43は、図1の通信部14に相当する通信部49を備えており、撮像して得た細胞等の撮像画像を通信部49を介して筐体41外部の機器に送信することができるようになっている。もちろん、この筐体部に表示パネルを設け、ここに上記撮像結果を表示する応用も考えられる。この筐体41外部の機器として、図1の操作及び記録部30を採用してもよい。この操作及び記録部30に表示パネルを設け、ここに上記撮像結果を表示する応用も考えられる。図1では第1観察部10内に操作及び記録部30が設けられている例を示しているが、操作及び記録部30を第1観察部10とは別体にして、筐体41外部に配置してもよい。このような操作及び記録部30として、タブレットPCやスマートフォン等を採用してもよい。

0047

図4は操作及び記録部30の一例として、タブレットPCやスマートフォン等によって構成された例を示す説明図である。

0048

図4に示すように、操作及び記録部30は通信部30aが内蔵されており、表面に液晶パネル等により構成された表示画面30bを備えている。表示画面30b上には、図示しないタッチパネルが設けられている。タッチパネルは、ユーザが指で指し示した表示画面30b上の位置に応じた操作信号を発生することができる。この操作信号は、操作及び記録部30を構成する操作部32に供給される。操作部32は、ユーザが表示画面30b上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作(ピンチ操作)、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出して、ユーザ操作に対応した操作信号を通信部30aを介して筐体41内の通信部49に送信することができるようになっている。

0049

この他、専用のメカスイッチ機構を設けてもよい。x、y方向への撮像部移動は十字キー形式でよく、同様にピント方向の制御を行うスイッチを設ける。その他、撮影用露出や絞りや画像処理用のスイッチを設けてもよく、これは、タッチ操作で行ってもよい。また、音声入力用のマイクをここに設けて、ユーザが音声で操作を行ってもよい。スマートフォン等の情報端末は、通信機能が充実しており、アプリケーション・ソフトのダウンロードや、外部サーバとの連携などで、システム制御部としての拡張性が高いので、本願の多くの制御や判断を、この操作及び記録部30に担当させてもよい。つまり、ウェアラブル部からは、画像のみを取得して作業判定は、操作及び記録部30が行ってもよく、カメラ装置の移動や各種制御もこの操作及び記録部30が、第1観察部10に行わせるようにしてもよい。座標変換などは、各観察部が分担等してもよいが、この操作及び記録部30が行う方が、システムとして柔軟な構造となる。

0050

例えば、操作部32は、ユーザ操作に基づいて、カメラ装置43による撮影範囲の移動を制御するための移動制御信号を発生して、通信部30aを介して通信部49に送信することができる。通信部49は、受信した移動制御信号を移動制御回路48に転送するようになっている。移動制御回路48は、受信した移動制御信号に基づいて、x,y送りネジ44x,44yの回転を制御するようになっている。これにより、カメラ装置43を、透明板41fの表面に平行な面内で任意の位置に移動させることが可能である。

0051

また、カメラ装置43は、オートフォーカス機能を備えており、光学系43aのフォーカスレンズを駆動して、合焦状態を維持させることができるようになっている。また、カメラ装置43は、ズームレンズを駆動することで、画角を変化させることが可能である。なお、カメラ装置43におけるズーム動作についても、ユーザ操作によって制御することができるようになっている。ユーザがタッチパネル等によりズーム操作を行うと、操作部32は、この操作に基づく制御信号を通信部30aを介して通信部49に送信する。通信部49によって受信された制御信号に基づいて、カメラ装置43は、ズームレンズを駆動して、画角を変化させる。このように、カメラ装置43は、ユーザ操作に基づいて、透明板41f表面に平行な任意の位置において任意の画角の視野範囲で撮像を行うことができる。なお、ズームレンズに代えて、カメラ装置43の位置を透明板41fの表面に垂直な方向に移動自在に構成してもよい。

0052

更に、本実施の形態においては、カメラ装置43の画角及び視野範囲の設定を第2観察部の取得画像によって自動制御することもできるようになっている。

0053

図3図1中の第2観察部20の一例を示しており、第2観察部20をメガネ型のウェアラブル端末装置(メガネ型端末装置)によって構成した例を示しており、観察を行う主要部のみを示している。

0054

図3において、メガネフレーム61の一部には、図1の制御部21、情報取得部23、通信部24及び表示部22の一部を構成する各回路が収納される回路収納部62が配設されている。図示しない左右のリムに嵌込まれる左右のレンズのうち右側レンズ前方側には、メガネフレーム61に支持された導光部22aが設けられている。また、回路収納部62の側面には、導光部22aの入射面に向かって映像光出射する表示パネル23cが配設されている。導光部22aの出射面は、人物が顔71にメガネフレーム61を装着した状態で、右目72の前方であって右レンズの一部の領域に対応する位置に配置されるようになっている。

0055

回路収納部62内に収納された表示部22の一部を構成する図示しない表示制御部は、制御部21から映像信号が与えられ、この映像信号に基づく映像光を表示パネル23cから導光部22aの入射面に向かって出射させる。映像光は導光部22a内を導光されて出射面から出射される。こうして、右目72の視野範囲の一部に、制御部21からの映像信号に基づく画像が視認されることになる。

0056

なお、第2観察部20は、シースルーで観察対象を直接観察することを妨げず、直接観察の観察対象と視野範囲の一部に見える入力された映像信号に基づく画像とを同時に観察することができるように構成されている。例えば、細胞培養の各種作業時に、作業の状況を直接観察すると同時に、第1観察部10によって取得された細胞の撮像画像を観察することも可能である。しかも、図3の第2観察部20は、ウェアラブル端末であり、ハンズフリーの機器であるから、観察に際して手足の動作が制限されることはないので、両手を駆使した作業性を損なうことなく第1観察部10によって取得された画像の観察が可能である。

0057

また、この第2観察部は、眼鏡型であることの利点を考慮した工夫がされており、例えば、口元に向かって音声収音する音声入力部などを併設してもよい。また、ユーザ(操作者)の見ている方向を撮影すれば、その操作の様子を判定することが可能となる。したがって、回路収納部62の先端には、操作の様子を観察可能なように、画像取得部23aを構成する撮像レンズ23bが設けられている。被写体からの光学像は、撮像レンズ23bを介して回路収納部62内に設けられた画像取得部23aの撮像素子に与えられる。この撮像素子によって、被写体光学像に基づく撮像画像を取得することができる。図3の例では、撮像レンズ23bは、メガネフレーム61のツル部分の先端に設けられており、ツル部分は人物の顔71と略同じ向きを向いているので、画像取得部23aは、人の目72による観察方向と同じ方向の被写体を撮像することが可能になるのである。これにより、画像取得部23aは、人が観察している作業状態に対応する画像を撮像画像として取得することが可能である。上述したように、画像取得部23aによって取得された撮像画像に基づいて、作業判定が行われる。

0058

なお、作業判定部21aによる作業対象位置の判定のために、透明板41f又は培養容器51等に指標を設けるようになっていてもよい。なお、この指標は、培養容器51との相対的な位置関係が既知であればよく、観察範囲内のいずれの位置に設けてもよい。この指標は、特定のパターンで第1観察部10のカメラ装置43(画像取得部23a)が判定可能として、指標位置をx、y方向の原点の一つとして、第1観察部10のカメラ装置43(画像取得部23a)が判定可能としてもよい。

0059

次に、このように構成された実施の形態の動作について図5乃至図13を参照して説明する。図5乃至図7は実施の形態の動作を説明するための説明図であり、図8及び図9は実施の形態の動作を説明するためのフローチャートである。

0060

図5はクリーンベンチ80内での作業の様子を示している。図2の第1観察部10は、クリーンベンチ80内の図示しない作業台上に載置されている。また、図3の第2観察部20は、作業者81の顔81aの前面に装着されている。第2観察部20の回路収納部62内の画像取得部23aは、作業者81の視線方向と同じ方向の視野範囲で撮像を行う。クリーンベンチは、清潔な環境下で様々な作業が出来るようになっているが、外部からなるべく汚染等が起きないように、狭い空間で手を動かして作業するなど、実際の培養のための作業には不自由さがつきまとう。この中で通常の顕微鏡観察などは極めて困難な状況と言える。

0061

作業者81は、クリーンベンチ80の前面開口部80aから手81bをクリーンベンチ80内に挿入して、第1観察部10の透明板41f上に載置された培養容器51等に対する作業を行う。図5の例では、作業者81は手81bでピペット85を把持し、培養容器51内の所定の位置の細胞に対してピペッティングを行う作業を示している。

0062

第1観察部10のカメラ装置43(画像取得部23a)は、光学系43aを介して透明板41f上に載置された培養容器51内の試料からの(透明板の方向、つまり載置された試料の方向の)光学像を取込み、撮像画像を取得する。この撮像画像は、通信部49(通信部14)を介して第2観察部20の通信部24に送信され、制御部21によって表示部22に供給される。表示部22は、図6に示すように、作業者81の右目82R前方に配置された導光部22aによって、カメラ装置43が取得した撮像画像を作業者81に視認させる。

0063

図6における右目82R及び左目82Lをそれぞれ囲む破線は左右の目82R,82Lによる視界を示している。図7はこの視界を説明するものである。左視界83Lは左目82Lによる視界を示し、右視界83Rは右目82Rによる視界を示している。左視界83Lは第2観察部20の図示しない左レンズ(素通しガラスでもよく、ガラスがなくてもよい)を通過した光学眼鏡視界であり、右視界83Rは第2観察部20の図示しない右レンズ(素通しガラスでもよく、ガラスがなくてもよい)を通過した光学眼鏡視界である。右視界83Rの一部に、導光部22aによる表示領域22bが設けられる。

0064

左右の視界83L,83Rにおける光学眼鏡視界は、作業者81が実際に見ている観察対象を示すものであり、表示領域22bは第1観察部10のカメラ装置43によって取得された画像である。従って、作業者81は、作業対象の培養容器51等を肉眼で確認しつつ不自由な環境下で両手を駆使して注意を要する作業をしながら、培養容器51内の試料の撮像画像を表示領域22bにおいて観察することができる。これは、従来の顕微鏡装置等ではほぼ不可能な事である。

0065

つまり、クリーンベンチ80を使用する場合には、前面開口部80aを介してクリーンベンチ80内に配置した培養容器51内の試料を観察することになり、肉眼では試料が見にくく、試料の確認は比較的困難である。しかし、本実施の形態においては、作業対象を肉眼で観察すると同時に、カメラ装置43によって取得した撮像画像を確認することができ、試料の確認を容易にして、作業性を著しく向上させることができる。

0066

更に、移動部12は、作業者81の作業に応じて、第1観察部10のカメラ装置43による視野範囲を自動的に変更することができる。図8はこの場合の制御を示している。なお、第1観察部10の制御部11及び第2観察部20の制御部21は、相互に連携して処理を行うので、以下の説明ではこれらの制御部11,21等による制御部1が制御を行うものとして説明する。

0067

図8のステップS1において、制御部1は作業判定を行う。情報取得部23の画像取得部23aは、撮像レンズ23bを介して入射した被写体光学像に基づく撮像画像を取得して、作業判定部21aに供給する。作業判定部21aは、作業者81による作業の内容及び作業の対象の位置(作業対象位置)を判定する(ステップS1)。制御部1は、作業対象位置が特定された場合には、ステップS2から処理をステップS3に移行して、移動部12を制御して、視野範囲内に作業対象位置が含まれるようにカメラ装置43を移動させる。なお、ステップS1では、撮像画像を用いて作業対象位置を判定する例を示したが、前述のように、音声入力部をウェアラブルの第2観察部20や操作部30に設け、音声入力によって作業対象位置を判定するようになっていてもよい。このように、細胞などの培養の作業時に使用されるこの眼鏡型端末装置は、表示部として機能するのみならず、培養容器中の試料に対する作業に関する情報をユーザの視線方向やユーザの指示から取得する情報取得部としても機能し、上記作業に関する情報を、カメラ装置43を制御するために送信するので、上記作業中の試料に関する画像などの情報を当該カメラ装置43などから取得して表示することができる。そのために上記作業対象位置の位置情報を取得する作業判定部を具備したことを特徴としている。このような作業判定は、必ずしも眼鏡型端末装置が単独で行う必要はなく、他の機器と通信で一部を連携して判定してもよく、また、画像のみを送信し、判定については外部にすべて委託してもよい。

0068

移動部12を構成する移動制御回路48は、x,y送りネジ44x,44yの回転を制御して、カメラ装置43を透明板41fの表面に平行な面内で任意の位置に移動させる。カメラ装置43は、移動後において、光学系43aのフォーカスレンズを駆動してオートフォーカス処理を行う。また、制御部1は、カメラ装置43の光学系43aを制御して、画角を変更することも可能である。こうして、作業対象位置を含む視野範囲で、カメラ装置43による撮像が行われる。こうして取得された撮像画像は、第2観察部20の表示部22の導光部22aによって、図7の表示領域22bに表示される(ステップS4)。

0069

例えば、作業者81が培養容器51内の所定の位置の細胞に対してピペッティング作業を行った場合には、制御部1のこのピペッティング作業の対象となった細胞が撮像されるように、視野範囲を設定することが可能である。

0070

図9はピペッティング作業時における作業対象位置の特定方法の一例を示すものである。
また、近年、ピペットは適量のピペッティング作業を容易にした、電動のものが普及していることから、本実施例のピペットも専用の装置として、先端近傍発光部などを設けたものにしても良い。発光部から特殊な波長の光や特殊なパターンの光を発光させれば、第2観察部20の画像取得部23aも、第1観察部10のカメラ装置43も、より容易にピペット先端部を検出することが出来るようになる。その位置と指標位置の差異から、カメラ装置43の位置を制御してもよいし、その光を追跡するようにカメラ装置43の位置を制御してもよい。

0071

制御部1は、ピペット先端の画像部分の判定が可能な場合には、ステップS13において、ピペット先端近傍の試料位置を判定する。この判定に際して、制御部1は、指標等を利用してもよい。また、制御部1は、培養容器の種類によっては、あるいは、培養容器の画像特徴などを利用して、指標等を利用することなく、ピペット先端近傍の試料位置を判定することが可能である。例えば、特殊形状の容器の特定の(例えば右端の)縁部などは、第2観察部20の画像取得部23aによって、容易に画像判定ができる。この結果を第1観察部10に送れば、第1観察部10のカメラ装置43も培養容器の右側縁部を容易に探し出して判定することができる。探さずとも、その位置(座標)を予めデータとして記録しておき、それに従って移動してもよい。

0072

図10及び図11はこのような培養容器の一例を示す説明図である。図10の培養容器91は、3つのウェル91aに分割されたものである。また、図11の培養容器92は、12個のウェル92aに分割されたマルチディッシュマイクロプレートである。図11のウェル92aは、例えば、画像取得部13aの視野範囲である例えば数mm径のものを採用することができ、画像取得部13aの1回の撮像において各ウェル92aの略全領域の撮像が可能である。従って、この場合には、制御部1は、ピペット先端がいずれのウェル92a近傍に位置するかを判定することで、比較的容易に作業対象位置の判定が可能である。

0073

数mm径であれば、第1観察部10のカメラ装置43の画角でもほぼ撮像範囲に収めることが出来るが、径の右端、左端、上端下端といった指示で、より的確にピペットの先で起こっていることを観察することが出来る。これも第2観察部20の画像取得部23aは、マルチディッシュのどのディッシュかやそのどの端部の作業であるかを容易に画像判定ができる。また、ユーザは、ピペットの先のものではなく、特定の試料に興味がある場合があり、このような場合は、ピペットから外れた位置に、一度、ピペット先端を持っていった時に、観察位置をロックするような工夫をしてもよい。このような繊細な制御は人工知能などの助けを借りて行ってもよい。このような作業判定は、必ずしも眼鏡型端末装置が単独で行う必要はなく、他の機器と通信で一部連携、または、すべて委託して判定をしてもよい。

0074

図11の培養容器92を採用した場合には、図8のステップS2において、いずれのウェル92aの作業対象位置に設定するかを音声によって指定することも可能である。例えば、ウェル92aの配列に対応した2けたの数字発声することで、制御部1が音声認識により作業対象位置を判定するようになっていてもよい。また、ユーザは、ピペットの先のものではなく、特定の試料に興味がある場合があり、このような場合も音声で、「右」、「左」と指示できるような応用制御をしてもよい。

0075

図12及び図13は透明板41f上に形成した指標50を利用した場合のピペット先端位置の判定方法の一例を示す説明図である。

0076

図12においては、第2観察部20の画像取得部23aを構成する撮像素子の撮像面23dが示してある。

0077

図12の例では、y方向について、撮像レンズ23bの中心の位置を基準(Y=0)として、指標50までの距離がY0であり、ピペット85による作業対象の位置までの距離がYpであることを示している。指標50のy方向の長さはΔY0である。また、撮像レンズ23bの中心から透明板41fの表面P41fまでの距離はZ0であるものとする。この場合には、下記(1)式及び(2)式が成立する。なお、Y0は、指標が特定の仕様であれば、ΔY0が既知であることやそこから換算したり、指標までの距離や指標の画像の入射角度Φ1を測定したりして得ることが出来る。
Y0=Z0×tanθ1 …(1)
Yp=Z0×tanθp …(2)
(1)式を変形して下記(3)式が得られ、(2)式及び(3)式から下記(4)式が得られる。
Z0=Y0/tanθ1 …(3)
Yp=Y0×tanθp/tanθ1 …(4)
また、θ1,θpは下記(5)式又は(6)式で示される。
θ1=π/2−φ1 …(5)
θp=π/2−φp …(6)
ここで、φ1及びφpは、撮像面23d上における光軸基準位置ZI1,ZIpから求められる。(5),(6)式を(4)式に代入することで、制御部1は、y方向についての作業対象位置を求めることができる。制御部1は、x方向についても同様の演算によって、作業対象位置を求めることが可能である。

0078

なお、上記各式によらず、測距によって図12の距離Dを求め、下記(7)式によって、y方向についての作業対象位置を求めてもよい。
Yp=D×sinθp …(7)
図12はピペット85の先端が透明板41fの表面P41fに略位置するものとして説明したが、実際は培養容器51の厚み等を考慮する必要がある。図13はピペット85の先端が培養容器51の高さ位置Zsに存在する場合の例を示している。この場合には、上記(4)式に代えて、下記(4a)式が導かれる。
Yp1=Y0×tanθp1/tanθ1 …(4a)
YpはYp1−ΔYpであり、下記(8)式が得られる。
Yp=Yp1−ΔYp=Yp−Zs×tanθp1 …(8)
θp1=π/2ーφp1であり、φpは撮像面23d上における光軸基準位置ZIp1から求めることができる。こうして、この場合においても、制御部1は、y方向についての作業対象位置を求めることができる。制御部1は、x方向についても同様の演算によって、作業対象位置を求めることが可能である。

0079

図9のステップS13において、制御部1は、ピペット85の先端部の試料位置の判定を行うと、次のステップS14において、ピペット85の先端位置を作業対象位置に設定して、処理を図8のステップS3に戻す。上述したように、ステップS3では、制御部1は、移動部12を制御して、カメラ装置43を移動させ、カメラ装置43の視野範囲内にピペット85による作業対象の位置が含まれるようにする。

0080

なお、この場合には、制御部1は、カメラ装置43の画像取得部13aによる撮像画像を元にして、作業対象位置を微調整するようにしてもよい。例えば、カメラ装置43からの撮像画像の画像特徴と、ピペット85の先端形状の画像特徴との一致比較によって、作業対象位置を高精度に決定してもよい。カメラ装置43による画像は、第2観察部20内の撮像素子による画像よりも拡大率が大きいので、作業対象位置をより高精度に求めることが可能である。こうして、制御部1は、カメラ装置43の視野範囲内にピペット85の作業対象位置が含まれるように、カメラ装置43の移動を制御する。また、ユーザは、ピペットの先のものではなく、特定の試料に興味がある場合があり、このような場合は、ピペットから外れた位置にまずピペットを持って行って、そこでカメラ装置43の撮像位置をロックするような工夫をしてもよい。後述の修正モーションも有効である。

0081

図9のステップS13において、第2観察部20からの撮像画像ではピペット85の先端部の位置を判定することができなかった場合には、制御部1は、ステップS15に移行して、ユーザによりカメラ装置43の位置を修正する修正モーションの指示が発生したか否かを判定する。ユーザが修正モーションの指示を行った場合には、制御部1は、移動部12を制御して、この指示に従った作業対象位置までカメラ装置43を移動させ(ステップS16)、処理を図8のステップS3に戻す。

0082

なお、制御部1は、ステップS12においてピペット85の先端の判定ができなかった場合又はステップS15において修正モーションの指示が発生しなかった場合には、処理を図8のステップS1に戻す。

0083

このように本実施の形態においては、第1観察部の筐体を携帯性に優れたサイズで構成し、この筐体を密封する透明板上に培養容器を固定的に載置可能にする。筐体内には透明板を介して培養容器内の試料の撮像画像を取得する画像取得部を設ける。そして、培養容器等に対する作業を観察する第2観察部からの撮像画像に基づいて作業対象位置を判定し、この判定結果に基づいて、第1観察部の画像取得部の視野範囲に作業対象位置が含まれるように、画像取得部を移動させる。これにより、ユーザが第2観察部の観察範囲内で所定の作業をしただけで、第1観察部の画像取得部の移動制御が行われて、作業対象の位置が第1観察部の撮像範囲内に入って作業対象位置の撮像画像が得られる。例えば、細胞培養において、ピペッティング作業を行うと、当該ピペッティング作業の対象位置が高倍率の画像取得部によって撮像されて、細胞等の画像を観察することができる。しかも、第1観察部は携帯性に優れ、培養容器は筐体に固定的に載置されているので、培養容器を傾ける等の作業を行う場合でも、容易にフォーカシング可能であり、細胞等の鮮明な撮像画像による観察が可能である。例えば、細胞容器をインキュベータから取りだして、クリーンベンチ等において細胞培養に関する作業を行う場合でも、簡単に細胞等の撮像画像による観察が作業と同時に可能となる。

0084

これによって、より注意深い作業が可能となり、作業経過などを客観的に記録することもでき、失敗なく、正確な作業や研究が可能となる。上記第2観察部(情報取得部)によって、上記培養容器中の試料に対する作業を撮像して得た撮像画像から得られた情報を、上記作業に関する位置情報として、第1観察部に送信している。この作業に関する位置情報は、上記作業を撮像して得た撮像画像の分析以外にも、作業に伴う予備動作の撮像結果を分析して得た結果であってもよく、ウエアラブル部で検出した撮像結果に限る必要もない。つまり発光部を検出して位置情報としてもよく、音声で指示した結果を位置情報としてもよい。また、作業を判定した位置情報そのものではなく、作業している試料や器具に関する情報から、位置情報を第1観察部が算出してもよい。

0085

更に、第2観察部をウェアラブル端末によって構成し、培養容器等に対する作業を観察する機能だけでなく表示機能を付加することで、作業を行いながら第1観察部により取得した細胞等の撮像画像による観察を行うことも可能である。特に、第2観察部を眼鏡型のウェアラブル端末により構成した場合には、作業の観察を行いながら、視線を移動させることなく視界の範囲内において、作業状況の観察及び作業対象の細胞等の撮像画像の観察が可能となり、作業性を著しく向上させることができる。

0086

細胞などの培養に関する作業の多くが、培養容器を培養そのものが起こるインキュベータから取り出して、清潔な環境下のクリーンベンチ等に移した状態で行われるが、適宜、精細顕微鏡等による確認も必要で、環境全体を通じて培養に影響を及ばすことのない清潔さの確保が重要であった。これには、作業を迅速化することが重要で、例えば、細胞の継代操作を一つとっても、培地の温度変更コンフルエントであることの確認、新しい培地への移行、試薬の添加、インキュベート細胞状態の確認、ピペッティング等の多くの作業工程があるが、これらの作業と培養状態の間でインキュベータからの取り出し工程があった。ここで、適宜、細胞状態の観察がないと、作業や培養状況の成否、進捗の確認ができない。一方では、細胞レベルの観察には、高倍率撮影が必要である。この観察装置(マイクロスコープ等)の視野範囲は、2〜3mm径程度となり、培養容器全体の観察には長時間を要する。また、マイクロスコープによる撮影では、被写界深度が極めて浅いので観察にも多くの調整などの作業工程を要し、こうした工程も含めての効率化が求められていた。このように、表示部を有する眼鏡型端末装置と通信する通信部を有し、培養容器中の試料に対する作業位置に関する情報をこの眼鏡型端末装置から得て、培養容器が載置された方向の画像を取得する画像取得部を移動制御させて、上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部とを具備したことを特徴とする観察装置及び眼鏡型端末装置と組み合わせた観察システムが提供できる。これらの位置判定やその位置への制御については、システム構成に自由度があり、一つの機器が個別の機能を受け持つ場合もあれば、複数の機器がまたがって一つの機能を構成する場合もあり、さらには、すべての制御をいずれかの機器が統括する場合、または、図示していない外部機器が統括して制御する場合と、様々な応用が可能であることは言うまでもない。

0087

(変形例)
第1の実施の形態においては、作業判定を行うために、第2観察部20によって取得した撮像画像を利用した。細胞の観察には高倍率の望遠レンズが必要であり、作業判定には作業状態を観察するための比較的広角のレンズでの撮像が必要である。しかし、仮に、第1観察部10の画像取得部13aにおいて、広角撮影から望遠撮影まで可能である場合には、画像取得部13aにおける広角撮影によって得た画像により作業判定を行い、作業判定結果によって、望遠撮影における視野範囲の位置を制御するようにしてもよい。即ち、この場合には、第2観察部20は省略可能である。

0088

なお、この場合でも、第1観察部10からの細胞の撮像画像については、所定のディスプレイ装置に表示させるようにする。特に、ディスプレイ装置として、眼鏡型のウェアラブル端末を用いることで、作業性を一層向上させることが可能である。

0089

(変形例)
第1の実施の形態においては、作業判定の判定結果に基づいて、望遠撮影における視野範囲の位置を制御した。しかし、第1観察部10の画像取得部13aにおいて、培養容器51の全体又は十分に広い範囲を極めて高解像度で撮像することができる場合には、視野範囲の位置を移動させることなく、作業対象位置が視野範囲に含まれることも考えられる。この場合には、第1観察部10の制御部11は、画像取得部13aによる撮像画像中から、作業対象位置を含む所定範囲の画像部分を切出して、拡大表示させるように制御してもよい。即ち、この場合には移動部12は省略可能である。

0090

(第2の実施の形態)
図14は本発明の第2の実施の形態において採用される動作フローを示すフローチャートである。第2の実施の形態のハードウェア構成は第1の実施の形態と同様である。本実施の形態における第1観察部10は、動作モードとして、カウントモードと、第1の実施の形態と同様に動作する作業モードとを有する。これにより、従来、インキュベータ内で実施されていた細胞カウントを、本実施の形態ではクリーンベンチ内においても実施可能とし、更に作業時の観察も可能にしている。

0091

図14は第1観察部10及び第2観察部20の動作を示している。なお、図14において第1観察部のフロー中の各処理と第2観察部のフロー中の各処理との間を結ぶ線分は、通信が行われることを示している。また、図15はカウントモードにおいて採用される移動パターン情報を示す説明図であり、図16はカウントモードにおけるカメラ装置43の移動を説明するための説明図である。

0092

移動パターン記録部31aには、図15に示す移動パターン情報が記憶される。図15に示す移動パターン情報は、カメラ装置43の移動の仕方を規定するための各種条件の情報(移動規定情報)を含む。移動規定情報中の開始条件は、カウントモードにおける撮像開始の条件、即ち撮像タイミングを規定するものであり、開始位置は、カメラ装置43の初期位置を規定するものであり、終了条件はカメラ装置43の移動を終了させる条件を規定するものである。また、移動規定情報中のX−Y条件は、カメラ装置43の移動方向をX方向からY方向に切換えるための条件を規定するものであり、Y−X条件は、カメラ装置43の移動方向をY方向からX方向に切換えるための条件を規定するものである。また、移動規定情報中のNG判定条件は、撮像結果をカウントに利用できない場合の条件を規定するものであり、例えば、正規の位置以外の位置で撮像が行われた場合や露出やフォーカスが不良の画像が撮影された場合等に警告を発するための条件である。また、再トライ判定条件はNG判定時に再度撮像を行うための条件を規定するものであり、例えばNG判定が行われた場合に開始位置に戻して撮像を再開する条件を規定している。

0093

記録部31には、カウントモードにおいて取得された情報も記録されるようになっている。図15の破線で囲った各領域は、それぞれカメラ装置43の各位置において得られた情報を示している。例えば、1秒間に1回撮像を行い、培養容器51全体の撮像に1時間要したものとすると、1回のカウントモードにおいて3600コマの画像が撮影される。図15のコマ1,2,…は各撮像画像情報を示す。また、時刻は撮像の時刻を示し、Z1は撮影時のピント位置を示し、撮影条件1,2,…は、撮影時における培養容器51上の位置(XY座標)情報、露光量、シャッター速度等の各種撮影条件を示している。図15の例では、カウントモードにおいては、一定のピント位置(その他、撮影深度対象物位置などZ方向の情報などでもよい)で撮像が行われていることを示している。その他、拡大率(画角)などを記録してもよい。

0094

第1観察部10の制御部11は、図14のステップS21において、操作待ち状態である。培養容器51が載置された第1観察部10を、例えばクリーンベンチ内に載置して作業が行われる。第1観察部10に対する操作が行われると、制御部11は、ステップS22において操作を判定する。撮像をオフにする操作が行われた場合には、制御部11はステップS23において撮像をオフにし、撮像が必要な操作が行われた場合には、制御部11はステップS23において撮像をオンにする。ステップS23のオン,オフ制御によって、撮像が不要な場合にバッテリ15の消費量が増大することを抑制することができる。

0095

一方、第2観察部20の制御部21は、図14のステップS41において、操作待ち状態である。第2観察部20に対する操作又は第1観察部10からの通信が発生すると、制御部21は、ステップS42において操作を判定する。撮像又は表示をオフにする操作が行われた場合には、制御部21はステップS43において撮像又は表示をオフにし、撮像又は表示が必要な状態が発生した場合には、制御部21はステップS43において撮像又は表示をオンにする。ステップS43のオン,オフ制御によって、撮像又は表示が不要な場合にバッテリ25の消費量が増大することを抑制することができる。

0096

第1観察部10の制御部11は、ステップS24において作業モードが指定されているか否かを判定する。作業モードにおいては、第1及び第2観察部10,20は、第1の実施の形態と同様の動作を行うことができる。作業モードが指定されている場合には、制御部11は、ステップS25において第2観察部20と通信を行う。なお、この通信によって、第2観察部20はステップS43において撮像を開始することが可能である。

0097

制御部11は、ステップS26において位置情報の通信があったか否かを判定する。第2観察部の制御部21において、作業判定が行われて、作業対象位置の位置情報が第1観察部10に送信された場合には、制御部11は処理をステップS28に移行する。第2観察部の制御部21による作業判定において作業対象位置の位置情報が取得されていない場合には、制御部11は処理をステップS27に移行する。

0098

ステップS27では、制御部11は、画像取得部13aに、視野範囲を変化させることなく撮像させ、取得された撮像画像を第2観察部20に送信する。また、ステップS28では、制御部11は、移動部12により画像取得部13aの視野範囲を位置情報に基づく範囲に変化させた後撮像させ、取得された撮像画像を第2観察部20に送信する。

0099

第2観察部20の制御部21は、ステップS44において第1観察部10から撮像画像が受信されたか否かを判定する。第1観察部10からの撮像画像が受信されると、制御部21は、ステップS45において受信した画像を表示部22に与えて表示させる。

0100

制御部21は、ステップS46において画像取得部23aにより作業状態を撮像して得た撮像画像を取得し、作業判定を行う。制御部21は、ステップS47において作業位置判定が行われたか否かを判定し、作業について判定結果が得られた場合にはステップS48において位置情報を第1観察部10に送信する。作業位置判定が行われなかった場合には、制御部21は処理をステップS49に移行する。

0101

第1観察部10の制御部11は、ステップS24において作業モードが指定されていないと判定した場合には、ステップS29においてカウントモードが指定されているか否かを判定する。本実施の形態においては、作業モード時と同様に、細胞数のカウントはクリーンベンチ内に第1観察部10を載置した状態で実施することが可能である。例えば、ユーザが操作部32を操作してカウントモードを指定すると、制御部11は、ステップS30において移動パターンの情報を読み出し、移動パターンに従った画像取得、記録及びカウント処理を実行する。

0102

図16横軸に透明板41fのX方向の位置をとり縦軸に透明板41fのY方向の位置をとって、カウントモードにおける画像取得部13aの視野範囲の中心位置(以下、視野範囲の位置という)の移動を直線によって示している。図16中の円形は培養容器51aを示している。なお、図16における視野範囲の位置の移動を示す直線の間隔は実際のものとは異なり、実際には培養容器51の全域が撮影されるように、視野範囲の位置の移動、即ちスキャンが行われる。

0103

制御部11は、移動パターン記録部31aから移動パターンの情報を読出し、移動パターンの情報中の開始位置に画像取得部13aの視野範囲の例えば中心を移動させる。図16の例では、制御部11は、視野範囲を先ずY方向の負方向に移動させる。制御部11は、開始条件を満足すると、撮像を行う。制御部11は、培養容器51aの縁辺部を検出することで撮像を開始してもよく、また、培養容器51aのサイズ及び透明板41f上の載置位置が規定されている場合には、培養容器51aの縁辺部として予め決められた位置に到達することで、撮像を開始してもよい。開始条件には撮像のタイミングが視野範囲の位置の移動量に応じて決められており、視野範囲の位置が所定の距離だけ移動する毎に、制御部11は画像取得部13aに画像を取得させる。

0104

こうして、制御部11は、画像取得部13aの視野範囲の位置を移動させながら撮像を繰り返し、撮像結果を順次記録部31に与えて記録させる。こうして、図15の各破線領域にて囲った撮像結果が蓄積される。制御部11は、視野範囲の位置がX−Y条件を満足すると、移動部12を制御して視野範囲の位置の移動をX方向に変化させる。図16の例では視野範囲の位置はX方向の負方向に変化している。以後同様にして、培養容器51aをスキャンしながら撮像を繰り返す。視野範囲の位置が終了条件を満足すると、制御部11はスキャンを停止し、記録された撮像画像に基づいて、細胞数のカウントを行う。なお、細胞数のカウントは、スキャン中に実行してもよい。

0105

制御部11は、ステップS30において、カウント処理が終了したか否かを判定する。終了した場合にはカウント結果を第2観察部20に送信する(ステップS31)。制御部11は、カウント処理が終了していない場合には、処理をステップS30からステップS24に戻す。

0106

第2観察部20の制御部21は、ステップS48においてカウント結果を受信したか否かを判定する。カウント結果を受信すると、制御部21は、受信したカウント結果を表示部22に与えて表示させる(ステップS50)。

0107

このように、本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、細胞数をカウントすることができる。カウントモードは、クリーンベンチ内において、例えば作業モードに引き続き実施することができ、極めて簡単に細胞の培養状態の確認を行うことができる。ここでは、細胞培養について説明したが、細胞の他、酵素抗体法タンパク質実験、その他、菌、微細藻類原生動物などの培養観察にも応用が可能となる。

0108

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。

0109

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

0110

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、半導体やその他の記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。また、様々な判断の部分は、人工知能を利用して行ってもよい。この場合、その判断を深層学習の結果に応じて変更するが、予め状況に応じての判断の善し悪しを学習させておけばよく、実使用時にも、自動化されていた判断の結果に、ユーザが修正を加えることで、好ましい制御と好ましくない制御の違いを人工知能に入力可能となり、さらに判定の精度を上げていくような事が可能となる。

0111

1,11,21…制御部、10…第1観察部、12…移動部、13,23…情報取得部、13a,23a…画像取得部、13b…位置取得部、14,24…通信部、21a…作業判定部、22…表示部、31…記録部、31a…移動パターン記録部、32…操作部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ