図面 (/)

この項目の情報は公開日時点(2017年7月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題・解決手段

血液学用デジタルホログラフィ顕微鏡検査(DHM)データを分析する方法が、デジタルホログラフィ顕微鏡検査システムを使用して取得された複数のDHM画像を受け取ることを含む。複数のDHM画像のそれぞれで1つ以上の連結成分識別され、1つ以上のトレーニング白血球画像が、1つ以上の連結成分から生成される。クラシファイアは、1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにトレーニングされる。クラシファイアが、新しい白血球画像に適用されて複数の確率値が決定され、それぞれの確率値が、複数の白血球タイプのうちの1つに対応する。次に、新しい白血球画像と複数の確率値が、グラフィカルユーザインタフェース提示されてもよい。

概要

背景

デジタルホログラフィ顕微鏡検査(DHM)は、干渉位相顕微鏡としても知られ、透明被検物ナノメートル以下の光学的厚さ変化を定量的に追跡する能力を提供するイメージング技術である。被検物に関する強度(振幅)情報だけを取得する従来のデジタル顕微鏡検査と異なり、DHMは、位相と強度両方を取得する。ホログラムとして取得される位相情報は、コンピュータアルゴリズムを使用して被検物に関する拡張された形態学情報(深さや表面特性など)を再現するために使用されうる。最新のDHM実施態様は、高速走査データ取得速度低ノイズ高分解能及びラベルフリーサンプル取得の可能性など、幾つかの付加的な利点を提供する。

容積測定分類などの従来の細胞分析技術は、局所解剖学的情報のない二次元細胞画像に依存する。したがって、そのような技術は、強度などの情報に基づいて細胞分析することができるが、その精度は、細胞のサイズと形状の情報の不足により限定される。したがって、細胞構造に関するより詳細な情報を提供するDHMなどの画像診断療法に応用できる細胞分析技術を提供することが望まれる。

概要

血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析する方法が、デジタルホログラフィ顕微鏡検査システムを使用して取得された複数のDHM画像を受け取ることを含む。複数のDHM画像のそれぞれで1つ以上の連結成分識別され、1つ以上のトレーニング白血球画像が、1つ以上の連結成分から生成される。クラシファイアは、1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにトレーニングされる。クラシファイアが、新しい白血球画像に適用されて複数の確率値が決定され、それぞれの確率値が、複数の白血球タイプのうちの1つに対応する。次に、新しい白血球画像と複数の確率値が、グラフィカルユーザインタフェース提示されてもよい。

目的

デジタルホログラフィ顕微鏡検査(DHM)は、干渉位相差顕微鏡としても知られ、透明被検物のナノメートル以下の光学的厚さ変化を定量的に追跡する能力を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

血液学用デジタルホログラフィ顕微鏡検査(DHM)データを分析する方法であって、デジタルホログラフィ顕微鏡検査システムを使用して獲得した複数のDHM画像を受け取る段階と、前記複数のDHM画像のそれぞれにおける1つ以上の連結成分識別する段階と、前記1つ以上の連結成分から1つ以上のトレーニング白血球画像を生成する段階と、前記1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにクラシファイアをトレーニングする段階と、新しいDHM画像から新しい白血球画像を抽出する段階と、前記クラシファイアを前記新しい白血球画像に適用して複数の確率値を決定する段階であって、それぞれの確率値が前記複数の白血球タイプのうちの1つに対応する段階と、前記新しい白血球画像と前記複数の確率値をグラフィカルユーザインタフェース提示する段階とを含む方法。

請求項2

前記1つ以上の連結成分を識別する段階の前に、前記複数のDHM画像のそれぞれにしきい値化を適用してそれぞれのDHM画像における輝点を強調する段階を更に含む、請求項1に記載の方法。

請求項3

前記1つ以上の連結成分が、1組の連結成分を含み、前記1つ以上の連結成分を識別する段階の後で前記1つ以上の連結成分から1つ以上の小さい連結成分を除去する段階を更に含み、各小さい連結成分が、所定のしきい値より小さいサイズを有する、請求項2に記載の方法。

請求項4

前記クラシファイアが、K最近接(K−NN)クラシファイアである、請求項1に記載の方法。

請求項5

前記クラシファイアが、前記複数のDHM画像のそれぞれから抽出されたテクストンベーステクスチャ特徴を使用して前記新しいDHM画像を分類する、請求項4に記載の方法。

請求項6

前記クラシファイアが、局所的画像特徴として階層的k平均とスケール不変特徴変換(SIFT)記述子とを使用してトレーニングされた視覚語彙辞書である、請求項1に記載の方法。

請求項7

前記複数のDHM画像のそれぞれから複数の稠密SIFT記述子を抽出する段階と、前記複数のDHM画像のそれぞれから抽出された前記複数の稠密SIFT記述子に基づいて語彙辞書の構造を表す二分探索木を構築する段階と、前記二分探索木に基づいて視覚的語彙辞書を生成する段階を更に含む、請求項6に記載の方法。

請求項8

前記視覚的語彙辞書が、語彙ヒストグラムである、請求項7に記載の方法。

請求項9

前記複数のDHM画像における前記複数の白血球タイプの1つ以上を識別するために1対1nラベルサポートベクトルマシンSVM)が使用される、請求項6に記載の方法。

請求項10

前記クラシファイアが、自動エンコーダ畳み込みニューラルネットワークCNN)を使用してトレーニングされたディープラーニングクラシファイアである、請求項1に記載の方法。

請求項11

光学濃度染色プロトコルと関連付けられた着色との間のマッピングを決定する段階と、前記新しい白血球画像と関連付けられた光学濃度情報を決定する段階と、前記新しい白血球画像を提示する段階の前に、前記マッピングと前記光学濃度情報を使用して前記新しい白血球画像を着色する段階とを含む、請求項1に記載の方法。

請求項12

前記複数の確率値を使用して全血球(CBC)検査を行なう段階を更に含む、請求項1に記載の方法。

請求項13

血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析するための製品であって、デジタルホログラフィ顕微鏡検査システムを使用して取得された複数のDHM画像を受け取る段階と、前記複数のDHM画像のそれぞれにおける1つ以上の連結成分を識別する段階と、前記1つ以上の連結成分から1つ以上のトレーニング白血球画像を生成する段階と、前記1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにクラシファイアをトレーニングする段階と、新しいDHM画像から新しい白血球画像を抽出する段階と、前記クラシファイアを前記新しい白血球画像に適用して複数の確率値を決定する段階であって、それぞれの確率値が前記複数の白血球タイプのうちの1つに対応する段階と、前記新しい白血球画像と前記複数の確率値をグラフィカルユーザインタフェースで提示する段階とを含む方法を実行するためのコンピュータ実行命令を保持する非一時的有形コンピュータ可読媒体を含む製品。

請求項14

前記1つ以上の連結成分を識別する段階の前に、前記複数のDHM画像のそれぞれにしきい値化を適用してそれぞれのDHM画像内における輝点を強調する段階を更に含む、請求項13に記載の製品。

請求項15

前記1つ以上の連結成分が、1組の連結成分を含み、前記方法が、更に、前記1つ以上の連結成分を識別する段階の後で前記1つ以上の連結成分から前記1つ以上の小さい連結成分を除去する段階を含み、それぞれの小さい連結成分が、所定のしきい値より小さいサイズを有する、請求項14に記載の製品。

請求項16

前記クラシファイアが、前記複数のDHM画像のそれぞれから抽出されたテクストンベーステクスチャ特徴を使用して前記新しいDHM画像を分類する、請求項13に記載の製品。

請求項17

前記クラシファイアが、局所的画像特徴として階層的k平均とスケール不変特徴変換(SIFT)記述子とを使用してトレーニングされた視覚的語彙辞書である、請求項13に記載の製品。

請求項18

前記クラシファイアが、自動エンコーダ畳み込みニューラルネットワーク(CNN)を使用してトレーニングされたマージナルスペースラーニング(MSL)クラシファイアである、請求項1に記載の製品。

請求項19

光学濃度と染色プロトコルと関連付けられた着色との間のマッピングを決定する段階と、前記新しい白血球画像と関連付けられた光学濃度情報を決定する段階と、前記新しい白血球画像を提示する段階の前に、前記マッピングと前記光学濃度情報を使用して前記新しい白血球画像を着色する段階とを含む、請求項13に記載の製品。

請求項20

血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析するシステムであって、デジタルホログラフィ顕微鏡検査システムと通信して複数のトレーニングDHM画像と検査DHM画像を取得するように構成されたネットワーク構成要素であって、前記複数のトレーニングDHM画像のそれぞれにおける1つ以上の連結成分を識別し、前記1つ以上の連結成分から1つ以上のトレーニング白血球画像を生成し、前記1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにクラシファイアをトレーニングし、前記検査DHM画像から検査白血球画像を抽出し、前記クラシファイアを前記新しい白血球画像に適用して複数の確率値を決定し、それぞれの確率値が、前記複数の白血球タイプのうちの1つに対応するように構成されたモデリングプロセッサと、前記検査白血球画像と前記複数の確率値を提示するように構成されたグラフィカルユーザインタフェースとを含むシステム。

技術分野

0001

関連出願の相互参照
本出願は、2014年6月16日に出願された米国仮出願第62/012,636号の出願日遡及特典を請求し、この出願は、参照により全体が本明細書に組み込まれる。

0002

本開示は、一般に、血液学用途のデジタルホログラフィ顕微鏡検査(DHM)分析に関する。本明細書で述べる様々なシステム、方法及び装置は、例えば赤血球RBC容積測定及び白血球(WBC)鑑別細胞タイプ分類)用途に適用されることがある。

背景技術

0003

デジタルホログラフィ顕微鏡検査(DHM)は、干渉位相顕微鏡としても知られ、透明被検物ナノメートル以下の光学的厚さ変化を定量的に追跡する能力を提供するイメージング技術である。被検物に関する強度(振幅)情報だけを取得する従来のデジタル顕微鏡検査と異なり、DHMは、位相と強度両方を取得する。ホログラムとして取得される位相情報は、コンピュータアルゴリズムを使用して被検物に関する拡張された形態学情報(深さや表面特性など)を再現するために使用されうる。最新のDHM実施態様は、高速走査データ取得速度低ノイズ高分解能及びラベルフリーサンプル取得の可能性など、幾つかの付加的な利点を提供する。

0004

容積測定や分類などの従来の細胞分析技術は、局所解剖学的情報のない二次元細胞画像に依存する。したがって、そのような技術は、強度などの情報に基づいて細胞を分析することができるが、その精度は、細胞のサイズと形状の情報の不足により限定される。したがって、細胞構造に関するより詳細な情報を提供するDHMなどの画像診断療法に応用できる細胞分析技術を提供することが望まれる。

課題を解決するための手段

0005

本発明の実施形態は、血液学用のデジタルホログラフィ顕微鏡検査(DHM)分析に関連した方法、システム及び装置を提供することによって、以上の短所と欠点のうちの1つ以上に取り組みそれを克服する。更に、文中で更に詳細に説明されるように、本明細書で述べる技術は、他の臨床用途にも適用されうる。

0006

幾つかの臨床用途で使用するための技術は、拡張された深さ及び形態学的情報による高分解能で広視野イメージングを潜在的ラベルフリー方式で達成するDHMの能力によって位置付けられる。例えば、血液学分野では、DHMは、赤血球(RBC)容積測定、白血球(WBC)鑑別(細胞タイプ分類)に使用されることがある。尿沈渣分析では、DHMは、層内のマイクロ流体サンプルを走査して沈殿物を再現することを可能にし(恐らく沈殿を待つことなく)、沈殿物成分分類精度を改善する。また、DHMは、DHMの拡張された形態学/コントラスト(例えば、ラベル付けなしに新しい組織内で正常細胞から癌を区別する)の利用によって、組織病理学用途に使用されることがある。同様に、希少細胞検出用途では、DHMの拡張された形態論/コントラスト(例えば、循環腫瘍上皮細胞幹細胞感染細胞などの希少細胞を区別するために)を利用する。

0007

本発明の一態様によれば、幾つかの実施形態で述べたように、血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析する方法は、デジタルホログラフィ顕微鏡検査システムを使用して取得したDHM画像を受け取ることを含む。複数のDHM画像のそれぞれで1つ以上の連結成分識別される。1つ以上の連結成分から1つ以上のトレーニング白血球画像が生成され、クラシファイアは、1つ以上のトレーニング白血球画像を使用して白血球タイプを識別するようにトレーニングされる。新しいDHM画像を受け取ったとき、DHM画像から新しい白血球画像が抽出される。次に、新しい白血球画像にクラシファイアが適用されて確率値が決定され、それぞれの確率値は、白血球タイプのうちの1つに対応する。次に、新しい白血球画像と複数の確率値が、グラフィカルユーザインタフェース提示されてもよい。幾つかの実施形態では、確率値を使用して全血球(CBC)検査が実行されてもよい。

0008

前述した本発明の様々な実施形態に種々の強調、修正又は追加が行われてもよい。例えば、幾つかの実施形態では、1つ以上の連結成分を識別する前に、複数のDHM画像のそれぞれにしきい値化が適用されて、それぞれのDHM画像内の輝点が強調される。次に、所定のしきい値より小さいサイズを有する成分(即ち、連結成分)が除去されてもよい。幾つかの実施形態では、クラシファイアは、K最接近(K−NN)クラシファイアである。そのようなクラシファイアは、複数のDHM画像のそれぞれから抽出されたテクストンベース(texton-base)のテクスチャ特徴を使用して新しいDHM画像を分類する。他の実施形態では、クラシファイアは、階層的k平均とスケール不変特徴変換(SIFT)記述子局所的画像特徴として使用してトレーニングされる視覚語彙辞書(例えば、語彙ヒストグラム)である。例えば、稠密SIFT記述子が、複数のDHM画像のそれぞれから抽出され、語彙辞書構造を表す二分探索木を構成するために使用される。次に、二分探索木に基づいて視覚的語彙辞書を生成することができる。DHM画像内の複数の白血球タイプのうちの1つ以上を識別するために、1対1nラベル(one against one n-label)サポートベクトルマシンSVM)が使用されてもよい。更に別の実施形態では、クラシファイアは、自動エンコーダ畳み込みニューラルネットワークCNN)を使用してトレーニングされたディープラーニングクラシファイアである。

0009

更に、前述の方法の幾つかの実施形態では、デジタル染色法が、白血球画像に適用される。例えば、一実施形態では、光学濃度染色プロトコルと関連付けられた着色との間のマッピングが決定される。新しい白血球画像と関連付けられた光学濃度情報も決定される。新しい白血球画像を提示する前に、マッピング及び光学濃度情報を使用して、新しい白血球画像が着色される。

0010

本発明の別の態様によれば、幾つかの実施形態で述べるように、血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析するための製品は、前述の方法を実行するためのコンピュータ実行命令を保持する非一時的有形コンピュータ可読媒体を含む。この製品は、更に、前述の方法に関して前述した追加特徴のうちのどの追加特徴の命令を含んでもよい。

0011

本発明の他の実施形態では、血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析するシステムは、ネットワーク構成要素モデリングプロセッサ及びグラフィカルユーザインタフェースを含む。ネットワーク構成要素は、デジタルホログラフィ顕微鏡検査システムと通信してトレーニングDHM画像と検査DHM画像を取得するように構成される。モデリングプロセッサは、トレーニングDHM画像のそれぞれのおける1つ以上の連結成分を識別し、1つ以上の連結成分からの1つ以上のトレーニング白血球画像を生成し、1つ以上のトレーニング白血球画像を使用して白血球タイプを識別するようにクラシファイアをトレーニングするように構成される。モデリングプロセッサは、更に、検査DHM画像から検査白血球画像を抽出し、クラシファイアを検査白血球画像に適用して確率値を決定するように構成され、それぞれの確率値は、白血球タイプのうちの1つに対応する。グラフィカルユーザインタフェースは、検査白血球画像と確率値とを示すように構成される。

0012

本発明の追加の特徴及び利点は、添付図面を参照して進む説明的実施形態の以下の詳細な説明から明らかにされる。

図面の簡単な説明

0013

本発明の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最も理解される。本発明を示すために、図には現在好ましい実施形態が示されるが、本発明が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。

0014

幾つかの実施形態による赤血球容積計算のためにDHM画像を処理するための機構の説明図である。
幾つかの実施形態で実行されうるような、光路差DHM(OPD−DHM)画像内の赤血球のセグメンテーションの例示的な説明図である。
幾つかの実施形態で利用されうるような、正常赤血球幾何形状モデルを示す図である。
正則化を示す赤血球のパラメトリックモデリングの例を示す図である。
幾つかの実施形態による細胞容積を計算するプロセスの説明図である。
幾つかの実施形態に適用されうるような、白血球を分類するための前処理機構の説明図である。
幾つかの実施形態によるトレーニングと検査に使用される白血球のサンプルを示す図である。
幾つかの実施形態に使用されうるような、各細胞のトレーニングと検査に使用されうるデータセットの例を示す表である。
幾つかの実施形態によって得られるような、この例示的事例ではテクストン特徴とKNNクラシファイアを使用して得られたペアワイズ分類(pairwise classification)結果を示す表である。
幾つかの実施形態で適用されうるような、局所的画像特徴サンプリングの例を示す図である。
語彙辞書構造を表す完全二分探索木構造を示す図である。
幾つかの実施形態で適用されるような、局所的画像特徴(稠密SIFT記述子)から全体画像特徴(語彙ヒストグラム)に変換するためのワークフローを示す図である。
幾つかの実施形態によって得られるSIFT及びSVM分類を使用するペアワイズ分類結果を示す表である。
幾つかの実施形態で利用されることがある1つの隠蔽層を有するフィードフォワードニューラルネットワークの構造を示す図である。
幾つかの実施形態による、結果視覚化を提供しユーザ対話訂正を容易にするGUIを示す図である。
本発明の実施形態が実現されうる例示的な計算処理環境を示す図である。

実施例

0015

以下の開示は、発明を血液学や他の臨床用途のデジタルホログラフィ顕微鏡検査(DHM)分析と関連した方法、システム及び装置を対象とする幾つかの実施形態にしたがって説明する。簡単に言うと、本明細書で述べる技術は、本明細書で述べる様々な実施形態で様々な構成で適用されうる3つの基本概念からなる。第1に、幾つかの実施形態では、赤血球(RBC)容積評価は、画像収集プロセス中に引き起こされる歪みをなくす試みにおいて、赤血球のパラメトリックモデルリングを使用して生のDHMデータを正則化し赤血球の実際モデルと突き合わせることによって行われる。第2に、幾つかの実施形態では、DHMによって取得された白血球(WBC)のラベルフリー鑑別は、機械学習アルゴリズムを使用して行われ、機械学習アルゴリズムは、WBCの各サブタイプ(即ち、単核細胞好中球好塩基性細胞リンパ細胞エオシン好性細胞)に1組のトレーニングサンプルDHM画像から特徴的トポロジー変化を抽出する。次に、機械学習アルゴリズムは、学習したDHM画像ベースの特徴に基づいて、新しい細胞をカテゴリの1つに自動的に分類する。第3に、幾つかの実施形態では、従来の染色技術に似るように細胞の分類DHM画像の「デジタル染色」又は「疑似着色」が行なわれる。本明細書で述べるデジタル染色法は、一致対のDHMと1組の細胞の染色画像を使用し、DHM画素(従来の染色法のRGB配色設計に対する細胞成分のトポロジーを表す)をマッピングする回帰関数を学習する。

0016

図1は、幾つかの実施形態による赤血球容積計算のためにDHM画像を処理するための機構100の説明図を示す。簡単に言うと、DHMシステム105を使用して1つ以上の入力画像収集する。デジタルホログラフィ顕微鏡検査システム105は、DHM画像を取得できる当該技術分野で既知の任意のシステムでよい。画像セグメンテーション構成要素110は、取得した入力画像内の赤血球のセグメンテーションを実行する。次に、パラメトリックモデリング構成要素115が、赤血球のモデルを作成する(例えば、カッシーニ楕円形を使用して)。次に、パラメトリックモデリング構成要素120が、各赤血球の厚さ情報を計算し、この厚さ情報を使用して赤血球の体積を決定することができる。

0017

赤血球をセグメント化するために、種々のセグメンテーション技術を入力画像に適用することができる。例えば、幾つかの実施形態では、画像セグメンテーション構成要素110によって行なわれるセグメンテーション問題は、組合わせ最適化機構内の区分的に一定のマンフォードシャーエネルギー関数を最小にするエネルギー最小化問題として表現される。セグメンテーションエネルギーは、以下のように説明することができる。画像uと関心画像u:Ω→Rの場合(ここで、Ωは、幾つかの連結成分Ωiを含むR2内の開境界サブセットであり、閉境界C=δΩによって定められ)、uが成分Ωi内で一定で境界C遷移が鋭くなるように区分的一定近似を求める。これは、次のような式で表される。

0018

0019

ここで、xpは、特定の画素p=(x,y)が細胞に属するか背景に属するかを示す2値変数である。各画素p=(x,y)∈Ωの2値変数xpは、次のように設定される。

0020

0021

定数c1及びc2は、入力DHM画像の区分的一定近似を表わし、wpqは、ユークリッド長さ正則化の重みを表わし、μは、セグメンテーションエネルギーに対する長さ正則化の寄与を定義する重み付け係数である。細胞核が細胞の残り部分から分離するのを防ぐために、μには比較的高い値が使用されることがある。

0022

図2は、光路差DHM(OPD−DHM)画像における赤血球のセグメンテーションの例示的説明図を示す。画像205は、入力画像を示し、画像210は、画像205に赤血球境界を与えた描写点線で表わされた)を示す。

0023

正常赤血球は、一般に、面積容積比を高くするために両凹円盤として形成される。例えば、図3は、正常赤血球の幾何学形状モデル300を示す。(図3に示された)細胞の形状に影響を及ぼす4つの主なパラメータは、細胞の直径(D)、最小へこみ厚さ(t)、最大厚さ(h)、及び最大厚さを定める円の直径(d)である。

0024

図3に示された幾何学的理解を使用すると、各赤血球の形状と配列を特徴付けるパラメトリックモデリング構成要素120によって適用されることがある赤血球表面表現の幾つかの両凹状モデルがある。例えば、幾つかの実施形態は、以下の式を利用する当該技術分野で一般に知られたエヴァンス・ファン・モデル(Evans-Fung Model)技術を利用する。

0025

0026

ここで、Rは、細胞の半径(R=D/2)、ρは、細胞の中心からの水平距離である。モデルパラメータc0、c1及びc2を推定するために、パラメトリックモデルから推定された深さマップとDHMから観察された深さとの間の二乗誤差を最小にする。厚さプロファイルの二乗誤差は、次のように表される。

0027

0028

幾つかの実施形態では、細胞のパラメトリックモデリングは、細胞表面を正則化して赤血球のフィジカルモデルを突き合わせ、画像収集プロセス中に生じるひずみを除去する。図4は、正則化を示す赤血球のパラメトリックモデリングの例を提供する。画像405では、細胞表面が、DHM画像から観察されたように描かれている。画像410は、エヴァンス・ファン・モデルによって特徴付けられた細胞表面を示す。

0029

各細胞のセグメンテーションとパラメトリックモデリングを行なった後、各RBCの容積が計算されてもよい。次に、RBC容積は、臨床的測定値として単独で使用されてもく、追加の臨床的有効数字を得るために使用されてもよい。例えば、RBC容積の計算は、全血球算定(CBC)におけるクリティカルパラメータである平均赤血球容積MCV)を決定する際に使用される。

0030

図5は、幾つかの実施形態による細胞容積を計算するためのプロセス500の説明図を提供する。ステップ505で、赤血球のOPD−DHM画像を受け取る。次に、ステップ510で、DHM画像をセグメンテーションして背景から全ての赤血球を抽出する。セグメンテーションは、例えば、組み合わせ区分的一定マンフォード・シャー(Mumford-Shah)エネルギー関数又は当該技術分野で一般に知られた任意の技術を使用して実行されうる。ステップ515で、個々の赤血球にラベル付けするために、連結成分分析がセグメンテーションマスクに適用される。

0031

引き続き図5を参照して、ステップ520〜530で、各赤血球に測定プロセスが行なわれる。ステップ520で、細胞表面が、例えばエヴァンス=ファン技術を使用して近似される。式4の二乗差が最適化され、モデルパラメータC0、C1及びC2が計算される。次に、ステップ525で、モデルは、式3を使用して最新細胞厚z(p)を推定するために使用される。次に、ステップ530で、最新細胞厚を使用して細胞容積を計算する。プロセス500の出力は、各赤血球の容積である。

0032

プロセス500を拡張して、細胞の平均ヘモグロビン量を提供することもできる。このため、従来の血液分析器が、平均細胞容積の較正と、光学濃度マップ容積の平均ヘモグロビン量への変換とに使用されてもよい。

0033

鑑別血球検査は、血球サンプル中の白血球タイプの各種の比率を測定する。各種の白血球を特定することは、伝染病貧血白血病などの疾病診断するために使用される血液鑑別分析にとって重要な予備ステップである。このステップに取り組むために、本明細書で述べるシステムは、様々な白血球タイプを鑑別するために適用されうる。具体的には、前述のシステムは、5つの異なるタイプの白血球、即ち、単核細胞、好塩基性細胞、好中球、エオシン好性細胞及びリンパ細胞を鑑別することを目的とする。簡単に言うと、白血球を処理するパイプラインが、以下の3つのステップを含む。第1のステップは、前処理であり、様々なタイプの白血球を識別し分離する。第2のステップは、トレーニングであり、抽出細胞からクラシファイアをトレーニングする。第3のステップは、分類であり、クラシファイアを使用して目に見えない細胞を分類する。次に、これらのステップのそれぞれについて詳細に検討する。

0034

図6は、幾つかの実施形態に適用されうるような、白血球を分類するための前処理機構600の説明図を示す。前処理ステップの間、クラシファイアトレーニングステップのトレーニングパッチを準備するためにパイプラインが使用される。最初に、入力画像605に、輝点(細胞である可能性がきわめて高い)を取得するためにしきい値を適用する。しきい値化の後で、しきい値化画像610に連結成分分析を適用する。次に、画像615に示したように、各連結成分の成分サイズを計算する。成分は、そのサイズが所定のしきい値t1及びt2以下の場合に拒絶される。拒絶された成分は、トレーニングと検査から除外される。残りの成分を含むパッチ(パッチは、連結成分を含む矩形ボックスである)が、クラシファイア(例えば、K最近接クラシファイア)をトレーニングするために使用される。

0035

前処理機構600の後で、白血球のDHM画像に5つの部分鑑別を行なうための様々な機械学習アルゴリズムが使用されうる。例えば、幾つかの実施形態では、テクストンベース手法が使用され、細胞のDHM画像のテクスチャ特徴が、主な識別特徴として使用される。他の実施形態では、よりデータ駆動型の手法が使用され、画像パッチ辞書が学習され、画像全体をヒストグラムとして表わすために使用される。次に、ヒストグラムは、様々な細胞サブタイプの分類のための主な特徴として使用される。他の実施形態では、分類は、複数層を有する畳み込みニューラルネットワークに基づいて、特徴抽出、選択及び分類を多層ネットワークによって同時に行なう。これらの様々な手法のそれぞれについては、後で詳細に述べる。

0036

当該技術分野で一般に理解されるように、画像分類アルゴリズムは、代表画像のデータセットを使用してトレーニングされる。図7に、トレーニングデータセットの一例を示す。この例では、細胞画像は、単核細胞、好塩基性細胞、好中球及びリンパ細胞の4つのカテゴリのうちの1つでラベル付けされる。このトレーニングセットが、クラシファイアをトレーニングする際に使用されることがあるデータの一例に過ぎないことに注意されたい。例えば、幾つかの実施形態で使用される他のトレーニングセットは、追加のカテゴリ(例えば、エオシン好性細胞)を含んでもよい。更に(又は、代替として)、カテゴリは、より細かいレベルの粒度を有することができる。

0037

分類にテクストンベース手法が使用される実施形態では、前処理された細胞画像を含む抽出パッチが、K最近接(K−NN)クラシファイアをトレーニングするために使用される。クラシファイアは、各パッチから抽出されたテクストンベーステクスチャ特徴を利用した。テクストンは、フィルタバンク応答の収集による小さいテクスチャ特徴の表現である。テクストンベーステクスチャクラシファイアは、テクストンのヒストグラムを使用して、テクスチャを、トレーニングデータセットのテクストンと比較されたときに特定のパッチでテクストンの頻度によって特徴付ける。テクストン特徴は、特に、細胞核の粒度が様々な細胞タイプで異なりかつこれをテクスチャ特徴を使用して取得できることが病理学的に証明されているので使用される。

0038

テクストンベース手法を示すために、テクストンベーステクスチャ特徴表現と単純なK−NNクラシファイアの組み合わせを検討する。図8Aは、各細胞タイプをトレーニングし検査するために使用されうるデータセットの例を示す表を提供する。全ての一対分類でこの例示的データセットに関して得られる分類率は、75%〜95%である。図8Bは、このサンプルの場合にテクストン特徴とKNNクラシファイアを使用して得られる一対分類結果を示す。

0039

以前のペアワイズ分類を使用して複数ラベルクラシファイアを提供するために、投票を使用して1つ以上のペアワイズクラシファイアが組み合わされてもよい。理想的には4つのクラシファイアが、クラスラベルで一致しなければならず、6つのクラシファイアが、ランダムラベル付けを提供することになる。例えば、10個のクラシファイアが、C1〜C10として示される場合、未知サンプルSの最終クラスラベルLは、10個のクラシファイアのラベルのモード(最も頻度の高い値)として表わされうる。換言すると、複数ラベル分類問題に関して、10個の一対クラシファイアの過半数の票がラベル付けされる。全ての一対分類を1つの複数ラベルクラシファイアに組み合わせることによって、図8Aに示された例示的データセットの適正分類率が76.5%になった。

0040

幾つかの実施形態では、この複数クラスベース画像分類問題を解決するために、視覚語の袋(bag of visual words)(BOW)手法が使用されうる。BOW手法では、全体画像の特徴が、視覚語の発生数ベクトル(局所的画像特徴に基づく語彙辞書上のヒストグラム)によって表わされる。これらの全体画像特徴は、次に分類に使用される。パイプラインは、オフライン語彙学習、画像分類トレーニング及び検査の3つのステージに分割されうる。オフライン語彙学習ステージでは、視覚的語彙辞書が、局所的画像特徴として階層的k平均及びSIFT(スケール不変特徴変換)記述子を使用してトレーニングされてもよい。分類のために、1対1nラベルサポートベクトルマシン(SVM)が利用されてもよい。オーバーフィッティング問題を回避するために、2つの手法が使用されうる。第1に、各トレーニング画像が、ランダムな程度で乱されることがある。第2に、トレーニングデータセットに対するクロス確認を使用してカーネルのSVMパラメータが決定されることがある。

0041

SIFT記述子は、不変局所画像構造と局所テクスチャ情報の取得を示す。稠密SIFT記述子は、画像のns画素ごとに計算されてもよい(w×h。ここで、wとhはぞれぞれ画像の幅と高さである)。例えば、128次元SIFT記述子が使用されてもよく、したがって、1画像あたり約(w/ns)×(h/ns)×128個の局所的画像特徴がある。図9は、幾つかの実施形態で適用されるように、局所的画像特徴サンプリングの例を示す。この例では、各白点は、128次元SIFT記述子が計算される位置を表わす。

0042

幾つかの実施形態では、視覚的語彙辞書を構成するために、改良された語彙木構造が利用される。語彙木は、階層的k平均クラスタリングを使用する階層的量子化を定義する。図10は、語彙辞書構造を表す完全な二進(k=2)探索木構造を示す。ノード1005は、視覚的クラスタ中心である。第2の葉ノードは、最終的に視覚的語彙として使用される。ndは、二進木の深さである。語彙木学習ステージで、最初に、初期k平均アルゴリズムがトレーニングデータ(データセットのトレーニングから導出されたSIFT記述子の収集)に適用され、次に2つのグループ区分され、各グループは、クラスタ中心に最も近いSIFT記述子を含む。次に、このプロセスは、木深さがndに達するまで再帰的に適用される。オンラインステージで、SIFT記述子(ベクトル)が、この特徴ベクトルを2つのクラスタ中心と比較し、最も近いものを選択することによって、各レベルだけ木の下の方に渡される。各画像上の全ての稠密SIFT記述子の視覚的ワードヒストグラムが計算される。

0043

図11は、局所的画像特徴(稠密SIFT記述子)から全体画像特徴(語彙ヒストグラム)に変換するためのワークフローの視覚化を提供する。図12に、SIFT特徴を例示的データセットのSVM分類と組み合わせることによって得られた結果を示す。これらのペアワイズ・クラシファイアを組み合わせることにより、5タイプ分類問題の適正分類率が84%になった。

0044

幾つかの実施形態では、5タイプ分類を行なうために、ディープラーニング(DL)アーキテクチャが使用される。SVMは、主に、二進数分類のために表されるが、DLは本質的にマルチラベルクラシファイアである。DL分類技術を示すために、マルチラベル分類問題のために畳み込みネットワークが直接トレーニングされた。トレーニングに500個(各カテゴリに100個)の細胞が使用され、細胞の残りが検査に使用された。

0045

この例示的なDL用途では、周辺空間学習(MSL)クラシファイアをトレーニングするために、自動エンコーダ畳み込みニューラルネットワーク(CNN)が使用された。図13は、1つの隠蔽層(「AE」とも呼ばれる)を有するフィードフォワードニューラルネットワークの構造を示す。バイアス条件図13でラベル付けされたノード)を無視すると、入出力層は、同数のノードを有する。そのような自動エンコーダの目的は、入力層(画像を表わす特徴)と出力層(画像のラベル)の間の伝達関数を学習することである。隠蔽層が、入力層以上のサイズを有する場合、AEがアイデンティティ変換を学習する可能性がある。そのような自明な解を防ぐために、事前に、AEが、入力より少数のノードを有する隠蔽層でセットアップされる。最近、入力のより有意な表現を学習するノイズ除去自動エンコーダ(DAE)が提案された。特定比率(例えば、50%)の入力ノードが、妨害されるようにランダムに選出され(例えば、値を0に設定する)、DAEは、観察品質が低下した場合に元の入力ベクトルを再現するために必要とされる。DAEにより、隠蔽層は、過剰完全表現を達成するために入力より多いノードを有することがある。AEをトレーニングした後で、出力層が廃棄され、別のAEが、新しいAEへの入力として既にトレーニングされた隠蔽層の活性化反応を使用して積み重ねられる。このプロセスは、ネットワーク層を層ごとにトレーニングし拡張するために繰り返されてもよい。事前トレーニングの後、隠蔽層の出力を高度な画像特徴として処理して、クラシファイアをトレーニングすることができる。あるいは、ターゲット出力用にもう1つの層を追加してもよく、バックプロパゲーションを使用してネットワーク全体を改良することができる。

0046

分類を行った後で、白血球の様々なカテゴリが、最終確認のためのグラフィカルユーザインタフェース(GUI)で病理学者に提示されてもよい。所定の細胞が特定のサブタイプに属する可能性が計算され、最終確認の際に病理学者に数値又は図形で提示されてもよい。

0047

図14は、幾つかの実施形態による結果の視覚化を提供しユーザ対話と訂正を容易にするGUIを示す。図14に示されたように、病理学者は、細胞のDHM画像に基づいた修正を行う機会を得る。自動血液鑑別の結果が、上2行1405に示され、各血球タイプの比率と、その比率に基づいた可能な診断を表示する。図の下部分1410は、ユーザが結果をどのように修正できるかを示す。システムは、ユーザ対話のための最上細胞候補を示す。これらの細胞は、最上2つの確率の差に基づいて選択され選別される。システムは、抽出した細胞(前処理パイプラインによって抽出された)を表示し、その細胞が各WBCタイプに属する可能性を示す。ユーザは、ラベルを受け入れることもでき、単にチェックボックスマークすることにより新しいラベルを選択してもよい。ユーザがラベルを変更する場合、システムは、数、比率及び可能な診断を自動的に更新することができ、これにより、最上行が変化し、新しい結果が表示される。

0048

更に、病理学者が最も良く画像を調べることができるようにするために、幾つかの実施形態では、DHM画像を、ライトギムザ(Wright and Giemsa)法などの従来の染色方法染色細胞画像と類似の色パターンを有する画像に変換する擬似着色方式が利用される。例えば、ギムザ・ライト染色は、染色のためにエオシンYアズールB及びメチレンブルーを含む溶液を使用する。これらの溶液は、細胞核と顆粒を別々に含む細胞の成分に化学結合し、それにより、細胞の視覚検査に不可欠なより明白な着色を提供する。細胞のDHM画像から、細胞成分の様々な光学濃度パターンを取得し、光学濃度パターンが着色を行なう特徴として使用されうる。我々が想起する方法は、DHMとギムザ染色の両方でそれぞれ画像化された細胞対が一致することに基づく。幾つかの実施形態では、単純回帰関数が使用され、これは、畳み込みニューラルネットワークなどの機械学習手法を使用して、光学濃度マップをDHMからギムザ=ライト染色プロトコルと一致するRGBカラースキームにマッピングすることによって実現されうる。回帰マップは、単一画素又は画素群(即ち、画像パッチ)に作用することがある。更に、マルコフランダム場ベース正則化を利用して、類似の光学濃度を有する近傍画素が同様に着色されるようにすることができる。ギムザ・ライト染色に加えて、1組の一致した細胞画像対に基づいて他の染色プロトコルを学習することができ、染色したものをDHM画像からデジタル形式で再現することができる。

0049

幾つかの実施形態では、本明細書に示されたRBCの平均赤血球容積計算及び/又はWBC5部鑑別(WBC five part differential)が、全血球計算(CBC)検査の重要な測定値として使用されうる。当該技術分野で理解されるように、CBC検査は、個人の全体的な健康を評価し、貧血、伝染、白血病などの血液に関連した病気の検出に使用されうる。したがって、例えば、特定のWBC数の異常な増大又は減少は、更なる評価を必要とする基礎疾患指標として使用されることがある。

0050

追加の機能を提供するために、本明細書で述べる技術に対して様々な他の拡張、強調又は他の修正が行われるか追加されてもよい。例えば、幾つかの実施形態では、白血球細分類の5部鑑別方法が、再現の前の未処理フリンジパターン画像にも適用される。RBC容積又はWBC分類の精度を高めるために、同じ細胞の複数画像を使用し結果を平均化してもよい。本明細書で述べるシステム及び方法は、細胞分類空間以外の臨床用途に適用されうる。例えば、述べた方法の基づく様々な物体のサイズ計算と分類を尿検査用に拡張することができ、その場合、述べた方法を使用してDHM画像を分析することによって、尿沈渣の量が測定され、様々な種類が識別される。更に、DHM技術の最新の進歩、詳細にはサイズ、複雑さ及びコストの低下によって、これら(及び他)の用途を臨床環境内又は治療拠点で(分散方式で)行うことができる。

0051

図15は、本発明の実施形態を実現することができる例示的な計算処理環境1500を示す。例えば、この計算処理環境1500は、図1に示されたDHM画像を処理するための機構100の構成要素の1つ以上を実行するように構成されてもよい。追加(又は代替)として、この計算処理環境1500は、本明細書で述べるプロセス(例えば、図1に示された細胞容積を計算するプロセス500)の1つ以上を実行するように構成されてもよい。計算処理環境1500は、コンピュータシステム1510を含んでもよく、コンピュータシステム1510は、本発明の実施形態を実現することができる計算処理システムの一例である。コンピュータシステム1510や計算処理環境1500などのコンピュータ及び計算処理環境は、当業者に知られており、したがってこここでは簡潔に説明される。

0052

図15に示されたように、コンピュータシステム1510は、コンピュータシステム1510内で情報を通信するためのバス1521や他の通信機構などの通信機構を含んでもよい。コンピュータシステム1510は、更に、情報を処理するためにバス1521と結合された1つ以上のプロセッサ1520を含む。プロセッサ1520は、1つ以上の中央処理装置(CPU)、図形処理ユニット(GPU)又は当該技術分野で既知の他のプロセッサを含んでもよい。

0053

コンピュータシステム1510は、また、情報及びプロセッサ1520によって実行される命令を記憶するために、バス1521に結合されたシステムメモリ1530を含む。システムメモリ1530は、読み出し専用メモリ(ROM)1531及び/又はランダムアクセスメモリ(RAM)1532などの揮発性及び/又は不揮発性メモリの形のコンピュータ可読記憶媒体を含んでもよい。システムメモリRAM1532は、他のダイナミック記憶装置(例えば、ダイナミックRAMスタティックRAM及びシンクロナスDRAM)を含んでもよい。システムメモリROM1531は、他のスタティック記憶装置(例えば、プログラマブルROM消去可PROM、及び電気的消去可能PROM)を含んでもよい。更に、システムメモリ1530は、プロセッサ1520による命令の実行中に一時的変数又は他の中間情報を記憶するために使用されることがある。起動中などにコンピュータシステム1510内の要素間で情報を伝達するのを支援する基本ルーチンを含む基本入出力システム(BIOS)1533は、ROM1531に記憶されてもよい。RAM1532は、プロセッサ1520がすぐにアクセス可能な及び/又はプロセッサ1520が現在処理している、データ及び/又はプログラムモジュールを含んでもよい。システムメモリ1530は、更に、例えば、オペレーティングシステム1534、アプリケーションプログラム1535、他のプログラムモジュール1536及びプログラムデータ1537を含んでもよい。

0054

コンピュータシステム1510は、また、ハードディスク1541や取外し式メディアドライブ1542(例えば、フロッピディスクドライブコンパクトディスクドライブテープドライブ、及び/又はソリッドステートドライブ)など、情報及び命令を記憶するための1つ以上の記憶装置を制御するためにバス1521に結合されたディスク制御装置1540を含む。記憶装置は、適切な装置インタフェース(例えば、小型コンピュータシステムインタフェSCSI)、集積装置電子回路(IDE)、汎用シリアルバス(USB)又はFire Wire)を使用してコンピュータシステム1510に追加されてもよい。

0055

コンピュータシステム1510は、また、情報をコンピュータユーザに表示するための陰極線管(CRT)や液晶表示装置(LCD)などの表示装置1566を制御するためにバス1521に結合された表示装置コントローラ1565を含んでもよい。コンピュータシステムは、コンピュータユーザと対話し情報をプロセッサ1520に提供するためのキーボード1562やポインティング装置1561などの入力インタフェース1560及び1つ以上の入力装置を含む。ポインティング装置1561は、例えば、指示情報コマンド選択をプロセッサ1520に通信し、表示装置1566上のカーソル動きを制御するためのマウストラックボール又はポインティングスティックでよい。表示装置1566は、ポインティング装置1561による指示情報及びコマンド選択の通信を補足するか置き換える入力を可能にするタッチスクリーンインタフェースを提供してもよい。

0056

コンピュータシステム1510は、本発明の実施形態の処理段階の一部又は全てを、システムメモリ1530などのメモリに収容された1つ以上の命令の1つ以上のシーケンスを実行するプロセッサ1520に応じて実行してもよい。そのような命令は、ハードディスク1541や取外し式メディアドライブ1542などの別のコンピュータ可読媒体からシステムメモリ1530に読み込まれてもよい。ハードディスク1541は、本発明の実施形態によって使用される1つ以上のデータストア及びデータファイルを収容してもよい。データストアコンテンツ及びデータファイルは、セキュリティを改善するために暗号化されてもよい。プロセッサ1520は、また、システムメモリ1530に収容された命令の1つ以上のシーケンスを実行するために多重処理機構内で使用されてもよい。代替実施形態では、ソフトウェア命令の代わりに又はその命令との組み合わせでードワイヤード回路が使用されてもよい。したがって、実施形態は、ハードウェア回路ソフトウェアのいかなる特定の組み合わせにも限定されない。

0057

以上述べたように、コンピュータシステム1510は、本発明の実施形態によりプログラムされた命令を保持し、また本明細書に記載されたデータ構造、テーブル、レコード又は他のデータを収容するための少なくとも1つのコンピュータ可読媒体又はメモリを含んでもよい。用語「コンピュータ可読媒体」は、本明細書で使用されるとき、実行する命令をプロセッサ1520に提供することに関係する任意の媒体を指す。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体及び伝送媒体を含むがこれらに限定されない多数の形態をとってもよい。不揮発性媒体の非限定的な例には、ハードディスク1541や取外し式メディアドライブ1542など、光ディスク、ソリッドステートドライブ、磁気ディスク及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例には、システムメモリ1530などのダイナミックメモリが挙げられる。伝送媒体の非限定的な例には、バス1521を構成する線を含む同軸ケーブル銅線、及び光ファイバが挙げられる。伝送媒体は、また、電波及び赤外線データ通信中に生成されるものなど、音波又は光波の形をとってもよい。

0058

計算処理環境1500は、更に、リモートコンピュータ1580などの1つ以上のリモートコンピュータへの論理接続を使用するネットワーク接続環境で動作するコンピュータシステム1510を含んでもよい。リモートコンピュータ1580は、パーソナルコンピュータラップトップ又はデスクトップ)、移動装置サーバルータ、ネットワークPC、ピア装置又は他の共通ネットワークノードでよく、典型的には、コンピュータシステム1510に関して前述した要素の多く又は全てを含む。ネットワーク環境内で使用されるとき、コンピュータシステム1510は、インターネットなどのネットワーク1571を介した通信を確立するためのモデム1572を含んでもよい。モデム1572は、ユーザネットワークインタフェース1570又は別の適切な機構を介してバス1521に接続されてもよい。

0059

ネットワーク1571は、コンピュータシステム1510と他のコンピュータ(例えば、リモートコンピュータ1580)間の通信を容易にすることができるインターネット、イントラネットローカルエリアネットワーク(LAN)、広域ネットワークWAN)、メトロポリタンエリアネットワークMAN)、直接接続一連の接続、セルラ電話網又は、他のネットワーク又は媒体を含む、当該技術分野で一般に知られている任意のネットワーク又はシステムでよい。ネットワーク1571は、有線無線又はその組み合わせでよい。有線接続は、イーサネット登録商標)、汎用シリアルバス(USB)、RJ−11、又は当該技術分野で一般に知られている他の有線接続を使用して実現されてもよい。無線接続は、Wi−Fi、WiMAX及びBluetooth(登録商標)、赤外線セルラーネットワーク、衛星、又は当該技術分野で一般に知られている他の無線接続方法で実現さてもよい。更に、幾つかのネットワークは、ネットワーク1571内で通信を容易にするために、単独で動作してもよく互いに通信して動作してもよい。

0060

本明細書で述べる技術に対する例示的な計算処理環境1500の1つの適用として、ネットワーク構成要素、モデリングプロセッサ及びGUIを含む、血液学用にDHMデータを分析するためのシステム例を検討する。ネットワーク構成要素は、ネットワークインタフェース1570、又は類似の機能を提供するハードウェアとソフトウェアの何らかの組み合わせを含んでもよい。ネットワーク構成要素は、DHMシステムと通信してDHM画像を取得するように構成される。したがって、幾つかの実施形態では、ネットワーク構成要素は、DHMシステムと通信するための専用インタフェースを含んでもよい。モデリングプロセッサは、コンピューティングシステム(例えば、コンピュータシステム1510)に含まれ、ネットワーク構成要素を介して受け取ったDHM画像から抽出された細胞画像内に存在する細胞タイプに関してクラシファイアをトレーニングすることを可能にする命令を有するように構成される。モデリングプロセッサは、この開示で述べるように、この作業(例えば、セグメンテーション、連結成分の識別など)を支援する追加の機能を含んでもよい。モデリングプロセッサは、更に、クラシファイアを使用して、新しい細胞画像が、クラシファイアのトレーニングに使用されるタイプのうちの1つに属する確率を決定するように構成される。次に、ユーザによる検討のためにGUIが表示装置(例えば、表示装置1566)に提示さてもよい。

0061

本開示の実施形態は、ハードウェアとソフトウェアの任意の組み合わせで実現されうる。更に、本開示の実施形態は、例えば、コンピュータ可読な非一時的媒体を有する製品(例えば、1つ以上のコンピュータプログラム製品)に含まれてもよい。媒体には、例えば、本開示の実施形態の機構を提供し容易にするためのコンピュータ可読プログラムコード実装される。製品は、コンピュータシステムの一部として含まれてもよく個別に販売されてもよい。

0062

本明細書には様々な態様及び実施形態が開示されているが、当業者には他の態様及び実施形態が明白であろう。本明細書に開示された様々な態様及び実施形態は、例示のためのものであり、限定されるものではなく、真の範囲と趣旨は、以下の特許請求の範囲によって示される。

0063

本明細書で使用されるような実行可能なアプリケーションは、ユーザの命令又は入力に応じて、オペレーティングシステム、コンテキストデータ収集システム又は他の情報処理システムのものなど、プロセッサを調整して所定の機能を実現するためのコード又は機械可読命令を含む。実行可能な手順は、1つ以上の特定のプロセスを実行するためのコード又は機械可読命令のセグメントサブルーチン、実行可能アプリケーションのコード又は一部の他の別個セクションを含む。これらのプロセスは、入力データ及び/又はパラメータを受け取り、受け取った入力データに基づいて演算を実行し、及び/又は受け取った入力パラメータに応じて機能を実行し、得られた出力データ及び/又はパラメータを提供することを含んでもよい。

0064

グラフィカルユーザインタフェース(GUI)は、本明細書で使用されるとき、表示プロセッサによって生成され、プロセッサ又は他の装置とのユーザインターフェースを可能にし、関連データ取得及び処理機能を1つ以上の表示画像を含む。GUIは、また、実行可能な手順又は実行可能なアプリケーションを含む。実行可能な手順又は実行可能なアプリケーションは、表示プロセッサを調整してGUI表示画像を表わす信号を生成する。そのような信号は、ユーザによる検討のために画像を表示する表示装置に供給される。プロセッサは、実行可能な手順又は実行可能なアプリケーションの制御下で、入力装置から受け取った信号に応じてGUI表示画像を操作する。このようにして、ユーザは、プロセッサ又は他の装置とのユーザ対話を可能にする入力装置を使用して表示画像と対話してもよい。

0065

本明細書の機能及びプロセス段階は、ユーザ命令に応じて自動的、全体的又は部分的に実行されてもよい。自動的に実行される操作(段階を含む)は、ユーザが操作を直接指示することなく1つ以上の実行命令又は装置操作に応じて実行されてもよい。

0066

図のシステム及びプロセスは排他的ではない。本発明の原理にしたがって、同じ目的を達成する他のシステム、プロセス及びメニューが導出されてもよい。本発明を特定の実施形態に関して述べてきたが、本明細書に示し述べた実施形態と変形が、単に説明のためのであることを理解されたい。現行の設計に対する修正は、本発明の範囲から逸脱することなく当業者によって実行されうる。本明細書で述べたように、ハードウェア構成要素ソフトウエアコンポーネント及び/又はその組み合わせを使用して、様々なシステム、サブシステム、エージェントマネージャ及びプロセスを実現することができる。本明細書のクレーム要素は、その要素が語句「のための手段(means for)」を使用して明示的に引用される場合を除き、35U.S.C.112 第6項の条件下で解釈されるべきでない。

0067

1510コンピュータシステム
1520プロセッサ
1521システムバス
1530システムメモリ
1534オペレーションシステム
1535アプリケーションプログラム
1536 他のプログラムモジュール
1537プログラムデータ
1540ディスクコントローラ
1541ハードディスク
1542着脱式メディアドライブ
1560ユーザ入力インタフェース
1561ポインティング装置
1562キーボード
1565ディスプレイコントローラ
1566表示装置
1570ネットワークインタフェース
1571ネットワーク
1572モデム
1580 リモートコンピューティング装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ