図面 (/)

この項目の情報は公開日時点(2016年8月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

複数の画像の対応する部位を正確に並べて表示する。

解決手段

本開示の一側面である情報処理装置は、対応するオブジェクトが写し出されている複数の入力画像画像処理部に供給し、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像を取得する画像供給部と、取得された前記複数のオブジェクト画像をシンクロ表示させる表示制御部とを備え、前記オブジェクト画像は、前記複数の入力画像から対応する前記オブジェクトを含む領域が抽出されたものであり、複数の前記オブジェクト画像における対応するオブジェクトの向き、位置、およびサイズが統一されている。本開示は、例えば病理医を対象としたwebアプリケーションに適用できる。

概要

背景

従来、医療の場において、腫瘍などの病理組織診断する(例えば、癌などの悪性腫瘍であるか否かを判断する)方法として、患者から病理組織の一部を採取して薄く切り、その切片(以下、生検と称する)をスライドガラス上に配置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。

染色方法試薬など)と染色対象とその色については、以下の関係が知られている。
染色方法 染色対象 色
ヘマトキシリン細胞核青紫
エオジン細胞質結合組織淡赤
PAS染色粘液
KB染色神経線維
ケラチン903基底細胞
この他にも染色方法としては、H&E(Hematoxylin&Eosin)、IHC(Immunohistochemistry)、FISH(Fluorescence In Situ Hybridization)などを挙げることができる。

H&Eは、好塩基性の細胞核、骨組織軟骨組織の一部、漿液成分などを青紫色に、好酸性の細胞質、軟部組織の結合組織、赤血球線維素内分泌顆粒などを赤ピンク色に分けて染色できる。

IHCは、抗原抗体反応可視化することができる。FISHは、遺伝子のマッピング染色体異常などを検出することができる。

このように、各染色は、それぞれ染色対象が異なるので、生体組織同一部位に対して、異なる染色を施して観察すれば、より正確に診断することが可能となる。

ただし、1枚のプレパラート上の切片を異なる複数の染色方法により染色した場合、染色の発色状態が悪くなって診断しづらくなる傾向がある。また、染色方法の組み合わせによっては同時に使えないものもある。したがって、1枚のプレパラートに複数の異なる染色が混在する状態は避けることが望ましい。

図1は、生成されたプレパラートの例を示している。同図AのプレパラートP1と同図BのプレパラートP2は、採取された病理組織から隣り合って切り出された生検から成る。例えば、プレパラートP1,P2の一方の染色がH&Eであり、他方の染色がIHCであるとする。

同図AのプレパラートP1上の左端の生検b11と同図BのプレパラートP2上の左端の生検b12とは穿刺採取された病理組織から隣り合って切り出されたものである。以下、生検b11と生検b21との関係を対応する生検と称する。同図中央の生検b21,b22、および同図右端の生検b31,b32についても同様である。

なお、プレパラートP1,P2上の矩形枠は、プレパラート上の同一座標の領域を示し
ており、両者を比較して明らかなように、2枚のプレパラートP1,P2上の対応する生検は、必ずしも同一の座標に配置されているわけではない。また、生検を切り出すときの力具合などよって、その形状が変形したりすることも発生し得る。

2枚のプレパラートP1,P2を見比べる最もシンプルな方法は、病理医などの診断者が顕微鏡下で2枚のプレパラートP1,P2を並べて持ち、観察する位置を高速に移動させながら、対応する部位を探して診断する方法である。しかしながら、この場合、プレパラートを移動させ過ぎてしまったり、移動量が足らなかったりして、対応する部位を正しく効率的に観察することが困難であった。

そこで、このような診断者によるプレパラートの移動を必要としない方法としてバーチャル顕微鏡システムが提案されている(例えば、特許文献1参照)。

該バーチャル顕微鏡システムでは、診断対象とするプレパラート上の生検を小領域に分割し、分割した小領域を解像度の高い対物レンズを用いて各々撮影した後、撮影によって得られた複数の小領域の画像をつなぎ合わせることによって診断対象の生検の画像をデジタル画像データとして再構築している。

該バーチャル顕微鏡システムにより2枚のプレパラートをデジタル画像データとして再構築すれば、それらを同時に並べてパーソナルコンピュータ画面などに表示させることができる。

概要

複数の画像の対応する部位を正確に並べて表示する。 本開示の一側面である情報処理装置は、対応するオブジェクトが写し出されている複数の入力画像画像処理部に供給し、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像を取得する画像供給部と、取得された前記複数のオブジェクト画像をシンクロ表示させる表示制御部とを備え、前記オブジェクト画像は、前記複数の入力画像から対応する前記オブジェクトを含む領域が抽出されたものであり、複数の前記オブジェクト画像における対応するオブジェクトの向き、位置、およびサイズが統一されている。本開示は、例えば病理医を対象としたwebアプリケーションに適用できる。

目的

コンピュータ(CPU201)が実行するプログラムは、例えば、インターネット上の所定のサーバアクセスすることにより取得、実行することができる、いわゆるwebアプリケーションとして提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

対応するオブジェクトが写し出されている複数の入力画像画像処理部に供給し、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像を取得する画像供給部と、取得された前記複数のオブジェクト画像をシンクロ表示させる表示制御部とを備え、前記オブジェクト画像は、前記複数の入力画像から対応する前記オブジェクトを含む領域が抽出されたものであり、複数の前記オブジェクト画像における対応するオブジェクトの向き、位置、およびサイズが統一されている情報処理装置

請求項2

前記表示制御部は、ガイドスクロール表示、自動縦横選択表示、瞬時切り替え表示切り出し並べ表示、めくり表示、または多染色合成表示のうちの少なくとも1つ表示を実行する請求項1に記載の情報処理装置。

請求項3

前記複数の画像は、医療画像である請求項2に記載の情報処理装置。

請求項4

前記オブジェクトは生体組織から切り出された生検であり、前記複数の医療画像は、同一の生体組織から隣り合って切り出された前記生検がスライドガラスに配置されて、異なる種類の染色が施されているプレパラートスキャニングした病理画像である請求項3に記載の情報処理装置。

請求項5

前記画像処理部は、インターネット上に設けられたサーバである請求項2に記載の情報処理装置。

請求項6

前記画像処理部をさらに備える請求項2に記載の情報処理装置。

請求項7

情報処理装置の情報処理方法において、前記情報処理装置が、対応するオブジェクトが写し出されている複数の入力画像を画像処理部に供給することと、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像を取得することと、取得された前記複数のオブジェクト画像をシンクロ表示させることとを含み、前記オブジェクト画像は、前記複数の入力画像から対応する前記オブジェクトを含む領域が抽出されたものであり、複数の前記オブジェクト画像における対応するオブジェクトの向き、位置、およびサイズが統一されている情報処理方法。

請求項8

コンピュータを、対応するオブジェクトが写し出されている複数の入力画像を画像処理部に供給し、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像を取得する画像供給部と、取得された前記複数のオブジェクト画像をシンクロ表示させる表示制御部として機能させ、前記オブジェクト画像は、前記複数の入力画像から対応する前記オブジェクトを含む領域が抽出されたものであり、複数の前記オブジェクト画像における対応するオブジェクトの向き、位置、およびサイズが統一されているプログラム

技術分野

0001

本開示は、情報処理装置情報処理方法、およびプログラムに関し、特に、例えば、複数の病理画像を並べて表示し、見比べることにより病理診断を行なう場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。

背景技術

0002

従来、医療の場において、腫瘍などの病理組織診断する(例えば、癌などの悪性腫瘍であるか否かを判断する)方法として、患者から病理組織の一部を採取して薄く切り、その切片(以下、生検と称する)をスライドガラス上に配置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。

0003

染色方法試薬など)と染色対象とその色については、以下の関係が知られている。
染色方法 染色対象 色
ヘマトキシリン細胞核青紫
エオジン細胞質結合組織淡赤
PAS染色粘液
KB染色神経線維
ケラチン903基底細胞
この他にも染色方法としては、H&E(Hematoxylin&Eosin)、IHC(Immunohistochemistry)、FISH(Fluorescence In Situ Hybridization)などを挙げることができる。

0004

H&Eは、好塩基性の細胞核、骨組織軟骨組織の一部、漿液成分などを青紫色に、好酸性の細胞質、軟部組織の結合組織、赤血球線維素内分泌顆粒などを赤ピンク色に分けて染色できる。

0005

IHCは、抗原抗体反応可視化することができる。FISHは、遺伝子のマッピング染色体異常などを検出することができる。

0006

このように、各染色は、それぞれ染色対象が異なるので、生体組織同一部位に対して、異なる染色を施して観察すれば、より正確に診断することが可能となる。

0007

ただし、1枚のプレパラート上の切片を異なる複数の染色方法により染色した場合、染色の発色状態が悪くなって診断しづらくなる傾向がある。また、染色方法の組み合わせによっては同時に使えないものもある。したがって、1枚のプレパラートに複数の異なる染色が混在する状態は避けることが望ましい。

0008

図1は、生成されたプレパラートの例を示している。同図AのプレパラートP1と同図BのプレパラートP2は、採取された病理組織から隣り合って切り出された生検から成る。例えば、プレパラートP1,P2の一方の染色がH&Eであり、他方の染色がIHCであるとする。

0009

同図AのプレパラートP1上の左端の生検b11と同図BのプレパラートP2上の左端の生検b12とは穿刺採取された病理組織から隣り合って切り出されたものである。以下、生検b11と生検b21との関係を対応する生検と称する。同図中央の生検b21,b22、および同図右端の生検b31,b32についても同様である。

0010

なお、プレパラートP1,P2上の矩形枠は、プレパラート上の同一座標の領域を示し
ており、両者を比較して明らかなように、2枚のプレパラートP1,P2上の対応する生検は、必ずしも同一の座標に配置されているわけではない。また、生検を切り出すときの力具合などよって、その形状が変形したりすることも発生し得る。

0011

2枚のプレパラートP1,P2を見比べる最もシンプルな方法は、病理医などの診断者が顕微鏡下で2枚のプレパラートP1,P2を並べて持ち、観察する位置を高速に移動させながら、対応する部位を探して診断する方法である。しかしながら、この場合、プレパラートを移動させ過ぎてしまったり、移動量が足らなかったりして、対応する部位を正しく効率的に観察することが困難であった。

0012

そこで、このような診断者によるプレパラートの移動を必要としない方法としてバーチャル顕微鏡システムが提案されている(例えば、特許文献1参照)。

0013

該バーチャル顕微鏡システムでは、診断対象とするプレパラート上の生検を小領域に分割し、分割した小領域を解像度の高い対物レンズを用いて各々撮影した後、撮影によって得られた複数の小領域の画像をつなぎ合わせることによって診断対象の生検の画像をデジタル画像データとして再構築している。

0014

該バーチャル顕微鏡システムにより2枚のプレパラートをデジタル画像データとして再構築すれば、それらを同時に並べてパーソナルコンピュータ画面などに表示させることができる。

先行技術

0015

特開平09−281405号公報

発明が解決しようとする課題

0016

しかしながら、該バーチャル顕微鏡システムを使用したとしても、2枚のプレパラートにおける対応する部位を正確に並べて表示させるためには、診断者による画像の拡大、縮小、回転などを指示する操作が依然として必要である。

0017

本開示はこのような状況に鑑みてなされたものであり、複数の画像における対応する部位を正確に並べて表示できるようにするものである。

課題を解決するための手段

0018

本開示の一側面である情報処理装置は、対応するオブジェクトが写し出されている複数の入力画像画像処理部に供給し、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像を取得する画像供給部と、取得された前記複数のオブジェクト画像をシンクロ表示させる表示制御部とを備え、前記オブジェクト画像は、前記複数の入力画像から対応する前記オブジェクトを含む領域が抽出されたものであり、複数の前記オブジェクト画像における対応するオブジェクトの向き、位置、およびサイズが統一されている。

0019

前記表示制御部は、ガイドスクロール表示、自動縦横選択表示、瞬時切り替え表示、切り出し並べ表示、めくり表示、または多染色合成表示のうちの少なくとも1つ表示を実行することができる。

0020

前記複数の画像は、医療画像とすることができる。

0021

前記オブジェクトは生体組織から切り出された生検であり、前記複数の医療画像は、同
一の生体組織から隣り合って切り出された前記生検がスライドガラスに配置されて、異なる種類の染色が施されているプレパラートをスキャニングした病理画像とすることができる。

0022

前記画像処理部は、インターネット上に設けられたサーバとすることができる。

0023

本開示の一側面である情報処理装置は、前記画像処理部をさらに備えることができる。

0024

本開示の一側面である情報処理方法は、前記情報処理装置が、対応するオブジェクトが写し出されている複数の入力画像を画像処理部に供給することと、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像を取得することと、取得された前記複数のオブジェクト画像をシンクロ表示させることとを含み、前記オブジェクト画像は、前記複数の入力画像から対応する前記オブジェクトを含む領域が抽出されたものであり、複数の前記オブジェクト画像における対応するオブジェクトの向き、位置、およびサイズが統一されている。

0025

本開示の一側面であるプログラムは、コンピュータを、対応するオブジェクトが写し出されている複数の入力画像を画像処理部に供給し、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像を取得する画像供給部と、取得された前記複数のオブジェクト画像をシンクロ表示させる表示制御部として機能させ、前記オブジェクト画像は、前記複数の入力画像から対応する前記オブジェクトを含む領域が抽出されたものであり、複数の前記オブジェクト画像における対応するオブジェクトの向き、位置、およびサイズが統一されている。

0026

本開示の一側面においては、対応するオブジェクトが写し出されている複数の入力画像が画像処理部に供給され、前記画像処理部の画像処理結果として得られる複数のオブジェクト画像が取得され、取得された前記複数のオブジェクト画像がシンクロ表示される。

図面の簡単な説明

0027

プレパラートの例を示す図である。
本開示の実施の形態である病理画像表示制御装置の構成例を示すブロック図である。
病理画像の例を示す図である。
生検領域画像生成サーバの構成例を示すブロック図である。
検出辞書生成手順を説明する図である。
細胞組織領域の検出と、生体領域グルーピング、およびその切り出しを説明する図である。
切り出された生検領域画像の拡大図である。
生検領域画像の位置とサイズの補正を説明する図である。
補正された生検領域画像の拡大図である。
病理画像シンクロ表示処理を説明するフローチャートである。
自動縦横割選択表示の表示例を示す図である。
瞬時切り替え表示の表示例を示す図である。
切り出し並べ表示の表示例を示す図である。
めくり表示の表示例を示す図である。
多染色合成表示の表示例を示す図である。
コメント対応表示の表示例を示す図である。
コンピュータの構成例を示すブロック図である。

実施例

0028

以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。

0029

[病理画像表示制御装置の構成例]
本開示の情報処理装置の実施の形態である病理画像表示制御装置は、採取した病理組織から隣り合って切り出された生検が写っている複数の病理画像の対応する部位の位置を正確に並べて表示させるものである。

0030

ただし、以下においては2枚の病理画像を並べて表示する場合について説明するが、本開示は3枚以上の病理画像を並べて表示する場合にも適用可能である。

0031

ここで、病理画像とは、人体などの生体組織から採取された検体またはサンプルから病理診断を目的に作製された病理標本(プレパラート)を、専用のスキャナで読み込んで作成したデジタル画像データを指す。

0032

さらに、本開示は病理画像のみならず、CT、MRIX線などより人体などを撮像して得られる医療画像、医療分野に限定されない任意の画像を並べて表示させる場合にも適用できる。

0033

図2は、本開示の情報処理装置を適用した病理画像表示制御装置の構成例を示している。

0034

病理画像表示制御装置10は、操作入力部11、病理画像入力部12、生検領域画像取得部13、および表示制御部14から構成される。

0035

操作入力部11は、ユーザ(診断者)による病理画像の選択操作、表示に関する様々な操作などを受け付けて、それに対応する操作信号を病理画像入力部12または表示制御部14に出力する。

0036

病理画像入力部12は、ユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像のうち、見比べて診断に用いるための、対応する生検が写っている2枚の病理画像PP1,PP2を生検領域画像取得部13に入力する。

0037

図3は、病理画像入力部12から生検領域画像取得部13に入力される2枚の病理画像PP1,PP2の一例である。これらは、図1に示されたプレパラートP1,P2をスキャナなどによりスキャニングして得られたものである。

0038

生検領域画像取得部13は、2枚の病理画像を生検領域画像生成サーバ20に送信し、生検領域画像生成サーバ20にて2枚の病理画像PP1,PP2それぞれに基づいて生成される生検領域画像を取得して表示制御部14に供給する。

0039

なお、生検領域画像生成サーバ20は、例えばインターネット上に設けるようにするが、生検領域画像生成サーバ20の全体またはその一部を病理画像表示制御装置10に内蔵するようにしてもよい。

0040

生検領域画像とは、病理画像(プレパラート全体の画像)上に存在する細胞組織の領域を検出し、検出した細胞組織の領域を生検毎に区分けて抽出し、その向きやサイズを補正して統一したものを指す。

0041

表示制御部14は、ユーザの操作に対応し、生検領域画像取得部13から供給される2
枚の生検領域画像を後段ディスプレイ30に並べて表示させる。以下、生検領域画像を並べて表示させることをシンクロ表示とも称する。表示制御部14による様々なシンクロ表示の方法については、図11乃至図16を参照して後述する。

0042

次に、図4は生検領域画像生成サーバ20の構成例を示している。

0043

生検領域画像生成サーバ20は、細胞組織領域検出部21、検出辞書22、生検領域グルーピング部23、生検領域切り出し部24、および位置補正部25から構成される。

0044

細胞組織領域検出部21は、検出辞書22を用いることにより、図3に示されたような病理画像PP1,PP2の全領域から細胞組織領域(すなわち、図3Aの生検b11,b21,b31の領域、図3Bのb12,b22,b32の領域)を検出する。

0045

検出辞書22は、学習用の細胞組織領域画像を用いた統計学習により予め生成されたものである。検出辞書22の生成について図5を参照して説明する。

0046

まず、学習用の細胞組織領域画像から細胞組織領域を中心として切り出したパッチ画像と、背景部分(非細胞組織領域)を中心として切り出したパッチ画像を学習データセットとして準備し、それぞれの画像特徴量を抽出する。そして、細胞組織領域が中心の画像をPositiveデータ、背景部分が中心の画像をNegativeデータとして統計学習を行う。

0047

パッチ画像の画像特徴量の抽出方法については任意であるが、例えば特開2005−284348に開示されている、パッチ画像上の所定の2点の輝度差分を算出するPixDif輝度差分特徴量を適用することができる。統計学習の方法についても任意であるが、例えばBoostingを適用することができる。

0048

検出辞書22を用いることにより、入力パッチ画像xに対して、学習で得られたT個の弱仮説f、重みαを用いて次式(1)により表される最終仮説Fを得ることができる。

0049

したがって、細胞組織領域検出部21において、病理画像PP1,PP2の全画素を順次中心として入力パッチ画像を切り出し、その入力パッチ画像に対して最終仮説Fを算出し、そのFの値を閾値処理することで、入力パッチ画像の中心の画素がPositive領域(細胞組織領域)であるのかNegative領域(非細胞組織領域)であるのかを判別することができる。

0050

細胞組織領域検出部21による細胞組織領域の検出結果は、例えば図6Bに示されるようなものとなる。

0051

図4に戻る。生検領域グルーピング部23は、細胞組織領域検出部21により検出された細胞組織領域を生検毎に区分けする。

0052

具体的には、細胞組織領域とされた画素を病理画像上の生検を表す生検番号毎にグルーピングする。なお、病理画像における生検数は、一般的にプレパラート作成時に既知である。したがって、このグルーピングは、クラスタ数が既知であるクラスタリング問題となる。以下に、スペクトラルクラスタリングによりクラスタリングを行なう方法を説明する。

0053

細胞組織領域の画素数をn、目標とするグルーピングのクラスタ数(生検数)をC、画素iと画素jの座標値におけるユークリッド距離をdijとする。

0054

さらに、affinity matrix Aijを次式(2)のように定義する。

0055

ここで、σは、スケールパラメータであり、対象に適切な値(例えば、0.1)を設定する。

0056

次に、次式(3)のように対角行列Dを定義して行列Lを求める。

0057

次に、行列Lの固有値の大きい順にC個の固有ベクトルx1,x2,・・・,xCを求め、行列X=[x1,x2,・・・,xC]を作成する。そして、次式(4)のように、このXを各行で正規化した行列Yを求める。

0058

この行列Yの各行を要素ベクトルとしてK-meansによりC個にクラスタリングすると、行列Yの行番号iのクラスタが画素iのクラスタと対応する。

0059

なお、生検領域グルーピング部23におけるグルーピングには、スペクトラルクラスタリングの他、入力データに直接K-meansを適応するなどの任意のクラスタリングの技術を用いることもできる。その場合、入力されるデータの特性に応じて、適切なクラスタリング技術を用いることが望ましい。

0060

生検領域グルーピング部23によるグルーピング結果は、例えば図6Cに示されるように、図6Bに示されていた細胞組織領域が生検の数と同じ数の3つのグループにグルーピングされたものとなる。

0061

再び図4に戻る。生検領域切り出し部24は、グルーピングされた生検領域毎に、病理
画像の回転補正と切り出しを行なう。

0062

回転補正は、各生検領域毎に、重心周りのx軸のp次のモーメント、y軸のq次のモーメントをupqとして、次式(5)に基づいて慣性主軸の傾きθが求められる。

0063

そして、慣性主軸の傾きθだけ、元の病理画像が回転補正される。この後、生検領域の周囲に所定の幅(例えば、数百ピクセル)の余白を確保した領域を、回転補正後の病理画像から切り出すことにより、図6Dに示されるような生検領域画像を生成する。

0064

なお、図6D以降においては、病理画像PP1,PP2上に存在していた3つの生体のうち、左端の生検b11,b12についてのみを図示しているが、中央の生検b21,b22、右端の生検b31,b32についても同様の処理が行われる。

0065

図7は、生検領域切り出し部24により切り出された生検領域画像の拡大図である。なお、同図Aは、病理画像PP1の左端の生検b11から切り出された生検領域画像であり、同図Bは、病理画像PP2の左端の生検b12から切り出された生検領域画像である。

0066

同図から明らかなように、生検b11と生検b12とは縦方向に若干のずれが生じ、サイズも変化してしまっている(伸びている、または縮んでいる)。これは、生検b11,b12を生体組織から切り出したり、スライドガラスに載せたりするときの力加減などに起因するものと考えられ、このままでは、生検b11,b12の対応する部位を正確に並べて観察、診断するに際して不都合である。

0067

そこで、生検領域切り出し部24の後段の位置補正部25は、切り出された生検領域画像の位置とサイズを補正して統一する。具体的手順について、図8を参照して説明する。なお、図8においては、生検領域画像の縦方向の位置ずれとサイズの補正についてのみ説明するが、横方向についても同様の処理を行うものとする。

0068

まず、同図Aに示される生検領域画像から、同図Bに示される細胞組織領域と背景(非細胞組織領域)と区別して表す2値化画像を得る。次に、2値化画像の縦方向の同一座標に位置する細胞組織領域に属する画素数をカウントし、同図Cに示される、縦軸が2値化画像の縦座標を示し、横軸が画素数を示すヒストグラムを生成する。

0069

さらに、得られた2つのヒストグラムを同図Dに示すようにして重ね、2つのヒストグラムが十分に重なるまで(実際には、所定の評価関数値(例えば、内積値)が所定の値以上となるまで)一方を固定し、他方についてのみ縦方向に位置を調整し、縦方向にサイズを伸縮補正することを繰り返して実行する。

0070

そして、最終的な縦方向の位置の調整値と、縦方向のサイズの伸縮補正値を元の生検領域画像に適用する。これにより、図9に示されるように、ずれの生じていた2枚の生検領域画像が、ずれのない2枚の生検領域画像に補正される。なお、図9は、図7に示されたずれの生じていた2枚の生検領域画像の補正後の状態である。

0071

このようにして補正された生検領域画像は、生検領域画像生成サーバ20から生検領域画像取得部13に戻される。

0072

[動作説明]
次に、病理画像表示制御装置10による病理画像シンクロ表示処理について、図10を参照して説明する。図10は、病理画像シンクロ表示処理を説明するフローチャートである。

0073

テップS1において、病理画像入力部12は、ユーザの選択操作に基づく操作信号に従い、見比べて診断に用いる2枚の病理画像PP1,PP2を生検領域画像取得部13に入力する。生検領域画像取得部13は、2枚の病理画像を生検領域画像生成サーバ20に送信する。

0074

ステップS2において、生検領域画像生成サーバ20の細胞組織領域検出部21は、検出辞書22を用いることにより、病理画像PP1,PP2から細胞組織領域を検出する。

0075

ステップS3において、生検領域グルーピング部23は、細胞組織領域検出部21により検出された細胞組織領域を生検毎に区分けする。生検領域切り出し部24は、グルーピングされた生検領域毎に、その慣性主軸の傾きθに基づいて回転補正を行い、その後、生検領域の周囲に所定の幅(例えば、数百ピクセル)の余白を確保した領域を、回転補正後の病理画像から切り出すことにより生検領域画像を生成する。

0076

ステップS4において、位置補正部25は、生検領域画像の位置とサイズを補正する。補正後の生検領域画像は、生検領域画像生成サーバ20から生検領域画像取得部13に戻される。

0077

ステップS5において、表示制御部14は、ユーザの操作に対応し、生検領域画像取得部13から供給される2枚の生検領域画像を後段のディスプレイ30にシンクロ表示させる。以上で、病理画像シンクロ表示処理の説明を終了する。

0078

[シンクロ表示の具体例]
以下、表示制御部14によるシンクロ表示の例を説明する。

0079

「ガイドスクロール表示」
生検領域画像をより拡大して上下方向または左右方向にスクロールしながらシンクロ表示させる場合、表示画面の中心を生検領域画像の形状に合わせて移動させる。例えば、生検領域画像の形状が図9に示されたような「く」の字状である場合に、上方から下方にスクロール表示するときには、画面の中心が生検領域画像の形状に合わせて始めは左側に移動され、その後は右側に移動される。これにより、ユーザは常に診断に必要な部位のみをスクロールさせながら観察することができる。

0080

「自動縦横割選択表示」
生検領域画像における生検領域の形状が縦長の場合には、図11Aに示されるように、画面50を縦方向に分割して2枚の生検領域画像を左右に並べて表示する。生検領域画像における生検領域の形状が横長の場合には、図11Bに示されるように、画面60を横方向に分割して2枚の生検領域画像を上下に並べて表示する。これにより画面に表示される生検領域が広くなるのでユーザによって観察、診断し易くなる。

0081

生検領域が縦長であるか横長であるかの判断は、生検領域の慣性主軸の角度(傾き)に基づいて行なう。すなわち、慣性主軸の角度を、垂直上向きを0度、反時計回りに正の角度と定義した場合、算出された慣性主軸の角度が−45度から+45度まで、または135度から225度までのときには縦長、それ以外のときには横長と判断して表示を切り
替えるようにする。

0082

「瞬時切り替え表示」
図12Aに示されるような生検領域画像70と、それに対応する図12Bに示されるような生検領域画像71を、ユーザからの所定の操作に応じて瞬間的に切り替えて表示するようにしてもよい。この表示方法の場合、空間的に2枚の画像を並べて同時に表示するよりも、ユーザは視点を動かさないで済むので、より容易に2枚生検領域画像の対応する部位を見比べることができる。

0083

「切り出し並べ表示」
図13Aに示されるように、生体b11を示す生検領域画像80においてユーザが任意のサイズの選択領域81を設定すると、図13Bに示されるように、選択領域81の隣に切り出し表示領域83が設けられる。切り出し表示領域83には、選択領域81により指定された生体b11の部位に対応する、生体b12の部位が表示される。なあお、切り出し表示領域83の表示位置は、選択領域81の隣からユーザが任意に移動させることができる。また、ユーザは生検領域画像80の選択領域81を任意に移動させることができ、この移動に伴って切り出し表示領域83も移動され、そこに表示される生体b12の部位も変更される。この表示方法の場合、ユーザは見比べたい部位を任意の位置に並べることができる。

0084

「めくり表示」
図14Aに示されるように、生体b11を示す生検領域画像91においてユーザが任意のサイズの選択領域92を設定し、選択領域92に対してユーザが所定の操作(マウスドラッグなど)を行なうと、図14Bに示されるように、選択領域81内の表示が、生体b11の部位から、それに対応する生体b12の部位に徐々に切り替えられる。この表示方法により、ユーザは視点を動かすことなく、生体b11と生体b12の対応する部位を見比べることができる、また、ユーザの操作量(マウスドラッグの量など)により、見比べる領域の比率を調整することができる。

0085

「多染色合成表示」
図15Aに示されるように、複数の対応する生検に対して発色が異なる複数のIHC(免疫染色)を施し、それぞれの染色部位(同図B)を、H&E染色された生検領域画像(同図C)に重畳し、同図Dに示されるような複数のIHCとH&Eの結果を同時に表示するようにしてもよい。これにより、ユーザはIHCとH&Eの結果を同時に見て診断することができる。なお、発色が異なる複数のIHC(免疫染色)の染色部位(同図B)を、H&E染色された生検領域画像(同図C)に重畳せず、発色が異なる複数のIHC(免疫染色)の染色部位(同図B)を合成して表示するようにしてもよい。

0086

「コメント対応表示」
ユーザは上述した「瞬時切り替え表示」において一方の生検b11を示す生検領域画像110の所定の部位に対して診断コメント111を画面上に貼付することができる。この後、他方の生検b12を示す生検領域画像112に表示が切替えられた場合、生検b12の対応する部位に対して、生検b11に基づいて下した診断コメント111が貼付表示される。これによりユーザは、診断が下された生検b11の部位に対応する、生検b12の部位を確認することができる。

0087

以上説明したように、本実施の形態である病理画像表示制御装置10によれば、複数の画像をシンクロ表示することが可能となる。

0088

具体的には、複数の画像における対応する部位を同時表示することができるので、ユー
ザは診断精度を改善することができる。また、1つの生検を異なる複数の染色方法により染色してそれらの発色を分離する場合にさせることに比較し、クオリティの高い多染色の画像をシンクロ表示できる。さらに、複数の生検領域画像の位置とサイズを補正する処理を行うため、位置ズレなく対応する画像を表示することができる。

0089

またさらに、通常では同時に施すことができない染色方法を組み合わせてシンクロ表示することができる。また、暗視野観察と明視野観察位相差観察による撮影の画像など、従来の顕微鏡では同時に見ることができなかった組み合わせの画像もシンクロ表示することができる。

0090

以上のような効果の結果として、ユーザ(診断者)は診断精度を向上させることができ、また、診断時間を短縮することができる。

0091

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

0092

図12は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

0093

コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。

0094

バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、およびドライブ210が接続されている。

0095

入力部206は、キーボードマウスマイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスク不揮発性メモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク光ディスク光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。

0096

以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205およびバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。

0097

コンピュータ(CPU201)が実行するプログラムは、例えば、インターネット上の所定のサーバにアクセスすることにより取得、実行することができる、いわゆるwebアプリケーションとして提供することができる。

0098

また、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。さらに、プログラムは、有線または無線伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。

0099

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

0100

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

0101

10病理画像表示制御装置, 11操作入力部, 12 病理画像入力部, 13
生検領域画像取得部, 14表示制御部, 20 生検領域画像生成サーバ, 21
細胞組織領域検出部, 22 検出辞書, 23 生検領域グルーピング部, 24 生検領域切り出し部, 25位置補正部, 30ディスプレイ, 200コンピュータ, 201 CPU

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ