図面 (/)

技術 症例画像検索装置、方法およびプログラム

出願人 静岡県富士フイルム株式会社
発明者 遠藤正浩久永隆治大沢哲
出願日 2009年12月1日 (11年2ヶ月経過) 出願番号 2009-273737
公開日 2011年6月16日 (9年8ヶ月経過) 公開番号 2011-115279
状態 特許登録済
技術分野 放射線診断機器 磁気共鳴イメージング装置 診断用測定記録装置 検索装置
主要キーワード 分解能変更 分水界 顕微鏡用カメラ 計算機視覚 最高類似度 平均類似度 算出基準 注目領域検出
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年6月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

症例画像診断画像との間でのスライス厚不一致による検索精度低下を抑制する。

解決手段

画像情報DB5にThinスライスの症例画像の登録数が元々少ない場合にThinスライスの診断画像がクエリー画像として入力された場合は、Thinスライスの症例画像をThickスライスの症例画像に変換して画像情報DB5上のThickスライスの症例画像を増やすとともに、Thinスライスのクエリー画像をThickスライスのクエリー画像に変換する。あるいは、画像情報DB5にThickスライスの症例画像の登録数が元々少ない場合にThickスライスの診断画像がクエリー画像として入力された場合は、Thinスライスの症例画像をThickスライスの症例画像に変換して画像情報DB5上のThickスライスの症例画像を増やす。これにより、Thickスライスのクエリー画像と類似するThickスライスの症例画像の検索精度(ヒット率)を上げることができる。

概要

背景

特許文献1では、3次元診断画像から注目領域を抽出し、注目領域の特徴量を用いてデータベース内の類似画像データ検索を行う。

特許文献2では、3次元画像の断面となる2次元画像の類似症例検索であり、類似度に応じてスライス厚切り替えたり、変換したりして画像検索する。

特許文献3は、人体位置関係撮影方向)、あるいは撮影方向および撮影部位を認識する技術の一例である。

特許文献4は、断層画像の各々に表された部位の認識と修正を行う。

特許文献5は、病変領域を含んだまま、かつロスト肺野領域も含めた肺野領域全体を抽出する。

特許文献6および7は病変領域を自動抽出する手法の一例である。

特許文献8はユーザからの注目領域の位置情報をもとに病変領域を抽出する技術の一例である。

非特許文献1は臓器解剖学区域抽出技術の一例である。

非特許文献2はROI(関心領域)の病変部の形状情報テクスチャ情報を得る手法の例を示す。

概要

症例画像と診断画像との間でのスライス厚の不一致による検索精度低下を抑制する。画像情報DB5にThinスライスの症例画像の登録数が元々少ない場合にThinスライスの診断画像がクエリー画像として入力された場合は、Thinスライスの症例画像をThickスライスの症例画像に変換して画像情報DB5上のThickスライスの症例画像を増やすとともに、Thinスライスのクエリー画像をThickスライスのクエリー画像に変換する。あるいは、画像情報DB5にThickスライスの症例画像の登録数が元々少ない場合にThickスライスの診断画像がクエリー画像として入力された場合は、Thinスライスの症例画像をThickスライスの症例画像に変換して画像情報DB5上のThickスライスの症例画像を増やす。これにより、Thickスライスのクエリー画像と類似するThickスライスの症例画像の検索精度(ヒット率)を上げることができる。

目的

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

次元空間における画像の特徴量を算出可能な2D特徴量算出部と、前記2D特徴量算出部の算出した診断画像の特徴量とデータベース登録された2次元空間における症例画像の特徴量とを比較することで前記診断画像に類似する症例画像を前記データベースから検索可能な2D検索部と、3次元空間における画像の特徴量を算出可能な3D特徴量算出部と、前記3D特徴量算出部の算出した診断画像の特徴量と前記データベースに登録された3次元空間における症例画像の特徴量とを比較することで前記診断画像に類似する症例画像を前記データベースから検索可能な3D検索部と、画像の空間的情報分解能を所定の高分解能から所定の低分解能に変更可能な分解能変更部と、前記分解能変更部によって前記分解能が前記高分解能から前記低分解能に変更された症例画像と前記2D特徴量算出部が算出した前記低分解能の症例画像の特徴量とを対応づけて前記データベースに登録する登録部と、前記診断画像の空間的情報の分解能の高低と前記データベースにおける前記分解能と同一の分解能を有する症例画像の登録数に応じ、前記データベースに登録された症例画像の前記分解能を変更するよう前記分解能変更部を制御した上で前記データベースに登録された症例画像のうち前記診断画像の分解能と同一の低分解能を有する症例画像の中から前記診断画像と類似する症例画像を検索するよう前記2D検索部を制御するか、または、前記データベースに登録された症例画像のうち前記診断画像の分解能と同一の高分解能を有する症例画像の中から前記診断画像と類似する類似症例画像を検索するよう前記3D検索部を制御する制御部と、を備える症例画像検索装置

請求項2

前記制御部は、前記診断画像のスライス厚が所定の厚みよりも薄いThinスライス厚であり、かつ前記Thinスライス厚を有する症例画像の登録数が所定の数に満たない場合、前記Thinスライス厚の診断画像を所定の厚みよりも厚いThickスライス厚を有する診断画像に変換するよう前記分解能変更部を制御するとともに、前記Thinスライス厚の症例画像を前記Thickスライス厚を有する診断画像に変換するよう前記分解能変更部を制御し、前記分解能変更部の得たThickスライス厚の診断画像およびThickスライス厚の症例画像の特徴量を算出するよう前記2D特徴量算出部を制御し、前記Thickスライス厚の診断画像と類似する前記Thickスライス厚の症例画像を前記データベースから検索するよう前記2D検索部を制御する請求項1に記載の症例画像検索装置。

請求項3

前記制御部は、前記診断画像のスライス厚が所定の厚みよりも薄いThinスライス厚であり、かつ前記Thinスライス厚を有する症例画像の登録数が所定の数に達している場合、前記Thinスライス厚の症例画像の特徴量を算出するよう前記3D特徴量算出部を制御し、前記Thinスライス厚の診断画像と類似する前記Thinスライス厚の症例画像を前記データベースから検索するよう前記3D検索部を制御する請求項1または2に記載の症例画像検索装置。

請求項4

前記制御部は、前記診断画像のスライス厚が所定の厚みよりも厚いThickスライス厚であり、かつ前記Thickスライス厚を有する症例画像の登録数が所定の数に満たない場合、前記分解能変更部に対して前記所定の厚みよりも薄いThinスライス厚の症例画像を前記Thickスライス厚を有する症例画像に変換するよう制御し、前記Thickスライス厚の診断画像および前記分解能変更部の得たThickスライス厚の症例画像の特徴量を算出するよう前記2D特徴量算出部を制御し、前記Thickスライス厚の診断画像と類似する前記Thickスライス厚の症例画像を前記データベースから検索するよう前記2D検索部を制御する請求項1〜3のいずれかに記載の症例画像検索装置。

請求項5

前記制御部は、前記診断画像のスライス厚が所定の厚みよりも厚いThickスライス厚であり、かつ前記Thickスライス厚を有する症例画像の登録数が所定の数に達している場合、前記Thickスライス厚の診断画像の特徴量を算出するよう前記2D特徴量算出部を制御し、前記Thickスライス厚の診断画像と類似する前記Thickスライス厚の症例画像を前記データベースから検索するよう前記2D検索部を制御する請求項1〜4のいずれかに記載の症例画像検索装置。

請求項6

前記データベースは、前記症例画像に対応する診断レポートその他の付帯情報を記憶する請求項1〜5のいずれかに記載の症例画像検索装置。

請求項7

画像の撮像部位解析する部位解析部を備え、前記2D検索部および前記3D検索部は、前記データベースの症例画像のうち、前記部位解析部の解析した診断画像の撮像部位と同一の撮像部位を示す付帯情報に対応する症例画像の中から前記診断画像に類似する症例画像を検索する請求項6に記載の症例画像検索装置。

請求項8

画像の解剖学的位置を解析する位置解析部を備え、前記2D検索部および前記3D検索部は、前記データベースの症例画像のうち、前記位置解析部の解析した診断画像の解剖学的位置と同一の解剖学的位置を示す付帯情報に対応する症例画像の中から前記診断画像に類似する症例画像を検索する請求項6に記載の症例画像検索装置。

請求項9

前記診断画像から病変領域を選択する選択部を備え、前記3D特徴量算出部および前記2D特徴量算出部は、前記選択部の選択した病変領域に関する特徴量を算出する請求項1〜8のいずれかに記載の症例画像検索装置。

請求項10

前記選択部は、前記診断画像の画素値および形状の少なくとも一方に関する特徴量に基づいて前記病変領域を選択する請求項9に記載の症例画像検索装置。

請求項11

画像の注目領域を抽出する抽出部を備え、前記特徴量は、前記抽出部が前記診断画像および前記症例画像から抽出した注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量を含む請求項1〜10のいずれかに記載の症例画像検索装置。

請求項12

前記2D検索部または前記3D検索部の検索した症例画像を出力する出力部を備える1〜11のいずれかに記載の症例画像検索装置。

請求項13

前記出力部は、前記類似症例画像に対応する前記データベースの付帯情報を出力する請求項12に記載の症例画像検索装置。

請求項14

前記診断画像は、CT、MRIその他の医用撮像装置から入力された画像を含む請求項1〜13のいずれかに記載の症例画像検索装置。

請求項15

2次元空間または3次元空間における診断画像の特徴量とデータベースに登録された2次元空間または3次元空間における症例画像の特徴量とを比較することで前記診断画像に類似する症例画像を前記データベースから検索可能なコンピュータが、前記診断画像の空間的情報の分解能の高低と前記データベースにおける前記診断画像の空間的情報の分解能と同一の分解能を有する症例画像の登録数に応じ、前記データベースに登録された症例画像の前記分解能を変更した上で前記データベースに登録された症例画像のうち前記診断画像の分解能と同一の低分解能を有する症例画像の中から前記診断画像と類似する症例画像を検索するか、または、前記データベースに登録された症例画像のうち前記診断画像の分解能と同一の高分解能を有する症例画像の中から前記診断画像と類似する類似症例画像を検索する症例画像検索方法

請求項16

請求項15に記載の症例画像検索方法を前記コンピュータに実行させるための症例画像検索プログラム

技術分野

0001

本発明は、診断画像から抽出した特徴量に基づいてその診断画像と類似する症例画像検索提示する技術に関する。

背景技術

0002

特許文献1では、3次元の診断画像から注目領域を抽出し、注目領域の特徴量を用いてデータベース内の類似画像データの検索を行う。

0003

特許文献2では、3次元画像の断面となる2次元画像の類似症例検索であり、類似度に応じてスライス厚切り替えたり、変換したりして画像検索する。

0004

特許文献3は、人体位置関係撮影方向)、あるいは撮影方向および撮影部位を認識する技術の一例である。

0005

特許文献4は、断層画像の各々に表された部位の認識と修正を行う。

0006

特許文献5は、病変領域を含んだまま、かつロスト肺野領域も含めた肺野領域全体を抽出する。

0007

特許文献6および7は病変領域を自動抽出する手法の一例である。

0008

特許文献8はユーザからの注目領域の位置情報をもとに病変領域を抽出する技術の一例である。

0009

非特許文献1は臓器解剖学区域抽出技術の一例である。

0010

非特許文献2はROI(関心領域)の病変部の形状情報テクスチャ情報を得る手法の例を示す。

0011

特開2001−117936号公報
特開2008−200373号公報
特許3766033号公報
特開2008−259682号公報
特開2008−253293号公報
特開2005−198887号公報
特開2005−246032号公報
特開2008−245719号公報
特開2009−153号公報

先行技術

0012

ジャン−マーティン クーニック他、「解剖学的に誘導された3D分水界転換による肺葉分割」、メディカルイメージング2003、画像処理、SPIE議事録第5032巻1482−1490頁(Jan-Martin Kuhnigk, et. al., "Lung lobe segmentation by anatomy-guided 3D watershed transform", Medical Imaging 2003: Image Processing. Proceedings of the SPIE, Volume 5032, pp. 1482-1490 (2003)
クーツ、エドワーズ、テイラー、「動的見えモデル」、第5回計算機視覚欧州会議報、ドイツ、シュプリンガー、1998年、第2巻484−498頁(T. F. Coootes, G. J. Edwards, C. J. Taylor “Active Appearance Models”, In Proc. 5th European Conference on Computer Vision, Springer)

発明が解決しようとする課題

0013

特許文献1によると、3次元の特徴量を用いた検索を行うため、2次元では判別がつきにくかった画像に対しても正確かつ効率的な類似症例画像検索が可能であるとする。しかし、CT、MRIなどの断層装置から得られた3次元画像は、何枚ものスライス厚の薄い画像(Thinスライス)によって構成されており、登録数が増加するとデータベースの容量が膨大になる。このため、一定期間経過後のデータは、スライス厚の厚い画像(Thickスライス)に再構成し、保存・管理する場合が多い。このようなデータに対し、3次元の類似画像検索を行った場合、類似検索の精度が低下してしまい、逆にThickスライスデータに対して3次元検索を行った場合、Thinスライスとの類似検索の精度が低下する。

0014

特許文献2は、類似度に応じてThinスライスとThickスライスを使い分けているが、3次元の情報が考慮されていない。

0015

本発明は、症例画像と診断画像との間でのスライス厚の不一致による検索精度低下を抑制する。

課題を解決するための手段

0016

本発明に係る症例画像検索装置は、2次元空間における画像の特徴量を算出可能な2D特徴量算出部と、2D特徴量算出部の算出した診断画像の特徴量とデータベースに登録された2次元空間における症例画像の特徴量とを比較することで診断画像に類似する症例画像をデータベースから検索可能な2D検索部と、3次元空間における画像の特徴量を算出可能な3D特徴量算出部と、3D特徴量算出部の算出した診断画像の特徴量とデータベースに登録された3次元空間における症例画像の特徴量とを比較することで診断画像に類似する症例画像をデータベースから検索可能な3D検索部と、画像の空間的情報分解能を所定の高分解能から所定の低分解能に変更可能な分解能変更部と、分解能変更部によって分解能が高分解能から低分解能に変更された症例画像と2D特徴量算出部が算出した低分解能の症例画像の特徴量とを対応づけてデータベースに登録する登録部と、診断画像の空間的情報の分解能の高低とデータベースにおける分解能と同一の分解能を有する症例画像の登録数に応じ、データベースに登録された症例画像の分解能を変更するよう分解能変更部を制御した上でデータベースに登録された症例画像のうち診断画像の分解能と同一の低分解能を有する症例画像の中から診断画像と類似する症例画像を検索するよう2D検索部を制御するか、または、データベースに登録された症例画像のうち診断画像の分解能と同一の高分解能を有する症例画像の中から診断画像と類似する類似症例画像を検索するよう3D検索部を制御する制御部と、を備える。

0017

好ましくは、制御部は、診断画像のスライス厚が所定の厚みよりも薄いThinスライス厚であり、かつThinスライス厚を有する症例画像の登録数が所定の数に満たない場合、Thinスライス厚の診断画像を所定の厚みよりも厚いThickスライス厚を有する診断画像に変換するよう分解能変更部を制御するとともに、Thinスライス厚の症例画像をThickスライス厚を有する診断画像に変換するよう分解能変更部を制御し、分解能変更部の得たThickスライス厚の診断画像およびThickスライス厚の症例画像の特徴量を算出するよう2D特徴量算出部を制御し、Thickスライス厚の診断画像と類似するThickスライス厚の症例画像をデータベースから検索するよう2D検索部を制御する。

0018

好ましくは、制御部は、診断画像のスライス厚が所定の厚みよりも薄いThinスライス厚であり、かつThinスライス厚を有する症例画像の登録数が所定の数に達している場合、Thinスライス厚の症例画像の特徴量を算出するよう3D特徴量算出部を制御し、Thinスライス厚の診断画像と類似するThinスライス厚の症例画像をデータベースから検索するよう3D検索部を制御する。

0019

好ましくは、制御部は、診断画像のスライス厚が所定の厚みよりも厚いThickスライス厚であり、かつThickスライス厚を有する症例画像の登録数が所定の数に満たない場合、分解能変更部に対して所定の厚みよりも薄いThinスライス厚の症例画像をThickスライス厚を有する症例画像に変換するよう制御し、Thickスライス厚の診断画像および分解能変更部の得たThickスライス厚の症例画像の特徴量を算出するよう2D特徴量算出部を制御し、Thickスライス厚の診断画像と類似するThickスライス厚の症例画像をデータベースから検索するよう2D検索部を制御する。

0020

好ましくは、制御部は、診断画像のスライス厚が所定の厚みよりも厚いThickスライス厚であり、かつThickスライス厚を有する症例画像の登録数が所定の数に達している場合、Thickスライス厚の診断画像の特徴量を算出するよう2D特徴量算出部を制御し、Thickスライス厚の診断画像と類似するThickスライス厚の症例画像をデータベースから検索するよう2D検索部を制御する。

0021

好ましくは、データベースは、症例画像に対応する診断レポートその他の付帯情報を記憶する。

0022

好ましくは、画像の撮像部位解析する部位解析部を備え、2D検索部および3D検索部は、データベースの症例画像のうち、部位解析部の解析した診断画像の撮像部位と同一の撮像部位を示す付帯情報に対応する症例画像の中から診断画像に類似する症例画像を検索する。

0023

好ましくは、画像の解剖学的位置を解析する位置解析部を備え、2D検索部および3D検索部は、データベースの症例画像のうち、位置解析部の解析した診断画像の解剖学的位置と同一の解剖学的位置を示す付帯情報に対応する症例画像の中から診断画像に類似する症例画像を検索する。

0024

好ましくは、診断画像から病変領域を選択する選択部を備え、3D特徴量算出部および2D特徴量算出部は、選択部の選択した病変領域に関する特徴量を算出する。

0025

好ましくは、選択部は、診断画像の画素値および形状の少なくとも一方に関する特徴量に基づいて病変領域を選択する。

0026

好ましくは、画像の注目領域を抽出する抽出部を備え、特徴量は、抽出部が診断画像および症例画像から抽出した注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量を含む。

0027

好ましくは、2D検索部または3D検索部の検索した症例画像を出力する出力部を備える。

0028

好ましくは、出力部は、類似症例画像に対応するデータベースの付帯情報を出力する。

0029

好ましくは、診断画像は、CT、MRIその他の医用撮像装置から入力された画像を含む。

0030

本発明に係る症例画像検索方法は、2次元空間または3次元空間における診断画像の特徴量とデータベースに登録された2次元空間または3次元空間における症例画像の特徴量とを比較することで診断画像に類似する症例画像をデータベースから検索可能なコンピュータが、診断画像の空間的情報の分解能の高低とデータベースにおける診断画像の空間的情報の分解能と同一の分解能を有する症例画像の登録数に応じ、データベースに登録された症例画像の分解能を変更した上でデータベースに登録された症例画像のうち診断画像の分解能と同一の低分解能を有する症例画像の中から診断画像と類似する症例画像を検索するか、または、データベースに登録された症例画像のうち診断画像の分解能と同一の高分解能を有する症例画像の中から診断画像と類似する類似症例画像を検索する。

0031

この症例画像検索方法をコンピュータに実行させるためのプログラムも本発明に含まれる。

発明の効果

0032

この発明によると、高低双方の分解能の診断画像に類似する症例画像の検索精度の向上を両立させることができる。

図面の簡単な説明

0033

類似症例検索システム概略構成
画像解析部の詳細を示すブロック図
登録部の詳細を示すブロック図
画像検索方式決定テーブルの一例を示す図

実施例

0034

図1は本発明の好ましい実施形態に係る類似症例検索システム100の概略構成図である。このシステムは、画像データ入力部1、検索条件切替部2、画像解析部(3D)3a、類似画像検索部(3D)4a、画像解析部(2D)3b、類似画像検索部(2D)4b、画像情報DB5、表示部6、登録部7、スライス再構成部8を備える。画像解析部3a・3bをまとめて画像解析部3、類似画像検索部4a・4bをまとめて類似画像検索部4と表記することもある。

0035

類似症例検索システム100は、コンピュータ(CPU,RAM,ROMなど演算処理に必要な回路データ記憶媒体データ入出力回路表示回路操作装置通信回路などを備えたもの)で構成することができる。

0036

類似症例検索システム100の各ブロックは1つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで類似症例検索システム100を構成してもよい。また、検索条件切替部2、画像解析部3、類似画像検索部4、登録部7、スライス再構成部8はコンピュータで実行されるプログラムモジュール(ROMなどのコンピュータ読取可能な記録媒体に格納)で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。表示部6は液晶ディスプレイ、画像情報DB5はハードディスクなどで構成できる。

0037

画像データ入力部1は、CT画像MRI画像PET画像X線画像(CR画像含む)、US(超音波)画像、内視鏡画像マンモグラフィ病理画像などの2Dまたは3Dの診断対象画像クエリー画像)を入力する。画像データ入力部1は、これらのクエリー画像と、クエリー画像のサイズや撮像日時や3Dクエリー画像のスキャン方向、スライス厚といった付帯情報や症例情報を入力することもできる。画像データ入力部1および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、DICOM(Digital Imaging and Communication in Medicine)のような所定の規格に従っている。スライス厚は、医用撮像装置のスキャン方向に沿って定められ、典型的には、患者体軸方向に沿って定められる。

0038

検索条件切替部2は、クエリー画像の付帯情報などに含まれるスライス厚の情報と画像情報DB5上の当該クエリー画像と同一のスライス厚を有する症例画像のデータ登録数から、最も適切な画像検索方式を決定する。そして、その判断結果に従い、画像解析部3a・3bのいずれで画像解析を行い、また類似画像検索部4a・4bのいずれか一方で画像検索を実行させるよう制御する。

0039

類似画像検索部4は、画像解析部3から出力されたクエリー画像の注目領域の特徴量(第1の特徴量)および注目領域の位置情報と画像情報DB5に蓄積された症例画像の注目領域の特徴量(第2の特徴量)および注目領域の位置情報とを比較し、同一の解剖学的位置もしくは同一の撮像部位に関する双方の注目領域の類似度を算出する。第2の特徴量は、クエリー画像の第1の特徴量の計算手法と同じ手法に従って症例画像から予め作成されて蓄積されている。類似画像検索部4は、画像情報DB5に蓄積された症例画像のうち、クエリー画像の注目領域の位置情報で示される解剖学的位置または撮像部位に対応する症例画像(同一位置症例画像)を特定した上、クエリー画像の注目領域の第1の特徴量との類似度が所定の値よりも高くなる第2の特徴量に対応する同一位置症例画像を特定する。そして、類似画像検索部4は、特定された症例画像と、その症例画像に対応する画像情報DB5に蓄積された各種の症例情報を、表示部6に表示する。

0040

表示部6やプリンタなどへの症例画像の出力方法は任意である。例えば、クエリー画像に対する類似症例画像を類似度の高い順に並べて、あるいは症例ごとに分類して、表示部6に立体表示あるいは平面表示したりプリントアウトしたりする。表示部6に一度に表示される画像の数を操作装置から入力指定できてもよい。類似度が最も高いものや典型症例の症例情報が対応づけられているものなど特定の条件を満たす類似症例画像を他の類似症例画像に比して拡大して表示したり、色付きの線分で類似症例画像あるいはその注目領域を囲むなどの視覚的効果を付与してもよい。あるいは、レポートなどの診断情報に基づいて症例ごとに類似症例画像を表示する。所望の類似症例画像がクリックなどで選択された場合、選択された画像に対応する診断情報を表示してもよい。

0041

また、画像情報DB5の診断情報が、部外者閲覧予定していない患者の個人情報を含む場合、これを部外者に無制限に開示するのは好ましくない。そこで、類似画像検索部4が「施設外」あるいは「部外者」のユーザを認証した場合、表示部6は、診断情報に含まれる個人情報(患者氏名、生年月日など個人を特定できる情報)を、無意味文字列で置換するなどして匿名化して表示するか、個人情報の表示を全く行わないようにしてもよい。

0042

類似画像検索部4の類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間(重み付き空間も可)上の最小2乗法などが採用できる。説明の便宜上、類似度Sは以下の数式で定義する。ただし、本願発明の実施のために、類似度Sの算出基準ノルム)がこの定義に限定されるわけではない。

0043

0044

特徴量mi(i=1,2,…,n)は登録済みの症例画像の注目領域の特徴量、Mi(i=1,2,…,n)は診断画像の注目領域から抽出された特徴量である。wi(i=1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。mi、Mi、wiの添え字iは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Sの値が小さくなり、双方の特徴量が遠いほど類似度Sの値が大きくなる。

0045

表示部6は、映像出力手段以外の出力手段に代替できる。例えば表示部6に代えて、あるいは表示部6とともに、特定された症例画像と、その症例画像に対応する画像情報DB5に蓄積された各種情報印刷手段によって出力してもよい。また、画像情報でなければ、音声出力手段からの合成音声の出力などによって検索結果を出力できる。あるいは出力手段をネットワークI/Fとし、所望の端末パソコン携帯電話、PDAなど)に検索結果を出力してもよい。所望の端末が表示部6を備えていてもよいが、この端末の表示部6に検索した症例画像を表示する場合は、当該端末のユーザを認証して類似症例画像検索を許可してもよい。

0046

画像情報DB5には、検索対象画像となる症例画像を含む症例情報が格納されている。ここで、症例情報は、疾患別に分類されて格納されていてもよく、さらに疾患別に統計情報疾患情報、特定の疾患に対しては間違えられやすい疾患の疾患情報や医学情報リンクされて登録されていてもよい。

0047

また、症例情報には、確定診断された各疾患の症例画像、症例画像の注目領域の第2の特徴量の他に、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。

0048

また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度(疾患内の最高類似度
平均類似度
・症例DB内の該当疾患の総登録件数
・代表症例に近い症例(症例パターン)の登録件数
・症例パターンにおける特徴…主な症状
・症例パターンにおける患者の特徴…平均年齢病歴喫煙歴など
・全国/地域別罹患率
・その他
画像情報DB5には、登録されている各症例画像の病変部位(注目領域)から抽出された特徴量(第2の特徴量)が格納されている。ただし、症例画像自体が画像情報DB5に蓄積されていれば、事後的にその症例画像を注目領域抽出部72などで解析することで第2の特徴量を得ることができるから、画像情報DB5に第2の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。

0049

表示部6は、類似度が高い画像データだけでなく、データベース内における類似画像の疾患ごとの類似画像検索結果といった統計情報を表示してもよい。

0050

登録部7によって画像情報DB5に登録される症例画像は、クエリー画像と同様に各種の医用撮像装置(CT装置MRI装置PET装置X線装置、US装置、内視鏡マンモグラフィ装置顕微鏡用カメラなど)から得られる。また、登録部7によって画像情報DB5に登録される症例画像に対応する第2の特徴量および病変部位ないし解剖学的位置の位置情報は、後述の画像解析で得られる。また、登録部7によって画像情報DB5に登録される症例画像に対応する症例情報は、ユーザによる操作装置の入力操作外部機器(医用撮像装置など)からのインポートなどで得られる。

0051

図2は画像解析部3の構成を示す。画像解析部3は、位置解析部31、注目領域抽出部32、特徴量変換部33を備える。画像解析部3の各ブロックは1つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで類似症例検索システム100を構成してもよい。また、位置解析部31、注目領域抽出部32、特徴量変換部33はコンピュータで実行されるプログラムモジュール(ROMなどのコンピュータ読取可能な記録媒体に格納)で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。

0052

画像解析部3a・3bのハードウェア的構成は共通にすることができるが、ソフトウェア処理の内容が異なる。画像解析部3aに備えられるブロックは位置解析部31a、注目領域抽出部32a、特徴量変換部33aと表記し、画像解析部3bに備えられるブロックは位置解析部31b、注目領域抽出部32b、特徴量変換部33bと表記することもあるが、区別が必要ない場合は位置解析部31、注目領域抽出部32、特徴量変換部33と表記する。

0053

位置解析部31は、腫瘤などの病変領域の部位または解剖学的区域を示す位置情報を解析して出力する。位置情報は部位か解剖学的位置かいずれか一方を示していれば十分である。3D画像が位置解析部31aで処理される場合、例えば、特許文献3や4のようにして撮像部位などの部位情報を3D画像から認識する。あるいは、非特許文献1のようにして臓器の解剖学的区域、例えばの場合であれば肺葉や肺区域の抽出を行う。2D画像が位置解析部31bで処理される場合、例えば、特許文献3の手法によって部位を推定する。あるいは、解剖学的区域の場合も、例えば肺のCT画像については、閾値処理によって血管、気管を抽出し、特許文献5などの手法によって肺野領域を推定し、それらの組み合わせによって肺野領域の相対位置・解剖学的区域を推定するなど、画像の輪郭・画素値、人体の位置関係の特徴などを利用した公知の画像処理技術を用いて、病変領域の位置情報を計算することができる。画像情報DB5に登録された部位ないし解剖学的位置ごとの症例情報の数が所定の閾値(例えば100)よりも少ない場合は、位置解析部31による位置情報の計算を省略してもよい。

0054

注目領域抽出部32は、画像データ入力部1から入力されたクエリー画像を解析し、画像情報DB5に蓄積された類似画像の検索に必要な注目領域を抽出する。2Dまたは3Dのクエリー画像からの注目領域の抽出手法は各種の公知技術が採用できる。例えば、特許文献6や7のような自動検出の手法、特許文献8のようなユーザがマウスタッチパネルなどの操作装置から指定した注目領域の位置情報をもとに領域を抽出する手法など、画像の輪郭・画素値、位置情報などの特徴を利用した公知の抽出技術を用いる。病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量(画素値に関する特徴量あるいは輪郭など形状に関する特徴量)を利用した画像処理技術で半自動的に抽出してもよい(例えば特許文献9)。要するに、注目領域の抽出は、公知の画像の輪郭・画素値、位置情報などの特徴を利用した半自動的あるいは全自動的な注目領域検出技術を用いることができる。

0055

特徴量変換部33は、注目領域抽出部32が抽出した注目領域の特徴量を算出して出力する。出力される特徴量は画像データの平均、分散、最大値最小値輝度ヒストグラムといった画素値に関する特徴量や、抽出領域の位置、抽出領域の輪郭の円形度モーメントなど形状に関する特徴量や、断面の半径体積面積など大きさに関する特徴量の他、非特許文献2などの手法によって得られるROI(関心領域)の病変部の形状情報やテクスチャ情報でもよい。あるいは、画像情報DB5に一旦登録された情報を所定の数式(例えば主成分分析独立成分分析)で処理した値を特徴量としてもよい。要するに、公知の手法で得られた注目領域の輪郭・画素値、位置情報などを特徴量とすることができる。

0056

位置解析部31の作成した撮像部位・解剖学的区域の位置情報および特徴量変換部33が出力したクエリー画像の特徴量(第1の特徴量)は、類似画像検索部4に出力される。位置解析部31aの得た位置情報および第1の特徴量の出力先は類似画像検索部4aであり、位置解析部31bの得た位置情報および第1の特徴量の出力先は類似画像検索部4bである。

0057

図3は登録部7の詳細を示す。登録部7は、位置解析部71、注目領域抽出部72、特徴量変換部73、登録制御部74を含む。登録部7の各ブロックは1つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで類似症例検索システム100を構成してもよい。また、位置解析部71、注目領域抽出部72、特徴量変換部73、登録制御部74はコンピュータで実行されるプログラムモジュール(ROMなどのコンピュータ読取可能な記録媒体に格納)で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。

0058

位置解析部71、注目領域抽出部72、特徴量変換部73は、それぞれ位置解析部31、注目領域抽出部32、特徴量変換部33と同様の処理を行う。つまり、2Dの症例画像の特徴量および位置情報、3Dの症例画像の特徴量および位置情報のいずれも算出できる。なお、画像情報DB5に登録された部位ないし解剖学的位置ごとの症例情報の数が所定の閾値(例えば100)よりも少ない場合は、位置解析部71による位置情報の計算を省略してもよい。

0059

登録制御部74は、特徴量変換部73の出力した症例画像の注目領域に対応する特徴量(第2の特徴量)と、位置解析部71の出力した症例画像の病変部位ないし解剖学的区域の位置情報と、当該注目領域の抽出元となった症例画像と、当該症例画像に関して診断レポート入力部75から入力された診断情報その他の付帯情報を対応づけた症例情報とを、画像情報DB5に登録する。なお診断レポート入力部75は、キーボードなどの操作装置、あるいは医用撮像装置から付帯情報を入力することができる。また、スライス厚の情報や位置情報を症例情報に含めることができる。

0060

ただし、有意な差異のない複数の注目領域の特徴量をいたずらに画像情報DB5に登録しても記憶領域の浪費につながる。そこで、登録制御部74は、同一の症例画像から抽出した異なる2つの注目領域の特徴量の間で類似度を算出し、類似度が所定の閾値よりも近い場合は、2つの注目領域の特徴量のうち任意の一方のみを登録する。あるいは、2つの注目領域の特徴量の平均値を登録する。3つ以上の注目領域がある場合は、その中の2つ注目領域について上記のような登録方法を繰り返せばよい。類似度の算出方法は、後述する類似画像検索部4の採用するものと同じでよい。

0061

以下、検索条件切替部2の動作の詳細を説明する。検索条件切替部2は、図4に例示するような画像検索方式決定テーブル(ROMなどの記録媒体に予め保存されている)を参照し、診断画像の付帯情報に含まれるスライス厚の情報と、診断画像と同一スライス厚の症例画像の画像情報DB5上の登録数との組からなるキー情報に対応する検索方式を、最も適切な検索方式に決定する。

0062

例えば、診断画像のスライス厚の情報=「Thin」かつ「Thin」スライス厚の症例画像の登録数=「多い」の組からなるキー情報には、「3次元類似画像検索」が対応している。あるいは、診断画像のスライス厚の情報=「Thin」かつ「Thin」スライス厚の症例画像のデータ登録数=「少ない」の組からなるキー情報には、「Thickスライス画像の2次元類似画像検索」が対応している。あるいは、診断画像のスライス厚の情報=「Thick」かつ「Thick」スライス厚の症例画像の登録数=「多い」の組からなるキー情報には、「2次元類似画像検索」が対応している。あるいは、診断画像のスライス厚の情報=「Thick」かつ「Thick」スライス厚の症例画像のデータ登録数=「少ない」の組からなるキー情報には、「Thinスライス画像の2次元類似画像検索」が対応している。検索条件切替部2は、上記の4パターンの検索方式の中から、キー情報に対応する検索方式を特定し、それを最も適切な検索方式に決定する。ただし、図4以外のキー情報や検索方式のパターンを定めてもよく、図示のテーブルは例示にすぎない。

0063

なお、「多い」または「少ない」の区別は、フラッシュメモリなどの記録媒体に予め保存された所定の閾値を基準に決める。データ登録数が所定の閾値(例えば100件)を超えていれば「多い」であり、データ登録数が所定の閾値を超えていなければ「少ない」である。この閾値は操作装置から任意に設定できてもよい。

0064

検索条件切替部2は、「3次元類似画像検索」を最も適切な検索方式に決定した場合、画像解析部3aに対し、画像データ入力部1から入力された3Dのクエリー画像の特徴量の算出および撮像部位ないし解剖学的区域の位置情報の算出を指示する。さらに検索条件切替部2は、類似画像検索部4aに対し、画像情報DB5に登録されているThinスライスの症例画像の中からクエリー画像に類似する類似画像の検索を指示する。類似画像の検索は、Thinスライスの症例画像に対応する3Dの特徴量・位置情報とクエリー画像に対応する3Dの特徴量・位置情報との比較(位置情報の同一性および類似度の高低)に基づいて行われる。

0065

検索条件切替部2は、「Thickスライス画像の2次元類似画像検索」を最も適切な検索方式に決定した場合、まず、スライス再構成部8に対し、Thinスライス厚(例えば1mm)のクエリー画像からThickスライス厚(例えば3mm)のクエリー画像への再構成を指示するとともに、画像情報DB5のThinスライス厚の症例画像からThickスライス厚の症例画像への再構成を指示する。スライス再構成部8は、検索条件切替部2からの指示に応じ、特許文献2などの公知技術と同様にして、画像情報DB5に登録されたThinスライスのクエリー画像・症例画像を、所定のThickスライス厚を有する診断画像・症例画像に再構成する。検索条件切替部2は、スライス再構成部8によって再構成されたThickスライスの症例画像およびその付帯情報(当該再構成後の症例画像に対応する2Dの特徴量と撮像部位ないし解剖学的区域の位置情報を含む)の画像情報DB5への登録を登録部7に依頼し、登録部7はこの依頼に応じて、画像情報DB5に、当該再構成されたThickスライスの症例画像と、2Dの特徴量と、位置情報とを対応づけて登録する。

0066

一方、検索条件切替部2は、画像解析部3bに対し、当該再構成されたThickスライスのクエリー画像の特徴量の算出および撮像部位の解剖学的区域の位置情報の算出を指示する。画像解析部3bは、当該指示に応じ、再構成されたThickスライスのクエリー画像の特徴量の算出および撮像部位の解剖学的区域の位置情報の算出を行う。

0067

さらに検索条件切替部2は、類似画像検索部4bに対し、画像情報DB5に登録されたThickスライスの症例画像(再構成されたThickスライスの症例画像だけでなく元々登録されていたThickスライスの症例画像も含む)の中から、Thickスライスのクエリー画像に類似する類似画像の検索を指示する。類似画像の検索は、Thickスライスの症例画像に対応する2Dの特徴量・位置情報とThickスライスのクエリー画像に対応する2Dの特徴量・位置情報との比較に基づいて行われる。

0068

検索条件切替部2は、「2次元類似画像検索」を最も適切な検索方式に決定した場合、画像解析部3bに対し、画像データ入力部1から入力された2Dのクエリー画像の特徴量の算出および撮像部位ないし解剖学的区域の位置情報の算出を指示する。さらに検索条件切替部2は、類似画像検索部4bに対し、画像情報DB5に登録されているThickスライスの症例画像の中からクエリー画像に類似する類似画像の検索を指示する。類似画像の検索は、Thickスライスの症例画像に対応する2Dの特徴量・位置情報とThickスライスのクエリー画像に対応する2Dの特徴量・位置情報との比較に基づいて行われる。

0069

検索条件切替部2は、「Thinスライス画像の2次元類似画像検索」を最も適切な検索方式に決定した場合、スライス再構成部8に対し、画像情報DB5のThinスライスの症例画像からThickスライスの症例画像への再構成を指示する。

0070

スライス再構成部8は、検索条件切替部2からの指示に応じ、特許文献2などの公知技術と同様にして、Thinスライスの症例画像を所定のThickスライス厚(例えば3mm)のクエリー画像に再構成する。検索条件切替部2は、スライス再構成部8によって再構成されたThickスライスの症例画像およびその付帯情報(2Dの特徴量と撮像部位ないし解剖学的区域の位置情報を含む)の画像情報DB5への登録を登録部7に依頼する。登録部7はこの依頼に応じて、画像情報DB5に、当該再構成されたThickスライスの症例画像と、その2Dの特徴量と、その撮像部位ないし解剖学的区域の位置情報とを対応づけて登録する。一方、検索条件切替部2は、Thickスライスのクエリー画像を画像解析部3bに入力し、当該クエリー画像の2Dの特徴量の算出および撮像部位ないし解剖学的区域の位置情報の算出を画像解析部3bに指示する。さらに検索条件切替部2は、類似画像検索部4bに対し、画像情報DB5に登録されたThickスライスの症例画像(再構成されたThickスライスの症例画像だけでなく元々登録されていたThickスライスの症例画像も含む)の中から、Thickスライスのクエリー画像に類似する類似画像の検索を指示する。類似画像の検索は、Thickスライスの症例画像に対応する2Dの特徴量・位置情報とThickスライスのクエリー画像に対応する2Dの特徴量・位置情報との比較に基づいて行われる。

0071

スライス画像の再構成は、検索の都度(クエリー画像入力の都度)、リアルタイムで作成してもよいし、検索の前に予めバッチ処理で行っても良い。Thinスライス、Thickスライスの厚みは任意であり、Thickスライスの厚みに関しては、3mm、4mm、5mmなど様々な厚みのパターンを予め網羅するように再構成してもよい。いずれにせよ、再構成された症例画像は、登録部7を経由して画像情報DB5に登録され、その際、再構成された症例画像に対応する特徴量および撮像部位ないし解剖学的区域の位置情報が計算されて、再構成された症例画像に対応する付帯情報として登録される。画像情報DB5に容量的余裕がない場合は、検索の終了後、再構成された症例画像に対応する付帯情報(特徴量、位置情報)だけを画像情報DB5に残し、再構成された症例画像そのものは画像情報DB5から消去してもよい。あるいは、検索の終了後、付帯情報も再構成された症例画像も画像情報DB5から消去してもよい。

0072

検索条件切替部2によるThickスライス厚およびThinスライス厚の判定の基準は、所定の閾値を基準に決めることができる。すなわち、画像のスライス厚が所定の閾値を超えていれば「Thick」、画像のスライス厚が所定の閾値を超えていなければ「Thin」である。例えば、所定の閾値が2mmであり、画像のスライス厚が1mmならば「Thin」と判定され、画像のスライス厚が3mmならば「Thick」と判定される。このスライス厚の閾値を操作装置を介してユーザが自由に設定できてもよい。あるいは、スライス厚=1mmならば「Thin」、スライス厚=3mmならば「Thick」などと、予めスライス厚とThickスライス画像またはThinスライス画像との関係を定義しておき、この定義に従って区別してもよい。この定義は複数パターンあってもよい。

0073

検索条件切替部2は、上述した画像検索方式決定テーブルとキー情報の対比とは別の方法で検索方式を決定してもよい。例えば、入力されたクエリー画像がThinスライスであれば、デフォルトで3次元類似画像検索を検索方式に決定し、その検索方式に従った検索の結果、類似画像の抽出数が所定の閾値(例えば3)を下回る場合、デフォルトの検索方式の検索精度は低いとみなし、2次元類似画像検索を検索方式に決定して、その検索方式に従った検索を行う。あるいは、デフォルトの検索方式は、上述した画像検索方式決定テーブルとキー情報の対比で決定してもよい。こうすると、まずは情報の多い3D類似画像検索が先行し、その検索が功を奏しなかった場合に次善策として2D類似画像検索を行える。

0074

以上のように、画像情報DB5にThinスライスの症例画像の登録数が元々少ない場合にThinスライスの診断画像がクエリー画像として入力された場合は、Thinスライスの症例画像をThickスライスの症例画像に変換して画像情報DB5上のThickスライスの症例画像を増やすとともに、Thinスライスのクエリー画像をThickスライスのクエリー画像に変換し、Thickスライスのクエリー画像と類似するThickスライスの症例画像の検索精度(ヒット率)を上げることができる。

0075

あるいは、画像情報DB5にThickスライスの症例画像の登録数が元々少ない場合にThickスライスの診断画像がクエリー画像として入力された場合は、Thinスライスの症例画像をThickスライスの症例画像に変換して画像情報DB5上のThickスライスの症例画像を増やし、Thickスライスのクエリー画像と類似するThickスライスの症例画像の検索精度(ヒット率)を上げることができる。

0076

1:画像データ入力部、2:検索条件切替部、3:画像解析部、4:類似画像検索部、5:画像情報DB、6:表示部、7:登録部、8:スライス再構成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ