図面 (/)

技術 画像処理装置、画像処理プログラム及び画像処理方法

出願人 ソニー株式会社
発明者 林邦彦見留徹渡辺真司
出願日 2013年8月29日 (6年2ヶ月経過) 出願番号 2014-536575
公開日 2016年8月18日 (3年2ヶ月経過) 公開番号 WO2014-045525
状態 特許登録済
技術分野 画像処理 光学的手段による材料の調査、分析
主要キーワード 線形補間値 領域検出用 顕微鏡画像データ 顕微鏡撮像装置 撮像画 エッジ検出アルゴリズム 観察対象領域 領域検出結果
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年8月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

顕微鏡画像撮像に利用される全体画像視認性と画像処理精度を両立させることが可能な画像処理装置画像処理プログラム及び画像処理方法を提供すること。

解決手段

本技術に係る画像処理装置は、出力値取得部と、第1の補間部と、第2の補間部と、画像生成部と、第1のエッジ検出部とを具備する。出力値取得部は、二次元的に配列された複数の受光素子を有する撮像素子から、複数の受光素子のそれぞれの出力値を取得する。第1の補間部は、第1の補間アルゴリズムを利用して画素値を補間する。第2の補間部は、第2の補間アルゴリズムを利用して画素値を補間する。画像生成部は、第1の補間部によって補間された画素値から画像を生成する。第1のエッジ検出部は、第2の補間部によって補間された画素値から、第1のエッジ検出アルゴリズムを利用してエッジを検出する。

概要

背景

病理診断等の分野で利用される顕微鏡撮像画像デジタルイメージングにおいては、病理組織等が固定された試料スライド)が顕微鏡を介して撮像装置によって撮像される。ここで、顕微鏡を介することによって撮像装置の視野範囲微細となるため、試料において顕微鏡観察必要な範囲(以下、観察対象範囲)を、撮像装置の視野範囲を移動させながら複数回にわたって撮像することが一般的である。撮像された画像(以下、顕微鏡撮像画像)は位置合わせをして結合され、観察対象範囲の顕微鏡撮像画が生成される。

多くの場合、顕微鏡撮像の前に試料全体を別の倍率、もしくは別の光学系、撮像素子で撮像し、得られた画像(以下、全体画像)に対して画像処理を施すことによって上記観察対象範囲を検出することが行われる。例えば特許文献1には、試料の全体を撮像した画像から観察対象範囲を検出し、その範囲を顕微鏡撮像する「検体領域検出方法」が開示されている。

全体画像は、観察者が所望の顕微鏡撮像画像を検索するための一覧用画像(サムネイル画像)としても利用される。さらに試料には、試料を特定するための情報(文字バーコード等)等が表示されている場合もあり、全体画像からこのような情報の読み取りも行われる。

概要

顕微鏡画像の撮像に利用される全体画像の視認性と画像処理精度を両立させることが可能な画像処理装置画像処理プログラム及び画像処理方法を提供すること。本技術に係る画像処理装置は、出力値取得部と、第1の補間部と、第2の補間部と、画像生成部と、第1のエッジ検出部とを具備する。出力値取得部は、二次元的に配列された複数の受光素子を有する撮像素子から、複数の受光素子のそれぞれの出力値を取得する。第1の補間部は、第1の補間アルゴリズムを利用して画素値を補間する。第2の補間部は、第2の補間アルゴリズムを利用して画素値を補間する。画像生成部は、第1の補間部によって補間された画素値から画像を生成する。第1のエッジ検出部は、第2の補間部によって補間された画素値から、第1のエッジ検出アルゴリズムを利用してエッジを検出する。

目的

以上のような事情に鑑み、本技術の目的は、顕微鏡画像の撮像に利用される全体画像の視認性と画像処理精度を両立させることが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

次元的に配列された複数の受光素子を有する撮像素子から、前記複数の受光素子のそれぞれの出力値を取得する出力値取得部と、第1の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素画素値を補間する第1の補間部と、前記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第2の補間部と前記第1の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する画像生成部と、前記第2の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、第1のエッジ検出アルゴリズムを利用してエッジを検出する第1のエッジ検出部とを具備する画像処理装置

請求項2

請求項1に記載の画像処理装置であって、前記第1の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように前記画素値を補間する補間アルゴリズムであり、前記第2の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が前記第1の補間アルゴリズムより大きくなるように前記画素値を補間する補間アルゴリズムである画像処理装置。

請求項3

請求項2に記載の画像処理装置であって、前記第1のエッジ検出部による検出結果から領域検出を行う領域検出部をさらに具備する画像処理装置。

請求項4

請求項3に記載の画像処理装置であって、前記第2の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、前記第1のエッジ検出アルゴリズムとは異なる第2のエッジ検出アルゴリズムを利用してエッジを検出する第2のエッジ検出部と前記第2のエッジ検出部による検出結果から、情報認識を行う情報認識部をさらに具備する画像処理装置。

請求項5

請求項2に記載の画像処理装置であって、前記第2の補間部は、前記画素値の補間と共にYUV変換を行う画像処理装置。

請求項6

請求項2に記載の画像処理装置であって、前記第1の補間アルゴリズムは、線形補間法であり、前記第2の補間アルゴリズムは、勾配法である画像処理装置。

請求項7

請求項4に記載の画像処理装置であって、前記領域検出部は、前記第1のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、前記情報認識部は、前記第2のエッジ検出部による検出結果から前記試料に表示された文字又はコードを認識する画像処理装置。

請求項8

請求項1に記載の画像処理装置であって、前記第1の補間アルゴリズム及び前記第2の補間アルゴリズムとは異なる第3の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第3の補間部と前記第3の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、前記第1のエッジ検出アルゴリズムとは異なる第2のエッジ検出アルゴリズムを利用してエッジを検出する第2のエッジ検出部をさらに具備する画像処理装置。

請求項9

請求項8に記載の画像処理装置であって、前記第1の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように前記画素値を補間する補間アルゴリズムであり、前記第2の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が前記第1の補間アルゴリズムより大きくなるように前記画素値を補間する補間アルゴリズムであり、前記第3の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が前記第1の補間アルゴリズムより大きくなるように前記画素値を補間する補間アルゴリズムである画像処理装置。

請求項10

請求項9に記載の画像処理装置であって、前記第1のエッジ検出部による検出結果から領域検出を行う領域検出部と前記第2のエッジ検出部による検出結果から情報認識を行う情報認識部をさらに具備する画像処理装置。

請求項11

請求項9に記載の画像処理装置であって、前記第2の補間部は、前記画素値の補間と共にYUV変換を行い前記第3の補間部は、前記画素値の補間と共にYUV変換を行う画像処理装置。

請求項12

請求項9に記載の画像処理装置であって、前記第1の補間アルゴリズムは、線形補間法であり、前記第2の補間アルゴリズムは、勾配法であり前記第3の補間アルゴリズムは、適応型カラーブレーン補間法である画像処理装置。

請求項13

請求項10に記載の画像処理装置であって、前記領域検出部は、前記第1のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、前記情報認識部は、前記第2のエッジ検出部による検出結果から前記試料に表示された文字又はコードを認識する画像処理装置。

請求項14

二次元的に配列された複数の受光素子を有する撮像素子から、前記複数の受光素子のそれぞれの出力値を取得する出力値取得部と、第1の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第1の補間部と、前記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第2の補間部と、前記第1の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する画像生成部と、前記第2の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出するエッジ検出部ととして情報処理装置を機能させる画像処理プログラム

請求項15

出力値取得部が、二次元的に配列された複数の受光素子を有する撮像素子から、前記複数の受光素子のそれぞれの出力値を取得し、第1の補間部が、第1の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間し、第2の補間部が、前記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間し、画像生成部が、前記第1の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成し、エッジ検出部が、前記第2の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出する画像処理方法

技術分野

0001

本技術は、病理診断等に利用可能なデジタルイメージングに関する。

背景技術

0002

病理診断等の分野で利用される顕微鏡撮像画像のデジタルイメージングにおいては、病理組織等が固定された試料スライド)が顕微鏡を介して撮像装置によって撮像される。ここで、顕微鏡を介することによって撮像装置の視野範囲微細となるため、試料において顕微鏡観察必要な範囲(以下、観察対象範囲)を、撮像装置の視野範囲を移動させながら複数回にわたって撮像することが一般的である。撮像された画像(以下、顕微鏡撮像画像)は位置合わせをして結合され、観察対象範囲の顕微鏡撮像画が生成される。

0003

多くの場合、顕微鏡撮像の前に試料全体を別の倍率、もしくは別の光学系、撮像素子で撮像し、得られた画像(以下、全体画像)に対して画像処理を施すことによって上記観察対象範囲を検出することが行われる。例えば特許文献1には、試料の全体を撮像した画像から観察対象範囲を検出し、その範囲を顕微鏡撮像する「検体領域検出方法」が開示されている。

0004

全体画像は、観察者が所望の顕微鏡撮像画像を検索するための一覧用画像(サムネイル画像)としても利用される。さらに試料には、試料を特定するための情報(文字バーコード等)等が表示されている場合もあり、全体画像からこのような情報の読み取りも行われる。

先行技術

0005

特開2012−117930号公報

発明が解決しようとする課題

0006

しかしながら、上述のようなデジタルイメージングにおいては、全体画像の生成に関する問題が見出される。具体的には、全体画像の撮像装置が備える撮像素子(CCD等)の出力から全体画像を生成する際、一覧用画像の視認性と、観察対象範囲の検出精度及び情報読み取りの精度をの双方の要件が必要であり、どちらも重要である。視認性の高い画像と画像処理のしやすい画像はその特性が異なる事が多く、両者を同時に満たす事が難しい事がある。

0007

上記のように全体画像は一覧用画像としても利用され、また全体画像の撮像装置は解像度がそれほど高くなく、表示はさらに縮小する場合もあり、一覧用画像には縮小表示したときの視認性が重要である。一方で、全体画像に対する画像処理結果から観察対象範囲の特定や情報認識が行われるため、視認性を重視して画像処理の精度を低下させるのは好適ではない。加えて、病理診断等の分野において顕微鏡観察が必要が試料は膨大であり、撮像プロセス高速化も望まれている為、全体画像に対して高倍率の撮像系で複数枚撮影を行うと言う方法は避けたい。

0008

以上のような事情に鑑み、本技術の目的は、顕微鏡画像の撮像に利用される全体画像の視認性と画像処理精度を両立させることが可能な画像処理装置画像処理プログラム及び画像処理方法を提供することにある。

課題を解決するための手段

0009

上記目的を達成するため、本技術の一形態に係る画像処理装置は、出力値取得部と、第1の補間部と、第2の補間部と、画像生成部と、第1のエッジ検出部とを具備する。
上記出力値取得部は、二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する。
上記第1の補間部は、第1の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素画素値を補間する。
上記第2の補間部は、上記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
上記画像生成部は、上記第1の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する。
上記第1のエッジ検出部は上記第2の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、第1のエッジ検出アルゴリズムを利用してエッジを検出する。

0010

出力値取得部は、上記撮像素子が有する複数の受光素子の出力値を取得する。ここで、各受光素子の出力値は、各受光素子に設けられた各色(例えばR、G、B)のカラーフィルタを透過した光の強度を示すものである。したがって、各受光素子に対応する画素値(例えばRGB値)を生成するためには、各受光素子の出力値から各受光素子に対応する画素値を補間(デモザイク)する必要がある。上記構成によれば、各受光素子の出力値から画素値を補間する際、第1の補間部が第1の補間アルゴリズムを利用して、第2の補間部が第2の補間アルゴリズムを利用して、それぞれ画素値の補間を行う。このため、画像の生成用の補間アルゴリズム(第1の補間アルゴリズム)とエッジ検出用の補間アルゴリズム(第2の補間アルゴリズム)として、それぞれに適した補間アルゴリズムを採用することができる。したがって、上記構成によれば、画像の視認性とエッジ検出の精度を両立させることが可能である。なお、エッジ検出によって検出されたエッジは、顕微鏡観察領域の検出や、試料に表示された情報の認識に利用することができるため、エッジ検出の精度を向上させると、これらの処理の精度を向上させることができる。

0011

上記第1の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように上記画素値を補間する補間アルゴリズムであり、
上記第2の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第1の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムであってもよい。

0012

画像の生成用の第1の補間アルゴリズムを、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムとすることにより、生成された画像において画素間の画素値差コントラスト)が小さくなり、即ち画素値が滑らかに変化する視認性に優れた画像を生成することが可能となる。また、エッジ検出用の第2の補間アルゴリズムを、隣接する受光素子にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムとすることにより、エッジ検出処理においてエッジ(画素値の差を利用して検出される)の検出精度を向上させることが可能となる。

0013

上記画像処理装置は、上記第1のエッジ検出部による検出結果から領域検出を行う領域検出部をさらに具備してもよい。

0014

上述のように、第1のエッジ検出部は、第2の補間部が第2の補間アルゴリズムを利用して補間した画素値から高精度にエッジを検出することが可能である。したがって、第1のエッジ検出部の検出結果を利用する領域検出部は、高精度に領域検出を実行することが可能である。

0015

上記画像処理装置は、
上記第2の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、上記第1のエッジ検出アルゴリズムとは異なる第2のエッジ検出アルゴリズムを利用してエッジを検出する第2のエッジ検出部と
上記第2のエッジ検出部による検出結果から、情報認識を行う情報認識部
をさらに具備してもよい。

0016

第2のエッジ検出部は、第1のエッジ検出部と同様に第2の補間部によって補間された画素値から高精度にエッジを検出することができ、第2のエッジ検出結果を利用する情報認識部は、高精度に情報認識を行うことが可能である。領域検出に利用されるエッジを検出する第1のエッジ検出アルゴリズムと、情報認識に利用されるエッジを検出する第2のエッジ検出アルゴリズムを別々にすることによって、それぞれの処理に適したエッジ検出アルゴリズムを利用することが可能となる。

0017

上記第2の補間部は、上記画素値の補間と共にYUV変換を行ってもよい。

0018

第2の補間部によって補間(生成)される画素値は、エッジ検出に利用されるものであるため、RGB形式よりYUV形式の方が好適である。このため、第2の補間部は、補間によって生成されたRGB形式の画素値をYUV形式に変換するものとすることができる。ここで、第2の補間部が、画素値の補間と共に(各画素毎に)画素値のYUV変換を実施することにより、全画素の画素値を補間した後に全画素についてYUV変換をする場合に比べ、処理時間の短縮が可能となる。

0019

上記第1の補間アルゴリズムは、線形補間法であってもよく、
上記第2の補間アルゴリズムは、勾配法であってもよい。

0020

線形補間法は、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムであり、第1の補間アルゴリズムとして好適である。勾配法は、隣接する受光素子にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムであり、第2の補間アルゴリズムとして好適である。

0021

上記領域検出部は、上記第1のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
上記情報認識部は、上記第2のエッジ検出部による検出結果から上記試料に表示された文字又はコードを認識してもよい。

0022

第1のエッジ検出部によって検出されたエッジを含む画素の領域は、試料において検体(病理組織等)が存在する領域と判断することができる。検体が存在しない領域(スライドガラス上等)には本来的にエッジが検出されないためである。領域検出部は、高精度にエッジが検出された第1のエッジ検出部による検出結果を利用して、高精度に観察対象領域(即ち、検体が存在する領域)を検出することが可能である。また、試料に文字やコード(バーコード等)が表示されている場合において、情報認識部は、高精度にエッジが検出された第2のエッジ検出部による検出結果を利用して、高精度に文字やコードを検出し、情報として認識することが可能である。

0023

上記画像処理装置は、
上記第1の補間アルゴリズム及び上記第2の補間アルゴリズムとは異なる第3の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第3の補間部と
上記第3の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、上記第1のエッジ検出アルゴリズムとは異なる第2のエッジ検出アルゴリズムを利用してエッジを検出する第2のエッジ検出部
をさらに具備してもよい。

0024

この構成によれば、第1の補間補間部及び第2の補間部に加え、第3の補間部が第3野補間アルゴリズムを利用して画素値の補間を行う。これにより、第1のエッジ検出部が補間結果(画素値)を利用する第2の補間アルゴリズムと、第2のエッジ検出部が補間結果(画素値)を利用する第3の補間アルゴリズムを、それぞれのエッジ検出処理に適した補間アルゴリズムとすることが可能である。第1のエッジ検出部と第2のエッジ検出部は共にエッジ検出を行うが、後述する領域検出と情報認識のようにエッジ検出結果が異なる処理に利用される場合において、それぞれの処理に適するエッジ検出アルゴリズムが異なる場合がある。このような場合に、画素値の補間の段階から、それぞれのエッジ検出アルゴリズムのエッジ検出に適した補間アルゴリズムを利用することにより、エッジ検出の精度を向上させることが可能である。

0025

上記第1の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように上記画素値を補間する補間アルゴリズムであり、
上記第2の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第1の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムであり、
上記第3の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第1の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムであってもよい。

0026

画像の生成用の第1の補間アルゴリズムを、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムとすることにより、生成された画像において画素間の画素値差が小さくなり、即ち画素値が滑らかに変化する視認性に優れた画像を生成することが可能となる。また、エッジ検出用の第2の補間アルゴリズム及び第3の補間アルゴリズムを、隣接する受光素子にそれぞれ対応する画素の画素値画素値の差が大きくなるように画素値を補間する補間アルゴリズムとすることにより、エッジ検出処理においてエッジの検出精度を向上させることが可能となる。

0027

上記画像処理装置は、
上記第1のエッジ検出部による検出結果から領域検出を行う領域検出部と
上記第2のエッジ検出部による検出結果から情報認識を行う情報認識部
をさらに具備してもよい。

0028

上述のように、第1のエッジ検出部は、第2の補間部が第2の補間アルゴリズムを利用して補間した画素値から高精度にエッジを検出することが可能である。したがって、第1のエッジ検出部の検出結果を利用する領域検出部は、高精度に領域検出を実行することが可能である。また、第2のエッジ検出部は、第3の補間部によって補間された画素値から高精度にエッジを検出することができ、第2のエッジ検出結果を利用する情報認識部は、高精度に情報認識を行うことが可能である。

0029

上記第2の補間部は、上記画素値の補間と共にYUV変換を行い
上記第3の補間部は、上記画素値の補間と共にYUV変換を行ってもよい。

0030

第2の補間部及び第3の補間部が、画素値の補間と共に(各画素毎に)画素値のYUV変換を実施することにより、全画素の画素値を補間した後に全画素についてYUV変換をする場合に比べ、処理時間の短縮が可能となる。

0031

上記第1の補間アルゴリズムは、線形補間法であり、
上記第2の補間アルゴリズムは、勾配法であり
上記第3の補間アルゴリズムは、適応型カラーブレーン補間法である
画像処理装置。

0032

線形補間法は、隣接する受光素子にそれぞれ対応する画素の差が小さくなるように画素値を補間する補間アルゴリズムであり、第1の補間アルゴリズムとして好適である。勾配法は、隣接する受光素子にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムであり、第2の補間アルゴリズムとして好適である。適法型カラーブレーン補間法(ACPI:Advanced Color Plane Interpolation法)は、隣接する受光素子にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムであり、第3の補間アルゴリズムとして好適である。

0033

上記領域検出部は、上記第1のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
上記情報認識部は、上記第2のエッジ検出部による検出結果から上記試料に表示された文字又はコードを認識する
画像処理装置。

0034

領域検出部は、高精度にエッジが検出された第1のエッジ検出部による検出結果を利用して、高精度に観察対象領域(即ち、検体が存在する領域)を検出することが可能である。また、情報認識部は、高精度にエッジが検出された第2のエッジ検出部による検出結果を利用して、高精度に文字やコードを検出し、情報として認識することが可能である。

0035

上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、出力値取得部と、第1の補間部と、第2の補間部と、画像生成部と、エッジ検出部ととして情報処理装置を機能させる。
上記出力値取得部は、二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する。
上記第1の補間部は、第1の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
上記第2の補間部は、上記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
上記画像生成部は、上記第1の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する。
上記第1のエッジ検出部は、上記第2の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、第1のエッジ検出アルゴリズムを利用してエッジを検出する。

0036

上記目的を達成するため、本技術の一形態に係る画像処理方法は、出力値取得部が、二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する。
第1の補間部が、第1の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
第2の補間部が、上記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
画像生成部が、上記第1の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する。
エッジ検出部が、上記第2の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出する。

発明の効果

0037

以上のように、本技術によれば、顕微鏡画像の撮像に利用される全体画像の視認性と画像処理精度を両立させることが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することが可能である。

図面の簡単な説明

0038

本技術の第1の実施形態に係る顕微鏡撮像装置概略構成を示す模式図である。
同顕微鏡撮像装置が備える全体像撮像素子の構成を示す模式図である。
顕微鏡装置が備える画像処理装置の機能的構成を示すブロックである。
同顕微鏡装置が備える画像処理装置による画素値の補間を示す模式である。
同顕微鏡装置が備える画像処理装置の動作を示す模式図である。
比較に係る顕微鏡装置が備える画像処理装置の動作を示す模式図である。
本技術の第2の実施形態に係る顕微鏡撮像装置が備える画像処理装置の機能的構成を示すブロックである。
同顕微鏡装置が備える画像処理装置の動作を示す模式図である。

実施例

0039

(第1の実施形態)
本技術の第1の実施形態に係る顕微鏡撮像装置について説明する。

0040

[顕微鏡撮像装置の概略構成]
本実施形態に係る顕微鏡撮像装置について説明する。図1は、顕微鏡撮像装置1の概略構成を示す模式図である。同図に示すように、顕微鏡撮像装置1は、ステージ11、顕微鏡光学系12、顕微鏡撮像素子13、全体像光学系14、全体像撮像素子15、制御装置16、画像処理装置17及びディスプレイ18から構成されている。顕微鏡撮像素子13、全体像撮像素子15及びステージ11は制御装置16に接続され、制御装置16は画像処理装置17に接続されている。ディスプレイ18は画像処理装置17に接続され、ステージ11には、試料Sが載置されている。試料Sは、観察対象である検体(例えば病理組織)が固定されたプレパラート等である。

0041

ステージ11は、試料Sを支持し、制御装置16による制御を受けて試料Sを顕微鏡光学系12や全体像撮像素子15に対して移動させる。なお、ステージ11が移動する替わりに、顕微鏡光学系12や全体像光学系14がステージ11に対して移動してもよい。

0042

顕微鏡光学系12は、試料Sの像を拡大し、顕微鏡撮像素子13に導く。顕微鏡光学系12の構成は特に限定されない。また、顕微鏡光学系12は、制御装置16によって拡大倍率等の制御を受けるものであってもよい。

0043

顕微鏡撮像素子13は、顕微鏡光学系12によって拡大された試料Sの部分的な顕微鏡撮像画像(以下、顕微鏡画像)を撮像する。顕微鏡撮像素子13は、撮像した顕微鏡画像を、制御装置16を介して画像処理装置17に伝送する。また、顕微鏡撮像素子13は、制御装置16によって撮像タイミング等の制御を受ける。顕微鏡撮像素子13の構成は特に限定されないが、高解像度を有するものが好適である。

0044

全体像光学系14は、試料Sの像を全体像撮像素子15に導く。全体像光学系14の構成は特に限定されない。

0045

全体像撮像素子15は、全体像光学系14を介して試料Sの全体的な画像(以下、全体画像)を撮像する。全体像撮像素子15は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の、複数の受光素子(光電変換素子)を有する撮像素子である。

0046

図2は、全体像撮像素子15を示す模式図である。同図に示すように、全体像撮像素子15は、二次元的に配列された複数の受光素子151を有する。なお、受光素子151の数(画素数)は実際には数十万〜数百万程度である。全体像撮像素子15は、上記顕微鏡撮像素子13ほど解像度が高いものでなくてもよい。

0047

各受光素子151には、受光面の前にカラーフィルタが設けられている。カラーフィルタは特定の波長の光を透過させるフィルタであり、一般的には赤色(R)、青色(B)及び緑色(G)の3色が利用される。図2に示すように、各受光素子151には、赤色(R)、青色(B)及び緑色(G)のいずれかのカラーフィルタが設けられており、即ち全体像撮像素子15は単板式の撮像素子である。図2に示すカラーフィルタの配列はベイヤ(Bayer)配列と呼ばれる配列であり、人間の受光感度に合わせて緑色(G)が多く配置されている。なお、本実施形態に係る全体像撮像素子15はベイヤ配列を有するものに限られず、他のカラーフィルタ配列を有するものであってもよい。カラーフィルタの色は上記3色には限られない。

0048

このような全体像撮像素子15の構造によって、各受光素子151の出力値は、その受光素子151に設けられたカラーフィルタを透過した光の強度(濃淡)となる。例えば、赤色(R)のカラーフィルタが設けられた受光素子151の出力値には、青色(B)及び緑色(G)の情報は含まれない。このままだと、各受光素子151の出力値から画像を生成した場合に、その画素数が受光素子151の数に比較して少なくなる(1/2又は1/4)ため、受光素子151毎に、周囲の受光素子151の出力値を利用して画素値(RGB値)の補間が行われる。この補間については後述する。

0049

制御装置16は、顕微鏡画像撮像素子13及び全体画像撮像素子15の出力を取得し、画像処理装置17に伝送する。また、制御装置16は、画像処理装置17から供給された情報(領域検出結果、後述)に基づいてステージ11や顕微鏡画像撮像素子13を制御する。

0050

画像処理装置17は、顕微鏡撮像素子13及び全体像撮像素子15の出力を取得し、画像の生成や画像処理を実行する。また、画像処理装置17は、ディスプレイ18に顕微鏡画像や全体画像を表示させる。画像処理装置17の詳細な構成は後述するが、画像処理装置17はパーソナルコンピュータ等の情報処理装置であるものとすることができる。

0051

ディスプレイ18は、画像処理装置17から供給された顕微鏡画像や全体画像を表示する。ディスプレイ18の構成は特に限定されない。

0052

顕微鏡撮像装置1は以上のような構成を有する。なお、上記構成は例示であり、ここに示すものと異なる構成とすることも可能である。

0053

[顕微鏡撮像装置の動作]
顕微鏡撮像装置1は次のように動作する。まず、全体像撮像素子15によって試料Sの全体画像が撮像され、全体画像データが生成される。全体画像データは、全体像撮像素子15から制御装置16を介して画像処理装置17に伝送される。

0054

画像処理装置17は、全体画像データから全体画像を生成する。また、画像処理装置17は、全体画像データに対して後述する画像処理を施し、試料Sにおいて観察対象である検体が存在する領域(以下、検体存在領域)を検出する。例えば、試料Sがスライドガラス上に検体が固定されたものである場合、検体が存在しないスライドガラス上の領域は観察する必要がないためである。即ち、検体存在領域は、試料Sにおいて顕微鏡撮像が必要な観察対象領域である。

0055

また、画像処理装置17は、試料Sに文字やコード(バーコード等)等の情報(以下、表示情報)が表示されている場合には、全体画像データからこれらの情報を認識する。なお、文字やコードは、ユーザ(観察者や検体採取者等)等が試料Sに記載あるいは貼付した検体番号等である。画像処理装置17は、検出した検体存在領域を制御装置16に供給する。

0056

制御装置16は、画像処理装置17から供給された検体存在領域に基づいて、ステージ11、顕微鏡光学系12及び顕微鏡撮像素子13を制御し、顕微鏡撮像素子13に所定倍率で検体存在領域を撮像させる。顕微鏡撮像素子13は顕微鏡光学系12によって微細な視野範囲となるため、検体存在領域を複数領域に分割し、各領域毎に撮像する。顕微鏡撮像素子13は、撮像によって生成された複数の顕微鏡画像データを制御装置16を介して画像処理装置17に伝送する。

0057

画像処理装置17は、複数の顕微鏡画像データを結合(スティッチング)する。これにより、検体存在領域の顕微鏡画像が生成される。画像処理装置17は、全体画像と顕微鏡画像を関連付け、また、全体画像から読み取った表示情報があればこれらに関連付け、保存する。

0058

ユーザが試料の画像を閲覧する際には、画像処理装置17は、全体画像を一覧用画像(サムネイル画像)としてディスプレイ18に表示させることができ、各全体画像に表示情報を付加的に表示することもできる。ユーザが一覧用画像や表示情報を参照して所望の試料を選択すると、画像処理装置17は選択された試料に関連付けられている顕微鏡画像をディスプレイ18に表示させるものとすることができる。

0059

上記のように、顕微鏡撮像装置1においては、全体像撮像素子15によって撮像された試料Sの全体画像データを利用して、顕微鏡撮像素子13の撮像範囲(即ち検体存在領域)の検出や表示情報の認識が行われる。また、全体画像データから生成された全体画像は、ユーザが所望の顕微鏡画像を検索するための一覧用画像としても利用される。

0060

ここで、一般に全体像撮像素子15の解像度は低く、検体存在領域の抽出や表示情報の認識の精度が問題となる。全体像撮像素子15の解像度を向上させると、これらの処理に時間を要するため好適ではない。特に病理診断の分野等においては、顕微鏡観察が必要な試料Sの数は膨大となることが多く、撮像プロセスの高速化が求められている。本実施形態に係る顕微鏡撮像装置1においては、次に説明する画像処理装置17の構成によって、検体存在領域の検出や表示情報の認識の精度を向上させると共に、これらの処理に必要な時間を短縮することが実現されている。

0061

[画像処理装置の機能的構成]
画像処理装置17の機能的構成について説明する。図3は、画像処理装置17の機能的構成を示すブロック図である。同図に示すように、画像処理装置17は、出力値取得部171、第1補間部172、第2補間部173、画像生成部174、第1エッジ検出部175、第2エッジ検出部176、領域検出部177、情報認識部178、記憶部179及び画像表示部180を有する。

0062

このような画像処理装置17の機能的構成は、CPU(Central Processing Unit)やメモリ等のハードウェアソフトウェア協働によって実現されるものである。また、これらの構成は必ずしも一つの機器によって実現されている必要はなく、複数の機器によって実現されていてもよく、コンピュータネットワークを介して、あるいはコンピュータネットワーク上に実現されていてもよい。

0063

出力値取得部171は、制御装置16(図示略)を介して、全体像撮像素子15から各受光素子151の出力値を取得する。上述のように、各受光素子151には各色(R、G又はB)のカラーフィルタが設けられており、各受光素子151の出力値はカラーフィルタを透過した特定の色の光の強度(濃淡)である。以下、出力値取得部171が各受光素子151から取得する各色の出力値を、図2に付した記号(R11等)で示す。出力値取得部171は、取得した各受光素子151の出力値を第1補間部172と第2補間部173に供給する。

0064

第1補間部172及び第2補間部172は、出力値取得部171から供給された各受光素子151の出力値から、各受光素子151のそれぞれに対応する画素の画素値を生成(補間)する。

0065

図4は画素値の補間を示す模式図である。図4(a)に各受光素子151から出力された出力値(G32等)を示す。同図に示すように、中央の画素の出力値は緑色についての値(緑色のカラーフィルタが設けられた受光素子151の出力値)であるが、その周囲(上下左右)の受光素子151の出力値は赤色(R)または青色(B)についての値である。

0066

このため、図4(b)に示すように中央の画素は、自己の出力値を緑色成分(G)とし、赤色成分(R’)及び青色成分(B’)を周囲に位置する画素の出力値を用いて補間することができる。このような画素値の補間は「デモザイク」と呼ばれる。以下、各受光素子151について、自己の出力値と周囲の受光素子の出力値を利用して補間された各色の成分(RGB値)を、その受光素子151に対応する画素の画素値とする。なお、ここに示す画素値の生成方法は、特定の補間アルゴリズムを示すものではない。

0067

第1補間部172は、第1補間アルゴリズムを利用して、各受光素子151の出力値から、各受光素子151に対応する画素の画素値を生成する。ここで、第1補間アルゴリズムは、隣接する受光素子151にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムとすることができる。そのような補間アルゴリズムは、具体的には、「線形補間法」を挙げることができる。

0068

線形補間法は、補間すべき画素の画素値を、周囲に位置する画素の出力値の平均値とすることによって補間する補間アルゴリズムである。線形補間法では、各画素の画素値は平滑化され、後述する第2補間アルゴリズムに比較して画素値の差が小さくなる。隣接画素との差を少なくするアルゴリズムの場合、縮小表示する場合に例えば画素を間引いたり、平均化して縮小表示しても、元の画像に比して極端に変わるような事はない。

0069

なお、第1補間アルゴリズムは線形補間法に限定されず、後述する第2補間アルゴリズムに比較して画素値の差が小さくなる他の補間アルゴリズムとすることも可能である。また、例えば、色と呼ばれる画素値の補間によって生じる色のずれを防止することができる「曲面当てはめ法」を第1補間アルゴリズムとすることも可能である。第1補間部172は、補間した各受光素子151に対応する画素の画素値を、画像生成部174に供給する。

0070

第2補間部173は、第2補間アルゴリズムを利用して、各受光素子151の出力値から、各受光素子151に対応する画素の画素値を生成する。ここで、第2補間アルゴリズムは、第1補間アルゴリズムとは異なる補間アルゴリズムである。特に第2補間アルゴリズムは、第1補間アルゴリズムに比較して隣接する受光素子151にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムが好適である。そのような補間アルゴリズムは、具体的には、「勾配法」を挙げることができる。

0071

勾配法は、各画素の緑色成分を、連続性の強い方向に沿って求め、その後、他の色の成分を、求めた緑色成分と比較する補間アルゴリズムである。勾配法では、各色成分が単純に平均化される線形補間法(第1補間アルゴリズム)に比較して画素値の差が大きくなる。

0072

なお、第2補間アルゴリズムは勾配法に限定されず、第1の補間アルゴリズムに比較して画素値の差が大きくなる他の補間アルゴリズムとすることも可能である。例えば第2の実施形態において説明する適応型カラーブレーン補間法(ACPI法)を第2補間アルゴリズムとして利用することも可能である。第2補間部173は、補間した各受光素子151に対応する画素の画素値を、第1エッジ検出部175及び第2エッジ検出部176に供給する。

0073

また、第2補間部173は、第2補間アルゴリズムを利用しての画素値の補間と共に画素値のYUV変換を実行するものとすることも可能である。後述するように第2補間部173によって生成される画素値は、画像の生成には利用されず、エッジ検出に利用されるものであるため、画素値はRGB形式よりYUV(Y=輝度、U=輝度と青成分の差、V輝度と赤成分の差)形式の方が好適である。

0074

ここで、画素値の補間と「共に」YUV変換をするとは、ひとつの受光素子151に対応する画素の画素値(RGB値)を生成した後、その画素値をYUV変換し、次の受光素子151に対応する画素の画素値を生成するように、画素値の生成とYUV変換を並行して実施することを意味する。第2補間部173がこのように画素値の補間とYUV変換を共に実施することにより、全ての受光素子151についての画素値の生成後に各画素値に対してYUV変換を実施する場合に比べて処理時間の短縮が可能となる。

0075

画像生成部174は、第1補間部172によって生成された各受光素子151に対応する画素の画素値から画像(全体画像)を生成する。上述のように、第1補間部172においては、隣接する各受光素子151にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する第1補間アルゴリズムが利用されているため、生成される画像は、画素値が滑らかに変化する視認性に優れた画像となる。上記のように、全体像撮像素子15は解像度が低い場合が多いが、このような場合には特に画像の視認性が重要となる。画像生成部174は、生成した全体画像を記憶部179に保存する。

0076

第1エッジ検出部175は、第2補間部173によって生成された各受光素子151に対応する画素の画素値から、エッジを検出する。エッジは、隣接する画素間またはある程度の画素範囲の間における画素値の相違が大きい境界であり、第1エッジ検出部175は、第1エッジ検出アルゴリズムを利用してエッジを検出するものとすることが可能である。第1エッジ検出アルゴリズムは特に限定されないが、後述する領域検出部177が領域検出を実行しやすいエッジ検出アルゴリズムが好適である。

0077

ここで、第2補間部173においては、隣接する受光素子151にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する第2補間アルゴリズムが利用されている。エッジは、画素値の差が大きい方が検出しやすいため、第1エッジ検出部175は、高い検出精度でエッジを検出することが可能である。第1エッジ検出部175は、エッジ検出結果を領域検出部177に供給する。

0078

第2エッジ検出部176は、第2補間部173によって生成された各受光素子151に対応する画素の画素値から、エッジを検出する。第2エッジ検出部176は、上記第1エッジ検出アルゴリズムとは異なる第2エッジ検出アルゴリズムを利用してエッジを検出するものとすることが可能である。第2エッジ検出アルゴリズムは特に限定されないが、後述する情報認識部178が情報認識を実行しやすい検出アルゴリズムが好適である。

0079

ここで、第2補間部173においては、隣接する受光素子151にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する第2補間アルゴリズムが利用されているため、第2エッジ検出部176は、高い検出精度でエッジを検出することが可能である。第2エッジ検出部176は、エッジ検出結果を情報認識部178に供給する。

0080

領域検出部177は、第1エッジ検出部175のエッジ検出結果から、領域検出を行う。領域検出は、上述した試料Sにおいて、観察対象である検体が存在する領域(検体存在領域)を検出する処理である。領域検出部177は、第1エッジ検出部175において検出されたエッジが存在する領域を検体存在領域とすることが可能である。試料Sにおいて、検体が存在しない領域は一般にエッジが含まれない(例えばスライドガラス等)ため、エッジの有無で検体の有無を判断することが可能である。

0081

ここで、上述のように第1エッジ検出部175は、第2補間アルゴリズムを利用して生成された画素値から高精度にエッジを検出しているため、そのエッジを利用する領域検出部177による領域検出も高精度に実行することが可能である。領域検出部177は、検出した検体存在領域を制御装置16に供給する。

0082

情報認識部178は、第2エッジ検出部176のエッジ検出結果から、情報認識を行う。情報認識は、試料Sに表示されている表示情報、例えば文字やコード(バーコード等)を検出し、情報として認識するものである。情報認識部178は、第2エッジ検出部176において検出されたエッジから、輪郭抽出等の処理を実行し、情報として認識するものとすることが可能である

0083

ここで、上述のように第2エッジ検出部176は、第2補間アルゴリズムを利用して生成された画素値から高精度にエッジを検出しているため、そのエッジを利用する情報認識部178による情報認識も高精度に実行することが可能である。情報認識部178は、情報認識結果を記憶部179に供給し、全体画像に関連付けて保存させる。

0084

記憶部179は、上述のように、画像生成部174から供給される全体画像や情報認識部178から供給される情報、さらには顕微鏡撮像素子13によって撮像された顕微鏡画像等を保存する。

0085

画像表示部180は、画像をディスプレイ18に表示させる。画像表示部180は、上記全体画像や顕微鏡画像、これらに関連付けられている情報等を任意のインターフェイスによってディスプレイ18に表示させるものとすることができる。

0086

[画像処理装置の動作]
上述した構成を有する画像処理装置17の動作について説明する。図5は、画像処理装置17の動作を示す画像処理フローである。

0087

最初に、出力値取得部171が、各受光素子151の出力値を取得する(St101)。出力値取得部171は、取得した出力値に対してノイズ除去(St102)を実行してもよい。ノイズ除去は、出力値の物理ノイズ電気ノイズを除去する処理であり、各種公知技術を利用して実施することが可能である。出力値取得部171は、各受光素子151の出力値を第1補間部172及び第2補間部173にそれぞれ供給する。

0088

第1補間部172は、供給された各受光素子151の出力値を利用して、上述のように第1補間アルゴリズム(線形補間法等)を利用して画素値の補間を行う(St103)。

0089

続いて、画像生成部174は、第1補間部172によって補間された画素値に補正処理を実行する(St104)。補正処理には、sRGB(IEC(国際電気標準会議)による色空間の国際標準規格)とのキャリブレーションホワイトバランス調整ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

0090

続いて、画像生成部174は、上記補正処理が実行された画素に対してトリミング切り出し加工)を実行する(St105)。トリミングは、全体像撮像素子15の視野範囲における試料S以外の領域を除去するものであり、画素値範囲色範囲)等を利用してすることが可能である。

0091

続いて、画像生成部174は、補正処理やトリミングが施された画素値から画像(全体画像)を生成する(St106)。上記のように、第1補間部172によって、画像生成に適した第1補間アルゴリズムを利用して画素値が補間されている(St103)ため、画像生成部174によって生成される全体画像は視認性に優れた画像となる。

0092

第2補間部173は、供給された各受光素子151の出力値を利用して、上述のように第2補間アルゴリズム(勾配法等)を利用して画素値の補間を行う(St107)。また、第2補間部173は、画素値の補間と共に、画素値のYUV変換を実行するものとすることができる。

0093

続いて、第2補間部173は、各受光素子151の画素値に対して補正処理を実行する(St108)。補正処理には、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

0094

続いて、第1エッジ検出部175は、上記補正処理が実行された画素に対して第1エッジ検出アルゴリズムを利用し、エッジ検出を行う(St109)。

0095

続いて、領域検出部177は、第1エッジ検出部175のエッジ検出結果に対して領域検出処理を施し、検体存在領域を検出する(St110)。上記のように、第2補間部173によって、エッジ検出に適した第2補間アルゴリズムを利用して画素値が補間されている(St207)ため、領域検出部177は高精度に領域検出をすることが可能である。

0096

第2エッジ検出部176は、上記補正処理が実行された画素に対して第2エッジ検出アルゴリズムを利用し、エッジ検出を行う(St111)。

0097

続いて、情報認識部178は、第2エッジ検出部176のエッジ検出結果に対して文字検出処理を実行し、文字を検出する(St112)。情報認識部178は、検出された文字を認識し(St113)、文字情報を取得する。また、情報認識部178は、第2エッジ検出部176のエッジ検出結果に対してコード検出処理を実行し、コードを検出する(St114)。情報認識部178は、検出されたコードを認識し(St115)、コード情報を取得する。

0098

上記のように、第2補間部173によって、エッジ検出に適した第2補間アルゴリズムを利用して画素値が補間されている(St107)ため、情報認識部178は高精度に文字情報及びコード情報を認識することが可能である。

0099

以上のように、本実施形態に係る画像処理装置17においては、第1補間部172が画像生成に適した第1補間アルゴリズムを利用して画素値を補間し、第2補間部173がエッジ検出に適した第2補間アルゴリズムを利用して画素値を補間する。これによって、画像生成部174は、視認性の高い全体画像を生成することが可能となり、領域検出部177及び情報認識部178は高精度に領域検出及び情報認識をすることが可能となる。

0100

[比較例との比較]
一般的な顕微鏡撮像装置において実施される画像処理フローを比較例として図6に示す。

0101

同図に示すように一般的な顕微鏡撮像装置においては、全体像撮像素子の出力値が取得される(St501)と、出力値に対してノイズ除去(St502)、画素値補間(St503)及び補正処理(St504)が実行される。

0102

この補正処理後の画素に対して、トリミング(St505)及び全体画像の画像生成(St506)が実行される。また、上記補正処理後の画素に対して、画素値(RGB値)のYUV変換が施され(St507)、領域検出用のエッジ検出(St508)及び情報認識用のエッジ検出(St509)が実行される。領域検出用のエッジ検出結果に対して検体存在領域の領域検出(St510)が実行され、情報認識用のエッジ検出結果に対して文字検出(St511)及び文字認識(St512)並びにコード検出(St513)及びコード認識(St514)が実行される。

0103

このように、一般的な顕微鏡撮像装置においては、ひとつの画素値補間プロセス(St503)による補間結果が全体画像の生成(St506)、領域検出(St510)及び情報認識(St511〜St514)に利用される。このため、画素値補間プロセスにおいて、視認性の高い画像の生成に適した補間アルゴリズムを利用すると、エッジが検出されにくくなり、領域検出及び情報認識の精度が低下する。一方、エッジ検出に適した補間アルゴリズムを利用すると、エッジが強く、視認性の低い全体画像が生成される。即ち、比較例においては、全体画像の視認性とエッジ検出の精度が二律背反であり、これらを共に向上させることは困難であった。

0104

これに対し、本実施形態に係る画像処理装置17においては、全体画像生成用の補間アルゴリズム(第1補間アルゴリズム)とエッジ検出用の補間アルゴリズム(第2補間アルゴリズム)がそれぞれ利用される。このため、それぞれに最適な補間アルゴリズムを利用することにより、全体画像の視認性とエッジ検出の精度を共に向上させることが可能となっている。

0105

(第2の実施形態)
本技術の第2の実施形態に係る顕微鏡撮像装置について説明する。なお、本実施形態に係る顕微鏡撮像装置において、画像処理装置以外の構成については第1の実施形態と同様であるから同一の符号を付し、説明を省略する。

0106

[画像処理装置の機能的構成]
画像処理装置27の機能的構成について説明する。図7は、画像処理装置27の機能的構成を示すブロック図である。同図に示すように、画像処理装置27は、出力値取得部271、第1補間部272、第2補間部273、第3補間部274、画像生成部275、第1エッジ検出部276、第2エッジ検出部277、領域検出部278、情報認識部279、記憶部280及び画像表示部281を有する。

0107

このような画像処理装置27の機能的構成は、CPUやメモリ等のハードウェアとソフトウェアの協働によって実現されるものである。また、これらの構成は必ずしも一つの機器によって実現されている必要はなく、複数の機器によって実現されていてもよく、コンピュータネットワークを介して、あるいはコンピュータネットワーク上に実現されていてもよい。

0108

出力値取得部271は、全体像撮像素子15から、各受光素子151の出力値を取得する。上述のように、各受光素子151には各色(R、G又はB)のカラーフィルタが設けられており、各受光素子151の出力値はカラーフィルタを透過した特定の色の光の強度(濃淡)である。

0109

第1補間部272は、第1補間アルゴリズムを利用して、各受光素子151の出力値から、各受光素子151に対応する画素の画素値を生成する。ここで、第1補間アルゴリズムは、隣接する受光素子151にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムとすることができる。そのような補間アルゴリズムは、具体的には、第1の実施形態において説明した線形補間法を挙げることができる。

0110

なお、第1補間アルゴリズムは線形補間法に限定されず、後述する第2補間アルゴリズム及び第3補間アルゴリズムに比較して画素値の差が小さくなる他の補間アルゴリズムとすることも可能である。また、例えば曲面当てはめ法を第1補間アルゴリズムとすることも可能である。第1補間部272は、補間した各受光素子151に対応する画素の画素値を、画像生成部275に供給する。

0111

第2補間部273は、第2補間アルゴリズムを利用して、各受光素子151の出力値から、各受光素子151に対応する画素の画素値を生成する。ここで、第2補間アルゴリズムは、第1補間アルゴリズムとは異なる補間アルゴリズムである。特に、第1補間アルゴリズムに比較して隣接する受光素子151にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムが好適である。そのような補間アルゴリズムは、具体的には、第1の実施形態において説明した勾配法を挙げることができる。

0112

なお、第2補間アルゴリズムは勾配法に限定されず、第1の補間アルゴリズムに比較して画素値の差が大きくなる他の補間アルゴリズムとすることも可能である。第2補間部273は、補間した各受光素子151に対応する画素の画素値を、第1エッジ検出部276に供給する。また、第2補間部273は、第1の実施形態と同様に、第2補間アルゴリズムを利用しての画素値の補間と共に、画素値のYUV変換を実行するものとすることも可能である。

0113

第3補間部274は、第3補間アルゴリズムを利用して、各受光素子151の出力値から、各受光素子151に対応する画素の画素値を生成する。ここで、第3補間アルゴリズムは、第1補間アルゴリズム及び第2補間アルゴリズムとは異なる補間アルゴリズムである。特に、第1補間アルゴリズムに比較して隣接する受光素子151にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムが好適である。そのような補間アルゴリズムは、具体的には「適応型カラーブレーン補間法(ACPI:Advanced Color Plane Interpolation法)」を挙げることができる。

0114

ACPI法は、補間すべき画素の周囲の画素の線形補間値高周波成分を加えることで従来の方法に対してより鮮鋭な画像を得ることができる補間アルゴリズムである。線形補間は平滑化の効果もあるため、高周波数成分を復元することができない。そこで、補間すべき画素の周囲に位置する画素の出力値を用いて高周波成分を推定し、線形補間に加味することによって鮮鋭化を行うものである。ACPI法では、各色成分が単純に平均化される線形補間法(第1補間アルゴリズム)に比較して画素値の差が大きくなる。

0115

なお、第3補間アルゴリズムはACPI法に限定されず、第1の補間アルゴリズムに比較して画素値の差が大きくなる他の補間アルゴリズムとすることも可能である。第3補間部274は、補間した各受光素子151に対応する画素の画素値を、第2エッジ検出部277に供給する。また、第3補間部274は、第2補間部273と同様に、第3補間アルゴリズムを利用しての画素値の補間と共に、画素値のYUV変換を実行するものとすることも可能である。

0116

画像生成部275は、第1補間部272によって生成された各受光素子151に対応する画素の画素値から全体画像を生成する。上述のように、第1補間部272においては、隣接する受光素子151にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する第1補間アルゴリズムが利用されているため、生成される画像は、画素値が滑らかに変化する視認性に優れた画像となる。画像生成部275は、生成した全体画像を記憶部280に保存する。

0117

第1エッジ検出部276は、第2補間部273によって生成された各受光素子151に対応する画素の画素値から、エッジを検出する。エッジは、隣接する画素間またはある程度の画素範囲の間における画素値の相違が大きい境界であり、第1エッジ検出部276は、第1エッジ検出アルゴリズムを利用してエッジを検出するものとすることが可能である。第1エッジ検出アルゴリズムは特に限定されないが、後述する領域検出部278が領域検出を実行しやすいエッジ検出アルゴリズムが好適である。

0118

ここで、第2補間部273においては、隣接する受光素子151にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する第2補間アルゴリズムが利用されている。エッジは、画素値の差が大きい方が検出しやすいため、第1エッジ検出部276は、高い検出精度でエッジを検出することが可能である。第1エッジ検出部276は、エッジ検出結果を領域検出部278に供給する。

0119

第2エッジ検出部277は、第3補間部274によって生成された各受光素子151に対応する画素の画素値から、エッジを検出する。第2エッジ検出部277は、上記第1エッジ検出アルゴリズムとは異なる第2エッジ検出アルゴリズムを利用してエッジを検出するものとすることが可能である。第2エッジ検出アルゴリズムは特に限定されないが、後述する情報認識部279が情報認識を実行しやすい検出アルゴリズムが好適である。

0120

ここで、第3補間部274においては、隣接する受光素子151にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する第3補間アルゴリズムが利用されている。エッジは、画素値の差が大きい方が検出しやすいため、第2エッジ検出部277は、高い検出精度でエッジを検出することが可能である。第2エッジ検出部277は、エッジ検出結果を情報認識部279に供給する。

0121

領域検出部278は、第1エッジ検出部276のエッジ検出結果から、領域検出を行う。領域検出は、上述した試料Sにおいて、観察対象である検体が存在する領域(検体存在領域)を検出する処理である。領域検出部278は、第1エッジ検出部276において検出されたエッジが存在する領域を検体存在領域とすることが可能である。

0122

ここで、上述のように第1エッジ検出部276は、第2補間アルゴリズムを利用して生成された画素値から高精度にエッジを検出しているため、そのエッジを利用する領域検出部278による領域検出も高精度に検出することが可能である。領域検出部278は、領域検出結果を制御装置16に供給する。

0123

情報認識部279は、第2エッジ検出部277のエッジ検出結果から、情報認識を行う。情報認識は、試料Sに表示されている表示情報、例えば文字情報やコード情報(バーコード等)を検出し、情報として認識するものである。情報認識部279は、第2エッジ検出部277において検出されたエッジから、輪郭抽出等の処理を実行し、情報として認識するものとすることが可能である。

0124

ここで、上述のように第2エッジ検出部277は、第2補間アルゴリズムを利用して生成された画素値から高精度にエッジを検出しているため、そのエッジを利用する情報認識部279による情報認識も高精度に認識することが可能である。情報認識部279は、情報認識結果を記憶部280に供給し、全体画像に関連付けて保存させる。

0125

記憶部280は、画像生成部275から供給される全体画像や情報認識部279から供給される情報、さらには顕微鏡撮像素子13によって撮像された顕微鏡画像等を保存する。

0126

画像表示部281は、画像をディスプレイ18に表示させる。画像表示部281は、上記全体画像や顕微鏡画像、これらに関連付けられている情報等を任意のインターフェイスによってディスプレイ18に表示させるものとすることができる。

0127

[画像処理装置の動作]
上述した構成を有する画像処理装置27の動作について説明する。図8は、画像処理装置27の動作を示す画像処理フローである。

0128

最初に、出力値取得部271が、各受光素子151の出力値を取得する(St201)。出力値取得部271は、取得した出力値に対してノイズ除去(St202)を実行してもよい。ノイズ除去は、出力値の物理ノイズや電気ノイズを除去する処理であり、各種公知技術を利用して実施することが可能である。出力値取得部271は、各受光素子151の出力値を第1補間部272、第2補間部273及び第3補間部274にそれぞれ供給する。

0129

第1補間部272は、供給された各受光素子151の出力値を利用して、上述のように第1補間アルゴリズム(線形補間法等)を利用して画素値の補間を行う(St203)。

0130

続いて、画像生成部275は、第1補間部272によって補間された画素値に補正処理を実行する(St204)。補正処理には、sRGBとのキャリブレーション、ホワイトバランス調整、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

0131

続いて、画像生成部275は、上記補正処理が実行された画素に対してトリミング(切り出し加工)を実行する(St205)。トリミングは、全体像撮像素子15の視野範囲における試料S以外の領域を除去するものであり、画素値範囲(色範囲)等を利用してすることが可能である。

0132

続いて、画像生成部275は、補正処理やトリミングが施された画素から画像(全体画像)を生成する(St206)。上記のように、第1補間部272によって、画像生成に適した第1補間アルゴリズムを利用して画素値が補間されている(St203)ため、画像生成部275によって生成される全体画像は視認性に優れた画像となる。

0133

第2補間部273は、供給された各受光素子151の出力値を利用して、上述のように第2補間アルゴリズム(勾配法等)を利用して画素値の補間を行う(St207)。また、第2補間部273は、画素値の補間と共に、画素値のYUV変換を実行するものとすることができる。

0134

続いて、第2補間部273は、各受光素子151の画素値に対して補正処理を実行する(St208)。補正処理には、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

0135

続いて、第1エッジ検出部276は、上記補正処理が実行された画素に対して第1エッジ検出アルゴリズムを利用し、エッジ検出を行う(St209)。

0136

続いて、領域検出部278は、第1エッジ検出部276のエッジ検出結果に対して領域検出処理を施し、検体存在領域を検出する(St210)。上記のように、第2補間部273によって、エッジ検出に適した第2補間アルゴリズムを利用して画素値が補間されている(St207)ため、領域検出部278は高精度に領域検出をすることが可能である。

0137

第3補間部274は、供給された各受光素子151の出力値を利用して、上述のように第3補間アルゴリズム(ACPI法等)を利用して画素値の補間を行う(St211)。また、第3補間部274は、画素値の補間と共に、画素値のYUV変換を実行するものとすることができる。

0138

続いて、第3補間部274は、各受光素子151の画素値に対して補正処理を実行する(St212)。補正処理には、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

0139

続いて第2エッジ検出部277は、上記補正処理が実行された画素に対して第2エッジ検出アルゴリズムを利用し、エッジ検出を行う(St213)。

0140

続いて、情報認識部279は、第2エッジ検出部277のエッジ検出結果に対して文字検出処理を実行し、文字を検出する(St214)。情報認識部178は、検出された文字を認識し(St215)、文字情報を取得する。また、情報認識部279は、第2エッジ検出部277のエッジ検出結果に対してコード検出処理を実行し、コードを検出する(St216)。情報認識部279は、検出されたコードを認識し(St217)、コード情報を取得する。

0141

上記のように、第3補間部274によって、エッジ検出に適した第3補間アルゴリズムを利用して画素値が補間されている(St211)ため、情報認識部279は高精度に文字情報及びコード情報を認識することが可能である。

0142

以上のように、本実施形態に係る画像処理装置27においては、第1補間部272が画像生成に適した第1補間アルゴリズムを利用して画素値を補間し、第2補間部272及び第3補間部274がエッジ検出に適した第2補間アルゴリズムを利用して画素値を補間する。これによって、画像生成部275は、視認性の高い全体画像を生成することが可能となり、領域検出部278及び情報認識部279は高精度に領域検出及び情報認識をすることが可能となる。

0143

さらに、本実施形態においては、領域検出(St210)と情報認識(St214〜St217)のそれぞれについて、異なる補間アルゴリズム(第2補間アルゴリズム及び第3補間アルゴリズム)によって補間された画素値を利用してエッジ検出が行われる。このため、領域検出に適した補間アルゴリズム(勾配法等)と情報認識に適した補間アルゴリズム(ACPI法等)を使い分けることが可能であり、第1の実施形態と比較してもさらに領域検出及び情報認識の精度を向上させることが可能である。

0144

本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。

0145

上記第1の実施形態及び第2の実施形態においては、エッジ検出用の補間アルゴリズム(第2補間アルゴリズム又は第3補間アルゴリズム)を利用して、画素値補間を実施した。ここで、エッジ検出用の画素値補間の替わりに、各受光素子の出力値に対して閾値を適用し、直接に2値化することも可能である。この2値化された値に対して情報認識(文字認識やコード認識)を行うことにより、高速かつ低負荷に情報認識を行うことが可能となる。

0146

また、上記第1実施形態及び第2実施形態においては、エッジ検出用の補間アルゴリズム(第2補間アルゴリズム又は第3補間アルゴリズム)によって補間された画素値に対して、領域検出と情報認識を実施した。ここで、エッジ検出用の補間アルゴリズムによって補間された画素値に対して、領域検出と情報認識のいずれか一方を実施してもよい。また、情報認識のうち文字認識又はコード認識のいずれか一方を実施してもよい。

0147

なお、本技術は以下のような構成も採ることができる。

0148

(1)
二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する出力値取得部と、
第1の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第1の補間部と、
上記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第2の補間部と
上記第1の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する画像生成部と、
上記第2の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、第1のエッジ検出アルゴリズムを利用してエッジを検出する第1のエッジ検出部と
を具備する画像処理装置。

0149

(2)
上記(1)に記載の画像処理装置であって、
上記第1の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように上記画素値を補間する補間アルゴリズムであり、
上記第2の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第1の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムである
画像処理装置。

0150

(3)
上記(1)又は(2)に記載の画像処理装置であって、
上記第1のエッジ検出部による検出結果から領域検出を行う領域検出部
をさらに具備する画像処理装置。

0151

(4)
上記(1)乃至(3)のいずれか一つに記載の画像処理装置であって、
上記第2の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、上記第1のエッジ検出アルゴリズムとは異なる第2のエッジ検出アルゴリズムを利用してエッジを検出する第2のエッジ検出部と
上記第2のエッジ検出部による検出結果から、情報認識を行う情報認識部
をさらに具備する画像処理装置。

0152

(5)
上記(1)乃至(4)のいずれか一つに記載の画像処理装置であって、
上記第2の補間部は、上記画素値の補間と共にYUV変換を行う
画像処理装置。

0153

(6)
上記(1)乃至(5)のいずれか一つに記載の画像処理装置であって、
上記第1の補間アルゴリズムは、線形補間法であり、
上記第2の補間アルゴリズムは、勾配法である
画像処理装置。

0154

(7)
上記(1)乃至(6)のいずれか一つに記載の画像処理装置であって、、
上記領域検出部は、上記第1のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
上記情報認識部は、上記第2のエッジ検出部による検出結果から上記試料に表示された文字又はコードを認識する
画像処理装置。

0155

(8)
上記(1)乃至(7)のいずれか一つに記載の画像処理装置であって、、
上記第1の補間アルゴリズム及び上記第2の補間アルゴリズムとは異なる第3の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第3の補間部と
上記第3の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、上記第1のエッジ検出アルゴリズムとは異なる第2のエッジ検出アルゴリズムを利用してエッジを検出する第2のエッジ検出部
をさらに具備する画像処理装置。

0156

(9)
上記(1)乃至(8)のいずれか一つに記載の画像処理装置であって、
上記第1の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように上記画素値を補間する補間アルゴリズムであり、
上記第2の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第1の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムであり、
上記第3の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第1の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムである
画像処理装置。

0157

(10)
上記(1)乃至(9)のいずれか一つに記載の画像処理装置であって、
上記第1のエッジ検出部による検出結果から領域検出を行う領域検出部と
上記第2のエッジ検出部による検出結果から情報認識を行う情報認識部
をさらに具備する画像処理装置。

0158

(11)
上記(1)乃至(10)のいずれか一つに記載の画像処理装置であって、
上記第2の補間部は、上記画素値の補間と共にYUV変換を行い
上記第3の補間部は、上記画素値の補間と共にYUV変換を行う
画像処理装置。

0159

(12)
上記(1)乃至(11)のいずれか一つに記載の画像処理装置であって、
上記第1の補間アルゴリズムは、線形補間法であり、
上記第2の補間アルゴリズムは、勾配法であり
上記第3の補間アルゴリズムは、適応型カラーブレーン補間法である
画像処理装置。

0160

(13)
上記(1)乃至(12)のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記第1のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
上記情報認識部は、上記第2のエッジ検出部による検出結果から上記試料に表示された文字又はコードを認識する
画像処理装置。

0161

(14)
二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する出力値取得部と、
第1の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第1の補間部と、
上記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第2の補間部と、
上記第1の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する画像生成部と、
上記第2の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出するエッジ検出部と
として情報処理装置を機能させる画像処理プログラム。

0162

(15)
出力値取得部が、二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得し、
第1の補間部が、第1の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間し、
第2の補間部が、上記第1の補間アルゴリズムとは異なる第2の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間し、
画像生成部が、上記第1の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成し、
エッジ検出部が、上記第2の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出する
画像処理方法。

0163

1…顕微鏡撮像装置
17、27…画像処理装置
15…全体像撮像素子
151…受光素子
171…出力値取得部
172…第1補間部
173…第2補間部
174…画像生成部
175…第1エッジ検出部
176…第2エッジ検出部
177…領域検出部
178…情報認識部
271…出力値取得部
272…第1補間部
273…第2補間部
274…第3補間部
275…画像生成部
276…第1エッジ検出部
277…第2エッジ検出部
278…領域検出部
279…情報認識部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ