図面 (/)

技術 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム

出願人 富士フイルム富山化学株式会社
発明者 岩見一央高島正伸
出願日 2018年2月27日 (2年9ヶ月経過) 出願番号 2019-507478
公開日 2019年12月12日 (1年0ヶ月経過) 公開番号 WO2018-173649
状態 特許登録済
技術分野 光学的手段による材料の調査の特殊な応用 医療品保存・内服装置
主要キーワード 刻印内容 袋番号 異品種混入 中央領 薬剤種類 薬剤領域 統合画像データ 一時的記憶領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年12月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

薬剤を認識する場合にマスタ画像ロバスト性を高くすることが可能になる薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムを提供する。薬剤認識装置は、薬剤を照明する照明部と、照明された薬剤を撮影する撮影部と、薬剤の種類ごとにマスタ画像を記憶する記憶部と、撮影部によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部と、撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部と、薬剤位置取得部によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部と、マスタ画像を更新すると判定された場合、マスタ画像を記憶部に登録する登録部と、を備える。

概要

背景

従来、薬剤の種類を認識する各種の装置が提案または提供されてきた。例えば、薬剤を照明し、その照明された薬剤を撮影し、その撮影で得られた撮影画像のうち薬剤領域と薬剤の種類ごとに予め登録されたマスタ画像とを照合することにより、薬剤の種類を認識することができる。

特許文献1には、生産ライン上で連続的に供給されるワークに対する異品種混入検査において、照明の変化、ワークの塗装状態の違い等の外部要因による認識精度の変化を防止するため、最初に供給されるワークの画像データをマスタ画像(基準画像データ)として登録し、続いて供給される複数のワークのそれぞれの画像データをマスタ画像と比較して、同一品種と判定した場合には常にマスタ画像を更新することが記載されている。

また特許文献2には、薬剤の計測値特性(色調、大きさ、形等)を照会検索項目として薬剤情報データベース検索し、完全一致あるいは近似する品名をスクリーン上に表示することが記載されている。

また特許文献3には、照明された薬剤の画像を撮影しデータベースに保存された各薬剤のテンプレート画像との間でマッチングして薬剤の鑑別を行うことが記載されている。

概要

薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムを提供する。薬剤認識装置は、薬剤を照明する照明部と、照明された薬剤を撮影する撮影部と、薬剤の種類ごとにマスタ画像を記憶する記憶部と、撮影部によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部と、撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部と、薬剤位置取得部によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部と、マスタ画像を更新すると判定された場合、マスタ画像を記憶部に登録する登録部と、を備える。

目的

本発明は、薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

薬剤照明する照明部と、前記照明部によって照明された前記薬剤を撮影する撮影部と、前記薬剤の種類ごとに前記薬剤を示すマスタ画像を記憶する記憶部と、前記撮影部によって得られた撮影画像に基づいて前記薬剤の位置を取得する薬剤位置取得部と、前記薬剤位置取得部によって取得された前記薬剤の位置に基づいて前記マスタ画像を更新するか否かを判定する更新判定部と、前記撮影部によって得られた撮影画像のうち薬剤領域から前記マスタ画像を生成するマスタ画像生成部と、前記更新判定部によって前記マスタ画像を更新すると判定された場合、前記マスタ画像生成部によって生成された前記マスタ画像を前記記憶部に登録する登録部と、を備える薬剤認識装置

請求項2

前記登録部は、前記薬剤の位置を示す薬剤位置情報を前記マスタ画像に関連付けて前記記憶部に記憶させ、前記更新判定部は、前記撮影部によって撮影された前記薬剤の位置と前記マスタ画像に関連付けられた前記薬剤位置情報とに基づいて、前記マスタ画像を更新するか否かを判定する、請求項1に記載の薬剤認識装置。

請求項3

前記更新判定部は、前記撮影部によって撮影された前記薬剤の位置が前記マスタ画像に関連付けられた前記薬剤位置情報によって示される前記マスタ画像の薬剤の位置よりも前記薬剤に対する認識力が高い場合、前記マスタ画像を更新すると判定する、請求項2に記載の薬剤認識装置。

請求項4

前記登録部は、前記マスタ画像が未登録である種類の前記薬剤が前記撮影部によって撮影された場合、前記撮影部によって得られた撮影画像のうち薬剤領域を前記マスタ画像として前記記憶部に登録する、請求項3に記載の薬剤認識装置。

請求項5

前記更新判定部は、前記撮影部の撮影範囲のうち前記薬剤に対する認識力が基準を満たす基準位置と前記薬剤の位置との距離に基づいて、前記マスタ画像を更新するか否かを判定する、請求項1から4のうちいずれか一項に記載の薬剤認識装置。

請求項6

前記撮影部の撮影範囲のうち前記薬剤に対する認識力が基準を満たす位置を予め求めておき前記基準位置に設定する基準位置設定部を備える、請求項5に記載の薬剤認識装置。

請求項7

前記基準位置は、前記撮影範囲のうち前記薬剤に対する認識力が最も高い位置、または前記薬剤に対する認識力が最も高い領域の代表位置である、請求項5または6に記載の薬剤認識装置。

請求項8

前記認識力は、前記薬剤の表面の刻印に対する認識力であり、前記薬剤の表面の刻印に前記照明部の照明光入射する入射角に応じて定まる、請求項3から7のうちいずれか一項に記載の薬剤認識装置。

請求項9

前記照明部は、前記薬剤を囲む複数の照明方向から前記薬剤を照明し、前記撮影部は、前記薬剤を包む包材の少なくとも一方の面に対向し、前記基準位置は、前記撮影範囲の中心位置であり、前記更新判定部は、前記撮影範囲の中心位置と前記薬剤の位置との距離に基づいて、前記マスタ画像を更新するか否かを判定する、請求項5に記載の薬剤認識装置。

請求項10

前記照明部は、複数の光源を含んで構成され、前記複数の光源と前記撮影部の光軸とが等間隔である、請求項9に記載の薬剤認識装置。

請求項11

前記照明部は、前記薬剤を四方向以上から照明する、請求項1から10のうちいずれか一項に記載の薬剤認識装置。

請求項12

前記更新判定部は、複数の前記薬剤が一つの薬包に含まれている場合、前記複数の薬剤どうしの間隔に基づいて、前記マスタ画像を更新するか否かを判定する、請求項1から11のうちいずれか一項に記載の薬剤認識装置。

請求項13

前記照明部は、複数の光源を含んで構成され、前記複数の光源のうち前記薬剤を照明する光源を切り替えることにより前記薬剤の照明方向を順番に切り替える照明制御部と、前記照明方向が切り替わるごとに前記撮影部に前記薬剤を撮影させる撮影制御部と、を備え、前記マスタ画像生成部は、前記撮影部によって得られた複数の撮影画像であって前記複数の照明方向に対応する複数の撮影画像を合成して、前記マスタ画像を生成する、請求項1から12のうちいずれか一項に記載の薬剤認識装置。

請求項14

前記撮影部は、前記薬剤を第1の方向から撮影する第1のカメラと、前記薬剤を前記第1の方向と異なる第2の方向から撮影する第2のカメラと、を含んで構成される、請求項1から13のうちいずれか一項に記載の薬剤認識装置。

請求項15

前記薬剤は包装されている請求項1から14のうちいずれか1項に記載の薬剤認識装置。

請求項16

前記薬剤が包装された複数の薬包が連続し、前記マスタ画像生成部は、一の前記薬包から同一種類の複数の薬剤が撮影された場合、または前記複数の薬包にわたり同一種類の複数の薬剤が撮影された場合は、前記同一種類の複数の薬剤が撮影された複数の薬剤領域を用いて、前記マスタ画像を生成する、請求項1から15のうちいずれか一項に記載の薬剤認識装置。

請求項17

前記マスタ画像生成部は、一の前記薬包から同一種類の複数の薬剤が撮影された場合、または前記複数の薬包にわたり同一種類の複数の薬剤が撮影された場合は、前記複数の薬剤領域を用いて平均または加重平均により前記マスタ画像を生成する、請求項16に記載の薬剤認識装置。

請求項18

表示部と、前記表示部に、前記撮影画像のうちの薬剤領域を表示させる表示制御部を備える、請求項1から17のうちいずれか一項に記載の薬剤認識装置。

請求項19

前記マスタ画像と前記撮影画像のうちの薬剤領域との相関値を算出する相関値算出部を備え、前記表示制御部は、前記相関値を前記表示部に表示させる、請求項18に記載の薬剤認識装置。

請求項20

前記表示制御部は、前記マスタ画像を更新した履歴を前記表示部に表示させる、請求項18または19に記載の薬剤認識装置。

請求項21

前記表示制御部は、前記薬剤の位置と前記マスタ画像の更新とを関連付けて前記表示部に表示させる、請求項20に記載の薬剤認識装置。

請求項22

前記撮影画像と、前記記憶部に登録されたマスタ画像のうち最後に登録されたマスタ画像と、を照合して前記撮影画像が示す薬剤がいずれの薬剤であるかを判断する薬剤判断部と、前記判断の結果を出力する判断結果出力部と、を備える請求項1から21のうちいずれか1項に記載の薬剤認識装置。

請求項23

前記薬剤判断部は前記撮影画像と前記マスタ画像との照合結果に基づいて前記撮影画像が示す薬剤の候補を選択し、前記判断結果出力部は前記選択された候補を示す情報を出力する請求項22に記載の薬剤認識装置。

請求項24

前記撮影画像が示す薬剤に関連する関連情報を入力する関連情報入力部をさらに備え、前記薬剤判断部は前記関連情報を参照して前記判断を行う請求項22または23に記載の薬剤認識装置。

請求項25

前記関連情報は処方データに含まれる薬剤の情報であり、前記薬剤判断部は、前記処方データに含まれる薬剤についての前記マスタ画像を前記記憶部から取得し、前記撮影画像と前記取得したマスタ画像とを照合して、前記撮影画像が示す薬剤と前記取得したマスタ画像が示す薬剤とが同一であるか否かを判断する請求項24に記載の薬剤認識装置。

請求項26

薬剤を照明する照明部と、前記照明部によって照明された前記薬剤を撮影する撮影部と、前記薬剤の種類ごとに前記薬剤を示すマスタ画像を記憶する記憶部と、を用いる薬剤認識方法であって、前記撮影部によって得られた撮影画像に基づいて前記薬剤の位置を取得するステップと、取得された前記薬剤の位置に基づいて、前記マスタ画像を更新するか否かを判定するステップと、前記マスタ画像を更新すると判定された場合、前記撮影画像のうち薬剤領域をマスタ画像として前記記憶部に登録するステップと、を含む薬剤認識方法。

請求項27

請求項26に記載の薬剤認識方法をコンピュータに実行させる薬剤認識プログラム

請求項28

請求項27に記載の薬剤認識プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体

技術分野

0001

本発明は、薬剤を認識する場合にマスタ画像ロバスト性を高くすることが可能になる薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムに関する。

背景技術

0002

従来、薬剤の種類を認識する各種の装置が提案または提供されてきた。例えば、薬剤を照明し、その照明された薬剤を撮影し、その撮影で得られた撮影画像のうち薬剤領域と薬剤の種類ごとに予め登録されたマスタ画像とを照合することにより、薬剤の種類を認識することができる。

0003

特許文献1には、生産ライン上で連続的に供給されるワークに対する異品種混入検査において、照明の変化、ワークの塗装状態の違い等の外部要因による認識精度の変化を防止するため、最初に供給されるワークの画像データをマスタ画像(基準画像データ)として登録し、続いて供給される複数のワークのそれぞれの画像データをマスタ画像と比較して、同一品種と判定した場合には常にマスタ画像を更新することが記載されている。

0004

また特許文献2には、薬剤の計測値特性(色調、大きさ、形等)を照会検索項目として薬剤情報データベース検索し、完全一致あるいは近似する品名をスクリーン上に表示することが記載されている。

0005

また特許文献3には、照明された薬剤の画像を撮影しデータベースに保存された各薬剤のテンプレート画像との間でマッチングして薬剤の鑑別を行うことが記載されている。

先行技術

0006

特開2005−249615号公報
特開平9−16681号公報
WO2015/152225号公報

発明が解決しようとする課題

0007

特許文献1に記載された技術を薬剤の認識に適用し、薬包内の薬剤がマスタ画像の薬剤と同一品種であると判定した場合に常にマスタ画像を更新しても、マスタ画像のロバスト性を高くすることは困難である。なぜなら、薬包内における薬剤の位置が薬包ごとに異なるため、認識力が低い位置で薬剤が撮影された場合にマスタ画像が更新されると、薬剤の認識精度が低下してしまうからである。特許文献2にはマスタ画像との照合、及びマスタ画像のロバスト性を高くすることについて何ら記載されていない。また特許文献3にはテンプレートマッチングについては記載されているが、マスタ画像のロバスト性を高くすることについては何ら記載されていない。

0008

本発明は、薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムを提供することを目的とする。

課題を解決するための手段

0009

上述した目的を達成するため、本発明の一の態様に係る薬剤認識装置は、薬剤を照明する照明部と、照明部によって照明された薬剤を撮影する撮影部と、薬剤の種類ごとに薬剤を示すマスタ画像を記憶する記憶部と、撮影部によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部と、薬剤位置取得部によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部と、撮影部によって得られた撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部と、更新判定部によってマスタ画像を更新すると判定された場合、マスタ画像生成部によって生成されたマスタ画像を記憶部に登録する登録部と、を備える。

0010

本態様によれば、撮影部によって得られた撮影画像に基づいて薬剤の位置が取得され、その薬剤の位置に基づいて、薬剤の種類ごとのマスタ画像を更新するか否かが判定されるので、薬剤の位置が薬包ごとに異なっても薬剤の認識率が高くなるようにマスタ画像を更新することが可能となる。つまり薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる。

0011

本発明の他の態様に係る薬剤認識装置では、登録部は、薬剤の位置を示す薬剤位置情報をマスタ画像に関連付けて記憶部に記憶させ、更新判定部は、撮影部によって撮影された薬剤の位置とマスタ画像に関連付けられた薬剤位置情報とに基づいて、マスタ画像を更新するか否かを判定する。

0012

本発明の更に他の態様に係る薬剤認識装置では、更新判定部は、撮影部によって撮影された薬剤の位置がマスタ画像に関連付けられた薬剤位置情報によって示されるマスタ画像の薬剤の位置よりも薬剤に対する認識力が高い場合、マスタ画像を更新すると判定する。

0013

本発明の更に他の態様に係る薬剤認識装置では、登録部は、マスタ画像が未登録である種類の薬剤が撮影部によって撮影された場合、撮影部によって得られた撮影画像のうち薬剤領域をマスタ画像として記憶部に登録する。

0014

本発明の更に他の態様に係る薬剤認識装置では、更新判定部は、撮影部の撮影範囲のうち薬剤に対する認識力が基準を満たす基準位置と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する。

0015

本発明の更に他の態様に係る薬剤認識装置は、撮影部の撮影範囲のうち薬剤に対する認識力が基準を満たす位置を予め求めておき基準位置に設定する基準位置設定部を備える。

0016

本発明の更に他の態様に係る薬剤認識装置では、基準位置は、撮影範囲のうち薬剤に対する認識力が最も高い位置、または撮影範囲のうち薬剤に対する認識力が最も高い領域の代表位置である。

0017

本発明の更に他の態様に係る薬剤認識装置では、認識力は、薬剤の表面の刻印に対する認識力であり、薬剤の表面の刻印に照明部の照明光入射する入射角に応じて定まる。

0018

本発明の更に他の態様に係る薬剤認識装置では、照明部は、薬剤を囲む複数の照明方向から薬剤を照明し、撮影部は、薬剤を包む包材の少なくとも一方の面に対向し、基準位置は、撮影範囲の中心位置であり、更新判定部は、撮影範囲の中心位置と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する。

0019

本発明の更に他の態様に係る薬剤認識装置では、照明部は、複数の光源を含んで構成され、複数の光源と撮影部の光軸とが等間隔である。

0020

本発明の更に他の態様に係る薬剤認識装置では、照明部は、薬剤を四方向以上から照明する。

0021

本発明の更に他の態様に係る薬剤認識装置では、更新判定部は、複数の薬剤が一つの薬包に含まれている場合、複数の薬剤どうしの間隔に基づいて、マスタ画像を更新するか否かを判定する。

0022

本発明の更に他の態様に係る薬剤認識装置では、照明部は、複数の光源を含んで構成され、複数の光源のうち薬剤を照明する光源を切り替えることにより薬剤の照明方向を順番に切り替える照明制御部と、照明方向が切り替わるごとに撮影部に薬剤を撮影させる撮影制御部と、を備え、マスタ画像生成部は、撮影部によって得られた複数の撮影画像であって複数の照明方向に対応する複数の撮影画像を合成して、マスタ画像を生成する。

0023

本発明の更に他の態様に係る薬剤認識装置では、撮影部は、薬剤を第1の方向から撮影する第1のカメラと、薬剤を第1の方向と異なる第2の方向から撮影する第2のカメラと、を含んで構成される。

0024

本発明の更に他の態様に係る薬剤認識装置では、薬剤は包装されている。

0025

本発明の更に他の態様に係る薬剤認識装置では、薬剤が包装された複数の薬包が連続し、マスタ画像生成部は、一の薬包から同一種類の複数の薬剤が撮影された場合、または複数の薬包にわたり同一種類の複数の薬剤が撮影された場合は、同一種類の複数の薬剤が撮影された複数の薬剤領域を用いて、マスタ画像を生成する。なお、一の薬包から同一種類の薬剤が一つのみ撮影された場合に、一の薬剤領域からマスタ画像を生成する構成としてもよい。また、複数の薬包にわたり同一種類の複数の薬剤が撮影されない場合に、一の薬剤領域からマスタ画像を生成してよい。

0026

本発明の更に他の態様に係る薬剤認識装置では、マスタ画像生成部は、一の薬包から同一種類の複数の薬剤が撮影された場合、または複数の薬包にわたり同一種類の複数の薬剤が撮影された場合は、複数の薬剤領域を用いて平均または加重平均によりマスタ画像を生成する。

0027

本発明の更に他の態様に係る薬剤認識装置は、表示部と、表示部に、撮影画像のうちの薬剤領域を表示させる表示制御部を備える。

0028

本発明の更に他の態様に係る薬剤認識装置は、マスタ画像と撮影画像のうちの薬剤領域との相関値を算出する相関値算出部を備え、表示制御部は、相関値を表示部に表示させる。

0029

本発明の更に他の態様に係る薬剤認識装置では、表示制御部は、マスタ画像を更新した履歴を表示部に表示させる。

0030

本発明の更に他の態様に係る薬剤認識装置では、表示制御部は、薬剤の位置とマスタ画像の更新とを関連付けて表示部に表示させる。

0031

本発明の更に他の態様に係る薬剤認識装置は、撮影画像と、記憶部に登録されたマスタ画像のうち最後に登録されたマスタ画像と、を照合して撮影画像が示す薬剤がいずれの薬剤であるかを判断する薬剤判断部と、判断の結果を出力する判断結果出力部と、を備える。本態様によれば、撮影画像と、最後に登録されたマスタ画像(すなわち、上述の態様によりロバスト性が向上したマスタ画像)とを照合するので、撮影画像が示す薬剤がいずれの薬剤であるかの判断を正確に行うことができる。本態様に係る薬剤認識装置は、例えば薬剤鑑別、薬剤監査支援に適用することができる。

0032

本発明の更に他の態様に係る薬剤認識装置では、薬剤判断部は撮影画像とマスタ画像との照合結果に基づいて撮影画像が示す薬剤の候補を選択し、判断結果出力部は選択された候補を示す情報を出力する。本態様によれば、出力される情報により、撮影画像が示す薬剤の候補を確認することができる。

0033

本発明の更に他の態様に係る薬剤認識装置は、撮影画像が示す薬剤に関連する関連情報を入力する関連情報入力部をさらに備え、薬剤判断部は関連情報を参照して判断を行う。本態様では薬剤の照合に用いられる情報を関連情報として入力することができ、このような関連情報を参照することにより判断を正確に行うことができる。

0034

本発明の更に他の態様に係る薬剤認識装置では、関連情報は処方データに含まれる薬剤の情報であり、薬剤判断部は、処方データに含まれる薬剤についてのマスタ画像を記憶部から取得し、撮影画像と取得したマスタ画像とを照合して、撮影画像が示す薬剤と取得したマスタ画像が示す薬剤とが同一であるか否かを判断する。本態様によれば、処方データに含まれる薬剤の情報を関連情報として入力することにより、撮影画像が示す薬剤と取得したマスタ画像が示す薬剤とが同一であるか否かを正確に判断することができる。

0035

本発明の更に他の態様に係る薬剤認識方法は、薬剤を照明する照明部と、照明部によって照明された薬剤を撮影する撮影部と、薬剤の種類ごとに薬剤を示すマスタ画像を記憶する記憶部と、を用いる薬剤認識方法であって、撮影部によって得られた撮影画像に基づいて薬剤の位置を取得するステップと、取得された薬剤の位置に基づいて、マスタ画像を更新するか否かを判定するステップと、マスタ画像を更新すると判定された場合、撮影画像のうち薬剤領域をマスタ画像として記憶部に登録するステップと、を含む。

0036

本発明の更に他の態様に係る薬剤認識プログラムは、上記の薬剤認識方法をコンピュータに実行させる。なお、本態様に係る薬剤認識プログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の更に他の態様として挙げることができる。

0037

本発明に係る薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムによれば、薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる。

図面の簡単な説明

0038

図1は、本発明に係る一実施形態の薬剤認識装置の構成例を示す図である。
図2は、複数の薬包が連続した例を示す図である。
図3は、照明部の光源及び撮影部のカメラの配置例を示す側面図である。
図4は、照明部の光源及び撮影部のカメラの配置例を示す平面図である。
図5は、薬剤の刻印検出が困難になる条件を示す図である。
図6は、図5に示した場合における輝度分布を示す図である。
図7は、基準位置設定のために二次元配列した薬剤を示す図である。
図8は、基準位置設定のための相関値算出の説明に用いる説明図である。
図9は、マスタ画像の好ましい更新の説明に用いる説明図である。
図10は、照合の説明に用いる説明図である。
図11は、照明方向切替の説明に用いる第1の説明図である。
図12は、照明方向切替の説明に用いる第2の説明図である。
図13は、薬剤認識結果の表示例を示す図である。
図14は、本発明に係る薬剤認識方法を適用した処理例の流れを示すフローチャートである。
図15は、本発明に係る薬剤認識装置を薬剤監査支援及び薬剤鑑別に適用したシステムの例を示す図である。
図16は、本発明に係る薬剤認識方法を薬剤監査支援に適用した処理例の流れを示すフローチャートである。
図17は、本発明に係る薬剤認識方法及び装置を薬剤監査支援に適用した結果の例を示す図である。
図18は、本発明に係る薬剤認識方法及び装置を薬剤監査支援に適用した結果の例を示す他の図である。
図19は、本発明に係る薬剤認識装置を薬剤鑑別に適用した例を示す図である。
図20は、本発明に係る薬剤認識装置を薬剤鑑別に適用した例を示す他の図である。
図21は、本発明に係る薬剤認識方法を薬剤鑑別に適用した処理例の流れを示すフローチャートである。
図22は、本発明に係る薬剤認識方法及び装置を薬剤鑑別に適用した結果の例を示す図である。
図23は、本発明に係る薬剤認識方法及び装置を薬剤鑑別に適用した結果の例を示す図である。

実施例

0039

以下、添付図面を用いて、本発明に係る薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムの実施形態について説明する。

0040

図1は、本発明に係る一実施形態の薬剤認識装置の構成例を示す図である。

0041

本例の薬剤認識装置10は、薬剤を照明する照明部12と、照明部12によって照明された薬剤を撮影する撮影部14と、ユーザに対する薬剤の処方を示す処方データ等、認識対象の薬剤に関連する関連情報を取得する関連情報取得部16と、プログラム(本発明に係る薬剤認識プログラムを含む)及びプログラムの実行に必要な情報を記憶する記憶部18(非一時的記録媒体)と、記憶部18に記憶されたプログラムに従って各種の処理を行う処理部20と、画像表示可能な表示部22と、ユーザから操作を受け付ける操作部24と、を含んで構成される。なお以下では薬剤が包装されている場合について説明するが、本発明は薬剤が包装されていない場合にも適用することができる(後述)。

0042

薬剤の「包装」には一包化が含まれる。「一包化」とは、処方された薬剤を一回の服用ごとに分包パッケージ)することをいう。処方内容に依って、一つの包材に種類が異なる複数薬剤がパッケージされる場合、一つの包材に同一種類の複数薬剤がパッケージされる場合、及び一つの包材に薬剤が一個だけパッケージされる場合がある。一包化される薬剤の形態は、例えば、錠剤カプセル剤が挙げられるが、特に限定されない。また、包材は、例えば、紙、プラスティックが挙げられるが、特に限定されない。また、本明細書において「分包」(あるいは「包装」)は、一回の服用ごとに分包する場合に限定されず、薬剤が包材によって包装されている場合であればよい。

0043

照明部12は、光源を含んで構成される。照明部12の具体例は後述する。

0044

撮影部14は、カメラを含んで構成される。撮影部14の具体例は後述する。

0045

関連情報取得部16は、例えば、処方箋上の文字光学的に読み取ることにより、処方データ等の関連情報を取得する。処方データとしては、例えば処方箋に記載された薬剤の識別情報名称、数量、用法、用量等を挙げることができるが、これらに限定されるものではない。関連情報取得部16が処方箋に付与されたバーコード(または二次元コード)を読み取ることにより処方データを取得してもよい。また、医師及び/または薬剤師コンピュータ装置で入力した処方データを、通信により取得してもよい。なお、「処方データ」は処方箋に記載された情報そのものでもよいし、処方箋に記載された情報に基づいて医師及び/または薬剤師が設定、変更等した情報でもよい。例えば、処方箋に先発医薬品の名称が記載されている場合に後発医薬品ジェネリック医薬品)に変更する、あるいは薬剤の一般名称しか記載されていない場合に先発医薬品または後発医薬品を選択する、等を行って得られた情報も「処方データ」に含めることができる。薬剤認識装置10を薬剤監査支援、薬剤鑑別等に用いる場合(後述)は、目視等で認識した薬剤の特徴(例えば、錠剤かカプセルか等の薬剤種類、形状、色等)、あるいはいわゆる「お薬手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報を、ユーザの操作に応じて関連情報取得部16(関連情報入力部)が関連情報として入力してもよい。

0046

記憶部18は、一時的記憶デバイスと、非一時的記憶デバイス(非一時的記録媒体)とによって構成される。本例の記憶部18は、薬剤の種類ごとに薬剤を示すマスタ画像(「薬剤マスタ画像」ともいう)を記憶する。マスタ画像は、各薬剤の属性を示す属性情報(例えば薬剤コード、名称、薬剤タイプ、形状、寸法等の情報;図23の例を参照)と関連付けて記憶することが好ましい。

0047

処理部20は、例えばCPU(central processing unit)によって構成される。本例の処理部20は、記憶部18に記憶されたマスタ画像を更新する機能を有する。本例の処理部20は、後述する特定の条件が満たされた場合、撮影部14によって得られた撮影画像を用いて記憶部18に記憶されたマスタ画像を更新するマスタ更新処理を行う。

0048

本例の処理部20は、照明部12の照明を制御する照明制御部32と、撮影部14の撮影を制御する撮影制御部34と、撮影部14によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部35と、撮影部14によって得られた撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部36と、撮影部14によって薬剤を撮影して得られた撮影画像の薬剤領域と記憶部18に記憶されたマスタ画像とを照合する照合部42と、薬剤位置取得部35によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部44と、更新判定部44によってマスタ画像を更新すると判定された場合、マスタ画像生成部36によって生成されたマスタ画像を記憶部18に登録する登録部46と、表示部22の表示を制御する表示制御部48と、を含んで構成されている。マスタ画像と撮影画像のうちの薬剤領域との相関値、あるいは薬剤領域間の相関値を算出する相関値算出部49と、基準位置を設定する基準位置設定部50とを、設けてもよい。

0049

<薬包>
図2は、薬剤Tが包装された複数の薬包TPが連続する薬包帯PBを示す。x軸は薬包帯PBの長手方向に沿った軸であり、y軸は薬包帯PBの幅方向に沿った軸である。本例の薬包帯PBはx軸方向に沿って搬送させることが可能である。本例の薬剤Tには刻印(または印字に)より薬剤Tの種類が示されている。各薬剤Tには、以下の説明の便宜上、「A」、「B」または「C」と刻印されているものとするが、刻印内容(または印字内容)は特に限定されない。

0050

薬包TPの包材は、両面とも透明(半透明を含む、以下同じ)が、好ましい。薬包TPの包材の片面に、印字またはマット加工が、施されていてもよい。

0051

連続した薬包TPは、一つの薬包TPのx軸方向におけるサイズごとに、搬送可能である。一つの薬包TPごとに、薬包TPの位置を検出可能であってもよい。

0052

なお、本発明は、薬包TPが搬送される場合に限定されない。薬包TPが載置台等に載置されるだけの場合であってもよい。また、本発明は薬剤Tが包装されていなくてもよい。例えば薬剤Tに含まれる各薬剤を直接、あるいはシャーレ等の容器に入れて載置台に載置してもよい。

0053

<照明部及び撮影部>
照明部12を構成する光源及び撮影部14を構成するカメラの配置について、説明する。

0054

図3及び図4は、照明部12の光源13及び撮影部14のカメラ15(15A、15B)の配置例を示す。図3は薬包帯PBの側面から見た側面図であり、図4は薬包帯PBの一方の面を上または下から見た平面図である。x軸は薬包帯PBの長手方向に沿った軸であり、y軸は薬包帯PBの幅方向に沿った軸であり、z軸は薬包帯PBの一方の面(上面または下面)に直交する軸である。

0055

照明部12は、複数の光源13を含んで構成され、図4に示すように、薬剤Tを囲む複数の照明方向から薬剤Tを照明する。本例の照明部12は、薬剤Tの一方の面(上面または下面)を四方向から照明している。薬剤Tを四方向以上から照明してもよい。

0056

撮影部14は、薬剤Tを包む透明な包材の少なくとも一方の面に対向し、薬剤Tを撮影する。

0057

撮影部14は、図3に示すように、薬包帯PBの上面(薬剤Tを包装した包材の一方の面である)に対向するカメラ15A(第1のカメラ)と、薬包帯PBの下面(薬剤Tを包装した包材の他方の面である)に対向するカメラ15B(第2のカメラ)と、を含んで構成される。すなわち、カメラ15Aは薬剤Tを第1の方向(薬包帯PBの上方から下方に向かう方向)から撮影し、カメラ15Bは薬剤Tを第2の方向(薬包帯PBの下方から上方に向かう方向)から撮影する。図4において、複数の光源13のそれぞれとカメラ15(15A、15B)の撮影光軸PAとの間隔d1、d2、d3、d4は同じである。つまり、複数の光源13と撮影光軸PAとが等間隔(d1=d2=d3=d4)である。

0058

<マスタ画像の生成及び更新判定>
マスタ画像生成部36は、撮影部14のカメラ15によって得られた撮影画像から薬剤領域を抽出してマスタ画像を生成する。例えば、撮影画像から薬剤Tの像のエッジを検出することにより薬剤領域を認識し、その薬剤領域を撮影画像から切り出すことにより薬剤領域を抽出する。薬剤領域の抽出の際には、薬剤Tを上下の両方向から撮影して得られた二枚の撮影画像を用いてもよい。薬剤背景を変更した画像を用いてもよい。薬包TPの包材を透過した透過光からなる透過画像(薬剤領域が黒)を用いてマスクを生成し、そのマスクを用いてマスタ画像を生成してもよい。

0059

登録部46は、マスタ画像が未登録である種類の薬剤Tが撮影部14のカメラ15によって撮影された場合、そのカメラ15によって得られた新たな撮影画像のうち薬剤領域をマスタ画像として、記憶部18に登録する。また、更新判定部44により更新すると判定された場合、記憶部18のマスタ画像を更新する。

0060

更新判定について説明する。薬剤位置取得部35は、撮影部14によって得られた撮影画像に基づいて、撮影部14の撮影範囲のうちの薬剤位置を取得する。本例の薬剤位置取得部35は、画像解析により、撮影画像における薬剤Tの像の位置を取得する。つまり実空間の撮影範囲における薬剤Tの位置と撮影画像における薬剤Tの像の位置とが対応しているため、撮影画像における薬剤Tの像の位置を、撮影範囲における薬剤の位置として、用いることができる。

0061

また「薬剤の位置」の取得は、本明細書において、撮影範囲(または撮影画像)における薬剤の絶対位置を取得する場合に限定されず、撮影範囲(または撮影画像)において薬剤に対する認識力が基準を満たす基準位置との距離(以下「相対位置」ともいう)を取得する場合を含む。つまり、更新判定部44は、相対位置に基づいて、マスタ画像を更新するか否かを判定することができる。

0062

また、薬剤に対する「認識力」は、本明細書おいて、撮影画像に基づいて薬剤の種類を認識する認識力である。この認識力は、一般に、撮影範囲における薬剤位置に応じて変動する。「認識力」は、認識の確率(認識率)で表してもよいし、予め算出された評価値で表してもよい。例えば、後述のように薬剤画像間の相関値を用いて、認識力を示す評価値を表すことが可能である。

0063

「認識力」は、具体例として、薬剤の表面に薬剤の種類を示す刻印が形成されている場合、その薬剤の表面の刻印に対する認識力である。一般に、薬剤の表面の刻印に対する認識力は、薬剤の表面の刻印に照明部12の照明光が入射する角度(入射角)に応じて定まる。また、「認識力」は、薬剤の表面に薬剤の種類を示す印字が形成されている場合、その薬剤の表面の印字に対する認識力である。一般に、薬剤の表面の印字に対する認識力は、薬剤の表面の印字に対する撮影部14の光軸(撮影光軸)の角度(撮影角度)に応じて定まる。

0064

図4に示したように光源13及びカメラ15が配置されている場合、マスタ画像は、カメラ15の撮影範囲(「視野範囲」ともいう)の中央領域に位置した薬剤の画像であることが、望ましい。図4に示した配置例の場合、撮影範囲の中央領域で撮影された薬剤の画像はロバスト性が高いが、撮影範囲の端(つまり光源13の近傍)で撮影された薬剤の画像はロバスト性が低いからである。例えば、錠剤(薬剤の一形態である)は、3D(dimension)形状を有しており、光源13に近いほど、錠剤の刻印に対して照明光の入射角が小さくなり、刻印の検出が困難になる。理解を容易にするため、図5に示すように、実線で示した入射光LI及び点線で示した反射光LOが薬剤Tの刻印EM凹部側面に平行であると仮定する。そうすると、図6に示すように、撮影画像の輝度分布を示す輝度プロファイルLは平坦形状になってしまい、刻印EMを検出できなくなることが分かる。

0065

そこで、更新判定部44は、撮影部14の撮影範囲のうち薬剤に対する認識力が基準を満たす基準位置と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する。ここで、「基準位置と薬剤の位置との距離」に基づく判定は、実空間における基準位置、薬剤の位置及び距離に対応する、撮影画像における基準位置、薬剤の位置及び距離を用いて、行ってよい。

0066

基準位置は、例えば、撮影範囲のうち薬剤に対する認識力が最も高い位置、または撮影範囲のうち薬剤に対する認識力が最も高い領域の代表位置である。

0067

図4に示したように、光源13及びカメラ15が配置されている場合、撮影範囲の中心位置(実空間の撮影範囲では撮影光軸PAの位置であり、撮影画像では画像中心である)を、基準位置としてよい。この場合、更新判定部44は、撮影範囲の中心位置と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する。よってマスタ画像を用いた薬剤認識の精度を高くすることが可能になる。つまりマスタ画像のロバスト性を高くすることができる。撮影範囲の中心位置の近傍の位置を基準位置としてもよい。

0068

また、基準位置として、撮影範囲のうち薬剤に対する認識力が高い位置(薬剤に対する認識力が基準を満たす位置である)を基準位置設定部50により予め求めておき設定しておくことが可能である。例えば、図7に示すように、撮影範囲Rに複数の薬剤Tを等間隔に二次元配列し、その二次元配列された複数の薬剤Tをカメラ15により撮影し、各薬剤Tの位置で他の薬剤Tとの薬剤画像(薬剤領域の画像である)の相関値を相関値算出部49により算出し、その相関値に基づいて撮影範囲Rのうち最も認識力が高い領域を求めることができる。理解のために便宜上、図7に示した撮影範囲Rのうちの四分の一の大きさであるクォーター領域RQにおける薬剤位置間の薬剤画像の相関値を図8に示す。図8において、自己相関値注目位置PIの薬剤画像と注目位置PIの薬剤画像の相関値)は「1.00」である。また図8において、注目位置PIの薬剤画像と他の位置の薬剤画像との相関値は「1.00」未満である。その算出された相関値を数値と色(ただし図8では図示の便宜上グラデーションになっている)で示した。このような相関値の算出を、撮影範囲R内の二次元配列された複数の薬剤Tのそれぞれの位置を注目位置として行い、撮影範囲Rの全体(または薬剤認識に必要な範囲)において、相関値の分布が最も好ましくなる注目位置を、基準位置とすることができる。例えば、注目位置ごとに他の位置との相関値の総和を算出し、その相関値の総和が最大となる注目位置を基準位置として設定する。つまり、撮影範囲Rのうち認識力が最も高い領域の代表位置を基準位置とすることができる。基本的には薬剤が撮影範囲Rの中央部に位置した場合に薬剤を撮影することが好ましいが、包装された薬剤の位置は薬包ごとに異なり、意図せず撮影範囲Rの端部で薬剤が撮影されてしまう場合がある。つまり、無条件にマスタ画像を更新すると、そのマスタ画像を用いた薬剤認識の精度が低下してしまう。本例では、基準位置設定部50により、撮影範囲Rにおいて薬剤に対する認識力が基準を満たす注目位置を予め求めておいて基準位置に設定し、その基準位置と薬剤認識時に撮影された実際の薬剤の位置との距離に基づいてマスタ画像を更新するか否かを判定するため、マスタ画像を用いた薬剤認識の精度をマスタ画像の更新により高くすることが可能になる。つまりマスタ画像のロバスト性を高くすることができる。

0069

本例の登録部46は、撮影範囲における薬剤の位置(または基準位置と薬剤の位置との距離)を示す薬剤位置情報を、マスタ画像に関連付けて、記憶部18に記憶させる。また更新判定部44は、撮影部14によって撮影された薬剤の位置(または基準位置と薬剤の位置との距離)と、マスタ画像に関連付けられた薬剤位置情報とに基づいて、マスタ画像を更新するか否かを判定する。

0070

本例の更新判定部44は、撮影部14によって撮影された薬剤の位置が、マスタ画像に関連付けられた薬剤位置情報によって示されるマスタ画像の薬剤の位置よりも基準位置に近い場合、マスタ画像を更新すると判定する。

0071

このような基準に則した更新により記憶部18に登録されたマスタ画像は、より良いマスタ画像に順次更新されていく。つまり、図9に示すように、撮影範囲Rのうちマスタ画像のロバスト性が高くなる領域AR内の薬剤TRの画像がマスタ画像となるまで更新されてゆく。撮影範囲Rのうちマスタ画像のロバスト性が低い端部の薬剤(図中のTE)の画像がマスタ画像として登録されてしまうと刻印EMの認識力が低くなってしまうが、本例では、より良いマスタ画像に収束してゆき、基準に則した領域ARの薬剤TRの画像がマスタ画像として登録されるため、刻印EMの認識力を高くすることが可能になる。なお、図4に示した光源13及びカメラ15の配置(複数の光源13と撮影光軸PAとが等間隔)では、マスタ画像の薬剤位置を、撮影範囲Rの中心位置である撮影光軸PAの位置に徐々に近づけてゆくことになる。

0072

<照合>
図3に示したようにカメラ15A及びカメラ15Bが撮影対象の薬包TPの上下に配置されている場合、図10に示すように、カメラ15Aによって薬剤Tを上から撮影して得られた撮影画像(IMG11、IMG21)と、カメラ15Bによって薬剤Tを下から撮影して得られた撮影画像(本例ではIMG12、IMG22)とを用いて、照合を行う。図10において、一包目の薬包TP1内の薬剤T11、T12、T13のうち符号がT13である薬剤の種類(「種類C」とする)のマスタ画像が記憶部18に未登録である場合、その符号がT13の薬剤の画像(本例では、薬剤T13を上から撮影して得られた撮影画像IMG11の薬剤領域と、薬剤T13を下から撮影して得られた撮影画像IMG12の薬剤領域)がマスタ画像として、登録部46により記憶部18に登録される。例えば、一包目の薬包TP1内の薬剤T13を下から見たマスタ画像は、図中に点線の矢印で示すように、二包目の薬包TP2を上から撮影して得られた撮影画像IMG21中の薬剤T21、T22、T23の画像、及び下から撮影して得られた撮影画像IMG22中の薬剤T21、T22、T23の画像と、照合されることになる。例えば、二包目の薬包TP2内の符号がT23の薬剤を下から見た画像がマスタ画像とマッチングしていることが照合される。

0073

<マスタ画像のバリエーション
マスタ画像のバリエーションについて、説明する。

0074

マスタ画像生成部36は、複数の薬包TPのうち一の薬包TP(例えば第1番目の薬包)から同一種類の複数の薬剤Tが撮影された場合には、同一種類の薬剤Tが撮影された複数の薬剤領域を用いて、マスタ画像を生成することができる。例えば、マスタ画像生成部36は、複数の薬剤領域を用いて、平均または加重平均によりマスタ画像を生成する。

0075

またマスタ画像生成部36は、図2に示したように複数の薬包TPにわたり同一種類の複数の薬剤Tが撮影された場合、複数の薬包TPに対応する複数の撮影画像の薬剤領域(複数の薬剤領域)を用いて、マスタ画像を生成する。例えば、マスタ画像生成部36は、複数の薬剤領域を用いて、平均または加重平均によりマスタ画像を生成する。なお、一の薬包(例えば第1包目の薬包)から同一種類の薬剤Tが一つのみ撮影された場合に、一の薬剤Tの領域からマスタ画像を生成する構成としてもよい。また、複数の薬包TPにわたり同一種類の複数の薬剤Tが撮影されない場合に、一の薬剤Tの領域からマスタ画像を生成してよい。

0076

また、マスタ画像生成部36は、更新前のマスタ画像をマスタ画像更新の際に削除せずに保存しておき、新たなマスタ画像を生成する際に更新前のマスタ画像を利用することが、好ましい。

0077

<照明方向切替>
薬剤に対する照明方向を順番に切り替える薬剤認識態様について、説明する。本態様の照明制御部32は、複数の光源のうち薬剤を照明する光源を切り替えることにより、薬剤に対する照明方向を順番に切り替える。本態様の撮影制御部34は、薬剤に対する照明方向が切り替わるごとに、撮影部14に薬剤を撮影させる。本態様のマスタ画像生成部36は、複数の照明方向に対応する複数の撮影画像を合成して、マスタ画像を生成する。本態様によれば、薬剤を照明する照明方向、薬剤の表面形状の影響を受けることなく、薬剤に付された刻印文字の認識を正確に行うことができる。

0078

図11に示すように刻印EMは、薬剤Tの表面に形成された溝により構成されている。なお、図中の符号300は刻印EMの正面図であり、符号301は図中の直線CLに沿う薬剤Tの断面図であり、符号302は表面形状が符号301とは異なる薬剤Tの断面図である。刻印EMを一方向から照明すると、刻印EMの照明光源側の輪郭に沿って影が発生する。この影の向き、形状、及び強度は、照明方向、刻印EMの形状、及び薬剤Tの表面形状によって異なる。

0079

図12上段(符号305)に示すように、4方向の薬剤領域画像データ54には、それぞれ刻印EMの照明光源側(照明光を照射している光源13側)の輪郭に沿って影画像56が生じる。なお、刻印EMは薬剤Tの表面と同色であるので実際の画像上では識別困難であるが、図中では照明方向に応じた刻印EMと影画像56との関係を説明するために刻印EMを識別可能に図示している。

0080

図12中段(符号306)に示すように、薬剤Tごとの4方向の薬剤領域画像データ54に対してそれぞれエッジ検出処理を施すことにより、各薬剤領域画像データ54からそれぞれ影画像56に対応する特徴画像データ58を抽出する。これにより、1分包分の薬剤Tの各々について、4方向の照明方向ごとの特徴画像データ58(以下、4方向の特徴画像データ58という)が得られ、薬剤Tごとの4方向の特徴画像データ58を記憶部18に順次に格納する。

0081

図12下段(符号307)に示すように、記憶部18から1分包分の薬剤Tごとの4方向の特徴画像データ58を読み出し、薬剤Tごとに4方向の特徴画像データ58を統合して統合画像データ60を生成する。例えば、4方向の特徴画像データ58を重ね合せて統合する。これにより、4方向の照明方向ごとの影画像56が一つに統合されるため、統合画像データ60上では刻印EMの全ての輪郭が明らかとなる。そして、1分包分の薬剤Tごとにそれぞれ統合画像データ60を生成し、個々の統合画像データ60を記憶部18に格納する。

0082

<表示制御>
表示制御部48は、表示部22に、撮影画像から切り出された薬剤領域を並べて表示させる機能を有する。また表示制御部48は、表示部22に、相関値算出部49によって算出された相関値を表示させる機能を有する。

0083

図13は、図2に示した薬包帯PBの薬包TP内の薬剤を認識した結果の表示例を示す図である。図13の例では、薬包帯PBのうち第1番目の薬包TP及び第2番目の薬包TPから認識された薬剤Tとして刻印「A」の薬剤の画像、刻印「B」の薬剤の画像及び刻印「C」の薬剤の画像が表示部22に表示され、第3番目の薬包TPから認識された薬剤Tとして刻印「B」の薬剤の画像及び刻印「C」の薬剤の画像が表示部22に表示されている。各薬剤の画像の下の数値は、相関値算出部49によって算出された相関値であって、撮影画像から抽出された薬剤領域の画像とマスタ画像との相関を示す相関値である。また表示された薬剤領域(薬剤画像である)は、実際には相関値に応じた濃度の色を付加してある。刻印「C」の薬剤の画像の相関値は、第1番目の薬包TPの薬剤認識においてマスタ画像が更新されたため、第1番目の薬包における相関値よりも第2番目及び第3番目の薬包における相関値が高くなっていることが分かる。

0084

また表示制御部48は、表示部22に、マスタ画像を更新した履歴を表示させる機能を有する。

0085

また表示制御部48は、表示部22に、薬剤の位置(絶対位置または相対位置)とマスタ画像の更新とを関連付けて表示させる機能を有する。

0086

<処理例>
図14は、本発明に係る薬剤認識方法を適用した処理例の流れを示すフローチャートである。本処理は、薬剤認識装置10の処理部20を構成するCPUによって、プログラム(本発明に係る薬剤認識プログラムを含む)に従い実行される。

0087

まず、関連情報取得部16によって、上述した処方データ等の関連情報を取得する(ステップS2)。

0088

次に、照明部12によって、分包された薬剤を照明する(ステップS4)。

0089

また、撮影部14によって、照明部12によって照明された薬剤を撮影する(ステップS6)。

0090

次に、薬剤位置取得部35によって薬剤位置を取得し、かつマスタ画像生成部36によって撮影画像から薬剤領域を抽出する(ステップS8)。

0091

次に、照合部42によって、記憶部18に記憶されたマスタ画像と撮影画像の薬剤領域とを照合する(ステップS10)。

0092

次に、記憶部18にマスタ画像が非登録の薬剤であるか否かを判定し(ステップS12)、マスタ画像が非登録の薬剤である場合(ステップS12でYESの場合)、さらに一包目であるか否かを判定する(ステップS14)。マスタ画像が非登録且つ一包目である場合(ステップS14でYESの場合)、登録部46によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する(ステップS16)。

0093

マスタ画像が登録された薬剤である場合(ステップS12でNOの場合)、更新判定部44によって、撮影範囲の基準位置(例えば中心位置)と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する(ステップS18)。

0094

マスタ画像を更新すると判定された場合、(ステップS18でYESの場合)、登録部46によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する(ステップS20)。

0095

薬包内に他の薬剤が有るか否かを判定し(ステップS22)、薬包内の他の薬剤が有る場合(ステップS22でYESの場合)、ステップS10に戻って、薬包内の他の薬剤に対する照合処理が行われる。

0096

薬包の全ての薬剤に対し薬剤認識処理を行って薬包内に他に薬剤が無い場合(ステップS22でNOの場合)、他に薬包が有るか否かを判定し(ステップS24)、他の薬包が有る場合にはステップS4に戻る。

0097

なお、更新判定部44は、複数の薬剤が一つの薬包に含まれている場合、複数の薬剤どうしの間隔に基づいて、マスタ画像を更新するか否かを判定してもよい。つまり、刻印の場合、隣りに大きな薬剤が存在すると影が出難くなる場合があるので、周囲に他の薬剤が無い場合に、マスタ画像を更新すると判定することが好ましい。例えば、薬剤間の距離が閾値未満(あるいは閾値以下)である場合、撮影画像に刻印の影が出難くなるので、マスタ画像を更新しないと判定する。

0098

上述の説明では、主として薬剤の刻印を認識する場合を例に説明したが、薬剤に印字された文字または記号を認識してもよい。

0099

また前述の図1に示した処理部20は、次に示すような各種のプロセッサ(processor)を含んで構成することができる。各種のプロセッサには、ソフトウエア(プログラム)により各種の処理を実行する汎用的なプロセッサであるCPU(central processing unit)、FPGA(field programmable gate array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(programmable logic device:PLD)、ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。前述の実施形態において、処理部20の機能は、これら各種のプロセッサのうちの1つで実現されてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。複数の機能を1つのプロセッサで実現する例としては、システムオンチップ(system on chip:SoC)などに代表されるように、複数の機能を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウエア的な構造として、上述した各種のプロセッサを1つ以上用いて実現される。さらに、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。

0100

上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのプロセッサ(コンピュータ)読み取り可能なコードをROM(Read Only Memory)及び/またはフラッシュROM等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る薬剤認識方法を実行するためのプログラム(薬剤認識プログラム)を含む。ROMではなく各種光磁気記録装置半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばVRAM(Video RAM)、SDRAM(Synchronous Dynamic Random Access Memory)が一時的記憶領域として用いられ、また例えば不図示のEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータを参照することもできる。

0101

上述の薬剤認識装置は、例えば、調剤監査の支援を行う監査支援装置、薬剤を一包化する一包化装置、薬剤の鑑別を行う薬剤鑑別装置、薬剤の服薬を支援する服薬支援装置に適用可能である。他の装置に適用してもよい。上述の薬剤認識方法を、コンピュータ装置、監査支援装置、一包化装置、薬剤鑑別装置、服薬支援装置等で薬剤認識プログラムに従って実行してもよい。

0102

<薬剤監査支援及び薬剤鑑別への適用例>
上述の薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムを薬剤監査支援及び薬剤鑑別に適用した例について説明する。図15は薬剤認識装置10A(薬剤監査支援装置、薬剤鑑別装置)がネットワークNWを介して病院情報システム70と接続されたシステムを示す図である。ネットワークNWに他の装置(一包化装置、服薬支援装置等)が接続されていてもよい。

0103

薬剤認識装置10Aは通信部26を備えており、通信部26及びネットワークNWを介して病院情報システム70(HIS:Hospital Information System)との通信を行うことができる。他の構成は上述した薬剤認識装置10と同じなので、同一の構成には同一の参照符号を付し詳細な説明は省略する。処理部20の具体的な構成は図1と同じである。

0104

図16は薬剤認識装置10Aを用いた薬剤監査支援方法の処理を示すフローチャートである。ステップS2からステップS24までの処理は図14のフローチャートと同様であり、ステップS10で照合部42(薬剤判断部、判断結果出力部;図1参照)がマスタ画像と照合対象画像(撮影画像から抽出した薬剤領域の画像)とを照合し、表示制御部48(判断結果出力部;図1参照)が照合結果をステップS26で表示する。ステップS10での照合の際に用いるマスタ画像は、ステップS16またはステップS20において最後に登録されたマスタ画像である。

0105

図17は照合結果の表示例(薬剤Aについての照合結果の一覧表L1の例)を示す図である。図17では、一覧表L1の左側(領域L1A,L1B)に薬剤Aのマスタ画像及び属性情報(薬剤の属性を示す情報)がそれぞれ表示され、右側(領域L1C)に「薬剤Aを示す」と判別された全ての照合対象画像が表示される。図17では一覧表L1に薬剤の表面(刻印が施されている面)についての画像のみを含めているが、薬剤の裏面についての画像を含めてもよい。一覧表L1の領域L1Cには、照合対象画像が分包袋ごと、かつ服用タイミングごとに表示され、また薬包TPに関連する検査支援情報(薬剤の照合、検査を効率的に行うための情報)が照合対象画像と合わせて表示される。図17の例では,検査支援情報は服用タイミング、分包袋番号、服用日であるが、他の情報(撮影画像とマスタ画像の類似度等)を含めてもよい。なお、図17の例においては全ての分包袋(1日3度服用×7日=21包)に薬剤Aが2錠ずつ正しく分包されているものとし、服用期間は7日とする。

0106

照合部42は、照合結果を出力する(ステップS28)。照合結果を記憶部18に記憶してもよいし、照合結果を通信部26及びネットワークNWを介して病院情報システム70に送信してもよい。病院情報システム70との間での情報の互換性の観点から、照合結果の出力をSSMIXあるいはSS−MIX2形式(SS−MIX:Standardized Structured Medical Information eXchange)で行ってもよい。

0107

薬剤認識装置10Aでは、上述のように最後に登録されたマスタ画像と照合対象画像とが照合されるので、ロバスト性が向上したマスタ画像を用いて正確な薬剤認識及び監査支援を行うことができる。

0108

図18は指定された薬剤及び類似薬剤についての照合結果の表示例を示す図である。図18の(a)部分は、薬剤Bについての一覧表L8A及び薬剤Bの類似薬剤である薬剤Dについての一覧表L8Bを含む一覧表L8を示す。また、図18の(b)部分は、一覧表L8において薬剤の照合エラーが発生している状態(一覧表L8Aにおいて、照合対象画像iS4により示される薬剤Dが薬剤Bと判断されており、逆に一覧表L8Bにおいて、照合対象画像iS5により示される薬剤Bが薬剤Dと判断されている)を示している。このように照合エラーにより類似薬剤間(薬剤Bと薬剤D)が入れ替わっている場合でも、薬剤Bについての一覧表L8Aと共に類似薬剤である薬剤Dについての一覧表L8Bを表示することにより、ユーザ(薬剤師)は照合の間違いに容易に気づくことができる。また、図17に示す例と同様に、ロバスト性が向上したマスタ画像を用いて正確な薬剤認識及び監査支援を行うことができる。

0109

図19及び図20は薬剤認識装置10Aを用いて薬剤の鑑別を行う例を示す図である。薬剤の鑑別は、例えば処方された薬剤を患者病院薬局等に持参した場合、医師及び/または薬剤師が患者の自宅に行き残薬を管理する場合等、元々の処方データは無いが薬剤の種類、数等を把握したい場合に行うことができるが、このような場合に限定されるものではない。図19及び図20に示す例では薬剤TがシャーレSCに入れられて図示せぬ載置台に載置されており、この状態で図3に示す例と同様に照明及び撮影を行う。薬剤TはシャーレSCに入れずに載置台に直接載置してもよいし、分包袋に分包した状態で載置してもよい。

0110

図21は薬剤認識装置10Aを用いた薬剤鑑別方法の処理の例を示すフローチャートである。なお、図14,16のフローチャートと同様の処理を示す部分については同一のステップ番号を付し、詳細な説明を省略する。図21に示す例では、関連情報取得部16(関連情報入力部)がユーザによる操作部24の操作を介して関連情報を取得する(ステップS3)。照合部42(薬剤判断部、判断結果出力部)は、取得した関連情報を参照して、撮影画像が示す薬剤がいずれの薬剤であるかを判断する。薬剤鑑別を行う状況では、患者が服用している薬剤を薬局に持参する等、処方箋あるいは処方データがない場合が考えられるが、そのような場合はいわゆる「お薬手帳」のような手帳に記載された薬剤の情報を関連情報として取得することができる。あるいは、医師及び/または薬剤師等が目視その他で取得した薬剤の情報(錠剤、カプセル等の薬剤タイプ、色、刻印及び/または印刷等)を関連情報として取得、入力してもよい。有効な関連情報が得られない場合でも、入院患者名、性別年齢等の患者を特定する情報、病棟名等を入力してもよく、あるいは省略してもよい。

0111

照合部42は、ステップS3で入力した関連情報に基づいて、照合対象を選択する(ステップS9)。例えば、「お薬手帳」に記載された薬剤及びその類似薬剤を照合対象として選択する。あるいは、目視その他で取得した薬剤の薬剤タイプ、色等に基づいて照合対象を選択する。このように照合対象を選択することで、照合の範囲を絞り込み迅速に鑑別を行うことができる。なお、ステップS3で関連情報が入力されていない場合はステップS9の処理を省略してもよい。

0112

照合部42は、照合対象画像(撮影画像から抽出した薬剤領域の画像)とステップS9で選択された照合対象の薬剤についてのマスタ画像とを照合し、照合結果に基づいて照合対象画像(撮影画像)が示す薬剤の候補を選択する(ステップS10)。照合に用いるマスタ画像はステップS16またはステップS20において最後に登録されたマスタ画像なので、ロバスト性が向上したマスタ画像を用いて薬剤の認識、鑑別を正確に行うことができる。なおステップS9の処理が省略されている場合、全ての薬剤のマスタ画像との照合を行ってもよい。

0113

鑑別が終了すると(ステップS25でNO)、表示制御部48(判断結果出力部;図1参照)が照合結果を表示部22に表示する(ステップS26)。図22は照合結果の表示例(撮影画像が示す薬剤の候補を示す情報の出力例)を示す図であり、照合対象の薬剤に対し一致度の高い薬剤のマスタ画像及び薬剤IDを表示している。これによりユーザは撮影画像が示す薬剤の候補を確認することができる。図22のような表示において、表示された薬剤の指定(例えば、操作部24の図示せぬマウスによるクリック)に応じて、表示制御部48が図23のようにマスタ画像、属性情報を表示部22に表示してもよい。

0114

照合結果の出力(ステップS28)は、図16のフローチャートのステップS28と同様に行うことができる。

0115

上述した薬剤の監査支援及び鑑別は、パーソナルコンピュータスマートフォンタブレット端末等の機器(薬剤認識装置の一態様)で行ってもよい。例えば、本発明に係る薬剤認識方法の処理を実行する薬剤認識プログラムをこれらの機器にインストールし、これらの機器に内蔵及び/または外付けされたカメラで薬剤の撮影を行ってマスタ画像との照合を行うことができる。薬剤認識、監査支援、鑑別の処理はこれらの機器で行ってもよいし、これらの機器に入力した情報をネットワーク上、クラウド上のサーバ等で処理して結果を受信してもよい。

0116

以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。

0117

10薬剤認識装置
10A 薬剤認識装置
12照明部
13光源
14撮影部
15(15A、15B)カメラ
16関連情報取得部
18 記憶部
20 処理部
22 表示部
24 操作部
26通信部
32照明制御部
34撮影制御部
35薬剤位置取得部
36マスタ画像生成部
42 照合部
44更新判定部
46登録部
48表示制御部
49相関値算出部
50基準位置設定部
54薬剤領域画像データ
56影画像
58特徴画像データ
60統合画像データ
70病院情報システム
A薬剤
AR 領域
B 薬剤
D 薬剤
EM刻印
LI入射光
L輝度プロファイル
LO反射光
NWネットワーク
PA撮影光軸
PB薬包帯
PI注目位置
R撮影範囲
RQクォーター領域
SCシャーレ
T、T11、T12、T13、T21、T22、T23 薬剤
TE、TR 薬剤
TP(TP1、TP2) 薬包

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ