図面 (/)

技術 表面下物体及び表面物体の特性評価のためのモバイルプラットフォーム圧縮誘導イメージング

出願人 テンプル・ユニバーシティ-オブ・ザ・コモンウェルス・システム・オブ・ハイアー・エデュケイション
発明者 チャン-ヒー・ウォン
出願日 2018年7月26日 (2年6ヶ月経過) 出願番号 2020-504098
公開日 2020年10月1日 (4ヶ月経過) 公開番号 2020-528795
状態 未査定
技術分野 力の測定一般 診断用測定記録装置
主要キーワード アタッチメントフレーム 可動表面 データ取得フロー 収納コンパートメント ニューラルネットワーク手法 剛性支持 アッタチメント データ取得プロセス
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

モバイルプラットフォームイメージングデバイスは、ターゲット領域圧縮を使用して物体の画像を生成する。触覚センサは可撓性のある透明第1層を備えた光導波路を有する。光が導波路に向けられる。第1層が変形したときに第1層から光が散乱する。第1層は、触覚センサが物体に押し付けられることで変形する。力センサは、触覚センサを物体に押し付ける力を検出し、対応する力情報を出力する。第1通信ユニットは、力センサから力情報を受信する。容器は、第2の通信ユニットと、第1層から散乱した光を使用して画像情報を生成できるイメージャとを備えたモバイルデバイスを保持する。第1通信ユニットは第2通信ユニットと通信し、モバイルデバイスは外部ネットワークと通信する。

概要

背景

背景
弾性は、悪性腫瘍を特定するのに使用される特性の1つである。不健康な組織は、対応する健康な組織よりも硬くなりやすい(Itoh外2006、Dargahi 2004、Rivaz 2008、Krouskop 1998、Regini 2010)。そのため、組織の弾性を定量化することは、医療従事者が不健康な組織を分類して識別するのに非常に役立つと考えられる。

ある研究者は、ソノエラストグラフィーからの弾性スコアを使用して、120例中116例の悪性腫瘍を検出したことを報告した(Regini 2010)。ソノエラストグラフィーが良好な結果を示しているにしても、制限がある。エラストグラフィーの主な制限は、組織の圧迫が弾性スコアに影響を及ぼし、誤診につながる可能性があることである(Itoh外2006)。さらに、エラストグラフィーには、訓練されたオペレータがいる病院の環境が必要であるが、これはポータブルではなく、操作するのが高価で複雑であることを意味する。

上記の先願であるWO2012/006431号の触覚イメージングシステム(TIS)は、カメラと、プローブと、力センサとを有し、ラップトップコンピュータに接続できる。しかし、そのシステムの実用的な実施形態は、幾分嵩張り、比較的高価で複雑なものであった。したがって、依然として改善の余地がある。

概要

モバイルプラットフォームイメージングデバイスは、ターゲット領域圧縮を使用して物体の画像を生成する。触覚センサは可撓性のある透明第1層を備えた光導波路を有する。光が導波路に向けられる。第1層が変形したときに第1層から光が散乱する。第1層は、触覚センサが物体に押し付けられることで変形する。力センサは、触覚センサを物体に押し付ける力を検出し、対応する力情報を出力する。第1通信ユニットは、力センサから力情報を受信する。容器は、第2の通信ユニットと、第1層から散乱した光を使用して画像情報を生成できるイメージャとを備えたモバイルデバイスを保持する。第1通信ユニットは第2通信ユニットと通信し、モバイルデバイスは外部ネットワークと通信する。

目的

別の態様によれば、上記モバイルプラットフォームイメージングデバイスを使用して物体の表面又は表面下のサイズを決定する方法であって、加えられた複数の力で画像情報及び対応する力情報を取得し;3D補間を使用してターゲットのサイズを推定することを含む方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

対象領域の圧縮を使用して物体の画像を生成するモバイルプラットフォームイメージングデバイスであって、可撓性がありかつ透明な第1層を少なくとも含む光導波路と、前記光導波路に光を向けるように構成された少なくとも1個の光源とを備える触覚センサであって、前記光導波路は、光導波路に向けられた光の少なくとも一部が、前記第1層が変形する際に前記第1層から散乱するように構成され、前記第1層は、前記触覚センサが前記物体に押し付けられることにより変形する触覚センサと、前記光導波路に力が加えられたときに前記光導波路を所定位置に保持するための支持構造と、前記触覚センサを前記物体に押し付けるために加えられる力を検出し、対応する力情報を出力する力センサと、前記力センサから力情報を受信するために接続される第1通信ユニットと、第2通信ユニット及びイメージャを備えるモバイル機器を保持するための容器であって、前記第2通信ユニット及び前記イメージャは、前記第1層から散乱した光の少なくとも一部を使用して前記イメージャが画像情報を生成できるように配置され、前記第1通信ユニットは第2通信ユニットと通信可能であり、モバイルデバイス外部ネットワークと通信可能である前記容器とを備えるモバイルプラットフォームイメージングデバイス。

請求項2

前記モバイルデバイスと組み合わされた請求項1に記載のモバイルプラットフォームイメージングデバイスであって、前記モバイルデバイスが携帯電話であるモバイルプラットフォームイメージングデバイス。

請求項3

前記携帯電話は、前記第1層から散乱した光の少なくとも一部から前記画像情報を生成し、前記力情報を受け取り、前記画像情報を前記力情報と同期させ、関連情報外部デバイスに送信するようにプログラムされている、請求項2に記載のモバイルプラットフォームイメージングデバイス。

請求項4

前記関連情報が、現在の日付、現在の時刻、前記モバイルデバイスの現在のユーザのユーザID、及び前記物体のターゲットIDから選択される情報をさらに含む、請求項3に記載のモバイルプラットフォームイメージングデバイス。

請求項5

前記画像情報が単一の画像、複数の画像、及びビデオ画像よりなる群から選択される、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項6

前記モバイルデバイスは、前記外部デバイスと複数のメッセージ交換し、前記複数のメッセージのコンテンツからハッシュを生成し、前記ハッシュから決定された暗号化キーを使用して前記同期された情報を暗号化するようにプログラムされている、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項7

前記容器は、前記モバイルデバイスの撮像ユニットが前記光導波路による見通し線の反対側に沿ってかつ前記見通し線に沿って配置されるように、前記モバイルデバイスの選択的取り外し可能な受取りのためのクレードル画定するフレームとして構成される、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項8

前記フレームは、前記光導波路を内部に取り付けるための切欠部を有するホルダを備える、請求項7に記載のモバイルプラットフォームイメージングデバイス。

請求項9

前記光導波路の選択的側方照明を与えるために、前記少なくとも1個の光源の設置用の前記ホルダの周りに少なくとも1個の穴が間隔を空けて形成されている、請求項8に記載のモバイルプラットフォームイメージングデバイス。

請求項10

前記撮像ユニットと前記光導波路との間に前記見通し線を設けるために、前記切欠部内の略中央に開口部が形成されている、請求項8に記載のモバイルプラットフォームイメージングデバイス。

請求項11

前記クレードルは、前記モバイルデバイスとの係合用隆起側面を備える、請求項7に記載のモバイルプラットフォームイメージングデバイス。

請求項12

前記力センサは、前記触覚センサと前記モバイルデバイスを保持するための前記容器との間にある、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項13

ハンドルをさらに備え、前記力センサが前記ハンドルと前記モバイルデバイスを保持するための前記容器との間にある、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項14

前記ハンドルが前記容器のフレームによって画定されている、請求項13に記載のモバイルプラットフォームイメージングデバイス。

請求項15

前記ハンドルが前記フレーム上に動作可能に設置されたハウジングによって画定されている、請求項13に記載のモバイルプラットフォームイメージングデバイス。

請求項16

前記力センサによって検出されるように前記容器を介して前記触覚センサに力を制御して加えるための、前記ハウジングに動作可能に設置されるモータをさらに備える、請求項15に記載のモバイルプラットフォームイメージングデバイス。

請求項17

前記力センサによって検出されるように前記容器を介して前記触覚センサに力を制御して加えるための、前記容器に動作可能に設置されるモータをさらに備える、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項18

前記少なくとも1個の光源に電力を供給するための定電流ドライバ回路をさらに備える、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項19

前記光導波路の前記第1層は前記標的領域と接触するように適合された接触面を有し、前記支持構造は、前記接触面から離間した前記光導波路の表面に対して取り付けられた剛性フレームを備える、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項20

前記支持構造は、前記光導波路の形状によって与えられる、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項21

少なくとも、前記光導波路の前記第1層が湾曲している、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項22

少なくとも、前記光導波路の前記第1層が半球形である、請求項21に記載のモバイルプラットフォームイメージングデバイス。

請求項23

少なくとも、前記光導波路の前記第1層が半円筒形である、請求項21に記載のモバイルプラットフォームイメージングデバイス。

請求項24

少なくとも、前記光導波路の前記第1層が長方形である、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項25

少なくとも、前記光導波路の前記第1層がエラストマーである、請求項1に記載のモバイルプラットフォームイメージングデバイス。

請求項26

前記エラストマーがポリジメチルシロキサン(PDMS)である、請求項25に記載のモバイルプラットフォームイメージングデバイス。

請求項27

請求項1に記載のモバイルプラットフォームイメージングデバイスを使用して物体の表面又は表面下のサイズを決定する方法であって、次のステップ:加えられた複数の力で前記画像情報及び対応する力情報を取得し;及び3D補間を使用して前記物体のサイズを推定することを含む方法。

請求項28

前記取得ステップは、力を変化させながら所定期間にわたって一連の画像を取得し;及び前記期間の他方の部分の間よりも滑らかに及び/又は直線的に前記力が時間と共に変化する期間の一方の部分から、画像を選択することを含む、請求項27に記載の方法。

請求項29

請求項1に記載のモバイルプラットフォームイメージングデバイスの光源を位置合わせする方法であって、前記触覚センサを既知の物体に予め選択された力で適用し;前記画像情報を処理して前記散乱光非対称性識別し;及び前記少なくとも1個の光源を調節して前記非対称性を低減することを含む方法。

請求項30

請求項1に記載のモバイルプラットフォームイメージングデバイスの光導波路の切傷又は損傷を検出する方法であって、前記触覚センサを既知の物体に予め選択された力で適用し;前記画像情報を処理して前記散乱光の非対称性を識別し;及び前記非対称性が閾値を超えたときに、前記光導波路の切傷又は損傷を示すことを含む方法。

請求項31

請求項1に記載のモバイルプラットフォームイメージングデバイスのターゲット領域の物体の柔軟性を決定する方法であって、次のステップ:前記画像情報から接触面積を決定し;前記触覚センサの接触面積及び前記力情報から応力を決定し;前記画像情報及び決定された応力から前記光導波路の歪みを決定し;及び前記光導波路の歪みと、前記接触面積と、前記応力とから介在物の歪みを決定することを含む方法。

請求項32

前記光導波路の歪みを決定するステップは、前記散乱光のピクセルの強度の合計及び前記散乱光の最大強度ピクセルの強度の少なくとも一方を使用する、請求項31に記載の方法。

請求項33

圧縮誘導イメージングシステムCIS)情報を使用してターゲット領域の物体の絶対弾性を決定する方法であって、有限要素法を使用した順方向モデリング手法と、その後のディープブリーフネットワークを使用した逆方向モデリング手法とを含む方法。

請求項34

検体腫瘍リスク指標を取得する方法であって、次の少なくとも1つ:前記被検体のサイズ及び剛性加重和として腫瘍リスク指標を算出すること;及びコンボリューションニューラルネットワークを使用して前記リスク指標を決定するための機械学習方法を含む方法。

請求項35

通信方法であって、第1デバイスによって、複数のメッセージを第2デバイスと交換すること、前記複数のメッセージのコンテンツからハッシュを生成すること、並びに次の少なくとも一つ:前記ハッシュから決定された暗号化キーを使用して情報を暗号化し、暗号化された情報を第2デバイスに送信すること;及び前記第2デバイスから情報を受信し、前記ハッシュから決定された暗号化キーを使用して前記情報を復号化しようと試みることを含む通信方法。

技術分野

0001

関連出願に対する相互参照
本願は、「Apparatus and Method for Surface and Subsurface Tactile Sensation Imaging」について、2011年7月7日に出願され、2012年1月12日付の国際公開WO2012/006431号として公開された、一般に発明されかつ譲渡された国際特許出願PCT/US2011/043203号及び2017年5月16日に発行された対応米国特許第9,652,696号に関連し、その教示をさらに発展させるものである。この出願及び特許の全内容は、あたかも本明細書に明示的に記載されているかのように、その全体を参照により本明細書において援用する。また、本願は、2017年7月28日に出願された米国仮出願第62/538,032号に関し、その優先権を主張するものであり、その開示も参照によりその全体を本明細書において援用する。

0002

分野
本発明は、表面下物体及び表面物体圧縮誘導イメージング及び特性評価に関し、特に、より軟質固体媒体の表面下の固体ターゲットのサイズ及び剛性を決定するためのモバイルプラットフォームベースデバイス及び関連する方法に関する。この装置及び方法は、人体又は動物体内腫瘍非侵襲的に特性評価する用途に使用される。

背景技術

0003

背景
弾性は、悪性腫瘍を特定するのに使用される特性の1つである。不健康な組織は、対応する健康な組織よりも硬くなりやすい(Itoh外2006、Dargahi 2004、Rivaz 2008、Krouskop 1998、Regini 2010)。そのため、組織の弾性を定量化することは、医療従事者が不健康な組織を分類して識別するのに非常に役立つと考えられる。

0004

ある研究者は、ソノエラストグラフィーからの弾性スコアを使用して、120例中116例の悪性腫瘍を検出したことを報告した(Regini 2010)。ソノエラストグラフィーが良好な結果を示しているにしても、制限がある。エラストグラフィーの主な制限は、組織の圧迫が弾性スコアに影響を及ぼし、誤診につながる可能性があることである(Itoh外2006)。さらに、エラストグラフィーには、訓練されたオペレータがいる病院の環境が必要であるが、これはポータブルではなく、操作するのが高価で複雑であることを意味する。

0005

上記の先願であるWO2012/006431号の触覚イメージングシステム(TIS)は、カメラと、プローブと、力センサとを有し、ラップトップコンピュータに接続できる。しかし、そのシステムの実用的な実施形態は、幾分嵩張り、比較的高価で複雑なものであった。したがって、依然として改善の余地がある。

課題を解決するための手段

0006

概要
本願の一態様によれば、対象領域の圧縮を使用して物体の画像を生成するモバイルプラットフォームイメージングデバイスであって、可撓性がありかつ透明な第1層を少なくとも含む光導波路と、前記光導波路に光を向けるように構成された少なくとも1個の光源とを備える触覚センサを備える。前記導波路は、光導波路に向けられた光の少なくとも一部が、前記第1層が変形する際に前記第1層から散乱するように構成され、前記第1層は、前記触覚センサが前記物体に押し付けられることにより変形する。好ましくは、前記導波路を保持する剛性フレーム又は前記導波路は、使用中に導波路を支持するのに十分な剛性で形成できる。力センサは、前記触覚センサを前記物体に押し付けるために加えられる力を検出し、対応する力情報を出力する。前記力センサから力情報を受信するために第1通信ユニットが接続される。第2通信ユニット及びイメージャを備えるモバイル機器を保持するための容器が設けられ、第2通信ユニット及びイメージャは、前記第1層から散乱した光の少なくとも一部を使用してイメージャが画像情報を生成できるように配置される。前記第1通信ユニットは第2通信ユニットと通信可能であり、モバイルデバイス外部ネットワークと通信可能である。

0007

モバイルプラットフォームイメージングデバイスは、モバイルデバイスとして携帯電話と組み合わせることができる。その際、携帯電話は、第1層から散乱した光の少なくとも一部を使用して画像情報を生成し(すなわち、イメージャを含む)、力情報を受け取り、画像情報を力情報と同期させ、関連情報外部デバイスに送信するようにプログラムできる。そして、送信された情報は、現在の日付、現在の時刻、モバイルデバイスの現在のユーザのユーザID、及び物体のターゲットIDなどの選択された情報をさらに含むことができる。

0008

画像情報は、単一の画像、複数の画像、及びビデオ画像よりなる群から選択できる。

0009

モバイルプラットフォームイメージングデバイスは、外部デバイスと複数のメッセージ交換し、複数のメッセージのコンテンツからハッシュを生成し、ハッシュから決定された暗号化キーを使用して画像及び/又は力情報を暗号化するようにプログラムできる。

0010

力センサは、触覚センサとモバイルデバイスを保持するための容器との間にあることができる。モバイルプラットフォームイメージングデバイスは、ハウジングをさらに備えていてもよく、力センサは、ハウジングとモバイルデバイスを保持するための容器との間にあることができる。

0011

別の態様によれば、上記モバイルプラットフォームイメージングデバイスを使用して物体の表面又は表面下のサイズを決定する方法であって、加えられた複数の力で画像情報及び対応する力情報を取得し;3D補間を使用してターゲットのサイズを推定することを含む方法を提供する。

0012

前記取得ステップは、力を変化させながら所定期間にわたって一連の画像を取得し、及び、前記期間の他方の部分の間よりも滑らかに及び/又は直線的に力が時間と共に変化する期間の一方の部分から、画像を選択することを含むことができる。

0013

さらなる態様によれば、上記モバイルプラットフォームイメージングデバイスの光源を位置合わせする方法であって、触覚センサを既知の物体に予め選択された力で適用し、画像情報を処理して散乱光非対称性を識別し、及び光源又は複数の光源の少なくとも1つを調節して非対称性を低減することを含む方法を提供する。

0014

1以上の光源によって光導波路が照らされる;光の波長は様々な用途に応じて変更でき、又は光の複数の波長を単一の実施形態で使用し、様々な画像応答を与えるように制御することができる。光導波路は透明でかつ可撓性があり、光導波路及びカメラは偏向した光を捕捉するための見通し線を有するように構成される。光源は、均一な光を生成するためのディフューザを有することができ、及び/又はフィルターを追加して、導波路への又は導波路からの光の放出を制御することができる。ディフューザは、中空管であって、その管の内側に光源が配置されたもの、又は光源と導波路との間に配置された白色のプラスチック/紙のディフューザ素材とすることができる。

0015

導波路は、剛性フレームによって所定の位置に保持され、その際、クリア透明層フレームの一部となることができ、それによって、導波路が対象領域に押圧されるときに、その対象領域に対向する導波路の前部が変形すると共に、導波路が、偏向光の検出と加えられた力の計算とを可能にするように導波路とカメラとの間の見通し線を維持するのに十分な剛性を持つことになる。剛性は、導波路自体(すなわち、剛性を付与するように成形/構成された導波路)、導波路の背後のガラス板若しくはプラスチック板、又はカメラレンズ自体によって与えることができる。一実施形態では、透明な剛性バッキング材を備えた矩形導波路が示されている。図3Aに示すように、導波路を、十分な剛性を与えるように屈曲させる場合には、剛性の透明バッキング層は不要である。

0016

別の態様によれば、モバイルプラットフォームイメージングデバイスの導波路の切傷又は損傷を検出する方法であって、触覚センサを既知の物体に予め選択された力で適用し、画像情報を処理して散乱光の非対称性を識別し、及び非対称性が閾値を超えたときに、導波路の切傷又は損傷を示すことを含む方法を提供する。

0017

さらなる態様によれば、モバイルプラットフォームイメージングデバイスのターゲットの柔軟性を決定する方法であって、画像情報から接触面積を決定し、触覚センサの接触面積及び力情報から応力を決定し、画像情報及び決定された応力から可撓性導波路の歪みを決定し、及び可撓性導波路の歪みと、接触面積と、応力とから介在物の歪みを決定することを含む方法を提供する。

0018

可撓性導波路の歪みを決定するステップは、散乱光のピクセルの強度の合計及び散乱光の最大強度ピクセルの強度の少なくとも一方を使用することができる。

0019

別の態様によれば、圧縮誘導イメージングシステムCIS)情報を使用してターゲットの絶対弾性を決定する方法であって、有限要素法を使用した順方向モデリング手法と、その後のディープブリーフネットワークを使用した逆方向モデリング手法とを含む方法を提供する。

0020

さらなる態様によれば、被検体の腫瘍リスク指標を取得する方法は、次の少なくとも1つを含む:被検体のサイズ及び剛性の加重和として腫瘍リスク指標を算出すること、コンボリューションニューラルネットワークを使用してリスク指標を決定するための機械学習方法を含む。

0021

別の態様によれば、第1デバイスによって、複数のメッセージを第2デバイスと交換すること、複数のメッセージのコンテンツからハッシュを生成すること、並びに次の少なくとも一つ:ハッシュから決定された暗号化キーを使用して情報を暗号化し、暗号化された情報を第2デバイスに送信すること;及び第2デバイスから情報を受信し、ハッシュから決定された暗号化キーを使用して情報を復号化しようと試みることを含む通信方法を提供する。

0022

スマートフォンプラットフォームにより、ラップトップと専用カメラが不要になり、よりコンパクトでポータブルなデバイスが可能になる。スマートフォンの取り付けは、エラストマープローブ、光源、及びフレームだけで行うことができる。今日の社会におけるスマートフォンのユビキタス可用性活用することで、モバイルプラットフォーム上の圧縮誘導イメージングシステム(CIS)は、スタンドアロン型触覚イメージングシステムよりも桁違いに費用対効果が高くなる可能性がある。スマートフォンには、既に、プロセッサと、カメラと、短距離(Bluetooth、Wi−Fi)及び長距離セルラー)通信の両方が可能な及びトランシーバが既に搭載されている。これらを利用することにより、CISユニット専用デバイスを設けるコスト、重量、及び容量が節約される。

0023

光導波路は、スイッチをクリックすることでモータリニアアクチュエータ若しくはスクリュードライブなど、又はプーリーもしくはタイミングベルトの使用を通して)によってターゲットに向かって自動的に移動できる。これにより、手作業で押す代わりに、自動で力を加えることができる。ある用途では、モータは、約3秒以内に約5〜7mmの均一な動きターゲット領域に向かって光導波路を駆動して触覚画像を取得する。

0024

光導波路は、半球形半円筒形長方形などの様々な形状をとることができる。また、導波路を曲げて十分な剛性を持たせることも可能であり、例えば、導波路は、略平面シートとすることができ、その後、このシートを半円筒形状に曲げることで、この形状が導波路に剛性(すなわち構造的剛性)を付与する。導波路の前面はターゲット領域に接触し、背面は触覚画像を取得するのに十分な剛性を与える。

0025

画像、圧力測定値及びメタデータクラウドに送信することができる。クラウドを中間の「第2デバイス」として利用することが非常に有益なステップである。これにより、物理的な受信側コンピュータオンライン利用可能であることを保証する必要なしに、いつでもどこでも圧縮誘導イメージングシステムを使用することが可能になる。その後、後に受信側コンピュータで処理するためにデータをクラウドから取り出せる。

0026

一実施形態では、デバイスは、スマートフォンの前部にエラストマー光ガイド及び光源と、背面にハンドル及び力センサとを備え、スマートフォンはその間のスロットスライドする。力は背面から加えられ、加えられた力は力センサによって測定され、スマートフォンアプリケーションワイヤレスで送信される。Bluetooth機能を備えたマイクロコントローラを使用して、加力情報をスマートフォンに送信し、機械的なデータ接続の必要性を回避し、それによって特定のスマートフォンに対して正しいコネクタを使用できるようにするという問題を回避する。エラストマーは、スマートフォンのカメラがエラストマーの中心に揃うように配置される。力と画像の同期の問題は、触覚画像の取得を開始し、加力情報をポーリングするスマートフォンアプリケーション(「アプリ」)を使用して解決される。次に、加力の情報がBluetooth通信を介してアプリに送信される。保存された画像とメタデータ(ユーザ番号ケース番号、腫瘍の位置、日付、時刻、加力)がアプリによって暗号化され、クラウドサーバワイヤレス送信される。次に、ローカル処理コンピュータがデータをダウンロードし、データを処理する。悪性スコアが計算され、暗号化されたスコアがスマートフォンに返送される。

0027

理想的な条件下では、悪性スコアを計算し、ほぼリアルタイムでスマートフォンに返送できる。ただし、スマートフォンとローカル処理コンピュータと間の通信リンクのいずれかが利用できない場合には、データを保持し、必要な通信リンクが構成されたときに転送することができる。

0028

「腫瘍リスク指標」は、決定された機械的特性の全てを1つの数値集約する。この数値は、検査対象の塊が悪性腫瘍である確率を判断するために使用される。

0029

モバイルプラットフォームの圧縮誘導イメージングシステムは、物体の機械的特性(サイズ、形状、応力、歪み、可動性、弾性)を検出する際にヒトの指をエミュレートできる。物体はプローブに直接触れることができる又はシステムによって間接的に圧縮できる。

0030

本願は、物体の特定の機械的特性を上側表面から穏やかな圧力を加えることによって特徴付けるシステムに関する。表面又は表面下のターゲットのサイズ及び柔軟性を推定するデバイスは、様々な用途に有用である。このデバイスがスマートフォンなどのモバイルプラットフォームを基礎とすることで、この技術にさらに簡便にアクセスできるようになる。圧縮誘導イメージングシステム(CIS)によって、オペレータは、モバイルプラットフォームの便利さを用いて、圧縮された物体の機械的特性をすばやく捕捉できる。

0031

本システムは、以前に提案されたシステムのいくつかに触発されたものであるが、重要な違いがある。本システムは動的な光学検出メカニズムを使用するものであり、静的な電気機械式圧力センサを使用するものではない。これにより、機械的特性をより正確に動的に画像化して推定することができる。さらに、本発明のシステムは、モバイルデバイスのセンサ及び通信機器を利用して、コストを削減し、アクセシビリティを高めている。

0032

モバイルプラットフォームの圧縮誘導イメージングシステム(CIS)の可能な用途の一つは、ヒト悪性腫瘍の検出である。したがって、新規モバイルシステムの実施形態は医学対照とするものであり、その可能性は、医師が腫瘍の事前スクリーニングをし、触診の技術において訓練をすることを支援することである。このシステムが提供できる機械的特性は、腫瘍のスクリーニングプロセスにおける貴重リソースである。

図面の簡単な説明

0033

図1は、モバイルプラットフォーム圧縮誘導イメージングシステム(CIS)の一実施形態の全体構成を示す。
図2は、図1に示されるシステムの前端アタッチメントの実施形態のブロック図である。
図3Aは、図2の前端部アッタチメント用のエラストマーセンサ素子を示す。
図3Bは、図2の前端部アッタチメント用のエラストマーセンサ素子を示す。
図3Cは、図2の前端部アッタチメント用のエラストマーセンサ素子を示す。
図4は、エラストマーセンサ素子の一実施形態についてのLEDの可能な位置を示す図である。
図5A試験条件下でのセンサからの画像を示す。
図5Bは試験条件下でのセンサからの画像を示す。
図5Cは試験条件下でのセンサからの画像を示す。
図6回路図である。
図7はモバイルプラットフォームCISの概略側面図である。
図8通信フロー図である。
図9AはCISの一実施形態の一部を構成するフレームの正面図である。
図9BはCISの一実施形態の一部を構成するフレームの側面図である。
図9CはCISの一実施形態の一部を構成するフレームの背面図である。
図10AはCISの実施形態の一部を構成する別のフレームの斜視図である。
図10BはCISの実施形態の一部を構成する別のフレームの正面図である。
図11データ転送方法の実施の機能ブロック図である。
図12はスマートフォンのユーザインターフェイスを示す。
図13はモバイルデバイスと前端部マイクロプロセッサと間のデータ取得フロー図である。
図14はモバイルデバイスとサーバ処理ユニットと間のインターフェースフローチャートである。
図15は順方向モデリング方法の図である。
図16は逆方向モデリング方法の図である。
図17はニューラルネットワークの図である。

実施例

0034

詳細な説明
図面、まず図1を参照すると、符号20で一般的に示されるモバイルプラットフォーム圧縮誘導イメージングシステム(CIS)の全体構成の一実施形態は、モバイルデバイス22、モバイルデバイス22に対する前端部アタッチメント24、クラウドサーバ26、及びローカル処理ユニット28から本質的になる。モバイルデバイス22は、典型的にはカメラである撮像ユニット32、ソフトウェアユニット34、及び無線通信ユニット30を備え、これらは全てスマートフォンにおいて標準的なものであり、簡潔にするためにこれ以上説明しない。

0035

前端部アタッチメント24は、圧縮検出プローブ36、加力測定ユニット38、電力ユニット40、無線通信ユニット42、及び処理ユニット44を備える(図2を参照)。

0036

前端部アタッチメント24は、全ての物理データの取得(力及び画像データ)が行われる場所であり、モバイルデバイス(iPhone(登録商標)その他のスマートフォン)22のシャーシとなる。処理ユニット(マイクロコントローラ)44は、Bluetooth(登録商標)を介してスマートフォン22のソフトウェアユニット34と通信する。スマートフォン22は、利用可能な場合にはWi−Fi(登録商標)を介して、そうでなければセルラーデータ転送によってデータ及びメタデータ全てをクラウドサーバ26に通信する。

0037

以下でさらに詳細に説明するが、圧縮検出プローブ36と該プローブ36を撮像しなければならないカメラ32との間の正確な位置合わせを確実にするために、前端部アタッチメント24は、スマートフォン22を少なくとも部分的に包み込む又はスマートフォン22に取り付ける。マイクロコントローラ44は、力センサの読み取りを可能にし、スマートフォンソフトウェアユニット(アプリ)34とのBluetooth通信を可能にする。データ収集及び画像キャプチャは、スマートフォンのユーザインターフェイスを使用して、アプリ34内でユーザによって制御される(図12を参照)。ユーザが目的のデータを収集したときに、ユーザはそのデータをWi−Fi経由でクラウドサーバ26に送信できる(又は定期的に自動送信できる)。

0038

クラウドサーバ26は、従来型であってもよいクラウドベースデータベースを備えており、詳細には示されていない。データベースは、ローカルコンピュータ28がデータを処理する準備ができるまで、触覚画像及びメタデータの保存のために使用される。その後、処理されたデータは発信元のスマートフォン22に返される。システムのユーザは、スマートフォン22の画面上で所望の情報を取得することができる。

0039

ここで、図2も参照すると、前端部アタッチメント24は、透明でかつ可撓性のあるエラストマー46の層と、エラストマー46に光を供給するための1個以上の光源48とを含む圧縮検出プローブ36を備える。一実施形態では、光源48は発光ダイオードであり、これは定電流駆動回路50を必要とする。もちろん、他の光源には異なるドライバ及び制御回路が必要になる場合がある。圧縮検出プローブ36は、図7にさらに詳細に示されている。

0040

透明で可撓性のあるエラストマー層46は、デバイス20の主検出プローブ36の主要な機能部品である弾性光導波路を構成する。このプローブ36の一実施形態では、光導波路46は、主として[−Si(CH3)2−]からなるポリジメチルシロキサン(PDMS)などのエラストマーであり、ガラス又はプラスチックの裏打層72(図7を参照)を備えるが、全ての実施形態で必要なわけではない。プローブ36は、エラストマー層46の圧縮に対応して光を生成する。圧縮の検知は、全反射として知られる光学現象に基づく。2つの異なる媒体は異なる屈折率を有し、かつ、光線がこれらの2つの媒体を通して照射される場合には、光線が2つの媒体間の界面に到達したときに、通常、光の一部が屈折して透過し、残りが反射するが、その量は入射角に依存する。しかし、光線がより高い屈折率の媒質で始まる場合には、屈折が不可能になる臨界角が存在し、光線は完全に反射する。すなわち、全反射である。本発明のデバイスでは、エラストマー層46は、光源48からの光が全内部反射により前面でのPDMS−空気界面と背面でのガラス/プラスチック−空気界面との間の層に沿って導かれるように構成されるが、ただし、エラストマー層46が歪まないことを条件とする。エラストマー導波路は、米国特許第9,652,696号に記載されている。

0041

しかし、プローブ36のエラストマー層46が加えられた力のために圧縮又は変形すると、光は歪んだ前面からさらに急な角度で内部反射し、その光の一部は、エラストマー層の背面ガラス/プラスチック−空気界面を通って逃げる。この脱出光の一部は、モバイルデバイス22のイメージャ32によって捕捉される。

0042

図3A〜3C(まとめて図3)も参照すると、エラストマー層46の可能な実施形態は、長方形のエラストマー52と、半球56と、シリンダー58の一部に湾曲した長方形部分とを備える。シート52及び58は、光が全反射によって導かれる大きな面に対してほぼ十分に平行に、光が狭い縁部の境界から入るように配置される光源48を有する。湾曲形状56(及び光が周方向に向けられている場合は58)では、光は、内部全反射によって曲線周りガイドできる表面に対してほぼ十分に接するように、凸面の近くに入射する。これらの実施形態の全てにおいて、エラストマーとカメラとの間にガラス板又はプラスチック板が存在する。この板は、例えば、エラストマーシート58の曲率に合うように平坦でもよいし、湾曲してもよい。全てのエラストマーについて、できるだけ多くの内部反射を導入するために、側面から光が入射する。

0043

エラストマー部品46は、光源48用の取り付け具ともなるフレーム(図7を参照)によって所定の位置及び形状に保持される。このフレームは、光導波路46とカメラ32との間に透明な剛性層72(例えばガラス又はプラスチック)を有していてもよい。別の実施形態は、剛性フレームによって保持される図3Aに示されるような湾曲エラストマー58である。その要件は、光導波路とカメラとの間に、偏向した光波を捕捉するための見通し線があることである。

0044

様々な異なる光源48を使用することができる。説明される実施形態は、超高輝度白色LEDを使用する。このLEDの主な機能は、光を完全に統合させて、検出プローブ36の全領域を照らすことである。個々のLEDの強度は、各キャプチャ画像ピクセル値に影響を与える。したがって、各LEDにおいて及びプローブ全体にわたって均一な強度とすることが非常に望ましい条件である。不均一性が時間の経時的に安定していれば、不均一な照明に対して画像処理較正できるが、ただし、これには、かなりの余分な処理能力と処理時間が必要になる。さらに、異なる撮像結果を提供するために使用できる複数の波長の光を放出するために、1以上の光源を設けることができると考えられる。このシステムは、ユーザが波長の変更を選択するように調整することもできるし、ソフトウェアが特定の波長に基づく計算を調節しながら、異なる波長を介して自動的に循環させることもできる。

0045

ここで図4も参照すると、長方形のエラストマー素子52の可能な実施形態の一つは、38mm(1.5インチ平方で、12〜30mm(0.5〜1.2インチ)の厚みのPDMSのブロックである。4個のLED48が設けられ、1個がPDMS52のブロックの各狭い面の中央にある(角縁部から約19mm)。PDMS内部の照明の面積及び/又は均一性を高めるために、それぞれの側部ごとのLED48の数を増やすことができる。多くの場合、プローブは滅菌のためにニトリルで覆われている。

0046

あるいは、光源が内部にある白色管などの拡散素子を使用して、光をPDMS内に均一に分布させることができる。他の拡散バリアを使用して、均一な光を検出プローブに生成させることができる。光源と検出プローブとの間にフィルターを追加して、検出プローブに導かれる光の波長を調整することができると考えられる。

0047

光源の位置合わせは、多数の後処理を必要としない良好な画像を取得しようとする場合に圧縮検出プローブにとって重要である。荷重や変形のない状態では、理論上、内部全反射により光が漏れることはないはずであるが、エラストマー中の不純物や、エラストマーに入射する光の角度の範囲のため、エラストマーの表面に当たらない場合であっても一部の光がエラストマーから漏れることがある。その低強度の光は、干渉画像を形成することが分かっている。図5Aに示すように、光源が適切に位置合わせされかつバランスが取れていると、干渉画像は典型的には同心円を形成する。光源が適切に位置合わせされていない場合には、干渉画像は歪んで非対称になる。

0048

光源を較正するために、圧縮誘導画像を取得する。典型的には、これらの画像は、中間で最も明るく、グレースケールとして表現できる光のパッチを形成する。次に、図5Bに示すように、大津の閾値などの利用可能な方法を使用して、グレースケールを黒色の背景と白色の画像、また任意に1以上の中間(灰色)リングセグメント化する。次に、セグメント化された画像の中心を決定する。次に、光源の照射方向をプローブの中心又はその近くになるまで調節することによって、画像の中心を移動させる。例えば、Matlabソフトウェアでは、画像を楕円近似させ、「regionprops」関数を使用して楕円の中心及び偏心を決定することができる。領域の「真円度」を測定するために、Matlabの「regionprops」コマンドは、楕円を指定し、かつ、楕円の焦点とその長軸の長さとの距離の比率を計算することによって、領域の離心率を戻す。領域が円の場合には、離心率の値はゼロであり、線の場合には、値は1になる。図5Bの小さな円は、層の重心を表す(背景を除く)。中心(白)セグメントの離心率は0.0066、内側(明るい灰色)リングの離心率は0.27、外側(暗い灰色)リングの離心率は0.83である。図5Bからわかるように、2つの内側領域は良好に中心に配置されている。図5Cは、背景(黒)、外側のリング(暗い灰色)、及び内側のリング(明るい灰色)領域の中心をマークする3つの小さな円を示しており、離心率は左から右に順に0.76、0.64、0.86である。

0049

図5B及び5Cに示すように、画像を3つの領域に均等にセグメント化する場合には、領域の重心及び離心率スコアを領域ごとに算出できる。位置合わせされた画像について、離心率スコア及び重心位置はこれら2つの内部領域について非常に近い。不均一な干渉を最小限に抑え、それによってLEDを位置合わせするための提案された方法は、PDMS領域の中心に近い重心と最大許容レベル未満の偏心スコアを持つ3つのセグメント化画像を生成するために位置を調整することである。このレベルは、位置合わせの質と介在物サイズの推定の精度とを比較することによって実験的に見出される。LEDの調節は、主として光管内のLEDを傾ける又はLEDをPDMSに近づけたり遠ざけたりすることである。次に、光源を調節して、円形で均一な圧縮誘導画像を取得する。

0050

この方法は、検出プローブ36の損傷を検出するために使用できる。図5Cに示すように、負荷なしで画像がかなり非対称な場合には、切傷や亀裂などのプローブエラストマー46の損傷が疑われる。この方法を使用して、損傷したプローブ(エラストマー)を検出できる。プローブを剛性の物体に適用した際のPDMSの一貫した変形は、画像処理で物体の剛性を推定するために必要である。PDMSは、通常の使用中に複数の形の応力と歪を受ける。この材料は最終的に疲労する可能性があり、材料に沿って裂け目が発生することがある。裂け目とは、空気がPDMSに侵入するPDMSの連続的な分離であると定義される。裂け目は、PDMSの表面にわたる長さ及びPDMSの断面の深さによって特徴付けることができる。

0051

図5Cでは、損傷したPDMSは、PDMSの縁部付近に明るいスポットのある画像を生成する。これにより、明確な領域の重心が中心から非常に遠くに外れるだけでなく、楕円形により高い偏心スコアが生成される。これらの2つの値が十分にずれている場合には、PDMSは画像解析ソフトウェアによって位置合わせ不良又は損傷として識別され、ユーザに対して、ソフトウェアによってサニタリーカバーを取り外し、LEDの位置ずれ又はPDMSの損傷について検出プローブを検査するように求めることができる。

0052

画像の全体的な強度は、LEDからの照明と周囲の光とに応じて変化する。頻繁に誤検知されるのを避けるために、全体的な画像の明るさの閾値が設定される。

0053

ここで図6も参照すると、定電流駆動回路50の主な目的は、例えば、電源ユニット40が電池に依存しており電池が少なくなっているために自然な電圧低下が生じた場合であっても、光源が均一な輝度を与えるように定電流を供給することである。このような回路50の1つが図6に示されており、かつ、Arduinoプロセッサを備えたSparkFun Electronics DEV−12640 Pro Micro開発ボード59から制御されるLinear TechnologiesLT1932LEDドライバ57を使用する。Pro Micro 59は、TE Connectivity FC22ロードセルである力測定ユニット38からの入力も受け取る。このLED回路は、ユーザが調光オプションを介してLEDの光度を制御できるように設計されたものである。図6に示すように、Pro Micro 59は、何らかの理由で、スマートフォン22上のカメラ32の代わりに、前端部アタッチメント24上の専用イメージャを使用することが望ましい場合には、イメージセンサ(IDS Imaging Development Systems GmbH UI−1220SE)からの入力用ジャックも有する。図示した実施形態では、ArduinoプロセッサはBluetoothトランシーバを含む。あるいは、別のBluetoothトランシーバを設けてもよい。

0054

加えられた力は、前端部アタッチメント24の1以上の力センサ38によって測定できる。この力センサ38は、圧力センサ、ロードセル、歪センサ圧電センサ歪ゲージなどとすることができる。加えられる力の方向は重要である。前端部アタッチメント24又はモバイルデバイス22は、加力方向絶対項で決定するために姿勢センサ及び位置センサを有することができる。加力方向を様々なセンサ38によって測定すると、より正確な結果が得られ、デバイス20に対する加力方向、特に印可圧力の不均一性を検出できる。

0055

可能な実施形態の一つは、圧力を垂直に印加するFC22圧縮ロードセルである。FC22は、微細加工シリコンピエゾ抵抗歪ゲージを使用する(Measurement Specialties、2012)。FC22は直接的な力を測定するところ、これは、圧力カプセルによって力を測定する他のセンサよりも信頼性が高い。FC22シリーズにはマイクロフュージョンテクノロジーが組み込まれているため、老化の影響を受けやすい有機エポキシを排除し、優れた長距離スパンと本質的に無限サイクル寿命とを与える。例示的なFC22力センサ又は加力測定ユニット38は、前端部アタッチメント24のフレームに統合され、その後、力測定を行うための安定したプラットフォームが作成される。アナログ力センサデータの精度を高めるために、バッファを使用して、力センサの複数の値を保存することができ、その後これらの値を平均化することができる。

0056

力センサ38は、例示的なPro Microマイクロコントローラ59などのプロセッサ44に接続される。力データは、CIS画像と同期される。一実施形態では、Bluetooth対応マイクロプロセッサ59は力センサ38に接続される。スマートフォン22で画像撮影コマンドが生成されると、スマートフォン22はCIS画像を撮影するコマンドをスマートフォンカメラ32に送信し、Bluetoothコマンドをマイクロプロセッサ59に送信して力センサ38からの加力情報を取得する。次いで、力データは、Bluetoothによってスマートフォン22のソフトウェアユニット34に送信され、そこで力データがCIS画像メタデータに書き込まれる。スマートフォン22からマイクロコントローラ59まのハードウェアトリガを備えることも可能である。ハードウェアトリガは、力/画像の同期をさらに正確にする。

0057

処理ユニット44は、力センサの生データを取得して使用可能な力情報に変換すること、光輝度値を読み取ること、及び光輝度を制御することの3つの主要機能を有する。この処理ユニットは、マイクロプロセッサ、FPGA、又はコンピュータである。

0058

輝度制御の可能な一実施形態は、モバイルデバイス22のアプリケーションソフトウェア34によって行われる。この調光機能は、PWM信号の出力を0から255まで30の増分で変化させることによって制御することができ、ここで0は低、255は高である。また、スマートフォン22のプロセッサ34は、力センサデータ及び輝度データを受信し、輝度を制御するようにプログラムされたスマートフォン22上のソフトウェアアプリと共に、マイクロプロセッサ59として使用できることも考えられる。

0059

次に図8も参照すると、通信ユニット42の主な機能は、モバイルデバイス22に有用なデータを提供し、モバイルデバイス22からコマンドを取得することである。これは、BluetoothやWi−Fiなどの無線通信でも、前端部アタッチメント24とモバイルデバイス22と間の有線接続でもよい。可能な一実施形態は、前端部アタッチメント24のマイクロコントローラ59とスマートフォン22のプロセッサ34との間のBluetooth接続、次にスマートフォン22、特にその通信ユニット30とクラウドサーバ26との間のWi−FiHTTP又はHTTPS接続である。

0060

最初の通信は、前端部アタッチメント24のマイクロコントローラ59とスマートフォン22とをBluetoothスマート接続を介して接続することから始まる。Bluetooth接続には2つの主要な構成要素:周辺機器及び中心機器がある。この実施形態では、スマートフォン22が中心機器であり、マイクロコントローラ59が周辺機器である:これは、クライアントとサーバとの関係に類似する。

0061

接続されていない周辺機器は、それらの名称信号強度及び汎用一意識別子(UUID)などのデータをアドバタイズする。周辺機器は、いったん接続されると、それらのサービス共有する。使用することになるサービスは、汎用性非同期受信送信サービスである。本質的に、これはマイクロコントローラ59とスマートフォン22との間のデータパイプとして機能する。サービスには、「Tx」と「Rx」という2つの特性があり、これは、力データを転送しかつ調光を制御するために使用される。スマートフォン22が正しい前端部ユニット24に接続することを確保し、無線伝送外部干渉又は傍受を回避するのに好適である安全なプロトコルは周知であり、簡潔にするためにここではさらなる説明を省略する。

0062

この方法を使用するためには、力センサ38から力データを取得し、LED48の調光を制御するために必要な様々な機能を処理するために命令セットを作成する。

0063

スマートフォン22とクラウドサーバ26(この実施形態ではPHPスクリプトを実行している)との間の通信は、利用可能な場合にはWi−Fiを介して行われる。画像は、例えばJPEG形式で送信され、関連データはHTTPpost方式を使用してJSONファイルで送信される。クラウドサーバ26からデータを取得するために、スマートフォンアプリ34はHTTPリクエスト方式を使用する。JSONファイルを使用することで、情報を簡単に取得できるようにデータが解析される。通信が確立されると、ソフトウェアはメッセージが同じ「言語」であることを保証する必要がある。この実施形態では、プラットフォーム間で渡される全てのデータはUTF−8文字エンコーディング準拠する。

0064

電源ユニット40は、必要な全ての電力を前端部アタッチメント24に供給する。これは、光源48、定電流ドライバ50、力センサ38、処理ユニット44、及び通信ユニット42を含む。電源ユニット40は、電池又は燃料電池とすることができる。

0065

モバイルデバイス22がスマートフォンである場合には、典型的なスマートフォンで利用可能なカメラ、ビデオカメラ加速度計ジャイロスコープ、及び通信ハードウェア、特にカメラ32、アプリケーションソフトウェア34、及び通信ユニット30を利用することができる。可能な一実施形態はiPhoneである。iPhone6は、1.5μmピクセルの8メガピクセルビデオカメラ、加速度計、ジャイロコンパス、Wi−Fi802.11を有する。

0066

図7から分かるように、カメラ32がエラストマー46を捉える。前端部アタッチメント24は、エラストマー46がモバイルデバイスカメラ32から見えるように設計されている。カメラ32は、エラストマー46の縁部(側部)に焦点を合わせることができる。カメラのオートフォーカスが無効になり、焦点距離がソフトウェア又はファームウェアで設定される。カメラモデルと前端部デバイスモデルとの組み合わせごとに、焦点距離が固定されているため、事前にプログラムすることができる。カメラ32は、エラストマー46が対象物によって圧縮されて歪むときに、エラストマー46から逃げる光を捕捉する。カメラ32は、単一の画像、複数の静止画像、又は1以上のビデオ画像をキャプチャすることができる。

0067

アプリケーションソフトウェア34の主な機能は、力センサ38から加えられた力、ユーザ番号、ケース番号、日付、時刻、調光値などのメタデータと共にCIS画像データを取得し、この情報をクラウドサーバ26に送信することである。データは、このアプリケーションソフトウェア34で暗号化及び圧縮される。また、アプリケーションソフトウェア34は、悪性スコアと、ローカル処理ユニット28から返された他の出力情報とを受信する。

0068

取得したデータの送信と結果の受信には、モバイルデバイスに組み込まれたワイヤレス通信機能が使用される。この通信は、Wi−Fi、LTE、3G、又はBluetoothとすることができる。他のftp又はhttpソケットも使用できる。

0069

CISイメージャから取得した圧縮誘導画像は、Wi−Fiを介して、リモートクラウドサーバ26又はローカルコンピュータ28に送信され、機械的特性推定アルゴリズムを実行する。得られた画像は、対応する組織病理学の結果と共に、クラウドデータベースに保存される。このデータベースは、悪性スコアの計算に使用される。これにより、サーバ26は、より正確な性能評価のために包括的なデータベースを保持できる。したがって、通信は安全でなければならない。2つのエンティティ間で効率的で安全な通信を実現するためには、対称暗号ベース通信方式が採用される場合が多い。対称暗号化又は非対称暗号化のいずれかを使用して、データを保護することができる。

0070

対称暗号化について、公開鍵インフラストラクチャサポートを必要とする非対称暗号化方式の助けを借りて、秘密キーが送信されることが多い。非対称暗号化は、キーのみであったとしても、CISに対してかなりの計算と通信のオーバーヘッドを引き起こす。さらに悪いことに、秘密キーが危険にさらされているというリスクがある場合には、CISは別の秘密キーを生成し、高価な非対称暗号化方式で送信する必要がある。

0071

これらの問題を克服するために、本実施形態は異なる安全な通信プロトコルを使用する。提案する通信プロトコルは、公開鍵インフラストラクチャを導入することなく合理的に安全である。さらに、秘密キーは非常に効率的な方法で生成される。具体的には、初期化プロセス中に、スマートフォン22とクラウドサーバ26との間で共有される秘密キーは存在しない。その代わりに、スマートフォン22とクラウドサーバ26は、機密情報秘密情報を送信することなく平文を使用してランダムチャットする。数回のやり取りの後、スマートフォン22とクラウドサーバ26の両方は、チャットコンテンツのハッシュ値を使用して秘密キーを生成する。同じ秘密キーを生成するために、攻撃者はチャット内の全てのプレーンテキストを傍受しなければならない。幸いなことに、無線通信では深刻なパケット損失が発生することが多いため、攻撃者が全てのチャットコンテンツを取得することは非常に困難である。チャットエンティティが互いをはっきりと聞き取ることができない場合には、メッセージを繰り返すように依頼できる。盗聴者はそれを行うことができない。セキュリティ堅牢性は、無線通信の堅牢性(パケット損失の特性)の欠如に基づくものである。このようにして、公開鍵インフラストラクチャを導入せずに秘密キーが生成される。通信をより安全にするため、通信が成功するたびに、両方のエンティティが秘密キーを更新する。したがって、攻撃者が秘密キーを盗んだとしても、すぐに期限切れになり、攻撃者がデータパケットを失うとすぐに、攻撃者はもはやキー更新に一致できなくなる。

0072

CISデータは、ローカル処理ユニット28に直接又はクラウドサービス26を介して送信することができる。CISユニット20がクラウドサーバ26に接続し、その後、ローカル処理ユニット28がクラウドサーバ26からデータを取得することが好ましい。クラウドでは、暗号化された圧縮誘導画像をメタデータとともに保存できる。モバイルデバイス22及びローカル処理ユニット28は、このクラウドサーバ26と通信する。クラウドサーバデータベースは、ローカルコンピュータ28でのデータ処理の準備が整うまで、データ及びメタデータを保存する。

0073

クラウドサーバ26の一実施形態は、データの全てについてリポジトリとして機能し、2つの主要なコンポーネント、すなわちPHPスクリプト及びMySQLデータベースを有する。2つのPHPスクリプトがある。1つ目はスマートフォン22から送信されたデータを受信し、それらを適切なディレクトリに保存する。2つ目は適切なディレクトリに移動し、結果情報をスマートフォン22に返す。

0074

ローカル処理ユニット28は、CISデータを取得し、データを処理して機械的特性情報を取得する。CISデータ及びメタデータは、このコンピュータ28に保存され、処理される。このローカル処理ユニット28はクラウド26内にあることができるが、本実施形態では、ローカル処理ユニット28はセキュリティ目的責任ある医師の自身の場所に存在する。そのため、クラウド26のデータは非暗号化状態ではない。次いで、処理されたデータは、発信元のモバイルデバイス22に返される。システムのユーザは、モバイルデバイス画面上で所望の情報を取得することができる。

0075

ここで図9A、9B、及び9C(まとめて図9)も参照すると、モバイルプラットフォーム圧縮誘導イメージングシステム20の一実施形態はフレーム60を備える。フレーム60の目的は、前端部アタッチメント24を保持し、それをシームレスでモバイルデバイス22に取り付けることである。検出プローブ36のエラストマー素子46は、モバイルデバイス22のイメージングユニット32に可視化できる。力センサ38を配置して正確な加力情報を取得する。

0076

フレーム60は、カメラ32が開口部66と位置合わせされた状態で、スマートフォン22を載せることができる隆起側面64を有するクレードル62を備える。したがって、ここでは、フレーム60及びクレードル62は、モバイルデバイス22が入れられる容器を画定する。スマートフォン22がカメラ32の隣にオートフォーカスセンサを有する場合には、開口部66は、図示するように、カメラが検出プローブ36の端部のターゲットに焦点を合わせることができるように細長くてよい。あるいは、オートフォーカスはソフトウェアで無効にされ、カメラ32は強制的に既知の焦点設定になる。

0077

図9に示すフレーム60は、Apple(登録商標)社製のiPhone6用に設計されているが、スマートフォン22の多くの利用可能な他のモデルも同様の一般的な構成を有し、せいぜいクレードル62の寸法をわずかに変更することが必要になるに過ぎないであろう。図示されたフレーム60を、SolidWorksCADソフトウェアで作成し、Objet3Dプリンターを使用して印刷した。

0078

前端部アタッチメントフレーム60は、LED回路50、PDMSプローブ36、力センサ38、及びスマートフォン22の全てを備え、それらを整列状態で保持するという点で、システムの骨格である。この設計の目標は、触覚画像と力覚情報とを正確にキャプチャできる、軽量で持ちやすいデバイスを作製することである。

0079

クレードル62はスマートフォンを所定の位置にしっかりと保持して、スマートフォンが移動したり部品が損傷を受けたりすることなくスマートフォンに一定の圧力をかけることができる。クレードル62は、カメラ又はスマートフォンの画面の表示やボタンへのアクセスを妨げないため、電話の機能が完全に維持される。スマートフォン22と前端部プロセッサ59との間で有線通信を使用する場合には、クレードル62は、スマートフォン22がクレードル62に挿入されたときにスマートフォン22のポート適合するコネクタプラグを有してもよい。クレードル62は、ここでは、ユーザがCISアセンブリ22、24を保持し、センサ36、特にエラストマー46をターゲットに押し付けるためのハンドルとして使用される。

0080

スマートフォンクレードル62の真下には、電気部品用収納コンパートメント68がある。コンパートメント68のサイズは、マイクロコントローラ59、バッテリパック40、電源スイッチ、LEDドライバ50、力センサ回路、及びいくつかの配線を収容するように設定される。保護と美観のために、コンパートメント68は蓋で囲まれるが、LED及び力センサに不可欠な電源スイッチ及び配線用外部アクセスポイントを有する。

0081

フレーム60の前面側には、画像キャプチャ用の領域70がある。カメラ32用の穴66は、スマートフォン22自体のカメラ32の位置の中心にある。カメラ32からセンサエラストマー46までの距離は、カメラ32の焦点範囲内にあるように選択され、これは、図9の実施形態では、製造業者によって最小31mmになるように設けられた。追加のレンズ(図示せず)をスマートフォンのカメラ32の前に追加して、最小焦点距離を短縮したり、適切なサイズの画像をキャプチャしたりすることができる。

0082

ガラスその他の剛性の透明シート72(図7を参照)を、エラストマー46のための剛性支持体としてエラストマー46とカメラ32との間に取り入れてもよい。ガラス/プラスチック72は、エラストマー46の背面を支持すると共に、それを介してカメラ32を見ることができる。ガラス/プラスチック72及びエラストマー46は、フレーム60の前端にあるホルダ76の長方形の切欠部74内に配置され、エラストマー46は、ガラス/プラスチック72に対してその切欠部にしっかりと適合する。切欠部74の周りのホルダ76に対称的に配置された4つの穴78は、LED48のためのアクセスポイントである。LED48は、穴78を裏打ちする金属スペーサ内に固定される。LEDの全ての配線は、ホルダ76が自由に動くことができるように、撮像領域から離れており、できるだけ合理的実用的に少なくかつ小さなワイヤを用いて配置される。また、エラストマー46の周囲を取り囲むホルダ76によって、エラストマー46のための剛性支持を得ることができることも考えられる。

0083

図9の実施形態では、加えられる力は、スマートフォン22の加速度計及びジャイロスコープから推定される。その代わりに又はそれに加えて、エラストマー46の端部で組織に接触するフレーム60に薄い力センサを配置することが可能である。

0084

ここで図10A及び10B(まとめて図10)並びに図7も参照すると、フレーム80の第2実施形態は原則として第1実施形態と同様であり、その説明は不必要に繰り返さない。フレーム80では、カメラ32を含むスマートフォン22の角がクレードル82のスロットに挿入される。同様に、フレーム80及びクレードル82は、モバイルデバイス又はスマートフォン22を保持するための容器を画定する。クレードル82の背後にありかつエラストマーセンサ46のホルダ76と位置合わせされるハウジング84は、全ての電子機器を収容し、ハンドルとして使用される。ハウジング84はクレードル82にはしっかりと取り付けられていない。その代わりに、これらは力センサ38を介して接続されているため、ハウジング84を保持するユーザがセンサ36、特にエラストマー46を固体物体に対して押圧すると、力センサ38は、ここではハウジング84の形のハンドルに加えられた力を検出し測定する。単純化するために、図7には単一の力センサ38のみが示されているが、上記のように、複数の力センサを使用して精度を高め、加えられた圧力の不均一を検出することができる。

0085

ここで図11も参照すると、ターゲット100の機械的特性を決定するために、前端部アタッチメント24及びモバイルデバイス22からデータを取得する必要がある。データ収集方法の実施形態は、3つの主要なハードウェアコンポーネント、すなわち、前端部アタッチメント24のマイクロコントローラ59、モバイルデバイス(例えば、スマートフォン)22、及びローカル処理ユニット28で実施される。この方法は、データの取得、CISデータの処理、及びハードウェア間の通信を担当する。

0086

上記の実施形態は手作業で力を加えることを説明しているが、図7に概略的に示すように、リニアアクチュエータ、スクリュードライブ、プーリー又はタイミングベルトなどのモータ85を任意の実施形態に組み込んで所望の力を自動的に加えることも考えられる。例えば、モータ85は、ハウジング84、クレードル82又はホルダ/前端部24と、固定又は非可動表面との間に連結され、起動時に、光導波路又は圧縮検出プローブ36をターゲット100に対して自動的に駆動させることができる。これにより、手動で押すのではなく、自動で力を加えることができる。一用途において、モータ85は、触覚画像を得るために、約3秒で約5〜7mmの均一な動きで標的領域100に向かって光導波路46を駆動して触覚画像を取得する。

0087

前端部アタッチメント24では、プロセッサ59は力センサデータを取得し、モバイルデバイス22に送信する。プロセッサ59は、照明の明るさも制御し、モバイルデバイス22と通信する。一実施形態として、この方法は、Arduino IDEマイクロプロセッサ59を使用してC言語でプログラムすることができる。各コンポーネントの機能の例を図11に示す。

0088

モバイルデバイスユニット22は、CIS画像及び加力データを収集し、前端部プロセッサに命令を送信し、CIS画像及び関連データをローカル処理ユニット28に送信し、ローカル処理ユニット28から結果を要求する。データ取得方法の可能な一実施形態は、iOSアプリケーションソフトウェアである。図12を参照すると、スマートフォン22のディスプレイ画面上のソフトウェアインターフェースは、プローブ36のライブカメラビュー102、LED48の輝度を調節するスライダ104、患者情報を追加するフィールド、力読み取り値のためのディスプレイ106、最後に、ユーザが写真をキャプチャするためのボタンを提供する。キャプチャボタンが押されると、キャプチャされた写真が画面に表示され、ユーザは写真をアップロードするか再撮影するかを選択できる。ビデオ画像を撮ることも可能である。画像は、力センサ38からの加力情報と相関する。

0089

スマートフォン22のアプリケーションソフトウェア34は、CIS画像、力データ、及びメタデータをキャプチャする。図13を参照すると、データ取得プロセスの可能な一実施形態において、オペレータがキャプチャボタンを押すと、連続するデータ収集が、力情報を要求するコマンドをBluetoothを介して前端部マイクロプロセッサ59に送信することによって開始する。前端部マイクロプロセッサ59は、現在の力値を読み取って保存する。現在の力値は、単一の値、2個以上のセンサからの値の平均、又は2個以上のセンサからの値のリストである。図12及び13では、2個の力センサ38が別々に報告する。プログラムは非同期で実行されるため、送信中にエラーが発生するのを防ぐため、保存された値は一度に1個ずつ送信される。その間、スマートフォン22上のアプリケーションソフトウェアは継続し、カメラ32を使用して画像を収集する。加力情報がスマートフォン22に返されると、キャプチャされた画像と力データとがスマートフォン22に表示される。その後、ユーザは画像を再撮影する又はアップロードするように求められる。

0090

ユーザがアップロードボタンを選択すると、サーバへの接続が開始される。画像及びメタデータを含むファイルが準備される。メタデータには、日付、時刻、調光器の値、患者ID、ユーザID、及び力情報のいずれか又は全てを含めることができる。これらのデータは、データを便利にソートできる形式で、画像名を形成するために使用できる。図14に、データをアップロードする際のデータフローの例を示す。

0091

様々な加力で複数の画像をキャプチャすることが望ましい場合には、スマートフォン22は、力データについて前端部24を繰り返しポーリングしながら、ビデオのセグメントを記録してもよい。次に、力データを分析して、時間に伴う力の変化率が比較的均一である期間を見出し、さらなる分析のために、ビデオの一部、又は所望の時間もしくは力の間隔での2つ以上の個々のフレームを選択する。スマートフォン22が十分な処理能力を有する場合には、選択を実行することができ、アップロードされる前に、選択されたフレームをユーザによる承認のため提示できる。スマートフォン22が選択を実行するのに十分な処理能力を有していない場合には、選択されていないデータをアップロードし、ローカルコンピュータ28で選択を実行することができるが、通信の使用により大きな費用がかかる。

0092

3D補間を使用したモバイルプラットフォームCISによるサイズ決定方法
モバイルプラットフォームCISが決定する機械的特性の1つは、ターゲット100のサイズである。ここでは、表面下又は表面ターゲットのサイズを取得する方法について説明する。

0093

最適なCIS画像を選択するために、時間に対して力をプロットする。画像を処理するために滑らかな線形領域を選択する。これらの画像は、機械的特性推定アルゴリズムで使用される。CIS画像からノイズを除去することが望ましい。ノイズは、例えば、システムに入るスプリアス周囲光、又はLEDの位置が理想的でない場合にはLED48からの非画像化光に起因する可能性がある。CIS画像の最大強度及び/又は強度の合計を使用してターゲットサイズを推定する。この実施形態では、介在物の形状は球形であると想定される。圧縮誘導画像から腫瘍100のサイズを推定するための3D補間モデルが提供される。3D補間法は、加えられた法線力F、圧縮誘導画像のピクセル数Np、及び介在物画像の直径Dに関連する。これらの3つのパラメータに基づいて、複数の表面をモデル化する。モデルを取得したら、モバイルプラットフォームCISから力Fを取得し、ユーザからおおよその深さを取得する。次に、モデル表面を使用してサイズを推定する。実験データから、様々な深部レイヤーに対して、式(1)に示す形式の複数の3D補間表面を開発した。

0094

(1)

0095

モデル係数pijは、モデル化された表面を定義する。式(1)の指数n及びmは、サイズ推定多項式次数を示す。係数pijは、以下で説明するモデルから経験的に求められる。

0096

可能な一実施形態は、サイズを2つのケースに分割することである。2組の3D補間を開発した:1つは大きな介在物(例えば11.9mm及び15.5mmの2つの直径を使用して初期補間表面を生成した)、もう1つは小さな介在物(例えば8.0mm及び9.9mmの直径を使用して初期補間表面を生成した)。したがって、誤差を減らすために、2つの異なる補間表面を取得する:1つは小さな介在物用で、もう1つは大きな介在物用である。各セットの補間表面を、3つの異なる深度レイヤー(この例では、3mm、6mm、及び9mm)について決定した。開発された3D補間表面パラメータの値は、組織ファントム内の介在物の深さ及びサイズの変化を反映する。医師は、腫瘍の深さ(浅い、中程度、又は深い)及びサイズ(大きい又は小さい)を定性的に推定することができるため、医師の説明に応じた適切な表面を使用できる。

0097

開発された3D補間表面を使用して、加力F及び画像上のピクセル数Npを指定することにより、介在物のサイズを推定できる。介在物のサイズは、そのおおよその深さを使用して、力の情報とピクセル数とから求められる。深さの異なる複数の補間表面があった。特定の3D補間表面の選択は、介在物の概算深さとサイズとに基づく。ヒトのデータ実験について、医師は介在物のおおよそのサイズと深さとを推定した。次に、この3D補間法を使用して、より正確なサイズと深さとを算出する。開発したモデルから初期補間表面を生成できるが、より多くのデータを収集すると、より正確な補間表面を実際のデータから決定できる。

0098

相対的柔軟性指標決定方法
モバイルプラットフォームCISの圧縮実験は、いくつかの点で、介在物の機械的特性を決定する従来の引張試験に似ている。本発明者が考慮する検討する特性の1つは、柔軟性指標である。これは、ターゲットの柔らかさ/硬さの度合いである。従来の硬度測定で使用される剛性スチール圧縮面とは異なり、本手法では、柔軟性のあるシリコーンプローブを使用して、柔軟性のある介在物で組織を圧縮する。モバイルプラットフォームCISのシリコーンプローブ素子の変形のサイズ及び形状は、介在物を含む組織に関する情報を提供する。しかし、圧縮面の剛性の相違は、これら2つの方法の出力に影響を与える。剛性プローブを使用した従来の引張実験では、サンプルが変形し、硬質のサンプル/介在物の変形は軟質の介在物の変形よりも小さくなる。本測定方法では、測定されるのは軟質プローブの変形であり、プローブの変形は硬質サンプルでは大きく、軟質サンプルでは小さくなる。得られる柔軟性指標SCISSは、弾性率の逆数である。

0099

弾性は、加えられた応力が取り除かれた後に組織がその形状を回復する能力を表す。圧縮時のヒトの皮膚及び軟部組織応答並びに腫瘍の応答は、弾性組織回復の例である。また、生体組織非線形粘弾性材料である。狭い範囲の窪みで作業した(深さの20%まで到達)。全てのモバイルプラットフォームCIS実験では、試験対象の材料の線形弾性挙動仮定した。軟質シリコーンプローブの窪みの変化を使用して、圧縮による組織の変形を捉えた。次に、相対的な引張特性尺度である腫瘍領域の柔軟性指標を推定した。

0100

組織ファントムを使用したモバイルプラットフォームCIS柔軟性指標計算を、圧縮を使用した従来の弾性率測定技術に代わるものとして設計した。

0101

モバイルプラットフォームCISアプリケーションでは、各CISS画像kの応力σz(k)は次のように算出される。



(2)

0102

F(k)はz方向に加えられた力、Frefは基準点での力の値である。基準力は、実験中の最初の空でない触覚画像に相当する。ACはモバイルプラットフォームのCIS接触面積(1134mm2など)であり、これには固体フレーム及び弾性シリコーンプローブ面積が含まれる。この例では、フレームを含むプローブの前面全体が、サンプル100を含む媒体の平面に対して平坦に押し付けられていると仮定している。着地面が平坦でない場合には、それに応じてACを調整できる。

0103

モバイルプラットフォームCISの垂直変形率dz(k)は、次のように与えられる。



(3)

0104

I(k)はk番目圧縮画像の強度の合計を表し、Irefは基準力Frefに相当する画像の強度の合計である。基準画像及び力は、比較的大きなCIS画像(画面の少なくとも25%を占める)が画面に表示されるときに選択される。例えば、ヒト患者乳がんの場合、これは3N〜15Nの間にある可能性がある。プローブのz方向の変形が触覚画像の強度変化に直接比例するため、ピクセル強度値又は最大強度値の合計を使用してプローブの押し込みを推定する。

0105

柔軟性指標SCISSは、介在物を含む組織の硬さの尺度である。これは、腫瘍領域について計算されたモバイルプラットフォームCIS応力−変形曲線勾配として計算された。



(4)

0106

モバイルプラットフォームのCISハードウェア設計により、弾性シリコーンプローブは、軟質介在物よりも硬い介在物と接触している間に、より速く変形する。それにより、柔軟性指標は、画像化された介在物の真弾性率(ヤング率)に反比例する。SCISSの値が大きいほど柔らかい腫瘍を示し、SCISSが小さいほど硬い腫瘍を示す。

0107

ディープラーニング(ディープブリーフネット)を使用した絶対弾性推定方法
ここでは、ターゲットの絶対弾性を取得する方法を示す。ここで、この実施形態は、ヒトの腫瘍用途向けであるが、他の用途も可能である。腫瘍の絶対ヤング率(弾性)を計算するために、ディープラーニングを利用する。弾性による変形のサイズなどのターゲットの機械的特性をモデル化する。この方法は、順方向手法と逆方向手法とに分けられる。図15及び16を参照されたい。順方向手法は、皮膚のストレスグラフを提供する。逆方向手法は、図16に示すように、ディープラーニングを使用してターゲットの弾性を提供する。

0108

モデル化及び順方向手法
順方向アルゴリズムの目的は、組織内包パラメータとCISデータとの関係を見出すことである。三次元解析は、ヒト腫瘍の特徴を予測する新規な方法につながる。これを医療提供者の触診に直接組み込むことができる。有限要素法(FEM)は、腫瘍の形状、サイズ、弾性などの特性を実証するために使用される。入力パラメータは次のとおりである:
組織負荷(組織の表面の圧縮)l、
圧痕直径d、
皮膚の剛性Er。

0109

この目的は、組織に対する負荷の適用に関連する生体組織の皮膚の影響を調査することである。エンジニアリングシミュレーションソフトウェアパッケージであるANSYS(ペンシルベニア州)を使用した。他のモデリングソフトウェアを使用することができる。有限要素モデル(FEM)は、検出プローブ、軟組織(例えばヒトの乳房組織を表す)、及びより硬質の介在物(例えば腫瘍を表す)からなる。弾性等方性要素として乳房及び腫瘍をモデル化する。応力分布を動的プローブ画像から取得する。これらのモデルから、最大変形、総変形、及び変形面積を得る。デバイスを腫瘍のある乳房組織に対して圧迫する。検出プローブの変形を捕捉する。腫瘍の大きさ、深さ及び弾性を、シミュレーションからの最大変形、総変形及び変形面積に関連付ける。

0110

逆方向手法を使用した絶対ヤング率の決定
順方向手法の結果は腫瘍の存在を示すことができるが、腫瘍の特性に関する詳細な情報は提供しない。逆の問題を解決するための技術の一つは、順方向結果のディープラーニングを使用することである。第1の部分は、FEMを使用した触覚マップのデータ収集及び構築である。第2の部分では、入力としてCISマップを取得し、出力として画像化された組織及び腫瘍のサイズ及び弾性を生成する逆方向モデルが必要である。逆方向アルゴリズムは、CISから取得した最大変形、総変形及び変形面積から腫瘍の弾性率、深さ及びサイズを推定する。この逆方向モデリングには、「ディープブリーフネット」(DBN)と呼ばれるディープニューラルネットワーク手法を使用する。このDBN手法は、逆方向アルゴリズムの精度を向上させる(LeCun外、2015)。従来の人工ニューラルネットワーク(ANN)には過剰適合の問題があり、一般化パフォーマンスが低下する。DBNは、過剰適合を回避するために監視なしの方法で事前にトレーニングでき、深い構造に潜在的な変数空間があるDBNは、浅い構造(すなわち、1つ又は2つの隠れ層のみ)のANNでは効率的に表現できない複雑な非線形関数を表現できる。DBNを使用して、逆方向アルゴリズムの精度を改善する。このようにして、ターゲットの絶対ヤング率を取得することを提案する。

0111

リスク指標の決定方法
本実施形態では、モバイルプラットフォームCISを使用して取得できる腫瘍リスク指標について説明する。定量化されたサイズ及び柔軟性指標の情報を利用して、腫瘍リスク指標を取得する。可動性及び柔軟性などの他の機械的特性をこのリスク指標に組み込むことができる。ここでは、リスク指標を決定する方法の2つの異なる実施形態について説明する。

0112

単純な重み付け方法
第1実施形態として、サイズと柔軟性との間で等しく重み付けしたリスク指標を計算する。まず、サイズを1〜5の間で正規化する。5は最大サイズ(2cmなど)、1は最小サイズ(2mmなど)である。また、柔軟性を1〜5に正規化する。5は硬質、1は軟質である。柔軟性の範囲は、0〜250×10-9/Paとすることができ、5つのレベルに分割できる。次に、サイズと柔軟性を0.5倍して、それらを合計する。このように、サイズ情報と柔軟性情報とを等しく重み付けし、リスク指標は1〜5の数値である。腫瘍のサイズが大きいほど、悪性になる可能性が高くなる。腫瘍が柔らかいほど、良性である可能性が高くなる。

0113

畳み込みニューラルネットワーク法を使用したデータ分類
別の実施形態は、ニューラルネットワークなどの機械学習方法を利用してターゲットを分類することである。腫瘍のサイズ、可動性、弾性などのCISシグネチャは、モバイルプラットフォームCISから取得されることになる。CISデータが利用可能になったら、データを融合して腫瘍特性モデルを開発しなければならない。まず、悪性情報でサイズ、深さ、可動性及び弾性のデータベースを作成する。次に、畳み込みニューラルネットワーク(CNN)を使用して腫瘍を分類する。

0114

CISデータが入手可能であっても、腫瘍を悪性又は良性として特徴付けることは簡単ではない。コンピュータは情報を融合し、患者に病変が悪性である確率を提供する必要がある。

0115

図17を参照すると、サイズ、弾性及び深さの情報を使用して病変を分類するために、畳み込みニューラルネットワーク(CNN)法(Ji外、2013)が使用される。腫瘍の分類にはCNNを使用する。畳み込みニューラルネットワーク(CNN)はニューラルネットワークに類似するが、入力として画像を受け入れるように設計されている。CNN構成、すなわち、畳み込み層、プーリング層、及び全結合層を提供する。畳み込み層は次の方程式で表される。



(5)

0116

式中、

は、i番目の層のj番目特徴マップの位置xにあるニューロンの値である。
各プーリング層は、前の畳み込み層に対応する。次の最大プーリングを使用する:



(6)

0117

式中、u(n,1)は畳み込み層のパッチに対する窓関数であり、ajは近傍の最大値である。これらの層を積み重ねて、完全なCNN構成を形成する。各層は、入力として3D体積を受け入れ、微分可能な関数を介して出力3D体積に変換する。乳房腫瘍の用途では、CIS画像を取得し、これらの画像を空間的及び時間的な次元に沿って分類する。次に、CNNを開発して、良性腫瘍及び悪性腫瘍をアウトプットとして分類する。

0118

出力を腫瘍組織病理学の結果と相関させた後に、腫瘍が悪性である確率を計算する。腫瘍が悪性である確率は、データベースの完成後にリスク指標として計算される。

0119

モバイルプラットフォームの圧縮誘導イメージングシステム(CIS)は、スマートフォンのカメラ、通信、及び限られたデータ処理機能のみを利用する。特定の実施形態を、執筆時点でのスマートフォンを使用して説明してきた。ただし、スマートフォンにカメラが存在し、通信(Bluetooth、Wi−Fi、又は今後開発される予定のもの)機能が存在する限り、CISシステムは機能する。カメラの物理的な位置が変わる可能性があるため、新規なスマートフォン用にアタッチメント及びアプリケーションのハードウェアフレームを更新する必要があることがある。しかし、CISの原理は、スマートフォンの特定の機能又は設計に依存しない。アプリのソフトウェアは、スマートフォンの種類とソフトウェアを作成するアプリケーションのバージョンとによって異なる。例えば、上記の実施形態は、Xcode8及びSwift3.0.2を使用している。また、触覚画像と加力データとの正確な同期手順は、特定のスマートフォンのハードウェアとオペレーティングシステムとに依存する場合がある。ただし、その当時のスマートフォン技術との一貫性を保つために、現在の教示を随時更新することは、当業者の能力の範囲内である。

0120

光源の位置合わせ方法損傷検出、絶対弾性計算方法、及びデータ分類方法は、全て、スマートフォンの技術変化に関係なく関連している。

0121

スマートフォン22のカメラ32を使用する代わりに、前端部アタッチメント24にカメラを設けることが可能であろう。これには、スマートフォンのデザイナーがカメラを移動するたびにクレードルを調節又は再設計する必要がないという利点があるが、別のカメラを設ける必要があるという欠点がある(かなりの余分なコストがかかる。現在のデバイスのメーカー巨大なスマートフォンメーカーの膨大な販売量及びそれに対応する規模経済を享受できていないからである)。

0122

本明細書で引用した出版物、特許出願、及び特許を含めた全ての参考文献は、各参考文献が個別的に及び具体的に参照により援用されることが示され、その全体が本明細書に示される場合と同じ程度にまで参照により援用される。

0123

本発明を説明する文脈において(特に以下の特許請求の範囲において)、用語「a」、「an」、「the」及び類似の指示物の使用は、本明細書で特に示さない限り又は文脈によって明らかに矛盾する場合を除き、単数及び複数の両方を包含すると解釈するものとする。用語「備える」、「有する」、「含む」、及び「含有する」は、特に断りのない限り、オープンエンドの用語(すなわち、「が挙げられるが、これに限定されない」という意味)と解釈すべきである。用語「接続」は、たとえ何かが介在していたとしても、部分的もしくは全体的に内部に含まれる、取り付けられる、又は一緒に結合されるものと解釈すべきである。

0124

本明細書における値の範囲の記載は、本明細書で特に明記しない限り、その範囲内に入る各個別の値を個別に参照する略記法として機能することを意図するにすぎず、各個別の値は、本明細書で個別に列挙されているかのように明細書に取り入れられる。

0125

本明細書に記載された全ての方法は、本明細書に特に指示がない限り、又は文脈により明らかに矛盾しない限り、任意の適切な順序で実行できる。本明細書で提供されるありとあらゆる例又は例示的な用語(例えば、「など」)の使用は、単に本発明の実施形態をより良く説明することを意図するにすぎず、特に特許請求されない限り、本発明の範囲を限定するものではない。様々な実施形態及び要素は、必要に応じて任意の適切な方法で交換したり組み合わせたりすることができる。したがって、本明細書及び引用形式請求項に記載されている特徴は、他の実施形態及び他の請求項において有用であり、それらと組み合わせ可能であると解すべきである。

0126

明細書中の記載は、特許請求されていない要素が本発明の実施に不可欠であることを示すものと解釈すべきではない。

0127

本発明の精神及び範囲から逸脱することなく、本発明に様々な修正及び変更を加えることができることは、当業者であれば明らかであろう。本発明を開示された特定の形態に限定する意図はないが、逆に、その意図は、特許請求の範囲で定義されるように、本発明の趣旨及び範囲内にある全ての修正、代替構造、及び均等物を網羅することである。したがって、本発明は、特許請求の範囲及びそれらの均等物の範囲内にある限り、本発明の修正及び変形を包含するものとする。

0128

参考文献
いくつかが上で議論した以下の従来の刊行物は、本明細書に明示的に記載されているかのように参照により本明細書において援用される。

0129

Dargahi, J., and Najarian, S., “Human tactile perception as a standard for artificial tactile sensing - a review,” International journal of medical robotics and computer assisted surgery, Vol. 1, No. 1, pp. 23-35, 2004.

0130

Itoh A, Ueno E, Tohno E, Kamma H, Takahashi H, Shiina T, et al. Breast disease: Clinical application of US elastography for diagnosis. Radiology. 2006;239:341-50. [PubMed: 16484352]

0131

Ji S., Yang M., and Yu K., “3DConvolutional Neural Networksfor Human Action Recognition,” PAMI, vol. 35, no. 1, pp. 221-31, 2013.

0132

Krouskop, T., Wheeler T., Kallel F., Garra B., (1998) “Elastic Moduli of Breast and Prostate Tissues Under Compression,” Ultrasonic Imaging, Vol. 20, pp. 260-274.

0133

LeCun Y., Bengio Y., and Hinton G., “Deep Learning,” Nature, vol. 521, no. 7553, pp. 436-444, 2015.

0134

Regini, E., Bagnera S., Tota D., Capanino P., Luparia A., Barisone F., Durando M., Mariscotti G., Gandini G., (2010) “Role of sonoelastography in characterizing breast nodules. Preliminary experience with 120 lesions,” Radiol. Med. (La Radiologia. Medica.) Springer. February 22, 2010.

0135

Rivaz, H., Boctor, E, Foroughi, P, Zellars, R, Fichtinger, G, Hager G, (2008) “Ultrasound elastography: a dynamic programming approach,”IEEE Trans Med Imaging, Vol. 27, No. 10, pp. 1373-1377.

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ