図面 (/)

技術 表示制御プログラム、表示制御方法、および情報処理装置

出願人 富士通株式会社国立大学法人大阪大学
発明者 堀井俊洋小谷裕輔藺牟田隼人中島清一
出願日 2016年9月21日 (3年6ヶ月経過) 出願番号 2016-184890
公開日 2018年3月29日 (1年11ヶ月経過) 公開番号 2018-047068
状態 未査定
技術分野 医療・福祉事務 内視鏡
主要キーワード グラフィック制御装置 機器使用状況 統合ビュー ささやく 重炭酸イオン濃度 音声イベント 検査記録 音圧レベルデータ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

術中に行われた診療行為に対応する腸内画像を特定可能にすること。

解決手段

情報処理装置101は、撮像装置102により撮像された複数の撮像画像時系列順に表示する際に、撮像装置102の腸内への挿入中に測定された発話音圧レベルを示すデータを時系列順であって、複数の撮像画像に隣接する位置に並列表示する。すなわち、情報処理装置101は、術者である医師、あるいは、術者をサポートする助手看護師等が、術中に発した声の音圧レベルを示すデータを時系列順に表示する。

概要

背景

内視鏡検査は、内視鏡の先端部を体内に挿入し、先端部に搭載されたカメラで体内の様子をモニタに映し出すことで、医師が体内の様子を直接目で見ることができる検査である。例えば、大腸内視鏡検査では、医師は、最初に内視鏡の先端部を小腸入り口部分まで挿入した後、引き出しながら腸内を観察し、ポリープ等の病変部分を発見したら画像を撮影する。

先行技術としては、内視鏡検査中に患者に関するデータをユーザが入力できるようにするためのインターフェースを提供するディスプレイ装置を備え、患者の生存指標情報に関する値のエントリを可能にする個別のグラフィック制御装置を含むシステムがある。

概要

術中に行われた診療行為に対応する腸内画像を特定可能にすること。情報処理装置101は、撮像装置102により撮像された複数の撮像画像時系列順に表示する際に、撮像装置102の腸内への挿入中に測定された発話音圧レベルを示すデータを時系列順であって、複数の撮像画像に隣接する位置に並列表示する。すなわち、情報処理装置101は、術者である医師、あるいは、術者をサポートする助手看護師等が、術中に発した声の音圧レベルを示すデータを時系列順に表示する。

目的

先行技術としては、内視鏡検査中に患者に関するデータをユーザが入力できるようにするためのインターフェースを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

腸内に挿入され、腸内画像撮像する撮像装置によって取得された複数の撮像画像と、前記撮像装置の腸内への挿入中に測定されたバイタルデータと、を時系列順並列表示する際に、前記撮像装置の腸内への挿入中に測定された発話音圧レベルを示すデータを時系列順であって、前記複数の撮像画像に隣接する位置に並列表示する、処理をコンピュータに実行させることを特徴とする表示制御プログラム

請求項2

腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期に対応する撮像画像、又は、前記撮像装置の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期に対応する撮像画像を特定可能に表示する、処理をコンピュータに実行させることを特徴とする表示制御プログラム。

請求項3

時刻の指定に応じて、前記複数の撮像画像のうち指定された前記時刻に対応する撮像画像を表示するとともに、指定された前記時刻に対応するバイタル値を表示し、少なくとも前記撮像画像の前後の撮像画像の撮像タイミングの間に挟まれる時間帯に取得された発話音声又は指定された前記時刻を基準に特定した時間幅内に取得された発話音声の再生指示受け付け可能な操作画面を表示させる、ことを特徴とする請求項1又は2に記載の表示制御プログラム。

請求項4

前記時刻の指定は、スライド可能な時刻指定バーにより受け付ける、ことを特徴とする請求項3に記載の表示制御プログラム。

請求項5

前記バイタル値の表示は、指定された前記時刻に取得されたバイタル値、又は、指定された前記時刻を基準に特定した時間幅内に取得されたバイタル値の最大値又は最小値又は平均値の表示である、ことを特徴とする請求項3又は4に記載の表示制御プログラム。

請求項6

腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像と、前記撮像装置の腸内への挿入中に測定されたバイタルデータと、を時系列順に並列表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルを示すデータを時系列順であって、前記複数の撮像画像に隣接する位置に並列表示する、処理をコンピュータが実行することを特徴とする表示制御方法

請求項7

腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期に対応する撮像画像、又は、前記撮像装置の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期に対応する撮像画像を特定可能に表示する、処理をコンピュータが実行することを特徴とする表示制御方法。

請求項8

腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像と、前記撮像装置の腸内への挿入中に測定されたバイタルデータと、を時系列順に並列表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルを示すデータを時系列順であって、前記複数の撮像画像に隣接する位置に並列表示する制御部、を有することを特徴とする情報処理装置

請求項9

腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期に対応する撮像画像、又は、前記撮像装置の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期に対応する撮像画像を特定可能に表示する制御部、を有することを特徴とする情報処理装置。

技術分野

0001

本発明は、表示制御プログラム表示制御方法、および情報処理装置に関する。

背景技術

0002

内視鏡検査は、内視鏡の先端部を体内に挿入し、先端部に搭載されたカメラで体内の様子をモニタに映し出すことで、医師が体内の様子を直接目で見ることができる検査である。例えば、大腸内視鏡検査では、医師は、最初に内視鏡の先端部を小腸入り口部分まで挿入した後、引き出しながら腸内を観察し、ポリープ等の病変部分を発見したら画像を撮影する。

0003

先行技術としては、内視鏡検査中に患者に関するデータをユーザが入力できるようにするためのインターフェースを提供するディスプレイ装置を備え、患者の生存指標情報に関する値のエントリを可能にする個別のグラフィック制御装置を含むシステムがある。

先行技術

0004

特表2007−516011号公報

発明が解決しようとする課題

0005

しかしながら、従来技術では、内視鏡検査等において撮像された腸内画像のうち、例えば、電気メスによるポリープ切除などの何らかの診療行為が行われたときに撮像された腸内画像を特定することが難しい場合がある。

0006

一つの側面では、本発明は、術中に行われた診療行為に対応する腸内画像を特定可能にすることを目的とする。

課題を解決するための手段

0007

本発明の一態様によれば、腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像と、前記撮像装置の腸内への挿入中に測定されたバイタルデータと、を時系列順並列表示する際に、前記撮像装置の腸内への挿入中に測定された発話音圧レベルを示すデータを時系列順であって、前記複数の撮像画像に隣接する位置に並列表示する表示制御プログラム、表示制御方法、および情報処理装置が提案される。

0008

また、本発明の一態様によれば、腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期に対応する撮像画像、又は、前記撮像装置の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期に対応する撮像画像を特定可能に表示する表示制御プログラム、表示制御方法、および情報処理装置が提案される。

発明の効果

0009

本発明の一側面によれば、術中に行われた診療行為に対応する腸内画像を特定可能にすることができる。

図面の簡単な説明

0010

図1は、実施の形態にかかる表示制御方法の一実施例を示す説明図である。
図2は、医療支援システム200のシステム構成例を示す説明図である。
図3は、情報処理装置101のハードウェア構成例を示すブロック図である。
図4は、患者DB220の記憶内容の一例を示す説明図である。
図5は、撮像画像DB230の記憶内容の一例を示す説明図である。
図6は、バイタルサインDB240の記憶内容の一例を示す説明図である。
図7は、投与薬剤DB250の記憶内容の一例を示す説明図である。
図8は、音声DB260の記憶内容の一例を示す説明図である。
図9は、機器使用状況DB270の記憶内容の一例を示す説明図である。
図10は、情報処理装置101の機能的構成例を示すブロック図である。
図11は、統合ビュー画面1100の画面例を示す説明図である。
図12は、スポットビュー画面1200の画面例を示す説明図である。
図13は、インデックス情報の表示例を示す説明図である。
図14は、情報処理装置101の表示制御処理手順の一例を示すフローチャート(その1)である。
図15は、情報処理装置101の表示制御処理手順の一例を示すフローチャート(その2)である。

実施例

0011

以下に図面を参照して、本発明にかかる表示制御プログラム、表示制御方法、および情報処理装置の実施の形態を詳細に説明する。

0012

(実施の形態)
図1は、実施の形態にかかる表示制御方法の一実施例を示す説明図である。図1において、情報処理装置101は、腸内に挿入され、腸内画像を撮像する撮像装置102により撮像された複数の撮像画像を表示するコンピュータである。撮像装置102は、静止画又は動画を撮像する機器であり、例えば、内視鏡110の先端部に搭載されるCCD(Charge Coupled Device)である。

0013

内視鏡110は、体内の腔所を観察するための医療器具である。内視鏡検査(あるいは、腹腔鏡手術)では、内視鏡110の先端部を体内に挿入し、先端部に搭載された撮像装置102で体内の様子をモニタに映し出すことで、医師が体内の様子を直接目で見て検査(あるいは、手術)することができる。検査対象器官としては、例えば、大腸、小腸、十二指腸などがある。

0014

例えば、大腸内視鏡検査では、医師は、患者の肛門から内視鏡110を挿入し、内視鏡110の先端部を小腸の入り口部分まで挿入した後、引き出しながら腸内を観察し、ポリープ等の病変部分を発見したら腸内画像を撮影する。また、エビデンスを残すという観点から、腸内の問題がない部分についても撮影することがある。

0015

また、術後において、医師が、術中に撮影した腸内画像を確認して、今後の治療方針を決めたり、診療内容を評価したりすることがある。このため、例えば、電気メスによるポリープ切除などの診療行為が行われた際に撮像された腸内画像は判別可能に記録することが望ましい。

0016

ところが、術中は、医師は内視鏡110を操作するために両手がふさがっていることが多く、各画像がどのような意図で撮影したものであるかといったことがわかるように記録することは難しい。また、術中は、医師が検査等に集中できるように、内視鏡110の操作以外の作業はできるだけ少ないほうが望ましい。

0017

このため、術者である医師本人が、腸内を撮影した各画像についてどのような意図で撮影したものであるかを頭で覚えておいて、術後にその記憶をもとに検査記録を記載することが考えられる。ところが、1回の内視鏡検査で撮影される画像は数十枚になることもあり、各画像がどのような意図で撮影したものであるかを医師が覚えきれない場合がある。

0018

そこで、本実施の形態では、内視鏡検査等において撮像された複数の腸内画像を時系列順に表示する際に、術中に外科的処置診断薬剤投与等の診療行為が行われた際に撮像された腸内画像を特定可能に表示する表示制御方法について説明する。

0019

例えば、情報処理装置101は、撮像装置102により撮像された複数の撮像画像を時系列順に表示する際に、撮像装置102の腸内への挿入中に測定された発話の音圧レベルを示すデータを時系列順であって、複数の撮像画像に隣接する位置に並列表示する。ここで、音圧レベルは、音圧の大きさを表す値であり、例えば、基準値との比の常用対数によって表現される(単位:[dB])。

0020

すなわち、情報処理装置101は、術者である医師、あるいは術者をサポートする助手看護師等が術中に発した声の音圧レベルを示すデータを時系列順に表示する。例えば、鎮静剤注射や電気メスによるポリープ切除などの診療行為を行うときは、術者が、声に出して、その旨を説明したり、助手や看護師に指示したりすることがある。また、腸内の検査対象となる部位が変わるときは、声に出して、その旨を伝えたりする。

0021

また、情報処理装置101は、複数の撮像画像を時系列順に表示する際に、撮像装置102の腸内への挿入中に測定されたバイタルデータを時系列順に並列表示することにしてもよい。バイタルデータは、例えば、患者の体温心拍脈拍血圧などのバイタルサインを示す情報である。

0022

図1の例では、大腸内視鏡検査において撮像装置102により撮像された撮像画像121〜124と、撮像装置102の腸内への挿入中に測定されたバイタルデータ130とが時系列順にディスプレイ120に並列表示されている。バイタルデータ130は、患者の心拍数時系列変化を示すグラフである。

0023

また、撮像装置102の腸内への挿入中に測定された発話の音圧レベルの時系列変化を示す音圧レベルデータ140が、撮像画像121〜124およびバイタルデータ130と時間軸図1中、「TIME」)を合わせてディスプレイ120に並列表示されている。なお、ディスプレイ120は、情報処理装置101が有していてもよく、また、情報処理装置101に接続される他のコンピュータが有していてもよい。

0024

音圧レベルデータ140によれば、ユーザは、音圧レベルが高くなっている時期を、術中に医師等が発話したタイミングとして特定することができる。そして、ユーザは、医師等が発話したタイミングを何らかの診療行為が行われたタイミングと推定して、当該タイミングに撮像された腸内画像を特定することができる。

0025

図1の例では、時期141は、電気メスによるポリープ切除が行われたタイミングであり、術者が当該診療行為にかかる発言をしたため、時期141の音圧レベルが高くなっている。このため、ユーザは、時期141に対応する撮像画像122が、診療行為が行われた際に撮像された腸内画像であると推定することができる。

0026

また、ユーザは、バイタルデータ130を参照することにより、各撮像画像121〜124が撮像された際の心拍数を確認することができる。例えば、ユーザは、撮像画像122が撮像された際の患者の心拍数が高くなっていることがわかり、電気メスの使用や使用時間等が適切であったのかといったことの判断に役立てることができる。

0027

また、上述した説明では、撮像画像121〜124を時系列順に表示する際に、発話の音圧レベルの時系列変化を示す音圧レベルデータ140を並列表示することにしたが、これに限らない。例えば、術者が、医療行為を行うにあたり、助手や看護師に説明したり指示したりする場合、ささやくような声ではなく、はっきりとした声を出すことが想定される。

0028

そこで、情報処理装置101は、複数の撮像画像を時系列順に表示する際に、撮像装置102の腸内への挿入中に測定された発話の音圧レベルが、所定の基準を超える時期に対応する撮像画像を特定可能に表示することにしてもよい。所定の基準は、任意に設定可能であり、例えば、50〜60[dB]程度の値に設定される。

0029

また、術者が、医療行為を行うにあたり、助手や看護師に説明したり指示したりする場合、専門の医学用語を使うことが想定される。術中に使用される医学用語としては、例えば、電気メスやシリンジポンプなどの医療機器名称や、上行結腸横行結腸下行結腸などの腸内の部位の名称などが挙げられる。

0030

そこで、情報処理装置101は、複数の撮像画像を時系列順に表示する際に、撮像装置102の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期に対応する撮像画像を特定可能に表示することにしてもよい。所定のキーワードは、任意に設定可能であり、例えば、医学用語辞書登録されている用語であってもよく、また、医療現場で頻繁に使用される用語をピックアップしたものであってもよい。

0031

一例として、時期141の音圧レベルが所定の基準を超える場合を想定する。この場合、情報処理装置101は、図1中の吹き出し部分(符号150)に示すように、時期141に対応する撮像画像122を、所定の表示枠151で囲って判別可能に表示してもよいし、表示枠150を点滅表示させることにしてもよい。これにより、術中に行われた診療行為に対応する腸内画像を特定可能にすることができる。

0032

(医療支援システム200のシステム構成例)
つぎに、実施の形態にかかる医療支援システム200のシステム構成例について説明する。医療支援システム200は、医療機関における医療を支援するコンピュータシステムである。医療機関は、例えば、病院診療所などである。

0033

図2は、医療支援システム200のシステム構成例を示す説明図である。図2において、医療支援システム200は、情報処理装置101と、内視鏡システム201と、生体情報モニタ202と、シリンジポンプ203と、電気メス204と、送気装置205と、を含む。医療支援システム200において、情報処理装置101、内視鏡システム201、生体情報モニタ202、シリンジポンプ203、電気メス204および送気装置205は、有線又は無線ネットワーク210を介して接続される。ネットワーク210は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどである。

0034

ここで、情報処理装置101は、患者DB(Database)220、撮像画像DB230、バイタルサインDB240、投与薬剤DB250、音声DB260および機器使用状況DB270を有する。情報処理装置101は、例えば、医療従事者が使用するPC(Personal Computer)、タブレットPCなどであってもよく、また、サーバであってもよい。医療従事者は、例えば、医師や看護師である。

0035

また、情報処理装置101は、マイクロフォン206を有する。マイクロフォン206は、音を電気信号に変換する機器である。マイクロフォン206は、内視鏡検査を行う術者(例えば、執刀医)、術者をサポートする助手(例えば、介助医、麻酔医)、あるいは、看護師によって使用される。マイクロフォン206は、例えば、Bluetooth(登録商標)などの近距離無線通信により装置本体と無線接続される。また、マイクロフォン206は、例えば、タイピン型のものであってもよく、また、ヘッドセット型のものであってもよい。

0036

なお、各種DB220,230,240,250,260,270の記憶内容については、図4図9を用いて後述する。

0037

内視鏡システム201は、内視鏡装置280と、制御装置290と、を含む。内視鏡装置280は、制御装置290と接続されており、操作部281と、挿入部282とを含む。操作部281には、ワイヤによって挿入部282の先端部とつながれたアングルノブや、シャッタータン、送気・送水ボタン吸引ボタン等の各種ボタンが設けられている。

0038

例えば、医師は、操作部281のアングルノブを操作して、挿入部282の先端部を体内に挿入し、挿入部282の先端部分を上下、左右に曲げることで体腔内を360度観察することができる。また、医師は、操作部281のシャッターボタンを押下することで、腸内を撮像することができる。

0039

また、挿入部282は、腸内に挿入される部分である。挿入部282の先端部には、腸内を撮像するカメラ283や、不図示の照明レンズ、送気・送水ノズル鉗子口などが設けられる。送気・送水ノズルには、不図示の送気・送水チューブが接続され、送気・送水ボタンの操作に応じて、送気・送水ノズルからガスや水が噴射される。

0040

また、鉗子口には、不図示の鉗子チューブが接続され、操作部281に設けられる鉗子挿入部284から鉗子チューブを介して鉗子、電気メス(例えば、電気メス204)等の処置具導出することができる。図1に示した内視鏡110は、例えば、内視鏡装置280に対応する。

0041

制御装置290は、モニタ291を有するコンピュータであり、挿入部282に光を供給したり、カメラ283の撮像素子が捉えた電気信号を映像信号に変換してモニタ291に表示したりする。また、制御装置290は、カメラ283により撮像された撮像画像を情報処理装置101に送信する。

0042

生体情報モニタ202は、患者のバイタルサインをモニタリングする装置である。バイタルサインは、例えば、患者の心電図、体温、心拍、脈拍、血圧などである。シリンジポンプ203は、点滴静脈注射を行う際に使用される医療機器である。電気メス204は、高周波電流を利用して操作する外科用メスである。送気装置205は、ガス(例えば、炭酸ガス)を送気する装置であり、消化器管腔内を観察する際に使用される。

0043

なお、図2の例では、情報処理装置101と内視鏡システム201とを別体に設けることにしたが、これに限らない。例えば、情報処理装置101は、内視鏡システム201の制御装置290により実現することにしてもよい。また、図2の例では、情報処理装置101がマイクロフォン206を有することにしたが、これに限らない。例えば、情報処理装置101と接続される他のコンピュータがマイクロフォン206を有することにしてもよい。この場合、情報処理装置101は、マイクロフォン206で受音された音声データを他のコンピュータから取得する。

0044

(情報処理装置101のハードウェア構成例)
図3は、情報処理装置101のハードウェア構成例を示すブロック図である。図3において、情報処理装置101は、CPU(Central Processing Unit)301と、メモリ302と、ディスクドライブ303と、ディスク304と、I/F(Interface)305と、ディスプレイ306と、入力装置307と、スピーカ308と、マイクロフォン206と、を有する。また、各構成部はバス300によってそれぞれ接続される。

0045

ここで、CPU301は、情報処理装置101の全体の制御を司る。メモリ302は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU301のワークエリアとして使用される。メモリ302に記憶されるプログラムは、CPU301にロードされることで、コーディングされている処理をCPU301に実行させる。

0046

ディスクドライブ303は、CPU301の制御に従ってディスク304に対するデータのリードライトを制御する。ディスク304は、ディスクドライブ303の制御で書き込まれたデータを記憶する。ディスク304としては、例えば、磁気ディスク光ディスクなどが挙げられる。

0047

I/F305は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他のコンピュータ(例えば、図2に示した内視鏡システム201の制御装置290、生体情報モニタ202、シリンジポンプ203、電気メス204、送気装置205)に接続される。そして、I/F305は、ネットワーク210と自装置内部とのインターフェースを司り、他の装置からのデータの入出力を制御する。

0048

ディスプレイ306は、カーソルアイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ306として、例えば、液晶ディスプレイ有機EL(electroluminescence)ディスプレイ、CRT(Cathode Ray Tube)などを採用することができる。図1に示したディスプレイ120は、例えば、ディスプレイ306に対応する。

0049

入力装置307は、文字数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置307は、キーボードマウスなどであってもよく、また、タッチパネル式入力パッドテンキーなどであってもよい。スピーカ308は、電気信号を音声に変換する装置である。マイクロフォン206は、上述したように、音を電気信号に変換する機器であり、例えば、タイピン型のものであってもよく、また、ヘッドセット型のものであってもよい。

0050

(各種DB220,230,240,250,260,270の記憶内容)
つぎに、図4図9を用いて、情報処理装置101が有する各種DBの記憶内容について説明する。各種DBは、例えば、図3に示したメモリ302、ディスク304などの記憶装置により実現される。

0051

図4は、患者DB220の記憶内容の一例を示す説明図である。図4において、患者DB220は、検査ID、患者名、性別血液型身長/体重および年齢フィールドを有し、各フィールドに情報を設定することで、患者情報(例えば、患者情報400−1〜400−3)をレコードとして記憶する。

0052

ここで、検査ID(identification)は、内視鏡検査を一意識別する識別子である。患者名は、患者の氏名である。性別は、患者の性別である。血液型は、患者の血液型である。身長/体重は、患者の身長[cm]/体重[kg]である。年齢は、患者の年齢である。

0053

図5は、撮像画像DB230の記憶内容の一例を示す説明図である。図5において、撮像画像DB230は、検査ID、術者ID、画像取得部位、撮像日時および撮像画像のフィールドを有し、各フィールドに情報を設定することで、撮像画像情報(例えば、撮像画像情報500−1〜500−5)をレコードとして記憶する。

0054

ここで、検査IDは、内視鏡検査を一意に識別する識別子である。術者IDは、内視鏡検査の術者を一意に識別する識別子である。画像取得部位は、撮像画像に対応する腸内の部位である。撮像日時は、撮像画像が撮像された日時を示す。撮像画像は、内視鏡検査において撮像された腸内画像の画像データである。

0055

図6は、バイタルサインDB240の記憶内容の一例を示す説明図である。図6において、バイタルサインDB240は、検査ID、取得日時、心拍数、拡張期血圧値収縮期血圧値および酸素飽和度のフィールドを有し、各フィールドに情報を設定することで、バイタルデータ(例えば、バイタルデータ600−1,600−2)をレコードとして記憶する。

0056

ここで、検査IDは、内視鏡検査を一意に識別する識別子である。取得日時は、各種バイタルサインの情報を取得した日時である。心拍数は、患者の心拍数である。拡張期血圧値は、患者の拡張期血圧の値である。収縮期血圧値は、患者の収縮期血圧の値である。酸素飽和度は、患者の血液中の酸素飽和度である。

0057

なお、図示は省略するが、バイタルサインDB240内の各バイタルデータには、患者の体温、脈拍、中心静脈圧出血量、血液中のpH、重炭酸イオン濃度などの情報が含まれていてもよい。

0058

図7は、投与薬剤DB250の記憶内容の一例を示す説明図である。図7において、投与薬剤DB250は、検査ID、ポンプ名、薬剤名、投与開始日時、投与終了日時および流量のフィールドを有し、各フィールドに情報を設定することで、薬剤情報(例えば、薬剤情報700−1,700−2)をレコードとして記憶する。

0059

ここで、検査IDは、内視鏡検査を一意に識別する識別子である。ポンプ名は、シリンジポンプ203の名称である。薬剤名は、シリンジポンプ203を使用して投与した薬剤の名称である。投与開始日時は、薬剤の投与を開始した日時である。投与終了日時は、薬剤の投与を終了した日時である。流量は、薬剤の投与量[mL/h]である。

0060

図8は、音声DB260の記憶内容の一例を示す説明図である。図8において、音声DB260は、検査ID、検査日記録開始日時記録終了日時およびデータ格納パスのフィールドを有し、各フィールドに情報を設定することで、音声情報(例えば、音声情報800−1〜800−3)をレコードとして記憶する。

0061

ここで、検査IDは、内視鏡検査を一意に識別する識別子である。検査日は、内視鏡検査が実施された日である。記録開始日時は、内視鏡検査における音声データおよび音圧レベルデータの記録を開始した日時である。記録終了日時は、内視鏡検査における音声データおよび音圧レベルデータの記録を終了した日時である。

0062

データ格納パスは、音声データ、および当該音声データに対応する音圧レベルデータの格納場所を示す。音声データは、内視鏡検査において測定された発話の内容を示す情報である。音圧レベルデータは、内視鏡検査において測定された発話の音圧レベルを示す情報である。音声データおよび音圧レベルデータは、例えば、同じタイミングで測定される。

0063

なお、音声データおよび音圧レベルデータには、当該音声データおよび当該音圧レベルデータを記録した対象者(例えば、術者、助手、看護師)を一意に識別する識別子(例えば、術者ID、助手ID、看護師ID)が付与される。

0064

図9は、機器使用状況DB270の記憶内容の一例を示す説明図である。図9において、機器使用状況DB270は、検査ID、医療機器名、使用開始日時および使用終了日時のフィールドを有し、各フィールドに情報を設定することで、使用状況情報(例えば、使用状況情報900−1,900−2)をレコードとして記憶する。

0065

ここで、検査IDは、内視鏡検査を一意に識別する識別子である。医療機器名は、内視鏡検査において使用された医療機器(例えば、電気メス204、送気装置205)の名称である。使用開始日時は、医療機器の使用を開始した日時である。使用終了日時は、医療機器の使用が終了した日時である。

0066

(情報処理装置101の機能的構成例)
図10は、情報処理装置101の機能的構成例を示すブロック図である。図10において、情報処理装置101は、取得部1001と、表示制御部1002と、受付部1003と、音声制御部1004と、を含む構成である。取得部1001〜音声制御部1004は制御部となる機能であり、具体的には、例えば、図3に示したメモリ302、ディスク304などの記憶装置に記憶されたプログラムをCPU301に実行させることにより、又は、I/F305により、その機能を実現する。各機能部の処理結果は、例えば、メモリ302、ディスク304などの記憶装置に記憶される。

0067

取得部1001は、腸内に挿入され、腸内画像を撮像するカメラ283(図2参照)により撮像された撮像画像を取得する。具体的には、例えば、取得部1001は、カメラ283によって撮像画像が撮像される度に、内視鏡システム201の制御装置290から当該撮像画像を取得する。

0068

取得された撮像画像は、例えば、図5に示した撮像画像DB230に記憶される。具体的には、例えば、取得部1001は、取得した撮像画像にタイムスタンプを付与し、検査ID、術者IDおよび画像取得部位と対応付けて撮像画像DB230に記憶する。このタイムスタンプは、撮像画像の撮像日時を示すものであり、例えば、取得部1001が撮像画像を取得したときの日時(日本標準時)を示す。

0069

これにより、新たな撮像画像情報が撮像画像DB230に登録される。なお、検査ID、術者IDおよび画像取得部位は、例えば、図3に示した入力装置307を用いたユーザの操作入力により入力される。また、撮像画像に対応する腸内の部位を特定できない場合は、例えば、画像取得部位に「−(null)」が設定される。

0070

また、取得部1001は、バイタルデータを取得する。ここで、バイタルデータは、患者の心拍数、拡張期血圧値、収縮期血圧値、酸素飽和度、体温、脈拍、中心静脈圧、出血量などのバイタルサインを示す情報である。具体的には、例えば、取得部1001は、カメラ283の腸内への挿入中に測定されたバイタルデータを、生体情報モニタ202(図2参照)から定期的に取得する。

0071

取得されたバイタルデータは、例えば、図6に示したバイタルサインDB240に記憶される。具体的には、例えば、取得部1001は、取得したバイタルデータにタイムスタンプを付与し、検査IDと対応付けてバイタルサインDB240に記憶する。このタイムスタンプは、バイタルデータの取得日時を示すものであり、例えば、取得部1001がバイタルデータを取得したときの日時(日本標準時)を示す。これにより、新たなバイタルデータがバイタルサインDB240に登録される。なお、検査IDは、例えば、入力装置307を用いたユーザの操作入力により入力される。

0072

また、取得部1001は、患者に投与された薬剤に関する薬剤情報を取得する。ここで、薬剤情報は、例えば、ポンプ名、薬剤名、投与開始日時、投与終了日時および流量を含む。具体的には、例えば、取得部1001は、カメラ283の腸内への挿入中に投与された薬剤に関する薬剤情報を、シリンジポンプ203(図2参照)から取得する。取得された薬剤情報は、例えば、図7に示した投与薬剤DB250に記憶される。これにより、新たな薬剤情報が投与薬剤DB250に登録される。

0073

また、取得部1001は、マイクロフォン206から入力される音声の音声データおよび音圧レベルデータを取得する。具体的には、例えば、取得部1001は、カメラ283の腸内への挿入中にマイクロフォン206から入力された発話の音声データを取得する。また、取得部1001は、カメラ283の腸内への挿入中に測定された発話の音圧レベルの時系列変化を示す音圧レベルデータを取得する。

0074

取得された音声データおよび音圧レベルデータは、例えば、メモリ302、ディスク304などの記憶装置に記憶される。また、取得された音声データおよび音圧レベルデータに関する情報(検査ID、検査日、記録開始/終了日時、データ格納パス等)は、例えば、図8に示した音声DB260に記憶される。これにより、新たな音声情報が音声DB260に登録される。

0075

また、取得部1001は、医療機器の使用状況を示す使用状況情報を取得する。ここで、医療機器は、例えば、図2に示した電気メス204や送気装置205である。具体的には、例えば、取得部1001は、医療機器の使用が開始されたことを示す情報を当該医療機器から取得すると、そのときの日時を使用開始日時として、医療機器名と対応付けて機器使用状況DB270に記憶する。このあと、取得部1001は、医療機器の使用が終了したことを示す情報を当該医療機器から取得すると、そのときの日時を使用終了日時に設定する。これにより、新たな使用状況情報が機器使用状況DB270に登録される。

0076

表示制御部1002は、腸内に挿入され、腸内画像を撮像するカメラ283によって撮像された複数の撮像画像を時系列順に表示する。具体的には、例えば、表示制御部1002は、撮像画像DB230を参照して、指定された検査IDに対応する複数の撮像画像を時系列順にディスプレイ306に表示する。検査IDの指定は、例えば、入力装置307を用いたユーザの操作入力により行われる。

0077

以下の説明では、指定された検査IDに対応する複数の撮像画像を、撮像日時が早い順に「撮像画像P1〜Pn」と表記する場合がある。また、撮像画像P1〜Pnのうちの任意の撮像画像を「撮像画像Pi」と表記する場合がある(i=1,2,…,n)。

0078

また、表示制御部1002は、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に測定されたバイタルデータを時系列順に並列表示することにしてもよい。具体的には、例えば、表示制御部1002は、バイタルサインDB240を参照して、指定された検査IDに対応するバイタルデータを時系列順にディスプレイ306に並列表示する。

0079

これにより、内視鏡検査等において各撮像画像P1〜Pnが撮像された際の患者のバイタルサインを特定可能に表示することができる。なお、バイタルデータの表示例については、後述の図11に示す統合ビュー画面1100において説明する。

0080

また、表示制御部1002は、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に測定された発話の音圧レベルを示すデータを時系列順であって、撮像画像P1〜Pnに隣接する位置に並列表示することにしてもよい。

0081

具体的には、例えば、表示制御部1002は、音声DB260内の指定された検査IDに対応するデータ格納パスを参照して、音圧レベルデータを取得する。この音圧レベルデータは、指定された検査IDの内視鏡検査において測定された発話の音圧レベルの時系列変化を示す情報である。そして、表示制御部1002は、取得した音圧レベルデータを、複数の撮像画像に隣接する位置に並列表示する。

0082

これにより、内視鏡検査等において何らかの音声イベント(例えば、所見、指示、説明等)が生じたタイミングを特定可能に表示することができる。なお、音圧レベルデータの表示例については、後述の図11に示す統合ビュー画面1100において説明する。

0083

また、表示制御部1002は、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に薬剤が投与された期間(以下、「薬剤投与期間」という)を示す情報を並列表示することにしてもよい。具体的には、例えば、表示制御部1002は、投与薬剤DB250を参照して、指定された検査IDに対応する薬剤情報から特定される薬剤投与期間を示す情報をディスプレイ306に並列表示する。薬剤投与期間を示す情報は、例えば、薬剤投与期間の時間幅を表す図形である。

0084

これにより、内視鏡検査等において薬剤が投与された期間を特定可能に表示することができる。なお、薬剤投与期間を示す情報の表示例については、後述の図11に示す統合ビュー画面1100において説明する。

0085

また、表示制御部1002は、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に医療機器が使用された期間(以下、「機器使用期間」という)を示す情報を並列表示することにしてもよい。具体的には、例えば、表示制御部1002は、機器使用状況DB270を参照して、指定された検査IDに対応する使用状況情報から特定される機器使用期間を示す情報をディスプレイ306に並列表示する。機器使用期間を示す情報は、例えば、機器使用期間の時間幅を表す図形である。

0086

これにより、内視鏡検査等において医療機器が使用された期間を特定可能に表示することができる。なお、機器使用期間を示す情報の表示例については、後述の図11に示す統合ビュー画面1100において説明する。

0087

また、表示制御部1002は、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期Tに対応する撮像画像を特定可能に表示することにしてもよい。ここで、所定の基準は、任意に設定可能であり、例えば、50〜60[dB]程度の値に設定される。

0088

具体的には、例えば、表示制御部1002は、音声DB260内の指定された検査IDに対応するデータ格納パスを参照して、音圧レベルデータを取得する。なお、検査IDに対応する音圧レベルデータが複数存在する場合がある。この場合、表示制御部1002は、検査IDに対応する全ての音圧レベルデータを取得してもよく、また、特定のユーザ(例えば、術者)に対応する音圧レベルデータを取得してもよい。

0089

そして、表示制御部1002は、取得した音圧レベルデータを参照して、音圧レベルが所定の基準を超える時期Tを特定する。時期Tは、ある時点、又は、ある時間幅の期間である。時期Tに、複数の異なる期間が含まれていてもよい。つぎに、表示制御部1002は、撮像画像P1〜Pnのうち時期Tに対応する撮像画像を特定する。

0090

ここで、時期Tに対応する撮像画像は、時期Tに撮像日時が含まれる撮像画像であってもよく、また、時期Tを含む所定の期間、例えば、時期Tの前後数十秒を含む期間に撮像日時が含まれる撮像画像であってもよい。さらに、時期Tに対応する撮像画像は、時期Tの直前あるいは直後に撮像された撮像画像であってもよい。

0091

そして、表示制御部1002は、撮像画像P1〜Pnを時系列順に表示する際に、特定した撮像画像を特定可能に表示する。具体的には、例えば、表示制御部1002は、特定した撮像画像を、他の撮像画像の表示態様とは異なる表示態様で表示する。より具体的には、例えば、表示制御部1002は、特定した撮像画像を、他の撮像画像とは異なる表示枠で囲って表示することにしてもよい。

0092

これにより、発話の音圧レベルが所定の基準を超える時期Tに対応する撮像画像を特定可能に表示することができる。

0093

また、表示制御部1002は、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期Tに対応する撮像画像を特定可能に表示することにしてもよい。ここで、所定のキーワードは、任意に設定可能であり、例えば、医学用語辞書に登録されている用語であってもよく、また、医療現場で頻繁に使用される用語をピックアップしたものであってもよい。一例を挙げると、検査実施中に使用される医療機器の名称や腸内の部位の名称などが所定のキーワードとして設定される。

0094

具体的には、例えば、表示制御部1002は、音声DB260内の指定された検査IDに対応するデータ格納パスを参照して、音声データを取得する。なお、検査IDに対応する音声データが複数存在する場合がある。この場合、表示制御部1002は、検査IDに対応する全ての音声データを取得してもよく、また、特定のユーザ(例えば、術者)に対応する音声データを取得してもよい。

0095

そして、表示制御部1002は、取得した音声データを音声認識処理することにより、所定のキーワードを検出する。音声認識技術としては、既存のいかなる技術を用いることにしてもよく、例えば、ワードスポッティングサブワード法などにより、音声データを単語に変換する技術を用いることにしてもよい。より具体的には、例えば、表示制御部1002は、音声データを音声認識処理して得られるいずれかの単語が、所定のキーワードを示す場合に、当該キーワードを検出する。

0096

つぎに、表示制御部1002は、検出した所定のキーワードが発せられたタイミングを時期Tとして特定し、撮像画像P1〜Pnのうちの時期Tに対応する撮像画像を特定する。そして、表示制御部1002は、撮像画像P1〜Pnを時系列順に表示する際に、特定した撮像画像を特定可能に表示する。

0097

これにより、発話の内容に所定のキーワードが検出された時期Tに対応する撮像画像を特定可能に表示することができる。

0098

また、表示制御部1002は、発話の音圧レベルを示すデータを時系列順に表示する際に、発話の内容に特定のキーワードが検出された箇所にインデックス情報を表示することにしてもよい。ここで、特定のキーワードは、任意に設定可能であり、例えば、術中に頻繁に使用される用語をピックアップしたものであってもよい。

0099

一例を挙げると、内視鏡検査を実施中に使用される「ポリープ」、「異常」、「切除」などが特定のキーワードとして設定される。また、インデックス情報は、特定のキーワードが検出されたことを示す情報であり、例えば、特定のキーワードを示す文字列やアイコンなどであってもよい。

0100

具体的には、例えば、表示制御部1002は、指定された検査IDに対応する音声データを取得する。この際、検査IDに対応する音声データが複数存在する場合には、表示制御部1002は、検査IDに対応する全ての音声データを取得してもよく、また、特定のユーザ(例えば、術者)に対応する音声データを取得してもよい。

0101

そして、表示制御部1002は、取得した音声データを音声認識処理することにより、特定のキーワードを検出する。より具体的には、例えば、表示制御部1002は、音声データを音声認識処理して得られるいずれかの単語が、特定のキーワードを示す場合に、当該キーワードを検出する。

0102

つぎに、表示制御部1002は、指定された検査IDに対応する音圧レベルデータのうち、特定のキーワードが検出された箇所を特定する。そして、表示制御部1002は、音圧レベルデータを表示する際に、特定した箇所に、特定のキーワードが検出されたことを示すインデックス情報を表示する。

0103

これにより、発話の内容に特定のキーワードが検出されたタイミングを特定可能に表示することができる。なお、インデックス情報の表示例については、図13を用いて後述する。

0104

受付部1003は、表示されたインデックス情報の指定を受け付ける。具体的には、例えば、受付部1003は、入力装置307を用いたユーザの操作入力により、インデックス情報の指定を受け付ける。

0105

音声制御部1004は、インデックス情報の指定に応じて、カメラ283の腸内への挿入中に測定された発話の音声データを、特定のキーワードが検出された箇所に対応する部分から再生する。具体的には、例えば、音声制御部1004は、指定された検査IDに対応する音声データを、特定のキーワードが検出された時点、あるいは、特定のキーワードが検出される直前の時点から再生する。

0106

これにより、内視鏡検査等において術者等により特定のキーワードが発せられたタイミングを見計らって音声を再生することができる。

0107

受付部1003は、時刻tの指定を受け付ける。ここで、時刻tは、内視鏡検査中のいずれかの時刻である。具体的には、例えば、受付部1003は、スライド可能な時刻指定バーにより、時刻tの指定を受け付けることにしてもよい。なお、時刻指定バーの表示例については、後述の図11に示す統合ビュー画面1100において説明する。

0108

また、表示制御部1002は、時刻tの指定に応じて、撮像画像P1〜Pnのうち指定された時刻tに対応する撮像画像を表示するとともに、指定された時刻tに対応するバイタル値を表示する操作画面を表示する。さらに、表示制御部1002は、時刻tに投与されている薬剤の情報(例えば、薬剤名、流量)や、時刻tに使用されている医療機器の情報(例えば、医療機器名)を操作画面内に表示することにしてもよい。

0109

この際、表示制御部1002は、少なくとも時刻tに対応する撮像画像の前後の撮像画像の撮像タイミングの間に挟まれる時間帯に取得された発話音声再生指示を受け付け可能な操作画面を表示することにしてもよい。また、表示制御部1002は、少なくとも指定された時刻tを基準に特定した時間幅内に取得された発話音声の再生指示を受け付け可能な操作画面を表示することにしてもよい。

0110

ここで、時刻tに対応する撮像画像は、例えば、撮像画像P1〜Pnのうち、撮像日時が時刻tに最も近い撮像画像であってもよい。また、時刻tに対応する撮像画像は、時刻tを基準に特定される時間幅内、例えば、時刻tの前後数十秒を含む期間内に撮像日時が含まれる撮像画像であってもよい。

0111

時刻tに対応するバイタル値は、例えば、バイタルサインDB240内の指定された検査IDに対応するバイタルデータのうち、取得日時が時刻tに最も近いバイタルデータから特定されるバイタルサインの値であってもよい。また、時刻tに対応するバイタル値は、時刻tを基準に特定される時間幅内、例えば、時刻tの前後数十秒を含む期間内に取得日時が含まれるバイタルデータから特定されるバイタルサインの値であってもよい。

0112

より具体的には、例えば、時刻tに対応するバイタル値は、取得日時が時刻tに最も近いバイタルデータが示す各種バイタルサインの値であってもよい。また、時刻tに対応するバイタル値は、時刻tを基準に特定される時間幅内に取得日時が含まれるバイタルデータが示す各種バイタルサインの最大値又は最小値又は平均値のいずれかの値であってもよい。

0113

また、時刻tに対応する撮像画像の前後の撮像画像の撮像タイミングの間に挟まれる時間帯は、例えば、撮像日時が時刻tに最も近い撮像画像Piの直前に撮像された撮像画像P(i−1)の撮像日時から、撮像画像P(i+1)の撮像日時までの時間帯である。また、時刻tを基準に特定した時間幅は、例えば、時刻tの前後数秒あるいは前後数十秒を含む時間幅である。

0114

具体的には、例えば、表示制御部1002は、時刻tの指定に応じて、図12に示すようなスポットビュー画面1200をディスプレイ306に表示することにしてもよい。

0115

(統合ビュー画面1100の画面例)
つぎに、情報処理装置101のディスプレイ306に表示される統合ビュー画面1100の画面例について説明する。ここでは、検査ID「T3」が指定された場合を例に挙げて、統合ビュー画面1100の画面例について説明する。

0116

図11は、統合ビュー画面1100の画面例を示す説明図である。図11において、統合ビュー画面1100は、VITAL欄1101と、BG欄1102と、VENT欄1103と、RadioKnife欄1104と、Sound欄1105と、CAM欄1106と、S−POMP1欄1107と、S−POMP2欄1108と、POMP1欄1109と、POMP2欄1110と、Blood欄1111と、を含む。なお、統合ビュー画面1100では、左から右に時間が経過しているものとする。

0117

VITAL欄1101には、バイタルサインDB240内の検査ID「T3」に対応するバイタルデータに基づくグラフ1121,1122が表示されている。グラフ1121は、収縮期血圧値の時系列変化を示す。また、グラフ1122は、拡張期血圧値の時系列変化を示す。

0118

BG欄1102には、バイタルサインDB240内の検査ID「T3」に対応するバイタルデータに基づくグラフ1123が表示されている。グラフ1123は、血液中の酸素飽和度の時系列変化を示す。なお、BG欄1102には、血液中のpHや重炭酸イオン濃度の時系列変化を示すグラフをさらに表示することにしてもよい。

0119

VENT欄1103およびRadioKnife欄1104には、機器使用状況DB270内の検査ID「T3」に対応する使用状況情報に基づくグラフ1124,1125が表示されている。グラフ1124は、送気装置205が使用されている期間(一対の使用開始日時から使用終了日時までの期間)を示す。また、グラフ1125は、電気メス204が使用されている期間を示す。

0120

Sound欄1105には、音声DB260内の検査ID「T3」に対応する音声情報に基づくグラフ1126が表示されている。グラフ1126は、音圧レベルの時系列変化を示す。CAM欄1106には、撮像画像DB230内の検査ID「T3」に対応する撮像画像P1〜P14が時系列順に表示されている。

0121

S−POMP1欄1107、S−POMP2欄1108、POMP1欄1109およびPOMP2欄1110には、投与薬剤DB250内の検査ID「T3」に対応する薬剤情報に基づくグラフ1127〜1130が表示されている。グラフ1127は、ポンプ名「S−POMP1」のシリンジポンプを使用して薬剤が投与された期間(一対の投与開始日時から投与終了日時までの期間)を示す。グラフ1128は、ポンプ名「S−POMP2」のシリンジポンプを使用して薬剤が投与された期間を示す。グラフ1129は、ポンプ名「POMP1」の輸液ポンプを使用して薬剤が投与された期間を示す。グラフ1130は、ポンプ名「POMP2」の輸液ポンプを使用して薬剤が投与された期間を示す。

0122

Blood欄1111には、グラフ1131が表示されている。グラフ1131は、出血量の時系列変化を示す。なお、患者の出血量を示す情報は、例えば、バイタルサインDB240内の検査ID「T3」に対応するバイタルデータに含まれる。なお、統合ビュー画面1100において、各欄1101〜1111内の情報は、時間軸を合わせて表示されている。

0123

統合ビュー画面1100によれば、ユーザは、内視鏡検査において撮像された撮像画像P1〜P14とともに、検査実施中のバイタル値や音圧レベルの時系列変化を一括して確認することができる。また、ユーザは、検査実施中に薬剤が投与された期間や医療機器が使用された期間についても合わせて確認することができる。

0124

なお、情報処理装置101は、発話の内容に特定のキーワードが検出された場合には、特定のキーワードが検出されたグラフ1126上の箇所に、特定のキーワードが検出されたことを示すインデックス情報を表示してもよい。

0125

また、統合ビュー画面1100において、図3に示した入力装置307を用いて、スライド可能な時刻指定バーBを移動させることにより、時刻tの指定を行うことができる。具体的には、例えば、時刻指定バーBを所望の位置に移動させた後に、所定の操作(例えば、マウスを左クリック)を行うと、図12に示すようなスポットビュー画面1200がポップアップ表示される。

0126

(スポットビュー画面1200の画面例)
ここで、情報処理装置101のディスプレイ306に表示されるスポットビュー画面1200の画面例について説明する。

0127

図12は、スポットビュー画面1200の画面例を示す説明図である。図12において、スポットビュー画面1200には、患者の患者情報(患者名、血液型、年齢、身長/体重等)とともに、図11に示した統合ビュー画面1100において指定された時刻tに対応する撮像画像P7が表示されている。撮像画像P7の上部に表示された日時は、撮像画像P7の撮像日時である。

0128

また、スポットビュー画面1200には、時刻tに対応するバイタル値として、HR「80」、ABP「118/76(91)」、SpO2「98」、CVP「8」およびTemp「36.5」が表示されている。なお、HRは、心拍数を示す。ABPは、観血血圧(収縮期血圧値/拡張期血圧値(平均))を示す。SpO2は、酸素飽和度を示す。CVPは、中心静脈圧を示す。Tempは、体温を示す。

0129

また、スポットビュー画面1200には、時刻tを基準に特定される時間幅(例えば、時刻tの前後数十秒を含む期間)内に取得された発話音声の音圧レベルの時系列変化を示すグラフ1201が表示されている。

0130

また、スポットビュー画面1200には、ポンプ名「S−POMP1」のシリンジポンプを使用して時刻tに投与されている薬剤の薬剤名「○○○」および流量「10.00[mL/h]」が表示されている。また、スポットビュー画面1200には、ポンプ名「POMP2」の輸液ポンプを使用して時刻tに投与されている薬剤の薬剤名「×××」および流量「10[mL/h]」が表示されている。

0131

スポットビュー画面1200によれば、ユーザは、指定した時刻tに対応する撮像画像P7が拡大表示されるため、腸内の細かい部分の状態を確認することができる。また、ユーザは、指定した時刻tに対応するバイタル値の詳細や、指定した時刻tに投与されている薬剤の詳細を確認することができる。

0132

また、スポットビュー画面1200には、時刻tを基準に特定される時間幅(例えば、時刻tの前後数十秒を含む期間)内に取得された発話音声の再生指示を受け付ける操作ボタンb1〜b4が表示されている。例えば、操作ボタンb3をクリックすると、時刻tを基準に特定される時間幅内に取得された発話音声を再生することができる。

0133

具体的には、例えば、情報処理装置101の音声制御部1004は、操作ボタンb3がクリックされると、検査ID「T3」に対応する音声データを取得し、不図示のスピーカから、時刻tを基準に特定される時間幅内に取得された発話音声を出力する。これにより、ユーザは、指定した時刻t付近の発話音声の内容を確認することができる。また、操作ボタンb1をクリックすると、発話音声の再生を停止することができる。また、操作ボタンb2,b4をクリックすると、発話音声の巻き戻し、早送りをすることができる。

0134

(インデックス情報の表示例)
つぎに、発話の内容に特定のキーワードが検出された場合に表示されるインデックス情報の表示例について説明する。

0135

図13は、インデックス情報の表示例を示す説明図である。図13において、グラフ1300は、図11に示したような統合ビュー画面1100に表示される音圧レベルの時系列変化を示すグラフを拡大表示したものである。グラフ1300上の特定のキーワードが検出された箇所には、操作ボタン1301〜1303およびインデックス情報1311〜1313がそれぞれ表示されている。

0136

ここで、インデックス情報1311は、特定のキーワード「ポリープ」が検出されたことを示す情報である。インデックス情報1312は、特定のキーワード「異常」が検出されたことを示す情報である。インデックス情報1313は、特定のキーワード「切除」が検出されたことを示す情報である。

0137

これにより、ユーザは、検査実施中に術者等が特定のキーワードを話した箇所を特定することができる。

0138

また、入力装置307を用いたユーザの操作入力により、操作ボタン1301〜1303のいずれかの操作ボタンをクリックすると、当該操作ボタンに対応する特定のキーワードが検出された箇所に対応する部分から音声データを再生することができる。例えば、操作ボタン1301をクリックすると、特定のキーワード「ポリープ」が検出された箇所に対応する部分から音声データを再生することができる。

0139

これにより、術者以外の者が検査実施後のレポート(検査記録)を作成する場合などに、レポートに記載すべきキーワードが検出された箇所の音声データをピンポイントで再生することができる。このため、例えば、レポート作成にあたり音声データを全て聞き直す場合に比べて、作成作業にかかる負荷および時間を軽減することができる。

0140

(情報処理装置101の表示制御処理手順)
つぎに、情報処理装置101の表示制御処理手順について説明する。

0141

図14および図15は、情報処理装置101の表示制御処理手順の一例を示すフローチャートである。図14のフローチャートにおいて、まず、情報処理装置101は、検査IDの指定を受け付けたか否かを判断する(ステップS1401)。ここで、情報処理装置101は、検査IDの指定を受け付けるのを待つ(ステップS1401:No)。

0142

そして、情報処理装置101は、検査IDの指定を受け付けた場合(ステップS1401:Yes)、患者DB220から、指定された検査IDに対応する患者情報を取得する(ステップS1402)。つぎに、情報処理装置101は、撮像画像DB230から、指定された検査IDに対応する撮像画像情報を取得する(ステップS1403)。

0143

つぎに、情報処理装置101は、バイタルサインDB240から、指定された検査IDに対応するバイタルデータを取得する(ステップS1404)。つぎに、情報処理装置101は、投与薬剤DB250から、指定された検査IDに対応する薬剤情報を取得する(ステップS1405)。

0144

つぎに、情報処理装置101は、音声DB260から、指定された検査IDに対応する音声情報を取得する(ステップS1406)。そして、情報処理装置101は、取得した音声情報のデータ格納パスを参照して、指定された検査IDに対応する音声データおよび音圧レベルデータを取得する(ステップS1407)。つぎに、情報処理装置101は、機器使用状況DB270から、指定された検査IDに対応する使用状況情報を取得する(ステップS1408)。

0145

そして、情報処理装置101は、ステップS1402〜S1408において取得した各種情報に基づいて、統合ビュー画面の画面情報を生成する(ステップS1409)。なお、統合ビュー画面の画面レイアウトは予め定められている。つぎに、情報処理装置101は、生成した画面情報に基づいて、統合ビュー画面をディスプレイ306に表示して(ステップS1410)、図15に示すステップS1501に移行する。

0146

図15のフローチャートにおいて、まず、情報処理装置101は、ステップS1410において表示した統合ビュー画面において、時刻tの指定を受け付けたか否かを判断する(ステップS1501)。ここで、情報処理装置101は、時刻tの指定を受け付けるのを待つ(ステップS1501:No)。

0147

そして、情報処理装置101は、時刻tの指定を受け付けた場合(ステップS1501:Yes)、時刻tに対応する撮像画像を特定する(ステップS1502)。つぎに、情報処理装置101は、時刻tに対応するバイタル値を特定する(ステップS1503)。つぎに、情報処理装置101は、時刻tに対応する薬剤情報を特定する(ステップS1504)。

0148

そして、情報処理装置101は、ステップS1502〜S1504において特定した各種情報に基づいて、スポットビュー画面の画面情報を生成する(ステップS1505)。なお、スポットビュー画面の画面レイアウトは予め定められている。つぎに、情報処理装置101は、生成した画面情報に基づいて、スポットビュー画面をディスプレイ306に表示して(ステップS1506)、本フローチャートによる一連の処理を終了する。

0149

これにより、内視鏡検査等の術中に撮像された撮像画像P1〜Pnとともに、術中に測定されたバイタルデータや音圧レベルデータ、術中に投与された薬剤の情報、術中に使用された医療機器の情報を一覧表示することができる。また、指定された時刻tにおける詳細情報をピックアップして表示することができる。

0150

以上説明したように、情報処理装置101によれば、腸内に挿入され、腸内画像を撮像するカメラ283によって取得された撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に測定されたバイタルデータを時系列順に並列表示することができる。これにより、内視鏡検査等において各撮像画像P1〜Pnが撮像された際の患者のバイタルサインを特定可能に表示することができる。

0151

また、情報処理装置101によれば、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に測定された発話の音圧レベルを示すデータを時系列順であって、撮像画像P1〜Pnに隣接する位置に並列表示することができる。これにより、内視鏡検査等において医師等が診療行為(例えば、外科的処置、診断、薬剤投与等)のために発話したタイミングを特定可能に表示することができる。このため、ユーザは、医師等が発話したタイミングから検査実施中に行われた診療行為に対応する腸内画像を特定することができる。

0152

また、情報処理装置101によれば、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期Tに対応する撮像画像を特定可能に表示することができる。これにより、内視鏡検査等において医師等が診療行為(例えば、外科的処置、診断、薬剤投与等)のために発話したタイミングを特定可能に表示することができる。

0153

また、情報処理装置101によれば、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期Tに対応する撮像画像を特定可能に表示することができる。これにより、内視鏡検査等において、予め登録された医学用語等を、医師等が診療行為のために発した時期Tに対応する撮像画像を特定可能に表示することができる。

0154

また、情報処理装置101によれば、時刻tの指定に応じて、撮像画像P1〜Pnのうち指定された時刻tに対応する撮像画像を表示するとともに、指定された時刻tに対応するバイタル値を表示する操作画面を表示することができる。時刻tに対応するバイタル値は、例えば、時刻tを基準に特定される時間幅内に取得日時が含まれるバイタルデータが示す各種バイタルサインの最大値又は最小値又は平均値のいずれかの値である。

0155

これにより、ユーザは、指定した時刻t、あるいは、時刻tの前後に撮像された撮像画像とともに、当該撮像画像が撮像された際の患者のバイタルサインの詳細を確認することができる。例えば、ユーザは、電気メス204によるポリープ切除が行われた際のバイタルサインの詳細を確認して、電気メス204の使用や使用時間等が適切であったのかといったことを判断することができる。

0156

また、情報処理装置101によれば、少なくとも時刻tに対応する撮像画像の前後の撮像画像の撮像タイミングの間に挟まれる時間帯に取得された発話音声の再生指示を受け付け可能な操作画面を表示することができる。

0157

これにより、ユーザは、指定した時刻tに対応する撮像画像の前後の撮像画像の撮像タイミングの間に挟まれる時間帯に取得された発話音声を再生することができる。このため、ユーザは、例えば、検査実施後のレポート作成を行う際に、外科的処置、診断、薬剤投与等の医療行為が行われたときの音声をピンポイントで再生することができる。

0158

また、情報処理装置101によれば、少なくとも指定された時刻tを基準に特定した時間幅内に取得された発話音声の再生指示を受け付け可能な操作画面を表示することができる。これにより、ユーザは、指定した時刻tを基準に特定した時間幅内に取得された発話音声を再生することができる。

0159

また、情報処理装置101によれば、スライド可能な時刻指定バーにより、時刻tの指定を受け付けることができる。これにより、ユーザは、時系列順に並列表示された撮像画像P1〜Pn、バイタルデータ、音圧レベルデータ等を参照しながら、時刻tの指定を簡単に行うことができる。

0160

また、情報処理装置101によれば、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に薬剤が投与された薬剤投与期間を示す情報を並列表示することができる。これにより、内視鏡検査等において薬剤が投与された期間を特定可能に表示することができる。このため、ユーザは、例えば、薬剤が投与された期間の患者のバイタルサインを確認して、薬剤の投与や投与量等が適切であったのかといったことを判断することができる。

0161

また、情報処理装置101によれば、撮像画像P1〜Pnを時系列順に表示する際に、カメラ283の腸内への挿入中に医療機器が使用された機器使用期間を示す情報を並列表示することができる。これにより、内視鏡検査等において医療機器が使用された期間を特定可能に表示することができる。このため、ユーザは、例えば、医療機器が使用された期間の患者のバイタルサインを確認して、医療機器の使用や使用時間等が適切であったのかといったことを判断することができる。

0162

また、情報処理装置101によれば、発話の音圧レベルを示すデータを時系列順に表示する際に、発話の内容に特定のキーワードが検出された箇所にインデックス情報を表示することができる。これにより、発話の内容に特定のキーワードが検出されたタイミングを特定可能に表示することができる。このため、ユーザは、例えば、検査実施後のレポート作成を行う際に、外科的処置、診断、薬剤投与等の医療行為のために医師等が発話したタイミングを特定することができる。

0163

また、情報処理装置101によれば、インデックス情報の指定に応じて、カメラ283の腸内への挿入中に測定された発話の音声データを、指定されたインデックス情報が示す特定のキーワードが検出された箇所に対応する部分から再生することができる。これにより、内視鏡検査等において術者等により特定のキーワードが発せられたタイミングを指定して音声を再生することができる。このため、ユーザは、例えば、検査実施後のレポート作成を行う際に、外科的処置、診断、薬剤投与等の医療行為が行われたときの音声をピンポイントで再生することができる。

0164

これらのことから、実施の形態にかかる情報処理装置101によれば、術中に撮像された撮像画像、術中に測定されたバイタル値、術中に投与された薬剤、術中に使用された医療機器の情報等を一覧表示することができる。これにより、術者が診療行為を行った結果、患者がどうなったかという診療行為と患者の状態との間の因果関係を判断しやすくさせることができる。この結果、診療内容の評価、改善等が行いやすくなり、同じ症例についての診療方法標準化するなどして、医療の質の向上を図ることができる。

0165

なお、本実施の形態で説明した表示制御方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本表示制御プログラムは、ハードディスクフレキシブルディスクCD−ROM、MO(Magneto−Optical disk)、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本表示制御プログラムは、インターネット等のネットワークを介して配布してもよい。

0166

上述した実施の形態に関し、さらに以下の付記を開示する。

0167

(付記1)腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像と、前記撮像装置の腸内への挿入中に測定されたバイタルデータと、を時系列順に並列表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルを示すデータを時系列順であって、前記複数の撮像画像に隣接する位置に並列表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。

0168

(付記2)腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期に対応する撮像画像、又は、前記撮像装置の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期に対応する撮像画像を特定可能に表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。

0169

(付記3)時刻の指定に応じて、前記複数の撮像画像のうち指定された前記時刻に対応する撮像画像を表示するとともに、指定された前記時刻に対応するバイタル値を表示し、少なくとも前記撮像画像の前後の撮像画像の撮像タイミングの間に挟まれる時間帯に取得された発話音声又は指定された前記時刻を基準に特定した時間幅内に取得された発話音声の再生指示を受け付け可能な操作画面を表示させる、
ことを特徴とする付記1又は2に記載の表示制御プログラム。

0170

(付記4)前記時刻の指定は、スライド可能な時刻指定バーにより受け付ける、
ことを特徴とする付記3に記載の表示制御プログラム。

0171

(付記5)前記バイタル値の表示は、指定された前記時刻に取得されたバイタル値、又は、指定された前記時刻を基準に特定した時間幅内に取得されたバイタル値の最大値又は最小値又は平均値の表示である、
ことを特徴とする付記3又は4に記載の表示制御プログラム。

0172

(付記6)前記複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に薬剤が投与された期間を示す情報を並列表示させる、
ことを特徴とする付記1又は2に記載の表示制御プログラム。

0173

(付記7)前記複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に医療機器が使用された期間を示す情報を並列表示させる、
ことを特徴とする付記1又は2に記載の表示制御プログラム。

0174

(付記8)前記発話の音圧レベルを示すデータを時系列順に表示する際に、前記発話の内容に特定のキーワードが検出された箇所に、前記特定のキーワードが検出されたことを示すインデックス情報を表示させる、
ことを特徴とする付記1に記載の表示制御プログラム。

0175

(付記9)前記インデックス情報の指定に応じて、前記撮像装置の腸内への挿入中に測定された発話の音声データを、前記特定のキーワードが検出された箇所に対応する部分から再生させる、
ことを特徴とする付記8に記載の表示制御プログラム。

0176

(付記10)腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像と、前記撮像装置の腸内への挿入中に測定されたバイタルデータと、を時系列順に並列表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルを示すデータを時系列順であって、前記複数の撮像画像に隣接する位置に並列表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。

0177

(付記11)腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期に対応する撮像画像、又は、前記撮像装置の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期に対応する撮像画像を特定可能に表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。

0178

(付記12)腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像と、前記撮像装置の腸内への挿入中に測定されたバイタルデータと、を時系列順に並列表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルを示すデータを時系列順であって、前記複数の撮像画像に隣接する位置に並列表示する制御部、
を有することを特徴とする情報処理装置。

0179

(付記13)腸内に挿入され、腸内画像を撮像する撮像装置によって取得された複数の撮像画像を時系列順に表示する際に、前記撮像装置の腸内への挿入中に測定された発話の音圧レベルが所定の基準を超える時期に対応する撮像画像、又は、前記撮像装置の腸内への挿入中に測定された発話の内容に所定のキーワードが検出された時期に対応する撮像画像を特定可能に表示する制御部、
を有することを特徴とする情報処理装置。

0180

101情報処理装置
102撮像装置
110内視鏡
120,306ディスプレイ
121,122,123,124 P1〜Pn撮像画像
130バイタルデータ
140音圧レベルデータ
200医療支援システム
201内視鏡システム
202生体情報モニタ
203シリンジポンプ
204電気メス
205 送気装置
206マイクロフォン
210ネットワーク
220患者DB
230 撮像画像DB
240バイタルサインDB
250投与薬剤DB
260音声DB
270機器使用状況DB
280内視鏡装置
281 操作部
282 挿入部
283カメラ
284鉗子挿入部
290制御装置
291モニタ
1001 取得部
1002表示制御部
1003 受付部
1004音声制御部
1100統合ビュー画面
1200スポットビュー画面

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ