図面 (/)

技術 画像処理プログラム、画像処理装置、及び画像処理方法

出願人 富士通株式会社
発明者 岡田康貴村下君孝
出願日 2015年11月9日 (5年0ヶ月経過) 出願番号 2015-219080
公開日 2017年5月25日 (3年5ヶ月経過) 公開番号 2017-091122
状態 特許登録済
技術分野 画像処理 生体の呼吸・聴力・形態・血液特性等の測定 診断用測定記録装置 イメージ分析 スタジオ装置 看護設備、治療台
主要キーワード 状態変化前 ベッド領域 既知寸法 状態変化判定 各境界領域 状態変化後 ロール角α 頭側部分
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年5月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

ベッド撮影した画像から簡単にベッドの状態変化を特定する。

解決手段

コンピュータは、第1画像における第1ベッド領域を表す境界線と、第2画像から検出されたエッジによって表される線分との対応関係に基づいて、ベッドの状態変化の種類を特定する(ステップ701)。第2画像は、第1画像よりも後に撮影された画像であり、ベッドの状態変化は、第1画像の撮影から第2画像の撮影までの期間における状態変化である。そして、コンピュータは、特定された状態変化の種類に基づく情報を出力する(ステップ702)。

概要

背景

医療機関介護施設等において、ベッド上に横臥する患者被介護者等の起床又は離床行動及び在床時の様子を、看護師介護士等の医療従事者に代わって、カメラを用いて監視するシステムが知られている。例えば、医療機関において、転倒又は転落事故につながる起床又は離床行動、あるいは、ナースコールボタンが押せない状態で苦しんでいるような異常行動が発生した場合、システムが患者に代わって看護師へ報知することが有効である。

このようなシステムにおいて、カメラで撮影した画像からベッド上の人間の行動を認識する際、画像内におけるベッド領域の情報が基準として用いられる。ベッドの1辺に複数のマーカを配置しておき、距離画像から求めたマーカの3次元位置とベッドの既知寸法とを用いて、ベッドの位置及びベッド領域を認識する技術も知られている(例えば、特許文献1を参照)。

概要

ベッドを撮影した画像から簡単にベッドの状態変化を特定する。コンピュータは、第1画像における第1ベッド領域を表す境界線と、第2画像から検出されたエッジによって表される線分との対応関係に基づいて、ベッドの状態変化の種類を特定する(ステップ701)。第2画像は、第1画像よりも後に撮影された画像であり、ベッドの状態変化は、第1画像の撮影から第2画像の撮影までの期間における状態変化である。そして、コンピュータは、特定された状態変化の種類に基づく情報を出力する(ステップ702)。

目的

本発明は、ベッドを撮影した画像から簡単にベッドの状態変化を特定することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1画像における第1ベッド領域を表す境界線と、前記第1画像よりも後に撮影された第2画像から検出されたエッジによって表される線分との対応関係に基づいて、前記第1画像の撮影から前記第2画像の撮影までの期間におけるベッド状態変化の種類を特定する、処理をコンピュータに実行させる画像処理プログラム

請求項2

前記コンピュータは、前記期間内に撮影された第3画像における第2ベッド領域を表す複数の境界線に対応する複数の境界領域のうち、動きのある境界領域の組み合わせを求め、前記境界領域の組み合わせと前記対応関係とに基づいて、前記状態変化の種類を特定することを特徴とする請求項1記載の画像処理プログラム。

請求項3

前記コンピュータは、前記第2画像における前記ベッドの推定床面高さを変更することで前記線分の位置及び長さを変更しながら、前記第1ベッド領域を表す前記境界線と変更後の線分とを比較し、比較結果に基づいて前記状態変化の種類を特定することを特徴とする請求項2記載の画像処理プログラム。

請求項4

前記コンピュータは、前記境界領域の組み合わせが前記複数の境界領域を表し、前記推定床面高さを変更可能範囲内の値に設定したときに、前記第1ベッド領域を表す前記境界線と前記変更後の線分とが対応する場合、前記状態変化の種類は前記ベッドの前記床面高さの変更であると判定することを特徴とする請求項3記載の画像処理プログラム。

請求項5

前記コンピュータは、前記状態変化の種類が前記床面高さの変更である場合、前記変更可能範囲内の前記値を用いて、前記第2画像におけるベッド領域を推定し、推定したベッド領域の情報を出力することを特徴とする請求項4記載の画像処理プログラム。

請求項6

前記コンピュータは、前記境界領域の組み合わせが前記複数の境界領域を表し、前記推定床面高さを前記変更可能範囲内のいずれの値に設定しても、前記第1ベッド領域を表す前記境界線と前記変更後の線分とが対応しない場合、前記状態変化の種類は前記ベッドの水平移動であると判定することを特徴とする請求項3記載の画像処理プログラム。

請求項7

前記コンピュータは、前記状態変化の種類が前記水平移動である場合、前記第1画像における前記ベッドの推定床面高さを用いて前記第2画像から推定したベッド領域の情報を出力することを特徴とする請求項6記載の画像処理プログラム。

請求項8

前記コンピュータは、前記境界領域の組み合わせが前記複数の境界領域のうち一部の境界領域の組み合わせを表し、前記第1ベッド領域を表す前記境界線と前記線分とが対応する場合、前記状態変化の種類は前記ベッドのリクライニング変形であると判定することを特徴とする請求項2記載の画像処理プログラム。

請求項9

前記コンピュータは、前記状態変化の種類が前記リクライニング変形である場合、前記第1ベッド領域の情報を前記第2画像におけるベッド領域の情報として出力することを特徴とする請求項8記載の画像処理プログラム。

請求項10

第1画像における第1ベッド領域を表す境界線と、前記第1画像よりも後に撮影された第2画像から検出されたエッジによって表される線分との対応関係に基づいて、前記第1画像の撮影から前記第2画像の撮影までの期間におけるベッドの状態変化の種類を特定する状態変化特定部と、前記状態変化の種類に基づく情報を出力する出力部と、を備えることを特徴とする画像処理装置

請求項11

コンピュータが、第1画像における第1ベッド領域を表す境界線と、前記第1画像よりも後に撮影された第2画像から検出されたエッジによって表される線分との対応関係に基づいて、前記第1画像の撮影から前記第2画像の撮影までの期間におけるベッドの状態変化の種類を特定する、ことを特徴とする画像処理方法

技術分野

0001

本発明は、画像処理プログラム画像処理装置、及び画像処理システムに関する。

背景技術

0002

医療機関介護施設等において、ベッド上に横臥する患者被介護者等の起床又は離床行動及び在床時の様子を、看護師介護士等の医療従事者に代わって、カメラを用いて監視するシステムが知られている。例えば、医療機関において、転倒又は転落事故につながる起床又は離床行動、あるいは、ナースコールボタンが押せない状態で苦しんでいるような異常行動が発生した場合、システムが患者に代わって看護師へ報知することが有効である。

0003

このようなシステムにおいて、カメラで撮影した画像からベッド上の人間の行動を認識する際、画像内におけるベッド領域の情報が基準として用いられる。ベッドの1辺に複数のマーカを配置しておき、距離画像から求めたマーカの3次元位置とベッドの既知寸法とを用いて、ベッドの位置及びベッド領域を認識する技術も知られている(例えば、特許文献1を参照)。

先行技術

0004

特開2013−078433号公報

発明が解決しようとする課題

0005

特許文献1の技術では、ベッド上に複数のマーカが配置され、監視装置には距離画像を生成するための距離画像センサが設けられる。しかしながら、より簡単な構成でベッドの移動等の状態変化を認識する技術は知られていない。

0006

なお、かかる問題は、ベッド上の患者又は被介護者を監視する場合に限らず、ベッド上の乳児のような健康な人間を監視する場合においても生ずるものである。

0007

1つの側面において、本発明は、ベッドを撮影した画像から簡単にベッドの状態変化を特定することを目的とする。

課題を解決するための手段

0008

1つの案では、画像処理プログラムは、第1画像における第1ベッド領域を表す境界線と、第2画像から検出されたエッジによって表される線分との対応関係に基づいて、ベッドの状態変化の種類を特定する処理を、コンピュータに実行させる。第2画像は、第1画像よりも後に撮影された画像であり、ベッドの状態変化は、第1画像の撮影から第2画像の撮影までの期間における状態変化である。

発明の効果

0009

実施形態によれば、ベッドを撮影した画像から簡単にベッドの状態変化を特定することができる。

図面の簡単な説明

0010

カメラの配置を示す図である。
ベッド領域抽出方法を示す図である。
水平移動による明るさの変化を示す図である。
リクライニング変形による線分の変化を示す図である。
ベッドの床面高さの変更による明るさの変化を示す図である。
画像処理装置の機能的構成図である。
画像処理フローチャートである。
画像処理装置の具体例を示す機能的構成図である。
画像処理の具体例を示すフローチャートである。
ベッド領域推定処理の第1の具体例を示すフローチャートである。
カメラ座標系と3次元座標系との関係を示す図である。
カメラの設置位置とベッドの床面高さとの関係を示す図である。
3次元座標系に対するカメラ座標系の姿勢を示す図である。
ベッド領域特定処理の第1の具体例を示すフローチャートである。
ベッド領域の形状とコの字形状との関係を示す図である。
ベッド領域生成処理を示す図である。
複数の境界領域を示す図である。
状態変化判定処理の第1の具体例を示すフローチャートである。
床面高さの変更を示す図である。
水平移動を示す図である。
リクライニング変形を示す図である。
床面高さを変更する対応関係判定処理のフローチャートである。
相関スコア計算方法を示す図である。
床面高さを変更しない対応関係判定処理のフローチャートである。
床面高さ推定処理のフローチャートである。
推定床面高さに応じて変化するコの字形状を示す図である。
相関スコアの変化を示す図である。
床面高さの変更に伴う画像処理を示す図である。
リクライニング変形に伴う画像処理を示す図である。
ベッド領域推定処理の第2の具体例を示すフローチャートである。
状態変化判定処理の第2の具体例を示すフローチャート(その1)である。
状態変化判定処理の第2の具体例を示すフローチャート(その2)である。
ベッド領域特定処理の第2の具体例を示すフローチャートである。
情報処理装置の構成図である。

実施例

0011

以下、図面を参照しながら、実施形態を詳細に説明する。
図1は、実施形態におけるカメラの配置例を示している。カメラ101は、例えば、単眼カメラであり、ベッド102上の人間を撮影するために、ベッド102の上方に設置されている。カメラ101によって撮影された画像から、ベッド領域103が特定される。

0012

ところで、病室内には、ベッド102以外にも患者と多数の物体とが存在する。病室内に存在する物体は、布団オーバベッドテーブルサイドテーブル椅子家具、壁紙、カーテン等である。このため、ベッド102を撮影した画像からエッジを検出すると、ベッド102の形状以外の膨大なエッジが検出される。

0013

それらのエッジによって表される多数の線分の中から、ベッド領域103の境界線を表す線分を探索する場合、計算量が大きくなるとともに、ベッド領域103の誤認識も発生しやすくなると考えられる。ベッド領域103の誤認識は患者の行動の誤認識につながるため、ナースコール誤報によって看護師の負担が増加する可能性がある。

0014

図2は、先願である特願2014−250795号に記載されたベッド領域抽出方法を示している。このベッド領域抽出方法では、画像から検出されたエッジによって表される線分の中から、ベッド領域103を形成しない線分が排除されて、ベッド領域103を形成し得る線分が抽出される(手順201)。次に、2本の線分を組み合わせてL字形状が生成され、ベッド領域103を形成しないL字形状が排除されて、ベッド領域103を形成し得るL字形状が抽出される(手順202)。

0015

次に、2つのL字形状を組み合わせてコの字形状が生成され、ベッド領域103を形成しないコの字形状が排除されて、ベッド領域103を形成し得るコの字形状が抽出される(手順203)。そして、2つのコの字形状を組み合わせて矩形形状が生成され、ベッド領域103を形成しない矩形形状が排除されて、ベッド領域103を表す矩形形状が抽出される(手順204)。これにより、正確かつ効率的にベッド領域103を特定することができる。

0016

しかしながら、ベッド102の位置及び形状は常に同じではなく、看護師がベッド102を床上で水平に移動させたり、看護師又は患者がベッド102の床面高さを変更したり、リクライニング機構によりベッド102の形状が変化したりすることがある。リクライニング変形には、人間がもたれ掛かれるようにベッド102の床面を起こす変形と、ベッド102の床面を倒して平坦な形状に戻す変形とが含まれる。このようなベッド102の状態変化が監視開始後に発生すると、カメラ101とベッド102との位置関係等が変化するため、ベッド領域103の特定が困難になることがある。

0017

図3は、ベッド102の水平移動による明るさの変化の例を示している。照明器具501からベッド102の床面502に対して光が照射されている状態で、ベッド102が床上でベッド102のヘッドボードがカメラ101から遠ざかるように水平移動すると、フットボード周辺503が暗くなる。この場合、フットボードの周辺503に含まれるベッド領域103の境界線からエッジが検出されにくくなり、その境界線を表す線分を含むコの字形状が生成されないため、ベッド領域103を表す矩形形状が生成されない。

0018

図4は、ベッド102のリクライニング変形による線分の変化の例を示している。リクライニング変形によってベッド102の床面の一部401が起こされると、ベッド102の形状が変化する。この場合、ベッド領域103を表す矩形形状が生成されないか、又は、生成された矩形形状がベッド領域103に対応しない。

0019

図5は、ベッド102の床面高さの変更による明るさの変化の例を示している。照明器具501からベッド102の床面502に対して光が照射されている状態で、床面502が上昇すると、フットボードの周辺503が暗くなる。この場合、フットボードの周辺503に含まれるベッド領域103の境界線からエッジが検出されにくくなり、その境界線を表す線分を含むコの字形状が生成されないため、ベッド領域103を表す矩形形状が生成されない。

0020

そこで、ベッド102の床面高さの変更、水平移動、又はリクライニング変形のような状態変化が発生した場合であっても、その状態変化に応じてベッド領域103を特定できることが望ましい。

0021

図6は、実施形態の画像処理装置の機能的構成例を示している。図6の画像処理装置601は、状態変化特定部611及び出力部612を含む。

0022

図7は、図6の画像処理装置601が行う画像処理の例を示すフローチャートである。まず、状態変化特定部611は、第1画像における第1ベッド領域を表す境界線と、第2画像から検出されたエッジによって表される線分との対応関係に基づいて、ベッドの状態変化の種類を特定する(ステップ701)。第2画像は、第1画像よりも後に撮影された画像であり、ベッドの状態変化は、第1画像の撮影から第2画像の撮影までの期間における状態変化である。

0023

次に、出力部612は、特定された状態変化の種類に基づく情報を出力する(ステップ702)。状態変化の種類に基づく情報は、状態変化の種類を表す情報であってもよく、状態変化の種類に応じて更新されるベッド領域を表す情報であってもよい。

0024

このような画像処理装置601によれば、ベッドを撮影した画像から簡単にベッドの状態変化を特定することができる。

0025

図8は、図6の画像処理装置601の具体例を示している。図8の画像処理装置601は、状態変化特定部611、出力部612、画像取得部801、ベッド領域推定部802、及び記憶部803を含む。記憶部803は、画像811、フィルタリング条件812、レンズ歪み情報813、及びベッド領域情報814を記憶する。

0026

画像取得部801は、カメラ101から時系列に入力される画像811を取得し、記憶部803に格納する。ベッド領域推定部802は、上述した先願に記載されたベッド領域抽出方法と同様の方法により、各時刻における画像811からベッド領域103を推定し、推定したベッド領域103を表すベッド領域情報814を生成する。ただし、ベッド領域推定部802は、先願とは異なり、画像811から検出した線分を3次元空間内の線分に変換した後に、ベッド領域103を推定する。

0027

状態変化特定部611は、ある時刻における画像811から推定された3次元空間内のベッド領域103を表す境界線と、ある時刻よりも後の時刻における画像811から検出された3次元空間内の線分との対応関係に基づいて、ベッドの状態変化の種類を特定する。

0028

フィルタリング条件812としては、先願に記載されたフィルタリング条件と類似する情報が用いられる。フィルタリング条件812は、画像811からベッド領域103を推定する際に用いられ、例えば、線分抽出条件、L字形状抽出条件、及びコの字形状抽出条件を含む。

0029

線分抽出条件は、画像から検出された3次元空間内の線分の中から、ベッド領域103を形成し得る線分を抽出するための条件である。線分抽出条件は、例えば、以下のような条件であってもよい。
(1)線分の角度が所定の角度範囲内(θ1以上θ2未満)である。
(2)線分が静領域にある。
(3)線分の長さが所定の長さ以上(L1以上)である。

0030

3次元空間内の領域が静領域であるか否かの判定方法については後述する。L字形状抽出条件は、2本の線分を組み合わせたL字形状の中から、ベッド領域103を形成し得るL字形状を抽出するための条件である。L字形状抽出条件は、例えば、以下のような条件であってもよい。
(4)L字形状の2辺(2本の線分)のなす角度が所定の角度範囲内(θ3以上θ4未満)である。
(5)L字形状の2辺がいずれも水平面を形成する水平成分である。

0031

コの字形状抽出条件は、2つのL字形状を組み合わせたコの字形状の中から、ベッド領域103を形成し得るコの字形状を抽出するための条件である。コの字形状抽出条件は、例えば、以下のような条件であってもよい。
(6)コの字形状の両端の2辺(2本の線分)のなす角度が所定の角度範囲内(θ5以上θ6未満)である。
(7)コの字形状の両端の2辺の幅が所定の長さ以上(L2以上)である。
(8)コの字形状の両端の2辺の周辺において、画像811内の画素輝度分布高輝度から低輝度へ変化している。

0032

上記(1)〜(8)の抽出条件は一例に過ぎず、フィルタリング条件812は、別の線分抽出条件、L字形状抽出条件、及びコの字形状抽出条件を含んでいてもよい。

0033

レンズ歪み情報813は、カメラ101のレンズ歪みを表す情報であり、画像811から検出された線分を3次元空間内の線分に変換する際に用いられる。また、レンズ歪み情報813は、3次元空間内のベッド領域103等の領域を画像811内の領域に逆変換する際にも用いられる。

0034

出力部612は、表示装置であってもよく、通信インタフェースであってもよい。例えば、出力部612が表示装置である場合、出力部612は、画像811内でベッド領域103に対応する領域を、画面上で強調表示することができる。また、出力部612が通信インタフェースである場合、出力部612は、通信ネットワークを介して、ベッド領域情報814を別の画像処理装置へ送信することができる。

0035

図9は、図8の画像処理装置601が行う画像処理の具体例を示すフローチャートである。まず、画像取得部801は、カメラ101から画像811が入力されたか否かをチェックし(ステップ901)、画像811が入力された場合(ステップ901,YES)、その画像811を取得して記憶部803に格納する。

0036

次に、状態変化特定部611及びベッド領域推定部802は、ベッド領域推定処理を行う(ステップ902)。次に、ベッド領域推定部802は、推定結果に基づいてベッド領域情報814を更新し(ステップ903)、出力部612は、ベッド領域情報814を出力する(ステップ904)。そして、画像処理装置601は、次の時刻における画像811について、ステップ901以降の処理を繰り返す。

0037

ステップ902のベッド領域推定処理において所定の条件が満たされた場合、画像処理装置601は、ステップ902の処理をスキップして、ステップ901以降の処理を繰り返す。そして、次の時刻における画像811が入力されない場合(ステップ901,NO)、画像処理装置601は、処理を終了する。

0038

図10は、図9のステップ902におけるベッド領域推定処理の第1の具体例を示すフローチャートである。まず、ベッド領域推定部802は、入力された画像811からエッジを検出し、検出されたエッジによって表される線分を生成する(ステップ1001)。

0039

次に、ベッド領域推定部802は、画像811内の各線分を、ベッド102を真上から俯瞰した3次元座標系における線分に変換する(ステップ1002)。線分の座標変換には、3次元座標系におけるカメラ座標系の原点の位置(Xw,Yw,Zw)と、3次元座標系に対するカメラ座標系の姿勢を表すロール角αピッチ角β、及びヨー角γとが用いられる。

0040

図11は、カメラ座標系と3次元座標系との関係の例を示している。カメラ座標系xcyczcは、カメラ101の設置位置1101を原点とする座標系であり、3次元座標系xyzは、設置位置1101から部屋の床1103へ下ろした垂線と床1103との交点1102を原点とする座標系である。この例では、3次元座標系xyzのx軸は、ベッド領域103の短辺と平行であり、y軸は、ベッド領域103の長辺と平行であり、Xw=Yw=0である。しかし、ベッド102が床1103上で水平移動した場合、x軸及びy軸に対するベッド領域103の短辺及び長辺の角度が変化することがある。

0041

図12は、カメラ101の設置位置とベッドの床面高さとの関係の例を示している。この例では、ベッド102の床面502が3次元座標系xyzのxy平面内に含まれるように、3次元座標系xyzの原点がz軸方向にシフトしている。この場合、Zwは、カメラ101の設置高さとベッド102の床面高さHとの差分を表す。

0042

図13は、3次元座標系xyzに対するカメラ座標系xcyczcの姿勢の例を示している。x軸周りの回転は、ロール角αによって表され、y軸周りの回転は、ピッチ角βによって表され、z軸周りの回転は、ヨー角γによって表される。

0043

ここで、カメラ101の設置高さ、ベッド102の床面高さH、ロール角α、及びピッチ角βは既知であり、ヨー角γは0であるものとする。図12の3次元座標系xyzを用いた場合、Xw=Yw=0であり、Zwは、カメラ101の設置高さとベッド102の床面高さHから求めることができる。こうして、Xw、Yw、Zw、α、β、及びγの6個のパラメータが与えられれば、画像811内の各線分の両端点座標を、3次元座標系xyzにおける3次元座標に変換することができる。このとき、レンズ歪み情報813に基づいて、カメラ101のレンズ歪みによる画像811の歪みが補正される。

0044

次に、ベッド領域推定部802は、3次元座標系xyzにおける線分に対してフィルタリング条件812を適用することで、3次元空間におけるベッド領域103を特定する(ステップ1003)。

0045

図14は、図10のステップ1003におけるベッド領域特定処理の第1の具体例を示すフローチャートである。まず、ベッド領域推定部802は、3次元座標系xyzにおける線分の中から、線分抽出条件を満たす線分を抽出する(ステップ1401)。次に、ベッド領域推定部802は、2本の線分を組み合わせてL字形状を生成し(ステップ1402)、生成したL字形状の中から、L字形状抽出条件を満たすL字形状を抽出する(ステップ1403)。

0046

次に、ベッド領域推定部802は、2つのL字形状を組み合わせてコの字形状を生成し(ステップ1404)、生成したコの字形状の中から、コの字形状抽出条件を満たすコの字形状を抽出する(ステップ1405)。そして、ベッド領域推定部802は、抽出したコの字形状から、ベッド領域103を表す形状を生成する(ステップ1406)。ただし、この時点では、記憶部803内のベッド領域情報814は更新されない。

0047

ベッド102の周囲の照明の明るさ又はベッド102上の人間の位置によっては、ベッド領域103の境界線が検出されないことがある。そこで、先願のベッド領域抽出方法では、ベッド領域103の一方の短辺から線分が検出されない場合、コの字形状の幅とベッド102の縦横比の情報に基づいて、ベッド領域103が推定される。

0048

この場合、画像811内におけるベッド領域103が推定されるため、ベッド102とカメラ101との相対位置関係に依存して、ベッド領域103の長辺方向が様々に変化する。このため、画像811内におけるベッド102の複数の位置について、ベッド102の位置とベッド領域103の長辺方向との対応関係が、あらかじめ記憶装置に格納されていることが望ましい。

0049

一方、図14のベッド領域特定処理では、3次元座標系xyzにおけるベッド領域103が推定されるため、ベッド102とカメラ101との相対位置関係に依存することなく、ベッド領域103の長辺方向は一定である。したがって、ベッド102の位置とベッド領域103の長辺方向との対応関係を格納しておく必要がなくなり、記憶装置の容量が削減される。

0050

図15は、ベッド領域103の形状とコの字形状との関係の例を示している。3次元座標系xyzでは、ベッド102の形状及びサイズは、ベッド102の位置及び向きに依存することなく一定である。この点に着目すれば、ベッド領域103の一方の短辺1501から線分が検出されない場合でも、他方の短辺1502から生成されたコの字形状1512に基づいて反対側のコの字形状1511を補間し、ベッド領域103全体の形状を生成することができる。

0051

図16は、このようなベッド領域生成処理の例を示している。ベッド領域推定部802は、カメラ101から入力された画像1601内の各線分を3次元座標系xyzにおける線分に変換する。3次元座標系xyzの原点1602は、カメラ101の設置位置1101に対応している。そして、ベッド領域推定部802は、xy平面内にある線分から、コの字形状抽出条件を満たすコの字形状1603を生成する。

0052

この例では、コの字形状1603の底辺1604は、ベッド領域103の短辺に対応し、x軸に対して角度θの傾きを有する。この角度θは、カメラ101の光軸方向とベッド領域103の長辺との間の相対角度を表し、座標変換のパラメータZwには依存しない。

0053

次に、ベッド領域推定部802は、底辺1604の両端点のxy平面における座標を用いて、一方の端点から他方の端点へ向かう単位方向ベクトルv1を求める。そして、ベッド領域推定部802は、底辺1604の中点の座標m、単位方向ベクトルv1、及びベッド領域103の短辺の長さ(ベッド幅)Bwを用いて、ベッド領域103の頂点1611の座標pFL及び頂点1612の座標pFRを、次式により求める。
pFL=m−v1・Bw/2 (1)
pFR=m+v1・Bw/2 (2)

0054

式(1)の座標pFLは、底辺1604の中点を起点として、単位方向ベクトルv1の向きとは逆向きに、ベッド幅Bwの半分だけ進んだ点の位置を表す。また、式(2)の座標pFRは、底辺1604の中点を起点として、単位方向ベクトルv1の向きに、ベッド幅Bwの半分だけ進んだ点の位置を表す。

0055

次に、ベッド領域推定部802は、底辺1604の単位法線ベクトルv2を求める。そして、ベッド領域推定部802は、単位法線ベクトルv2及びベッド領域103の長辺の長さBhを用いて、ベッド領域103の頂点1613の座標pBL及び頂点1614の座標pBRを、次式により求める。
pBL=pFL+v2・Bh (3)
pBR=pFR+v2・Bh (4)

0056

式(3)の座標pBLは、頂点1611を起点として、単位法線ベクトルv2の向きに長さBhだけ進んだ点の位置を表し、式(4)の座標pBRは、頂点1612を起点として、単位法線ベクトルv2の向きに長さBhだけ進んだ点の位置を表す。そして、ベッド領域推定部802は、頂点1611〜頂点1614を結ぶ線分によって表される矩形1621を、ベッド領域103を表す形状として生成する。

0057

ベッド領域推定部802によってベッド領域103が特定された後、状態変化特定部611は、特定されたベッド領域103を表す複数の境界線に対応する複数の境界領域の動きを計算する(ステップ1004)。

0058

図17は、複数の境界領域の例を示している。この例では、ベッド領域103の境界線上に6個の境界領域が設定されている。各境界領域は、境界線を中心線とする、所定幅細長い矩形形状を有する。

0059

境界領域s3は、ベッド領域103のヘッドボード側(人間の頭側)の短辺に対応し、境界領域s6は、ヘッドボードとは反対側(人間の足元側)の短辺に対応する。境界領域s2は、ベッド領域103の一方の長辺の頭側部分に対応し、境界領域s1は、その長辺の足元側部分に対応する。境界領域s4は、ベッド領域103の他方の長辺の頭側部分に対応し、境界領域s5は、その長辺の足元側部分に対応する。

0060

また、これらの境界領域のうち境界領域s2〜境界領域s4は、ベッド102のリクライニング部分に対応する。リクライニング部分は、ベッド102のリクライニング変形によって起きたり倒れたりする部分である。これに対して、境界領域s1、境界領域s5、及び境界領域s6は、リクライニング変形によって状態変化が発生しない部分に対応する。

0061

時刻tにおける境界領域の動きは、例えば、時刻(t−2)、時刻(t−1)、及び時刻tの3時刻における画像811内の画素値を用いて計算することができる。このとき、状態変化特定部611は、3次元座標系xyzにおける各境界領域の範囲を画像811内の範囲に逆変換することで、各境界領域に属する画素を特定する。ある境界領域に属する画素(x,y)の時刻tにおける画素値をft(x,y)とすると、時刻tと時刻(t−1)との間の画素値の差分f1(x,y)は、次式により求められる。
f1(x,y)=|ft(x,y)−ft−1(x,y)| (11)

0062

同様に、時刻(t−1)と時刻(t−2)との間の画素値の差分f2(x,y)は、次式により求められる。
f2(x,y)=|ft−1(x,y)−ft−2(x,y)| (12)

0063

そこで、状態変化特定部611は、所定の閾値THを用いて、f1(x,y)及びf2(x,y)を次式により2値化する。
b1(x,y)=1 (f1(x,y)≧TH) (13)
b1(x,y)=0 (f1(x,y)<TH) (14)
b2(x,y)=1 (f2(x,y)≧TH) (15)
b2(x,y)=0 (f2(x,y)<TH) (16)

0064

次に、状態変化特定部611は、b1(x,y)及びb2(x,y)の論理積b3(x,y)を、次式により求める。
b3(x,y)=b1(x,y) and b2(x,y) (17)

0065

次に、状態変化特定部611は、1つの境界領域に属する全画素に対する、論理積b3(x,y)が“1”である画素の割合を求め、求めた割合が所定値よりも大きい場合、その境界領域を動領域と判定する。一方、求めた割合が所定値以下である場合、状態変化特定部611は、その境界領域を静領域と判定する。そして、状態変化特定部611は、状態変化判定処理を行う(ステップ1005)。

0066

図18は、図10のステップ1005における状態変化判定処理の例を示すフローチャートである。ベッド102の床面高さの変更、水平移動、及びリクライニング変形のうち2つ以上の状態変化が同時に発生することはなく、いずれか1つの状態変化が発生するものと考えられる。そこで、状態変化判定処理では、動きのある境界領域の組み合わせに基づいて、ベッド102の状態変化が、床面高さの変更、水平移動、又はリクライニング変形のいずれに該当するかが判定される。

0067

図19は、床面高さの変更の例を示している。この例では、ベッド102の床面高さが上昇している。矩形1901は、ベッド102の状態変化前のベッド領域103を表し、矩形1902は、状態変化後のコの字形状1903から生成されるベッド領域103を表す。この場合、コの字形状1903及び矩形1902は、状態変化前の3次元座標系xyzを用いて表現されている。床面高さが上昇すると座標変換のパラメータZwは減少するはずであるが、床面高さの変更が検出されない限り、状態変化前のZwを用いて座標変換が行われる。

0068

床面高さが上昇した場合、境界領域s1〜境界領域s6のすべてが動領域になり、矩形1902は矩形1901よりも大きくなる。矩形1901と矩形1902の中心位置及び傾きは同じであるため、矩形1902を縮小すれば、矩形1901と重なる。逆に、床面高さが下降した場合は、状態変化後のコの字形状から生成される矩形は、矩形1901よりも小さくなるため、状態変化後の矩形を拡大すれば、矩形1901と重なる。

0069

したがって、ベッド102の床面高さHを変更することでZwを変更しながら、状態変化前後のベッド領域103を比較することで、床面高さの変更が行われたか否かを判定することができる。

0070

図20は、水平移動の例を示している。矩形2001は、ベッド102の状態変化前のベッド領域103を表し、矩形2002は、状態変化後のコの字形状2003から生成されるベッド領域103を表す。この場合、ベッド102の状態変化によって床面高さが変化しないため、Zwは変化せず、3次元座標系xyzも変化しない。

0071

ベッド102が水平に移動した場合、境界領域s1〜境界領域s6のすべてが動領域になる。矩形2001と矩形2002のサイズは同じであるが、矩形2001と矩形2002の位置及び傾きが異なるため、矩形2002を拡大又は縮小しても、矩形2001とは重ならない。したがって、ベッド102の床面高さHを変更することでZwを変更しながら、状態変化前後のベッド領域103を比較することで、水平移動が行われたか否かを判定することができる。

0072

図21は、リクライニング変形の例を示している。矩形2101は、ベッド102のリクライニング開始前のベッド領域103を表す。矩形2102は、ベッド102のリクライニング部分を起こすリクライニング変形が行われて、リクライニング部分がリクライニング状態静止したときのコの字形状2104から生成されるベッド領域103を表す。矩形2103は、リクライニング部分を倒すリクライニング変形が行われて、リクライニングが終了したときのコの字形状2105から生成されるベッド領域103を表す。

0073

この場合、リクライニング終了時の3次元座標系xyz及び矩形2103は、リクライニング開始時の3次元座標系xyz及び矩形2101と同じである。リクライニング変形が行われている間は、リクライニング部分に対応する境界領域s2〜境界領域s4のみが動領域になり、境界領域s1、境界領域s5、及び境界領域s6は静領域のままである。したがって、境界領域s2〜境界領域s4のみが静領域から動領域に変化した場合、リクライニング変形が開始されたと判定することができる。

0074

矩形2101と矩形2102の中心位置及びサイズが異なるため、矩形2102は矩形2101とは重ならない。一方、矩形2101と矩形2103の中心位置、傾き、及びサイズは同じであるため、矩形2103は矩形2101と重なる。したがって、リクライニング変形が開始された後に、状態変化後のベッド領域103とリクライニング開始前のベッド領域103とを比較することで、リクライニング状態になったか又はリクライニングが終了したかを判定することができる。

0075

まず、状態変化特定部611は、状態変化判定処理が状態変化判定待ちであるか否かをチェックする(ステップ1801)。状態変化判定待ちは、状態変化の判定結果が確定していないことを表し、後述するように、判定待ちAと判定待ちBの2種類の状態のいずれか一方に対応する。

0076

状態変化判定処理が状態変化判定待ちではない場合(ステップ1801,NO)、状態変化特定部611は、すべての境界領域が動領域であるか否かをチェックする(ステップ1807)。すべての境界領域が動領域である場合(ステップ1807,YES)、状態変化特定部611は、状態変化判定処理が判定待ちAであると判定する(ステップ1808)。判定待ちAは、ベッド102の床面高さの変更又は水平移動が継続中であることを表す。そして、画像処理装置601は、次の時刻における画像811について、ステップ901以降の処理を繰り返す。

0077

1個以上の境界領域が静領域である場合(ステップ1807,NO)、状態変化特定部611は、リクライニング部分に対応するすべての境界領域が動領域であるか否かをチェックする(ステップ1809)。図17の例では、リクライニング部分に対応する境界領域は、境界領域s2〜境界領域s4である。

0078

リクライニング部分に対応するすべての境界領域が動領域である場合(ステップ1809,YES)、状態変化特定部611は、状態変化判定処理が判定待ちBであると判定する(ステップ1810)。判定待ちBは、ベッド102のリクライニング変形が継続中であることを表す。そして、画像処理装置601は、次の時刻における画像811について、ステップ901以降の処理を繰り返す。

0079

リクライニング部分に対応する1個以上の境界領域が静領域である場合(ステップ1809,NO)、状態変化特定部611は、ベッド102がリクライニング状態であるか否かをチェックする(ステップ1811)。ベッド102がリクライニング状態である場合(ステップ1811,YES)、状態変化特定部611は、ベッド102のリクライニング状態が継続中であると判定する(ステップ1812)。一方、ベッド102がリクライニング状態ではない場合(ステップ1811,NO)、状態変化特定部611は、ベッド102の状態変化が発生していないと判定する(ステップ1813)。

0080

状態変化判定処理が状態変化判定待ちである場合(ステップ1801,YES)、状態変化特定部611は、各境界領域が動領域であるか否かをチェックする(ステップ1802)。1個以上の境界領域が動領域である場合(ステップ1802,YES)、状態変化特定部611は、ベッド102の状態変化が継続中であると判定する。そして、画像処理装置601は、次の時刻における画像811について、ステップ901以降の処理を繰り返す。

0081

一方、すべての境界領域が静領域である場合(ステップ1802,NO)、状態変化特定部611は、ベッド102の状態変化が終了したと判定し、状態変化判定処理が判定待ちA又は判定待ちBのいずれであるかをチェックする(ステップ1803)。

0082

状態変化判定処理が判定待ちAである場合(ステップ1803,YES)、状態変化特定部611は、ベッド102の床面高さHを変更しながら、状態変化前後のベッド領域103に対応関係があるか否かをチェックする(ステップ1804)。状態変化前後のベッド領域103に対応関係がある場合(ステップ1804,YES)、状態変化特定部611は、状態変化は床面高さの変更であると判定し(ステップ1805)、判定待ちAを解除する(ステップ1806)。

0083

一方、状態変化前後のベッド領域103に対応関係がない場合(ステップ1804,NO)、状態変化特定部611は、状態変化は水平移動であると判定し(ステップ1814)、判定待ちAを解除する(ステップ1806)。

0084

状態変化判定処理が判定待ちBである場合(ステップ1803,NO)、状態変化特定部611は、ベッド102の床面高さHを変更せずに、状態変化前後のベッド領域103に対応関係があるか否かをチェックする(ステップ1815)。状態変化前後のベッド領域103に対応関係がある場合(ステップ1815,YES)、状態変化特定部611は、状態変化はリクライニング終了のためのリクライニング変形であると判定し(ステップ1816)、判定待ちBを解除する(ステップ1806)。

0085

一方、状態変化前後のベッド領域103に対応関係がない場合(ステップ1815,NO)、状態変化特定部611は、ベッド102がリクライニング状態であると判定し(ステップ1817)、判定待ちBを解除する(ステップ1806)。

0086

このように、ベッド領域103の境界線上に複数の境界領域を設定し、動きのある境界領域の組み合わせを求めることで、ベッド102の状態変化の種類を高精度に判定することができる。

0087

図22は、図18のステップ1804における対応関係判定処理の例を示すフローチャートである。図22の対応関係判定処理において、状態変化特定部611は、ベッド102の床面高さHを変更することでZwを変更しながら、図14のステップ1405で抽出されたコの字形状を、変更後のZwに対応する3次元座標系xyzに変換する。そして、変換後のコの字形状を、ベッド領域情報814が表すベッド領域103と比較して、対応関係の有無を判定する。

0088

まず、状態変化特定部611は、ベッド102の仕様によって決められている、床面高さの変更可能範囲における最小値を推定床面高さに設定し(ステップ2201)、推定床面高さと変更可能範囲における最大値とを比較する(ステップ2202)。

0089

推定床面高さが最大値以下である場合(ステップ2202,YES)、状態変化特定部611は、推定床面高さからZwを求め、ステップ1405で抽出されたコの字形状を、求めたZwに対応する3次元座標系xyzに変換する(ステップ2203)。これにより、コの字形状に含まれる各線分が新たな3次元座標系xyzに変換され、各線分の位置及び長さが変更される。次に、状態変化特定部611は、変換後のコの字形状と、ベッド領域情報814が表すベッド領域103との間の相関スコアを計算する(ステップ2204)。

0090

図23は、相関スコアの計算方法の例を示している。線分2301〜線分2303がコの字形状に含まれている場合、各線分とベッド領域103の各境界線との距離に基づいて相関スコアが計算される。

0091

線分2301の端点p1と、ベッド領域103の境界線2311との距離は、端点p1から境界線2311へ下ろした垂線2321の長さに対応し、端点p2と境界線2311との距離は、端点p2から境界線2311へ下ろした垂線2322の長さに対応する。同様に、線分2302の端点p3及び端点p4と、ベッド領域103の境界線2312との距離は、垂線2323及び垂線2324の長さに対応する。線分2303の端点p5及び端点p6と、ベッド領域103の境界線2313との距離は、垂線2325及び垂線2326の長さに対応する。

0092

xy平面内の点(x0,y0)から、方程式ax+by+c=0によって表される境界線へ下ろした垂線の長さLは、次式により求められる。
L=|a・x0+b・y0+c|/(a2+b2)1/2 (21)

0093

この場合、垂線2321〜垂線2326の長さの総和を、相関スコアとして用いることができる。コの字形状がベッド領域103の形状に近づくほど、相関スコアは小さくなり、コの字形状がベッド領域103の形状から離れるほど、相関スコアは大きくなる。

0094

次に、状態変化特定部611は、推定床面高さを所定の増分だけインクリメントして(ステップ2205)、ステップ2202以降の処理を繰り返す。そして、推定床面高さが最大値を超えた場合(ステップ2202,NO)、状態変化特定部611は、ステップ2204で計算した相関スコアの最小値を求め(ステップ2206)、相関スコアの最小値を閾値と比較する(ステップ2207)。

0095

相関スコアの最小値が閾値よりも小さい場合(ステップ2207,YES)、状態変化特定部611は、状態変化前後のベッド領域103に対応関係があると判定する(ステップ2208)。一方、相関スコアの最小値が閾値以上である場合(ステップ2207,NO)、状態変化特定部611は、状態変化前後のベッド領域103に対応関係がないと判定する(ステップ2209)。

0096

図24は、図18のステップ1815における対応関係判定処理の例を示すフローチャートである。図24の対応関係判定処理において、状態変化特定部611は、ベッド102の床面高さHを変更せずに、図14のステップ1405で抽出されたコの字形状を、ベッド領域情報814が表すベッド領域103と比較して、対応関係の有無を判定する。

0097

まず、状態変化特定部611は、ステップ1405で抽出されたコの字形状と、ベッド領域情報814が表すベッド領域103との間の相関スコアを計算し(ステップ2401)、相関スコアを閾値と比較する(ステップ2402)。

0098

相関スコアが閾値よりも小さい場合(ステップ2402,YES)、状態変化特定部611は、状態変化前後のベッド領域103に対応関係があると判定する(ステップ2403)。一方、相関スコアが閾値以上である場合(ステップ2402,NO)、状態変化特定部611は、状態変化前後のベッド領域103に対応関係がないと判定する(ステップ2404)。

0099

図18のステップ1806、ステップ1812、又はステップ1813の処理を行った後、状態変化特定部611は、状態変化判定処理の判定結果が水平移動を示しているか否かをチェックする(ステップ1006)。判定結果が水平移動を示している場合(ステップ1006,YES)、状態変化特定部611は、処理を終了する。

0100

一方、判定結果が水平移動を示していない場合(ステップ1006,NO)、状態変化特定部611は、判定結果が床面高さの変更を示しているか否かをチェックする(ステップ1007)。判定結果が床面高さの変更を示している場合(ステップ1007,YES)、状態変化特定部611は、ベッド102の床面高さを推定する(ステップ1008)。

0101

図25は、図10のステップ1008における床面高さ推定処理の例を示すフローチャートである。図25のステップ2501〜ステップ2506の処理は、図22のステップ2201〜ステップ2206の処理と同様である。相関スコアの最小値を求めた後、状態変化特定部611は、相関スコアの最小値に対応する推定床面高さを、推定結果として求める(ステップ2507)。

0102

図26は、床面高さ推定処理において、推定床面高さに応じて変化するコの字形状の例を示している。推定床面高さが高くなるにつれて、図26(a)〜図26(e)が示すように、コの字形状は徐々に小さくなっていく。

0103

図26(a)及び図26(b)は、推定床面高さが実際の床面高さよりも低い場合のコの字形状2601及びコの字形状2602を示している。この場合、コの字形状2601及びコの字形状2602は、ベッド領域103の形状2611の外側にある。

0104

図26(c)は、推定床面高さが実際の床面高さと一致した場合のコの字形状2603を示している。この場合、コの字形状2603は、ベッド領域103の形状2611と重なる。

0105

図26(d)及び図26(e)は、推定床面高さが実際の床面高さよりも高い場合のコの字形状2604及びコの字形状2605を示している。この場合、コの字形状2604及びコの字形状2605は、ベッド領域103の形状2611の内側にある。

0106

図27は、床面高さ推定処理における相関スコアの変化の例を示している。推定床面高さを最小値から最大値までインクリメントすると、相関スコアは、曲線2701が示すように変化する。この場合、相関スコアの最小値2702に対応する推定床面高さが、推定結果として求められる。

0107

状態変化特定部611は、図25の床面高さ推定処理を行う代わりに、図22のステップ2206で求めた相関スコアの最小値に対応する推定床面高さを、推定結果として用いてもよい。

0108

次に、ベッド領域推定部802は、推定された床面高さからZwを求め、求めたZwに基づいて、ステップ1002と同様の座標変換を行う(ステップ1009)。そして、ベッド領域推定部802は、ステップ1003と同様にしてベッド領域103を特定する(ステップ1010)。

0109

一方、判定結果が床面高さの変更を示していない場合(ステップ1007,NO)、状態変化特定部611は、判定結果がリクライニング状態を示しているか否かをチェックする(ステップ1011)。判定結果がリクライニング状態を示している場合(ステップ1011,YES)、状態変化特定部611は、リクライニング開始前のベッド領域103を変更せず、そのまま用いることに決定する(ステップ1012)。判定結果がリクライニング状態を示していない場合(ステップ1011,NO)、すなわち、判定結果がリクライニング終了又は状態変化なしを示している場合、状態変化特定部611は、処理を終了する。

0110

判定結果が水平移動を示している場合(ステップ1006,YES)、図9のステップ903において、ベッド領域推定部802は、ステップ1003で特定したベッド領域103に基づいて、ベッド領域情報814を更新する。これにより、ステップ904において、水平移動後のベッド領域103を表すベッド領域情報814が出力される。

0111

判定結果が床面高さの変更を示している場合(ステップ1007,YES)、ステップ903において、ベッド領域推定部802は、ステップ1010で特定したベッド領域103に基づいて、ベッド領域情報814を更新する。これにより、ステップ904において、床面高さの変更後のベッド領域103を表すベッド領域情報814が出力される。

0112

判定結果がリクライニング状態、リクライニング終了、又は状態変化なしを示している場合(ステップ1007,NO)、ステップ903において、ベッド領域推定部802は、ベッド領域情報814を更新しない。これにより、リクライニング開始からリクライニング終了までの間は、ステップ904において、リクライニング開始前のベッド領域103を表すベッド領域情報814を出力することが可能になる。

0113

ステップ904において、画像811内でベッド領域103に対応する領域を強調表示する場合、ベッド領域推定部802は、ベッド領域情報814が表す3次元空間内のベッド領域103を、画像811内の領域に逆変換する。そして、出力部612は、逆変換後の領域を画面上で強調表示する。このとき、出力部612は、逆変換後の領域を枠線で囲むことで強調表示してもよく、逆変換後の領域の表示色を変更することで強調表示してもよい。

0114

このような画像処理によれば、ベッド102の床面高さの変更、水平移動、又はリクライニング変形が発生した場合であっても、その状態変化の種類に応じて、適切なベッド領域103の情報を出力することができる。

0115

図28は、床面高さの変更に伴う画像処理の例を示している。この例では、時刻t1において、ベッド102の床面高さの上昇が開始され、時刻t2において、ベッド102の床面高さの上昇が終了している。矩形2801は、床面高さの変更前のベッド領域103を表し、矩形2802は、床面高さの変更後のコの字形状2803から生成されるベッド領域103を表す。

0116

時刻t1よりも前の状態では、ベッド領域情報814は、矩形2801を表している。時刻t1において、床面高さの上昇が開始されると、境界領域s1〜境界領域s6が動領域になるため、床面高さの変更又は水平移動が発生したと判定され、判定待ちAの状態になる。時刻t1から時刻t2までの期間において床面高さの上昇が継続している間は、境界領域s1〜境界領域s6が動領域のままであるため、判定待ちAは解除されない。したがって、この期間内には、ベッド領域情報814は更新されない。

0117

時刻t2において、床面高さの上昇が終了すると、境界領域s1〜境界領域s6が静領域になるため、推定床面高さを変更しながら、コの字形状2803とベッド領域情報814が表す矩形2801との対応関係が判定される。この場合、コの字形状2803と矩形2801との間に対応関係があるため、状態変化は床面高さの変更であると判定され、判定待ちAが解除される。

0118

次に、変更後の床面高さが推定され、推定された床面高さに対応する3次元座標系xyzにおいて、再度、コの字形状2803からベッド領域103を表す矩形2802が生成される。そして、ベッド領域情報814が、生成された矩形2802を表す情報に更新される。

0119

床面高さの変更の代わりにベッド102の水平移動が発生した場合は、時刻t2において、コの字形状2803と矩形2801との間に対応関係がないため、状態変化は水平移動であると判定され、判定待ちAが解除される。この場合、床面高さHの情報は更新されず、ベッド領域情報814は、移動後のベッド領域103を表す情報に更新される。

0120

図29は、リクライニング変形に伴う画像処理の例を示している。この例では、時刻t11において、ベッド102のリクライニング部分を起こすリクライニング変形2911が開始され、時刻t12において、リクライニング変形2911が終了している。その後、時刻t13において、ベッド102のリクライニング部分を倒すリクライニング変形2912が開始され、時刻t14において、リクライニング変形2912が終了している。時刻t12から時刻t13までの期間において、ベッド102はリクライニング状態にある。矩形2901は、リクライニング変形2911の開始前のベッド領域103を表す。

0121

時刻t11よりも前の状態では、ベッド領域情報814は、矩形2901を表している。時刻t11において、リクライニング変形2911が開始されると、境界領域s2〜境界領域s4が動領域になるため、リクライニング変形が発生したと判定され、判定待ちBの状態になる。時刻t11から時刻t12までの期間においてリクライニング変形2911が継続している間は、境界領域s2〜境界領域s3が動領域のままであるため、判定待ちBは解除されない。

0122

時刻t12において、リクライニング変形2911が終了すると、境界領域s2〜境界領域s4が静領域になるため、コの字形状2902とベッド領域情報814が表す矩形2901との対応関係が判定される。この場合、コの字形状2902と矩形2901との間に対応関係がないため、リクライニング状態と判定され、判定待ちBが解除される。

0123

時刻t13において、リクライニング変形2912が開始されると、境界領域s2〜境界領域s4が再び動領域になるため、リクライニング変形が発生したと判定され、再び判定待ちBの状態になる。時刻t13から時刻t14までの期間においてリクライニング変形2912が継続している間は、境界領域s2〜境界領域s3が動領域のままであるため、判定待ちBは解除されない。

0124

時刻t14において、リクライニング変形2912が終了すると、境界領域s2〜境界領域s4が静領域になるため、コの字形状2904と矩形2901との対応関係が判定される。この場合、コの字形状2904と矩形2901との間に対応関係があるため、リクライニング終了と判定され、判定待ちBが解除される。このとき、ベッド領域103は、リクライニング変形2911の開始前の矩形2901に戻っているため、ベッド領域情報814は更新されない。

0125

図30は、図9のステップ902におけるベッド領域推定処理の第2の具体例を示すフローチャートである。図30のベッド領域推定処理では、図10のステップ1001〜ステップ1003の処理が省略されており、これらの処理はステップ3002の状態変化判定処理において行われる。

0126

図30のステップ3001及びステップ3003〜ステップ3009の処理は、図10のステップ1004及びステップ1006〜ステップ1012の処理と同様である。ただし、ステップ3001において、状態変化特定部611は、ベッド領域情報814が表す直前のベッド領域103に基づいて、複数の境界領域の動きを計算する。

0127

図31A及び図31Bは、図30のステップ3002における状態変化判定処理の例を示すフローチャートである。図31Aのステップ3101〜ステップ3109の処理は、図18のステップ1801、ステップ1802、及びステップ1807〜ステップ1813の処理と同様である。

0128

ステップ3109において、状態変化特定部611が状態変化なしと判定した後、ベッド領域推定部802は、入力された画像811から検出されたエッジによって表される線分を生成する(ステップ3110)。次に、ベッド領域推定部802は、画像811内の各線分を3次元座標系における線分に変換し(ステップ3111)、3次元空間におけるベッド領域103を特定する(ステップ3112)。ステップ3110〜ステップ3112の処理は、図10のステップ1001〜ステップ1003の処理と同様である。

0129

ステップ3102において、すべての境界領域が静領域である場合(ステップ3102,NO)、ベッド領域推定部802は、入力された画像811から検出されたエッジによって表される線分を生成する(ステップ3113)。次に、ベッド領域推定部802は、画像811内の各線分を3次元座標系における線分に変換し(ステップ3114)、3次元空間におけるベッド領域103を特定する(ステップ3115)。ステップ3113〜ステップ3115の処理は、図10のステップ1001〜ステップ1003の処理と同様である。

0130

次に、状態変化特定部611は、ステップ3116以降の処理を行う。ステップ3116〜ステップ3123の処理は、図18のステップ1803〜ステップ1806及びステップ1814〜ステップ1817の処理と同様である。

0131

判定結果が水平移動を示している場合(ステップ3003,YES)、図9のステップ903において、ベッド領域推定部802は、ステップ3115で特定したベッド領域103に基づいて、ベッド領域情報814を更新する。これにより、ステップ904において、水平移動後のベッド領域103を表すベッド領域情報814が出力される。

0132

判定結果が床面高さの変更を示している場合(ステップ3004,YES)、ステップ903において、ベッド領域推定部802は、ステップ3007で特定したベッド領域103に基づいて、ベッド領域情報814を更新する。これにより、ステップ904において、床面高さの変更後のベッド領域103を表すベッド領域情報814が出力される。

0133

判定結果が状態変化なしを示している場合、ステップ903において、ベッド領域推定部802は、ステップ3112で特定したベッド領域103に基づいて、ベッド領域情報814を更新する。これにより、ステップ904において、最新のベッド領域103を表すベッド領域情報814が出力される。

0134

判定結果がリクライニング状態又はリクライニング終了を示している場合、ステップ903において、ベッド領域推定部802は、ベッド領域情報814を更新しない。これにより、リクライニング開始からリクライニング終了までの間は、ステップ904において、リクライニング開始前のベッド領域103を表すベッド領域情報814を出力することが可能になる。

0135

図10のベッド領域推定処理では、ベッド102の状態変化が継続中である場合であっても、ステップ1001〜ステップ1003において、線分検出、座標変換、及びベッド領域特定処理が行われる。

0136

一方、図31A及び図31Bの状態変化判定処理によれば、判定待ちA又は判定待ちBの状態で1個以上の境界領域が動領域である場合(ステップ3104,YES)、ステップ3113〜ステップ3115の処理は行われない。したがって、ベッド102の状態変化が継続中である場合は、線分検出、座標変換、及びベッド領域特定処理がスキップされる。このため、図30のベッド領域推定処理によれば、図10のベッド領域推定処理と比較して、ベッド領域推定部802の負荷が軽減される。

0137

なお、図31Aのステップ3109において、状態変化特定部611が状態変化なしと判定した場合、ベッド領域推定部802は、ステップ3110〜ステップ3112の処理を省略してもよい。

0138

図10のステップ1003、ステップ1010、図30のステップ3007、図31Aのステップ3112、及び図31Bのステップ3115において、図14のベッド領域特定処理以外の方法でベッド領域103を特定することも可能である。例えば、2本の線分を組み合わせてL字形状を生成する代わりに、3本の線分を組み合わせて直接コの字形状を生成してもよい。

0139

図32は、このようなベッド領域特定処理の第2の具体例を示すフローチャートである。まず、ベッド領域推定部802は、3次元座標系xyzにおける線分の中から、線分抽出条件を満たす線分を抽出する(ステップ3201)。次に、ベッド領域推定部802は、3本の線分を組み合わせてコの字形状を生成し(ステップ3202)、生成したコの字形状の中から、コの字形状抽出条件を満たすコの字形状を抽出する(ステップ3203)。そして、ベッド領域推定部802は、抽出したコの字形状から、ベッド領域103を表す形状を生成する(ステップ3204)。

0140

図6及び図8の画像処理装置601の構成は一例に過ぎず、画像処理装置601の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図8の画像処理装置601において、画像811からベッド領域103を推定する処理が画像処理装置601の外部で行われる場合は、ベッド領域推定部802を省略することができる。カメラ101のレンズ歪みが小さい場合は、レンズ歪み情報813を省略することができる。

0141

図7図9図10図14図18図22図24図25、及び図30図32のフローチャートは一例に過ぎず、画像処理装置601の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図9の画像処理において、ベッド領域情報814を出力しない場合は、ステップ904の処理を省略することができる。

0142

図10のステップ1005において、リクライニング変形を状態変化判定処理の判定対象に含めない場合は、ステップ1011及びステップ1012の処理を省略することができる。この場合、図18のステップ1803、ステップ1809〜ステップ1812、及びステップ1815〜ステップ1817の処理も省略することができる。そして、状態変化特定部611は、ステップ1807において1個以上の境界領域が静領域である場合、ステップ1813の処理を行う。

0143

図10のステップ1005において、床面高さの変更及び水平移動を状態変化判定処理の判定対象に含めない場合は、ステップ1006〜ステップ1010の処理を省略することができる。この場合、図18のステップ1803〜ステップ1805、ステップ1807、ステップ1808、及びステップ1814の処理も省略することができる。

0144

そして、状態変化特定部611は、ステップ1801において状態変化判定処理が状態変化判定待ちではない場合、ステップ1809以降の処理を行い、ステップ1802においてすべての境界領域が静領域である場合、ステップ1815以降の処理を行う。また、状態変化特定部611は、ステップ1806、ステップ1812、又はステップ1813の処理を行った後、ステップ1011以降の処理を行う。

0145

図30のステップ3002において、リクライニング変形を状態変化判定処理の判定対象に含めない場合は、ステップ3008及びステップ3009の処理を省略することができる。この場合、図31Aのステップ3105〜ステップ3108、図31Bのステップ3116、及びステップ3121〜ステップ3123の処理も省略することができる。そして、状態変化特定部611は、ステップ3103において1個以上の境界領域が静領域である場合、ステップ3109以降の処理を行う。

0146

図30のステップ3002において、床面高さの変更及び水平移動を状態変化判定処理の判定対象に含めない場合は、ステップ3003〜ステップ3007の処理を省略することができる。この場合、図31Aのステップ3103、ステップ3104、図31Bのステップ3116〜ステップ3118、及びステップ3120の処理も省略することができる。

0147

そして、状態変化特定部611は、ステップ3101において状態変化判定処理が状態変化判定待ちではない場合、ステップ3105以降の処理を行い、ステップ3115の処理を行った後、ステップ3121以降の処理を行う。また、状態変化特定部611は、ステップ3108、ステップ3112、又はステップ3119の処理を行った後、ステップ3008以降の処理を行う。

0148

図14のステップ1401及び図32のステップ3201において、ベッド領域推定部802は、ベッド102の床面502と同じ平面内にある線分の中から、線分抽出条件を満たす線分を抽出してもよい。例えば、図12の3次元座標系xyzを用いた場合、xy平面内にある線分の中から、線分抽出条件を満たす線分が抽出される。

0149

図1のカメラ101の配置は一例に過ぎず、別の位置にカメラ101を配置してもよい。また、ベッド102の形状は一例に過ぎず、別の形状のベッド102を用いてもよい。図11図13のカメラ座標系xcyczc及び3次元座標系xyzは一例に過ぎず、別のカメラ座標系及び3次元座標系を用いてもよい。例えば、図11に示すように、3次元座標系xyzの原点を、部屋の床1103上に固定することも可能である。Xw、Yw、及びヨー角γは0でなくてもよい。

0150

図15及び図16のベッド領域生成処理は一例に過ぎず、別の方法でベッド領域103の形状を生成してもよい。例えば、ベッド領域103の短辺1501から線分が検出された場合は、コの字形状1511とコの字形状1512とを組み合わせて、ベッド領域103の形状を生成することができる。図17の境界領域s1〜境界領域s6は一例に過ぎず、別の形状の境界領域を用いてもよい。境界領域の個数は、6個に限られることはなく、少なくとも2個以上であればよい。

0151

図19図21図28、及び図29のベッド102の状態変化は一例に過ぎず、別の状態変化を判定対象に含めてもよい。例えば、ベッド102の頭側部分の代わりに、足元側部分がリクライニング変形によって起きたり倒れたりする場合は、その足元側部分のリクライニング変形を判定対象に含めることができる。

0152

図23の相関スコアの計算方法は一例に過ぎず、別の方法で相関スコアを計算してもよい。例えば、図15の短辺1501から線分が検出された場合は、コの字形状1511及びコの字形状1512の両方に含まれる各線分と、ベッド領域103の各境界線との距離に基づいて、相関スコアを計算することができる。図26及び図27の床面高さ推定処理は一例に過ぎず、別の方法でベッド102の床面高さを推定してもよい。式(1)〜式(21)は一例に過ぎず、別の計算式を用いてもよい。

0153

図6及び図8の画像処理装置601は、例えば、図33に示すような情報処理装置(コンピュータ)を用いて実現可能である。図33の情報処理装置は、Central Processing Unit(CPU)3301、メモリ3302、入力装置3303、出力装置3304、補助記憶装置3305、媒体駆動装置3306、及びネットワーク接続装置3307を備える。これらの構成要素はバス3308により互いに接続されている。図8のカメラ101は、通信ネットワークを介してネットワーク接続装置3307に接続されていてもよい。

0154

メモリ3302は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、画像処理に用いられるプログラム及びデータを格納する。メモリ3302は、図8の記憶部803として用いることができる。

0155

CPU3301(プロセッサ)は、例えば、メモリ3302を利用してプログラムを実行することにより、図6及び図8の状態変化特定部611、画像取得部801、及びベッド領域推定部802として動作する。

0156

入力装置3303は、例えば、キーボードポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置3304は、例えば、表示装置、プリンタスピーカ等であり、オペレータ又はユーザに対する問い合わせ又は処理結果の出力に用いられる。処理結果は、ベッド102の状態変化の種類を表す情報、ベッド領域103を表すベッド領域情報814、又はベッド領域103を強調表示する画像であってもよい。

0157

補助記憶装置3305は、例えば、磁気ディスク装置光ディスク装置光磁気ディスク装置テープ装置等である。補助記憶装置3305は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置3305にプログラム及びデータを格納しておき、それらをメモリ3302にロードして使用することができる。補助記憶装置3305は、図8の記憶部803として用いることができる。

0158

媒体駆動装置3306は、可搬型記録媒体3309を駆動し、その記録内容アクセスする。可搬型記録媒体3309は、メモリデバイスフレキシブルディスク光ディスク光磁気ディスク等である。可搬型記録媒体3309は、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、Universal Serial Bus(USB)メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体3309にプログラム及びデータを格納しておき、それらをメモリ3302にロードして使用することができる。

0159

このように、画像処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ3302、補助記憶装置3305、又は可搬型記録媒体3309のような、物理的な(非一時的な)記録媒体である。

0160

ネットワーク接続装置3307は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置3307を介して受信し、それらをメモリ3302にロードして使用することができる。情報処理装置は、ネットワーク接続装置3307を介して、ユーザ端末から処理要求を受信し、画像処理を行って、処理結果をユーザ端末へ送信することもできる。

0161

なお、情報処理装置が図33のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示又は情報を入力する必要がない場合は、入力装置3303を省略してもよい。オペレータ又はユーザに対する問い合わせ又は処理結果を出力する必要がない場合は、出力装置3304を省略してもよい。可搬型記録媒体3309又は通信ネットワークを利用しない場合は、媒体駆動装置3306又はネットワーク接続装置3307を省略してもよい。

0162

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

0163

図1乃至図33を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
第1画像における第1ベッド領域を表す境界線と、前記第1画像よりも後に撮影された第2画像から検出されたエッジによって表される線分との対応関係に基づいて、前記第1画像の撮影から前記第2画像の撮影までの期間におけるベッドの状態変化の種類を特定する、
処理をコンピュータに実行させる画像処理プログラム。
(付記2)
前記コンピュータは、前記期間内に撮影された第3画像における第2ベッド領域を表す複数の境界線に対応する複数の境界領域のうち、動きのある境界領域の組み合わせを求め、前記境界領域の組み合わせと前記対応関係とに基づいて、前記状態変化の種類を特定することを特徴とする付記1記載の画像処理プログラム。
(付記3)
前記コンピュータは、前記第2画像における前記ベッドの推定床面高さを変更することで前記線分の位置及び長さを変更しながら、前記第1ベッド領域を表す前記境界線と変更後の線分とを比較し、比較結果に基づいて前記状態変化の種類を特定することを特徴とする付記2記載の画像処理プログラム。
(付記4)
前記コンピュータは、前記境界領域の組み合わせが前記複数の境界領域を表し、前記推定床面高さを変更可能範囲内の値に設定したときに、前記第1ベッド領域を表す前記境界線と前記変更後の線分とが対応する場合、前記状態変化の種類は前記ベッドの前記床面高さの変更であると判定することを特徴とする付記3記載の画像処理プログラム。
(付記5)
前記コンピュータは、前記状態変化の種類が前記床面高さの変更である場合、前記変更可能範囲内の前記値を用いて、前記第2画像におけるベッド領域を推定し、推定したベッド領域の情報を出力することを特徴とする付記4記載の画像処理プログラム。
(付記6)
前記コンピュータは、前記境界領域の組み合わせが前記複数の境界領域を表し、前記推定床面高さを前記変更可能範囲内のいずれの値に設定しても、前記第1ベッド領域を表す前記境界線と前記変更後の線分とが対応しない場合、前記状態変化の種類は前記ベッドの水平移動であると判定することを特徴とする付記3記載の画像処理プログラム。
(付記7)
前記コンピュータは、前記状態変化の種類が前記水平移動である場合、前記第1画像における前記ベッドの推定床面高さを用いて前記第2画像から推定したベッド領域の情報を出力することを特徴とする付記6記載の画像処理プログラム。
(付記8)
前記コンピュータは、前記境界領域の組み合わせが前記複数の境界領域のうち一部の境界領域の組み合わせを表し、前記第1ベッド領域を表す前記境界線と前記線分とが対応する場合、前記状態変化の種類は前記ベッドのリクライニング変形であると判定することを特徴とする付記2記載の画像処理プログラム。
(付記9)
前記コンピュータは、前記状態変化の種類が前記リクライニング変形である場合、前記第1ベッド領域の情報を前記第2画像におけるベッド領域の情報として出力することを特徴とする付記8記載の画像処理プログラム。
(付記10)
第1画像における第1ベッド領域を表す境界線と、前記第1画像よりも後に撮影された第2画像から検出されたエッジによって表される線分との対応関係に基づいて、前記第1画像の撮影から前記第2画像の撮影までの期間におけるベッドの状態変化の種類を特定する状態変化特定部と、
前記状態変化の種類に基づく情報を出力する出力部と、
を備えることを特徴とする画像処理装置。
(付記11)
前記状態変化特定部は、前記期間内に撮影された第3画像における第2ベッド領域を表す複数の境界線に対応する複数の境界領域のうち、動きのある境界領域の組み合わせを求め、前記境界領域の組み合わせと前記対応関係とに基づいて、前記状態変化の種類を特定することを特徴とする付記10記載の画像処理装置。
(付記12)
前記状態変化特定部は、前記第2画像における前記ベッドの推定床面高さを変更することで前記線分の位置及び長さを変更しながら、前記第1ベッド領域を表す前記境界線と変更後の線分とを比較し、比較結果に基づいて前記状態変化の種類を特定することを特徴とする付記11記載の画像処理装置。
(付記13)
コンピュータが、
第1画像における第1ベッド領域を表す境界線と、前記第1画像よりも後に撮影された第2画像から検出されたエッジによって表される線分との対応関係に基づいて、前記第1画像の撮影から前記第2画像の撮影までの期間におけるベッドの状態変化の種類を特定する、
ことを特徴とする画像処理方法
(付記14)
前記コンピュータは、前記期間内に撮影された第3画像における第2ベッド領域を表す複数の境界線に対応する複数の境界領域のうち、動きのある境界領域の組み合わせを求め、前記境界領域の組み合わせと前記対応関係とに基づいて、前記状態変化の種類を特定することを特徴とする付記13記載の画像処理方法。
(付記15)
前記コンピュータは、前記第2画像における前記ベッドの推定床面高さを変更することで前記線分の位置及び長さを変更しながら、前記第1ベッド領域を表す前記境界線と変更後の線分とを比較し、比較結果に基づいて前記状態変化の種類を特定することを特徴とする付記14記載の画像処理方法。

0164

101カメラ
102ベッド
103ベッド領域
401 床面の一部
501照明器具
502 床面
503周辺
601画像処理装置
611状態変化特定部
612 出力部
801画像取得部
802 ベッド領域推定部
803 記憶部
811、1601 画像
812フィルタリング条件
813レンズ歪み情報
814 ベッド領域情報
1101 設置位置
1102交点
1103 床
1501、1502 短辺
1511、1512、1603、1903、2003、2104、2105、2601〜2605、2803、2902、2904 コの字形状
1602原点
1604底辺
1611〜1614頂点
1621、1901、1902、2001、2002、2101〜2103、2801、2802、2901矩形
2301〜2303線分
2311〜2313境界線
2321〜2326垂線
2611 形状
2701曲線
2702最小値
2911、2912リクライニング変形
3301 CPU
3302メモリ
3303入力装置
3304出力装置
3305補助記憶装置
3306媒体駆動装置
3307ネットワーク接続装置
3308バス
3309 可搬型記録媒体

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ