図面 (/)

技術 眠気推定装置

出願人 ダイキン工業株式会社
発明者 北川慧太上総拓也半田陽一
出願日 2017年10月30日 (1年9ヶ月経過) 出願番号 2017-209733
公開日 2019年5月30日 (2ヶ月経過) 公開番号 2019-082282
状態 特許登録済
技術分野 空調制御装置 車両用空気調和 選択的呼出装置(遠隔制御・遠隔測定用)
主要キーワード 壁面設置 室内環境情報 換気動作 昼食後 モデル更新 前回撮像 眠気状態 コントラスト処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年5月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

ユーザの眠気状態を精度良く把握する。

解決手段

カメラ(26)は、ユーザ(U1,U2,U3)を撮像する。室内環境情報センサ(13)は、ユーザ(U1,U2,U3)が居る室内(r1)の環境に関する室内環境情報を検知する。推定部(66)は、カメラ(26)が撮像したユーザ(U1,U2,U3)の画像と室内環境情報センサ(13)が検知した室内環境情報とに基づいて、ユーザ(U1,U2,U3)の眠気状態を推定する。

概要

背景

特許文献1に示すように、運転者疲れ状態をカメラ及びハンドル動きから検出する技術が知られている。

概要

ユーザの眠気状態を精度良く把握する。カメラ(26)は、ユーザ(U1,U2,U3)を撮像する。室内環境情報センサ(13)は、ユーザ(U1,U2,U3)が居る室内(r1)の環境に関する室内環境情報を検知する。推定部(66)は、カメラ(26)が撮像したユーザ(U1,U2,U3)の画像と室内環境情報センサ(13)が検知した室内環境情報とに基づいて、ユーザ(U1,U2,U3)の眠気状態を推定する。

目的

特に、本実施形態に係る空調制御装置(50)は、室内(r1)に居るユーザ(U1,U2,U3)が写し出された画像を用いて、当該ユーザ(U1,U2,U3)の眠気状態を推定し、推定した眠気状態に基づいて空気調和装置(10)の空調動作を制御することにより、ユーザ(U1,U2,U3)の眠気状態が改善するような環境を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザ(U1,U2,U3)を撮像する撮像部(26)と、上記ユーザ(U1,U2,U3)が居る室内(r1)の環境に関する室内環境情報を検知する検知部(13)と、上記撮像部(26)が撮像した上記ユーザ(U1,U2,U3)の画像と上記検知部(13)が検知した上記室内環境情報とに基づいて、上記ユーザ(U1,U2,U3)の眠気状態推定する推定部(66)と、を備えることを特徴とする眠気推定装置

請求項2

請求項1において、上記画像には、上記ユーザ(U1,U2,U3)の眠気状態を表す上記ユーザ(U1,U2,U3)の動作、及び/または、上記ユーザ(U1,U2,U3)の眠気状態を表す上記ユーザ(U1,U2,U3)の状態が写し出されており、上記推定部(66)は、上記画像から上記ユーザ(U1,U2,U3)の動作及び/または上記ユーザ(U1,U2,U3)の状態を抽出して上記ユーザ(U1,U2,U3)の眠気状態を推定することを特徴とする眠気推定装置。

請求項3

請求項1または請求項2において、上記推定部(66)は、上記画像から上記ユーザ(U1,U2,U3)の性別及び/または年齢を算出し、算出した上記ユーザ(U1,U2,U3)の性別及び/または年齢に更に基づいて上記ユーザ(U1,U2,U3)の上記眠気状態を推定することを特徴とする眠気推定装置。

請求項4

請求項1から請求項3のいずれか1項において、上記室内(r1)に居る上記ユーザ(U1,U2,U3)の表面温度を測定する表面温度測定部(128)、を更に備え、上記推定部(66)は、更に上記表面温度測定部(128)の測定結果に基づいて、上記ユーザ(U1,U2,U3)の上記眠気状態を推定することを特徴とする眠気推定装置。

請求項5

請求項1から請求項4のいずれか1項において、空気調和装置(10)が、上記室内(r1)の天井に設置されており、上記撮像部(26)は、上記空気調和装置(10)に設けられていることを特徴とする眠気推定装置。

請求項6

請求項1から請求項5のいずれか1項において、上記室内(r1)に複数の上記ユーザ(U1,U2,U3)が存在する場合、上記推定部(66)は、複数の上記ユーザ(U1,U2,U3)それぞれの上記眠気状態を推定することを特徴とする眠気推定装置。

請求項7

請求項6において、複数の上記ユーザ(U1,U2,U3)それぞれについての、上記ユーザ(U1,U2,U3)の動作及び/または上記ユーザ(U1,U2,U3)の状態と、該動作及び/または該状態時の上記ユーザ(U1,U2,U3)の上記眠気状態とが対応づけられたユーザ情報(63)、を記憶する記憶部(62)、を更に備え、上記推定部(66)は、各上記ユーザ(U1,U2,U3)の動作及び/または各上記ユーザ(U1,U2,U3)の状態を上記画像から抽出し、抽出結果と上記ユーザ情報(63)とを用いて、複数の上記ユーザ(U1,U2,U3)それぞれの上記眠気状態を推定することを特徴とする眠気推定装置。

請求項8

請求項1から請求項7のいずれか1項において、上記推定部(66)の推定結果に基づいて、上記ユーザ(U1,U2,U3)の上記眠気状態のレベルが低下するように、上記室内(r1)を空調対象とする空気調和装置(10)の空調動作を制御する制御部(14)、を更に備えることを特徴とする眠気推定装置。

請求項9

請求項8において、上記ユーザ(U1,U2,U3)の上記眠気状態を表す眠気情報の該ユーザ(U1,U2,U3)による入力を受け付けることが可能な受け付け部(30)と、上記撮像部(26)が撮像した上記画像及び/または上記受け付け部(30)が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル(67)を学習させるモデル更新部(68)と、を更に備えることを特徴とする眠気推定装置。

技術分野

0001

本発明は、眠気推定装置に関するものである。

背景技術

0002

特許文献1に示すように、運転者疲れ状態をカメラ及びハンドル動きから検出する技術が知られている。

先行技術

0003

特開2005−104237号公報

発明が解決しようとする課題

0004

運転者等のユーザの眠気要因には、ユーザの疲れのみならず他の要因も作用することがある。特許文献1の技術では、ユーザがどの程度の眠気を感じているかを把握することは困難である。

0005

本発明の目的は、ユーザの眠気状態を精度良く把握することである。

課題を解決するための手段

0006

本開示の第1の態様は、ユーザ(U1,U2,U3)を撮像する撮像部(26)と、上記ユーザ(U1,U2,U3)が居る室内(r1)の環境に関する室内環境情報を検知する検知部(13)と、上記撮像部(26)が撮像した上記ユーザ(U1,U2,U3)の画像と上記検知部(13)が検知した上記室内環境情報とに基づいて、上記ユーザ(U1,U2,U3)の眠気状態を推定する推定部(66)と、を備えることを特徴とする眠気推定装置である。

0007

室内環境情報としては、室内のCO2濃度、温度等が挙げられる。このような室内環境情報は、ユーザの眠気状態に影響を及ぼす要因となり得る。ここでは、ユーザが撮像されると、その画像と上記室内環境情報とに基づいてユーザの眠気情報が推定される。これにより、ユーザの眠気を、精度良く把握することができる。

0008

第2の態様は、第1の態様において、上記画像には、上記ユーザ(U1,U2,U3)の眠気状態を表す上記ユーザ(U1,U2,U3)の動作、及び/または、上記ユーザ(U1,U2,U3)の眠気状態を表す上記ユーザ(U1,U2,U3)の状態が写し出されており、上記推定部(66)は、上記画像から上記ユーザ(U1,U2,U3)の動作及び/または上記ユーザ(U1,U2,U3)の状態を抽出して上記ユーザ(U1,U2,U3)の眠気状態を推定することを特徴とする眠気推定装置である。

0009

これにより、ユーザがどの程度いのかの眠気状態が、より精度良く推定される。

0010

第3の態様は、第1の態様または第2の態様において、上記推定部(66)は、上記画像から上記ユーザ(U1,U2,U3)の性別及び/または年齢を算出し、算出した上記ユーザ(U1,U2,U3)の性別及び/または年齢に更に基づいて上記ユーザ(U1,U2,U3)の上記眠気状態を推定することを特徴とする眠気推定装置である。

0011

これにより、ユーザの眠気状態の推定精度はより向上する。

0012

第4の態様は、第1の態様から第3の態様のいずれか1つにおいて、上記室内(r1)に居る上記ユーザ(U1,U2,U3)の表面温度を測定する表面温度測定部(128)、を更に備え、上記推定部(66)は、更に上記表面温度測定部(128)の測定結果に基づいて、上記ユーザ(U1,U2,U3)の上記眠気状態を推定することを特徴とする眠気推定装置である。

0013

これにより、ユーザの眠気状態の推定精度はより向上する。

0014

第5の態様は、第1の態様から第4の態様のいずれか1つにおいて、空気調和装置(10)が、上記室内(r1)の天井に設置されており、上記撮像部(26)は、上記空気調和装置(10)に設けられていることを特徴とする眠気推定装置である。

0015

これにより、撮像部(26)は、障害物により遮られる可能性が低い状態で、室内に居るユーザを撮像することができる。

0016

第6の態様は、第1の態様から第5の態様のいずれか1つにおいて、上記室内(r1)に複数の上記ユーザ(U1,U2,U3)が存在する場合、上記推定部(66)は、複数の上記ユーザ(U1,U2,U3)それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。

0017

第7の態様は、第6の態様において、複数の上記ユーザ(U1,U2,U3)それぞれについての、上記ユーザ(U1,U2,U3)の動作及び/または上記ユーザ(U1,U2,U3)の状態と、該動作及び/または該状態時の上記ユーザ(U1,U2,U3)の上記眠気状態とが対応づけられたユーザ情報(63)、を記憶する記憶部(62)、を更に備え、上記推定部(66)は、各上記ユーザ(U1,U2,U3)の動作及び/または各上記ユーザ(U1,U2,U3)の状態を上記画像から抽出し、抽出結果と上記ユーザ情報(63)とを用いて、複数の上記ユーザ(U1,U2,U3)それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。

0018

これにより、個々のユーザの眠気状態の推定精度はより向上する。

0019

第8の態様は、第1の態様から第7の態様のいずれか1つにおいて、上記推定部(66)の推定結果に基づいて、上記ユーザ(U1,U2,U3)の上記眠気状態のレベルが低下するように、上記室内(r1)を空調対象とする空気調和装置(10)の空調動作を制御する制御部(14)、を更に備えることを特徴とする眠気推定装置である。

0020

これにより、室内に居るユーザの眠気状態は改善されるため、ユーザは覚醒し易くなる。

0021

第9の態様は、第8の態様において、上記ユーザ(U1,U2,U3)の上記眠気状態を表す眠気情報の該ユーザ(U1,U2,U3)による入力を受け付けることが可能な受け付け部(30)と、上記撮像部(26)が撮像した上記画像及び/または上記受け付け部(30)が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル(67)を学習させるモデル更新部(68)と、を更に備えることを特徴とする眠気推定装置である。

0022

これにより、学習後の推定モデルを用いてユーザの眠気状態の推定動作が行われることにより、ユーザの眠気状態の推定精度はより向上する。

発明の効果

0023

本発明によれば、ユーザの眠気を、精度良く把握することができる。

図面の簡単な説明

0024

図1は、眠気推定装置を備えた空調システム外観図である。
図2は、眠気推定装置を備えた空調システムの構成を模式的に示すブロック図である。
図3は、ユーザ情報の概念図である。
図4は、第1実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。
図5は、年齢と眠気との関係、性別と眠気との関係の一例を示す図である。
図6は、第1実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。
図7は、ユーザの眠気状態の推定動作及び推定したユーザの眠気状態に伴う空調動作の流れを示す図である。
図8は、第2実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。
図9は、第2実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。

実施例

0025

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

0026

≪第1実施形態≫
概要
図1は、本実施形態に係る空調制御装置(50)(眠気推定装置に相当)を備えた空調システム(100)の外観図である。図1及び図2に示すように、空調制御装置(50)は、空気調和装置(10)の構成要素の一部と、リモートコントローラ(30)(受け付け部に相当)と、演算装置(60)とを有する。

0027

図1に示すように、空気調和装置(10)は、空調対象である室内(r1)に設けられ、室内(r1)に対し空調を行う。リモートコントローラ(30)は、空気調和装置(10)の目標温度及び目標湿度の設定の他、空気調和装置(10)の運転モード、運転のオン及びオフを、ユーザ(U1,U2,U3)がリモートコントローラ(30)を操作して直接的に空気調和装置(10)に指示を与える際に、用いられる。

0028

空調制御装置(50)は、空気調和装置(10)の空調動作を制御する。特に、本実施形態に係る空調制御装置(50)は、室内(r1)に居るユーザ(U1,U2,U3)が写し出された画像を用いて、当該ユーザ(U1,U2,U3)の眠気状態を推定し、推定した眠気状態に基づいて空気調和装置(10)の空調動作を制御することにより、ユーザ(U1,U2,U3)の眠気状態が改善するような環境を提供する。

0029

<空気調和装置の構成>
空気調和装置(10)は、天井設置タイプの空調機であって、本体部(11)が室内(r1)の天井に埋め込まれて設置されている。本体部(11)の下面(21)は室内(r1)に露出しており、下面(21)には本体部(11)内への空気の吸い込み口(23)と、本体部(11)から室内(r1)への空気の吹き出し口(24)とが形成されている。

0030

本体部(11)の下面(21)には、カメラ(26)(撮像部に相当)が設けられている。

0031

カメラ(26)は、レンズ(図示せず)が空気調和装置(10)の下方を向いており、室内(r1)に居るユーザ(U1,U2,U3)を撮像する。画像は、ユーザ(U1,U2,U3)を撮像した動画像であってもよいし、ユーザ(U1,U2,U3)の静止画像を連続して撮像したものであってもよいが、ここでは動画である場合を例示する。カメラ(26)が撮像した画像には、各ユーザ(U1,U2,U3)の眠気状態を表すユーザ(U1,U2,U3)の動作及び状態(表情を含む)が写し出されている。ユーザ(U1,U2,U3)は、眠いと感じる場合、体が左右のどちらかに傾斜する、体の動きが鈍い片方の手で頬杖を付く、背伸びをする、目を閉じている等といった動作及び状態をとる。逆に、ユーザ(U1,U2,U3)は、眠気を感じていない場合、体の動きが活発である、目を開けている、手は何らかの作業をしている等といった動作及び状態をとる。カメラ(26)は、ユーザ(U1,U2,U3)のこれらの動作等を、各ユーザ(U1,U2,U3)の眠気状態を示唆する画像として撮像する。

0032

空気調和装置(10)の本体部(11)の内部には、吸い込み口(23)から本体部(11)内部に吸い込まれた空気を冷媒熱交換させる熱交換器(図示せず)、及び、冷媒と熱交換した後の空気を吹き出し口(24)を介して室内(r1)に供給する室内ファン(12)等が含まれている(図2参照)。

0033

更に、本体部(11)の内部には、室内環境情報センサ(13)(検知部に相当)、及び制御部(14)が含まれている。

0034

室内環境情報センサ(13)は、室内(r1)の環境に関する室内環境情報を検知するセンサであって、吸い込み口(23)付近に設けられた吸い込みセンサである。室内環境情報としては、吸い込み口(23)から吸い込まれた室内(r1)の空気の温度、湿度、CO2の濃度等が挙げられる。

0035

制御部(14)は、CPU及びメモリからなるマイクロコンピュータで構成されている。制御部(14)は、室内ファン(12)、室内環境情報センサ(13)、カメラ(26)等と電気的に接続されている。また、制御部(14)は、リモートコントローラ(30)及び演算装置(60)とも、通信可能に接続されている。

0036

制御部(14)は、室内環境情報センサ(13)の検知結果に基づく室内ファン(12)等の駆動制御により、空気調和装置(10)の空調動作を制御する。

0037

特に、本実施形態に係る制御部(14)は、演算装置(60)によって推定されたユーザ(U1,U2,U3)の眠気状態に基づいて、ユーザ(U1,U2,U3)の眠気状態のレベルが低下するように、室内(r1)の空気調和装置(10)の空調動作を制御する。眠気状態の推定結果に基づく空調動作の詳細については後述する。

0038

なお、制御部(14)は、以下に述べる演算装置(60)の推定部(66)と同様、予めニューラルネットワーク構築されたものであることが好ましい。空調動作をよりきめ細かく調整するためである。

0039

<リモートコントローラ>
リモートコントローラ(30)は、室内(r1)の壁面に取り付けられている。リモートコントローラ(30)は、図示してはいないが、各種画面を表示するディスプレイと、ユーザ(U1,U2,U3)の操作を受け付ける複数の操作ボタンとを有する。ユーザ(U1,U2,U3)が操作ボタンを操作することにより、ディスプレイには、ユーザ(U1,U2,U3)の操作に応じた各種画面が表示される。ディスプレイには、室内(r1)の設定温度設定湿度等が通常画面として表示される。

0040

本実施形態に係るリモートコントローラ(30)は、ユーザ(U1,U2,U3)の実際の眠気状態、即ちユーザ(U1,U2,U3)が実際に眠いと感じているか否か及び眠気のレベルがどの程度かを表す眠気情報の、ユーザ(U1,U2,U3)による入力を受け付けることが可能となっている。入力された眠気情報から、ユーザ(U1,U2,U3)の眠気状態の推定結果がユーザ(U1,U2,U3)の実際の眠気状態に合致したものであるか否かを、演算装置(60)は判定することができる。ユーザ(U1,U2,U3)の眠気状態の推定結果に基づいて空気調和装置(10)の空調動作が行われることに鑑みると、上記入力は、ユーザ(U1,U2,U3)の眠気状態の推定結果に伴って空気調和装置(10)が空調動作を行っている間になされることが好ましいが、必ずしもこれに限定されることはない。また、上記入力は、ユーザ(U1,U2,U3)の眠気状態の推定結果に応じて実行される空気調和装置(10)の空調制御の内容を補正するために(例えば、室内ファン(12)の回転速度を実際の眠気状態に応じて調整するために)、用いられても良い。

0041

<空調制御装置の構成>
空調制御装置(50)は、図2に示すように、空気調和装置(10)の構成要素の一部である室内環境情報センサ(13)、制御部(14)及びカメラ(26)に加えて、受け付け部に相当するリモートコントローラ(30)と、演算装置(60)とを有する。

0042

室内環境情報センサ(13)、制御部(14)、カメラ(26)、及びリモートコントローラ(30)は、上記にて説明したため、以下では演算装置(60)について説明する。

0043

<演算装置>
演算装置(60)は、ユーザ(U1,U2,U3)の眠気状態の推定動作を主に行うものであって、記憶部(62)及びCPU(65)を備えたコンピュータである。演算装置(60)は、クラウドサーバローカルサーバ等であることができる。

0044

演算装置(60)は、空気調和装置(10)及びリモートコントローラ(30)と有線または無線で通信可能に接続されている。これにより、演算装置(60)は、室内(r1)の温度等である室内環境情報センサ(13)の検知結果及びカメラ(26)の撮像した画像を空気調和装置(10)から取得することができ、リモートコントローラ(30)がユーザ(U1,U2,U3)から実際の眠気状態を表す眠気情報の入力を受け付けた場合、これを取得することができる。また、演算装置(60)は、自身が推定した推定結果である眠気状態を、空気調和装置(10)の制御部(14)に出力することができる。

0045

なお、本実施形態では、演算装置(60)が空気調和装置(10)とは別の装置である場合を例示しているが、演算装置(60)は、制御部(14)と同様、CPU及びメモリからなるマイクロコンピュータで構成され、空気調和装置(10)内に組み込まれていてもよい。

0046

記憶部(62)は、フラッシュメモリ及びハードディスク等の不揮発性記憶装置で構成される。記憶部(62)には、主に、ユーザ情報(63)が格納されている。

0047

図3に示すように、ユーザ情報(63)は、個々のユーザ(U1,U2,U3)についての、ユーザ(U1,U2,U3)の動作及び状態(表情を含む)と、その動作及び状態を採っている時のユーザ(U1,U2,U3)の眠気状態とが対応づけられた情報である。眠い時または眠くない時に自ずと行う行動や表情等は、ユーザ(U1,U2,U3)毎に異なる場合がある。即ち、眠気の感覚に対する行動や表情等には、ユーザ(U1,U2,U3)毎に癖があると考えられる。それ故、その癖を、いわばユーザ(U1,U2,U3)の眠気状態を指し示す基準として定義したものが、ユーザ情報(63)である。

0048

CPU(65)は、記憶部(62)や当該記憶部(62)以外の他のメモリに記憶された各種プログラム読み出して実行することにより、推定部(66)及びモデル更新部(68)として機能する。

0049

−ユーザの眠気状態の推定−
推定部(66)は、カメラ(26)が撮像したユーザ(U1,U2,U3)の画像と室内環境情報センサ(13)の検知結果である室内環境情報とを必須パラメータとして用いて、ユーザ(U1,U2,U3)の眠気状態を推定する。このような推定部(66)は、推定モデル(67)を有する。

0050

推定モデル(67)は、撮像された画像等からユーザ(U1,U2,U3)の眠気状態(眠気レベル)を、ディープラーニング等の手法を用いた演算にて求める専用モデルであって、ニューラルネットワークとして予め構築されている。本実施形態の推定モデル(67)は、図4破線に示すように、主として、カメラ(26)が撮像した画像のデータに画像処理を施す画像処理ニューラルネットワーク(67a)、及び、画像処理の結果と室内環境情報センサ(13)の検知結果に関する情報とからユーザ(U1,U2,U3)の眠気状態を推定する眠気推定ニューラルネットワーク(67b)の、言わば2層構造のニューラルネットワークとなっている。

0051

推定部(66)は、先ず、カメラ(26)が撮像した画像のデータを画像処理ニューラルネットワーク(67a)に入力する。画像処理ニューラルネットワーク(67a)では、画像データ(ここでは動画データ)の同時化処理等の他、エッジ検出コントラスト処理等を駆使して、背伸びをしている等のユーザ(U1,U2,U3)の動作の抽出、目を閉じている等のユーザ(U1,U2,U3)の状態の抽出、ユーザ(U1,U2,U3)の性別の算出、ユーザ(U1,U2,U3)の年齢の算出が行われる。即ち、画像処理ニューラルネットワーク(67a)では、眠気状態を表すユーザ(U1,U2,U3)の特定の動作及び、状態が抽出され、眠気レベルを左右する一要因となる性別及び年齢が演算される。

0052

図5(a)では、年齢の高低と眠気レベルとの関係の一例を概念的に表し、図5(b)では、性別と眠気レベルとの関係の一例を概念的に表している。室内(r1)がとある温度で均一とした場合、図5(a)では、年齢が低い程、さほど眠気を感じないユーザ(U1,U2,U3)が多い傾向にあり、年齢が高い程、眠いと感じるユーザ(U1,U2,U3)は多い傾向にあることを表している。室内(r1)がとある温度で均一とした場合、図5(b)では、同年齢にて比較すると、女性は、男性に比べて眠気を感じることが多い場合があることを表している。このように、求めた性別及び年齢は、眠気レベルを左右する指標の1つとなる。

0053

図4に示すように、画像処理ニューラルネットワーク(67a)から出力された上記抽出結果及び上記演算結果と、例えば室内(r1)の温度、湿度、CO2の濃度である室内環境情報センサ(13)の検知結果(室内環境情報)に関する情報とが、眠気推定ニューラルネットワーク(67b)に入力される。本実施形態では、室内環境情報センサ(13)の検知結果は、推定モデル(67)における演算ニューラルネットワーク(67c)にて、眠気推定ニューラルネットワーク(67b)が扱えるタイプのデータとするための所定の演算を施された後に、室内環境情報センサ(13)の検知結果に関する情報として眠気推定ニューラルネットワーク(67b)に入力される場合を例示しているが、演算ニューラルネットワーク(67c)を介さずに、直接眠気推定ニューラルネットワーク(67b)に入力されてもよい。

0054

眠気推定ニューラルネットワーク(67b)では、入力された各種情報のうち、眠気状態を表すユーザ(U1,U2,U3)の特定の動作及び状態である抽出結果と室内環境情報センサ(13)の検知結果に関する情報とから、図3に係るユーザ情報(63)を基準として、個々のユーザ(U1,U2,U3)の眠気状態が求められる。この際、入力された演算結果、即ちユーザ(U1,U2,U3)の性別及び年齢が、個々のユーザ(U1,U2,U3)の眠気状態の算出において加味される。

0055

例えば室内(r1)の温度が高かったりCO2の濃度が高かったりする程、ユーザ(U1,U2,U3)の眠気は誘発される。そこで、ユーザ(U1,U2,U3)の特定の動作及び状態と共に、室内環境情報センサ(13)の検知結果に関する情報が、個々のユーザ(U1,U2,U3)の眠気レベルの推定に利用される。また、図5(a)(b)で示した性別や年齢と眠気レベルとの関係性を考慮することで、ユーザ(U1,U2,U3)各個人の眠気情報がよりきめ細かく推定される。

0056

推定部(66)は、このようにして求めたユーザ(U1,U2,U3)の眠気状態(眠気レベル)を、眠気状態の推定結果として、空気調和装置(10)の制御部(14)に送信する。

0057

−推定モデルの更新−
図6に示すように、モデル更新部(68)は、カメラ(26)が撮像した画像のデータ及びリモートコントローラ(30)が受け付けたユーザ(U1,U2,U3)の実際の眠気状態を表す眠気情報に基づいて上記推定モデル(67)を学習させる。

0058

眠気状態の推定後にカメラ(26)が新たに撮像した画像に、例えばそれまで頬杖を付いていたユーザ(U1,U2,U3)が頬杖をしなくなった等の、ユーザ(U1,U2,U3)の動作及び状態に所望の変化が現れる可能性がある。この場合は、眠気状態の推定動作が比較的良好であって、その推定結果に基づく空調動作がユーザ(U1,U2,U3)の眠気状態を解消させる方向へと向かわせていると判断することができる。しかし、このような所望の変化が見られない場合は、眠気状態の推定動作が実際の眠気状態と乖離している可能性がある。そこで、モデル更新部(68)は、カメラ(26)が新たに撮像した画像を用いて推定モデル(67)を更新する。

0059

また、リモートコントローラ(30)を介してユーザ(U1,U2,U3)が入力した眠気情報には、ユーザ(U1,U2,U3)の実際の眠気レベルが表れている。それ故、モデル更新部(68)は、リモートコントローラ(30)が受け付けた眠気情報も用いて推定モデル(67)を更新する。

0060

このような更新動作により、推定モデル(67)(具体的には、眠気推定ニューラルネットワーク(67b))は、より実際の眠気状態に近い推定結果を算出できるようなモデルに更新されていく。

0061

なお、モデル更新部(68)は、前回撮影した画像におけるユーザ(U1,U2,U3)の動作及び状態と、新たに撮像した画像におけるユーザ(U1,U2,U3)の動作及び状態とを比較した結果、所望の変化がある場合、及び/または、リモートコントローラ(30)が受け付けた眠気情報が、眠気レベルが前回よりも所定レベル以上低下したことを表す内容である場合は、推定モデル(67)の更新動作は不要と判定し、推定モデル(67)の更新動作を行わずともよい。つまり、推定モデル(67)の更新動作は、前回撮像した画像と新たに撮像した画像との間でユーザ(U1,U2,U3)の動作及び状態に所望の変化がなかった場合、及び/または、リモートコントローラ(30)が受け付けた眠気情報が所望する眠気レベルよりも高い場合に行われると良い。CPU(65)が不必要な処理を行うことで高負荷となることを和らげるためである。

0062

なお、本実施形態では、推定モデル(67)のうち更新対象となるものは、眠気推定ニューラルネットワーク(67b)であるが、画像処理ニューラルネットワーク(67a)や演算ニューラルネットワーク(67c)が更に更新対象であってもよい。

0063

なお、図6に示すように、推定モデル(67)を更新する際には、更に室内環境情報センサ(13)の検知結果も利用されてもよいが、利用されずともよい。

0064

<推定したユーザの眠気状態に伴う空調動作>
図7は、ユーザ(U1,U2,U3)の眠気状態の推定動作、及び、推定した眠気状態(眠気レベル)に伴う空調動作の流れを示す図である。

0065

カメラ(26)は、ユーザ(U1,U2,U3)の画像を撮像する(St11)。カメラ(26)が撮像した画像は、演算装置(60)に送信される。

0066

演算装置(60)では、推定部(66)は、推定モデル(67)における画像処理ニューラルネットワーク(67a)を用いて、ユーザ(U1,U2,U3)の動作及び状態の抽出、性別及び年齢の演算を行う(St12)。推定部(66)は、推定モデル(67)における眠気推定ニューラルネットワーク(67b)に、ステップSt12における抽出結果及び演算結果と、室内環境情報センサ(13)の検知結果である室内環境情報(ここでは、検知結果に関する情報)とを入力して、各ユーザ(U1,U2,U3)の眠気レベルを含む眠気状態を推定する(St13)。眠気状態の推定結果は、空気調和装置(10)の制御部(14)に送信される。

0067

上記推定結果は、図示していないが、演算装置(60)が有するデータベースに格納される(St14)。この際、推定結果と共に、室内(r1)の温度を含む室内環境情報、現在の空気調和装置(10)の風向及び風量が、データベースに対応づけて格納される。データベースは、眠気状態の推定動作の精度向上のため、推定モデル(67)の更新時に用いられても良い。また、データベースは、以下の“閾値”を最適な値に補正するために用いられると更に好ましい。

0068

空気調和装置(10)の制御部(14)は、推定された眠気レベルが閾値以下となるように、個々のユーザ(U1,U2,U3)に適した空調制御内容を算出し(St15)、算出した空調制御を実行させる(St16)。例えば、制御部(14)は、眠気レベルと閾値との差が大きい程、当該眠気レベルであるユーザ(U1,U2,U3)に対して冷却または加熱された空気を風量を上げた状態で供給する空調制御内容を実行する。制御部(14)は、眠気レベルと閾値との差が小さい程、当該眠気レベルであるユーザ(U1,U2,U3)に対しては現在の空気の供給量を維持する空調制御内容を実行する。このように、個々のユーザ(U1,U2,U3)の眠気レベルと閾値との差の大きさに応じて、そのユーザ(U1,U2,U3)への風向及び風量を変化させる空調制御内容が算出されて実行される。このような空調制御内容は、眠気レベルが高いユーザ(U1,U2,U3)に対しては眠気を解消させて覚醒を促し、眠気レベルが低いユーザ(U1,U2,U3)に対しては引き続き現在の状態を維持するように作用させるための内容と言える。これにより、各個人の眠気レベルは、空調制御によって改善または維持される。そのため、室内(r1)内のユーザ(U1,U2,U3)全体の眠気レベルの平均は改善され、ユーザ(U1,U2,U3)の作業性は向上する。

0069

<効果>
室内の環境は、ユーザ(U1,U2,U3)の眠気状態に影響を及ぼす。そこで、演算装置(60)の推定部(66)は、カメラ(26)が撮像したユーザ(U1,U2,U3)の画像と共に、室内環境情報センサ(13)の検知結果である室内環境情報(室内(r1)の温度やCO2濃度等)に基づいて、ユーザ(U1,U2,U3)の眠気状態を推定する。これにより、ユーザ(U1,U2,U3)の眠気を精度良く把握することができる。

0070

上記画像には、ユーザ(U1,U2,U3)の眠気状態を表すユーザ(U1,U2,U3)の動作及び状態が写し出されている。そこで、推定部(66)は、ユーザ(U1,U2,U3)の動作及び状態を画像から抽出してユーザ(U1,U2,U3)の眠気状態を推定する。これにより、ユーザ(U1,U2,U3)の眠気状態の推定精度は向上する。

0071

また、年齢及び性別の違いは、人が「眠い」と感じる感覚に影響を及ぼすことがある。そこで、推定部(66)は、画像からユーザ(U1,U2,U3)の年齢及び性別を演算し、その演算結果を更に用いてユーザ(U1,U2,U3)の眠気状態を推定する。これにより、ユーザ(U1,U2,U3)の眠気状態の推定精度はより向上する。

0072

また、カメラ(26)は、天井に設置されている空気調和装置(10)に設けられている。そのため、カメラ(26)は、室内(r1)に居るユーザ(U1,U2,U3)を、障害物により遮られる可能性が軽減された状態で、撮像することができる。

0073

また、推定部(66)は、室内(r1)に居る複数のユーザ(U1,U2,U3)それぞれの眠気状態を推定する。即ち、本実施形態では、個々のユーザ(U1,U2,U3)の眠気状態を推定することができる。

0074

ところで、ユーザ(U1,U2,U3)が「眠い」または「眠くない」と感じている際にユーザ(U1,U2,U3)が採る動作及び状態は、ユーザ(U1,U2,U3)毎に異なることがある。そこで、推定部(66)は、個々のユーザ(U1,U2,U3)が「眠い」または「眠くない」と感じた際に採る動作及び状態を表すユーザ情報(63)を、実際に撮像した画像におけるユーザ(U1,U2,U3)の動作及び状態との照合に用いる。これにより、個々のユーザ(U1,U2,U3)の眠気状態の推定精度はより向上する。

0075

空気調和装置(10)の制御部(14)は、ユーザ(U1,U2,U3)の眠気状態のレベルが低下するように、演算装置(60)の推定部(66)が推定した眠気状態に基づいて空調動作を制御する。これにより、ユーザ(U1,U2,U3)がリモートコントローラ(30)等を操作して眠気が解消するような空調動作の実行指示を空気調和装置(10)に与えずとも、空気調和装置(10)は、ユーザ(U1,U2,U3)の眠気が改善し覚醒を促すのに適した空調動作を自動的に行う。従って、ユーザ(U1,U2,U3)の利便性は向上し、ユーザ(U1,U2,U3)は、眠気状態が解消して覚醒し易くなる。

0076

特に、ユーザ(U1,U2,U3)の眠気状態の推定精度が向上しているため、推定された眠気状態に応じた空調動作がなされることにより、ユーザ(U1,U2,U3)の眠気状態はより解消し易くなる。

0077

特に、個々のユーザ(U1,U2,U3)の眠気状態を推定し、個々のユーザ(U1,U2,U3)の眠気状態に適した空調動作がなされることにより、室内(r1)に居るユーザ(U1,U2,U3)全体の眠気レベルを改善することができる。

0078

また、ユーザ(U1,U2,U3)の画像及びリモートコントローラ(30)が受け付けたユーザ(U1,U2,U3)の眠気情報に基づいて、推定モデル(67)が学習される。従って、推定部(66)が学習後の推定モデル(67)を用いて眠気状態の推定動作を行うことにより、ユーザ(U1,U2,U3)の眠気状態の推定精度はより向上する。

0079

≪第2実施形態≫
本実施形態では、上記第1実施形態において、空調制御装置(50)が更にサーモグラフィセンサ(128)(表面温度測定部に相当)を備え、推定部(66)は、ユーザ(U1,U2,U3)の眠気状態の推定動作に更にサーモグラフィセンサ(128)の検知結果を用いる場合について説明する。

0080

図8は、第1実施形態の図4に対応する図であって、本実施形態に係る眠気状態の推定時の推定モデル(67)の入力及び出力を表す概念図である。図8の破線に示すように、推定部(66)における推定モデル(67)は、上記第1実施形態と同様、撮像された画像のデータと室内環境情報とからユーザ(U1,U2,U3)の眠気レベルを含む眠気状態を演算によって求める専用のニューラルネットワークとして予め構築されている。具体的には、推定モデル(67)は、主として、画像処理ニューラルネットワーク(67a)と眠気推定ニューラルネットワーク(67b)の、言わば2層構造のニューラルネットワークとなっている。

0081

上記第1実施形態と同様、室内環境情報センサ(13)の検出結果である室内環境情報は、推定モデル(67)における演算ニューラルネットワーク(67c)にて、眠気推定ニューラルネットワーク(67b)が扱えるタイプのデータとするための所定の演算を施された後に、眠気推定ニューラルネットワーク(67b)に入力される場合を例示している。

0082

画像処理ニューラルネットワーク(67a)の入力と出力は、上記第1実施形態と同様である。

0083

眠気推定ニューラルネットワーク(67b)には、画像処理ニューラルネットワーク(67a)の抽出結果及び演算結果、室内環境情報センサ(13)の検知結果に関する情報に加え、サーモグラフィセンサ(128)の検知結果が入力される。

0084

サーモグラフィセンサ(128)は、室内(r1)に居る各ユーザ(U1,U2,U3)の表面温度を測定する。サーモグラフィセンサ(128)の室内(r1)での取り付け位置は、特に限定されることはなく、例えばリモートコントローラ(30)に組み込まれても良いし、空気調和装置(10)の下面(21)に取り付けられてもよい。

0085

なお、図8に示すように、サーモグラフィセンサ(128)の検知結果は、室内環境情報センサ(13)の検知結果が演算ニューラルネットワーク(67c)にて演算処理されるのと同様、別途演算ニューラルネットワーク(67d)にて所定の演算が施された後に、眠気推定ニューラルネットワーク(67b)に入力されても良い。

0086

眠気推定ニューラルネットワーク(67b)では、上記第1実施形態と同様、画像処理ニューラルネットワーク(67a)の抽出結果及び室内環境情報に基づいて個々のユーザ(U1,U2,U3)の眠気状態が求められる。この際、上記第1実施形態と同様、ユーザ情報(63)は基準として用いられる。画像処理ニューラルネットワーク(67a)の演算結果(年齢及び性別)に加えて、サーモグラフィセンサ(128)の検知結果(表面温度)が、ユーザ(U1,U2,U3)の眠気状態の算出において加味される。

0087

サーモグラフィセンサ(128)の検知結果は、図9に示すように、推定モデル(67)の更新動作においても、画像処理ニューラルネットワーク(67a)の抽出結果及び演算結果、室内環境情報センサ(13)の検知結果に関する情報に加えて用いられてもよい。

0088

図8及び図9を用いて説明した以外、具体的には、空調制御装置(50)を用いた空調システム(100)の構成、ユーザ情報(63)、推定結果を用いた空調動作の詳細は、上記第1実施形態と同様であるため、説明を省略する。

0089

このように、本実施形態では、ユーザ(U1,U2,U3)の眠気状態の推定に、ユーザ(U1,U2,U3)の実際の表面温度が更に用いられる。従って、ユーザ(U1,U2,U3)の眠気状態の推定精度はより向上する。また、空気調和装置(10)は、ユーザ(U1,U2,U3)の眠気がより改善し覚醒を促すのに適した空調動作を行うことができる。

0090

なお、サーモグラフィセンサ(128)の検知結果は、更に、空気調和装置(10)からユーザ(U1,U2,U3)に供給される空気がユーザ(U1,U2,U3)にとって適切な温度及び風量であるのかを制御部(14)が判断するために利用されてもよい。例えば、ユーザ(U1,U2,U3)の眠気状態の改善のためと云えども、冷却された空気がユーザ(U1,U2,U3)に多量に供給されると、ユーザ(U1,U2,U3)の表面温度が過度に低下してしまい、かえってユーザ(U1,U2,U3)に対し刺激の与えすぎとなってしまう。そのため、サーモグラフィセンサ(128)の検知結果から、空気調和装置(10)がユーザ(U1,U2,U3)に供給する空気がユーザ(U1,U2,U3)にとって適切な温度及び風量ではないと判断した時は、制御部(14)は、サーモグラフィセンサ(128)の検知結果に基づいて供給する空気の温度及び風量を和らげるように空調制御内容を調整することが好ましい。

0091

≪その他の実施形態≫
上記第1実施形態及び第2実施形態において、画像と室内環境情報におけるCO2濃度とを用いて、時間帯に即して眠気を解消するような空調制御が更に行われても良い。例えば、昼食後、人は眠くなる傾向にある。CO2濃度が高い程眠気は強くなる。そこで、空気調和装置(10)の制御部(14)は、午後は室内(r1)の目標温度を午前中よりも一時的に下げると共に、CO2の濃度に応じて目標温度の下げ幅を調整すると好ましい。その際、推定部(66)が、眠気レベルが高い人の数が所定数以上であると画像を用いて推定した場合、制御部(14)は、CO2濃度を下げるために、換気動作を空調動作として決定することが好ましい。

0092

上記第1実施形態及び第2実施形態において、推定部(66)は、更に各ユーザ(U1,U2,U3)の心拍数の検知結果を各ユーザ(U1,U2,U3)の眠気状態の推定に用いても良い。これにより、各ユーザ(U1,U2,U3)の眠気レベルはより細かく把握されるようになる。各ユーザ(U1,U2,U3)の心拍数は、カメラ(26)が撮像した画像から、各ユーザ(U1,U2,U3)の状態を表す情報として算出されてもよいし、カメラ(26)とは別の心拍数を検知するセンサによって検知されても良い。各ユーザ(U1,U2,U3)の心拍数は、推定モデル(67)の学習の際に用いられても良い。

0093

制御部(14)は、画像から演算されたユーザ(U1,U2,U3)の年齢及び性別を用いて、より個人が覚醒し易くなるような効果的な個別の空調動作が行われるように、空調動作を制御してもよい。

0094

上記第1実施形態及び第2実施形態において、吸い込みセンサとは別のセンサが室内環境情報センサ(13)として設けられても良い。室内環境情報センサ(13)が検知する室内に関する情報は、室内(r1)の温度、湿度、CO2の濃度に限定されることはなく、室内(r1)の環境に関する様々な情報が含まれる。また、室内環境情報センサ(13)の検知結果は、室内(r1)の温度のみ、CO2の濃度のみであってもよい。

0095

カメラ(26)が新たに撮像した画像は、リモートコントローラ(30)を介して入力されたユーザ(U1,U2,U3)の眠気情報と同様、推定モデル(67)の更新のみならず、空調動作の制御の微調整に利用されてもよい。

0096

上記第1実施形態及び第2実施形態において、画像には、ユーザ(U1,U2,U3)の眠気状態を表すユーザ(U1,U2,U3)の動作及び状態が写し出されていると説明したが、画像に写し出されているものは、ユーザ(U1,U2,U3)の動作及び状態のうち少なくとも1つであってもよい。この場合、画像処理ニューラルネットワーク(67a)の抽出結果は、ユーザ(U1,U2,U3)の動作及び状態のうち、少なくとも1つとなる。

0097

ユーザ(U1,U2,U3)の性別及び年齢の演算結果は、眠気状態の推定に利用されずとも良い。

0098

ユーザ(U1,U2,U3)の性別及び年齢を眠気状態の推定に用いる場合、ユーザ(U1,U2,U3)の性別及び年齢のいずれか一方が眠気状態の推定に用いられもよい。

0099

空気調和装置(10)は、室内(r1)の天井に設置されるタイプに限定されず、壁面設置タイプ、床置きタイプ等であることができる。

0100

カメラ(26)は、室内(r1)のユーザ(U1,U2,U3)を撮像できる位置にあればよく、空気調和装置(10)に設けられずともよい。例えば、カメラ(26)は、ユーザ(U1,U2,U3)のパーソナルコンピュータが有するウェブカメラであってもよい。

0101

上記第1実施形態及び第2実施形態に係る空調制御装置(50)は、室内(r1)に居るユーザの人数が一人である場合にも適用することができる。

0102

また、空調制御装置(50)は、室内(r1)に居るユーザの人数が複数の場合、眠気状態の推定対象者は、全員ではなく、任意であってもよい。

0103

推定部(66)は、眠気状態の推定時に、ユーザ情報(63)を利用せずともよい。

0104

眠気状態の推定結果に基づいて空気調和装置(10)の空調動作を制御することは、必ずしも必須ではない。従って、眠気状態の推定動作のみを行う眠気推定装置であってもよい。

0105

推定モデル(67)の更新動作は行われなくても良い。

0106

推定モデル(67)の更新動作を行う場合、眠気状態の推定時と推定モデル(67)の更新動作時とで、使用するパラメータが同じであってもよいし、異なっていても良い。例えば、眠気状態の推定時のパラメータは、画像、室内の温度及び湿度、吹き出し口(24)から吹き出される空気の吹き出し温度及び湿度、風量、風向、空調能力のうち少なくとも1つであることができる。推定モデル(67)の更新動作時のパラメータは、画像、室内の温度及び湿度、風速輻射温度、CO2の濃度のうち少なくとも1つであることができる。

0107

上記第1実施形態及び第2実施形態では、ニューラルネットワークで構築された推定モデル(67)を利用して眠気状態の推定が行われる場合を説明したが、眠気状態の推定動作は、上記推定モデル(67)を利用することなく、例えばプログラムを実行することによってなされてもよい。

0108

空調動作の制御は、制御部(14)に代えて演算装置(60)が行っても良い。

0109

以上説明したように、本発明は、ユーザの眠気状態を推定する眠気推定装置について有用である。

0110

10空気調和装置
13室内環境情報センサ(検知部)
14 制御部
26カメラ(撮像部)
30リモートコントローラ(受け付け部)
50空調制御装置(睡眠推定装置
62 記憶部
63ユーザ情報
66推定部
67推定モデル
68モデル更新部
U1,U2,U3 ユーザ
128サーモグラフィセンサ(表面温度測定部)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ