図面 (/)

技術 収納物管理システム

出願人 アクア株式会社
発明者 豊嶋昌志
出願日 2016年9月14日 (4年5ヶ月経過) 出願番号 2016-179341
公開日 2018年3月22日 (2年11ヶ月経過) 公開番号 2018-043845
状態 特許登録済
技術分野 冷蔵庫の冷気循環及び細部構成 特定用途計算機
主要キーワード 回帰反射 遠隔サーバー 画像解析プログラム 赤外線域 再帰反射性シート 保管位置 再帰反射面 収納室内
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

収納室内における収納物保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる収納物管理システムを提供する。

解決手段

冷蔵庫2の収納室4の前部Bに配置された2以上の回帰反射型の光電センサ12,14及び再帰反射面16を含み、収納室4の前部Bにおける検出物の存在の有無及び存在する該検出物の光電センサ12.14に対する角度を検出する検出部10と、収納室4の前部Bに設置された撮影装置20と、検出部10及び撮影装置20からのデータに基づく制御処理を行う制御部と、を備え、制御部が、2以上の光電センサ12,14が検出した角度に基づいて、収納室4の前部Bの仮想平面60上における検出物の位置を算出し、撮影装置20により撮影された画像データに基づいて、検出物の種類を判定する収納物管理システムを提供する。

概要

背景

冷蔵室をはじめとする冷蔵庫収納室内保管された収納物を適確に管理することは、使用者にとって重要な事項である。これに対応するため、コンピュータを用いた画像解析技術の発達に伴い、収納室内に設置されたカメラ撮影した画像データの解析から、収納物の種類及び収納室内の保管位置を把握する収納物管理システムが提案されている。

このような収納物管理システムでは、複数の収納物が重ねて置かれている場合、下側に位置する収納物を撮影できない場合がある。その場合には、収納物の種類及び収納室内の保管位置を正確に把握することができない。この問題に対処するため、収納室内に設置されたカメラを上下に回転可能にして、収納物が重なって置かれた場合であっても、下側の収納物を撮影できるようにした冷蔵庫用のシステムが提案されている。(例えば、特許文献1参照)

概要

収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる収納物管理システムを提供する。冷蔵庫2の収納室4の前部Bに配置された2以上の回帰反射型の光電センサ12,14及び再帰反射面16を含み、収納室4の前部Bにおける検出物の存在の有無及び存在する該検出物の光電センサ12.14に対する角度を検出する検出部10と、収納室4の前部Bに設置された撮影装置20と、検出部10及び撮影装置20からのデータに基づく制御処理を行う制御部と、を備え、制御部が、2以上の光電センサ12,14が検出した角度に基づいて、収納室4の前部Bの仮想平面60上における検出物の位置を算出し、撮影装置20により撮影された画像データに基づいて、検出物の種類を判定する収納物管理システムを提供する。

目的

本発明の目的は、上記の課題を解決するものであり、収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる収納物管理システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

冷蔵庫収納室の前部に配置された2以上の回帰反射型の光電センサ及び再帰反射面を含み、前記収納室の前部における検出物の存在の有無及び存在する該検出物の前記光電センサに対する角度を検出する検出部と、前記収納室の前部に設置された撮影装置と、前記検出部及び前記撮影装置からのデータに基づく制御処理を行う制御部と、を備え、前記制御部が、2以上の前記光電センサが検出した前記角度に基づいて、前記収納室の前部の仮想平面上における前記検出物の位置を算出し、前記撮影装置により撮影された画像データに基づいて、前記検出物の種類を判定することを特徴とする収納物管理システム

請求項2

前記収納室の内壁の開口側の4面のうち、1つの面に2以上の前記光電センサが配置され、残り3つの面に前記再帰反射面が配置されていることを特徴とする請求項1に記載の収納物管理システム。

請求項3

前記光電センサが前記検出物の存在の検出を開始したことに基づいて、前記撮影装置が撮影を開始することを特徴とする請求項1に記載の収納物管理システム。

請求項4

前記光電センサが前記検出物の存在の検出を終了したことに基づいて、前記撮影装置が撮影を終了することを特徴とする請求項3に記載の収納物管理システム。

請求項5

前記制御部が、前記光電センサが前記検出物の存在の検出を開始した直後の画像データと、前記光電センサが前記検出物の存在の検出を終了した直前の画像データとを比較して、貯蔵物収納された場合か、貯蔵物が取り出された場合か判断することを特徴とする請求項1から4の何れか1項に記載の収納物管理システム。

技術分野

0001

本発明は、冷蔵庫収納室内収納された収納物を管理するための収納物管理システムに関する。

背景技術

0002

冷蔵室をはじめとする冷蔵庫の収納室内に保管された収納物を適確に管理することは、使用者にとって重要な事項である。これに対応するため、コンピュータを用いた画像解析技術の発達に伴い、収納室内に設置されたカメラ撮影した画像データの解析から、収納物の種類及び収納室内の保管位置を把握する収納物管理システムが提案されている。

0003

このような収納物管理システムでは、複数の収納物が重ねて置かれている場合、下側に位置する収納物を撮影できない場合がある。その場合には、収納物の種類及び収納室内の保管位置を正確に把握することができない。この問題に対処するため、収納室内に設置されたカメラを上下に回転可能にして、収納物が重なって置かれた場合であっても、下側の収納物を撮影できるようにした冷蔵庫用のシステムが提案されている。(例えば、特許文献1参照)

先行技術

0004

特開2002−267336公報

発明が解決しようとする課題

0005

特許文献1に記載のシステムでは、収納室内の収納物の保管場所や収納物の置き方によっては、どのようにカメラを回転させても、重なった下側の収納物を撮影できない場合が生じる。よって、冷蔵庫に保管された収納物の種類及び収納室内の保管位置を把握することができない場合が依然として存在する。

0006

従って、本発明の目的は、上記の課題を解決するものであり、収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる収納物管理システムを提供することを目的とする。

課題を解決するための手段

0007

本発明は、収納物管理システムであって、
冷蔵庫の収納室の前部に配置された2以上の回帰反射型の光電センサ及び再帰反射面を含み、前記収納室の前部における検出物の存在の有無及び存在する該検出物の前記光電センサに対する角度を検出する検出部と、
前記収納室の前部に設置された撮影装置と、
前記検出部及び前記撮影装置からのデータに基づく制御処理を行う制御部と、
を備え、
前記制御部が、
2以上の前記光電センサが検出した前記角度に基づいて、前記収納室の前部の仮想平面上における前記検出物の位置を算出し、
前記撮影装置により撮影された画像データに基づいて、前記検出物の種類を判定することを特徴とする。

0008

回帰反射型の光電センサは、可視光域赤外線域の光を出射する投光部と、その反射光を受信する受光部とを備える。投光部及び受光部は通常、隣接して配置され、投光部から出射された光が反射面で反射されて、その反射光が受光部に入る。光電センサと反射面との間に検出物が存在する場合、遮光されて受光部で受ける光量が変化する。これに基づいて、回帰反射型の光電センサでは、検出物の存在の有無及び存在する検出物の光電センサに対する角度を検出することができる。

0009

特に、反射面として、光源から入射した光が光源の方向に戻る再帰反射面で構成されているので、検出物が存在する位置の光電センサに対する角度を正確に検出することができる。

0010

光電センサに対する角度とは、光電センサ及び検出物を結ぶ線が光電センサの基準線となす角度を意味する。例えば、2つの光電センサを結ぶ線を基準線とする場合、2つの光電センサの位置及びその間の距離がわかっているので、2つの光電センサが検出した角度から、三角測量の手法で、収納室の前部の仮想平面上における検出物の二次元の位置を算出することができる。3つの光電センサを備える場合にも、同様な方法で収納物の位置を算出することができる。

0011

撮影装置による撮影は、常時撮影を継続することもできるし、光電センサが検出物の存在を検出したときをはじめとする任意のタイミングで撮影を行うこともできる。
撮影装置により撮影された画像データに基づいて、検出物の種類を判定するため、任意の画像解析技術を用いることができる。判定する検出物の種類には、使用者の手に収納物が存在するか否かの判定、及び使用者の手に保持されている収納物の種類の判定が含まれる。

0012

制御部は、収納物管理システム専用に設けることもできるし、冷蔵庫の制御装置が制御部の機能を果たすこともできるし、インターネット回線等を利用して、遠隔サーバーが制御部の機能を果たすこともできる。

0013

本発明では、2以上の光電センサが検出した角度に基づいて、収納室の前部の仮想平面上における検出物の位置を算出し、撮影装置により撮影された画像データに基づいて、検出物の種類を判定する。これにより、収納物を収納または取り出すとき、場合によっては、その動作の間の任意のタイミングにおける、収納室の開口位置での収納物の二次元の位置及び収納物の種類を定めることができる。特に、光電センサ及び撮影装置といったシンプル装置構成でこれを実現できる。

0014

以上のように、本発明では、収納室の開口位置で、収納物の位置及び種類を検出することができるので、仮に、収納物を上下に重ねて保管しても問題は生じず、収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる。

0015

また本発明は、前記収納室の内壁の開口側の4面のうち、1つの面に2以上の前記光電センサが配置され、残り3つの面に前記再帰反射面が配置されていることを特徴とする。

0016

本発明では、光電センサの動作可能な角度範囲に応じた、光電センサ及び再帰反射面の適切な配置を行うことにより、収納室の開口位置全面をカバー可能な検出部の合理的な配置を実現できる。

0017

また本発明は、前記光電センサが前記検出物の存在の検出を開始したことに基づいて、前記撮影装置が撮影を開始することを特徴とする。

0018

本発明では、光電センサが検出物の存在の検出を開始したことに基づいて、撮影装置が撮影を開始するので、収納物を収納または取り出すときの画像データを効率的かつ確実に取得することができる。

0019

また本発明は、前記光電センサが前記検出物の存在の検出を終了したことに基づいて、前記撮影装置が撮影を終了することを特徴とする。

0020

本構成では、更に、光電センサが検出物の存在の検出を終了したことに基づいて、撮影装置が撮影を終了するので、収納物を収納または取り出すときの画像データの取得を効率的に行うことができる。

0021

また本発明は、前記制御部が、前記光電センサが前記検出物の存在の検出を開始した直後の画像データと、前記光電センサが前記検出物の存在の検出を終了した直前の画像データとを比較して、貯蔵物が収納された場合か、貯蔵物が取り出された場合か判断することを特徴とする。

0022

画像データに基づき、もし、検出物の存在の検出を開始した直後に使用者の手に収納物が存在し、検出物の存在の検出を終了した直前に使用者の手に収納物が存在しない場合には、収納物が収納室内に収納されたと判定できる。一方、もし、検出物の存在の検出を開始した直後に使用者の手に収納物が存在せず、検出物の存在の検出を終了した直前に使用者の手に収納物が存在する場合には、収納物が収納室から取り出されたと判定できる。

0023

本発明により、光電センサ及び撮影装置といったシンプルな装置構成で、確実に収納物の管理に重要な情報を得ることができる。

発明の効果

0024

収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる収納物管理システムを提供できる。

図面の簡単な説明

0025

本発明の1つの実施形態に係る収納物管理システムを備えた冷蔵庫を示す図であって、(a)は扉が開いた状態の正面図であり、(b)は(a)のA−A断面を示す断面図である。
回帰反射型の光電センサ及び再帰反射面を含む検出部により検出物を検出することを示す模式図である。
検出物による遮光で入射する光量が変化する光電センサの受光部での位置により、検出物の光電センサに対する角度を検出することを示す模式図である。
本発明の1つの実施形態に係る収納物管理システムの概要を示すブロック図である。
2つの光電センサが検出した角度に基づいて、収納室の前部の仮想平面上における検出物の位置を算出することを示す模式図である。
収納物管理のための制御処理の一例を示すメインルーチンを示すフローチャートである。

実施例

0026

次に、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。
(本発明の1つの実施形態に係る収納物管理システム)
図1は、本発明の1つの実施形態に係る収納物管理システムを備えた冷蔵庫2を示す図であって、(a)は扉6が開いた状態の正面図であり、(b)は(a)のA−A断面を示す断面図である。はじめに、図1を参照しながら、本発明の1つの実施形態に係る収納物管理システム、特に、冷蔵庫2の収納室4に設置されたシステムを構成する検出部10及び撮影装置20の配置及びその機能を説明する。図1では、収納室として冷蔵庫の冷蔵室を示してあるが、これに限られるものではなく、冷凍室野菜室をはじめとする冷蔵庫に備えられた任意の収納空間に適用することができる。

0027

<検出部>
図1に示すように、冷蔵庫2の収納室4の矢印Bで示す前部に、2つの回帰反射型の光電センサ12,14及び再帰反射面16が備えられている。再帰反射面16は、光源から入射した光が光源の方向に戻る特性を有する反射面である。回帰反射型の光電センサ12,14は、投光部及び受光部が隣接して配置され、投光部から出射された光が再帰反射面で反射され、その反射光を受光部で受信するようになっている。これにより、図2及び図3を用いて後述するように、収納室4の前部における検出物の存在の有無及び存在する検出物の光電センサ12,14に対する角度を検出する検出部10を構成している。

0028

更に詳細に述べれば、収納室4の前部(矢印B参照)の内壁4面のうち、1つの面に2つの光電センサ12,14が配置され、残り3つの面に再帰反射面16が配置されている。図1に示す例では、収納室4の前部(矢印B参照)の扉6のヒンジ部のない側面に、光電センサ12,14がその上端及び下端に配置されている。

0029

収納室4の前部(矢印B参照)の光電センサ12,14が配置されていない残り3面、つまり上面、下面及びに扉6のヒンジ部を有する側面に、再帰反射面16が配置されている。再帰反射面として、ガラスビーズ屈折を利用したものや、プリズムの反射を利用したものを例示することができる。例えば、収納室4の前部の3面に再帰反射性シートを貼り付けたり、再帰反射性プレートを取り付けることにより、再帰反射面16を設けることができる。

0030

光電センサ12,14及び再帰反射面16の配置は、図1に示す場合に限られるものではなく、例えば、光電センサ12,14を上面に設置し、残りの3面に再帰反射面16を配置することもできる。その他の任意の面に光電センサ12,14及び再帰反射面16を配置することができる。複数の面に、2以上の任意の数の光電センサを配置することもできる。

0031

本実施形態では、光電センサ12,14における動作可能な角度範囲(つまり指向角)が、90度以上なので、光電センサ12,14により、収納室4の開口位置全面をカバーすることができる。つまり、収納室4の前部(矢印B参照)の3面に配置された再帰反射面16の全領域に、光電センサ12,14からの光が届き、その反射光が光電センサ12,14に戻るようになっている。
これにより、図1(b)に示す収納室4の前部(矢印B参照)の仮想平面60上における検出物の存在の有無及び検出物の光電センサ12,14に対する角度を検出することができる。

0032

以上のような配置により、光電センサ12,14の動作可能な角度範囲に応じた、光電センサ12,14及び再帰反射面16の適切な配置を行うことにより、収納室4の開口位置全面をカバー可能な検出部10の合理的な配置を実現できる。

0033

図2には、回帰反射型の光電センサ12(または14)及び再帰反射面16を含む検出部10により検出物を検出することを示す模式図である。図3は、検出物による遮光で入射する光量が変化する光電センサ12(または14)の受光部12b(または14b)での位置により、検出物の光電センサに対する角度を検出することを示す模式図である。

0034

図2(a)に示すように、もし、検出物がない場合には、光電センサ12(14)の投光部12a(14a)から出射された光は再帰反射面16に当たり、再帰反射面16からの反射光は、光電センサ12(14)に戻って受光部12b(14b)が受信する。一方、図2(b)に示すように、もし、検出物50が存在する場合には、光電センサ12(14)の投光部12a(14a)から出射された光は検出物50に遮られて、再帰反射面16に到達しない。仮に、一部の光が再帰反射面16に到達したとしても、再帰反射面16からの反射光は、検出物50に遮られて光電センサ12(14)の受光部12b(14b)に到達しない。光電センサ12(14)の投光部12a(14a)から出射された光は、検出物50に当たって乱反射する。乱反射による反射光の一部が光電センサ12(14)の受光部12b(14b)に到達するが、その光量は、図2(a)に示す場合に比べて極めて小さい。

0035


以上のように、検出物による遮光で光電センサ12(14)の受光部12b(14b)に入射する光量が変化することにより、検出物の存在の有無を検出することができる。

0036

更に、図3に示すように、検出物の光電センサ12(14)に対する角度によって、光電センサ12(14)の受光部12b(14b)における光量が変化する位置が異なる。図3に示す受光部12b(14b)には、光電変換素子マトリックス状に配列されており、光量変化が生じた領域の位置を正確に検出することができる。

0037

光電センサ12(14)に対する検出物50の角度、つまり、図3に示す場合であれば、受光部12b(14b)において光量変化が生じた領域及び検出物(検出物中心)50を結ぶ線が、基準線、ここでは受光部12b(14b)と受光面と平行な線となす角度をθとする。光電センサ12(14)に対して大きな角度θ2を有する場合の光量変化が生じた領域は、小さな角度θ1を有する場合の光量変化が生じた領域よりも、図面で下側に位置することになる。

0038

つまり、検出物50による遮光で入射する光量が変化した受光部12b(14b)での位置により、検出物50の光電センサ12(14)に対する角度θを検出することができる。これにより、検出物50の光電センサ12(14)に対する角度θを確実に検出することができる。
角度θの違いによる受光部12b(14b)における位置の差は、光電センサ12(14)の大きさに比べれば非常に小さい。よって、検出物50の光電センサ12(14)に対する角度を表す場合には(図5参照)、検出物50と光電センサ12(14)の所定の一点とを結ぶ線と基準線との間の角度を示すことで問題がない。

0039

本実施形態では光電センサ12,14の投光部12a(14a)は、近赤外線領域の光を出射する。これにより、外乱光の影響されにくく、優れた検出性能が期待できる。ただし、投光部が近赤外線領域の光を出射する場合だけに限られるものではなく、可視光領域の光を出射する投光部を用いることもできる。投光部12a(14a)には、例えば、LED光源を用いることができるが、光拡散手段を伴うレーザ光源を用いることも可能である。

0040

光電センサ12,14として、市場に供給されている回帰反射型の任意の光電センサを用いることができるし、本システム専用に作成された投光部及び受光部を組み合わせて用いることもできる。

0041

<撮影装置>
冷蔵庫2の収納室4の前部(矢印B参照)に、撮影装置20が備えられている。図1に示す例では、収納室4の前部(矢印B参照)の扉6のヒンジ部のない側面の光電センサ12の下側に、撮影装置20が配置されている。この配置により、撮影装置20によって、冷蔵庫2の収納室4の前部(矢印B参照)の任意の位置に存在する検出物の画像データを取得することができる。また、光電センサ12,14の検出に用いる光との間の干渉も回避できる。

0042

撮影装置20として、例えば、CMOSイメージセンサCCDイメージセンサ等のフォトダイオードを用いた装置を用いることができる。撮影装置20は、静止画を取得する場合も、動画を取得する場合もあり得る。動画を取得する場合には、動画の所定のタイミングの画像を取り出して、静止画像として用いることができる。

0043

撮影装置20による撮影は、常時撮影を継続している場合もあり得る。常時撮影を継続する場合には、動画を撮る場合もあり得るし、一定のインターバルで連続的に静止画を撮る場合もあり得る。また、光電センサ12,14が検出物の存在を検出したときに撮影を開始して、検出物の存在を検出しなくなったときに撮影を終了することもできる。更に、収納室4を開閉する扉6が開いたときに撮影を開始して、扉を閉じたときに終了することもできる。その他の任意のタイミングで、撮影を開始して終了することができる。

0044

<収納物管理システムの説明>
図4は、本発明の1つの実施形態に係る収納物管理システムの概要を示すブロック図である。収納管理システム40には、再帰反射面16とともに検出部10を構成する2つの光電センサ12,14と、撮影装置20と、光電センサ12,14及び撮影装置20が電気的に接続された制御部30とが備えられている。光電センサ12,14は、それぞれ投光部12a、14a及び受光部12b,14bを備える。制御部30は、収納物管理システム専用に設けることもできるし、冷蔵庫2の制御装置が制御部の機能を果たすこともできるし、インターネット回線等を利用して、遠隔サーバーが制御部の機能を果たすこともできる。

0045

図5は、2つの光電センサ12,14が検出した角度に基づいて、収納室4の前部の仮想平面60上における検出物50の位置を算出することを示す模式図である。図5を参照ながら、収納管理システム40の制御部30により、仮想平面60上における検出物50の位置の算出方法を説明する。
図5において、検出物50の光電センサ12,14に対する角度とは、光電センサ12,14及び検出物50を結ぶ線が基準線となす角度を意味する。図5における基準線は、2つの光電センサ12,14を結ぶ線であり、これは図3に示す受光部12b(14b)の受光面と平行な線と一致する。

0046

2つの光電センサ12,14の距離をLとする。光電センサ12及び検出物50を結ぶ線が基準線となす角度をαとし、光電センサ14及び検出物50を結ぶ線が基準線となす角度をβとする。2つの光電センサ12,14が検出した角度α,βから、三角測量の手法で、収納室4の前部の仮想平面60上における検出物50の二次元の位置を算出することができる。つまり、光電センサ12から仰角αで伸ばした直線と、光電センサ14から仰角βで伸ばした直線との交点が検出物50の位置となる。

0047

基本的に、2つの光電センサを用いることにより、検出物の二次元の位置を定めることができるが、3つ以上の光電センサを用いた場合でも、同様に検出物の二次元の位置を定めることができる。この場合、光電センサから検出した仰角で伸ばした直線の交点が多少一致しない場合があり得る。そのときは、複数の交点の平均の位置を検出物の位置とすることができる。図5においては、収納室4の前部の4つの面のうち、1つの面に光電センサが配置されているが、これに限られるものではなく、2以上の光電センサが2以上の面に配置されている場合でも、同様な方法で検出物の位置を定めることができる。

0048

制御部30により、撮影装置20で撮影された画像データに基づいて、検出物の種類を判定することができる。このため、任意の画像解析技術を用いることができる。
判定する検出物の種類には、使用者の手に収納物が存在するか否かの判定、及び使用者の手に保持されている収納物の種類の判定が含まれる。つまり、検出物は、使用者の手だけの場合、及び使用者の手及び手に保持された収納物の場合がある。検出物の検出を開始したタイミング及び検出を終了したタイミングの間の任意のタイミングにおいて、取得した画像データを解析する場合には、使用者の腕または手首だけが識別される場合もあり得る。このようにして識別した情報を、システムの記憶装置に記憶することができる。

0049

判定する収納物の種類としては、野菜または果物の種類(例えば、にんじん、白菜、みかんバナナ等)、の種類(例えば、一般の魚、たこ、えび等)、肉の種類(牛肉豚肉鶏肉等)を例示できる。また、透光性を有する容器に入った食物(例えば、透明パックに入った6個の)も、容器(透明パック)、食物の種類(卵)及び個数(6個)を識別することができる。透光性を有さない容器や包装に入った食物については、バーコード読み取り音声入力携帯端末からの入力等による追加情報を加えて記憶することもできる。
ただし、これらに限られるものではなく、記憶するデータによって、その他の任意の種類を判定することができる。

0050

仮に、収納物の大きさが小さい場合、使用者の手に隠れて収納物が映らない場合があり得るが、これに対処するため、複数の撮影装置を異なる位置に配置して、異なるアングルから撮影することにより、収納物の種類を判定できるようにすることも考えられる。

0051

<制御部による制御処理>
図6は、収納物管理のための制御処理の一例を示すメインルーチンを示すフローチャートである。図6を参照しながら、収納管理システム40の制御部30による制御処理について、詳細に説明する。

0052

図6において、はじめに、光電センサ12,14により、冷蔵庫2の収納室4の前部に検出物50を検出したか否か判断する(ステップS2)。この判断で、もし、検出物50を検出していない(NO)と判別したときには、そのまま、この判断処理を繰り返す。つまり、検出物50を検出するまで待機状態になっている。

0053

ステップS2の判断で、もし、光電センサ12,14により、検出物50を検出した(YES)と判別したときには、次に、光電センサ12,14により検出した、検出物の光電センサ12,14に対する角度α、β(図5参照)を取得する(ステップ4)。そして、図5に示すように、三角測量のやり方で、検出物50の仮想平面60上の二次元の位置を算出する(ステップS6)。

0054

次に、撮影装置20による撮影を開始し(ステップS8)、検出物50を検出した直後の画像データを取得する(ステップS10)。そして、画像解析プログラム起動して、検出物の種類を判定する(ステップS12)。検出物の種類の判定には、使用者の手に収納物が存在するか否かの判定、及び使用者の手に保持されている収納物の種類の判定が含まれる。

0055

ステップS12の判定処理の結果、手に収納物が存在するか否か判断する(ステップS14)。この判断で、もし、収納物が存在する(YES)と判別したときには、収納物を収納室4内に収納する場合と仮定する。よって、ステップS6で算出した検出物の位置を収納物の収納位置と定め、ステップS12の判定処理で定めた収納物の種類(例えば、にんじん)とともに、制御部30の記憶装置に記憶して(ステップS18)、ステップS20へ進む。ステップS14の判断で、もし、収納物が存在しない(NO)と判別したときには、何も持っていない使用者の手だけが存在すると判断して、そのままステップS20へ進む。

0056

ステップS20では、光電センサ12,14により、検出物50の検出が終了したか否か、つまり使用者の手が収納室4の前部に存在しなくなったか否か判断する(ステップS20)。この判断で、もし検出物50の検出が終了していない(NO)と判別したときには、そのままこの判断処理を繰り返す。つまり、検出物50の検出が終了するまで待機状態になっている。
ステップS20の判断で、もし検出物50の検出が終了した(YES)と判別したときには、次に、撮影装置20による撮影を終了し(ステップS22)、検出物50の検出を終了した直前の画像データを取得する(ステップS24)。そして、画像解析プログラムを起動して、検出物の種類を判定する(ステップS26)。

0057

ステップS26の判定処理の結果、手に収納物が存在するか否か判断する(ステップS28)。この判断で、もし、収納物が存在する(YES)と判別したときには、収納室4内に収納されていた収納物を取り出した場合と仮定する。よって、ステップS6で算出した検出物の位置、つまり収納物の取り出し位置と、ステップS26の判定処理で定めた収納物の種類(例えば、白菜)に基づいて、制御部30の記憶装置に記憶されていた収納位置の対応する収納物のデータを消去して(ステップS30)、本サブルーチンを終了する。ステップS28の判断で、もし、収納物が存在しない(NO)と判別したときには、何も持っていない使用者の手だけが存在すると判断して、そのまま本サブルーチンを終了する。

0058

以上のように、収納室の開口位置で、収納物の位置及び種類を検出することができるので、仮に、収納物を上下に重ねて保管しても問題は生じず、収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる。

0059

特に、検出物50の存在の検出を開始した直後に使用者の手に収納物が存在し、検出物の存在の検出を終了した直前に使用者の手に収納物が存在しない場合には、収納物が収納室内に収納されたと判定して、収納物の収納位置と収納物の種類を記憶する。一方、もし、検出物50の存在の検出を開始した直後に使用者の手に収納物が存在せず、検出物の存在の検出を終了した直前に使用者の手に収納物が存在する場合には、収納物が収納室から取り出されたと判定して、対応する収納位置の収納物のデータを消去する。

0060

このような制御処理により、光電センサ12,14及び撮影装置20といったシンプルな装置構成で、確実に収納物の管理に重要な情報を得ることができる。

0061

もし、使用者が収納物を収納しようとしたが、収納室に収納物は置かずに、そのまま収納物を持ったまま手を引いた場合には、ステップS18の制御処理で、その収納物の収納位置及び種類が記憶され、ステップS30の制御処理で、記憶された収納物のデータが消去されるので、そのような場合でも、正確な収納物の管理が実現できる。また、本システムでは、上記のように透明パックに入った6個の卵を収納し、その中の1個の卵を取り出した場合であっても、透明パックに入った5個の卵が残っていることを正確に把握することができる。

0062

図6に示す制御処理では、光電センサ12,14が検出物50の存在の検出を開始したことに基づいて、撮影装置20が撮影を開始する。これにより、収納物を収納または取り出すときの画像データを効率的かつ確実に取得することができる。

0063

また、光電センサ12,14が検出物50の存在の検出を終了したことに基づいて、撮影装置20が撮影を終了する。これにより、収納物を収納または取り出すときの画像データの取得を効率的に行うことができる。

0064

ただし、撮影装置による撮影は、上記のように、検出物の存在を検出したときに撮影を開始して、存在を検出しなくなったときに終了する場合に限られるものではない。例えば、常時撮影を継続している場合もあり得るし、収納室を開閉する扉が開いたときに撮影を開始して、閉じられたときに終了することもできるし、その他の任意のタイミングで撮影を開始、終了することもできる。

0065

画像データに基づいて、検出物の種類を判定する制御処理は、検出物の存在を検出したときや、存在を検出しなくなったときだけに限られず、その間の任意のタイミングで行うことができる。例えば、この判定で、使用者の腕や手首を識別したときには、使用者が収納物を収納室内に置く、または取り出す最中であると判定することもできる。

0066

本発明の実施の形態、実施の態様を説明したが、開示内容は構成の細部において変化してもよく、実施の形態、実施の態様における要素の組合せや順序の変化等は請求された本発明の範囲および思想を逸脱することなく実現し得るものである。

0067

2冷蔵庫
4収納室
6 扉
10 検出部
12光電センサ
12a投光部
12b受光部
14 光電センサ
14a 投光部
14b 受光部
16再帰反射面
20撮影装置
30 制御部
40収納物管理システム
50検出物
60仮想平面

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 三菱電機株式会社の「 冷蔵庫及び冷蔵庫システム」が 公開されました。( 2021/01/07)

    【課題・解決手段】収納状態変化の検出精度の低下を抑え、かつ複数視点から撮影された貯蔵室内の画像を冷蔵庫の外部に送信する際の通信負荷の軽減を図ることが可能である冷蔵庫システムを提供する。このため、冷蔵庫... 詳細

  • 三菱電機株式会社の「 冷蔵庫」が 公開されました。( 2021/01/07)

    【課題・解決手段】冷蔵庫は、第1の貯蔵室の貯蔵室温度を検出する温度センサと、第1の貯蔵室の貯蔵室湿度を検出する湿度センサと、第1の貯蔵室と冷却器室とを接続する第1の貯蔵室風路上に設けられた第1のダンパ... 詳細

  • 株式会社富岡電子工業の「 冷凍回路」が 公開されました。( 2020/12/24)

    【課題】冷凍回路で冷媒が漏洩した場合、冷媒を高圧回路部と低圧回路部とに遮断して冷却空間への漏洩量を削減することを特徴とする。【解決手段】 冷凍回路の高圧液管部または低圧液管部に第1遮断装置を設け、低... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ