図面 (/)

技術 調理レシピ提供システム

出願人 京セラドキュメントソリューションズ株式会社
発明者 吉川達
出願日 2016年4月28日 (3年8ヶ月経過) 出願番号 2016-091724
公開日 2017年11月2日 (2年2ヶ月経過) 公開番号 2017-199296
状態 未査定
技術分野 特定用途計算機 電気的に作動する教習具
主要キーワード 外見的特徴 料理教室 リストバンド型 ターム毎 修正中 作業手順書 レシピデータベース 調理レシピ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

より容易に、かつ、精度よく調理レシピを生成して提供することができる調理レシピ提供システムを提供する。

解決手段

調理レシピ提供システム10は、情報を処理する情報処理装置としての印刷装置11と、画像データ取得ウェアラブル端末としてのメガネ型ウェアラブル端末31と、動作データ取得用ウェアラブル端末としてのリストバンド型ウェアラブル端末41とを含む。印刷装置11は、受信部としての印刷装置通信部19と、調理レシピ生成部24と、出力部しての画像形成部15とを備える。印刷装置通信部19は、メガネ型ウェアラブル端末通信部35により送信された画像データ、およびリストバンド型ウェアラブル端末通信部45により送信された動作データを受信する。調理レシピ生成部24は、印刷装置通信部19により受信した画像データ、および動作データから、調理レシピを生成する。

概要

背景

料理を作る際に用いられる調理レシピを自動的に作成する技術が、WO2005/088542(特許文献1)、および特開2010−61381号公報(特許文献2)に開示されている。

特許文献1に開示の調理操作認識システムは、センシング手段と、特徴量テンプレートと、調理フロー作成手段と、一次確信度算出手段と、調理操作認識手段とを備える。センシング手段は、調理操作を行っている調理者手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得する。特徴量テンプレートは、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度を併せてテーブル形式で記憶する。調理フロー作成手段は、センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する。一次確信度算出手段は、テンプレート確信度と観測確信度とを基に、調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する。調理操作認識手段は、一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、センシング手段により取得された観測データに対する食材及び調整操作を認識する。特許文献1に開示の調理操作認識システムは、これらのような構成を特徴としている。

特許文献2に開示の自動レシピ作成装置は、被写体画像撮影する撮像手段と、人物画像外見的特徴を認識する人物認識手段と、人物の外見的特徴毎にそれぞれ適したレシピを記憶するレシピデータベースと、撮像手段で撮影した人物画像から人物認識手段が認識した外見的特徴に適したレシピをレシピデータベースの中から検索するレシピ検索手段と、レシピ検索手段により検索されたレシピ内容を表示するレシピ表示手段とを有することを特徴としている。

概要

より容易に、かつ、精度よく調理レシピを生成して提供することができる調理レシピ提供システムを提供する。調理レシピ提供システム10は、情報を処理する情報処理装置としての印刷装置11と、画像データ取得ウェアラブル端末としてのメガネ型ウェアラブル端末31と、動作データ取得用ウェアラブル端末としてのリストバンド型ウェアラブル端末41とを含む。印刷装置11は、受信部としての印刷装置通信部19と、調理レシピ生成部24と、出力部しての画像形成部15とを備える。印刷装置通信部19は、メガネ型ウェアラブル端末通信部35により送信された画像データ、およびリストバンド型ウェアラブル端末通信部45により送信された動作データを受信する。調理レシピ生成部24は、印刷装置通信部19により受信した画像データ、および動作データから、調理レシピを生成する。

目的

しかし、このような手法では、単に調理レシピを推定するに留まるものであり、精度よく調理レシピを生成して提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

調理者調理したレシピを提供する調理レシピ提供システムであって、情報を処理する情報処理装置と、前記情報処理装置と通信可能であり、前記調理者に装着されて前記調理者の視界の情報を取得する画像データ取得ウェアラブル端末と、前記情報処理装置と通信可能であり、前記調理者に装着されて前記調理者の動作の情報を取得する動作データ取得用ウェアラブル端末とを含み、前記画像データ取得用ウェアラブル端末は、前記調理者の視界の情報を画像データとして取得する画像データ取得部と、前記画像データ取得部により取得された前記画像データを前記情報処理装置に送信する画像データ取得用ウェアラブル端末送信部とを備え、前記動作データ取得用ウェアラブル端末は、前記調理者の動作の情報を動作データとして取得する動作データ取得部と、前記動作データ取得部により取得された前記動作データを前記情報処理装置に送信する動作データ取得用ウェアラブル端末送信部とを備え、前記情報処理装置は、前記画像データ取得用ウェアラブル端末送信部により送信された前記画像データ、および前記動作データ取得用ウェアラブル端末送信部により送信された前記動作データを受信する受信部と、前記受信部により受信した前記画像データ、および前記動作データから、前記調理レシピを生成する調理レシピ生成部と、前記調理レシピ生成部により生成された前記調理レシピを出力する出力部とを備える、調理レシピ提供システム。

請求項2

前記情報処理装置は、前記受信部により受信された前記動作データが、前記調理の一連区切りであるタームの開始の動作であるか否かを検知するターム開始動作検知部と、前記ターム開始動作検知部により前記タームの開始の動作であると検知した後、前記受信部により受信された前記動作データが、前記タームの終了の動作であるか否かを検知するターム終了動作検知部とを備える、請求項1に記載の調理レシピ提供システム。

請求項3

前記調理レシピ生成部は、前記受信部により同じ所定の時間内に受信した前記画像データ、および前記動作データから前記調理者の調理動作判別する調理動作判別部を含む、請求項1または2に記載の調理レシピ提供システム。

請求項4

前記情報処理装置は、前記調理レシピ生成部により生成された前記調理レシピの修正受け付ける修正受け付け部を備える、請求項1〜3のいずれか1項に記載の調理レシピ提供システム。

請求項5

前記修正受け付け部は、前記修正の候補を表示する修正候補表示部を含む、請求項4に記載の調理レシピ提供システム。

請求項6

前記出力部は、用紙に印刷して前記調理レシピを出力する印刷部を含む、請求項1〜5のいずれか1項に記載の調理レシピ提供システム。

請求項7

前記画像データ取得用ウェアラブル端末、および前記動作データ取得用ウェアラブル端末のうちの少なくともいずれか一方は、時間データを取得する時間データ取得部を備える、請求項1〜6のいずれか1項に記載の調理レシピ提供システム。

請求項8

前記画像データ取得部は、定期的に前記調理者の視界の画像データを撮影して前記画像データを取得する、請求項1〜7のいずれか1項に記載の調理レシピ提供システム。

請求項9

前記画像データ取得用ウェアラブル端末は、前記調理者の頭部に装着されるメガネ型ウェアラブル端末を含む、請求項1〜8のいずれか1項に記載の調理レシピ提供システム。

請求項10

前記動作データ取得用ウェアラブル端末は、前記調理者の腕に装着されるリストバンド型ウェアラブル端末を含む、請求項1〜9のいずれか1項に記載の調理レシピ提供システム。

請求項11

前記画像データ取得用ウェアラブル端末および前記動作データ取得用ウェアラブル端末のうちの少なくともいずれか一方は、前記調理者による調理時の音声の情報を音声データとして取得する音声データ取得部を備え、前記受信部は、前記音声データ取得部により取得された前記音声データを受信し、前記調理レシピ生成部は、前記受信部により受信された前記音声データから、前記調理レシピを生成する、請求項1〜10のいずれか1項に記載の調理レシピ提供システム。

請求項12

前記情報処理装置は、用紙の画像データを読み取る画像読み取り部を備え、前記調理レシピ生成部は、前記画像読み取り部により読み取られた画像データを基に、前記調理レシピを生成する、請求項1〜11のいずれか1項に記載の調理レシピ提供システム。

請求項13

前記調理レシピ生成部は、前記画像データ取得部により取得された機材の画像データを踏まえ作業場に応じた手順となるよう、手順を入れ替え可能である、請求項1〜12のいずれか1項に記載の調理レシピ提供システム。

請求項14

前記調理レシピ生成部は、前記画像データ取得部および前記動作データ取得部のうちの少なくともいずれか一方により取得した種々のデータを基に、料理に限らない作業手順書を生成する、請求項1〜13のいずれか1項に記載の調理レシピ提供システム。

請求項15

前記調理レシピ提供システムは、調理者が生成された調理レシピのマージを行う際に調理レシピのマージを受け付けて提供する、請求項1〜14のいずれか1項に記載の調理レシピ提供システム。

請求項16

前記ターム開始動作検知部および前記ターム終了動作検知部のうちの少なくともいずれか一方は、前記調理者の手を叩く動作を検知すれば、前記タームの開始または終了を検知する、請求項2〜15のいずれか1項に記載の調理レシピ提供システム。

技術分野

0001

この発明は、調理レシピ提供システムに関するものである。

背景技術

0002

料理を作る際に用いられる調理レシピを自動的に作成する技術が、WO2005/088542(特許文献1)、および特開2010−61381号公報(特許文献2)に開示されている。

0003

特許文献1に開示の調理操作認識システムは、センシング手段と、特徴量テンプレートと、調理フロー作成手段と、一次確信度算出手段と、調理操作認識手段とを備える。センシング手段は、調理操作を行っている調理者手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得する。特徴量テンプレートは、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度を併せてテーブル形式で記憶する。調理フロー作成手段は、センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する。一次確信度算出手段は、テンプレート確信度と観測確信度とを基に、調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する。調理操作認識手段は、一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、センシング手段により取得された観測データに対する食材及び調整操作を認識する。特許文献1に開示の調理操作認識システムは、これらのような構成を特徴としている。

0004

特許文献2に開示の自動レシピ作成装置は、被写体画像撮影する撮像手段と、人物画像外見的特徴を認識する人物認識手段と、人物の外見的特徴毎にそれぞれ適したレシピを記憶するレシピデータベースと、撮像手段で撮影した人物画像から人物認識手段が認識した外見的特徴に適したレシピをレシピデータベースの中から検索するレシピ検索手段と、レシピ検索手段により検索されたレシピ内容を表示するレシピ表示手段とを有することを特徴としている。

先行技術

0005

WO2005/088542
特開2010−61381号公報

発明が解決しようとする課題

0006

特許文献1に開示の技術は、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成することとしている。しかし、このような手法では、単に調理レシピを推定するに留まるものであり、精度よく調理レシピを生成して提供することができない。また、特許文献2に開示の自動レシピ作成装置は、あくまで人物画像の外見的特徴からレシピを生成するものであり、レシピデータベースの中から検索するものである。よって、特許文献2に開示の技術においても、精度よく調理レシピを生成して提供することができるとはいえないものである。

0007

この発明の目的は、より容易に、かつ、精度よく調理レシピを生成して提供することができる調理レシピ提供システムを提供することである。

課題を解決するための手段

0008

この発明に係る調理レシピ提供システムは、調理者が調理したレシピを提供する調理レシピ提供システムである。調理レシピ提供システムは、情報を処理する情報処理装置と、画像データ取得ウェアラブル端末と、動作データ取得用ウェアラブル端末とを含む。画像データ取得用ウェアラブル端末は、情報処理装置と通信可能であり、調理者に装着されて調理者の視界の情報を取得する。動作データ取得用ウェアラブル端末は、情報処理装置と通信可能であり、調理者に装着されて調理者の動作の情報を取得する。画像データ取得用ウェアラブル端末は、画像データ取得部と、画像データ取得用ウェアラブル端末送信部とを備える。画像データ取得部は、調理者の視界の情報を画像データとして取得する。画像データ取得用ウェアラブル端末送信部は、画像データ取得部により取得された画像データを情報処理装置に送信する。動作データ取得用ウェアラブル端末は、動作データ取得部と、動作データ取得用ウェアラブル端末送信部とを備える。動作データ取得部は、調理者の動作の情報を動作データとして取得する。動作データ取得用ウェアラブル端末送信部は、動作データ取得部により取得された動作データを情報処理装置に送信する。情報処理装置は、受信部と、調理レシピ生成部と、出力部とを備える。受信部は、画像データ取得用ウェアラブル端末送信部により送信された画像データ、および動作データ取得用ウェアラブル端末送信部により送信された動作データを受信する。調理レシピ生成部は、受信部により受信した画像データ、および動作データから、調理レシピを生成する。出力部は、調理レシピ生成部により生成された調理レシピを出力する。

発明の効果

0009

このような調理レシピ提供システムによれば、画像データ取得用ウェアラブル端末により取得された調理者の視界の画像データ、および動作データ取得用ウェアラブル端末により取得された調理者の動作データを情報処理装置が受信して調理レシピを生成し、出力することとしている。このように生成された調理レシピは、調理者の実際の動作を取得し、実際に調理者の見た画像を基にして生成されているため、より精度のよいものである。また、調理者は、画像データ取得用ウェアラブル端末、および動作データ取得用ウェアラブル端末を装着して実際に調理を行うのみでよい。したがって、このような調理レシピ提供システムは、より容易に、かつ、精度よく調理レシピを生成して提供することができる。

図面の簡単な説明

0010

この発明の一実施形態に調理レシピ提供システムの外観を示す概略図である。
図1に示す調理レシピ提供システムの構成を示すブロック図である。
印刷装置制御部の構成を示すブロック図である。
調理レシピ提供システムを用いて調理レシピを生成する際の各種のデータを取得する場合の処理の流れを示すフローチャートである。
タームの開始および終了の動作を示す概念図である。
画像データ取得部により取得される画像データの一例を示す図である。
動作データ取得部により取得される動作データの一例を示す図である。
ターム内の調理動作のデータを取得する場合を示す図である。
取得したデータから調理レシピを生成する際の処理の流れを示すフローチャートである。
表示画面に表示されたレシピの情報の一例を示す図である。
写真画像修正する場合の表示画面の一例を示す図である。
写真画像が差し替えられて修正された場合の表示画面の一例を示す図である。
文字画像を修正する場合の表示画面の一例を示す図である。
修正の候補が表示された表示画面の一例を示す図である。
修正を受け付けた場合の表示画面の一例を示す図である。
この発明の他の実施形態に係る調理レシピ提供システムの構成を示すブロック図である。

実施例

0011

以下、この発明の実施の形態を説明する。図1は、この発明の一実施形態に調理レシピ提供システムの外観を示す概略図である。図2は、図1に示す調理レシピ提供システムの構成を示すブロック図である。

0012

図1および図2を参照して、調理レシピ提供システム10は、調理者が調理したレシピを提供する調理レシピ提供システムである。調理レシピ提供システム10は、情報を処理する情報処理装置としての印刷装置11と、画像データ取得用ウェアラブル端末としてのメガネ型ウェアラブル端末31と、動作データ取得用ウェアラブル端末としてのリストバンド型ウェアラブル端末41とを含む。なお、動作としては、いわゆるジェスチャも含むものである。

0013

ここでまず、印刷装置11の構成について説明する。印刷装置11は、印刷装置制御部12と、操作部13と、画像読み取り部14と、印刷部としての画像形成部15と、給紙カセット16と、ハードディスク17と、ネットワーク20と接続するための印刷装置ネットワークインターフェース部18と、受信部としての印刷装置通信部19とを備える。

0014

印刷装置制御部12は、印刷装置11全体の制御を行う。操作部13は、印刷装置11側から発信する情報やユーザー入力内容を表示する表示画面21を含む。表示画面21は、タッチパネル型式であり、印刷装置11の情報を表示すると共に、入力のインターフェースとなる。操作部13は、印刷部数階調等の画像形成の条件や電源オンまたはオフをユーザーに入力させる。画像読み取り部14は、セット位置にセットされた原稿読み取り位置に搬送する原稿搬送装置としてのADF(Auto Document Feeder)22を含む。画像読み取り部14は、ADF22または不図示の載置台上にセットされた原稿の画像データを読み取る。給紙カセット16は、複数設けられており、それぞれ複数枚の用紙をそれらの内部に収納可能である。画像形成部15は、画像読み取り部14により読み取られた画像データやネットワーク20を介して送信された画像データを基に、給紙カセット16から搬送されてきた用紙に画像を形成する。ハードディスク17は、送信された画像データや入力された画像形成条件等の格納を行う。印刷装置通信部19は、外部装置、具体的には、メガネ型ウェアラブル端末31や、リストバンド型ウェアラブル端末41との接続を行うためのインターフェースである。印刷装置11は、印刷装置通信部19を通じて、外部装置から通信時に送信された種々のデータや印刷要求命令を受信する。

0015

印刷装置11は、画像読み取り部14により読み取られた原稿の画像データを用いて画像形成部15において画像を形成することにより、複写機として作動する。また、印刷装置11は、ネットワーク20に接続されたコンピューター(図示せず)等から送信された画像データを用いて、画像形成部15において画像を形成して印刷することにより、プリンターとして作動する。

0016

次に、メガネ型ウェアラブル端末31の構成について説明する。メガネ型ウェアラブル端末31は、印刷装置11と通信可能であり、調理者に装着されて調理者の視界の情報を取得する。具体的には、メガネ型ウェアラブル端末31は、頭部に装着されて、メガネ型ウェアラブル端末31に設けられたレンズ越しに調理者によって見られた景色の情報を画像データとして取得する。

0017

メガネ型ウェアラブル端末31は、メガネ型ウェアラブル端末制御部32と、メガネ型ウェアラブル端末記憶部33と、画像データ取得部34と、メガネ型ウェアラブル端末通信部35と、タイマー36とを備える。メガネ型ウェアラブル端末制御部32は、メガネ型ウェアラブル端末31全体の制御を行う。メガネ型ウェアラブル端末記憶部33は、画像データや種々のデータを記憶する。画像データ取得部34は、調理者の視界の情報を画像データとして取得する。画像データ取得部34は、備え付けられたカメラ(図示せず)等により、料理の材料や調理器具を撮像することにより画像データを取得している。メガネ型ウェアラブル端末通信部35は、画像データ取得部34により取得された画像データを印刷装置11に送信する。タイマー36は、例えば、画像データを取得した時間等、種々の時間を計測する。

0018

次に、リストバンド型ウェアラブル端末41の構成について説明する。リストバンド型ウェアラブル端末41は、印刷装置11と通信可能であり、調理者に装着されて調理者の動作の情報を取得する。具体的には、リストバンド型ウェアラブル端末41は、調理者の腕に装着されて、調理時における調理者の腕の振動や定期的なリズムといった動作の情報を動作データとして取得する。なお、必要に応じて、リストバンド型ウェアラブル端末41は、二つ準備して、右腕左腕の双方に装着するようにしてもよい。

0019

リストバンド型ウェアラブル端末41は、リストバンド型ウェアラブル端末制御部42と、リストバンド型ウェアラブル端末記憶部43と、動作データ取得部44と、リストバンド型ウェアラブル端末通信部45と、タイマー46とを備える。リストバンド型ウェアラブル端末制御部42は、リストバンド型ウェアラブル端末41全体の制御を行う。リストバンド型ウェアラブル端末記憶部43は、動作データや種々のデータを記憶する。動作データ取得部44は、調理者の動作の情報を動作データとして取得する。動作データ取得部44は、備え付けられた振動センサー(図示せず)等により、調理者の腕の上下動の動作データや回転運動の動作データを取得する。リストバンド型ウェアラブル端末通信部45は、動作データ取得部44により取得された動作データを印刷装置11に送信する。タイマー46は、例えば、動作データの検知を開始した時間や検知を終了した時間等、種々の時間を計測する。

0020

次に、印刷装置制御部12の構成について説明する。図3は、印刷装置制御部12の構成を示すブロック図である。図3を参照して、印刷装置制御部12は、調理レシピ生成部24と、ターム開始動作検知部25と、ターム終了動作検知部26と、修正受け付け部27とを備える。

0021

調理レシピ生成部24は、印刷装置通信部19により受信した画像データ、および動作データから、調理レシピを生成する。調理レシピ生成部24は、調理動作判別部28を含む。調理動作判別部28は、印刷装置通信部19により同じ所定の時間内に受信した画像データ、および動作データから調理者の調理動作を判別する。なお、調理レシピの生成の詳細については、後述する。

0022

ターム開始動作検知部25は、印刷装置通信部19により受信された動作データが、調理の一連区切りであるタームの開始の動作であるか否かを検知する。ターム終了動作検知部26は、ターム開始動作検知部25によりタームの開始の動作であると検知した後、印刷装置通信部19により受信された動作データが、タームの終了の動作であるか否かを検知する。なお、タームについては、例えば、「食材を切る」とか、「食材をゆでる」といった単位で区切られるものである。また、調理は、複数のタームによって構成されており、全てのタームが終了した時点で、料理が完成したことになる。

0023

修正受け付け部27は、調理レシピ生成部24により生成された調理レシピの修正を受け付ける。修正受け付け部27は、修正の候補を表示する修正候補表示部29を含む。修正受け付け部27は、修正候補表示部29により表示された候補の中から選択された候補に修正する。これについては、後述する。

0024

次に、この発明の一実施形態に係る調理レシピ提供システム10を用いて、調理レシピを生成して提供する場合について説明する。調理レシピを生成して提供する流れについては、大きく分けると二つのフェーズから構成されている。まず、調理レシピを生成する際の各種のデータの取得の流れについて説明する。この流れについては、種々のデータを取得する第一のフェーズとなるデータ取得フェーズとなる。

0025

図4は、調理レシピ提供システム10を用いて調理レシピを生成する際の各種のデータを取得する場合の処理の流れを示すフローチャートである。図4を参照して、まず、印刷装置通信部19と、メガネ型ウェアラブル端末通信部35、およびリストバンド型ウェアラブル端末通信部45の各々との通信を開始して、メガネ型ウェアラブル端末31、リストバンド型ウェアラブル端末41の双方からのデータの取得を開始する(図4において、ステップS11、以下、「ステップ」を省略する)。

0026

そして、ターム開始動作検知部25は、ターム開始を検知したか否かを判断する(S12)。図5は、タームの開始および終了の動作を示す概念図である。図5を参照して、ターム開始の動作としては、調理者51による手を叩く動作とする。手を叩く動作は、動作データ取得部44により取得され、印刷装置通信部19に送信される。ターム開始動作検知部25は、調理者51の手を叩く動作を検知すれば、タームの開始を検知する(S12において、YES)。なお、ここでは、調理者51による手の叩く動作をメガネ型ウェアラブル端末31において撮影し、画像データ取得部34により画像データとして取得することでも、タームの開始を検知することとしている。また、タームを終了する動作についても、調理者51による手を叩く動作としてもよい。すなわち、ターム終了動作検知部26は、ターム開始動作検知部25によりタームの開始の動作であると検知した後、印刷装置通信部19により受信された動作データが手を叩く動作であれば、タームの終了の動作であることを検知する。こうすることにより、二回の手を叩く動作の間に取得した画像データおよび動作データを、そのタームにおいて取得した画像データおよび動作データとして認識することができる。また、このような手を叩く動作については、調理者51が実際の調理時にほぼ行わない動作であるため、より明確にタームの開始と終了とを検知することができる。なお、タームの開始時は、手を一回だけ叩く動作とし、タームの終了時には手を二回叩く動作とする等、タームの開始時とタームの終了時における手を叩く回数を変更することにしてもよい。

0027

このようにして、印刷装置11は、このタームにおけるメガネ型ウェアラブル端末31、およびリストバンド型ウェアラブル端末41からのデータを取得する(S13)。図6は、画像データ取得部34により取得される画像データの一例を示す図である。図6を参照して、例えば、調理者51によって見られた食材52として「にんじん」が撮影される。そうすると、メガネ型ウェアラブル端末31に備えられる画像データ取得部34により、撮影された画像が画像データとして取得される。また、調理者51の行っている調理状況53として「」で「かきまぜる調理器具」により調理されている状況が撮影される。そうすると、メガネ型ウェアラブル端末31に備えられる画像データ取得部34により、撮影された画像が画像データとして取得される。この撮影については、例えば、メガネ型ウェアラブル端末31に備えられた図示しないスイッチやシャッターを押下して行われる。その後、印刷装置通信部19は、画像データ取得部34により取得され、メガネ型ウェアラブル端末通信部35によって送信された画像データを受信する。なお、調理に要する機材についても、適用させることができる。すなわち、機材として、ガスコンロの数、作業場、いわゆるキッチンスペース、お皿の数、フライパンの数といった情報も画像データとして取得して、調理レシピを生成する際に利用する。

0028

図7は、動作データ取得部44により取得される動作データの一例を示す図である。図7を参照して、例えば、調理者51の行っている調理動作54として「包丁によって切られる動作」に起因する腕の上下動の動作が検知される。そうすると、リストバンド型ウェアラブル端末41に備えられる動作データ取得部44により、検知された動作が動作データとして取得される。また、調理者51の行っている調理動作55として「にかける動作」に起因した定期的な腕の左右方向や上下方向の動作が検知される。そうすると、リストバンド型ウェアラブル端末41に備えられる動作データ取得部44により、検知された動作が動作データとして取得される。この検知についても、例えば、リストバンド型ウェアラブル端末41に備えられた図示しないスイッチ等を押下して検知させる。その後、印刷装置通信部19は、動作データ取得部44により取得され、リストバンド型ウェアラブル端末通信部45によって送信された動作データを受信する。

0029

図8は、調理動作のデータを取得する場合を示す図である。図8を参照して、調理動作として、例えば、たまねぎをみじん切りにする調理動作56の場合、メガネ型ウェアラブル端末31における画像データ取得部34においては、調理者51によって見られた食材としての「たまねぎ」の画像および調理器具としての「包丁」の画像が画像データとして取得される。そして、リストバンド型ウェアラブル端末41における動作データ取得部44においては、調理者51による「みじん切り」を行う時に生じる定期的に上下動される腕の動作が動作データとして取得される。

0030

このようにしてメガネ型ウェアラブル端末31、およびリストバンド型ウェアラブル端末41から画像データおよび動作データを取得した後、タームの終了を検知すれば(S14において、YES)、一連のこのタームにおけるデータ取得を終了する(S15)。このデータ取得を、全てのタームについて行う。そして、完成された料理の画像データを取得し、調理の完成の情報を検知すれば(S16において、YES)、メガネ型ウェアラブル端末31、およびリストバンド型ウェアラブル端末41からのデータの取得を終了する(S17)。なお、調理の完成の情報については、上記した手を叩く動作の検知等であってもよい。

0031

次に、取得したデータから調理レシピを生成する際の処理の流れについて説明する。この流れについては、取得したデータから調理レシピを生成する調理レシピ生成フェーズとなる。

0032

図9は、取得したデータから調理レシピを生成する際の処理の流れを示すフローチャートである。図9を参照して、ターム毎に取得した画像データおよび動作データから、調理レシピ生成部24は、調理レシピを生成する(S21)。

0033

この場合、調理動作判別部28は、印刷装置通信部19により同じ所定の時間内に受信した画像データ、および動作データから調理者51の調理動作を判別する。具体的には、ある一定のリズムでの腕の上下動の動作を検知して材料を切るといった動作と判別する。そして、その時に取得した画像データが、食材としての「肉」と調理器具としての「包丁」であれば、調理器具としての「包丁」を用いて食材としての「肉」を、調理動作として「材料を切る」という調理動作として判別する。

0034

なお、材料の特定として、例えば、予め撮影され、ハードディスク17に格納された材料の画像データと、画像データ取得部34により取得した画像データとをマッチングさせて、その時にどの材料を使用して調理を行っているのかを判断するようにしてもよい。なお、各タームについては、撮影した画像データのうちの一つをランダムに抽出して、そのタームの代表の画像として調理レシピを生成する。

0035

そして、全てのタームについて、調理レシピが生成されれば(S22において、YES)、生成された調理レシピを表示する(S23)。この場合、印刷装置11に備えられる表示画面21に表示する。

0036

図10は、表示画面21に表示された調理レシピの情報の一例を示す図である。図10を参照して、表示画面21には、完成された料理の写真画像61と、「準備する食材」に関する文字画像62と、「準備する機材」に関する文字画像63と、「手順」として最初の手順である手順1の文字画像64および写真画像65と、次の手順である手順2の文字画像66および写真画像67とが示されている。調理者51は、この表示画面21に表示された内容を見て、調理レシピが正しく生成されているかを確認する。

0037

次に、生成された調理レシピの内容を修正する場合について説明する。調理者は、表示画面21に表示された生成された調理レシピの内容を見て、内容を修正したい場合、修正を行う(S24において、YES)。この場合、具体的には、修正する箇所にある画像をタッチして指定する。

0038

調理者は、写真画像65を別のものに差し替えて修正しようとする場合、写真画像65をタッチする。そうすると、修正受け付け部27は、調理レシピの修正を受け付ける。そして、修正候補表示部29は、修正の候補を表示する。

0039

図11は、写真画像65を修正する場合の表示画面21の一例を示す図である。図11を参照して、表示画面21には、完成した料理の写真画像61の他に、写真画像65のタッチ時において、吹き出し68が表示されている。そして、吹き出し68の中には、写真画像65と、たまねぎをみじん切りした状態を撮影した写真画像69とが表示されている。この写真画像69については、写真画像65と同一のターム内で撮影されたものである。その他の候補の写真画像については、表示を割愛する。

0040

調理者は、写真画像69を、手順1を示す画像として適切であると考えた場合、写真画像69をタッチして指定する。そうすると、手順1を示す画像として写真画像69が選択され、差し替えられる。

0041

図12は、写真画像65が差し替えられて修正された場合の表示画面21の一例を示す図である。図12を参照して、表示画面21には、写真画像61、67と、文字画像62、63、64、66の他に、写真画像65と差し替えられて写真画像69が示されている。このようにして修正を反映させる(S25)。

0042

なお、修正については、塩と砂糖等、画像として区別がつきにくい場合には、確認を促すメッセージを表示画面21に表示するようにしてもよい。さらに、食材や調理器具等の判別において判別がつきにくい場合、以下のようにしてもよい。図13は、文字画像を修正する場合の表示画面21の一例を示す図である。

0043

図13を参照して、表示画面21には、「準備する食材」として、縦方向に並べられた「・薄力粉」、「・水」、「・キャベツ」の文字画像71が示されている。また、「・薄力粉」の表示の横には、矢印が表示されている。そして、「・薄力粉」の表示の横に、「チェック!」と示された押下キー72が表示されている。この押下キー72については、調理レシピ生成部24により調理レシピとして画像データや動作データから一旦「薄力粉」と判別して抽出したが、他の食材と判別がつきにくいものと判断され、表示されるものである。

0044

そうすると、調理者は、この「チェック!」と表示された押下キー72をタッチする。このタッチを検知すると、修正候補表示部29は、修正の候補を表示する。

0045

図14は、修正の候補が表示された表示画面21の一例を示す図である。図14を参照して、表示画面21には、文字画像73の横に、修正の候補欄74が表示される。なお、文字画像73において、「・薄力粉」の文字の横に「修正中」との表示がなされる。これにより、どの文字を修正しているか否かを容易に認識することができる。また、修正の候補欄74には、既に選択がなされている「薄力粉(選択)」の他に、同じ白色の粉末状の食材として「中力粉」という表示、「強力粉」という表示、そして、「その他」という表示がなされている。すなわち、判別がつきにくい他の食材を候補として選択可能に表示されている。

0046

調理者は、調理レシピ生成部24により生成された「薄力粉」が「強力粉」の誤りであった場合、「強力粉」を選択して、修正を行う。修正受け付け部27は、この修正を受け付ける。

0047

図15は、修正を受け付けた場合の表示画面21の一例を示す図である。図15を参照して、表示画面21には、「準備する食材」として、縦方向に並べられた「・強力粉」、「・水」、「・キャベツ」との文字画像75が示されている。この文字画像75については、「薄力粉」を「強力粉」として修正されたものである。このようにして修正を行い、修正を反映させる(S25)。

0048

そして、修正を反映後、完成した調理レシピを印刷する(S26)。修正がなかった場合には、(S24において、NO)、生成して表示した調理レシピを印刷する。この場合、印刷部としての画像形成部15を利用して用紙に調理レシピを印刷し、出力する。

0049

このような調理レシピ提供システム10によれば、メガネ型ウェアラブル端末31により取得された調理者の視界の画像データ、およびリストバンド型ウェアラブル端末41により取得された調理者の動作データを印刷装置11が受信して調理レシピを生成し、出力することとしている。このように生成された調理レシピは、調理者の実際の動作を取得し、実際に調理者の見た画像を基にして生成されているため、より精度のよいものである。また、調理者は、メガネ型ウェアラブル端末31、およびリストバンド型ウェアラブル端末41を装着して実際に調理を行うのみでよい。したがって、このような調理レシピ提供システム10は、より容易に、かつ、精度よく調理レシピを生成して提供することができる。

0050

この発明に係る調理レシピ提供システム10は、特に、オリジナルの料理、すなわち、調理レシピとして存在しない料理を行う場合に、実際に料理を行うのみでよいため、より容易に、調理者の望む調理レシピを生成して提供することができる。特に調理実習料理教室といった教育現場において事前準備としての試行として調理することで、上記した調理レシピの生成することができるため、このような状況で使用されることが好適である。そして、火加減煮込み具合といった言葉では表現しにくいものが写真画像で掲載されるよう調理レシピが生成されるため、より具体的な調理レシピを生成することができる。

0051

この場合、調理の一連の区切りとなるタームの単位で調理レシピを生成するので、調理レシピを効率的に生成することができる。また、この場合、タームの開始および終了の動作を認識しやすい明確な動作とすることで、タームの開始を容易に認識して、精度の高い調理レシピを生成することができる。

0052

また、調理レシピ生成部24は、印刷装置通信部19により同じ所定の時間内に受信した画像データ、および動作データから調理者の調理動作を判別する調理動作判別部28を含むため、取得した画像データ、および取得した動作データの双方から調理レシピを生成して、さらに精度よく調理レシピを生成することができる。

0053

また、この場合、調理レシピ生成部24により生成された調理レシピの修正を受け付ける修正受け付け部27を備えるため、調理者の修正による精度の高い調理レシピを生成することができる。さらに、修正受け付け部は、修正の候補を表示する修正候補表示部を含むため、調理者によるレシピの修正を容易に行うことができる。

0054

なお、画像データ取得部34は、定期的に調理者の視界の画像データを撮影して画像データを取得するように構成してもよい。こうすることにより、調理レシピを生成する上で重要度の高い時系列を明確にして、精度よく調理レシピを生成することができる。

0055

また、メガネ型ウェアラブル端末31およびリストバンド型ウェアラブル端末41のうちの少なくともいずれか一方は、調理者による調理時の音声の情報を音声データとして取得する音声データ取得部を備える構成としてもよい。

0056

図16は、この場合の調理レシピ提供システムの構成を示すブロック図である。図16は、図2に対応するものであり、図2に示す構成と同様の構成については、同一の符号を付して、それらの説明を省略する。

0057

図16を参照して、この発明の他の実施形態に係る調理レシピ提供システム76に備えられるリストバンド型ウェアラブル端末77は、音声のデータを取得する音声データ取得部78を備える。そして、印刷装置通信部19は、音声データ取得部78により取得された音声データを受信し、調理レシピ生成部24は、印刷装置通信部19により受信された音声データから、調理レシピを生成する。こうすることにより、音声データも踏まえて調理レシピを生成するため、より精度の高い調理レシピを生成することができる。

0058

特に、画像データでは見極めの難しい食材や調理器具を判別する場合、調理者の声により食材の名前や調理器具の名前を発して、音声データとして取得するようにする。そして、音声データも併せた上で、調理レシピを生成する。こうすることにより、より精度よく調理レシピを生成することができる。

0059

なお、上記の実施の形態において、ターム開始動作検知部25およびターム終了動作検知部26のうちの少なくともいずれか一方は、調理者の手を叩く動作を検知すれば、タームの開始または終了を検知するよう構成してもよい。また、上記の実施の形態において、ターム開始動作検知部25およびターム終了動作検知部26は、それぞれ異なる動作をタームの開始またはタームの終了として検知することにしてもよい。

0060

また、上記の実施の形態において、情報処理装置として印刷装置11を適用することとしたが、これに限らず、情報処理装置として、印刷部を含まず、情報を処理する装置を採用することにしてもよい。また、画像データを上記した印刷装置11に備えられるADF22にセットし、画像読み取り部14により読み取らせて取得させ、この取得された画像データを調理レシピの生成に反映させることにしてもよい。具体的には、予め使用する食材や調理器具、機材に関する画像データを用紙により準備しておき、画像読み取り部14により読み取らせることとする。このように構成することにより、判別が難しい食材等の判別を精度よく行うことができ、生成される調理レシピの精度を高めることができる。

0061

なお、調理レシピ生成部24は、画像データ取得部34により取得された機材の画像データを踏まえ、作業場に応じた手順となるよう、手順を入れ替え可能な構成としてもよい。こうすることにより、より最適な調理レシピを生成することができる。この場合、タームの最初に取得した機材の情報に応じて、手順を入れ替えるようにしてもよい。

0062

また、調理レシピ生成部24は、画像データ取得部34、および動作データ取得部44等により取得した種々のデータを基に、作業手順書、すなわち、料理に限らない作業手順書を生成することにしてもよい。こうすることにより、より汎用性の高い出力を提供することができる。

0063

なお、調理者が生成された調理レシピのマージを行う際に調理レシピのマージを受け付け、調理レシピ提供システム10、76は、これを参考解答例として学習させるよう提供することにしてもよい。

0064

また、上記の実施の形態において、修正受け付け部27による修正や生成された料理レシピ編集について、調理者に限らず、他の者、例えば、料理を食べる者等に応じて、編集可能な構成としてもよい。具体的には、料理を食べる人に合わせた調味料の分量や調理後に追加しておくべきと気付いた食材の追加等の編集を実行可能な構成としてもよい。

0065

今回開示された実施の形態はすべての点で例示であって、どのような面からも制限的なものではないと理解されるべきである。本発明の範囲は上記した説明ではなく、特許請求の範囲によって規定され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

0066

この発明に係る調理レシピ提供システムは、より容易であって、かつ、精度のよい調理レシピの生成の提供が要求される場合に、特に有効に利用される。

0067

10,76調理レシピ提供システム、11印刷装置、12 印刷装置制御部、13 操作部、14画像読み取り部、15画像形成部、16給紙カセット、17ハードディスク、18 印刷装置ネットワークインターフェース部、19 印刷装置通信部、20ネットワーク、21表示画面、22 ADF、24調理レシピ生成部、25ターム開始動作検知部、26 ターム終了動作検知部、27修正受け付け部、28調理動作判別部、29修正候補表示部、31メガネ型ウェアラブル端末、32 メガネ型ウェアラブル端末制御部、33 メガネ型ウェアラブル端末記憶部、34画像データ取得部、35 メガネ型ウェアラブル端末通信部、36タイマー、41,77リストバンド型ウェアラブル端末、42 リストバンド型ウェアラブル端末制御部、43 リストバンド型ウェアラブル端末記憶部、44動作データ取得部、45 リストバンド型ウェアラブル端末通信部、51調理者、52食材、53調理状況、54,55,56 調理動作、61,62,63,64,65,66,67,69,71,73,75 画像、68 吹き出し、72押下キー、74 候補欄、78音声データ取得部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ