図面 (/)

技術 笑い促進プログラム及び笑い促進装置

出願人 国立大学法人千葉大学
発明者 大武美保子永井大幹山口健太小寺達也
出願日 2017年8月11日 (1年9ヶ月経過) 出願番号 2017-156217
公開日 2017年11月30日 (1年5ヶ月経過) 公開番号 2017-212008
状態 特許登録済
技術分野 イメージ分析 玩具 意識の状態を変化させる装置 画像処理
主要キーワード クスクス 促進装置 集音器 笑いの 促進プログラム 顔領域データ フレームボディ 会話者
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

笑うきっかけを提供することによって笑いを促進する笑い促進プログラム及び笑い促進装置を提供する。

解決手段

本発明の一観点に係る笑い促進プログラムは、コンピュータに、顔画像データに基づき笑顔度データを算出し、前記笑顔度データに基づき笑い声データ再生可否の判断を行い、前記笑い声データを再生すると判断した場合、前記笑い声データを再生させる。また、本発明の他の一観点に係る笑い促進装置は、撮像装置と、スピーカーと、前記撮像装置及び前記スピーカーを制御する情報処理装置と、を備えた笑い促進装置であって、前記情報処理装置は、顔画像データに基づき笑顔度データを算出する笑顔度データ算出部と、前記笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部と、前記笑い声データを再生すると判断した場合、前記笑い声データを再生する笑い声再生部と、を有する。

概要

背景

人とのコミュニケーションが多い高齢者は少ない高齢者に比べて認知機能が低下しにくいという研究報告があり、人と人とのコミュニケーションを支援することは健康寿命延ばす効果が期待できる。そのため、高齢者同士のコミュニケーションを支援する取り組みが各地で行われている。

一方、笑い笑顔は人と人とのコミュニケーションを円滑にするために非常に重要である。ところで、人の笑顔は表情であるものの、例えば下記特許文献1に記載される技術のように、人の笑顔度を評価しようとする試みがなされている。

概要

笑うきっかけを提供することによって笑いを促進する笑い促進プログラム及び笑い促進装置を提供する。本発明の一観点に係る笑い促進プログラムは、コンピュータに、顔画像データに基づき笑顔度データを算出し、前記笑顔度データに基づき笑い声データ再生可否の判断を行い、前記笑い声データを再生すると判断した場合、前記笑い声データを再生させる。また、本発明の他の一観点に係る笑い促進装置は、撮像装置と、スピーカーと、前記撮像装置及び前記スピーカーを制御する情報処理装置と、を備えた笑い促進装置であって、前記情報処理装置は、顔画像データに基づき笑顔度データを算出する笑顔度データ算出部と、前記笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部と、前記笑い声データを再生すると判断した場合、前記笑い声データを再生する笑い声再生部と、を有する。

目的

本発明は、上記課題に鑑み、笑うきっかけを提供することによって笑いを促進する笑い促進プログラム及び笑い促進装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータに、顔画像データに基づき笑顔度データを算出し、前記笑顔度データに基づき笑い声データ再生可否の判断を行い、前記笑い声データを再生すると判断した場合、前記笑い声データを再生させる、笑い促進プログラム

請求項2

前記笑い声データの再生の可否の判断は、閾値データとの比較により行われる請求項1記載の笑い促進プログラム。

請求項3

前記笑顔データに基づき笑い声データの再生を行った後、第一の待機時間前記笑い声データの再生を行わない、請求項1記載の笑い促進プログラム。

請求項4

前記第一の待機時間経過後、改めて顔画像データに基づき笑顔度データを算出し、前記笑顔度データに基づき、第二の待機時間を定める請求項1記載の笑い促進プログラム。

請求項5

前記笑顔度データに基づき笑い声データの再生の可否の判断は、取得した周囲音データにも基づいて行う、請求項1記載の笑促進プログラム。

請求項6

撮像装置と、スピーカーと、前記撮像装置及び前記スピーカーを制御する情報処理装置と、を備えた笑い促進装置であって、前記情報処理装置は、顔画像データに基づき笑顔度データを算出する笑顔度データ算出部と、前記笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部と、前記笑い声データを再生すると判断した場合、前記笑い声データを再生する笑い声再生部と、を有する笑い促進装置。

技術分野

0001

本発明は、笑い促進プログラム及び笑い促進装置に関する。

背景技術

0002

人とのコミュニケーションが多い高齢者は少ない高齢者に比べて認知機能が低下しにくいという研究報告があり、人と人とのコミュニケーションを支援することは健康寿命延ばす効果が期待できる。そのため、高齢者同士のコミュニケーションを支援する取り組みが各地で行われている。

0003

一方、笑いや笑顔は人と人とのコミュニケーションを円滑にするために非常に重要である。ところで、人の笑顔は表情であるものの、例えば下記特許文献1に記載される技術のように、人の笑顔度を評価しようとする試みがなされている。

先行技術

0004

特許第5022940号明細書

発明が解決しようとする課題

0005

ところで、上記特許文献は笑い測定方法に関するものであって、この応用に関してはまだ検討すべき余地がある。

0006

例えば、人と人とのコミュニケーションの中で、面白いところでタイミングよく笑う人がいると場盛り上がる。しかし、いわゆる「笑い上戸」の人はいつでもいるとは限らず、同じ話をしたとしても、笑いが絶えない場合もあれば、全く笑いがない場合もある。

0007

つまり、朗らかでよく笑ういわゆる「笑い上戸」の機能をロボット等の装置に担わせることができれば、笑い上戸の人が居なくても笑いを起こすことが可能となり、より人と人とのコミュニケーションが円滑になることが期待される。

0008

そこで、本発明は、上記課題に鑑み、笑うきっかけを提供することによって笑いを促進する笑い促進プログラム及び笑い促進装置を提供することを目的とする。

課題を解決するための手段

0009

本発明者らは、上記課題に記載のとおり、笑い測定方法の応用に関し鋭意検討を行ったところ、人と人とのコミュニケーションの中で笑うきっかけを提供することによってこのコミュニケーションを円滑に行うことができると考え、本発明を完成させるに至った。

0010

すなわち、本発明の一の観点に係る笑い促進プログラムは、コンピュータに、顔画像データに基づき笑顔度データを算出し、笑顔度データに基づき笑い声データ再生可否の判断を行い、笑い声データを再生すると判断した場合、前記笑い声データを再生させる。

0011

また、本発明の他の一観点に係る笑い促進装置は、撮像装置と、スピーカーと、撮像装置及びスピーカーを制御する情報処理装置と、を備えた笑い促進装置であって、情報処理装置は、撮像装置により取得された顔画像データに基づき笑顔度データを算出する笑顔度データ算出部と、笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部と、笑い声データを再生すると判断した場合、笑い声データを再生する笑い声再生部と、を有する。

発明の効果

0012

以上、笑うきっかけを提供することにより笑いを促進する笑い促進プログラム及び笑い促進装置を提供することができる。

図面の簡単な説明

0013

実施形態に係る笑い促進装置の機能ブロックを示す図である。
顔画像データのイメージを示す図である。
実施形態に係る笑い促進方法の流れを示す図である。
実施形態に係る笑い促進方法の流れを示す図である
実施形態に係る笑い促進装置の外観の一例を示す図である。
実施例に係る笑い促進装置の使用の結果を示す図である。
実施例に係る笑い促進装置の使用の結果を示す図である。

発明を実施するための最良の形態

0014

以下、本発明の実施形態について、図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例の例示に限定されるものではない。

0015

図1は、本実施形態に係る笑い促進装置(以下「本装置」という。)1の機能ブロックを示す図である。本図で示すように、本装置1は、撮像装置2と、スピーカー3と、撮像装置2及びスピーカー3を制御する情報処理装置4と、を備えた笑い促進装置であって、情報処理装置4は、撮像装置2により取得された顔画像データに基づき笑顔度データを算出する笑顔度データ算出部と、笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部と、笑い声データを再生すると判断した場合、笑い声データを再生する笑い声再生部と、を有する。

0016

本装置1における、撮像装置2は、装置1の周囲の情報を画像として取得することができるものである、より具体的には、装置1の周囲にいる人の顔(表情)を写し、これを含んだ画像情報データを取得し、撮像装置2の外部に出力することができるものである。撮像装置2の例としては、上記の機能を有する限りにおいて限定されるわけではないが、CCDやCMOS等の撮像素子を備えたいわゆるデジタルカメラを例示することができる。デジタルカメラは一般に市販されているもので十分である。

0017

また、本装置1は、スピーカー3を備えており、情報処理装置4内に予め保持されている笑い声のデータを音声として発することができる装置である。このスピーカーも特に限定されず、コイル磁石振動板等を備えた一般に市販されている製品で十分対応できる。

0018

また本実施形態において、情報処理装置4は、撮像装置2及びスピーカー3に接続されており、これらの制御を行うとともに各種処理等を施すことができるものである。

0019

本装置1における情報処理装置4は、情報の処理及び各装置の制御を行うことができる限りにおいて限定されるわけではなく、所定の処理及び制御を行うことができるよう複数の集積回路電極回路が形成されたプリント基板上に固定配置電気的に接続したものであってもよく、また、いわゆるコンピュータを用いることもできる。前者の場合は、特定の処理に特化したものであるため処理時間の短縮及び省スペース化が可能であるといった利点があり、後者の場合はプログラム書き換えなどが容易であり、改良がしやすくなるといった利点がある。なおコンピュータの場合、一般に市販されているものを使用することができる。なおコンピュータの場合、CPU(中央演算装置)、メモリハードディスク等の記録媒体、これらを接続するための電極や回路が形成されたプリント基板を備えるボードと、を有するものであることが一般的である。なお、コンピュータを用いる場合、ハードディスク等の記録媒体にプログラムを格納し、このプログラムをメモリに読み込ませるとともに実行させることで所定の機能を実現させることができる。

0020

情報処理装置4は、上記の構成を用いることによって、本図で示すような機能を実現することができる。具体的に説明すると情報処理装置4は、撮像装置2により取得された顔画像データに基づき笑顔度データを算出する笑顔度データ算出部41、笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部42、笑い声データを再生すると判断した場合、笑い声データを再生する笑い声再生部43、としての機能することになる。

0021

情報処理装置4の笑顔度データ算出部31は、顔画像データに基づき笑顔度データを算出する。ここで「顔画像データ」とは、人の顔に関する画像情報を含むデータをいう。この顔画像データは、撮像装置2により取得された画像情報データをそのまま顔画像データとして用いてもよく、画像情報データから人の顔領域を抽出して改めて作成した画像データであってもよい。なお撮像装置2により取得された画像情報データをそのまま顔画像データとして用いる場合、その顔画像データから人の顔の領域に対応するデータ(顔領域データ)を抽出して当該顔領域データに基づき笑顔度データを算出することが好ましい。図2に、画像情報データを顔画像データとして用い、顔領域データを抽出する場合のイメージを示しておく。なお、画像情報データに複数の人の顔が含まれている場合、その顔画像データから顔領域データを複数抽出し、当該顔領域データ各々に対し笑顔度データを算出することが好ましい。なお、画像情報データに複数の人の顔が含まれる場合において、その中にコミュニケーションに参加していない者がたまたま写りこんでしまうおそれがあるような場合、これを除去するため、顔画像データのうち顔領域データを抽出する領域を絞る処理を行うことも好ましい。

0022

上記の記載からも明らかであるが、笑顔度データ算出の対象となる顔画像データの数は、一人分であってもよいが、複数人分あることが好ましい。コミュニケーション促進の対象となる者(以下「対象者」という。)は一般的に複数存在するものであり、複数、好ましくは対象者全員を判定の対象に含めることで全体の雰囲気を把握することができ、笑いの促進精度を高めることができる。

0023

情報処理装置4の笑顔度データ算出部41は、上記のとおり顔画像データから笑顔度データを算出する。「笑顔度データ」とは、人の笑顔を数値的に表現したデータであって、この数値によって人の笑顔がどの程度かを判定することができる。例えば、数値が大きい場合はより大きな笑顔であり、数値が低い場合は、笑っていない又は笑顔でないということになる。

0024

この笑顔度データを算出する方法は、上記のとおり、人の笑顔を数値的に表現し、客観的判断基準として用いることができる限りにおいて、限定されない。この笑顔度データを算出する方法としては、例えば“Shihong Lao and Masato Kawade. Vision-based face understanding technologies and their applications,Advances in Biometric Person Authentication,pp.339−348,2005.”や、“小西嘉典、木下航一、勞世広、川出雅人,リアルタイム笑顔度推定インタラクション,No.2008,pp.47−48,2008.”に記載の方法を用いることができる。

0025

また、対象者が複数おり、顔画像データが複数存在する場合、笑顔度データの算出は、限定されるわけではなく、複数の顔画像データに対しそれぞれ求めてその平均を取っておくことがより好ましい。平均を取ることで処理が簡便になるとともに、全体としての評価も可能となる。

0026

また、本情報処理装置の笑い可否判断部42は、笑顔度データに基づき笑い声データの再生の可否の判断を行う。具体的には、上記笑顔度データ算出部により求められた笑顔度データの数値と、閾値データとを比較することが好ましい。更に具体的には、閾値データよりも笑顔度データが大きければ笑い声データを再生すると判断し、閾値データよりも笑顔度データが小さければ笑い声データを再生しないと判断することが好ましい。

0027

ここで「閾値データ」は、上記の記載から明らかなように、予め定めた笑顔度データであり、笑い声データを再生するか否かを判断するために必要なデータである。閾値データはこの基準となりうる限りにおいて限定されるものではないが、予め所定の値として定めておいてもよいが、本装置の動作を開始させた後、所定の期間データ収集を行った後で定めるようにしてもよい。

0028

なお閾値データを本装置の動作開始後所定の期間データの収集を行った後で定める場合、周囲の取得した周囲音データにも基づいて行うことが好ましい。例えば、一定の期間顔画像データを取得し続けて当該顔画像データに基づく笑顔度データを算出していく一方、周囲音データも取得し続け、周囲音データとこの笑顔度データとの相関に関するデータを取得し、適切と考えられる閾値データを定めることで、より実際の場に合わせた笑い促進が可能となる。より具体的に説明すると、周囲音にはいわゆる「笑い声」が含まれていると考えられ、笑い声が含まれる場合は周囲音が大きくなることが考えられる。なおこれは会議室等の室内において人の声以外の周囲音が少ない場合に有用である。したがって、この周囲音が大きくなった場合は対象者が笑っていると推測し、この周囲音の大きさと笑顔度とを比較し、例えば周囲音が大きくなる笑顔度より少し低めの笑顔度で笑い声データを再生させるようにすれば、笑いを効率的に促進することができるようになる。また、周囲音の音量や音量の周期性等を解析することによって笑い声であるか否かを判定する処理を施してもよい。

0029

上記周囲音データの取得は、周囲の音をデータとして本情報処理装置に出力することができるものである限りにおいて限定されるわけではないが、いわゆるマイクロフォンを含む集音器であることが好ましい。

0030

また本実施形態において、笑い声再生部43は、笑い声データを再生する。具体的には、上記笑い可否判断部32が、笑い声を再生すると判断した場合は笑い声データをスピーカーに出力してスピーカーから音を再生させ、笑い声を再生しないと判断した場合は笑い声データを再生しない。

0031

なお、本実施形態において、「笑い声データ」とは、人の笑い声に関する音声データであって、スピーカーに出力され、スピーカーから人の笑い声として対象者に伝達するものである。この笑い声データは、コンピュータに予め格納しておくことが好ましい。また笑い声データの元となる笑い声は、実際の人の笑い声であってもよく、またコンピュータプログラム等によって作成される合成の声であってもよい。また、笑い声データは、複数種類の笑い声であることは好ましい。例えば多人数の大きな笑い声や、一人がクスクス笑う程度の笑い声であってもよい。またこの場合、上記算出した笑顔度データの数値に基づいて再生する笑い声データの種類を選択することも好ましい。なお笑い声の長さは笑いを促進することができる程度であれば十分であり、例えば1秒以上あればよい。

0032

なお本装置においてこの再生は、笑い声データをスピーカーに出力し再生させることが簡便であり好ましいが、テープ等の磁気記録媒体を予め別途設けてこれに笑い声データを記録しておき、本情報処理装置の指示に基づき、このテープ等の磁気記録媒体の読み込み及び再生動作を行わせるようにしてもよい。

0033

また、本情報処理装置の笑い可否判断部42は、限定されるわけではないが、笑顔データに基づき笑い声データの再生を判断した後、第一の待機時間だけ強制的に笑い声データの再生を行わないこととすることが好ましい。これは、「笑い」は一定の期間継続されるものであって、笑っている間は笑顔度がある程度維持される結果、この待機時間を設けないと一つの笑い動作の中で常時笑い声を再生するよう判断してしまうため、結果的に笑い声がとまらなくなってしまうことを避ける必要があるためである。この期間は特に限定されるものではなく、本装置の動作開始後所定の期間データを取得して定めることができるが、予め一定の期間を定めておいてもよい。あらかじめ一定の期間を定めておく場合、限定されるわけではないが、例えば笑い声を再生した後1秒以上20秒以内、好ましくは10秒以内の期間であることが好ましい。なおここで、「笑い声データの再生を行わないこととする」には、顔画像データの取得を行わない、笑顔度データの算出を行わない、及び、笑い声データを再生するか否かの判断を行わない、とする処理も含まれる。

0034

また、本情報処理装置の笑い可否判断部42は、限定されるわけではないが、第一の待機時間経過後、改めて顔画像データに基づき笑顔度データを算出し、笑顔度データに基づき、第二の待機時間を定めることとすることが好ましい。これは、具体的には上記第一の待機時間を経過した後、笑いが継続しているのか否かを判断する処理である。第一の待機時間経過後改めて顔画像データに基づき笑顔度データを算出し、閾値データよりも笑顔度データが高い場合、先ほどの笑いが継続していると判断することができ、比較的長い第二の待機時間を設ける。これにより笑い声がとまらなくなることを避けることができる。一方、閾値データよりも笑顔度データが低い場合、笑いは一度落ち着いたと判断することができるため、0秒又は比較的短い第二の待機時間を設け、次の笑い声再生に備える。すなわち、第二の待機時間は、笑顔度データ及び閾値データに基づき適切な時間に設定される。笑いが続いていると判断された場合における第二の待機時間は、本装置の動作開始後所定の期間データを取得して定めることとしてもよいが、予め固定して定めておく場合は5秒以上20秒以下の期間であることが好ましい。一方、第一の待機時間経過後笑いが収まったと判断できた場合は、上記時間より短い時間であることが好ましく、具体的には0秒以上10秒以下の期間とすることが好ましい。もちろんこの判断には、上記のとおり周囲音データを含ませることもできる。なお、この処理を含め、本装置の一連の処理の流れを図3図4に示しておく。

0035

また、本実施形態において、本装置1は、周囲を和ませコミュニケーションを円滑に測るべく外観を調えるためのフレームボディを設けることも好ましい。例えば外観を人形のようなロボットとすることで、人を和ませてコミュニケーションをより円滑化することが可能となる。この場合の外観の一例を図5に示しておく。

0036

以上、本実施形態により、笑うきっかけを提供することによって笑いを促進する笑い促進プログラム及び笑い促進装置を提供することができる。

0037

ここで、上記実施形態にて説明した笑い促進装置を実際に作成しその効果を確認した。以下具体的に説明する。

0038

まず、カメラマイク、スピーカーを接続したコンピュータを上記図5で示すフレームボディに接続した。またこのコンピュータに、上記実施形態に係るプログラム及び笑い声データを記録し、装置を完成させた。なお、笑顔度データの算出については、OKAO Vision(オムロン社)を用いた。

0039

そして、上記装置を、参加者3名による9分の自由会話に参加させた。なおこの自由会話において、本装置の笑い声再生時間の長さは1.5秒、閾値データθは60、第一の待機時間は2秒、第二の待機時間は、笑いが継続している場合(閾値データより高い場合)は10秒、笑いが継続していない場合(閾値データ以下である場合)は0秒とした。

0040

この結果を図6に示す。本図は、会話中の発生を伴う笑の発生源により分類したものである。同じ場面において、会話者と本装置が笑った割合が50%、本装置のみが笑った割合が35%、会話者だけが笑った場合が15%であった。本装置と会話者の双方が笑った割合が50%と高いことを確認した。

0041

また図7は、上記図6で示す本装置と会話者の双方が笑った場合に、どちらが先に笑ったかを示す図である。この結果、本装置が先に笑った場合が54%、本装置が後に笑った場合が46%と、誘い笑い、つられ笑がおおむね半々ずつであったことが確認できた。すなわち、誘い笑い、つられ笑という形で、多くの笑いに本装置が貢献できたといえ、そのタイミングが適切であったことを確認した。

0042

以上、本実施例により本発明の有用性を確認できた。

0043

本発明は、笑い促進プログラム及び笑い促進装置として産業上の利用可能性がある。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ