図面 (/)

技術 コミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラム

出願人 国立大学法人電気通信大学
発明者 阿部香澄長井隆行
出願日 2018年9月21日 (2年3ヶ月経過) 出願番号 2018-177186
公開日 2020年3月26日 (9ヶ月経過) 公開番号 2020-048158
状態 未査定
技術分野 双方向TV,動画像配信等 玩具
主要キーワード 平面台 大人向け 左右中心線 コミュニケーション対象 ポケット形状 補正度合い コミュニケーション能力 動画処理装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

異なる空間に位置する子供と遠隔者とのコミュニケーション支援する、コミュニケーション支援システムロボット動画処理装置および動画処理プログラムを提供する。

解決手段

コミュニケーション支援システム5において、ロボット1は、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末3から受信した遠隔者側動画データを表示するロボット側表示装置と、カメラおよびロボット側表示装置を周方向に回転する回転装置を備える。遠隔者端末3は、遠隔者を撮影した遠隔者側動画データをロボット1に送信する遠隔者側動画送信部と、ロボット側動画データに対応し、左右端に、子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、ロボット1に、カメラおよびロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備える。

概要

背景

近年の通信ネットワークおよび情報機器発達に伴い、ビデオチャット等の動画データを介したコミュニケーションが普及している。動画データを介したコミュニケーションによって、遠隔地にいる者同士でのコミュニケーション、遠隔地にいる者による所望のアングルの動画の取得など、同一空間でのコミュニケーションに近似したコミュニケーションを実現することができる。

例えば、広角カメラ撮影された動画に対し、フォーカス対象を指定することで、カメラが指定された方向にフォーカスを合わせるシステムがある(特許文献1)。

概要

異なる空間に位置する子供と遠隔者とのコミュニケーションを支援する、コミュニケーション支援システムロボット動画処理装置および動画処理プログラムを提供する。コミュニケーション支援システム5において、ロボット1は、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末3から受信した遠隔者側動画データを表示するロボット側表示装置と、カメラおよびロボット側表示装置を周方向に回転する回転装置を備える。遠隔者端末3は、遠隔者を撮影した遠隔者側動画データをロボット1に送信する遠隔者側動画送信部と、ロボット側動画データに対応し、左右端に、子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、ロボット1に、カメラおよびロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備える。

目的

本発明の目的は、異なる空間に位置する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーション支援するコミュニケーション支援システムであって、前記ロボットは、前記空間を撮影したロボット側動画データを出力するカメラと、前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、前記カメラおよび前記ロボット側表示装置を周方向に回転する回転装置を備え、前記遠隔者端末は、前記遠隔者を撮影した前記遠隔者側動画データを前記ロボットに送信する遠隔者側動画送信部と、前記ロボット側動画データに対応し、左右端に、前記子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、前記ロボットに、前記カメラおよび前記ロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備えることを特徴とするコミュニケーション支援システム。

請求項2

前記ぼかし領域は、前記ロボット側表示装置によって前記子供が見られていると感じる範囲よりも左右方向の外側の範囲に対応することを特徴とする請求項1に記載のコミュニケーション支援システム。

請求項3

前記表示動画データは、前記ロボット側動画データの前記ぼかし領域に対応する領域を、画像処理によりぼかしたデータであることを特徴とする請求項1または2に記載のコミュニケーション支援システム。

請求項4

前記カメラのレンズの前記ぼかし領域に対応する位置に、空間をぼかすフィルタが設置され、前記カメラが出力する前記ロボット側動画データは、前記表示動画データであることを特徴とする請求項1または2に記載のコミュニケーション支援システム。

請求項5

前記遠隔者端末の前記動作指示部は、前記表示動画データの中央の非ぼかし領域に、前記子供が映るように、前記ロボットに指示を入力することを特徴とする請求項1ないし4のいずれか1項に記載のコミュニケーション支援システム。

請求項6

前記ロボットは、移動することを特徴とする請求項1ないし5のいずれか1項に記載のコミュニケーション支援システム。

請求項7

前記表示動画データの中央の非ぼかし領域は、前記ロボット側表示装置の表示面の前記空間側を撮影した表示面撮影領域を有し、物体が前記ロボット側表示装置に近づくと、前記物体を前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域が、広く表示されることを特徴とする請求項1に記載のコミュニケーション支援システム。

請求項8

前記カメラは、魚眼レンズで前記空間を撮影し、前記表示面撮影領域は、前記魚眼レンズの撮影領域の縁部に設けられ、前記物体が前記ロボット側表示装置に近づくと、前記物体が前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域の歪曲収差が強く補正されることを特徴とする請求項7に記載のコミュニケーション支援システム。

請求項9

前記表示動画データの中央の非ぼかし領域は、前記ロボットとコミュニケーション中の子供が位置する空間を撮影した子供空間撮影領域と、前記ロボット側表示装置の表示面の前記空間側を撮影した表示面撮影領域と、前記非ぼかし領域のうち、前記子供空間撮影領域と前記表示面撮影領域以外の領域を撮影した背景撮影領域を有し、前記子供空間撮影領域と前記表示面撮影領域は、前記背景撮影領域と比較して拡大して表示されることを特徴とする請求項1に記載のコミュニケーション支援システム。

請求項10

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムであって、前記ロボットは、前記空間を撮影したロボット側動画データを出力するカメラと、前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置を備え、前記遠隔者端末は、前記遠隔者を撮影した前記遠隔者側動画データを前記ロボットに送信する遠隔者側動画送信部と、前記ロボット側動画データに対応する表示動画データを表示する遠隔者側表示装置を備え、前記表示動画データは、前記空間を撮影した空間撮影領域と、前記ロボット側表示装置の表示面の前記空間側を撮影した表示面撮影領域を有し、物体が前記ロボット側表示装置に近づくと、前記物体が前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域が、広く表示されることを特徴とするコミュニケーション支援システム。

請求項11

前記カメラは、魚眼レンズで前記空間を撮影し、前記表示面撮影領域は、前記魚眼レンズの撮影領域の縁部に設けられ、前記物体が前記ロボット側表示装置に近づくと、前記物体が前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域の歪曲収差が強く補正されることを特徴とする請求項10に記載のコミュニケーション支援システム。

請求項12

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる前記ロボットであって、前記遠隔者端末は、前記遠隔者を撮影した遠隔者側動画データを前記ロボットに送信するとともに、前記空間を撮影した動画データであって、左右端に、前記子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示し、前記ロボットは、前記ぼかし領域に対応するレンズの位置に、前記空間をぼかすフィルタが設置され、前記空間を撮影した前記表示動画データを出力するカメラと、前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、前記カメラおよび前記ロボット側表示装置を周方向に回転する回転装置を備えることを特徴とするロボット。

請求項13

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末と、前記遠隔者端末に表示される表示動画データを加工する動画処理装置を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる前記動画処理装置であって、前記ロボットは、前記空間を撮影したロボット側動画データを出力するカメラと、前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、前記カメラおよび前記ロボット側表示装置を周方向に回転する回転装置を備え、前記遠隔者端末は、前記遠隔者を撮影した前記遠隔者側動画データを前記ロボットに送信する遠隔者側動画送信部と、前記ロボット側動画データに対応し、左右端に、前記子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、前記ロボットに、前記カメラおよび前記ロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備え、前記動画処理装置は、前記ロボット側動画データの前記ぼかし領域に対応する領域を、画像処理によりぼかして、前記表示動画データを生成するロボット側動画加工部を備えることを特徴とする動画処理装置。

請求項14

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末と、前記遠隔者端末に表示される表示動画データを加工する動画処理装置を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる前記動画処理装置であって、前記ロボットは、前記空間を撮影したロボット側動画データを出力するカメラと、前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、前記遠隔者端末は、前記遠隔者を撮影した前記遠隔者側動画データを前記ロボットに送信する遠隔者側動画送信部と、前記ロボット側動画データから加工された表示動画データを表示する遠隔者側表示装置とを備え、前記表示動画データは、前記ロボット側表示装置の表示面の前記空間側を撮影した表示面撮影領域を有し、前記動画処理装置は、物体が前記ロボット側表示装置に近づくと、前記物体を前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域が広くなるように加工するロボット側動画加工部を備えることを特徴とする動画処理装置。

請求項15

コンピュータを、請求項13または14に記載の動画処理装置として機能する動画処理プログラム

請求項16

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる前記ロボットであって、前記空間を撮影したロボット側動画データを出力するカメラと、前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置を備え、前記カメラの上方の視野角は、式(1)で表現され、前記カメラの下方の視野角は、式(2)で表現されることを特徴とするロボット。

技術分野

0001

本発明は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーション支援するコミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラムに関する。

背景技術

0002

近年の通信ネットワークおよび情報機器発達に伴い、ビデオチャット等の動画データを介したコミュニケーションが普及している。動画データを介したコミュニケーションによって、遠隔地にいる者同士でのコミュニケーション、遠隔地にいる者による所望のアングルの動画の取得など、同一空間でのコミュニケーションに近似したコミュニケーションを実現することができる。

0003

例えば、広角カメラで撮影された動画に対し、フォーカス対象を指定することで、カメラが指定された方向にフォーカスを合わせるシステムがある(特許文献1)。

先行技術

0004

特開2017−107535号公報

発明が解決しようとする課題

0005

しかしながら、現在普及しているコミュニケーションは、大人向けのものであり、子供のコミュニケーションを支援するシステムは見あたらない。子供は、大人に比べて、社会性認知能力およびコミュニケーション能力が未発達であることから、大人向けのコミュニケーション支援システムをそのまま子供に適用したとしても、充分なコミュニケーションを実現することが難しい場合がある。

0006

従って本発明の目的は、異なる空間に位置する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラムを提供することである。

課題を解決するための手段

0007

上記課題を解決するために、本発明の第1の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに関する。本発明の第1の特徴に係るコミュニケーション支援システムにおいて、ロボットは、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、カメラおよびロボット側表示装置を周方向に回転する回転装置を備え、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信する遠隔者側動画送信部と、ロボット側動画データに対応し、左右端に、子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、ロボットに、カメラおよびロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備える。

0008

ぼかし領域は、ロボット側表示装置によって子供が見られていると感じる範囲よりも左右方向の外側の範囲に対応しても良い。

0009

表示動画データは、ロボット側動画データのぼかし領域に対応する領域を、画像処理によりぼかしたデータであっても良い。

0010

カメラのレンズのぼかし領域に対応する位置に、空間をぼかすフィルタが設置され、カメラが出力するロボット側動画データは、表示動画データであっても良い。

0011

遠隔者端末の動作指示部は、表示動画データの中央の非ぼかし領域に、子供が映るように、ロボットに指示を入力しても良い。

0012

ロボットは、移動しても良い。

0013

表示動画データの中央の非ぼかし領域は、ロボット側表示装置の表示面の空間側を撮影した表示面撮影領域を有し、物体がロボット側表示装置に近づくと、物体をロボット側表示装置に近づく前に比べて、表示面撮影領域が、広く表示されても良い。

0014

カメラは、魚眼レンズで空間を撮影し、表示面撮影領域は、魚眼レンズの撮影領域の縁部に設けられ、物体がロボット側表示装置に近づくと、物体がロボット側表示装置に近づく前に比べて、表示面撮影領域の歪曲収差が強く補正されても良い。

0015

表示動画データの中央の非ぼかし領域は、ロボットとコミュニケーション中の子供が位置する空間を撮影した子供空間撮影領域と、ロボット側表示装置の表示面の空間側を撮影した表示面撮影領域と、非ぼかし領域のうち、子供空間撮影領域と表示面撮影領域以外の領域を撮影した背景撮影領域を有し、子供空間撮影領域と表示面撮影領域は、背景撮影領域と比較して拡大して表示されても良い。

0016

本発明の第2の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに関する。本発明の第2の特徴に係るコミュニケーション支援システムにおいて、ロボットは、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置を備え、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信する遠隔者側動画送信部と、ロボット側動画データに対応する表示動画データを表示する遠隔者側表示装置を備え、表示動画データは、空間を撮影した空間撮影領域と、ロボット側表示装置の表示面の空間側を撮影した表示面撮影領域を有し、物体がロボット側表示装置に近づくと、物体がロボット側表示装置に近づく前に比べて、表示面撮影領域が、広く表示される。

0017

カメラは、魚眼レンズで空間を撮影し、表示面撮影領域は、魚眼レンズの撮影領域の縁部に設けられ、物体がロボット側表示装置に近づくと、物体がロボット側表示装置に近づく前に比べて、表示面撮影領域の歪曲収差が強く補正されても良い。

0018

本発明の第3の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられるロボットに関する。本発明の第3の特徴に係るロボットは、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信するとともに、空間を撮影した動画データであって、左右端に、子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示し、ロボットは、ぼかし領域に対応するレンズの位置に、空間をぼかすフィルタが設置され、空間を撮影した表示動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、カメラおよびロボット側表示装置を周方向に回転する回転装置を備えても良い。

0019

本発明の第4の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末と、遠隔者端末に表示される表示動画データを加工する動画処理装置を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる動画処理装置に関する。本発明の第4の特徴に係る動画処理装置が用いられるコミュニケーション支援システムにおいて、ロボットは、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、カメラおよびロボット側表示装置を周方向に回転する回転装置を備え、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信する遠隔者側動画送信部と、ロボット側動画データに対応し、左右端に、子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、ロボットに、カメラおよびロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備え、動画処理装置は、ロボット側動画データのぼかし領域に対応する領域を、画像処理によりぼかして、表示動画データを生成するロボット側動画加工部を備える。

0020

本発明の第5の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末と、遠隔者端末に表示される表示動画データを加工する動画処理装置を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる動画処理装置に関する。本発明の第5の特徴に係る動画処理装置が用いられるコミュニケーション支援システムにおいて、ロボットは、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信する遠隔者側動画送信部と、ロボット側動画データから加工された表示動画データを表示する遠隔者側表示装置とを備え、表示動画データは、ロボット側表示装置の表示面の空間側を撮影した表示面撮影領域を有し、動画処理装置は、物体がロボット側表示装置に近づくと、物をロボット側表示装置に近づく前に比べて、表示面撮影領域が広くなるように加工するロボット側動画加工部を備える。

0021

本発明の第6の特徴は、コンピュータを、本発明の第4の特徴または第5の特徴に係る動画処理装置として機能する動画処理プログラムに関する。

0022

本発明の第7の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられるロボットであって、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置を備え、カメラの上方の視野角は、式(1)で表現され、カメラの下方の視野角は、式(2)で表現されることを特徴とするロボット。

0023

発明の効果

0024

本発明によれば、異なる空間に位置する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラムを提供することができる。

図面の簡単な説明

0025

本発明の実施の形態に係るコミュニケーションシステムシステム構成図である。
本発明の実施の形態に係るコミュニケーションシステムの処理を説明するシーケンス図である。
本発明の実施の形態に係るロボットの外観を説明する図である。
本発明の実施の形態に係る表示動画データを説明する図である。
本発明の実施の形態に係る表示動画データに適用されるモードを説明する図である。
本発明の実施の形態に係るコミュニケーションシステムにおいて、遠隔者端末が送信する指示およびモードの変更に関する処理を説明するシーケンス図である。
本発明の実施の形態に係るロボットの機能ブロックハードウエア構成を説明する図である。
本発明の実施の形態に係るロボットの仕様を説明する図である。
本発明の実施の形態に係る動画処理装置の機能ブロックとハードウエア構成を説明する図である。
本発明の実施の形態に係る変更条件データのデータ構造とデータの一例を説明する図である。
本発明の実施の形態に係る遠隔者端末の機能ブロックとハードウエア構成を説明する図である。
第1の変形例に係るロボットのカメラのレンズを説明する図である。
第1の変形例に係る処理を説明するシーケンス図である。
カメラが2箇所に分散されるロボットの例を説明する図である。
カメラが2枚のレンズを有するロボットの例を説明する図である。

実施例

0026

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

0027

(コミュニケーション支援システム)
本発明の実施の形態に係るコミュニケーション支援システム5は、異なる空間に位置する子供と遠隔者のコミュニケーションを、支援する。

0028

本発明の実施の形態において子供は、社会性、認知能力およびコミュニケーション能力が未発達な人の意味で用いる。子供は、一般的には、生後6ヶ月から6くらいの子を想定するが、年齢は限定されなくても良い。また子供以上の能力を持つ人が、コミュニケーション支援システム5を用いても良い。遠隔者は、例えば子供の祖母等であって、社会性、認知能力およびコミュニケーション能力を有する大人である。遠隔者は、子供と異なる空間に位置し、子供とコミュニケーションを取る。

0029

本発明の実施の形態に係るコミュニケーション支援システム5は、図1に示すように、ロボット1、動画処理装置2および遠隔者端末3を備える。ロボット1および動画処理装置2は、インターネット等の相互に通信可能な通信ネットワークによって接続される。動画処理装置2および遠隔者端末3も、同様に相互に通信可能な通信ネットワークによって接続される。

0030

ロボット1は、子供が位置する空間に配置され、その空間を撮影するとともに、遠隔者を表示する。遠隔者端末3は、遠隔者によって利用され、遠隔者を撮影するとともに、子供が位置する空間の動画データを表示する。動画処理装置2は、ロボット1および遠隔者端末3間で、双方の動画データを中継し、必要に応じて動画データを加工する。

0031

図2を参照して、本発明の実施の形態に係るコミュニケーション支援システム5における処理の概要を説明する。

0032

テップS1においてロボット1は、子供が位置する空間を撮影したロボット側動画データBを動画処理装置2に送信する。ステップS2において動画処理装置2は、ロボット側動画データBを加工して、表示動画データDを生成する。ロボット側動画データBの各フレームと、表示動画データDの各フレームは、対応する。ここで行われる加工は、遠隔者に、空間および子供の状態を適切に伝えるためのものである。ステップS3において動画処理装置2は、ステップS2で生成された表示動画データDを、遠隔者端末3に送信する。

0033

ステップS4において遠隔者端末3は、遠隔者を撮影した遠隔者側動画データGを動画処理装置2に送信する。ステップS5において動画処理装置2は、ステップS4で受信した遠隔者側動画データGをロボット1に送信する。

0034

ステップS6においてロボット1は、ステップS5で受信した遠隔者側動画データGを再生し、得られた動画像を表示する。ステップS7において遠隔者端末3は、ステップS3で受信した表示動画データDを再生し、得られた動画像を表示する。

0035

子供は、ロボット1に表示された遠隔者側動画データGを見ながら、遠隔者とコミュニケーションを取る。また遠隔者は、子供の様子が反映された表示動画データDを見ながら、子供とコミュニケーションを取る。

0036

本発明の実施の形態において、図2に示す各動画データ送受信は、遠隔者等が入力した開始および終了の指示の間、継続的に行われる。ロボット1に遠隔者がリアルタイムに表示され、遠隔者端末3に子供が位置する空間がリアルタイムに表示される。なお「リアルタイム」は、時間的な完全同一のみならず、動画データの送受信で経由する装置または通信環境による遅延許容する。

0037

本発明の実施の形態に係るロボット1は、図3(a)に示すように、顔を模したパーツ胴体を模したパーツを備え、全体として人に似た形状を有する。ロボット1は、人に限らず、などの動物アニメ人形、ぬいぐるみ等のキャラクターなど、日常生活での子供のコミュニケーション対象の形状に類似することが好ましい。

0038

ロボット1は、図3(a)に示すように、カメラ130、ロボット側表示装置140、スピーカー170および支持台180を備える。カメラ130は、子供が位置する空間を撮影して、遠隔者端末3に子供が位置する空間の様子を伝える。ロボット側表示装置140は、遠隔者端末3で撮影された遠隔者の様子を表示して、子供にコミュニケーション相手を認識させる。スピーカー170は、遠隔者端末3で発生した音声を出力する。

0039

支持台180は、図3(b)に示すように、ロボット1の筐体の反対側に開き、その中に玩具等の物を置くことが可能に形成される。本発明の実施の形態において支持台180は、深さのあるポケット形状になっているが、これに限られない。支持台180は、平面台などでもよく、玩具を設置可能であっても良い。また支持台180に設置された玩具は、カメラ130によって撮影されるのが好ましい。

0040

本発明の実施の形態において、ロボット1に設置されたカメラ130のレンズ、ロボット側表示装置140の表示面および支持台180は、左右対称に形成される。より具体的には、カメラ130のレンズの左右中心線、ロボット側表示装置140の表示面の左右中心線および支持台180の左右中心線は、ロボット1の接地面に対して垂直な、一つの仮想面上に設けられる。なおロボット1に設置されたカメラ130のレンズ、ロボット側表示装置140の表示面および支持台180は、左右対称に形成されるのは一例であって、これに限らない。例えば、カメラ130の位置が左右対称からずれる場合でも、視点変換処理により、カメラ130が撮影した画像データを、左右対称で撮影された画像に変換しても良い。

0041

またロボット1は、移動、周方向の回転などの、動作が可能である。移動は、ロボット1が設置された床の水平移動に限らず、段差越え、空間の飛行などの様々な移動が可能である。また周方向の回転は、ロボット1自身が回転しても良いし、カメラ130およびロボット側表示装置140のみを回転しても良い。カメラ130の周方向の回転により、空間全体を撮影することを可能にする。またロボット側表示装置140の周方向の回転により、遠隔者が回転しているような演出を表現することができる。移動または回転に必要な機構は、ロボット1の内部に収容され、子供が触れにくく形成されるのが好ましい。

0042

また遠隔者端末3による遠隔操作により、ロボット1は、動作することも可能である。これにより、ロボット1は、子供が存在する空間において、遠隔者代わりの動体として活動することができる。例えば、遠隔者端末3においてロボット1に移動する指示をすることにより、子供に近寄ったり、子供と追いかけっこしたりなどのコミュニケーションが可能になる。

0043

(表示動画データ)
遠隔者端末3に表示される表示動画データDの各フレームは、図4(a)に示すように、中央に非ぼかし領域R1を有し、左右端に、ぼかし領域R2を有する。非ぼかし領域R1において空間は明瞭に表示され、ぼかし領域R2は、子供の存在が確認できる程度にぼかされる。

0044

本発明の実施の形態において、動画処理装置2が、ロボット側動画データBの各フレームにぼかし領域R2を設定する加工をする。これにより表示動画データDの各フレームの左右端に、ぼかし領域R2が設定される。

0045

遠隔者が子供とコミュニケーションを開始する際、ロボット1のカメラ130が子供を捉えられる位置関係になければならない。そのため遠隔者端末3は、まずロボット1を周方向に回転して、子供を探索し、子供がフレーム中央の非ぼかし領域R1に入るように、ロボット1の向きを合わせる。ぼかし領域R2に子供の存在が確認できない場合、遠隔者端末3は、ロボット1を早く回転する指示を入力し、子供の存在を素早く探索することが可能である。またぼかし領域R2に子供の存在が確認できると、遠隔者端末3は、ロボット1をゆっくり回転する指示を入力することが可能になる。これにより、遠隔者端末3において、ロボット1位置を調整するための操作性が向上する。また遠隔者が、遠隔操作に不慣れな者であっても、ロボット1の位置を適切に調整することができる。子供が非ぼかし領域R1に入ると、遠隔者端末3はさらに、子供から遠ざかる、子供に近づくなど、子供との距離を調整しても良い。

0046

また他の例として、ぼかし領域R2を黒塗りにする、切り取るなど、ぼかし領域R2を設けず、非ぼかし領域R1のみを表示する態様も考えられる。この場合、非ぼかし領域R1に子供が入るように、遠隔者端末3は、ロボット1を回転しなければならず、水平方向の視覚が狭くなり、遠隔者端末3の操作性が低下する。これに対し、非ぼかし領域R1の左右端に、子供の存在が確認できる程度にぼかされたぼかし領域R2を設けることにより、遠隔者端末3は、非ぼかし領域R1とぼかし領域R2を合わせた広い領域で、子供を探索することができる。また子供が非ぼかし領域R1に位置し、子供と遠隔者とがコミュニケーションしている間、遠隔者は、ぼかし領域R2を明確に視認できないので、遠隔者が視認する情報を削減し、非ぼかし領域R1に注力することができる。

0047

子供と遠隔者とのコミュニケーションを実現するために、コミュニケーション支援システム5は、子供がロボット1に見られていると認識する範囲と、遠隔者端末3に明瞭に表示される範囲(非ぼかし領域R1)とが一致するように形成される。本発明の実施の形態において、子供がロボット1に見られていると認識する範囲と、非ぼかし領域R1とが一致する場合のみならず、コミュニケーションに支障が生じない程度に、差分が小さい場合も含む。

0048

大人がロボット側表示装置140に見られていると認識する範囲の目安は、ロボット側表示装置140の中心から左右それぞれに47度(合計94度)であるとの実験値がある。本発明の実施の形態において、子供がロボット側表示装置140に見られていると認識する範囲も、この実験値と同様に設定される。

0049

子供がロボット1に見られていると認識する範囲と、遠隔者端末3で表示される表示動画データDの非ぼかし領域R1の範囲が一致する場合、非ぼかし領域R1にいる子供は、遠隔者を認識し、遠隔者とコミュニケーションを取りやすくなる。遠隔者は、子供のコミュニケーションを適切に確認し、子供は、遠隔者に見られている意識を持って遠隔者とコミュニケーションすることが可能になる。

0050

一方、表示動画データDの非ぼかし領域R1より、子供がロボット1に見られていると認識する範囲が広い場合、表示動画データDのぼかし領域R2または撮影範囲外で、子供は遠隔者を認識する。この場合、子供から遠隔者への一方的な働きかけが発生し、コミュニケーションが成立しない。また子供がロボット1に見られていると認識する範囲より、非ぼかし領域R1が広い場合、遠隔者端末3に子供が表示されていても、子供は遠隔者に見られていると認識することができず、遠隔者が子供以外を見ていると認識してしまう場合がある。この場合、遠隔者から子供への一方的な働きかけが発生し、コミュニケーションが成立しない。

0051

そこで本発明の実施の形態において、非ぼかし領域R1は、子供がロボット1に見られていると認識する範囲に一致するように形成される。ぼかし領域R2は、ロボット側表示装置140によって子供が見られていると感じる範囲よりも左右方向(周方向)の外側の範囲に対応する。非ぼかし領域R1に子供が表示されるように、遠隔者端末3は、ロボット1の位置または向きを調整する。遠隔者端末3は、非ぼかし領域R1に遠隔者とコミュニケーションする子供を表示することができるので、子供と遠隔者の適切なコミュニケーションを促すことが可能である。

0052

また発明者の知見によれば、子供に頻繁に観察されるコミュニケーションの特徴として、図3(b)に示すように、ロボット側表示装置140に手で触れる、ロボット側表示装置140に玩具を押しつける、支持台180に玩具を乗せる等の行動がある。そこで遠隔者端末3で表示される表示動画データDは、これらの子供の行動や玩具の情報の視認性が担保できるように、動画処理装置2によって適切に加工される。

0053

具体的にロボット1のカメラ130は、ロボット側表示装置140の表示面および支持台180とともに子供が位置する空間を含む広い空間を撮影可能な、魚眼レンズを有する。魚眼レンズで撮影されたロボット側動画データBに、子供の行動、および子供がロボット1に近づけた玩具などを含めることが可能になり、遠隔者は、子供の行動を適切に把握して、子供の行動に対する対話が可能になる。

0054

図4(b)に示すように、非ぼかし領域R1は、ロボット1とコミュニケーション中の子供が位置する空間を撮影した子供空間撮影領域R11と、ロボット側表示装置140の表示面の空間側を撮影した表示面撮影領域R12と、背景撮影領域(図示せず)を有する。子供空間撮影領域R11は、子供がロボット1から離れて活動する様子を確認できる領域であり、表示面撮影領域R12は、子供が表示面に押しつけた玩具や支持台180に設置した玩具を確認できる領域である。背景撮影領域は、非ぼかし領域R1のうち、子供空間撮影領域R11と表示面撮影領域R12以外の領域であって、例えば、子供が位置する空間の天井部分など、カメラ130による撮影範囲のうち、子供が移動しえない領域である。

0055

本発明の実施の形態において、カメラ130の下方にロボット側表示装置140の表示面および支持台180がある。ロボット側表示装置140に近づけられた玩具および支持台180に設置された玩具は、フレームの下方の表示面撮影領域R12に撮影される。動画処理装置2は、ぼかし領域R2を設ける加工のほか、子供空間撮影領域R11または表示面撮影領域R12を拡大または縮小する加工をして、表示動画データDを生成する。子供空間撮影領域R11または表示面撮影領域R12を拡大または縮小する加工は、遠隔者端末3からの明示的な指示に従って行われても良いし、動画処理装置2がロボット側動画データBを監視し、所定条件を満たしたときに行っても良い。

0056

本発明の実施の形態において、表示動画データDは、子供空間撮影領域R11または表示面撮影領域R12の拡大または縮小に関して、図5に示すように、複数のモードを有する。図5に示す非接触時の各モードの画像は、それぞれ、ロボット側動画データBのフレームデータのうち、玩具が表示面に押しつけられていないフレームデータを、各モードに従って補正をしたものである。接触時の各モードの画像は、それぞれ、ロボット側動画データBのフレームデータのうち、玩具が表示面に押しつけられたフレームデータを、各モードに従って補正をしたものである。

0057

本発明の実施の形態において、表示動画データDを加工するモードとして、子供重視モード、玩具重視モードおよび子供玩具重視モードがある。なお図5に示すモードは一例であって、これに限定するものではなく、フレームの加工方針に従って、他のモードが適宜設定されても良い。

0058

子供重視モードにおいて、子供空間撮影領域R11が大きく表示され、表示面撮影領域R12が、小さく表示される。玩具重視モードにおいて、子供空間撮影領域R11が小さく表示され、表示面撮影領域R12が大きく表示される。子供玩具重視モードにおいて、子供空間撮影領域R11とい表示面撮影領域R12がともに大きく表示される。

0059

図5に示すように、玩具の非接触時において、子供重視モードの子供空間撮影領域R11aと、子供玩具重視モードの子供空間撮影領域R11eでの各子供は、玩具重視モードの子供空間撮影領域R11cの子供よりも大きく表示される。子供重視モードおよび子供玩具重視モードで表示動画データDが生成されることにより、遠隔者は、子供の様子を高画質で確認することができる。

0060

一方玩具の接触時において、玩具重視モードの表示面撮影領域R12dと子供玩具重視モードの表示面撮影領域R12fにおいて、ロボット側表示装置140の表示面に押しつけられた玩具は、子供重視モードの表示面撮影領域R12bと比べて、大きく表示される。なお、図5の例では玩具は、ボールである。これにより、遠隔者は、玩具の形状、玩具に表示された文字なども確認することができ、子供の有する玩具に関して語りかけることも可能になる。

0061

また玩具の接触時において、玩具重視モードの表示面撮影領域R12dにおいて、表示面に押しつけられた玩具は、子供玩具重視モードの表示面撮影領域R12fと比べて、大きく表示される。玩具重視モードは、表示面に押しつけられた玩具や、支持台180に設置された玩具などを特定するために好適である。

0062

なお、動画処理装置2は、各モードに対応するために、子供空間撮影領域R11、表示面撮影領域R12以外の領域の縮小、または縁部の削除などの加工も、併せて行っても良い。例えば子供重視モードの画像の左上等の縁部には、魚眼レンズで撮影されなかった領域が設けられているが、玩具重視モードにおいて画像全体に空間が撮影されている。これは、玩具重視モードにおいて、魚眼レンズでの撮影領域の中央部分を拡大したことに伴うものである。

0063

また図5に示す各モードの領域サイズの大中小表記は、動画処理装置2による加工前のロボット側動画データBの各フレームにおける領域と比較して拡大または縮小して表示することを意味する。例えば、玩具重視モードにおいて、表示面撮影領域R12が大きく表示されるが、ロボット側動画データBのフレームにおける、表示面撮影領域R12に対応する領域に比べて大きく表示されることを意味する。また各モードの領域サイズの特徴は、図5に示す表現以外で表現されても良い。例えば、子供空間撮影領域R11および表示面撮影領域R12の撮影領域の比較によって、各モードの領域サイズの特徴を表しても良い。また各モードにおいて、ロボット側動画データBの各フレームを均一に大きくし、その後に、拡大または縮小する加工をしても良い。

0064

図6を参照して、子供と遠隔者とのコミュニケーション中のコミュニケーション支援システム5の処理を説明する。

0065

ステップS11において遠隔者端末3は、ロボット1の動作指示を入力すると、ステップS12において動画処理装置2は、ステップS11で取得した動作指示を、ロボット1に送信する。動作指示は、ロボット1の移動を指示する移動指示、またはロボット1の回転を指示する回転指示等である。ステップS13においてロボット1は、取得した動作指示に従って動作する。

0066

ここで、移動指示には、移動する方向、距離、速度等の各種設定値が含まれても良い。回転指示には、回転時の速度、回転する角度等の各種設定値が含まれても良い。また動画処理装置2は、遠隔者端末3が送信した動作指示を、ロボット1が判別可能形式に変換して、動作指示を送信しても良い。図6に示す例において、遠隔者端末3が動作指示を送信する場合を説明したが、動画処理装置2が、ロボット側動画データBの内容に基づいて、遠隔者端末3の指示なく自律的に、ロボット1に動作指示を送信しても良い。

0067

またステップS14において、遠隔者端末3が表示動画データDのモードを指定する指示が送信される。ステップS15において動画処理装置2は、ステップS14で指定されたモードでロボット側動画データBを加工し、ステップS16において指定されたモードで加工された表示動画データDを送信する。

0068

またステップS17において動画処理装置2は、ロボット側動画データBを監視し、モードの変更条件を検知すると、検知したモードでロボット側動画データBを加工する。ステップS18において動画処理装置2は、ステップS17で検知したモードで加工された表示動画データDを送信する。

0069

動画処理装置2は、後述する図10のように、所定のモードを適用するための条件を、予め定める。動画処理装置2は、ロボット側動画データBを監視して、予め定めた条件に合致するか否かを判断する。条件に合致する場合、その条件時に適用するモードで、ロボット側動画データBを加工して、表示動画データDを生成する。これにより、子供が玩具を表示面に近づけると、子供玩具重視モードに変更し、さらに表示面に近づけると玩具重視モードに変更するなど、動画処理装置2は、子供の動きに反応してモードを変更し、子供と遠隔者のコミュニケーションを支援する。

0070

(ロボット)
図7を参照して、本発明の実施の形態に係るロボット1が有するコンピュータ機能を説明する。ロボット1は、記憶装置100、処理装置110および入出力制御装置120、通信制御装置150等の一般的なコンピュータを有する装置のほか、コンピュータに接続可能な機器を備える。機器は、カメラ130、ロボット側表示装置140、移動装置160および回転装置161である。これらの機器は、コンピュータに内蔵されても良いし、外付けで接続されても良い。

0071

記憶装置100は、ROM(Read Only Memory)、RAM(Random access memory)、ハードディスク等であって、処理装置110が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置110は、CPU(Central Processing Unit)であって、記憶装置100に記憶されたデータを読み書きしたり、入出力制御装置130とデータを入出力したりして、ロボット1のコンピュータにおける処理を実行する。

0072

入出力制御装置120は、処理装置110と、コンピュータに接続する機器との間の入出力を制御する。入出力制御装置120は、例えば、処理装置110から機器へのデータを中継し、機器から処理装置110へのデータを中継する。

0073

カメラ130は、図4を参照して説明したように、子供の存在する空間を撮影し、空間を撮影したロボット側動画データBを出力する。カメラ130は、子供の存在する空間のみならず、ロボット側表示装置140の表示面に押しつけられた玩具または支持台180に設置された玩具を撮影できるように、魚眼レンズを有する。

0074

ロボット側表示装置140は、図4を参照して説明したように、遠隔者端末3から受信した遠隔者側動画データGを表示する。より具体的には、ロボット側表示装置140は、遠隔者側動画データGに基づいて取得される動画像を表示する。

0075

通信制御装置150は、ロボット1が、動画処理装置2と通信可能に接続するためのインタフェースである。

0076

移動装置160は、ロボット1が移動するための装置である。回転装置161は、ロボット1が周方向に回転するための装置である。本発明の実施の形態において、移動装置160および回転装置161の仕組みはどのようなものでもよく、具体的な構成は問わない。

0077

回転装置161は、カメラ130およびロボット側表示装置140を回転する。回転装置161は、カメラ130およびロボット側表示装置140の向きの関係に変更が生じないように、これらを同期して回転する。本発明の実施の形態において回転装置161は、ロボット1の筐体に設けられるので、ロボット1を回転することで、カメラ130およびロボット側表示装置140は、同期して回転することになる。

0078

記憶装置100は、ロボット側動画データBと遠隔者側動画データGを記憶する。

0079

処理装置110は、ロボット側動画送信部111、遠隔者側動画再生部112および動作指示実行部113を備える。

0080

ロボット側動画送信部111は、カメラ130からによって撮影されたロボット側動画データBを取得し、取得したロボット側動画データBを動画処理装置2に送信する。

0081

遠隔者側動画再生部112は、動画処理装置2から遠隔者側動画データGを受信し、受信した遠隔者側動画データGを再生して、ロボット側表示装置140に表示する。

0082

動作指示実行部113は、遠隔者端末3が入力した動作指示を、動画処理装置2を介して受信し、その動作指示に従って、移動装置160または回転装置161を駆動する。動作指示実行部113は、例えば、ロボット1を前に動かしたり、ロボットを回転させたりする。これにより遠隔者は、ロボット1を自身の希望の通りに動かし、所望の視界を得たり、子供とコミュニケーションを得たりができる。

0083

なおロボット1は、図7に示さないが入力装置を備えても良い。入力装置は、子供または子供の保護者等からの入力を受け付け、入出力制御装置120を介して処理装置110に、指示を入力する。入力装置は、ロボット1の筐体に設けられるボタン、ロボット側表示装置140に実装されるタッチパネル等である。またロボット1は、図7には示さないが、図3(a)に示すようにスピーカー170、支持台180を備える。またロボット1は、支持台180を駆動するためのモータ等の駆動装置をさらに備えても良い。

0084

支持台180の駆動としては、支持台180の開閉、移動等が考えられる。支持台180の開閉は、図3(a)に示すように、支持台180が閉じられ、支持台180の内部が見えない状態から、図3(b)に示すように、支持台180がロボット1の外側に開き、支持台180の内部に物を収納可能な状態に変化することである。支持台180の開閉は、支持台180が開いた状態から閉じた状態への変化を含む。また支持台180の移動は、ロボット1の筐体とぶつからない範囲内で、支持台180が上下または左右に移動したりすることである。

0085

支持台180の駆動は、遠隔者端末3によって指示されても良い。図3(b)に示すように支持台180が開いた状態で支持台180内に物体を収納したことが、表示動画データDで確認されると、遠隔者端末3は、支持台180を閉じる指示をロボット1に送信し、ロボット1の駆動装置は、支持台180を閉じる。これにより、子供が遠隔者に、支持台180を介して物体をプレゼントしたような演出が可能になる。さらに、遠隔者端末3が、支持台180を開く指示をロボット1に送信し、ロボット1は支持台180を開き、子供が物を取り出せる状態となる。これにより、遠隔者が子供に、支持台180を介して物体をプレゼントしたような演出が可能になる。このように支持台180が駆動装置によって開閉し、遠隔者端末3が支持台180の駆動を制御することによって、子供と遠隔者のコミュニケーションを支援することが可能である。

0086

図8を参照して、本発明の実施の形態に係るロボット1のカメラ130のレンズの仕様を説明する。カメラ130のレンズは、所定距離における子供と、レンズの下方に位置するロボット側表示装置140の表示面および支持台180に設置された玩具を撮影する必要がある。

0087

そこで、カメラ130のレンズは、垂直方向に広角な視野が要求される。具体的には、カメラ130のレンズの上方の視野角θUの最小値が、式(1)で表され、カメラ130のレンズの下方の視野角θDの最小値が、式(2)で表される。

0088

0089

なお、Ddisp−chは、子供がロボット1の前に座り、遠隔者とコミュニケーションを取る際の距離、または手を伸ばした際にロボット側表示装置140に手が触れる程度の距離を想定する。子供の身長が80センチの場合、Ddisp−chは、20−30センチ程度数値が設定される。

0090

また、カメラ130のレンズの水平方向の視野角は、子供がロボット側表示装置140に見られていると感じる範囲よりも広くなるように設定される。本発明の実施の形態において、ロボット1に設置されたカメラ130のレンズと、ロボット側表示装置140の表示面は、左右対称に形成され、ロボット側表示装置140の表示面のすぐ上に、カメラ130のレンズが設置される。従って、子供がロボット側表示装置140に見られていると感じる範囲と、カメラ130のレンズで撮影される子供がロボット側表示装置140に見られていると感じる範囲は、近似することができる。また本発明の実施の形態において、子供がロボット側表示装置140から見られていると認識する角度は、ロボット側表示装置140の表示面の中心から、左右それぞれに47度(合計94度)であるとしている。

0091

従って、カメラ130のレンズの水平方向の視野角は、非ぼかし領域R1として、レンズの中心から左方向および右方向にそれぞれ47度が担保される。レンズの水平方向の視野角は、左右それぞれ47度に、さらにぼかし領域R2で必要となる角度を加算した角度となる。

0092

(動画処理装置)
図9を参照して、本発明の実施の形態に係る動画処理装置2を説明する。動画処理装置2は、記憶装置200、処理装置210、通信制御装置220を備える一般的なコンピュータである。一般的なコンピュータが動画処理プログラムを実行することにより、図9に示す機能を実現する。

0093

記憶装置200は、ROM、RAM、ハードディスク等であって、処理装置210が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置210は、CPUであって、記憶装置200に記憶されたデータを読み書きしたり、通信制御装置220とデータを入出力したりして、動画処理装置2における処理を実行する。通信制御装置220は、動画処理装置2が、ロボット1および遠隔者端末3と通信可能に接続するためのインタフェースである。

0094

記憶装置200は、変更条件データ201を記憶する。変更条件データ201は、図10に示すように、条件と、その条件下で適用するモードを対応づけたデータである。変更条件データ201の条件が満たされた場合、動画処理装置2は、その満たされた条件に対応づけられたモードでロボット側動画データBを加工して、表示動画データDを生成する。なお図示しないが、記憶装置200は、ロボット側動画データB、表示動画データD、遠隔者側動画データG等を記憶しても良い。

0095

処理装置210は、遠隔者側動画中継部211、動作指示中継部212およびロボット側動画中継部213を備える。

0096

遠隔者側動画中継部211は、遠隔者端末3が送信した遠隔者側動画データGを、ロボット1に送信する。本発明の実施の形態において遠隔者側動画中継部211は、受信した動画データを加工することなく送信することを想定するが、必要に応じて、受信した動画データを加工しても良い。

0097

動作指示中継部212は、遠隔者端末3が送信したロボット1の動作指示を、ロボット1に送信する。動作指示は、ロボット1の移動または回転等である。動作指示中継部212は、遠隔者端末3から受信したデータを別のデータ形式に変換するなどの変更を行っても良い。

0098

ロボット側動画中継部213は、ロボット1から受信したロボット側動画データBを受信する。ロボット側動画中継部213は、ロボット側動画加工部214によって、ロボット側動画データBに所定の画像処理を行って表示動画データDを生成する。さらに、ロボット側動画中継部213は、生成した表示動画データDを遠隔者端末3に送信する。

0099

ロボット側動画加工部214は、ロボット1から受信したロボット側動画データBを、遠隔者が見やすい表示動画データDに加工する。本発明の実施の形態においてロボット側動画加工部214は、(1)左右端のぼかし加工および(2)モードの変換の各加工を行って、表示動画データDを生成する。なお、(1)左右端のぼかし加工は、ロボット側動画データBのぼかし領域R2の加工であり、(2)モードの変換は、ロボット側動画データBの非ぼかし領域R1の加工であるので、これらの加工は並行して行い、各加工結果を結合して、表示動画データDのフレームを生成しても良い。

0100

(1)左右端のぼかし加工
ロボット側動画加工部214は、ロボット1から、ぼかしのないロボット側動画データBのフレームデータを取得すると、左右端にぼかし加工を施す。ロボット側動画加工部214は、図4(a)に示すロボット側動画データBのぼかし領域R2に対応する領域を、画像処理によりぼかす。ロボット側動画加工部214は、例えば、ロボット側動画データBにおいて各画素に与えられた特徴値平滑化し、複数画素の特徴値に変換して、ぼかし領域R2の鮮明度下げる。このときロボット側動画加工部214は、ぼかし領域R2において、子供の細部まではわからないが、子供がいることがわかる程度に、ぼかし領域R2の鮮明度を下げる。

0101

(2)モードの変換
ロボット側動画加工部214は、ロボット側動画データBを、図5を参照して説明した各モードに対応する動画データに変換する。ロボット側動画加工部214は、まず、デフォルトのモードに従って、ロボット側動画データBを加工する。デフォルトのモードは、図10に示すように子供重視モードである。

0102

その後、ロボット側動画加工部214は、遠隔者端末3の指示、またはロボット側動画データBの内容に応じて、適宜モードを変換する。遠隔者端末3からモードを指定する指示が送信されると、ロボット側動画加工部214は、指定されたモードでロボット側動画データBを加工する。またロボット側動画加工部214は、ロボット側動画データBの動画像の変化を監視し、変更条件データ201で指定された条件およびモードに従って、ロボット側動画データBを加工する。

0103

例えばロボット側動画加工部214は、子供または玩具などの物体がロボット側表示装置140の表示面に近づくと、物体がロボット側表示装置140に近づく前に比べて、表示面撮影領域R12が、広く表示されるように、加工する。ロボット側動画データBの表示面撮影領域R12に所定の変化(δ)があると、子供が表示面撮影領域R12に近づいた、或いは表示面撮影領域R12に何かを近づけたと考えられる。その場合、ロボット側動画加工部214は、子供玩具重視モードで、子供空間撮影領域R11と表示面撮影領域R12の両方が見えやすい表示動画データDに加工する。

0104

また、表示面撮影領域R12に、更なる変化(δ’>δ)があると、表示面撮影領域R12に子供または玩具がさらに近づいたこと考えられる。その場合、ロボット側動画加工部214は、玩具重視モードで、表示面撮影領域R12が特に見えやすい表示動画データDに加工する。

0105

またロボット側動画加工部214は、ロボット側動画データBの状況にかかわらず、子供空間撮影領域R11と表示面撮影領域R12は、背景撮影領域と比較して拡大して表示されるように、加工しても良い。これにより、モード変換に依らずとも、コミュニケーションのキーとなる子供と、ロボット側表示装置140の表示面または支持台に近づく玩具の見やすい動画データを、継続的に、遠隔者端末3に提供することができる。

0106

ロボット側動画加工部214が、子供空間撮影領域R11または表示面撮影領域R12を拡大したり縮小したりする際、様々な手法が考えられる。本発明の実施の形態においてカメラ130のレンズは魚眼レンズであるので、魚眼レンズの撮影動画を補正する際に用いる歪曲収差の補正度合いを調節して、加工することも可能である。例えば、本発明の実施の形態において、表示面撮影領域R12は、図4(b)に示すように、魚眼レンズの撮影領域の縁部に設けられる。従ってロボット側動画加工部214は、子供または玩具などの物体がロボット側表示装置140に近づくと、物体がロボット側表示装置140に近づく前に比べて、表示面撮影領域R12の歪曲収差を強く補正する。これによりロボット側動画加工部214は、表示面撮影領域R12を広く表示することが可能になる。

0107

(遠隔者端末)
図11を参照して、本発明の実施の形態に係る遠隔者端末3を説明する。遠隔者端末3は、記憶装置300、処理装置310および入出力制御装置320、通信制御装置350等の一般的なコンピュータを有する装置のほか、コンピュータに接続可能な機器を備える。機器は、カメラ330および遠隔者側表示装置340である。これらの機器は、コンピュータに内蔵されても良いし、外付けで接続されても良い。遠隔者端末3は、パーソナルコンピュータノートパソコンスマートフォンタブレットコンピュータ等の各種コンピュータによって構成されても良い。

0108

記憶装置300は、ROM、RAM、ハードディスク等であって、処理装置310が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置310は、CPUであって、記憶装置300に記憶されたデータを読み書きしたり、入出力制御装置320とデータを入出力したりして、遠隔者端末3における処理を実行する。

0109

入出力制御装置320は、処理装置310と、コンピュータに接続する機器との間の入出力を制御する。入出力制御装置320は、例えば、処理装置310から機器へのデータを中継し、機器から処理装置310へのデータを中継する。

0110

カメラ330は、遠隔者の存在する空間を撮影した遠隔者側動画データGを、撮影する。カメラ330は、向きや角度が調節可能に配置され、カメラ330によって遠隔者が映るように調整される。

0111

遠隔者側表示装置340は、表示動画データDを表示する。左右端に、子供の存在が確認できる程度にぼかされたぼかし領域R2を有する表示動画データを表示する。遠隔者側表示装置340は、表示動画データDに基づいて形成される動画像を表示する。

0112

記憶装置300は、遠隔者側動画データGおよび表示動画データDを記憶する。

0113

処理装置310は、遠隔者側動画送信部311、表示動画再生部312、動作指示部313およびモード指定部314を備える。

0114

遠隔者側動画送信部311は、カメラ330からによって撮影された遠隔者側動画データGを取得する。遠隔者側動画送信部311は、取得した遠隔者側動画データGを、動画処理装置2を介して、ロボット1に送信する。

0115

表示動画再生部312は、動画処理装置2から表示動画データDを受信し、受信した表示動画データDを再生し、遠隔者側表示装置340に表示する。

0116

動作指示部313は、動画処理装置2を介してロボット1に、移動の指示、または、カメラ130およびロボット側表示装置140を周方向に回転する指示を入力する。動作指示部313は、表示動画データDの中央の非ぼかし領域R1に、子供が映るように、指示する。動作指示部313は、操作者が入力した指示を、動画処理装置2に送信しても良いし、操作者の入力がなくとも、動作指示部313が自立的に生成した指示を、動画処理装置2に送信しても良い。例えば、表示動画データDを観察して、非ぼかし領域R1に子供が映っていないと判断する場合、動作指示部313は、ロボット1を回転するように指示する。非ぼかし領域R1に子供が映ったと判断する場合、動作指示部313は、ロボット1を回転する指示を止めるよう指示する。

0117

モード指定部314は、動画処理装置2に対して、表示動画データDを生成する際に用いられるモードを指定する。動画処理装置2は、指定されたモードで表示動画データDを生成して、遠隔者端末3に送信する。

0118

このような本発明の実施の形態に係るコミュニケーション支援システム5によれば、ロボット1が撮影した動画データそのものを遠隔者端末3に表示するのではなく、左右端に子供の存在が確認できる程度にぼかされたぼかし領域を設定する。これによりコミュニケーション支援システム5は、遠隔者がロボットの向きを子供の向きに合わせやすく、遠隔者の操作性が向上する。

0119

また遠隔者端末3で表示される表示動画データDにおいて、子供が見られていると感じる範囲外にぼかし領域R2が設定され、子供が見られていると感じる範囲内に非ぼかし領域R1が設定される。これによりコミュニケーション支援システム5は、非ぼかし領域R1に子供が映るように、ロボットの向きを調節できるように誘導することができる。また遠隔者が子供を見るというコミュニケーションサインが、子供に伝わりやすい。

0120

また遠隔者端末3において、子供や子供が有する玩具の状況に応じて、所定領域を拡大したり縮小したりすることにより、遠隔者は、子供の行動を適切に把握することができる。これによりコミュニケーション支援システム5において、遠隔者は、子供の行動に対する発話が可能になるので、子供と遠隔者のスムーズなコミュニケーションを支援することができる。

0121

(第1の変形例)
本発明の実施の形態において、動画処理装置2が、ロボット側動画データBの左右端をぼかす画像処理により、表示動画データDを得る場合を説明したが、これに限られない。

0122

第1の変形例において、カメラ130のレンズのぼかし領域R2に対応する位置に、空間をぼかすフィルタが設置されても良い。図12に示すように、カメラ130が有する魚眼レンズ131の左右端のそれぞれに、ぼかしフィルタ133を配設する。図12に示す例においてぼかしフィルタ133の位置は、レンズ枠132によって、固定される。

0123

第1の変形例において、カメラ130が出力する動画データを、そのまま遠隔者端末3に表示しても良い。その場合、第1の変形例に係るコミュニケーション支援システム5は、図13に示す処理を行う。

0124

ステップS51においてロボット1は、左右端にぼかしが施された表示動画データDを動画処理装置2に送信し、ステップS52において動画処理装置2は、ステップS51で受信した表示動画データDを遠隔者端末3に送信する。

0125

ステップS53において遠隔者端末3は、遠隔者側動画データGを動画処理装置2に送信し、ステップS54において動画処理装置2は、ステップS53で受信した遠隔者側動画データGをロボットに送信する。

0126

これによりステップS55においてロボット1は、ステップS54で取得した遠隔者側動画データGを再生して表示する。ステップS56において遠隔者端末3は、ステップS52で取得した表示動画データDを再生して表示する。

0127

なお、図13に示す例では省略したが、動画処理装置2は、ステップS51において表示動画データDを受信した後に、モードに従って所定領域を拡大または縮小する加工をしても良い。

0128

第1の変形例において、カメラ130のレンズの左右端にぼかしフィルタを設けることにより、動画処理装置2において、ロボット側動画データBの左右端にぼかし加工を施す必要がなくなる。これにより、動画処理装置2における処理遅延および処理負担を軽減することができる。

0129

(第2の変形例)
本発明の実施の形態において、ロボット1と遠隔者端末3に接続する動画処理装置2が、ロボット側動画データBを加工して、表示動画データDを生成する場合を説明したが、これに限られない。動画処理装置2のロボット側動画加工部214の機能は、ロボット1の一機能として実装されても良いし、遠隔者端末3の一機能として実装されても良い。ロボット1または遠隔者端末3の各コンピュータのスペック負荷に応じて、ロボット側動画加工部214は、適切なコンピュータで実装される。

0130

(第3の変形例)
本発明の実施の形態において、ロボット1のカメラ130に魚眼レンズを用いる場合を説明したが、これに限られない。

0131

図14に示すように、表示面の上方に第1のレンズ135aを設け、表示面の下方に第2のレンズ135bを設ける。第1のレンズ135aは、子供空間撮影領域R11を撮影し、第2のレンズ135bは、支持台180近傍を撮影する。動画処理装置2は、各レンズで撮影された動画データを結合して、上下方向に広い画角を有する動画データを取得しても良い。

0132

さらに、ロボット1のロボット側表示装置140の表示面の上下のみならず、左右それぞれにカメラのレンズを設けても良い。左右方向にも広い画角を有する動画データを取得することができるので、遠隔者は、子供の位置を容易に確認することができる。

0133

また図15に示すように、第1のレンズ136aおよび第2のレンズ136bを並べて設置しても良い。この際、第1のレンズ136aおよび第2のレンズ136bを覆うカバー137を設けて、子供がレンズに触れにくくすることが好ましい。またカバー137を黒などの暗い色にすることにより、カバー137内部のレンズが見えづらくなり、子供の興味をレンズに向けにくくすることが可能である。

0134

また本発明の実施の形態において、ロボット1が左右方向に回転することに伴い、ロボット側動画データBの左右端にぼかし領域R2が設定されたが、これに限られない。ロボット1の頭部が上下に首振りするなど、カメラ130およびロボット側表示装置140が上下方向に回転する場合、ロボット側動画データBの上下端にぼかし領域R2が設定されても良い。

0135

(その他の実施の形態)
上記のように、本発明の実施の形態とその変形例1ないし3によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

0136

例えば、本発明の実施の形態に記載した情報処理装置は、図1に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の情報処理システム上に実現されても良い。

0137

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

0138

1ロボット
2動画処理装置
3遠隔者端末
5コミュニケーション支援システム
100、200、300記憶装置
110、210、310処理装置
111 ロボット側動画送信部
112遠隔者側動画再生部
113動作指示実行部
120、320入出力制御装置
130、330カメラ
131魚眼レンズ
132レンズ枠
133ぼかしフィルタ
135、136レンズ
137カバー
140 ロボット側表示装置
150、220、350通信制御装置
160移動装置
161回転装置
170スピーカー
180支持台
201変更条件データ
211 遠隔者側動画中継部
212 動作指示中継部
213 ロボット側動画中継部
214 ロボット側動画加工部
311 遠隔者側動画送信部
312 表示動画再生部
313 動作指示部
314 モード指定部
340 遠隔者側表示装置
B ロボット側動画データ
D表示動画データ
G 遠隔者側動画データ
R1 非ぼかし領域
R2 ぼかし領域
R11 子供空間撮影領域
R12 表示面撮影領域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 温州蘭犹网絡科技有限公司の「 フィギュア展示装置」が 公開されました。( 2020/10/29)

    【課題】本発明はフィギュア展示装置を開示した。【解決手段】台座を含み、前記台座の上端には回転盤が回転できるように連結され、前記回転盤の上側端面には円筒が固定的に連結され、前記円筒の中には上に開口した伝... 詳細

  • 温州根旭電子科技有限公司の「 正答なら奨励するデジタルおもちゃ」が 公開されました。( 2020/10/29)

    【課題】本発明は正答なら奨励するデジタルおもちゃを開示した。【解決手段】主体を含み、前記主体の前端面の上側にはディスプレイ画面が固定的に設置され、前記主体の前端面の下側にはキーボードが固定的に設置され... 詳細

  • 株式会社タカラトミーの「 形態変化玩具」が 公開されました。( 2020/10/29)

    【課題】意外性がある形態変化を行う形態変化玩具を提供する。【解決手段】玩具本体と、玩具本体に被せられる着ぐるみ2とを備えた形態変化玩具であって、着ぐるみ2の少なくとの一部は起毛材によって形成され、玩具... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ