図面 (/)

技術 ロボット、自己診断プログラム、及び自己診断方法

出願人 富士通株式会社
発明者 井出勝清水雅芳神田真司
出願日 2017年12月29日 (2年4ヶ月経過) 出願番号 2017-255190
公開日 2019年7月22日 (9ヶ月経過) 公開番号 2019-118993
状態 未査定
技術分野 マニプレータ
主要キーワード 特徴体 開始指令情報 予想出力 各対象部位 スキンシップ 故障無し アクション指示 指定角度
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年7月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

ロボット可動部位自己診断する場合に撮像画像から対象部位を認識しやすくする技術を提供する。

解決手段

ロボットは、撮像部と、可動部位を有するロボットの表面に露出しているパーツ色彩情報を記憶する記憶部と、ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、ロボットの可動部位に所定のアクションを実行させるアクション指令部と、アクションの実行後に撮像部により撮像した撮像画像を取得し、記憶部から撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部により撮像することにより、撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、特定撮像画像に基づいて、対象部位が正常か否かの判定を行う判定部と、を備えることにより、上記課題の解決を図る。

概要

背景

従来、産業界では、ファクトリーオートメーションFA)化の流れを受けて、産業用ロボット(以下、「FAロボット」と称する。)が用いられている。FAロボットは、使用環境やユーザに対する仕様は定まっており、使用者の管理の下で運用されていることが多い。

一方で、近年、人間の発話や身体接触動作スキンシップ)、身体運動ジェスチャ)等に対して、あたかも生物のような振る舞いを示し、人間と自然なコミュニケーションを行うロボットが開発されている。この種のロボットは、ソーシャルロボットと呼ばれており、家庭内エンターテイメントの分野だけでなく、宿泊施設店舗医療施設といったさまざまな生活空間での活用が期待されている。

ソーシャルロボットは、ユーザ層が様々であり、どの年代のユーザが、どのような使用環境で運用するか等が定まっていない。そのため、例えば、ロボット内部に頭、胴、腕などの関節駆動カメラマイク、スピーカ等の精密機器が備わっている場合、ユーザ層によっては容易に破壊される可能性が高い。

そこで、ロボットが正常に機能するかの診断ロボット自身に実行させる自己診断機能付きロボットに関する第1の技術がある(例えば、特許文献1)。第1の技術では、自己診断機能付きロボットは、ロボット本体と、ロボット本体に設けられる距離センサと、ロボット本体に設けられるアームと、アームの動作を制御する駆動制御部と、距離センサ、アーム、及び駆動制御部の診断を行う診断部とを有している。診断部が、駆動制御部に、アームを距離センサの検出領域内と検出領域外との間で移動させる動作指令を送ったのちに、距離センサの出力信号に変動が生じなかった場合に、故障が生じていると判定する。このとき、距離センサの実際の出力信号波形と、アームが動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形)とが比較され、これらの差が大きい場合には、アームが動作指令のとおりに動作していないか、距離センサが故障していると判断することができる。

第1の技術では、自己診断をする場合、ロボットが、距離センサの実際の出力信号波形と、アームが動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形)とを比較し、異常状態を診断する。

しかしながら、その出力信号波形そのものを取得できないロボットの場合、第1の技術を適用することができない。すなわち、ソーシャルロボットのような、高精度の位置決め制御などは必要としない大まかなモーション制御を行うようなロボットの場合、ロボットのアーム等の移動軌跡リアルタイムで検出されていない。そのため、第1の技術のような出力信号波形の連続データを比較するような診断方法を、ソーシャルロボットに適用するのは難しい。

なお、ロボットに関する技術として、例えば、特許文献2〜特許文献5がある。

概要

ロボットが可動部位を自己診断する場合に撮像画像から対象部位を認識しやすくする技術を提供する。ロボットは、撮像部と、可動部位を有するロボットの表面に露出しているパーツ色彩情報を記憶する記憶部と、ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、ロボットの可動部位に所定のアクションを実行させるアクション指令部と、アクションの実行後に撮像部により撮像した撮像画像を取得し、記憶部から撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部により撮像することにより、撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、特定撮像画像に基づいて、対象部位が正常か否かの判定を行う判定部と、を備えることにより、上記課題の解決をる。

目的

特開2007−152470号公報
特開昭61−226289号公報
特開2001−150374号公報
特開2014−29664号公報
特開平05−064237号公報






FAロボットでは、それを用いて製造する製品に要求される仕様や品質の観点から、高精度の位置決め制御が求められるが、人間とのコミュニケーションを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被写体を撮像する撮像部と、1以上の可動部位を有するロボットの表面に露出しているパーツ色彩情報を記憶する記憶部と、前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させるアクション指令部と、前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、前記記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う判定部と、を備えることを特徴とするロボット。

請求項2

前記背景処理部は、前記対象部位が前記撮像部以外の部位である場合、前記取得した色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記対象部位を特定することができる前記特定撮像画像を取得することを特徴とする請求項1に記載のロボット。

請求項3

前記背景処理部は、前記対象が前記撮像部である場合、ロボット自身の一部または前記ロボットの周囲にある物体特徴体とし、該特徴体の色に対応する色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記特徴体を特定することができる前記特定撮像画像を取得することを特徴とする請求項1又は2に記載のロボット。

請求項4

前記ロボットは、さらに、光を照射する光源を備え、前記背景処理部は、前記光源から前記被写体に光が照射された状態において、前記取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することを特徴とする請求項1〜3のいずれ1項に記載のロボット。

請求項5

前記光源は、前記対象部位に設けられ、前記背景処理部は、前記対象部位の色彩情報と前記背景色とが類似する場合、前記光源に該背景色とは異なる色を発色させて、前記撮像部により撮像することを特徴とする請求項1〜4のいずれ1項に記載のロボット。

請求項6

前記判定部は、前記撮像部の撮像位置に基づいて、該撮像位置に対する前記対象部位の相対的な変位判別し、前記対象部位が正常か否かの判定を行うことを特徴とする請求項1〜5のいずれ1項に記載のロボット。

請求項7

1以上の可動部位と、被写体を撮像する撮像部とを有するロボットに搭載されたコンピュータに、前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させ、前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、前記ロボットの表面に露出しているパーツの色彩情報を記憶する記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得し、前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行うことを特徴とする自己診断プログラム

請求項8

1以上の可動部位と、被写体を撮像する撮像部とを有するロボットに搭載されたコンピュータが、前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させ、前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、前記ロボットの表面に露出しているパーツの色彩情報を記憶する記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得し、前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行うことを特徴とする自己診断方法

技術分野

0001

本明細書は、ロボット自己診断プログラム、及び自己診断方法に関する。

背景技術

0002

従来、産業界では、ファクトリーオートメーションFA)化の流れを受けて、産業用ロボット(以下、「FAロボット」と称する。)が用いられている。FAロボットは、使用環境やユーザに対する仕様は定まっており、使用者の管理の下で運用されていることが多い。

0003

一方で、近年、人間の発話や身体接触動作スキンシップ)、身体運動ジェスチャ)等に対して、あたかも生物のような振る舞いを示し、人間と自然なコミュニケーションを行うロボットが開発されている。この種のロボットは、ソーシャルロボットと呼ばれており、家庭内エンターテイメントの分野だけでなく、宿泊施設店舗医療施設といったさまざまな生活空間での活用が期待されている。

0004

ソーシャルロボットは、ユーザ層が様々であり、どの年代のユーザが、どのような使用環境で運用するか等が定まっていない。そのため、例えば、ロボット内部に頭、胴、腕などの関節駆動カメラマイク、スピーカ等の精密機器が備わっている場合、ユーザ層によっては容易に破壊される可能性が高い。

0005

そこで、ロボットが正常に機能するかの診断ロボット自身に実行させる自己診断機能付きロボットに関する第1の技術がある(例えば、特許文献1)。第1の技術では、自己診断機能付きロボットは、ロボット本体と、ロボット本体に設けられる距離センサと、ロボット本体に設けられるアームと、アームの動作を制御する駆動制御部と、距離センサ、アーム、及び駆動制御部の診断を行う診断部とを有している。診断部が、駆動制御部に、アームを距離センサの検出領域内と検出領域外との間で移動させる動作指令を送ったのちに、距離センサの出力信号に変動が生じなかった場合に、故障が生じていると判定する。このとき、距離センサの実際の出力信号波形と、アームが動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形)とが比較され、これらの差が大きい場合には、アームが動作指令のとおりに動作していないか、距離センサが故障していると判断することができる。

0006

第1の技術では、自己診断をする場合、ロボットが、距離センサの実際の出力信号波形と、アームが動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形)とを比較し、異常状態を診断する。

0007

しかしながら、その出力信号波形そのものを取得できないロボットの場合、第1の技術を適用することができない。すなわち、ソーシャルロボットのような、高精度の位置決め制御などは必要としない大まかなモーション制御を行うようなロボットの場合、ロボットのアーム等の移動軌跡リアルタイムで検出されていない。そのため、第1の技術のような出力信号波形の連続データを比較するような診断方法を、ソーシャルロボットに適用するのは難しい。

0008

なお、ロボットに関する技術として、例えば、特許文献2〜特許文献5がある。

先行技術

0009

特開2007−152470号公報
特開昭61−226289号公報
特開2001−150374号公報
特開2014−29664号公報
特開平05−064237号公報

発明が解決しようとする課題

0010

FAロボットでは、それを用いて製造する製品に要求される仕様や品質の観点から、高精度の位置決め制御が求められるが、人間とのコミュニケーションを目的とするソーシャルロボットでは、そのような高精度の位置決め制御は要求されていない。そのため、ソーシャルロボットに、自己診断のために、診断対象部位監視するセンサが設けられていることは少ない場合が多い。

0011

一方で、ソーシャルロボットは、多くの場合、コミュニケーションの相手方や自身の周囲の環境を認識するために、視覚としての撮像装置を有することが多い。

0012

このような前提の下で、ソーシャルロボットは、人間と共有する空間に配置されることが多いため、ソーシャルロボットは動的に配置され、その配置の場所は多種多様である。また、ソーシャルロボット自身がその空間を徘徊するため、ソーシャルロボットの周囲の環境はその時々で変動する。

0013

すると、自己診断の対象部位撮像した撮像画像を用いて自己診断を行う場合、撮像画像の背景と対象部位の色が同色である場合、撮像画像から対象部位を容易に判別することができない。

0014

本発明の一側面として、ロボットが可動部位を自己診断する場合に撮像画像から対象部位を認識しやすくする技術を提供する。

課題を解決するための手段

0015

本発明の一側面に係るロボットは、被写体を撮像する撮像部と、1以上の可動部位を有するロボットの表面に露出しているパーツ色彩情報を記憶する記憶部と、ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、ロボットの可動部位に所定のアクションを実行させるアクション指令部と、アクションの実行後に撮像部により撮像した撮像画像を取得し、記憶部から撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部により撮像することにより、撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、特定撮像画像に基づいて、対象部位が正常か否かの判定を行う判定部と、を備える。

発明の効果

0016

本明細書に記載の技術によれば、ロボットが可動部位を自己診断する場合に撮像画像から対象部位を認識しやすくする。

図面の簡単な説明

0017

本実施形態におけるロボットの一例を示す図である。
本実施形態におけるロボットの外観を例示する図である。
本実施形態におけるロボットのハードウェア構成の一例を示す図である。
本実施形態における制御部の機能ブロック図である。
本実施形態(実施例1)における背景影響処理部の処理を説明する図である。
本実施形態(実施例1)における画像比較部46の処理(その1)を説明するための図である。
本実施形態(実施例1)における画像比較部46の処理(その2)を説明するための図である。
本実施形態(実施例1)における全体の処理を示すフローチャートである。
本実施形態(実施例1)における背景影響処理(S4)の詳細な処理を示すフローチャートである。
本実施形態(実施例1)における駆動処理(S14)の詳細な処理を示すフローチャートである。
本実施形態(実施例2)における画像比較部46の処理を説明するための図である。
本実施形態(実施例2)における全体の処理を示すフローチャートである。
本実施形態(実施例2)における背景影響処理(S4a)の詳細な処理を示すフローチャートである。
本実施形態(実施例3)の処理を説明するための図である。
本実施形態(実施例3)における背景影響処理(S4)の詳細な処理を示すフローチャートである。

実施例

0018

FAロボットでは、それを用いて製造する製品に要求される仕様や品質の観点から、高精度の位置決め制御が求められるが、人間とのコミュニケーションを目的とするソーシャルロボットでは、そのような高精度の位置決め制御は要求されていない。そのため、ソーシャルロボットに、自己診断のために、診断対象部位を監視するセンサが設けられていることは少ない場合が多い。

0019

一方で、ソーシャルロボットは、多くの場合、コミュニケーションの相手方や自身の周囲の環境を認識するために、視覚としての撮像装置を有することが多い。

0020

そこで、本実施形態では、ソーシャルロボットに設けられた、視覚として用いられる撮像装置を利用して、ソーシャルロボットに、自己診断を行わせる。
例えば、故障発見の方法として、ソーシャルロボットの診断対象の可動部位を駆動させた場合、撮像装置により撮像された撮像画像と、到達点に関する正常時の画像と比較して、可動部位の到達位置妥当性を判断する方法が考えられる。

0021

ここで、例えば「腕」の位置に基づいてソーシャルロボットが自己診断をすると想定する。自己診断の開始後、指定された動作により、目標とする位置まで「腕」が移動した場合において、腕の色と外界(その腕を撮像した撮像画像の背景部)の色とが近い色である場合、その撮像画像からでは腕の位置をセンシングするのは容易ではない。

0022

FAロボットは、工場内において、作業工程のうちの所定のプロセスを特化して行えるように、予め設置場所が定まっており、撮像画像から被写体を検出するのを容易にするため、その設置場所において周囲の環境に対する最適化が図られている。

0023

しかしながら、ソーシャルロボットはどの現場に置かれるか定まっていないため、撮像画像のうち被写体以外の背景部はソーシャルロボットにおける特有の外的ノイズであるといえる。

0024

そこで、本実施形態では、ロボットが可動することにより、周辺環境が変化して、動作前後のロボットの対象部位の状態を撮像した画像を用いて自己診断を行う際、画像の背景と対象部位が異なる色となるように対象部位を移動させて撮像した画像を用いる。これにより、画像から対象部位を認識することが容易になるので、自己診断における画像解析処理の負担が軽減される。したがって、ロボットの設置環境に関わらず、ロボットの可動部位を自己診断することが容易になる。

0025

以下の実施形態では、ソーシャルロボットの自己診断において、撮像画像の背景色を診断対象部位と同色でない背景色にするため、次を行う。
すなわち、ソーシャルロボットは、撮像画像から背景と診断対象部位とが同色でないかを判定する。同色である場合、ソーシャルロボットは、撮像画像の背景部の色と診断対象部位の色とが相違するように、ロボットの関節等の可動部位を回転駆動させる。ソーシャルロボットは、可動部位の回転駆動に応じて、撮像画像の背景色と診断対象部位の色との差分が閾値を超えたかどうかを判定する。撮像画像の背景色と診断対象部位の色との差分が閾値を超えた場合、ソーシャルロボットは、診断対象部位の色とは異なる背景色が検出されたと判定し、可動部位の駆動を停止させる。

0026

これにより、ソーシャルロボットは、自己診断において、撮像画像からその背景における診断対象部位の位置センシングを行うことができるようになり、様々な環境に対応した自己診断を確実に行わせることが可能となる。

0027

図1は、本実施形態におけるロボットの一例を示す図である。ロボット1は、撮像部2、記憶部3、アクション指令部4、背景処理部5、判定部6を含む。

0028

撮像部2は、被写体を撮像する。撮像部2の一例として、後述する撮像部17が挙げられる。

0029

記憶部3は、1以上の可動部位を有するロボット1の表面に露出しているパーツの色彩情報を記憶する。記憶部3の一例として、後述する記憶部28が挙げられる。

0030

アクション指令部4は、ロボット1の対象部位についての自己診断を指示する自己診断指示に基づいて、ロボット1の可動部位に所定のアクションを実行させる。アクション指令部4の一例として、アクション指令部44が挙げられる。

0031

背景処理部5は、アクションの実行後に撮像部2により撮像した撮像画像を取得し、記憶部2から撮像画像の対象とする被写体の色に対応する色彩情報を取得する。背景処理部5は、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部により撮像する。これにより、背景処理部5は、撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する。背景処理部5の一例として、背景影響処理部45が挙げられる。

0032

判定部6は、特定撮像画像に基づいて、対象部位が正常か否かの判定を行う。判定部6の一例として、判定部47が挙げられる。

0033

このように構成することにより、ロボットが可動部位を自己診断する場合に撮像画像から対象部位を認識しやすくする。したがって、ロボットの設置環境に関わらず、ロボットの可動部位を自己診断することが容易になる。

0034

背景処理部5は、対象部位が撮像部2以外の部位である場合、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部2により撮像する。これにより、背景処理部5は、撮像画像から対象部位を特定することができる特定撮像画像を取得する。

0035

このように構成することにより、ロボット1の自己診断において、対象部位が正常に動作しているかどうかの判定に用いる画像処理の際に、撮像画像上の対象部位を認識しやすいように前処理を行うことができる。

0036

背景処理部5は、対象が撮像部である場合、ロボット自身の一部またはロボットの周囲にある物体特徴体とする。背景処理部5は、特徴体の色に対応する色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部2により撮像することにより、撮像画像から特徴体を特定することができる特定撮像画像を取得する。

0037

このように構成することにより、対象部位が撮像部2である場合、撮像部2自体を動作させることによって、撮像部2に関わる間接的な評価を行い、ロボット1自身の一部または外界の被写体を特徴点として用いて自己診断が可能となる。

0038

ロボット1は、さらに、光を照射する光源7を含む。光源7の一例として、光源38が挙げられる。背景処理部5は、光源7から被写体に光が照射された状態において、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボット1の姿勢を調整する毎に撮像部2により撮像する。

0039

このように構成することにより、ロボット1に搭載しているLED等の光源によって背景色を調整し、背景と対象部位または特徴点(または外界特徴点)との色の差分を作り出す処理を行うことができる。

0040

光源7は、対象部位に設けられている。背景処理部5は、対象部位の色彩情報と背景色とが類似する場合、光源に背景色とは異なる色を発色させて、撮像部2により撮像する。

0041

このように構成することにより、より対象部位を強調させることができるので、撮像画像においてより対象部位の輪郭線を明瞭にできる。

0042

判定部6は、撮像部2の撮像位置に基づいて、撮像位置に対する対象部位の相対的な変位を判別し、対象部位が正常か否かの判定を行う。このように構成することにより、撮像位置に対する対象部位の相対的な変位に基づいて、対象部位が正常か否かの判定を行うことができる。

0043

図2は、本実施形態におけるロボットの外観を例示する図である。ロボット11は、人間とのコミュニケーションを目的として製造された据え置き型のソーシャルロボットである。本実施形態のロボット11の外観は、利用者に親しみやすくすべく、人を模した形状とされる。ロボット11には、人間のさまざまな行動や動作及び音(音声を含む)を検出するための各種センサや、人間の行動や動作及び音(音声を含む)に対してさまざまなリアクション表現するための駆動装置音響装置が内蔵される。

0044

ロボット11は、胴体部15に対して頭部12,左腕部13,右腕部14,土台部16を連結した構造を持つ。これらの頭部12,左腕部13,右腕部14,土台部16は、それぞれが関節装置を介して胴体部15に連結される。頭部12の前側には、静止画及び動画撮影可能な撮像部17が設けられている。

0045

図3は、本実施形態におけるロボットのハードウェア構成の一例を示す図である。ロボット11は、手動入力部21、センサ22、撮像部17、外部インターフェース(外部I/F)23、コントローラ24、アクチュエータ部32、スピーカ36、光源38を含む。

0046

手動入力部21は、ロボット11に直接指示を入力するための入力装置である。センサ22は、温度を検出する温度センサ、音を検出する音センサ、速度を検出する速度センサ加速度を検出する加速度センサ、被写体までの距離を計測する距離センサ、ロボット11に接触したことを検出するタッチセンサ等の各種センサの総称である。

0047

撮像部17は、ロボット11の周囲を撮影する撮像装置であり、例えば頭部12に内蔵される。外部I/F23は、図示しないコンピュータリモコン装置等を接続するための接続装置である。

0048

コントローラ24は、ロボット11の内部での情報処理全般を統括管理する。コントローラ24は、制御部25、入力部26、通信部27、記憶部28、アクチュエータ制御部29、音声出力部30、発光制御部37、バス通信ライン)31を含む。

0049

バス31は、制御部25、入力部26、通信部27、記憶部28、アクチュエータ制御部29、音声出力部31、発光制御部37を相互に接続する。

0050

制御部2は、例えばプロセッサ記憶装置等を有するコンピュータである。プロセッサは、例えば、Central Processing Unit(CPU,中央処理装置),Micro Processing Unit(MPU,超小型演算処理装置)である。制御部2は、タイマ機能を有する。

0051

入力部26は、手動入力部21、センサ22、撮像部17、外部I/F23から入力される電圧信号数値情報に変換し、制御部25に伝達するものである。

0052

通信部27は、ロボット11の無線通信機能に係る通信装置を制御するものであり、例えば図示しないアンテナ装置に接続される。通信部27は、アンテナで受信した無線信号を数値情報に変換し、制御部25に伝達する。

0053

記憶部28は、Read Only Memory(ROM,読み出し専用メモリ),Random Access Memory(RAM,ランダムアクセスメモリ)であり、さらに、ソリッドステートドライブ(Solid State Drive、SSD)等の大容量記憶装置であってもよい。

0054

記憶装置28のROMには、人間とロボット11との間のコミュニケーションに係るソフトウェアプログラムやこのプログラム用のデータ類、及び本実施形態におけるプログラムが書き込まれている。記憶装置28上のソフトウェアプログラムは、制御部25に適宜読み込まれて実行される。また、制御部25のRAMは、一次記憶メモリあるいはワーキングメモリとして利用される。

0055

アクチュエータ制御部29は、アクチュエータ部32の駆動を制御する。音声出力部30は、スピーカ36の動作を制御するものであり、制御部25から伝達された制御信号をスピーカ36の駆動用の電圧信号に変換する。

0056

アクチュエータ部32は、アクチュエータ制御部29の制御に基づいて、入力された電力物理運動に変換するものであり、機械電気回路を構成する機械要素である。アクチュエータ部32は、腕軸駆動部33、胴軸駆動部34、頭軸駆動部35を含む。

0057

腕軸駆動部33は、胴体部15と左腕部13との間の関節,胴体部15と右腕部14との関節を駆動させるモータ等を含む機構である。胴軸駆動部34は、胴体部15と土台部16との間の関節を駆動させるモータ等を含む機構である。頭軸駆動部35は、胴体部15と頭部12との間の関節を駆動させるモータ等を含む機構である。

0058

スピーカ36は、音や音声を発するための音響装置である。光源38は、ロボット11に搭載している発光ダイオード(light emitting diode:LED)等の光を照射する光源である。発光制御部37は、制御部25の制御に基づいて光源37の動作を制御する。

0059

制御部25は、記憶部28に記録されたソフトウェアプログラムを呼び出して実行し、入力部26及び通信部27から伝達される情報に基づいて制御信号を生成する。ここで生成された制御信号は、バス31を介してアクチュエータ制御部29及び音声出力部30に伝達される。

0060

上記の入力部26,通信部27,アクチュエータ制御部29,音声出力部30、発光制御部37のそれぞれは、記憶部28が設けられた基盤上に設けられたものであってもよいし、独立した基盤上に設けられたもの(所謂センサ入力ボードや通信ボードモータ制御ボード、音声出力ボード等)であってもよい。

0061

図4は、本実施形態における制御部の機能ブロック図である。制御部17は、ロボット制御部41、自己診断部42を含む。ロボット制御部41は、ロボット11がソーシャルロボットとして機能するための動作全般の制御を行う。

0062

自己診断部42は、自己診断開始指令に基づいて、自己診断開始指令で指定された対象部位が故障していていないかどうかを判定する。

0063

自己診断部42は、取得部43、アクション指定部44、背景影響処理部45、画像比較部46、判定部47を含む。

0064

取得部43は、自己診断開始指令情報静止画像、動画を取得したり、記憶部21に格納された情報を取得する。以下、撮像された静止画像及び動画を「画像」または「撮像画像」と称する。

0065

アクション指令部44は、自己診断の際に対象部位及びその他の部位を動作させる。
背景影響処理部45は、アクション指令部44の指令に基づいて動作した部位を被写体として撮像された撮像画像から背景色と診断対象部位の画像部分とが判別可能なように、本実施形態における前処理を行う。背景影響処理部45は、すなわち対象部位を駆動させたり、背景色を変化させたりして、背景色と診断対象部位の画像部分との画素値の差が明確になる画像を撮像し、取得する。

0066

画像比較部46は、記憶部28に予め記憶されている基準画像51と、背景影響処理部45による処理後の撮影画像とを比較する。判定部47は、画像比較部46の比較結果に基づいて、自己診断の対象部位が正常かどうかを判定する。

0067

記憶部28は、基準画像51、色彩情報52を記憶する。基準画像51は、例えば、製造出荷時や正常に動作する時点で撮像部17により撮像された、診断対象となり得るロボット11の各部位が所定角度駆動した場合の画像である。色彩情報28は、診断対象となり得るロボット11の部位(パーツ)の表面色の情報である。

0068

以下では、本実施形態の実施例について説明する。
図5は、本実施形態(実施例1)における背景影響処理部の処理を説明する図である。図5(a)は、撮像画像において、自己診断の対象部位とその周辺の背景色とが同色(類似色)であるため、対象部位と背景の境界線不明瞭であるため対象部位を認識できないまたは認識しづらいことを説明する図である。枠61で示すように、対象部位と背景の境界線が不明瞭であるため対象部位を認識できないまたは認識しづらい。

0069

そこで、図5(b)に示すように、背景影響処理部45は、記録装置28から対象部位の色彩情報52を取得し、撮像画像から背景の色彩情報を抽出し、取得した撮像画像の背景の色彩情報から、対象部位と異なる背景色を検索する。枠62で示すように、対象部位と背景の境界線が明瞭であるため対象部位を認識可能であり、その結果、自己診断が可能になる。

0070

次に、画像比較部46の処理を説明する。
図6は、本実施形態(実施例1)における画像比較部46の処理(その1)を説明するための図である。図6(a)は、ロボット11が両腕を下げている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。図6(b)は、ロボット11が右腕を90度まで上げている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。図6(c)は、ロボット11が右腕をさらに180度まであげている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。

0071

例えば、右腕について工場出荷時に撮像された正常状態時における図6(a)(b)(c)の画像が基準画像51として記憶部28に記憶されているとする。そして、自己診断が行われた場合、アクション指令部45の指令に基づいて、例えば、右腕を90度上げて撮像部17より対象部位を被写体とする画像が撮像される(ここでは、背景影響処理部45の処理済みであるとする)。このとき、画像比較部46は、自己診断時に撮像された撮像画像と、記憶部28に記憶された基準画像51(図6(b))とを比較する。

0072

比較の結果、両画像が類似していると判断される場合には、自己診断時に撮像された撮像画像は、正常動作を行っているといえるので、対象部位は、正常と判断される。一方で、両画像が類似していないと判断される場合には、自己診断時に撮像された撮像画像は、正常動作を行っていない、すなわち故障しているといえるので、対象部位は、故障と判断される。

0073

比較処理は、例えば、自己診断時に撮像された撮像画像とをそれぞれ輝度値化して、その差分を取り、その差分が閾値以内かどうかで両画像が類似しているかどうか判断することが考えられる。または、両画像のエッジ及び特徴点を抽出し、特徴点の位置に基づいて両画像が類似しているかどうか判断することが考えられる。例えば、図6(a)〜(c)の撮像画像において、特徴点の変位の大きさが同じかどうかで両画像が類似しているかどうか判断することが考えられる。ここで、例えば基準画像の変位の大きさに、誤差±10%の範囲内の変位は、変位の大きさが同じであるとする(例えば、Y1=30±10%、(Y2=100±10%、Y3=0±10%)。なお、画像の類似判断アルゴリズムは、これらに限定されず、様々な類似判断のアルゴリズムをもちいることができる。

0074

なお、基準画像を用いずに、例えば、アクション前とアクション後の特徴点の変位の変化量に基づいて、アクション指令通りに対象部位が動作しているどうかを判定してもよい。すなわち、上記の場合には、Y1、Y2、Y3の変位、すなわち特徴点の位置のずれに基づいて、アクション指令通りに対象部位が動作しているどうかを判定してもよい。

0075

なお、図6では、対象部位の例として腕を用いたが、これに限定されず、ロボットのあらゆる可動部位が対象となりうる。また、対象部位のアクションとしては、対象部位の上げ下げだけでなく、右左方向、斜め方向、円運動等、その可動部位の可能な可動域の範囲でアクションすることができる。

0076

図7は、本実施形態(実施例1)における画像比較部46の処理(その2)を説明するための図である。図7(a)は、ロボット11の胴軸が駆動していない状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。図7(b)は、ロボット11の胴軸が前方に傾いている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。図7(c)は、ロボット11の胴軸が後方に傾いている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。

0077

撮像部17の設定位置のため、例えば、頭軸及び胴軸を被写体として撮像することができないから、頭軸の駆動や、胴軸の駆動の状態を直接撮像することはできない。この場合は、頭軸、胴軸のように、撮像部17の設定位置に起因して直接その動作の前後の状態が撮像できない場合には、基準画像51として、頭軸や胴軸を駆動させた場合に撮像部17により撮像された撮像画像が工場出荷時に記憶されている。

0078

そして、自己診断が行われた場合、アクション指令部45の指令に基づいて、例えば、胴軸を前方に傾けた状態での画像が撮像部17より撮像される(ここでは、背景影響処理部45の処理済みであるとする)。このとき、画像比較部46は、自己診断時に撮像された撮像画像と、記憶部28に記憶された基準画像51(図7(b))とを比較する。

0079

比較の結果、両画像が類似していると判断される場合には、自己診断時に撮像された撮像画像は、正常動作を行っているといえるので、対象部位は、正常と判断される。一方で、両画像が類似していないと判断される場合には、自己診断時に撮像された撮像画像は、正常動作を行っていない、すなわち故障しているといえるので、対象部位は、故障と判断される。

0080

比較処理は、例えば、自己診断時に撮像された撮像画像とをそれぞれ輝度値化して、その差分を取り、その差分が閾値以内かどうかで両画像が類似しているかどうか判断することが考えられる。または、両画像のエッジ及び特徴点を抽出し、特徴点の位置に基づいて両画像が類似しているかどうか判断することが考えられる。

0081

例えば、図7(a)〜(c)の撮像画像において、特徴点の変位の大きさが同じかどうかで両画像が類似しているかどうか判断することが考えられる。ここで、例えば基準画像の変位の大きさに、誤差±10%の範囲内の変位は、変位の大きさが同じであるとする(例えば、Y1=30±10%、(Y2=100±10%、Y3=0±10%)。なお、画像の類似判断のアルゴリズムは、これらに限定されず、様々な類似判断のアルゴリズムをもちいることができる。

0082

なお、基準画像を用いずに、例えば、アクション前とアクション後の特徴点の変位の変化量に基づいて、アクション指令通りに対象部位が動作しているどうかを判定してもよい。すなわち、上記の場合には、Y1、Y2、Y3の変位に基づいて、アクション指令通りに対象部位が動作しているどうかを判定してもよい。

0083

図8は、本実施形態(実施例1)における全体の処理を示すフローチャートである。取得部43は、自己診断開始指示(自己診断の対象部位を指定する情報及び対象部位の動作を指定する情報を含む。)を取得する(S1)。自己診断開始指示は、例えば、手動入力部21や外部I/Fを介して入力されたり、タイマにより所定の日時になると発生するように設定していてもよい。

0084

自己診断開始指示が取得されると、アクション指令部44は、対象部位の動作を指定する情報に基づいて、対象部位を動作させ(S2)、撮像部17により動作後の対象部位を撮像する(S3)。

0085

背景影響処理部45は、アクション指令部44の指令に基づいて動作した部位を被写体として撮像された撮像画像から背景色と診断対象部位の画像部分とが判別可能なように、図5で説明した前処理を行う(S4)。S4の処理の詳細は、図9で説明する。

0086

画像比較部46は、記憶部28からアクション指示及びS4の処理で動作した状態に対応する基準画像51を記憶部28から読み出す。ここで、アクション指示及びS4の処理で動作した状態とは、アクション指示で駆動した対象部位の変位から、S4の処理で駆動した対象部位の変位後の状態を示す。また、基準画像51として各対象部位の、アクション指示で駆動した対象部位の変位と、S4の処理で駆動した対象部位の変位との組み合わせに基づく対象部位の画像が予め記憶部28に記憶されている。

0087

画像比較部46は、基準画像51と、撮像画像とを比較し、両者がどれだけ類似しているかを判定する(S6)。たとえば、画像比較部46は、自己診断時に撮像された撮像画像とをそれぞれ輝度値化して、その差分を取り、その差分が閾値未満かどうかで両画像が類似しているかどうかを判定する。

0088

その差分が閾値未満の場合(S6で「NO」)、判定部47は、対象部位は正常(故障無し)と判定する(S7)。その差分が閾値未満の場合(S6で「YES」)、判定部47は、対象部位は故障ありと判定する(S8)。

0089

図9は、本実施形態(実施例1)における背景影響処理(S4)の詳細な処理を示すフローチャートである。背景影響処理部45は、記憶部28から対象部位の色彩情報52を取得する。背景影響処理部45は、撮像画像の所定領域の背景色を抽出する(S12)。

0090

背景影響処理部45は、S12で抽出した背景色と色彩情報52(対象部位の色)は、同色かどうかを判定する。S12で抽出した背景色と色彩情報52(対象部位の色)が同色でない場合(S13で「NO」)、本フローは終了する。

0091

S12で抽出した背景色と色彩情報52(対象部位の色)が同色である場合(S13で「YES」)、背景影響処理部45は、駆動処理により、対象部位を所定角度回動させる(S14)。S14の処理については、図10で詳述する。

0092

S14で所定角度回動させた後、背景影響処理部45は、その回動後の位置にある対象部位を撮像部17により撮像する(S15)。取得部43は、S15で撮像された撮像画像を取得する(S16)。取得された撮像画像は、再びS12以降の処理がなされる。

0093

図10は、本実施形態(実施例1)における駆動処理(S14)の詳細な処理を示すフローチャートである。背景影響処理部45は、いずれか一方または双方の腕(対象部位がいずれかの腕である場合には対象部位を含む腕の方)の腕軸を全角度にまで駆動させたかどうか判定する(S21)。いずれか一方または双方の腕の腕軸を全角度にまで駆動させていない場合(S21で「NO」の場合)、背景影響処理部45は、腕軸を指定角度駆動させる(S23)。

0094

いずれか一方または双方の腕の腕軸を全角度にまで駆動させている場合(S21で「YES」の場合)、背景影響処理部45は、胴軸を全角度にまで駆動させたかどうかを判定する(S22)。

0095

胴軸を全角度にまで駆動させていない場合(S22で「NO」)、背景影響処理部45は、胴軸を指定角度駆動させる(S24)。胴軸を全角度にまで駆動させている場合(S22で「YES」)、背景影響処理部45は、頭軸を指定角度駆動させる(S25)。

0096

本実施形態の実施例1によれば、ロボット11の自己診断において、対象部位が正常に動作しているかどうかの判定に用いる画像処理の際に、撮像画像上の対象部位を認識しやすいように前処理を行うことができる。

0097

なお、対象部位の動かし方を変化させてもよい。例えば、対象部位を右周り左回りそれぞれの方向から同じ位置に到達させて撮像した撮像画像を用いて比較してもよい。

0098

次に、本実施形態の実施例2について説明する。実施例1では、対象部位の駆動状態を撮像部17で客観的に撮影することができたが、対象部位が撮像部17である場合、自分で自分を直接撮影することができない。そこで、実施例2では、対象部位が撮像部17である場合、撮像部17自体を動作させて撮像画像を取得し、撮像部17の動作状態について、間接的に撮像部17が駆動しているかどうかを判定する。

0099

図11は、本実施形態(実施例2)における画像比較部46の処理を説明するための図である。図11(a)は、ロボット11自身の一部を特徴点として撮像する場合の例を示す。この場合、特徴点としてのロボット11自身の一部の周辺の境界線が明瞭である場合には、その特徴点を目印(基準)として用いて自己診断可能である。撮像部17により撮像した場合に撮像部17が駆動すると、駆動前後の撮像画像において特徴点が相対的に移動するから、その特徴点(基準)の変化を評価することで撮像部17が正常に動作しているかを判断することができる。

0100

特徴点としてのロボット11自身の一部の色と、その周辺の背景色とが同色である場合には、実施例1と同様に、背景影響処理部45は、前処理を行う。

0101

しかしながら、特徴点としてのロボット11自身の一部から離れると、特徴点が撮像画像の被写体として写らないので、自己診断することができない。この場合、図11(b)に示すように、ロボット11の周囲(外界)にある特徴点となり得るものを外界特徴点として、目印(基準)に用いることができる。外界特徴点としては、ロボット11が配置されている部屋の壁に飾られている絵画でもよいし、この場合、外界特徴点の周辺は境界線が明瞭なので、自己診断可能である。

0102

この場合、外界特徴点を含む境界線(エッジ)が明瞭である場合には、その外界特徴点を目印(基準)として用いて自己診断可能である。撮像部17により撮像した場合に撮像部17が駆動すると、駆動前後の撮像画像において外界特徴点が相対的に移動するから、その外界特徴点(基準)の変化を評価することで撮像部17が正常に動作しているかを判断することができる。

0103

また、外界特徴点の色と、その周辺の背景色とが同色である場合には、実施例1と同様に、背景影響処理部45は、前処理を行う。

0104

図12は、本実施形態(実施例2)における全体の処理を示すフローチャートである。図12のフローチャートは、図8フリーチャートに、S31,S32の処理を追加し、S4の処理をS4aの処理として一部調整したものである。

0105

取得部43は、自己診断開始指示(自己診断の対象部位を指定する情報及び対象部位の動作を指定する情報を含む。)を取得する(S1)。自己診断開始指示は、例えば、手動入力部21や外部I/Fを介して入力されたり、タイマにより所定の日時になると発生するように設定していてもよい。

0106

自己診断開始指示が取得されると、アクション指令部44は、対象部位の動作を指定する情報に基づいて、対象部位を動作させる(S2)。このとき、背景影響処理部45は、撮像部17自体の診断か、すなわち対象部位が撮像部17かどうかを判定する(S31)。

0107

撮像部17自体の診断でない場合(S31で「NO」)、撮像部17は動作後の対象部位を撮像する(S3)。撮像部17自体の診断である場合(S31で「YES」)、背景影響処理部45は、自身の一部(または外界の被写体)を特徴点(または外界特徴点)として探索し、決定する(S32)。撮像部17は動作後の特徴点(または外界特徴点)を撮像する(S3)。

0108

背景影響処理部45は、アクション指令部44の指令に基づいて対象部位(撮像部)を駆動させて撮像された撮像画像から背景色と特徴点(または外界特徴点)の画像部分とが判別可能なように、図11で説明した前処理を行う(S4a)。S4aの処理の詳細は、図13で説明する。

0109

S5〜S8の処理は、図8のフローチャートと同様なので、その説明を省略する。
図13は、本実施形態(実施例2)における背景影響処理(S4a)の詳細な処理を示すフローチャートである。背景影響処理部45は、記憶部28から特徴点(または外界特徴点)の色彩情報52を取得する。図13のフローチャートは、図9のフリーチャートに、S41,S32の処理を追加したものである。

0110

背景影響処理部45は、撮像画像の所定領域の背景色を抽出する(S12)。
背景影響処理部45は、S12で抽出した背景色と特徴点(または外界特徴点)の色彩情報52は、同色かどうかを判定する。S12で抽出した背景色と特徴点(または外界特徴点)の色彩情報52が同色でない場合(S13で「NO」)、本フローは終了する。

0111

S12で抽出した背景色と特徴点(または外界特徴点)の色彩情報52が同色である場合(S13で「YES」)、背景影響処理部45は、駆動処理により、対象部位を所定角度回動させる(S14)。S14の勝利については、図10で詳述する。

0112

所定角度回動させた後、背景影響処理部45は、その回動後の位置にある特徴点(または外界特徴点)を撮像部17により撮像する(S15)。取得部43は、S15で撮像された撮像画像を取得する(S16)。取得された撮像画像は、再びS12以降の処理がなされる。

0113

実施例2によれば、対象部位が撮像部17である場合、撮像部自体を動作させることによって、撮像部に関わる間接的な評価を行い、ロボット11自身の一部または外界の被写体を特徴点として用いて自己診断が可能となる。そのため、実施例1と異なり、実施例2の背景影響処理では、診断しきれない範囲を診断することができる。実施例2の背景影響処理により同様の背景処理対象の境界線が不明瞭な箇所においても対象と異なる背景色を探索することができる。その結果、境界線を明瞭にすることができる箇所まで撮像部17自体を動かせば、自己診断が成立する。

0114

次に、本実施形態の実施例3について説明する。実施例1、2の背景影響処理は、対象部位または特徴点(または外界特徴点)と背景色とが同色である場合に、対象部位を駆動させて背景色から対象部位または特徴点(または外界特徴点)の部分の認識を容易にする処理をした。しかしながら、この処理でも診断できない範囲がある。そこで、実施例3では、ロボット11に搭載しているLED等の光源によって背景色を調整し、背景と対象部位または特徴点(または外界特徴点)との色の差分を作り出す処理を行う。

0115

図14は、本実施形態(実施例3)の処理を説明するための図である。図14(a)は、撮像画像の背景の全領域において、対象部位をどのように移動させても、背景色と対象部位の色との差で差がなく、境界線が不明瞭であることを示している。この場合、自己診断ができない。

0116

そこで、図14(b)に示すように、ロボットに設けられた光源を用いて照射することで、背景色を変化させる。これにより、背景色と対象部位の色との差で差が生じ、境界線が明瞭になる。

0117

図15は、本実施形態(実施例3)における背景影響処理(S4)の詳細な処理を示すフローチャートである。図15のフローチャートは、図9のフローチャートに、S51、S52の処理を追加したものである。以下では、図9と異なる部分について説明し、同様の処理についてはその説明を省略する。

0118

S14で所定角度回動させた後、背景影響処理部45は、撮像画像に基づいて、対象部位の可動域全てで背景色と同色かどうかを判定する(S51)。対象部位の可動域全てで背景色と同色でない場合(S51で「NO」)、背景影響処理部45は、その回動後の位置にある対象部位を撮像部17により撮像する(S15)。

0119

対象部位の可動域全てで背景色と同色である場合(S51で「YES」)、背景影響処理部45は、ロボット11内の光源を用いて背景色を変化させる(S52)。背景影響処理部45は、対象部位を撮像部17により撮像する(S15)。

0120

取得部43は、S15で撮像された撮像画像を取得する(S16)。取得された撮像画像は、再びS12以降の処理がなされる。

0121

実施例3によれば、ロボット11に搭載しているLED等の光源によって背景色を調整し、背景と対象部位または特徴点(または外界特徴点)との色の差分を作り出す処理を行うことができる。これにより、実施例1,2では診断できなかった範囲を診断可能とすることができる。

0122

また、対象部位またはその周辺に光源38を設けてもよい。この場合、背景影響処理部45は、S52において、光源38に背景色とは異なる色を発光させて対象部位を照射し、撮像部17により撮像してもよい。

0123

また、センサ22として音声センサをロボット11に設けておき、ロボットの可動部位の動作中に発生した異常音を検出するようにしてもよい。これにより、可動部位が正常に機能しているか否かを判定することができる。

0124

また、センサ22として温度センサをロボット11に設けておき、ロボットの可動部位の動作中に発生した異常熱を検出するようにしてもよい。これにより、可動部位が正常に機能しているか否かを判定することができる。

0125

さらに、センサ22として速度センサをロボット11に設けておき、ロボットの可動部位の動作中における動作速度を検出するようにしてもよい。これにより、動作速度が所定の範囲内にあるか否かに応じて、可動部位が正常に機能しているか否かを判定することができる。

0126

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

0127

上記実施形態に関し、さらに以下の付記を開示する。
(付記1)
被写体を撮像する撮像部と、
1以上の可動部位を有するロボットの表面に露出しているパーツの色彩情報を記憶する記憶部と、
前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させるアクション指令部と、
前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、前記記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、
前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う判定部と、
を備えることを特徴とするロボット。
(付記2)
前記背景処理部は、前記対象部位が前記撮像部以外の部位である場合、前記取得した色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記対象部位を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記1に記載のロボット。
(付記3)
前記背景処理部は、前記対象が前記撮像部である場合、ロボット自身の一部または前記ロボットの周囲にある物体を特徴体とし、該特徴体の色に対応する色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記特徴体を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記1又は2に記載のロボット。
(付記4)
前記ロボットは、さらに、光を照射する光源を備え、
前記背景処理部は、前記光源から前記被写体に光が照射された状態において、前記取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像する
ことを特徴とする付記1〜3のいずれ1項に記載のロボット。
(付記5)
前記光源は、前記対象部位に設けられ、
前記背景処理部は、前記対象部位の色彩情報と前記背景色とが類似する場合、前記光源に該背景色とは異なる色を発色させて、前記撮像部により撮像する
ことを特徴とする付記4に記載のロボット。
(付記6)
前記判定部は、前記撮像部の撮像位置に基づいて、該撮像位置に対する前記対象部位の相対的な変位を判別し、前記対象部位が正常か否かの判定を行う
ことを特徴とする付記1〜5のいずれ1項に記載のロボット。
(付記7)
1以上の可動部位と、被写体を撮像する撮像部とを有するロボットに搭載されたコンピュータに、
前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させ、
前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、
前記ロボットの表面に露出しているパーツの色彩情報を記憶する記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、
取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得し、
前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う
ことを特徴とする自己診断プログラム。
(付記8)
前記特定撮像画像の取得において、前記対象部位が前記撮像部以外の部位である場合、前記取得した色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記対象部位を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記7に記載の自己診断プログラム。
(付記9)
前記特定撮像画像の取得において、前記対象が前記撮像部である場合、ロボット自身の一部または前記ロボットの周囲にある物体を特徴体とし、該特徴体の色に対応する色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記特徴体を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記7又は8に記載の自己診断プログラム。
(付記10)
前記ロボットは、さらに、光を照射する光源を有し、
前記特定撮像画像を取得する場合、前記光源から前記被写体に光が照射された状態において、前記取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像する
ことを特徴とする付記7〜9のいずれ1項に記載の自己診断プログラム。
(付記11)
前記光源は、前記対象部位に設けられ、
前記特定撮像画像の取得において、前記対象部位の色彩情報と前記背景色とが類似する場合、前記光源に該背景色とは異なる色を発色させて、前記撮像部により撮像する
ことを特徴とする付記10に記載の自己診断プログラム。
(付記12)
前記判定を行う場合、前記撮像部の撮像位置に基づいて、該撮像位置に対する前記対象部位の相対的な変位を判別し、前記対象部位が正常か否かの判定を行う
ことを特徴とする付記7〜11のいずれ1項に記載の自己診断プログラム。
(付記13)
1以上の可動部位と、被写体を撮像する撮像部とを有するロボットに搭載されたコンピュータが、
前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させ、
前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、
前記ロボットの表面に露出しているパーツの色彩情報を記憶する記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、
取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得し、
前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う
ことを特徴とする自己診断方法。
(付記14)
前記特定撮像画像の取得において、前記対象部位が前記撮像部以外の部位である場合、前記取得した色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記対象部位を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記13に記載の自己診断方法。
(付記15)
前記特定撮像画像の取得において、前記対象が前記撮像部である場合、ロボット自身の一部または前記ロボットの周囲にある物体を特徴体とし、該特徴体の色に対応する色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記特徴体を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記13又は14に記載の自己診断方法。
(付記16)
前記ロボットは、さらに、光を照射する光源を有し、
前記特定撮像画像を取得する場合、前記光源から前記被写体に光が照射された状態において、前記取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像する
ことを特徴とする付記13〜15のいずれ1項に記載の自己診断方法。
(付記17)
前記光源は、前記対象部位に設けられ、
前記特定撮像画像の取得において、前記対象部位の色彩情報と前記背景色とが類似する場合、前記光源に該背景色とは異なる色を発色させて、前記撮像部により撮像する
ことを特徴とする付記16に記載の自己診断方法。
(付記18)
前記判定を行う場合、前記撮像部の撮像位置に基づいて、該撮像位置に対する前記対象部位の相対的な変位を判別し、前記対象部位が正常か否かの判定を行う
ことを特徴とする付記13〜17のいずれ1項に記載の自己診断方法。

0128

1ロボット
2撮像部
3 記憶部
4アクション指令部
5背景処理部
6 判定部
7光源
11 ロボット
12 頭部
13左腕部
14右腕部
15胴体部
16土台部
17 撮像部
21手動入力部
22センサ
23 外部I/F
24コントローラ
25 制御部
26 入力部
27通信部
28 記憶部
29アクチュエータ制御部
30音声出力部
31バス
32アクチュエータ部
33 腕軸駆動部
34胴軸駆動部
35頭軸駆動部
36スピーカ
37発光制御部
38 光源

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ