図面 (/)

技術 身体特徴点検出装置および身体運動解析装置

出願人 パナソニック株式会社
発明者 手嶋光隆吉村哲也松尾英明池田淳
出願日 1996年10月9日 (24年2ヶ月経過) 出願番号 1996-268102
公開日 1998年4月28日 (22年7ヶ月経過) 公開番号 1998-111940
状態 未査定
技術分野 体操訓練用具 訓練用具 画像処理 イメージ分析
主要キーワード 予測位置データ ランニングマシーン 動作者 解析項目 特徴点検出装置 解析部分 スポーツトレーニング 関係知識
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1998年4月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

スポーツ分野などで使用される身体運動解析装置において、非接触およびマーカーなしで、身体に関する知識を利用しながら、身体特徴点を検出し、身体運動解析を行なうことを目的とする。

解決手段

撮影手段1で身体の運動を撮影し、身体知識を利用しながら、身体抽出手段3で身体の抽出をし、身体部品抽出手段4で身体の部品に分け、可視特徴点検出手段5で見える身体特徴点を検出し、未知特徴点検出手段6で隠れた身体特徴点を算出する。さらに、時系列の身体特徴点データをもとに、身体運動解析手段10では、身体運動知識や運動環境知識を利用しながら、身体運動の解析を行なっていく。さらに、身体運動解析結果をもとに、アドバイス作成手段12では熟練者身体運動知識を利用しながら、使用者にアドバイスを与える。

概要

背景

身体の特徴点を検出する方法として、磁気センサを用いるものやマーカーをつけて撮影する方法がある。

磁気センサを用いるものとして、特開平5−180861号公報記載のものがある。また、マーカーを用いるものとして、特開平5−274434号公報記載の発明などがある。

概要

スポーツ分野などで使用される身体運動解析装置において、非接触およびマーカーなしで、身体に関する知識を利用しながら、身体特徴点を検出し、身体運動解析を行なうことを目的とする。

撮影手段1で身体の運動を撮影し、身体知識を利用しながら、身体抽出手段3で身体の抽出をし、身体部品抽出手段4で身体の部品に分け、可視特徴点検出手段5で見える身体特徴点を検出し、未知特徴点検出手段6で隠れた身体特徴点を算出する。さらに、時系列の身体特徴点データをもとに、身体運動解析手段10では、身体運動知識や運動環境知識を利用しながら、身体運動の解析を行なっていく。さらに、身体運動解析結果をもとに、アドバイス作成手段12では熟練者身体運動知識を利用しながら、使用者にアドバイスを与える。

目的

そこで、本発明では、動き服装制約を持たせず、動作者が普通に動ける環境のもとで、身体特徴点をとらえることを目的とする。

そこで、本発明では、基準値との差異を計算し、補正情報として持っておくことで、より正確な身体特徴点検出を目的とする。

そこで、本発明では、身体特徴点の時系列データをもとに、速度や加速度から正確な位置予測を行なうことを目的とする。

そこで、本発明では、身体運動の解析項目を階層的に知識として持たせることで、多様な身体運動の解析を行なうことを目的とする。

そこで、本発明では、身体運動の解析結果をもとに、熟練者の動きに近付けるためのアドバイス作成を行なうことを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

身体の運動撮影する撮影手段と、身体の知識を記憶する身体知識記憶手段と、撮影した画像から身体部のみを抽出する身体抽出手段と、抽出した身体部を、身体の部品に分ける身体部品抽出手段と、身体の部品の中で画像中で見えている身体特徴点を身体の知識を利用して検出する可視特徴点検出手段と、身体の部品の中で画像中で見えない身体特徴点を検出する未知特徴点検出手段とを備えた身体特徴点検出装置

請求項2

系列の身体特徴点検出結果を記憶する身体特徴点記憶手段を付加した請求項1記載の身体特徴点検出装置。

請求項3

装置の使用者の身体特徴を事前に検出する個人身体特徴検出手段と、身体知識記憶手段に対しての補正情報を記憶する個人身体知識記憶手段とを付加した身体請求項2記載の特徴点検出装置

請求項4

位置予測手段を備え、前記位置予測手段は、身体特徴点記憶手段の時系列身体特徴点検出結果を用い、身体特徴点の運動パラメータを計算する運動パラメータ計算手段と、運動パラメータ計算手段による計算した運動パラメータを用いて身体特徴点の位置を計算する位置計算手段とを含むことを特徴とする請求項2または3記載の身体特徴点検出装置。

請求項5

運動パラメータとして、少なくとも身体特徴点の速度と加速度とを用いることを特徴とする請求項4の身体特徴点検出装置。

請求項6

身体運動の知識を記憶する身体運動知識記憶手段と、運動に関する周囲の環境の知識を記憶する運動環境知識記憶手段と、運動環境知識を考慮して、時系列の身体特徴点データと身体運動の知識から、身体運動を解析する身体運動解析手段とを備えた身体運動解析装置

請求項7

熟練者の身体運動の知識を記憶する熟練者身体運動知識記憶手段と、身体運動解析結果をもとに、用途に応じたアドバイスを与えるアドバイス作成手段とを備えた身体運動解析装置。

技術分野

0001

本発明は、身体や身体運動の知識を利用することで、非接触、マーカーなしで、身体の特徴点を検出し、検出結果に基づき身体運動の解析までをおこない、スポーツトレーニング装置などに利用可能な身体運動解析装置に関するものである。

背景技術

0002

身体の特徴点を検出する方法として、磁気センサを用いるものやマーカーをつけて撮影する方法がある。

0003

磁気センサを用いるものとして、特開平5−180861号公報記載のものがある。また、マーカーを用いるものとして、特開平5−274434号公報記載の発明などがある。

発明が解決しようとする課題

0004

従来の身体特徴点検出装置では、身体の特徴点を検出するのに、磁気センサやマーカーなどを用いていた。磁気センサでは、磁界の影響を受けるほか、有線による動きの制限といった課題がある。また、マーカーを用いる処理では、動作者装着物などの制限を与えることになる。

0005

そこで、本発明では、動きや服装制約を持たせず、動作者が普通に動ける環境のもとで、身体特徴点をとらえることを目的とする。

0006

また、従来の身体特徴点検出装置では、装置の使用者個人的な特徴まで考慮していなかった。

0007

そこで、本発明では、基準値との差異を計算し、補正情報として持っておくことで、より正確な身体特徴点検出を目的とする。

0008

また、従来の身体特徴点検出装置では、身体特徴点が隠れた場合など、位置予測が正確とはいえなかった。

0009

そこで、本発明では、身体特徴点の時系列データをもとに、速度や加速度から正確な位置予測を行なうことを目的とする。

0010

また、従来の身体運動解析装置では、体のある着目点における角度や位置の解析のみを行なっていた。

0011

そこで、本発明では、身体運動の解析項目を階層的に知識として持たせることで、多様な身体運動の解析を行なうことを目的とする。

0012

また、従来の身体運動解析装置では、運動能力向上のための手段などを用意してなかった。

0013

そこで、本発明では、身体運動の解析結果をもとに、熟練者の動きに近付けるためのアドバイス作成を行なうことを目的とする。

課題を解決するための手段

0014

上記目的を達成するために、本願発明は、身体の運動を撮影する撮影手段と、身体の知識を記憶する身体知識記憶手段と、撮影した画像から身体部のみを抽出する身体抽出手段と、抽出した身体部を、身体の部品に分ける身体部品抽出手段と、身体の部品の中で画像中で見えている身体特徴点を身体の知識を利用して検出する可視特徴点検出手段と、身体の部品の中で画像中で見えない身体特徴点を検出する未知特徴点検出手段と時系列の身体特徴点検出結果を記憶する身体特徴点記憶手段を備えた身体特徴点検出装置である。

0015

また、上記構成における、身体特徴点検出装置に、装置の使用者の身体特徴を事前に検出する個人身体特徴検出手段と、身体知識記憶手段に対しての補正情報を記憶する個人身体知識記憶手段を付加して構成される身体特徴点検出装置である。

0016

また、上記構成における身体特徴点検出装置に、身体特徴点記憶手段の時系列身体特徴点検出結果を用い、身体特徴点の運動パラメータを計算する運動パラメータ計算手段と運動パラメータ計算手段による計算した運動パラメータを用いて身体特徴点の位置を計算する位置計算手段を付加して構成される身体運動解析装置である。

0017

また、上記構成における、身体特徴点検出装置に、身体運動の知識を記憶する身体運動知識記憶手段と、運動に関する周囲の環境の知識を記憶する運動環境知識記憶手段と、運動環境知識を考慮して、時系列の身体特徴点データと身体運動の知識から、身体運動を解析する身体運動解析手段を付加して構成される身体運動解析装置である。

0018

また、上記構成における、身体運動解析装置に、熟練者の身体運動の知識を記憶する熟練者身体運動知識記憶手段と、身体運動解析結果をもとに、用途に応じたアドバイスを与えるアドバイス作成手段を付加して構成される身体運動解析装置である。

0019

(実施の形態1)本発明の身体特徴点検出装置について記述する。図1は発明の実施例の身体特徴点検出に関する部分のシステム構成図である。図1を参照して本実施例の構成について説明する。

0020

身体の運動を撮影する撮影手段1、身体の知識を記憶する身体知識記憶手段2、撮影した画像から身体部のみを抽出する身体抽出手段3、抽出した身体部を、身体の部品に分ける身体部品抽出手段4、身体の部品の中で画像中で見えている身体特徴点を身体の知識を利用して検出する可視特徴点検出手段5、身体の部品の中で画像中で見えない身体特徴点を検出する未知特徴点検出手段6、身体特徴点検出方法の結果を時系列の身体特徴点データとして記憶する身体特徴点記憶手段7により構成される。

0021

次に、本実施例の具体的な動作について、図1を用いて説明する。撮影手段1により、何らかの身体運動を行なっている人物を撮影する。ここでは、ランニングマシーン上でランニングを行なっているとする。人物は、白のランニングシャツ、黒の短パン、白のソックスシューズを身に付けているとする。また、撮影はカメラの性能に応じて、1/30(秒)や1/120(秒)などのサンプリング間隔で取り込むことが可能である。身体知識記憶手段2では、身体抽出のための肌や服の色の特性や輪郭形状知識、身体部品抽出のための部品位置関係や部品形状知識、特徴点検出のための特徴点位置関係知識などを保持しておく。図2に身体部品知識を、図3に身体特徴点知識を示す。身体抽出手段3では、取り込まれた画像に対して、輪郭抽出処理と色抽出処理をかける。また、直前の画像との差分をとって、動いている領域を抽出することも有効である。輪郭に囲まれる領域のうち、肌色領域と肌色領域にはさまれる服の領域および、それに隣接する髪やシューズの領域を統合していき、身体の抽出を行なう。図4に、身体抽出結果を示す。

0022

次に、身体部品抽出手段4では、身体の部品(頭部、胴体部、手、足など)の抽出できるものから抽出していく。ここで、図2身体部位知識の存在可能位置や形状知識などを利用する。まず、形状変化のほとんどない頭部と胴体部について抽出する。最大の面積を取り四角形近似できる胴体部と、顔の肌色と髪の黒を含み円形に近似できる頭部を抽出する。手と足については、輪郭情報から連結した2つ(1つ)の長方形を、胴体部からの分離を行ないながら抽出する。図5に、身体部品抽出結果を示す。なお、ランニング用の服装以外でも、色の特性の知識を持っておくことで、対応可能である。図6に、ここで検出すべき身体特徴点を示す。この特徴点は、用途によって必要な点が増減するが、ここでは14点としておく。各点の位置は、P1(頭部重心)、P2(胴体部重心)、P3(右肩)、P4(右)、P5(右手首)、P6(左肩)、P7(左肘)、P8(左手首)、P9(右足付け根)、P10(右)、P11(右足首)、P12(左足の付け根)、P13(左膝)、P14(左足首)とする。可視特徴点検出手段5では、身体部品抽出結果から、頭部や胴体部については、その領域の重心を求め、カメラごとの2次元座標から、カメラ間視差などを用いて3次元座標に変換する。手や足についても可視特徴点については、図3の身体特徴点知識を利用して、胴体部との接続関係などから肩や肘を推測していく。図6では、足の付け根のみが、膝が上がっているために隠れている状態である。このため、これ以外の特徴点は、すべて3次元座標が得られる。未知特徴点検出手段6では、未知特徴点であるP12の左足の付け根の座標を求める。身体特徴点知識として、足の付け根は、胴体部に接触し、膝と連結関係にあり、膝との距離は40cmであるということを利用して、P12の左足の付け根の座標を求める。このようにして、各特徴点において得られた結果は、図7のt0のようになる。身体特徴点記憶手段7では、この結果をフレームごとに、すべて時系列に格納する。格納結果は、図7のようになる。

0023

次に、個人の体格差などを事前に把握しておくことで、より正確な人体解析を行える作用に関する部分について述べる。図8図1の身体特徴点検出装置への付加部分のシステム構成図である。図8を参照して、構成について説明する。身体特徴点記憶手段7と、身体知識記憶手段2の間に、装置の使用者の身体特徴を事前に検出する個人身体特徴検出手段13、身体知識記憶手段に対しての補正情報を記憶する個人身体知識記憶手段14を付加して構成される。

0024

図8の個人身体特徴検出手段13において、身体特徴点記憶手段7に入ってきた情報を元に、個人的な特徴をとらえるための連結部位間の距離などを算出する。例えば、図7実測値を使えば、P2とP3の距離は11.1cmである。これらのサイズをすべての連結部で計算していく。個人身体知識記憶手段14では、実測値とあらかじめ入れてある基準値との差を計算し、個人身体知識として格納していく。P2とP3の距離については、図3の身体特徴点知識の基準値では、15cmとなっている。よって、補正情報として−3.9cmを記憶し格納しておく。これによって、この人物が使用している間はこの情報を常に使うことができる。

0025

次に、未知特徴点の検出を時系列情報を利用して予測する部分について述べる。図9図1の身体特徴点検出装置への付加部分のシステム構成図である。図9を参照して、構成について説明する。

0026

身体特徴点記憶手段7と、未知特徴点検出手段6の間に、運動パラメータの一種である時系列点間の速度を計算する速度計算手段71と、運動パラメータの一種である時系列点間の加速度を計算する加速度計算手段72と、速度計算手段71と加速度計算手段72により計算した運動パラメータを用いて身体特徴点の位置を計算する位置計算手段73で構成する位置予測手段70を付加して構成される。

0027

図6で示した隠れがある場合に、図1の身体特徴点検出装置に図9で示す位置予測手段70を付加することで、隠れ点である未知特徴点を検出する手がかりになるデータを計算することができ、より正確に未知特徴点を検出することができる。

0028

例えば、速度計算手段71で速度データを計算し、加速度計算手段72で加速度データを計算する。位置計算手段73で前記速度データと前記加速度データから位置の計算を行ない、得られた位置データを未知特徴点検出手段6に送る。

0029

図10はt3の時点で隠れなどで未知となったP点の処理例であり、身体特徴点記憶手段7に記憶されているP点のt0,t1,t2の時点の位置データをもとにP点の速度Vと加速度Aを算出し未知となったt3の時点の位置を算出した例である。速度Vは速度計算手段71で1サンプリング前の位置データとその時点の位置データの差分を取ることで速度データを計算し、加速度Aは加速度計算手段72により前記速度データの差分を取ることで加速度データを計算する。

0030

位置計算手段73で、加速度一定の時の位置予測の式である(数1)を用いてt3の位置を計算する。

0031

0032

計算したP点の予測位置データは未知特徴点検出手段6に送り、身体知識と共に処理してより正確な位置座標を求める。なお、(数1)のΔtは単位時間として処理している。

0033

また、位置計算手段73での計算式は速度一定時の位置予測式である(数2)を用いる方法や、人体を機械リンク機構とみなしNewton−Euler法により身体特徴点の運動方程式を用いて位置予測を行なうことも可能である。

0034

0035

(実施の形態2)本発明の身体運動解析装置について記述する。図11は発明の実施例の身体特徴点検出に関する部分のシステム構成図である。図11を参照して本実施例の構成について説明する。図1の構成に加えて、身体運動の知識を記憶する身体運動知識記憶手段8、運動に関する周囲の環境の知識を記憶する運動環境知識記憶手段9、運動環境知識を考慮して、時系列の身体特徴点データと身体運動の知識から、身体運動を解析する身体運動解析手段10、熟練者の身体運動の知識を記憶する熟練者身体運動知識記憶手段11、身体運動解析結果をもとに、用途に応じたアドバイスを与えるアドバイス作成手段12により構成される。次に、身体運動解析部分について説明していく。身体運動知識記憶手段8では、基本的な運動について、その運動を解析するためのレベル別の関連解析項目知識、身体特徴点間の関係などの知識を格納している。運動として、走る、投げる、蹴るなど、走るという運動の中では、腕の振り歩幅ピッチなど、また腕の振りの項目の中でも手首位置変化、腕の角度の変化、左右の腕の振るタイミングなどのように、使用者のレベルに応じて多くの項目に関する知識を持つ。また、運動環境知識記憶手段9では、ランニングマシーン上で走っている場合、サンプリング間隔ごとのローラー移動距離などのデータを、図7の時間ごとのデータに対応させて格納しておく。他にも温度や湿度といった運動環境に関係する知識も持たせておくことが可能である。ここで身体運動解析手段10で基本的な運動についての解析を行なっていく。例えば、走るという動作における腕の振りについて、時系列の特徴点データから解析していく。解析項目として、手首の位置変化を考えてみる。時間t(n)から時間t(n+m)に動いた時、時間t(n+m)における手首の位置については、運動環境知識記憶手段9のローラーの移動距離も考慮に入れて計算する。値の補正の結果を左手首の位置(P8)を例に図12に示す。このようにして、2点間の実際の位置をもとめ、、その2点間の距離を見ることにより、手首の位置変化量が求まる。つぎに、アドバイス作成部分について説明していく。熟練者身体運動知識記憶手段10では、身体運動知識記憶手段8で有していた項目に関しての熟練者のデータを知識として格納しておく。アドバイス作成手段11では、動作者の解析結果と熟練者のデータを比較して、より熟練者に近付くようなアドバイスを与える。例えば、動作者の腕の振りを解析した結果、肩と肘と手首の作る角度が、60°〜120°の間でブレ計測されたとする。熟練者データでは、80°〜100°のブレしかなかったとする。このとき、アドバイスとして、「腕の角度は90°位で保持して下さい。」といったものを作成することが可能となる。なお、身体運動解析、アドバイス作成ともに、ランニング以外のラケットを使うスポーツなどにも適用できる。

発明の効果

0036

本発明の身体特徴点検出装置によれば、撮影した画像から身体部のみを抽出し、身体の部品に分け、身体の部品の中で画像中で見えている部分と見えてない身体特徴点を身体の知識を利用して検出することにより、動きや服装に制約を持たせず、動作者が普通に動ける環境のもとで、身体特徴点をとらえることができるという効果が得られる。

0037

また、装置の使用者が代わっても、個人の身体特徴を基準値との差異を計算し、補正情報として持っておくことで、より正確な身体特徴点検出ができるという効果が得られる。

0038

また、身体特徴点がカメラから隠れた場合にも時系列の身体特徴点データから隠れた点の位置を予測することができるという効果が得られる。

0039

また、記憶しておいた時系列の身体特徴点データを元に、身体運動の知識と、運動に関する周囲の環境の知識を利用して、身体運動を解析することにより、多様な解析ができるという効果が得られる。

0040

また、身体運動解析結果をもとに、熟練者の身体運動の知識との比較によって、アドバイス作成を行なうことで、効率の良いトレーニングができるという効果が得られる。

図面の簡単な説明

0041

図1本発明の実施の形態1の身体特徴点検出装置の構成を示す図
図2本発明の実施の形態1の身体部品知識の図
図3本発明の実施の形態1の身体特徴点知識の図
図4本発明の実施の形態1の身体抽出結果を示す図
図5本発明の実施の形態1の身体部品抽出結果を示す図
図6本発明の実施の形態1の身体特徴点を示す図
図7本発明の実施の形態1の時系列の身体特徴点検出結果を示す図
図8本発明の実施の形態1の身体特徴点検出装置に個人身体情報を処理する部分を付加した構成を示す図
図9本発明の実施の形態1の身体特徴点検出装置に時系列データから未知身体特徴点を予測する部分を付加した構成を示す図
図10本発明の実施の形態1の位置予測手段の処理例を示す図
図11本発明の実施の形態2の身体運動解析装置の構成を示す図
図12本発明の実施の形態2の身体運動解析のための位置座標の補正を示す図

--

0042

p1身体特徴点(頭部重心)
p2 身体特徴点(胴体部重心)
p3 身体特徴点(右肩)
p4 身体特徴点(右肘)
p5 身体特徴点(右手首)
p6 身体特徴点(左肩)
p7 身体特徴点(左肘)
p8 身体特徴点(左手首)
p9 身体特徴点(右足の付け根)
p10 身体特徴点(右膝)
p11 身体特徴点(右足首)
p12 身体特徴点(左足の付け根)
p13 身体特徴点(左膝)
p14 身体特徴点(左足首)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ