図面 (/)

この項目の情報は公開日時点(2011年12月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

動き情報検出精度を反映させた画像を生成できるプログラム情報記憶媒体画像生成システム等の提供。

解決手段

画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像センサからの画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部を含む。画像生成部は、操作者の動き情報の検出精度情報に応じて、表示部に表示される画像の表示態様を変化させる。

概要

背景

近年、従来の操作ボタン方向キーを備えたコントローラに代わって、モーションセンサを内蔵するコントローラを用いて操作が可能なゲーム装置人気を博している。このような操作インターフェースを備えるゲーム装置によれば、操作者プレーヤ、ユーザ)の直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献1に開示される技術がある。

しかしながら、このような直感的なインターフェースでは、操作者の動きにより入力された操作情報検出精度が低い場合には、入力した操作が、操作者が意図しない操作として誤認識されてしまうおそれがある。また、検出精度が低い操作情報が頻繁に入力されると、システムが不安定になるおそれもある。

概要

動き情報の検出精度を反映させた画像を生成できるプログラム情報記憶媒体画像生成システム等の提供。画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像センサからの画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部を含む。画像生成部は、操作者の動き情報の検出精度情報に応じて、表示部に表示される画像の表示態様を変化させる。

目的

効果

実績

技術文献被引用数
3件
牽制数
4件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部として、コンピュータを機能させ、前記画像生成部は、前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させることを特徴とするプログラム

請求項2

請求項1において、オブジェクトを制御するオブジェクト制御部として、コンピュータを機能させ、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの表示態様を変化させることを特徴とするプログラム。

請求項3

請求項2において、前記オブジェクト制御部は、前記操作者の前記動き情報に応じて移動又は動作するように前記オブジェクトの制御を行い、前記画像生成部は、前記動き情報に応じて移動又は動作する前記オブジェクトの表示態様を、前記動き情報の前記検出精度情報に基づいて変化させることを特徴とするプログラム。

請求項4

請求項2又は3において、前記画像生成部は、前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも1つの処理を行うことを特徴とするプログラム。

請求項5

請求項4において、前記検出精度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、検出精度が低くなる情報を、前記検出精度情報として取得し、前記画像生成部は、前記操作者の所定部位が前記他の部位に近づくほど、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも1つの処理を行うと共に、前記オブジェクトのサイズを変化させる処理を行うことを特徴とするプログラム。

請求項6

請求項2乃至5のいずれかにおいて、前記オブジェクトは、前記操作者の手の動きに応じて移動又は動作する手オブジェクトであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記手オブジェクトの表示態様を変化させることを特徴とするプログラム。

請求項7

請求項2乃至5のいずれかにおいて、前記オブジェクトは、前記操作者の所定部位の動きに応じて移動するアイコンであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記アイコンの表示態様を変化させることを特徴とするプログラム。

請求項8

請求項2乃至5のいずれかにおいて、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記操作対象オブジェクトの表示態様を変化させることを特徴とするプログラム。

請求項9

請求項8において、前記操作対象オブジェクトは、映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトであることを特徴とするプログラム。

請求項10

請求項8において、前記操作対象オブジェクトは、前記映像機器又は前記ゲーム装置に対してコンテンツ選択機器動作選択、及びコンテンツ再生・記録の少なくも1つを操作指示するためのオブジェクトであることを特徴とするプログラム。

請求項11

請求項8乃至10のいずれかにおいて、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行うことを特徴とするプログラム。

請求項12

請求項8乃至11のいずれかにおいて、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなるほど、前記操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行うことを特徴とするプログラム。

請求項13

請求項1乃至12のいずれかにおいて、前記検出精度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得することを特徴とするプログラム。

請求項14

請求項1乃至13のいずれかにおいて、前記検出精度情報取得部は、前記操作者が前記画像センサから所定距離以上離れた場合に、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得することを特徴とするプログラム。

請求項15

画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、オブジェクトを制御するオブジェクト制御部と、表示部に表示される画像を生成する画像生成部として、コンピュータを機能させ、前記オブジェクト制御部は、前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行うことを特徴とするプログラム。

請求項16

請求項15において、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行うことを特徴とするプログラム。

請求項17

コンピュータ読み取り可能な情報記憶媒体であって、請求項1乃至16のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。

請求項18

画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部とを含み、前記画像生成部は、前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させることを特徴とする画像生成システム

請求項19

画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、オブジェクトを制御するオブジェクト制御部と、表示部に表示される画像を生成する画像生成部とを含み、前記オブジェクト制御部は、前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行うことを特徴とする画像生成システム。

技術分野

0001

本発明は、プログラム情報記憶媒体及び画像生成システム等に関する。

背景技術

0002

近年、従来の操作ボタン方向キーを備えたコントローラに代わって、モーションセンサを内蔵するコントローラを用いて操作が可能なゲーム装置人気を博している。このような操作インターフェースを備えるゲーム装置によれば、操作者プレーヤ、ユーザ)の直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献1に開示される技術がある。

0003

しかしながら、このような直感的なインターフェースでは、操作者の動きにより入力された操作情報検出精度が低い場合には、入力した操作が、操作者が意図しない操作として誤認識されてしまうおそれがある。また、検出精度が低い操作情報が頻繁に入力されると、システムが不安定になるおそれもある。

先行技術

0004

特開2008−136695号公報

発明が解決しようとする課題

0005

本発明の幾つかの態様によれば、動き情報の検出精度を反映させた画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。

課題を解決するための手段

0006

本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部とを含み、前記画像生成部は、前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させる画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

0007

本発明の一態様では、画像センサから画像情報が取得され、画像情報から操作者の動き情報が取得される。また動き情報の検出精度情報が取得される。そして、取得された検出精度情報に応じて、表示部に表示される画像の表示態様が変化する。このようにすれば、動き情報の検出精度を反映させた画像を生成できるようになり、これまでにない画像生成システムの提供が可能になる。

0008

また本発明の一態様では、オブジェクトを制御するオブジェクト制御部を含み(オブジェクト制御部としてコンピュータを機能させ)、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの表示態様を変化させてもよい。

0009

このようにすれば、動き情報の検出精度が変化すると、オブジェクトの表示態様が変化するため、検出精度の高低を、当該オブジェクトの画像の表示態様の変化により操作者に伝えることが可能になる。

0010

また本発明の一態様では、前記オブジェクト制御部は、前記操作者の前記動き情報に応じて移動又は動作するように前記オブジェクトの制御を行い、前記画像生成部は、前記動き情報に応じて移動又は動作する前記オブジェクトの表示態様を、前記動き情報の前記検出精度情報に基づいて変化させてもよい。

0011

このようにすれば、操作者の動き情報に応じてオブジェクトが移動又は動作すると共に、動き情報の検出精度が変化すると、当該オブジェクトの表示態様が変化する。従って、検出精度の高低を、当該オブジェクトの画像の表示態様の変化により操作者に伝えることが可能になる。

0012

また本発明の一態様では、前記画像生成部は、前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも1つの処理を行ってもよい。

0013

このようにすれば、検出精度が低下すると、オブジェクトがぼけた画像になったり、透明に近づいたり、色が変化するようになり、これらの画像の変化により、検出精度の低下を操作者に伝えることが可能になる。

0014

また本発明の一態様では、前記検出精度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、検出精度が低くなる情報を、前記検出精度情報として取得し、前記画像生成部は、前記操作者の所定部位が前記他の部位に近づくほど、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも1つの処理を行うと共に、前記オブジェクトのサイズを変化させる処理を行ってもよい。

0015

このようにすれば、操作者の所定部位が他の部位に近づくことで検出精度が低下すると、オブジェクトがぼけた画像になったり、透明に近づいたり、色が変化するのに加えて、オブジェクトのサイズも変化する。従って、操作者は、操作者の所定部位が他の部位に近づいたことで検出精度が低下したということを、直感的に把握できるようになる。

0016

また本発明の一態様では、前記画像生成部は、前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、前記オブジェクトの色を変化させる処理、前記オブジェクトの明度を変化させる処理、前記オブジェクトの輪郭線の表示態様を変化させる処理、前記オブジェクトのサイズを変化させる処理、及び前記オブジェクトに施されるエフェクトを変化させる処理の少なくとも1つの処理を行ってもよい。

0017

このようにすれば、検出精度が低下すると、所定部位に対応するオブジェクトがぼけた画像になったり、透明に近づいたり、色が変化したり、明度が変化したり、輪郭線の表示態様が変化したり、サイズが変化したり、エフェクトが変化するようになり、これらの画像の変化により、検出精度の低下を操作者に伝えることが可能になる。

0018

また本発明の一態様では、前記オブジェクトは、前記操作者の手の動きに応じて移動又は動作する手オブジェクトであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記手オブジェクトの表示態様を変化させてもよい。

0019

このようにすれば、操作者の手の動きに応じて手オブジェクトが移動又は動作すると共に、検出精度の高低により、その手オブジェクトの表示態様も変化するようになる。

0020

また本発明の一態様では、前記オブジェクトは、前記操作者の所定部位の動きに応じて移動するアイコンであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記アイコンの表示態様を変化させてもよい。

0021

このようにすれば、操作者の所定部位の動きに応じてアイコンが移動すると共に、検出精度の高低により、そのアイコンの表示態様も変化するようになる。

0022

また本発明の一態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記操作対象オブジェクトの表示態様を変化させてもよい。

0023

このようにすれば、操作者の動き情報の検出精度の高低により、操作者の操作対象となる操作対象オブジェクトの表示態様を変化させることが可能になる。

0024

また本発明の一態様では、前記操作対象オブジェクトは、映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトであってもよい。

0025

このようにすれば、映像機器又はゲーム装置に対して操作指示を行う操作対象オブジェクトの表示態様を、操作者の動き情報の検出精度の高低に応じて変化させることが可能になる。

0026

また本発明の一態様では、前記操作対象オブジェクトは、前記映像機器又は前記ゲーム装置に対してコンテンツ選択機器動作選択、及びコンテンツ再生・記録の少なくも1つを操作指示するためのオブジェクトであってもよい。

0027

このようにすれば、コンテンツ選択、機器動作選択、コンテンツ再生・記録を操作指示するための操作対象オブジェクトの表示態様を、操作者の動き情報の検出精度の高低に応じて変化させることが可能になる。

0028

また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行ってもよい。

0029

このようにすれば、操作者の動き情報の検出精度が低い場合には、操作対象オブジェクトに対する操作者の操作が制限又は不許可にされるため、操作者の操作が誤認識されて、映像機器やゲーム装置の誤操作が行われてしまう事態を抑止できる。

0030

また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が高くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を許可する制御を行ってもよい。

0031

このようにすれば、操作者の動き情報の検出精度が高い場合にだけ、操作対象オブジェクトに対する操作者の操作が許可されるため、映像機器やゲーム装置の安定した操作指示を実現できるようになる。

0032

また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなるほど、前記操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。

0033

このようにすれば、操作者の動き情報の検出精度が低い場合には、操作対象オブジェクトの候補オブジェクトの数が増加するため、操作者は所望の候補オブジェクトを操作対象オブジェクトとして選択等することで、所望の操作指示を行うことが可能になる。

0034

また本発明の一態様では、前記検出精度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得してもよい。

0035

このようにすれば、操作者の所定部位が他の部位に近づくことで動き情報の検出精度が低下すると、その検出精度の低下を反映させた画像を生成して、表示部に表示することが可能になる。

0036

また本発明の一態様では、前記検出精度情報取得部は、前記操作者が前記画像センサから所定距離以上離れた場合に、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得してもよい。

0037

このようにすれば、操作者が画像センサから所定距離以上離れることで動き情報の検出精度が低下すると、その検出精度の低下を反映させた画像を生成して、表示部に表示することが可能になる。

0038

また本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、オブジェクトを制御するオブジェクト制御部と、表示部に表示される画像を生成する画像生成部とを含み、前記オブジェクト制御部は、前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行う画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

0039

また本発明の他の態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行ってもよい。

0040

また本発明の他の態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が高くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を許可する制御を行ってもよい。

図面の簡単な説明

0041

本実施形態の画像生成システムの構成例。
図2(A)、図2(B)は画像センサからの撮像情報を用いた本実施形態の操作インターフェースの説明図。
図3(A)、図3(B)は操作者の操作動作を示す図。
図4(A)、図4(B)は動き情報の検出精度情報に基づき画像の表示態様を変化させる手法の説明図。
動き情報の検出精度情報に基づき画像の表示態様を変化させる手法の説明図。
図6(A)、図6(B)は動き情報の検出精度の変化の予測情報を用いる手法の説明図。
デプス情報等に基づいて操作者のスケルトン情報を求める手法の説明図。
図8(A)、図8(B)はスケルトン情報、信頼度情報データ構造の例。
図9(A)、図9(B)は信頼度存在確率範囲の説明図。
図10(A)、図10(B)は信頼度の説明図。
図11(A)、図11(B)は動き情報の検出精度情報に応じたオブジェクトの制御手法の説明図。
図12(A)、図12(B)は動き情報の検出精度情報に応じたオブジェクトの制御手法の説明図。
図13(A)、図13(B)はオブジェクトの移動、動作を制限する際にウェイト期間を設定する手法の説明図。
図14(A)、図14(B)はウェイト期間経過後の選択画面等の表示手法の説明図。
図15(A)、図15(B)は動き情報の検出精度情報に応じたゲーム演算処理手法の説明図。
図16(A)、図16(B)は動き情報の検出精度情報に応じたゲーム演算処理手法の説明図。
図17(A)、図17(B)は映像機器への本実施形態の手法の適用例。
図18(A)〜図18(C)は操作対象オブジェクトの候補オブジェクトの数を増減させる手法の説明図。
図19(A)、図19(B)は映像機器への本実施形態の手法の適用例。
本実施形態の処理を説明するフローチャート
本実施形態の処理を説明するフローチャート。
本実施形態の処理を説明するフローチャート。
本実施形態の処理を説明するフローチャート。

実施例

0042

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

0043

1.構成
図1に本実施形態の画像生成システム(ゲーム装置、映像機器等)のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図1に限定されず、その構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

0044

操作部160は、操作者が操作情報を入力するためのものである。この操作部160は、例えばカラー画像センサデプスセンサなどにより実現される画像センサを含む。なお操作部160の機能を、画像センサだけで実現してもよいし、画像センサ以外の操作デバイス方向指示キー、操作ボタン、アナログスティックレバー、角速度センサ加速度センサ等のセンサマイク、或いはタッチパネル型ディスプレイ)を用いて実現してもよい。

0045

記憶部170は、処理部100や通信部196などのワーク領域となるもので、その機能はRAM(DRAMVRAM)などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部170に保持される。

0046

情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD)、HDDハードディスクドライブ)、或いはメモリ(ROM等)などにより実現できる。処理部100は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体180には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。

0047

表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、LCD、有機ELディスプレイ、CRT、タッチパネル型ディスプレイ、或いはHMD(ヘッドマウントディスプレイ)などにより実現できる。音出力部192は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。

0048

補助記憶装置194(補助メモリ、2次メモリ)は、記憶部170の容量を補うために使用される記憶装置であり、SDメモリーカードマルチメディアカードなどのメモリーカードなどにより実現できる。

0049

通信部196は、有線無線ネットワークを介して外部(例えば他の画像生成システム、サーバホスト装置)との間で通信を行うものであり、その機能は、通信用ASIC又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

0050

なお本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、サーバ(ホスト装置)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(あるいは記憶部170、補助記憶装置194)に配信してもよい。このようなサーバ(ホスト装置)による情報記憶媒体の使用も本発明の範囲内に含めることができる。

0051

処理部100(プロセッサ)は、操作部160からの操作情報やプログラムなどに基づいて、ゲーム処理画像生成処理、或いは音生成処理などを行う。処理部100は記憶部170をワーク領域として各種処理を行う。この処理部100の機能は、各種プロセッサ(CPU、GPU等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。

0052

処理部100は、画像情報取得部102、動き情報取得部104、検出精度情報取得部106、ゲーム演算部110、オブジェクト空間設定部112、オブジェクト制御部114、仮想カメラ制御部118、画像生成部120、音生成部130を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

0053

画像情報取得部102は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部170の画像情報記憶部171に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部172に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部173に保存される。画像情報取得部102は、これらの画像情報を画像情報記憶部171から読み出すことで画像情報を取得する。

0054

動き情報取得部104は動き情報を取得し、検出精度情報取得部106は検出精度情報を取得する。動き情報、検出精度情報は動き情報記憶部174、検出精度情報記憶部175に記憶される。動き情報取得部104、検出精度情報取得部106の詳細については後述する。

0055

ゲーム演算部110はゲーム演算処理を行う。ここでゲーム演算処理としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。

0056

オブジェクト空間設定部112は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ(人、動物ロボット、車、船舶飛行機等)、マップ地形)、建物コース道路)、樹木、壁などの表示物を表す各種オブジェクトポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト)をオブジェクト空間に配置設定する処理を行う。即ちオブジェクトが3次元オブジェクトである場合には、ワールド座標系でのオブジェクトの位置や回転角度(向き、方向と同義)を決定し、その位置(X、Y、Z)にその回転角度(X、Y、Z軸回りでの回転角度)でオブジェクトを配置する。具体的には、記憶部170のオブジェクトデータ記憶部176には、オブジェクト(パーツオブジェクト)の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部112は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。

0057

オブジェクト制御部114は、オブジェクトの制御を行う。例えば、操作部160により操作者(プレーヤ、ユーザ)が入力した操作情報や、プログラム(移動・動作アルゴリズム)や、各種データなどに基づいて、オブジェクトの移動及び動作の少なくとも一方を制御する。具体的には、オブジェクトの移動情報(位置、回転角度、速度、或いは加速度)を、1フレーム(例えば1/60秒)毎に順次求めるシミュレーション処理を行う。或いはオブジェクトのモーション処理アニメーション処理などの動作制御を行う。なおフレームは、オブジェクトの移動・動作処理や画像生成処理を行う時間の単位である。

0058

オブジェクト制御部114により制御されるオブジェクトは、3次元オブジェクト空間に配置設定される3次元オブジェクトであってもよいし、2次元スクリーン表示画面)に描画される2次元オブジェクトであってもよい。オブジェクトが、3次元モデルにより表されるキャラクタのオブジェクトである場合には、オブジェクト制御部114は、キャラクタにモーションを行わせるモーション処理(モーション再生モーション生成)を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部177に記憶されているモーションデータ等に基づいて再生することなどで実現できる。ここで、モーションデータ記憶部177には、キャラクタ(モデルオブジェクト)のスケルトンを構成する各骨(キャラクタを構成する各パーツオブジェクト)の位置又は回転角度(親の骨に対する子の骨の3軸周りの回転角度)等を含むモーションデータが記憶されている。またモデルデータ記憶部178には、キャラクタを表すモデルオブジェクトのモデルデータが記憶される。

0059

仮想カメラ制御部118は、オブジェクト空間内の所与(任意)の視点から見える画像を生成するための仮想カメラ(視点、基準仮想カメラ)の制御処理を行う。具体的には、仮想カメラの位置(X、Y、Z)又は回転角度(X、Y、Z軸回りでの回転角度)を制御する処理(視点位置、視線方向あるいは画角を制御する処理)を行う。

0060

画像生成部120は、処理部100で行われる種々の処理(ゲーム処理、シミュレーション処理)の結果に基づいて描画処理を行い、これにより画像を生成し、表示部190に出力する。具体的には、座標変換ワールド座標変換、カメラ座標変換)、クリッピング処理透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ(プリミティブ面の頂点位置座標テクスチャ座標色データ法線ベクトル或いはα値等)が作成される。そして、この描画データ(プリミティブ面データ)に基づいて、透視変換後(ジオメトリ処理後)のオブジェクト(1又は複数プリミティブ面)を、描画バッファ179(フレームバッファワークバッファ等のピクセル単位で画像情報を記憶できるバッファ)に描画する。これにより、オブジェクト空間内において仮想カメラ(所与の視点)から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。

0061

なお、画像生成部120が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラ右目用仮想カメラを配置設定する。そして画像生成部120が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。

0062

音生成部130は、処理部100で行われる種々の処理の結果に基づいて音処理を行い、BGM効果音、又は音声などのゲーム音を生成し、音出力部192に出力する。

0063

そして本実施形態では、画像情報取得部102が、画像センサからの画像情報を取得すると、動き情報取得部104が、画像センサからの画像情報に基づいて、操作者の動き情報を取得する。

0064

ここで動き情報としては、例えば動きベクトルなどのオプティカルフローの情報や、操作者の部位の動きを表す情報や、操作者のスケルトン情報などを想定できる。オプティカルフローの情報は、画像センサの撮像画像での操作者の動きを動きベクトルで表現した情報である。操作者の部位の動きを表す情報は、操作者の各部位がどのように動いているかを特定するための情報である。またスケルトン情報は、画像センサから見える操作者の動作を特定するための情報であり、操作者の複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は3次元座標情報により構成される。各関節を結合するものが骨(ボーン)となり、複数の骨の結合によりスケルトンが構成される。関節位置情報は骨の位置情報として用いられる。

0065

検出精度情報取得部106は、動き情報の検出精度を表す検出精度情報を取得する。この検出精度情報は、検出された動き情報の正確性や確からしさを表す情報であり、動き情報がどの程度信頼できる情報であるかを示す情報などである。なお、動き情報と検出精度情報は一体となった情報であってもよい。また例えば動き情報がスケルトン情報である場合には、検出精度情報はスケルトン情報の信頼度情報になる。この信頼度情報は、スケルトン情報により表されるスケルトンを構成する各骨(各関節)に対して、各骨の情報(位置情報、対応づけ情報)の信頼度が関連づけられた情報である。ここで、スケルトン情報は、操作者の各部位(手、足、胴体、首、頭等)に対応づけられた各骨(各関節)の位置情報を含み、この場合には、信頼度情報により表される信頼度は、操作者の各部位と各骨との対応づけと、各骨の位置情報に関する信頼度となる。

0066

但し、検出精度情報は、このようなスケルトン情報の信頼度情報には限定されず、上述のようなオプティカルフローによる動き情報や操作者の部位の動きを表す動き情報において、これらの動き情報の検出精度を表す情報であってもよい。例えば動き情報は、操作者の各部位の形状や色等が、フレーム経過に伴いどのように変化するかを表す情報であってもよく、この場合には検出精度情報は、各部位の形状や色の変化により表される動き情報の精度(確からしさ)を表す情報になる。即ちこの場合の動き情報、検出精度情報は、スケルトンを用いることなく、各部位の形状や色等だけでも判定できることとなる。

0067

そして画像生成部120は、操作者の動き情報の検出精度情報に応じて、表示部190に表示される画像の表示態様を変化させる。

0068

例えばオブジェクト制御部114がオブジェクトの制御を行う場合に、画像生成部120は、動き情報の検出精度情報に基づいて、当該オブジェクトの表示態様を変化させる。具体的には、オブジェクト制御部114が、操作者の動き情報に応じて移動又は動作するようにオブジェクトの制御を行う場合に、画像生成部120は、動き情報に応じて移動又は動作するオブジェクトの表示態様を、動き情報の検出精度情報に基づいて変化させる。ここで、操作者の動き情報に応じて移動又は動作するオブジェクトは、2次元オブジェクトであってもよいし、3次元オブジェクトであってもよい。

0069

そして画像生成部120は、検出精度情報により表される検出精度が低くなるにつれて、オブジェクトをぼかす処理(ぼかしフィルタ処理)、オブジェクトを透明に近づける処理(α値を変化させる処理)、及びオブジェクトの色を変化させる処理(ターゲット色に近づける処理)の少なくとも1つの処理を行う。或いは、動き情報の検出精度が低くなるにつれて、オブジェクトの明度(輝度)を変化させる処理、オブジェクトの輪郭線の表示態様(太さ、濃さ)を変化させる処理、オブジェクトのサイズを変化(変形)させる処理、及びオブジェクトに施されるエフェクトを変化させる処理の少なくとも1つの処理を行ってもよい。なお本実施形態でのオブジェクトの表示態様を変化させる処理は、オブジェクト(アイコン)自体を完全に消す処理も含むことができる。

0070

ここで、検出精度情報取得部106が、操作者の所定部位(例えば手、足)が操作者の他の部位(例えば、頭、他方の手・足)に近づくほど、検出精度が低くなる情報を、検出精度情報として取得したとする。この場合には、画像生成部120は、操作者の所定部位が他の部位に近づくほど、オブジェクトをぼかす処理、オブジェクトを透明に近づける処理、及びオブジェクトの色を変化させる処理の少なくとも1つの処理を行うと共に、オブジェクトのサイズを変化させる処理を行ってもよい。このようにすることで、操作者の所定部位が他の部位に近づくことで検出精度が低下したことを、操作者に直感的に認識させることが可能になる。

0071

またオブジェクトは、例えば操作者の手の動きに応じて移動又は動作する手オブジェクトであり、画像生成部120は、動き情報の検出精度情報に基づいて、手オブジェクトの表示態様を変化させてもよい。但し、オブジェクトはこのような手オブジェクトには限定されず、操作者の手以外の他の部位の動きに応じて移動又は動作するオブジェクトなどであってもよい。またオブジェクトは、操作者の所定部位の動きに応じて移動するアイコン(カーソル)であってもよい。このアイコンは、操作者の所定部位を、その所定部位を象徴する絵、記号等で表現した表示物である。

0072

またオブジェクトが、操作者の操作の対象となる操作対象オブジェクトである場合には、画像生成部120は、動き情報の検出精度情報に基づいて、操作対象オブジェクトの表示態様を変化させる。ここで、操作対象オブジェクトは、例えば映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトである。具体的には、操作対象オブジェクトは、映像機器又はゲーム装置に対してコンテンツ選択(映像チャンネル等の選択)、機器動作選択(ボリューム等の選択)、及びコンテンツ再生・記録(プレイ、停止、早送り、巻き戻し、録画等)の少なくも1つを操作指示するためのオブジェクトである。

0073

またオブジェクト制御部114は、検出精度情報により表される検出精度が低くなった場合に、操作対象オブジェクトに対する操作者の操作を制限又は不許可にする制御を行う。例えば検出精度が所定のしきい値よりも低くなると、操作対象オブジェクトに対する操作が制限されたり、操作が不許可になる。一方、オブジェクト制御部114は、検出精度情報により表される検出精度が高くなった場合に、操作対象オブジェクトに対する操作者の操作を許可する制御を行う。例えば検出精度が所定のしきい値よりも高くなると、操作対象オブジェクトに対する操作が許可される。

0074

またオブジェクト制御部114は、検出精度情報により表される検出精度が低くなるほど、操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。例えば動き情報の検出精度が低い場合には、検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数が増加し、操作者は、これらの候補オブジェクトの中から操作対象オブジェクトを選択できるようになる。

0075

また検出精度情報取得部106は、操作者の所定部位(例えば手、足等)が操作者の他の部位(例えば胴体、頭、他方の手・足等)に近づくほど、動き情報の検出精度が低くなる情報を、検出精度情報として取得する。即ち所定部位と他の部位との区別がつかなくなった場合に検出精度が低くなるような情報を、検出精度情報として取得する。或いは、検出精度情報取得部106は、操作者が画像センサから所定距離以上離れた場合に、動き情報の検出精度が低くなる情報を、検出精度情報として取得する。即ち、操作者が画像センサから遠く離れてしまい、画像センサからの画像情報から動き情報を取得できなくなったり取得するのが極めて困難になった場合に検出精度が低くなるような情報を、検出精度情報として取得する。

0076

2.本実施形態の手法
次に本実施形態の手法について具体的に説明する。

0077

2.1検出精度情報に基づく表示態様の変化処理
一般的に、ゲーム装置や、テレビや記録・再生機器等の映像機器では、コントローラ(リモコン)のボタンやレバーを用いて操作を指示する。またコントローラにモーションセンサ(6軸センサ)を設け、操作者がコントローラそのものを動かすことで操作を指示する機器も考えられる。

0078

しかしながら、このような操作インターフェースの機器では、操作にコントローラが必要になり、操作者の手の動きなどのジェスチャをそのまま反映させるような操作については実現できなかった。

0079

そこで本実施形態では、画像センサで撮像された画像情報に基づき操作者の操作入力を可能にする操作インターフェースを採用している。

0080

例えば図2(A)では、表示部190(画面SC)に対応する位置に、デプスセンサ(赤外線センサ等)やカラー画像センサ(CCDやCMOSセンサなどのRGBセンサ)により実現される画像センサISEが設置されている。この画像センサISEは、例えばその撮像方向(光軸方向)が表示部190から操作者の方に向く方向になるように設置されており、表示部190側から見た操作者のカラー画像情報やデプス情報を撮像する。なお画像センサISEは、表示部190に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。また画像ISEの設置位置は図2(A)に限定されず、任意の位置(例えば表示部190の下部)に設定できる。

0081

そして図2(A)の画像センサISEを用いて、図2(B)に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、操作者やその周り風景色情報が得られる。一方、デプス情報では、操作者やその周りの風景のデプス値奥行き値)が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置カラー値(RGB)が設定された画像情報であり、デプス情報は、その各画素位置にデプス値(奥行き値)が設定された画像情報である。なお、画像センサISEは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。

0082

デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサISE(デプスセンサ)から赤外線等の光を投射し、その投射光反射強度や、投射光が戻ってくるまでの時間(Time Of Flight)を検出することで、デプス情報を取得し、画像センサISEの位置から見た操作者などの物体シェイプを検出する。具体的には、デプス情報は、例えば画像センサISEから近い物体では明るくなり、画像センサISEから遠い物体では暗くなるグレースケールデータとして表される。

0083

なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばCMOSセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報(被写体までの距離情報)を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。

0084

そして本実施形態では、画像センサISEからの画像情報に基づき、画像センサISEから見える操作者(プレーヤ、ユーザ)の動き情報を取得する。また、動き情報の検出精度情報を取得する。そして取得された検出精度情報に基づいて画像の表示態様を変化させる。

0085

例えば図3(A)、図3(B)は、図2(A)のように表示部190の前方に立って、その体の動きにより操作情報を入力している操作者の様子を示す図である。図3(A)では、操作者は、自身の体(胴体)から手を離した状態で、手を動かすことで操作情報を入力している。一方、図3(B)では、自身の体に手が近い状態で、手を動かすことで操作情報を入力している。

0086

図3(A)では、手と胸は遠くなっているため、手の動き情報の検出精度は高くなり、手の位置情報等は、より正確で確からしい情報になっている。一方、図3(B)では、手と胸は近くなっているため、手の動き情報の検出精度は低くなり、手の位置情報等は、図3(A)に比べて不正確不確かな情報になっている。即ち図3(B)では、実際には胸の位置情報であるものを、手の位置情報として誤認識している可能性がある。

0087

そして、本来は操作者は図3(A)のような状態の手の動きで操作すべきであるのに、図3(B)のような状態の手の動きでの操作を許容すると、操作者の操作をシステム側が誤認識してしまうおそれがある。即ち、システム側が認識した操作と、操作者が意図する操作との間に不一致が生じるおそれがある。

0088

そこで本実施形態では、図3(B)のような不適切操作状態になっていることを操作者に認知させるために、図4(A)、図4(B)に示すように動き情報の検出精度情報に基づいて画像の表示態様を変化させている。

0089

例えば図4(A)において、HR、HLは、操作者の手(広義には所定部位)に対応して表示部190に表示される手オブジェクト(アイコン、カーソル)である。またCHは、操作者に対応するキャラクタ(アバター)のオブジェクトである。

0090

そして図3(A)のように操作者が手を動かすと、その手の動きに応じて図4(A)の手オブジェクトHR、HLが移動(又は動作)する。例えば操作者が右手上下左右に動かすと、右手オブジェクトHRが画面上で上下左右に移動し、操作者が左手を上下左右に動かすと、左手オブジェクトHLが上下左右に移動する。操作者は、このように手オブジェクトHR、HLを動かすことで、プレイしたいミニゲームを選択したり、ゲームのスタートを選択する。

0091

そして図4(A)は、図3(A)のように手が体から離れた状態の時に表示される画像の例であり、図4(B)は、図3(B)のように手が体の近くにある状態の時に表示される画像の例である。

0092

図3(A)のように動き情報の検出精度が高いと考えられる状態では、図4(A)に示すように、手オブジェクトHR、HLは、はっきりとした画像になる。一方、図3(B)のように、動き情報の検出精度が低いと考えられる状態では、図4(B)に示すように、手オブジェクトHR、HLは、図4(A)に比べて例えばぼけた画像になったり、透明に近づいた画像になる。或いは手オブジェクトHR、HLの色が薄い色等に変化する。

0093

このように本実施形態では、操作者の手の情報の検出精度が低くなるにつれて、手(所定部位)に対応する手オブジェクトHR、HL(広義にはオブジェクト)をぼかす処理、透明に近づける処理、或いは色を変化させる処理などを行う。

0094

ぼかし処理は、例えば手オブジェクトHR、HLに対してぼかしフィルタ等を適用することなどで実現できる。具体的には、バイリニアフィルタリングによるぼかし処理である線形テクスチャフィルタリングの手法や、何枚ものテクスチャを同時に使用するマルチテクスチャによるぼかし処理であるボックスフィルタサンプリングの手法などを採用できる。透明に近づける処理は、手オブジェクトHR、HLのα値を、透明に近いα値に変化させることで実現できる。色を変化させる処理は、手オブジェクトHR、HLをターゲット色に近づけることで実現できる。

0095

なお手オブジェクトHR、HLの表示態様の変化処理は、これらの処理には限定されない。例えば動き情報の検出精度が低くなるにつれて、手オブジェクトHR、HLの明度(輝度)を変化させる処理や、輪郭線の表示態様を変化させる処理や、サイズを変化させる処理や、オブジェクトHR、HLに施されるエフェクトを変化させる処理などを行ってもよい。例えば動き情報の検出精度が低くなるにつれて、手オブジェクトHR、HLの明度を暗くしたり、輪郭線を薄くしたり、細くしたり、サイズを拡大又は縮小する。或いは、手オブジェクトHR、HLに施されるエフェクトを用いて、上述した処理と同等の映像効果を実現してもよい。例えば検出精度が下がるほど、フォグエフェクトがオブジェクトHR、HL(アイコン)に重畳されて行くことで、オブジェクトHR、HLが見えにくくなり、オブジェクトHR、HLをぼかす処理等と同等の効果を得るようにする。或いは、検出精度が下がるほど、オブジェクトHR、HL(アイコン)を囲むように別のオブジェクト(アイコン)が重畳されて行くことで、オブジェクトHR、HLをぼかす処理等と同等の効果を得るようにする。或いは、信頼度の低下を警告するような吹き出しやアイコン等のエフェクトを、オブジェクトHR、HLに重畳して表示することで、信頼度の低下を操作者に伝えるようにしてもよい。

0096

或いは動き情報の検出精度に応じて手オブジェクトHR、HLを変形させてもよい。また動き情報の検出精度に基づいて、図4(A)、図4(B)のキャラクタCH(アバター)の画像の表示態様(ぼかし度、透明度、色等)を変化させてもよい。また、動き情報の検出精度が低くなった場合に、検出精度が低くなったことを警告するアイコンオブジェクトを表示してもよい。

0097

以上のように、動き情報の検出精度に応じて手オブジェクトHR、HLの表示態様を変化させれば、手の操作についての検出精度が低下していることを、操作者は容易に把握できるようになる。例えば図3(B)のように手が体に近い状態で操作している場合には、図4(B)のように手オブジェクトHR、HLがぼけた画像になるため、これを見た操作者は、図3(A)のように手を伸ばして操作するようになる。従って、結局、操作者は、図3(A)のように動き情報の検出精度が高い状態で手を動かして操作を行うようになり、操作者の操作が誤認識されてしまう事態を抑止できる。従って、誤操作等が抑止され、快適な操作インターフェース環境を操作者に提供できる。

0098

なお図5では、動き情報の検出精度に基づいて、手オブジェクトHR、HLのぼかし処理や透明に近づける処理等を行うと共に、手オブジェクトHR、HLのサイズを変化させる処理を行っている。具体的には、手オブジェクトHR、HLのサイズを拡大する(或いは逆に縮小してもよい)。このようにすれば、操作者は、手が体に近づいたことが原因で動き情報の検出精度が低下して、手オブジェクトHR、HLがぼけた画像になったということを、直感的に認識できるようになる。従って、検出精度の低下を、より直感的に認識できる表示態様変化処理を実現できる。

0099

また、画像の表示態様を変化させる処理は、検出精度自体の値を用いるものには限定されない。例えば検出精度情報により表される検出精度の変化の予測情報(変化率情報、傾き情報)に基づいて、表示部190に表示される画像の表示態様を変化させてもよい。

0100

例えば図6(A)のA1では、動き情報の検出精度が所定のしきい値VTCよりも低くなっているため、図4(B)のように手オブジェクトHR、HL等の表示態様を変化させる。

0101

これに対して図6(B)のA2では、検出精度自体はしきい値VTCよりも低くなっていないが、検出精度の変化から、検出精度がしきい値VTCよりも低下することが予測されている。即ち、検出精度の減少の変化が急激であるため、近い将来にしきい値VTCを下回ることが予測されている。

0102

このような場合には、検出精度がしきい値VTCよりも低くなっていなくても、検出精度の変化の予測情報に基づいて、図4(B)のように手オブジェクトHR、HL等の表示態様を変化させる。このようにすれば、操作者は、動き情報の検出精度がしきい値VTCを下回る前に、自身の操作が動き情報の検出精度を低下させる操作になっていることを、認識できるようになる。従って、操作者は、検出精度がしきい値VTCを下回る前に、例えば手の位置を図3(B)から図3(A)の状態に戻すようになる。この結果、操作者は、動き情報の検出精度が高い値に維持された状態で、操作を継続することが可能になり、操作者の操作の誤認識を更に抑止することができ、安定した操作インターフェース環境を提供できる。

0103

2.2スケルトン情報、信頼度情報
本実施形態の動き情報としては、前述のように、オプティカルフローの情報や、操作者の部位の動きを表す情報や、操作者のスケルトン情報などを想定できる。そして動き情報がスケルトン情報である場合には、検出精度情報として、スケルトン情報の信頼度情報を用いることができる。以下、このスケルトン情報と信頼度情報について説明する。

0104

例えば本実施形態では図7に示すように、図2(B)のデプス情報等に基づいて、操作者の動作を特定するためのスケルトン情報(動き情報)を取得する。図7ではスケルトン情報として、スケルトンを構成する骨の位置情報(3次元座標)が、関節C0〜C19の位置情報として取得されている。このスケルトンを構成する各骨は、画像センサISEに映る操作者の各部位(手、足、胸等)に対応するものであり、関節C0〜C19は、画像センサISEに映る操作者の関節に対応するものである。

0105

例えば図2(B)のデプス情報を用いれば、画像センサISE側から見た操作者等の3次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などにより操作者の顔等の部位の領域も特定できる。そこで、これらの3次元形状の情報等や画像の動きベクトル(オプティカルフロー)などを用いて、操作者の各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の2次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の3次元座標情報を求め、図7に示すようなスケルトン情報を取得する。更に具体的には、体型・体格が異なる複数のモデルを用意する。そして画像センサISEにより得られた操作者のデプス情報やカラー画像情報を用いて、操作者の体型・体格と、これらの複数のモデルの体型・体格とのマッチング処理を行い、体型・体格が類似するモデルを特定する。そして、特定されたモデルの関節位置の情報等を用いて、操作者の関節位置(骨の位置、部位の位置)を推定して、スケルトン情報を取得する。

0106

このようなスケルトン情報を用いれば、操作者の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばキャラクタのモーションデータとして利用することで、オブジェクト空間において、操作者に対応するキャラクタ(アバター)を動作させることが可能になる。

0107

しかしながら、操作者の動きや体型・体格は種々様々である。また操作者が画像センサISEの撮像範囲の外に出てしまう場合もある。従って、完全に100パーセントの信頼度のスケルトン情報を取得することは困難である。このため、操作者のスケルトンの骨(部位)を完全にはトラッキングできない場合には、骨の位置(関節位置)の推測処理を行い、推測処理により得られた骨の位置等に対しては、その推測処理の確からしさの程度を表す信頼度(広義には検出精度)を関連づける。

0108

例えば図8(A)にスケルトン情報(広義には動き情報)のデータ構造の例を示す。このスケルトン情報は、各骨(各関節)に対して、その位置情報が関連づけられている。この各骨(各関節)の位置情報は、例えば画像センサISEのカメラ座標系での3次元座標情報である。また、各骨(各関節)は、操作者の各部位に対応づけられている。例えばC0、C1、C2は、各々、腰、胸、首の部位に対応づけられている。この対応づけは、骨の番号(関節番号)などにより実現される。

0109

図8(B)に信頼度情報(広義には検出精度情報)のデータ構造の例を示す。図8(B)に示すように、本実施形態の信頼度情報は、スケルトン情報により表されるスケルトンを構成する各骨(各関節)に対して、信頼度が関連づけられた情報である。この信頼度は、各骨の情報の信頼度を表している。具体的には、図8(A)に示すように、スケルトン情報は、操作者の各部位に対応づけられた各骨の位置情報を含み、図8(B)の信頼度は、操作者の各部位と各骨(各関節)との対応づけや、各骨(各関節)の位置情報に関する信頼度である。なお、「骨」と「関節」は対応しているため、以下では、適宜、「骨」を「関節」として説明したり、「関節」を「骨」として説明する。

0110

例えば図9(A)において、関節C1とC7の距離は遠く離れている。PR1、PR7は関節C1、C7の位置についての存在確率の範囲を表すものである。例えば、ある測定タイミングで関節C1、C7が図9(A)に示す位置にあった場合には、次の測定タイミングにおいても、関節C1、C7の位置は、これらの存在確率の範囲PR1、PR7内に位置することが予想される。骨のトラッキングによるスケルトン情報の推定処理の際には、この存在確率の概念を用いる。そして、図9(A)に示すように関節C1、C7の距離が離れている場合には、存在確率の範囲PR1、PR7の間に重なりが無いため、関節C1、C7の情報(部位との対応づけや位置情報)の信頼度(検出精度)は高い。

0111

一方、図9(B)では関節C1、C7の距離が近づいており、存在確率の範囲PR1、PR7の間に重なりが生じている。従って、この場合には、次の測定タイミングで、関節C1をC7と判断したり、関節C7をC1と判断してしまう可能性があり、骨のトラッキングの推定処理の際に、誤った判断をする可能性がある。従って、図9(B)の場合には、図9(A)に比べて関節C1、C7の情報(部位への対応づけや位置情報)の信頼度(検出精度)が低くなる。

0112

また図10(A)では、画像センサISEと操作者の距離が適正な距離になっている。従って、画像センサISEの撮像により得られる画像情報の信頼度(解像度等)が高くなり、この画像情報から得られるスケルトン情報(動き情報)の信頼度(検出精度)も高くなる。

0113

一方、図10(B)では、画像センサISEと操作者の距離が長く、操作者が画像センサISEから所定の距離(許容距離)LM以上離れている。従って、画像センサISEの撮像により得られる画像情報の信頼度が低くなり、この画像情報から得られるスケルトン情報動き情報)の信頼度(検出精度)も低くなる。

0114

以上のように本実施形態で用いられる信頼度情報(検出精度情報)は、例えば図9(A)、図9(B)に示すように操作者の所定部位(例えば手、足)が他の部位(例えば胸、腰、頭、他方の手・足)に近づくほど信頼度(検出精度)が低くなる情報である。また図10(A)、図10(B)に示すように、操作者が画像センサISEから所定距離LM(例えば4〜5m)以上離れた場合に信頼度(検出精度)が低くなる情報である。但し本実施形態の信頼度情報(検出精度情報)は、これに限定されない。例えば他の人間が近づくことで、操作者の認識の精度が低下し、操作者のスケルトン情報(動き情報)の信頼度(検出精度)が低くなるような情報であってもよい。例えば本実施形態では、所定人数分(例えば2人分)の操作者のスケルトン情報を同時に検出できるようになっている。従って、画像センサISEにより撮像された操作者の人数が、この所定人数を超えた場合(例えば3人以上になった場合)には、これらの操作者のスケルトン情報の確実な認識が難しくなるため、信頼度(検出精度)が下がったと判断してもよい。

0115

2.3検出精度情報に応じたオブジェクト制御
本実施形態では、動き情報の検出精度情報(信頼度情報)に応じたオブジェクト制御を行うことができる。例えば図11(A)では、操作者は、両手を前に出して、物を持つ動作を行っている。この時、表示部190には図11(B)に示すようなゲーム画像が表示されている。HR、HLは操作者の右手、左手に対応する手オブジェクトであり、図11(A)のように操作者が物を持つ動作を行うと、その動きに連動して手オブジェクトHR、HLも移動又は動作する。そして操作者は、図11(B)の画像を見ながら、操作対象となるオブジェクトOBCをつかみ、指示された方向にオブジェクトOBCを移動する操作を行って、ミニゲームを楽しむ。

0116

図11(A)では、操作者の右手と左手は重なっておらず、体からも離れた位置にある。従って、操作者の手に対応する骨(関節)の情報の検出精度(信頼度)は高くなっている。従って、この場合には図11(B)に示すように手オブジェクトHR、HLは、はっきりとした画像になる。また、手オブジェクトHR、HLの移動(動作)は制限されておらず、操作者の手(所定部位)の動きに応じて手オブジェクトHR、HLは移動又は動作するように制御される。

0117

一方、図12(A)では、操作者の右手と左手が交差している。このため、図9(B)のように手の存在確率の範囲に重なりが生じており、操作者の手に対応する骨(関節)の情報の検出精度(信頼度)は低くなっている。従って、この場合には図12(B)に示すように手オブジェクトHR、HLに対してぼかし処理や透明に近づける処理が行われる。また、手オブジェクトHR、HLの移動又は動作が制限又は停止される。即ち、操作者が手を動かしても、手オブジェクトHR、HLは、この動きに連動することはなく、移動又は動作が制限又は停止する。従って、操作者は、操作対象オブジェクトOBCをつかむことはできず、ゲームを進めることができなくなる。

0118

操作者は、手オブジェクトHR、HLがぼけた画像になっており、手を動かしても動かないことから、自身の手の状態が図12(A)のように両手が交差した不適切な状態等であることを認識する。そして、手の状態を図11(A)に示すような状態に戻して、手を動かすことで、手オブジェクトHR、HLがはっきりした画像に戻り、手の動きに連動して手オブジェクトHR、HLも動くようになり、ゲームを進めることが可能になる。

0119

このように本実施形態では、動き情報の検出精度が低い場合には、操作者の動きに連動したオブジェクトの移動又は動作を制限又は停止している。このため、不適切な状態での操作者の操作は受け付けられないようになる。従って、操作者の操作を誤認識して、操作者が意図しない不適切な操作が行われたり、不適切な操作によりシステムの処理が破綻してしまうなどの事態を抑止できる。

0120

図13(A)では、操作者が、ハンドルの形を模したハンドル型コントローラを持って、ゲームをプレイしている。表示部190には、図14(A)に示すような画像が表示され、操作者がハンドル型コントローラを左右に回すと、これに連動してハンドルオブジェクトHDも左右に回り、レースカーのオブジェクトOBDも、左右にコーナリングする。これにより、操作者は、リアル操作感覚でのレースゲームを楽しむことができる。

0121

一方、図13(B)では、操作者がハンドル型コントローラから右手を離して、頭の方に持って行っている。この場合には図9(B)のように存在確率範囲が重なる事態が発生し、右手の骨(関節)の情報の検出精度(信頼度)が低下する。或いは図10(A)、図10(B)で説明したように、操作者が画像センサISEから一時的に離れたような場合にも検出精度(信頼度)が低下する。

0122

しかしながら、この時に図14(A)では、ハンドルオブジェクトHDやレースカーオブジェクトOBDの移動又は動作を直ぐには制限又は停止せずに、制限又は停止制御の実行を所定ウェイト期間だけウェイトする。そしてウェイト期間の間は、レースカーオブジェクトOBDは所定のアルゴリズムに従って自動走行する。そしてウェイト期間が経過した後に、ハンドルオブジェクトHDやレースカーオブジェクトOBDの移動又は動作の制限又は停止制御が実行される。

0123

具体的にはウェイト期間の経過後にゲーム進行ポーズが行われて、図14(B)に示すような選択画面が表示部190に表示される。この選択画面において、操作者は、ゲームプレイを継続するか否かを(オブジェクトの制御を継続するか否かを)、選択できる。そしてゲームプレイの継続を選択すると、操作者は、図13(A)のようなハンドル型コントローラの操作を行うことで、例えばゲーム進行のポーズ時点からのゲームプレイを続行できる。一方、ゲームプレイの終了を選択すると、オブジェクトの移動又は動作が制限又は停止され、ゲームが終了する。

0124

このように、動き情報の検出精度が低くなった場合に、直ぐにはオブジェクトの移動又は動作を制限又は停止せずに、所定のウェイト期間を設定することで、例えば操作者が図13(B)に示すような、ちょっとした動きをした場合にも、オブジェクトの移動又は動作が制限又は停止しないようになる。これにより、スムーズなゲーム進行を実現できる。そして、ウェイト期間の経過後に図14(B)に示すような選択画面を表示することで、操作者の動きが、図13(B)に示すような、ちょっとした動きなのか、ゲームプレイの終了を意図する動きなのかを、容易に判定することができ、操作者の意図をより反映したゲーム操作を実現できる。

0125

2.4検出精度情報に応じたゲーム演算処理
本実施形態では、動き情報の検出精度情報(信頼度情報)に応じたゲーム演算処理を行うことができる。具体的には検出精度情報に応じたゲーム結果演算処理を行ったり、ゲーム進行処理を行う。

0126

例えば図15(A)、図15(B)は本実施形態を音楽ゲームに適用した場合の例である。図15(A)では、操作者は、太鼓ゲームにおいて太鼓を叩く手の動きを行っている。そして、操作者の太鼓を叩く手の動きのタイミングが、ゲーム装置から流れる音楽基準タイミングリズム)に一致すると、操作者の得点ポイント)が加算される。

0127

そして図15(A)では、操作者は、体から離れた位置で手を動かしており、動き情報の検出精度が高い状態で、太鼓を叩く手の動きを行っている。従ってこの状態で、図15(B)のように操作者の手の動きのタイミングが音楽の基準タイミングに正確に一致すると、操作者に対して高評価が与えられ、操作者の得点に対して高得点が加算される。

0128

一方、図16(A)では、操作者は、体に近い位置で手を動かしており、動き情報の検出精度が低い状態で、太鼓を叩く手の動きを行っている。従ってこの状態で、図16(B)のように操作者の手の動きのタイミングが音楽の基準タイミングに正確に一致したとしても、図15(B)に比べて、操作者に与えられる評価は低くなり、加算される得点も低くなる。

0129

このように図15(A)〜図16(B)では、動き情報の検出精度に応じたゲーム結果演算処理を行っている。例えば図16(A)、図16(B)のように動き情報の検出精度が低い場合のゲーム結果が、図15(A)、図15(B)のように検出精度が高い場合のゲーム結果に比べて低いゲーム結果になるように、ゲーム結果演算処理が行われる。例えば図15(A)、図15(B)のように動き情報の検出精度が高い場合には、高いランクの評価(VERY VERY GOOD)が操作者に与えられるのに対して、図16(A)、図16(B)のように検出精度が低い場合には、図15(A)、図15(B)よりも低いランクの評価(GOOD)が操作者に与えられる。このようにすれば、適正な手の位置で正しい手の動きを行った操作者に対して高い評価が与えられるようになり、操作の誤認識の抑止や、安定したゲーム演算処理の実現が可能になる。なお、逆に、検出精度が低い場合のゲーム結果が、検出精度が高い場合のゲーム結果に比べて高いゲーム結果になるように、ゲーム結果演算処理を行ってもよい。即ち、動き情報の検出精度が低い場合には、操作情報の正しい検出ができないため、判定から漏れている操作者の操作も存在すると考えられ、この点を推定して、その操作者に得点を加算するようにする。

0130

なお、図15(A)〜図16(B)では、動き情報の検出精度に応じたゲーム結果演算処理の例について説明したが、本実施形態はこれに限定されない。例えば検出精度に応じたゲーム進行処理等のゲーム演算処理を行ってもよい。例えば、操作者の手の位置等が正しい位置にあることを条件に、ゲームを進行させ、正しい位置にない場合にはゲーム進行を停止したり制限してもよい。また、ゲーム結果演算処理に検出精度を反映されるゲームも図15(A)〜図16(B)のような音楽ゲームには限定されず、種々のゲームへの適用が可能である。

0131

2.5映像機器等への適用例
以上では本実施形態の手法をゲーム装置に適用した場合について主に説明したが、本実施形態の手法はゲーム装置以外の種々の機器に適用できる。

0132

例えば図17(A)は、映像機器の1つであるテレビ(表示装置)への本実施形態の手法の適用例である。図17(A)において、操作対象オブジェクトOBD、OBE、OBF、OBG、OBHは、操作者の操作の対象となるオブジェクトであり、例えば映像機器(又はゲーム装置)に対して操作指示を行うためのオブジェクトである。具体的には、映像機器(ゲーム装置)に対してコンテンツ選択、所定の機器動作、及びコンテンツ再生・記録の少なくも1つを操作指示するためのオブジェクトである。例えばOBD、OBE、OBFは、各々、チャンネル選択(広義にはコンテンツ選択)、ボリュームの操作(広義には機器動作の選択)、消音の操作(広義には機器動作の選択)を行うための操作対象オブジェクトである。OBG、OBHは、各々、コンテンツの再生・記録操作(プレイ、停止、早送り、巻き戻し、録画等)、放送種別地上デジタル放送衛星放送等)の選択操作を行うための操作対象オブジェクトである。

0133

操作者は、チャンネルを切り替えたい場合には、表示部190の方に手を伸ばし、手オブジェクトHRの位置をチャンネル操作用の操作対象オブジェクトOBDの位置に合わせる。そして手を回すなどの操作を行うことで、チャンネルを切り替えて、所望の放送番組視聴する。

0134

また操作者は、ボリュームを変えたい場合には、手を伸ばして、手オブジェクトHRの位置をボリューム操作用の操作対象オブジェクトOBEの位置に合わせる。そして手を左右に動かすなどの操作を行うことで、音のボリュームを変更する。同様に消音を行いたい場合には、手オブジェクトHRの位置を消音操作用の操作対象オブジェクトOBFの位置に合わせて、手の指で押すなどの操作を行うことで、音声を消音する。操作対象オブジェクトOBG、OBHの操作も同様にして実現できる。

0135

そして、操作者が手を伸ばしており、右手と左手が交差していないというように、動き情報の検出精度が高い場合には、図17(A)に示すように操作対象オブジェクトOBD〜OBHや手オブジェクトHR、HLは、はっきりとした画像で表示部190に映し出される。

0136

また、動き情報の検出精度が高い場合には、操作対象オブジェクトOBD〜OBHの操作が許可され、操作者の手等の動きに応じて操作対象オブジェクトOBD〜OBHが操作されるようになる。即ち、操作者は、手を回したり、手を左右に動かすことで、チャンネル用の操作対象オブジェクトOBDを操作したり、ボリューム用の操作対象オブジェクトOBEを操作できる。

0137

一方、操作者の手が体の近くにあったり、右手と左手が交差しているというように、動き情報の検出精度が低い場合には、図17(B)に示すように、操作対象オブジェクトOBD〜OBHや手オブジェクトHR、HLは、ぼかした画像や透明に近い画像(或いは透明な画像)になる。即ち、動き情報の検出精度情報に基づいて操作対象オブジェクトOBD〜OBHや手オブジェクトHR、HLの表示態様が変化し、検出精度が低い場合には、操作対象オブジェクトOBD〜OBHに対してぼかし処理、透明に近づける処理などが行われるようになる。なお動き情報の検出精度が低い場合に、図17(B)において手オブジェクトHRが触れている操作対象オブジェクトOBDの方の表示態様を変化させてもよい。例えば、手オブジェクトHRについては表示態様を変化させずに、操作対象オブジェクトOBDの表示態様(ぼかし度、透明度、色等)だけを変化させる。これにより操作対象オブジェクトOBDに対する操作は適正に実行できないことを、操作者は把握できるようになる。

0138

また、動き情報の検出精度が低い場合には、操作対象オブジェクトOBD〜OBHに対する操作者の操作が制限又は不許可にされる。即ち、操作者が、手を回したり、手を左右に動かしても、チャンネル用の操作対象オブジェクトOBDやボリューム用の操作対象オブジェクトOBEに対する操作は実行されない。

0139

このようにすれば、例えば操作者が手を伸ばすことで、図17(A)に示すように操作対象オブジェクトOBD〜OBHが画面に映し出され、これらの操作対象オブジェクトOBD〜OBHを操作することで、コンテンツ(映像、音)選択の操作や、機器動作の操作や、コンテンツ再生・記録の操作を行うことが可能になる。

0140

一方、操作者が手を体の方に近づけて曲げる等の動きをすると、図17(B)に示すように操作対象オブジェクトOBD〜OBHがぼけて薄い画像になったり、透明になって見えないようになる。従って、画面上において操作対象オブジェクトOBD〜OBHが目立たなくなり、操作者は、映像等のコンテンツの視聴を妨げられることなく楽しめるようになる。

0141

以上のように本実施形態では、動き情報の検出精度が低くなった場合には、操作対象オブジェクトOBD〜OBHに対する操作者の操作が制限又は不許可にされる。一方、検出精度が高くなった場合には、操作対象オブジェクトOBD〜OBHに対する操作者の操作が許可される。従って、これまでにないタイプの操作インターフェース環境を操作者に提供できる。

0142

また本実施形態では、動き情報の検出精度が低くなるほど、操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。即ち、検出精度が低い場合には、検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数を増加させる。

0143

例えば図18(A)では、操作者は手を伸ばして手を回す操作を行っている。このように手を伸ばして、手が体の他の部位から遠ざかると、動き情報の検出精度が高くなる。また、操作者は手を回しており、チャンネルの操作であることを認識できる。従って、この場合には候補オブジェクトは、1つの操作対象オブジェクトOBDだけになり、手を回すことで、チャンネル操作用の操作対象オブジェクトOBDを用いたチャンネルの切換操作が行われるようになる。

0144

また図18(B)では、操作者は手を伸ばして手を左右に動かす操作を行っている。このように手を伸ばして、手が体の他の部位から遠ざかると、動き情報の検出精度が高くなる。また、操作者は手を左右に動かす操作を行っており、ボリュームの操作であることを認識できる。従って、この場合には候補オブジェクトは、1つの操作対象オブジェクトOBEだけになり、手を左右に動かすことで、ボリューム操作用の操作対象オブジェクトOBEを用いた音量ボリューム上げ下げする操作が行われるようになる。

0145

一方、図18(C)では、操作者は手を曲げている。このように手を曲げると、手が他の部位に近くなり、動き情報の検出精度が低くなる。また、図18(A)、図18(B)のようなチャンネル操作、ボリューム操作を行っていることを確定できない。従って、この場合には、図18(A)、図18(B)のように検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数を増加させる。即ち、図18(A)、図18(B)では、操作対象オブジェクトの候補オブジェクトの数は1個であったが、図18(C)では、例えば3個になる。そして、この状態で、操作者が、右手オブジェクトHRの位置を所望のオブジェクトの位置に合わせることで、操作者が所望する操作を行うことが可能になる。

0146

即ち、図18(A)、図18(B)のように動き情報の検出精度が高い場合には、手を回したり、手を左右に動かすという1回の手の動きで、チャンネル操作やボリューム操作が選択される。これに対して図18(C)では、まず、複数の候補オブジェクトを表示し、その後に、操作者が候補オブジェクトの中から操作対象オブジェクトを選択することで、操作者が所望する操作を行うことが可能になる。

0147

なお、操作者による想定外の動作により、誤認識が発生してしまう事態等を防止するために、システム側が想定している各正解動作(例えば手を回す動作、手を左右に動かす動作等)に対して複数の候補動作パターンをテーブルとして用意しておいてもよい。そして、画像センサにより認識された操作者の動作と、これらの複数の候補動作パターンとのマッチング処理を行い、操作者の動作が正解動作に該当するか否かを判断する。例えば図18(B)において、操作対象オブジェクトOBEを操作するために手を横に振る動作としては、操作者が表示部190の画面に正対して、手を横に振る第1の動作パターンの他に、操作者が寝転びながら、手を縦に振る第2の動作パターンが考えられる。従って、これらの第1、第2の動作パターンを候補動作パターンとして用意しておき、操作者の動作とのパターンマッチング処理を行うことで、操作者の動作が正解動作なのか否かを判定できる。また、例えばボタンを押す動作と、物をつかむ動作の判別は難しいが、ボタンを押す動作として、想定できるあらゆるパターンの候補動作パターンを用意して、パターンマッチングを行えば、ボタンを押す動作を、物をつかむ動作として誤認識してしまう事態も防止できるようになる。

0148

図19(A)、図19(B)は、映像機器の1つである録画・再生機器(HDDレコーダDVDレコーダ等)への本実施形態の手法の適用例である。例えば図19(A)に示すように、操作者が手を伸ばしていない状態で、例えば左手オブジェクトHLで番組表を選択すると、番組表の概略表示が行われる。この時、右手、左手オブジェクトHR、HLは、動き情報の検出精度が低いため、ぼけた画像や透明に近い画像になっている。

0149

一方、図19(B)では、操作者が手を伸ばしており、動き情報の検出精度が高いため、右手、左手オブジェクトHR、HLは、はっきりとした画像になっている。また、番組表の詳細が表示されると共に、例えば番組表において右手オブジェクトHRにより選択された番組の録画等を、左手オブジェクトHLで選択できるようになる。また、左手オブジェクトHLにより、録画の画質(HD、HP、LP、SP)や放送番組の種別(地上デジタル放送、衛星放送、CATV)についても、選択できるようになる。更に、右手オブジェクトHRにより選択された番組の内容も詳細に表示されるようになる。

0150

このように本実施形態の手法によれば、テレビや録画・再生機器等の映像機器においても、これまでにない利便性の高い操作インターフェース環境を提供できる。

0151

2.6 詳細な処理例
次に本実施形態の詳細な処理例について図20図23のフローチャートを用いて説明する。図20は全体的な処理を示すフローチャートである。

0152

まず、図2(A)、図2(B)で説明したように画像センサからの画像情報を取得する(ステップS1)。次に、画像情報に基づき操作者の動き情報(例えばスケルトン情報)を取得する(ステップS2)。また、動き情報に対応する検出精度情報(例えば信頼度情報)を取得する(ステップS3)。そして、検出精度情報に基づくオブジェクトの制御処理、ゲーム演算処理、画像の表示態様変化処理を実行する(ステップS4)。

0153

図21は、動き情報の検出精度情報を用いた画像の表示態様の変化処理の具体例を示すフローチャートである。

0154

まず、操作者の動き情報(スケルトン情報の手の骨の位置等)に基づき、手オブジェクトの描画位置を求める(ステップS11)。そして手等の動き情報(手の骨等)についての検出精度(信頼度)を取得する(ステップS12)。

0155

次に、取得された検出精度に基づいて、手オブジェクトのぼかし度合、α値、色等を設定する(ステップS13)。そして、このようにぼかし度合、α値、色等が設定された手オブジェクト、キャラクタ等の描画処理を実行する(ステップS14)。このようにすることで、図4(A)、図4(B)に示すような画像の表示態様の変化処理を実現できる。

0156

図22は、動き情報の検出精度情報を用いたオブジェクトの制御処理の具体例を示すフローチャートである。

0157

まず、操作者の手等の動き情報についての検出精度(信頼度)を取得する(ステップS21)。そして、取得された検出精度が所定しきい値以下か否かを判断する(ステップS22)。

0158

検出精度が所定しきい値以下である場合には、図14(A)で説明したようにオブジェクトの移動、動作の自動制御を行う(ステップS23)。そして、所定のウェイト期間が経過したか否かを判断し、経過していない場合にはステップS21に戻る。一方、ウェイト期間が経過した場合には、図14(B)で説明したようにゲーム進行のポーズ処理を行う(ステップS25)。そして、操作者がゲームプレイの継続、終了を選択するための選択画面を表示する(ステップS26)。そして、操作者がゲームプレイの終了を選択したか否かを判断し(ステップS27)、ゲームプレイの終了を選択した場合には、ゲームを終了する(ステップS28)。一方、ゲームプレイの継続を選択した場合には、ゲーム進行を継続する(ステップS29)
図23は、動き情報の検出精度情報を用いたゲーム演算処理の具体例を示すフローチャートである。

0159

まず、操作者の動き情報を取得する(ステップS31)。そして取得された動き情報に基づいて、ゲーム演算処理を行い、ゲーム結果を判定する(ステップS32)。

0160

次に、動き情報に対応する検出精度情報を取得する(ステップS33)。そして、ゲーム結果判定の対象となる部位(骨)の検出精度が所定しきい値以下か否かを判断する(ステップS34)。そして図15(A)〜図16(B)で説明したように、所定のしきい値以下であった場合には、操作者の獲得ポイントのレベルを1ランク下げる処理を行う(ステップS35)。このようにすることで、動き情報の検出精度を反映させたゲーム演算処理を実現できる。

0161

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(動き情報、検出精度情報、所定部位、オブジェクト等)と共に記載された用語(スケルトン情報、信頼度情報、手、手オブジェクト等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、動き情報(スケルトン情報)の取得手法、検出精度情報(信頼度情報)の取得手法、画像の表示態様の変化手法、オブジェクトの制御手法、ゲーム演算手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステムシミュレータマルチメディア端末、ゲーム画像を生成するシステムボード携帯電話、映像機器、音響機器家電機器等の種々の画像生成システムに適用できる。

0162

ISE画像センサ、SC画面(スクリーン)、HL、HR手オブジェクト、
CHキャラクタ(アバター)、C0〜C19 関節(骨)、
OBC〜OBHオブジェクト、
100 処理部、102画像情報取得部、104動き情報取得部、
106検出精度情報取得部、110ゲーム演算部、112オブジェクト空間設定部、
114オブジェクト制御部、118仮想カメラ制御部、120画像生成部、
130 音生成部、160 操作部、170 記憶部、171画像情報記憶部、
172カラー画像情報記憶部、173デプス情報記憶部、
174 動き情報記憶部、175 検出精度情報記憶部、
176オブジェクトデータ記憶部、177モーションデータ記憶部、
178モデルデータ記憶部、179描画バッファ、180情報記憶媒体、
190 表示部、192音出力部、194補助記憶装置、196通信部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ