図面 (/)

技術 情報処理装置、情報処理システム、操作用オブジェクト、および情報処理方法

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 石田隆行大場章男稲田徹悟
出願日 2016年8月22日 (4年4ヶ月経過) 出願番号 2016-162288
公開日 2018年3月1日 (2年10ヶ月経過) 公開番号 2018-032111
状態 特許登録済
技術分野 イメージ分析
主要キーワード 特徴面 線二色性 積み木 正十二面体 天頂角θ 光検出層 読み取り単位 同一方位
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

撮影画像を用いて、状況によらず安定的に多様な情報を取得する。

解決手段

操作用オブジェクト多面体130を含む。多面体130は、立方体の各頂点を異なる角度で切り取ってなる特徴面132a、132b、132c、132dを含む。情報処理装置はその偏光画像から各面の法線ベクトルを取得する。そして互いに直交する基準面の法線ベクトルN1、N2、N3の平均ベクトルNaと、基準面に囲まれた特徴面132bの法線ベクトルN0とのなす角度を特徴量として当該特徴面132bを特定する。特定結果とその法線ベクトルを用いて、操作用オブジェクトの位置や姿勢を取得する。

概要

背景

近年、電子ゲームなどの情報処理の分野では、撮影画像に基づきユーザの動き入力情報としてリアルタイムに取り込むことで、直感的な操作や臨場感のある画像表現が実現されてきた。例えば所定色発光するマーカーを備えた装置をコントローラとして、その撮影画像を入力情報とすることでユーザの動きを特定し、それに応じた情報処理を実施する技術が実用化されている(例えば特許文献1参照)。

概要

撮影画像を用いて、状況によらず安定的に多様な情報を取得する。操作用オブジェクト多面体130を含む。多面体130は、立方体の各頂点を異なる角度で切り取ってなる特徴面132a、132b、132c、132dを含む。情報処理装置はその偏光画像から各面の法線ベクトルを取得する。そして互いに直交する基準面の法線ベクトルN1、N2、N3の平均ベクトルNaと、基準面に囲まれた特徴面132bの法線ベクトルN0とのなす角度を特徴量として当該特徴面132bを特定する。特定結果とその法線ベクトルを用いて、操作用オブジェクトの位置や姿勢を取得する。

目的

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を入力情報とする情報処理において、状況によらず安定的に多様な情報を取得できる技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

オブジェクト撮影した偏光画像からオブジェクト表面法線ベクトルを取得する法線取得部と、前記オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得するオブジェクト情報取得部と、前記オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する出力データ生成部と、を備えることを特徴とする情報処理装置

請求項2

記法ベクトルの角度の関係を特徴量として登録データと照合することにより、前記複数の面のうち前記偏光画像に写る少なくともいずれかの面を特定する特徴量照合部をさらに備え、前記オブジェクト情報取得部は、特定された面の情報を利用して、前記オブジェクトに係る情報を取得することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記特徴量照合部は、互いのなす角度が所定値の複数の基準面の法線ベクトルと、当該複数の基準面に接し、それらに対する角度を前記オブジェクト内で異ならせた特徴面の法線ベクトルとの角度の関係を前記特徴量として取得することにより、前記偏光画像に写る前記特徴面を特定することを特徴とする請求項2に記載の情報処理装置。

請求項4

前記特徴量照合部は、複数の前記基準面の法線ベクトルの平均と、それらの基準面に接する前記特徴面の法線ベクトルとのなす角度を前記特徴量として取得することを特徴とする請求項3に記載の情報処理装置。

請求項5

前記特徴量照合部は、接する前記基準面ごとに、当該基準面に対する角度が異なる特徴面の法線ベクトルと、当該特徴面に接する一つの前記基準面の法線ベクトルとのなす角度を前記特徴量としてその境界の辺を特定することにより、前記特徴面を特定することを特徴とする請求項3に記載の情報処理装置。

請求項6

前記特徴量照合部はさらに、前記複数の面の少なくともいずれかの辺の比を取得し、登録データと照合することにより、前記偏光画像に写る前記オブジェクトを特定することを特徴とする請求項2から5のいずれかに記載の情報処理装置。

請求項7

前記特徴量照合部は、前記基準面の周囲に設けた、当該基準面と所定の角度を有する面の法線ベクトルに基づき、当該基準面の法線ベクトルを取得することを特徴とする請求項3から5のいずれかに記載の情報処理装置。

請求項8

前記オブジェクト情報取得部は、特定された面とその法線ベクトルに基づき、前記オブジェクトの姿勢を取得することを特徴とする請求項2から7のいずれかに記載の情報処理装置。

請求項9

前記オブジェクト情報取得部は、特定された面とその法線ベクトルから算出される見かけ上のサイズと、撮影された像のサイズとの比較に基づき、前記オブジェクトの撮像装置からの距離を取得することを特徴とする請求項2から8のいずれかに記載の情報処理装置。

請求項10

オブジェクトの偏光画像を撮影する撮像装置と、前記偏光画像を用いて前記オブジェクトの状態に応じた情報処理を実施する情報処理装置と、を備え、前記情報処理装置は、前記偏光画像から前記オブジェクト表面の法線ベクトルを取得する法線取得部と、前記オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得するオブジェクト情報取得部と、前記オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する出力データ生成部と、を備えることを特徴とする情報処理システム

請求項11

偏光画像が撮影されることにより情報処理の入力情報として用いられる操作用オブジェクトであって、互いのなす角度が所定値の複数の基準面と、当該複数の基準面に接し、それらに対する角度を前記操作用オブジェクト内で異ならせた特徴面と、を含むことを特徴とする操作用オブジェクト。

請求項12

前記特徴面はさらに、接する前記基準面ごとに、当該基準面に対する角度が異なることを特徴とする請求項11に記載の操作用オブジェクト。

請求項13

オブジェクトを撮影した偏光画像のデータを撮像装置から取得するステップと、当該偏光画像からオブジェクト表面の法線ベクトルを取得するステップと、前記オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得するステップと、前記オブジェクトに係る所定の情報に基づく処理を行いその結果を外部の装置へ出力するステップと、を含むことを特徴とする情報処理装置による情報処理方法

請求項14

オブジェクトを撮影した偏光画像からオブジェクト表面の法線ベクトルを取得する機能と、前記オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得する機能と、前記オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム

技術分野

0001

本発明は、撮影画像を利用して情報処理を行う情報処理装置情報処理システム、それに用いる操作用オブジェクト、および情報処理方法に関する。

背景技術

0002

近年、電子ゲームなどの情報処理の分野では、撮影画像に基づきユーザの動き入力情報としてリアルタイムに取り込むことで、直感的な操作や臨場感のある画像表現が実現されてきた。例えば所定色発光するマーカーを備えた装置をコントローラとして、その撮影画像を入力情報とすることでユーザの動きを特定し、それに応じた情報処理を実施する技術が実用化されている(例えば特許文献1参照)。

先行技術

0003

WO 2007/050885 A2公報

発明が解決しようとする課題

0004

所定の形状、サイズ、色を有するマーカーを利用することにより、撮影画像における像の検出や位置の取得が容易になり、実世界での状態や動きを情報処理に効率的に取り込める。しかしながらそのような役割を十分な精度で発揮するには、マーカー全体が撮影されていることが重要となる。例えば複数の人や物が交錯するような状況においてマーカーの一部が隠蔽されていると、検出精度が悪化し情報処理に悪影響を及ぼす可能性がある。また、容易な検出を追求するほどその形状を単純化することになり、マーカーを利用して取得できる情報が限定されやすい。

0005

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を入力情報とする情報処理において、状況によらず安定的に多様な情報を取得できる技術を提供することにある。

課題を解決するための手段

0006

本発明のある態様は情報処理装置に関する。この情報処理装置は、オブジェクトを撮影した偏光画像からオブジェクト表面法線ベクトルを取得する法線取得部と、オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、オブジェクトに係る所定の情報を取得するオブジェクト情報取得部と、オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する出力データ生成部と、を備えることを特徴とする。

0007

本発明の別の態様は情報処理システムに関する。この情報処理システムは、オブジェクトの偏光画像を撮影する撮像装置と、偏光画像を用いてオブジェクトの状態に応じた情報処理を実施する情報処理装置と、を備え、情報処理装置は、偏光画像からオブジェクト表面の法線ベクトルを取得する法線取得部と、オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、オブジェクトに係る所定の情報を取得するオブジェクト情報取得部と、オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する出力データ生成部と、を備えることを特徴とする。

0008

本発明のさらに別の態様は操作用オブジェクトに関する。この操作用オブジェクトは、偏光画像が撮影されることにより情報処理の入力情報として用いられる操作用オブジェクトであって、互いのなす角度が所定値の複数の基準面と、当該複数の基準面に接し、それらに対する角度を前記操作用オブジェクト内で異ならせた特徴面と、を含むことを特徴とする。

0009

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は情報処理装置が、オブジェクトを撮影した偏光画像のデータを撮像装置から取得するステップと、当該偏光画像からオブジェクト表面の法線ベクトルを取得するステップと、オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得するステップと、オブジェクトに係る所定の情報に基づく処理を行いその結果を外部の装置へ出力するステップと、を含むことを特徴とする。

0010

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

発明の効果

0011

本発明によると、撮影画像を入力情報とする情報処理において、状況によらず安定的に多様な情報を取得できる。

図面の簡単な説明

0012

実施の形態1における情報処理システムの構成例を示す図である。
実施の形態1における撮像装置が備える撮像素子の構造例を示す図である。
実施の形態1における情報処理装置の内部回路構成を示す図である。
実施の形態1における情報処理装置の機能ブロックの構成を示す図である。
実施の形態1におけるオブジェクトの多面体を例示する図である。
実施の形態1においてモデルデータ記憶部に格納される、特徴量の登録データの構造例を示す図である。
実施の形態1においてオブジェクト情報取得部がオブジェクトの姿勢および位置を取得する処理を説明するための図である。
実施の形態1のオブジェクトとして用いることのできる多面体を例示する図である。
実施の形態1のオブジェクトとして用いることのできる多面体を例示する図である。
実施の形態1のオブジェクトとして用いることのできる多面体の別の例を示す図である。
実施の形態1において特徴面の辺ごとに特徴を与える態様について説明するための図である。
実施の形態1において辺ごとに特徴量を与えたときにモデルデータ記憶部に格納される、特徴量の登録データの構造例を示す図である。
実施の形態1の情報処理装置が、偏光画像を用いてオブジェクトの情報を取得し、出力データを生成、出力する処理手順を示すフローチャートである。
実施の形態2において複数の面のなす角度を直接利用して情報処理を行う手法の例を説明するための図である。

実施例

0013

実施の形態1
本実施の形態では、所定形状の多面体を含む立体を、マーカーの機能を有する操作用オブジェクト(以後、単に「オブジェクト」と呼ぶ)とし、面の角度を特徴量として撮影画像から取得することで情報処理に利用する。図1は本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、オブジェクト8と、それを含む被写空間を所定のフレームレートで撮影する撮像装置12、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置10、および情報処理の結果を出力する表示装置16を含む。情報処理システムにはさらに、情報処理装置10に対する操作をユーザから受け付け入力装置が含まれていてもよい。情報処理装置10はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。

0014

情報処理装置10と撮像装置12および表示装置16とは、有線ケーブルで接続されてよく、また無線LAN(Local Area Network)などにより無線接続されてもよい。また情報処理装置10、撮像装置12、表示装置16のいずれか2つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラ携帯端末などで情報処理システムを実現してもよい。あるいは表示装置16を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置12を設けてもよい。いずれにしろ情報処理装置10、撮像装置12、表示装置16の外観形状は図示するものに限らない。

0015

オブジェクト8は、合成樹脂などで形成された立体であり、なす角度が既知の複数の平面からなる多面体8aを含む。オブジェクト8の内部は、空洞であっても合成樹脂などが充填された状態であってもよい。あるいは、発光ダイオードなどの発光機構や、加速度センサなど姿勢や位置を計測する各種センサの少なくともいずれかを内蔵していてもよい。図示するオブジェクト8は、多面体8aに、ユーザが把持することを想定したハンドル8bを接続した構成としている。ただしオブジェクト8の構成はこれに限らず、多面体8aのみとして積み木のように直接扱えるようにしてもよいし、別途用意した入力装置に多面体8aを取り付けた構成としてもよい。

0016

撮像装置12は、オブジェクト8を含む実空間の偏光画像を所定のレートで撮影する。情報処理装置10は、多面体を構成する面のうち、像として撮影されている面の法線ベクトルを、偏光画像を利用して取得する。そしてそれらの相対的な角度を特徴量として取得することにより面を識別し、その結果に基づきオブジェクト8自体を識別したり位置や姿勢を特定したりする。情報処理装置10は特定した結果に対応するように情報処理を実施し、表示画像音声のデータを生成して表示装置16に出力する。

0017

オブジェクト8に係る情報に対応させて実施する情報処理の内容は特に限定されない。例えばオブジェクト8をゲームのコントローラとし、ユーザが把持して動かすことでゲームに対する操作がなされるようにしてもよい。この場合、ゲーム世界を表す画像がオブジェクト8の動きに応じて変化したり、ユーザを写した撮影画像上でオブジェクト8が仮想オブジェクト置換された画像を表示させたりすることができる。

0018

あるいはヘッドマウントディスプレイを装着したユーザが、視線に対応する視野で撮影された画像を見ながら目の前の複数のオブジェクト8を組み立てると、組み立てた結果に対応する仮想オブジェクトが表示画面に出現するような態様も実現できる。さらに、ユーザが床やに複数のオブジェクト8を置くことで実空間における領域を定義し、情報処理装置10がそれを認識してゲームのプレイエリアとすることも考えられる。

0019

表示装置16は、情報処理装置10が生成したデータを順次取得し、表示画像を表示させたり音声を出力したりする。表示装置16は液晶ディスプレイ有機ELディスプレイなど一般的なディスプレイでよく、さらにスピーカーを備えたモニターテレビ受像器であってもよい。

0020

図2は撮像装置12が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜配線などの詳細な構造は省略している。撮像素子110はマイクロレンズ層112、ワイヤグリッド型偏光子層114、カラーフィルター層116、および光検出層118を含む。ワイヤグリッド型偏光子層114は、複数の線状の導体部材入射光波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層112により集光された光がワイヤグリッド型偏光子層114に入射すると、偏光子のラインと平行な方位偏光成分は反射され、垂直な偏光成分のみが透過する。

0021

透過した偏光成分を光検出層118で検出することにより偏光画像が取得される。光検出層118は一般的なCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層114は、光検出層118における電荷読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層114を上面から見たときの偏光子配列120を例示している。

0022

同図において網掛けされたラインが偏光子を構成する導体ワイヤ)である。なお点線矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、4通りの主軸角度の偏光子が2行2列の4つの領域122a、122b、122c、122dに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は45°の差を有する。すなわち45°おきの4つの主軸角度の偏光子を設けている。

0023

各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層118においては、4つの領域122a、122b、122c、122dに対応する各領域で、45°おきの4方位の偏光情報を得ることができる。このような4つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、4種類の偏光情報を2次元データとして同時に取得するイメージセンサを実現できる。

0024

同図に示す撮像素子110では、ワイヤグリッド型偏光子層114と光検出層118の間にカラーフィルター層116を設けている。カラーフィルター層116は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層114における偏光子の主軸角度とカラーフィルター層116におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。

0025

また同一色の偏光画像どうしを演算することにより、無偏光カラー画像再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開2012−80065号公報などにも開示されている。ただし本実施の形態における撮像装置12の素子構造は図示するものに限らない。例えば本実施の形態においてオブジェクトの特徴量は偏光輝度画像を用いて取得できるため、その他の用途でカラー画像が必要なければカラーフィルター層116を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。あるいは一般的なカメラの前面に主軸角度が変更可能な偏光板を配置した構造としてもよい。

0026

図3は情報処理装置10の内部回路構成を示している。情報処理装置10は、CPU(Central Processing Unit)23、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、USBやIEEE1394などの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなる通信部32、ハードディスクドライブ不揮発性メモリなどの記憶部34、表示装置16へデータを出力する出力部36、撮像装置12や図示しない入力装置からデータを入力する入力部38、磁気ディスク光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。

0027

CPU23は、記憶部34に記憶されているオペレーティングシステムを実行することにより情報処理装置10の全体を制御する。CPU23はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた、あるいは通信部32を介してダウンロードされた各種プログラムを実行する。GPU24は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU23からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部36に出力する。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。

0028

図4は情報処理装置10の機能ブロックの構成を示している。図4に示す各機能ブロックは、ハードウェア的には、図3に示したCPU、GPU、各種メモリデータバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能データ保持機能演算機能画像処理機能通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

0029

情報処理装置10は、撮像装置12から撮影画像のデータを取得する撮影画像取得部50、取得した画像のデータを格納する画像データ記憶部52、撮影画像を利用してオブジェクト8に係る情報を認識するオブジェクト認識部54、および、オブジェクト8について認識された情報に基づき出力すべきデータを生成する出力データ生成部56を含む。撮影画像取得部50は図3の入力部38、CPU23などで実現され、偏光画像を含む撮影画像のデータを撮像装置12から所定のレートで取得する。

0030

上述のとおりオブジェクトに係る情報を取得するため、撮影画像取得部50は少なくとも偏光画像を取得するが、情報処理装置10が実施する情報処理の内容や表示すべき画像によって、無偏光(自然光)の画像データをさらに取得してよい。画像データ記憶部52はメインメモリ26で実現され、撮影画像取得部50が取得した撮影画像のデータを順次格納する。このとき撮影画像取得部50は必要に応じて、カラー画像から輝度画像を生成するなど、後段の処理に必要な画像データも生成して格納する。

0031

オブジェクト認識部54はCPU23、GPU24などで実現され、画像データ記憶部52に格納された画像データを用いてオブジェクトに係る必要な情報を取得する。ここで最終的に取得する情報は情報処理装置10の使用目的によって様々であり、例えば撮像装置12の視野内にあるオブジェクト8を検出したり識別したりするのみでもよいし、その位置や姿勢を特定するのでもよい。

0032

より詳細にはオブジェクト認識部54は、法線取得部60、特徴量照合部62、モデルデータ記憶部64、およびオブジェクト情報取得部66を含む。法線取得部60は、偏光画像に写るオブジェクトの法線ベクトルを取得する。偏光強度の方位に対する振る舞いが被写体からの光の反射角度に依存することを利用して、偏光子の角度変化に対する偏光画像の輝度の変化に基づき被写体表面の法線を求める手法は一般的に知られている。本実施の形態では色や材質が既知のオブジェクトを利用することにより、計算に用いるモデルを適切に選択し、法線ベクトルを精度よく求めることができる。

0033

法線取得部60は法線ベクトルの算出に先立ち、偏光画像上、オブジェクトが写る領域を抽出することにより、法線ベクトルを算出する領域を限定してもよい。例えばオブジェクトのおよその形状を登録しておき、一般的なテンプレートマッチングにより領域を抽出してもよい。撮影画像としてカラー画像を取得した場合は、色の情報も利用できる。あるいは、3次元の実空間のうち所定範囲にある物を奥行き画像から特定し、その像を含む領域を抽出してもよい。

0034

ここで奥行き画像は、被写体の撮像面からの距離を、撮影画像における画素値として表した画像である。奥行き画像は例えば、既知の間隔を有する左右の視点から被写空間を撮影するステレオカメラを撮像装置12に設け、撮影されたステレオ画像における対応点視差から、各像が表す物の距離を三角測量の原理に基づき算出することによって得られる。あるいは赤外線などの参照光を被写空間に照射しその反射光を検出する機構を撮像装置12に設け、TOF(Time of Flight)方式で距離を求めてもよい。

0035

撮像装置12の構成は、最初にオブジェクトが写る領域を抽出するか否か、抽出する場合はその手法によって様々であってよい。例えば奥行き画像を利用する場合、自然光の画像を撮影する一般的なステレオカメラを、図2で示したような撮像素子構造を有する偏光カメラとは別に設けてもよいし、ステレオカメラの一方あるいは双方を偏光カメラとしてもよい。

0036

あるいはユーザがオブジェクト8を把持する態様においては、法線取得部60は、一般的な顔検出処理により人の頭部の像の領域を特定し、頭部に対する相対的な可動範囲からオブジェクト8の像の領域を抽出してもよい。以前の画像フレームにおけるオブジェクトの認識結果に基づき、その時間変化を加味して現時点での像の領域を推定してもよい。いずれにしろ本実施の形態では、偏光画像を用いて取得した法線ベクトルに基づき、オブジェクトの位置や姿勢についてより詳細な情報を得られるため、ここでの領域抽出は比較的粗い分解能でもよい。領域抽出を実施する場合、それに必要なオブジェクト8の基礎データはモデルデータ記憶部64に格納しておく。

0037

特徴量照合部62は、法線取得部60が取得した法線ベクトルを、多面体8aに本来与えた面の法線の関係と照合する。識別対象ごとに面の法線の関係が異なるように多面体8aの形状を決定しておけば、それを特徴量として登録情報と照合することにより、識別対象が一意に定まる。例えば複数のオブジェクトを識別する場合、最も単純には正多面体の面の総数、ひいては隣接する面のなす角度をオブジェクトごとに異ならせることが考えられる。このとき法線取得部60が算出した、隣接する面の法線ベクトルのなす角度を特徴量として、オブジェクトごとに登録された角度と照合することにより、観測されたオブジェクトを特定することができる。

0038

さらに1つのオブジェクトであっても、隣接する面のなす角度が位置によって異なるような多面体とすれば、当該多面体のうち撮像装置12の側にある面を、それらの法線ベクトルのなす角度を特徴量として識別できる。モデルデータ記憶部64には、オブジェクト、面、辺、といった識別対象ごとに与えた特徴量の登録情報を格納しておき、観測された特徴量との照合により一つの識別対象を特定できるようにする。

0039

オブジェクト情報取得部66は、特徴量照合部62による照合結果に基づき、オブジェクト8に係る所定の情報を取得し出力する。例えば、特徴量照合部62が特定した面の識別情報と、その面の法線ベクトルに基づき、オブジェクト8の位置や姿勢を取得する。このとき、多面体8aの各面に対して得られた法線ベクトル分布を平均化するなどして角度のみから計算を行ってもよいし、あらかじめ準備したオブジェクト8の3次元モデルフィッティングして観測結果に近い状態を探索し、その結果を利用してもよい。

0040

後者の場合、オブジェクト情報取得部66は、オブジェクト8を表す3次元モデルを、画像平面に対応するカメラ座標系が設定された仮想的な3次元空間に配置し、法線取得部60が取得した法線ベクトル分布に適合するように、当該3次元モデルを移動させたり回転させたりして位置や姿勢を調整する。法線ベクトルは、オブジェクト8の像を構成する画素単位で得ることができるため、個々の法線ベクトルのみならずその集合が表す領域の形状も考慮して調整することにより、撮像装置12とオブジェクト8の位置関係を、仮想空間でより正確に再現できる。

0041

この場合、モデルデータ記憶部64には、オブジェクト8の3次元モデルのデータも格納しておく。仮想空間における3次元モデルとカメラに係る幾何学的な計算については、一般的なコンピュータグラフィクスの技術を応用できる。複数のオブジェクト8が存在する場合、オブジェクト情報取得部66は各オブジェクトの識別情報に対応づけて位置や姿勢の情報を生成する。これにより、例えば複数のプレイヤがそれぞれのオブジェクト8を持ってゲームに参加していても、各プレイヤの動きを区別して認識できる。なお複数のオブジェクト候補から撮像装置の視野にあるオブジェクトを識別することで足りる場合は、特定されたオブジェクト8の識別情報を特徴量照合部62から取得して出力するのみでもよい。

0042

出力データ生成部56はCPU23、GPU24、出力部36などで実現し、オブジェクト認識部54が取得したオブジェクトに係る情報に基づき所定の情報処理を実施して、表示画像や音声など出力すべきデータを生成する。上述したようにここで実施する情報処理の内容は特に限定されない。例えば撮影画像上のオブジェクト8の像の位置に、仮想オブジェクトを描画する場合、出力データ生成部56は画像データ記憶部52から撮影画像のデータを読み出し、オブジェクト認識部54が特定したオブジェクトの位置や姿勢に対応するように仮想オブジェクトを描画する。出力データ生成部56は、そのようにして生成した表示画像などの出力データを表示装置16に出力する。

0043

図5は、本実施の形態におけるオブジェクトの多面体を例示している。この例の多面体130は、立方体の8つの頂点部分を切り取ってなる三角形の断面(例えば面132a、132b、132c、132d)を含む14面体である。ここで、元の立方体の6つの面については、互いに直交するという拘束条件がある一方、三角形の断面には、それらと直交しない範囲で任意の傾斜を与えることができる。これを利用し、元の立方体の6つの面を基準とし、それらに対する傾斜によって三角形の断面ごとに特徴を表す。

0044

以後、立方体の6面のように、互いのなす角度が既知の定数である基準となる面を基準面、三角形の断面のように傾斜が可変でありそれによって特徴を表す面を特徴面と呼ぶ。なお後述するように、基準面同士のなす角度や特徴面の形状には様々な変形例が考えられる。図5で示した多面体130の場合、特徴面に隣接する3つの基準面の法線を基準の座標軸として、固体物理学の分野で用いられるミラー指数を用いると、特徴面の面方位を例えば(111)、(112)、(122)、(123)、(133)、(233)、(134)、(234)の8通りとすることが考えられる。

0045

このように全ての特徴面の方位を異ならせ、その法線ベクトルと基準面の法線ベクトルを比較することにより、撮影画像上での像が多面体における特徴面のいずれを表しているかを特定できる。具体的には、例えば図のような視野で撮影画像が得られた場合、法線取得部60によって矢印に示すような法線ベクトルが取得される。すると特徴量照合部62は、まず直交関係を有する基準面の法線ベクトルN1、N2、N3を抽出する。次にそれらの法線ベクトルが取得される像、すなわち基準面の像に囲まれた領域において、別の角度を有する法線ベクトルN0を抽出する。

0046

そして同図右側に抜き出して示したように、基準面の法線ベクトルN1、N2、N3の平均ベクトルNa=(N1+N2+N3)/3と、特徴面の法線ベクトルN0とのなす角度θを特徴角度として求める。なお平均ベクトルNaは、ミラー指数(111)の面の法線ベクトルに対応するため、特徴面の方位が(111)であれば特徴角度θ=0となる。特徴面の方位を上記のように異ならせれば、特徴面ごとに特徴角度θが異なることになり、結果として特徴面132bが一意に定まる。

0047

図6は、モデルデータ記憶部64に格納される、特徴量の登録データの構造例を示している。特徴角度データ300は、面ID欄302および特徴角度欄304を含む。面ID欄302は、多面体に形成された特徴面に、その位置を表すような所定の規則で与えた識別情報を格納する。同図の場合、8つの特徴面に対し「C1」〜「C8」なる識別情報が与えられているが、形成する特徴面の数によってエントリー数は異なる。多面体における位置と識別情報の番号との関係は別途定義されているものとする。

0048

特徴角度欄304は、各特徴面の特徴角度θを格納する。同図では「θ1」〜「θ8」なる表記としているが実際には角度を数値で設定する。また、上述の平均ベクトルNaを基準とした方位角天頂角の組などで表してもよい。特徴量照合部62は上述のように、撮影画像から得られた法線ベクトルのうち3つの基準面とそれに囲まれた特徴面の法線ベクトルを抽出し、その特徴角度を算出したうえ、特徴角度データ300を参照して当該特徴面の識別情報を取得する。

0049

特徴角度データ300は、1つの形状の多面体に対し1つ作成しておく。換言すれば複数のプレイヤが把持するオブジェクト8を区別するために、複数通りの形状で多面体8aを準備する場合は、特徴角度が重複しないように形成し、その形状ごとに特徴角度データ300を作成する。ただし色など形状以外の属性でオブジェクト8を区別する場合はこの限りではない。また形状によって区別する場合であっても、特徴角度以外の属性を別途導入してもよい。

0050

例えば図5で基準とした立方体の代わりに直方体を基準とし、その3軸の辺の長さの比を異ならせることにより互いを区別できるようにしてもよい。直方体以外でも、基準面の辺の長さが異なるような形状であれば、少なくともいずれかの面の辺の比に基づきオブジェクトを区別できる。

0051

この場合、図6で示した特徴角度データ300に、当該多面体の辺の長さの比の情報を紐付けておくとともに、各特徴面の位置と辺との関係を考慮して特徴面の識別情報を決定する。辺の長さの比でオブジェクト8を区別する場合、その形状によっては特徴角度の少なくとも一部を重複させてもよい。モデルデータ記憶部64にはこのほか、多面体の色や材質を格納しておき、法線取得部60が偏光画像から法線ベクトルを算出する際のモデルの選択や、像の抽出、オブジェクト8の区別などに適宜用いてもよい。

0052

図7は、オブジェクト情報取得部66がオブジェクト8の姿勢および位置を取得する処理を説明するための図である。同図は撮像装置12と多面体140を側面から見た様子を示している。図5を参照して説明したようにして、8つある特徴面(例えばC1、C2)のうち、撮像装置12側に向いている特徴面C1が特徴角度によって一意に求められる。さらにその特徴面C1の法線ベクトルN0は3次元の実空間に対し求められているため、それに合致するような多面体の姿勢は一意に定まる。

0053

図示する例では概念上、多面体に元来与えたモデル形状144を、観測された特徴面C1およびその法線ベクトルN0にフィッティングさせる様子を白抜き矢印で示しているが、実際には角度計算のみから姿勢を求めてもよい。あるいはより詳細に、画素単位で得られる法線ベクトルの分布を考慮し、差が最小となるモデル形状144を探索することにより位置や姿勢を求めてもよい。なお同図は、視野の縦方向を表すY軸と撮像面からの距離を表すZ軸による2次元空間を示しているが、当然、視野の横方向をあらわす軸(X軸)方向も演算対象とする。

0054

また、特徴面C1の形状およびサイズも既知であることから、その見かけの大きさに基づき、撮像面から多面体までの距離を求めることができる。具体的には、同図のような2次元平面において、特徴面C1の法線N0と撮像装置12の光軸Oとのなす角度をφ、特徴面C1の実際のサイズ(長さ)をS1とすると、多面体140の撮像面からの距離zは、撮影画像における像のサイズ(長さ)Simから次の式で求められる。
z=S1cosφ/Sim

0055

カメラ座標系におけるオブジェクトの像を、求められた距離zに従い逆射影することで、オブジェクト8の実空間での位置を算出できる。なお3次元オブジェクトを準備してフィッティングさせる場合は、法線ベクトル分布に対するフィッティングと、撮影画像における像に対するフィッティングとを同時に行うなど、コンピュータグラフィクスの変換式を利用した別の手法を用いることもできる。

0056

オブジェクトに多面体を導入し、撮影画像における像と多面体の面が紐付けられれば、多面体を自由に回転させても、その状態を正確に特定できるため、球形や立方体のマーカーなどと比較し、より多くの情報を取得でき、ひいてはそれを用いた情報処理も多様化できる。また1つの特徴面とそれを囲む基準面が撮影されていれば位置や姿勢を特定できるため、人や他の物でその一部が隠蔽されるなどの状況の変化に対し高い頑健性を有する。

0057

偏光画像を利用して被写体の様々な情報を取得する技術は従来、研究が進められている。被写体表面の法線ベクトルを求める方法についても、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization",IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開2009−58533号公報などに開示されており、本実施の形態ではそれを適用してよい。以下、概要を説明する。

0058

まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θpolに対し次の式のように変化する。

0059

0060

ここでImax、Iminはそれぞれ、観測される輝度の最大値最小値であり、φは偏光位相である。上述のとおり4通りの主軸角度θpolに対し偏光画像を取得した場合、同じ位置にある画素の輝度Iは、各主軸角度θpolに対し式1を満たすことになる。したがって、それらの座標(I,θpol)を通る曲線を、最小二乗法等を用いて余弦関数近似することにより、Imax、Imin、φを求めることができる。そのように求めたImax、Iminを用いて、次の式により偏光度ρが求められる。

0061

0062

対象物表面の法線は、光の入射面(拡散反射の場合は出射面)の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式1において最小輝度Iminを与える主軸角度であり、拡散反射の場合は式1において最大輝度Imaxを与える主軸角度である。

0063

天頂角θは、鏡面反射の場合の偏光度ρs、拡散反射の場合の偏光度ρdと、それぞれ次のような関係にある。

0064

0065

ここでnは対象物屈折率である。式2で得られる偏光度ρを式3のρs、ρdのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル(px,py,pz)は次のように得られる。

0066

0067

このように偏光画像の各画素が表す輝度Iと偏光子の主軸角度θpolとの関係から当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。ただし上述のとおり、観測された光には鏡面反射成分拡散反射成分が含まれ、それによって法線ベクトルの算出手法が異なる。そのため好適には、オブジェクト8の材質や色に基づき、鏡面反射と拡散反射のうち適切なモデルを選択する。

0068

図8図9は本実施の形態のオブジェクト8として用いることのできる多面体を例示している。まず図8の多面体152は、図5で示したのと同様、立方体150の8つの頂点を切り取り、その三角形の断面を特徴面とした14面体である。この場合、上述したように、基準面の法線ベクトルN1、N2、N3の平均ベクトルと、それらの基準面に囲まれた特徴面の法線ベクトルN0とのなす角度から当該特徴面を特定する。

0069

多面体156は、正四面体154の4つの頂点を切り取り、その三角形の断面を特徴面とした8面体である。この場合も、周囲の3つの基準面に対する角度が異なるように各特徴面を形成することにより、多面体152と同様の原理で特徴面を識別できる。すなわち元の正四面体154の各面の法線ベクトルのなす角度は既知であるため、まずそのような関係を満たす法線ベクトル(例えば法線ベクトルN1、N2、N3)を抽出する。そしてそれらの平均ベクトルと、それらが表す基準面に囲まれた特徴面の法線ベクトルN0とのなす角度から当該特徴面を特定できる。なお多面体156の姿勢によって、図示するように基準面が2面のみ撮影されている場合は、それらの法線ベクトルN1、N2の平均ベクトルと特徴面の法線ベクトルN0とのなす角度を特徴角度としてもよいし、基準面が3面表れるまで特徴角度の取得を中断してもよい。その他の形状についても同様である。

0070

図9の多面体160は、正八面体158の6つの頂点を切り取り、その四角形の断面を特徴面とした14面体である。この場合も、周囲の4つの基準面に対する角度が異なるように各特徴面を形成することにより、同様の原理で特徴面を識別できる。すなわち元の正八面体158の各面の法線ベクトルのなす角度は既知であるため、まずそのような関係を満たす法線ベクトル(例えば法線ベクトルN1、N2、N3、N4)を抽出する。そしてそれらの平均ベクトルと、それらが表す基準面に囲まれた特徴面の法線ベクトルN0とのなす角度から当該特徴面を特定できる。

0071

多面体164は、正十二面体162の20個の頂点を切り取り、その三角形の断面を特徴面とした32面体である。この場合も、周囲の3つの基準面に対する角度が異なるように各特徴面を形成することにより、同様の原理で特徴面を識別できる。すなわち元の正十二面体162の各面の法線ベクトルのなす角度は既知であるため、まずそのような関係を満たす法線ベクトル(例えば法線ベクトルN1、N2、N3)を抽出する。そしてそれらの平均ベクトルと、それらが表す基準面に囲まれた特徴面の法線ベクトルN0とのなす角度から当該特徴面を特定できる。

0072

なお元となる立体は、それを構成する基準面同士のなす角度が既知であれば、図示するものに限らない。ただし特徴面が均等に配置できること、法線ベクトルの関係から特徴面と基準面の区別が容易であること、などの観点から、図示するような正多面体が好適である。またいずれの多面体でも、姿勢によっては複数の特徴面が同時に撮影される場合がある。

0073

この場合、1つの特徴面を特定するのみでもよいし、同様の計算および照合を全ての特徴面に対し行ってもよい。あるいは周囲の基準面や特徴面自体がどの程度の面積で撮影されているかによって特定処理信頼性を推定し、所定の信頼性が得られる特徴面のみを処理対象としてもよい。信頼性に応じて、結果の利用に重みや優先順位をつけてもよい。定性的には特定される特徴面の数が多いほど、その情報を統合してオブジェクト全体の位置や姿勢を精度よく求められる。

0074

図10は、本実施の形態のオブジェクト8として用いることのできる多面体の別の例を示している。この多面体170は、図5で示した、立方体の頂点を切り取ってなる多面体130からさらに、各辺を含む部分を、それに接する基準面と所定の角度を有するように辺と平行に切り取ってなる8つの面を新たに形成した32面体である。同図では、面Aにおける断面に示すように、基準面との角度が135°となるように面を形成している。

0075

一般的に偏光画像を用いた法線ベクトルの算出処理では、得られた法線ベクトルの信頼性が低くなるような角度が存在する。具体的には、対象物の法線ベクトルが撮像装置12の光軸に重なるような状態において、観測される偏光輝度の方位依存性が小さくなるため、法線ベクトルの算出過程においてノイズの影響を受けやすくなる。したがって例えば基準面172が撮像装置12の撮像面に正対するような状態では、その法線ベクトルN2の信頼性が低くなり、ひいては特徴面174の特徴角度が正しく得られなかったり、場合によっては特徴面174が検出されなかったりすることが考えられる。

0076

そこで上述したように辺の部分を切り取り、基準面の間に中間の角度を有する面を設ける。このようにすると基準面が撮像面に正対している期間は、その周囲の4つの面(例えば面176a、176b)が法線ベクトルの算出に好適な角度となる。したがってそれらの法線ベクトルn1、n2、・・・を取得して平均することにより、基準面の法線ベクトルN2も精度よく求められる。

0077

結果として、多面体の向きによらず安定的に基準面の法線ベクトルを取得できる。この形状によっても、基準面の法線ベクトルN1、N2、N3と特徴面174の法線ベクトルN0から特徴角度を求め、特徴面を識別する処理は上述したのと同様である。図示する例は立方体を基準としていたが、図8図9で示した多面体のいずれにおいても、基準面の間に中間の角度を有する面を設けることにより、同様の効果が得られる。

0078

これまで述べた態様は、立方体など基本となる立体に、傾斜角度に特徴を有する特徴面を設け、その周囲の基準面とのなす角度により面単位での識別を実現した。ここでさらに特徴面の傾斜を工夫することにより、特徴面の辺ごとに特徴を与えることもできる。図11は、特徴面の辺ごとに特徴を与える態様について説明するための図である。この例は図5の多面体130と同様の多面体180を示しており、同様の処理により基準面の法線ベクトルN1、N2、N3と、それらに囲まれた特徴面182の法線ベクトルN0が得られる。

0079

ここで同図右側に抜き出して示すように、特徴面182の法線ベクトルN0と、周囲の3つの基準面の法線ベクトルN1、N2、N3とのなす角度をそれぞれθ1、θ2、θ3とすると、それらが全て異なるように、さらにそれらの角度が全ての特徴面でも重複しないような傾斜で特徴面を形成する。例えば特徴面に接する3つの基準面の法線を基準の座標軸としたとき、ミラー指数が(123)、(124)、(125)、(134)、(135)、(145)、(234)、(235)となる面方位で特徴面を形成する。

0080

このようにすると、特徴面とそれに隣接する1つの基準面の法線ベクトルのなす角度から、それらの面の境界にある辺を一意に決定することができる。例えば特徴面182の辺E1の特徴角度は、法線ベクトルN0と法線ベクトルN1とのなす角度θ1、辺E2の特徴角度は法線ベクトルN0と法線ベクトルN2とのなす角度θ2、辺E2の特徴角度は法線ベクトルN0と法線ベクトルN3とのなす角度θ3となる。

0081

図12は、辺ごとに特徴量を与えたときにモデルデータ記憶部64に格納される、特徴量の登録データの構造例を示している。特徴角度データ310は、辺ID欄312および特徴角度欄314を含む。辺ID欄312は、特徴面の各辺に、その位置を表すような所定の規則で与えた識別情報を格納する。同図の場合、8つの三角形の特徴面を想定し、合計24個の辺に対し「E1」〜「E24」なる識別情報が与えられている。形成する特徴面の数と形状によってエントリー数は異なる。多面体における特徴面の位置および各特徴面における辺の位置と識別情報の番号との関係は別途定義されているものとする。

0082

特徴角度欄314は上述のように、当該辺を挟んで隣り合う特徴面と基準面の法線ベクトルのなす角度を特徴角度として格納する。同図では「θ1」〜「θ24」なる表記としているが実際には角度を数値で設定する。特徴量照合部62は、撮影画像から得られた法線ベクトルのうち少なくとも1つの基準面と、それに隣接する特徴面の法線ベクトルを抽出し、そのなす角度に基づき特徴角度データ310を参照して、それらの面の境界となる辺の識別情報を取得する。1つの辺が識別できれば、それを一辺とする特徴面を特定できるため、図7を参照して説明したのと同様にしてオブジェクト8全体の位置や姿勢を取得できる。

0083

さらに、撮影されている複数の辺について同様の特定処理を行い、位置や姿勢の取得精度を向上させることもできる。この態様では少なくとも2つの面について法線ベクトルが得られればよいため、面に対し特徴角度を与える態様よりさらに、オブジェクトの隠蔽に対する頑健性が高くなる。例えば隣接する2つの領域で、その法線ベクトルのなす角度が、設定された辺の特徴角度θ1〜θ24のいずれかであれば、その領域の境界線が辺E1〜E24のいずれかとして特定できる。

0084

ただし2面のみが撮影されている場合は、法線ベクトルのみから基準面と特徴面を区別することは難しい。したがってそれらの区別を必要とする場合は、撮影画像上の像の形状やサイズから推定してもよいし、より多くの面が撮影されている間に基準面と特徴面の像を特定しておき、その追跡結果を利用して推定してもよい。なお図11の例は立方体を基準としていたが、図8図9で示した多面体のいずれであっても、特徴角度により辺を識別する態様は同様に適用できる。

0085

次に、以上述べた構成によって実現される情報処理装置の動作を説明する。図13は、本実施の形態の情報処理装置10が、偏光画像を用いてオブジェクト8の情報を取得し、出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置10に対しユーザが処理の開始を要求し、それに応じて撮像装置12がオブジェクト8を含む空間の撮影を開始したときに開始される。

0086

まず撮影画像取得部50は、撮像装置12から撮影画像のデータを取得する(S10)。当該データには複数の主軸角度に対応する偏光画像のほか、自然光の画像が含まれていてよい。撮像装置12または情報処理装置10が、偏光画像同士を演算することにより自然光の画像を作り出すようにしてもよい。また撮像装置12が加速度センサなど各種センサを内蔵する場合は、その計測結果も取得してよい。

0087

次に法線取得部60は、偏光画像を用いてオブジェクトの法線ベクトルを取得する(S12)。このときまず、撮影画像のうちオブジェクト8の像が表れている領域を、色や形状に基づき自然光の画像または偏光画像から抽出してもよい。次に特徴量照合部62は、基準面と特徴面の法線ベクトルを、それらの角度の関係に基づき抽出することで、特徴角度を取得する(S14)。そして当該特徴角度に基づき、撮影画像に写っている特徴面を特定する(S16)。

0088

3つの基準面の法線ベクトルの平均と、それらが囲む特徴面の法線ベクトルとのなす角度を特徴角度とした場合、特徴面が直接求められる。特徴面と、隣接する基準面の法線ベクトルのなす角度を特徴角度とした場合、それらの面の境界の辺を特定することにより特徴面が求められる。オブジェクト情報取得部66は、特定された特徴面に基づき、オブジェクト8に係る情報を生成する(S18)。例えば特定した特徴面の法線ベクトルや撮影画像上の像に基づきオブジェクト8の位置や姿勢を取得する。

0089

このとき、後段の処理に要求される精度によって、角度やサイズの数値計算のみからそれらの情報を取得してもよいし、法線ベクトル分布や撮影画像上の像の形状に適合するように、仮想空間における3次元オブジェクトの位置や姿勢を調整するようにしてもよい。またオブジェクト8が内蔵するセンサからその位置や姿勢の情報が得られる場合は、その情報と統合することにより精度を向上させてもよい。ステレオカメラなどによって奥行き画像が得られる場合はそれが表す位置情報と統合してもよい。複数のオブジェクトが存在する場合、オブジェクトごとに位置や姿勢の情報を生成し、それをオブジェクトの識別情報に対応づける。

0090

出力データ生成部56は当該情報を取得し、それに基づきゲームを進捗させたり撮影画像上に仮想オブジェクトを描画したりして、表示画像や音声の出力データを生成し、表示装置16に出力する(S20)。ユーザ操作などにより処理を停止させる必要がない期間は(S22のN)、後続の画像フレームに対しS10〜S20の処理を繰り返す。この際、前の画像フレームに対し得られた情報を利用して処理対象の領域を限定するなど効率化を図ってもよい。これらの処理により、対象物の動きに応じたゲーム画面や情報処理の結果が動画として表示される。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる(S22のY)。

0091

以上述べた本実施の形態によれば、互いのなす角度が既知の基準面と、それらとの角度に特徴を持たせた特徴面を含む多面体を操作用オブジェクトとして入力手段に用いる。具体的には、操作用オブジェクトを撮影した偏光画像から法線ベクトルを算出し、基準面の法線ベクトルとの関係を特徴量とすることにより、撮影画像に写る特徴面を一意に特定する。特徴面が特定されれば、例えば法線ベクトルとの関係からオブジェクト全体の位置や姿勢を取得できる。つまり球形など単純形状のマーカーと比較し、より多くの情報を取得できる。

0092

また、いずれかの特徴面とその周囲の基準面が写っていれば特定処理が可能なため、操作用オブジェクトが撮像装置の視野からはみ出したり他の人や物により隠蔽されたりする状況の変化に対しても、安定的な情報処理が可能となる。さらに、法線ベクトルは偏光画像の画素単位で得られるため、法線ベクトルの集合体として面を捉えられ、特徴面や基準面を精度よく検出できる。

0093

例えば操作用オブジェクトが撮像装置から離れ、見かけ上のサイズが小さくなっても面の検出精度を維持しやすい。このため、色など形状以外の属性への依存度を小さくでき、発光させて目立たせるなどの措置の必要性が小さくなる。結果として、操作用オブジェクトの製造コスト消費電力を抑えることも可能である。

0094

実施の形態2
実施の形態1では、複数の面のなす角度に初めから特徴を与えた個体のオブジェクトを対象として、法線ベクトルに基づき観測された角度を登録データと照合することによりオブジェクトの状態を取得して情報処理に利用した。本実施の形態では、複数の面のなす角度を直接、入力情報として情報処理に利用する。具体的には一部の部位の角度が可変のコントローラを操作用オブジェクトとして導入し、観測された角度に応じた処理を行う。

0095

図14は本実施の形態において複数の面のなす角度を直接利用して情報処理を行う手法の例を説明するための図である。この例ではジョイスティックを含むコントローラを用い、その角度変化に基づきユーザ操作の内容を解釈して情報処理を実施する。コントローラ200は、所定厚さの平板型の筐体に、任意の方向に傾倒可能なジョイスティック202と、複数のボタン204を備える。ただしジョイスティック202以外の操作手段や、それらのレイアウト、筐体の形状は図示するものに限らない。コントローラ200がジョイスティック202のみを備えてもよい。

0096

ジョイスティックは、一般的にはコントローラ内部に設けたセンサや各種回路により傾倒方向、傾倒量を取得し、対応する方向および量で画面をスクロールさせたり表示されたオブジェクトを動かしたりするのに用いられる。本実施の形態ではジョイスティック202の傾倒方向、傾倒量を、コントローラ200を撮影した偏光画像から得られる法線ベクトルを用いて取得する。したがってコントローラ200の内部にジョイスティックのための回路等を設けることなく、操作に応じた情報処理を実現できる。なおコントローラ200にボタン204を設ける場合、その回路構成は一般的なコントローラと同様でよい。

0097

同図において(a)は、ジョイスティック202が中立した状態を示している。この場合、コントローラ200の筐体上面の法線ベクトルN1と、ジョイスティック202の上面の法線ベクトルN0は平行となる。一方、(b)は、ジョイスティック202が傾倒した状態を示している。この場合、ジョイスティック202の上面の法線ベクトルN0は、コントローラ200の筐体上面の法線ベクトルN1に対し角度θの傾きを有する。なお実際には角度θは方位角、天頂角の2成分で得られ、それぞれ傾倒方向と傾倒角度に対応する。

0098

ジョイスティック202に対する操作時は、ユーザの指がその上面に置かれていることが考えられるが、この場合、指の上面がジョイスティック202の上面と略平行の状態を保ったまま連動することを考慮すれば、指の有無に関わらず同様に角度を特定できる。法線ベクトルN1、N0の関係は、実施の形態1の基準面、特徴面の法線ベクトルの関係と同様であり、偏光画像からそれらのベクトルを取得する手法も同様でよい。具体的には、まずサイズが大きく形状が明確な筐体上面について法線ベクトル集合を取得し、それを平均するなどして法線ベクトルN1を取得する。

0099

次に、筐体上面における位置情報からジョイスティック202の像を特定し、その上面の領域に対し得られる法線ベクトル集合を平均するなどして法線ベクトルN0を取得する。そしてそれらのなす角度を監視することにより、傾倒方向、傾倒角度を逐次取得し、それに応じた情報処理を実施する。

0100

本実施の形態の情報処理装置は、実施の形態1の情報処理装置10のうち、特徴量照合部62が特徴角度の代わりにジョイスティック202と筐体上面の角度を取得してオブジェクト情報取得部66に供給すればよく、登録情報との照合は省略できる。この場合、出力データ生成部56は、一般的なジョイスティックに対する操作がなされたときと同様に、傾倒方向や傾倒角度を取得してそれに基づく処理を行えばよい。

0101

以上述べた本実施の形態によれば、角度が可変の部位を有するコントローラを撮影した偏光画像から法線ベクトルを算出し、基準となる筐体などの面とのなす角の変化を逐次取得して情報処理の入力情報とする。2つの面の相対的な角度の変化を利用することにより、コントローラがどのような姿勢であっても、可変部位の角度の変化を正確に取得でき、ユーザの操作内容を精度よく特定できる。

0102

したがって一見、一般的なジョイスティックの様相であっても、内部に回路や電源などを備えずに機能させることができる。なお本実施の形態は、角度が可変の少なくとも2つの面を有するオブジェクトであれば同様に処理が可能なため、その形状はジョイスティックに限らない。またレバースイッチのように傾倒方向が限定されていてもよい。

0103

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

0104

8オブジェクト、 10情報処理装置、 12撮像装置、 16表示装置、 23 CPU、 24 GPU、 26メインメモリ、 50撮影画像取得部、 52画像データ記憶部、 54オブジェクト認識部、 56 出力データ生成部、 60法線取得部、 62 特徴量照合部、 64モデルデータ記憶部、 66オブジェクト情報取得部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ