図面 (/)

技術 情報処理装置、情報処理装置の制御方法およびコンピュータプログラム

出願人 キヤノン株式会社
発明者 佐々木英史
出願日 2013年12月27日 (7年4ヶ月経過) 出願番号 2013-273576
公開日 2015年7月9日 (5年10ヶ月経過) 公開番号 2015-127925
状態 特許登録済
技術分野 計算機間の情報転送 デジタル計算機のユーザインターフェイス
主要キーワード 取り込み判定 固定判定 強制同期 部分エリア 同期タイプ 記憶フラグ 電子オブジェクト タンジブル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年7月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

自装置以外の情報処理装置電子オブジェクト共有する場合に当該電子オブジェクトのタイプを特定して共有方法切り替えることにより操作性を向上させる情報処理装置を提供する。

解決手段

情報処理装置は、投影面を撮影面として撮影された画像情報から物理オブジェクトを抽出し、該物理オブジェクトに対応する電子オブジェクトし、自装置以外の情報処理装置から電子オブジェクトを受信し、電子オブジェクトに基づいて生成された投影画像を前記投影面に投影する。情報処理装置は、物理オブジェクトの特徴に基づいて、電子オブジェクトが同期タイプ永続タイプかを判断し、物理オブジェクトに変化が生じた場合には、電子オブジェクトが同期タイプであるときは、自装置以外の情報処理装置に当該電子オブジェクトに関する情報を送信し、電子オブジェクトが前記永続タイプであるときは、電子オブジェクトに関する情報を送信しない。

概要

背景

液晶プロジェクタに代表される投影装置に、カメラなどの撮像手段を備えたものが提供されている。例えば、特許文献1が開示する投影装置は、投影面・撮影面に紙が置かれたタイミングを検出し、そのタイミングに合わせて投影面を撮影し、データとして取得する。

また、ネットワークを介して複数拠点で情報を共有ディスカッションを行う電子会議システムも提供されている。例えば、特許文献2が開示する端末装置は、共有ホワイトボードにデータを入力する際に、全ての参加者で共有したい情報を書き込むパブリックモードと、他拠点と共有したくない情報を書き込めるプライベートモードとを両立する。

情報と実在する物とを関連付け、形の無い情報を手にとって操作できるインタフェースとして、タンジブル・インタフェースも提供されている。例えば、非特許文献1は、自拠点で手書きしたものを他拠点でリアルタイムに共有できるシステムを開示している。また、非特許文献2は、実在する物体と情報とを関連付け、物体の物理的な操作(移動や重ね合わせ)に合わせて、情報の表示方法や合成などの操作も行うシステムを開示している。更に、特許文献3は、投影面・撮影面に所定の形状を有する物体を置き、人がその物体を移動させるだけの簡単な操作により、投影面・撮影面に表示された画像を操作できるコマンド入力方法を提案している。

概要

自装置以外の情報処理装置電子オブジェクトを共有する場合に当該電子オブジェクトのタイプを特定して共有方法切り替えることにより操作性を向上させる情報処理装置を提供する。情報処理装置は、投影面を撮影面として撮影された画像情報から物理オブジェクトを抽出し、該物理オブジェクトに対応する電子オブジェクトし、自装置以外の情報処理装置から電子オブジェクトを受信し、電子オブジェクトに基づいて生成された投影画像を前記投影面に投影する。情報処理装置は、物理オブジェクトの特徴に基づいて、電子オブジェクトが同期タイプ永続タイプかを判断し、物理オブジェクトに変化が生じた場合には、電子オブジェクトが同期タイプであるときは、自装置以外の情報処理装置に当該電子オブジェクトに関する情報を送信し、電子オブジェクトが前記永続タイプであるときは、電子オブジェクトに関する情報を送信しない。

目的

本発明は、自装置以外の情報処理装置と電子オブジェクトを共有する場合に当該電子オブジェクトのタイプを特定して共有方法を切り替えることにより操作性を向上させる情報処理装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮影された画像情報ネットワークを介して複数の情報処理装置共有する情報処理装置であって、投影面を撮影面として撮影された画像情報から物理オブジェクトを抽出し、該物理オブジェクトに対応する電子オブジェクトを生成する生成手段と、自装置以外の情報処理装置から電子オブジェクトを受信する受信手段と、前記生成または受信した電子オブジェクトに基づいて生成された投影画像を前記投影面に投影する投影手段と、前記物理オブジェクトに対応する画像領域の特徴に基づいて、前記生成された電子オブジェクトのタイプが自装置の前記撮影面における前記物理オブジェクトの変化に同期させて自装置以外の情報処理装置が投影する投影画像に描画される同期タイプか、同期させることなく自装置以外の情報処理装置の投影面に永続的に投影させる永続タイプかを判断する判断手段と、前記同期タイプまたは永続タイプと判断された電子オブジェクトを自装置以外の情報処理装置に送信する送信手段とを備え、前記送信手段は、前記物理オブジェクトに変化が生じた場合には、前記電子オブジェクトが前記同期タイプであるときは、自装置以外の情報処理装置に当該電子オブジェクトに関する情報を送信し、前記電子オブジェクトが前記永続タイプであるときは、当該電子オブジェクトに関する情報を送信しないことを特徴とする情報処理装置。

請求項2

前記投影手段は、前記物理オブジェクトに変化が生じた場合には、前記電子オブジェクトが前記永続タイプであるときは当該電子オブジェクトの更新処理を行わず生成された投影画像を前記投影面に投影し、前記電子オブジェクトが前記同期タイプであるときは更新処理を行って生成された投影画像を前記投影面に投影することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記生成または受信した電子オブジェクトに基づいて前記投影画像を描画する描画手段をさらに備え、前記描画手段は、前記同期タイプであって自装置の前記生成手段により生成された電子オブジェクトであるときは当該電子オブジェクトを前記投影画像として描画せず、自装置以外の情報処理装置から受信した電子オブジェクトであるときは当該電子オブジェクトを前記投影画像として描画することを特徴とする請求項1または2に記載の情報処理装置。

請求項4

前記判断手段は、静止画または動画に基づいて前記電子オブジェクトのタイプを判断し、前記静止画を用いる場合は、前記静止画に物理オブジェクトを保持する第1の物体が含まれているときは前記永続タイプと判断し、前記静止画に前記物理オブジェクトを保持する第2の物体が含まれているときは前記同期タイプと判断し、前記動画を用いる場合は、前記電子オブジェクトの静止時間が第1の所定時間を越えているときは前記同期タイプと判断し、前記第1の所定時間を越えていないときは前記永続タイプであると判断することを特徴とする請求項1乃至3のいずれか一項記載の情報処理装置。

請求項5

前記第1の物体は手であり、前記第2の物体は少なくとも識別マーカーマグネットまたは付箋であることを特徴とする請求項4に記載の情報処理装置。

請求項6

前記判断手段は、前記電子オブジェクトが前記第1の所定時間を越えないが、第2の所定時間を越えているときは当該電子オブジェクトを永続タイプであると判断し、前記電子オブジェクトが前記第2の所定時間を越えていないときは当該電子オブジェクトを未定タイプであると判断することを特徴とする請求項5に記載の情報処理装置。

請求項7

前記送信手段は、前記電子オブジェクトが新規に生成された場合であって前記同期タイプまたは前記永続タイプであるときは当該電子オブジェクトに関する情報を自装置以外の情報処理装置に送信し、前記電子オブジェクトが前記未定タイプであるときは当該電子オブジェクトに関する情報を自装置以外の情報処理装置に送信しないことを特徴とする請求項6に記載の情報処理装置。

請求項8

前記送信手段は、前記電子オブジェクトのタイプが前記永続タイプから前記同期タイプに変更された場合に、当該電子オブジェクトに関する情報を自装置以外の情報処理装置に送信することを特徴とする請求項6または7に記載の情報処理装置。

請求項9

前記永続タイプの電子オブジェクトが前記投影面に投影された状態で当該電子オブジェクトと内容が同じ物理オブジェクトが撮影された場合、両方のオブジェクトが自装置の前記投影面に表示されることを特徴とする請求項1乃至8のいずれか一項に記載の情報処理装置。

請求項10

前記物理オブジェクトが前記撮影面上に表示された場合に、当該電子オブジェクトを前記同期タイプとするか前記永続タイプとするかを選択する選択項目を前記投影面上に表示する表示手段をさらに備えることを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。

請求項11

前記投影面には、前記電子オブジェクトが表示された際に前記永続タイプと判断するための一または複数の部分エリアが設けられており、前記判断手段は、前記電子オブジェクトが、前記部分エリアに第2の所定時間を越えて表示されているときは当該電子オブジェクトを永続タイプと判断し、前記部分エリア以外に第2の所定時間を越えて表示されているときは当該電子オブジェクトを未定タイプと判断することを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。

請求項12

前記判断手段は、前記投影面上に投影された前記永続タイプと判断された電子オブジェクト上に当該電子オブジェクトと内容が同じである物理オブジェクトが重ねて表示された場合に、当該電子オブジェクトを前記同期タイプに変更することを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。

請求項13

前記投影面には、前記電子オブジェクトが表示された際に前記永続タイプと判断するための一または複数の部分エリアが設けられており、前記判断手段は、前記電子オブジェクトが、前記部分エリアに第2の所定時間を越えて表示されているときは当該電子オブジェクトを永続タイプと判断し、前記部分エリア以外に第2の所定時間を越えて表示されているときは当該電子オブジェクトを同期タイプと判断し、前記第2の所定時間を越えずに表示されているときは未定タイプと判断することを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。

請求項14

撮影対象との距離情報を測定する距離画像センサをさらに備え、前記判断手段は、前記距離画像センサが測定した距離情報に基づいて前記電子オブジェクトを前記同期タイプとするか前記永続タイプとするかを判断することを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。

請求項15

前記電子オブジェクトのタイプを決定するための指示を受け付け音声入力手段、ジェスチャ入力手段またはヒューマンインタフェースデバイスを少なくとも備えることを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。

請求項16

前記判断手段は、前記第2の物体が前記付箋である場合に当該付箋の色と前記物理オブジェクトの背景色とを抽出し、前記付箋の色と背景色が一致すれば前記同期タイプであると判断し、一致しなければ永続タイプであると判断することを特徴とする請求項5に記載の情報処理装置。

請求項17

撮影された画像情報をネットワークを介して複数の情報処理装置で共有する情報処理装置の制御方法であって、投影面を撮影面として撮影された画像情報から物理オブジェクトを抽出し、該物理オブジェクトに対応する電子オブジェクトを生成する生成工程と、自装置以外の情報処理装置から電子オブジェクトを受信する受信工程と、前記生成または受信した電子オブジェクトに基づいて生成された投影画像を前記投影面に投影する投影工程と、前記物理オブジェクトに対応する画像領域の特徴に基づいて、前記生成された電子オブジェクトのタイプが自装置の前記撮影面における前記物理オブジェクトの変化に同期させて自装置以外の情報処理装置が投影する投影画像に描画される同期タイプか、同期させることなく自装置以外の情報処理装置の投影面に永続的に投影させる永続タイプかを判断する判断工程と、前記同期タイプまたは永続タイプと判断された電子オブジェクトを自装置以外の情報処理装置に送信する送信工程とを含み、前記送信工程では、前記物理オブジェクトに変化が生じた場合には、前記電子オブジェクトが前記同期タイプであるときは、自装置以外の情報処理装置に当該電子オブジェクトに関する情報が送信され、前記電子オブジェクトが前記永続タイプであるときは、当該電子オブジェクトに関する情報が送信されないことを特徴とする制御方法。

請求項18

請求項17に記載の制御方法をコンピュータにより実行させることを特徴とするコンピュータプログラム

技術分野

0001

本発明は、それぞれの端末カメラ撮影した画像情報ネットワークを介して複数拠点間で共有し、それぞれの端末で表示するための情報処理装置情報処理システムおよびコンピュータプログラムに関する。

背景技術

0002

液晶プロジェクタに代表される投影装置に、カメラなどの撮像手段を備えたものが提供されている。例えば、特許文献1が開示する投影装置は、投影面・撮影面に紙が置かれたタイミングを検出し、そのタイミングに合わせて投影面を撮影し、データとして取得する。

0003

また、ネットワークを介して複数拠点で情報を共有しディスカッションを行う電子会議システムも提供されている。例えば、特許文献2が開示する端末装置は、共有ホワイトボードにデータを入力する際に、全ての参加者で共有したい情報を書き込むパブリックモードと、他拠点と共有したくない情報を書き込めるプライベートモードとを両立する。

0004

情報と実在する物とを関連付け、形の無い情報を手にとって操作できるインタフェースとして、タンジブル・インタフェースも提供されている。例えば、非特許文献1は、自拠点で手書きしたものを他拠点でリアルタイムに共有できるシステムを開示している。また、非特許文献2は、実在する物体と情報とを関連付け、物体の物理的な操作(移動や重ね合わせ)に合わせて、情報の表示方法や合成などの操作も行うシステムを開示している。更に、特許文献3は、投影面・撮影面に所定の形状を有する物体を置き、人がその物体を移動させるだけの簡単な操作により、投影面・撮影面に表示された画像を操作できるコマンド入力方法を提案している。

0005

特開2011−215441号公報
特開平10−289175号公報
特開2007−11276号公報

先行技術

0006

MIT Media Lab Tangible Media Group / Clear Board<http://tangible.media.mit.edu/project/clearboard/>(2013年5月7日 確認)
MIT Media Lab Tangible Media Group / Sense Board<http://tangible.media.mit.edu/project/senseboard/>(2013年5月7日 確認)

発明が解決しようとする課題

0007

上述のように、カメラ付きプロジェクタを用いて物理オブジェクト電子オブジェクトの双方が表示される電子会議システムを想定する。このようなシステムでは、自拠点側会議端末が物理オブジェクト(本やカタログ、ホワイトボード上の書き込み)を撮影し、電子オブジェクト(画像データや、電子文書データ)に変換する。そして、会議端末が他拠点側の会議端末にデータを送信することにより情報を共有する。この時、大きく分けて2つの情報共有に関するユースケースが考えられる。

0008

自拠点で付箋やホワイトボードに書き込まれた情報を、他拠点側の会議参加者と共有したい第1のユースケースが考えられる。この時、自拠点の会議参加者と他拠点の会議参加者とでコミュニケーション成立させるためには、情報が変化した時にも各拠点間で同期が取れている必要がある。自拠点側の会議参加者によって物理オブジェクトの撮影面上の位置が移動されたら、他拠点の会議端末は電子オブジェクトの投影面上の表示位置を変更して欲しい。ここでは、たとえば物理的にホワイトボードへ貼付けられた付箋やホワイトボードへ書き込まれた情報のことを物理オブジェクトと呼ぶ。自拠点側の会議参加者によって物理オブジェクトが撮影面上から除外されたら、他拠点側の会議端末は、電子オブジェクトを撮影面上から除外して欲しい。このように、物理オブジェクトが変化したら、他拠点の会議端末が表示している電子オブジェクトでもその変化に対して同期を取りたい、という第1の要望があった。

0009

ここで、第1の要望を満たす会議システムでは、地面に垂直に投影面・撮影面を設けた場合に、撮影可能な物理オブジェクトは比較的軽量なものに限定される。あるいは、物理オブジェクトを予めいくつかの向きで撮影・印刷しておくことも可能であるが、会議開催の手間を増やしてしまう課題がある。地面に対して水平に投影面・撮影面を設ければ、重量がある物理オブジェクトも撮影できる。しかし、複数人が様々な角度から覗き込む形で会議を開催するため、同じ情報を同時に見ることは難しくなる。

0010

手元にある本やカタログ、あるいは立体物を、他拠点の会議参加者と共有したい第2のユースケースも考えられる。閲覧性を考慮すると、複数人が会議へ参加する場合には、ホワイトボード(投影面・撮影面)が地面に対して垂直に配置されていることが望ましい。しかし、参加者が地面に対して垂直な撮影面に、重量のある本やカタログ、立体物を固定し続けることは難しい。よって、自拠点側で物理オブジェクトを撮影したら、撮影面上から除外しても、自拠点側でも他拠点側でも会議端末が電子オブジェクトとして表示して欲しい。このように、物理オブジェクトが変化したとしても、自拠点・他拠点の会議端末が表示している電子オブジェクトはその変化に対して同期を取りたくない、という第2の要望があった。

0011

第2の要望を満たす会議システムでは、自拠点で物理オブジェクトの位置を操作したタイミングで、他拠点で表示している電子オブジェクトとの間で見ている物に差異が生じてしまう。全ての資料電子化することで、複数拠点間で情報を共有することはできる。しかし、電子オブジェクトを操作するには電子ペンジェスチャ入力を介する必要があり、操作性に課題がある。電子ペンを用いる場合には超音波センサ等の新たなハードウェア別途必要となり、製品原価が上がってしまう。ジェスチャ入力はもともとあるカメラを利用できるため新たなハードウェアは不要だが、認識精度に課題が残る。
本発明は、自装置以外の情報処理装置と電子オブジェクトを共有する場合に当該電子オブジェクトのタイプを特定して共有方法切り替えることにより操作性を向上させる情報処理装置を提供することを目的とする。

課題を解決するための手段

0012

本発明の一実施形態の情報処理装置は、撮影された画像情報をネットワークを介して複数の情報処理装置で共有する。前記情報処理装置は、投影面を撮影面として撮影された画像情報から物理オブジェクトを抽出し、該物理オブジェクトに対応する電子オブジェクトを生成する生成手段と、自装置以外の情報処理装置から電子オブジェクトを受信する受信手段と、前記生成または受信した電子オブジェクトに基づいて生成された投影画像を前記投影面に投影する投影手段と、前記物理オブジェクトに対応する画像領域の特徴に基づいて、前記生成された電子オブジェクトのタイプが自装置の前記撮影面における前記物理オブジェクトの変化に同期させて自装置以外の情報処理装置が投影する投影画像に描画される同期タイプか、同期させることなく自装置以外の情報処理装置の投影面に永続的に投影させる永続タイプかを判断する判断手段と、前記同期タイプまたは永続タイプと判断された電子オブジェクトを自装置以外の情報処理装置に送信する送信手段とを備える。前記送信手段は、前記物理オブジェクトに変化が生じた場合には、前記電子オブジェクトが前記同期タイプであるときは、自装置以外の情報処理装置に当該電子オブジェクトに関する情報を送信し、前記電子オブジェクトが前記永続タイプであるときは、当該電子オブジェクトに関する情報を送信しない。

発明の効果

0013

本発明の情報処理装置によれば、自装置以外の情報処理装置と電子オブジェクトを共有する場合に当該電子オブジェクトのタイプを特定して共有方法を切り替えることにより操作性を向上させることが可能となる。従って、物理オブジェクトと電子オブジェクトを画面上に表示する複数の情報処理装置が電子オブジェクトを共有する際に、各装置による投影表示が、煩雑な操作なしに適切に制御される。

図面の簡単な説明

0014

本発明の会議システムのネットワーク構成例である。
会議端末のハードウェア構成例である。
会議端末のソフトウェア構成例である。
撮影画像から電子オブジェクトを生成する処理のフローチャートである。
撮影画像から生成された電子オブジェクトの例である。
オブジェクトタイプを、静止画から決定する処理のフローチャートである。
静止画的な特徴に基づいて決定されたオブジェクトタイプの例である。
オブジェクトタイプを、動画から決定する処理のフローチャートである。
動画的な特徴に基づいて決定されたオブジェクトタイプの例である。
更新実施判断を行う処理のフローチャートである。
電子オブジェクトから投影画像を形成する処理のフローチャートである。
電子オブジェクト記憶部が記憶している電子オブジェクトの例である。
電子オブジェクトから投影画像を形成する例である。
オブジェクトタイプを指定するユーザインタフェースの例である。
位置に応じてオブジェクトタイプを指定するフローチャートである。
位置に応じてオブジェクトタイプを指定する例である。
電子オブジェクトを表示している上に物理オブジェクトを置くことでオブジェクトタイプを変更する処理のフローチャートである。
図17の処理の結果オブジェクトタイプが変更された撮影面の例である。
距離情報を適用したオブジェクトタイプ決定処理の例である。

実施例

0015

(実施例1)
図1は、本発明の会議シテムのネットワーク構成例を示す。会議端末101、102は、それぞれGatewayサーバー103,104を介してインターネット105に接続されている。会議端末はGatewayサーバー103,104及びインターネット105を介して、互いにデータを送受信しデータを共有することができる情報処理装置である。以下では、会議端末101側で行われる処理に注目して説明を行う。ここで、会議端末101側を「本端末」と、会議端末102側を「対向端末」として扱うものとする。会議端末102側に注目した場合には、この関係が入れ替わることに注意されたい。また、本発明においては、対向端末は1台に限定されるものではなく、複数台の構成となっても本発明を適用する事ができることを予め明言する。

0016

図2は、本発明の情報処理装置として機能する会議端末のハードウェア構成例を示す。会議端末101と会議端末102の構成は同等であるため、以下では会議端末101を例に説明する。本実施例では、カメラ付きプロジェクタを会議端末としている。なお、ここでは会議システムを構成する専用ハードウェアデバイスとしてカメラ付きプロジェクタを説明しているが、プロジェクタとカメラ付きスマートフォンを組み合わせる形で会議端末を構成する事もできる。プロジェクタに市販品のWebカメラを接続して会議端末を構成する事もできる。プロジェクタ内蔵のカメラ付きスマートフォンを会議端末として用いる事もできる。

0017

会議端末101は、CPU201、RAM202、ROM203、外部機器コントローラ204、内部機器コントローラ205を備える。CPU201乃至内部機器コントローラ205は、メインバス200を介して接続されている。また、外部機器コントローラ204には、画像撮影モジュール211、画像投影モジュール212、HIDモジュール213、音声入力モジュール214が接続されている。内部機器コントローラ205には、内部記憶装置221、ネットワークモジュール222が接続されている。CPU201は、外部機器コントローラ204と内部機器コントローラ205を介してこれらの制御モジュール通信することができる。

0018

CPUは、Central Processing Unitの略称である。CPU201は、後述するプログラム300を実行するためのユニットである。RAMは、Random Access Memoryの略称である。RAM 202は、CPU 201がプログラム300を実行する際に必要となるデータに対する読み書き可能メモリである。ROMは、Read Only Memoryの略称である。ROM 203はCPU 201がプログラム300を実行する際に必要となるデータを読み出すための読み込み専用メモリである。

0019

外部機器コントローラ204は、画像撮影モジュール211や画像投影モジュール212等の外部機器を制御する為のモジュールである。画像撮影モジュール211は、撮影面上の画像を撮影画像として撮影する為のモジュールである。画像投影モジュール212は、CPU201が生成した投影画像を投影面に表示する為のモジュールである。HID(ヒューマン・インタフェース・デバイス)モジュール213は、人間からの操作を受け付けるためのモジュールである。

0020

音声入力モジュール214は、人間からの音声入力を受け付けるためのモジュールである。例えば、画像撮影モジュール211としてCCD方式のカメラモジュールを、画像投影モジュール212としては液晶パネル方式のプロジェクションモジュールを用いる事ができる。また、HIDモジュール213としてはマウスを、音声入力モジュール213としてはマイクを用いることができる。

0021

内部機器コントローラ205は会議端末101の内部機器を制御する為のモジュールであり、内蔵記憶装置221、ネットワークモジュール222を制御する為のモジュールである。内部記憶装置221は、データを保存するための二次記憶装置である。ネットワークモジュール222は、ネットワーク上の別の機器と情報の送受信を行うためのモジュールである。ネットワークモジュール222としては有線LANに対応しているネットワークモジュールだけではなく、無線LANに対応しているネットワークモジュールを適用する事もできる。つまり、本端末と対向端末とは、ネットワークモジュール222を介して互いにデータを送受信する。

0022

図3は、会議端末のソフトウェア構成例を示す。本発明の会議端末が各実施例の会議システムを実現する際に、CPU201はプログラム300を読み出して実行する。プログラム300は、RAM202ないしROM203に記憶されている。接続情報301は、接続先となる対向端末のIPアドレスなどの接続情報を記憶している設定データである。

0023

撮影画像入力手段311は、画像撮影モジュール211が撮影した撮影画像を受信する。本実施例では、撮影画像入力手段311が幾何補正色調整の前処理を行うものとしている。電子オブジェクト生成手段312は、撮影画像を解析し、物理オブジェクトが存在する部分領域を検出する。そして部分領域上を元に第1の電子オブジェクトを生成する。

0024

電子オブジェクトタイプ決定部351は、第1の電子オブジェクトの元となった部分領域と、部分領域を含む周辺領域の撮影時刻における静止画的な特徴または時系列で変化する動画的な特徴とを求める。そして、電子オブジェクトタイプ決定部351はその部分領域もしくは周辺領域の特徴に基づき、当該第1の電子オブジェクトのオブジェクトタイプを決定する。

0025

更新実施判断手段352は、第1の電子オブジェクトのオブジェクトタイプに基づいて、本端末および対向端末において、第1の電子オブジェクトに関する情報を登録・更新すべきかを判断する。ローカル電子オブジェクト記憶手段313は、更新実施判断手段352で本端末における更新が必要と判断された電子オブジェクトの情報を電子オブジェクト記憶部331に記憶する。

0026

電子オブジェクトパケット送信信手段314は、接続設定301に基づいて、更新実施判断手段352が対向端末において更新が必要と判断された電子オブジェクトの情報を元に、ネットワーク上で送受信できる形式として電子オブジェクトパケットを生成する。そして、ネットワークモジュール222を経由して対向端末へ送信する。

0027

電子オブジェクトパケット受信手段321は、接続設定301に基づいて、対向端末から送信されてきた電子オブジェクトパケットを受信し、当該電子オブジェクトパケットに含まれる第2の電子オブジェクトを抽出する。リモート電子オブジェクト記憶手段322は、電子オブジェクトパケット受信手段321が抽出した第2の電子オブジェクトを、電子オブジェクト記憶部331に記憶する。

0028

ここで、電子オブジェクトパケット送信手段314や電子オブジェクトパケット受信手段321が送受信する電子オブジェクトパケットは、それぞれの電子オブジェクトの投影面上の位置情報及び画像情報等を含む。電子オブジェクトパケットのデータフォーマットとしては、JSON(JavaScript(登録商標) Object Notation)形式やXML(Extensible Markup Language)形式等、種々のフォーマットを用いることができる。

0029

投影画像形成手段332は、電子オブジェクト記憶部331が記憶している第1及び第2の電子オブジェクトから投影画像を形成する。投影画像出力手段333は、画像投影モジュール313を用いて投影面へ投影画像を投影する。

0030

また、ジェスチャ入力手段361は、画像撮影モジュール211が撮影した撮影画像中から会議参加者の身振り手振りを解析し、電子オブジェクト操作手段364に通知する為の手段である。HID入力手段362は、HIDモジュール213で行われた操作を受け付け、電子オブジェクト操作手段364に通知するための手段である。音声入力手段363は、音声入力モジュール214から入力された音声データから会議参加者の声による操作を解析し、電子オブジェクト操作手段364に通知するための手段である。電子オブジェクト操作手段364は、他モジュールから通知された操作を元に、電子オブジェクト記憶部331が記憶している電子オブジェクトに対して変更を行う。

0031

ここで、その他電子会議システムで必要とする一般的な機能を、プログラム300が持っていてもよい。例えば、対向端末を指定するために、接続先の会議端末を設定する為の接続先設定ダイアログボックスを設ける事ができる。対向端末を選択する為に、ネットワークモジュール222を介して外部に存在するサーバーに接続可能な端末を問い合わせする機能と、それをダイアログボックスに候補として通知する機能を設ける事ができる。また、プログラム300は、会議におけるセキュリティを確保する為に、電子オブジェクトパケット送信信手段314が送信する電子オブジェクトパケットを暗号化する機能を有する事ができる。プログラム300は、電子オブジェクトパケット受信手段321が受信した電子オブジェクトパケットを複号する機能を有する事ができる。これらは従来技術の電子会議システムで用いられる一般的な機能であり、本発明の本質に直接影響しないため、詳細は割愛する。

0032

以下、ハードウェアとしてCPU201が実行する、電子オブジェクト生成手段312、電子オブジェクトタイプ決定手段351、更新実施判断手段352、及び投影画像形成手段332を中心に本発明の特徴を説明する。

0033

<電子オブジェクト生成>
図4は、電子オブジェクト生成手段312が行う、撮影画像から電子オブジェクトを生成する処理のフローチャートである。図5は、電子オブジェクト生成手段312が撮影画像から電子オブジェクトを生成する例である。この処理は撮影画像入力手段311から送られる動画の毎フレームに対して行われる。

0034

電子オブジェクト生成手段312は、撮影画像から撮影タイミングに適しているかを判定する(S400)。会議参加者がジェスチャ入力手段361や、HID入力手段362、音声入力手段363を介して操作を行い、電子オブジェクト操作手段364から撮影タイミングを受け取り判断することができる。例えば、画像撮影モジュール211が撮影した撮影画像をジェスチャ入力手段361が解析し、その中で行われた特定の身振り・手振りを持って、撮影タイミングであると判定できる。また、ジェスチャ入力手段361が撮影画像中から動体が無くなるタイミングをもって、撮影タイミングであると判定する事もできる。HIDモジュール213としてのマウスでクリックしたことをHID入力手段302が解釈し、撮影タイミングであると判定できる。音声入力モジュール213で入力された音声を音声入力手段263で解釈し、特定キーワードを検出したタイミングを、撮影タイミングであると判定できる。

0035

電子オブジェクト生成手段312は、上記の撮影タイミングであるかを判断した結果に基づいて処理を分岐する(S402)。撮影タイミングではない場合には、このフレームに対する処理は終了する。撮影タイミングである場合には、電子オブジェクト生成手段312は撮影時刻を取得する(S403)。これは後述する電子オブジェクトの生成処理時に付与される、生成時刻である。

0036

電子オブジェクト生成手段312は、撮影画像に対して、撮影画像をホワイトボードの背景部分と、物理オブジェクトが含まれている前景部分とを画素単位で分離する背景差分処理を行う(S404)。なお、この時に、撮影画像において手や腕の輪郭や色を検出し、それらによって隠されている部分を推定して補完する前処理を更に加えてもよい。この処理例を図5(A)に示す。黒画素部分が前景部分を意味し、白画素部分が背景部分を意味する。

0037

電子オブジェクト生成手段312は、前景部分の画素に対して複数の輪郭を抽出し、これらの複数の輪郭を部分領域とする(S406)。この時、隣接している前景部分同士が結合するように前処理することが望ましい。図5(B)に示した処理例では、5つの部分領域501〜505が抽出されている。

0038

電子オブジェクト生成手段312は、それぞれの部分領域に対して以下の処理を行う。まず、電子オブジェクト生成手段312は処理対象となる部分領域を選択する(S408)。電子オブジェクト生成手段312は選択対象の部分領域の面積を算出し、それが一定未満であれば別の部分領域を選択する(S410)。これは誤検出した孤立点から生成された部分領域を除外する為に必要となる。部分領域はパス点列であるため、たすきがけ法などを用いて面積を算出する事ができる。あるいは、部分領域を包含するバウンディングボックスの面積を、部分領域自体の面積の概算値として用いることもできる。

0039

電子オブジェクト生成手段312は、一定以上の面積を持つ部分領域の情報を元に電子オブジェクトを生成する(S412)。生成された電子オブジェクトは、電子オブジェクトID、物理オブジェクトの有無、画像情報、位置情報、オブジェクトタイプ情報、生成端末情報、静止開始時刻静止時間属性を持つ(図5(C))。電子オブジェクトIDは各電子オブジェクトにシーケンシャルに付与される識別子である。物理オブジェクトの有無は、電子オブジェクトを生成した端末の存在する拠点側の投影面上に物理オブジェクトが存在しているかを示すフラグである。画像情報は撮影画像上での部分領域が示す部分を切り出した画像である。位置情報は部分領域の左上原点座標である。

0040

オブジェクトタイプ情報は、物理オブジェクトが移動した場合の振る舞い、例えば更新処理を行うか否かを決めるための識別情報である。オブジェクトタイプは、削除済みタイプ、未定タイプ、永続表示タイプ同期表示タイプがある。本実施形態において、永続表示タイプは、同期させることなく自装置以外の情報処理装置の投影面に永続的に投影させる電子オブジェクトを指す。例えば、自装置が撮影する撮影面から物理オブジェクトが除去、移動されても自装置の投影面とともに自装置以外の装置の投影面にも固定位置で表示される電子オブジェクトである。同期表示タイプは、自装置の撮影面における物理オブジェクトの変化に同期させて自装置以外の情報処理装置が投影する投影画像に描画される電子オブジェクトを指す。例えば、物理オブジェクトの移動があれば、対向端末側の電子オブジェクトも同様の移動が行われる電子オブジェクトである。また、同期表示タイプは、本端末側で物理オブジェクトを除去すると、対向端末側の電子オブジェクトも表示されなくなる。未定タイプは、物理オブジェクトに対応する電子オブジェクトが撮影できているが、同期表示タイプ、永続表示タイプのいずれにも決定しかねている電子オブジェクトに付与される。削除済みタイプは永続表示タイプの電子オブジェクトに、会議参加者から明示的な除去指定があった場合に付与される。電子オブジェクトを生成した時のオブジェクトタイプの初期値は未定タイプである。なお、同期表示タイプ、永続表示タイプはそれぞれ、単に同期タイプ、永続タイプと呼ぶ場合もある。

0041

生成端末情報は、電子オブジェクトを生成した端末を表す識別子を用いる。本実施例では本端末(すなわち、端末101)とする。静止開始時刻は本電子オブジェクトの元となった物理オブジェクトが撮影画像内で静止しはじめた時刻であって、先ほど求めた撮影時刻である。静止時間は本電子オブジェクトの元となった物理オブジェクトが撮影画像内で静止し続けている時刻である。これは後の処理で計算される。

0042

なお、以下は説明を簡略化する為に、電子オブジェクトID511を持つ電子オブジェクトのことを、電子オブジェクト511と呼称するものとする。図5(C)の例では、部分領域501〜504にそれぞれ該当する電子オブジェクト511〜514が生成されている。部分領域505は面積が小さいため、電子オブジェクトが生成されない。電子オブジェクト生成手段312は他に部分領域があるかを判定し、まだ残っていれば再びこれらの処理を繰り返す(S414)。以上の処理によって、物理オブジェクトが含まれる撮影画像内の部分領域を元に、電子オブジェクトが生成される。

0043

次に、電子オブジェクト生成手段312は、電子オブジェクト記憶部331に保持されている電子オブジェクトに対して、除外されているかを検出する。最初に、電子オブジェクト記憶部331から、対象となる電子オブジェクトを選択する(S450)。当該電子オブジェクトの生成端末が本端末ではない場合には、電子オブジェクト生成手段312は当該電子オブジェクトに対する処理を終了する(S452)。当該電子オブジェクトに対応する部分領域が存在する場合には、電子オブジェクト生成手段312は当該電子オブジェクトに対する処理を終了する(S454)。当該電子オブジェクトの生成端末が本端末であり、かつ部分領域に対応するものが無い場合には、電子オブジェクト生成手段312は当該電子オブジェクトの物理有無をなしにして、電子オブジェクトを新たに生成する(S456)。電子オブジェクト生成手段312は他に電子オブジェクト記憶部331に電子オブジェクトがあるかを判定し、まだ残っていれば再びこれらの処理を繰り返す(S458)。以上の処理によって、撮影画像から除外された物理オブジェクトを元に生成された電子オブジェクトは、物理有無をなしとした新規電子オブジェクトとして生成される。

0044

次に、電子オブジェクトタイプ決定手段351は、それぞれの電子オブジェクトのオブジェクトタイプを、部分領域およびその周辺領域の、撮影時刻における静止画的な特徴、もしくは時系列の変化に注目した動画的特徴のいずれかに基づいて決定する。なお、それぞれのオブジェクトタイプ決定手段を複数組み合わせることで、様々な決定方法を同時に適用する事もできる。

0045

また、ここでは簡単に説明をするに留めるが、永続表示タイプの電子オブジェクトに対して削除する指定がなされた場合、この生成された電子オブジェクトに削除済みのオブジェクトタイプを指定して追加すればよい。削除する電子オブジェクトを選択する方法としては、例えば非特許文献2のように、削除用のマーカーが書かれた物理オブジェクトを上に重ねて撮影する方法が取れる。あるいは、HID入力手段362を介して電子オブジェクトの位置を移動させ、アイコンの上までドラッグした場合や表示画面外にドラッグした場合に削除が選択されたと判断してもよい。あるいは、ジェスチャ入力手段361やHID入力手段362で電子オブジェクトを指定中に、音声入力手段363で削除指示を行う形を用いてもよい。

0046

<静止画的特徴に基づくオブジェクトタイプ決定>
同期表示タイプとして取り込むべき物理オブジェクトと、永続表示タイプとして取り込むべき物理オブジェクトが混在している場合に、静止画から得られる画像上の特徴を考える。

0047

同期表示タイプとして取り込むべき物理オブジェクトをマグネットによって撮影面上に固定するユースケースを考える。永続表示タイプとして取り込むべき物理オブジェクトは、マグネットで撮影面上に固定する事が出来ず、手で持つことで投影面上に固定する。つまり、撮影画像内からマグネットや手を検出する事で、電子オブジェクトに付与するべきオブジェクトタイプを決定できる。

0048

オブジェクトタイプの決定方法としては、接着力の弱いが裏面に貼付されている紙製付箋を用いる別のユースケースも考えられる。予め付箋に識別するための識別マーカー印字したり、利用できる付箋の色を限定することで、部分領域内に撮影された物理オブジェクトが付箋であるか否かを判断できる。そして物理オブジェクトが付箋であると判断された場合に、電子オブジェクトのオブジェクトタイプは同期表示タイプであると決定できる。

0049

図6は、静止画における、物理オブジェクトに対応する画像領域の特徴に基づいて、電子オブジェクトのオブジェクトタイプを決定するフローチャートである。図7は静止画的な特徴に基づいて、電子オブジェクトのオブジェクトタイプを決定する物理オブジェクトの例である。最初に、電子オブジェクトタイプ決定手段351は、対象となっている電子オブジェクトが物理有無=あるとなっているかを判定し、物理オブジェクトがない場合には以下の処理を行わない(S600)。電子オブジェクトタイプ決定手段351は、当該電子オブジェクトの位置・情報に相当する投影画像上の部分画像を抽出する(S601)。電子オブジェクトタイプ決定手段351は、部分画像およびその周辺部において手が重畳・隣接して撮影されているかを判定する(S604)。例えば、図7に示す物理オブジェクト701は、手702が重畳されていると判断される。手が重畳・隣接している場合、電子オブジェクトタイプ決定手段351は当該電子オブジェクトのオブジェクトタイプを永続表示タイプと決定する(S606)。

0050

電子オブジェクトタイプ決定手段351は、手が重なっていない場合には、部分画像中に識別マーカーやマグネットが含まれているかを判定する(S612)。例えば、物理オブジェクト721を撮影した部分画像中には識別マーカー722,723が存在している。物理オブジェクト731を撮影した部分画像中には識別マーカー732,733が存在している。これらの識別マーカーには任意の形状を用いることができ、そこに更に何らかの情報を付与する事もできる。

0051

また、物理オブジェクト741を撮影した部分画像中には、マグネット742、743が存在している。物理オブジェクト751を撮影した部分画像中には、マグネット752が存在している。これらは画像中にマグネットに相当する画像が含まれているかを判定する事で、存在を判定できる。予めシステム側にマグネットとして用いる任意の形状や色を指定しておいてもよい。マグネット自体に識別マーカーを付与することもできる。部分画像中に識別マーカーやマグネットが存在する場合には、電子オブジェクトタイプ決定手段351は当該電子オブジェクトのオブジェクトタイプを同期表示タイプと決定する(S614)。

0052

部分画像中に識別マーカーやマグネットが存在しない場合には、電子オブジェクトタイプ決定手段351は部分領域内での背景色を特定する(S618)。例えば、部分画像に含まれるそれぞれの色をクラスタリングし、最頻出となっている色クラスタを背景色であると推定できる。この時、付箋に書き込む際に油性マーカー等でよく使われる色クラスタは背景色とする候補から除外することが望ましい。次に、背景色がいずれかの付箋特定色と一致するかを判定する(S620)。市販されている紙付箋の色は、多くの場合、書き込みがはっきり見えるように淡い色合いの、かつそれぞれの付箋の色が見分けやすい色が用いられる。背景色と付箋特定色が一致しているのかを判定することで、部分領域に撮影されている物理オブジェクトが付箋であるかを判定する。なお、付箋特定色は予め決めてあってもよいし、明度彩度などの条件を元に決定することもできる。更に、本実施例では色を基準に判定しているが、部分画像の幅・高さの比率が、付箋の幅・高さの比率と一致しているかなどの形状的な特徴を元に判定してもよい。

0053

電子オブジェクトタイプ決定手段351は、背景色が付箋特定色と一致している場合には、同期表示タイプと決定する(S622)。一致していない場合には、未定タイプと決定する(S624)。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する(S630)。ここでは、部分領域内の色や識別マーカーやマグネットなどの特定画像が含まれているかを、オブジェクトタイプを判断する材料に用いた。その他、部分領域内の色数や、線の太さの平均・分散などを、オブジェクトタイプの判断に用いることもできる。

0054

<動画的特徴に基づくオブジェクトタイプ決定>
次に、同期表示タイプとして取り込むべき物理オブジェクトと、永続表示タイプとして取り込むべき物理オブジェクトが混在している場合に、動画から得られる画像上の特徴を考える。

0055

同期表示タイプとして取り込むべき物理オブジェクトをマグネットによって撮影面上に固定するユースケースを考える。永続表示タイプとして取り込むべき物理オブジェクトは、マグネットでは撮影面上に固定する事が出来ず、その代わりに、手で持つことで投影面上に固定する。この時、同期表示タイプとして取り込むべき物理オブジェクトは撮影面上に長時間固定できる。しかし、永続表示タイプとして取り込むべき物理オブジェクトは会議参加者が手動で撮影面上に固定するため、会議参加者の利便性を考えれば、できるだけ短くすることが理想的である。これを利用すると、最初、(取り込むべき)全ての電子オブジェクトを永続表示タイプと仮決定しておき、一定時間以上投影面上に静止した電子オブジェクトに同期表示タイプに再決定する方法を採用することができる。これらの挙動は紙付箋を用いるユースケースでも同様である。

0056

図8は、動画における、物理オブジェクトに対応する画像領域の特徴に基づいて電子オブジェクトのオブジェクトタイプを決定するフローチャートである。図9は、電子オブジェクトのオブジェクトタイプを、動画的な特徴に基づいて決定する例である。最初に、電子オブジェクトタイプ決定手段351は、対象となっている電子オブジェクトが物理有無=あるとなっているかを判定し、物理オブジェクトがない場合には以下の処理を行わない(S800)。電子オブジェクトタイプ決定手段351は、当該電子オブジェクトと電子オブジェクト記憶部331に記憶している電子オブジェクトとを比較し、新規登録となっているかを判定する(S802)。新規登録である場合には、オブジェクトタイプを未定タイプとする(S804)。

0057

次に、電子オブジェクトタイプ決定手段351は電子オブジェクト記憶部331に記憶している情報から比較して、前回の撮影時から電子オブジェクトが移動しているかを判定する(S806)。電子オブジェクトの元となった物理オブジェクトが撮影画像内で移動しているかを判定している事と等価である。なお、実際には撮影時に端末を設置している振動などによって撮影画像にブレなどが生じる事が予想される。これらについては移動判定においてはある程度の閾値を持って多少の変動を許容できるようにするものとする。電子オブジェクトが移動していると判断した場合、電子オブジェクトタイプ決定手段351は、当該電子オブジェクトのオブジェクトタイプを未定タイプと判定する(S808)。

0058

電子オブジェクトが移動していないと判断した場合、電子オブジェクトタイプ決定手段351は静止を継続している時間を算出する(S810)。電子オブジェクトタイプ決定手段351は、静止時間が任意の閾値である取込判定閾値以下であるかを判定し、取込判定閾値以下であれば、当該電子オブジェクトのオブジェクトタイプを未定タイプと決定する(S814)。静止時間が取り込み判定閾値よりも大きい場合には、電子オブジェクトタイプ決定手段351は静止時間が同期判定閾値以下であるかを判定し、同期判定閾値以下であれば当該電子オブジェクトのオブジェクトタイプを永続表示タイプと決定する(S824)。静止時間が同期判定閾値よりも大きければ、電子オブジェクトタイプ決定手段351は当該電子オブジェクトのオブジェクトタイプを同期表示タイプと決定する(S826)。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する(S830)。

0059

以下、図9を用いて具体的な挙動について補足する。本例では所定時間として、取込判定閾値は4秒、同期判定閾値は8秒とする。また、電子オブジェクト記憶部331には何も電子オブジェクトが登録されていないものとする。

0060

図9(A)は、2013年5月20日 9:19:42.250に撮影された撮影画像である。「マスコット案!」と書かれた物理オブジェクト951が撮影されている。この時、電子オブジェクト記憶部331に電子オブジェクトが1つも存在していない。よって、電子オブジェクトタイプ決定手段351は、当該物理オブジェクト951を撮影した部分領域から生成した電子オブジェクト901のオブジェクトタイプを未定タイプと判断する。そして、電子オブジェクトタイプ決定手段351は、電子オブジェクト901は後の処理で電子オブジェクト記憶部331に記憶する。

0061

図9(B)は、2013年5月20日 9:19:47.250に撮影された撮影画像である。「マスコット案!」「いぬ」「斜め下への矢印」と書かれた物理オブジェクト961,962,964と、手持ちの「画像」の物理オブジェクト963が撮影画像に含まれている。この時、電子オブジェクト記憶部331には電子オブジェクト901が記憶されている。電子オブジェクトタイプ決定手段351は電子オブジェクト911と電子オブジェクト901を比較して、移動していないと判定する。この時、静止開始時刻と撮影時刻とを差分から、静止時間が5秒であることが算出される。これは、取込判定閾値を超えており、かつ、同期判定閾値未満である。よって、電子オブジェクトタイプ決定手段351は、電子オブジェクト911のオブジェクトタイプを永続表示タイプと判断する。電子オブジェクトタイプ決定手段351は、電子オブジェクト912,913,914が電子オブジェクト記憶部331に該当する電子オブジェクトが記憶されていないため、未定タイプであると判断する。

0062

図9(C)は、2013年5月20日 9:19:52.250に撮影された撮影画像である。「マスコット案!」「いぬ」「斜め下への矢印」と書かれた物理オブジェクト971,972,974が撮影画像に含まれている。手持ちの「犬」の物理オブジェクト973は撮影面から除外されている。この時、電子オブジェクト記憶部331には電子オブジェクト901、912、913、914が記憶されている。電子オブジェクトタイプ決定手段351は電子オブジェクト921と電子オブジェクト901を比較して、移動していないと判定する。この時、静止開始時刻と撮影時刻とを差分から、静止時間が10秒と算出される。この静止時間は、取込判定閾値を超えており、かつ、同期判定閾値も超えている。よって、電子オブジェクトタイプ決定手段351は、電子オブジェクト921のオブジェクトタイプを同期表示タイプと判断する。

0063

物理オブジェクト973は撮影面から除外されているので、電子オブジェクト913を元に物理有無をなしとして取り込まれているため、オブジェクトタイプは決定されない。よって、電子オブジェクトタイプ決定手段351は、電子オブジェクト923を未定タイプと判断する。電子オブジェクト922,924についても同様に判定を行うと、静止時間が5秒であることから、永続表示タイプであると判断される。すなわち、本例では、電子オブジェクトの静止時間が4秒以上であって8秒以内の場合に、電子オブジェクト決定手段は該電子オブジェクトを永続表示タイプであると判定する。

0064

図9(D)は、2013年5月20日 9:12:57.350に撮影された撮影画像である。「マスコット案!」「いぬ」「斜め下への矢印」と書かれた物理オブジェクト981,982,983が撮影画像に含まれている。この時、電子オブジェクト記憶部331には電子オブジェクト901、912、913、914が記憶されている。電子オブジェクトタイプ決定手段351は、電子オブジェクト931と電子オブジェクト901を比較して、移動していないことを判定する。この時、静止開始時刻と撮影時刻とを差分から、静止時間が15秒と算出される。この静止時間は、取込判定閾値を超えており、かつ、同期判定閾値も超えている。よって、電子オブジェクト931のオブジェクトタイプは同期表示タイプとなる。電子オブジェクト932,933についても同様に判定を行うと、静止時間が10秒であることから、同期表示タイプであると判断される。

0065

以上の処理によれば、本発明の会議端末は、それぞれの電子オブジェクトの元となった物理オブジェクトが撮影画像内で静止しているか否かに応じ、オブジェクトタイプを決定する事ができる。これにより、撮影面上にマグネット等で固定できる物理オブジェクトを対象に、それと対応する電子オブジェクトへ、同期表示タイプのオブジェクトタイプを付与できる。また、手で持っているような物理オブジェクトには、同期判定閾値に達する前に撮影面から除外するジェスチャによって、永続表示タイプのオブジェクトタイプを付与できる。

0066

<更新実施判断>
更新実施判断手段352は、それぞれの電子オブジェクトに対して2つの更新処理を行うかを判別する。1つは、ローカル電子オブジェクト記憶手段313が行う本端末側の電子オブジェクト記憶部331内の電子オブジェクト情報を更新する処理である。もう1つは、電子オブジェクトパケット送信手段314を介して行う、対向端末の電子オブジェクト記憶部331内の電子オブジェクト情報を更新する処理である。

0067

図10は、更新実施判断手段352が行う、各電子オブジェクトの更新実施判断を行う処理のフローチャートである。更新実施判断手段352は、電子オブジェクト記憶部331に同等の情報が記憶されているか否かに基づき、新規登録かを判別する(S1004)。更新実施判断手段352は、新規登録であれば当該電子オブジェクトのオブジェクトタイプに応じて処理を分岐する(S1005)。更新実施判断手段352は、オブジェクトタイプが同期表示タイプ、もしくは、永続表示タイプであれば、送信フラグをTRUEにし(S1012)、記憶フラグをTRUEにする(S1014)。更新実施判断手段352は、オブジェクトタイプが未定タイプであれば、送信フラグをFALSEにし(S1022)、記憶フラグをTRUEにする(S1024)。つまり、まだ新規登録となる電子オブジェクトは無条件登録処理を行う。しかし、オブジェクトタイプが未定タイプであるものは、対向端末へ送信しない。これは、表示された時間が4秒以下など短い場合は、対向端末に反映する必要がないケースが多いためである。

0068

新規登録ではない場合、前回の登録時から電子オブジェクトの画像情報や一致情報に変化があったかを判別する(S1008)。変化している場合には、オブジェクトタイプに応じて処理を分岐する(S1009)。更新実施判断手段352は、当該電子オブジェクトのオブジェクトタイプが同期表示タイプであれば、送信フラグをTRUEに(S1032)、記憶フラグをTRUEにする(S1034)。更新実施判断手段352は、永続表示タイプであれば、送信フラグをFALSEに(S1042)、記憶フラグをFALSEにする(S1044)。未定タイプであれば、送信フラグをFALSEに(S1052)、記憶フラグをTRUEに変更する(S1054)。すなわち、既に登録されているものから変化があった電子オブジェクトは、同期表示タイプであれば変更を送信し、記憶もするが、永続表示タイプであればその変更を送信も記憶もしない。未定タイプの電子オブジェクトは、本端末内では内容更新するが、対向端末に送信は行わない。

0069

移動していない場合、更新実施判断手段352は電子オブジェクト記憶手段331に記憶されている電子オブジェクトからオブジェクトタイプ、物理有無のいずれかに変更があるかを判定する(S1010)。更新実施判断手段352は、変更が無い場合には送信フラグをFALSEに(S1062)、記憶フラグをFALSEにする(S1064)。更新実施判断手段352は、オブジェクトタイプに変更がある場合には、送信フラグをTRUEに(S1072)、記憶フラグをTRUEにする(S1074)。すなわち、前回撮影時から情報が更新されていない場合には、送信処理や更新処理を行わないためデータ量を抑えることができる。

0070

そして、送信フラグがTRUEになっている場合(S1082)、更新実施判断手段352は送信候補に当該電子オブジェクトを追加する(S1084)。また、記憶フラグがTRUEになっているか場合(S1092)、更新実施判断手段352は当該電子オブジェクトを記憶候補に追加する(S1094)。他に処理するべき電子オブジェクトがあれば処理を繰り返す(S1099)。処理するべき電子オブジェクトが無くなれば、電子オブジェクトパケット送信手段314に送信候補を通知する事で、対向端末に送信候補を送信する(S1086)。また、ローカル電子オブジェクト記憶手段313に記憶候補を通知することで、電子オブジェクト記憶部331内に記憶されている電子オブジェクトの情報を更新する(S1096)。

0071

図9を元に更新実施判断手段を具体的に説明する。まず、図9(A)の段階を考える。電子オブジェクト901は新規登録であるが、オブジェクトタイプが未定タイプであるため、送信フラグはFALSE、記憶フラグはTRUEが設定される(S1022,S1034)。つまり、本端末では保存されるが、対向端末には情報を送信しない。

0072

図9(B)の段階を考える。電子オブジェクト911は、同じ画像情報かつ同じ位置に存在する電子オブジェクト901が既に登録されており、位置も移動していない。オブジェクトタイプが未定タイプから永続表示タイプに変化したため、送信フラグはTRUE、記憶フラグもTRUEが設定される(S1072,S1074)。よって、本端末で保存すると共に、対向端末に情報を送信する。一方、電子オブジェクト912、913、914は新規登録であり、オブジェクトタイプが未定タイプであるため、送信フラグがFALSE、記憶フラグがTRUEとなる。

0073

図9(C)の段階を考える。電子オブジェクト921は、電子オブジェクト901が既に登録されており、位置も移動していない。しかし、オブジェクトタイプが永続表示タイプから同期表示タイプに変化したため、送信フラグがTRUE、記憶フラグもTRUEが設定される。よって、本端末で保存すると共に、対向端末に情報を送信する。電子オブジェクト922,924は、電子オブジェクト912,914が登録されており、位置は変更していないがオブジェクトタイプが変更しているため、送信フラグがTRUE、記憶フラグもTRUEが設定される。電子オブジェクト923は新規追加にもなっておらず、位置情報も変更なく、物理有無情報がなしとなっているため、送信フラグがTRUE、記憶フラグもTRUEが設定される。つまりこれによって除外された事が共有される。

0074

最後に、電子オブジェクト931は、電子オブジェクト901が既に登録されており、位置・オブジェクトタイプともに変化が無い。よって、送信フラグも記憶フラグもFALSEが設定される。電子オブジェクト932、933は、電子オブジェクト922,924が登録されており、位置は変更していないがオブジェクトタイプが変更しているため、送信フラグがTRUE、記憶フラグもTRUEが設定される。

0075

<投影画像の形成>
投影画像形成手段332は、電子オブジェクト記憶手段313が記憶している電子オブジェクトを元に、画像投影モジュール212を使って投影画像出力手段333が投影する投影画像を形成する。

0076

図11は、電子オブジェクトから投影画像を形成するフローチャートである。図12は、電子オブジェクト記憶部331が記憶している電子オブジェクトの例である。図13は、電子オブジェクトから投影画像を形成する例である。

0077

投影画像形成手段332は、投影画像を白紙で初期化する(S1102)。そして、投影画像形成手段332は電子オブジェクト記憶手段313が記憶している全電子オブジェクトに対して以下の処理を繰り返す。電子オブジェクトのオブジェクトタイプに応じて処理を分岐する(S1104)。電子オブジェクトのオブジェクトタイプが削除済みタイプである場合には、投影画像形成手段332は画像描画フラグをFALSEに設定する(S1110)。

0078

電子オブジェクトのオブジェクトタイプが未定タイプである場合には、投影画像形成手段332は画像描画フラグをFALSEに設定する(S1112)。つまり、オブジェクトタイプが永続表示タイプとも同期表示タイプとも決定できていない場合には、当該電子オブジェクトは表示しない。電子オブジェクトのオブジェクトタイプが、永続表示タイプである場合には、投影画像形成手段332は画像描画フラグをTRUEに設定する(S1122)。つまり、オブジェクトタイプが永続表示タイプである場合には、その電子オブジェクトは本端末・対向端末の両方ともに表示される。

0079

電子オブジェクトのオブジェクトタイプが同期表示タイプである場合、投影画像形成手段332は電子オブジェクトの生成端末情報が本端末と一致しているかを判定する(S1106)。一致している場合には、投影画像形成手段332は画像描画フラグをFALSEに設定する(S1132)。本端末が生成した電子オブジェクトであれば、物理オブジェクトが画面上に表示されているため、投影する必要がないからである。一致していない場合には、物理オブジェクトが存在しているかを判定する(S1108)。物理オブジェクトが存在している場合には、投影画像形成手段332は画像描画フラグをTRUEに設定する(S1142)。物理オブジェクトが存在していない場合には、投影画像形成手段332は画像描画フラグをFALSEに設定する(S1152)。すなわち、オブジェクトタイプが同期表示タイプである場合には、本端末で生成した電子オブジェクトは描画されない。また、対向端末で生成したが物理オブジェクトが存在していない電子オブジェクトは表示されない。対向端末で生成し、物理オブジェクトが存在している電子オブジェクトは表示される。

0080

以上の結果、投影画像形成手段332は画像描画フラグを判断し(S1162)、TRUEが設定された場合には、電子オブジェクトの位置情報と画像情報を元に投影画像上に描画する(S1164)。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する(S1199)。

0081

投影画像形成の具体例を図12図13を用いて説明する。図12(A)は端末101を設置された拠点における、撮影面上の物理オブジェクトの配置を表したものである。図12(B)は端末102を設置された拠点における、撮影面上の物理オブジェクトの配置を表したものである。図12(C)は端末101側の電子オブジェクト記憶手段331に記憶されている電子オブジェクトである。図12(D)は端末101側の電子オブジェクト記憶手段331に記憶されている電子オブジェクトである。

0082

電子オブジェクト1251,1252,1253,1254及び1258は端末101側で生成された電子オブジェクトである。電子オブジェクト1253はその元となった物理オブジェクトは既に除外されて撮影面上に存在せず、そのオブジェクトタイプは永続表示タイプとなっている。電子オブジェクト1258はその元となった物理オブジェクト1208が撮影面上に存在するが、オブジェクトタイプは未定タイプが設定されている。電子オブジェクト1255,1256,1257は端末102側で生成された。電子オブジェクト1257はその元となった物理オブジェクトは既に除外されて撮影面上に存在せず、そのオブジェクトタイプは永続表示タイプとなっている。

0083

端末101、102側ではそれぞれ異なる投影画像を形成し、それを撮影面上に重畳表示する。その具体例を示したものが図13になる。図13(A)は、図12(C)に示した電子オブジェクト群に基づき、端末101が形成する投影画像の例である。電子オブジェクト1253、1257は永続表示タイプであることから、端末101の投影しようとする投影画像上に画像が描画される。電子オブジェクト1255,1256は同期表示タイプであり、対向端末で生成され、対向端末の撮影面上に物理オブジェクトが存在していることから、端末101の投影しようとする投影画像上に画像が描画される。電子オブジェクト1258はオブジェクトタイプが未定であるため、端末101の投影しようとする投影画像上に表示されない。以上の処理で投影画像図13(A)が形成される。この投影画像を図12(A)の撮影面上に重畳表示すると、図13(C)が得られる。

0084

図13(B)は、図12(D)に示した電子オブジェクト群に基づき、端末102が形成する投影画像の例である。電子オブジェクト1253、1257は永続表示タイプであることから、端末102の投影しようとする投影画像上に画像が描画される。電子オブジェクト1251,1252,1254は同期表示タイプであり、対向端末で生成され、対向端末の撮影面上に物理オブジェクトが存在するため、端末102の投影しようとする投影画像上に画像が描画される。以上の処理で投影画像図13(B)が形成される。この投影画像を図12(B)の撮影面上に重畳表示すると、図13(D)が得られる。

0085

このように、各端末で電子オブジェクトに基づいて投影画像を形成し、撮影面上の物理オブジェクトに重畳表示することで、各端末間で同じ情報を共有できる。この時、永続表示タイプの電子オブジェクトは、物理オブジェクトが存在しない場合でも、どの端末にも表示される。同期表示タイプの電子オブジェクトは、物理オブジェクトが存在する場合に表示される。オブジェクトタイプが未定タイプの電子オブジェクトの情報は各会議端末間で共有されない。

0086

以上、本発明の情報処理装置によれば、自装置以外の情報処理装置と電子オブジェクトを共有する場合に当該電子オブジェクトのタイプを特定して共有方法を切り替えることにより操作性を向上させることが可能となる。同期表示タイプである電子オブジェクトは、撮影面上での物理オブジェクトの変化に対して、投影面上の電子オブジェクトにその変化を反映させる。これにより、物理オブジェクトを介して電子オブジェクトの移動や除外といった操作、すなわち、タンジブル・インタフェースを会議の場に導入でき、会議参加者にとって操作性が向上できる。また、永続表示タイプである電子オブジェクトは、撮影面上での物理オブジェクトの変化に対して、投影面上の電子オブジェクトにその変化を反映させない。この事で、物理的な制約を気にせずに、カメラによって撮影できる様々な資料を会議に取り込むことができる。これにより、資料を会議の場に取り込む際の前処理の煩雑さを解決でき、会議開催時の準備の負荷を大幅に軽減できる。

0087

(実施例2)
実施例2では、会議参加者が手動で行うオブジェクトタイプの付与を中心に説明する。実施例1の手段をもってしても、会議参加者が望んだ電子オブジェクトのオブジェクトタイプを部分領域の静止画的・動画的特徴から確実に推定できるとは限らない。推定である以上は、ある一定の誤認識が含まれていると考える事が妥当である。そのため、何かしらの形で、オブジェクトタイプの誤認識をリカバリーできる手段が必要である。例えば、必ず特定のオブジェクトタイプが設定できる必要がある。あるいは、電子オブジェクトのオブジェクトタイプを会議参加者が後から容易に変更できる必要がある。

0088

オブジェクトタイプの誤認識に対する1つのリカバリー手段として、次の撮影で取得される撮影画像から生成される電子オブジェクトのオブジェクトタイプを予め明示的に指定しておく手段が考えられる。図14は、明示的にオブジェクトタイプを指定するユーザインタフェースの例と、その時の投影面上の表示を示す。設定ダイアログ1400は、投影面上に表示される明示的なオブジェクトタイプを強制的に付与する為のダイアログボックスである。これはジェスチャ入力手段361や、HID入力手段362、音声入力手段363からの指示によって、投影画像形成手段332が描画する事で表示される。

0089

設定ダイアログ1400は、オブジェクトタイプ決定モードを設定するための選択項目ある。本例では、オブジェクトタイプ決定モードとしては、自動判別モード、固定判別(永続)モード、固定判別(同期)モードを選択可能である。ユーザが自動判定タン1402を指定すると、オブジェクトタイプ決定モードは自動判別モードとなる。ユーザが固定判定(永続)ボタン1406を指定すると、オブジェクトタイプ決定モードは固定判定(永続)モードとなる。ユーザが固定判定(同期)ボタン1408を指定すると、オブジェクトタイプ決定モードは固定判定(同期)モードとなる。

0090

オブジェクトタイプ決定モードが自動判別モードである場合には、前述した電子オブジェクトのオブジェクトタイプを、その元となった部分領域の、静止画的・動画的特徴の少なくとも一方に基づいて決定する。オブジェクトタイプ決定モードが固定判定(同期)モード、あるいは、固定判定(同期)モードである場合には、次の電子オブジェクトを取り込んだときのオブジェクト判定を固定的に決定する。

0091

なお、この設定ダイアログ1400を介さずにジェスチャ入力手段361、音声入力手段363でどのモードにするかを指定出来てもよい。例えば、オブジェクトタイプ決定モードを、右腕時計方向に回すジェスチャをした場合には固定判別(永続)モードにする、半時計方向に回すジェスチャをした場合には、固定判別(同期)モードにする、ということも可能である。

0092

更に、ジェスチャ入力手段361、音声入力手段363を介して撮影タイミングを指示すると同時にどのモードにするかを指定出来てもよい。音声入力モジュール213から入力された音声が「永続表示タイプで撮影」であると音声入力手段363が認識した場合には、オブジェクトタイプ決定モードが固定判定(永続)モードにした後に、電子オブジェクトの取り込み処理を実行する。音声入力モジュール213から入力された音声が「同期表示タイプで撮影」であると音声入力手段363が認識した場合には、オブジェクトタイプ決定モードが固定判定(同期)モードにした後に、電子オブジェクトの取り込み処理を実行する。

0093

この時、オブジェクトタイプ決定モードを会議参加者に通知する為、投影面上に、ラベルボタン1452、1454、1456のようにオブジェクトタイプ決定モードを表示する手段を別途設けてもよい。

0094

オブジェクトタイプの誤認識に対する1つのリカバリー手段として、物理オブジェクトが置かれた位置に応じてオブジェクトタイプを固定で指定する手段も考えられる。図15は、位置に応じてオブジェクトタイプを指定するフローチャートである。また、図16は、位置に応じてオブジェクトタイプを指定する部分エリアの表示例である。

0095

物理オブジェクトが置かれた位置に応じてオブジェクトタイプを固定で指定する手段では、撮影面上の一部領域に強制永続表示エリアを設ける。例えば、図16(A)のように撮影面の周縁部を強制永続表示エリア1601とすることができる。図16(B)のように下部を強制永続表示エリア1611とすることができる。図16(C)のように撮影面の下側の角を強制永続表示エリア1621,1622とすることができる。あるいは、図16(D)のように撮影面の左右端を強制永続表示エリア1631,1632とすることができる。

0096

強制永続表示エリアは様々な形状を用いることが出来、これらはそれらの1バリエーションにすぎない。また、矩形である必要はなく、三角形円形円弧など様々な形状を用いることもできる。また、電子オブジェクトが強制永続表示エリアの一部が重なっているという条件の他に、確実に強制永続表示エリアに電子オブジェクトが包含されたという条件を用いてもよい。投影画像上に強制永続表示エリアを描画して、投影面上に重畳表示をしてもよい。

0097

最初に、電子オブジェクト記憶部331の内容に基づいて、電子オブジェクト生成手段312が生成した電子オブジェクトが静止中かを判断する(S1502)。電子オブジェクトタイプ決定手段351は、静止していなければ、そのオブジェクトタイプは未定タイプと決定する(S1512)。オブジェクトが静止していれば、その静止時間を求める(S1504)。S1506で、電子オブジェクトタイプ決定手段351は、静止時間が任意の閾値である取込判定閾値以下である場合には、オブジェクトタイプは未定タイプと決定する。静止時間が取込判定閾値より大きい場合、電子オブジェクトが強制永続表示エリア上にあるかを判定する(S1508)。電子オブジェクトタイプ決定手段351は、該エリア上に無い場合にはオブジェクトタイプは未定タイプと決定する。エリア上にある場合には永続表示タイプと決定する(S1510)。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する(S1599)。なお、本フローチャートでは、S1508の処理において、強制永続表示エリア上にないと判断された場合はS1512で未定タイプと決定された。しかし、部分エリア以外に所定の時間を越えて表示されている、つまり静止時間が取込判定閾値より大きい場合であれば、同期表示タイプと決定されてもよい。

0098

例えば、図16(A)における物理オブジェクト1601を取り込む場合には、これを元にした電子オブジェクトが強制永続表示エリア1611の上にある為、電子オブジェクトのオブジェクトタイプは永続表示タイプであると決定される。なお、同期表示タイプを付与すべく強制同期表示エリアを撮影面上に設けてもよい。

0099

オブジェクトタイプの誤認識に対する1つのリカバリー手段として、電子オブジェクトを表示している上に物理オブジェクトを置くことでオブジェクトタイプの変更を指定する方法も考えられる。図17は、電子オブジェクトを表示している上に物理オブジェクトを置くことでオブジェクトタイプの変更するフローチャートである。図18は、電子オブジェクトを表示している上に物理オブジェクトを置くことでオブジェクトタイプの変更するフローチャート例である。

0100

最初に、電子オブジェクト記憶部331の内容に基づいて、電子オブジェクト生成手段312が生成した電子オブジェクトが静止中かを判断する(S1702)。電子オブジェクトタイプ決定手段351は、静止していなければ、そのオブジェクトタイプは未定タイプとする(S1712)。電子オブジェクトタイプ決定手段351は、オブジェクトが静止していれば、その静止時間を求める(S1704)。S1706で、電子オブジェクトタイプ決定手段351は、静止時間が任意の閾値である同期判定閾値以下である場合には、オブジェクトタイプは未定タイプと決定する。静止時間が同期判定閾値より大きい場合、電子オブジェクトが同じ画像情報と位置情報を持つ電子オブジェクト上にあるかを判定する(S1708)。電子オブジェクトタイプ決定手段351は、この上に無い場合にはオブジェクトタイプは未定タイプとする。上にある場合には同期表示タイプとする(S1710)。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する(S1799)。

0101

図18を用いて、具体的な動作について説明する。図18(A)は、電子オブジェクト記憶手段313が記憶している永続表示タイプのオブジェクトタイプを持つ電子オブジェクト1811の上に、会議参加者が物理オブジェクト1801を近づけている状態を示す。

0102

図18(B)は、電子オブジェクト1811の上に同じ画像情報と位置情報を持つ電子オブジェクトが生成されるように、物理オブジェクト1801を移動し、静止している状態を示す。物理オブジェクト1801から電子オブジェクトが生成されると、生成した電子オブジェクトによって、電子オブジェクト記憶手段313で記憶している電子オブジェクト1811はオブジェクトタイプを永続表示タイプから同期表示タイプに更新される。

0103

図18(C)は、物理オブジェクト1801を移動した例である。この時、同期表示タイプでかつ物理が存在する為、当該電子オブジェクトは投影面上に表示されない。例えば、この状態で会議参加者は、先ほどのリカバリー手段で前述した手段を用いて、音声入力手段363を介してオブジェクトタイプを同期表示タイプから永続表示タイプに変更して電子オブジェクトを取り込む指示をする。すると、電子オブジェクト1811のオブジェクトタイプは、同期表示タイプから永続表示タイプに更新される。

0104

図18(D)は、物理オブジェクト1801を動かした例である。物理オブジェクト1801と電子オブジェクト1811はオブジェクトタイプの変更に伴い独立して表示される。以上に示したように、この機能を利用する事で、永続表示タイプとして取り込まれた電子オブジェクトを、物理オブジェクトを重ねるという簡単な操作で、同期表示タイプのオブジェクトタイプに再設定することが可能となる。

0105

(実施例3)
実施例3では、オブジェクトタイプ決定への距離情報活用について述べる。実施例3の会議端末は、撮影画像内に含まれる部分領域の静止画的・動画的な特徴に基づき、電子オブジェクトのオブジェクトタイプを決定する点に特徴がある。しかし、たとえば手やマグネットが撮影された写真をホワイトボードへ示した場合、その手やマグネットが実際に存在する立体物なのか、実際には存在しない平面なのかを確実に区別することは難しい。そのため、オブジェクトタイプの誤判定が生じる場合もありえる。

0106

本実施例の電子会議端末では、画像撮影モジュール211はステレオカメラである。ステレオカメラは通常の映像取得のカメラを2つ持ち、それぞれのカメラで撮影した画像の特徴点から撮影対象との距離情報を推定するカメラである。撮影面上にある物理オブジェクトとカメラとの距離情報から、撮影対象が立体物か否かを判断する。

0107

なお、ここで距離情報を取得するためにステレオカメラの代わりに距離画像センサ技術を用いてもよい。距離画像センサは撮影対象との距離情報を測定するセンサであり、例えば赤外線反射時間などが用いられる。距離画像センサやステレオカメラは、3次元モデルに基づいたジェスチャ認識や、複数枚画像からの超解像処理など、他の用途に兼用してもよい。

0108

図19に、距離情報を適用したオブジェクトタイプ決定処理の例を示す。撮影面1900上には、物理オブジェクト1901と物理オブジェクト1911が含まれる。物理オブジェクト1901は、マグネット1903と1902によって固定されている。一方、物理オブジェクト1911は手1912によって固定されている。そして、撮影面1900と同じ領域を、距離画像センサやステレオカメラで撮影し、距離情報を求めた結果が距離マップ1950である。

0109

距離マップ1950において、物理オブジェクト1911に対応して距離情報上でも形状1961が観測できる。一方で、物理オブジェクト1901に対応した形状は観測できない。これに基づき、撮影面に対してある程度の距離を離して持っている物理オブジェクト1911と、撮影面に貼りつけている物体1901とを識別できる。例えば、物理オブジェクト1911を撮影した部分領域から生成した電子オブジェクトに対しては永続表示タイプを付与できる。また、物理オブジェクト1901を撮影した部分領域から生成した物理オブジェクトに対しては同期表示タイプを付与する事が出来る。つまり、撮影面よりも手前の位置にあると判断された電子オブジェクトは永続表示タイプであると決定され、撮影面とほぼ同じ一にあると判断された電子オブジェクトは同期表示タイプであると決定される。

0110

また、距離マップ1950では、マグネット1902,1903に対応するように距離情報上でも形状1952,1953が観測できる。これによりマグネットが「印刷物」ではなく「立体物」であることを認識することで、部分領域が立体物となっているマグネット画像を含んでいる場合にのみ、オブジェクトタイプを同期表示タイプと決定する事が出来るようになる。

0111

更に、距離マップ1950では手1912に対応するように形状1962を観測する事が出来る。手や腕であれば多少の丸味を帯びている事が予想でき、そこから距離情報上でも階調性が構成されていることが期待できる。これを元に、色味だけを用いた判別よりも、より高い精度で手部分の検出ができる。以上に述べたとおり、オブジェクトタイプ決定への距離情報活用することで、オブジェクトタイプの認識精度をより高める事が出来る。

0112

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そしてそのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

0113

101、102 会議端末

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ