図面 (/)

技術 動画像内の物体の同定方法及び動画像内の物体の同定装置

出願人 日本電信電話株式会社
発明者 紺谷精一井上潮佐藤哲司片岡良治
出願日 1994年8月12日 (25年1ヶ月経過) 出願番号 1994-190716
公開日 1996年2月27日 (23年6ヶ月経過) 公開番号 1996-055131
状態 特許登録済
技術分野 イメージ処理・作成 画像処理 検索装置 イメージ分析
主要キーワード ナビゲーション方式 同定装置 座標指示装置 読み出し画像 指示動作 座標指示 映像フレーム内 アイカメラ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1996年2月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

目的

本発明は、予め動画像情報内の個々の物体に、当該物体を同定することが可能な領域を設定し蓄積しておかなくても、指示された座標に基づき物体を検索して同定することが可能な動画像内の物体の同定方法及び動画像内の物体の同定装置を提供することを目的とする。

構成

本発明は、画像蓄積手段110、画像表示手段120、座標指示手段130、位置情報蓄積手段140、検索手段150、尤度計算手段160、同定手段170とで構成される。

概要

背景

従来、動画像内の物体を同定する方法としては以下の方法がある。従来の方法は、動画像を二次元の画像と時間軸からなる三次元の時空間としてとらえ、動画像内の物体毎に、当該物体を内包する領域を管理情報として設定しておき、利用者が指示した画像の位置と時間の組、即ち利用者が指示した動画像内の座標を含む領域を持つ物体を管理情報を用いて選択することで動画像内の物体を同定している(高野 元、的場ひろし、原 良憲:“ビデオハイパーメディアナビゲーション方式”、8th Symposium on Human Interface,pp607-612,Oct.21-23,1992)。

図10は、従来の方法を説明する図を示す。図10(A)は、図10(B)に示す映像フレーム10内を、図10(C)に示す三角形の物体20が、時刻t0から時刻t4 (t0 <t4 )までの時間経過に伴い映像フレーム10内を移動している様子を示しており、時刻t0 における映像フレーム10(座標(0,0,0)、(x,0,t0 )、(x,y,t0 )、(0,y,t0 )の4点を頂点とする四角形の領域)から時刻t4 における映像フレーム10までの5枚の映像フレーム10を、時刻の昇順に時間軸(t)方向に平行に並べた例を示している。映像フレーム10内の物体20は、時刻t0 から時刻t4 への時間経過に伴い、各映像フレーム10内を右下から左上に向かって移動している、映像情報として記録されている物体20である。また、各映像フレーム10内の物体20を内包する四角形は、物体20を同定することが可能な領域を示しており、映像情報として記録されているものではなく上述の管理情報として蓄積されている。図10(D)は、図10(A)に示す時刻t0 から時刻t4 までの各映像フレーム10内で物体20を同定することが可能な領域を示している。この、物体20を同定することが可能な領域というのは、利用者が図10(A)に示す動画像を見ながら当該動画像内の物体20を指示する際に、物体20の内側の領域でなくても、物体20の周囲の四角形の領域内を指示していれば、利用者が物体20を指示したものとして同定することが可能な領域のことである。映像フレーム10内の物体20は時間の経過に伴ってその位置を右下から左上へと変えているため、例えば、利用者が時刻t2 の映像フレーム10内で物体20の右下を指示したつもりでも、指示しようと考えてから実際に指示するまでには多少の時間(仮に、Δt=t3 −t2 とする)を要する。そのため、指示した座標が入力された時(t3=t2 +Δt)には、時刻t3 の映像フレーム10となってしまい、当該映像フレーム内の指示された座標には既に物体20は存在していないという場合が考えられ、利用者の意図した物体20を正しく指示することができない場合がある。このような場合、特に物体20の移動速度が速い場合や、物体20の大きさが小さい場合などであっても利用者が物体20をできるだけ正しく指示することができるように、映像フレーム10内の各物体20毎に実際の物体20よりも広い範囲を当該物体を同定することが可能な領域として予め設定しているのである。

概要

本発明は、予め動画像情報内の個々の物体に、当該物体を同定することが可能な領域を設定し蓄積しておかなくても、指示された座標に基づき物体を検索して同定することが可能な動画像内の物体の同定方法及び動画像内の物体の同定装置を提供することを目的とする。

本発明は、画像蓄積手段110、画像表示手段120、座標指示手段130、位置情報蓄積手段140、検索手段150、尤度計算手段160、同定手段170とで構成される。

目的

本発明は、上記の点に鑑みなされたもので、予め動画像情報内の個々の物体毎に、当該物体を同定することができる領域を設定して管理情報として蓄積しておくことなく、正しく物体を同定することが可能な動画像内の物体の同定方法及び動画像内の物体の同定装置を提供することを目的とする。

また、指示された座標が物体の外側であったり、動画像情報内の物体の数が多い場合であっても、利用者の意図した物体を正しく同定することが可能な動画像内の物体の同定方法及び動画像内の物体の同定装置を提供することを目的とする。

また、動画像情報内を移動する物体の移動速度が速い場合や、動画像情報の再生速度が速い場合等であっても、利用者の意図した物体を正しく同定することが可能な動画像内の物体の同定方法及び動画像内の物体の同定装置を提供することを目的とする。

効果

実績

技術文献被引用数
1件
牽制数
3件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

予め蓄積された動画像情報を表示するステップと、表示された該動画像情報を見ながら該動画像情報内の座標を指示するステップと、予め蓄積された該動画像情報内の物体位置情報の中から物体を検索する検索ステップと、該指示された座標と該検索ステップにより検索された物体との尤度を計算し、計算された該尤度に基づいて該指示された座標に対応する物体を同定する同定ステップとを有することを特徴とする動画像内の物体の同定方法

請求項2

前記検索ステップは、前記指示された座標に基づいて前記動画像情報内に検索領域を設定する検索領域設定ステップと、前記予め蓄積された前記動画像情報内の物体の位置情報のうち、該検索領域内に位置する物体を検索する検索領域内検索ステップとを有する請求項1記載の動画像内の物体の同定方法。

請求項3

前記検索領域設定ステップは、前記指示された座標に基づいて、前記動画像情報内の物体を確認してから指示するまでの遅延時間分だけ過去の前記動画像情報を、前記検索領域として設定する請求項2記載の動画像内の物体の同定方法。

請求項4

前記同定ステップは、前記指示された座標と前記検索の結果得られた物体の位置情報との距離に基づいて前記尤度を計算し、計算された前記尤度が最大となる物体を、前記指示された座標に対応する物体として同定する請求項1記載の動画像内の物体の同定方法。

請求項5

動画像情報を蓄積する画像蓄積手段と、該画像蓄積手段に蓄積された該動画像情報を表示する画像表示手段と、該画像表示手段に表示された該動画像情報を見ながら該動画像情報内の座標を指示する座標指示手段と、該動画像情報内の個々の物体の位置情報を蓄積する位置情報蓄積手段と、該位置情報蓄積手段の中から物体を検索する検索手段と、該動画像情報内の各座標と個々の物体の位置情報の組に対して実数を対応させて尤度とする尤度計算手段と、該指示された座標と該検索手段により検索された物体の位置情報との組を、該尤度計算手段に出力して該尤度を計算し、計算された該尤度に基づいて該指示された座標に対応する物体を同定する同定手段とを有することを特徴とする動画像内の物体の同定装置

請求項6

前記検索手段は、前記動画像情報内の各座標に対して前記動画像情報内に検索領域を対応させて設定する検索領域設定手段と、前記指示された座標を該検索領域設定手段に出力して、前記指示された座標に対する該検索領域を設定するとともに、前記位置情報蓄積手段の中の該検索領域内に位置情報を有する物体を検索する検索領域内検索手段とを有する請求項5記載の動画像内の物体の同定装置。

請求項7

前記検索領域設定手段は、前記指示された座標に対して、前記動画像情報内の物体を確認してから指示するまでの遅延時間に基づいて前記動画像情報内に前記検索領域を設定する請求項6記載の動画像内の物体の同定装置。

請求項8

前記尤度計算手段は、前記指示された座標と前記検索手段によって検索された物体の位置情報とから距離を計算し、計算された距離に基づいて前記指示された座標に対する前記尤度を決定する請求項5記載の動画像内の物体の同定装置。

技術分野

0001

本発明は、動画像内の物体同定方法及び動画像内の物体の同定装置係り利用者が動画像を見ながら指示した物体を同定する動画像内の物体の同定方法及び動画像内の物体の同定装置に関する。

0002

詳しくは、利用者が指示した動画像情報内の物体に関する情報等を提示する動画像ナビゲーションシステム等において、利用者の指示した動画像情報内の物体を正しく同定する動画像内の物体の同定方法及び動画像内の物体の同定装置に関する。

背景技術

0003

従来、動画像内の物体を同定する方法としては以下の方法がある。従来の方法は、動画像を二次元の画像と時間軸からなる三次元の時空間としてとらえ、動画像内の物体毎に、当該物体を内包する領域を管理情報として設定しておき、利用者が指示した画像の位置と時間の組、即ち利用者が指示した動画像内の座標を含む領域を持つ物体を管理情報を用いて選択することで動画像内の物体を同定している(高野 元、的場ひろし、原 良憲:“ビデオハイパーメディアナビゲーション方式”、8th Symposium on Human Interface,pp607-612,Oct.21-23,1992)。

0004

図10は、従来の方法を説明する図を示す。図10(A)は、図10(B)に示す映像フレーム10内を、図10(C)に示す三角形の物体20が、時刻t0から時刻t4 (t0 <t4 )までの時間経過に伴い映像フレーム10内を移動している様子を示しており、時刻t0 における映像フレーム10(座標(0,0,0)、(x,0,t0 )、(x,y,t0 )、(0,y,t0 )の4点を頂点とする四角形の領域)から時刻t4 における映像フレーム10までの5枚の映像フレーム10を、時刻の昇順に時間軸(t)方向に平行に並べた例を示している。映像フレーム10内の物体20は、時刻t0 から時刻t4 への時間経過に伴い、各映像フレーム10内を右下から左上に向かって移動している、映像情報として記録されている物体20である。また、各映像フレーム10内の物体20を内包する四角形は、物体20を同定することが可能な領域を示しており、映像情報として記録されているものではなく上述の管理情報として蓄積されている。図10(D)は、図10(A)に示す時刻t0 から時刻t4 までの各映像フレーム10内で物体20を同定することが可能な領域を示している。この、物体20を同定することが可能な領域というのは、利用者が図10(A)に示す動画像を見ながら当該動画像内の物体20を指示する際に、物体20の内側の領域でなくても、物体20の周囲の四角形の領域内を指示していれば、利用者が物体20を指示したものとして同定することが可能な領域のことである。映像フレーム10内の物体20は時間の経過に伴ってその位置を右下から左上へと変えているため、例えば、利用者が時刻t2 の映像フレーム10内で物体20の右下を指示したつもりでも、指示しようと考えてから実際に指示するまでには多少の時間(仮に、Δt=t3 −t2 とする)を要する。そのため、指示した座標が入力された時(t3=t2 +Δt)には、時刻t3 の映像フレーム10となってしまい、当該映像フレーム内の指示された座標には既に物体20は存在していないという場合が考えられ、利用者の意図した物体20を正しく指示することができない場合がある。このような場合、特に物体20の移動速度が速い場合や、物体20の大きさが小さい場合などであっても利用者が物体20をできるだけ正しく指示することができるように、映像フレーム10内の各物体20毎に実際の物体20よりも広い範囲を当該物体を同定することが可能な領域として予め設定しているのである。

発明が解決しようとする課題

0005

しかしながら、上記従来の方法では、以下に示す4つの問題点がある。

0006

第1の問題点は、利用者が指示した映像フレーム10内の物体20をシステムに正しく同定させるためには、利用者が当該システムに予め設定されている各物体20を同定することができる領域内を指示しなければならない点である。利用者が、予めシステムに設定されている物体20を同定することができる領域に対して少しでも外側の座標を指示してしまうと、システムは物体20を指示された物体20として正しく同定することはできないため、利用者は注意深く物体20を指示しなければならない。

0007

第2の問題点は、上記従来の方法では、第1の問題点による影響を軽減するために、映像フレーム10内に存在する物体の数が少ない場合には、個々の物体を同定することができる領域をできるだけ広くとり、また、映像フレーム10内に存在する物体の数が多い場合には、個々の物体を同定することができる領域を狭くとる等の調整を行なわなければならないという点である。そのため、個々の物体に対する領域の設定に多大の工程を要することになる。

0008

第3の問題点は、動きの速い物体を同定する場合、利用者が物体を指示する操作が物体の移動に追いつかないことがあるため、物体を同定することができる領域を物体の移動速度を考慮した領域として設定しておかなければならない点である。この場合にも設定に多くの工程を要する。

0009

第4の問題点は、動画像の再生速度が速い場合などにも、上記第3の問題と同様の問題が発生するため、動画像の再生速度に応じて物体を同定することが可能な領域を複数設定しておかなければならないという点である。この問題も、上記第2の問題点、第3の問題点と同様設定に多くの工程を要する。

0010

本発明は、上記の点に鑑みなされたもので、予め動画像情報内の個々の物体毎に、当該物体を同定することができる領域を設定して管理情報として蓄積しておくことなく、正しく物体を同定することが可能な動画像内の物体の同定方法及び動画像内の物体の同定装置を提供することを目的とする。

0011

また、指示された座標が物体の外側であったり、動画像情報内の物体の数が多い場合であっても、利用者の意図した物体を正しく同定することが可能な動画像内の物体の同定方法及び動画像内の物体の同定装置を提供することを目的とする。

0012

また、動画像情報内を移動する物体の移動速度が速い場合や、動画像情報の再生速度が速い場合等であっても、利用者の意図した物体を正しく同定することが可能な動画像内の物体の同定方法及び動画像内の物体の同定装置を提供することを目的とする。

課題を解決するための手段

0013

図1は、本発明の原理説明図を示す。

0014

本発明の、動画像内の物体の同定方法は、予め蓄積された動画像情報を表示し(ステップ1)、利用者が表示された動画像情報を見ながら、当該動画像情報内の座標を指示する(ステップ2)。

0015

利用者により動画像情報内の座標が指示されると、予め蓄積された当該動画像情報内の物体の位置情報から物体を検索する(ステップ3)。

0016

利用者によって指示された座標と上記ステップ3で検索された物体との尤度を計算し、計算された尤度に基づいて利用者の指示した座標に対応する動画像情報内の物体を同定する(ステップ4)。

0017

図2は、本発明の原理構成図を示す。

0018

本発明の、動画像内の物体の同定装置100は、動画像情報を蓄積する画像蓄積手段110と、画像蓄積手段110に蓄積された動画像情報を表示する画像表示手段120と、画像表示手段120に表示された動画像情報を見ながら動画像情報内の座標を指示する座標指示手段130と、動画像情報内の個々の物体の位置情報を蓄積する位置情報蓄積手段140と、位置情報蓄積手段140の中から物体を検索する検索手段150と、動画像情報内の各座標と個々の物体の位置情報の組に対して実数を対応させて尤度とする尤度計算手段160と、指示された座標と該検索手段150により検索された物体の位置情報との組を、尤度計算手段160に出力して尤度を計算し、計算された尤度に基づいて指示された座標に対応する物体を同定する同定手段170とを有する。

0019

上記検索手段150は、動画像情報内の各座標に対して動画像情報内に検索領域を対応させて設定する検索領域設定手段と、指示された座標を検索領域設定手段に出力して、指示された座標に対する検索領域を設定するとともに、位置情報蓄積手段140の中の検索領域内に位置情報を有する物体を検索する検索領域内検索手段とを有する。

0020

上記検索領域設定手段は、指示された座標に対して、動画像情報内の物体を確認してから指示するまでの遅延時間に基づいて、動画像情報内に検索領域を設定する。

0021

上記尤度計算手段160は、指示された座標と検索手段150によって検索された物体の位置情報とから距離を計算し、計算された距離に基づいて尤度を決定する。

0022

本発明は、動画像情報内の指示された座標に基づき物体を検索し、検索の結果に基づいて指示された物体を同定することにより、予め動画像情報内の各物体毎に、当該物体を同定することができる領域を設定して蓄積していなくても、物体を同定することが可能となる。

0023

また、予め動画像情報内の各物体毎に、当該動画像情報内における位置情報を蓄積しているため、指示された座標に基づき全ての物体を検索することが可能となる。

0024

また、指示された座標に基づいて、動画像情報内に物体を検索するための検索領域を設定して物体を検索することにより、検索量、検索時間を短縮することが可能となる。

0025

また、表示された動画像情報内の物体を確認してから実際に指示するまでの遅延時間を考慮し、動画像情報内の物体を検索するための検索領域を当該遅延時間に基づき設定することにより、動きの速い物体や、再生速度の速い動画像情報等であっても、実際に座標が指示された時刻の動画像情報内での物体の検索が可能となる。

0026

また、指示された座標と検索された各物体の位置情報に基づき尤度を計算することで、利用者の指示した物体を尤度に基づき一意に同定することが可能となる。

0027

以下、図面と共に本発明の実施例を詳細に説明する。

0028

図3は、本発明の一実施例の構成図を示す。同図に示す動画像内の物体の同定装置100は、画像蓄積部110、画像表示部120、座標指示部130、位置情報蓄積部140、検索領域設定部180、尤度計算部160、制御部200から構成される。

0029

画像蓄積部110は、動画像情報を蓄積しているデータベースであり、x軸、y軸、t軸で指定される、0≦x≦X、0≦y≦Y、0≦t≦Tの範囲にある動画像情報であり、x軸、y軸から構成される映像フレームを時刻(t)毎に蓄積している。

0030

画像表示部120は、画像蓄積部110に蓄積されている動画像情報を表示するディスプレイである。

0031

座標指示部130は、画像表示部120に表示された動画像情報内の座標(x,y,t)を指示するマウスである。画像表示部120に表示された動画像情報を見ながら、当該動画像情報内のある座標(x,y)の位置で、当該位置を指示するためのボタンを押すことにより、ボタンを押した時刻tにおける動画像情報内の座標として、座標(x,y,t)の指定をすることができる。以下、座標指示部130の指示する座標は、(px,py,pt)と表記する。

0032

位置情報蓄積部140は、画像蓄積部110に蓄積される動画像情報内の各物体毎の代表点として物体の中心の位置情報を蓄積している。各物体の位置情報は、当該動画像情報内の各映像フレーム毎に、フレーム内の二次元の座標(x,y)と時刻tとからなる三次元空間内の座標(x,y,t)として表現される、動画像情報の再生に伴って描く軌跡として蓄積されている。画像蓄積部110に蓄積されている動画像情報内の物体iの位置情報を、

0033

0034

と表記し、物体iの時刻tにおける動画像情報内のx座標とy座標はそれぞれ以下のように表記する。

0035

0036

以下に、図を用いて物体iの位置情報について説明する。図4は、本発明の一実施例の物体iの時刻tにおける位置を説明する図を示す。同図に示す太い実線は物体iの時刻0から時刻tまでの映像フレーム内の移動の軌跡を示しており、太い破線は物体iの時刻t以後の移動の軌跡を示している。図中のAで示した太い実線と太い破線との接続点(A)は、時刻tにおける座標(X,0,t)、(X,Y,t)、(0,Y,t)、(0,0,t)の4つの座標を頂点とする四角形で示される映像フレーム10内の物体iの位置を示している。図5は、本発明の一実施例の位置情報蓄積部の蓄積例を示す図である。同図に示す位置情報蓄積部140の蓄積例は、画像蓄積部110に蓄積されている動画像情報と対応しており、当該動画像情報内に存在する個々の物体について、時刻、物体番号、物体番号に対応する物体の代表点の位置情報としてx座標とy座標とを蓄積する例である。時刻t1 における動画像情報内には、座標(3,7)、(12,7)、(6,2)の位置に代表点を持つ物体番号が21、22、23の3つの物体が表示されていることを示している。

0037

尤度計算部160は、座標指示部130により指示された座標と、物体iの位置情報とから、尤度を計算する尤度計算器Lであり、

0038

0039

と表記する。尤度計算器Lの計算式については、後述の具体例で示す。

0040

検索領域設定部180は、座標指示部130により指示された座標に基づき物体を検索するための検索領域を動画像情報内に設定する検索領域設定器Rであり、
R(px,py,pt)
と表記する。検索領域設定器Rの右辺については、後述の具体例で示す。

0041

制御部200については、以下に図を用いて詳しく説明する。図6は、本発明の一実施例の制御部の構成図を示す。同図に示す制御部200は、検索領域内検索部190、同定部170から構成される。検索領域内検索部190は、画像蓄積部110から動画像情報を読み出して画像表示部120に表示する。また、表示された動画像情報を見ながら座標指示部130により動画像情報内の座標が指示され、指示座標が入力されると、指示座標を検索領域設定部180へ出力して、当該指示座標に対応する動画像情報内の物体を検索するための検索領域を設定する。検索領域が設定されると、位置情報蓄積部140の中の検索領域内の位置情報を有する物体を検索して同定部170へ出力する。

0042

同定部170は、指示座標と検索領域内検索部190の出力する各物体の位置情報との組を尤度計算部160へ出力して尤度を計算し、計算した結果の尤度が最も大きい値の物体を、指示座標に対応する動画像情報中の物体として同定し、同定結果を出力する。

0043

以下に、上記動画像内の物体の同定装置100の動作を図を用いて説明する。図7は、本発明の一実施例の動作を示すフローチャートを示す。

0044

(ステップ20) 制御部200の検索領域内検索部190は、動画像蓄積部110から動画像情報を読み出し画像表部120へ表示する。

0045

(ステップ21)検索領域内検索部190は、座標指示装置130により利用者が動画像情報を見ながら当該動画像情報内の座標を指示したか否かをチェックし、指示されていなければ上記ステップ20へ移行する。

0046

(ステップ22)検索領域内検索部190は、上記ステップ21で、利用者が動画像情報内の座標を指示した場合に、指示した座標(px,py,pt)を検索領域設定部180へ出力し、検索領域設定器Rで検索領域を設定する。

0047

(ステップ23)検索領域内検索部190は、検索領域設定部180によって設定された検索領域に基づいて、位置情報蓄積部160の中から当該検索領域内の位置情報を有する物体を検索し、検索結果として検索された物体の位置情報を同定部170へ出力する。

0048

(ステップ24) 制御部200の同定部170は、検索領域内検索部190の出力する物体の位置情報に基づいて、利用者の指示した座標(px,py,pt)と各物体の位置情報とを尤度計算部160へ出力し、尤度計算器Lで尤度を計算する。

0049

(ステップ25) 同定部170は、上記ステップ23で検索領域内検索部190の出力した全ての物体の位置情報に基づいて、ステップ24の尤度の計算を行なったか否かをチェックし、尤度の計算を行なっていない物体がある場合にはステップ24へ移行する。

0050

(ステップ26) 同定部170は、上記ステップ25で、全ての物体について尤度の計算が完了した場合に、計算した物体の尤度の中から最も値の大きな尤度の物体を選んで、選んだ物体を利用者の指示した座標に対応する物体であると同定して、同定結果を出力する。

0051

以下に、上記本発明の一実施例における、動画像内の物体の同定装置100の具体的な例を説明する。以下の説明に際しては、領域設定部180の領域設定器R及び尤度計算部160の尤度計算器Lを以下のものとする。

0052

R(px,py,pt)={(rx,ry,rt)|0≦rx≦X,0≦ry≦Y,rt=pt}

0053

0054

また、本動画像内の物体の同定装置100の利用者は動画像情報を見ながら、図8に示す動画像情報が表示された時刻t1 に、座標指示装置130で図中の太い矢印で示す座標指示カーソル11の位置を指示するものとし、指示された座標を(4、6、t1 )として説明する。図8のr1、r2、r3は、指示された座標と各物体21、22、23との距離を示しており、距離に−1を乗じた値、−r1、−r2、−r3が尤度となる。

0055

また、位置情報蓄積部140には、図5に示した位置情報が蓄積されているものとする。

0056

制御部200の検索領域内検索部190が、動画像蓄積部110から動画像情報を読み出し画像表部120へ表示する(ステップ20)。

0057

検索領域内検索部190が、座標指示装置130により利用者が動画像情報を見ながら当該動画像情報内の座標を指示したか否かをチェックすると、利用者により座標、
(px,py,pt)=(4,6,t1 )
が指示されたので(ステップ21、YES)、検索領域内検索部190は、利用者が指示した座標、
(px,py,pt)=(4,6,t1 )
を検索領域設定部180へ出力し、検索領域設定器Rで、
{(rx,ry,rt)|0≦rx≦X,0≦ry≦Y,rt=t1 }
の検索領域を設定する(ステップ22)。

0058

検索領域内検索部190は、検索領域設定部180によって設定された検索領域、
{(rx,ry,rt)|0≦rx≦X,0≦ry≦Y,rt=t1 }
に基づいて、位置情報蓄積部160の中から当該検索領域内の位置情報を有する物体を検索し、検索結果として物体21、22、23の3つの物体の位置情報、

0059

0060

を取得し、取得した位置情報を同定部170へ出力する(ステップ23)。

0061

制御部200の同定部170は、検索領域内検索部190の出力する物体の位置情報に基づいて、利用者の指示した座標、
(px,py,pt)=(4,6,t1 )
と各物体21、22、23の位置情報とを尤度計算部160へ出力し、尤度計算器Lで各物体21、22、23の尤度として下記の3つの計算結果を得る(ステップ24)。

0062

0063

同定部170は、上記ステップ23で検索領域内検索部190の出力した全ての物体の位置情報に基づいて、ステップ24の尤度の計算を完了したので(ステップ25、YES)、計算した物体の尤度の中から最も値の大きな尤度の物体として物体21を選択し、物体21を利用者の指示した座標に対応する物体としてと同定する(ステップ26)。

0064

以下に、上記本発明の一実施例の動画像内の物体の同定装置100において、領域設定部180の領域設定器R及び、尤度計算部160の尤度計算器Lを以下のものとする、他の実施例についての具体的な例を説明する。領域設定部180の領域設定器Rを、
R(px,py,pt)={(rx,ry,rt)|0≦rx≦X,0≦ry≦Y,rt=pt−Δt}
とし、尤度計算部160の尤度計算器Lを、

0065

0066

とする。

0067

また、本動画像内の物体の同定装置100の利用者は動画像情報を見ながら、図9(A)に示す外側の四角形で示す映像フレーム101 が表示された時刻t2に、座標指示装置130で図9(A)中の破線の矢印で示す座標指示カーソル12の位置(8,5,t2 )によって四角形の物体24を指示しようとしているものとする。しかし、同図に示す物体23、24は移動速度が速く、利用者が図9(A)の映像フレーム101 内の物体24を確認してから実際に座標指示部130を操作し終わるまでの遅延時間(Δt)のうちに右方向へ移動してしまい、実際に利用者が指示した結果は、図9(B)に示す時刻t3 (t3 =t2 +Δt)における外側の四角形で示す映像フレーム103 内の矢印で示す座標指示カーソル13の位置となり、指示された座標は(8,5,t2 )ではなく、(8,5,t3 )になるものとして説明する。

0068

また、位置情報蓄積部140には、図5に示した位置情報が蓄積されているものとする。

0069

制御部200の検索領域内検索部190が、動画像蓄積部110から動画像情報を読み出し画像表部120へ表示する(ステップ20)。

0070

検索領域内検索部190が、座標指示装置130により利用者が動画像情報を見ながら当該動画像情報内の座標を指示したか否かをチェックすると、利用者により座標、
(px,py,pt)=(8,5,t3 )
が指示されたので(ステップ21、YES)、検索領域内検索部190は、利用者が指示した座標、
(px,py,pt)=(8,5,t3 )
を検索領域設定部180へ出力し、検索領域設定器Rで、
{(rx,ry,rt)|0≦rx≦X,0≦ry≦Y,rt=t2 }
の検索領域を設定する(ステップ22)。

0071

検索領域内検索部190は、検索領域設定部180によって設定された検索領域、
{(rx,ry,rt)|0≦rx≦X,0≦ry≦Y,rt=t2 }
に基づいて、位置情報蓄積部160の中から当該検索領域内の位置情報を有する物体を検索し、検索結果として物体23、24の2つの物体の位置情報、

0072

0073

を取得し、取得した位置情報を同定部170へ出力する(ステップ23)。

0074

制御部200の同定部170は、検索領域内検索部190の出力する物体の位置情報に基づいて、利用者の指示した座標、
(px,py,pt)=(8,5,t3 )
と各物体23、24の位置情報とを尤度計算部160へ出力し、尤度計算器Lで各物体23、24の尤度として下記の2つの計算結果を得る(ステップ24)。

0075

0076

同定部170は、上記ステップ23で検索領域内検索部190の出力した全ての物体の位置情報に基づいて、ステップ24の尤度の計算を完了したので(ステップ25、YES)、計算した物体の尤度の中から最も値の大きな尤度の物体として物体24を選択し、物体24を利用者の指示した座標に対応する物体としてと同定する(ステップ26)。

0077

上記他の実施例のように動画像情報内の物体の移動速度が速い場合、利用者が物体24を指示しようとして座標指示部130を操作した結果の座標は、利用者の意図した座標(8,5,t2 )ではなく、Δt遅い、座標(8,5,t3 )となってしまうことがある。しかし、上記他の実施例によれば、利用者が物体の移動速度に追いつかずに、物体を指示しようとしてから実際に指示するまでに遅延時間(Δt)がある場合であっても、入力される指示座標(8,5,t3 )ではなく遅延時間を考慮した(8,5,t2 )に基づく物体の同定が可能となり、利用者の意図した物体を正しく同定することが可能となる。遅延時間Δtは、利用者、動画像情報内の物体の移動速度や、動画像情報等の再生速度に応じて設定することが可能であり、それぞれのケースで最適な値を使用することにより物体を正しく同定することが可能となる。

0078

また、上記他の実施例において動画像情報の再生速度(表示速度)を変えた場合には、Δtに再生速度の比を乗じることで物体を正しく同定することが可能になる。

0079

また、上記実施例によれば、利用者の座標の指示動作遅れがある場合であっても尤度計算器Lを変えることによって、利用者の指示する座標が動画像情報中の物体付近であれば正しく物体を同定することが可能となる。

0080

なお、上記実施例では位置情報蓄積部140に蓄積する個々の物体の位置情報として物体の1つの代表点を蓄積しているが、1つの物体に対して複数の位置情報を設定することにより、複数の物体が重なり合っている場合であっても正しく同定することが可能となる。

0081

また、上記実施例の検索領域設定部180の検索領域設定器Rでは、ある時刻における動画像情報を検索領域として設定する例を示したが、時間軸方向に幅を持つ検索領域を設定することにより動画像情報内を特定の方向に移動する物体を選択的に同定することも可能となる。

0082

また、上記実施例の尤度検査部160の尤度計算器Lでは、指示された座標と物体との尤度をx軸、y軸からなる二次元平面上での距離に基づき計算する例を示したが、x軸、y軸に更にt軸をも含めた三次元空間内での距離に基づき計算することにより、時間軸上に幅を有する検索領域が設定された場合であっても尤度の計算に基づき物体を同定することが可能となる。

0083

また、上記実施例では、座標指示部130としてマウスを使用した例を示したが、画像表示部120に表示された動画像情報内の任意の座標を指示することが可能であれば、アイカメラのような利用者の視線を基に座標を指示するものであってもよく、座標指示部130をマウスに限定するものではない。

0084

また、上記実施例では、各物体の位置情報として当該物体の中心点を使用する例を示したが、当該物体を代表する点として予め決めた点であれば中心点でなくてもよく、位置情報を中心点に限定するものではない。

0085

また、上記実施例では、制御部200の検索領域内検索部190に画像情報蓄積部110から動画像情報を読み出し画像表示部130へ表示する機能を持たせたが、制御部内に画像情報蓄積部110から動画像情報を読み出し画像表示部130へ表示する動画像情報再生部等を設ける事も可能であり、動画像情報の表示を検索領域内検索部190が行なうことに限定するものではない。

0086

更に、本実施例では領域設定部180と尤度計算部160に、特定の領域設定器R及び尤度計算器Lを設定して物体の同定を行なう例を示したが、領域設定部180と尤度計算部160に、それぞれ複数の領域設定器R及び尤度計算器Lを設定して適宜選択して物体の同定を行なうことも可能であり、領域設定部180と尤度計算部160に設定する領域設定器R及び尤度計算器Lを1つに限定するものではない。

発明の効果

0087

上述のように、本発明によれば、利用者の指示した座標に基づき物体を検索し、検索された物体の中から利用者の指示した座標に対応する物体を同定するため、予め動画像情報内の個々の物体毎に当該物体を同定することができる領域を設定して蓄積しておかなくても利用者が物体の外側を指示した場合や動画像情報中の物体の数が多い場合等であっても、利用者の指示する座標に対応する物体を正しく同定することができる。

0088

また、予め動画像情報内の各物体毎の当該動画像情報内における位置情報を蓄積しているため、指示された座標に基づく物体を高速かつ、確実に検索することができ、利用者の指示する座標に対応する物体を精度よく同定することが可能となる。

0089

また、利用者の指示した座標に基づいて、動画像情報中の物体を検索する検索領域を設定して検索することにより、物体の検索量、検索時間を短縮することが可能となる。

0090

また、利用者が表示された動画像情報内の物体を確認してから実際に指示するまでの遅延時間を考慮し、物体の検索を行なう検索領域を遅延時間分だけ過去の動画像情報に設定することにより、動きの速い物体や、再生速度の速い動画像情報等であっても正しく物体を同定することが可能となる。

0091

また、指示された座標と検索された各物体の位置情報とから距離を計算し、計算した距離に基づき尤度を決定することにより、検索された複数の物体の中から利用者の指示した物体として同定するに尤もな物体を、尤度に基づいて同定することが可能となる。

0092

更に上記効果によって、予め動画像情報内の物体を同定するための領域を、物体の大きさ、物体の数、動画像情報の再生速度、利用者の反応速度等を考慮して作成するといった多くの工程を省略することができるため、作成に要する時間、費用等を抑えることが可能となる。

0093

また、動画像内の物体の同定装置を利用する人にとっては、動きの速い物体や小さな物体であっても、物体を注意深く指示することなく目的とする物体を容易に指示することが可能となる。

図面の簡単な説明

0094

図1本発明の原理説明図である。
図2本発明の原理構成図である。
図3本発明の一実施例の構成図である。
図4本発明の一実施例の物体iの時刻tにおける位置を説明する図である。
図5本発明の一実施例の位置情報蓄積部の蓄積例を示す図である。
図6本発明の一実施例の制御部の構成図である。
図7本発明の一実施例の動作を示すフローチャートである。
図8本発明の一実施例の物体の同定を説明する図(1)である。
図9本発明の一実施例の物体の同定を説明する図(2)である。
図10従来の方法を説明する図である。

--

0095

10映像フレーム
11座標指示カーソル
12 座標指示カーソル
13 座標指示カーソル
20物体
21 物体
22 物体
23 物体
24 物体
30 領域
100動画像内の物体の同定装置
110画像蓄積手段、画像蓄積部
120画像表示手段、画像表示部
130 座標指示手段、座標指示部
140位置情報蓄積手段、位置情報蓄積部
150検索手段
160尤度計算手段、尤度計算部
170 同定手段、同定部
180検索領域設定部
190 検索領域内検索部
200 制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 三菱電機株式会社の「 情報処理装置および情報処理方法」が 公開されました。( 2019/08/08)

    【課題・解決手段】情報処理装置(10)は、時系列データである入力データを取得するデータ取得部(101)と、時系列データである学習データから抽出した部分列である複数の学習部分列の中で類似する学習部分列を... 詳細

  • オムロン株式会社の「 センシングデバイス管理装置」が 公開されました。( 2019/08/08)

    【課題・解決手段】センサ側メタデータに相当するデータカタログの生成が簡単且つ適正に行えるセンシングデバイス管理装置を提供する。デバイス情報取得機能部11dが、測定対象をセンシングするセンシングデバイス... 詳細

  • オムロン株式会社の「 マッチング処理装置」が 公開されました。( 2019/08/08)

    【課題・解決手段】利活用対象のセンシングデータによる容易なセンサマッチングを行うマッチング処理部50が提供される。マッチング処理部50は、提供側端末11により入力された提供側センシングデータを取得する... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ