図面 (/)

技術 情報処理装置及びその制御方法、プログラム、コンピュータが読み取り可能なプログラム記憶媒体

出願人 キヤノン株式会社
発明者 渡辺和宏加来亘長崎大二郎押本信夫大矢将保刈祐介金井映理
出願日 2011年7月11日 (9年5ヶ月経過) 出願番号 2011-152840
公開日 2013年1月31日 (7年11ヶ月経過) 公開番号 2013-021480
状態 特許登録済
技術分野 記録のためのテレビジョン信号処理 記録に関連するカラーTV信号処理 スタジオ装置 記録担体の情報管理、編集 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス
主要キーワード 近接検知 編集候補 次回起動 D表示 取り消し操作 視点位置座標 静電容量測定 各映像ファイル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年1月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

従来の映像ファイル編集では、動画の時間長を視覚的に理解すると共に、その動画の編集作業を、直感的な操作で行うことは難しかった。

解決手段

上記課題を解決するために、本発明は、表示部105に、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで立体的表現されるオブジェクトを表示させる表示制御部101と、前記三次元画像を表示させた状態で、前記表示手段に近接した物体の指示により、前記時間軸における点が指定されたことを検知する検知部104とを備え、前記表示制御部105は、前記時間軸上で前記検知部104により検知された2点に挟まれた部分の動画像を示すオブジェクトを表示すると共に、前記物体の移動操作に合わせて移動させる。

概要

背景

従来、動画編集において、その動画を構成する静止画群時間軸に沿って表示させ、「編集点」や「分割点」といわれるポイントを指定することが知られている。例えば、ユーザは、その動画の一部を取り出したい場合に、その開始点および終了点となるポイントを指定する。特許文献1では、複数の部分動画の時間長が視覚的に理解できるように、動画を立体的に表示させ、動画の時間長をその立体の奥行きに対応させるように表示している。

概要

従来の映像ファイル編集では、動画の時間長を視覚的に理解すると共に、その動画の編集作業を、直感的な操作で行うことは難しかった。 上記課題を解決するために、本発明は、表示部105に、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで立体的に表現されるオブジェクトを表示させる表示制御部101と、前記三次元画像を表示させた状態で、前記表示手段に近接した物体の指示により、前記時間軸における点が指定されたことを検知する検知部104とを備え、前記表示制御部105は、前記時間軸上で前記検知部104により検知された2点に挟まれた部分の動画像を示すオブジェクトを表示すると共に、前記物体の移動操作に合わせて移動させる。

目的

本発明は上記課題に鑑みてなされたものであり、動画の時間長を視覚的に理解できるとともに、その動画の編集作業を、より直感的な操作で行えるようにすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示手段に、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで立体的表現されるオブジェクトを表示させる表示制御手段と、前記オブジェクトを表示させた状態で、前記表示手段に近接した物体の指示により、前記時間軸における点が指定されたことを検知する検知手段とを備え、前記表示制御手段は、前記時間軸上で前記検知手段により検知された2点に挟まれた部分の動画像を示す別のオブジェクトを表示すると共に、前記物体の移動操作に合わせて移動させることを特徴とする情報処理装置

請求項2

前記表示制御手段は、前記2点に挟まれた部分の動画像を示すオブジェクトが、他の動画像を示すオブジェクトの上に移動させられたときは、前記他の動画像の再生時間を示す時間軸において前記検知手段が検知した1点に対応する時間に、前記移動させられたオブジェクトが示す動画像を挿入した全体の動画像を示すオブジェクトを表示することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記表示制御手段は、前記2点に挟まれ他の動画像を示すオブジェクトの上に移動させられたオブジェクトを半透明に表示すると共に、前記他の動画像の再生時間を示す時間軸において、前記検知手段が検知した1点に対応する時間に、前記移動させられたオブジェクトが示す動画像を挿入した場合の、前記時間軸の縮尺率の変化を表すオブジェクトを表示することを特徴とする請求項2に記載の情報処理装置。

請求項4

前記表示制御手段は、前記動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで立体的に表現されるオブジェクトの、前記時間軸において、前記検知手段により検知された点が対応する時間のフレームを静止画として表示することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。

請求項5

前記移動させられたオブジェクトが示す動画像を挿入した全体の動画像を、新たなファイルとして生成する生成手段を備えることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。

請求項6

前記生成手段は、前記2点に挟まれた部分の動画像を示すオブジェクトが、他の動画像を示すオブジェクトが表示されていない領域に移動させられたときは、前記移動させられたオブジェクトが示す動画像を新たなファイルとして生成することを特徴とする請求項5に記載の情報処理装置。

請求項7

前記表示制御手段は、前記表示手段に一部のフレームが静止画として表示させられた動画像のうち、前記検知手段によって物体が近接したことが検知された動画像を、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで立体的に表現されるオブジェクトとして表示させることを特徴とする請求項1乃至6に記載の情報処理装置。

請求項8

前記検知手段は、前記立体的に表現されるオブジェクトを二次元投影して表示すると共に、ユーザによるタッチを検知するタッチパネルディスプレイであることを特徴とする請求項7のいずれか1項に記載の情報処理装置。

請求項9

前記検知手段は、三次元空間におけるユーザのジェスチャーを検知することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。

請求項10

コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項1乃至9のいずれか1項に記載の情報処理装置として機能させることを特徴とするプログラム

請求項11

請求項10に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能なプログラム記憶媒体

請求項12

表示制御手段により、表示手段に、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで立体的に表現されるオブジェクトを表示させる表示制御工程と、検知手段により、前記オブジェクトを表示させた状態で、前記表示手段に近接した物体の指示により、前記時間軸における点が指定されたことを検知する検知工程とを備え、前記表示制御工程では、前記時間軸上で前記検知手段により検知された2点に挟まれた部分の動画像を示す別のオブジェクトを表示すると共に、前記物体の移動操作に合わせて移動させることを特徴とする情報処理装置の制御方法

技術分野

0001

本発明は、動画などを表すファイル編集する装置、及びその方法に関するものである。

背景技術

0002

従来、動画の編集において、その動画を構成する静止画群時間軸に沿って表示させ、「編集点」や「分割点」といわれるポイントを指定することが知られている。例えば、ユーザは、その動画の一部を取り出したい場合に、その開始点および終了点となるポイントを指定する。特許文献1では、複数の部分動画の時間長が視覚的に理解できるように、動画を立体的に表示させ、動画の時間長をその立体の奥行きに対応させるように表示している。

先行技術

0003

特開平10−191248号公報

発明が解決しようとする課題

0004

特許文献1は、ディスプレイ上に表示された映像音声信号波形に対して、マウス等のポインティングデバイスによって編集ポイントを指示・入力するものであり、ユーザにとっては簡易かつ直感的な編集が難しかった。
本発明は上記課題に鑑みてなされたものであり、動画の時間長を視覚的に理解できるとともに、その動画の編集作業を、より直感的な操作で行えるようにすることを目的とする。

課題を解決するための手段

0005

上記課題を解決するために、請求項1に記載の発明は、表示手段に、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで立体的に表現されたオブジェクトを表示させる表示制御手段と、前記オブジェクトを表示させた状態で、前記表示手段に近接した物体の指示により、前記時間軸における点が指定されたことを検知する検知手段とを備え、前記表示制御手段は、前記時間軸上で前記検知手段により検知された2点に挟まれた部分に相当する動画像を別のオブジェクトとして表示すると共に、前記物体の移動操作に合わせて移動させる。

発明の効果

0006

本発明によれば、動画の時間長を視覚的に理解できるとともに、その動画の編集作業を、より直感的な操作で行えるようにすることができる。

図面の簡単な説明

0007

装置の構成を示すブロック図
映像ファイルから一部を取り出す編集処理フローチャート
映像クリップを他の映像ファイルに挿入する編集処理のフローチャート
映像編集作業の際の画面遷移の一例を示した図
映像編集作業後の画面表示の一例を示した図
映像クリップを他の映像ファイルに挿入する様子を示す図
映像クリップを他の映像ファイルに挿入する様子を示す図

実施例

0008

以下、図面を参照しながら本発明の好適な実施例について説明する。

0009

図1(a)は、本発明の情報処理装置機能構成を示すブロック図である。
表示制御部101は、検知部104が検知した情報、記憶部103から読みだされた動画像(以下、映像ファイルと呼ぶ)、及び画像生成部102により生成された画像を基に、表示部105の表示内容を制御する。初期画面では、各映像ファイルの開始点であるフレームに相当する静止画(以下、サムネイル画像と呼ぶ)を表示する。画像生成部102は、各映像ファイルを、サムネイル画像と、時間軸とで立体的に表現されるオブジェクト(以下、立体オブジェクトと呼ぶ)として表示するための画像を生成する。検知部104は表示部105と一体に構成され、ユーザが表示される内容に対して指示・入力操作を行ったことを検知することができる。更に検知部104は、ユーザが入力した表示部105上での位置情報を検知する。

0010

図1(c)は、本発明の一例である情報処理装置のハードウェア構成を示す構成図である。

0011

CPU111は、システムバス117を介して接続する各デバイスを総括的に制御する。CPU111は、読み出し専用メモリ(ROM)113もしくはハードディスク(HD)116に記憶された、または外部メモリなどの記憶媒体から読み出された処理ステッププログラム読み出して実行する。同様に、CPU111は、図2図3のフローチャートに示された工程を実行でき、表示制御部101、画像生成部102として機能する。その際、ランダムアクセスメモリ(RAM)112は高速アクセス可能なCPU111の主メモリワークエリア等の一時記憶領域として用いられる。ここで、HD116は、映像ファイルなどのデータファイルや、オペレーティングシステムアプリケーションなどにおける、処理ステップを格納する。CPU111が、処理ステップやプログラムに従って新たなデータファイルを生成した場合はHD116や図示していない外部メモリなどの記憶デバイスに格納される。

0012

検知部104は、タッチパネル114等から構成される。また、表示部105は、ディスプレイ115等から構成される。タッチパネル114では、1箇所のタッチ複数箇所のタッチ、ドラッグ(タッチしたまま指でずらす操作)、フリック(タッチした指を高速にはじく操作)の検出を行う。さらに、本実施形態で用いるタッチパネル114では、パネル上に物体(ユーザの手指など)が触れているか否かにかかわらず、パネルに近接した物体の位置を検出できるものとする。この近接検知には、静電容量の変化を利用するもの、超音波や音波の反射を利用するものなどが利用可能である。例えば、静電容量の変化を利用するものは、指先導電膜静電容量測定計と地面を含む周辺環境との間で形成される回路の静電容量を静電容量測定計により測定し、指先と導電膜との距離およびパネル面上の位置を算出するものである。

0013

本実施形態においては、ディスプレイ115上にタッチパネル114が密着して構成され、一体となったタッチパネルディスプレイを検知部104及び表示部105として用いる。

0014

以下、図を参照しながら、情報処理装置の具体的な動作例を説明する。

0015

<第1の実施形態>
図2のフローチャートに従って、第1の実施形態による、情報処理装置における映像ファイルから一部を取り出す編集処理を説明する。

0016

まず、ステップS201において、初期画面を表示する。初期画面では、表示制御部101は、記憶部103より映像ファイルを読みだし、サムネイル画像を表示部105上に表示する。図4の画面401は、初期画面の一例である。ここでは、8つの映像ファイルが記憶部103から読みだされ、サムネイル画像として表示されている。ただし、ここでは編集候補である8つの映像ファイルのサムネイル画像が表示されているが、映像ファイルの全てが読み出される必要は無い。すなわち、編集候補である映像ファイルは記憶部103に保持したまま、編集指示のためのグラフィックユーザインタフェースとしてサムネイル画像4011が画面上に表示されても構わない。なお、これらのサムネイル画像は各映像ファイルの開始点であるフレームの静止画を表示してするものとする。

0017

次に、ステップS202では、編集作業の対象となる映像ファイルのサムネイル画像を、その時間軸に相当する奥行きを有する立体オブジェクトとして表示する。例えば、映像ファイルを直方体のオブジェクトとして表示する場合には、6面のうちの一面にサムネイル画像を表示し、その面から見た奥行き方向を時間軸として認識させる。

0018

本実施形態では、検知部104が、ユーザの手指がある映像ファイルに対応するサムネイル画像4011に近接した場合に、その映像ファイルが編集対象として指定されたと認識し、そのサムネイル画像4011を立体オブジェクトとして表示する。なお、上記検知部104が、近接検知を行わないタッチパネルを適用している場合には、ユーザがサムネイル画像をタッチしたことに応じて立体オブジェクトを表示するようにしても良い。画像生成部102は、上記立体オブジェクトを示す画像を生成し、表示部105は上記画像を表示する。図4の画面402は、初期画面401のサムネイル画像4011にユーザのタッチ、またはユーザの手指の近接を検知したことに応じて、立体オブジェクト4021を表示した際の様子を示す画面である。

0019

なお本実施例では、画面402に示すように手指が何かをつまむように接した状態で、画面にタッチまたは近接することを想定して説明する。これは、後段の処理において、何かをつまんだような形状から指を広げる必要があるからである。従って、もし1本の指でタッチまたは近接した場合には、その次の手指の動き不適合な動きになるため、それを検知部が検知した時点で、後段の一連の動作はキャンセルされることになる。

0020

図4において、立体オブジェクト4021は、遠近法を用いた透視投影図法によって、画面に対し手前方向に、垂直または略垂直に飛び出したように表示されている。編集の対象となるサムネイル画像が手前に飛び出す立体として表示されることから、ユーザは立体オブジェクトを「つまんで操作できる」という視覚的な感覚を得ることができる。本実施形態では、サムネイル画像が有する奥行き4022は、時間軸方向として認識させるものであるが、ここでは動画の長さ(フレーム数)に関わらず一定の長さLで表示されるものとする。

0021

この長さLは、ディスプレイ115の大きさと、表示されているサムネイル画像の数に基づいて表示制御部101が定めた長さとする。なお、映像ファイル全体の時間長に関わらず長さLが同じであることから、時間長が他の映像ファイルの長さLに対応する時間軸の縮尺率も異なる。例えば、1時間の映像ファイルも30分の映像ファイルも奥行の長さはLであるから、立体オブジェクトで表現された各ファイルの時間軸における縮尺率は2:1となっている。以上によれば、時間長の短い映像ファイルの立体オブジェクトに対しても長さLの範囲で手指を用いたタッチ操作の編集ができる。

0022

なお、画像生成部102が立体オブジェクトを示す画像を生成する際の表現は、透視投影によるものに限らず、三次元立体を表現できる方法であればよく、例えば平行投影図法を用いてもよい。

0023

なお、上記説明においては、立体オブジェクトの正面にサムネイル画像を配置し、奥行き方向に時間軸を表示していたが、本発明はこれに限らない。例えば、細かいフレーム単位での編集をしたい場合には、軸を長めに表示できない奥行き方向に時間軸を与えるのではなく、画面の縦または横方向に時間軸が表示されるように、適宜、立体オブジェクトを回転させることができる。もし、これを行いたい場合には、回転指示に相当する追加コマンドをユーザから検知部104に入力させれば良い。また、その回転指示に基づく新しい表示状態を元に戻す場合にも、追加コマンドを検知部104に入力すれば良いだろう。

0024

ステップS203において、表示制御部101は、検知部104によってユーザによる立体オブジェクト4021への第1の位置の指定が検知されたかどうかを確認する。ここで第1の位置は、サムネイル画像4011が立体オブジェクト4021として表示されてから初めてなされたタッチ位置であるとする。また手指の形状は、上述したように、何かをつまんだように接した状態であることが前提である。第1の位置の指定があった場合にはステップS204へ進み、無かった場合はタッチが検知されるまで待機する。また手指が何かをつまんだように接してはいない状態で画面にタッチ、近接した等の、第1の位置の指定に該当しない状態だったことを検知した場合にも、上記待機状態に戻ることとする。

0025

ステップS204では、表示制御部101が、立体オブジェクト4021の奥行き4022において、検知部104によって検知された第1の位置に対応する時間を特定し、その時間に対応する映像ファイル中の静止画(サムネイル画像)を表示する。図4の画面403は、立体オブジェクト4021に第1の位置の指定がなされた様子を示している。静止画4033は、立体オブジェクト4021に対応する映像ファイルの1フレームをサムネイル画像として表示する。この1フレームに該当する映像ファイル中の時間的な位置、または画面中の静止画4033の空間的な位置をユーザが指定した第1の位置であるとする。奥行き4022の長さLに対する、開始点から第1の位置までの長さLtの割合が、立体オブジェクト4021に対応する映像ファイルの時間長に対する、静止画4033に相当するフレームが再生されるまでの経過時間の割合に等しい。ここで、ユーザは、タッチしてからタッチ点を上下にスライドさせることで、最初に表示された1フレームの前後の1フレームを順次見て行くことが可能である。

0026

次に、ステップS205において、表示制御部101は、検知部104によってユーザによる立体オブジェクト4021への第2の位置の指定が検知されたかどうかを確認する。ここで第2の位置は、第1の位置を指定するタッチが保持されたまま、第1の位置とは異なる位置に新たになされたタッチの位置である。上述したように、第2の位置を指定するためには、手指の形状として「何かをつまんだように接した状態」から「一部の指が他の指から遠ざかった状態」に変化させる必要がある。具体例をあげれば、他の指の位置が第1の位置であるとすると、一部の指が遠ざかった先に該当するのが第2の位置であると考えることができるだろう。第2の位置の指定があった場合はステップS208に進み、無かった場合はステップS206に進む。

0027

ステップS206では、第1の位置が変更されたかどうかを確認する。上述したように、ユーザは、タッチしてからタッチ点を上下にスライドさせることで、最初に第1の位置に対応する静止画として表示されたフレームの前後の1フレームを順次見て行くことができる。従って、ユーザは、所望するフレームを捜すために第1の位置を変更する。第1の位置が変更された場合はステップS207に進み、変更されていない場合は、ステップS205に戻り待機する。ステップS207では、変更された第1の位置に対応する時間の静止画を新たに表示し、ステップS205に戻る。

0028

ステップS208では、表示制御部101が、立体オブジェクト4021の奥行き4022において、検知部104によって検知された第2の位置に対応する時間を特定し、その時間に対応する静止画を表示する。図4の画面404は、第2の位置がなされ、対応する静止画4044が表示された様子である。第1の位置同様、ユーザは、タッチしてからタッチ点を上下にスライドさせることで、最初に第2の位置に対応する静止画が表示された1フレームの前後の1フレームを順次見て行くことが可能となっている。

0029

ステップS209では、第1または第2の位置がスライドによって変更されたかどうかを確認する。ユーザは、立体オブジェクト4021に対応する映像ファイルから取り出したい映像クリップの開始点及び終了点となるフレームを捜すため、第1及び第2の位置を変更することができる。ここでタッチ位置が変更された場合は、ステップS210に進み、変更されなかった場合はステップS211に進む。ステップS210では、新たなタッチ位置に対応する静止画を表示して、ステップS211に進む。

0030

ステップS211では、第1及び第2の位置が確定されたかを確認する。本実施形態では、第1および第2の位置を指定するタッチが略同時に解放される操作によって、その位置が確定される。すなわち、検知部104が、ユーザの手指が略同時にタッチパネル114から離されたことを検知することで、第1及び第2の位置が確定されたと判断する。手指をタッチパネルから離し、近接が検知される範囲に保持することによって、ユーザは、立体オブジェクトからタッチした部分を取り出す際に「つまみ出す」という感覚を得ることができる。なお、第1及び第2の位置を確定する操作はこれに限られない。例えば、両タッチの間隔を保持した状態で、略同時に所定の方向にフリック又はドラッグする、または新たな手指を用いて画面の任意の位置をタップ(軽く叩く操作)する構成にすることも可能である。この場合は、近接検知を行うセンサが構成されていないタッチパネルディスプレイであっても、立体オブジェクトを「つまみ出す」という感覚を表現することが可能である。第1及び第2の位置が確定された場合は、ステップS212に進み、確定されなければステップS213に進む。

0031

ステップS212において、画像生成部102は、第1及び第2の位置に挟まれた部分に対応する映像のサムネイル画像を、その時間軸に相当する奥行きを有するサムネイル画像として生成する。そして、表示制御部101によって、取り出した映像クリップに対応する立体オブジェクトが表示される。

0032

図4の画面405は、第1及び第2の位置に挟まれた部分である立体オブジェクト4051が表示され、持ち上げるようにして移動された様子を示している。ここで立体オブジェクト4051は、第1の位置を開始点とし、第2の位置を終了点とする映像クリップに対応する。従って、サムネイル画像としては静止画4033が表示され、その奥行きは、開始点から終了点までの長さすなわち第1及び第2の位置に挟まれた部分に対応する映像クリップの時間長に対応している。取り出された映像クリップを立体オブジェクトとして表示したら、ステップS214に進み、取り出した映像クリップに対する編集作業を待つ。

0033

本実施形態では、このとき、取り出された映像クリップは、元のサムネイル画像4011に対応する映像ファイルの一部をコピーしており、元の映像ファイル自体に切り取りや削除などの変更は生じていないものとする。例えば、第1の位置が立体オブジェクト4021の開始点であり、第2の位置が終了点であった場合には、映像ファイル全体をコピーしたことになる。なお、映像ファイルの一部をコピーするか、切り取るかを選択可能としても構わない。更に、元の映像ファイルから切り取る場合には、立体オブジェクト4051は元のファイルの立体オブジェクトから切り離され、元のファイルの立体オブジェクトは前後に分割されるように表示することもできる。

0034

ステップS213では、終了操作がなされたかを確認する。終了操作とは、映像クリップの取り出しを中止して、編集作業を終わらせるための操作である。例えば、第1及び第2の位置を指定する手指を順次タッチパネルから離したり、再び接するように手指が狭められた後、離したりするなどの操作を、終了操作に該当させることができる。このような所定の操作があった場合は、本発明の情報処理装置は、第1及び第2の位置に挟まれた部分の映像クリップを取り出すことなく処理を終了する。終了操作が無い場合は、ステップS209に戻る。

0035

以上が、第1の実施形態による、情報処理装置における映像ファイルから一部を取り出す編集処理である。ここで、なお、たとえば、第1の位置の指定があった後(ステップS204)第2の位置の指定がされることなく第1の位置が解除されたときは、第1の位置指定がされる前の処理段階(ステップS203)に戻ることとなる。それぞれのステップでこのような「取り消し操作」が存在するが、煩雑を避けるためフローチャートでの記載は省略する。

0036

次に、図3のフローチャートに従って、第1の実施形態による、取り出した映像クリップを映像ファイルに挿入する編集処理を説明する。

0037

図2のフローチャートにおけるステップS214から、ステップS301に進む。ステップS301では、取り出された映像クリップである立体オブジェクトが移動されたかを確認する。本実施形態では、図2のステップS211において、ユーザによる第1及び第2の位置を指定するタッチが略同時に解放されたことにより、第1及び第2の位置に挟まれた部分の立体オブジェクトが表示されている。この時、タッチパネルから離された手指が、パネルの近接検知が可能である範囲内で動かされたことを検知部104が検知することで、立体オブジェクトが移動されたと判断する。なお、近接検知を行うセンサが構成されていないタッチパネルディスプレイであれば、立体オブジェクトを「つまみ出した」第1及び第2の指をそのままドラッグする操作によって移動操作が可能である。あるいは一度タッチパネルから手指が離れた後、取り出された立体オブジェクトを改めて一または複数のタッチ操作によって指定し、ドラッグすることによって移動できるようにすることもできる。次に、立体オブジェクトが、移動された場合は、ステップS302に進み、移動されなければステップS314に進む。

0038

ステップS302では、立体オブジェクトが移動された先が、映像ファイルのサムネイル画像上であるかどうかを確認する。ここでの映像ファイルとは、ユーザが映像クリップを挿入しようとする映像ファイルである。ここでは、ステップS202と同様、検知部104が、ユーザの手指がサムネイル画像に近接したことを検知したのに応じ、映像ファイルのサムネイル画像を立体オブジェクトとして表示する。画像生成部102により、対象となる映像ファイルのサムネイル画像を一定の奥行きを有する立体オブジェクトを示す画像が生成され、表示部105上に表示される。当該奥行きは、映像ファイルの時間長に対応する。近接検知を行わない場合には、サムネイル画像がタッチされたこと、あるいはドラッグ操作によるタッチ位置が近づいてきたことを検知して、サムネイル画像を立体オブジェクトとして表示する。映像ファイルの上に移動された場合、ステップS303に進む。映像ファイルのサムネイル画像上ではない場合、ステップS306に進む。図4の例では、画面405におけるサムネイル画像4052の上に、立体オブジェクト4051を移動させるものとして説明していく。

0039

次に、ステップS303では、移動された立体オブジェクトが、移動により重ねられた映像ファイルに挿入された場合の、時間軸の縮尺率の変化を表す画像を表示する。この点については、詳細を後述する。

0040

ステップS304では、映像クリップを挿入する映像ファイルが確定したものとして、移動された立体オブジェクトを半透明に表示する。続くステップS305では、第3の位置に対応する静止画を表示する。図4の画面406では、サムネイル画像4052の映像ファイルが立体オブジェクト4062として表示されている。ここで、立体オブジェクトは後述されるように、移動された立体オブジェクトが挿入された場合を時間軸の縮尺率の変化を表す画像を含んでいる。移動された立体オブジェクト4061は、立体オブジェクト4062に重ねられることによって、半透明に表示されている。これによって、ユーザは、立体オブジェクト4061越しに立体オブジェクト4062に注目しながら、編集作業を行う事が出来る。また、静止画4063は、立体オブジェクト4062の時間長に対応する奥行きにおいて、ユーザによる第3の位置に対応する時間のフレームを表示した静止画である。

0041

ここで第3の位置とは、移動された立体オブジェクト4061に対応する映像クリップを挿入する位置を指定するものである。本実施形態では、立体オブジェクト4061を移動させてきた手指のうち、映像クリップの開始点に相当する手指(画面406では親指)が近接する位置を検知部104が検知し、第3の位置とする。検知部104であるタッチパネル114が、近接検知を行わない場合は、タッチ操作によって指定することができる。第1及び第2の位置同様、ユーザは、指定位置を示す手指を上下に動かすことで、最初に表示された1フレームの前後の1フレームを順次見て行くことが可能となっている。本実施形態では、第3の位置に対応する静止画4043は1枚のみを表示している。この場合、映像クリップは、静止画4043に相当するフレームの前に挿入されることを想定しているが、映像クリップが挿入される前のフレームとなる静止画を表示することも、前後に当たる2枚の静止画を表示することもできる。

0042

次に、ステップS306では、第3の位置が確定されたかどうかを確認する。本実施形態では、ユーザが、タッチパネル114に近接させていた手指で画面をタッチしたことを検知することで、第3の位置が確定されたと判断する。タッチパネル114から離して浮かせた手指を、再びタッチパネルにタッチすることで、ユーザは「つまみ出した立体オブジェクトを再び置く」という感覚で編集操作を行う事が出来る。なお、第3の位置を確定する操作はこれに限られない。例えば、近接検知を行わないタッチパネル114で、立体オブジェクトの移動をドラッグ操作で行っていた場合には、新たな手指を用いて画面の任意の位置をタップ(軽く叩く操作)することで、第3の位置の確定を示すことができる。第3の位置が確定した場合は、ステップS307に進み、確定されなければステップS309に進む。

0043

ステップS309では、第3の位置が変更されたかを確認する。上述したように、ユーザは、指定位置を示す手指を上下に動かすことで、最初に表示された1フレームの前後の1フレームを順次見て行くことができる。従って、ユーザは、映像クリップを挿入する位置を捜すために第3の位置を変更することができる。第3の位置が変更された場合はステップS308に進み、変更されていない場合は、ステップS306に戻る。ステップS308では、変更された第1の位置に対応する時間の静止画を新たに表示し、ステップS306に戻る。図4の画面407は、第3の位置が変更され、新たな静止画4073が表示された様子を示している。

0044

ステップS307において、確定された第3の位置に映像クリップを挿入した編集映像の映像ファイルが生成される。本実施形態では、編集映像のファイルは元の映像ファイルに上書き保存されるが、別のファイルとして新規に保存するようにしても構わない。更に画像生成部102は、生成された映像ファイルのサムネイル画像を映像ファイルの時間軸に相当する奥行きを有する立体オブジェクトとして生成する。表示制御部101によって、生成された映像に対応する立体オブジェクトが表示され、処理は終了する。図4の画面408は、生成された映像の立体オブジェクト4082が表示されている様子を示している。

0045

ステップS310に進んでいた場合は、立体オブジェクトが移動された先が、映像ファイルに対応するサムネイル画像がない領域であるかどうかを確認する。サムネイル画像がない領域であった場合はステップS311に進み、そうではない場合、ステップS302に戻る。

0046

ステップS311では、移動された立体オブジェクトを当該領域に配置した場合の時間軸の縮尺率の変化を表す画像を表示する。この点については詳細を後述する。

0047

続くステップS312では、立体オブジェクトを配置することが確定したかを確認し、確定すればステップS313に進み、確定しなければステップS302に戻る。ここで、配置することを確定する操作は、第3の位置の確定と同様、立体オブジェクトを移動させてきた手指でタッチパネル114をタッチすることによって行われる。

0048

ステップS313では、移動された立体オブジェクトに対応する映像クリップを、新たな映像ファイルとして生成する。更に画像生成部102は、生成された映像ファイルのサムネイル画像を映像ファイルの時間軸に相当する奥行きを有する立体オブジェクトとして生成する。表示制御部101によって、生成された映像ファイルに対応する立体オブジェクトが表示され、処理は終了する。

0049

ステップS314に進んでいた場合は、終了操作があったかを確認する。終了操作とは、映像クリップの挿入を中止して、編集作業を終わらせるための操作である。例えば、ユーザが、タッチパネル114が近接検知できる範囲の外まで手指を離す、第1及び第2の位置に対応していた手指の間隔を接するまで狭める、などを終了操作に該当させることができる。このような所定の操作があった場合は、本発明の情報処理装置は、新たな映像ファイルを生成することなく処理を終了する。終了操作が無い場合は、ステップS301に戻る。フローチャートに従った処理の途中においても、終了操作がなされた場合には同様の終了判断を行うが、煩雑を避けるため図示を省略する。

0050

図5の画面409は、ステップS307において映像ファイルが生成され、編集された映像に対応する立体オブジェクトが表示された後、処理が終了したことによって遷移した画面である。チェックマーク4091は、映像ファイルに編集が加えられたことを示すチェックマークである。本実施形態では、映像クリップが挿入され新たに生成された映像ファイルは、元のファイルに上書き保存されているため、サムネイル画像の数には変化がない。従って、初期画面401の時点に対して、変化があったことをユーザが確認しやすいようにチェックマーク4091を表示している。本実施形態では、映像クリップを取りだした元の映像ファイルには変更を加えていないので、サムネイル画像4011にはチェックマークは表示されていないが、編集に用いたことを示す表示を別途加えてもよい。情報処理装置を次回起動したときの初期画面は、画面401に戻るようにすれば、起動の度に、その時行った編集の結果を確認しやすい。あるいは、編集の履歴を管理することにより起動し直した際にもチェックマーク4091を再表示して、編集の経過を確認できるようにしてもよい。

0051

ここで、ステップS303及びステップS311において表示する、時間軸の縮尺率の変化を表す画像について図6図7を用いて詳述する。この画像は、映像クリップを他の映像ファイルに挿入した結果を視覚的に表示することで、編集作業を感覚的にイメージし易くするものである。図6では、図4における画面405から画面408への遷移をより細かく説明するため、編集に関与する立体オブジェクトのみを平行投影図法によって表示している。ここでは、編集に関与しないサムネイル画像及びユーザの手指を省略し、図4と共通する要素については同一の符号を付している。

0052

図6(a)は、立体オブジェクト4051を他のサムネイルの表示領域に少し近づけるように移動させたことにより、他のサムネイル画像が奥行きを有する立体オブジェクト4062として表示された様子を示している(ステップS302)。ここで、立体オブジェクト4062の奥行きの長さLは、上述したとおり、立体オブジェクト4062に対応する映像ファイルの時間長にかかわらず一定の長さである。

0053

図6(b)〜図6(c)は、立体オブジェクト(映像クリップ)4051が図6(a)に示す立体オブジェクト4062(または、その時間軸上の何れかの位置)に近づけるように移動させたことにより表示状態が変更していく過程を示している。ここでは、立体オブジェクト(映像クリップ)4051が立体オブジェクト(映像ファイル)4062に挿入された場合の2つの動画の時間長の内訳比率がわかる画像601が表示される(ステップS303)。

0054

例えば映像クリップ4051が3分間の映像クリップだった場合で、映像ファイル4062が5分間の映像ファイルだった場合には、立体オブジェクト4062の奥行全体に対して、3分/(3分+5分)=37.5%が、オブジェクト601として色分け表示される。ただし、ここではオブジェクト601が、「映像クリップが挿入された場合の時間領域であること」をユーザに明示するため、アニメーション表示にすることが好ましい。具体的には、オブジェクト601の初期の奥行きは、図6(b)に示すように奥行きの浅い状態(奥行がほとんど無い状態)とする。そして、オブジェクト601の後半の奥行きは、図6(c)に示すように、徐々に奥行が広がった結果、上記全体の約40パーセントの奥行きが色分け表示された状態とする。

0055

更に、図6(c)の表示状態に遷移した場合には、図4の画面406の状態に相当し、立体オブジェクト4061が半透明に表示される。そして、第3の位置に対応する静止画6043が表示されている(ステップS305)。オブジェクト601は、上述の例のように5分の映像ファイルに挿入された3分の映像クリップを表現しているものとする。既に説明したように、本実施形態では、静止画4063は映像クリップを挿入した場合において、挿入された映像の次に再生されるフレームに相当している。このように、ユーザは、半透明の立体オブジェクト4061越しに、オブジェクト601を含む立体オブジェクト4062と、静止画4063を確認することで、編集の結果を感覚的にイメージしながら作業を行うことができる。

0056

図6(d)は、図4の画面408の状態に相当する。ステップS307において、生成された編集映像のファイルが新たに立体オブジェクト4082として表示された様子を示すものである。

0057

なお、本実施形態では、映像ファイルが立体オブジェクトとして表示される際の奥行きの長さLは一定である。従って、同じ映像クリップを挿入する編集作業であっても、挿入先の映像ファイルの方の時間長が異なれば、上記オブジェクト601に相当する奥行きも異なる。図7は、その違いを表す一例を示している。なおこの図では、第3の位置に対応する静止画の表示は省略する。

0058

図7(a)は、図6(c)と同一の内容であり、5分の映像ファイルに3分間の映像クリップが挿入される場合を示している。この図7(a)におけるオブジェクト601の奥行きは、全体の奥行きLの37.5%であった。

0059

図7(b)は、図5の画面409でのサムネイル画像4092に対応する立体オブジェクト(映像ファイル)701に、同じ立体オブジェクト(映像クリップ)4061を挿入する場合を示している。ここで、上記立体オブジェクト701に相当する映像ファイルは12分の時間長を有しているとする。この場合には、オブジェクト601と同様の役割を持つオブジェクト702の奥行きは、全体の奥行きLの20%(3分/(3分+12分))となる。

0060

更に、図7(c)は、図5の画面409における領域4093のように、サムネイル画像がない領域に映像クリップが移動された場合に表示されるオブジェクト703を示す(ステップS311)。この場合は、取り出された映像クリップが新たに映像ファイルとして生成される場合を示すので、オブジェクト703の奥行きは、全体の奥行きLと同じとなる。ここで、サムネイル画像がない領域として、サムネイル画像とサムネイル画像の隙間に映像クリップが移動された場合には、その隙間以降のサムネイルを後ろにずらして再度表示し、空いたスペースにオブジェクト703を表示するようにする。

0061

以上のように、同じ3分間の映像クリップを挿入する場合でも、挿入先の映像ファイルによって、時間軸の縮尺率の変化を表すオブジェクトの大きさは異なる。また、3分間の映像クリップに対応する立体オブジェクト4061は、図7の(a)、(b)、(c)に渡って同じ奥行きの長さで表示する。これは、ユーザが立体オブジェクト4061を移動させる際に、移動の途中で手指の間隔を変えなければならない煩わしさを生じさせないためである。これにより、ユーザは立体オブジェクト4061を「つまんで動かしている」という感覚を得られる。このように、ユーザが立体オブジェクト4061を移動させるのに応じ、画像生成部102が縮尺率を最適化したオブジェクトが生成され、表示される。これによりユーザは、編集した結果生成される映像ファイルにおいて、映像クリップが再生されるタイミングや時間長の割合を感覚的にイメージしながら作業を行うことができる。

0062

第1の実施形態では、ユーザが画面にタッチしたか、あるいはユーザの手指が近接したことが検知されたサムネイル画像のみを立体オブジェクトとして表示しているが、これに限らない。例えば変形例として、編集作業モードが設定された場合に、表示されている全てのサムネイル画像を立体オブジェクトとして表示する構成とすることもできる。この場合には、サムネイル画像それぞれが有する奥行きを、一定ではなくそれぞれの時間長の長さに応じて相対的に変える。これにより、映像ファイルが長時間であるときは奥行きの長さは長く、短時間であるときは奥行きの長さは短くなるため、一見して各映像ファイルの時間長の差異を視覚的に理解することができる。

0063

更にこの場合には、ユーザがタッチしたか、あるいはユーザの手指が近接したことが検知されたサムネイル画像の奥行きを、一定の長さに変化させて表示する。例えば、時間長が1時間の映像ファイルと3分間の映像ファイルが共に記憶部103に記憶されていた場合、3分間の映像ファイルの奥行きの長さは極端に短くなってしまい、タッチ位置の指定が困難な場合がある。しかし、編集対象とするサムネイル画像の奥行きを余裕のある長さに変化させることで、時間長が短い映像ファイルに対しても第1及び第2の位置を細かく指定することが可能になる。

0064

第1の実施形態では、図2のフローチャートの処理ステップに従って取り出した映像クリップに対し、行う編集処理は、図3のフローチャートの処理ステップに限られない。例えば別なる変形例として、映像ファイルの一部を「つまみ出す」操作によって立体オブジェクトとして表示し、持ち上げるように移動させた時は、取り出した部分に相当する映像クリップを必ず新たな映像ファイルとして生成するようにしてもよい。その際は、元の映像ファイルのサムネイル画像の隣、あるいは全てのサムネイル画像の後に新たな映像ファイルに対応するサムネイル画像を表示する。

0065

この変形例によれば、取り出した映像クリップを繰り返し編集に用いたい場合に、開始点と終了点を指定して取り出す作業を何度も行ったり、ユーザ自らが新規の映像ファイルを生成してからそれをコピーしたりする必要がなくなる。

0066

また、例えば、映像ファイルの一部を「つまみ出す」操作は、複数の映像ファイルが表示されている場合にしか行えないものとすることもできる。この場合、つまみ出した立体オブジェクトは、必ず他の映像ファイルに挿入され、編集映像のファイルを生成する処理が行われるようにする。この場合は、新たに表示されたオブジェクトが、サムネイル画像のない領域に移動された上でタッチ操作がなされたときには、終了操作有りと判断して処理を終了する。

0067

この変形例によれば、例えば動画撮影が可能なデジタルビデオカメラなど、記憶部103の容量が限られるような情報処理装置において、映像ファイルの数が増えるのを避け、複数の映像クリップを合成した映像を作ることに特化した編集環境を提供することができる。

0068

<第2の実施形態>
第1の実施形態では、ディスプレイに遠近法を用いた図法によって表示した立体オブジェクトに対し、タッチパネルディスプレイへのタッチおよび近接を検知することによって操作を行っていた。それに対し、第2の実施形態では、3D表示装置に3D画像として表示した立体オブジェクトに対し、空間ジェスチャーによる操作を検知することによって操作を行う。

0069

図1(b)は、第2の実施形態において、画像生成部102が3D画像を生成する際に用いる具体的な要素を示すブロック図である。

0070

3D画像は、視差を有する2画像をユーザの右眼左眼に表示する2眼式3D画像が一般に実用されている。また、3D表示装置では、右眼と左眼に対してそれぞれ表示パネルを具え視差画像を表示するものや、1つの表示装置にそれぞれ偏光フィルタまたは赤青フィルタをかけた左右画像重ね表示し、ユーザは偏光眼鏡または赤青眼鏡を通してそれを見るものがある。また、左眼用右眼用の画像を時分割表示し、ユーザは画像に同期して開閉するシャッター眼鏡を通してそれを見るものや、指向性を持つレンチキュラ板を使用し左右の眼に対応する画像を表示するものなどがある。

0071

一般に、コンピュータグラフィックス画像は、仮想空間にオブジェクト形状データと仮想光源仮想カメラとを配置し、仮想カメラの視点からのオブジェクトの見え方を、投影変換隠面消去シェーディング等のプロセスを経てレンダリングすることにより得られる。また、略同一の光軸方向を有する2の仮想カメラを、間隔をおいて配置し、これらの視点からのレンダリングを右眼用、左眼用の画像とすることにより、コンピュータグラフィックスの2眼式3D画像が得られる。

0072

従って、画像生成部102は、まず基本となる立体オブジェクト形状データ106に対して、映像ファイルの時間長に対応する奥行き方向の辺の長さLを設定する。そして当該立体オブジェクトの手前側の表面に映像ファイルの最初のフレームをテクスチャーマッピングすることによって、仮想空間に、映像ファイルに対応した立体オブジェクトを生成する。これを、間隔をおいて左視点位置座標107と右視点位置座標108に配置した仮想カメラで撮影する。撮影した画像をそれぞれ左眼用画像109、右眼用画像110として生成する。表示制御部101は、左眼用画像109、右眼用画像110を用い、3D表示装置である表示部105上に、2眼式3D画像で表現された立体オブジェクトを表示することができる。

0073

空間ジェスチャーの検知では、例えば撮像手段によりユーザの手指を撮影して位置を算出するものなどが利用可能に提供されている。複数の撮像手段によって複数の方向から撮影された手指の情報から、三次元空間における位置やユーザのジェスチャーを検知することができる。

0074

第2の実施形態においても、図2及び図3のフローチャートに従って、映像ファイルの一部を取り出し、他の映像ファイルに挿入する編集処理を行う。3D画像が表示された様子を図示することは困難なため、画面遷移は図4に準じる。

0075

第2の実施形態では、S202において、ユーザの手指が近づいたことが検知部104によって検知されたサムネイル画像を、2眼式3D画像で表現された立体オブジェクトとして表示する。

0076

ステップS203及びステップS205において、第1及び第2の位置を指定される操作は、ユーザが三次元空間において指定した位置を、検知部104が検知することによって判断される。同様に、ステップS207やステップS209において、それぞれの位置が変更されたかも、三次元空間におけるユーザの手指の動きを検知することで判断する。ステップS211において、第1及び第2の位置が確定される操作は、ユーザが第1及び第2の位置に挟まれた部分をつまみ上げるように手指を動かしたことを、検知部104が検知することによって判断する。

0077

更に、ステップS301、ステップS302及びステップS310において、新たに表示された3D立体オブジェクトがどこかに移動されていることは、ユーザが立体オブジェクトをつまんでいる手指を動かしている軌跡を検知することによって行う。同様に、ステップS305、ステップS306やステップS308での第3の位置の検知も、ユーザが三次元空間において指定したり動かしたりする手指を検知部104によって検知して行う。この際、ユーザは常に表示部105に表示される2眼式3D画像で表現された立体オブジェクトを見ながら、ジェスチャーを行う。

0078

三次元の空間を用いた操作により、ユーザは「立体オブジェクトをつまみ出し、移動させて新たな位置に置く」という操作感覚を得ることができる。

0079

なお、第1および第2の実施形態では、上述した表示部105上に表示する立体オブジェクトの一面には、サムネイル画像として各映像ファイルの開始点であるフレームに相当する静止画を表示していたが、本発明はこれに限らない。例えば、上記静止画を含む複数のフレームを動画として繰り返し再生しても良いであろう。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • 烟台檀芸工芸品有限公司の「 携帯電話自撮り補光ライト」が 公開されました。( 2020/10/29)

    【課題】本発明は携帯電話自撮り補光ライトを開示した。【解決手段】携帯電話ケースを含み、前記携帯電話ケースの左端面には装置を前記携帯電話ケースに固定できる吸着機構が設置され、前記吸着機構の上側には補光角... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ