図面 (/)

技術 画像処理装置、アニメーション生成方法及びプログラム

出願人 カシオ計算機株式会社
発明者 岡庭翔一
出願日 2014年6月25日 (5年1ヶ月経過) 出願番号 2014-130220
公開日 2016年1月18日 (3年7ヶ月経過) 公開番号 2016-009367
状態 特許登録済
技術分野 イメージ処理・作成
主要キーワード 揺動処理 各傾斜角度 デジタルサイネージ装置 初期方向 セクション毎 アニメーション生成装置 フィルムスクリーン 背面投影
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年1月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

1枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供できるようにする。

解決手段

画像処理装置1によれば、制御部11は、例えば、頭部、、瞼等の画像の一部の初期位置を設定し、最初のフレームにおける画像の一部の位置を設定された初期位置として、画像の一部を動かし、最終フレームにおける画像の一部の位置が設定された初期位置となるように画像の一部を動かすアニメーションを生成する。

概要

背景

従来、顔モデルを変形してアニメーションを生成するアニメーション生成装置が知られている(例えば、特許文献1参照)。

概要

1枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供できるようにする。画像処理装置1によれば、制御部11は、例えば、頭部、、瞼等の画像の一部の初期位置を設定し、最初のフレームにおける画像の一部の位置を設定された初期位置として、画像の一部を動かし、最終フレームにおける画像の一部の位置が設定された初期位置となるように画像の一部を動かすアニメーションを生成する。

目的

本発明の課題は、1枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供できるようにすることである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像の一部の第一領域の第一位置を設定する第一設定手段と、前記第一領域を動かす第一アニメーション手段と、前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段と、を備える画像処理装置

請求項2

前記第一領域内の第二領域の第二位置を設定する第二設定手段と、前記第二領域を動かす第二アニメーション手段と前記画像に基づくコンテンツの残り時間が第二の時間となった場合、前記第二アニメーション手段を停止して前記第二領域が前記設定された第二位置に戻るように動かす第二アニメーション制御手段と、を備える請求項1に記載の画像処理装置。

請求項3

前記第一領域内の第三領域の第三位置を設定する第三設定手段と、前記第三領域を動かす第三アニメーション手段と所定の条件を満たした場合、前記第三領域が前記設定された第三位置に戻るように動かす第三アニメーション制御手段と、を備える請求項1又は請求項2に記載の画像処理装置。

請求項4

前記第一アニメーション手段は、最初のフレームにおける前記第一領域の位置を前記設定された第一位置として、前記第一領域を動かし、前記第一アニメーション制御手段は、最終フレームにおける前記第一領域の位置が前記設定された第一位置となるように前記第一領域を動かす請求項1〜3のいずれか一項に記載の画像処理装置。

請求項5

前記第一アニメーション手段は、前記第一領域を前記設定された第一位置からランダムに動かす請求項1〜4のいずれか一項に記載の画像処理装置。

請求項6

前記第一アニメーション制御手段は、前記第一領域を徐々に前記設定された第一位置に戻す請求項1〜5の何れか一項に記載の画像処理装置。

請求項7

前記第一アニメーション制御手段は、前記第一領域をランダムに動かしながら徐々に前記設定された位置に戻す請求項1〜5の何れか一項に記載の画像処理装置。

請求項8

前記第一アニメーション手段は、前記第一領域の位置を定義するパラメータをフレーム毎に変化させることによって、前記第一領域を動かす請求項1〜7の何れか一項に記載の画像処理装置。

請求項9

前記第二時間は、前記第二アニメーション手段が前記第二領域を動かさなくても不自然でない時間である請求項2〜8の何れか一項に記載の画像処理装置。

請求項10

前記第三アニメーション手段は、リップシンクアニメーションであり、前記所定の条件は、最後の音声のリップシンクアニメーションが終了したか否かである請求項3〜9の何れか一項に記載の画像処理装置。

請求項11

前記第一領域は、顔画像の頭部である請求項1〜10の何れか一項に記載の画像処理装置。

請求項12

前記第二領域は、顔画像の上瞼及び下瞼である請求項2〜11の何れか一項に記載の画像処理装置。

請求項13

画像の一部の第一領域の第一位置を設定する第一設定工程と、前記第一領域を動かす第一アニメーション工程と、前記第一アニメーション工程において前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御工程と、を含むアニメーション生成方法

請求項14

コンピュータを、画像の一部の第一領域の第一位置を設定する第一設定手段、前記第一領域を動かす第一アニメーション手段、前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段、として機能させるためのプログラム

技術分野

0001

本発明は、画像処理装置アニメーション生成方法及びプログラムに関する。

背景技術

0002

従来、顔モデルを変形してアニメーションを生成するアニメーション生成装置が知られている(例えば、特許文献1参照)。

先行技術

0003

特開2003−132365号公報

発明が解決しようとする課題

0004

ところで、1枚の顔画像からアニメーションを生成する場合、音声と合うように顔画像に口の動作を付加することが行われている。この場合、口だけを動かすと不自然見えるため、例えば、ランダムに頭を揺らす、まばたきをさせる等の動きを加えることにより、より自然なしぐさを表現するようにしている。

0005

しかしながら、ランダムに頭を揺らしたりまばたきをさせたりした場合、ほとんどの場合でアニメーションの開始時と終了時で頭の位置や向き、目の開き具合等が一致しなくなる。そのため、例えば、複数のセクションに分割してアニメーションを生成して後で結合することによって1つの長いアニメーションを生成する場合、結合した箇所で頭の位置や向き、目の開き具合等に連続性を持たせることができず違和感のある不自然なアニメーションになってしまうという問題があった。

0006

本発明の課題は、1枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供できるようにすることである。

課題を解決するための手段

0007

上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
画像の一部の第一領域の第一位置を設定する第一設定手段と、
前記第一領域を動かす第一アニメーション手段と、
前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段と、
を備える。

発明の効果

0008

本発明によれば、1枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供することが可能となる。

図面の簡単な説明

0009

本実施形態におけるアニメーション処理ステムの全体構成例を示す図である。
図1の画像処理装置の機能的構成を示すブロック図である。
図1デジタルサイネージ装置の機能的構成を示すブロック図である。
図3スクリーン部の概略構成を示す図である。
図2の制御部により実行されるアニメーション生成処理を示すフローチャートである。
図5のステップS2において実行される頭部揺動処理を示すフローチャートである。
回転角度パラメータを説明するための図である。
図5のステップS3において実行される口パク処理を示すフローチャートである。
図5のステップS4において実行されるまばたき処理を示すフローチャートである。

実施例

0010

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

0011

[アニメーション処理システム100の構成]
図1は、本発明の実施形態におけるアニメーション処理システム100の全体構成を示す図である。アニメーション処理システム100は、画像処理装置1とデジタルサイネージ装置2とがLAN(local Area Network)、WAN(Wide Area Network)、インターネット等の通信ネットワークNを介してデータ送受信可能に接続されて構成されている。

0012

[画像処理装置1の構成]
図2は、画像処理装置1の主制御構成を示すブロック図である。画像処理装置1は、1枚の顔画像に基づいてアニメーション(動画データ)を生成し、その生成された動画データをデジタルサイネージ装置2に送信する装置であり、例えば、PC(Personal Computer)等が適用可能である。画像処理装置1は、図2に示すように、制御部11、記憶部12、操作部13、表示部14、通信部15等を備えて構成されている。

0013

制御部11は、記憶部12のプログラム記憶部121に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うCPU(Central Processing Unit)とプログラム実行時の作業領域となるメモリとを備えている(いずれも図示略)。制御部11は、記憶部25のプログラム記憶部121に記憶されているプログラムとの協働により、図5に示すアニメーション生成処理を実行したり、生成した動画データをデジタルサイネージ装置2に送信したりする。制御部11は、第一設定手段、第二設定手段、第三設定手段、第一アニメーション手段、第一アニメーション制御手段、第二アニメーション手段、第二アニメーション制御手段、第三アニメーション手段、第三アニメーション制御手段として機能する。

0014

記憶部12は、HDD(Hard Disk Drive)や不揮発性半導体メモリ等により構成される。記憶部12には、図2に示すように、プログラム記憶部121が設けられている。プログラム記憶部121には、制御部11で実行されるシステムプログラム、後述するアニメーション生成処理を始めとする各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

0015

また、記憶部12には、アニメーションを生成する元となる顔画像(静止画像。本実施形態においては、2次元の画像とする)及びアニメーション用の音声データが記憶されている。なお、音声データは、音声を表わすテキストデータであってもよい。

0016

操作部13は、カーソルキー文字入力キーテンキー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部11に出力する。また、操作部13は、表示部14の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部11に出力する。

0017

表示部14は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニタにより構成され、制御部11から入力される表示信号の指示に従って、各種画面を表示する。

0018

通信部15は、モデムルータネットワークカード等により構成され、通信ネットワークNに接続された外部機器との通信を行う。

0019

[デジタルサイネージ装置2の構成]
図3は、デジタルサイネージ装置2の主制御構成を示すブロック図である。デジタルサイネージ装置2は、画像処理装置1において生成された動画データに基づいてアニメーションを表示する装置である。

0020

デジタルサイネージ装置2は、図3に示すように、映像光照射する投影部21と、投影部21から照射された映像光を背面で受けて前面に投影するスクリーン部22とを備えている。

0021

まず、投影部21について説明する。
投影部21は、制御部23と、プロジェクタ24と、記憶部25と、通信部26と、を備えている。プロジェクタ24、記憶部25、通信部26は、図3に示すように制御部23に接続されている。

0022

制御部23は、記憶部25のプログラム記憶部251に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うCPUとプログラム実行時の作業領域となるメモリ(いずれも図示略)とを備えている。

0023

プロジェクタ24は、制御部23から出力された画像データを映像光に変換してスクリーン部22に向けて照射する投影装置である。プロジェクタ24は、例えば、アレイ状に配列された複数個(XGAの場合、横1024画素×縦768画素)の微小ミラー各傾斜角度を個々に高速オンオフ動作して表示動作することでその反射光により光像を形成する表示素子であるDMDデジタルマイクロミラーデバイス)を利用したDLP(Digital Light Processing)(登録商標)プロジェクタが適用可能である。

0024

記憶部25は、HDD(Hard Disk Drive)や不揮発性の半導体メモリ等により構成される。記憶部25には、図1に示すように、プログラム記憶部251が設けられている。プログラム記憶部251には、制御部23で実行されるシステムプログラムや、各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

0025

また、記憶部25には、画像処理装置1から送信されたアニメーションの動画データを記憶するアニメーション記憶部252が設けられている。動画データは、複数のフレーム画像及び各フレーム画像に対応する音声データにより構成されている。

0026

次に、スクリーン部22について説明する。
図4は、スクリーン部22の概略構成を示す正面図である。図4に示すようにスクリーン部22には、画像形成部27と、画像形成部27を支持する台座28とが備えられている。

0027

画像形成部27は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型成形された一枚の透光板29に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーン貼付されて構成されたスクリーンである。この画像形成部27と前述したプロジェクタ24とにより表示手段を構成している。

0028

台座28には、ボタン式の操作部32と、音声を出力するスピーカなどの音声出力部33が設けられている。

0029

操作部32は、各種操作ボタンを備え、操作ボタンの押下信号を検出して制御部23に出力する。
操作部32、音声出力部33は、図1に示すように制御部23に接続されている。

0030

[アニメーション処理システム100の動作]
次に、アニメーション処理システム100の動作について説明する。
上述のように、アニメーション処理システム100は、画像処理装置1において1枚の顔画像及び音声データに基づいてアニメーションの動画データを生成し、生成した動画データに基づいて、デジタルサイネージ装置2においてアニメーションの表示を行う。

0031

より自然な顔のアニメーションを生成するには様々な要素があるが、本実施形態においては、音声に合わせて口を動かすだけでなく、更に、頭部、目を動かしたアニメーションを生成する。

0032

図5に、画像処理装置1において実行されるアニメーション生成処理のフローチャートを示す。アニメーション生成処理は、操作部13により記憶部12に記憶された顔画像及び音声データの中からアニメーションの対象となる顔画像及び音声データが指定され、アニメーションの生成が指示された際に、制御部11とプログラム記憶部121に記憶されているプログラムとの協働により実行される。

0033

まず、制御部11は、操作部13により指定された顔画像を記憶部12から読み出して、読み出した顔画像に基づいて3次元モデル(以下、顔モデルと呼ぶ)を生成する(ステップS1)。3次元モデルの生成は、公知の何れの手法を用いてもよい。

0034

次いで、制御部11は、生成した3次元モデルに基づいて、頭部揺動処理(ステップS2)、口パク処理(ステップS3)、まばたき処理(ステップS4)をそれぞれ実行する。

0035

以下、頭部揺動処理、口パク処理、まばたき処理のそれぞれについて説明する。頭部揺動処理、口パク処理、まばたき処理は、それぞれ頭部、口、目を動かす画像処理(頭部、口、目が動くようにフレーム毎のパラメータを算出する処理)である。なお、頭部揺動処理、口パク処理、まばたき処理は、順次処理を行ってもよいし、2つ又は3つを並行して処理することとしてもよい。

0036

(頭部揺動処理)
図6に、図5のステップS2において画像処理装置1において実行される頭部揺動処理のフローチャートを示す。頭部揺動処理は、制御部11とプログラム記憶部121に記憶されているプログラムとの協働により実行される。

0037

まず、制御部11は、頭部(第一領域)の初期位置(第一位置)を設定する(ステップS11)。
例えば、頭部の位置は、頭部の基準となる基準点O(例えば、頭部の重心等)の位置を示すパラメータ(X0、Y0、Z0)及び顔(頭部)の向いている方向を示すパラメータ(a、b、c)により表すことができる。以下、アニメーション開始からのフレーム数(フレーム番号。最初のフレーム番号=0)をtとして、tにおけるパラメータX0、Y0、Z0の値をそれぞれX0(t)、Y0(t)、Z0(t)と表記し、tにおけるパラメータa、b、cの値をそれぞれa(t)、b(t)、c(t)と表記する。

0038

例えば、ステップS11において、制御部11は、まず、顔モデルの適当な位置(固定位置)を原点とし、上下方向をY軸方向、手前−奥行き方向をZ軸方向、Y軸方向及びZ軸方向に直交する方向(左右方向)をX軸方向とした座標空間を設定する。
次いで、制御部11は、ステップS1で生成した顔モデルの上記座標空間における頭部の基準点Oの位置の座標を取得し、取得した座標を最初のフレームにおける頭部の位置(初期位置)を示すパラメータX0(0)、Y0(0)、Z0(0)として、メモリに記憶する。
次いで、制御部11は、上記の顔の向いている方向を示すパラメータa、b、cを設定する。aは、基準点Oを原点としたXYZ座標空間(各軸の方向は上述のとおり)のX軸を回転軸とした回転角度であり、図7(a)に示すように、顔モデルの人物が頷く際の頭部の回転角度である。bは、基準点Oを原点としたXYZ座標空間のY軸を回転軸とした回転角度であり、図7(b)に示すように、顔モデルの人物が首を振る際の頭部の回転方向である。cは、基準点Oを原点としたXYZ座標空間のZ軸を回転軸とした回転角度であり、図7(c)に示すように、顔モデルの人物が首を傾ける際の頭部の回転方向である。制御部11は、ステップS1で生成した顔モデルの回転角度a、b、cをそれぞれ0°とし、最初のフレームにおいて顔の向いている方向(初期方向)を示すパラメータa(0)=0、b(0)=0、c(0)=0として、メモリに記憶する。

0039

次いで、制御部11は、頭部をランダムに動かす処理を行う(ステップS12)。具体的には、頭部がランダムに動くようにフレーム番号順に各フレームのパラメータを算出し、フレーム番号に対応付けてメモリに記憶する。例えば、フレーム毎に、パラメータX0、Y0、Z0、a、b、cをランダムに増減させることで、頭部の位置及び顔の向きをランダムに動かすことができる。このとき、仕草が不自然にならないようにパラメータa、b、cの範囲を−10°<a、b、c<10°の範囲に制限することが好ましい。また、パラメータX0、Y0、Z0の取り得る範囲についても制限することが好ましい。

0040

次いで、制御部11は、tが所定のフレーム数sに到達したか否かを判断する(ステップS13)。即ち、頭部を所定のフレーム数sに対応する所定時間動かしたか否かを判断する。tが所定のフレーム数sに到達していないと判断した場合(ステップS13;NO)、制御部11は、ステップS12に戻る。

0041

tが所定のフレーム数sに到達したと判断した場合(ステップS13;YES)、制御部11は、頭部を初期位置に向けて徐々に戻す処理を行う(ステップS14)。具体的には、頭部が徐々に初期位置に戻るようにフレーム番号s以降の各フレームのパラメータを算出し、フレーム番号に対応付けてメモリに記憶する。例えば、下記の数式に基づき、フレーム番号s以降の各フレーム毎に各パラメータを算出することで、頭部を徐々に初期位置に近づける。ここで、px、py、pz、pa、pb、pcは定数であり、0<px、py、pz、pa、pb、pc<1である。各定数の値は、最終フレームまでのフレーム数及び現在のパラメータの値等に基づいて定められる。
X0(t)=px(X0(0)−X0(t−1))+X0(t−1)
Y0(t)=py(Y0(0)−Y0(t−1))+Y0(t−1)
Z0(t)=pz(Z0(0)−Z0(t−1))+Z0(t−1)
a(t)=pa(a(0)−a(t−1))+a(t−1)
b(t)=pb(b(0)−b(t−1))+b(t−1)
c(t)=pc(c(0)−c(t−1))+c(t−1)

0042

最終フレームに到達すると、制御部11は、頭部を初期位置に配置する(ステップS6)。具体的には、最終フレームのパラメータX0、Y0、Z0、a、b、cをそれぞれメモリに記憶しているX0(0)、Y0(0)、Z0(0)、a(0)、b(0)、c(0)と同じ値とし、フレーム番号に対応付けてメモリに記憶する。そして、制御部11は、頭部揺動処理を終了する。

0043

(口パク処理)
図8に、図5のステップS3において画像処理装置1において実行される口パク処理のフローチャートを示す。口パク処理は、制御部11とプログラム記憶部121に記憶されているプログラムとの協働により実行される。
なお、本実施形態において、顔画像(顔モデル)の口は閉じた状態であることとする。

0044

まず、制御部11は、ユーザによる操作部13の操作等に基づいて、上唇及び下唇(第三領域)の初期位置(第三位置)を設定する(ステップS21)。
上唇及び下唇の位置を表すパラメータは、例えば、上唇と下唇の複数の特徴点の座標Xi、Yi、Zi(i=1〜n(nは特徴点の数(正の整数))で表すことができる。例えば、ステップS1で生成した顔モデルにおいて上唇と下唇の境界線が操作部13のマウス等により指定されると、制御部11は、指定された境界線上の特徴のある部分の点(特徴点。例えば、上唇、下唇のそれぞれの端部や中間点)の位置の座標を取得し、取得した座標を最初のフレームにおける上唇及び下唇の位置(初期位置)を示すパラメータXi(0)、Yi(0)、Zi(0)として、メモリに記憶する。
なお、アニメーション開始からのフレーム数tにおけるパラメータXi、Yi、Ziの値をそれぞれXi(t)、Yi(t)、Zi(t)と表記する。

0045

上述の上唇及び下唇の位置を表すパラメータXi、Yi、Ziによって、口の形状を規定することができる。

0046

次いで、制御部11は、操作部13により指定された音声データを読み出して、顔モデルに対し、リップシンクアニメーション処理を行う(ステップS22)。
ここで、生成する動画データのフレームレートをP(フレーム/秒)、音声データの再生時間をT(秒)とする。ステップS13においては、音声データの冒頭からフレーム1枚に相当する時間(1/P(秒/フレーム))ずつ音声データを取得し、フレーム毎に、そのフレームに対応する音声データを解析し、そのフレームで話される母音に応じた口の形となるようにXi、Yi、Zi(i=1〜n)のパラメータを変更し、フレーム番号に対応付けてメモリに記憶する。

0047

制御部11は、音声データの最後の音声のリップシンクアニメーション処理が終了したかを判定する(ステップS23)。音声データの最後の音声のリップシンクアニメーションが終了していないと判定した場合、制御部11は、ステップS22に戻りリップシンクアニメーション処理を続ける。ステップS23で音声データの最後の音声のリップシンクアニメーションが終了したと判定した場合、制御部11は、上唇と下唇を初期位置に戻すアニメーション処理を行う(ステップS24)。
具体的には、最終フレームのパラメータXi、Yi、Zi(i=1〜n)の値をそれぞれメモリに記憶されているXi(0)、Yi(0)、Zi(0)と同じ値とし、フレーム番号に対応付けてメモリに記憶し、口パク処理を終了する。

0048

(まばたき処理)
図9に、図5のステップS4において画像処理装置1において実行されるまばたき処理のフローチャートを示す。まばたき処理は、制御部11とプログラム記憶部121に記憶されているプログラムとの協働により実行される。
なお、本実施形態においては、顔画像(顔モデル)の目は開いた状態であることとする。

0049

まず、制御部11は、ユーザによる操作部13の操作等に基づいて、上瞼及び下瞼(第二領域)の初期位置(第二位置)を設定する(ステップS31)。
上瞼及び下瞼の位置を表すパラメータは、例えば、目の輪郭(上瞼側と下瞼側のそれぞれ)の複数の特徴点の座標Xej、Yej、Zej(j=1〜m(mは特徴点の数(正の整数))で表すことができる。例えば、ステップS1で生成した顔モデルにおいて目の輪郭の上瞼側と下瞼側が操作部13のマウス等により指定されると、制御部11は、指定された輪郭上の特徴のある部分の点(特徴点。例えば、上瞼側、下瞼側のそれぞれの端部や中間点)の位置の座標を取得し、取得した座標を最初のフレームにおける上瞼、下瞼の位置(初期位置)を示すパラメータXej(0)、Yej(0)、Zej(0)として、メモリに記憶する。
なお、アニメーション開始からのフレーム数tにおけるパラメータXej、Yej、Zejの値をそれぞれXej(t)、Yej(t)、Zej(t)と表記する。

0050

上述の上瞼及び下瞼の位置を表すパラメータXej、Yej、Zejによって、目の開き具合等、目の形状を規定することができる。

0051

次いで、制御部11は、顔モデルにランダムにまばたきを行わせる(ステップS32)。具体的には、顔モデルの目がランダムにまばたきを行うようにフレーム毎のパラメータXej、Yej、Zejを算出し、フレーム番号に対応付けてメモリに記憶する。具体的には、上瞼側と下瞼側の輪郭が開閉を繰り返すように、フレーム毎に、パラメータXej、Yej、Zejを変化させることによってまばたきを行わせる。
なお、まばたきを短時間に連続して行うと不自然なため、まばたきを行った後、一定時間はまばたきを行わないようにする(例えば、まばたき後、一定時間内に該当するフレームはパラメータを変化させない)。

0052

次いで、制御部11は、顔画像に基づいて生成する動画データ(コンテンツ)の残りのフレーム数が所定のフレーム数s1に到達したか否かを判断する(ステップS33)。ここで、所定のフレーム数s1は、例えば人がまばたきをしないでも不自然にならない時間に対応するフレーム数である。残りのフレーム数が所定のフレーム数s1に到達していないと判断した場合(ステップS33;NO)、制御部11は、ステップS32に戻る。

0053

残りのフレーム数が所定のフレーム数s1に到達したと判断した場合(ステップS33;YES)、制御部11は、上瞼及び下瞼の位置を初期位置に向けて徐々に戻す処理を行い、まばたきの処理を行わないようにする(ステップS34)。

0054

このようにすることで、コンテンツの残りの時間がまばたきをしないでも不自然にならない時間になったことを判定すると上瞼と下瞼を初期位置に戻し、まばたきを停止するので最初のフレームと最後のフレームを一致させることが出来る。

0055

頭部揺動処理、口パク処理、まばたき処理には、それぞれ顔画像の一部である頭部、口(上唇及び下唇)、目(上瞼及び下瞼)を動かす処理(第一アニメーション手段、第三アニメーション手段、第二アニメーション手段)と、これらを動かした後、これらが設定された初期位置に戻るように動かす処理(第一アニメーション制御手段、第二アニメーション制御手段、第三アニメーション制御手段)が含まれる。従って、頭部、口、目という、顔画像において目立つパーツの位置がアニメーションの最初のフレームと最終フレームとで一致するように動画データを生成することができる。

0056

頭部揺動処理、口パク処理、まばたき処理が終了すると、制御部11は、各処理で算出されたパラメータに基づいて、アニメーションの動画データを生成する(ステップS5)。具体的には、各処理で算出された、各フレーム番号に対応付けてメモリに記憶されているパラメータを読み出して、読み出したパラメータに基づいて、各フレームの画像データを生成する。そして、生成された各フレームの画像データを結合し、これに音声データを結合して動画データを生成する。
動画データの生成が終了すると、制御部11は、生成した動画データを通信部15によりデジタルサイネージ装置2に送信し(ステップS6)、アニメーション生成処理を終了する。

0057

デジタルサイネージ装置2においては、通信部26により画像処理装置1から動画データを受信すると、制御部23は、受信した動画データを記憶部25のアニメーション記憶部252に記憶させる。そして、アニメーションの再生時刻到来すると、制御部23は、アニメーション記憶部252から動画データを読み出し、その画像データをプロジェクタ24に送信して画像形成部27にアニメーションの画像を表示させる。また、動画データの音声データを音声出力部33に出力し、アニメーションの音声を出力させる。

0058

以上説明したように、画像処理装置1によれば、制御部11は、例えば、頭部、口()、目(瞼)等の画像の一部の初期位置を設定し、その画像の一部を動かした後、それらが設定された初期位置に戻るように動かすアニメーションを生成する。具体的には、最初のフレームにおける画像の一部の位置を設定された初期位置として、画像の一部を動かし、最終フレームにおける画像の一部の位置が設定された初期位置となるように画像の一部を動かすアニメーションを生成する。
従って、例えば、アニメーションの開始時と終了時で動かした画像の一部が一致するので、1枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供することが可能となる。

0059

例えば、頭、瞼等の画像の一部を設定された初期位置からランダムに動かすことで、自然な動きを表現したアニメーションを生成することができる。

0060

また、画像の一部を徐々に設定された初期位置に戻すことで、違和感なく初期位置に戻すことができる。

0061

なお、上記実施形態における記述内容は、本発明に係る画像処理装置の好適な一例であり、これに限定されるものではない。

0062

例えば、上記実施形態においては、顔画像は2次元画像とした場合を例にとり説明したが、3次元モデルの画像であってもよい。この場合、図5のステップS1の処理は省略される。

0063

また、上記実施形態においては、アニメーションにおいて、頭部及び瞼の位置を徐々に初期位置に戻す場合を例にとり説明したが、本発明においては、頭部や瞼の位置が最終フレームにおいて最初のフレームと同じとなればよく、初期位置への戻し方はこれに限定されるものではない。例えば、頭部の位置や、上瞼及び下瞼の位置をランダムに動かしながら徐々に初期位置に戻すこととしてもよい。このようにすれば、頭部や目に自然な動きを加えながら違和感なく初期位置に戻すことが可能となる。

0064

また、上記実施形態においては、頭部、口、目のパラメータを最初のフレームと最後のフレームで一致させることとしたが、その他のパラメータを含む全てのパラメータを最初のフレームと最後のフレームで一致させるようにすることで、複数のセクションに分割してアニメーションを生成し、最後に一つのアニメーションに結合するような場合に、より自然に連続的にセクション毎のアニメーションをつなげることが可能となる。

0065

また、上記実施形態においては、アニメーション生成処理をアニメーションを表示するデジタルサイネージ装置2とは別体の画像処理装置1において行う場合を例にとり説明したが、デジタルサイネージ装置2において制御部23とプログラムとの協働によりアニメーション生成処理を行うこととしてもよい。

0066

また、上記実施形態においては、デジタルサイネージ装置2の画像形成部27が人型である場合を例にとり説明したが、他の形状としてもよく、これに限定されるものではない。

0067

その他、画像処理装置やデジタルサイネージ装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

0068

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
画像の一部の第一領域の第一位置を設定する第一設定手段と、
前記第一領域を動かす第一アニメーション手段と、
前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段と、
を備える画像処理装置。
<請求項2>
前記第一領域内の第二領域の第二位置を設定する第二設定手段と、
前記第二領域を動かす第二アニメーション手段と
前記画像に基づくコンテンツの残り時間が第二の時間となった場合、前記第二アニメーション手段を停止して前記第二領域が前記設定された第二位置に戻るように動かす第二アニメーション制御手段と、
を備える請求項1に記載の画像処理装置。
<請求項3>
前記第一領域内の第三領域の第三位置を設定する第三設定手段と、
前記第三領域を動かす第三アニメーション手段と
所定の条件を満たした場合、前記第三領域が前記設定された第三位置に戻るように動かす第三アニメーション制御手段と、
を備える請求項1又は請求項2に記載の画像処理装置。
<請求項4>
前記第一アニメーション手段は、最初のフレームにおける前記第一領域の位置を前記設定された第一位置として、前記第一領域を動かし、
前記第一アニメーション制御手段は、最終フレームにおける前記第一領域の位置が前記設定された第一位置となるように前記第一領域を動かす請求項1〜3のいずれか一項に記載の画像処理装置。
<請求項5>
前記第一アニメーション手段は、前記第一領域を前記設定された第一位置からランダムに動かす請求項1〜4のいずれか一項に記載の画像処理装置。
<請求項6>
前記第一アニメーション制御手段は、前記第一領域を徐々に前記設定された第一位置に戻す請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
前記第一アニメーション制御手段は、前記第一領域をランダムに動かしながら徐々に前記設定された位置に戻す請求項1〜5の何れか一項に記載の画像処理装置。
<請求項8>
前記第一アニメーション手段は、前記第一領域の位置を定義するパラメータをフレーム毎に変化させることによって、前記第一領域を動かす請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
前記第二時間は、前記第二アニメーション手段が前記第二領域を動かさなくても不自然でない時間である請求項2〜8の何れか一項に記載の画像処理装置。
<請求項10>
前記第三アニメーション手段は、リップシンクアニメーションであり、
前記所定の条件は、最後の音声のリップシンクアニメーションが終了したか否かである請求項3〜9の何れか一項に記載の画像処理装置。
<請求項11>
前記第一領域は、顔画像の頭部である請求項1〜10の何れか一項に記載の画像処理装置。
<請求項12>
前記第二領域は、顔画像の上瞼及び下瞼である請求項2〜11の何れか一項に記載の画像処理装置。
<請求項13>
画像の一部の第一領域の第一位置を設定する第一設定工程と、
前記第一領域を動かす第一アニメーション工程と、
前記第一アニメーション工程において前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御工程と、
を含むアニメーション生成方法。
<請求項14>
コンピュータを、
画像の一部の第一領域の第一位置を設定する第一設定手段、
前記第一領域を動かす第一アニメーション手段、
前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段、
として機能させるためのプログラム。

0069

1画像処理装置
11 制御部
12 記憶部
121プログラム記憶部
13 操作部
14 表示部
15通信部
2デジタルサイネージ装置
21投影部
22スクリーン部
23 制御部
24プロジェクタ
25 記憶部
251 プログラム記憶部
252アニメーション記憶部
26 通信部
27画像形成部
28台座
29透光板
32 操作部
33音声出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ