図面 (/)

技術 情報処理装置、処理方法、およびプログラム

出願人 キヤノン株式会社
発明者 安部孝一
出願日 2015年12月25日 (4年2ヶ月経過) 出願番号 2015-255243
公開日 2017年6月29日 (2年8ヶ月経過) 公開番号 2017-117409
状態 特許登録済
技術分野 イメージ処理・作成 検索装置 FAX原画の編集
主要キーワード 超過警告 処理方法選択 制御スタック シーン選択ボタン 標準ドライバ 静止画像数 スコア解析 フレーム静止画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

静止画像動画像から抽出された画像とを高速自動抽出することができる。

解決手段

対象とする画像群を指定し、指定された画像群に含まれる画像が閾値より多いか判定し、前記閾値より多いと判定した場合、前記指定手段により指定された画像群から選択した一部の画像を処理対象とするモードで処理を実行するか否かの選択を受け付ける。前記モードで選択する画像総数を特定する特定手段と、前記受付手段により前記モードで処理を実行すると判定された場合、指定された画像群に含まれる動画像から所定数の動画像を選択すると共に指定された画像群に含まれる静止画像から所定数の静止画像を選択する選択手段と、前記選択手段により選択した動画像から複数のフレーム画像を生成する生成手段と、を有する。選択する静止画像及び生成するフレーム画像の総数は、前記特定手段により特定した画像総数以下である。

概要

背景

近年、フォトアルバム作成アプリケーションを使って、複数の静止画像フォトアルバム用のテンプレートに自動的に配置して、フォトアルバムを自動生成する製品がある。そして、特許文献1には、複数の画像の特徴情報に基づいて、アルバムにおける複数の画像をレイアウトするアルバム作成方法が開示されている。

概要

静止画像と動画像から抽出された画像とを高速自動抽出することができる。対象とする画像群を指定し、指定された画像群に含まれる画像が閾値より多いか判定し、前記閾値より多いと判定した場合、前記指定手段により指定された画像群から選択した一部の画像を処理対象とするモードで処理を実行するか否かの選択を受け付ける。前記モードで選択する画像総数を特定する特定手段と、前記受付手段により前記モードで処理を実行すると判定された場合、指定された画像群に含まれる動画像から所定数の動画像を選択すると共に指定された画像群に含まれる静止画像から所定数の静止画像を選択する選択手段と、前記選択手段により選択した動画像から複数のフレーム画像を生成する生成手段と、を有する。選択する静止画像及び生成するフレーム画像の総数は、前記特定手段により特定した画像総数以下である。

目的

本発明は、静止画像と動画像から抽出された画像とを高速で自動抽出することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

対象とする画像群を指定する指定手段と、前記指定手段により指定された画像群に含まれる画像が閾値より多いか判定する判定手段と、前記判定手段により前記閾値より多いと判定した場合、前記指定手段により指定された画像群から選択した一部の画像を処理対象とするモードで処理を実行するか否かの選択を受け付ける受付手段と、前記モードで選択する画像総数を特定する特定手段と、前記受付手段により前記モードで処理を実行すると判定された場合、前記指定手段により指定された画像群に含まれる動画像から所定数の動画像を選択すると共に前記指定手段により指定された画像群に含まれる静止画像から所定数の静止画像を選択する選択手段と、前記選択手段により選択した動画像から複数のフレーム画像を生成する生成手段と、を有し、前記選択手段により選択する静止画像及び前記生成手段により生成するフレーム画像の総数は、前記特定手段により特定した画像総数以下であることを特徴とする情報処理装置

請求項2

前記選択手段により選択された所定数の静止画像と、前記生成手段により生成された複数のフレーム画像のそれぞれの評価を行う評価手段をさらに備えることを特徴とする請求項1に記載の情報処理装置。

請求項3

前記評価手段の評価に基づいて、前記選択手段により選択した静止画像のうち少なくとも1つの静止画像と、前記生成手段により生成した複数のフレーム画像のうち少なくとも1つのフレーム画像とを含むレイアウト画像を生成する第2生成手段をさらに有することを特徴とする請求項2に記載の情報処理装置。

請求項4

前記画像総数は、前記第2生成手段により生成するレイアウト画像のページ数に応じて変わることを特徴とする請求項3に記載の情報処理装置。

請求項5

前記画像総数は、前記第2生成手段により生成するレイアウト画像のページ数及び前記レイアウト画像に配置する画像の数に応じて変わることを特徴とする請求項3又は4に記載の情報処理装置。

請求項6

前記選択手段により選択する動画像の数は、前記第2生成手段により生成する画像のページ数に基づいて決定することを特徴とする請求項3乃至5のいずれか一項に記載の情報処理装置。

請求項7

前記選択手段により選択する動画像の数は、前記画像群に含まれる静止画像の数に基づいて決定することを特徴とする請求項1乃至5のいずれか一項に記載の情報処理装置。

請求項8

前記受付手段により前記モードで処理を実行しないと判定された場合、前記選択手段は、前記指定手段により指定された画像群に含まれる全ての画像を選択することを特徴とする請求項1乃至7のいずれか一項に記載の情報処理装置。

請求項9

前記生成手段は、動画像から等間隔でフレームを抽出して前記フレーム画像を生成することを特徴とする請求項1乃至8のいずれか一項に記載の情報処理装置。

請求項10

対象とする画像群を指定する指定工程と、前記指定工程において指定された画像群に含まれる画像が閾値より多いか判定する判定工程と、前記判定工程において前記閾値より多いと判定した場合、前記指定工程により指定された画像群から選択した一部の画像を処理対象とするモードで処理を実行するか否かの選択を受け付ける受付工程と、前記モードで選択する画像総数を特定する特定工程と、前記受付工程において前記モードで処理を実行すると判定された場合、前記指定工程において指定された画像群に含まれる動画像から所定数の動画像を選択すると共に前記指定工程において指定された画像群に含まれる静止画像から所定数の静止画像を選択する選択工程と、前記選択工程において選択した動画像から複数のフレーム画像を生成する生成工程と、を有し、前記選択工程において選択する静止画像及び前記生成工程において生成するフレーム画像の総数は、前記特定工程において特定した画像総数以下であることを特徴とする処理方法

請求項11

請求項1乃至9のいずれか一項に記載の情報処理装置の各手段としてコンピュータを機能させるプログラム

技術分野

0001

本発明は、情報処理装置処理方法、およびプログラムに関する。

背景技術

0002

近年、フォトアルバム作成アプリケーションを使って、複数の静止画像フォトアルバム用のテンプレートに自動的に配置して、フォトアルバムを自動生成する製品がある。そして、特許文献1には、複数の画像の特徴情報に基づいて、アルバムにおける複数の画像をレイアウトするアルバム作成方法が開示されている。

先行技術

0003

特開2007−312058号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1では、動画像に基づく画像、すなわち、動画から切り出した画像をレイアウトしたレイアウト画像を作成することはできない。

0005

また、静止画像と動画像から抽出された画像とを含むレイアウト画像を自動的に作成しようとした場合、レイアウト画像を作成する際に必要な画像を抽出するのに時間を要する、という問題点もある。

0006

本発明は、静止画像と動画像から抽出された画像とを高速自動抽出することを目的とする。

課題を解決するための手段

0007

上記課題を解決するために、本願発明は以下の構成を有する。すなわち、対象とする画像群を指定する指定手段と、前記指定手段により指定された画像群に含まれる画像が閾値より多いか判定する判定手段と、前記判定手段により前記閾値より多いと判定した場合、前記指定手段により指定された画像群から選択した一部の画像を処理対象とするモードで処理を実行するか否かの選択を受け付ける受付手段と、前記モードで選択する画像総数を特定する特定手段と、前記受付手段により前記モードで処理を実行すると判定された場合、前記指定手段により指定された画像群に含まれる動画像から所定数の動画像を選択すると共に前記指定手段により指定された画像群に含まれる静止画像から所定数の静止画像を選択する選択手段と、前記選択手段により選択した動画像から複数のフレーム画像を生成する生成手段と、を有し、前記選択手段により選択する静止画像及び前記生成手段により生成するフレーム画像の総数は、前記特定手段により特定した画像総数以下である。

発明の効果

0008

本発明によれば、静止画像と動画像から抽出された画像とを高速で自動抽出することができる。

図面の簡単な説明

0009

情報処理装置を含むシステムの構成の例を示す図。
PCのハードウェア構成の例を示す図。
PCのソフトウェア構成の例を示す図。
アプリケーションの画面の構成例を示す図。
フォトアルバムの自動作成処理を示すフローチャート
フォトアルバムの自動作成処理を示すフローチャート。
静止画像の分類処理を示すフローチャート。
動画像から静止画像を抽出する処理を示すフローチャート。
フォトアルバムの自動作成処理を示すフローチャート。
フォトアルバムの構成例を表す図。
レイアウトテンプレートの構成例を示す図。
レイアウトテンプレートのスロット管理方法を説明するための図。
スロットと静止画像の配置の関係を示す図。
静止画像のスコアを示す図。
スロットの位置情報を示す図。
動画像から静止画像を取得する処理を示すフローチャート。
静止画像と動画像の関連付けと静止画像の分類とを示す図。
動画像を構成するフレームの例を示す図。
画像数のテーブルの構成例を示す図。
フォトアルバム自動作成用の画像群を抽出する処理を示すフローチャート。
高速モードへの移行を促すメッセージの画面の構成例を示す図。
高速モードへの移行を判定するテーブルの構成例を示す図。

実施例

0010

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

0011

<第1の実施形態>
図1は、情報処理装置を含んで構成されるフォトアルバム作成/注文システムの構成の一例を示す図である。図1において、情報処理装置1及び2は、例えば、一般的なパーソナルコンピュータまたはサーバー(以下、PCと略す場合がある)で構成される。PC1、PC2は、図2で後述するようなハードウェアで構成される。本実施形態では、各PCには、Operating System(以下、OSと略す場合がある)としてWindows(登録商標)8またはWindows(登録商標) Server 2012と同等のOSがインストールされているものとする。PC1、PC2は、例えば、それぞれEthernet(登録商標)で構成されるネットワーク4及び8に接続されている。

0012

フォトアルバム作成アプリケーション80(以下、アプリケーションと略す場合がある)は、例えば、Windows(登録商標)用の実行可能形式ファイル(*.EXE)で構成される。Webブラウザアプリケーション143(以下、Webブラウザと略す場合がある)は、WWW(World Wide Web)を利用する際に用いられるブラウザである。ネットワーク4は、PC1を使用するユーザ(顧客等)が住んでいる自宅構築された一般家庭用ホームネットワークである。ネットワーク8は、ABC社の拠点内に構築されたオフィスネットワークである。

0013

ネットワーク8に接続されているPC2は、Webサーバの機能を備えるWebサーバ9を含み、インターネットを介してABC社のWebサイトを提供する。ショッピングサイト11は、ABC社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト11を利用してフォトアルバムを注文することができる。

0014

図2は、PCのハードウェア構成の一例を表す図である。PC1及びPC2は、図2に示すようなハードウェアを含む。図2に示す通り、PC1及びPC2は、ランダムアクセスメモリ部であるRAM201、ハードディスクドライブ部であるHDD202、キーボード部であるKBD203、及びCPU204を含む。更に、PC1及びPC2は、表示用ディスプレイであるLCD205、及びネットワークボードであるNB207を含む。更に、PC1及びPC2は、少なくとも図2に示す各ブロックを互いに通信可能に接続するバス206を含む。HDD202は、不揮発性の記憶部である。なお、可搬性CD−ROMまたは内部据付のROM等が記憶部として用いられてもよい。KBD203は、PC1及びPC2の入力部である。CPU204は、PC1及びPC2の制御部である。LCD205は、PC1及びPC2の表示部である。NB207は、PC1及びPC2の通信制御部である。

0015

フォトアルバム作成アプリケーション80やWebブラウザ143等のアプリケーション、および、図3に示す各モジュールソフトウェア)は、例えばHDD202に記憶され、必要に応じてRAM201に読み出されてCPU204により実行される。これにより、CPU204が、各種アプリケーション(ソフトウェア)の機能を実現する。

0016

図3は、PCのソフトウェアのモジュール構成の一例を表す図である。図3において、モジュール92は、Ethernet(登録商標)を制御するEthernet(登録商標)制御スタックである。モジュール91は、IP Networkを制御するIP Network制御スタックである。モジュール90は、ネットワーク上のデバイス探索仕組みを提供するWSD(Web Service on Devices)を制御するWSD制御スタックである。モジュール88は、ネットワークのプラグアンドプレイを制御するPnP−X制御スタックである。尚、PnP−Xとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連拡張機能としてWindows(登録商標)8 OSに標準搭載されている機能であるPlug and Play Extensionsの略称である。モジュール85は、デバイスドライバ群であり、OSに標準で同されている標準ドライバ群87と、IHV(Independent Hardware Vendor)から提供されるIHV製ドライバ群86とを含んで構成される。

0017

モジュール84は、アプリケーション/DDIインタフェースであり、API(Application Programing Interface)、DDI(Device Driver Interface)を含んで構成される。モジュール80は、例えば、フォトアルバム作成アプリケーションであり、モジュール143は、例えば、Webブラウザアプリケーションである。モジュール82は、アプリケーション群であり、フォトアルバム作成アプリケーション80、Webブラウザ143等を含んで構成される。

0018

図4は、各種アプリケーションの画面の構成例を示す図である。図4(a)は、アプリケーション80のメイン画面の一例を示す。図4(b)は、アプリケーション80のプレビュー編集画面の一例を示す。図4(c)は、Webブラウザ143で表示されるフォトアルバムの注文画面の一例を示す。

0019

図4(a)に示すメイン画面401は、アプリケーション80のメイン画面である。フォトアルバムタイプ選択部402は、フォトアルバムタイプの選択部であり、フォトアルバムタイプの選択を受け付けるための選択ボタンが表示される。本実施形態では、フォトアルバムタイプとしては、作成するフォトアルバムの種類としてタイプK、タイプMのいずれかを選択することができ、ページ数として20、30、40、50、60ページのいずれかを選択することができる。なお、アルバムの種類としては、例えば、形状、用紙の種類、綴じ方、カバー材質等が挙げられる。図4(a)では、タイプKの20ページ、タイプMの50ページが表示された状態を示しているが、フォトアルバムタイプ選択部402をスクロールすることで、これ以外の種類のフォトアルバムを表示することができ、ユーザはこれらのうちいずれかを選択することができる。ボタン403は、タイプKの20ページのフォトアルバムの選択を受け付ける為のフォトアルバムの選択ボタンである。タイプKの20ページのフォトアルバムは、例えば、次のようなフォトアルバムである。

0020

形状: 15cm×15cmスクエア
ページ数: 20ページ
用紙の種類:サテン
綴じ方: 2つ折り
カバー: ソフト

0021

ボタン404は、タイプMの50ページのフォトアルバムの選択を受け付ける為のフォトアルバムの選択ボタンである。タイプMの50ページのフォトアルバムは、例えば、次のようなフォトアルバムである。

0022

形状: A4(210mm×297mm) 縦
ページ数: 50ページ
用紙の種類: 光沢
綴じ方:フラット
カバー: ハード

0023

マーク405は、フォトアルバム選択状態表示マークであり、選択されているフォトアルバムに関連付けられているフォトアルバム選択ボタンを囲うように表示される。図4(a)は、ボタン403が押されてタイプKのフォトアルバムが選択されている状態を示している。なお、選択ボタンが選択されていることを識別可能に表示できるものであれば、マーク405に限定されるものではない。フォトアルバム作成ボタン412に対するユーザの押下が検出されると、アプリケーション80は、フォトアルバムの自動作成を開始する。動画像ファイル処理方法選択部406は、動画像ファイルに対する処理方法の選択部であり、動画像から静止画像を抽出する処理方法として、無効、自動、時間、シーンテーマの何れかからのラジオボタンによる選択を受け付ける。

0024

無効選択ボタン431は、動画像から静止画像を抽出する処理を無効とする機能が割り当てられている。無効選択ボタン431が押下された場合に動画像から静止画像を抽出する処理が無効となる。自動選択ボタン407は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図5に示す自動処理を実行する方法が対応している。時間選択ボタン408は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図8(a)に示すような撮影年月日時刻に基づく処理を実行する方法が対応している。シーン選択ボタン409は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図8(b)に示すような色、ヒストグラムをもとにしたシーン判定処理を実行する方法が対応している。テーマ選択ボタン410は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図8(c)に示すようなオブジェクトをもとにしたテーマ判定処理を実行する方法が対応している。

0025

ユーザが、静止画像ファイルまたは動画像ファイルが格納されているPC1内のフォルダ(不図示)、または1以上のファイルを選択すると、アプリケーション80は、選択されたフォルダ又はファイルを、フォトアルバムを作成する際に処理対象とする画像データ群格納先または画像データ群として指定する。なお、PC1にSDカード等の不揮発性の外部メモリを装着することができる場合、この外部メモリも画像データ群の格納先として指定することができる。本実施形態では、外部メモリが指定された場合、動画像ファイル処理方法選択部406のデフォルト値は無効(無効選択ボタン431)が選択されている状態とする。SDカード等の不揮発性の外部メモリは、読み込み速度が遅く、動画像のような大きなサイズのファイルを読み込んだり、フォトアルバムを自動作成する際にPC内に一時的にコピーしたりする処理に多くの時間を要する場合があるためである。すなわち、動画像ファイル処理方法選択部406のデフォルト値を無効とすることにより、フォトアルバムに用いる画像の抽出の時間が長くなるのを抑制することができ、フォトアルバムが生成されるまでのユーザの待ち時間が長くなるのを抑制することができる。

0026

上記の格納先として、SDカード等の不揮発性の外部メモリが選択されておらず、PC内のフォルダやファイルが選択されている場合、動画像ファイル処理方法選択部406のデフォルト値は自動(後述する自動選択ボタン407)が選択されている状態とする。これにより、動画像のような大きなサイズのファイルを高速に読み込めるケースでは、フォトアルバムを自動作成する際に、動画像を対象画像に含めることができる。なお、動画像は、ユーザが気に入っている場面である可能性が高く、動画像から切り出した画像をレイアウトすることにより、フォトアルバムのユーザの満足度を向上させることができる可能性が高まる。また、ユーザの操作性にも優れる。

0027

本実施形態では、フォトアルバムを作成する際に対象とする画像データ群の格納先として、Facebook(登録商標)等のSNSサイト掲載されている画像が指定された場合、動画像を対象とせずに、静止画像だけを対象とする。これは、動画像のような大きなサイズのファイルをSNSサイトからインターネットを介してダウンロードすると、処理に多くの時間を要する場合があるためである。すなわち、動画像ファイル処理方法選択部406のデフォルト値を無効とすることにより、フォトアルバムに用いる画像の抽出の時間が長くなるのを抑制することができ、フォトアルバムが生成されるまでのユーザの待ち時間が長くなるのを抑制することができる。尚、例えば、インターネットを介したファイルダウンロードを高速に行えるような環境では、格納先として外部メモリが指定された場合、動画像ファイル処理方法選択部406のデフォルト値を無効(無効選択ボタン431)が選択されている状態とする。そして、ユーザの判断で自動(自動選択ボタン407)等を選択することで、動画像を対象にしてフォトアルバムを自動作成するようにしてもよい。

0028

ファイル選択ボタン411は、シーン選択ボタン409またはテーマ選択ボタン410が選択されている時に有効である。ユーザによるファイル選択ボタン411の押下を検出すると、ファイル選択画面(不図示)が表示され、ユーザによる静止画像ファイルの選択が可能になる。アプリケーション80は、ファイル選択画面(不図示)を介してユーザにより選択された静止画像ファイルを、アプリケーション80が使用するRAM201内のワークメモリに一時的に保存する。ユーザによるフォトアルバム作成ボタン412の押下を検出すると、アプリケーション80は、ワークメモリに一時的に保存されている静止画像ファイルに基づいて、シーン判定処理またはテーマ判定処理を実行する。フレーム抽出時間間隔指定部430は、ユーザから、1つの動画像から静止画像(フレーム)を抽出する枚数の指定を例えば1枚単位で受付可能である。尚、デフォルト値は、例えば40枚で設定されている。

0029

平均スロット数指定部434にて、ユーザは、フォトアルバムの見開き2ページに配置されるスロットの数、言い換えれば、配置される画像の数の平均値を1つ指定することができる。本実施形態では、2、6、10の中から1つ指定することができるものとし、平均スロット数指定部434で指定されている平均スロット数のデフォルト値は6とする。撮影日設定部432は、日付絞り込みチェックボックス433がチェックされている場合に有効となり、この場合、撮影日設定部432で設定されている期間に撮影された画像群(静止画像と動画像)がフォトアルバムを自動作成する際の対象となる。ここでの対象の画像群とは、フォトブックの作成に利用可能な画像群であることを意味する。日付絞り込みチェックボックス433のデフォルト値はチェックされている状態である。撮影日設定部432のデフォルト値は、フォトアルバムを自動作成する際に対象とする画像群の中で撮影日が最も新しい日から過去にさかのぼって30日間とする。なお、さかのぼる日数はこれに限定されないが、デフォルト値として所定の日数を予め設定しておく。このように所定の日数を設定することにより、フォトアルバムを自動作成する際に対象とする画像群に含まれる画像数を適切に保つことができる。具体的には、図20(b)で後述するシステム上限画像数を超える可能性を低くすることができる。これにより、フォトアルバムを高速に自動作成することができる。また、最も新しい日から所定の日数までの撮影日の画像群に基づいてフォトアルバムを生成することにより、ユーザがアルバムを作成しようとしたタイミングに適したアルバムを作成できる可能性が高くなる。

0030

図4(b)に示す編集画面415は、アプリケーション80のプレビュー/編集画面を示す。詳細は後述するが、図4(a)の画面で設定された条件に従って、フォルダから画像データ群が取得され、取得された画像データ群から複数の画像データを選択し、画像データに基づく画像をそれぞれテンプレートに配置することにより、レイアウト画像を生成する。なお、レイアウト画像は、フォトアルバムタイプ選択部402で受け付けたページ数に基づいて、複数ページ分生成される。そして、アプリケーション80は、生成されたレイアウト画像のうち選択された見開きページ(すなわち、2ページ分)のレイアウト画像のプレビューを、プレビュー表示部418に表示する。見開きページ選択部416は、ユーザから、プレビュー表示部418に表示する見開きページの選択を受付可能である。ユーザにより選択されている見開きページには、見開きページ選択状態を識別可能な表示マーク417が表示される。選択状態を識別可能な表示はこれに限定されず、例えば、選択された見開きページの色を変更して表示するようにしてもよい。図4(b)では、7ページと8ページで構成される見開きページが選択されている状態を示している。なお、見開きページ数が多い場合は、見開きページ選択部416をスクロールすることにより、これ以外の見開きページを表示することができるようにする。

0031

購入商品追加ボタン419は、ユーザがフォトアルバムを購入する際に、商品としてショッピングカート(不図示)に追加することができる。ユーザによる購入商品追加ボタン419の押下を検出すると、アプリケーション80がプレビュー表示部418に表示されている見開きページを含むフォトアルバムをショッピングカートに追加する。ユーザは、ショッピングカートに追加されたフォトアルバムを、ショッピングカートに関連付けられている図4(c)に示すオンライン注文イトと、それと連携している決済サイト(不図示)を介して購入することができる。尚、オンライン注文サイト、決済サイト、ショッピングカートに関しては、一般的なオンラインショッピングサイトとそれと連携する決済サイトやショッピングカートと同様なので、その説明を省略する。

0032

図4(c)において、Webブラウザ143に表示されるURL設定部421は、ユーザがWebブラウザ143で表示させたいWebサイト(ページ)のURL(Uniform Resource Locator)の指定を受け付ける。また、Webブラウザ143がWebサイト(ページ)を表示している場合は、表示しているWebサイトのURLがURL設定部421に表示される。注文画面422は、Webブラウザ143が表示しているフォトアルバムの注文画面であり、図4(c)は注文番号「4649」のフォトアルバムを注文する一例を示している。注文情報表示部423は、フォトアルバムの注文に関する情報を表示する。注文に関する情報としては、注文を識別する識別子(例えば、注文番号)、フォトアルバムの種類、価格等が挙げられる。図4(c)は、以下のような例を示している。

0033

注文番号: 4649
フォトアルバムの種類: タイプK
価格: ¥100,000

0034

注文ボタン424の押下を受け付けると、氏名、住所電話番号、配送先等の必要な情報を入力する入力画面が表示される。ユーザが入力画面において必要な情報を入力し、決済サイトで決済を完了することで、アプリケーション80で作成されたフォトアルバムの注文が確定して、ユーザはそのアルバムを購入することができる。

0035

図10は、フォトアルバムの構成の一例を示す。図10(a)はタイプKのフォトアルバムの構成の一例を示し、図10(b)はタイプMのフォトアルバムの構成の一例を示す。

0036

図10(a)に示すフォトアルバムは、タイプKのフォトアルバムに関し、表紙1001、裏表紙1004、本身の1ページと2ページの見開きページ1002、本身の19ページと20ページの見開きページ1003を含む。タイプKのフォトアルバムの場合、本身に関しては、1ページ目先頭ページ、20ページ目が最終ページである。

0037

図10(b)に示すフォトアルバムは、タイプMのフォトアルバムに関し、表紙1011、裏表紙1014、本身の1ページと2ページの見開きページ1012、本身の49ページと50ページの見開きページの1013を含む。タイプMのフォトアルバムの場合、本身に関しては、1ページ目が先頭ページ、50ページ目が最終ページである。

0038

図11は、画像データに基づく画像を配置するためのレイアウトテンプレート(以下、テンプレートともいう)の一例を示す。図11(a)は、タイプKのフォトアルバムの時間ベース用のレイアウトテンプレートの一例を示す。図11(b)は、タイプKのフォトアルバムのシーンベース用のレイアウトテンプレートの一例を示す。図11(c)は、タイプKのフォトアルバムのテーマベース用のレイアウトテンプレートの一例を示す。

0039

図11(a)は、ページ単位で領域をグループ化し、そのグループ(片側1ページ)内の全てのスロットを同一グループの領域に属するものとした例を示している。図11(a)に示すレイアウトテンプレート1100は、例えば、タイプKのフォトアルバムの時間ベース用のレイアウトテンプレートの、本身の1ページと2ページの見開き2ページのレイアウトテンプレートである。テンプレート1101は、本身の1ページのレイアウトテンプレートである。テンプレート1102は、本身の2ページのレイアウトテンプレートである。スロット1103〜1106は、本身の1ページに配置されているスロットであり、スロット1107〜1110は、本身の2ページに配置されているスロットであり、アプリケーション80は静止画像をこれらのスロットに配置する。

0040

スロット1103〜1106は、グループ1の領域に属する。テンプレート1101に付加されているコードK−A−G1−P1は、このテンプレートの属性を表す。Kは、タイプKのフォトアルバム用であることを表す。Aは、時間ベース用であることを表す。G1は、グループ1の領域用であることを表す。P1は、本身の1ページ用であることを表す。スロット1103〜1106に付加されているコードK−A−G1−1、K−A−G1−2、K−A−G1−3、K−A−G1−4はそれぞれ、これらのスロットの属性を表す。K−A−G1は上記と同様であり、最後の数字スロット番号を表す。スロット番号は、グループ単位で割り当てられる。

0041

スロット1107〜1110は、グループ2の領域に属する。テンプレート1102に付加されているコードK−A−G2−P2はこのテンプレートの属性を表す。K及びAは前述の説明と同じ内容であるが、G2は、グループ2の領域用であることを表す。P2は、本身の2ページ用であることを表す。スロット1107〜1110に付加されているコードK−A−G2−1、K−A−G2−2、K−A−G2−3、K−A−G2−4はそれぞれ、これらのスロットの属性を表す。K−A−G2は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。

0042

図11(b)は、見開きページ単位で領域をグループ化し、そのグループ(見開き2ページ)内の全てのスロットを同一グループの領域に属するものとした例を示している。図11(b)に示すテンプレート1120は、例えば、タイプKのフォトアルバムのシーンベース用のレイアウトテンプレートの、本身の7ページと8ページの見開き2ページのレイアウトテンプレートである。テンプレート1121は、本身の7ページのレイアウトテンプレートである。テンプレート1122は、本身の8ページのレイアウトテンプレートである。スロット1124は、本身の7ページに配置されているスロットである。スロット1126は、本身の8ページに配置されているスロットである。スロット1123、1125は、それぞれ本身の7ページと8ページの両方にまたがって配置されているスロットである。アプリケーション80は、静止画像をこれらのスロットに配置する。

0043

スロット1123〜1126は、グループ4の領域に属する。テンプレート1121に付加されているコードK−B−G4−P7、および、テンプレート1122に付加されているコードK−B−G4−P8は、それぞれのテンプレートの属性を表す。Kは、タイプKのフォトアルバム用であることを表す。Bは、シーンベース用であることを表す。G4は、グループ4の領域用であることを表す。P7は、本身の7ページ用であることを示す。P8は、本身の8ページ用であることを表す。スロット1123〜1126に付加されているコードK−B−G4−1、K−B−G4−2、K−B−G4−3、K−B−G4−4はそれぞれ、これらのスロットの属性を表す。K−B−G4は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。

0044

図11(c)は、ページ単位で領域をグループ化し、そのグループ(片側1ページ)内の全てのスロットを同一グループの領域に属するものとした例を示している。図11(c)に示すレイアウトテンプレート1140は、例えば、タイプKのフォトアルバムのテーマベース用のレイアウトテンプレートの、本身の5ページと6ページの見開き2ページのレイアウトテンプレートである。テンプレート1141は、本身の5ページのレイアウトテンプレートである。テンプレート1142は、本身の6ページのレイアウトテンプレートである。スロット1143〜1147は、本身の5ページに配置されているスロットであり、スロット1148〜1151は、本身の6ページに配置されているスロットであり、アプリケーション80は静止画像をこれらのスロットに配置する。

0045

スロット1143〜1147は、グループ5の領域に属する。テンプレート1141に付加されているコードK−C−G5−P5は、このテンプレートの属性を表す。Kは、タイプKのフォトアルバム用であることを表す。Cは、テーマベース用であることを表す。G5は、グループ5の領域用であることを表す。P5は、本身の5ページ用であることを表す。スロット1143〜1147に付加されているコードK−C−G5−1、K−C−G5−2、K−C−G5−3、K−C−G5−4、K−C−G5−5はそれぞれ、これらのスロットの属性を表す。K−C−G5は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。

0046

スロット1148〜1151は、グループ6の領域に属する。テンプレート1142に付加されているコードK−C−G6−P6は、このテンプレートの属性を表す。K−Cは前述の説明と同じ内容であり、G6は、グループ6の領域用であることを表す。P6は、本身の6ページ用であることを表す。スロット1148〜1151に付加されているコードK−C−G6−1、K−C−G6−2、K−C−G6−3、K−C−G6−4はそれぞれ、これらのスロットの属性を表す。K−C−G6は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。

0047

図12は、レイアウトテンプレートとスロット管理を説明するための図である。図12(a)は、タイプKのフォトアルバムのシーンベース用のレイアウトテンプレートの一例を示す。図12(b)は、スロットの管理方法の一例を示す。図12(a)は、図11(b)に示すレイアウトテンプレートと同様に、見開きページ単位で領域をグループ化し、そのグループ内の全てのスロットを同一グループの領域に属するものとしたテンプレートである。このテンプレートは、静止画像と、動画像から抽出した静止画像をそれぞれ適切なスロットに配置するためのものである。

0048

図12(a)に示すレイアウトテンプレート1200は、タイプKのフォトアルバムのシーンベース用のレイアウトテンプレートの、本身の15ページと16ページの見開きページのレイアウトテンプレートである。テンプレート1201は、本身の15ページのレイアウトテンプレートである。テンプレート1202は、本身の16ページのレイアウトテンプレートである。スロット1205、1206は、本身の15ページに配置されているスロットである。スロット1208、1209は、本身の16ページに配置されているスロットである。スロット1203、1207は、本身の15ページと16ページの両方にまたがって配置されているスロットである。アプリケーション80は、静止画像をこれらのスロットに配置する。

0049

スロット1203〜1209は、グループ8の領域に属する。Kは、タイプKのフォトアルバム用であることを表す。Bは、シーンベース用であることを表す。G8は、グループ8の領域用であることを表す。P15は、本身の15ページ用であることを表す。P16は、本身の16ページ用であることを表す。テンプレート1201に付加されているコードK−B−G8−P15、および、テンプレート1202に付加されているコードK−B−G8−P16は、それぞれのテンプレートの属性を表す。

0050

スロット1203〜1209に付加されているコード(K−B−G8−1−S等)はそれぞれ、スロットの属性を表す。K−B−G8の次の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。そして、最後の文字は配置する画像の属性を表す。Sは、一般的な静止画像用のスロットであることを示す属性を表す。ここでの一般的な静止画像とは、動画像から抽出された静止画像ではなく、デジタルスチルカメラ等で撮影して保存された写真等を意味するものとし、以下、単に「静止画像」という。また、Dは、動画像からフレームの解析等を行って抽出した静止画像用のスロットであることを示す属性を表す。例えば、スロット1203にはコードK−B−G8−1−Sが付加されていて、画像の属性はSであるため、このスロットに配置するのに適した画像は、一般的な静止画像である。また、例えば、スロット1205にはコードK−B−G8−3−Dが付加されていて、画像の属性はDであるため、このスロットに配置するのに適した画像は、動画像から抽出した静止画像である。動画像から抽出した静止画像は、以下、「フレーム画像」ともいう。

0051

尚、静止画像用として適しているスロット1203に配置するのに適した静止画像が存在しない場合には、このスロットにフレーム画像を配置してもよい。また、フレーム画像用として適しているスロット1205に配置するのに適したフレーム画像が存在しない場合には、このスロットに静止画像を配置してもよい。

0052

また、動画像から抽出した複数のフレーム画像の中に、例えば少しピンボケしていてフォトアルバムとしてはあまり適切でないフレーム画像と、その少しピンボケしているフレーム画像よりも品位の高い静止画像とが存在するケースがある。そのようなケースでも、本実施形態では、あえて少しピンボケしたフレーム画像をフレーム画像用として適している属性Dのスロットに、動画像から抽出した連続しているフレーム画像の内の1つとして配置する。つまり、動画像から抽出した連続している複数のフレーム画像を、フレーム画像用として適している属性Dのスロットに配置する。これにより、レイアウトテンプレートの特徴を引き出したダイナミックなフォトアルバムを自動的に作成することができる。また、魅力のあるフォトアルバムを自動生成する機能を備えるフォトアルバム作成アプリケーションを提供することができる。

0053

図12(b)を用いて、図12(a)に示すタイプKのフォトアルバムのシーンベース用のレイアウトテンプレートのスロットの管理方法について説明する。図12(b)では、説明の都合上、スロット1203以外のスロットに関しては、その記載を省略する。図12(b)において、点Oはフォトアルバムの基準点である。アプリケーション80は、フォトアルバムの見開きページの左上端の角を基準点として、各スロットの位置を定義し、それぞれのスロットに対する画像の配置を管理/制御する。アプリケーション80は、点Oから右方向を横のプラス(+)座標、左方向を横のマイナス(−)座標、下方向を縦のプラス(+)座標、上方向を縦のマイナス(−)座標と定義している。各点の座標は(横座標縦座標)と表され、例えば点Oの座標は(0,0)[単位:cm]である。

0054

点Wはスロット1203の基準点であり、このスロットの左上端の角と一致する。このように、各スロットの基準点は、それぞれのスロットの左上端とする。点Wは点Oから右方向に1cm、下方向に1cmの位置にあり、座標は(1,1)[単位:cm]である。Lはスロット1203の幅であり、16cmである。Hはスロット1203の高さであり、6cmである。これらにより、スロット1203を構成する長方形の各点及びその座標は、それぞれ点X(17,1)[単位:cm]、点Y(17,7)[単位:cm]、点Z(1,7)[単位:cm]である。点Pはスロット1203の中点であり、その座標は(9,4)[単位:cm]である。Rはスロット1203の回転角度であり、図12(b)の例ではスロット1203は回転されていないので、回転角度は0度である。このように、アプリケーション80は、レイアウトテンプレートに配置する各スロットを座標と回転角度を用いて定義し、管理/制御する際にその情報を使用する。定義された情報は、図15に示すテーブルのように管理される。すなわち、図15に示すように、各スロットは、基準点の座標、幅(横の長さ)及び高さ(縦の長さ)と、回転角度が管理される。

0055

図15は、スロットの位置の一例を表す。図15において、Slotはスロット番号であり、ReferencePointはスロットの基準点であり、Lengthはスロットの幅であり、Heightはスロットの高さであり、Rotationはスロットの回転角度である。図15は、図12(a)に示すレイアウトテンプレート1200のスロット1203〜1209の位置の例を示す。

0056

図5は、フォトアルバムを自動作成する処理を示すフローチャートである。図5のフローチャートに係るアプリケーションプログラムは、例えば、HDD202に記憶されており、CPU204により読み出されて実行される。アプリケーションを起動することにより、図4(a)に示す画面が表示される。そして、ユーザによる図4(a)に示す自動選択ボタン407を選択及びフォトアルバム作成ボタン412が押下を受け付けると、アプリケーション80が図5に示すフォローチャートに従ってその処理を実行する。

0057

S501にて、アプリケーション80は、画像ファイル(静止画像ファイルや動画像ファイル)が格納されているPC1内のフォルダ(不図示)又はPC1内の各ファイルを、フォトアルバムを作成する際に必要な画像データ群の格納先として指定する。なお、ユーザに画像ファイルが格納されているPC1内のフォルダやPC1内のファイルを選択させるようにしてもよい。S501にて、アプリケーション80は、指定された格納先の画像データ群を対象として、静止画像の数が閾値より多いか否かを判定する。本実施形態では、図19(a)に示す画像総数(閾値)より多いか否かを判定する。このとき、静止画像の数とは、通常の静止画像数と動画像から抽出する静止画像数(フレーム画像数)との合計数を指す。なお、動画像から抽出する静止画像数は、動画像の数と、1つの動画像から抽出するフレーム数(本実施形態では、40個)とを積算した値とする。例えば、指定された画像データ群に含まれる通常の静止画像数が400個であり、動画像数が10個であり、1つの動画像から抽出するフレーム数を40個とする場合は、400+(10×40)=800個となる。

0058

図19は、高速モードの画像数のテーブルの一例を示す図である。図19(a)と図19(b)は、Windows(登録商標)等のPC用のアプリケーションが参照するテーブルである。図19(c)と図19(d)は、Android(登録商標)OSが搭載されているスマートフォン等のモバイルデバイス用のアプリケーションが参照するテーブルである。図19にて、「ページ数」はフォトアルバムのページ数であり、「平均スロット数」はフォトアルバムの見開きページ(2ページ)に配置されるスロットの数の平均値である。また、「動画像からの画像数」は動画像から抽出するフレーム画像の数であり、「静止画像数」は静止画像の数である。「画像総数」は「動画像からの画像数」と「静止画像数」の合計の数とする。

0059

図19(a)、(c)は、フォトアルバムを自動作成する際に対象とする画像データ群の中に動画像が含まれている場合に、対象として取り扱う動画像を1つに固定(規定数=1)し、その1つの動画像から等間隔で40個のフレームを抽出して静止画像を生成するものとする。なお、対象とする画像データ群の中に複数の動画像が含まれる場合の動画像の選択方法については、後述する。同じページ数に着目して、図19(a)と、図19(c)の「画像総数」や「静止画像数」を比較すると、図19(a)のPC用のテーブルの方が図19(c)のモバイルデバイス用のテーブルよりも数が多く設定していることがわかる。これは、一般的に、PCの方がモバイルデバイスよりもCPUやRAM等のハードウェアの性能が高く、単位時間あたりに処理できる画像数が多いので、このような値をそれぞれのテーブルに設定している。これにより、PC上でアプリケーション80を実行した場合とモバイルデバイス上でアプリケーション80を実行した場合とで、フォトアルバムを自動作成する時間差が少なくなる。すなわち、デバイス種に応じた上限数を設定することにより、フォトアルバムを自動生成する時間をいずれのデバイスでも短くすることができる。なお、対象として取り扱うデータ数が多いほど、ユーザの満足度が高くなる可能性が高まる。静止画像(動画像から抽出された静止画像も含む)の数が画像総数より多いと判定した場合、アプリケーション80は、図21に示す高速モード移行メッセージ画面2101、2105を表示する。静止画像(動画像から抽出された静止画像も含む)の数が画像総数以下と判定した場合、アプリケーション80は、高速モード移行メッセージ画面2101、2105を表示せずに、通常モードでフォトアルバム自動作成用の画像群を抽出する処理を実行する。なお、フォトアルバム自動作成用の画像群を抽出する処理については、図20を用いて後述する。

0060

図21は、高速モードへの移行を促すメッセージの画面の一例を示す。このメッセージ画面は、CPU204がPC1の表示部であるLCD205に表示させる。図21(a)は日本語表示の画面であり、図21(b)は英語表示の画面の例である。これらの画面では、表示の言語が異なるのみで、表示している内容は同じである。表示の言語をいずれにするかは、PC1に設定された表示言語に基づいて決定する。図21に示す高速モード移行メッセージ画面2101は、高速モードチェックボックス2102、キャンセルボタン2103、OKボタン2104を含む。図21に示す高速モード移行メッセージ画面2105は、高速モードチェックボックス2106、キャンセルボタン2107、OKボタン2108を含む。本実施形態では、高速モードチェックボックス2102、2106のデフォルト値は、チェックされていない状態(高速モード無効)とする。デフォルト値として、高速モードを無効に設定することにより、自動的に作成されるフォトアルバムの仕上がりの良さを重視した設定となっている。なお、デフォルト状態を高速にフォトアルバムを自動作成することを重視した設定としたい場合は、高速モードチェックボックス2102、2106のデフォルト値をチェックされている状態(高速モード有効)とする。

0061

ここで、高速モードとは、通常モードよりも高速にフォトアルバムを生成するモードである。具体的には、通常モードよりも抽出する画像数を少なくすることにより、画像抽出時間を少なくし、これにより、画像のスコア解析の時間を少なくし、高速にフォトアルバムを生成することができる。

0062

上述した通り、静止画像(動画像から抽出されたフレーム画像も含む)の数が画像総数より多いと判定した場合、高速モード移行メッセージ画面2101又は高速モード移行メッセージ画面2105を表示する。図21では、写真の枚数が多いため、解析に時間がかかる旨を表示し、「解析する写真の枚数を自動的に絞り込んで時間を短縮するか否か」をユーザが選択できるようにする。このように、ユーザが時間を短縮するか否かを選択可能とすることにより、解析する写真の枚数が多く、解析に時間がかかったとしても、ユーザは待機の煩わしさが無くなる。また、短い時間で解析したいユーザの要望にも応えることができる。図21では、高速モードチェックボックス2102、2106がチェックされていて、高速モードが有効となる状態を示している。高速モードチェックボックス2102、2106がチェックされていて高速モードが有効となる状態で、OKボタン2104、2108が押下されると、アプリケーション80は、フォトアルバム自動作成用の画像群を高速モードで抽出する処理を実行する。高速モードチェックボックス2102、2106がチェックされておらず高速モードが無効となる状態で、OKボタン2104、2108が押下されると、アプリケーション80は、フォトアルバム自動作成用の画像群を通常モードで抽出する処理を実行する。キャンセルボタン2103、2107が押下されると、アプリケーション80は、図5のS501で処理を中断し、図4(a)に示すメイン画面401に戻る。なお、本実施形態では、ユーザに、通常モードが高速モードかを選択させるものとしたが、指定された画像群に含まれる画像数が多い場合は、自動的に高速モードに設定するようにしてもよい。

0063

尚、前述したようにアプリケーション80がWindows(登録商標)等のPC用のアプリケーションの例の場合は、アプリケーション80は図19(a)のテーブルを参照する。これに対して、例えば、Google社のAndroid(登録商標)OSが搭載されているスマートフォン等のモバイルデバイス用のアプリケーションの例の場合は、アプリケーション80は図19(c)に示すテーブルを参照する。

0064

本実施形態では、アプリケーション80が、PC用のアプリケーションとモバイルデバイス用のアプリケーションとは異なるものとし、各アプリケーションが参照するテーブルを予めそれぞれ別のものを用意するものとした。ただし、この構成に限定するものではなく、例えば、PCとモバイルデバイスの両方で実行可能なアプリケーションとしてもよく、この場合は、アプリケーション80がOSを介して実行されている機器の情報を取得する。そして、PCの場合は図19(a)のテーブルを参照し、モバイルデバイスの場合は図19(c)のテーブルを参照する、というような構成であってもよい。

0065

S502にて、アプリケーション80は、動画像ファイルから静止画像(フレーム画像)を取得して保存する処理を実行する。本工程の処理の詳細は、図16(a)を用いて後述する。

0066

S503にて、アプリケーション80は、S502で保存した静止画像に対して、その静止画像のもととなった動画像内のフレームの位置情報(フレーム番号)を、その静止画像と関連付けて保存する。ここでの関連付けの例を図17を用いて説明する。

0067

図17は、フレーム画像と動画像の関連付けと、フレーム画像の分類の一例を示す。図17において、JPEGはフレーム画像のファイル名であり、MPEGはMPEG動画像のファイル名であり、Date&Timeは撮影年月日時刻であり、Infoは分類に関する情報であり、Groupは分類結果である。また、Frameは動画像を構成するフレーム番号であり、RelatedFileは静止画像ファイルもしくは動画像ファイルに関連付けられている関連ファイル(動画像ファイル/静止画像ファイル)のファイル名である。JPEG欄に記載されているフレーム画像ファイルは、同じ行のMPEG欄に記載されている動画像ファイルから抽出されて保存された静止画像ファイル(フレーム画像ファイル)である。Date&Timeの書式年月日と時刻(1/1000秒)である。例えば、図17(a)のdynamic15.jpgの行のDate&Time欄に記載されている「20140330100010334」は、2014年03月30日10時00分10と334/1000秒を表す。なお、図17において「−」はデータが存在しないことを表す。本実施形態では、例えば、図17(a)に示すように、フレーム番号とフレーム画像とが関連付けされる。

0068

S504にて、アプリケーション80は、フォトアルバムを作成する際に必要な画像群の中の各静止画像に対して、フォトアルバム用の画像としての適切さを解析する。ここで、「適切さ」は、図14に示す基準に基づいて解析する。

0069

図14は、静止画像のスコアの一例を示す。図14において、Fileはファイル名であり、Elementsはフォトアルバム用の画像としての適切さを定義する要素(基準)であり、Scoreはその各要素の総合的なスコアである。スコアは、Elementの各要素の点から導き出された、テンプレートに配置(レイアウト)される上での総合的な適切さを示す指標である。

0070

Elementsは、Color(色)、Contrast(コントラスト)、Brightness(明るさ)、Focus(ピント)、Composition(構図)の各要素を含む。各要素は、0(最低)〜10(最高)のポイントで、フォトアルバム用の画像としての適切さを表す。各要素のポイントは、予め定められた基準に基づいて付与する。本実施形態では、例えば、静止画像内輝度値最大値最小値の差が所定の各レベルに対応すれば、対応するポイントをコントラスト点として付与する。また、例えば、静止画像内のオブジェクトに基づいた三角構図の評価結果が所定の各レベルに対応すれば、対応するポイントを構図点として付与する。また、例えば、静止画像内の輝度分布の変化の尖鋭度が所定の各レベルに対応すれば、対応するポイントをピント点として付与する。なお、ポイントの付与方法は、これらに限定されるものではない。図14の「−」はデータが存在しないことを表す。

0071

このように、アプリケーション80は、各要素の適切さを示す評価値として、各静止画像に対してスコアを算出し、付与する。ここでスコアが付与される画像は、静止画像ファイル内の静止画像と、S502にて保存されたフレーム画像である。なお、S504では、静止画像ファイル内の静止画像、動画像ファイルから抽出されたフレーム画像の両方に対して共通の評価基準によりスコアが付与される。すなわち、S504にて、アプリケーション80は、S502で追加した、動画像から抽出したフレーム画像に対しても、フォトアルバム用の画像としての各要素の適切さに応じてスコアを付与する。

0072

S505にて、アプリケーション80は、動画像から抽出したフレーム画像のスコアを補正する。S505にて、アプリケーション80は、動画像から抽出したフレーム画像に対して、例えば、オリジナルのスコアに1.2倍を乗算してスコアを増やす。ここで用いられた重み付けの値は、1.2に限定するものではなく、経験的に求められた他の値を用いてもよい。この値は、予め定義され記憶部に保持されているものとする。

0073

図14において、Originalはオリジナルのスコアであり、Color(色)、Contrast(コントラスト)、Brightness(明るさ)、Focus(ピント)、Composition(構図)のそれぞれのポイントの平均値である。Modifiedはオリジナルのスコアを補正したスコアである。アプリケーション80は、動画像から抽出したフレーム画像に対して、そのメリットを表す分の重み付けをスコアとして表す為に、本実施形態では、例えばオリジナルのスコアに1.2倍を乗算してスコアを増やす。

0074

ここでのメリットとは、例えば、オリジナルのスコア値を大きくすることによって、動画像から抽出した静止画像がテンプレートへのレイアウト対象として特定される可能性を高めることができる。つまり、動画像から抽出したフレーム画像については、再度の抽出し直しでより良い静止画像を取得することも可能であるので、最終的に完成するレイアウト画像のユーザ満足度を向上させることができる。

0075

アプリケーション80は、静止画像を各スロットに配置する際に、オリジナルのスコア(Original)または補正後のスコア(Modified)から高い方のスコアを採用して、テンプレートへのレイアウト対象としてより適切な画像の特定に使用する。そして、テンプレート内のスロット数分の静止画像を各スロットに対して配置する。これにより、フレーム画像は、静止画像よりもオリジナルのスコアが低かったとしても、高い評価が得られることでレイアウト画像に配置されやすくなる。動画が撮影された場面は、ユーザの印象に残っている場面・お気に入りの場面である可能性が高く、動画から抽出したフレーム画像をレイアウト画像に配置することにより、ユーザの満足度が向上する可能性が高まる。

0076

尚、本実施形態では、動画像から抽出した静止画像のオリジナルのスコアに1.2倍を乗算してそのスコアを増やすことにより、動画像から抽出した静止画像のスコアの方が、一般的な静止画像のスコアよりも相対的に高くなるように制御している。しかしながら、このような制御方法に限られることなく、例えば、静止画像のスコアに0.8倍を乗算して静止画像のスコアをフレーム画像よりも減らすようにしても良い。これにより、動画像から抽出したフレーム画像のスコアの方が、静止画像のスコアよりも相対的に高くなるように制御することを実現できる。

0077

S506にて、アプリケーション80は、レイアウトテンプレート内の各スロットに、スコアの高い順に静止画像を配置する。配置するスロットは、各スロットに割り当てられた番号の順であってもよいし、スロット自体に割り当てられた優先度(スコア)に従ってもよい。

0078

S507にて、アプリケーション80は、動画像から抽出したフレーム画像がスロットに配置されているか否かの判定を行う。動画像から抽出したフレーム画像がスロットの中の少なくとも何れか1つのスロットに配置されていると判定された場合には(S508にてYES)S509へ進む。また、スロットのいずれにも配置されていないと判定された場合には(S508にてNO)本処理フローを終了する。

0079

S509にて、画像からより適切な静止画像の取得をし、S510にて、動画像から抽出されたより適切な静止画像(フレーム画像)をスロットに配置する。その後、本処理フローを終了する。

0080

以下、図11(a)に示すレイアウトテンプレート1100を例に挙げて、各スロットに画像を配置してフォトアルバムを作成する処理に関して説明する。例えば、S506にて、図14のスコアに基づき、スロット1107〜1110に、static1.jpg、static2.jpg、static3.jpg、dynamic20.jpgを配置したとする(図13(a)に相当)。S509にて、アプリケーション80は、スロット1110に配置されたdynamic20.jpgに基づいて、動画像からテンプレートへのレイアウト対象としてより適切なフレーム画像を取得して保存する処理(図16(b))を実行する。アプリケーション80は、dynamic20.jpgに関連付けられている位置情報(フレーム番号)に基づき、元となった動画像ファイルの中から、前後の一定時間の所定範囲内に含まれる全てのフレームを解析する。そして、アプリケーション80は、フォトアルバム用としてより適切なフレームを抽出する。ここでの前後の一定時間の所定範囲内として、例えば、前1秒、後1秒の合計2秒を設定する。

0081

ここで、図13は、スロットと配置する画像の関係の一例を示す。同13(a)と図13(b)は、テンプレート1102におけるスロットと配置する画像の関係を示す。図13(c)と図13(d)は、テンプレート1141におけるスロットと配置する画像の関係を示す。図13(e)は、レイアウトテンプレート1200におけるスロットと配置する画像の関係を示す。図13において、AlbumTypeはフォトアルバムの種類であり、Groupは領域(グループ)番号であり、Pageはページ番号であり、Slotはスロット番号であり、Attributeは画像の属性であり、Fileはファイル名である。図13(a)と図13(b)において、スロット番号1〜4のスロットはそれぞれ、スロット1107〜1110に該当する。図13(c)と図13(d)において、スロット番号1〜5はそれぞれ、スロット1143〜1147に該当する。図13(e)において、スロット番号1〜7は、それぞれスロット1203〜1209に該当する。図13において、static*.jpgはデジタルスチルカメラ等で撮影して保存された写真等の静止画像である。また、dynamic*.jpg(*は任意の数字)は動画像から抽出されたフレーム画像である。

0082

その際、アプリケーション80は、より適切なフレームを抽出する為に、図14に示す各要素を使って、フレーム画像をスコアリングし、オリジナルのスコア(Original)でより高いスコアのフレームを採用する。アプリケーション80は、フォトアルバム用としてより適切なフレームを抽出し、抽出したフレーム画像を静止画像dynamic24.jpgとして保存する。

0083

S510にて、アプリケーション80は、スロット1110に配置されているdynamic20.jpgをスロット1110から外す。そして、アプリケーション80は、S509で保存したフォトアルバム用としてより適切な静止画像dynamic24.jpgをスロット1110に配置して置き換える。その結果、スロット1107〜1110に対して、図13(b)に示す画像が配置される。つまり、図13(b)に示すスロット4の画像が置き換えられている。そして本処理フローを終了する。本処理フローの終了後、アプリケーション80は、図4(b)に示す編集画面415を表示する。

0084

以上のように、静止画像と動画像の両方を一緒に取り扱い、ユーザの煩わしい操作を伴わずに、自動的により適切な画像を抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。

0085

また、上記の例では、S505にて、動画像から抽出したフレーム画像のオリジナルのスコアに1.2倍を乗算してスコアを増やす、又は通常の静止画像のスコアに0.8倍を乗算してスコアを減らす。これにより、フレーム画像がスロットに配置されやすいようにした。しかし、これらのような例に限られることなく、例えば、動画像の解像度等の指標に基づくクオリティに応じて、スコアに重み付けをしてもよい。具体的には、そのクオリティが高いと判断した場合はその動画像から抽出したフレーム画像のオリジナルのスコアに1.5倍を乗算してもよい。例えば、解像度が基準値以上であれば、クオリティが高いと判定してもよい。また、静止画像の解像度等の指標に基づくクオリティに応じて、スコアに重み付けをしてもよい。具体的には、クオリティが低い場合はその静止画像のオリジナルのスコアに0.5倍を乗算してもよい。このような構成により、フォトアルバム用の画像としての適切さを示すスコア値を柔軟に制御することができる。

0086

また、上記の例では、S504にて静止画像に対してスコアを付与した後、S505にてそのスコアを補正した。しかし、この構成に限らず、S504にて、動画像から抽出された静止画像に高いスコアが付与されるように処理を行ってもよい。例えば、PCは、高いスコアが付与されやすい第1の評価基準と、第1の評価基準よりは低いスコアが付与されやすい第2の評価基準とをHDD202に記憶しておく。そして、CPU204は、S504にて、動画像から抽出されたフレーム画像については第1の評価基準によりスコアを付与し、それ以外の静止画像については第2の評価基準によりスコアを付与してもよい。

0087

また、上記の例では、S510にて、スロット1110に配置されているdynamic20.jpgをスロット1110から外し、S509で保存したフォトアルバム用としてより適切なdynamic24.jpgを配置して置き換えた。しかしながら、このような制御方法に限られることなく、例えば、dynamic24.jpgのオリジナルのスコア(Original)により、図13(b)に示すテンプレート1102におけるスロットとフレーム画像の配置の関係を見直してもよい。例えば、dynamic24.jpgのオリジナルのスコア(Original)が7.5であるとする。この場合、dynamic24.jpgの方がstatic3.jpgのオリジナルのスコアである7.0よりもスコア(=オリジナルのスコア)が高くなる。従って、アプリケーション80は、dynamic24.jpgを図13(b)のスロット3に、static3.jpgを図13(b)のスロット4にそれぞれ配置する。この場合も、dynamic20.jpgは置き換えられることにより、配置されなくなる。

0088

ここで、図16を用いて、S502及びS509の処理について詳細に説明する。図16は、動画像からフレーム画像(静止画像)を取得して保存する処理を示すフローチャートである。図16のフローチャートに係るプログラムは、例えば、HDD202に記憶されており、CPU204により読み出されて実行される。図16(a)は動画像から静止画像を取得して保存する処理の一例を示すフローチャートであり、図5のS502の工程に対応する。図16(b)は、動画像からより適切な静止画像を取得して保存する処理を示すフローチャートであり、図5のS509の工程に対応する。

0089

図5のS502の処理が実行されると、アプリケーション80は、図16(a)の処理を開始する。

0090

S1611にて、アプリケーション80は、図5のS501で指定したフォルダに格納されている静止画像または動画像、もしくは、図5のS501で指定した画像データ群から動画像を検索する。

0091

S1612にて、アプリケーション80は、検索された動画像から図4のフレーム抽出時間間隔指定部430で指定されている時間間隔で複数のフレームを抽出する。ここでは、フレーム抽出時間間隔指定部430で指定されている時間間隔を、デフォルト値の1秒として説明する。

0092

S1613にて、アプリケーション80は、抽出した各フレームを静止画像(JPEGファイル)に変換して、これらの静止画像(フレーム画像)を保存する。なお、このとき静止画像をファイル化する場合に限らず、CPU204が静止画像を例えばビットマップ形式でRAM201に記憶させておいてもよい。この時、図17(a)に示すように、アプリケーション80は、各フレーム画像に対して、そのフレーム画像を抽出した動画像のファイル名と、そのフレーム画像の元であるフレームの位置情報(フレーム番号)を、その静止画像と関連付けて保存する。なお、静止画像を抽出した動画像のファイルの情報は格納先のフルパスを含むが、図17(a)では格納先のフルパスを省略している。

0093

S1614にて、アプリケーション80は、フォトアルバムを作成する際に必要な画像群の中にこれらのフレーム画像を追加する。その後、本処理フローを終了する。

0094

例えば、S506にて、図14に示すスコアに基づいて、スロット1107〜1110に、static1.jpg、static2.jpg、static3.jpg、dynamic20.jpgが配置されたとする(図13(a)に相当)。ここで、図17(a)に示すように、dynamic20.jpgは、video1.mp4から抽出されたフレームを元に保存されたファイルである。尚、video1.mp4はMPEG4形式の動画像ファイルであり、フレームレートは30fps(フレーム/秒)である。

0095

図5のS509の処理が実行されると、アプリケーション80は、スロット1110に配置された動画像から抽出したdynamic20.jpgを基に、図16(b)の処理を開始する。図16(b)の処理は、動画像からテンプレートへのレイアウト対象としてより適切なフレーム画像を取得して保存する処理である。

0096

S1621にて、アプリケーション80は、図17(a)に示すテーブルを参照し、dynamic20.jpgに関連付けられている位置情報(フレーム番号)を取得する。

0097

S1622にて、アプリケーション80は、取得した位置情報(フレーム番号)に基づいて、その前後の一定時間の所定範囲(例えば、前1秒、後1秒の合計2秒)の中に含まれる全てのフレームを抽出する。

0098

S1623にて、アプリケーション80は、抽出した全てのフレームを解析して、フォトアルバム用としてより適切なフレームを選択する。その際、アプリケーション80は、より適切なフレームを選択する為に、図14に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア(Original)でより高いスコアのフレームを選択する。例えば、抽出されたフレームの中でオリジナルのスコアが最も高いフレームを選択する。つまり、ここでのより適切なフレームとは、各画像に割り当てられたスコアに基づき判定される。

0099

S1624にて、アプリケーション80は、選択したフレームを静止画像(JPEGファイル)に変換して、その静止画像(フレーム画像)を保存する。ここで、アプリケーション80は、dynamic20.jpgを基準として、フォトアルバム用としてより適切なフレームを選択し、その選択したフレームをdynamic24.jpgとして保存する。その後、本処理フローを終了する。

0100

以上で説明した処理によれば、静止画像がテンプレートにレイアウトされるに際し、動画像から抽出されたフレーム画像に高いスコアが付与されやすくなり、その静止画像がテンプレートに配置されやすくなる。

0101

以上で説明した処理によれば、動画像から抽出された複数のフレーム画像に優先的に高いスコアが付与され、さらにその複数のフレーム画像のうち評価の高い画像がレイアウトされる。そのため、ボケ等の少ない適切な画像をレイアウトすることができる。動画像の場合、あるシーンについて多数の画像(静止画像)が撮影されるため、その多数の画像の中にボケが少ない適切な画像が含まれることがある。したがって、本実施形態では、上述した方法により、より適切な画像を抽出し、テンプレートのスロットにレイアウトする。

0102

ここで、図20を用いて、フォトアルバム自動作成用の画像データ群を抽出する処理について説明する。図20は、フォトアルバム自動作成用の画像データ群を抽出する処理を示すフローチャートである。図20のフローチャートに係るプログラムは、例えば、HDD202に記憶されており、CPU204により読み出されて実行される。図20の処理が開始されると、まず、高速モードは有効か否かが判定され(S2001)、その判定結果に基づき図20(a)もしくは図20(b)の処理が実行される。図20(a)のS2002以降の処理は、高速モードが有効な場合の処理を示す。図20(b)の処理は、高速モードが無効な場合の処理を示す。

0103

上述したように、まず、図20(a)のS2001にて、アプリケーション80は、高速モードの設定状態(有効か無効か)を確認する。高速モードが有効であると判定された場合(S2001にてYES)S2002へ進み、指定された画像群のうち一部の画像を選択する。高速モードが無効であると判定された場合(S2001にてNO)図20(b)のS2011へ進む。

0104

S2002にて、アプリケーション80は、動画像からフレーム画像を抽出する処理の設定状態を確認する。動画像も抽出の対象である、すなわち、動画像を抽出する設定が有効であると判定された場合(S2002にてYES)S2003へ進み、無効であると判定された場合(S2002にてNO)S2007へ進む。

0105

S2003にて、アプリケーション80は、フォトアルバムを作成する対象となっている画像データ群の中に条件を満たす動画像があるか否かを確認する。条件を満たす動画像があると判定された場合(S2003にてYES)S2005へ進み、条件を満たす動画像が無いと判定された場合(S2003にてNO)S2007へ進む。ここで、条件の一例を以下に示す。

0106

[動画像の条件]
フォーマット: MOV、MP4
エンコーディング:MPEG−4 AVC/H.264
撮影時間: 5秒以上〜180秒以下

0107

S2004にて、アプリケーション80は、動画像の数が規定数以内であるか否かを判定する。動画像の数が規定数以内の場合(S2004にてYES)S2006へ進み、規定数より多い場合(S2004にてNO)S2005へ進む。ここで、図19(a)、図19(c)に示すように、規定数が1であると仮定する。

0108

S2005にて、アプリケーション80は、複数の動画像の中から規定数(=1つ)の動画像を選択する。すなわち、規定数の動画像を取得する。動画像の選択方法として、例えば、アプリケーション80は、撮影時間がある所定の時間(ここでは180秒とする)以下でその所定の時間に最も近いものを選択する。すなわち、ここでは、180秒以下で且つ180秒に最も近い動画像を選択する。尚、この構成に限定するものではなく、例えば、アプリケーション80が、ある所定の時間以下ではなく、その所定の時間の前後を対象としてその所定の時間に最も近いものを選択するという方法でもよい。すなわち、例えば、180秒から±30秒で且つ180秒に最も近い動画像を選択するという方法でもよい。また、所定の時間は180秒に限られることなく、60秒、90秒、300秒等の値に設定してもよい。

0109

S2006にて、アプリケーション80は、規定数以内(=1つ)の動画像から静止画像(フレーム画像)を生成する。静止画像の生成方法としては、例えば、対象の内のある1つの動画像から等間隔で40個のフレームを抽出し、抽出した各フレームを静止画像(JPEGファイル)に変換して保存することで生成してもよい。尚、このとき静止画像をファイル化する場合に限らず、CPU204が静止画像を例えばビットマップ形式でRAM201に記憶させておいてもよい。この時、図17(a)に示すように、アプリケーション80は、各フレーム画像に対して、そのフレーム画像を抽出した動画像のファイル名と、その静止画像の元となるフレームの位置情報(フレーム番号)を、その静止画像と関連付けて保存する。アプリケーション80は、フォトアルバムを作成する際に必要な画像データ群の中にこれらのフレーム画像を追加する。

0110

S2007にて、アプリケーション80は、フォトアルバムを作成する際に必要な画像群として指定または選択された画像群の中に含まれている静止画像の数を確認する。更にアプリケーション80は、所定数と画像群の中に含まれている静止画像の数を比較する。この時の所定数の定義は次の通りである。

0111

S2006の処理を実行していた場合:図19(a)もしくは図19(c)のテーブルの「静止画像数」
S2006の処理を実行しなかった場合:図19(a)もしくは図19(c)のテーブルの「画像総数」
例えば、アプリケーション80がPC用のアプリケーションの場合、S2006を実行した時の所定数は図19(a)の「静止画像数」となるので、ページ数が20ページの場合では所定数は460個となる。また、例えば、アプリケーション80がPC用のアプリケーションの場合、S2006を実行しなかった時の所定数は図19(a)の「画像総数」となるので、ページ数が20ページの場合では所定数は500個となる。このように、S2006の処理を実行した場合としなかった場合(すなわち、動画像からの静止画像の生成を行った場合と行わなかった場合)の間で、フォトアルバムを自動作成する時間差が少なくでき、その結果、ユーザの操作性に優れるものとなる。

0112

S2007にて、アプリケーション80は、画像群の中に含まれている静止画像の数が所定数以内であるか否かを判定する。静止画像の数が所定数以内である場合(S2007にてYES)S2009へ進み、所定数より多い場合(S2007にてNO)S2008へ進む。

0113

S2008にて、アプリケーション80は、画像群の中に含まれている静止画像から所定数と同じ数またはそれ以内となるように静止画像を抽出する(選択する)。なお、画像の抽出方法は、特に限定されないが、本実施形態では、画像を撮影順に並べて所定間隔間引くことにより、所定数以下の静止画像を抽出する。

0114

S2009にて、アプリケーション80は、フォトアルバムの自動作成において対象とする画像が、フォトアルバムを自動作成する為に必要な最小数以上であるか否かを判定する。ここでの対象とする画像とは、動画像から生成されたフレーム画像と、静止画像(S2008の処理を実行した場合は、この処理で抽出された抽出された静止画像)の合計数に相当する。また、フォトアルバムを自動作成する為に必要な画像の最小数は、例えば、2ページで構成される見開きページ毎に少なくとも1枚の写真(画像)が必要であると仮定して、「ページ数/2」とする。尚、フォトアルバムを自動作成する為に必要な最小数はこの例に限られることなく、例えば、フォトアルバムに使用するレイアウトテンプレートの仕様に合わせて、適切な値を設定してもよい。対象とする画像が最小数以上であると判定された場合(S2009にてNO)図5のS503へ進み、最小数より少ないと判定された場合(S2009にてYES)S2010へ進む。

0115

S2010にて、アプリケーション80は、「写真(画像)の数が足りません。」という旨の画像数不足エラーメッセージを表示する。そして、本処理フローを終了する。本処理フローが終了した後、アプリケーション80は、メイン画面401を表示する。

0116

図20(b)のS2011にて、アプリケーション80は、動画像からフレーム画像を抽出する処理の設定状態を確認する。動画像も抽出の対象である、すなわち、動画像を抽出する設定が有効であると判定された場合(S2011にてYES)S2012へ進み、無効であると判定された場合(S2011にてNO)S2014へ進む。

0117

S2012にて、アプリケーション80は、フォトアルバムを作成する対象となっている画像群の中に動画像があるか否かを確認する。動画像があると判定された場合(S2012にてYES)S2013へ進み、動画像がないと判定された場合(S2012にてNO)S2014へ進む。

0118

S2013にて、アプリケーション80は、画像群の中の全ての動画像から静止画像(フレーム画像)を生成する。静止画像の生成方法としては、S2006の工程にて示した方法と同じでも良いし、S2006の工程とは異なる方法で生成してもよい。静止画像を生成する時、図17(a)に示すように、アプリケーション80は、各静止画像に対して、その静止画像を抽出した動画像のファイル名と、その静止画像のもととなっているフレームの位置情報(フレーム番号)を、その静止画像と関連付けて保存する。そして、アプリケーション80は、フォトアルバムを作成する際に必要な画像群の中にこれらの静止画像を追加する。

0119

S2014にて、アプリケーション80は、フォトアルバムの自動作成において対象とする画像が、フォトアルバムを自動作成する為に必要な最小数以上であるか否かを判定する。ここでの対象とする画像とは、動画像から生成された静止画像と、静止画像の合計数に相当する。また、ここでの最小数は、S2009と同じ値であってもよいし、別の値を用いてもよい。対象とする画像が最小数以上であると判定された場合(S2014にてNO)S2016へ進み、最小数より少ないと判定された場合(S2014にてYES)S2015へ進む。

0120

S2015にて、アプリケーション80は、「写真(画像)の数が足りません。」という旨の画像数不足エラーメッセージを表示する。そして、本処理フローを終了する。本処理フローが終了した後、アプリケーション80は、メイン画面401を表示する。

0121

S2016にて、アプリケーション80は、フォトアルバムの自動作成において対象とする画像が、アプリケーション80がフォトアルバムを自動作成する際に規定されたシステム上限画像数(=10000個)より多いか否かを判断する。ここでの対象とする画像とは、動画像から生成されたフレーム画像と、静止画像の合計数に相当する。対象とする画像がシステム上限画像数より多いと判定された場合(S2016にてYES)S2017へ進み、システム上限画像数以内であると判定された場合(S2016にてNO)図5のS503へ進む。

0122

S2017にて、アプリケーション80は、「写真(画像)の数が上限数を超えています。」という旨の画像数超過警告メッセージを表示する。その後、図5のS503へ進む。

0123

尚、上記の例では、システム上限画像数を10000個と設定したが、この例に限られることなく、ハードウェアのスペックに合わせて適切な値を設定してもよい。また、この値は、PC用のアプリケーションとモバイルデバイス用のアプリケーションとで、それぞれのハードウェアに適した異なる値を設定してもよい。例えば、アプリケーション80が、PCとモバイルデバイスの両方で実行可能なアプリケーションの場合は、OSを介して実行されている機器の情報を取得し、各ハードウェアに適する異なる値を設定してもよい。尚、システム上限画像数を超えた場合、フォトアルバムを自動作成する際に対象とする画像を前記システム上限画像数以内に間引いてもよい。

0124

以上、本実施形態によれば、動画像から抽出された画像を含むレイアウト処理を適切に行うことができる。また、大量の静止画像と動画像が含まれている画像群から、フォトアルバムの自動作成を高速に行うことができる。

0125

<第2の実施形態>
本実施形態では、関連性のある画像を自動的に動画像から抽出してレイアウトを行う。

0126

図18は、動画像を構成するフレームの一例を示す。図18は、動画像video444.mp4の例を示す。図18において、各フレームの下に記載されている番号はそのフレームのフレーム番号である。dynamic44.jpg、dynamic45.jpg、dynamic46.jpgは、アプリケーション80がvideo444.mp4のフレーム3、4、5からそれぞれ抽出して保存した静止画像ファイルである。dynamic54.jpg、dynamic55.jpg、dynamic56.jpgは、アプリケーション80がvideo444.mp4のフレーム925、926、927からそれぞれ抽出して保存した静止画像ファイルである。dynamic87.jpg、dynamic88.jpg、dynamic89.jpgは、アプリケーション80がvideo444.mp4のフレーム3334、3335、3336からそれぞれ抽出して保存した静止画像ファイルである。図18に示す通り、フレーム1〜5、フレーム924〜928、フレーム3333〜3337は、それぞれ異なる場面のフレーム群である。

0127

本実施形態では、各場面について、フレーム画像中に含まれるオブジェクトに基づいてフレーム画像が分類される。例えば、静止画像中に含まれるオブジェクトの種類が異なれば、異なる場面として場面分けする。場面分けは、他の基準に因ってもよく、例えば、同一若しくは類似の構図ごとに場面分けされてもよい。

0128

図6は、本実施形態に係るフォトアルバムを自動作成する処理を示すフローチャートである。図6のフローチャートに係るプログラムは、例えば、HDD202に記憶されており、RAM201に読み出され、CPU204により実行される。ユーザは、図4(a)に示す時間選択ボタン408、シーン選択ボタン409、テーマ選択ボタン410の何れか1つを選択して、フォトアルバム作成ボタン412を押下する。その押下に応じて、アプリケーション80は図6に示す処理を実行する。

0129

S601にて、アプリケーション80は、静止画像または動画像が格納されているPC1内のフォルダ(不図示)、またはPC1内の静止画像または動画像を選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、S601にて、ユーザに、静止画像または動画像が格納されているPC1内のフォルダ、またはPC1内の静止画像または動画像を選択させてもよい。

0130

S602にて、アプリケーション80は、図7に示す静止画像の分類処理を実行する。本工程の処理の詳細については後述する。

0131

S603にて、アプリケーション80は、S602の静止画像の分類処理における分類方法(時間ベース、シーンベース、テーマベース)の各方法に応じて、各方法に該当する図8(a)〜(c)のいずれかの処理を実行する。図8(a)〜(c)に示す処理は、分類に対応した、動画像から静止画像(フレーム画像)を抽出する処理である。尚、分類方法は、時間ベース、シーンベース、テーマベースの何れか1つを適用するケースの他に、これらのいくつかを組合せて適用するケースも本実施形態に含まれる。本工程の処理の詳細については後述する。

0132

S604にて、アプリケーション80は、S602で適用した分類方法に基づいて、その分類方法に関連付けられているレイアウトテンプレートを選択する。例えば、S602にて、アプリケーション80がテーマベースの分類方法を選択したとする。この場合、S604にて、アプリケーション80は、テーマベースの分類方法に関連付けられているレイアウトテンプレートを選択する。ここでは、アプリケーション80は、図11(c)に示すレイアウトテンプレート1140が含まれたレイアウトテンプレートを選択したとする。

0133

S605にて、アプリケーション80は、レイアウトテンプレート内で関連付けられている一連の領域内の各スロットに、互いに関連する静止画像を配置する。その際に、本分類(例えば、テーマ)に分類分けされた静止画像が、一連の領域内の所定のスロット数より多い場合、第1の実施形態で説明したようなスコアリングが行われて、スコアの高い順に所定数のスロットに割り当てるようにしてもよい。

0134

S606にて、アプリケーション80は、各スロットに配置されている静止画像を確認し、動画像から抽出したフレーム画像が複数配置されているか否かを判定する。複数配置されていると判定された場合には(S607にてYES)S608へ進み、複数配置されていないと判定された場合には(S607にてNO)本処理フローを終了する。本処理フローが終了した後、アプリケーション80は、図4(b)に示す編集画面415を表示する。

0135

ここで、図13(c)に示す通り、スロット1143〜1147にstatic14.jpg、static28.jpg、dynamic44.jpg、dynamic45.jpg、dynamic46.jpgが各配置されたとする。

0136

S608にて、アプリケーション80は、複数配置されている動画像から抽出したフレーム画像の中に同一場面のものが含まれているか否かを判定する。同一場面のものが含まれていると判定された場合には(S609にてYES)S610へ進み、同一場面のものが含まれていないと判定された場合には(S609にてNO)本処理フローを終了する。本処理フローが終了した後、アプリケーション80は、図4(b)に示す編集画面415を表示する。

0137

S610にて、アプリケーション80は、動画像から抽出したフレーム画像の中に同一場面と判定した場面とは異なる場面のフレーム画像があるかを判定する。異なる場面のフレーム画像が有ると判定された場合には(S611にてYES)S612へ進み、異なる場面のフレーム画像が無いと判定された場合には(S611にてNO)S613へ進む。

0138

S612にて、アプリケーション80は、スロットに配置されている動画像から抽出したフレーム画像の中の同一場面のフレーム画像の一方を、動画像から抽出した異なる場面のフレーム画像と置き換えて、そのスロットに配置する。その結果、ここでの例の場合、スロット1146に配置されているdynamic45.jpgがdynamic55.jpgに置き換えられる。また、スロット1147に配置されているdynamic46.jpgがdynamic88.jpgに置き換えられる。図13(d)に示す通り、スロット1143〜1147にstatic14.jpg、static28.jpg、dynamic44.jpg、dynamic55.jpg、dynamic88.jpgがそれぞれ配置される。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション80は、図4(b)に示す編集画面415を表示する。

0139

S613にて、アプリケーション80は、スロットに配置されている動画像から抽出したフレーム画像の中の同一場面のフレーム画像の一方を、動画像から抽出したフレーム画像ではない、同一分類の静止画像と置き換えて、そのスロットに配置する。このときに、図14に示すスコア値が大きくなるように、置き換えを行ってもよい。若しくは、図14に示す各要素のいずれかのポイントが大きくなるように、置き換えを行ってもよい。その結果、最終的に完成されるレイアウト画像のユーザの満足度を向上させることができる。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション80は、図4(b)に示す編集画面415を表示する。

0140

(静止画像の分類処理)
図7は、静止画像の分類処理を示すフローチャートである。図7のフローチャートに係るプログラムは、例えば、HDD202に記憶されており、RAM201に読み出され、CPU204により実行される。本処理は、図6のS602の処理に対応する。

0141

S701にて、アプリケーション80は、ユーザによる動画像ファイル処理方法選択部406の選択状態を取得し、ユーザが選択した動画像から静止画像を抽出する処理方法に基づいて、分類方法を判定する。分類方法が時間ベースの分類方法であると判定した場合には(S702にてYES)S703へ進み、時間ベースの分類方法ではないと判定した場合には(S702にてNO)S704へ進む。

0142

S703にて、アプリケーション80は、静止画像(JPEGファイル)のExif情報のDateTime情報、静止画像のファイルの作成日更新日時、アクセス日時等を参照し、それらの情報から得られた撮影年月日時刻に基づき静止画像を分類する。そして、アプリケーション80は、その分類情報と分類結果(グループ)を、対象の静止画像と関連付けて保存する。この時、アプリケーション80は、Exif情報のDateTime情報が存在しない場合、ファイルの作成日、更新日時、アクセス日時等から得られた撮影年月日時刻を、静止画像と関連付けて保存する。

0143

分類の方法としては、例えば、同一日の静止画像をまとめて同じ分類としたり、同一月等の同一の時間情報の静止画像をまとめて同じ分類としたりする方法等がある。例えば、図17(b)のstatic100.jpg、static102.jpg、static103.jpg、static108.jpg、static109.jpgがこのケースを表す。static102.jpgは、Info(分類情報)に2013年12月24日20時台(20:00〜20:59)で分類したことを表す情報が関連付けられて格納されている。

0144

分類方法がシーンベースの分類方法であると判定した場合には(S704にてYES)S705へ進み、シーンベースの分類方法ではないと判定した場合には(S704にてNO)S706へ進む。

0145

S705にて、アプリケーション80は、静止画像の色情報やヒストグラム等を解析し、その解析結果に基づいて静止画像を分類し、その分類情報と分類結果(グループ)を対象の静止画像と関連付けて保存する。この時、アプリケーション80は、色情報やヒストグラムの情報も、静止画像と関連付けて保存する。分類の方法としては、例えば同じような色味の静止画像をまとめて同じ分類としたり、RGBまたはYCrCbのヒストグラムが一致あるいは色度が所定の閾値範囲内の近い静止画像をまとめて同じ分類としたりする方法等がある。例えば、図17(b)のstatic120.jpg、static121.jpg、static123.jpg、static125.jpgがこのケースを表す。static120.jpgは、Info(分類情報)にヒストグラム4(histogram4−*、*は自然数、ヒストグラム4のグループとして判定されるヒストグラム値)で分類したことを表す情報が関連付けられて格納されている。本工程の処理の後、本処理フローを終了する。

0146

分類方法がテーマベースの分類方法であると判定した場合には(S706にてYES)S707へ進み、テーマベースの分類方法ではないと判定した場合には(S706にてNO)S708へ進む。

0147

S707にて、アプリケーション80は、ユーザがファイル選択ボタン411で選択したファイルに含まれているオブジェクトを解析し、その解析結果に基づいて静止画像を分類する。そして、アプリケーション80は、その分類情報と分類結果(グループ)を対象の静止画像と関連付けて保存する。この時、アプリケーション80は、オブジェクト情報も、静止画像と関連付けて保存する。ここでオブジェクトの例としては、人、等の動物、花、列車自動車バイクなど様々なものがあり、特に限定するものではない。尚、オブジェクトの例の人として、人物、顔等を区別してもよい。例えば、図17(b)のstatic155.jpg、static156.jpg、static157.jpg、static160.jpgがこのケースを表す。static155.jpgは、Info(分類情報)にオブジェクト8(object8−*、*は自然数、オブジェクト8のグループとして判定されるオブジェクトを規定する情報)で分類したことを表す情報が関連付けられて格納されている。本工程の処理の後、本処理フローを終了する。

0148

S708にて、アプリケーション80は、その他の方法(時間、シーン、テーマ以外)に基づいて静止画像を分類し、その結果を対象の静止画像と関連付けて保存する。この時、アプリケーション80は、上記のその他の方法の情報も、静止画像と関連付けて保存する。尚、ユーザが本実施形態のメイン画面401を操作する場合、アプリケーション80がS708の処理を実行しない場合もある。本工程の処理の後、本処理フローを終了する。

0149

(静止画像の抽出処理
図8は、動画像から静止画像の抽出処理を示すフローチャートである。図8のフローチャートに係るプログラムは、例えば、HDD202に記憶されており、RAM201に読み出され、CPU204により実行される。図8に示す3つの処理フローは、図6のS603の処理に対応する。図8(a)は時間ベースで動画像から静止画像(フレーム画像)を抽出する処理を示すフローチャートである。また、図8(b)はシーンベースで動画像から静止画像(フレーム画像)を抽出する処理を示すフローチャートである。また、図8(c)はテーマベースで動画像から静止画像(フレーム画像)を抽出する処理を示すフローチャートである。

0150

ユーザが、図4(a)に示す時間選択ボタン408を選択して、フォトアルバム作成ボタン412を押下したとする。この場合、図6のS603でアプリケーション80が動画像から静止画像の抽出処理を実行すると、アプリケーション80は、図8(a)の静止画像の抽出処理を開始する。

0151

S811にて、アプリケーション80は、S703で静止画像に関連付けられている分類情報と、その静止画像のExif情報のDateTime情報又はその静止画像に関連付けられている撮影年月日時刻に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション80は、まず、動画像の撮影年月日時刻を取得し、S703で得られた静止画像に関連付けられている分類情報(例えば、同一日、同一月)を使って、分類が一致する動画像を特定する。そして、アプリケーション80は、特定した動画像にその分類情報を関連付けて、その情報を保存する。次に、アプリケーション80は、同一分類のフレーム静止画像から、Exif情報のDateTime情報又はそのフレーム画像に関連付けられている撮影年月日時刻を取得し、同一分類の動画像から、撮影年月日時刻が一致するフレームを抽出する。その際、アプリケーション80は、撮影年月日時刻を基準時刻として、その前後の一定時間の所定範囲(例えば、前3秒、後3秒の合計6秒)の中に含まれる全てのフレームを解析して、フォトアルバム用としてより適切なフレームを抽出する。

0152

ここで、アプリケーション80は、複数のフレームを抽出してもよい。その際、アプリケーション80は、より適切なフレームを抽出する為に、図14に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア(Original)でスコアの高い順にフレームを採用する。フレームの採用数については、例えば、動画像から抽出したフレーム画像をレイアウト可能なスロット数を、フレームの採用数として決定してもよい。

0153

S812にて、アプリケーション80は、S811で抽出されたフレームを静止画像として保存する。なお、S811にて、撮影年月日時刻が一致するフレームが存在しない場合、アプリケーション80は、その動画像に対して図16(a)に示す処理を実行して静止画像を抽出する。

0154

S813にて、アプリケーション80は、動画像から抽出したフレーム画像と、分類情報、分類結果、関連ファイルを関連付けて、その情報を保存する。例えば、図17(b)のdynamic301.jpg、dynamic302.jpgこのケースを表す。dynamic301.jpgには、Info(分類情報)に2013年12月24日20時台(20:00〜20:59)で分類したことを表す情報が関連付けて格納されている。また、Group(分類結果)にdateTime1というグループ情報が関連付けて格納されている。また、RelatedFile(関連ファイル)にstatic102.jpgが関連付けて格納されている。その後、本処理フローを終了する。

0155

ユーザが、図4(a)に示すシーン選択ボタン409を選択して、フォトアルバム作成ボタン412を押下したとする。この場合、図6のS603でアプリケーション80が動画像から静止画像の抽出処理を実行すると、アプリケーション80は、図8(b)の静止画像の抽出処理を開始する。

0156

S821にて、アプリケーション80は、図7のS705で静止画像に関連付けられた色情報やヒストグラム等の分類情報に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション80は、各動画像からフレームを抽出し、そのフレームの色情報やヒストグラム等を解析し、図7のS705で得られた静止画像に関連付けられた分類情報(色やヒストグラム等)と比較する。比較の結果、両者が一致または類似している場合、アプリケーション80は、動画像にその分類情報を関連付けてその情報を保存する。また、アプリケーション80は、分類情報が一致したフレームにもその分類情報を関連付けて、その情報を保存する。アプリケーション80は、分類情報が一致した全てのフレームを解析して、フォトアルバム用として適切なフレームを抽出する。ここで、アプリケーション80は、複数のフレームを抽出してもよい。適切なフレームの抽出(スコア順及びフレーム採用数)については、図8(a)と同じ基準で行われる。

0157

S822にて、アプリケーション80は、S821で抽出されたフレームを静止画像(フレーム画像)として保存する。

0158

S823にて、アプリケーション80は、動画像から抽出したフレーム画像と分類情報、分類結果、関連ファイルを関連付けて、その情報を保存する。例えば、図17(b)のdynamic321.jpgの行がこのケースを表す。この画像には、Info(分類情報)にヒストグラム4(histogram4−*、*は自然数、ヒストグラム4のグループとして判定されるヒストグラム値)で分類したことを表す情報が関連付けて格納されている。また、この画像には、Group(分類結果)にhistogram4というグループ情報が関連付けて格納されている。また、この画像には、RelatedFile(関連ファイル)にstatic120.jpgが関連付けられて格納されている。その後、本処理フローを終了する。

0159

ユーザが、図4(a)に示すテーマ選択ボタン410を選択して、フォトアルバム作成ボタン412を押下したとする。この場合、図6のS603でアプリケーション80が動画像から静止画像の抽出処理を実行すると、アプリケーション80は、図8(c)の静止画像の抽出処理を開始する。

0160

S831にて、アプリケーション80は、図7のS707で静止画像に関連付けられたオブジェクトの分類情報に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション80は、各動画像からフレームを抽出し、そのフレームの中に含まれているオブジェクトを解析し、図7のS707で得られた静止画像に関連付けられている分類情報(オブジェクト)と比較する。比較の結果、両者が一致または類似している場合、アプリケーション80は、動画像にその分類情報を関連付けてその情報を保存する。また、アプリケーション80は、分類情報が一致したフレームにもその分類情報を関連付けて、その情報を保存する。アプリケーション80は、分類情報が一致した全てのフレームを解析して、フォトアルバム用として適切なフレームを抽出する。ここで、アプリケーション80は、複数のフレームを抽出してもよい。適切なフレームの抽出(スコア順及びフレーム採用数)については、図8(a)と同じ基準で行われる。

0161

S832にて、アプリケーション80は、S831で抽出されたフレームを静止画像として保存する。

0162

S833にて、アプリケーション80は、動画像から抽出した静止画像と、分類情報、分類結果、関連ファイルを関連付けてその情報を保存する。例えば、図17(b)のdynamic341.jpgの行がこのケースを表す。この画像には、Info(分類情報)にオブジェクト8(object8−*、*は自然数、オブジェクト8のグループとして判定されるオブジェクトを規定する情報)で分類したことを表す情報が関連付けて格納されている。また、この画像には、Group(分類結果)にobject8というグループ情報が関連付けて格納されている。また、この画像には、RelatedFile(関連ファイル)にstatic155.jpgが関連付けて格納されている。その後、本処理フローを終了する。

0163

以上のように、本実施形態では、分類分けされた静止画像に基づいて、動画像から、静止画像と関連する静止画像(フレーム画像)を自動的に抽出し、これらの静止画像をレイアウト内の一連の領域に配置する。それにより、ユーザの煩わしい操作を伴わずに、関連性のある適切な画像を自動的に動画像から抽出してレイアウトを行うことができる。また、1つの動画像から異なる場面の複数の静止画像を抽出して一連の領域に配置することで、ユーザの煩わしい操作を伴わずに、変化に富んだ画像を自動的に抽出してレイアウトを行うことができる。

0164

<第3の実施形態>
本実施形態では、解像度が高い静止画像を、テンプレートのスロットのうちのより大きなサイズのスロットに配置することで、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行う。

0165

図9は、本実施形態に係るフォトアルバムを自動作成する処理を示すフローチャートである。図9のフローチャートに係るプログラムは、例えば、HDD202に記憶されており、RAM201に読み出され、CPU204により実行される。ユーザが、図4(a)に示す時間選択ボタン408、シーン選択ボタン409、テーマ選択ボタン410の何れか1つを選択して、フォトアルバム作成ボタン412を押下する。その押下に応じて、アプリケーション80は、図9に示す処理を実行する。本実施形態では、図13(e)に示すデータを用いて説明を行う。

0166

S901にて、アプリケーション80は、静止画像または動画像が格納されているPC1内のフォルダ(不図示)、またはPC1内の静止画像または動画像を選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、S901にて、ユーザに静止画像または動画像が格納されているPC1内のフォルダ、またはPC1内の静止画像または動画像を選択させてもよい。

0167

S902にて、アプリケーション80は、第2の実施形態で説明した図7に示す静止画像の分類処理を実行する。ここで、static11.jpgとstatic12.jpgは、デジタルスチルカメラで撮影して保存された写真(静止画像)であるものとする。また、図13(e)に示す、static11.jpgに関連付けられている分類情報と、static12.jpgに関連付けられている分類情報とは、一致しているものとする。

0168

S903にて、アプリケーション80は、S902の静止画像の分類処理における分類方法(時間ベース、シーンベース、テーマベース)の各方法に応じて、それぞれの方法に対応する図8(a)〜(c)の処理のいずれかを実行する。図8(a)〜(c)の処理は、第2の実施形態にて述べたように、動画像から静止画像(フレーム画像)を抽出する処理である。尚、分類方法は、時間ベース、シーンベース、テーマベースの何れか1つを適用するケースの他に、これらのいくつかを組合せて適用するケースも本実施形態に含まれる。ここで、図13(e)に示す、dynamic22.jpg、dynamic43.jpg、dynamic50.jpg、dynamic78.jpg、dynamic85.jpgは、1つの動画像から抽出された静止画像であるものとする。また、これらの各フレーム画像に関連付けられている分類情報は全て一致し、static11.jpgに関連付けられている分類情報と、static12.jpgに関連付けられている分類情報とも一致しているとする。

0169

S904にて、アプリケーション80は、S902で適用した分類方法に基づいて、その分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、S902にて、アプリケーション80が、シーンベースの分類方法を選択したとする。この場合、S904にて、アプリケーション80は、シーンベースの分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、アプリケーション80は、図12(a)に示すレイアウトテンプレート1200が含まれたレイアウトテンプレートを選択したとする。

0170

S905にて、アプリケーション80は、レイアウトテンプレート内で関連付けられている一連の領域内の通常の静止画像(動画像から抽出したフレーム画像ではない静止画像)に適した各スロットに、互いに関連する通常の静止画像を配置する。ここでは、スロット1203、1204に、互いに関連する通常の静止画像static11.jpg、static12.jpgがそれぞれ配置される。その際に、分類分けされた静止画像が、一連の領域内の所定のスロット数より多い場合、第1の実施形態で説明したようなスコアリングを行い、スコアの高い順に所定数のスロットに割り当てるようにしてもよい。

0171

S906にて、アプリケーション80は、レイアウトテンプレート内で関連付けられている一連の領域内の動画像から抽出されたフレーム画像に適した各スロットに、互いに関連する動画像から抽出されたフレーム画像をそれぞれ配置する。ここでは、スロット1205〜1209に、互いに関連する動画像から抽出された静止画像dynamic22.jpg、dynamic43.jpg、dynamic50.jpg、dynamic78.jpg、dynamic85.jpgがそれぞれ配置される。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション80は、図4(b)に示す編集画面415を表示する。

0172

以上のように、本実施形態では、解像度が高い静止画像を、レイアウトテンプレート内で関連付けられている一連の領域内の通常の静止画像に適した大きめのスロット1203、1204に配置する。また、1つの動画像から抽出された静止画像を一連のフレーム画像用のスロット、すなわち、一連のスロット1205〜1209に配置する。これにより、ユーザの煩わしい操作を伴わずに、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行うフォトアルバム作成アプリケーションを提供することができる。このように、1つの動画像から抽出した複数のフレーム画像を連続して配置することにより、動きを表現したレイアウト画像を生成することができる。

0173

<第4の実施形態>
第1の実施形態では、図19(a)、図19(c)を用いて説明した通り、フォトアルバムのページ数に依存することなく、動画像の規定数を一律に固定(規定数=1)していた。しかし、フォトアルバムのページ数に応じて、フォトアルバムを自動作成する為に必要な画像数の最小値や推奨値が異なる。具体的には、フォトアルバムのページ数が増えることに伴い、必要な画像数の最小値や推奨値も増える。第1の実施形態では、高速モードが有効な場合に、フォトアルバムのページ数が多いケースにおいても、フォトアルバムを自動作成する対象となる動画像は1つとした。これに対し、本実施形態では、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が複数存在する場合、それらを有効に利用する。

0174

本実施形態では、図19(b)、図19(d)を用いる。具体的には、図19(b)、図19(d)に示すテーブルに基づいて、アプリケーション80がフォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて切り換える。ページ数が20ページと30ページの場合の規定数は1である。ページ数が40ページと50ページの場合の規定数は2である。ページ数が60ページの場合の規定数は3である。ここでは、1つの動画像から等間隔で40個のフレームを抽出して静止画像を生成するため、規定数に応じて、動画像から生成される静止画像の数が、40個、80個、120個というように切り換わる。図19(b)、図19(d)のテーブルを利用して、図20のS2004〜S2008を実行することで、ユーザが選択しているフォトアルバムのページ数に合わせて、より多くの動画像を利用して、フォトアルバムを高速に自動作成することができる。

0175

第1の実施形態、および、第4の実施形態では、動画像からフレーム画像を生成する方法として、1つの動画像から等間隔で40個のフレームを抽出して静止画像を生成する方法を採用した。この例に限られることなく、例えば、1つの動画像から1秒ごとにフレームを抽出してフレーム画像を生成するようにしてもよい。この場合、アプリケーション80は、図19の各テーブルの「静止画像数」を「動画像からの画像数」に合わせて動的に管理する。

0176

<第5の実施形態>
第1の実施形態では、図20(a)に示すような処理を実行することで、高速モードを実現した。第1の実施形態の場合、S2005にて複数の動画像の中から規定数の動画像を選択する過程で、選択されなかった動画像が存在する。本実施形態では、選択されなかった動画像の中にフォトアルバムを自動作成する際に対象画像として適した動画像が含まれていた場合、その動画像から静止画像を生成し、フォトアルバムのスロットに自動的に配置する。

0177

具体的には、図20(a)にて、アプリケーション80がS2005とS2006で実行する処理の代わりに、次のような処理を実行する。アプリケーション80は、動画像の数が所定数(=40個)以内の場合、各動画像から数個ずつフレーム画像を生成して、合計40個またはそれ以内となるようにフレーム画像を生成する。アプリケーション80は、動画像の数が所定数(=40個)より多い場合、フォトアルバムを自動作成する際に対象とする動画像の数が所定数(=40個)以内となるように、動画像を選択する。そして、アプリケーション80は、各動画像から数個ずつフレーム画像を生成して、合計40個またはそれ以内となるようにフレーム画像を生成する。これにより、より多くの動画像を利用して、フォトアルバムを高速に自動作成することができる。

0178

<第6の実施形態>
上記の各実施形態は、静止画像の数と比較して動画像の数がかなり少ないケースに適している。これに対し、本実施形態では、静止画像の数と動画像の数がほぼ同じ場合や、静止画像の数と比較して動画像の数が多いケースの場合に、適した例を説明する。

0179

図22は、高速モードへの移行を判定するテーブルの一例を示す図である。図22(a)〜(d)は、Windows(登録商標)等のPC用のアプリケーションが参照するテーブルである。「ページ数」は、フォトアルバムのページ数である。「平均スロット数」は、フォトアルバムの見開き2ページに配置されるスロットの数の平均値である。「動画像からの画像数」は、動画像から抽出するフレーム画像の数である。「静止画像数」は、静止画像の数である。「画像総数」は、「動画像からの画像数」と「静止画像数」の合計の数である。

0180

本実施形態では、図19(b)、図22(a)、図22(b)のテーブルに基づいて、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて切り換える。図19(b)は、静止画像の数と比較して動画像の数がかなり少ないケース用の判定テーブルである。図22(a)は、静止画像の数と比較して動画像の数がほぼ同じか若干少ないケース用の判定テーブルである。図22(b)は、静止画像の数と比較して動画像の数が多いケース用の判定テーブルである。

0181

図22(a)にて、ページ数が20ページの場合の規定数は6、ページ数が30ページの場合の規定数は9、ページ数が40ページの場合の規定数は12、ページ数が50ページの場合の規定数は15、ページ数が60ページの場合の規定数は18とする。ここでは、1つの動画像から等間隔で40個のフレームを抽出して静止画像を生成するものとする。したがって、規定数に応じて、動画像から生成される静止画像の数が、240個、360個、480個、600個、720個というように切り換わる。

0182

図22(b)にて、ページ数が20ページの場合の規定数は10、ページ数が30ページの場合の規定数は15、ページ数が40ページの場合の規定数は20、ページ数が50ページの場合の規定数は25、ページ数が60ページの場合の規定数は20とする。ここでは、1つの動画像から等間隔で40個のフレームを抽出して静止画像を生成するものとする。したがって、規定数に応じて、動画像から生成される静止画像の数が、400個、600個、800個、1000個、1200個というように切り換わる。

0183

図19(b)の規定数がページ数に応じて1〜3であるのに対し、図22(a)の規定数はページ数に応じて6〜18であり、図22(b)の規定数はページ数に応じて10〜30である。

0184

図20のS2004にて、アプリケーション80は、フォトアルバムを自動作成する際の対象となる静止画像の数と動画像の数を比較し、動画像の数の割合に応じて判定に使用するテーブルを切り換える。例えば、静止画像の数に対する動画像の数の割合が第1の閾値以下の場合は、図19(b)のテーブルを用い、静止画像の数に対する動画像の数の割合が第1の閾値より大きく第2の閾値以下の場合は、図22(a)のテーブルを用いる。そして、静止画像の数に対する動画像の数の割合が第2の閾値より大きい場合は、図22(b)のテーブルを用いる。つまり、アプリケーション80は、動画像の数の割合が大きくなるにつれて高速モードにおいて動画像から静止画像を生成する候補となる動画像の数(=規定数)を増やすように制御する。そして、アプリケーション80は、図19(b)、図22(a)、図22(b)の各テーブルを利用して、図20のS2004〜S2008を実行する。これにより、本実施形態では、ユーザが選択しているフォトアルバム、または静止画像の数に対する動画像の数の割合に応じて、動画像の数の割合が大きくなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。

0185

本実施形態の上記の構成では、アプリケーション80は、図19(b)、図22(a)、図22(b)のテーブルを利用し、動画像の数の割合が大きくなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成している。更に、上記のようなテーブルを利用する以外の方法の一例を以下に記す。

0186

図20のS2004において、アプリケーション80は、この処理の代わりに次のような処理を実行する。まず、アプリケーション80は、図19(a)のテーブルを参照し、選択されているフォトアルバムのページ数に対応する「画像総数」を取得する。次に、アプリケーション80は、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている動画像の数を確認し、規定数(=1)と比較する。動画数の数が規定数を超える場合は、アプリケーション80は、選択する動画像の数の候補を規定数(=1)に設定する。ここで決まった動画像の数の候補を「動画像数候補1」と定義する。次に、アプリケーション80は、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている静止画像の数を確認し、
(「画像総数」−「静止画像の数」)/40
演算を実行する。尚、この演算の単位は整数として、余りが発生した場合はその余りは無視する。この演算結果で得られた動画像の数の候補を「動画像数候補2」と定義する。ここで、「40」は、1つの動画像から等間隔でフレームを抽出して静止画像を生成する時に使用しているフレーム数である。次に、アプリケーション80は、「動画像数候補1」と「動画像数候補2」を比較し、大きい方の値を、選択する動画像の数として設定する。「動画像数候補1」と「動画像数候補2」が同じ値の場合は、アプリケーション80は、「動画像数候補1」の値を、選択する動画像の数として設定する。

0187

例えば、図19(a)において、ページ数が20ページの場合で、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている動画像数が20個、静止画像の数が100個の場合を考える。このとき、「動画像数候補1」の値は「1」となり、上記の式から、
「動画像数候補2」=(500−100)/40
となり、「動画像数候補2」の値は「10」となる。そして、「動画像数候補1」と「動画像数候補2」とを比較した結果、「動画像数候補2」がより大きいため、選択する動画像の数は「10」となる。そして、10個の動画像から計400枚の静止画像が抽出される。

0188

その結果、この例の場合、「動画像からの画像数」は40個、「静止画像数」は100個、「画像総数」は500個となる。このような演算処理により、選択する動画像の数を決定して、画像データ群から決定した数の動画像を選択する。その後、アプリケーション80は、図20のS2005〜S2008を実行し、ユーザが選択しているフォトアルバム又は静止画像の数に対する動画像の数に応じて静止画像の数が多い場合は動画像の数を減らし、静止画像の数が少ない場合は動画像の数を増やす。これにより、その時の状況に応じて適切な数の静止画像と動画像を利用してフォトアルバムを高速に自動作成することができる。従って、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。

0189

本実施形態では、アプリケーション80が、静止画像の数に対する動画像の数の割合(言い換えると、フォトアルバム作成に用いられる総画像数に対する動画像数の割合)に応じて、図19(b)、図22(a)、図22(b)のテーブルを切り換えて制御する。つまり通常の静止画像の全体に対する割合が小さくなるほど、上記の規定数が大きくなるように設定する。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上できる。しかし、この例に限られることなく、例えば、解像度に応じてテーブルを切り替えるようにしてもよい。例えば、図20のS2004にて、動画像の解像度を確認し、1280×720dpi未満の場合は図19(b)のテーブルを選択する。一方、1280×720dpi以上1440×1080dpi未満は図22(a)のテーブルを選択し、1920×1080dpi以上は図22(b)のテーブルを選択する。そして、アプリケーション80は、選択されたテーブルを利用して、図20のS2004〜S2008を実行する。これにより、ユーザが選択しているフォトアルバム、または動画像の画質に応じて、動画像の画質が良くなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。

0190

<第7の実施形態>
上記の実施形態では、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて規定数を変えることにより切り換える構成について説明した。本実施形態では、例えば、スロット数に応じて規定数を変えることにより、対象として取り扱う動画像の数を切り換える形態について説明する。

0191

図22(c)、図22(d)は、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数及び平均スロット数に応じて切り換えることができるテーブルを示す。ここでの平均スロット数とは、フォトアルバムの見開きページに配置されるスロットの数の平均値を意味する。図22(c)は、平均スロット数が2のケース用の判定テーブルである。図19(b)は、平均スロット数が6のケース用の判定テーブルである。図22(d)は、平均スロット数が10のケース用の判定テーブルである。同じページ数で比較した場合、例えば、40ページの場合を参照すると、平均スロット数が少ない(=2)ケースは、図22(c)に示すように規定数が1である。同様に、平均スロット数が標準(=6)ケースは、図19(b)に示すように規定数が2であり、平均スロット数が多い(=10)ケースは、図22(d)に示すように規定数が3である。1つの動画像から等間隔で40個のフレームを抽出して静止画像を生成するので、上記の3つのケースは、規定数に応じて動画像から生成される静止画像の数が、平均スロット数の少ない順に、40個、80個、120個というように切り換わる。

0192

図20のS2004にて、アプリケーション80は、平均スロット数に応じて判定に使用するテーブルを切り換える。具体的には、アプリケーション80は、平均スロット数が多くなるにつれて高速モードにおいて動画像から静止画像を生成する候補となる動画像の数(=規定数)を増やすように制御する。そして、アプリケーション80は、選択されたテーブルを利用して、図20のS2004〜S2008を実行する。これにより、ユーザが選択しているフォトアルバム、または平均スロット数に応じて、平均スロット数が多くなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができ、また、ユーザの操作性にも優れる。

0193

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0194

また、上述した実施形態を組み合わせてもよい。例えば、実施形態1において、高速モードにおいて、データ画像群に含まれる静止画像数が、予め決めた静止画像数(例えば、図19に示すテーブルに定めた静止画像数)よりも少ない場合に、S2004において、実施形態6の演算処理を行ってもよい。

0195

また、上述した実施形態では、アプリケーションの例として図4に示すようなフォトアルバム作成アプリケーション80を挙げたが、この例に限られることなく、同様な画像抽出機能を備える任意のアプリケーションでも実現可能である。

0196

また、上述した実施形態では、情報処理装置としてパーソナルコンピュータを想定した。しかしながら、携帯電話携帯情報端末、デジタルスチルカメラ、デジタルビデオカメラ携帯ミュージックプレーヤー、ゲーム、セットトップボックスインターネット家電等、同様な使用方法が可能な任意の情報処理装置(端末)を用いてもよい。

0197

また、上述した実施形態では、OSに例としてWindows(登録商標)8と同等のOSを使用したが、このOSに限られることなく、任意のOSを使用することができる。また、上述した実施形態では、ネットワーク4の構成例としてEthernet(登録商標)を用いたが、この例に限られることなく、例えば、無線LANIEEE1394、Bluetooth(登録商標)等、他の任意のネットワーク構成であってもよい。

0198

以上のように、第1の実施形態によれば、静止画像と動画像の両方を一緒に取り扱い、ユーザの煩わしい操作を伴わずに、自動的により適切な画像を抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。

0199

また、第2の実施形態では、分類分けされた静止画像に基づいて、動画像から、静止画像と関連するフレーム画像を自動的に抽出し、これらの静止画像を一連の領域に配置する。これにより、ユーザの煩わしい操作を伴わずに、関連性のある適切な画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。また、1つの動画像から異なる場面の複数のフレーム画像を抽出して一連の領域に配置することで、ユーザの煩わしい操作を伴わずに、変化に富んだ画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。

0200

また、第3の実施形態では、レイアウトテンプレート内に、デジタルスチルカメラ等で撮影して保存された写真等の静止画像に適したスロットと、動画像から抽出されたフレーム画像に適したスロットに対して、各適した静止画像を配置する。これにより、ユーザの煩わしい操作を伴わずに、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行うフォトアルバム作成アプリケーションを提供することができる。

0201

静止画像の分類、動画像から静止画像を抽出する処理方法として、撮影年月日時刻、色やヒストグラム、オブジェクトを利用する例を挙げたが、これらの例に限られることなく、同様な目的を達成し得る任意の処理方法を利用して本発明を実現することができる。さらに、撮影年月日時刻、色やヒストグラム、オブジェクト、その他の処理方法等を組み合わせて静止画像を分類したり、動画像から静止画像を抽出したりしてもよい。このように複数の処理方法を組合せることで、フォトアルバムの完成度を向上することができる。

0202

また、画像の解析方法として、Color(色)、Contrast(コントラスト)、Brightness(明るさ)、Focus(ピント)、Composition(構図)の要素を利用する例を挙げた。しかしながら、これらの例に限られることなく、同様な目的を達成し得る任意の解析方法を利用して本発明を実現することができる。

0203

以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。

0204

また、各実施形態を組合せることで、それぞれの実施形態が持つ効果をさらに高めることができ、ユーザの操作性に優れ、かつ、高品質なフォトアルバムを自動作成することができる。

0205

80…アプリケーション、204…CPU、201…RAM、202…HDD

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社ソケッツの「 検索装置および方法」が 公開されました。( 2019/09/19)

    【課題】同一の感性ワードで加重的に絞り込み検索を行えるようにする。【解決手段】同一の感性ワードで加重的に絞り込み検索を行う場合、類似・関連ワード抽出部319が、感性ワードに類似・関連する別のワードを検... 詳細

  • 国土交通省国土技術政策総合研究所長の「 情報処理装置、情報処理方法及びプログラム」が 公開されました。( 2019/09/12)

    【課題】建築物が潜在的に有する落下または倒壊の危険性を可視化する。【解決手段】情報処理装置は、記憶部、制御部及び出力部を有する。上記記憶部は、建築物の少なくとも1つの面の形状及び位置座標を示す三次元デ... 詳細

  • キヤノン株式会社の「 情報処理装置およびその制御方法」が 公開されました。( 2019/09/12)

    【課題】仮想視点のパラメータ操作を制約下で行うか非制約下で行うかをユーザが選択できるようにする。【解決手段】複数のカメラが撮影した複数の撮影画像から仮想視点画像を生成するためのパラメータを提供する情報... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ