図面 (/)

技術 電子機器および方法

出願人 Dynabook株式会社
発明者 入本勇宇次平川大介鈴木孝子
出願日 2015年1月29日 (5年1ヶ月経過) 出願番号 2015-015459
公開日 2016年8月4日 (3年7ヶ月経過) 公開番号 2016-139387
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス 検索装置 イメージ処理・作成
主要キーワード EXPRESSカード 画像ファィル SDカードコントローラ 外部電源装置 電気回路部品 写真フォルダ 各画像グループ 小期間
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年8月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

時間経過による人物の画像の内容の変化を表現可能な形態で提示することができる電子機器を実現する。

解決手段

実施形態によれば、電子機器は、検索キーとして指定される第1顔画像に基づいて、複数の画像から、第1期間に撮影された第1画像と、第1期間に含まれる複数の第2期間に撮影された複数の第2画像と、第1期間に後続する第3期間に撮影された第3画像と、第3期間に含まれる複数の第4期間に撮影された複数の第4画像とを選出する。これら画像は、第1顔画像に類似する顔画像をそれぞれ含む。これら画像は画面上に時系列順に表示される。第1顔画像が撮影された日時が複数の第2期間のいずれかまたは複数の第4期間のいずれかに属する場合、第1顔画像は、複数の第2画像のいずれか一つとしてまたは複数の第4画像のいずれか一つとして画面上に表示される。

概要

背景

近年、デジタルカメラカメラ機能を有するモバイル機器(例えば、スマートフォンタブレット)の普及によって、一般のユーザであっても、多数の画像(写真)を扱う機会が増えている。

そのため、ユーザが多数の画像から所望の画像を探し出すことを支援することができる様々な写真閲覧アプリケーションが提案されている。これら写真閲覧アプリケーションの代表的な機能の1つとして、ある人物に関する画像を検索する画像検索機能が知られている。

概要

時間経過による人物の画像の内容の変化を表現可能な形態で提示することができる電子機器を実現する。実施形態によれば、電子機器は、検索キーとして指定される第1顔画像に基づいて、複数の画像から、第1期間に撮影された第1画像と、第1期間に含まれる複数の第2期間に撮影された複数の第2画像と、第1期間に後続する第3期間に撮影された第3画像と、第3期間に含まれる複数の第4期間に撮影された複数の第4画像とを選出する。これら画像は、第1顔画像に類似する顔画像をそれぞれ含む。これら画像は画面上に時系列順に表示される。第1顔画像が撮影された日時が複数の第2期間のいずれかまたは複数の第4期間のいずれかに属する場合、第1顔画像は、複数の第2画像のいずれか一つとしてまたは複数の第4画像のいずれか一つとして画面上に表示される。

目的

本発明の一形態の目的は、時間経過による人物の画像の内容の変化を表現可能な形態で提示することができる電子機器および方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

検索キーとして指定される第1顔画像に基づいて、複数の画像から、第1期間に撮影された第1画像と、前記第1期間に含まれる複数の第2期間にそれぞれ撮影された複数の第2画像と、前記第1期間に後続する第3期間に撮影された第3画像と、前記第3期間に含まれる複数の第4期間にそれぞれ撮影された複数の第4画像とを選出するための処理を実行する処理手段であって、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像は、前記第1顔画像に類似する顔画像をそれぞれ含む、処理手段と、前記第1画像および前記第3画像を画面上に時系列順に表示し、前記複数の第2画像および前記複数の第4画像を前記画面上に時系列順に表示する表示制御手段とを具備し、前記第1顔画像が撮影された日時が前記複数の第2期間のいずれかまたは前記複数の第4期間のいずれかに属する場合、前記第1顔画像は、前記複数の第2画像のいずれか一つとしてまたは前記複数の第4画像のいずれか一つとして前記画面上に表示される、電子機器

請求項2

前記第1顔画像は、前記複数の第2画像および前記複数の第4画像のうちの前記第1顔画像以外の画像と異なる表示形態で前記画面上に表示される請求項1記載の電子機器。

請求項3

前記複数の第2画像および前記複数の第4画像のいずれかを選択することによって、新たに第2顔画像が検索キーとして指定された場合、前記処理手段は、前記第1顔画像と前記第2顔画像の双方を検索キーとして使用することによって、前記複数の画像から、画像群検索するための処理を実行し、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像の少なくとも1つは、新たに検索された少なくとも1つの画像により、更新される請求項1記載の電子機器。

請求項4

前記表示制御手段は、過去に前記検索キーとして使用された顔画像の一覧を画面上に表示し、前記顔画像の一覧から顔画像が選択された場合、前記処理手段は、前記選択された顔画像に基づいて、前記複数の画像から、前記第1画像と、前記複数の第2画像と、前記第3画像と、前記複数の第4画像とを選出するための処理を実行し、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像は、前記選択された顔画像に類似する顔画像をそれぞれ含む請求項1記載の電子機器。

請求項5

前記処理手段は、前記複数の画像から、第1場所で撮影された画像と、第2場所で撮影された画像とを選出するための処理を実行するようにさらに構成され、前記第1場所で撮影された前記画像および前記第2場所で撮影された前記画像は、前記第1顔画像に類似する顔画像をそれぞれ含み、前記第1場所で撮影された前記画像は前記第1場所に関連付けて表示され、前記第2場所で撮影された前記画像は前記第2場所に関連付けて表示される請求項1記載の電子機器。

請求項6

検索キーとして指定される第1顔画像に基づいて、複数の画像から、第1期間に撮影された第1画像と、前記第1期間に含まれる複数の第2期間にそれぞれ撮影された複数の第2画像と、前記第1期間に後続する第3期間に撮影された第3画像と、前記第3期間に含まれる複数の第4期間にそれぞれ撮影された複数の第4画像とを選出するための処理を実行することであって、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像は、前記第1顔画像に類似する顔画像をそれぞれ含む、選出するための処理を実行することと、前記第1画像および前記第3画像を画面上に時系列順に表示し、前記複数の第2画像および前記複数の第4画像を前記画面上に時系列順に表示することとを具備し、前記第1顔画像が撮影された日時が前記複数の第2期間のいずれかまたは前記複数の第4期間のいずれかに属する場合、前記第1顔画像は、前記複数の第2画像のいずれか一つとしてまたは前記複数の第4画像のいずれか一つとして前記画面上に表示される、方法。

請求項7

前記第1顔画像は、前記複数の第2画像および前記複数の第4画像のうちの前記第1顔画像以外の画像と異なる表示形態で前記画面上に表示される請求項6記載の方法。

請求項8

前記複数の第2画像および前記複数の第4画像のいずれかを選択することによって、新たに第2顔画像が検索キーとして指定された場合、前記第1顔画像と前記第2顔画像の双方を検索キーとして使用することによって、前記複数の画像から、画像群を検索するための処理を実行することをさらに具備し、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像の少なくとも1つは、新たに検索された少なくとも1つの画像により、更新される請求項6記載の方法。

請求項9

過去に前記検索キーとして使用された顔画像の一覧を画面上に表示することと、前記顔画像の一覧から顔画像が選択された場合、前記選択された顔画像に基づいて、前記複数の画像から、前記第1画像と、前記複数の第2画像と、前記第3画像と、前記複数の第4画像とを選出するための処理を実行することとをさらに具備し、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像は、前記選択された顔画像に類似する顔画像をそれぞれ含む請求項6記載の方法。

請求項10

前記複数の画像から、第1場所で撮影された画像と、第2場所で撮影された画像とを選出するための処理を実行することをさらに具備し、前記第1場所で撮影された前記画像および前記第2場所で撮影された前記画像は、前記第1顔画像に類似する顔画像をそれぞれ含み、前記第1場所で撮影された前記画像は前記第1場所に関連付けて表示され、前記第2場所で撮影された前記画像は前記第2場所に関連付けて表示される請求項6記載の方法。

請求項11

コンピュータにより実行されるプログラムであって、前記プログラムは、検索キーとして指定される第1顔画像に基づいて、複数の画像から、第1期間に撮影された第1画像と、前記第1期間に含まれる複数の第2期間にそれぞれ撮影された複数の第2画像と、前記第1期間に後続する第3期間に撮影された第3画像と、前記第3期間に含まれる複数の第4期間にそれぞれ撮影された複数の第4画像とを選出するための処理を実行することであって、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像は、前記第1顔画像に類似する顔画像をそれぞれ含む、選出するための処理を実行することと、前記第1画像および前記第3画像を画面上に時系列順に表示し、前記複数の第2画像および前記複数の第4画像を前記画面上に時系列順に表示することの機能を前記コンピュータに実行させ、前記第1顔画像が撮影された日時が前記複数の第2期間のいずれかまたは前記複数の第4期間のいずれかに属する場合、前記第1顔画像は、前記複数の第2画像のいずれか一つとしてまたは前記複数の第4画像のいずれか一つとして前記画面上に表示される、プログラム。

請求項12

前記第1顔画像は、前記複数の第2画像および前記複数の第4画像のうちの前記第1顔画像以外の画像と異なる表示形態で前記画面上に表示される請求項11記載のプログラム。

請求項13

前記複数の第2画像および前記複数の第4画像のいずれかを選択することによって、新たに第2顔画像が検索キーとして指定された場合、前記第1顔画像と前記第2顔画像の双方を検索キーとして使用することによって、前記複数の画像から、画像群を検索するための処理を実行する機能を、前記コンピュータにさらに実行させ、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像の少なくとも1つは、新たに検索された少なくとも1つの画像により、更新される請求項11記載のプログラム。

請求項14

過去に前記検索キーとして使用された顔画像の一覧を画面上に表示することと、前記顔画像の一覧から顔画像が選択された場合、前記選択された顔画像に基づいて、前記複数の画像から、前記第1画像と、前記複数の第2画像と、前記第3画像と、前記複数の第4画像とを選出するための処理を実行することの機能を、前記コンピュータにさらに実行させ、前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像は、前記選択された顔画像に類似する顔画像をそれぞれ含む請求項11記載のプログラム。

請求項15

前記複数の画像から、第1場所で撮影された画像と、第2場所で撮影された画像とを選出するための処理を実行する機能を前記コンピュータにさらに実行させ、前記第1場所で撮影された前記画像および前記第2場所で撮影された前記画像は、前記第1顔画像に類似する顔画像をそれぞれ含み、前記第1場所で撮影された前記画像は前記第1場所に関連付けて表示され、前記第2場所で撮影された前記画像は前記第2場所に関連付けて表示される請求項11記載のプログラム。

技術分野

0001

本発明の実施形態は、写真のような画像群閲覧するための技術に関する。

背景技術

0002

近年、デジタルカメラカメラ機能を有するモバイル機器(例えば、スマートフォンタブレット)の普及によって、一般のユーザであっても、多数の画像(写真)を扱う機会が増えている。

0003

そのため、ユーザが多数の画像から所望の画像を探し出すことを支援することができる様々な写真閲覧アプリケーションが提案されている。これら写真閲覧アプリケーションの代表的な機能の1つとして、ある人物に関する画像を検索する画像検索機能が知られている。

先行技術

0004

特開2005−107867号公報

発明が解決しようとする課題

0005

しかし、従来の画像検索機能では、同じ日に撮影されたほぼ同じような内容の多数の画像がユーザに提示されてしまう場合がある。

0006

本発明の一形態の目的は、時間経過による人物の画像の内容の変化を表現可能な形態で提示することができる電子機器および方法を提供することを目的とする。

課題を解決するための手段

0007

実施形態によれば、電子機器は、処理手段と、表示制御手段とを具備する。処理手段は、検索キーとして指定される第1顔画像に基づいて、複数の画像から、第1期間に撮影された第1画像と、前記第1期間に含まれる複数の第2期間にそれぞれ撮影された複数の第2画像と、前記第1期間に後続する第3期間に撮影された第3画像と、前記第3期間に含まれる複数の第4期間にそれぞれ撮影された複数の第4画像とを選出するための処理を実行する。前記第1画像、前記複数の第2画像、前記第3画像、および前記複数の第4画像は、前記第1顔画像に類似する顔画像をそれぞれ含む。前記表示制御手段は、前記第1画像および前記第3画像を画面上に時系列順に表示し、前記複数の第2画像および前記複数の第4画像を前記画面上に時系列順に表示する。前記第1顔画像が撮影された日時が前記複数の第2期間のいずれかまたは前記複数の第4期間のいずれかに属する場合、前記第1顔画像は、前記複数の第2画像のいずれか一つとしてまたは前記複数の第4画像のいずれか一つとして前記画面上に表示される。

図面の簡単な説明

0008

実施形態に係る電子機器の外観を示す例示的な斜視図。
同実施形態の電子機器のシステム構成を示す例示的なブロック図。
同実施形態の電子機器によって実行されるフォトビューアアプリケーションプログラム機能構成を示す例示的なブロック図。
同実施形態の電子機器によって生成されるインデックスデータデータ構造例を示す図。
同実施形態の電子機器によって実行される、キー顔画像選択のためのユーザインタフェースの例を示す図。
同実施形態の電子機器によって表示される顔検索結果(人物タイムライン表示画面)を示す例示的な図。
同実施形態の電子機器によって表示される検索条件入力画面を示す例示的な図。
人物タイムライン表示画面に表示されるべき顔画像を、検索条件入力画面に入力された検索条件に基づいて絞り込むための処理の概要を説明するための例示的な図。
人物タイムライン表示画面から顔検索結果一覧表示画面への遷移を示す例示的な図。
同実施形態の電子機器によって実行される顔検索処理の手順を示す例示的なフローチャート
同実施形態の電子機器によって実行される顔検索結果一覧表示処理と全画面表示処理の手順を示す例示的なフローチャート。
同実施形態の電子機器によって表示されるキー顔画像一覧表示画面を示す例示的な図。
キー顔画像一覧表示画面から選択されたキー顔画像に基づく顔検索処理の手順を示す例示的なフローチャート。
人物タイムライン表示画面上で新たにキー顔画像が選択される様子を示す例示的な図。
2つの顔画像を使用した顔検索処理の結果に基づいて、人物タイムライン表示画面上の幾つかの顔画像が更新される様子を示す例示的な図。
キー顔画像と新たなキー顔画像とを使用して実行される顔検索処理の手順を示す例示的なフローチャート。
同実施形態の電子機器によって表示される顔検索結果の別の例を示す例示的な図。

実施例

0009

以下、図面を参照して、実施形態を説明する。
まず、図1を参照して、一実施形態に係る電子機器の構成について説明する。この電子機器は、例えば、ノートブック型携帯型パーソナルコンピュータタブレットコンピュータ、または他の各種情報機器として実現されうる。以下では、この電子機器が、ノートブック型の携帯型パーソナルコンピュータ10として実現されている場合を想定する。

0010

図1は、ディスプレイユニットを開いた状態におけるコンピュータ10を正面側から見た斜視図である。本コンピュータ10は、バッテリ20から電力を受けるように構成されている。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とを備える。ディスプレイユニット12には、液晶表示装置(LCD)31のような表示装置が組み込まれている。さらに、ディスプレイユニット12の上端部には、カメラWebカメラ)32が配置されている。ディスプレイユニット12は、タッチパネルを含むタッチスクリーンディスプレイであってもよい。

0011

ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面がディスプレイユニット12で覆われる閉塞位置との間を回動可能に回動可能ヒンジ19A、19Bを介してコンピュータ本体11に取り付けられている。コンピュータ本体11は薄い箱形筐体を有しており、その上面にはキーボード13、タッチパッド14、指紋センサ15、本コンピュータ10をパワーオンオフするための電源スイッチ16、幾つかの機能ボタン17、およびスピーカ18A、18Bが配置されている。

0012

また、コンピュータ本体11には、電源コネクタ21が設けられている。電源コネクタ21はコンピュータ本体11の側面、例えば左側面に設けられている。この電源コネクタ21には、外部電源装置が取り外し自在に接続される。外部電源装置としては、ACアダプタを用いることが出来る。

0013

バッテリ20は、例えば、コンピュータ本体11の後端部に取り外し自在に装着される。バッテリ20は本コンピュータ10に内蔵されるバッテリであってもよい。

0014

本コンピュータ10は、外部電源装置からの電力またはバッテリ20からの電力によって駆動される。

0015

さらに、コンピュータ本体11には、幾つかのUSBポート22、HDMI(High-Definition Multimedia Interface(登録商標))出力端子23、およびRGBポート24が設けられている。

0016

図2は、本コンピュータ10のシステム構成を示している。本コンピュータ10は、プロセッサ(CPU)111、システムコントローラ112、主メモリ113、グラフィクスプロセッシングユニット(GPU)114、サウンドコーデック115、BIOS−ROM116、補助記憶装置ハードディスクドライブ(HDD)またはソリッドステートドライブSSD))117、光ディスクドライブODD)118、BT(Bluetooth(登録商標))モジュール120、無線LANモジュール121、SDカードコントローラ122、PCIEXPRESSカードコントローラ123、エンベデッドコントローラキーボードコントローラIC(EC/KBC)130、電源回路142等を備えている。

0017

プロセッサ111は、本コンピュータ10の各コンポーネントの動作を制御するように構成されたプロセッサである。このプロセッサ111は回路処理回路)を含む。このプロセッサ111は、補助記憶装置117から主メモリ113にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム(OS)201および様々なアプリケーションプログラムを含む。アプリケーションプログラムには、フォトビューアアプリケーションプログラム202が含まれる。

0018

フォトビューアアプリケーションプログラム202は、デジタルカメラ、外部ストレージUSBメモリSDカード)、モバイルデバイス(スマートフォン)等から画像(写真)群を受け取ることができ、画像群を補助記憶装置117内の写真フォルダに保存することができる。各画像は、JPEGまたは他のファイルフォーマットを有する画像ファィルである。各画像ファイルは、デジタル画像データと、メタデータとを含む。メタデータは、この画像が撮影された日時を示す日時データ、この画像が撮影された場所を示す位置データを含む。

0019

さらに、フォトビューアアプリケーションプログラム202は、顔検索機能を有している。この顔検索機能は、写真フォルダ内の画像群から、検索キーとして指定された顔画像(キー顔画像)に類似する顔画像をそれぞれ含む画像群を検索することができる。

0020

また、プロセッサ111は、不揮発性メモリであるBIOS−ROM116に格納された基本入出力システム(BIOS)も実行する。BIOSはハードウェア制御のためのシステムプログラムである。

0021

GPU114は、本コンピュータ10のディスプレイモニタとして使用されるLCD31を制御する表示コントローラである。GPU114は、ビデオメモリVRAM)114Aに格納された表示データからLCD31に供給すべき表示信号LVDS信号)を生成する。さらに、GPU114は、表示データからアナログRGB信号およびHDMIビデオ信号を生成することもできる。アナログRGB信号はRGBポート24を介して外部ディスプレイに供給される。HDMI出力端子23は、HDMIビデオ信号(非圧縮デジタル映像信号)と、デジタルオーディオ信号とを一本のケーブルで外部ディスプレイに送出することができる。HDMI制御回路119は、HDMIビデオ信号およびデジタルオーディオ信号をHDMI出力端子23を介して外部ディスプレイに送出するためのインタフェースである。GPU114は、プロセッサ111内に内蔵されていても良い。

0022

サウンドコーデック115は、サウンドデータを処理するように構成されたサウンドコントローラである。サウンドコーデック115は、再生対象サウンド信号デジタル信号からアナログ信号に変換し、アナログサウンド信号をヘッドフォンまたはスピーカ18A,18Bに供給する。さらに、サウンドコーデック115は、マスクフォンから入力されるサウンド信号をアナログ信号からデジタル信号に変換する。

0023

BTモジュール120は、Bluetooth規格無線通信を実行するように構成された無線通信デバイスである。無線LANモジュール121は、IEEE 802.11規格の無線通信を実行するように構成された無線通信デバイスである。

0024

EC/KBC130は、本コンピュータ10の電力管理を実行するように構成された電力管理コントローラであり、例えば、キーボード(KB)13およびタッチパッド14などを制御するキーボードコントローラを内蔵したワンチップマイクロコンピュータとして実現されている。EC/KBC130は、ユーザによる電源スイッチ16の操作に応じて本コンピュータ10をパワーオンまたはワーオフする機能を有している。本コンピュータ10のパワーオンおよびパワーオフの制御は、EC/KBC130と電源回路142との協働動作によって実行される。EC/KBC130は、本コンピュータ10がパワーオフされている期間中も、バッテリ20またはACアダプタ150からの電力によって動作する。

0025

電源回路142は、バッテリ20からの電力、またはコンピュータ本体11に外部電源として接続されるACアダプタ150からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。

0026

図3は、フォトビューアアプリケーションプログラム202の機能構成を示す。

0027

フォトビューアアプリケーションプログラム202は、多数の画像(画像ファイル)を管理でき、また上述の顔検索機能を実行することができる。

0028

図3に示されているように、フォトビューアアプリケーションプログラム202は、インデキシングエンジン300、画像検索エンジン302、および表示処理部304を含む。

0029

インデキシングエンジン300は、写真フォルダ(記憶媒体)500に格納されている全ての画像600−1〜600−nを検索するために使用されるインデックスデータ700を生成する。写真フォルダ(記憶媒体)500に新たな画像(画像ファイル)が保存された時、インデキシングエンジン300は、その新たな画像(画像ファイル)のインデックスデータを自動的に生成する。そして、インデキシングエンジン300は、生成されたインデックスデータを既存のインデックスデータ700に追加する。

0030

インデキシングエンジン300は、顔画像検出部400、特徴量算出部402、顔画像クラスタリング処理部404、およびインデックスデータ生成部406を含む。

0031

顔画像検出部400は、処理対象の画像から人物の顔画像を検出する。複数の顔画像が1つの画像(画像ファィル)に含まれている場合もあるし、1つの画像に顔画像が全く含まれていない場合もある。顔画像検出部400は、例えば、画像に含まれる多数の画素値を用いて、顔画像であると推定される領域(顔画像領域)を検出する。この顔画像領域は、人間の典型的な顔特徴を有する領域である。

0032

特徴量算出部402は、検出された顔画像領域に含まれる画素の画素値を用いて、当該顔画像の特徴量(顔特徴量)を算出する。例えば、特徴量算出部402は、顔画像領域内の目、、口のような物体間位置関係を示す特徴量、これら物体の色や形状を表す特徴量、等を、顔特徴量として算出してもよい。

0033

特徴量算出部402は、顔画像の笑顔度、顔画像の正面度、および顔画像の鮮明度等もまた算出してもよい。これら笑顔度、正面度、および鮮明度は、補助的な特徴量として使用される。また、さらに、特徴量算出部402は、顔画像の位置、顔画像のサイズも算出する。

0034

顔画像クラスタリング処理部404は、検出された顔画像それぞれを複数のクラスタ(複数の人物)に分類する。互いに類似する顔特徴量を有する顔画像は、同一のクラスタに分類される。これらクラスタは互いに異なる人物IDを有する。

0035

インデックスデータ生成部404は、検出された顔画像それぞれの特徴量を使用して、インデックスデータ700を生成する。インデックスデータ700は、図4に示すように、検出された顔画像それぞれに対応する多数のレコード701を含む。各レコードは、「画像ID」フィールド、「撮影日時」フィールド、「撮影場所」フィールド、「イベント名」フィールド、および「顔画像情報」フィールドを含む。

0036

「画像ID」フィールドは、対応する顔画像が抽出された元画像識別子(ID)を示す。「撮影日時」フィールドは、元画像が撮影によって得られた日時を示す。この日時は、元画像(画像ファイル)のメタデータから取得される。「撮影場所」フィールドは、元画像が撮影によって得られた場所を示す。この場所は、元画像(画像ファイル)のメタデータから取得される。「イベント名」フィールドは、ユーザ入力によって元画像に与えられた追加データコメント)である。

0037

「顔画像情報」フィールドは、元画像から抽出された顔画像を含む。さらに、「顔画像情報」フィールドは、対応する顔画像の特徴量(顔特徴量)、顔画像の笑顔度、顔画像の位置、顔画像のサイズ、顔画像に対応する人物ID、等を含む。

0038

図3の画像検索エンジン302は、写真フォルダ500の画像600−1〜600−nから、ある顔画像(キー顔画像)に類似する顔画像を含む画像群を検索するための顔検索処理を実行する。キー顔画像は、顔検索処理において検索キーとして使用される顔画像である。ユーザは、任意の画像に含まれる任意の顔画像をキー顔画像として指定することができる。

0039

この画像検索エンジン302は、キー画像選択部410、顔画像検出部412、特徴量算出部414、および画像検索部416を含む。

0040

キー画像選択部410は、ユーザ入力に応じて、キー画像を選択する。キー画像は、キー顔画像が抽出されるべき画像を意味する。ユーザは、必要に応じて、現在全画面表示されている画像をキー画像として指定することができる。顔画像検出部412は、キー画像に含まれる顔画像(顔画像領域)を検出する。

0041

もしキー画像に多数の顔画像が含まれているならば、これら全ての顔画像が顔画像検出部412によって検出される。ユーザは、これら検出された顔画像の1つを、キー顔画像として指定することができる。

0042

特徴量算出部414は、検索キーとして指定される顔画像、つまりキー顔画像、の特徴量(顔特徴量)を算出する。画像検索部416は上述の顔検索処理を実行して、キー顔画像と類似する顔画像を含む画像群、つまりキー顔画像と同一の人物として認識された顔画像を含む画像群を、写真フォルダ500から抽出する。顔検索処理においては、キー顔画像の特徴量は、インデックスデータ700内の顔画像それぞれの特徴量と比較される。そして、キー顔画像の特徴量に類似する特徴量を有する顔画像をそれぞれ含む画像群が写真フォルダ500から抽出される。

0043

フォトビューアアプリケーションプログラム202は、これら抽出された全ての画像の一覧を、顔検索処理の検索結果としてユーザに提示してもよい。

0044

しかし、もし抽出された全ての画像を単純に表示するという方法を使用したならば、同じ日に撮影されたほぼ同じような内容の多数の画像がユーザに提示されてしまうかもしれない。キー顔画像と同一の人物として認識された顔画像を含む画像が大量に抽出された場合などにおいては、同じような内容の多数の画像が提示される可能性が高くなる。同じような内容の多数の画像、つまり変化に乏しい多数の画像を見ても、ユーザは、顔検索の検索結果を楽しむことができないかもしれない。なぜなら、ユーザは、通常、キー顔画像と同一の人物に関する様々な異なる画像(写真)を顔検索の検索結果に期待する場合が多いからである。

0045

そこで、フォトビューアアプリケーションプログラム202は、キー顔画像に基づいて、写真フォルダ500内の画像600−1〜600−nから、キー顔画像と類似する顔画像をそれぞれ含み、且つ異なる期間にそれぞれ撮影された複数の画像を選出するための処理を実行する。そして、フォトビューアアプリケーションプログラム202は、これら期間毎に選出された画像(代表画像)を時系列順に画面上に表示する。

0046

これにより、たとえキー顔画像と同一の人物として認識された顔画像を含む画像が大量に存在する場合であっても、キー顔画像と同一の人物に関する様々な異なる画像(写真)をユーザに提示することが可能となる。

0047

期間毎に画像を選出するための処理は、以下のように実行されうる。

0048

画像検索部416は、まず、キー顔画像と類似する顔画像を含む画像群を、写真フォルダ500から抽出する。次いで、画像検索部416は、抽出された画像群のトータル撮影期間(最も古い撮影日時から最新の撮影日時までの期間)を、各々が例えば3ヶ月の時間長を有する複数の期間(小期間)に分割する。そして、画像検索部416は、抽出された画像群から、3ヶ月の期間毎に1つの画像を代表画像として選出する。この場合、キー顔画像は、そのキー顔画像が撮影された日時が属する期間の画像(代表画像)として優先的に選出される。さらに、画像検索部416は、抽出された画像群から、3ヶ月の期間よりも長い期間(大期間)毎に、例えば1年の期間毎に、1つの画像を代表画像として選出する。

0049

この結果、キー顔画像と類似する顔画像をそれぞれ含み、且つ異なる期間にそれぞれ撮影された複数の画像をユーザに提示することができる。

0050

さらに、画像検索部416は、キー顔画像リスト702を写真フォルダ500等に保存することができる。キー顔画像リスト702は、過去にキー顔画像として利用された顔画像の一覧を示すデータである。キー顔画像リスト702は、過去に使用されたキー顔画像を、新たな顔検索のために再利用することを可能にする。

0051

画像検索部416によって選出された代表画像それぞれに関する情報は、画像検索エンジン302から表示処理部304内の顔画像タイムライン表示処理部420に検索結果として送られる。

0052

顔画像タイムライン表示処理部420は、顔検索結果(人物タイムライン表示画面)を表示する。人物タイムライン表示画面は、キー顔画像と類似する顔画像をそれぞれ含み、且つ異なる期間にそれぞれ撮影された複数の画像を表示するための画面である。人物タイムライン表示画面においは、期間毎に選出された画像が画面上に時系列順に表示される。例えば、これら画像は画面上に古い順に並べられても良いし、画面上に新しい順に並べられても良い。

0053

ここでは、小期間の時間長が3ヶ月で、大期間の時間長は1年である場合を説明したが、小期間の時間長、大期間の時間長はこれに限定されない。例えば、小期間の時間長が1ヶ月で、大期間の時間長が6ヶ月であってもよいし、小期間の時間長が1週間で、大期間の時間長が1ヶ月であってもよい。

0054

あるいは、小期間の時間長は、抽出された画像群の個数に応じて、適応的に変更されても良い。例えば、抽出された画像群の個数が上限閾値よりも多い場合には、小期間の時間長を基準値(例えば3ヶ月)よりも短くしてもよい。逆に、抽出された画像群の個数が下限閾値よりも少ない場合には、小期間の時間長を基準値(例えば3ヶ月)よりも長くしてもよい。

0055

人物タイムライン表示画面においては、上述したように、キー顔画像と類似する顔画像をそれぞれ含み、且つ異なる期間にそれぞれ撮影された複数の画像が、画面上に時系列順に表示される。さらに、人物タイムライン表示画面においては、キー顔画像もこれら画像の1つとして表示される。

0056

したがって、人物タイムライン表示画面は、キー顔画像と抽出された画像との間の時間的な関係や、抽出された画像間の時間的な関係を表現することができる。したがって、ユーザは、人物タイムライン表示画面を通して、注目すべき人物の歩み過程、例えば子供の成長過程等を、容易に確認することができる。

0057

人物タイムライン表示画面は、顔検索結果一覧表示画面へジャンプするためのユーザインタフェースとしても機能できる。例えば、人物タイムライン表示画面において、ある画像がユーザによって選択された時、顔画像一覧表示処理部422は、顔検索結果一覧表示画面を表示する。顔検索結果一覧表示画面においては、人物タイムライン表示画面上で選択された画像の撮影日時以降の期間が割り当てられる。つまり、キー顔画像と同一の人物として認識された顔画像を含む画像のうち、選択された画像の撮影日時以降に撮影された画像の一覧が顔検索結果一覧表示画面に表示される。

0058

図5は、キー顔画像選択のためのユーザインタフェースの例を示す。

0059

右クリックまたは特定の指ジャスチャといったユーザ入力が、表示中の画像上の位置で検出された時、フォトビューアアプリケーションプログラム202は、図5の上部に示されているように、「顔検索」を含むメニューを表示中の画像上に表示する(ポップアップ)。

0060

「顔検索」がユーザによって選択されると、フォトビューアアプリケーションプログラム202は、表示中の画像から顔画像(顔画像領域)を検出する。そして、図5の下部に示されているように、フォトビューアアプリケーションプログラム202は、検出された顔画像領域を囲む矩形枠を表示する。図5の下部においては、表示中の画像が2つの顔画像を含んでいるので、2つの顔画像を囲む2つの矩形枠802、803が表示されている。ユーザは、矩形枠802によって囲まれた顔画像または矩形枠803によって囲まれた顔画像のいずれかタップまたは左クリックすることによって、その顔画像をキー顔画像として指定することができる。

0061

図6は、人物タイムライン表示画面の例を示す。

0062

図6では、抽出された画像群、つまりキー顔画像と同一人物として認識された画像群から、3ヶ月の期間毎に代表画像が選出され、そしてこれら代表画像が古い順に表示される場合が想定されている。表示される各代表画像は、顔画像のサムネイルであってもいし、この顔画像が抽出された元画像のサムネイルであってもよい。

0063

人物タイムライン表示画面810は、子供の成長過程のような、注目すべき人物の経歴タイムライン)を表現することができるユーザインタフェースである。

0064

人物タイムライン表示画面810においては、時間軸であるタイムバー900が表示される。タイムバー900は垂直方向に延在されてもよいし、水平方向に延在されてもよい。図6では、タイムバー900が水平方向に延在されている場合が例示されている。このタイムバー900には、抽出された画像群のトータル撮影期間を3ヶ月単位で分割することによって得られる複数の期間が割り当てられる。抽出された画像群のトータル撮影期間は、これら抽出された画像群の最も古い撮影日時から、抽出された画像群の最新の撮影日時までの期間を意味する。例えば、抽出された画像群のトータル撮影期間が2002年から2014年までの13年間にわたる場合には、この撮影期間は52個(=13×4)の期間に分割され、これら52個の期間がタイムバー900に割り当てられる。

0065

キー顔画像と同一人物として認識された画像群は、複数の期間(上述の例では、52個の期間)に対応する複数の画像グループに分類される。これら画像グループのいずれも、キー顔画像と同一人物であると推定される顔がそれぞれ登場する画像の集合である。そして、画像グループ毎に、つまり3ヶ月の期間毎に1つの画像(代表画像)が選出される。例えば、各画像グループの中で、最も笑顔度の高い顔画像を含む画像、またはキー顔画像との類似度が最も高い顔画像を含む画像が、この画像グループの代表画像として選出されてもよい。

0066

抽出された画像群のトータル撮影期間内の最も古い1年は、2002年である。画像902aは、キー顔画像と類似する顔画像を含み、且つ2002年の1月〜3月の3ヶ月の期間中に撮影された画像である。つまり、この画像902aは、2002年1月〜3月の3ヶ月の期間中に撮影された第1画像グループの代表画像である。

0067

画像902bは、キー顔画像と類似する顔画像を含み、且つ2002年の4月〜6月の3ヶ月の期間中に撮影された画像である。つまり、この画像902bは、2002年4月〜6月の3ヶ月の期間中に撮影された第2画像グループの代表画像である。

0068

画像902cは、キー顔画像と類似する顔画像を含み、且つ2002年の7月〜9月の3ヶ月の期間中に撮影された画像である。つまり、この画像902cは、2002年7月〜9月の3ヶ月の期間中に撮影された第3画像グループの代表画像である。

0069

画像902dは、キー顔画像と類似する顔画像を含み、且つ2002年の10月〜12月の3ヶ月の期間中に撮影された画像である。つまり、この画像902dは、2002年10月〜12月の3ヶ月の期間中に撮影された第4画像グループの代表画像である。

0070

人物タイムライン表示画面810においては、画像902a〜902dは、顔画像のサムネイルであってもよい。

0071

画像902は、キー顔画像と類似する顔画像を含み、且つ2002年の1年分の期間中に撮影された画像である。つまり、この画像902は、2002年に撮影された上述の4つの画像グループ全体の代表画像である。例えば、画像2002年に撮影された4つの画像グループの中で、笑顔度、類似度、正面度、および鮮明度などの点でベストショットであると推定される画像などが、これら4つの画像グループの代表画像として選出されてもよい。画像902の表示サイズは、画像902a〜902dのサイズよりも大きいサイズであってもよい。さらに、画像902は、顔画像サムネイルでは無く、顔画像を含む元画像全体のサムネイルであってもよい。

0072

あるいは、画像902に対応する表示領域においては、2002年に撮影された4つの画像グループから選出された1つの画像だけが固定的に表示されても良いし、2002年に撮影された4つの画像グループから選択された幾つかの画像またはこれら画像グループに属する全ての画像が自動的に切り替えながら表示されても良い(スライドショー)。

0073

2002年に後続する2003年の期間において、画像904aは、キー顔画像と類似する顔画像を含み、且つ2003年の1月〜3月の3ヶ月の期間中に撮影された画像である。つまり、この画像904aは、2003年1月〜3月の3ヶ月の期間中に撮影された第5画像グループの代表画像である。

0074

画像904bは、キー顔画像と類似する顔画像を含み、且つ2003年の4月〜6月の3ヶ月の期間中に撮影された画像である。つまり、この画像904bは、2003年4月〜6月の3ヶ月の期間中に撮影された第6画像グループの代表画像である。

0075

画像904cは、キー顔画像である。キー顔画像が撮影された日時が、2003年の7月〜9月の3ヶ月の期間中に属する場合、このキー顔画像は、2003年7月〜9月の3ヶ月の期間中に撮影された画像グループの代表画像として選出される。キー顔画像904cは、他の画像(小期間それぞれに対応する他の代表画像)と異なる表示形態で、例えばこのキー顔画像を囲む枠を表示するようなエフェクトが施された状態で、表示される。これにより、どの顔画像サムネイルが、検索キーとして使用されたキー顔画像に対応するかを分かりやすくユーザに提示することができる。ユーザは、キー顔画像904cと他の各顔画像サムネイルを見比べることにより、子供の成長に伴う顔の変化等を容易に確認することができる。

0076

2003年の10月〜12月の3ヶ月の期間中に撮影された第7画像グループが存在しない場合には、この期間に対応する表示領域には画像は表示されない。

0077

人物タイムライン表示画面810においては、画像904a〜904cは、顔画像のサムネイルであってもよい。

0078

画像904は、キー顔画像と類似する顔画像を含み、且つ2003年の1年分の期間中に撮影された画像である。つまり、この画像904は、2003年に撮影された上述の4つの画像グループ全体の代表画像である。

0079

画像904に対応する表示領域においては、2003年に撮影された4つの画像グループから選出された1つの画像だけが固定的に表示されても良いし、2003年に撮影された4つの画像グループから選択された幾つかの画像またはこれら画像グループに属する全ての画像が自動的に切り替えながら表示されても良い(スライドショー)。

0080

2003年に後続する2004年の期間において、画像906aは、キー顔画像と類似する顔画像を含み、且つ2004年の1月〜3月の3ヶ月の期間中に撮影された画像である。つまり、この画像906aは、2004年1月〜3月の3ヶ月の期間中に撮影された第9画像グループの代表画像である。

0081

2004年の4月〜6月の3ヶ月の期間中に撮影された第10画像グループが存在しない場合には、この期間に対応する表示領域には画像は表示されない。

0082

画像906cは、キー顔画像と類似する顔画像を含み、且つ2004年の7月〜9月の3ヶ月の期間中に撮影された画像である。つまり、この画像906cは、2004年7月〜9月の3ヶ月の期間中に撮影された第11画像グループの代表画像である。

0083

人物タイムライン表示画面810においては、画像906a、906cは、顔画像のサムネイルであってもよい。

0084

画像906は、キー顔画像と類似する顔画像を含み、且つ2004年の1年分の期間中に撮影された画像である。つまり、この画像906は、2004年に撮影された4つの画像グループ全体の代表画像である。

0085

画像906に対応する表示領域においては、2004年に撮影された4つの画像グループから選出された1つの画像だけが固定的に表示されても良いし、2004年に撮影された4つの画像グループから選択された幾つかの画像またはこれら画像グループに属する全ての画像が自動的に切り替えながら表示されても良い(スライドショー)。

0086

人物タイムライン表示画面810においては、大期間にそれぞれ対応する画像902、904、906は時系列順に表示される、小期間にそれぞれ対応する画像902a〜902d、904a〜904c、906a、906cも時系列順に表示される。

0087

換言すれば、画像902、902a〜902dを含む画像セットと、画像904、904a〜902cを含む画像セットと、画像906、909a、906c…を含む画像セットが、時系列順に表示される。

0088

ユーザは、小期間にそれぞれ対応する画像902a〜902d、904a〜904c、906a、906cを見る事により、3ヶ月毎の時間経過に伴う注目すべき人物の顔や姿の変化の様子を確認することができる。また、ユーザは、大期間にそれぞれ対応する画像902、904、906を見る事により、1年毎の時間経過に伴う注目すべき人物の顔や姿の変化の様子を確認することができる。

0089

スクロール操作のためのユーザ入力、例えば、左右の矢印キーの操作、左右方向のスワイプジャスチャ等が検出された時、フォトビューアアプリケーションプログラム202は、人物タイムライン表示画面810を横方向にスクロールする。抽出された画像群が2005〜2014年の期間に撮影された画像群もまた含む場合には、ユーザは、スクロール操作によって、2005〜2014年の期間それぞれに対応する画像セットを見ることができる。

0090

さらに、フォトビューアアプリケーションプログラム202は、古い順の表示または新しい順の表示のいずれかを指定するユーザ入力を受け付けることができる。そして、フォトビューアアプリケーションプログラム202は、そのユーザ入力に応じて、人物タイムライン表示画面810上に表示される画像セットの並び順を、古い順と、新しい順との間で変更することができる。

0091

このように、人物タイムライン表示画面810においては、キー顔画像と類似する顔画像を含み、且つ異なる期間それぞれに対応する異なる画像が時系列順に表示される。したがって、同一人物の顔や姿の時間経過に伴う変化の様子を分かりやすくユーザに提示することができる。

0092

さらに、人物タイムライン表示画面810においては、キー顔画像自体もその撮影日時に対応する期間に撮影された画像グループの代表画像として表示される。このため、ユーザは、キー画像と同一人物の顔や姿の時間経過に伴う変化の様子を、このキー顔画像を基準として容易に確認することができる。

0093

また、さらに、キー顔画像(例えば顔画像904c)は、小期間にそれぞれ対応する画像902a〜902d、904a〜904c、906a、906cの内のキー顔画像(例えば顔画像904c)以外の画像とは異なる表示形態で表示される。したがって、人物タイムライン表示画面810上の顔画像それぞれが、どの顔画像に基づいて抽出された顔画像であるかをユーザに分かりやすく提示できる。

0094

したがって、人物タイムライン表示画面810は、注目すべき人物の歩みの過程、例えば子供の成長過程等の確認に有用である。

0095

次に、顔検索処理に適用可能な検索条件について説明する。

0096

フォトビューアアプリケーションプログラム202は、注目すべき人物の生年月日(日付)および/またはこの人物の現在の年齢を検索条件として使用することができる。

0097

ユーザは、キー顔画像として指定した人物の生年月日(日付)またはこの人物の現在の年齢の少なくとも一方を、必要に応じて検索条件として入力することができる。ユーザによる検索条件の入力は、人物タイムライン表示画面810が表示される前に行われてもよい。あるいは、人物タイムライン表示画面810が表示されている間に、ユーザは、この人物タイムライン表示画面810から別の人物の顔画像を取り除くために、必要に応じて、検索条件を入力してもよい。

0098

フォトビューアアプリケーションプログラム202は、生年月日(日付)および/または現在の年齢に関するユーザ入力を受け付ける。このユーザ入力の内容に基づき、フォトビューアアプリケーションプログラム202は、人物タイムライン表示画面810上に表示される画像を検索条件に合致する画像のみに絞り込むことができる。

0099

例えば、もし生年月日(日付)がユーザによって入力された場合には、キー顔画像に類似する顔画像を含み、且つ入力された生年月日(日付)以降の時間に対応する画像群のみが人物タイムライン表示画面810上に表示される。

0100

あるいは、現在の年齢のみがユーザによって入力された場合には、フォトビューアアプリケーションプログラム202は、生年月日(日付)を、以下のように算出する。

0101

現在の日時−現在の年齢−1年
=(算出された)生年月日
現在の年齢は、2、3歳といった年のみによって与えられても良いし、2歳3ヶ月、3歳6ヶ月といった年と月との双方によって与えられてもよい。

0102

このようにすることで、キー画像として指定された人物の第1ユーザの顔画像の検索結果として、この人物が誕生する前に撮影された画像(写真)が、誤って表示されることを防止することができる。特に、この人物の兄弟またはこの姉妹の写真を排除することができる。

0103

図7は、検索条件入力画面を示す。

0104

検索条件の指定を要求するユーザ入力に応答して、フォトビューアアプリケーションプログラム202は、図7の検索条件入力画面830を表示する。検索条件入力画面830は、検索したい人物の生年月日を入力するための入力領域と、検索したい人物の現在の年齢を入力するための入力領域を含む。ユーザは、キー画像として選択した人物の生年月日(日付)および/またはこの人物の現在の年齢を検索条件入力画面830に入力することができる。

0105

図8に示されているように、キー画像に類似する顔画像を含む画像群840のうち、人物タイムライン表示画面810上に表示される画像群は、入力された生年月日(または計算された生年月日)以降に撮影された画像群のみに制限される。生年月日よりも前に撮影された画像群は、検索したい人物以外の人物を撮った画像、例えば検索したい人物の兄弟や姉妹を撮った画像である可能性が高い。したがって、人物タイムライン表示画面810上に表示される画像群を生年月日(または計算された生年月日)以降に撮影された画像群のみに制限することによって、検索したい人物以外の人物の顔画像が誤って表示されてしまうことを防止することができる。

0106

図9は、人物タイムライン表示画面810から顔検索結果一覧表示画面820への遷移を示す。

0107

人物タイムライン表示画面810上の画像(顔サムネイル)の何れかがユーザによって選択された時、フォトビューアアプリケーションプログラム202は、選択された顔サムネイルに対応する画像が先頭に配置された顔検索結果一覧表示画面820を、人物タイムライン表示画面810に代えて表示する。顔検索結果一覧表示画面820においては、画像821〜864…が、例えば2次元マトリクス状に配置される。これら画像821〜864は、キー顔画像に類似する顔画像を含む画像のうち、選択された顔サムネイルの撮影日時以降の期間に撮影された画像のサムネイルである。

0108

ユーザが人物タイムライン表示画面810を見て興味のある期間を見つけた場合、ユーザは、この期間に対応する顔サムネイルをタップまたはクリックすることによって、この期間に対応する多数の抽出画像のサムネイルを見ることができる。

0109

図10のフローチャートは、顔検索処理の手順を示す。

0110

プロセッサ111は、フォトビューアアプリケーションプログラム202の制御の下、以下の処理を実行する。

0111

キー顔画像がユーザによって指定された時、プロセッサ111は、顔検索処理を実行して、このキー顔画像に類似する顔画像をそれぞれ含む画像群を、写真フォルダ500から抽出する(ステップS11)。次いで、プロセッサ111は、抽出された画像群のトータル撮影期間を、各々が例えば3ヶ月の時間長を有する複数の期間(小期間)に分割する(ステップS12)。そして、プロセッサ111は、小期間毎に1つの画像(代表画像)を選出する(ステップS13)。ステップS13では、キー顔画像が撮影された期間に関しては、プロセッサ111は、キー顔画像を、この期間の代表画像として優先的に選出する。さらに、プロセッサ111は、他の各期間の代表画像と、各大期間の代表画像とを選出する。

0112

この後、プロセッサ111は、選出された代表画像群を時系列順に表示するための処理を実行する(ステップS14)。ステップS14では、プロセッサ111の制御の下、GPU114は、図6で説明した人物タイムライン表示画面810を表示する。キー画像はエフェクトが施された状態で人物タイムライン表示画面810上に表示される。

0113

図11のフローチャートは、顔検索結果一覧表示処理と全画面表示処理の手順を示す。

0114

プロセッサ111は、人物タイムライン表示画面810上のある代表画像(ある顔サムネイル)がユーザによって選択されたか否かを判定する(ステップS21)。ある顔サムネイルがユーザによって選択されたならば(ステップS21のYES)、プロセッサ111は、選択された顔サムネイルの撮影日時以降に撮影された画像のサムネイルの一覧を表示するための処理を実行する(ステップS22)。ステップS22では、プロセッサ111の制御の下、GPU114は、図9で説明した顔検索結果一覧表示画面820を表示する。

0115

プロセッサ111は、顔検索結果一覧表示画面820上のある画像(サムネイル)がユーザによって選択されたか否かを判定する(ステップS23)。顔検索結果一覧表示画面820上のあるサムネイルがユーザによって選択されたならば(ステップS23のYES)、プロセッサ111は、この選択されたサムネイルに対応する画像を通常サイズ(例えばフルスクリーンサイズ)で表示するための処理を実行する(ステップS24)。

0116

図12は、キー顔画像一覧表示画面1100を示す。

0117

キー顔画像一覧表示画面1100は、過去に検索キーとして使用されたキー顔画像の一覧を表示する。図12では、2つのキー顔画像オブジェクト1101、1102が表示されている。キー顔画像オブジェクト1101は、キー顔画像と、最終検索日と、検索された画像数とを表示する。最終検索日は、このキー顔画像を用いた顔検索が最後に行われた日または日時を示す。検索された画像数は、このキー顔画像を用いた最後の顔検索によって抽出された画像数を示す。

0118

ユーザによってキー顔画像オブジェクト1101、1102の一方が選択された時、選択されたキー顔画像オブジェクトのキー顔画像に基づく顔検索が実行される。

0119

図13のフローチャートは、キー顔画像一覧表示画面1100から選択されたキー顔画像に基づく顔検索処理の手順を示す。

0120

プロセッサ111は、過去に検索キーとして使用されたキー顔画像(キー顔画像オブジェクト)の一覧を表示するための処理を実行する(ステップS31)。ユーザによってキー顔画像一覧の中のあるキー顔画像が選択されたならば(ステップS32のYES)、プロセッサ111は、顔検索処理を実行して、この選択されたキー顔画像に類似する顔画像をそれぞれ含む画像群を、写真フォルダ500から抽出する(ステップS33)。

0121

この後、プロセッサ111は、図10のフローチャートで説明したステップS12〜S14と同じ処理を実行する。

0122

次に、2つのキー顔画像を使用して実行される顔検索処理について説明する。

0123

2つのキー顔画像を使用した顔検索処理は、例えば、注目すべき人物と同一の人物の顔画像を含む画像を高精度に検索するたるために使用できる。あるいは、2つのキー顔画像を使用した顔検索処理は、異なる二人の人物が一緒に写っている画像を検索するたるために使用してもよい。

0124

例えば、図14に示されているように、人物タイムライン表示画面810上の顔画像のいいずれか、例えば顔画像(顔サムネイル)902bが、新たに検索キーとして指定された場合、フォトビューアアプリケーションプログラム202は、顔検索処理を再び実行する。

0125

この場合、フォトビューアアプリケーションプログラム202は、2つの顔画像(キー顔画像904c、および顔サムネイル902b)の双方を検索キーとして使用することによって、写真フォルダ500から、これら2つの顔画像にそれぞれ対応する画像群を検索する。そして、フォトビューアアプリケーションプログラム202は、新たに検索された少なくとも1つの画像(顔画像)によって、人物タイムライン表示画面810に表示されている代表画像の少なくとも一つを更新することができる。

0126

図15に示されるように、例えば、2002年の10月〜12月の期間に撮影された画像902d’が、2つの顔画像を使用した顔検索処理によって新たに検索されたならば、2002年の4つの代表画像群は、画像902d’によって更新されても良い。つまり、画像902d’が、画像902dの代わりに、2002年の10月〜12月の期間の代表画像として表示されても良い。

0127

図16のフローチャートは、新たに顔画像が検索キーとして指定された場合に実行される顔検索処理の手順の一例を示す。

0128

新たにキー顔画像が検索キーとして指定された場合、プロセッサ111は、まず、既に検索キーとして指定されているキー顔画像の特徴量と新たに指定されたキー顔画像(新たなキー顔画像)の特徴量との差を算出する(ステップS41)。キー顔画像の特徴量と新たなキー顔画像の特徴量の差に基づいて、プロセッサ111は、キー顔画像および新たなキー顔画像が、同一人物の顔画像であるか、または異なる人物それぞれの顔画像であるかを推定することができる。

0129

キー顔画像の特徴量と新たなキー顔画像の特徴量の差が閾値以上であるならば(ステップS42のYES)、プロセッサ111は、キー顔画像および新たなキー顔画像が、異なる人物それぞれの顔画像であると判定する。そして、プロセッサ111は、キー顔画像に類似する顔画像と新たなキー顔画像に類似する顔画像の双方をそれぞれ含む画像群を、写真フォルダ500から抽出する(ステップS43)。これによって、異なる二人の人物が一緒に写っている画像が写真フォルダ500から抽出される。

0130

一方、キー顔画像の特徴量と新たなキー顔画像の特徴量の差が閾値以上でないならば(ステップS42のNO)、プロセッサ111は、キー顔画像および新たなキー顔画像が、同一人物の顔画像であると判定する。そして、プロセッサ111は、キー顔画像および新たなキー顔画像の双方に類似する顔画像をそれぞれ含む画像群を、写真フォルダ500から抽出する(ステップS44)。ステップS44では、キー顔画像に類似する顔画像をそれぞれ含む画像群から、新たなキー顔画像に類似する顔画像をそれぞれ含む画像群が、抽出されてももい。これにより、注目すべき人物と同一の人物の顔画像を含む画像を高精度に検索することができる。

0131

この後、プロセッサ111は、図10のフローチャートで説明したステップS12〜S14と同じ処理を実行する。

0132

なお、人物タイムライン表示画面810上の顔画像のいいずれが新たに検索キーとして指定された場合には、フォトビューアアプリケーションプログラム202は、既に検索キーとして指定されているキー顔画像と新たに検索キーとして指定された顔画像の双方を使用することによって、写真フォルダ500から、画像群を検索するための処理を実行する。そして、フォトビューアアプリケーションプログラム202は、新たに検索された画像群の少なくとも1つを使用して、人物タイムライン表示画面810上の画像群の少なくとも1を更新する。

0133

図17は、顔検索結果を示す別の表示画面例を示す。

0134

上述の人物タイムライン表示画面810では、抽出画像は、それらの撮影日時に基づく複数の期間に分類され、期間毎に1つの画像(代表画像)が表示された。一方、図17の顔検索結果表示画面1200においては、抽出画像は、それらの撮影場所に基づく複数の場所に分類され、場所毎に1つの画像(代表画像)が表示される。各画像は、対応する場所に関連付けられた状態で表示される。

0135

画像1201は、キー顔画像と類似する顔画像を含み、且つ場所Aで撮影された画像である。つまり、この画像1201は、キー顔画像と類似する顔画像を含み、且つ場所Aで撮影された第1画像グループの代表画像である。画像1201の表示領域には、場所Aを示すテキストが表示されてもよい。あるいは、画像1201の表示領域には、場所Aを含む地図が表示されてもよい。この場合、画像1201は、この地図上に表示される。

0136

画像1202は、キー顔画像と類似する顔画像を含み、且つ場所Bで撮影された画像である。つまり、この画像1202は、キー顔画像と類似する顔画像を含み、且つ場所Bで撮影された第2画像グループの代表画像である。画像1202の表示領域には、場所Bを示すテキストが表示されてもよい。あるいは、画像1202の表示領域には、場所Bを含む地図が表示されてもよい。この場合、画像1202は、この地図上に表示される。

0137

画像1203は、キー顔画像と類似する顔画像を含み、且つ場所Cで撮影された画像である。つまり、この画像1203は、キー顔画像と類似する顔画像を含み、且つ場所Cで撮影された第2画像グループの代表画像である。画像1203の表示領域には、場所Cを示すテキストが表示されてもよい。あるいは、画像1203の表示領域には、場所Cを含む地図が表示されてもよい。この場合、画像1203は、この地図上に表示される。

0138

画像1204は、キー顔画像である。キー顔画像が撮影された場所が場所Dである場合、このキー顔画像は、場所Dで撮影された画像グループの代表画像として選出される。キー顔画像1204は、他の画像(他の代表画像)と異なる表示形態で、例えばこのキー顔画像を囲む枠を表示するようなエフェクトが施された状態で、表示される。画像1204の表示領域には、場所Dを示すテキストが表示されてもよい。あるいは、画像1204の表示領域には、場所Dを含む地図が表示されてもよい。この場合、画像1204は、この地図上に表示される。

0139

以上説明したように、本実施形態によれば、人物タイムライン表示画面810は、時間経過による人物の画像の内容の変化、つまりキー顔画像と抽出された画像との間の時間的な関係や、抽出された画像間の時間的な関係を表現することができる。よって、ユーザは、人物タイムライン表示画面810を通して、注目すべき人物の歩みの過程、例えば子供の成長過程等を、容易に確認することができる。

0140

なお、本実施形態では、期間毎に1つの画像(代表画像)を表示する例を説明したが、期間毎に2つまたは3つの画像を代表画像として表示してもよい。

0141

また、本実施形態に記載された様々な機能の各々は、回路(処理回路)によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム命令群)を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。

0142

また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

0143

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0144

202…フォトビューアアプリケーションプログラム、300…インデキシングエンジン、302…画像検索エンジン、304…表示処理部、410…キー画像選択部、412…顔画像検出部、414…特徴量算出部、416…画像検索部416。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社ディー・エヌ・エーの「 ゲーム装置及びゲームプログラム」が 公開されました。( 2019/09/19)

    【課題】ゲーム画面が表示されたタッチパネルを用いてプレイヤがゲーム操作を行うゲーム装置において、プレイヤがより容易に操作可能なユーザインターフェイスを提供する。【解決手段】ゲーム画面に表示された操作パ... 詳細

  • 株式会社光計機の「 ドローンシステム、ならびに、ドローンの操縦方法」が 公開されました。( 2019/09/19)

    【課題】シューティング装置を利用して、これらのシューティング装置によって、ドローン同士、または、ドローンと人との間で、攻撃、命中した点数で争うようにした、攻撃競技を行うように構成したドローン、および、... 詳細

  • 株式会社ソケッツの「 検索装置および方法」が 公開されました。( 2019/09/19)

    【課題】同一の感性ワードで加重的に絞り込み検索を行えるようにする。【解決手段】同一の感性ワードで加重的に絞り込み検索を行う場合、類似・関連ワード抽出部319が、感性ワードに類似・関連する別のワードを検... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ