図面 (/)

技術 画像処理装置,画像処理方法および画像処理プログラム

出願人 富士フイルム株式会社
発明者 野田晋平松本徹也臼杵壮也
出願日 2018年9月19日 (2年3ヶ月経過) 出願番号 2018-174487
公開日 2020年3月26日 (9ヶ月経過) 公開番号 2020-046901
状態 未査定
技術分野 検索装置
主要キーワード 感応領域 追加領域 撮影アシスト 対向機器 推奨画像 撮影年月 決定処理手順 対象画像群
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

すでに選択された画像と共通性のある画像を選択できる画像処理装置画像処理方法および画像処理プログラムおよびそのプログラムを格納した記録媒体を提供する。

解決手段

第1の画像群から選択された第1の画像と第2の画像群から選択された第2の画像とに子供と親とが一緒に写っている画像が共通して含まれていると,そのような画像IR1を,対象画像群の中から選択するようにユーザに報知する吹き出し200がスマートフォン表示パネル21に表示される。ユーザが,子供と父親とが一緒に写っている画像IR1を選択すると,以前に選択した画像との共通性が保たれる。

概要

背景

ディジタルカメラスマートフォンの普及に伴い,画像の撮影枚数が格段に増加している。撮影した画像を表す画像データをメモリカードやスマートフォンの本体に保存しただけでは,撮影した画像が埋もれてしまう。画像を見つけるために,再プリントを作成するデータ検索を行うもの(特許文献1),類似した画像を検索するもの(特許文献2),ユーザにとって重要度が高い画像を抽出するもの(特許文献3),人の感性に合わせた画像を推薦することが可能なもの(特許文献4)などが考えられている。また、月ごとに定額の料金を支払うことを予め約して、ユーザから一定枚数写真データの指定を受けると、それらの写真プリントまたはそれらの写真を合成して構成されるフォトブックを提供するというサービスも提供されている(非特許文献1)。

概要

すでに選択された画像と共通性のある画像を選択できる画像処理装置画像処理方法および画像処理プログラムおよびそのプログラムを格納した記録媒体を提供する。 第1の画像群から選択された第1の画像と第2の画像群から選択された第2の画像とに子供と親とが一緒に写っている画像が共通して含まれていると,そのような画像IR1を,対象画像群の中から選択するようにユーザに報知する吹き出し200がスマートフォンの表示パネル21に表示される。ユーザが,子供と父親とが一緒に写っている画像IR1を選択すると,以前に選択した画像との共通性が保たれる。17

目的

また、月ごとに定額の料金を支払うことを予め約して、ユーザから一定枚数の写真データの指定を受けると、それらの写真プリントまたはそれらの写真を合成して構成されるフォトブックを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

1または複数の画像を選択する対象の画像群を入力する画像群入力手段,および第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させる第1の報知制御手段,を備えた画像処理装置

請求項2

上記選択基準作成手段は,上記第1の画像と上記第2の画像とから共通に得られるテーマをもつ画像を選択するように上記基準を作成する,請求項1に記載の画像処理装置。

請求項3

上記選択基準作成手段は,上記複数の第1の画像のうちの一の画像と上記複数の第2の画像のうちの一の画像とから共通に得られるテーマであり,かつ上記複数の第1の画像のうちの他の画像と上記複数の第2の画像のうちの他の画像とから共通に得られるテーマ以外のテーマをもつ画像を選択するように上記基準を作成する,請求項1または2に記載の画像処理装置。

請求項4

上記選択基準作成手段は,上記複数の第1の画像の全体のテーマと上記複数の第2の画像の全体のテーマとから共通に得られるテーマをもつ画像を選択するように上記基準を作成する,請求項1に記載の画像処理装置。

請求項5

上記選択基準作成手段は,上記第1の画像と上記第2の画像との両方に類似する第1の類似度が第1のしきい値以上の画像を上記対象の画像群の中から選択するように上記基準を作成する,請求項1から4のうち,いずれか一項に記載の画像処理装置。

請求項6

上記選択基準作成手段は,上記第1の画像に含まれる被写体と上記第2の画像に含まれる被写体との共通の被写体が変化する様子を示す画像を選択するように上記基準を作成する,請求項1から4のうち,いずれか一項に記載の画像処理装置。

請求項7

上記選択基準作成手段をさらに備えている,請求項1から6のうち,いずれか一項に記載の画像処理装置。

請求項8

上記選択基準作成手段において作成された基準を表すデータを受信する受信手段をさらに備え,上記第1の報知制御手段は,上記受信手段において受信したデータによって表される基準にもとづいて上記第1の情報を上記第1の報知手段に報知させる,請求項1から6のうち,いずれか一項に記載の画像処理装置。

請求項9

上記第1の報知制御手段における第1の情報の報知は,上記対象の画像群の中から選択する画像として推奨する画像そのものを,上記対象の画像群のうち推奨する画像以外の画像と区別する表示である,請求項1から8のうち,いずれか一項に記載の画像処理装置。

請求項10

上記第1の報知制御手段における第1の情報の報知は,上記対象の画像群の中から選択する画像として推奨する画像にマークを付与して表示することである,請求項9に記載の画像処理装置。

請求項11

上記第1の報知制御手段における上記第1の情報の報知は,上記対象の画像群の中から選択する画像として推奨する画像における被写体の様子を文字列またはサンプル画像によって表示することである,請求項1から10のうち,いずれか一項に記載の画像処理装置。

請求項12

上記第1の報知制御手段における上記第1の情報の報知は,上記第1の画像または上記第2の画像のうち,上記対象の画像群の中から選択する画像との第2の類似度が第2のしきい値以上の画像を表示することである,請求項1から11のうち,いずれか一項に記載の画像処理装置。

請求項13

上記第1の画像と上記第2の画像とから得られるテーマをもつ画像を撮影するように上記テーマについての第2の情報を報知する第2の報知制御手段,をさらに備えた請求項1から12のうち,いずれか一項に記載の画像処理装置。

請求項14

上記第2の報知制御手段における第2の情報の報知は上記テーマの表示である,請求項13に記載の画像処理装置。

請求項15

上記第2の報知制御手段における第2の情報の報知は上記テーマに沿ったサンプル画像の表示である,請求項13または14に記載の画像処理装置。

請求項16

上記第2の報知制御手段における第2の情報の報知は,上記第1の画像または上記第2の画像のうち,共通のテーマをもつ画像を表示することである,請求項13から15のうち,いずれか一項に記載の画像処理装置。

請求項17

上記複数の第1の画像と上記複数の第2の画像とのうち,共通のテーマをもつ画像を,複数の上記第1の画像と複数の上記第2の画像とのそれぞれか1つずつ順に一定時間の間表示させるように表示装置を制御する表示制御手段,をさらに備えた請求項1から16のうち,いずれか一項に記載の画像処理装置。

請求項18

上記第1の画像群の撮影時期と,上記第2の画像群の撮影時期と,上記対象の画像群の撮影時期とが異なっている,請求項1から12のうち,いずれか一項に記載の画像処理装置。

請求項19

画像群入力手段が,1または複数の画像を選択する対象の画像群を入力し,第1の報知制御手段が,第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させる,画像処理方法

請求項20

画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって,1または複数の画像を選択する対象の画像群を入力させ,第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させるように,画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。

請求項21

請求項20に記載のプログラムを格納した記録媒体

技術分野

0001

この発明は,画像処理装置画像処理方法および画像処理プログラムに関する。

背景技術

0002

ディジタルカメラスマートフォンの普及に伴い,画像の撮影枚数が格段に増加している。撮影した画像を表す画像データをメモリカードやスマートフォンの本体に保存しただけでは,撮影した画像が埋もれてしまう。画像を見つけるために,再プリントを作成するデータ検索を行うもの(特許文献1),類似した画像を検索するもの(特許文献2),ユーザにとって重要度が高い画像を抽出するもの(特許文献3),人の感性に合わせた画像を推薦することが可能なもの(特許文献4)などが考えられている。また、月ごとに定額の料金を支払うことを予め約して、ユーザから一定枚数写真データの指定を受けると、それらの写真プリントまたはそれらの写真を合成して構成されるフォトブックを提供するというサービスも提供されている(非特許文献1)。

先行技術

0003

特開2003-288350号公報
特開2005-065728号公報
特開2017-010251号公報
特開2013-196417号公報
フォトプリントサービス機能(https://photo-collection.nttdocomo.co.jp/dphoto/service/)

発明が解決しようとする課題

0004

非特許文献1のようなサービスを申し込んで、撮影した画像の中から一定枚数の画像を選択して定期的にプリントすることを考えた場合,どのような画像を多数の画像の中から選択すればユーザにとって好ましいかについて検討された技術はない特許文献1は,再プリントするものであるから,プリントしていない画像の中からどのような画像を選択すればよいかについては考えられていない。特許文献2は,診断対象に類似した画像を検索するものであり,定期的にどのような画像を見つければよいかについては全く考えられていない。特許文献3は,重要度が高い画像を抽出するものであり,定期的にどのような画像を選択すればよいかについては考慮していない。特許文献4は,選択する人の感性に合わせた画像を推薦するものであり,やはり,定期的にどのような画像を選択すればよいかについては考慮していない。

0005

この発明は,定期的に画像を選択するに当たり、多数の画像の中からユーザにとって好ましい画像を選択できるようにすることを目的とする。

課題を解決するための手段

0006

本発明者は、多数の画像から定期的に画像を選択する際に、各期間において選択した画像群共通性があると、ユーザにとって好ましいことを見出し、本発明に到達した。この発明による画像処理装置は,1または複数の画像を選択する対象の画像群を入力する画像群入力手段,および第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させる第1の報知制御手段を備えていることを特徴とする。選択基準作成手段は,画像処理装置が備えていてもよいし,画像処理装置とは別の装置が備えていてもよい。たとえば,スマートフォン(クライアントコンピュータ)と画像サーバとが通信しながら処理を行う場合,スマートフォン(クライアント・コンピュータ)が選択基準作成手段を備えていてもよいし,画像サーバが選択基準作成手段を備えていてもよい。

0007

この発明は,画像処理装置に適した画像処理方法も提供している。すなわち,この方法は,画像群入力手段が,1または複数の画像を選択する対象の画像群を入力し,第1の報知制御手段が,第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させることを特徴とする。

0008

この発明は,画像処理装置のコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。

0009

また,画像処理装置がプロセッサを備え,プロセッサが,1または複数の画像を選択する対象の画像群を入力させ,第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させるようしてもよい。

0010

選択基準作成手段は,たとえば,第1の画像と第2の画像とから共通に得られるテーマをもつ画像を選択するように基準を作成してもよい。

0011

選択基準作成手段は,たとえば,複数の第1の画像のうちの一の画像と複数の第2の画像のうちの一の画像とから共通に得られるテーマであり,かつ複数の第1の画像のうちの他の画像と複数の第2の画像のうちの他の画像とから共通に得られるテーマ以外のテーマをもつ画像を選択するように基準を作成してもよい。

0012

選択基準作成手段は,たとえば,複数の第1の画像の全体のテーマと複数の第2の画像の全体のテーマとから共通に得られるテーマをもつ画像を選択するように基準を作成してもよい。

0013

選択基準作成手段は,たとえば,第1の画像と第2の画像との両方に類似する第1の類似度が第1のしきい値以上の画像を対象の画像群の中から選択するように基準を作成してもよい。

0014

選択基準作成手段は,たとえば,第1の画像に含まれる被写体と第2の画像に含まれる被写体との共通の被写体が変化する様子を示す画像を選択するように基準を作成してもよい。

0015

選択基準作成手段をさらに備えていてもよい。

0016

選択基準作成手段において作成された基準を表すデータを受信する受信手段をさらに備えてもよい。この場合,たとえば,第1の報知制御手段は,受信手段において受信したデータによって表される基準にもとづいて第1の情報を第1の報知手段に報知させるとよい。

0017

第1の報知制御手段における第1の情報の報知は,たとえば,対象の画像群の中から選択する画像として推奨する画像そのものを,対象の画像群のうち推奨する画像以外の画像と区別する表示である。

0018

第1の報知制御手段における第1の情報の報知は,たとえば,対象の画像群の中から選択する画像として推奨する画像にマークを付与して表示することである。

0019

第1の報知制御手段における第1の情報の報知は,たとえば,対象の画像群の中から選択する画像として推奨する画像における被写体の様子を文字列またはサンプル画像によって表示することである。

0020

第1の報知制御手段における第1の情報の報知は,たとえば,第1の画像または第2の画像のうち,対象の画像群の中から選択する画像との第2の類似度が第2のしきい値以上の画像を表示することである。

0021

第1の画像と第2の画像とから得られるテーマをもつ画像を撮影するようにテーマについての第2の情報を報知する第2の報知制御手段をさらに備えてもよい。

0022

第2の報知制御手段における第2の情報の報知は,たとえば,テーマの表示である。

0023

第2の報知制御手段における第2の情報の報知は,たとえば,テーマに沿ったサンプル画像の表示である。

0024

第2の報知制御手段における第2の情報の報知は,たとえば,第1の画像または第2の画像のうち,共通のテーマをもつ画像を表示することである。

0025

複数の第1の画像と複数の第2の画像とのうち,共通のテーマをもつ画像を,複数の第1の画像と複数の第2の画像とのそれぞれか1つずつ順に一定時間の間表示させるように表示装置を制御する表示制御手段をさらに備えてもよい。

0026

第1の画像群の撮影時期と,第2の画像群の撮影時期と,対象の画像群の撮影時期とが異なっていてもよい。

発明の効果

0027

この発明によると,選択された第1の画像と第2の画像とから作成される基準にもとづいて,対象の画像群の中から選択する画像として推奨する画像についての第1の情報が報知される。したがって,その第1の情報にもとづいて,選択された第1の画像と第2の画像とに共通性を有するような画像を,対象の画像群から選択できる。結果として、多数の画像から定期的に画像を選択する際に、ユーザにとって好ましい画像を選択することが可能となる。

図面の簡単な説明

0028

スマートフォンの外観を示している。
スマートフォンの電気的構成を示すブロック図である。
スマートフォンの処理手順を示すフローチャートである。
スマートフォンの処理手順を示すフローチャートである。
スマートフォンの表示パネルに表示される画面の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
推奨画像決定処理手順を示すフローチャートである。
第1の画像群の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
第2の画像群の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
対象画像群の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
スマートフォンの表示パネルに表示される画面の一例である。
撮影アシスト処理手順を示すフローチャートである。
スマートフォンの表示パネルに表示される画面の一例である。
ショートムービ再生処理手順を示すフローチャートである。
スマートフォンの表示パネルに表示される画面の一例である。
ショート・ムービの再生内容を示している。
スマートフォンと画像サーバとの関係を示している。
スマートフォンと画像サーバとの処理手順を示すフローチャートである。

実施例

0029

[主実施例]
図1は,本発明の画像処理装置の一実施形態であるスマートフォン1の外観を示すものである。図1に示すスマートフォン1は,平板状の筐体2を有し,筐体2の一方の面に表示部としての表示パネル21と,入力部としての操作パネル22とが一体となった表示入力部20を備えている。また,係る筐体2は,マイクロホン32と,スピーカ31,操作部40と,カメラ部41とを備えている。なお,筐体2の構成はこれに限定されず,例えば,表示部と入力部とが独立した構成を採用したり,折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

0030

図2は,図1に示すスマートフォン1の構成を示すブロック図である。図2に示すように,スマートフォンの主たる構成要素として,無線通信部10と,表示入力部20と,通話部30と,操作部40と,カメラ部41と,記憶部50と,外部入出力部60と,GPS(Global Positioning System)受信部70と,モーションセンサ部80と,電源部90と,主制御部100とを備える。また,スマートフォン1の主たる機能として,基地局装置BS移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。

0031

無線通信部10は,主制御部100の指示にしたがって,移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。係る無線通信を使用して,音声データ,画像データ等の各種ファイルデータ,電子メールデータなどの送受信や,Webデータストリーミングデータなどの受信を行う。

0032

表示入力部20は,主制御部100の制御により,画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに,表示した情報に対するユーザ操作を検出する,いわゆるタッチパネルであって,表示パネル21と,操作パネル22とを備える。

0033

表示パネル21は,LCD(Liquid Crystal Display),OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル22は,表示パネル21の表示面上に表示される画像を視認可能に載置され,ユーザの指やによって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると,操作に起因して発生する検出信号を主制御部100に出力する。次いで,主制御部100は,受信した検出信号に基づいて,表示パネル21上の操作位置(座標)を検出する。

0034

図1に示すように,本発明の画像処理装置の一実施形態として例示しているスマートフォン1の表示パネル21と操作パネル22とは一体となって表示入力部20を構成しているが,操作パネル22が表示パネル21を完全に覆うような配置となっている。係る配置を採用した場合,操作パネル22は,表示パネル21外の領域についても,ユーザ操作を検出する機能を備えてもよい。換言すると,操作パネル22は,表示パネル21に重なる重畳部分についての検出領域(以下,表示領域と称する)と,それ以外の表示パネル21に重ならない外縁部分についての検出領域(以下,非表示領域と称する)とを備えていてもよい。

0035

なお,表示領域の大きさと表示パネル21の大きさとを完全に一致させても良いが,両者を必ずしも一致させる必要は無い。また,操作パネル22が,外縁部分と,それ以外の内側部分の2つの感応領域を備えていてもよい。更に,外縁部分の幅は,筐体2の大きさなどに応じて適宜設計されるものである。更にまた,操作パネル22で採用される位置検出方式としては,マトリクススイッチ方式,抵抗膜方式表面弾性波方式赤外線方式電磁誘導方式静電容量方式などが挙げられ,いずれの方式を採用することもできる。

0036

通話部30は,スピーカ31やマイクロホン32を備え,マイクロホン32を通じて入力されたユーザの音声を主制御部100にて処理可能な音声データに変換して主制御部100に出力したり,無線通信部10あるいは外部入出力部60により受信された音声データを復号してスピーカ31から出力したりするものである。また,図1に示すように,例えば,スピーカ31を表示入力部20が設けられた面と同じ面に搭載し,マイクロホン32を筐体2の側面に搭載することができる。

0037

操作部40は,キースイッチなどを用いたハードウェアキーであって,ユーザからの指示を受け付けるものである。例えば,図1に示すように,操作部40は,スマートフォン1の筐体2の側面に搭載され,指などで押下されるとオンとなり,指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

0038

記憶部50は,主制御部100の制御プログラムや制御データ,アプリケーションソフトウェア通信相手名称電話番号などを対応づけたアドレスデータ,送受信した電子メールのデータ,WebブラウジングによりダウンロードしたWebデータや,ダウンロードしたコンテンツデータを記憶し,またストリーミングデータなどを一時的に記憶するものである。また,記憶部50は,スマートフォン内蔵の内部記憶部51と着脱自在な外部メモリスロットを有する外部記憶部52により構成される。なお,記憶部50を構成するそれぞれの内部記憶部51と外部記憶部52は,フラッシュメモリタイプ(flash memory type),ハードディスクタイプ(hard disk type),マルチメディアカードマイクロタイプ(multimedia card micro type),カードタイプのメモリ(例えば,MicroSD(登録商標)メモリ等),RAM(Random Access Memory),ROM(Read Only Memory)などの格納媒体を用いて実現される。

0039

外部入出力部60は,スマートフォン1に連結される全ての外部機器とのインターフェース役割を果たすものであり,他の外部機器に通信等(例えば,ユニバーサルシリアルバス(USB),IEEE1394など)又はネットワーク(例えば,インターネット無線LANブルートゥース(Bluetooth)(登録商標),RFID(Radio Frequency Identification),赤外線通信(Infrared Data Association:IrDA)(登録商標),UWB(Ultra Wideband)(登録商標),ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。

0040

スマートフォン1に連結される外部機器としては,例えば,有/無線ヘッドセット,有/無線外部充電器,有/無線データポートカードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード,オーディオビデオI/O(Input/Output)端子を介して接続される外部オーディオビデオ機器無線接続される外部オーディオ・ビデオ機器,有/無線接続されるスマートフォン,有/無線接続されるパーソナル・コンピュータ,有/無線接続されるPDA,有/無線接続されるパーソナル・コンピュータ,イヤホンなどがある。外部入出力部は,このような外部機器から伝送を受けたデータをスマートフォン1の内部の各構成要素に伝達することや,スマートフォン1の内部のデータが外部機器に伝送されるようにすることができる。

0041

GPS受信部70は,主制御部100の指示にしたがって,GPS衛星ST1〜STnから送信されるGPS信号を受信し,受信した複数のGPS信号に基づく測位演算処理を実行し,当該スマートフォン1の緯度経度,高度からなる位置を検出する。GPS受信部70は,無線通信部10や外部入出力部60(例えば,無線LAN)から位置情報を取得できる時には,その位置情報を用いて位置を検出することもできる。

0042

モーションセンサ部80は,例えば,3軸の加速度センサなどを備え,主制御部100の指示にしたがって,スマートフォン1の物理的な動きを検出する。スマートフォン1の物理的な動きを検出することにより,スマートフォン1の動く方向や加速度が検出される。係る検出結果は,主制御部100に出力されるものである。
電源部90は,主制御部100の指示にしたがって,スマートフォン1の各部に,バッテリ(図示しない)に蓄えられる電力を供給するものである。

0043

主制御部100は,マイクロプロセッサを備え,記憶部50が記憶する制御プログラムや制御データにしたがって動作し,スマートフォン1の各部を統括して制御するものである。また,主制御部100は,無線通信部10を通じて,音声通信データ通信を行うために,通信系の各部を制御する移動通信制御機能と,アプリケーション処理機能を備える。

0044

アプリケーション処理機能は,記憶部50が記憶するアプリケーションソフトウェアにしたがって主制御部100が動作することにより実現するものである。アプリケーション処理機能としては,例えば,外部入出力部60を制御して対向機器とデータ通信を行う赤外線通信機能や,電子メールの送受信を行う電子メール機能Webページ閲覧するWebブラウジング機能などがある。

0045

また,主制御部100は,受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて,映像を表示入力部20に表示する等の画像処理機能を備える。画像処理機能とは,主制御部100が,上記画像データを復号し,係る復号結果に画像処理を施して,画像を表示入力部20に表示する機能のことをいう。

0046

更に,主制御部100は,表示パネル21に対する表示制御と,操作部40,操作パネル22を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により,主制御部100は,アプリケーションソフトウェアを起動するためのアイコンや,スクロールバーなどのソフトウェアキーを表示したり,あるいは電子メールを作成するためのウィンドウを表示したりする。なお,スクロールバーとは,表示パネル21の表示領域に収まりきれない大きな画像などについて,画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

0047

また,操作検出制御の実行により,主制御部100は,操作部40を通じたユーザ操作を検出したり,操作パネル22を通じて,上記アイコンに対する操作や,上記ウィンドウの入力欄に対する文字列の入力を受け付けたり,あるいは,スクロールバーを通じた表示画像スクロール要求を受け付ける。

0048

更に,操作検出制御の実行により主制御部100は,操作パネル22に対する操作位置が,表示パネル21に重なる重畳部分(表示領域)か,それ以外の表示パネル21に重ならない外縁部分(非表示領域)かを判定し,操作パネル22の感応領域や,ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

0049

また,主制御部100は,操作パネル22に対するジェスチャ操作を検出し,検出したジェスチャ操作に応じて,予め設定された機能を実行することもできる。ジェスチャ操作とは,従来の単純なタッチ操作ではなく,指などによって軌跡を描いたり,複数の位置を同時に指定したり,あるいはこれらを組み合わせて,複数の位置から少なくとも1つについて軌跡を描く操作を意味する。

0050

カメラ部41は,CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また,カメラ部41は,主制御部100の制御により,撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し,記憶部50に記録したり,入出力部60や無線通信部10を通じて出力したりすることができる。図1に示すにスマートフォン1において,カメラ部41は表示入力部20と同じ面に搭載されているが,カメラ部41の搭載位置はこれに限らず,表示入力部20の背面に搭載されてもよいし,あるいは,複数のカメラ部41が搭載されてもよい。なお,複数のカメラ部41が搭載されている場合には,撮影に供するカメラ部41を切り替えて単独にて撮影したり,あるいは,複数のカメラ部41を同時に使用して撮影したりすることもできる。

0051

また,カメラ部41はスマートフォン1の各種機能に利用することができる。例えば,表示パネル21にカメラ部41で取得した画像を表示することや,操作パネル22の操作入力のひとつとして,カメラ部41の画像を利用することができる。また,GPS受信部70が位置を検出する際に,カメラ部41からの画像を参照して位置を検出することもできる。更には,カメラ部41からの画像を参照して,3軸の加速度センサを用いずに,或いは,3軸の加速度センサと併用して,スマートフォン1のカメラ部41の光軸方向を判断することや,現在の使用環境を判断することもできる。勿論,カメラ部41からの画像をアプリケーションソフトウェア内で利用することもできる。

0052

その他,静止画又は動画の画像データにGPS受信部70により取得した位置情報,マイクロホン32により取得した音声情報(主制御部等により,音声テキスト変換を行ってテキスト情報となっていてもよい),モーションセンサ部80により取得した姿勢情報等などを付加して記憶部50に記録したり,入出力部60や無線通信部10を通じて出力したりすることもできる。

0053

図3および図4は,スマートフォン1の処理手順を示すフローチャートである。

0054

インターネットなどを介して得られたプログラムが,スマートフォン1にあらかじめスンストールされており,そのプログラムが起動させられることにより,図3および図4に示す処理が開始する。また外部記憶部52などの記録媒体にプログラムが記憶されており,外部記憶部52から読み出されたプログラムがスマートフォン1にインストールされてもよい。このプログラムは,ある月に撮影された画像の中から,プリントする画像を選択する処理を行うもので,特に,ある月に撮影された画像の中からプリントする画像として推奨する画像をユーザに報知する処理が行なわれる。

0055

プログラムが起動するとスマートフォン1の表示パネル21には,図5に示すホーム画面が表示される(ステップ101)。

0056

ホーム画面のほぼ全体に渡って11個の画像表示領域129が形成されている(画像表示領域129は11個未満でも12個以上でもよい)。ホーム画面のほぼ左上には,撮影月表示領域128が表示されている。撮影月表示領域128には,「6月」の文字列と「2018年」の文字列とが表示されている。プログラム起動後のホーム画面の撮影月表示領域128には,プログラムの起動時に対応する年月が表示される。図5に示すホーム画面においては,2018年6月にプログラムが起動させられたこととなる。

0057

ホーム画面の上部には,撮影年月指定領域121が形成されている。撮影年月指定領域121には,撮影年表示領域122およびプルダウン・ボタン123が形成されている。プルダウン・ボタン123をプルダウンすることにより,プルダウン・メニューが現われ,ユーザは,所望の撮影年を選択できる。撮影年表示領域122の右側には,撮影月指定領域124,125および126が形成されている。撮影年月指定領域121を左右にスクロールすることにより,これらの撮影月指定領域124,125および126に表示される月が切り替わる。図5に示すホーム画面においては撮影月指定領域124,125および126には,それぞれ「5月」,「6月」および「7月」が表示されており,中央の撮影月指定領域125に表示されている「6月」の文字列が囲まれている。「6月」が囲まれていることから,画像表示領域129に表示される画像が撮影された月として「6月」が選択されていることを示している。撮影月指定領域125の右側には検索ボタン127が形成されている。画像表示領域129の左下には画像追加領域130が形成されている。画像追加領域130がタッチされることにより,ホーム画面に表示される画像表示領域129の数が一つ増える。

0058

ホーム画面の下部には「注文」の文字列が表示されている注文ボタン131が表示されている。画像のプリントを注文する場合に注文ボタン131がタッチされる。また,ホーム画面の最下部には,「ホーム」の文字列が表示されているホーム・ボタン132,「物販」の文字列が表示されている物販ボタン133および「メニュー」の文字列が表示されているメニュー・ボタン134が形成されている。

0059

画像が選択されていない状態では,画像表示領域129には画像が表示されていない。画像が表示されていない状態において,11個の画像表示領域129のうち,いずれかの画像表示領域129がタッチされると(ステップ102でYES),表示パネル21には,図6に示す画像フォルダ画面が表示される。

0060

図6は,表示パネル21に表示される画像フォルダ画面の一例である。

0061

画像フォルダ画面には,画像フォルダ・アイコン141から146が表示されており,それらの画像フォルダ・アイコン141から146のそれぞれの右側にはフォルダ名が表示されている。画像フォルダ・アイコン141は,ある月(図6に示す例では2018年6月)に撮影された画像のすべての画像を格納する画像フォルダを表している。その他の画像フォルダ・アイコン142から146は,その月に撮影された画像のうち,ユーザによって生成された画像フォルダのアイコンを表している。表示パネル21に表示されている画像フォルダ・アイコン141から146以外の画像フォルダ・アイコンがある場合には,表示パネル21の表面をスクロールすることにより,表示パネル21に表示されていない画像フォルダ・アイコンが表示パネル21に表示される。この実施例においては,画像フォルダ・アイコン141から146のみが生成されているものとする。画像フォルダ・アイコン141から146のうち,いずれかの画像フォルダ・アイコンがタッチされると(ステップ104でYES),表示パネル21には画像選択画面が表示され(ステップ105),タッチされた画像フォルダ・アイコンによって特定される画像フォルダに格納されている画像が表示パネル21に表示される。

0062

図7は,タッチされた画像フォルダ・アイコンによって特定される画像フォルダに格納されている画像を一覧表示する画像選択画面の一例である。

0063

画像選択画面には,多数の画像表示領域151が表示されており,これらの画像表示領域151に画像が表示されている。表示パネル21に表示されていない画像がある場合には,表示パネル21の画面上をスクロールすることにより,表示パネル21に表示されていない画像が表示パネル21に表示される。

0064

画像選択画面の下部は,「推奨画像」の文字列が表示されている推奨画像ボタン152,「画像解析」の文字列が表示されている画像解析ボタン153および「確定」の文字列が表示されている確定ボタン154が形成されている。推奨画像ボタン152は,以前に選択された画像の傾向にもとづいて,ユーザが選択する画像として推奨する画像についての情報(第1の情報の一例である)を報知する場合にタッチされる。画像解析ボタン153は,画像を解析して写りがいいと判断されるような画像をユーザに報知する場合にタッチされる。確定ボタン154はプリントする画像を確定する場合にタッチされる。

0065

推奨画像ボタン152がタッチされると(ステップ106でYES),推奨画像の決定処理が行なわれる(ステップ107)。

0066

図8は,推奨画像決定処理手順を示すフローチャートである。

0067

この実施例では,2018年4月に撮影された画像の集まりである画像群(第1の画像群の一例であり,内部記憶部51に記憶されている)の中からプリントする画像として選択された1または複数の画像(1または複数の第1の画像の一例であり,どの画像が選択されたかも内部記憶部51に記憶されている)と,2018年5月に撮影された画像の集まりである画像群(第2の画像群の一例であり,内部記憶部51に記憶されている)の中からプリントする画像として選択された1または複数の画像(1または複数の第2の画像の一例であり,どの画像が選択されたかも内部記憶部51に記憶されている)と,から2018年6月にカメラ部41(画像入力手段の一例である)によって撮影された画像の集まりである画像群(対象画像群の一例であり,内部記憶部51に記憶されている)の中からプリントする画像として推奨される画像が決定される。2018年4月に撮影された画像と2018年5月に撮影された画像との2か月に撮影された画像とにもとづいて2018年6月に撮影された画像の中から推奨画像を決定するが,2018年4月と2018年5月との2か月に撮影された画像だけでなく,2018年3月以前の1または複数月に選択された画像の中から2018年6月に撮影された画像の中から推奨画像を決定してもよい。複数の月に撮影されたそれぞれの画像群の中からプリントする画像として選択された画像にもとづいて,ある特定の月に撮影された画像の中からプリントする画像の推奨画像が決定されればよい。また,画像の集まりとされる画像群は,必ずしも月単位でなくともよく,複数の画像の集まりと捉えられればよい。好ましくは,第1の画像群(に含まれる画像)の撮影時期と,第2の画像群(に含まれる画像)の撮影時期と,対象の画像群の撮影時期とは異なるが,異ならなくともよい。

0068

2018年4月に撮影された画像の集まりである第1の画像群の中から選択された第1の画像と2018年5月に撮影された画像の集まりである第2の画像群の中から選択された第2の画像とのそれぞれが,スマートフォン1の主制御部100によって解析される(ステップ191)。

0069

図9は,2018年4月に撮影された画像の集まりである第1の画像群160と,第1の画像群160の中から選択された第1の画像161とを示している。

0070

第1の画像群160には,画像I1から画像I100が含まれており,2018年4月に100枚の画像が撮影されたこととなる。それらの画像I1から画像I100の中から第1の画像161として画像I1から画像I11の11枚の画像が選択されたものとする。

0071

図10は,2018年4月に撮影された画像の中からプリントする画像を選択したときの表示パネル21を示している。

0072

表示パネル21に形成されている11個の画像表示領域129には,第1の画像群160の中から選択された第1の画像161に含まれる画像I1からI11が表示されている。わかりやすくするために画像表示領域129にI1からI11の文字列が表示されているが,これらのI1からI11の文字列は必ずしも表示されなくともよい。

0073

図11は,2018年5月に撮影された画像の集まりである第2の画像群170と,第2の画像群170の中から選択された第2の画像171とを示している。

0074

第2の画像群170には,画像I101から画像I200が含まれており,2018年5月に100枚の画像が撮影されたこととなる。それらの画像I101から画像I200の中から第2の画像171として画像I101から画像I111の11枚の画像が選択されたものとする。

0075

図12は,2018年5月に撮影された画像の中からプリントする画像を選択したときの表示パネル21を示している。

0076

表示パネル21に形成されている11個の画像表示領域129には,第2の画像群170の中から選択された第2の画像171に含まれる画像I101からI111が表示されている。わかりやすくするために画像表示領域129にI101からI111の文字列が表示されているが,これらのI101からI111の文字列は必ずしも表示されなくともよい。

0077

つづいて,画像を選択する基準が主制御部100(選択基準作成手段の一例である)によって作成される(ステップ192)。基準には様々なものがあるが,たとえば,対象画像群180に含まれる画像のうち,第1の画像161または第2の画像171との類似度がしきい値(第1のしきい値の一例である)以上の画像を推奨画像として決定するように基準を作成するものである。第1の画像161および第2の画像171のいずれの画像とも類似度がしきい値(第1のしきい値の一例である)以上の画像を推奨画像として決定するように基準を作成してもよい。

0078

図13は,2018年6月に撮影された画像の一例である。

0079

2018年6月には100枚の画像I201からI300の100枚の画像が撮影されており,画像群(対象画像群の一例である)を構成しているものとする。これらの画像I201からI300のうち,第1の画像161または第2の画像171との類似度がしきい値(第1のしきい値の一例である)以上の画像が画像I201からI211の11枚とすると,これらの画像I201からI211が推奨する画像181として決定される(ステップ193)。推奨する画像は11枚より多くても少なくともよい。

0080

推奨する画像が決定すると,図14に示すように表示パネル21の画像表示領域151には決定した推奨する画像(第1の情報の一例である)が主制御部100(第1の報知制御手段の一例である)の制御により表示される。推奨する画像以外の画像と区別されて表示されることとなる。表示パネル21の上部には「下の写真と似た画像が選ばれています」の文字列が表示され,以前に選択した画像に類似した画像が画像表示領域に表示されていることが,ユーザが分かる。

0081

このようにして,推奨画像についての情報が表示パネル21に表示される(図4ステップ108)。ユーザは,推奨画像についての情報が得られるので,その情報を参考にして,注文する画像を決定できる。

0082

推奨画像ボタン152がタッチされずに(図4ステップ106でNO),画像解析ボタン153がタッチされると(図4ステップ109でYES),対象画像群180(この場合2018年6月に撮影された100枚の画像I201からI300)の解析が主制御部100によって行われる(図4ステップ110)。この解析により,対象画像群180に含まれる画像I201からI300の中から良好な画像が見つけられて,図15に示すように表示パネル21に表示される(図4ステップ111)。良好な画像とは客観的に画像の評価の高い画像であり,ピントが合っている画像,主要被写体が中央に位置している画像,主要被写体の大きさが相対的に適切と考えられる画像,構図が比較的正しい画像,明るさが適切な画像などが良好な画像と判断される。これらの画像の評価は画像解析の結果にもとづいて算出される。

0083

図15を参照して,表示パネル21の画像表示領域151には,良好な画像と判断された画像が評価の高い順に表示されている。表示パネル21をスクロールすることにより表示パネル21に表示されていない画像が表示パネル21に表示される。画像表示領域151に表示されているそれぞれの画像の下部には星印のマーク(星印でなくともよい)240から242が表示されている。星印の数が多いほど画像の評価が高い。ユーザは,星印のマーク240から242などを参考にして,プリントする画像を選択できる。単に画像解析の結果が良好な画像に星印のマーク240から242などをつけるのではなく,第1の画像161と第2の画像171とから作成される基準にもとづいても推奨する画像に星印などのマーク(第1の情報の一例である)をつけてもよい。

0084

画像表示領域151に表示されている画像のうち,いずれかの画像がタッチされると(図4ステップ112でYES),タッチされた画像が他の画像と比べて暗くるように表示される(図4ステップ113)。

0085

11枚分の画像がタッチされて,確定ボタン154がタッチされると(図4ステップ114でYES),表示パネル21には図16に示すホーム画面が表示される(図4ステップ115)。表示パネル21の画像表示領域129には,ユーザによってタッチされた画像が表示される。

0086

ホーム画面の注文ボタン131がタッチされると(図3ステップ116でYES),画像表示領域129に表示されている11枚の画像のそれぞれの画像を表す画像データがスマートフォン1から画像サーバ280(図26参照)に送信される。画像サーバ280において画像がプリントされ,プリントがユーザに送付される。

0087

注文ボタン131がタッチされずに他の領域がタッチされると(図3ステップ117でYES),そのタッチされた領域に対応する処理が行なわれる。

0088

以前に選択された画像と共通性を有する画像が推奨画像としてユーザに報知されるので,推奨画像の中からプリントする画像を選択することにより,以前に選択された画像と共通性をもつ画像のプリントが得られる。

0089

上述した実施例では,第1の画像群160から選択された第1の画像161または第2の画像群170から選択された第2の画像171に類似する画像を,画像を選択する基準(図8ステップ192)としていたが,第1の画像161と第2の画像171とから共通に得られるテーマ(主要被写体から把握されるテーマ)をもつ画像を選択するように基準を作成してもよい。

0090

たとえば,図10に示すように2018年4月に撮影された画像の中から子供と親とが一緒に写っている画像I8が選択され,かつ図12に示すように2018年5月に撮影された画像の中からも子供と父親とが一緒に写っている画像I110が選択されていることが画像解析から分かると,「子供と父親とが一緒に写っている画像」というテーマをもつ画像を選択する基準が作成される。このように,第1の画像161のうちの一の画像I8と第2の画像171のうちの一の画像I110とから得られる共通のテーマは,たとえば,「子供と父親とが一緒に写っている画像」であるが,この共通のテーマは,第1の画像161のうちの一の画像I8以外の他の画像と第2の画像171のうちの一の画像I110以外の他の画像とから得られる共通のテーマ以外のテーマとしてもよい。

0091

また,第1の画像161と第2の画像171とから共通に得られるテーマは,第1の画像161に含まれる画像I1からI11のそれぞれの画像の主要被写体の行動と第2の画像171に含まれる画像I101かI111のそれぞれの画像の主要被写体の行動とから共通に得られるテーマとしてもよい。

0092

このようにして得られるテーマが分かるとそのテーマに合致した画像を推奨するようにユーザに報知される。以下,報知のやり方の一例について説明する。

0093

図17を参照して,2018年6月に撮影された複数の画像から構成される対象画像群の中から,得られたテーマに合致した画像が見つけられると,その画像を選択する画像として推奨する情報が表示パネル21に表示される。

0094

たとえば,「子供と父親とが一緒に写っている画像」がテーマとされ,そのようなテーマに合致する画像を選択するように基準が作成されると,そのテーマに合致した画像が存在する場合には,画像表示領域にそのテーマに合致した画像が表示される。

0095

図17に示すように,画像IR1が「子供と父親とが一緒に写っている画像」のテーマに合致している場合には,画像表示領域151に画像IR1が表示される。さらに,その画像IR1に合わせて,推奨する情報(第1の情報の一例である)を報知する吹き出し200が表示される。吹き出し200には,以前も「子供と父親とが一緒に写っている画像」が選択されているので,そのような画像を選択することを推奨する旨の文字列201が表示される。また,吹き出し200には,その共通のテーマにおいて以前に選択した画像を表示する選択済み画像表示領域202および203が表示されている。選択済み画像表示領域202には,2018年4月に選択された画像のうち,「子供と父親とが一緒に写っている画像」というテーマと共通のテーマをもつ画像が表示され,選択済み画像表示領域203には,2018年5月に選択された画像のうち,「子供と父親とが一緒に写っている画像」というテーマと共通のテーマをもつ画像が表示される。さらに,吹き出し200には,推奨画像表示領域204が形成されており,この推奨画像表示領域204には,吹き出し200に合わせて表示されている,推奨する画像IR1が表示される。ユーザは,「子供と父親とが一緒に写っている画像」を比較的簡単に選択でき,共通のテーマをもつ画像のプリントを毎月得られるようになる。

0096

同様に,図10に示すように2018年4月に選択された画像のうちの画像I1,図12に示すように2018年5月に選択された画像のうちの画像I104に示すように,「子供が食事をしている画像」が共通のテーマとして得られるときには,そのテーマが基準として作成される。

0097

図17に示すように,2018年6月に撮影された画像の中に,「子供が食事をしている画像」のテーマに合致した画像IR2がある場合には,その画像IR2に合わせて吹き出し210が表示される。なお、ある画像が「食事をしている画像」であることは、例えば、オブジェクト認識を行い、食べ物または食器が写っていることを検出することにより、決定することができる。この吹き出し210には,「子供が食事をしている画像」を選択することを推奨する文字列211が含まれている。また,選択済み画像表示領域212および213も表示されており,2018年4月に選択された画像のうち「子供が食事をしている画像」というテーマに合った画像I1が選択済み画像表示領域212に表示され,2018年5月に選択された画像のうち「子供が食事をしている画像」というテーマに合った画像I104が選択済み画像表示領域213に表示されている。さらに,吹き出し210には,推奨画像表示領域214が形成されており,この推奨画像表示領域214には,吹き出し210に合わせて表示されている,推奨する画像IR2が表示される。ユーザは,「子供が食事をしている画像」を比較的簡単に選択でき,共通のテーマをもつ画像のプリントを毎月得られるようになる。

0098

「子供と父親とが一緒に写っている画像」のテーマにもとづく基準は,たとえば,図10に示す2018年4月に選択された画像I1からI11のうちのいずれかの画像と,2018年5月に選択された画像I101かI111のうちのいずれかの画像との両方に類似する類似度(第1の類似度の一例である)を,2018年6月に撮影された対象画像群に含まれる画像のすべてについて算出し,算出された類似度がしきい値(第1のしきい値の一例である)以上の画像を推奨画像とすることにより得られる。このような基準を作成することにより,2018年6月に撮影された画像の中から,画像I8および画像I110のいずれにも類似度がしきい値以上の画像IR1が見つけ出される。同様に,「子供が食事している画像」のテーマにもとづく基準を作成することにより,2018年6月に撮影された画像の中から,2018年4月に選択された子供が食事をしている画像I1および画像I104のいずれにも類似度がしきい値(第1のしきい値の一例である)以上の画像IR2が見つけ出される。

0099

図18は,表示パネル21に表示される画像の一例である。

0100

共通の被写体が変化する様子が分かる画像が推奨画像となるような基準にもとづいて,推奨画像が決定される例である。

0101

図10に示す例では,2018年4月に撮影された画像のうち,子供の画像I6が選択されており,図12に示す例では,2018年5月に撮影された画像のうち,画像I6に写っている子供と同じ子供が写っている画像I105が選択されている。2018年6月に撮影された画像のうち,選択された画像I6およびI105に共通の子供(主要被写体)と同じ子供(共通の被写体の一例である)が写っている画像IR3がある場合には,その画像IR3が推奨画像とされる。画像IR3に対応して吹き出し220が表示される。吹き出し220には「子供が成長する様子が分かるような画像」ことを示す文字列221が表示される。吹き出し220には,吹き出し200および210と同様に,選択済み画像表示領域222および223も表示されており,2018年4月に選択された画像のうち「子供が成長していることが分かるような画像」というテーマに合った画像I6が選択済み画像表示領域222に表示され,2018年5月に選択された画像のうち「子供が成長していることが分かるような画像」というテーマに合った画像I105が選択済み画像表示領域223に表示されている。さらに,吹き出し220には,推奨画像表示領域224が形成されており,この推奨画像表示領域224には,吹き出し220に合わせて表示されている,推奨する画像IR2が表示される。ユーザは,「子供が成長していることが分かるような画像」を比較的簡単に選択でき,共通のテーマをもつ画像のプリントを毎月得られるようになる。なお、「子供が成長していることが分かるような画像」であることは、予め「子供が寝返りを打った画像」,「子供がはいはいしている画像」,「子供がつかまり立ちをしている画像」など,具体的な画像を検出したら「子供が成長していることが分かるような画像」である、と判定することとしておけばよい。このようにして、子供が成長する様子が分かるという共通性をもつ画像をより正確に推奨画像とすることができる。

0102

なお、「子供が成長していることが分かるような画像」のような抽象的概念に関しては、別途学習済みモデルを用いて判定しても良い。一例としては、一般に使用されている画像検索エンジンにおいて、「子供、成長、画像」等のキーワードを入れて抽出された画像を「子供が成長していることが分かるような画像」の正解画像とみなして、「子供が成長していることが分かるような画像」を判定するためのモデルの学習をさせることができる。他の例としては、本実施例のプログラムにおいて、注文時に当該月の画像群を要約したテキストメッセージをユーザに入力させ、全ユーザの注文情報を検索母集団とし、「子供、成長、画像」という言葉を含むテキストメッセージが入力された月の画像を、「子供が成長していることが分かるような画像」の正解画像とみなして、「子供が成長していることが分かるような画像」を判定するためのモデルの学習をさせることができる。

0103

図19は,表示パネル21に表示される画像の一例である。

0104

図19に示す例は,失敗した画像が毎月選ばれていると考えられる場合に,表示パネル21に表示される吹き出し230の一例である。ここでいう失敗した画像とは、「転んだ」「泣き顔である」など、被写体本人にとって好ましくない状態で写っている画像を含む。

0105

図10に示すように2018年4月に選択された画像の中に子供が失敗した画像I11が含まれており,かつ図12に示すように2018年5月に選択された画像の中にも子供が失敗した画像I111が含まれている場合には,失敗した画像を選択することを推奨する文字列231が吹き出し230に表示される。上述したのと同様に,吹き出し230には,選択済み画像表示領域232および233も表示されており,これらの選択済み画像表示領域232および233に,以前に選択された子供が失敗した画像I11およびI111が表示される。また,吹き出し230には,推奨画像表示領域234が形成されており,この推奨画像表示領域234には,吹き出し230に合わせて表示されている,推奨する失敗画像IR4が表示される。毎月選択するの画像の一部に、子供の失敗した画像を含めることにより、ユーザは子供の行動を懐かしく思い出したり、その他の画像をより貴重なものと捉え直したりすることができ、ユーザはより好ましい画像を選択することができると言える。

0106

図20は,表示パネル21に表示されるホーム画面の一例である。

0107

図3に示すステップ101においてホーム画面が表示されると,図20に示す表示パネル21に含まれる画像表示領域129にアイコンIR5およびIR6(サンプル画像の一例である)が表示されている。アイコンIR5は,子供が食事をしていることを示すアイコンであり,アイコンIR6は,子供と父親が一緒にいることを示すアイコンである。これらのアイコンIR5およびIR6(第1の情報の一例である)を見ることにより,ユーザは,2018年6月に撮影された画像のうち,子供が食事をしている画像,子供と父親が一緒にいる画像が推奨されることが分かる。プログラムが立ち上がることにより,2018年4月に撮影された画像のうち,選択された画像I1からI11と2018年5月に撮影された画像のうち,選択された画像I101からI111とが解析されることにより共通のテーマが検出され,検出されたテーマに対応するアイコンIR5およびIR6が画像表示領域129に表示されることとなる。アイコンIR5およびIR6の代わりに,子供が食事をしているサンプル画像および子供と父親が一緒にいるサンプル画像が画像表示領域129に表示されてもよいし,「子供が食事をしている画像を推奨する」および「子供と父親が一緒にいる画像を推奨する」というように文字列が表示されてもよい。

0108

さらに,以前に選択された画像全体のテーマに共通するテーマ,たとえば2018年4月に撮影された画像の中から選択された第1の画像I1からI11から得られる第1のテーマと,2018年5月に撮影された画像の中から選択された第2の画像I101からI111から得られる第2のテーマと,から共通に得られるテーマをもつ画像が,2018年6月に撮影された画像の中から選択されるように基準が作成されてもよい。たとえば,第1のテーマが幼稚園の入園式(たとえば,入園式の画像が多い)というテーマと判断され,第2のテーマが幼稚園の遠足(たとえば,遠足の画像が多い)というテーマと判断された場合には,幼稚園のイベントとようにいずれのテーマにも上位概念となるテーマが共通のテーマとされ,そのようなテーマをもつ画像を推奨画像とするように基準が作成される。そのようなテーマにしたがって,2018年6月に撮影された画像から,幼稚園でのイベントの画像が推奨画像と決定される。

0109

共通の被写体(主要被写体),被写体が何をしているかなどのシチュエーション撮影場所,被写体の表情,被写体が所属する属性など,共通のテーマに沿った画像を毎月選択しやすくなり,共通性のある画像を選択しやすくなる。

0110

[変形例]
図21は,撮影アシスト処理手順を示すフローチャートである。図21に示す処理は,スマートフォン1がカメラ・モードに設定されたことに応じて開始される。

0111

カメラ部41によって被写体の撮影が開始され(ステップ252),表示パネル21には図22に示す撮影アシスト画面が表示される。

0112

図22は,撮影アシスト画面の一例である。

0113

撮影アシスト画面には,子供と父親とが一緒にいるアイコンIR6(第2の情報,テーマ,テーマに沿ったサンプル画像の一例である)が表示されている。このアイコンIR6を見ることにより,ユーザは,以前から子供と父親とが一緒に写っている画像が選択されていることが分かる。アイコンIR6の代わりに第1の画像161のうちの画像I8または第2の画像171のうちの画像I110(共通のテーマをもつ画像の一例である)を表示してもよい。また,図17に示した表示パネル21と同様に,吹き出し200が表示パネル21に表示される。吹き出し200には,子供と父親とが一緒にいる画像が選択されていることを示す文字列201,選択済み画像表示領域202および203が表示されている。

0114

シャッタ・オンされると(ステップ253でYES),撮影によって得られた画像データが内部記憶部51に記憶される(ステップ254)。ユーザは,子供と父親とが一緒にいる画像を記録するようになる。

0115

図23は,スマートフォン1において行なわれるショート・ムービの再生処理手順を示すフローチャートである。

0116

スマートフォン1の表示パネル21にショート・ムービ・ボタン(図示略)が表示され,そのショート・ムービ・ボタンがタッチされると(ステップ261でYES),表示パネル21にはショート・ムービ・アイコンが一覧で表示される(ステップ262)。

0117

図24は,ショート・ムービ・アイコン一覧表示画面の一例である。

0118

表示パネル21には,ショート・ムービ・アイコン271および273が表示されている。ショート・ムービ・アイコン271には,ショート・ムービの内容として「食事をする花子ちゃん」という名称が名付けられている。ショート・ムービ・アイコン273には,ショート・ムービの内容として「お父さんと太郎くん」という名称が名付けられている。これらの名称は,ショート・ムービとして表示される画像の内容をスマートフォンの主制御部100が解析することにより付与される。たとえば,ショート・ムービ・アイコン271によって表されるショート・ムービの内容は,食事のシーンが多いことから食事のショート・ムービであることが推測され,「食事をする花子ちゃん」という名称が付与される。「花子ちゃん」という名前は,ユーザによって入力される。ショート・ムービ・アイコン271によって表されるショート・ムービの内容は,大人男性赤ん坊とが一緒に写っているシーンが多いことから親子のショート・ムービであることが推測され,「お父さんと太郎くん」という名称が付与される。「太郎くん」という名前は,ユーザによって入力される。ショート・ムービの名称は主制御部100の解析を利用せずにすべてユーザによって入力されてもよい。ショート・ムービ・アイコン271および273には,再生ボタン272および274がそれぞれ形成されている。再生ボタン272または274がタッチされると(ステップ263でYES),タッチされた再生ボタンのショート・ムービ・アイコン271または273に対応するショート・ムービが再生され,表示パネル21に表示される(ステップ264)。

0119

図25は,ショート・ムービの再生内容を示している。

0120

ショート・ムービ・アイコン271の再生ボタン272がタッチされると,上述のようにして選択された「食事をしている子供」の画像が一定時間ごとに表示され,一定時間が経過すると次の画像に切り替えられる。図25においては,2018年4月に選択された画像I1,2018年5月に選択された画像I104および2018年6月に選択された画像IR2が一定時間ごとに順に表示されることが示されている。ショート・ムービは,たとえば,共通のテーマに沿った1年分の画像が一定時間ごとに切り替えられて表示される。ショート・ムービとして表示される画像は,上述したように作成された基準から推奨された画像であれば,その推奨された画像であることから分かるし,選択された画像から共通のテーマをもつ画像から選択してもよい。

0121

同様に,ショート・ムービ・アイコン273の再生ボタン274がタッチされると,上述のようにして選択された「父親と子供とが一緒に写っている画像」が一定時間ごとに表示され,一定時間が経過すると次の画像に切り替えられる。図25においては,2018年4月に選択された画像I8,2018年5月に選択された画像I110および2018年6月に選択された画像IR1が一定時間ごとに順に主制御部100(表示制御手段の一例である)によって制御されて表示されることが示されている。

0122

図26および図27は,スマートフォン1と画像サーバ280との間で通信しながら上述の処理を行う実施例を示している。

0123

図26に示すように,インターネットを介してスマートフォン1と画像サーバ280とが互いに通信可能である。

0124

スマートフォン1の表示パネル21に表示される推奨画像ボタン152がタッチされると(ステップ291でYES),推奨画像決定コマンドがスマートフォン1から画像サーバ280に送信される(ステップ292)。

0125

スマートフォン1から送信された推奨画像コマンドが画像サーバ280において受信されると(ステップ301でYES),図8に示す推奨画像についての情報(第1の情報の一例である)の決定処理が画像サーバ280おいて行われる(ステップ302)。画像サーバ280には,以前に選択された画像を表す画像データが記憶されており,その記憶されている画像データにもとづいて,どのような画像が選択されているかが分かり,選択された画像にもとづいて推奨画像についての情報が決定される。決定された推奨画像についての情報が画像サーバ280からスマートフォン1に送信される(ステップ303)。たとえば,「父親と子供とが一緒に写っている画像」を推奨画像とする情報,「食事をしている子供の画像」を推奨画像とする情報などが画像サーバ280からスマートフォン1に送信される。

0126

画像サーバ280から送信された情報(基準を表すデータの一例である)がスマートフォン1の無線通信部10(受信手段の一例である)によって受信されると(ステップ293でYES),図17などに示すように推奨画像についての情報が表示パネル21に表示されることとなる(ステップ294)。

0127

このように,推奨画像の情報を決定する処理(基準を作成する処理)が画像サーバ280において行われるようにしてもよい。また,上述の実施例ではスマートフォン1が利用されているが,スマートフォン1以外の専用の画像処理装置,パーソナル・コンピュータ,タブレット端末などを利用して構成することもできる。

0128

さらに,第1の画像161または第2の画像171のうち,対象画像群180の中から選択する画像との類似度(第2の類似度の一例である)を算出し,その第2の類似度が第2のしきい値以上の画像を表示する(第1の情報の報知の一例である)ようにしてもよい。すでに選択した第1の画像161または第2の画像171のような画像を対象画像群180の中から選択できるようになる。

0129

上述の処理を実行する処理部には,ソフトウエアを実行して各種の処理部として機能するCPU7のほかに,FPGA(field-programmable gate array)などのように製造後に回路構成を変更可能なプログラマブルロジックディバイスASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

0130

1つの処理部は,これらの各種のプロセッサのうちの1つで構成されてもよいし,同種または異種の2つ以上のプロセッサの組合せ(たとえば,複数のFPGA,CPUとFPGAの組合せ)で構成されてもよい。複数の処理部を1つのプロセッサで構成する例としては,第1に,クライアント・コンピュータやサーバなどのコンピュータに代表されるように,1つ以上のCPUとソフトウエアの組合せで1つのプロセッサを構成し,このプロセッサが複数の処理部として機能する形態がある。第2に,システム・オン・チップなどに代表されるように,複数の処理部を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように,各種の処理部は,ハードウエア的な構造として各種のプロセッサを1つ以上用いて構成される。

0131

さらに,これらの各種のプロセッサのハードウエア的な構造は,より具体的には,半導体素子などの回路素子を組合せた電気回路である。

0132

1:スマートフォン,2:筐体,7:CPU,10:無線通信部,20:表示入力部,21:表示パネル,22:操作パネル,30:通話部,31:スピーカ,32:マイクロホン,40:操作部,41:カメラ部,50:記憶部,51:内部記憶部,52:外部記憶部,60:外部入出力部,70:GPS受信部,80:モーションセンサ部,90:電源部,100:主制御部,121:撮影年月指定領域,122:撮影年表示領域,123:プルダウン・ボタン,124-125:撮影月指定領域,127:検索ボタン,128:撮影月表示領域,129:画像表示領域,130:画像追加領域,131:注文ボタン,132:ホーム・ボタン,133:物販ボタン,134:メニュー・ボタン,141-142:画像フォルダ・アイコン,151:画像表示領域,152:推奨画像ボタン,153:画像解析ボタン,154:確定ボタン,160:第1の画像群,161:第1の画像,170:第2の画像群,171:第2の画像,180:対象画像群,181:画像,200:吹き出し,201:文字列,202:画像表示領域,203:画像表示領域,204:推奨画像表示領域,210:吹き出し,211:文字列,212-212:画像表示領域,213:画像表示領域,214:推奨画像表示領域,220:吹き出し,221:文字列,222-223:画像表示領域,224:推奨画像表示領域,230:吹き出し,231:文字列,232:画像表示領域,234:推奨画像表示領域,240:星印のマーク,271:ショート・ムービ・アイコン,272:再生ボタン,273:ショート・ムービ・アイコン,274:再生ボタン,280:画像サーバ,BS:基地局装置,I1:画像,I6:画像,I8:画像,I11:画像,I100-I101:画像,I104-I105:画像,I110-I111:画像,I200-I201:画像,IR1-IR6:アイコン,NW:移動通信網,ST1:GPS衛星

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ