図面 (/)

この項目の情報は公開日時点(2020年3月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

複数枚の画像の全体同士を合成する従来と比較して、合成画像に写し込む被写体の決定に関する自由度が大きい撮影装置、撮影装置の作動プログラム及び作動方法を提供する。

解決手段

撮影装置の一例である携帯端末は、被写体を撮影する撮影部と、撮影部が撮影した画像をライブビュー表示する表示部と、抽出部と、合成部と、表示制御部とを有している。撮影部は、第1画像を取得する。抽出部は、第1画像の一部を、画像合成する合成対象として抽出する。合成部は、撮影部で撮影され、第1画像とは異なる第2画像に対して合成対象を合成する。表示制御部は、合成対象が合成された第2画像を表示部にライブビュー表示する。

概要

背景

デジタルカメラなどの撮影装置を用いた撮影手法において、1枚目撮影画像と2枚目の撮影画像を重ね合わせるというように、連続して撮影される複数枚の撮影画像の全体同士を重ね合わせた合成画像を得る撮影手法が知られている(特許文献1及び特許文献2)。こうした撮影手法は、多重露光撮影などと呼ばれる。

また、特許文献1及び特許文献2に記載の撮影装置は、LCDなどのディスプレイを有しており、ディスプレイに被写体をライブビュー表示する機能を有している。ライブビュー表示は、撮影画像を、スルー画像としてディスプレイに逐次表示する機能である。特許文献1及び特許文献2に記載の撮影装置は、スルー画像としてライブビュー表示される2枚目の撮影画像に直前に撮影した1枚目の撮影画像を合成することで、ディスプレイを通じてユーザが合成画像を確認できるようにしている。

概要

複数枚の画像の全体同士を合成する従来と比較して、合成画像に写し込む被写体の決定に関する自由度が大きい撮影装置、撮影装置の作動プログラム及び作動方法を提供する。撮影装置の一例である携帯端末は、被写体を撮影する撮影部と、撮影部が撮影した画像をライブビュー表示する表示部と、抽出部と、合成部と、表示制御部とを有している。撮影部は、第1画像を取得する。抽出部は、第1画像の一部を、画像合成する合成対象として抽出する。合成部は、撮影部で撮影され、第1画像とは異なる第2画像に対して合成対象を合成する。表示制御部は、合成対象が合成された第2画像を表示部にライブビュー表示する。

目的

本開示は、複数枚の画像の全体同士を合成する従来と比較して、合成画像に写し込む被写体の決定に関する自由度が大きい撮影装置、撮影装置の作動プログラム及び作動方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被写体を撮影する撮影部と、前記撮影部が撮影した画像をライブビュー表示する表示部と、前記表示部に表示する画像として第1画像を取得する画像取得部と、前記第1画像の一部を、画像合成する合成対象として抽出する抽出部と、前記撮影部で撮影され、前記第1画像とは異なる第2画像に対して前記合成対象を合成する合成部と、前記合成対象が合成された前記第2画像を前記表示部にライブビュー表示する制御を行う表示制御部と、を備えている撮影装置

請求項2

前記合成対象は、前記第1画像内の一部の領域に写り込むマーク又は文字列を含む請求項1に記載の撮影装置。

請求項3

記文字列には、メッセージが含まれており、前記マークには、文字、図形、模様及びこれらから選択された2以上の組み合わせのうちの少なくとも1つが含まれる請求項2に記載の撮影装置。

請求項4

前記抽出部は、前記第1画像内において前記マーク又は前記文字列の輪郭を判定して、判定した輪郭に沿って前記マーク又は前記文字列を抽出する請求項2又は3に記載の撮影装置。

請求項5

前記第1画像は、前記撮影部で撮影された画像であって、前記表示部にライブビュー表示される請求項1から4のいずれか1項に記載の撮影装置。

請求項6

前記抽出部は、前記ライブビュー表示中の前記第1画像の中から、前記合成対象を抽出する請求項5に記載の撮影装置。

請求項7

前記第1画像のライブビュー表示中に、前記合成対象の指定を受け付ける第1指定受付部を備えている請求項6に記載の撮影装置。

請求項8

前記ライブビュー表示中の前記第1画像の中から前記合成対象が抽出された後、前記表示制御部は、前記合成対象が合成された前記第2画像のライブビュー表示を開始する請求項6又は7に記載の撮影装置。

請求項9

前記抽出部が、前記第1画像の中から、前記合成対象を抽出した場合において、前記表示制御部は、前記表示部において、抽出された前記合成対象と抽出元の前記第1画像の背景とを識別するための視覚上の演出を行う請求項1から8のいずれか1項に記載の撮影装置。

請求項10

前記第2画像のライブビュー表示中に画像保存指示が入力された場合において、前記合成対象が合成された前記第2画像を保存用合成画像としてメモリに記録する記録部を備えている請求項1から9のいずれか1項に記載の撮影装置。

請求項11

前記第2画像のライブビュー表示中に、前記第2画像内の前記合成対象の編集指示として、前記合成対象の表示位置、表示姿勢、表示サイズ、及び表示色の少なくとも1つの指定を受け付ける第2指定受付部を備えている請求項1から10のいずれか1項に記載の撮影装置。

請求項12

前記合成対象に文字が含まれている場合に、前記文字をキャラクターコードに変換するOCR処理部と、前記キャラクターコードに基づいて前記文字のフォントを変更するフォント変更部とを備えており、前記合成部は、フォント変更後の前記文字を前記第2画像に合成する請求項1から11のいずれか1項に記載の撮影装置。

請求項13

被写体を撮影する撮影部、及び撮影部が撮影した画像をライブビュー表示する表示部を備えた撮影装置の作動プログラムであって、前記表示部に表示する画像として第1画像を取得する画像取得ステップと、前記第1画像の一部を、画像合成する合成対象として抽出する抽出ステップと、撮影部で撮影され、前記第1画像とは異なる第2画像に対して、前記合成対象を合成する合成ステップと、前記合成対象が合成された前記第2画像を前記表示部にライブビュー表示する制御を行う表示制御ステップと、をコンピュータに実行させる撮影装置の作動プログラム。

請求項14

被写体を撮影する撮影部、及び撮影部が撮影した画像をライブビュー表示する表示部を備えた撮影装置の作動方法であって、前記表示部に表示する画像として第1画像を取得する画像取得ステップと、前記第1画像の一部を、画像合成する合成対象として抽出する抽出ステップと、撮影部で撮影され、前記第1画像とは異なる第2画像に対して、前記合成対象を合成する合成ステップと、前記合成対象が合成された前記第2画像を前記表示部にライブビュー表示する制御を行う表示制御ステップと、を備えている撮影装置の作動方法。

技術分野

0001

本開示の技術は、撮影装置、撮影装置の作動プログラム及び作動方法に関する。

背景技術

0002

デジタルカメラなどの撮影装置を用いた撮影手法において、1枚目撮影画像と2枚目の撮影画像を重ね合わせるというように、連続して撮影される複数枚の撮影画像の全体同士を重ね合わせた合成画像を得る撮影手法が知られている(特許文献1及び特許文献2)。こうした撮影手法は、多重露光撮影などと呼ばれる。

0003

また、特許文献1及び特許文献2に記載の撮影装置は、LCDなどのディスプレイを有しており、ディスプレイに被写体をライブビュー表示する機能を有している。ライブビュー表示は、撮影画像を、スルー画像としてディスプレイに逐次表示する機能である。特許文献1及び特許文献2に記載の撮影装置は、スルー画像としてライブビュー表示される2枚目の撮影画像に直前に撮影した1枚目の撮影画像を合成することで、ディスプレイを通じてユーザが合成画像を確認できるようにしている。

先行技術

0004

特開2013−143725号公報
特開2012−235227号公報

発明が解決しようとする課題

0005

特許文献1及び特許文献2に記載の従来の撮影装置は、前述のように、複数枚の画像の全体同士を重ね合わせている。そのため、例えば、1枚目の撮影画像において、ユーザが合成を希望する特定の被写体の他にも、ユーザが合成を希望しない不要な被写体が写り込んでいる場合は、合成画像においては、不要な被写体も合成されてしまう。

0006

もちろん、撮影の際に、撮影画像に不要な被写体が写り込まないように構図を工夫する余地はある。しかしながら、写し込みたい特定の被写体と写り込ませたくない不要な被写体との位置関係上の制約から、構図の工夫にも限界があり、撮影画像において、不要な被写体の写り込みを排除することが困難である場合も多い。

0007

不要な被写体の写り込みを排除することが困難な場合、例えば、合成画像に写し込みたい被写体の選択又は写り込ませたくない被写体の排除など、ユーザが希望する合成画像の内容の決定に関する自由度が小さくなってしまうという問題があった。

0008

本開示は、複数枚の画像の全体同士を合成する従来と比較して、合成画像に写し込む被写体の決定に関する自由度が大きい撮影装置、撮影装置の作動プログラム及び作動方法を提供することを目的とする。

課題を解決するための手段

0009

上記目的を達成するために、本開示の撮影装置は、被写体を撮影する撮影部と、撮影部が撮影した画像をライブビュー表示する表示部と、表示部に表示する画像として第1画像を取得する画像取得部と、第1画像の一部を、画像合成する合成対象として抽出する抽出部と、撮影部で撮影され、第1画像とは異なる第2画像に対して合成対象を合成する合成部と、合成対象が合成された第2画像を表示部にライブビュー表示する制御を行う表示制御部と、を備えている。

0010

合成対象は、第1画像内の一部の領域に写り込むマーク又は文字列を含むことが好ましい。

0011

文字列には、メッセージが含まれており、マークには、文字、図形、模様及びこれらから選択された2以上の組み合わせのうちの少なくとも1つが含まれることが好ましい。

0012

抽出部は、第1画像内においてマーク又は文字列の輪郭を判定して、判定した輪郭に沿ってマーク又は文字列を抽出することが好ましい。

0013

第1画像は、撮影部で撮影された画像であって、表示部にライブビュー表示されることが好ましい。

0014

抽出部は、ライブビュー表示中の第1画像の中から、合成対象を抽出することが好ましい。

0015

第1画像のライブビュー表示中に、合成対象の指定を受け付ける第1指定受付部を備えていることが好ましい。

0016

ライブビュー表示中の第1画像の中から合成対象が抽出された後、表示制御部は、合成対象が合成された第2画像のライブビュー表示を開始することが好ましい。

0017

抽出部が、第1画像の中から、合成対象を抽出した場合において、表示制御部は、表示部において、抽出された合成対象と抽出元の第1画像の背景とを識別するための視覚上の演出を行うことが好ましい。

0018

第2画像のライブビュー表示中に画像保存指示が入力された場合において、合成対象が合成された第2画像を保存用の合成画像としてメモリに記録する記録部を備えていることが好ましい。

0019

第2画像のライブビュー表示中に、第2画像内の合成対象の編集指示として、合成対象の表示位置、表示姿勢、表示サイズ、及び表示色の少なくとも1つの指定を受け付ける第2指定受付部を備えていることが好ましい。

0020

合成対象に文字が含まれている場合に、文字をキャラクターコードに変換するOCR処理部と、キャラクターコードに基づいて文字のフォントを変更するフォント変更部とを備えており、合成部は、フォント変更後の文字を第2画像に合成することが好ましい。

0021

本開示の撮影装置の作動プログラムは、被写体を撮影する撮影部、及び撮影部が撮影した画像をライブビュー表示する表示部を備えた撮影装置の作動プログラムであって、表示部に表示する画像として第1画像を取得する画像取得ステップと、第1画像の一部を、画像合成する合成対象として抽出する抽出ステップと、撮影部で撮影され、第1画像とは異なる第2画像に対して、合成対象を合成する合成ステップと、合成対象が合成された第2画像を表示部にライブビュー表示する制御を行う表示制御ステップと、をコンピュータに実行させる。

0022

本開示の撮影装置の作動方法は、被写体を撮影する撮影部、及び撮影部が撮影した画像をライブビュー表示する表示部を備えた撮影装置の作動方法であって、表示部に表示する画像として第1画像を取得する画像取得ステップと、第1画像の一部を、画像合成する合成対象として抽出する抽出ステップと、撮影部で撮影され、第1画像とは異なる第2画像に対して、合成対象を合成する合成ステップと、合成対象が合成された第2画像を表示部にライブビュー表示する制御を行う表示制御ステップと、を備えている。

発明の効果

0023

本開示の技術によれば、複数枚の画像の全体同士を合成する従来と比較して、合成画像に写し込む被写体の決定に関する自由度を大きくすることができる。

図面の簡単な説明

0024

撮影装置の一例である携帯端末を用いてユーザが撮影している様子を示す図である。
携帯端末の電気構成の概略を示す図である。
携帯端末の機能ブロック図である。
合成撮影モード処理手順を示すフローチャートである。
合成撮影をするシーンの一例を示す図である。
第1画像をライブビュー表示している様子を示す図である。
第1画像内の合成対象を抽出する領域を指定している様子を示す図である。
合成対象の抽出方法の説明図である。
合成対象を抽出した直後の状態を示す図である。
第2画像をライブビュー表示している様子を示す図である。
第2画像の構図を決めている様子を示す図である。
合成対象の拡縮操作を示す図である。
合成対象の回転操作を示す図である。
合成対象の移動操作を示す図である。
画像保存指示の操作を示す図である。
合成画像のポストビュー表示を示す図である。
合成撮影の第1例の要約図である。
合成撮影の第2例の要約図である。
合成撮影の第3例の要約図である。
合成撮影の第4例の要約図である。
第1画像をメモリから読み出す変形例を示す図である。
OCR処理及びフォント変更処理をする変形例を示す図である。
合成対象として矩形領域を抽出する変形例を示す図である。
ターゲットマークを使用せずに合成対象を検出する例を示す図である。
図24において検出された合成対象が識別表示される様子を示す図である。

実施例

0025

以下、図面を参照して、本開示の技術に係る実施形態の一例について説明する。図1に示すように、携帯端末10は、例えばスマートフォンである。携帯端末10は、携帯電話として機能する他に、アプリなどと呼ばれる各種のアプリケーションプログラムを実行するコンピュータとして機能する。また、携帯端末10は、写真撮影を行うことも可能であり、撮影装置の一例である。

0026

携帯端末10の本体内には、被写体を撮影する撮影部11(図2参照)が内蔵されている。携帯端末10は、本体の前面には、タッチパネルディスプレイ12が設けられている。携帯端末10は、撮影部11で撮影した撮影画像を、スルー画像としてタッチパネルディスプレイ12に逐次表示するライブビュー表示が可能である。

0027

ライブビュー表示においては、撮影部11は、例えば、1秒間に30フレームフレームレートで撮影画像を出力し、タッチパネルディスプレイ12に表示されるスルー画像もそのフレームレートで更新される。そのため、ライブビュー表示されるスルー画像は、動画として視認される。被写体がライブビュー表示されるため、ユーザUは、タッチパネルディスプレイ12の表示を通じて、被写体及び撮影画像の構図を確認しながら、撮影を行うことができる。

0028

図2に一例として示すように、携帯端末10は、撮影部11、タッチパネルディスプレイ12、CPU(Central Processing Unit)14、操作スイッチ16、ワークメモリ17、ストレージデバイス18、メディアコントローラ19、外部I/F(Interface)21、及び通信部22を備えている。これらはバスライン23を介して通信可能に接続されている。

0029

CPU14は、オペレーティングシステムを実行することにより、主制御部26、及び表示制御部31として機能する。主制御部26は、携帯端末10の各部を統括的に制御する。表示制御部31は、タッチパネルディスプレイ12の表示を制御する。また、CPU14は、撮影部11が撮影する画像に対して画像処理を施す画像処理部32としても機能する。

0030

ワークメモリ17は、CPU14が各種のプログラムを実行する際のワークエリアとして使用される揮発性のメモリであり、RAM(Random Access Memory)が使用される。また、ワークメモリ17は、後述するようにライブビュー表示及び画像処理を行う際の作業用メモリとして使用される。

0031

ストレージデバイス18には、オペレーティングシステムの他、アプリケーションプログラム(AP)27などの各種のプログラムが格納されている。アプリケーションプログラム27としては、後述する写真合成アプリケーションプログラムの他、画像表示ソフト、ウエブブラウザ及びメールアプリケーションプログラムなどがある。

0032

また、ストレージデバイス18には、ユーザが携帯端末10を使用して撮影した画像などのユーザのデータを格納するユーザ領域28が設けられている。ストレージデバイス18は、例えば、フラッシュメモリなどの不揮発性メモリである。なお、ストレージデバイス18としては、HDD(Hard Disk Drive)又はSSD(Solid State Drive)などを使用してもよい。

0033

タッチパネルディスプレイ12は、ストレージデバイス18に格納されている、GUI(Graphical User Interface)として機能する操作画面、及び撮影部11が撮影した画像などを表示する表示部の一例である。また、タッチパネルディスプレイ12は、ユーザUの指などによるタッチ操作を検知する機能を備えており、タッチ操作を検知して、主制御部26に対して、操作指示を入力するための入力デバイスの一例である。タッチパネルディスプレイ12は、周知のように、例えば、LCD(Liquid Crystal Display)又は有機EL(Organic Electro-Luminescence)ディスプレイなどの表示部と、抵抗膜方式又は静電容量方式などのタッチパネル部とで構成される。

0034

操作スイッチ16は、携帯端末10の本体に設けられたマルチファンクションキー及び電源タンなどの各種の機械的な操作部であり、主制御部26に対して操作指示を入力する入力デバイスの一例である。

0035

主制御部26は、タッチパネルディスプレイ12及び操作スイッチ16からの操作指示の入力を受け付ける操作受付部である。

0036

表示制御部31は、主制御部26の制御の下、操作画面及び画像などをタッチパネルディスプレイ12に表示する制御を行う。表示制御部31は、操作画面及び画像などのデータを、タッチパネルディスプレイ12が取り扱えるビデオ信号に変換する処理などを行って、タッチパネルディスプレイ12に出力する。

0037

画像処理部32は、撮影部11が撮影した撮影画像に対して、輝度補正及び圧縮伸長処理といった一般的な画像処理の他、後述する画像抽出及び画像合成などの各種の画像処理を施す。

0038

メディアコントローラ19は、メモリーカード29などの着脱自在のリムーバブルメディアに対するデータの書き込みと読み出しを行う。

0039

外部I/F21は、例えばUSB(Universal Serial Bus)コネクタなどのインタフェースである。外部I/F21には、充電ケーブル通信ケーブル、及びUSBメモリなどが接続される。

0040

通信部22は、アンテナ及び通信制御回路を有しており、移動体通信網及び無線LAN(Local Area Network)を通じた無線通信、及び近距離無線通信などの通信機能を担う。

0041

撮影部11は、例えば、撮影レンズ11A、イメージセンサ11B、AD(Analog-to-digital)変換器(A/D)11C、画像入力コントローラ11D、画像信号処理回路11E、タイミングジェネレータ(TG)11F、及びドライバ11Gを有している。

0042

撮影レンズ11Aは、被写体からの光を集光して、イメージセンサ11Bの撮像面に被写体像結像させる。

0043

イメージセンサ11Bは、被写体光を撮像する撮像素子であり、被写体光を光電変換して、アナログ画像信号として出力する。イメージセンサ11Bとしては、例えば、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが使用される。イメージセンサ11Bは、ライブビュー表示の際には、予め設定されたフレームレートで、アナログの画像信号を逐次出力する。

0044

AD変換器11Cは、イメージセンサ11Bからのアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ11Dは、AD変換器11Cから入力されるデジタルの画像信号を、撮影画像としてワークメモリ17に記録する。画像入力コントローラ11Dは、ライブビュー撮影が行われている間は、撮影画像をスルー画像としてワークメモリ17に記録する。ワークメモリ17内において、スルー画像は、ライブビュー表示に使用され、イメージセンサ11Bのフレームレートに合わせて逐次更新される。

0045

画像信号処理回路11Eは、画像入力コントローラ11Dがワークメモリ17に記録した撮影画像に対して、ホワイトバランス処理ガンマ補正処理、及びYC変換処理などの各種の信号処理を施す。ホワイトバランス処理は、撮影画像に含まれるR(赤)、G(緑)、B(青)の各画像信号のゲインを調整してホワイトバランスを調整する処理である。ガンマ補正処理は、予め記憶されているガンマ特性に応じて、画像信号に対して行われる階調変換処理である。YC処理は、R、G、Bの画像信号を輝度信号Yと色差信号Cr、Cbに変換する処理である。画像信号処理回路11Eが処理を施した撮影画像は、ワークメモリ17に書き戻される。

0046

タイミングジェネレータ11Fは、主制御部26の制御下で、イメージセンサ11Bの動作タイミングを規定するタイミング信号を発生する。ドライバ11Gは、タイミングジェネレータ11Fからのタイミング信号に基づいて、イメージセンサ11Bを駆動する。

0047

表示制御部31は、撮影部11が作動して、携帯端末10が撮影装置として機能している場合、撮影部11が撮影した撮影画像をスルー画像としてタッチパネルディスプレイ12にライブビュー表示する制御を行う。ライブビュー表示は、例えば、撮影部11の起動と同時に開始される。そして、ライブビュー表示は、シャッタボタンの操作に応じた画像保存動作の実行中は一時的に中断されるが、基本的には、撮影部11の動作が終了するまでの間、継続される。

0048

より具体的には、撮影部11は上述したフレームレートで撮影画像を逐次出力し、撮影画像はワークメモリ17に出力される。撮影画像は、画像信号処理回路11Eで信号処理が施された後、ワークメモリ17に記録される。ライブビュー表示においては、撮影画像はスルー画像としてワークメモリ17に記録されて、上述したフレームレートで逐次更新される。ワークメモリ17内には、逐次出力される撮影画像を記録するエリアが2面設けられており、一方のエリアの撮影画像を表示中に、他方のエリアの撮影画像が更新される。表示に使用されるエリアと更新に使用されるエリアとは交互に切り替えられる。表示制御部31は、ワークメモリ17内において逐次更新されるスルー画像を読み出して、タッチパネルディスプレイ12の表示を逐次更新することによって、ライブビュー表示を実現する。また、ここでは、ライブビュー表示を行うために、撮影部11が行う撮影をライブビュー撮影と呼ぶ。

0049

また、ライブビュー表示中に、ユーザUによってシャッタボタンが操作されると、画像保存指示が入力される。画像保存指示が入力されると、そのタイミングで撮影された撮影画像が、ストレージデバイス18のユーザ領域28又はメモリーカード29のうちの予め設定された保存先に保存される。保存に際しては、画像処理部32は、撮影画像に対して圧縮処理を施した後、圧縮された撮影画像を、ユーザ領域28又はメモリーカード29に記録する。画像処理部32は、メモリーカード29へ撮影画像を記録する際には、メディアコントローラ19を介して行う。

0050

保存用の撮影画像としては、スルー画像として用いるためにワークメモリ17に記録された画像でもよいし、シャッタボタンの操作のタイミングで新たに撮影部11が取得した画像でもよい。また、スルー画像用の撮影画像の解像度を低くして、保存用の撮影画像の解像度を、スルー画像用の撮影画像の解像度よりも高くしてもよい。

0051

携帯端末10には、アプリケーションプログラム27の1つとして、スルー画像に対して画像合成を施してライブビュー表示する写真合成アプリケーションプログラムがインストールされている。写真合成アプリケーションプログラムは、例えば、スルー画像として第1画像をライブビュー表示中に、第1画像の一部を合成対象として抽出する。そして、抽出した合成対象を、第1画像と異なる第2画像と合成し、合成対象が合成された第2画像をスルー画像としてライブビュー表示する機能を携帯端末10において実現する。写真合成アプリケーションプログラムは、コンピュータである携帯端末10を撮影装置として機能させる作動プログラムの一例である。

0052

図3に示すように、写真合成アプリケーションプログラムが起動されると、CPU14は、画像処理部32は、抽出部32A及び合成部32Bとして機能する。また、ワークメモリ17には、画像メモリ17A及びVRAM(Video Random access memory)17Bとして機能する領域が設けられている。

0053

画像メモリ17Aは、撮影部11から出力される撮影画像がスルー画像として一時的に記録される領域である。VRAM17Bは、画像処理部32において、画像処理が施されたスルー画像が記録される領域である。画像処理部32は、画像メモリ17Aに記録されたスルー画像に対して画像処理を施して、処理済みのスルー画像をVRAM17Bに記録する。表示制御部31は、VRAM17Bに記録されたスルー画像をタッチパネルディスプレイ12に出力する。

0054

写真合成アプリケーションプログラムが起動されると、撮影部11が第1画像P1のライブビュー撮影を開始する。画像メモリ17Aには、第1画像P1がスルー画像として記録される。画像メモリ17A内の第1画像P1は、撮影部11のフレームレートに従って出力される最新の撮影画像に逐次更新される。第1画像P1は、撮影部11が撮影するスルー画像であり、合成対象O1の抽出元になる画像である。より詳細には、第1画像P1がスルー画像としてライブビュー表示される場合は、ライブビュー表示中の複数枚の第1画像P1の中から、最終的に合成対象O1の抽出元になる第1画像P1が選択される。抽出部32Aは、選択された第1画像P1から合成対象O1を抽出する。

0055

第1画像P1は、画像処理部32によって画像メモリ17Aから読み出される。第1画像P1は、画像処理部32によって輝度補正などの画像処理が施された後、VRAM17Bに記録される。表示制御部31は、スルー画像の第1画像P1をタッチパネルディスプレイ12にライブビュー表示する。画像処理部32は、表示部の一例であるタッチパネルディスプレイ12に表示する画像として第1画像P1を画像メモリ17Aから取得する画像取得部の一例である。

0056

また、表示制御部31は、第1画像P1をライブビュー表示する際には、第1画像P1内において合成対象O1を抽出するための指定領域DAを指定するためのGUIとして、ターゲットマーク46(図6参照)をタッチパネルディスプレイ12に表示する。

0057

抽出部32Aは、第1画像P1の一部を、画像合成する合成対象O1として抽出する。具体的には、抽出部32Aは、第1画像P1のうち、合成対象O1を抽出する抽出領域として指定された領域を指定領域DAと判定して、指定領域DAから合成対象O1を抽出する。主制御部26は、タッチパネルディスプレイ12を通じてユーザUが行う、第1画像P1の一部を抽出領域として指定する指定操作を受け付ける。この指定操作は、後述するように、ターゲットマーク46を使用して行われる。主制御部26は、受け付けた指定操作の情報を、抽出部32Aに入力する。

0058

抽出部32Aは、指定操作の情報に基づいて第1画像P1内の指定領域DAを判定し、判定した指定領域DAの中から、合成対象O1を抽出する。主制御部26は、第1画像P1のライブビュー表示中に合成対象O1の指定を受け付ける第1指定受付部の一例である。

0059

抽出部32Aは、指定領域DAの中から、例えば、マーク又は文字列を抽出する。マークには、文字、図形、模様及びこれらの中から選択された2以上の組み合わせのうちの少なくとも1つが含まれる。文字は、数字及び記号を含む概念である。マークには、会社名、商品名、店名、名、又は地名などを示すロゴが含まれる。模様には、縞模様チェック柄、及びドット柄などが含まれる。また、マークには、文字、数字又は記号のいずれか1字で構成されるものも含まれる。

0060

文字列には、手書きの文字又は印字された文字で構成されるメッセージ、交通安全の標語観光地の歓迎又は送迎挨拶文、商品の広告文などが含まれる。メッセージは、例えば、「先日はありがとう」又は「入学おめでとう」といった、特定の人に向けて思いを伝える言葉であり、お祝いの言葉、お礼の言葉、及び挨拶文などが含まれる。

0061

この他、観光名所観光客に提供されるスタンプなどの印章又は印影もマークに含まれる。また、お又は神社において、参拝客に対して提供される印章又は印影である御印なども、マーク又は文字列のいずれかに含まれる。また、マーク又は文字列に含まれる文字は、日本語に限らず、英語、中国語、韓国語など外国語でもよい。

0062

抽出部32Aは、例えば、指定領域DA内における画像のコントラストに基づいてマーク又は文字列の輪郭を判定して、判定した輪郭に応じた領域をマーク又は文字列として抽出する。第1画像P1の中から合成対象O1が抽出されると、画像メモリ17Aには、抽出された合成対象O1が記録される。

0063

撮影部11は、画像メモリ17Aに合成対象O1が保持された状態で、第2画像P2のライブビュー撮影を開始する。画像メモリ17Aには、第2画像P2がスルー画像として記録される。タッチパネルディスプレイ12においては、第2画像P2のライブビュー表示が開始される。第2画像P2は、撮影部11が撮影するスルー画像であり、合成対象O1が合成される合成先の画像である。

0064

合成部32Bは、第2画像P2と合成対象O1とを合成する。合成部32Bは、初期状態では、合成対象O1を、タッチパネルディスプレイ12の表示画面の中央に表示されるように配置し、この合成対象O1と第2画像P2とを重ね合わせる。合成対象O1が合成された第2画像P2はVRAM17Bに記録される。表示制御部31は、合成対象O1が合成された第2画像P2のライブビュー表示を開始する。

0065

また、主制御部26は、タッチパネルディスプレイ12を通じて入力された操作指示に基づいて、タッチパネルディスプレイ12内における合成対象O1の表示位置、表示姿勢、表示サイズ、及び表示色の少なくとも1つの指定を受け付ける。主制御部26が受け付けた操作指示は、合成部32Bに入力される。合成部32Bは、入力された操作指示に基づいて、第2画像P2内における合成対象O1の表示位置などを変更する。

0066

また、通常の撮影の場合と同様に、合成対象O1が合成された第2画像P2のライブビュー表示中に、ユーザUによってシャッタボタンが操作されると、画像保存指示が入力される。画像保存指示が入力されると、そのタイミングで、合成対象O1が合成された第2画像P2が、保存用の合成画像として、ストレージデバイス18のユーザ領域28又はメモリーカード29のうちの予め設定された保存先に保存される。保存に際しては、画像処理部32が合成画像に対して圧縮処理を施して、圧縮された合成画像を、ユーザ領域28又はメモリーカード29に記録する。画像処理部32は、合成対象O1が合成された第2画像P2を保存用の合成画像としてメモリに記録する記録部の一例である。

0067

上記構成による作用について図4に示すフローチャート及び図5から図17の携帯端末10の使用例などを示す図に従って、説明する。図5は、ユーザUが携帯端末10を使用して撮影を行うシーンを示す。

0068

図5に示すシーンは、ユーザUが旅行で出かけた「富士山」が見える場所であり、その場所には、古びた「フジカラー及び富士フイルム」のロゴ42を表示する看板41がある。本例では、この場所において、「富士山(ふじさん)」と「富士(ふじ)フイルム」との語感類似性に基づいて、ユーザUが、「富士山」と「フジカラー及び富士フイルム」のロゴ42という2つの被写体を組み合わせた合成写真の撮影を思い付き、その撮影を、携帯端末10を使用して行う例で説明する。本例のロゴ42は、詳細には、「フジカラー」という商品名を示す装飾的な文字列と、ベタ塗の楕円内に「富士フイルム」という会社名を示す文字列が白抜きにされた、装飾的な文字列及び図形の組み合わせとが二段書きにされたものである。

0069

図4に示すように、携帯端末10において、写真合成アプリケーションプログラムが起動されると、携帯端末10は、合成撮影モードに移行する。合成撮影モードにおいては、まず、ステップS1001に示すように、撮影部11において第1画像P1のライブビュー撮影が開始されて、タッチパネルディスプレイ12において第1画像P1のライブビュー表示が開始される。

0070

図6に示すように、携帯端末10において、表示制御部31は、第1画像P1のライブビュー表示が開始されると、第1画像P1に重ねてターゲットマーク46を表示する。本例のターゲットマーク46は、左右一対カギ形の括弧で構成される。もちろん、本例のターゲットマーク46の形状は一例であり、例えば、矩形の枠線などで構成されてもよい。ターゲットマーク46は、例えば、タッチパネルディスプレイ12の表示画面の中央に配置される。

0071

ステップS1002において、携帯端末10は、ターゲットマーク46を表示した状態で、第1画像P1内において合成対象O1を抽出する抽出領域の指定を待機する。

0072

ユーザUは、合成対象O1が決まった場合は、その合成対象O1がターゲットマーク46内に収まるように、第1画像P1の構図を決める。本例では、合成対象O1は、ロゴ42であるため、図7に示すように、ロゴ42をターゲットマーク46内に収めるため、表示画面の中央にロゴ42が位置するように、第1画像P1の構図を決める。構図の決定は、携帯端末10を動かして被写体との相対的な位置関係を調整したり、携帯端末10にズーム機能がある場合にはズーム機能を利用しながら行われる。

0073

図7に示すように、タッチパネルディスプレイ12において、ターゲットマーク46内にロゴ42が収まった状態で、ターゲットマーク46の周辺が指Fでタップされると、そのタップ操作を、携帯端末10の主制御部26は、合成対象O1を含む抽出領域の指定操作として受け付ける(ステップS1002でY)。主制御部26は、ターゲットマーク46の位置に応じた座標情報を、受け付けた指定操作の情報として抽出部32Aに入力する。座標情報は、例えば、ターゲットマーク46で囲われる矩形の領域を画定するための座標情報である。

0074

ステップS1003において、抽出部32Aは、主制御部26から入力された指定操作の情報に基づいて、抽出領域として指定された矩形の領域を指定領域DAと判定する。抽出部32Aは、例えば、コントラストに基づく輪郭抽出技術を用いて、指定領域DA内から合成対象O1を抽出する。具体的には、抽出部32Aは、指定領域DA内における画素のコントラストに基づいて、コントラストの大きい境界部分を、抽出する合成対象O1の輪郭と判定する。

0075

図8に示すように、ロゴ42は、複数の文字42Aで構成される文字列と、楕円42Bなどの図形で構成される。文字42A及び楕円42Bの輪郭部分は、背景とのコントラストが大きい境界部分となる。このため、抽出部32Aは、指定領域DA内において、文字42A及び楕円42Bと背景との境界部分を、抽出する文字42A及び楕円42Bの輪郭部分と判定する。そして、抽出部32Aは、判定した輪郭に沿って文字42A及び楕円42Bを抽出する。

0076

抽出部32Aは、複数の文字42A及び楕円42Bのそれぞれの輪郭を個別に認識する。その一方で、抽出部32Aは、抽出された複数の文字42A及び楕円42Bの相対的な位置関係については、第1画像P1内に写り込んだ状態を維持し、複数の文字42A及び楕円42Bで構成されるロゴ42を、1つの合成対象O1として取り扱う。

0077

なお、本例においては、楕円42B内に白抜きで「富士フイルム」の文字が入っている。この白抜きの文字については、輪郭を判定しなくてもよい。楕円42内において白抜きの文字とその背景は色が異なっているため、楕円42Bの形状で画像を抽出すれば、楕円42B内の白抜きの文字を識別できるためである。もちろん、白抜きの文字について輪郭を判定して、その内側部分を合成対象O1から除外してもよい。その場合は、抽出された楕円42の合成対象O1において、白抜きの文字部分は透明になる。

0078

図9に示すように、抽出部32Aが、第1画像P1の中から、合成対象O1であるロゴ42を抽出した場合において、表示制御部31は、タッチパネルディスプレイ12において、抽出された合成対象O1であるロゴ42と、抽出元の第1画像P1の背景とを識別するための視覚上の演出を行う。図9に示す例は、視覚上の演出として、予め設定された時間の間、抽出したロゴ42を小刻みに拡縮する視覚上のバイブレーションを行う例である。これにより、抽出したロゴ42が、抽出元の第1画像P1の背景から浮き上がったように見えるため、ユーザUはロゴ42が合成対象O1として抽出されたことを明確に認識することができる。なお、視覚上の演出としては、バイブレーションの他に、予め設定された時間の間、抽出した合成対象O1を拡大させて表示する状態を継続させてもよい。この他、抽出した合成対象O1を点滅させたり、色を変更したりといった視覚上の演出を採用してもよい。

0079

合成対象O1が抽出されると、ステップS1004に示すように、撮影部11は、第2画像P2のライブビュー撮影を直ちに開始する。第2画像P2のライブビュー撮影が開始されると、ステップS1005において、合成部32Bは、抽出された合成対象O1を第2画像P2に合成する。そして、ステップS1006において、表示制御部31は、タッチパネルディスプレイ12において、合成対象O1が合成された第2画像P2をライブビュー表示する。

0080

図10は、合成対象O1であるロゴ42が合成された第2画像P2がライブビュー表示されている様子を示す。図10に示すように、表示制御部31は、合成対象O1が合成された第2画像P2をライブビュー表示する際には、初期状態では、ロゴ42を、タッチパネルディスプレイ12の表示画面の中央に表示する。さらに、表示制御部31は、例えば、タッチパネルディスプレイ12の表示画面の下方位置に、色変更ボタン47とシャッタボタン48とをGUIとして表示する。色変更ボタン47は、後述するように、合成対象O1の色を変更するために使用される操作ボタンである。シャッタボタン48は、画像保存指示を入力するための操作ボタンであり、合成対象O1が合成された第2画像P2を、保存用の合成画像として保存するための操作ボタンである。

0081

ユーザUは、このように合成対象O1が合成された第2画像P2のライブビュー表示を見ながら、第2画像P2の構図、及び第2画像P2の被写体と合成対象O1との相対的な位置関係を決める。

0082

具体的には、図11に示すように、本例では、ユーザUは、「フジカラー及び富士フイルム」のロゴ42と「富士山」とを組み合わせた合成写真の撮影をしようと考えている。そのため、ユーザUは、第2画像P2の被写体として「富士山」が写り込むように、携帯端末10の位置及び向きを調節する。そして、第2画像P2内の「富士山」の位置、サイズ及び画角などを調節する。こうした操作により、ユーザUは、第2画像P2の構図を決める。

0083

こうした第2画像P2の構図の決定と並行して、ユーザUは、第2画像P2の被写体である「富士山」と合成対象O1であるロゴ42との相対的な位置関係を決める。それに際して、合成対象O1であるロゴ42の表示位置、表示姿勢、表示サイズ又は表示色などの編集を行う。

0084

ステップS1007において、主制御部26は、第2画像P2内の合成対象O1の編集指示の入力を待機する。編集指示が入力された場合は(S1007でY)、S1008に進み、画像処理部32は、編集指示の内容に従って第2画像P2内で合成対象O1を編集する。図12から図14は、編集指示の例示である。

0085

図12は、合成対象O1であるロゴ42の表示サイズを拡縮する編集指示を示す。表示サイズを拡縮する場合には、例えば、ピンチアウト又はピンチインといったジェスチャで行われる。ピンチアウトは、タッチパネルディスプレイ12において、2本の指Fで表示画面をタッチした状態で、2本の指Fの間隔を拡げるジェスチャである。2本の指Fでロゴ42の上下又は左右をタッチした状態で、ピンチアウトが行われると、ロゴ42の表示サイズが拡大される。ピンチアウトとは反対に、ピンチインは、2本の指Fの間隔を狭めるジェスチャである。ピンチインが行われると、ロゴ42の表示サイズが縮小される。

0086

図13は、合成対象O1であるロゴ42の表示姿勢を変化させる編集指示の一例であり、ロゴ42を回転させる例を示す。ロゴ42を回転させる場合は、ユーザUは、タッチパネルディスプレイ12において、ロゴ42の上下又は左右を2本の指Fでタッチした状態で、2本の指Fの間隔を維持したまま、2本の指Fを回転させるジェスチャを行う。

0087

図14は、合成対象O1であるロゴ42の表示位置を移動させる編集指示を示す。ロゴ42の表示位置を移動させる場合は、ユーザUは、タッチパネルディスプレイ12において、1本の指Fでロゴ42をタッチした状態で、移動したい方向に向けて指Fをスライドさせるジェスチャを行う。こうしたジェスチャはスワイプなどと呼ばれる。

0088

また、色変更ボタン47がタップされると、表示色を選択するためのパレット(図示せず)が表示される。このパレットには、複数の色が配列されており、その中から希望する色を指定すると、指定した色にロゴ42の表示色が変更される。なお、色変更ボタン47を指Fでタップすると、白と黒、白と赤、白と黒と赤というように、色変更ボタン47をタップする回数に応じて、予め決められた複数色の間で変更されるようにしてもよい。色変更は、例えば、合成対象O1の色と背景の色とが色彩上重なって合成対象O1が見えにくくなるのを回避する目的で行われる。あるいは、ユーザUの感性に基づいて、背景の色に合わせて合成対象O1の色を変化させることを目的として色変更が行われてもよい。

0089

主制御部26は、合成対象O1に対するこうしたジェスチャを、編集指示として受け付ける。主制御部26は、第2画像P2のライブビュー表示中に、第2画像P2内の合成対象O1の編集指示を受け付ける第2指定受付部の一例である。主制御部26は、受け付けた編集指示を合成部32Bに送信する。合成部32Bは、受信した編集指示に基づいて、第2画像P2内の合成対象O1を編集する。

0090

本例では、例えば、図15に示すように、第2画像P2内の「富士山」を背景に、富士山の冠雪部分の下方に、ロゴ42が配置されるように、第2画像P2の構図の決定及びロゴ42の編集が行われる。

0091

ステップS1009において、主制御部26は、合成対象O1であるロゴ42と第2画像P2とが合成された合成画像の画像保存指示を待機する。図15に示すように、第2画像P2のライブビュー表示中に、シャッタボタン48が指Fでタップされると、主制御部26は、シャッタボタン48のタップ操作を、合成画像の画像保存指示として受け付ける。

0092

合成画像の画像保存指示が入力されると(ステップS1009でY)、合成部32Bは、シャッタボタン48がタップ操作されたタイミングで撮影された第2画像P2を確定し、確定した第2画像P2内におけるロゴ42の表示位置などを確定する。合成部32Bは、確定した第2画像P2に表示位置などが確定したロゴ42を合成し、その第2画像P2を、保存用の合成画像として、画像メモリ17Aに出力する。画像処理部32は、画像メモリ17Aに出力された保存用の合成画像に対して、圧縮処理を施す。画像処理部32は、圧縮処理済みの合成画像を、ストレージデバイス18のユーザ領域28又はメモリーカード29に記録して、合成画像を保存する(ステップS1010)。

0093

図16に示すように、合成画像が保存される場合において、表示制御部31は、保存される合成画像を、タッチパネルディスプレイ12に予め設定された時間だけ静止画として表示する、いわゆるポストビュー表示を行う。これにより、ユーザUは、合成画像内における、第2画像P2の被写体の構図及びロゴ42の表示位置などを確認することができる。

0094

携帯端末10は、合成撮影モードが終了するまで(ステップS1011でY)、ステップS1001からステップS1010までの処理を繰り返す。

0095

図17は、合成撮影モードにおける携帯端末10の処理をまとめた図である。要するに、携帯端末10において、抽出部32Aは、スルー画像としてライブビュー表示される第1画像P1の中から、その一部であるロゴ42を、画像合成する合成対象O1として抽出する。そして、合成部32Bは、撮影部11で撮影され、第1画像P1とは異なる第2画像P2に対して合成対象O1(ロゴ42)を合成し、表示制御部31が、合成対象O1が合成された第2画像P2をライブビュー表示する。

0096

このように、携帯端末10によれば、第1画像P1全体ではなく、第1画像P1のうちのユーザUが希望する特定の被写体を合成対象O1として抽出することができる。その結果として、ユーザUが希望しない不要な被写体を合成対象O1から排除することが可能となる。

0097

また、携帯端末10によれば、第1画像P1から抽出した合成対象O1と合成される第2画像P2は、合成対象O1が合成された態様でライブビュー表示される。そのため、ユーザUは、第2画像P2の構図及び第2画像P2内に挿入される合成対象O1の位置といった、第2画像P2の被写体と合成対象O1との合成状態をライブビュー表示で確認しながら、第2画像P2において合成対象O1と組み合わせる被写体を選択することができる。

0098

そのため、本開示の撮影装置の一例である携帯端末10は、複数枚の画像の全体同士を合成する従来の多重露光撮影技術と比較して、合成画像に写し込む被写体の決定に関する自由度を大きくすることができる。

0099

また、上記例では、抽出部32Aは、第1画像P1内においてマーク又は文字列(一例としてロゴ42)の輪郭を判定して、判定した輪郭に沿ってマークを合成対象O1として抽出している。そのため、例えば、マーク又は文字列とその背景とを含む矩形領域を合成対象O1として抽出する場合と比較して、マーク又は文字列の背景に写り込む不要な被写体を排除することができる。

0100

また、上記例では、第1画像P1は、撮影部11で撮影された画像であり、タッチパネルディスプレイ12にライブビュー表示される画像である。このような第1画像P1から合成対象O1を抽出できるため、ユーザUは、旅行先などユーザUが現に存在する環境において、ユーザUが見つけた印象的なマーク又は文字列などを合成対象O1として抽出しやすい。

0101

また、第1指定受付部の一例である主制御部26は、第1画像P1のライブビュー表示中に、合成対象O1の指定を受け付ける。そのため、ユーザUは、ライブビュー表示で第1画像P1内の合成対象O1の表示サイズ及び表示位置などを確認しながら合成対象O1を指定できるため、合成対象O1を選択しやすい。

0102

また、ライブビュー表示中の第1画像P1から合成対象O1が抽出された後、表示制御部31は、抽出された合成対象O1が合成された第2画像P2のライブビュー表示を開始する。そのため、第1画像P1から第2画像P2への表示切り替え操作などが不要であり、操作が簡単である。

0103

また、携帯端末10は、合成対象O1が合成された第2画像P2を合成画像として保存できる。こうすれば、ユーザUは、後で合成画像を鑑賞したり、知人に合成画像を送ったりすることができるため、楽しみが広がる。

0104

また、第2指定受付部の一例である主制御部26は、第2画像P2のライブビュー表示中に、第2画像P2内の合成対象O1の編集指示を受け付ける。第2画像P2の被写体と合成対象O1の相対的な位置関係を確認できるため、合成対象O1の編集がしやすい。

0105

また、上記例では、合成対象O1として、文字を含むマークの一例であるロゴ42を例に説明した。具体的には、「フジカラー及び富士フイルム」と「富士山」という語感の類似性から着想を得て、「フジカラー及び富士フイルム」というロゴ42と「富士山」という2つの被写体を合成した合成写真を撮影する例を示した。こうした撮影行為は、ある1つの被写体を撮りたいという要求ではなく、文字とその文字と関連する別の被写体とを組み合わせて撮りたいという、ユーザの要求に応えるものである。

0106

さらに、こうした撮影行為は、合成対象O1として選択した文字を起点として、文字と組み合わせる第2画像P2の被写体を決定する行為だけではなく、第2画像P2内における文字のレイアウト及び文字に合わせた第2画像P2の構図など、ユーザに対して2つの被写体の組み合わせに関してクリエイティブ発想を促すことができる。こうした撮影行為は、写真撮影の新たな楽しみ方であり、新たな撮影体験とも呼べる行為である。

0107

というのも、過去に撮影された複数枚の写真を素材として、これらの素材を組み合わせて合成写真を作成するという写真コラージュという手法は、従来から存在する。しかしながら、携帯端末10の写真合成機能が提供する撮影体験は、過去の写真のコラージュとは次のように異なる。

0108

すなわち、携帯端末10の写真合成機能によれば、旅行先など、ユーザが現に存在する環境において、ユーザのその時の気分及びその時の雰囲気に応じて、印象に残る文字をその環境から切り取るという行為が可能である。さらに、切り取った文字を起点として、ユーザの感性で、その文字にフィットする被写体を見つけて、両者を組み合わせた合成写真をその場で撮影することができる。こうした撮影体験は、いわば、ユーザの現在の環境及び感性に合わせた、即席の写真コラージュともいうべきものであり、こうした写真撮影の楽しみ方は、従来の写真コラージュとは明確に異なる、全く新しい撮影体験といえる。

0109

図18図20は、上記例の他に、携帯端末10が提供する写真撮影の楽しみ方の例を示す。図18に示す例は、ユーザの旅行先の駅名である「おこっぺ」というロゴ52と、そこで食べた「アイスクリーム」とを組み合わせた合成写真を撮影する例である。図18に示す例では、ホームに設置されている駅名を表示する表示板51を第1画像P1として撮影し、その表示板51から、「おこっぺ」という平仮名部分のロゴ52を合成対象O1として抽出している。そして、「アイスクリーム」を被写体とする第2画像P2が撮影されて、合成対象O1のロゴ52が第2画像P2に合成されている。

0110

このように、携帯端末10の写真合成機能を用いれば、「おこっぺ」という旅行先の駅名のロゴ52と、そこで食べた「アイスクリーム」とを合成した合成写真を撮影することで、関連する2つの思い出を1つの写真に重ね合わせて残すといった楽しみ方が可能となる。しかも、携帯端末10によれば、旅行から帰った後に複数枚の写真をコラージュするといった作業をすることなく、旅行先で即座に合成写真の作成が可能となる。旅行先において強く印象に残った思い出を即座に合成写真として残すことが可能となるため、旅行から帰った後に撮影済みの写真を編集する場合と比べて、強く印象に残った思い出を鮮明な形で残しやすい。また、こうした合成写真を複数枚まとめた旅行のアルバムを作成しておくことで、旅行先でユーザがその時に感じた印象及び雰囲気をいつまでも思い出せる形で保存することも可能である。

0111

図19に示す例は、ユーザが仲間とビアガーデンに行ったときに、ビアガーデンの店名である「〇×ビアガーデン」という店名のロゴ54と、乾をしている仲間たちとを組み合わせた合成写真を撮影する例である。図19に示す例では、店名のロゴ54が表示されている看板53を第1画像P1として撮影し、その第1画像P1から、「〇×ビアガーデン」というロゴ54を合成対象O1として抽出している。その後に、乾杯をしている仲間たちを被写体とする第2画像P2が撮影されて、合成対象O1のロゴ54が第2画像P2に合成される。

0112

このように、携帯端末10の写真合成機能を用いれば、「〇×ビアガーデン」という店名のロゴ54と、その店で乾杯をしている仲間たちとを合成した合成写真を撮影することで、図18に示す例と同様に、関連する2つの思い出を1つの写真に重ね合わせて残すといった楽しみ方が可能となる。

0113

しかも、図19に示す例では、「〇×ビアガーデン」というロゴ54が、全体として円弧状に配列されており、その円弧状に合わせるように、乾杯をしている仲間たちの手の上げ方及び姿勢が調節されている。具体的には、三人のうちの中央の人のビールを持った手の位置が最も高く、その両脇の二人の手の位置が、ロゴ54の円弧形状に合わせて少し低くなっている。また、両脇の二人の頭の位置及び姿勢も、ロゴ54の円弧形状に合わせて調節されている。

0114

この合成写真の撮影に際しては、「〇×ビアガーデン」というロゴ54は第1画像P1から抽出されて、第2画像P2と合成した状態でライブビュー表示される。本例のように、第2画像P2に写る被写体が人である場合は、携帯端末10を操作して撮影するユーザと被写体との間で、例えば、「もっと高く手をあげて」、「頭をかがめて」、又は「背を丸めて」というように、コミュニケーションを取ることができる。このようにユーザと被写体がコミュニケーションをとりながら、ロゴ54の形状に合わせて、被写体のポージングを決めるといったことも可能となる。図19に示すこのような例も写真撮影の新しい楽しみ方又は新しい撮影体験の一例と言える。

0115

図20に示す例は、「ふじお君 入学おめでとう。」という、手書きで書かれたお祝いの言葉を示すメッセージ56と、「ランドセル」とを組み合わせた合成写真を撮影する例である。図20に示す例では、メッセージ56を書いたメモ55を第1画像P1として撮影し、その第1画像P1から、「ふじお君 入学おめでとう。」というメッセージ56を合成対象O1として抽出している。そして、「ランドセル」を被写体とする第2画像P2が撮影されて、合成対象O1のメッセージ56が第2画像P2に合成されている。メッセージ56の合成に際しては、ランドセルの蓋の部分にメッセージ56が収まるように、メッセージ56の姿勢及び表示サイズが編集されている。

0116

このように、携帯端末10の写真合成機能を用いれば、メッセージ56とそれに関連する被写体とを合成して、簡単にメッセージカードのような合成写真を作成することも可能である。メッセージ56は、第1画像P1に写り込む文字列の一例である。図20に示す、「入学おめでとう」というメッセージ56とそれに関連するランドセルとの組み合わせのように、大切な手紙とそれと関連する被写体とを重ね合わせた合成写真は、将来的に思い出深い写真になると考えられる。携帯端末10によれば、こうした合成写真を簡単に残すことができる。

0117

「変形例1」
また、上記例では、第2画像P2だけでなく、第1画像P1もライブビュー表示が可能なスルー画像の例で説明したが、図21に示すように、第1画像P1はスルー画像でなくてもよい。すなわち、第1画像P1は、過去に撮影されて、メモリーカード29又はストレージデバイス18のユーザ領域28などに保存された撮影画像の中から読み出された画像でもよい。合成撮影モードの際には、保存済みの撮影画像の中から、1枚の第1画像P1がユーザによって選択されて、タッチパネルディスプレイ12に表示される。

0118

ここで、抽出領域が指定されると、抽出部32Aは、抽出領域として指定された指定領域DAから合成対象O1を抽出する。そして、抽出した合成対象O1が合成された第2画像P2が表示される。以降の処理は、上記例と同様である。

0119

本例の場合は、主制御部26の制御の下、メモリーカード29又はユーザ領域28から第1画像P1が読み出される。第1画像P1は画像メモリ17Aに記録される。メモリーカード29又はユーザ領域28から読み出される第1画像P1は圧縮されている。画像処理部32は、画像メモリ17Aから第1画像P1を読み出して、第1画像P1に対して伸長処理を施す。抽出部32Aは、伸長処理が施された第1画像P1から合成対象O1を抽出する。本例においても、画像処理部32は、表示部の一例であるタッチパネルディスプレイ12に表示する画像として第1画像P1を取得する画像取得部として機能する。

0120

このように、過去の撮影画像を第1画像P1として利用できれば、例えば、ユーザUが旅行先で見つけた被写体に基づいて、ユーザUが、過去に撮影した撮影画像に写し込まれたマーク又は文字列を連想した場合に、その被写体と、被写体から連想したマーク又は文字列との合成写真を得るといった楽しみ方が可能となる。また、合成撮影を行ってメモリーカード29又はユーザ領域28に記録した合成画像を、第1画像P1として利用してもよい。こうすれば、複数回の合成が可能となるので、さらに楽しみ方が広がる。

0121

また、第1画像P1としては、メモリーカード29又はユーザ領域28に保存されている撮影画像だけでなく、インターネットなどを介してサーバからダウンロードした画像を第1画像P1として利用できるようにしてもよい。サーバから画像をダウンロードする場合も、いったんはメモリーカード29又はユーザ領域28に記録されるため、その後の処理は、メモリーカード29又はユーザ領域28から撮影画像を第1画像P1として利用する場合と同様である。

0122

「変形例2」
また、図22に示すように、合成対象O1として抽出されるメッセージ56を、文字の輪郭に応じた画素の集合である画像データとして抽出するのではなく、キャラクターコードの集合に変換するOCR(Optical Character Recognition)処理を行って、文字のフォントを変更可能としてもよい。

0123

図22に示す例では、画像処理部32は、抽出部32A及び合成部32Bに加えて、OCR処理部32C及びフォント変更部32Dとして機能する。抽出部32Aは、例えば、図20に示した例と同様に、第1画像P1から、合成対象O1として、「ふじお君 入学おめでとう。」という手書きのメッセージ56を抽出する。抽出部32Aは、コントラストに基づいて文字の輪郭を判定して、その輪郭に応じてメッセージ56を画像データとして抽出する。

0124

OCR処理部32Cは、画像データとして抽出されたメッセージ56に基づいて、メッセージ56に含まれる各文字を1文字ずつ、キャラクターコードに変換する。こうしたOCR処理は、パターン認識などの周知の技術を用いて行われる。フォント変更部32Dは、OCR処理部32Cからキャラクターコードを受け取り、キャラクターコードに基づいて、メッセージ56の文字のフォントを変更する。フォントの指定は、例えば、フォントの候補をGUIとしてタッチパネルディスプレイ12に表示して、ユーザに選択させる方法で行われる。合成部32Bは、フォント変更後の文字で構成されるメッセージ56Aを第2画像P2に合成する。

0125

「変形例3」
上記例では、ロゴなどのマーク又はメッセージなどの文字列を合成対象O1として抽出する場合において、マーク又はメッセージの輪郭に沿って抽出した例で説明したが、輪郭に沿って抽出するのではなく、図23に示すように、矩形の指定領域DAを矩形のまま合成対象O1として抽出してもよい。

0126

図23に示す例では、第1画像P1において、矩形の指定領域DAが指定される。抽出部32Aは、輪郭の判定を行わずに、指定領域DAを矩形のまま合成対象O1として抽出する。合成部32Bは、抽出した矩形の合成対象O1を第2画像P2に合成する。この場合には、抽出された合成対象O1に、マーク又は文字列だけでなく、その背景も写り込むことになる。輪郭を判定する上記例と比較すると、見栄えの点で劣る場合もあるが、本例では、抽出処理が簡単になるというメリットもある。なお、抽出する合成対象O1の形状としては、矩形以外でも、真円、楕円、長円形又は菱形などでもよい。

0127

図23に示す例の場合には、抽出した合成対象O1に含まれる不要な部分を画像処理によって消去できるような消しゴム機能を設けてもよい。消しゴム機能は、例えば、タッチパネルディスプレイ12に消しゴムを模したアイコンをGUIとして表示し、ユーザがそのアイコンを合成対象O1の不要な部分に移動操作して、移動した位置の画像を消去するというものである。消去された部分は、透明になり、透明部分は、合成対象O1の背景となる第2画像P2が表示される。これによれば、輪郭抽出という比較的高度な画像処理を行わずに、合成対象O1の不要な部分を消去できるというメリットがある。

0128

「変形例4」
また、図24及び図25に示す例は、第1画像P1内の合成対象O1の指定方法に関する変形例である。上記実施形態では、図7に示したように、ターゲットマーク46を使用して、ターゲットマーク46と合成対象O1とを重ね合わせた状態で、ターゲットマーク46付近をタップさせることにより、合成対象O1の抽出領域を指定させている。

0129

これに対して、図24及び図25に示す例は、ターゲットマーク46を使用することなく、タッチパネルディスプレイ12に表示されている第1画像P1内に含まれる合成対象O1を自動的に認識する。図24に示すように、例えば、タッチパネルディスプレイ12の表示画面の任意の箇所が指Fでタップされると、抽出部32Aが、表示中の第1画像P1を画像解析して、合成対象O1の候補になるマーク又は文字列の一例であるロゴ42を検出する。

0130

そして、第1画像P1内においてロゴ42が検出されると、図25に示すように、検出したロゴ42の部分を、例えば、枠線61で識別表示する。ユーザが希望する合成対象O1と一致している場合には、再びタッチパネルディスプレイ12の任意の箇所がタップされると、検出したロゴ42が合成対象O1として確定する。このようにすれば、ターゲットマーク46と合成対象O1とを重ね合わせる操作が不要となるため、操作が簡単である。

0131

なお、第1画像P1から、複数のマーク又は文字列が検出された場合は、検出された複数の候補を枠線61で識別表示して、その中からユーザが希望する候補をタップすると、その候補が合成対象O1として確定されるようにしてもよい。

0132

また、第1画像P1内の合成対象O1の指定方法については、上記実施形態のターゲットマーク46を使用する方法及び上記変形例4の方法の他に、タッチパネルディスプレイ12の表示画面上で、ユーザが行うジェスチャを通じて合成対象O1を指定させる方法でもよい。ジェスチャとしては、例えば、合成対象O1を2本の指Fでつまむピンチインを行うことにより合成対象O1を指定させてもよいし、合成対象O1を1本の指Fでタップしたり、合成対象O1を始点にスワイプするといったジェスチャで指定させてもよい。

0133

この他、上記実施形態は、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。例えば、上記例においては、第1画像P1から合成対象O1を抽出し、第2画像P2のライブビュー表示に切り替わった時点で、直ちにシャッタボタン48が表示される例で説明している。直ちにシャッタボタン48を表示させる代わりに、シャッタボタン48を表示する操作をワンアクション追加してもよい。例えば、色変更ボタン47と反対側の右下隅にシャッタボタン48を呼び出すための操作ボタンを表示しておき、この操作ボタンがタップされたときにシャッタボタン48が表示されるようにしてもよい。この場合には、上記実施形態と比較して、操作がひと手間加わる代わりに、不用意にシャッタボタン48が操作されるリスクを軽減できるというメリットがある。

0134

上記実施形態において、合成対象O1は、第1画像P1内の一部の領域に写り込むマーク又は文字列を含むものとして説明したが、第1画像P1内のマーク又は文字列が写り込んでいない部分(例えば、人の顔又は印象的な建造物など)を合成対象O1としてもよい。この場合でも、従来の多重露光撮影技術と比較して、合成画像に写し込む被写体の決定に関する自由度を大きくするという効果は得られる。なお、コントラストに基づいて合成対象O1を抽出する場合は、マーク又は文字列に限らず、背景とのコントラストがある対象であれば、抽出することが可能である。もちろん、合成対象O1にマーク又は文字列が含まれていれば、上述のとおり様々な楽しみ方ができるため好ましい。

0135

また、上記実施形態では、第2画像P2内の1箇所に合成対象O1を挿入する例で説明したが、合成対象O1をコピーして、第2画像P2内の複数個所に合成対象O1を挿入できるようにしてもよい。この場合には、例えば、合成対象O1に対する編集指示のメニューに合成対象O1のコピー機能を設ける。そして、第2画像P2のライブビュー表示中に、コピー指示をすると、第2画像P2内で合成対象O1がコピーされて、第2画像P2内の複数個所に挿入される。この場合において、合成対象O1の表示位置、表示姿勢、色変更については、各合成対象O1毎に編集できるようにすることが好ましい。

0136

上記実施形態において、撮影装置の一例として、スマートフォンなどの携帯端末10を例に説明したが、スマートフォン以外でもよく、携帯が可能であれば、例えば、タブレット端末でもよいし、カメラ専用機である通常のデジタルカメラでもよい。

0137

また、写真合成アプリケーションプログラムを一例として示した撮影装置の作動プログラムは、携帯端末10の販売時に予めストレージデバイス18にインストールされていてもよいし、ユーザが携帯端末10を購入後、携帯端末10を使用してサーバにアクセスして、サーバから作動プログラムをダウロードしてインストールしてもよい。

0138

また、本開示の携帯端末10が実行する合成撮影モードの処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序入れ替えたりしてもよいことは言うまでもない。

0139

また、上記実施形態において、図4に一例として示した合成撮影モードの複数のステップの組み合わせは、本開示の撮影装置の作動方法に相当する。

0140

また、上記実施形態において、例えば、画像取得部、抽出部、合成部及び表示制御部といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、下記に示す各種のプロセッサ(Processer)を用いることができる。各種プロセッサとしては、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field‐Programmable Gate Array)などの製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific IntegratedCircuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

0141

また、上記各種処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせなど)で実行してもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、システムオンチップ(System On Chip:SOC)などのように、複数の処理部を含むシステム全体の機能を1つのIC(IntegratedCircuit)チップで実現するプロセッサを使用する形態がある。

0142

このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。

0143

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)を用いることができる。

0144

また、本開示の技術は、撮影装置の作動プログラムに加えて、撮影装置の作動プログラムを非一時的に記憶するコンピュータで読み取り可能な記憶媒体(USBメモリ又はDVD(Digital Versatile Disc)−ROM(Read Only Memory)など)にもおよぶ。

0145

10携帯端末(撮影装置)
11撮影部
11A撮影レンズ
11Bイメージセンサ
11CAD変換器(A/D)
11D画像入力コントローラ
11E画像信号処理回路
11Fタイミングジェネレータ(TG)
11Gドライバ
12タッチパネルディスプレイ
16 操作スイッチ
17ワークメモリ
17A画像メモリ
18ストレージデバイス
19メディアコントローラ
21 外部I/F
22通信部
23バスライン
26 主制御部
27アプリケーションプログラム(AP)
28ユーザ領域
29メモリーカード
31表示制御部
32画像処理部
32A 抽出部
32B 合成部
32COCR処理部
32Dフォント変更部
41、53看板
42、52、54ロゴ
42A文字
42B楕円
46ターゲットマーク
47 色変更ボタン
48シャッタボタン
51表示板
55メモ
56、56A メッセージ
61枠線
DA 指定領域
F 指
O1合成対象
P1 第1画像
P2 第2画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ