図面 (/)

技術 合成画像作成装置

出願人 オリンパス株式会社
発明者 山本紗知恵
出願日 2015年10月20日 (5年2ヶ月経過) 出願番号 2015-206296
公開日 2017年4月27日 (3年7ヶ月経過) 公開番号 2017-079395
状態 特許登録済
技術分野 スタジオ回路 記録のためのテレビジョン信号処理 スタジオ装置
主要キーワード 人体姿勢 境界設定 ピント距離 次端末装置 メニュー表 境界候補 個別処理 撮影動画
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年4月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

合成画像撮影が容易にできる合成画像作成装置を提供すること。

解決手段

第1の動画像と該第1の動画像の後に撮影される第2の動画像を合成して合成画像を作成する合成画像作成装置において、第1の動画像の中で、特定の被写体を判定する画像判定部と、第1の動画像の画面で、特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定する境界設定部と、第2の動画像の撮影時に、該第2の動画像のライブビュー画像と共に前記境界を表示する表示制御部と、第1の動画像における特定範囲の画像と、第2の動画像における非特定範囲に対応する範囲の画像を合成して合成画像を生成する合成部を備える。

概要

背景

動画の処理技術および処理装置の高度化が進んでおり動画に対して動画を合成することも一般的になっている。そして、画像合成設定操作を簡単に行うことができる撮像装置も色々提案されている。例えば、動画に付帯させるコメント等の合成用画像の位置や大きさを設定し、設定された条件で合成用画像を撮影動画に合成する撮像装置も提案されている(特許文献1)。

概要

合成画像撮影が容易にできる合成画像作成装置を提供すること。第1の動画像と該第1の動画像の後に撮影される第2の動画像を合成して合成画像を作成する合成画像作成装置において、第1の動画像の中で、特定の被写体を判定する画像判定部と、第1の動画像の画面で、特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定する境界設定部と、第2の動画像の撮影時に、該第2の動画像のライブビュー画像と共に前記境界を表示する表示制御部と、第1の動画像における特定範囲の画像と、第2の動画像における非特定範囲に対応する範囲の画像を合成して合成画像を生成する合成部を備える。

目的

本願発明は、合成画像撮影が容易にできる合成画像作成装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の動画像と該第1の動画像の後に撮影される第2の動画像を合成して合成画像を作成する合成画像作成装置において、前記第1の動画像の中で、特定の被写体を判定する画像判定部と、前記第1の動画像の画面で、前記特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定する境界設定部と、前記第2の動画像の撮影時に、該第2の動画像のライブビュー画像と共に前記境界を表示する表示制御部と、前記第1の動画像における前記特定範囲の画像と、前記第2の動画像における前記非特定範囲に対応する範囲の画像を合成して合成画像を生成する合成部を備える、ことを特徴とする合成画像作成装置。

請求項2

前記表示制御部は、前記生成された合成画像を表示することを特徴とする請求項1に記載の合成画像作成装置。

請求項3

前記画像判定部は、前記第1の動画像の中で、所定以上動きのある部位を検出し、それに関連する被写体を前記特定の被写体と判定することを特徴とする請求項1に記載の合成画像作成装置。

請求項4

前記画像判定部は、前記第1の動画像の中で、人物及び該人物に接触している物体を前記特定の被写体と判定することを特徴とする請求項1に記載の合成画像作成装置。

請求項5

前記境界設定部は、前記特定の被写体の変化に応じて、前記境界の位置を移動させることを特徴とする請求項1に記載の合成画像作成装置。

請求項6

前記表示制御部は、前記第2の動画像のライブビュー画像に前記設定された境界を表示する場合に、前記移動する前記境界の位置を予告表示することを特徴とする請求項5に記載の合成画像作成装置。

請求項7

前記境界設定部は、前記第1の動画像の中で、前記特定の被写体の変化に合わせて、前記境界を1つ設定することを特徴とする請求項1に記載の合成画像作成装置。

請求項8

前記第2の動画像の撮影時に、該第2の動画像を撮影する撮影装置に、前記第1の動画像の撮影時間に合わせて撮影終了を指示する制御部を備えることを特徴とする請求項1に記載の合成画像作成装置。

請求項9

第1の動画像と該第1の動画像の後に撮影される第2の動画像を合成して合成画像を作成する合成画像作成方法において、前記第1の動画像の中で、特定の被写体を検出するステップと、前記第1の動画像の画面で、前記特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定するステップと前記第2の動画像の撮影時に前記設定された境界を画面に表示するステップと、前記第1の動画像における前記特定範囲の画像と、前記第2の動画像における前記非特定範囲に対応する範囲の画像を合成して合成画像を生成するステップを含む、ことを特徴とする合成画像作成方法。

技術分野

0001

本発明は、画像合成用の画像を撮影する技術に関する。

背景技術

0002

動画の処理技術および処理装置の高度化が進んでおり動画に対して動画を合成することも一般的になっている。そして、画像合成設定操作を簡単に行うことができる撮像装置も色々提案されている。例えば、動画に付帯させるコメント等の合成用画像の位置や大きさを設定し、設定された条件で合成用画像を撮影動画に合成する撮像装置も提案されている(特許文献1)。

先行技術

0003

特開2012−70162号公報

発明が解決しようとする課題

0004

例えば、画面中央に2つの画像の境界を予め定めておき、1回目の撮影と2回目の撮影をそれぞれの領域で行って合成画像を作成する方式では、撮影は容易であるが、作成される合成画像は単純すぎて面白みに欠ける。また、上記方式では、被写体が画面内を大きく移動するシーンでは、対応できない。

0005

1回目撮影での被写体と2回目撮影での被写体を自然に組み合わせて、撮影することができれば、初心者でも合成画像撮影を手軽に楽しむことができるはずである。しかし、1回目撮影での被写体の動きに合わせて、2回目の撮影で、被写体の位置を的確に指示するのは難しい。

0006

本願発明は、合成画像撮影が容易にできる合成画像作成装置を提供することを目的とする。

課題を解決するための手段

0007

上記目的を達成するために、第1の動画像と該第1の動画像の後に撮影される第2の動画像を合成して合成画像を作成する合成画像作成装置において、前記第1の動画像の中で、特定の被写体を判定する画像判定部と、前記第1の動画像の画面で、前記特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定する境界設定部と、前記第2の動画像の撮影時に、該第2の動画像のライブビュー画像と共に前記境界を表示する表示制御部と、前記第1の動画像における前記特定範囲の画像と、前記第2の動画像における前記非特定範囲に対応する範囲の画像を合成して合成画像を生成する合成部を備える。

発明の効果

0008

本発明によれば、合成画像撮影が容易にできる合成画像作成装置を提供することができる。

図面の簡単な説明

0009

撮像ステムの全体構成図である。
制御部関連のハードウェアブロック図である。
合成画像の撮影シーンの例である。
1回目撮影と2回目撮影のライブビュー画像を対比して示す図である。
図4の2つの動画像から生成された合成画像を示す図である。
1回目撮影と2回目撮影のライブビュー画像を対比して示す図である。
図6の2つの動画像から生成された合成画像を示す図である。
端末装置における撮影処理の手順を説明するメインフローチャートである。
合成画像撮影処理の手順を説明するフローチャート1である。
合成画像撮影処理の手順を説明するフローチャー2である。
合成画像撮影処理の手順を説明するフローチャート3である。
境界候補設定の手順を説明するサブルーチンである
端末装置の表示部の画面例である。
境界設定処理の一例を説明する図である。
2回目撮影時に表示されるライブビュー画像の例である。

実施例

0010

以下、図面に従って本発明の実施形態を説明する。図1は、合成画像作成装置が含まれる撮像システム1の全体構成図である。

0011

撮像システム1は、撮像装置10と端末装置100から構成される。撮像装置10は、画像(動画、静止画)を撮影する撮影機能や、撮影した画像を送信する通信機能を有する。端末装置100は、通信機能、画像処理機能及び画像記録機能等を備える情報処理端末である。端末装置100は、PC(personal computer)でも良いし、あるいはタブレット端末携帯端末スマートフォン)でもよい。

0012

また、端末装置100は、合成用画像を撮影し、撮影された合成用画像から合成画像を作成する合成画像作成装置を有する。撮像装置10と端末装置100とは、Wi−Fi等の無線で接続される。なお、接続は、有線でも可である。

0013

撮像装置10は、撮影光学系20、撮像素子25、信号処理部30、圧縮部35、RAM40、通信部45、記憶部50、操作部55及び制御部60を有する。

0014

撮影光学系20は、被写体像を撮像素子25に結像する。撮影光学系20は、以下不図示の、光学レンズ群ピント及びズームのためのレンズ駆動部、絞り、絞り駆動部等を有する。撮影光学系20は、撮影時には、制御部60からの指示に応じてAEAFを実行する。

0015

撮像素子25は、CCDやCMOSから構成され、被写体像を光電変換して、画像信号を出力する。信号処理部30は、撮像素子25から出力された画像信号のノイズを低減するCDS部や、画像信号を所定レベル増幅するAGC部を有する。

0016

圧縮部35は、画像信号をデジタル化して画像データに変換して、MPEG4あるいはH.264等の所定のフォーマット圧縮処理を行う。RAM(Random Access Memory)40は、圧縮部35の処理用に画像データを展開するワーキングエリアや、通信時のバッファーメモリである。

0017

通信部45は、USB接続により直接的に外部機器と画像データの通信を行ったり、あるいはWi−Fi等により直接あるいはネットワークを介して外部と画像データの通信を行う。記憶部50は、HDD(Hard Disk Drive)あるいはフラッシュメモリ等から構成される不揮発性の記憶部である。記憶部50には、画像データ、制御プログラムや各種データが記憶される。

0018

操作部55は、撮影者が各種操作指示を入力するもので、具体的にはボタンダイヤル(不図示)である。操作部55は、操作指示を制御部60に通知する。制御部60は、撮像装置10全体を統括的に制御する制御部である。制御部60は、CPU(Central Processing Unit、不図示)を有し、記憶部50に記憶された制御プログラムを読込んだCPUが制御処理を実行する。

0019

撮像装置10から画像データが送信される流れを簡単に説明する。通信部45を介して端末装置100からの撮影モード指示あるいは撮影指示を受けると、制御部60は、指示に応じて例えば動画像の撮影を実行する。

0020

なお、制御部60は、端末装置100から後述する合成画像撮影の指示を受けた場合には、2回目撮影時に、境界部分で、1回目撮影との差が目立たないようなAE・AFの条件を設定するよう撮影光学系20を制御する。

0021

信号処理部30は、撮像素子25で光電変換された被写体像を画像信号として出力する。圧縮部35は、画像信号を所定のフォーマットに圧縮する。撮像装置10は、圧縮された画像データを通信部45から端末装置100に送信する。

0022

端末装置100は、制御部110、通信部140、記憶部150、表示部160、操作部170、RAM(Random Access Memory)180及びカメラ部190を有する。

0023

制御部110は、端末装置100全体を統括的に制御するものである。通信部140は、USB接続により直接的に外部機器と画像データの通信を行ったり、あるいはWi−Fi等により直接あるいはネットワークを介して外部と画像データの通信を行うものである。

0024

記憶部150は、HDDあるいはフラッシュメモリ等から構成される不揮発性の記憶部である。記憶部150には、撮影された画像データである画像ファイル152、制御用プログラム154や各種データが記憶される。

0025

表示部160は、LCDや有機EL等から構成され、端末装置100への各種指示画面メニュー画面)や撮影画像等を表示するものである。操作部170は、各種操作指示を入力するもので、具体的にはボタンやタッチパネル(不図示)である。

0026

RAM180は、画像データあるいは制御プログラムを展開するワーキングエリアである。カメラ部190は、端末装置100に内蔵された撮影装置である。カメラ部190は、撮像装置10の撮影光学系20、撮像素子25、信号処理部30等と同等な機能を有する。なお、以下では、合成される動画像が撮像装置10で撮影された例で説明するが、カメラ部190で取得された動画像であっても同様である。

0027

制御部110は、CPU(Central Processing Unit)200を有し、記憶部150に記憶された制御用のプログラム154を読込んだCPUが、以下説明する各種制御処理を実行する。制御部110は、全体制御部112、画像処理部114、画像記録部116、表示制御部118、操作判定部120、動き判定部122、画像判定部124、境界設定部126及び合成部128を、個別の機能部として有する。

0028

全体制御部112は、端末装置100の全体を制御するもので、また、画像処理部114から合成部128までの各種個別処理を統括する。

0029

画像処理部114は、動画像データに対し補間処理色調整処理、圧縮処理や伸張処理等を行う。画像記録部116は、撮像装置10から送信された画像データを画像ファイル152として記録する。

0030

表示制御部118は、撮像装置10から送信された画像データを表示部160にライブビュー画像として表示させる。あるいは、表示制御部118は、画像ファイル152から読み出され伸張された画像を表示する。また、表示制御部118は、各種指示画面(メニュー画面)を表示部160に表示させる。操作判定部120は、操作部170から入力された操作指示に応じた内容を、全体制御部112に通知する。

0031

動き判定部122は、合成画像撮影モードで、動画像を解析して、動きのある被写体を判定する。画像判定部124は、合成画像撮影モードで、動画像を解析して、所定以上の動きのある被写体や所定サイズ以上の人物を、特定の被写体として判定する。なお、画像判定部124は、人物については、人物の体だけでなく、人物と直接つながっている物も人物の一部をみなす。また、画像判定部124は、顔検出機能により、人物の有無を判定する。

0032

画像判定部124は、例えば、人物の高さが画面高さの1/3以上あれば、その人物を特定の被写体として判定する。また、人物以外の被写体でも、画像判定部124は、例えば1秒以内に画面の縦横いずれも1/10以上移動すれば、特定の被写体と判定する。

0033

境界設定部126は、合成画像撮影モードの1回目撮影の動画像(1回目撮影画像とも呼ぶ)で、特定被写体の存在する範囲(特定範囲と呼ぶ)を判定して、境界を設定し、設定した境界を2回目撮影の動画像(2回目撮影画像とも呼ぶ)に基づくライブビュー画面上に表示する。

0034

具体的には、境界設定部126は、合成画像撮影モードの1回目撮影の動画像で、特定範囲と非特定範囲をそれぞれ判定し、特定範囲と非特定範囲を分ける境界を設定する。境界設定部126は、合成画像撮影モード時の2回目の撮影時のライブビュー画像に設定した境界を画面上に表示する。なお以下では、合成画像撮影モードの1回目撮影の動画像を第1の動画像と呼び、合成画像撮影モードの2回目撮影の動画像を第2の動画像とも呼ぶ。

0035

合成部128は、1回目撮影画像から特定範囲の画像を抽出し、2回目撮影画像から非特定範囲に対応する範囲の画像を抽出し、両者を合成して合成画像を生成する。

0036

動き判定部122、画像判定部124、境界設定部126及び合成部128をまとめて合成画像作成装置130とも呼ぶ。

0037

図2は、制御部110関連のハードウェアブロック図である。前述のように、制御部110を構成するCPU200に、通信部140、プログラム154が記憶された記憶部150、表示部160及びRAM180が、バスラインで接続される。

0038

図3は、合成画像の撮影シーンの例である。撮像装置10と端末装置100は、Wi−Fi等の無線で接続される。撮影者Nは、端末装置100を両手に持って撮影をしている状態である。ここでは、撮像装置10は、複数回撮影による動画像間での画面のズレを無くすために、三脚300に取付けられる。撮像装置10で撮影された被写体Mの動画像が、端末装置100で受信される。撮影者Nは、表示部160に表示されるライブビュー画像で、モニタすることができる。

0039

図4図7を用いて、合成画像の撮影例を具体的に説明する。図4図5は、境界Bが固定される例である。図6図7は、境界Bが変化する例である。

0040

図4は、合成画像撮影時に、表示部160に表示される1回目撮影のライブビュー画像と2回目撮影のライブビュー画像を対比して示す図である。

0041

図4の、左列が1回目撮影の動画像Pのライブビュー画像で、右列が2回目撮影の動画像Qのライブビュー画像である。1回目撮影のライブビュー画像は、画像P1→画像P2→画像P3の順に進む。画像P1は撮影開始時の画像である。画像P2は、撮影開始時後2秒後の画像である。画像P3は、撮影終了時(例えば、開始後5秒後)の画像である。

0042

1回目撮影で、被写体Mは、右手に持った花束を、向かって左側に差し出すように動くとする。1回目撮影で、画像判定部124は、被写体Mを特定被写体と判定する。境界設定部126は、特定被写体である被写体Mの移動を解析して、境界Bを設定する。撮影終了時の画像P3で、設定された境界Bが破線で示される。1回目撮影の動画像データと設定された境界Bのデータが、画像ファイル152に記憶される。

0043

2回目撮影のライブビュー画像は、画像Q1→画像Q2→画像Q3の順に進む。画像Q1は撮影開始時の画像で、画像P1に対応する。画像Q2は、撮影開始時後2秒後の画像で、画像P2に対応する。画像Q3は、撮影終了時(開始後5秒後)の画像で、画像P3に対応する。

0044

2回目撮影のライブビュー画像では、境界Bにより画面が左右に分割される。画面右側をa領域、画面左側をb領域とする。a領域が被写体Maが存在する特定領域、b領域が被写体Maが存在しない非特定領域である。a領域には1回目撮影で撮影された動画像Pが表示され、b領域には2回目撮影のライブビュー画像(動画像Q)が表示される。撮影者に領域を示すための領域情報Eとして、a領域にはNo1、b領域にはNo2が表示される。

0045

撮影開始時に、画像Q1のa領域には、1回目撮影の画像P1のa領域に相当する画像P1aが表示される。画像Q1のb領域には、2回目撮影の画像Qのb領域に相当する画像Q1bが表示される。

0046

そして、撮影開始2秒後には、画像Q2のa領域には、1回目撮影の画像P2のa領域に相当する画像P2aが表示される。画像Q2のb領域には、2回目撮影の画像Qのb領域に相当する画像Q2bが表示される。

0047

撮影開始5秒後には、画像Q3のa領域には、1回目撮影の画像P3のa領域に相当する動画像P3aが表示される。画像Q3のb領域には、2回目撮影の画像Qのb領域に相当する動画像Q3bが表示される。なお、2回目の撮影は、1回目の撮影終了のタイミングで、自動的に終了されるようにしてもよいし、撮影者の操作で終了されるようにしてもよい。

0048

図5は、図4の2つの動画像から生成された合成画像を示す図である。合成部128により、1回目撮影画像の特定領域(a領域)の画像と2回目撮影画像の非特定領域(b領域)の画像から、合成画像が生成される。合成画像R1→合成画像R2→合成画像R3の順に進む。1回目撮影の被写体Maと2回目撮影の被写体Mbが、同期したように撮影される。これにより、あたかも、被写体Maから被写体Mbに花束が手渡されたような光景表現することができる。

0049

以上により、合成画像撮影の境界が、予め設定した位置ではなく、1回目撮影時の被写体の位置や動きに応じた位置に設定されるので、2回目撮影での被写体の移動位置等を適切に設定することができる。

0050

また、2回目撮影時のライブビュー画像に1回目撮影の特定領域が同時に表示されるので、2回目撮影での被写体の動きを、1回目撮影時の被写体の動きと同期させることも容易になる。

0051

図6図7を用いて、境界Bを変化させる例を説明する。図6は、合成画像撮影時に、表示部160に表示される1回目撮影の動画像Pのライブビュー画像と2回目撮影の動画像Qのライブビュー画像を対比して示す図である。

0052

図6の、左列が1回目撮影のライブビュー画像で、右列が2回目撮影のライブビュー画像である。1回目撮影のライブビュー画像は、画像P10→画像P11→画像P12→画像P13の順に進む。画像P10は撮影開始時の画像で、以降は、例えば2秒間隔で撮影されたとする。画像P13は、撮影終了時の画像である。

0053

1回目撮影で、被写体Mは、左右に移動しながら、右手に持った花束を、向かって左側に差し出すように動くとする。画像判定部124は、被写体Mのサイズを解析して、特定被写体と判定する。境界設定部126は、被写体Mにより境界B1を設定する。画像P10では、設定された境界Bが破線で示される。なお、境界設定部126による境界B1の設定に時間がかかる場合もあるので、境界Bは、撮影開始時には直ちに表示されず、次の画像P11以降から表示開始されることもある。

0054

以降、境界設定部126は、被写体Mのサイズと動きを解析して、順次、境界Bを設定する。画像P11、画像P12、画像P13で、それぞれ設定された、境界B2,境界B3、境界B4を示す。以上のようにして、境界は、B1→B2→B3→B4のように移動する。

0055

2回目撮影のライブビュー画像は、画像Q10→画像Q11→画像Q12→画像Q13の順に進む。

0056

図4の例と同様に、2回目撮影のライブビュー画像では、境界Bより画面が左右に分割される。画面右側をa領域、画面左側をb領域とする。a領域には1回目撮影の動画像Pが表示され、b領域には2回目撮影の動画像Qが表示される。図4と同様に、領域情報Eも表示される。

0057

撮影開始時に、画像Q10のa領域には、1回目撮影の画像P10のa領域に相当する画像P10aが表示される。画像Q10のb領域には、2回目撮影の画像Qのb領域に相当する画像Q10bが表示される。

0058

2回目撮影開始時の画像Q10では、現在の境界B1が実線で表示され、次の境界B2が破線で表示される。さらに、境界B1から境界B2に変化するので、境界Bの移動方向を予告する矢印Kが表示される。境界設定部126は、次の境界Bを破線で示めしたり、あるいは矢印Kを表示して、境界の予告を行う。次の境界と矢印Kは、いずれか一方だけ表示されるようにしてもよい。

0059

2回目撮影開始2秒後の画像Q11では、現在の境界B2が実線で表示され、次の境界B3が破線で表示され、矢印Kも左下向きで表示される。また、2回目撮影開始4秒後の画像Q12では、現在の境界B3が実線で表示され、次の境界B4が破線で表示され、矢印Kは右上向きで表示される。そして、2回目撮影終了時の画像Q12では、現在の境界B4のみが実線で表示される。

0060

図7は、図6の2つの動画像から生成された合成画像の表示例である。合成部128により、1回目撮影と2回目撮影の動画像から合成画像が生成される。合成画像R1→合成画像R2→合成画像R3→合成画像R4の順に進む。境界を移動させることで、図5での合成画像に比べて、より動きのある合成画像を取得することができる。

0061

以上により、境界Bが移動する場合に、境界の次の位置や移動方向が画面に予告されるので、2回目撮影の範囲や被写体の移動位置等を適切に設定することができる。これにより、1回目撮影時に、被写体が画面内を大きく移動しても、破たんのない合成画像を得ることができる。そして、2つに被写体MaとMbの関係を、よりダイナミック演出して撮影することができる。

0062

なお、境界が短時間で変化するとかえって煩わしくなるので、境界設定部126は、境界設定の時間間隔を、多少長くする(例えば、2秒程度)方が望ましい。

0063

〈画像合成撮影処理〉
次に、画像合成撮影処理の手順を、図8図15を用いて説明する。図8は、端末装置における撮影処理の手順を説明するメインのフローチャートである。なお、以下では、図3の撮影シーン例で紹介したように、カメラとして外部カメラ(撮像装置10)を利用する場合を説明するが、内蔵のカメラ部190の場合でも、基本的に同じである。

0064

全体制御部112は、表示部160にメニュー表示を行う(ステップS10)。図13は、端末装置100の表示部160の画面例である。全体制御部112は、表示制御部118により、画面160a等を表示する。

0065

全体制御部112は、表示されたメニュー画面で撮影者により外部カメラモードが選択されたかを判断する(ステップS12)。全体制御部112は、メニュー画面で外部カメラモードが選択されていないと判断すると(ステップS12NO)、他の選択されたモードを実行するが、説明は省略する。

0066

ここでは、メニュー画面で外部カメラ161が選択されたとする。全体制御部112は、メニュー画面で外部カメラモードが選択されたと判断すると(ステップS12YES)、外部カメラとの接続処理を行う(ステップS14)。全体制御部112は、通信部140を介して、使用可能な撮像装置10を検出し、検出された撮像装置10と通信し、接続を確立する。

0067

全体制御部112は、表示部160に外部カメラ用のメニュー表示を行う(ステップS16)。全体制御部112は、表示制御部118により、図13の画面160bのようなメニューを表示する。撮影者は、画面160bの項目を選択する。

0068

全体制御部112は、画面160bで、静止画撮影が選択されたか(ステップS18)、通常の動画撮影が選択されたか(ステップS20)、合成画像撮影が選択されたか(ステップS22)、あるいは画像再生が選択されたか(ステップS26)を判断する。

0069

全体制御部112は、静止画撮影が選択され(ステップS18YES)、通常の動画撮影が選択され(ステップS20YES)、あるいは画像再生が選択された (ステップS26YES)と判断すると、それぞれ対応する処理を実行する。静止画撮影、通常の動画撮影、画像再生の各処理の説明は、省略する。

0070

全体制御部112は、合成画像撮影が選択されたと判断すると(ステップS22YES)、合成画像撮影モードを実行する(ステップS24)。また、全体制御部112は、図13の画面160bの「戻る」が選択されたかを判断する (ステップS28)。全体制御部112は、図13の画面160bの「戻る」が選択されたと判断すると(ステップS28YES)、ステップS12に戻る。また、全体制御部112は、いずれのボタンも選択されない場合(ステップS18NO、ステップS20NO、ステップS22NO、ステップS26NO、ステップS28NO)には、ステップS18に戻る。

0071

合成画像撮影モードについて説明する。図9図11は、合成画像撮影モードにおける合成画像撮影処理の手順を説明するフローチャート1,2,3である。画像合成撮影処理は、主に端末装置100の全体制御部112、動き判定部122、画像判定部124、境界設定部126及び合成部128によって、実行される。

0072

全体制御部112は、表示部160にメニュー表示を行う(ステップS40)。全体制御部112は、表示制御部118により、図13の画面160cのようなメニューを表示する。

0073

全体制御部112は、撮影者により1回目撮影が選択されたかを判断する(ステップS42)。図13の画面160cで「1回目撮影」がタップされると、1回目撮影が選択される。全体制御部112は、1回目撮影が選択されたと判断すると(ステップS42YES)、全体制御部112は、1回目撮影を実行する。

0074

全体制御部112は、撮像装置10に、合成画像撮影の1回目撮影の指示やライブビュー画像の送信を指示する。あわせて、全体制御部112は、必要な撮影条件(撮影モードや画質等)を撮像装置10に送信する。

0075

全体制御部112は、撮像装置10で撮影されたライブビュー画像を受信し、受信したライブビュー画像を表示部160に表示する(ステップS44)。動き判定部122及び画像判定部124は、受信したライブビュー画像に基づき、画像判定を行う(ステップS46)。具体的には、動き判定部122は、ライブビュー画像を解析して、動きのある被写体を判定する。また、画像判定部124は、ライブビュー画像を解析して、所定以上の動きのある被写体や所定サイズ以上の人物を、特定の被写体として判定する。なお、この時に、境界設定部126が境界を判定して、判定した境界を表示部160に表示するようにしてもよい。

0076

全体制御部112は、撮影者により撮影開始操作がされたかを判断する(ステップS48)。全体制御部112は、端末装置100の所定のボタンが操作されると、操作開始と判断する。全体制御部112は、撮影開始操作がされていないと判断すると(ステップS48NO)、ステップS44に戻る。

0077

全体制御部112は、撮影開始操作がされたと判断すると(ステップS48YES)、全体制御部112は、撮像装置10に撮影開始を指示する(ステップS50)。撮像装置10は、端末装置100からの撮影開始指示を受けて、AE・AF等の撮影条件を設定し、1回目の動画像撮影を開始する。撮像装置10は、撮影した動画像を順次端末装置100に送信する。

0078

全体制御部112は、撮像装置10で撮影された1回目撮影の動画像を受信し、受信した1回目撮影画像をライブビュー画像として表示部160に表示する(ステップS52)。画像記録部116は、画像ファイル152への動画像データ記録を開始する。動き判定部122、画像判定部124及び境界設定部126は、受信した動画像に基づき、境界候補設定を行う(ステップS54)。

0079

図12は、境界候補設定の手順を説明するサブルーチンである。画像判定部124は、動画像に人物が存在するかを判断する(ステップS130)。画像判定部124は、動画像に人物が存在すると判断すると(ステップS130YES)、その人物を特定被写体に判定する(ステップS132)。前述のように、画像判定部124は、例えば、画像パターンの特徴を使って類似度などで解析する顔検出機能等により、人物の有無を判定する。そして、画像判定部124は、例えば、人物の高さが画面高さの1/3以上あれば、特定被写体と判定する。

0080

また、画像判定部124は、人物の形状を判定する(ステップS136)。人物については、人物の体だけでなく、人物と直接つながっている物も人物の一部をみなす。このような、つながっているかどうかの判定も、画像のパターン分析で画像判定部124が行うものとする。顔検出もそうであったが、得られた画像の陰影や色のパターンと、人体姿勢パターンデータベースのような、人体の様々な姿勢画像パターン辞書などと比較して、人体各部の形状と位置、配置などから判定が可能である。また、その部位特有の動き(関節部を中心とした折り曲げ旋回やなど)を参照して動きの特徴を利用して判断してもよい。動きのスピードなどを考慮して判定してもよい。

0081

手の動きが検出されると、それが画像として手の特徴を有するものであれば、動きは関節の折り曲げから起こっていることを判定、その関節をたどって行けば、胴体がどこにあるかや、相当する位置にある顔の判定なども考慮して、得られた画面内のどの位置に人物がいるかが判定可能である。また、近年、画像の距離分布を検出する技術が普及しつつあり、そうした技術を併用してもよい。つまり、画像判定部124は、前記第1の動画像の中で、所定以上動きのある部位を検出し、それに関連する被写体を画像のパターンや動きや距離分布の特徴から特定の被写体(例えば人物部)と判定する。

0082

画像判定部124は、動画像に人物が存在しないと判断すると(ステップS130NO)、動きのある被写体を特定被写体と判定する(ステップS134)。動き判定部122が、被写体の動きを判定する。画像判定部124は、大きく動くものを対象とするために、例えば1秒以内に画面の縦横いずれも1/10以上移動するものを、特定被写体と判定する。

0083

さらに、動き判定部122は、特定被写体の動きを判定する(ステップS138)。動き判定部122は、所定時間経過したかを判断する(ステップS140)。動き判定部122が、所定時間間隔(例えば2秒)で、特定被写体が動いた範囲を判定するためである。動き判定部122は、特定被写体が動いた範囲を判定する(ステップS142)。動き判定部122は、所定時間経過していないと判断すると(ステップS140NO)、ステップS138に戻る。動き判定部122は、所定時間経過したと判断すると(ステップS140YES)、ステップS142に進む。

0084

境界設定部126は、判定された特定被写体が動いた範囲に基づき、境界候補を設定する(ステップS144)。図14は、境界設定処理の一例を説明する図である。図14の画面は、図4の画像P2と同一の画面である。ステップS136で、画像判定部124により、人物(被写体M)と人物が持つ花が特定被写体と判定されたとする。

0085

境界設定部126は、画面を所定間隔ブロックCに区分し、各ブロックCの中で、特定被写体Mを含むブロックCaを判定する。境界設定部126は、太線で囲まれたブロックCaからなる領域を特定被写体の領域とし、特定被写体の領域の位置と形状により、破線で示す境界Bを設定する。図14の例では、特定被写体の領域形状に合わせて、境界Bを右下がりの直線に設定している。図9のステップS56に進む。

0086

全体制御部112は、設定された境界候補をライブビュー画像に重畳して表示部160に表示する(ステップS56)。なお、図4で示したように、1回目撮影途中では、境界候補を表示しないで、撮影終了後に表示するようにしてもよい。また、1回目撮影途中での境界候補の表示/非表示は、初期設定で選択できるようにしてもよい。

0087

全体制御部112は、撮影者により撮影終了操作がされたかを判断する(ステップS58)。全体制御部112は、撮影終了操作がされていないと判断すると(ステップS58NO)、ステップS52に戻る。全体制御部112は、撮影終了操作がされたと判断すると(ステップS58YES)、撮像装置10に撮影終了を指示する(ステップS60)。画像記録部116は、画像ファイル152を閉じて、1回目撮影の動画像データ記録を終了する (ステップS62)。

0088

全体制御部112は、設定された境界候補を表示部160に表示する(ステップS64)。境界候補の表示は、境界候補のみ表示しても良いし、境界候補を重畳した動画像を再生表示してもよい。また、図6で示したような境界候補が移動する場合には、境界候補のみを順番に表示してもよいし、各境界候補と各境界候補の切換わり時の動画像を順番に表示してもよい。

0089

全体制御部112は、撮影者により境界候補が承認されたかを判断する(ステップS66)。撮影者は、表示された境界候補を見て、適当であるかを判断する。全体制御部112は、境界候補が承認されたと判断すると(ステップS66YES)、画像記録部116は、境界候補情報を、撮影された動画データと共に画像ファイル152に記録する。

0090

全体制御部112は、境界候補が承認されないと判断すると(ステップS66NO)、撮影者からの指示で、境界の変更あるいは境界候補を削除する。境界設定部126は、撮影者から境界の変更を指示された場合には、指示に応じて境界を変更する。撮影者から境界候補の削除が指示された場合には、全体制御部112は、1回目撮影を再度行う。全体制御部112は、ステップS66またはステップS68の後に、ステップS42に戻る。

0091

全体制御部112は、1回目撮影が選択されていないと判断すると(ステップS42NO)、2回目撮影が選択されたかを判断する (ステップS80)。図13の画面160cで撮影者により「2回目撮影」がタップされると、2回目撮影が選択される。

0092

全体制御部112は、2回目撮影が選択されていないと判断すると(ステップS80NO)、図13の画面160cで「戻る」が選択されたかを判断する (ステップS82)。全体制御部112は、「戻る」が選択されたと判断すると (ステップS82YES) 、合成画像撮影モードを終了して、図8のステップS16に戻る。全体制御部112は、「戻る」が選択されていないと判断すると (ステップS82NO) 、ステップS40に戻る。

0093

全体制御部112は、2回目撮影が選択されたと判断すると(ステップS80YES)、撮影者に1回目撮影画像を選択させる(ステップS84)。1回目撮影画像が複数存在する場合もあるからである。全体制御部112は、例えば、1回目撮影画像のスタート画面を並べて表示部160に表示して、撮影者に選択させる。1回目撮影画像が1つしかない場合には、ステップS80は省略される。

0094

全体制御部112は、1回目撮影画像が選択された場合に、選択された1回目撮影画像の代表画像とその境界を表示する(ステップS86)。代表画像は、開始画像でも終了画像でもよい。全体制御部112は、境界に従って2回目撮影のライブビュー画像を表示する(ステップS88)。

0095

全体制御部112は、撮像装置10に、境界部分が目立たないようなAE・AFを指示する(ステップS90)。撮像装置10の制御部60は、2回目撮影において、例えば、1回目撮影と、絞り・シャッター値・ピント距離等をなるべく変化させないように制御する。

0096

全体制御部112は、2回目撮影の撮影開始操作がされたかを判断する(ステップS92)。全体制御部112は、2回目撮影の撮影開始操作がされていないと判断すると(ステップS92NO)、図13の画面160cの「戻る」が選択されたかを判断する (ステップS94)。全体制御部112は、「戻る」が選択されたと判断すると (ステップS94YES)、ステップS80に戻る。全体制御部112は、「戻る」が選択されていないと判断すると (ステップS94NO)、ステップS88に戻る。

0097

全体制御部112は、2回目撮影の撮影開始操作がされたと判断すると(ステップS92YES)、全体制御部112は、2回目撮影を開始する。全体制御部112は、撮像装置10に、2回目撮影の開始及び2回目撮影画像の送信を指示する(ステップS96)。 全体制御部112は、撮像装置10で撮影された2回目撮影画像を受信する(ステップS110)。

0098

合成部128は、画像ファイル152に記録された1回目撮影画像を読み出し、読み出した1回目撮影画像から特定範囲の画像を抽出し、2回目撮影画像から非特定範囲に対応する範囲の画像を抽出し、両者を合成して合成画像を生成する。前述のように、特定範囲は1回目撮影画像での特定被写体が存在する範囲で、非特定範囲は1回目撮影画像での特定被写体体が存在しない範囲である。

0099

全体制御部112は、生成された合成画像を表示部160に表示する(ステップS112)。そして、画像記録部116は、生成された合成画像を画像ファイルに記録する。なお、2回目撮影時のライブビュー画像表示では、図5等で説明した合成画像を表示する代わりに、他の表示も可能である。図15は、2回目撮影時に表示されるライブビュー画像の例である。

0100

図15の上に示す画像Q20は、図5等で説明した合成画像である。ライブビュー画像の画面が、境界Bによって、特定領域であるa領域と非特定領域であるb領域に分割される。a領域には、1回目撮影画像のa領域部分であるPaが表示され、b領域には2回目撮影画像のb領域部分であるQbが表示される。

0101

図15の中央に示す画像Q21は、ライブビュー画像のa領域を黒や青等で、表示する例である。この例によれば、1回目撮影画像の一部を抽出して表示する処理をなくすことができ、合成部128によるライブビュー画像の表示処理負荷を低減させることができる。

0102

図15の下に示す画像Q22は、ライブビュー画像に境界Bを重畳して示すのみで、a領域b領域共に2回目撮影画像をそのまま表示する例である。境界Bを重畳する処理のみであるので、画像Q21の例に比べて、更にライブビュー画像の表示処理負荷を低減することができる。

0103

境界設定部126は、画像ファイル152に記録された境界情報に基づき、境界が所定時間後に移動されるかを判断する(ステップS114)。境界設定部126は、境界が所定時間後に移動されると判断すると(ステップS114YES)、境界設定部126は、画面に移動予告を表示する(ステップS116)。移動予告は、図6で説明したような例である。境界設定部126は、境界が所定時間後に移動されないと判断すると(ステップS114NO)、ステップS116をスキップして、ステップS118に進む。

0104

全体制御部112は、撮影者により2回目撮影の終了操作がされたかを判断する(ステップS118)。全体制御部112は、2回目撮影の終了操作がされていないと判断する(ステップS118NO)、ステップS110に戻る。

0105

全体制御部112は、2回目撮影の終了操作がされたと判断すると(ステップS118YES)、撮像装置10に撮影終了を指示する(ステップS120)。なお、全体制御部112は、撮影時間を1回目撮影の時間と一致させるようにしてもよく、1回目撮影時間と同じ時間が経過したら、2回目撮影を終了させるようにしてもよい。

0106

全体制御部112は、生成された合成画像を再度表示して、合成画像を保存記録するかを撮影者に問い合わせる。全体制御部112は、記録OKであると撮影者から指示があったかを判断する(ステップS122)。

0107

全体制御部112は、記録OKであるとの指示がないと判断する(ステップS122NO)、画像ファイル152から記録された合成画像を消去して、ステップS40に戻る。全体制御部112は、記録OKであるとの指示があったと判断する(ステップS122YES)、画像記録部116は、画像ファイル152を閉じて、合成画像の記録を終了する(ステップS124)。全体制御部112は、ステップS124の後、ステップS40に戻る。

0108

〈変形例〉
上記実施形態は、以下のような変形も可能である。
・境界Bを直線で示したが、直線には限るものではない。境界Bは折れ曲がった形状でもよいし、曲線でもよい。
・2枚の撮影画像を合成する例を示したが、3枚あるいがそれ以上の撮影画像を合成する場合でも、本実施形態は適用可能である。例えば、2回目撮影で、更に、領域bを2回目撮影時の特定被写体を含む領域b1と、含まない領域b2の2つに分けるようにする。そして、3回目撮影で、領域b2を撮影範囲として、新たな被写体を撮影すれば、3回撮影の合成画像を得ることができる。
・上記実施形態として、カメラ装置と端末装置が別体で構成された撮像システムの例を説明したが、カメラ部と端末装置が一体構成された撮像システムでもよい。
・また、撮像装置は、通常のカメラではなく、内視鏡装置顕微鏡装置であってもよい。また、合成画像作成装置を、端末装置に搭載したが、撮像装置に搭載してもよい。
・撮像装置10は、画像データを圧縮して端末装置100に送信する例を示したが、端末装置100に送信される画像データは、非圧縮の画像データであってもよい。
・制御部110は、制御プログラムを読込んだCPUによるソフトウェア処理により実現されると説明したが、制御部110は、一部あるいは全部をハードウェアで構成したものであってもよい。

0109

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

0110

1撮像システム
10撮像装置
20撮影光学系
25撮像素子
30信号処理部
35圧縮部
40 RAM
45通信部
50 記憶部
55 操作部
60 制御部
100端末装置
110 制御部
112 全体制御部
114画像処理部
116画像記録部
118表示制御部
120操作判定部
122動き判定部
124画像判定部
126境界設定部
128 合成部
130合成画像作成装置
140 通信部
150 記憶部
152画像ファイル
154プログラム
160 表示部
170 操作部
180 RAM
190カメラ部
200 CPU

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ