図面 (/)

技術 画像生成装置及び画像生成制御プログラム並びに画像生成制御方法

出願人 コニカミノルタ株式会社
発明者 脇正悟
出願日 2014年11月5日 (6年0ヶ月経過) 出願番号 2014-224992
公開日 2016年5月23日 (4年5ヶ月経過) 公開番号 2016-091300
状態 特許登録済
技術分野 イメージ処理・作成 画像処理 TV信号の記録
主要キーワード バランスチェック イメージ補正 コントローラファームウェア データ判定処理 合成対象画像データ 画像確認処理 標準露出 生成モード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

適切なHDR(High Dynamic Range)画像を確実に生成することができる画像生成装置及び画像生成制御プログラム並びに画像生成制御方法を提供する。

解決手段

印刷のための画像を生成する画像生成装置であって、外部の装置から入力されたデータが、複数の画像が所定形式グループ化された特定データであるかを判定する入力データ判定部と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してHDR画像を生成するHDR画像生成部と、を備える。また、前記特定データに含まれる前記複数の画像の中から、前記HDR画像の生成に利用する画像を選択する画像選択部、前記特定データに含まれる前記複数の画像の内容を確認する画像確認部を更に備える。

概要

背景

露出が異なる複数枚入力画像から、白飛びや黒潰れが軽減された一枚のトーンマッピングされたHDR画像を作成する技術が知られている。このHDR画像の生成方法として、コンピュータ装置上で動作するアプリケーションソフトを利用する方法の他に、デジタルカメラ本体に内蔵されたHDR画像生成モジュールを利用する方法などがある。

上記画像合成に関連する技術として、例えば、下記特許文献1には、第1の画像に第2の画像を合成した合成画像を所定の色モードで出力する画像処理装置であって、第1の画像を取得する第1の取得手段と、第2の画像及び該第2の画像の色モードを取得する第2の取得手段と、前記第1の画像の色モードを判定する判定手段と、前記第1の画像に前記第2の画像を合成して合成画像を生成する合成手段と、前記第1の画像及び前記第2の画像の色モードを利用して、前記合成画像の出力時の色モードを設定する設定手段と、前記設定手段によって設定された色モードに従って、前記合成画像を出力する出力手段と、を備える画像処理装置が開示されている。

また、下記特許文献2には、異なる撮影条件の下での撮影によって得られた複数の合成対象画像を表わすデータを記憶する合成対象画像データ記憶手段、背景を撮影して背景画像を表すデータを出力する撮像手段、上記撮像手段による背景画像の撮影時の撮影条件にもとづいて、上記合成画像データ記憶手段に記憶されている上記複数の合成対象画像データの中から、背景画像に適する一つの合成対象画像データを選択する合成対象画像選択手段、および、上記撮像手段から出力される背景画像に、上記合成対象画像選択手段によって選択された合成対象画像を合成し、合成画像を表す合成画像データを出力する画像合成手段を備えた撮像装置が開示されている。

概要

適切なHDR(High Dynamic Range)画像を確実に生成することができる画像生成装置及び画像生成制御プログラム並びに画像生成制御方法を提供する。印刷のための画像を生成する画像生成装置であって、外部の装置から入力されたデータが、複数の画像が所定形式グループ化された特定データであるかを判定する入力データ判定部と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してHDR画像を生成するHDR画像生成部と、を備える。また、前記特定データに含まれる前記複数の画像の中から、前記HDR画像の生成に利用する画像を選択する画像選択部、前記特定データに含まれる前記複数の画像の内容を確認する画像確認部を更に備える。

目的

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、適切なHDR画像を確実に生成することができる画像生成装置及び画像生成制御プログラム並びに画像生成制御方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

印刷のための画像を生成する画像生成装置であって、外部の装置から入力されたデータが、複数の画像が所定形式グループ化された特定データであるかを判定する入力データ判定部と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してHDR(High Dynamic Range)画像を生成するHDR画像生成部と、を備える、ことを特徴とする画像生成装置。

請求項2

前記特定データは、zipファイルである、ことを特徴とする請求項1に記載の画像生成装置。

請求項3

前記特定データに含まれる前記複数の画像の中から、前記HDR画像の生成に利用する画像を選択する画像選択部を更に備える、ことを特徴とする請求項1又は2に記載の画像生成装置。

請求項4

前記画像選択部は、前記複数の画像の中に、ファイルの拡張子が他とは異なる画像、撮影日時が所定の範囲から外れる画像、又は、ファイルのサイズが所定の範囲から外れる画像が含まれている場合は、その旨を警告するメッセージ通知すると共に、当該画像を前記HDR画像の生成に利用する画像から除外する、ことを特徴とする請求項3に記載の画像生成装置。

請求項5

前記画像選択部は、ファイルの拡張子、撮影日時、ファイルのサイズの少なくとも1つに基づいて、前記複数の画像が複数のグループ分類できるかを判断し、前記複数のグループに分類できると判断した場合は、前記複数の画像を前記複数のグループに分類し、前記HDR画像生成部は、前記グループ毎に前記HDR画像を生成する、ことを特徴とする請求項3又は4に記載の画像生成装置。

請求項6

前記画像選択部は、前記特定データのファイル名に、前記HDR画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記HDR画像の生成に利用する画像の数量を変更する、ことを特徴とする請求項3乃至5のいずれか一に記載の画像生成装置。

請求項7

前記特定データに含まれる前記複数の画像の内容を確認する画像確認部を更に備える、ことを特徴とする請求項1乃至6のいずれか一に記載の画像生成装置。

請求項8

前記画像確認部は、前記複数の画像の露出値を確認し、露出値が予め定めた基準値及び当該基準値に対して正及び負の所定値の3つの画像が揃っているかを確認し、前記3つの画像が揃っていない場合は、露出値が前記基準値又は前記所定値の画像の追加又は代替を促すメッセージを通知する、ことを特徴とする請求項7に記載の画像生成装置。

請求項9

前記画像確認部は、前記複数の画像の中に不要な被写体が写り込んでいる画像が含まれているかを確認し、前記不要な被写体が写り込んでいる画像が含まれている場合は、前記不要な被写体が写り込んでいない画像の追加又は代替を促すメッセージを通知する、ことを特徴とする請求項7又は8に記載の画像生成装置。

請求項10

前記画像確認部は、前記複数の画像の中に手ブレが生じた画像が含まれているかを確認し、前記手ブレが生じた画像が含まれている場合は、手ブレがない画像の追加又は代替を促すメッセージを通知する、ことを特徴とする請求項7乃至9のいずれか一に記載の画像生成装置。

請求項11

前記画像確認部は、画像の追加又は代替を促す前記メッセージを通知する際に、所定の識別情報を通知し、前記入力データ判定部は、前記特定データのファイル名に前記所定の識別情報が含まれる場合は、前記特定データに含まれる画像を、前記所定の識別情報を含むファイル名で予め保存された画像に関連付ける、ことを特徴とする請求項7乃至10のいずれか一に記載の画像生成装置。

請求項12

印刷のための画像を生成する装置で動作する画像生成制御プログラムであって、前記装置に、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してHDR画像を生成するHDR画像生成処理、を実行させる、ことを特徴とする画像生成制御プログラム。

請求項13

印刷のための画像を生成する装置を用いた画像生成制御方法であって、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してHDR画像を生成するHDR画像生成処理と、を実行する、ことを特徴とする画像生成制御方法。

技術分野

0001

本発明は、画像生成装置及び画像生成制御プログラム並びに画像生成制御方法に関し、特に、HDR(High Dynamic Range)画像を生成する画像生成装置及びHDR画像の生成を制御する画像生成制御プログラム並びに画像生成制御方法に関する。

背景技術

0002

露出が異なる複数枚入力画像から、白飛びや黒潰れが軽減された一枚のトーンマッピングされたHDR画像を作成する技術が知られている。このHDR画像の生成方法として、コンピュータ装置上で動作するアプリケーションソフトを利用する方法の他に、デジタルカメラ本体に内蔵されたHDR画像生成モジュールを利用する方法などがある。

0003

上記画像合成に関連する技術として、例えば、下記特許文献1には、第1の画像に第2の画像を合成した合成画像を所定の色モードで出力する画像処理装置であって、第1の画像を取得する第1の取得手段と、第2の画像及び該第2の画像の色モードを取得する第2の取得手段と、前記第1の画像の色モードを判定する判定手段と、前記第1の画像に前記第2の画像を合成して合成画像を生成する合成手段と、前記第1の画像及び前記第2の画像の色モードを利用して、前記合成画像の出力時の色モードを設定する設定手段と、前記設定手段によって設定された色モードに従って、前記合成画像を出力する出力手段と、を備える画像処理装置が開示されている。

0004

また、下記特許文献2には、異なる撮影条件の下での撮影によって得られた複数の合成対象画像を表わすデータを記憶する合成対象画像データ記憶手段、背景を撮影して背景画像を表すデータを出力する撮像手段、上記撮像手段による背景画像の撮影時の撮影条件にもとづいて、上記合成画像データ記憶手段に記憶されている上記複数の合成対象画像データの中から、背景画像に適する一つの合成対象画像データを選択する合成対象画像選択手段、および、上記撮像手段から出力される背景画像に、上記合成対象画像選択手段によって選択された合成対象画像を合成し、合成画像を表す合成画像データを出力する画像合成手段を備えた撮像装置が開示されている。

先行技術

0005

特開2005−109691号公報
国際公開WO99/67949号

発明が解決しようとする課題

0006

デジタルカメラなどの撮像装置に組み込まれたHDR画像生成モジュールを用いてHDR画像を生成する場合、例えば、動作モードを設定することによって、HDR画像生成用に撮影された複数の画像データがHDR画像生成モジュールに入力されるため、HDR画像を容易に生成することができる。しかしながら、HDR画像生成モジュールが別の装置に組み込まれている場合、当該装置では入力されたデータがHDR画像の生成対象となる画像データであるのかを判別することができない。例えば、プリンタ装置にHDR画像生成モジュールを搭載した場合、プリンタ装置では入力されたデータが通常の印刷のデータであるのか、HDR画像の生成のためのデータであるのかを判別することができない。そのため、HDR画像を確実に生成することができないという問題があった。

0007

また、撮像モジュールとHDR画像生成モジュールとが同じ装置に搭載されている場合、これらのモジュール連動して動作させることができるため、撮像モジュールにHDR画像の生成に適した複数の画像データを取得させることができる。しかしながら、これらのモジュールが別々の装置に搭載されている場合、撮像モジュールが取得した画像データがHDR画像の生成に適した画像データであるとは限らず、不適切な画像データがHDR画像生成モジュールに入力された場合には適切なHDR画像を生成することができないという問題があった。

0008

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、適切なHDR画像を確実に生成することができる画像生成装置及び画像生成制御プログラム並びに画像生成制御方法を提供することにある。

課題を解決するための手段

0009

本発明の一側面は、印刷のための画像を生成する画像生成装置であって、外部の装置から入力されたデータが、複数の画像が所定形式グループ化された特定データであるかを判定する入力データ判定部と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してHDR画像を生成するHDR画像生成部と、を備えることを特徴とする。

0010

本発明の一側面は、印刷のための画像を生成する装置で動作する画像生成制御プログラムであって、前記装置に、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してHDR画像を生成するHDR画像生成処理、を実行させることを特徴とする。

0011

本発明の一側面は、印刷のための画像を生成する装置を用いた画像生成制御方法であって、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してHDR画像を生成するHDR画像生成処理と、を実行することを特徴とする。

発明の効果

0012

本発明の画像生成装置及び画像生成制御プログラム並びに画像生成制御方法によれば、適切なHDR画像を確実に生成することができる。

0013

その理由は、画像生成装置(画像生成制御プログラム)は、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定し、特定データの場合は、当該特定データに含まれる複数の画像に基づいてHDR画像を生成するからである。また、画像生成装置(画像生成制御プログラム)は、特定データに含まれる複数の画像の取捨選択を行ったり、複数の画像の内容を確認して画像の追加・代替を促したりして、HDR画像の生成に適した画像を選択するからである。

図面の簡単な説明

0014

本発明の一実施例に係るプリンタ装置の概略構成を示すブロック図である。
本発明の一実施例に係るプリンタ装置で動作するコントローラファームウェアの機能を示すブロック図である。
本発明の一実施例に係るプリンタ装置の全体動作を示すフローチャート図である。
本発明の一実施例に係るプリンタ装置の全体動作を示すフローチャート図である。
本発明の一実施例に係るプリンタ装置の動作(入力データの補正処理)を示すフローチャート図である。
本発明の一実施例に係るプリンタ装置の動作(HDR画像生成処理)を示すフローチャート図である。

0015

背景技術で示したように、露出を変えて撮影した複数の画像からHDR画像を作成する技術が知られており、HDR画像生成モジュールを搭載したデジタルカメラなどが市販されている。ここで、デジタルカメラなどのように、撮像モジュールとHDR画像生成モジュールとが同一の装置に搭載されている場合は、動作モードをHDR画像生成モードなどに設定することによって、撮像モジュールにHDR画像の生成に適した複数の画像データを取得させ、その複数の画像データをHDR画像生成モジュールに転送することができるため、HDR画像生成モジュールでは、適切なHDR画像を容易に生成することができる。

0016

しかしながら、撮像モジュールとHDR画像生成モジュールとが別々の装置に搭載されている場合は、HDR画像生成モジュールを搭載する装置(例えば、プリンタ装置)では、入力されたデータが通常の印刷を指示するデータであるのか、HDR画像を生成するためのデータであるのかを判別することができないため、HDR画像を確実に生成することができない。また、通常の印刷を指示するデータと区別できたとしても、入力されたデータがHDR画像の生成に適したデータであるとは限らず、露出が不適切な画像データが含まれていたり、不適切な被写体が写り込んでいる画像データが含まれていたり、被写体がぶれている画像データが含まれていたりした場合には、適切なHDR画像を生成することができない。

0017

すなわち、HDR画像生成モジュールを搭載したプリンタ装置を用いて適切なHDR画像を確実に生成するためには、
・通常の印刷処理ではなく、HDR画像生成処理を実行することを装置に認識させる、
・HDR画像を生成するための複数の画像データが、通常印刷のためのデータとは異なる特別なデータであることを装置に認識させる、
・どの画像データがHDR画像生成処理の入力データとしてセットになっているのかを装置に認識させる、
といった処理をプリンタ装置に実行させる必要がある。

0018

そこで、本発明の一実施の形態では、HDR画像生成モジュールを搭載したプリンタ装置は、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データ(例えば、zipファイル)であるかを判定する。入力されたデータが特定データの場合、複数の画像のファイルの拡張子撮影日時、サイズなどに基づいて画像を取捨選択する。また、特定データに含まれる複数の画像の内容(露出、ゴースト手ブレの有無など)を確認し、不適切な画像が含まれている場合は、画像の追加・代替を促す。その後、選択した複数の画像をHDR画像生成モジュールに転送し、HDR画像生成モジュールは一枚のトーンマッピングされたHDR画像を生成し、エンジン部で印刷する。

0019

具体的には、特定データに含まれる複数の画像の取捨選択や画像内容の確認の際に、以下の処理を行う。
(1)所定形式でグループ化された特定データのファイル名に完成度情報(HDR画像の仕上がりを示す情報)が含まれる時は、その完成度情報に従って選択する画像の数量を変える、
(2)所定形式でグループ化された特定データに含まれる複数の画像の中に、明らかに他とは異なる種別の画像が含まれているときは警告を発し、当該画像をHDR画像の生成対象から外す、
(3)所定形式でグループ化された特定データに含まれる複数の画像が、更に複数のグループに分割可能な時は、複数のHDR画像生成が依頼されていると解釈し、グループ毎にHDR画像生成処理を実行する、
(4)所定形式でグループ化された特定データに含まれる複数の画像の内容を確認し、露出値Ev値)のバランスが悪い場合は警告を発して画像の追加・代替を促す、
(5)所定形式でグループ化された特定データに含まれる複数の画像の中に、ゴーストとなる要素が混入している画像が見つかった場合は、警告を発して画像の代替を促す、
(6)所定形式でグループ化された特定データに含まれる複数の画像の中に、手ブレ(傾きやズレ)が検出された場合は、警告を発して画像の代替を促す。

0020

また、画像の追加・代替を促す場合は、ユニークなジョブIDを発行し、追加・代替の画像をプリンタ装置に送信する際に、ファイル名にジョブIDを含ませることにより、すでにプリンタ装置内に保持されている画像との関連性を保つ。

0021

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像生成装置及び画像生成制御プログラム並びに画像生成制御方法について、図1乃至図5を参照して説明する。図1は、本実施例のプリンタ装置の概略構成を示すブロック図であり、図2は、本実施例のプリンタ装置で動作するコントローラファームウェアの機能を示すブロック図である。また、図3乃至図5は、本実施例のプリンタ装置(コントローラファームウェア)の動作を示すフローチャート図である。

0022

図1に示すように、本実施例の印刷システムは、印刷を指示する1又は複数のコンピュータ装置10と、印刷処理を実行する1又は複数のプリンタ装置20などで構成される。コンピュータ装置10とプリンタ装置20とは、Ethernet(登録商標)やToken Ring等の規格に従ってデータ通信を行うLAN(Local Area Network)などのネットワーク構内ネットワーク)を介して接続されている。

0023

[コンピュータ装置]
コンピュータ装置10は、パーソナルコンピュータタブレット端末、デジタルカメラなどであり、図示しないCPU(Central Processing Unit)と、ROM(Read Only Memory)やRAM(Random Access Memory)などのメモリと、HDD(Hard Disk Drive)やSSD(Solid State Drive)、SD(Secure Digital)カードなどの記憶装置と、NIC(Network Interface Card)やモデムなど入出力I/Fなどを備える。

0024

CPUは、コンピュータ装置10の動作を制御するプログラム、OS(Operating System)、必要に応じて、文書のデータをプリンタ装置10が解釈可能な言語(PCL(Printer Control Language)やPS(Post Script)などのPDL(Page Description Language))に変換して印刷ジョブを作成するデバイスドライバプリンタドライバ)、HDR画像を生成するための複数の画像を所定形式でグループ化してプリンタ装置20に送信するアプリケーションなどをROMや記憶装置から読み出し、RAMに展開して実行する。

0025

[プリンタ装置]
プリンタ装置20は、MFP(Multi Function Peripheral)などであり、CPU21とメモリ22と記憶装置23と入出力I/F24と操作部25と表示部26と機構部27とエンジン部28などで構成される。

0026

CPU21は、プログラムに従って演算するデータ処理装置である。メモリ22は、ROMやRAMなどである。ROMは、プリンタ装置20の全体の動作を制御するための制御プログラム(本実施例の画像生成制御を行うコントローラファームウェアを含む。)、フォントデータなどを記録する。RAMは、CPU21による制御に必要なデータ及び制御動作時に一時記憶が必要なデータ等を記憶する。記憶装置23は、HDDやSSDなどであり、コンピュータ装置10から取得した印刷ジョブ、印刷ジョブから生成した印刷データ、複数の画像を所定形式でグループ化した特定データなどを保存する。入出力I/F24は、NICやモデムなどであり、コンピュータ装置10との接続を行う。

0027

操作部25は、ハードキータッチセンサなどで構成され、印刷に関する各種操作や、HDR画像生成を実施するかの選択操作などを可能にする。表示部26は、LCD(Liquid Crystal Display)などで構成され、印刷に関する各種画面や、HDR画像生成を実施するかをユーザに選択させる選択画面、HDR画像生成に適していない画像が検出されたことを通知するメッセージなどを表示する。

0028

機構部27は、画像を形成する用紙を格納する用紙トレイ、エンジン部28に用紙を搬送する給紙部、画像形成後の用紙を排出する排出部などで構成される。

0029

エンジン部28は、電子写真方式静電記録方式等の作像プロセスを利用した画像形成のために必要な要素、すなわち、帯電装置感光体ドラム露光装置転写ローラ転写ベルト定着装置などで構成され、用紙上に画像を形成する。具体的には、帯電装置により帯電された感光体ドラムに露光装置から印刷データやHDR画像の画像データに応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像一次転写ローラ二次転写ベルトを介して用紙に転写し、定着装置で定着させる処理を行う。

0030

図2は、コントローラファームウェアの機能を示している。コントローラファームウェアは、CPU21を、制御部30、言語部35などとして機能させる。

0031

制御部30は、プリンタ装置20全体の制御を担当する。制御部30は、入力データ判定部31、画像選択部32、画像確認部33、HDR画像生成部34などを含む。

0032

入力データ判定部31は、コンピュータ装置10などから入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する。例えば、入力されたデータがzipファイルの場合に特定データであると判定する。

0033

画像選択部32は、特定データに含まれる複数の画像の中から、HDR画像の生成に適切な画像を取捨選択する。例えば、特定データのファイル名に完成度情報(HDR画像の仕上がりを示す情報)が含まれている場合は、当該完成度情報に基づいてHDR画像の生成に利用する画像の数量を変更する。また、特定データに含まれる複数の画像の中に、ファイルの拡張子が他とは異なる画像、タイムスタンプ(例えば、撮影日時)が所定の範囲から外れる画像、又は、ファイルのサイズが所定の範囲から外れる画像が含まれている場合は、当該画像をHDR画像の生成に利用する画像から除外する。また、特定データに含まれる複数の画像が、ファイルの拡張子、タイムスタンプ、ファイルのサイズの少なくとも1つに基づいて複数のグループに分類できる場合は、当該複数の画像を複数のグループに分類する。

0034

画像確認部33は、特定データに含まれる複数の画像の内容を確認し、HDR画像の生成に不適切な画像が含まれている場合は、その旨をユーザに警告して画像の追加・代替を促す。例えば、特定データに含まれる複数の画像のEv値(露出値)を確認し、Ev値が予め定めた基準値及び当該基準値に対して正及び負の所定値露出補正値)の3つの画像が揃っていない場合は、その旨を警告するメッセージを通知して、Ev値が基準値又は露出補正値の画像の追加又は代替を促す。また、特定データに含まれる複数の画像の中にゴースト(不要な被写体)が写り込んでいる画像が含まれているかを確認し、ゴーストが写り込んでいる画像が含まれている場合は、その旨を警告するメッセージを通知して、前記ゴーストが写り込んでいない画像の追加又は代替を促す。また、特定データに含まれる複数の画像の中に手ブレが生じた画像が含まれているかを確認し、手ブレが生じた画像が含まれている場合は、その旨を警告するメッセージを通知して、手ブレがない画像の追加又は代替を促す。また、画像の追加又は代替を促す際に、ユニークなジョブID(所定の識別情報)を通知する。

0035

HDR画像生成部34は、選択された複数の画像に基づいてHDR画像を生成する。具体的には、公知の手法を用いて、イメージ補正処理、ゴースト検出/除去処理放射輝度マップ作成処理シーン分類処理トーンマッピング処理ガモットマッピング処理などを行ってHDR画像を生成する。

0036

なお、本実施例の画像生成制御プログラムは、CPU21を、入力データ判定部31、画像選択部32、画像確認部33及びHDR画像生成部34(特に、入力データ判定部31及びHDR画像生成部34)として機能させるものである。

0037

言語部35は、入力データが印刷ジョブの場合に、印刷ジョブのコマンド(PDLコマンド)を解釈し、印刷ジョブに含まれる各ページのデータをラスタライズして印刷データを生成する。

0038

なお、本実施例では、コンピュータ装置10からは、複数の画像が所定形式でグループ化された特定データを取得する構成とするが、コンピュータ装置10から複数の画像データを取得してもよいし、複数の画像データを指定した印刷ジョブを取得してもよい。印刷ジョブを取得した場合は、上記言語部35は、印刷ジョブから複数の画像データを特定して、入力データ判定部31に転送すればよい。

0039

また、上記では、コントローラファームウェアを機構部27やエンジン部28を備えるプリンタ装置20で動作させる構成としたが、本実施例の画像生成制御を実施する装置は、コントローラファームウェアが動作可能な装置であればよく、例えば、コントローラファームウェアを、エンジン部28に印刷を指示するプリンタコントローラプリンタサーバなどで動作させてもよい。

0040

以下、上記構成のプリンタ装置20の動作について説明する。CPU21は、ROM又は記憶装置23に記憶したコントローラファームウェア(画像生成制御プログラムを含む。)をRAMに展開して実行することにより、図3乃至図5のフローチャート図に示す各ステップの処理を実行する。なお、図3のフローチャートは作図都合上、分図しているが、これらは一連の処理を示している。

0041

図3(a)に示すように、コントローラファームウェアは諸々の制御処理(例えば、入出力I/F24によるコンピュータ装置10との通信)を実行し(S101)、制御部30(入力データ判定部31)は、複数の画像が所定形式でグループ化された特定データを受信したかを判断する(S102)。特定データを受信していない場合(S102のNo)は、S101の制御処理に戻って、コントローラファームウェアは諸々の制御処理(例えば、印刷ジョブを受信した場合は通常の印刷処理)を実行する。なお、複数の画像が所定形式でグループ化された特定データとは、複数の画像データがzip圧縮されたデータなどである。

0042

特定データを受信した場合(S102のYes)は、制御部30(入力データ判定部31)は、受信した特定データのファイル名の中にユニークなジョブIDが含まれているかを判断する(S103)。このユニークなジョブIDは、別々のタイミングで受信した画像を、HDR画像生成処理の対象となる一連の画像として認識するために使用されるものであり、後述するS109で発行される。

0043

ファイル名の中にユニークなジョブIDが含まれている場合(S103のYes)は、追加ないし代替の画像データが送られてきたことを意味するため、制御部30(入力データ判定部31)は、受信した特定データに含まれる画像と既にプリンタ装置20の記憶装置23等に当該ジョブIDにて保存済みの画像とを、以降の処理においてセットの画像として認識する(S104)。

0044

次に、制御部30(画像確認部33)は、S102で受信した特定データに含まれる複数の画像、又は、S104でセットとして認識した複数の画像の中に、不適切な画像がないか否かを事前に確認する画像確認処理を行う(S105)。図4は、画像確認処理の詳細を示している。

0045

まず、制御部30(画像確認部33)は、Ev値バランスチェック処理として、入力された複数の画像のEv値のバランスを確認する(S201)。例えば、デジタルカメラが最良と判断した基準値(標準露出:0Ev)に対して、プラス側とマイナス側に露出補正(+2Ev、−2Ev)を行った合計3つの画像を用いてHDR画像を生成するのが一般的であることから、この数値を基準にして、入力された複数の画像のEv値のバランスを確認する。

0046

具体的には、Ev値が0Evと+1Evの2つの画像が入力されたときは、マイナス側に露出補正した画像が欠落しているため、プラス側と同等の露出補正値の−1Evの画像が追加されることが望ましいと判定する。また、Ev値が−0.5Evと0Evと+0.5Evの3つの画像が入力されたときは、標準露出に対してプラス側とマイナス側に露出補正された3つの画像があるものの、露出補正値が−0.5Ev、+0.5Evと小さく、レンジ不足しているため、それら2つの画像を露出補正値が−2Evと+2Evなどの画像と代替することが望ましいと判定する。なお、各々の画像のEv値は画像データに含まれているExif(Exchangeable image file format)情報から取得することができる。

0047

次に、制御部30(画像確認部33)は、ゴースト検出処理として、入力された複数の画像の中に、ゴーストとなる要素が混入していないかどうかを確認する(S202)。ゴーストとは、例えば、露出ブラケティングで複数枚撮影した画像の中に、たまたま移動中の人や車などの被写体(不要な被写体)が写り込んでしまった場合、当該被写体が最終仕上がりのHDR画像の中にあたかもゴーストのようにうっすらと写ってしまう現象のことである。ここでは、複数の画像を比較し、相関関数を用いた数学的な手法などを用いて、他の画像には含まれていない移動物体等が混入していないかどうかを検出する。画像中にゴーストとなる要素が混入していた場合は、当該画像はゴーストとなる要素が混入していない画像と代替することが望ましいと判定する。

0048

次に、制御部30(画像確認部33)は、手ブレ検出処理として、入力された複数の画像の中に、手ブレ(傾きやズレ)が無いかどうかを確認する。例えば、公知の画像処理技術を利用して、各々の画像の中からコーナーエッジクロスポイントエンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって、ズレや回転が発生していないかを確認する。手ブレが発生していた場合は、当該画像は手ブレが無い画像と代替することが望ましいと判定する。

0049

なお、図4では、画像確認処理として、Ev値が適切であるか、ゴーストが写り込んでいないか、手ブレが無いかを確認したが、これらの処理に加えて、撮影範囲が適切であるかなどを確認することもできる。撮影範囲が適切であるかどうかは、複数の画像の注目点の位置が一致するかなどによって確認することができる。

0050

図3(a)のフローチャートに戻って、制御部30(画像確認部33)は、画像の追加・代替が望ましいケースを検出したかを判断する(S106)。画像の追加・代替が望ましいケースを検出した場合(S106のYes)は、現行の画像で処理を続行するかどうかを判断する(S107)。例えば、追加・代替が望ましい画像の入力を促すメッセージをユーザに通知するとともに、続行、キャンセル、画像の追加・代替の実施、のいずれかのアクションをユーザに選択させ、その選択結果に基づいて処理を続行するかどうかを判断する。

0051

処理の続行が選択された場合(S107のYes)は、S110に遷移し、処理の続行が選択されなかった場合(S107のNo)は、制御部30(画像確認部33)は、画像の追加・代替の実施が選択されたかを判断する(S108)。画像の追加・代替の実施が選択されなかった場合(S108のNo)は、HDR画像生成処理はキャンセルされたことになるため、S101の制御処理に戻って、コントローラファームウェアは諸々の制御処理を実行する。

0052

画像の追加・代替の実施が選択された場合(S108のYes)は、制御部30(画像確認部33)は、ユニークなジョブIDを発行し、入力された画像のファイル名にこのジョブIDを付加して記憶装置23等に保存すると共に、このジョブIDをユーザに通知する(S109)。ここで発行されたジョブIDは、後ほど、追加・代替の画像をプリンタ装置20に送信する際に利用される。すなわち、追加・代替の画像のファイル名にこのジョブIDを付加して送信することで、すでにプリンタ装置20内に保持されている画像との関連性を保つことができる。なお、ユーザへの通知は、プリンタ装置20の表示部26(オペレーションパネル)上に表示する方法の他に、ユーザが追加・代替の画像を送信するコンピュータ装置10の画面上に表示させる方法などがあり得る。その後、S101の制御処理に戻ってコントローラファームウェアの諸々の制御処理を実行する。

0053

画像の追加・代替が望ましいケースを検出しなかった場合(S106のNo)、及び、現行の画像での処理の続行が選択された場合(S107のYes)は、制御部30(画像選択部32)は、入力された複数の画像の中に、他とは異なる種別の画像が含まれていないかどうかを判断する(S110)。例えば、複数の画像は露出ブラケティングで撮影することが一般的であるので、複数の画像の種類(拡張子)は同じとなり、画像のタイムスタンプやサイズは近い値となる。そこで、このタイムスタンプの値や種類(拡張子)、更にはサイズ等のパラメータを使用して、異なる種別の画像が含まれていないかどうかを判定する。

0054

具体的には、入力された複数の画像が「J1.jpg」、「J2.jpg」、「J3.jpg」、「P.png」の場合、拡張子が異なる「P.png」は間違って混入したと推測できるため、異なる種別の画像が含まれていると判定する。また、入力された複数の画像の中に、タイムスタンプが所定の範囲(例えば、1分)を超える画像、及び/又は、サイズが所定の範囲(例えば、±10%)を超える画像が含まれている場合は、異なる種別の画像が含まれていると判定する。なお、拡張子が異なる画像、タイムスタンプやサイズが所定の範囲を超える画像が1つだけでなく複数含まれている場合は、後述のグルーピングが可能な場合があるため、ここでは排除しないものとする。

0055

他とは異なる種別の画像が含まれていると判断した場合(S110のYes)は、制御部30(画像選択部32)は、その旨をユーザに通知した上で、当該画像をHDR画像生成処理の対象から除外し(S111)、処理を続行する。

0056

次に、図3(b)に示すように、制御部30(画像選択部32)は、入力された複数の画像に関してグルーピングが可能かどうかを判断する(S112)。例えば、複数の画像は露出ブラケティングで撮影することが一般的であるので、複数の画像の種類(拡張子)は同じとなり、画像のタイムスタンプやサイズは近い値となる。そこで、このタイムスタンプの値や種類(拡張子)、更にはサイズ等のパラメータを使用して、グルーピングが可能かどうかを判定する。

0057

具体的には、入力された複数の画像が「A1.jpg」、「A2.jpg」、「A3.jpg」、「B1.jpg」、「B2.jpg」、「B3.jpg」であり、「A1.jpg」〜「A3.jpg」ならびに「B1.jpg」〜「B3.jpg」のタイムスタンプ及び/又はサイズが所定範囲内の場合は、A、Bの2つのグループに分類できるものと判定する。また、入力された複数の画像が「A1.jpg」、「A2.jpg」、「A3.jpg」、「B1.bmp」、「B2.bmp」、「B3.bmp」の場合、拡張子に基づいてA、Bの2つのグループに分類できるものと判定する。

0058

複数の画像のグルーピングが可能と判断した場合(S112のYes)は、制御部30(画像選択部32)は、画像のグルーピングを実施する(S113)。その場合、後述のHDR画像生成処理(S116)はグループ単位で複数回実行するものとする。次に、制御部30(画像選択部32)は、特定データのファイル名に予め定めた完成度情報(HDR画像の仕上がりを示す情報)があるか否かを判断する(S114)。ファイル名に完成度情報がある場合(S114のYes)は、制御部30(画像選択部32)は、完成度情報に基づいて選択する画像の数量を変更する(S115)。

0059

例えば、「HDR_HQ.ZIP」というファイル名の特定データを受信した場合、”HQ(High Quality)”という完成度情報が含まれているので、現時点で選択されている全ての画像を使用する。また、「HDR_AUTO.ZIP」というファイル名の特定データを受信した場合、”AUTO”という完成度情報が含まれているので、現時点で選択されている画像の中から最適なもの(例えば、Ev値が所望の値の画像や露出補正値がプラス側とマイナス側とでセットになっている画像、ゴーストや手ブレがない画像など)を選択する。また、「HDR_FAST.ZIP」というファイル名の特定データを受信した場合、”FAST”という完成度情報が含まれているので、処理速度の短縮を最優先として、現時点で選択されている画像の中から必要最低限の数量の画像を選択する。

0060

なお、ここでは特定データのファイル名に完成度情報があるかを判断したが、特定データとは別に完成度情報を取得してもよい。また、特定データに含まれる画像の数量や構成に基づいて制御部30(画像選択部32)が完成度を判断してもよい。

0061

ここまでのプロセスでHDR画像生成処理に用いる複数の画像が選択されたので、制御部30(HDR画像生成部34)は、HDR画像生成処理を実行する(S116)。図5は、HDR画像生成処理の詳細を示している。

0062

まず、制御部30(HDR画像生成部34)は、イメージ補正処理として、複数の画像に対して、撮影時の手ブレ等に起因する位置のズレや回転の補正処理を行う(S301)。例えば、公知の画像処理技術を利用して、コーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって位置のズレや回転を補正する。この位置のズレや回転の補正処理は標準露出の画像を基準とする。なお、S105の画像確認処理(S203)において手ブレが検出され、画像の代替が行われている場合、ここでの補正処理はスキップすることができる。また、撮影時の手ブレ等に起因する位置のズレや回転に加えて、撮影範囲の補正処理を行うこともできる。この補正処理は、注目点が一致する共通の撮影範囲をトリミングすることによって実現することができる。

0063

次に、制御部30(HDR画像生成部34)は、ゴースト検出/除去処理として、複数の画像の中に写り込んだゴースト(移動物体)の検出ならびに除去処理を行う。ゴースト(移動物体)の検出は前述した通りである。ゴーストの除去は、後述する放射輝度マップ作成処理の際に、ゴーストの領域の重み付けを低くすることで、最終仕上がりのHDR画像から除去することができる。なお、S105の画像確認処理(S202)において、ゴーストとなる要素が検出され、画像の代替が行われている場合、ここでの除去処理はスキップすることができる。

0064

次に、制御部30(HDR画像生成部34)は、放射輝度マップ生成処理として、イメージ補正を行うと共に、複数の画像から、各々のシーンの放射輝度マップ(ダイナミックレンジ拡張された不可視のHDRイメージ)を作成する。その際、ゴーストが検出され、適切な画像に代替されていない場合は、上述したようにゴーストの領域の重み付けを低くして放射輝度マップを作成する。

0065

次に、制御部30(HDR画像生成部34)は、シーン分類処理として、撮影されたシーンの分類処理を行う(S303)。シーンの分類は、例えば、撮影場所屋内屋外か、あるいは撮影状況暗いか普通か明るいかといった条件を組み合わせて行う。ここでのシーンの分類は、後述のトーンマッピング処理をより適切に行うための判断材料として用いられる。

0066

次に、制御部30(HDR画像生成部34)は、トーンマッピング処理として、S303で作成されたダイナミックレンジが拡張された不可視のHDRイメージを可視の範囲に圧縮するために、トーンマッピング処理を行う(S305)。トーンマッピング処理は、大別して、画像全体に一律に適用するグローバルトーンマッピング手法と、周囲の情報を考慮して部分的に適用するローカルトーンマッピング手法とに分けることができる。具体的なトーンマッピングのアルゴリズムとしては、”iCAM06”、”Drago”、”Reinhard”などがあり、前述のS304のシーン分類処理で分類されたシーンに応じて、適切なトーマッピングのアルゴリズムを選択してトーンマッピング処理を実行する。

0067

次に、制御部30(HDR画像生成部34)は、ガモットマッピング処理として、公知の色変換手法を用いてRGBで再現されている色をCMYKで再現可能な色空間に変換する処理を行い、最終的な可視のHDR画像を生成する(S306)。その後、生成したHDR画像をエンジン部28に送り、印刷処理を実行する(S307)。

0068

以上説明したように、本実施例では、コントローラファームウェア(画像生成制御プログラム)は、複数の画像が所定形式でグループ化された特定データが入力されたかを判定し、特定データが入力された場合に、特定データに含まれる複数の画像に基づいてHDR画像を生成するため、適切なHDR画像を確実に生成することができる。また、特定データに含まれる複数の画像の取捨選択を行ったり、画像の内容を確認して追加・代替を促したりするため、適切なHDR画像を生成することができる。

0069

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。

実施例

0070

例えば、上記実施例ではHDR画像の作成に関して説明したが、複数の画像を合成して印刷のための画像を生成する任意の場合に対して、本発明の画像生成制御を同様に適用することができる。

0071

本発明は、印刷のための画像を生成する画像生成装置及び画像の生成を制御する画像生成制御プログラム並びに当該画像生成制御プログラムを記録した記録媒体並びに画像生成制御方法に利用可能である。

0072

10コンピュータ装置
20プリンタ装置
21 CPU
22メモリ
23記憶装置
24入出力I/F
25 操作部
26 表示部
27機構部
28エンジン部
30 制御部
31 入力データ判定部
32画像選択部
33画像確認部
34HDR画像生成部
35 言語部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ