図面 (/)

技術 画像の背景輝度画像の抽出装置及び方法、並びに影除去装置及び方法

出願人 富士通株式会社
発明者 ジォン・ユヌファヌ・ウエイ孫俊
出願日 2015年7月6日 (5年10ヶ月経過) 出願番号 2015-135640
公開日 2016年2月1日 (5年3ヶ月経過) 公開番号 2016-019287
状態 特許登録済
技術分野 FAX画像信号回路 画像処理
主要キーワード 充填モジュール 背景輝度値 頂部部分 破線ブロック 影除去処理 分位点 百分比 オリジナルサイズ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年2月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

画像の背景輝度画像の抽出装置及び方法、並びに画像における影の除去装置及び方法を提供する。

解決手段

該背景輝度画像の抽出装置は、画像における輝度値を抽出し、輝度画像を取得する輝度抽出部と、輝度画像に基づいて画像を背景前景とに分離し、初期背景輝度画像を取得する分離部と、初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、頂部輝度及び/又は底部輝度の一部が欠けている場合、頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得部と、頂部底部輝度取得部により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、画像の背景輝度画像を取得する補間部と、を含む。

概要

背景

従来では、スキャナ又はデジタルカメラなどの機器により、スキャンされる対象、例えば紙の書籍又は雑誌の画像を取得し、デジタル化することができる。しかし、図1に示すように、光線、及びスキャンされる対象、例えば書籍の表面そのものの撓みにより、通常、取得された画像には影が存在している。よって、画像形成の効果を改善するため、これらの影を自動的に除去することは望まれている。

概要

画像の背景輝度画像の抽出装置及び方法、並びに画像における影の除去装置及び方法を提供する。該背景輝度画像の抽出装置は、画像における輝度値を抽出し、輝度画像を取得する輝度抽出部と、輝度画像に基づいて画像を背景前景とに分離し、初期背景輝度画像を取得する分離部と、初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、頂部輝度及び/又は底部輝度の一部が欠けている場合、頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得部と、頂部底部輝度取得部により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、画像の背景輝度画像を取得する補間部と、を含む。

目的

本発明の一の態様では、画像の背景輝度画像を抽出する装置であって、前記画像における輝度値を抽出し、輝度画像を取得する輝度抽出手段と、前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得する分離手段と、前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び/又は底部輝度の一部が欠けている場合、前記頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得手段と、前記頂部底部輝度取得手段により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得する補間手段と、を含む、装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像の背景輝度画像を抽出する装置であって、前記画像における輝度値を抽出し、輝度画像を取得する輝度抽出手段と、前記輝度画像に基づいて前記画像を背景前景とに分離し、初期背景輝度画像を取得する分離手段と、前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び/又は底部輝度の一部が欠けている場合、前記頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得手段と、前記頂部底部輝度取得手段により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得する補間手段と、を含む、装置。

請求項2

前記輝度抽出手段により取得された輝度画像をダウンサンプリングするダウンサンプリング手段と、前記補間手段により取得された前記背景輝度画像をアップサンプリングするアップサンプリング手段と、をさらに含む、請求項1に記載の装置。

請求項3

前記分離手段は、前記輝度画像における背景の部分を抽出する背景部抽出モジュールと、前景周辺の背景部分の画素の値を用いて前記前景をある程度まで充填し、充填して得られた輝度画像を前記初期背景輝度画像とする充填モジュールと、を含む、請求項1又は2に記載の装置。

請求項4

前記背景部分抽出モジュールは、前記輝度画像を勾配画像に変換して二値化する変換手段と、最大サイズを有する白色の連結成分、及びその平均輝度との差が一定の範囲内にある他の白色の連結成分を背景部分としてマーキングするマーキング手段と、を含む、請求項3に記載の装置。

請求項5

前記頂部底部輝度取得手段は、既存データに基づく多項式フィッティングを用いて前記頂部輝度及び/又は底部輝度における欠けている部分を補填する、請求項1又は2に記載の装置。

請求項6

前記頂部底部輝度取得手段は、Lambertian反射モデルに基づいて前記頂部輝度及び/又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、前記頂部輝度及び/又は底部輝度における欠けている部分を補填する、請求項5に記載の装置。

請求項7

前記推定輝度に関連する値は、前記推定輝度の頂部及び底部の辺に平行な方向に沿う導関数である、請求項6に記載の装置。

請求項8

前記頂部底部輝度取得手段は、前記背景部分抽出モジュールにより抽出された背景部分の平均輝度が所定の閾値よりも低い場合、前記頂部輝度及び底部輝度を全て前記輝度画像における対応列の最大輝度値に設定する、請求項3に記載の装置。

請求項9

画像における影を除去する影除去装置であって、請求項1乃至8の何れかに記載の装置を含み、前記輝度画像から前記背景輝度画像の影響を除去する除去手段、をさらに含む、影除去装置。

請求項10

請求項8に記載の影除去装置を含むスキャナ又はデジタルカメラ

技術分野

0001

公開は、画像処理分野に関し、具体的にはコンピュータビジョンに関し、より具体的には、画像の背景輝度画像を抽出する装置及び方法、画像における影を自動的に除去する影除去装置及び方法、並びに該影除去装置を含むスキャナ又はデジタルカメラに関する。

背景技術

0002

従来では、スキャナ又はデジタルカメラなどの機器により、スキャンされる対象、例えば紙の書籍又は雑誌の画像を取得し、デジタル化することができる。しかし、図1に示すように、光線、及びスキャンされる対象、例えば書籍の表面そのものの撓みにより、通常、取得された画像には影が存在している。よって、画像形成の効果を改善するため、これらの影を自動的に除去することは望まれている。

0003

以下は、本公開のある態様を理解させるため、本公開を簡単に説明する。なお、この説明は、本公開を限定するものではない。この説明は、本公開の肝心な部分又は重要な部分を決定するものではないし、本公開の範囲を限定するものではない。その目的は、単なる本公開に関するある概念を簡単に説明し、より詳細な説明は後述する。

課題を解決するための手段

0004

本発明の一の態様では、画像の背景輝度画像を抽出する装置であって、前記画像における輝度値を抽出し、輝度画像を取得する輝度抽出手段と、前記輝度画像に基づいて前記画像を背景前景とに分離し、初期背景輝度画像を取得する分離手段と、前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び/又は底部輝度の一部が欠けている場合、前記頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得手段と、前記頂部底部輝度取得手段により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得する補間手段と、を含む、装置を提供する。

0005

本発明の他の態様では、画像における影を除去する影除去装置であって、上記の画像の背景輝度画像を抽出する装置を含み、前記輝度画像から前記背景輝度画像の影響を除去する除去手段、をさらに含む、影除去装置を提供する。

0006

本発明の他の態様では、画像の背景輝度画像を抽出する方法であって、前記画像における輝度値を抽出し、輝度画像を取得するステップと、前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得するステップと、前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び/又は底部輝度の一部が欠けている場合、前記頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得するステップと、取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得するステップと、を含む、方法を提供する。

0007

本発明の他の態様では、画像における影を除去する影除去方法であって、上記の画像の背景輝度画像を抽出する方法を含み、前記輝度画像から前記背景輝度画像の影響を除去するステップをさらに含む、影除去方法を提供する。

0008

本発明の他の態様では、上記の影除去装置を含むスキャナ及びデジタルカメラを提供する。

0009

本発明の他の態様では、対応するコンピュータプログラムコードコンピュータ読み取り可能な記憶媒体、及びコンピュータプログラムプロダクトをさらに提供する。

0010

以下は、本発明のこれらの利点及び他の利点は、図面を参照しながら本発明の好適な実施例を詳細に説明することによって、より明確になる。

図面の簡単な説明

0011

以下は、本発明の上記及びその他の利点及び特徴を説明するため、図面を参照しながら本発明の具体的な実施形態を詳細に説明する。図面及び以下の詳細な説明は、本明細書に含まれ、且つ明細書の一部を構成する。同一の機能及び構成を有する部材は、同一の符号で示されている。なお、これらの図面は、単なる本発明の典型的な例を説明するものであり、本発明の範囲を限定するものではない。
影を有する画像の例を示す図である。
本願の1つの実施例に係る画像の背景輝度画像の抽出装置の構成を示すブロック図である。
本願の1つの実施例に係る分離部の構成を示すブロック図である。
本願の1つの実施例に係る背景部抽出モジュールの構成を示すブロック図である。
図1における画像に対応する勾配画像の例を示す図である。
図5二値化して得られた画像の例を示す図である。
図6マーキングして得られた画像の例を示す図である。
図7充填して得られた初期背景輝度画像の例を示す図である。
欠けている部分を補填する時に用いられるモデルを示す図である。
最後に取得された背景輝度画像の例を示す図である。
本願のもう1つの実施例に係る画像の背景輝度画像の抽出装置の構成を示すブロック図である。
本願の1つの実施例に係る画像における影を除去する影除去装置の構成を示すブロック図である。
図1の影が除去された画像の例を示す図である。
本願の実施例に係る画像の背景輝度画像の抽出方法及び画像における影を除去する影除去方法のフローチャートである。
図14におけるステップS12のサブステップのフローチャートである。
図15におけるステップS201のサブステップのフローチャートである。
本発明の実施例の方法及び/又は装置を実現するための汎用コンピュータの構成を示すブロック図である。

実施例

0012

以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。

0013

なお、本発明を明確にするために、図面には本発明に密に関連する装置の構成要件又は処理のステップのみが示され、本発明と関係のない細部が省略される。

0014

上述したように、スキャンされる対象、例えば書籍に対して画像形成を行って得られた画像における影を自動的に除去する装置及び方法は望まれている。この問題点を解決するため、特にレイアウトが複雑である場合には、画像の背景輝度画像を正確に取得するのは重要である。

0015

以下は、図2を参照しながら、本願の1つの実施例に係る画像の背景輝度画像の抽出装置100の構成を説明する。図2に示すように、装置100は、画像における輝度値を抽出し、輝度画像を取得する輝度抽出部101と、輝度画像に基づいて画像を背景と前景とに分離し、初期背景輝度画像を取得する分離部102と、初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、頂部輝度及び/又は底部輝度の一部が欠けている場合、頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得部103と、頂部底部輝度取得部により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、画像の背景輝度画像を取得する補間部104と、を含む。

0016

画像の背景輝度画像を取得するため、装置100は、画像から背景を分離し、頂部輝度及び底部輝度における既存データを用いて欠けている部分を補填し、取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間する。

0017

ここで、画像はカラー画像であってもよいし、グレースケール画像であってもよい。画像の例は図1に示している。

0018

輝度抽出部101は、各画素の輝度値を抽出して輝度画像を取得してもよい。一例として、画像がカラー画像である場合、輝度抽出部101は、カラー画像をYUV色空間に変換して、そのY画像を輝度画像としてもよい。画像がグレースケール画像である場合、グレースケール値を輝度値として用いてもよい。

0019

そして、分離部102は、輝度画像に基づいて、画像の背景及び前景の輝度についての特徴に応じて分離し、即ち画像の内容情報を用いる。以下は、図3を参照しながら分離部102の一例を説明する。図3に示すように、分離部102は、輝度画像における背景の部分を抽出する背景部分抽出モジュール201と、前景周辺の背景部分の画素の値を用いて前景をある程度まで充填し、充填して得られた輝度画像を初期背景輝度画像とする充填モジュール202と、を含む。

0020

ここで、充填モジュール202を設定するのは、前景における面積の小さい領域を除去し、ノイズを低減するためである。ここで、充填は、前景における少なくとも一部の画像の値を背景部分の画素値に代えることであってもよく、充填の程度、即ち毎回充填される画素の数は予め設定されてもよい。

0021

図4は、本願の1つの実施例に係る背景部分抽出モジュール201の構成を示すブロック図である。背景部分抽出モジュール201は、輝度画像を勾配画像に変換して二値化する変換部2011と、最大サイズを有する白色の連結成分、及びその平均輝度との差が一定の範囲内にある他の白色の連結成分を背景部分としてマーキングするマーキング部2012と、を含む。

0022

背景部分抽出モジュール201は、背景が緩やかに変化し、且つ前景が急速に変化するという特徴により、背景部分を抽出する。図1の画像の例では、輝度画像を変換部2011により処理して得られた勾配画像は図5に示され、二値化された画像は図6に示され、画像において、前景部分黒色で示し、背景部分を白色で示している。説明の便宜上、図5において、水平方向をx方向と定義し、垂直方向をy方向と定義する。

0023

ここで、勾配画像は畳み込みマスクを用いて畳み込むことによって取得されてもよく、畳み込みマスクは、水平方向、即ちx方向が[−1,0,1]であり、垂直方向、即ちy方向が[−1,0,1]Tである。畳み込んだ後で、勾配画像を例えば[0,255]の区間正規化してもよい。また、二値化の閾値は、勾配画像のヒストグラムの90%分位点を計算して得られてもよい。なお、これは単なる一例であり、他の百分比を用いてもよい。

0024

そして、マーキング部2012は、図6における面積の最も大きい白色の連結成分を背景部分として取得し、その平均輝度に近い他の白色の連結成分を背景部分としてマーキングしてもよい。ここで、平均輝度に近いことは、両者の平均輝度の差が所定の範囲(例えば60)内にあることであってもよい。また、平均輝度値の比較に加えて、平均色、即ち平均のU値及びV値を比較してもよい。言い換えれば、平均輝度及び平均色が近い白色の連結成分を背景部分としてマーキングしてもよい。図6をマーキングして得られた画像は図7に示され、白色部分は背景部分である。

0025

1つの実施例では、頂部底部輝度取得部103は、背景部分抽出モジュール201により抽出された背景部分の平均輝度が所定の閾値(例えば120)よりも低い場合、頂部輝度及び底部輝度を全て輝度画像における対応列の最大輝度値に設定する。この場合は、背景が暗いため、列方向における背景輝度の変化を考慮しなくてもよい。ここで、列方向は例えば図5及び図6における垂直方向、即ちy方向である。

0026

また、図8は、充填モジュール202を用いて図7を充填して得られた初期背景輝度画像を示す図である。

0027

図に示すように、頂部部分の右側は背景ではなく、前景であるため、頂部底部輝度取得部103により初期背景輝度画像における最上行の値を頂部輝度として抽出する場合、この部分に対応する背景輝度が欠けている。この現象は、複雑なレイアウト配置に起因する。この場合は、頂部底部輝度取得部103は、既存のデータを用いて該欠けている部分を補填し、完全な頂部輝度を取得する。

0028

同様に、底部輝度の一部が欠けている場合、頂部底部輝度取得部103は、同様の処理を行い、完全な底部輝度を取得する。

0029

ここで、頂部底部輝度取得部103は、既存データに基づく多項式フィッティングを用いて頂部輝度及び/又は底部輝度における欠けている部分を補填してもよい。

0030

例えば、下記の式(1)に従って、n次の多項式f(x)を構築して既存データをフィッティングし、フィッティングして得られたf(x)を用いて欠けている部分の輝度値を計算してもよい。



ここで、xは左境界までの距離であり、Cは頂部輝度におけるデータのある部分、例えば図8における頂部の左からの白色の部分であり、f(x)は多項式で表れたxにおける推定背景輝度であり、Yxは既存データから取得された、対応位置における実際の背景輝度値である。図9は例示的な光線照射のモデルを示し、z方向はxy平面(即ちデスクトップ)に垂直な方向であり、アークに開いて置いた本のデスクトップに垂直な方向に沿う断面図を表し、光線が上方から照射され、式(1)において、背景輝度値がx軸方向の位置に関連すると考えられる。

0031

式(1)を最小化することで多項式f(x)を決定でき、f(x)を右側のデータが欠けている部分、即ち図8の右上の黒色の部分に適用し、完全な頂部輝度を取得できる。同様に、底部輝度に欠けている部分が存在する場合、式(1)を用いて同様な処理を行ってもよい。

0032

1つの実施例では、頂部底部輝度取得部103は、最小二乗法を用いて多項式のフィッティングを行ってもよい。なお、これに限定されず、他の従来の多項式のフィッティング方法を用いてもよい。

0033

もう1つの実施例では、頂部底部輝度取得部103は、Lambertian反射モデルに基づいて頂部輝度及び/又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、頂部輝度及び/又は底部輝度における欠けている部分を補填する。

0034

具体的には、頂部底部輝度取得部103は、下記の式(2)を用いて多項式f(x)のフィッティングを行ってもよい。



ここで、式(2)における1番目の総和は式(1)と同様な意味を有し、2番目の総和におけるL(x)はLambertian反射モデルに基づいて推定された、欠けている部分の背景輝度値を表し、Mは頂部輝度又は底部輝度におけるデータが欠けている部分、例えば図8における頂部の右側の黒色の部分を表す。λは重み係数を表し、両部分の占めている割合を調整するためのものである。

0035

Lambertian反射モデルは、以下のように示され、ここで、I0は光源光照射輝度を表し、図9に示すように、I0は高度Hにおける光照射輝度であり、Hは本を置いているデスクトップからの高さであり、dは本のページのデスクトップからの高さであり、θは、x方向の位置の変化に伴い、ページの法線方向とz軸方向との角度である。



この反射モデルは、背景輝度を大ざっぱに推定できるが、光線が厳密に垂直することではなく、高さdが必ずしも正確ではないため、それを直接に用いて計算された背景輝度の結果は正確ではない。この実施例では、その計算結果を既存データの一部として用いて多項式f(x)をフィッティングし、画像に対応する本の三次元形状情報を用いることで、式(1)だけを用いてフィッティングして得られた結果よりも正確な結果を取得できる。

0036

また、下記の式(4)に従って、推定輝度の頂部及び底部の辺に平行な方向に沿う導関数を既存データの一部として、多項式をフィッティングしてもよい。



この式は、式(3)に比べて、L(x)の導関数を用いて計算することで、dの不正確な影響を低減でき、より正確な結果を取得できる。

0037

他の実施例では、頂部底部輝度取得部103は、既存データに基づく線形補間を用いて頂部輝度及び/又は底部輝度における欠けている部分を補填してもよい。例えば、既存データの欠けている部分に最も近いデータとを用いて線形補間を行ってもよい。なお、少なくとも一部の既存データと完全に同一のデータを用いて欠けている部分を補填してもよい。

0038

このように、頂部底部輝度取得部103を用いることで、複雑なレイアウトにより頂部輝度及び/又は底部輝度が不完全である場合であっても、欠けている部分を補填でき、完全な頂部輝度及び底部輝度のデータを取得でき、後で行われる補間の正確性を向上できる。

0039

補間部104は、頂部輝度及び底部輝度を用いて画像全体に対して線形補間を行い、例えば、画像の左上隅座標原点として、図5に示される座標軸の設定を用いる場合、下記の式(5)を用いて各位置の背景輝度値BIを取得できる。



ここで、Sは本のページのy方向における長さであり、Itop,xは頂部輝度であり、Ibottom,xは底部輝度である。最終に取得された背景輝度画像は例えば図10に示されている。

0040

また、画像解像度が高い場合、計算量を低減するため、図11に示す本願の1つの実施例に係る画像の背景輝度画像の抽出装置200を用いてもよい。装置200は、装置100に含まれる各部に加えて、輝度抽出部101により取得された輝度画像をダウンサンプリングするダウンサンプリング部105と、補間部104により取得された背景輝度画像をアップサンプリングするアップサンプリング部106と、をさらに含む。

0041

具体的には、計算量を低減し、処理速度を向上するように、ダウンサンプリング部105は、輝度画像を、所定の画像範囲、例えば輝度画像の長手の辺が1000画素よりも小さい範囲に、ダウンサンプリングしてもよい。補間部104により背景輝度画像が取得された後、アップサンプリング部106は該背景輝度画像に対してアップサンプリングする。なお、アップサンプリング部106は、画像をオリジナルサイズにアップサンプリングしてもよし、他のサイズにアップサンプリングしてもよいが、これは背景輝度画像の適用シーンにより決められる。

0042

以上のことから、上記の装置100又は200を用いることで、複雑レイアウトの文書画像を含む各種の文書画像の背景輝度画像を正確に抽出できる。

0043

図12は、画像における影を除去する影除去装置300を示す図である。装置300は、上記の画像の背景輝度画像の抽出装置100又は200を含み、輝度画像から背景輝度画像の影響を除去する除去部301、をさらに含む。

0044

1つの実施例では、除去部301は、輝度画像の値を背景輝度画像の値で割って、それに所定の係数掛けて、輝度全体を調整する。具体的には、下記の式(6)に従って影除去処理を行う。



ここで、Yout(x,y)は最終に取得された輝度画像の値であり、Y(x,y)は輝度抽出部101により抽出された輝度画像の値であり、BI(x,y)は装置100又は200の処理により取得された背景輝度画像の値であり、ωは輝度全体を調整するためのものであり、通常、ωが大きいほど画像全体は明るく、逆の場合に画像は暗い。

0045

図1の例では、装置300により影除去処理を実行して得られた画像は図13に示されている。図から分かるように、影は殆ど除去され、ユーザの読み体験が改善された。

0046

また、処理される画像がカラー画像である場合、Yout、U、VをオリジナルRGB空間に変換してもよい。

0047

装置100又は200画像の背景輝度画像を正確に抽出できるため、上記装置300は画像に存在する影を効率的、且つ迅速に除去できる。装置300は、取得された画像に対して影除去処理を行うため、例えばスキャナ又はデジタルカメラに含まれ、或いは接続されてもよい。なお、装置300を含むスキャナ又はデジタルカメラも本願の公開範囲内にあるものである。

0048

以上、図面を参照しながら本発明に係る画像の背景輝度画像の抽出装置及び画像における影を除去する影除去装置の実施形態を説明しているが、実際には画像の背景輝度画像の抽出方法及び画像における影の除去方法も説明している。以下は、図面14〜16を参照しながら方法を簡単に説明し、その細部は上述した装置の説明を参照してもよい。

0049

図14に示すように、画像の背景輝度画像の抽出方法は、画像における輝度値を抽出し、輝度画像を取得するステップ(S11)と、輝度画像に基づいて画像を背景と前景とに分離し、初期背景輝度画像を取得するステップ(S12)と、初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、頂部輝度及び/又は底部輝度の一部が欠けている場合、頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得するステップ(S13)と、取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、画像の背景輝度画像を取得するステップ(S14)と、を含む。

0050

また、図14における破線ブロックのS15及びS16に示すように、計算量を低減し、速度を向上するため、上記方法は、ステップS11の後、ステップS12の前にステップS15をさらに含んでもよく、S15において、ステップS11において取得された輝度画像をダウンサンプリングする。また、ステップS14の後でステップS16を実行し、ステップS16において、ステップS14において取得された背景輝度画像をアップサンプリングする。

0051

ここで、処理される画像はカラー画像であってもよく、この場合は、ステップS11においてカラー画像をYUV色空間に変換して、Y画像を輝度画像とする。グレースケール画像であってもよく、この場合は、輝度値はグレースケール値である。

0052

1つの実施例では、図15に示すように、ステップS12は、下記のサブステップ、即ち輝度画像における背景の部分を抽出するステップ(S201)と、前景周辺の背景部分の画素の値を用いて前景をある程度まで充填し、充填して得られた輝度画像を初期背景輝度画像とするステップ(S202)と、を含んでもよい。

0053

一例として、図16に示すように、ステップS201は、輝度画像を勾配画像に変換するステップ(S2011)と、二値化するステップ(S2012)と、最大サイズを有する白色の連結成分、及びその平均輝度との差が一定の範囲内にある他の白色の連結成分を背景部分としてマーキングするステップ(S2013)と、を含んでもよい。

0054

また、ステップS13において、既存データに基づく多項式フィッティングを用いて頂部輝度及び/又は底部輝度における欠けている部分を補填してもよい。

0055

1つの実施例では、ステップS13において、Lambertian反射モデルに基づいて頂部輝度及び/又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、頂部輝度及び/又は底部輝度における欠けている部分を補填する。一例として、推定輝度に関連する値は、推定輝度の頂部及び底部の辺に平行な方向に沿う導関数であってもよい。

0056

また、ステップS13において、既存データに基づく線形補間を用いて頂部輝度及び/又は底部輝度における欠けている部分を補填してもよい。

0057

一方、ステップS201において抽出された背景部分の平均輝度が所定の閾値よりも低い場合、ステップS13において、頂部輝度及び底部輝度を全て輝度画像における対応列の最大輝度値に設定する。この場合は、画像の各列は同一の背景輝度値を有し、補間を行う必要がない。

0058

図14戻り、画像における影を除去する影除去方法をさらに示し、該影除去方法は、上記の図14に説明された各ステップに加え、輝度画像から背景輝度画像の影響を除去するステップ(S21)、をさらに含む。

0059

1つの実施例では、ステップ21は、輝度画像の値を背景輝度画像の値で割って、所定の係数を掛けて、輝度全体を調整するステップを含む。

0060

該影除去方法を用いることで、画像の背景輝度画像を正確に抽出できるため、画像における影を迅速、且つ効率的に除去できる。

0061

上記の処理及び装置は、ソフトウェア及び/又はファームウェアで実施されてもよい。ソフトウェア及び/又はファームウェアで実施されている場合、記憶媒体又はネットワークから専有ハードウェア構造を有するコンピュータ(例えば図17に示される汎用コンピュータ1700に該ソフトウェアを構成するプログラムインストールしてもよく、該コンピュータに各種のプログラムがインストールされており、各種の機能を実行することができる。

0062

図17において、中央処理部(即ちCPU)1701は、読み出し専用メモリ(ROM)1702に記憶されているプログラム、又は記憶部1708からランダムアクセスメモリ(RAM)1703にロードされたプログラムにより各種の処理を実行する。RAM1703には、必要に応じて、CPU1701が各種の処理を実行するに必要なデータが記憶されている。CPU1701、ROM1702、及びRAM1703は、バス1704を介して互いに接続されている。入力/出力インターフェース1705もバス1704に接続されている。

0063

入力部1706(キーボードマウスなどを含む)、出力部1707(ディスプレイ、例えばブラウン管(CRT)、液晶ディスプレイ(LCD)など、及びスピーカなどを含む)、記憶部1708(例えばハードディスクなどを含む)、通信部1709(例えばネットワークのインタフェースカード、例えばLANカードモデムなどを含む)は、入力/出力インターフェース1705に接続されている。通信部1709は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部1710は、入力/出力インターフェース1705に接続されてもよい。取り外し可能な媒体1711は、例えば磁気ディスク光ディスク光磁気ディスク半導体メモリなどであり、必要に応じてドライブ部1710にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部1708にインストールされている。

0064

ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体1711を介してソフトウェアを構成するプログラムをインストールする。

0065

なお、これらの記憶媒体は、図17に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体1711に限定されない。取り外し可能な媒体1711は、例えば磁気ディスク(フロッピー登録商標ディスクを含む)、光ディスク(光ディスク−読み出し専用メモリ(CDROM)、及びデジタル多目的ディスク(DVD)を含む)、光磁気ディスク(ミニディスク(MD)(登録商標))及び半導体メモリを含む。或いは、記憶媒体は、ROM1702、記憶部1708に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。

0066

また、本発明は機器が読み取り可能な指令コードを記録するプログラムプロダクトをさらに提供する。該指令コードは、機器により読み取られ、実行され、上記本発明の実施例に係る方法を実行できる。

0067

また、上記の機器が実行可能な指令を記憶するプログラムプロダクトを記録する記憶媒体も本発明の公開に含まれる。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、及びメモリスティックなどを含むが、これらに限定されない。

0068

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変修正、及び均等的なものが含まれる。なお、用語「包括/含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

0069

以上、図面を参照しながら本発明の実施例を説明しているが、これは単なる一例であり、本発明を限定するものではない。当業者は実際の要求に応じて上記実施例に記載された機能的モジュールを組み合わせてもよいし、省略してもよいし、1つ又は複数の機能的モジュールを追加してもよく、これらの変形例は本公開の範囲に属する。本発明の範囲は添付されたクレーム及びその均等的内容に限定される。

0070

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
画像の背景輝度画像を抽出する装置であって、
前記画像における輝度値を抽出し、輝度画像を取得する輝度抽出手段と、
前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得する分離手段と、
前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び/又は底部輝度の一部が欠けている場合、前記頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得手段と、
前記頂部底部輝度取得手段により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得する補間手段と、を含む、装置。
(付記2)
前記輝度抽出手段により取得された輝度画像をダウンサンプリングするダウンサンプリング手段と、
前記補間手段により取得された前記背景輝度画像をアップサンプリングするアップサンプリング手段と、をさらに含む、付記1に記載の装置。
(付記3)
前記分離手段は、
前記輝度画像における背景の部分を抽出する背景部分抽出モジュールと、
前景周辺の背景部分の画素の値を用いて前記前景をある程度まで充填し、充填して得られた輝度画像を前記初期背景輝度画像とする充填モジュールと、を含む、付記1又は2に記載の装置。
(付記4)
前記背景部分抽出モジュールは、
前記輝度画像を勾配画像に変換して二値化する変換手段と、
最大サイズを有する白色の連結成分、及びその平均輝度との差が一定の範囲内にある他の白色の連結成分を背景部分としてマーキングするマーキング手段と、を含む、付記3に記載の装置。
(付記5)
前記頂部底部輝度取得手段は、既存データに基づく多項式フィッティングを用いて前記頂部輝度及び/又は底部輝度における欠けている部分を補填する、付記1又は2に記載の装置。
(付記6)
前記頂部底部輝度取得手段は、Lambertian反射モデルに基づいて前記頂部輝度及び/又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、前記頂部輝度及び/又は底部輝度における欠けている部分を補填する、付記5に記載の装置。
(付記7)
前記推定輝度に関連する値は、前記推定輝度の頂部及び底部の辺に平行な方向に沿う導関数である、付記6に記載の装置。
(付記8)
前記頂部底部輝度取得手段は、最小二乗法を用いて多項式フィッティングを行う、付記5に記載の装置。
(付記9)
前記頂部底部輝度取得手段は、既存データに基づく線形補間を用いて前記頂部輝度及び/又は底部輝度における欠けている部分を補填する、付記1又は2に記載の装置。
(付記10)
前記頂部底部輝度取得手段は、前記背景部分抽出モジュールにより抽出された背景部分の平均輝度が所定の閾値よりも低い場合、前記頂部輝度及び底部輝度を全て前記輝度画像における対応列の最大輝度値に設定する、付記3に記載の装置。
(付記11)
前記画像はカラー画像であり、前記輝度抽出手段は、前記カラー画像をYUV色空間に変換し、前記Y画像を前記輝度画像とする、付記1又は2に記載の装置。
(付記12)
前記画像はグレースケール画像であり、前記輝度値はグレースケール値である、付記1又は2に記載の装置。
(付記13)
画像における影を除去する影除去装置であって、
付記1乃至12の何れかに記載の装置を含み、
前記輝度画像から前記背景輝度画像の影響を除去する除去手段、をさらに含む、影除去装置。
(付記14)
前記除去手段は、前記輝度画像の値を前記背景輝度画像の値で割って、所定の係数を掛けて、輝度全体を調整する、付記13に記載の装置。
(付記15)
請求項13又は14に記載の影除去装置を含むスキャナ又はデジタルカメラ。
(付記16)
画像の背景輝度画像を抽出する方法であって、
前記画像における輝度値を抽出し、輝度画像を取得するステップと、
前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得するステップと、
前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び/又は底部輝度の一部が欠けている場合、前記頂部輝度及び/又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得するステップと、
取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得するステップと、を含む、方法。
(付記17)
既存データに基づく多項式フィッティングを用いて前記頂部輝度及び/又は底部輝度における欠けている部分を補填する、付記16に記載の方法。
(付記18)
Lambertian反射モデルに基づいて前記頂部輝度及び/又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、前記頂部輝度及び/又は底部輝度における欠けている部分を補填する、付記17に記載の方法。
(付記19)
前記推定輝度に関連する値は、前記推定輝度の頂部及び底部の辺に平行な方向に沿う導関数である、付記18に記載の方法。
(付記20)
画像における影を除去する影除去方法であって、
付記16乃至19の何れかに記載の方法を含み、
前記輝度画像から前記背景輝度画像の影響を除去するステップ、をさらに含む、影除去方法。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ