図面 (/)

技術 画像処理装置、画像処理方法、及びプログラム

出願人 キヤノン株式会社
発明者 松山和憲
出願日 2014年10月2日 (6年3ヶ月経過) 出願番号 2014-204081
公開日 2016年5月12日 (4年7ヶ月経過) 公開番号 2016-075983
状態 未査定
技術分野 イメージ入力 TV信号の圧縮,符号化方式
主要キーワード 常時フレーム 座標制御 非同期入力 網掛け領域 各処理領域 処理領域情報 分割画像信号 メモリ書き込み制御
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

複数の分割画像に分割された画像に対して、使用するメモリ容量やメモリ帯域を削減し、かつ境界部の画質劣化を生じさせることなく画像処理を行える画像処理装置を提供する。

解決手段

複数の分割画像の画像信号を入力する分割画像信号入力部と、分割画像に対する画像処理を行う複数の画像処理部と、分割画像信号入力部から画像信号の入力に係るタイミング情報を取得し、それを基に画像処理部での処理領域を制御する制御部とを有し、制御部により決定された処理領域に応じて、入力される分割画像の画像信号のうち複数の画像処理部での画像処理に用いる画像信号を分割画像信号入力部がメモリに書き込み、入力される分割画像の画像信号にメモリから読み出した他の分割画像の画像信号を付加して前記分割画像信号入力部が画像処理部に出力する。

概要

背景

4K2Kや8K4Kといった高解像度映像のシステムにおいては、伝送路帯域の問題から、複数の映像ストリームに画像を分割して伝送する方式が採用されている。例えば、4K2Kの画像は、均等に縦横それぞれ2つに空間分割して入力している。各分割画像は、隣接する分割画像との間にオーバーラップした領域を持たないため、フィルタ処理等の画像処理を施した場合、分割境界部での画像の不連続による画質劣化が生じるという課題がある。これに対して、入力画像フレームメモリ上に格納した後、隣接する分割画像の境界領域をオーバーラップ領域として付加して処理することにより、不連続の発生を抑えて画質劣化を回避する技術が提案されている(例えば、特許文献1参照)。

概要

複数の分割画像に分割された画像に対して、使用するメモリ容量やメモリ帯域を削減し、かつ境界部の画質劣化を生じさせることなく画像処理を行える画像処理装置を提供する。複数の分割画像の画像信号を入力する分割画像信号入力部と、分割画像に対する画像処理を行う複数の画像処理部と、分割画像信号入力部から画像信号の入力に係るタイミング情報を取得し、それを基に画像処理部での処理領域を制御する制御部とを有し、制御部により決定された処理領域に応じて、入力される分割画像の画像信号のうち複数の画像処理部での画像処理に用いる画像信号を分割画像信号入力部がメモリに書き込み、入力される分割画像の画像信号にメモリから読み出した他の分割画像の画像信号を付加して前記分割画像信号入力部が画像処理部に出力する。

目的

本発明の目的は、複数の領域に分割して入力される画像に対して、使用するメモリ容量やメモリ帯域を削減し、かつ境界部の画質劣化を生じさせることなく画像処理を行うことができる画像処理装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像をN個(Nは2以上の整数)の2次元領域に分割した分割画像画像信号を処理する画像処理装置であって、メモリと、前記N個の分割画像の画像信号を入力するN個の分割画像信号入力部と、前記N個の分割画像に対する画像処理を行うN個の画像処理部と、前記N個の分割画像信号入力部から前記画像信号の入力に係るタイミング情報を取得し、前記タイミング情報を基に前記N個の画像処理部での処理領域を制御する制御部とを有し、前記分割画像信号入力部は、前記処理領域に応じて、入力される前記分割画像の画像信号のうち、対応する前記画像処理部とは異なる画像処理部での画像処理に用いる画像信号を前記メモリに書き込み、前記処理領域に応じて、入力される前記分割画像の画像信号に、前記メモリから読み出した他の前記分割画像の画像信号を付加して、対応する前記画像処理部に出力することを特徴とする画像処理装置。

請求項2

前記分割画像信号入力部は、前記制御部により指定される前記処理領域及び入力される前記分割画像の画像信号の座標情報に基づいて、前記メモリに画像信号を書き込むか否かを判定することを特徴とする請求項1記載の画像処理装置。

請求項3

前記分割画像信号入力部は、前記分割画像のライン単位で、入力される前記分割画像の画像信号のブランキング期間に、前記メモリから読み出した他の前記分割画像の画像信号を出力することを特徴とする請求項1又は2記載の画像処理装置。

請求項4

前記画像処理部は、前記制御部により指定される前記処理領域に基づいて、前記分割画像における有効領域の画像信号を前記メモリの所定のアドレスに格納することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。

請求項5

画像をN個(Nは2以上の整数)の2次元領域に分割した分割画像の画像信号を処理する画像処理装置であって、メモリと、前記N個の分割画像の画像信号を入力するN個の分割画像信号入力部と、前記メモリから所定の領域の画像信号を読み出すM個(Mは1以上の整数)の画像読み出し部と、前記N個の分割画像信号入力部及び前記M個の画像読み出し部からの画像信号を受けて画像処理を行う(N+M)個の画像処理部とを有し、前記分割画像信号入力部は、入力される前記分割画像の画像信号のうち、前記所定の領域の画像信号を前記メモリに書き込むことを特徴とする画像処理装置。

請求項6

前記分割画像信号入力部は、入力される前記分割画像の画像信号の座標情報に基づく判定に従って前記メモリに画像信号を書き込むとともに、前記メモリへの画像信号の書き込みを前記画像読み出し部に通知することを特徴とする請求項5記載の画像処理装置。

請求項7

前記画像読み出し部は、前記分割画像信号入力部から入力される前記分割画像の画像信号の座標情報に基づいて前記メモリから前記所定の領域の画像信号を読み出し、読み出した画像信号とともに前記座標情報を前記画像処理部に出力することを特徴とする請求項6記載の画像処理装置。

請求項8

画像をN個(Nは2以上の整数)の2次元領域に分割した分割画像の画像信号を処理する画像処理方法であって、前記N個の分割画像の画像信号を入力する分割画像信号入力工程と、前記N個の分割画像に対する画像処理をN個の画像処理部で行う画像処理工程と、前記N個の分割画像の画像信号の入力に係るタイミング情報を取得し、前記タイミング情報を基に前記N個の画像処理部での処理領域を制御する制御工程とを有し、前記分割画像信号入力工程では、前記処理領域に応じて、入力される前記分割画像の画像信号のうち、複数の前記画像処理部での画像処理に用いる画像信号をメモリに書き込み、前記処理領域に応じて、入力される分割画像の画像信号に、前記メモリから読み出した他の前記分割画像の画像信号を付加して前記画像処理部に出力することを特徴とする画像処理方法。

請求項9

画像をN個(Nは2以上の整数)の2次元領域に分割した分割画像の画像信号を処理する画像処理方法であって、前記N個の分割画像の画像信号を入力する分割画像信号入力工程と、メモリから所定の領域の画像信号を読み出しM個(Mは1以上の整数)の画像の画像信号として出力する画像読み出し工程と、前記分割画像信号入力工程及び前記画像読み出し工程で得られた画像信号を受けて画像処理を(N+M)個の画像処理部で行う画像処理工程とを有し、前記分割画像信号入力工程では、入力される前記分割画像の画像信号のうち、前記所定の領域の画像信号を前記メモリに書き込むことを特徴とする画像処理方法。

請求項10

画像をN個(Nは2以上の整数)の2次元領域に分割した分割画像の画像信号を処理する画像処理方法をコンピュータに実行させるためのプログラムであって、前記N個の分割画像の画像信号を入力する分割画像信号入力ステップと、前記N個の分割画像に対する画像処理をN個の画像処理部で行う画像処理ステップと、前記N個の分割画像の画像信号の入力に係るタイミング情報を取得し、前記タイミング情報を基に前記N個の画像処理部での処理領域を制御する制御ステップとをコンピュータに実行させ、前記分割画像信号入力ステップでは、前記処理領域に応じて、入力される前記分割画像の画像信号のうち、複数の前記画像処理部での画像処理に用いる画像信号をメモリに書き込み、前記処理領域に応じて、入力される分割画像の画像信号に、前記メモリから読み出した他の前記分割画像の画像信号を付加して前記画像処理部に出力することを特徴とするプログラム。

請求項11

画像をN個(Nは2以上の整数)の2次元領域に分割した分割画像の画像信号を処理する画像処理方法をコンピュータに実行させるためのプログラムであって、前記N個の分割画像の画像信号を入力する分割画像信号入力ステップと、メモリから所定の領域の画像信号を読み出しM個(Mは1以上の整数)の画像の画像信号として出力する画像読み出しステップと、前記分割画像信号入力ステップ及び前記画像読み出しステップで得られた画像信号を受けて画像処理を(N+M)個の画像処理部で行う画像処理ステップとを有し、前記分割画像信号入力ステップでは、入力される前記分割画像の画像信号のうち、前記所定の領域の画像信号を前記メモリに書き込むことを特徴とするプログラム。

技術分野

0001

本発明は、画像処理装置画像処理方法、及びプログラムに関する。

背景技術

0002

4K2Kや8K4Kといった高解像度映像のシステムにおいては、伝送路帯域の問題から、複数の映像ストリームに画像を分割して伝送する方式が採用されている。例えば、4K2Kの画像は、均等に縦横それぞれ2つに空間分割して入力している。各分割画像は、隣接する分割画像との間にオーバーラップした領域を持たないため、フィルタ処理等の画像処理を施した場合、分割境界部での画像の不連続による画質劣化が生じるという課題がある。これに対して、入力画像フレームメモリ上に格納した後、隣接する分割画像の境界領域をオーバーラップ領域として付加して処理することにより、不連続の発生を抑えて画質劣化を回避する技術が提案されている(例えば、特許文献1参照)。

先行技術

0003

国際公開第09/147795号

発明が解決しようとする課題

0004

しかしながら、特許文献1においては、入力された信号を一旦フレームメモリにすべて書き込み、読み出し時に隣接領域の画像を参照画像としてオーバーラップして読み出し、処理している。画像全体をフレームメモリに書き込む結果、メモリ容量やメモリ帯域を多く使用することとなり、メモリコストが増大するという課題がある。本発明の目的は、複数の領域に分割して入力される画像に対して、使用するメモリ容量やメモリ帯域を削減し、かつ境界部の画質劣化を生じさせることなく画像処理を行うことができる画像処理装置を提供することである。

課題を解決するための手段

0005

本発明に係る画像処理装置は、画像をN個(Nは2以上の整数)の2次元領域に分割した分割画像の画像信号を処理する画像処理装置であって、メモリと、前記N個の分割画像の画像信号を入力するN個の分割画像信号入力部と、前記N個の分割画像に対する画像処理を行うN個の画像処理部と、前記N個の分割画像信号入力部から前記画像信号の入力に係るタイミング情報を取得し、前記タイミング情報を基に前記N個の画像処理部での処理領域を制御する制御部とを有し、前記分割画像信号入力部は、前記処理領域に応じて、入力される前記分割画像の画像信号のうち、対応する前記画像処理部とは異なる画像処理部での画像処理に用いる画像信号を前記メモリに書き込み、前記処理領域に応じて、入力される前記分割画像の画像信号に、前記メモリから読み出した他の前記分割画像の画像信号を付加して、対応する前記画像処理部に出力することを特徴とする。

発明の効果

0006

本発明によれば、複数の領域に分割して入力される画像に対して、使用するメモリ容量やメモリ帯域を削減し、かつ境界部の画質劣化を生じさせることなく画像処理を行うことができる。

図面の簡単な説明

0007

第1の実施形態における画像処理装置の構成例を示す図である。
第1の実施形態における分割画像信号入力部の構成例を示す図である。
第1の実施形態におけるフレーム間画像処理部の構成例を示す図である。
第1の実施形態における分割画像とオーバーラップ領域を示す図である。
第1の実施形態における分割画像信号入力部の動作例を示すフローチャートである。
第1の実施形態における分割画像信号入力部の動作例を示すタイミングチャートである。
第1の実施形態における分割画像信号入力部の動作例を示すタイミングチャートである。
第1の実施形態における画像処理部の動作例を示すタイミングチャートである。
第1の実施形態における画像処理部の動作例を示すタイミングチャートである。
第2の実施形態における画像処理装置の構成例を示す図である。
第2の実施形態における分割画像信号入力部の構成例を示す図である。
第2の実施形態における分割画像とオーバーラップ領域を示す図である。
第2の実施形態における分割画像信号入力部及び画像読み出し部の動作例を示すタイミングチャートである。
第2の実施形態における分割画像信号入力部及び画像読み出し部の動作例を示すタイミングチャートである。
第2の実施形態における画像処理部の動作例を示すタイミングチャートである。
第2の実施形態における画像処理部の動作例を示すタイミングチャートである。

実施例

0008

以下、本発明の実施形態を図面に基づいて説明する。

0009

<第1の実施形態>
本発明の第1の実施形態について説明する。
第1の実施形態における画像処理装置の構成について説明する。図1は、第1の実施形態における画像処理装置の概略構成例を示すブロック図である。第1の実施形態における画像処理装置は、分割画像信号入力部101a〜101d、メモリ102、フレーム内画像処理部103a〜103d、フレーム間画像処理部104a〜104d、及び制御部105を有する。なお、図1においては、分割画像信号入力部101、フレーム内画像処理部103、及びフレーム間画像処理部104は、それぞれ4つ設けた例を示しているが、これに限定されるものではなく、画像の分割数(分割画像の数)と同数設けられる。

0010

分割画像信号入力部101a〜101dは、図示しない外部から入力される分割画像の画像信号を入力するための端子を有する。入力端子としては、例えばHDMI登録商標)(High-Definition Multimedia Interface)やDisplay Port、SDIコンポジット等の各種映像入力インターフェイスを用いることができる。

0011

ここで、分割画像は、画像を複数の2次元領域に分割した(空間分割した)ものである。本例では、領域Aの分割画像の画像信号SINaが分割画像信号入力部101aに入力され、領域Bの分割画像の画像信号SINbが分割画像信号入力部101bに入力されるものとする。また、領域Cの分割画像の画像信号SINcが分割画像信号入力部101cに入力され、領域Dの分割画像の画像信号SINdが分割画像信号入力部101dに入力されるものとする。

0012

分割画像信号入力部101に入力された画像信号は、後段の画像処理部103、104での処理範囲に応じて、メモリ102を介して他領域の分割画像における境界部の画像信号を付加した画像信号に適宜加工され、フレーム内画像処理部103に出力される。

0013

メモリ102は、分割画像信号入力部101a〜101d並びにフレーム間画像処理部104a〜104dと接続され、画像データを格納するために用いる。メモリ102は、例えばDDR−SDRAM(Double-Data-Rate Synchronous Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等である。

0014

フレーム内画像処理部103a〜103dは、分割画像信号入力部101a〜101dより入力される画像信号に対して、フィルタ処理等のフレーム内画像処理を施す。フレーム内画像処理部103a〜103dは、例えばJPEGやMPEG等の規格でのブロックノイズを除去するデブロッキングフィルタ処理等を行う。フレーム内画像処理部103a〜103dによってフレーム内画像処理を施された画像信号は、対応するフレーム間画像処理部104a〜104dに出力される。

0015

フレーム間画像処理部104a〜104dは、フレーム内画像処理部103a〜103dより入力される画像信号に対して、フレーム間画像処理を施す。フレーム間画像処理部104a〜104dが施すフレーム間画像処理の一例として、IP(Interlace Progressive)変換や3Dノイズ除去フレーム補間処理等が挙げられる。

0016

制御部105は、分割画像信号入力部101a〜101dから分割画像の画像信号のタイミング情報を取得して、各処理部に処理させる処理範囲(有効領域及び参照領域)を計算する。また、制御部105は、処理範囲(有効領域及び参照領域)を示す処理領域情報を、分割画像信号入力部101a〜101d及びフレーム間画像処理部104a〜104dに出力する。

0017

図2は、第1の実施形態における分割画像信号入力部101の構成例を示す図である。図2には、分割画像信号入力部101aについてのみ内部構成を図示しているが、分割画像信号入力部101b、101c、101dの内部構成は分割画像信号入力部101aと同様である。分割画像信号入力部101は、座標制御部1011、メモリ書き込み制御部1012、メモリ読み出し制御部1013、及びセレクタ1014を有する。

0018

座標制御部1011は、入力される分割画像の画像信号SINのタイミング情報を取得し、分割画像信号入力部101内の各モジュールを制御する。各分割画像信号入力部101の座標制御部1011は、制御部105と接続され、タイミング情報を制御部105に送付するとともに、処理領域情報を制御部105より取得する。また、座標制御部1011は、セレクタ1014の出力タイミングを制御する。メモリ書き込み制御部1012は、入力される分割画像の画像信号SINの内の制御部105により指定された領域の画像信号(画像データ)をメモリ102へ書き込む。

0019

メモリ読み出し制御部1013は、制御部105からの処理領域情報に従い、入力された分割画像の画像信号SINに付加する領域の画像信号(画像データ)をメモリ102から読み出す。また、メモリ読み出し制御部1013は、メモリ102から読み出した画像信号(画像データ)を、分割画像の画像信号SINのブランキング期間にセレクタ1014へ出力する。セレクタ1014は、入力された分割画像の画像信号SIN及びメモリ読み出し制御部1013からの画像信号を、座標制御部1011からの制御信号に従って選択し出力する。

0020

図3は、第1の実施形態におけるフレーム間画像処理部104の構成例を示す図である。図3には、フレーム間画像処理部104aについてのみ内部構成を図示しているが、フレーム間画像処理部104b、104c、104dの内部構成はフレーム間画像処理部104aと同様である。フレーム間画像処理部104は、メモリ書き込み制御部1041、メモリ読み出し制御部1042、及び画像処理部1043を有する。

0021

メモリ書き込み制御部1041は、フレーム内画像処理部103より入力される画像信号に対し、制御部105から指定される有効領域の画像信号(画像データ)のみを抽出し、メモリ102への書き込みを行う。メモリ読み出し制御部1042は、画像処理部1043での処理に必要なフレーム数の画像信号(画像データ)を、メモリ102から読み出して画像処理部1043へ出力する。画像処理部1043は、入力される複数フレームの画像信号(画像データ)を用いてフレーム間画像処理を施し出力する。

0022

次に、本実施形態における画像処理手法に関して説明する。ここでは、入力画像が図4(a)に示すように縦横均等に2分割(田の字状に4分割)されて入力される場合を想定し説明を行うが、分割数はN(Nは2以上の整数)であってもよい。4分割された入力画像において、左上部を領域Aとし、右上部を領域Bとし、左下部を領域Cとし、右下部を領域Dとする。

0023

各領域の分割画像の画像信号は、それぞれ個別の入力端子を介して分割画像信号入力部101a〜101dに入力される。分割画像の画像信号は、それぞれラスタスキャンにより水平方向に順次入力されるものとして説明を行う。また、各領域における有効領域を、それぞれ水平有効領域Hact、垂直有効領域Vactとする。すなわち、分割前の映像の解像度は、水平方向Hact×2、垂直方向Vact×2で表される。ここでは説明の簡略化のため、分割画像の画像信号SINa〜SINdは、垂直同期信号が同期して入力されるものとして説明を行うが、必ずしもこれに限るものではない。

0024

入力された各分割画像の画像信号SINは、フレーム内画像処理部103のフィルタ処理を実施する際に、分割境界部での不連続性による画質劣化を防ぐため、隣接する領域の分割画像の一部を参照画像として使用する。図4(b)に画像信号SINa〜SINdの画像処理に必要なオーバーラップ領域を説明する図を記載する。図4(b)において、実線で囲まれる領域は、画像信号SINa〜SINdの自身の領域を示し、点線で囲まれる領域は自身の領域を処理するために必要となる隣接領域の参照領域を示す。実線部の領域の画像処理を画質劣化を生じさせることなく実施するためには、点線部で表される隣接領域のオーバーラップ領域の画像が必要となる。

0025

図4(b)の各領域A〜D内において、1〜4は、下記の意味を示す。
1:自身の領域内の画素値のみで処理できる領域
2:処理するために水平方向に隣接する領域の参照画像を必要とする領域
3:処理するために垂直方向に隣接する領域の参照画像を必要とする領域
4:処理するために水平方向、垂直方向、及び斜め方向に隣接する領域の参照画像を必要とする領域

0026

また、オーバーラップ領域は水平方向の長さがα画素分、垂直方向の長さがβライン分であるとする。オーバーラップ領域のサイズ(α、β)は、分割画像信号入力部101以降の処理に要するタップ数を鑑みて設定される。本実施形態では、図3内のフレーム内画像処理部103aに示すようにフィルタのサイズを規定する。

0027

本実施形態における各画像処理部に処理させる処理領域(処理範囲)の決定手法に関して説明する。本実施形態では、各領域の分割画像の画像信号SINa〜SINdは同期して入力される。したがって、領域B及び領域Dにおける左端の分割境界領域の画像信号の入力時には、領域A及び領域Cにおける右端の分割境界領域の画像信号は、分割画像信号入力部101a、101cに入力されていない。

0028

そのため、図4(b)に示したように、各分割画像において隣接する分割画像の境界領域の画像信号を付加して処理する場合、領域B、Dの出力は、領域A、Cの当該ラインの入力まで待つ必要があるため、画像を保持するメモリが必要となり効率的でない。これを避けるため、本実施形態では図4(c)に示すような処理領域(処理範囲)とする。

0029

領域Bにおける左端の分割境界領域の処理は、領域Aにおける右端の画像信号の出力後に、領域Bにおける左端の分割境界領域の画像信号を付加して画像処理部Aに処理させる(以後、付加する領域をオーバーラップ領域とも呼ぶ)。また、領域Dにおける左端の分割境界領域の処理は、領域Cにおける右端の画像信号の出力後に、領域Dにおける左端の分割境界領域の画像信号を付加して画像処理部Cに処理させる。

0030

また、領域C及び領域Dにおける上端の分割境界領域の画像信号の入力時には、処理に必要となる領域A及び領域Bにおける下端の分割境界領域の画像信号は、分割画像信号入力部101a、101bに入力されていない。そのため、領域A、Bにおける下端の画像信号の出力後に、領域C、Dにおける上端の分割境界領域の画像信号を付加して画像処理部A、Bにそれぞれ処理させるよう処理領域を決定する。このように処理領域を非対称に分割することで、分割画像の分割境界領域の画像信号を必要に応じてメモリ102に格納するだけで処理が可能となり、メモリ102へのアクセス量ハードウェア構成量を抑えて画像処理を行うことが可能となる。

0031

分割画像の画像信号の入力が非同期であり、領域Aの画像信号の入力が領域Bの画像信号の入力より1ライン以上早い場合には、領域Bの画像処理時に領域Aのオーバーラップ領域を処理させるように処理の割合を変更する。領域C、Dに関しても同様である。このように分割画像の画像信号の入力タイミングに応じて処理領域を決定することにより、非同期入力された際にも処理領域を適切に決定できる。

0032

次に、本実施形態における画像処理装置の処理全体について説明する。
分割画像の画像信号SINa〜SINdが分割画像信号入力部101a〜101dへ入力されると、それぞれの座標制御部1011は、画像信号のタイミング情報を取得して制御部105へ出力する。制御部105は、座標制御部1011からの情報より各画像信号SINa〜SINdの入力タイミングを検知し、各分割画像信号入力部101の処理範囲を決定する。本実施形態においては、図4(c)に示したように、各処理領域が決定される。処理領域を決定した後、制御部105は、メモリ102へ画像信号(画像データ)を書き込ませるオーバーラップ領域を示す処理領域情報を分割画像信号入力部101a〜101dへ通知する。

0033

次に、分割画像信号入力部101のメモリ102への書き込み処理について、図5(A)に示すフローチャート並びに図6図7に示すタイミングチャートを用いて説明する。処理領域情報が制御部105から分割画像信号入力部101へ通知された後、各分割画像信号入力部101の座標制御部1011は、水平同期信号の入力を検知し(S101)、入力される画像信号SINの座標カウントする(S102)。そして、座標制御部1011は、カウントしている座標を基に、その画素がオーバーラップ領域に該当する画素であるか判断を行う(S103)。オーバーラップ領域に該当する画素である場合、メモリ書き込み制御部1012より該領域の画像信号(画像データ)をメモリ102へ各ライン単位で格納する(S104〜S106)。オーバーラップ領域以外の画像信号については、メモリ102への書き込みは実施しない。

0034

分割画像信号入力部101a〜101dの処理動作例を示すタイミングチャートを図6図7に示す。なお、図6及び図7において、入力は分割画像信号入力部101への入力であり、メモリWrはメモリ書き込み制御部1012によるメモリ102への書き込みである。また、メモリRdはメモリ読み出し制御部1013によるメモリ102からの読み出しであり、出力は分割画像信号入力部101からの出力である。

0035

図4(c)に示したように、領域Aの分割画像の画像信号SINaにおいては、画像処理部A以外の画像処理部(フレーム内画像処理部103並びにフレーム間画像処理部104)で処理される領域がないため、メモリ102への書き込みは実施されない。領域Bの分割画像の画像信号SINbにおいては、領域Aと接する領域(0,0)〜(α,Vact)が画像処理部Aにて処理されるため、該領域の画像信号(画像データ)がメモリ102へ書き込まれる。

0036

領域Cの分割画像の画像信号SINcにおいては、領域Aと接する領域(0,0)〜(Hact,β)が画像処理部Aにて処理されるため、該領域の画像信号(画像データ)がメモリ102へ書き込まれる。領域Dの分割画像の画像信号SINdにおいては、領域B、Cと接する領域(0,0)〜(Hact,β)及び(0,0)〜(α,Vact)が画像処理部A乃至Cで処理されるため、該領域の画像信号(画像データ)がメモリ102へ書き込まれる。

0037

次に、分割画像信号入力部101の出力処理について、図5(B)に示すフローチャート並びに図6図7に示すタイミングチャートを用いて説明する。各分割画像信号入力部101a〜101dは、図4(c)に示した領域をそれぞれ処理するよう、入力される画像信号SINa〜SINd及びメモリ102に書き込まれた画像信号(画像データ)を用いて出力するため、以下のように動作する。

0038

各分割画像信号入力部101の座標制御部1011は、水平同期信号の入力を検知し(S201)、入力される画像信号のタイミング情報と座標情報を取得する(S202)。そして、座標制御部1011は、取得した情報を基に該ラインに画像信号(画像データ)をメモリ102から読み出すべきオーバーラップ領域があるか判断する(S203)。オーバーラップ領域がある場合には、メモリ読み出し制御部1013よりオーバーラップ領域の画像信号(画像データ)をメモリ102から読み出しておく(S204)。

0039

次に、座標制御部1011は、取得したタイミング情報より入力された画像信号SINの有効期間中かブランキング期間中かを判断する(S205)。有効期間である場合、入力された画像信号SINの有効領域をフレーム内画像処理部103へ出力させるよう、セレクタ1014を制御し出力させる(S207)。ブランキング期間である場合、メモリ102から読み出したオーバーラップ領域の画像信号(画像データ)を、出力すべき所定の位置に出力するよう制御し出力させる(S206)。

0040

本実施形態において、分割画像信号入力部101aは、図4(c)に示したように、入力された領域Aに加え、領域B〜領域Dのオーバーラップ領域を処理する。例えば画像処理部A(フレーム内画像処理部103a並びにフレーム間画像処理部104a)でのライン0の画像処理においては、領域Bのライン0のオーバーラップ領域の画像信号が必要となる。ここで、各分割画像信号SINの入力は同期しているため、領域Aの右端(Hact,0)が入力された際には、メモリ102に領域Bのライン0のオーバーラップ領域の画像信号の書き込みが完了している。

0041

そこで、図6に示すように、入力されたライン0の画像信号SINaを出力した後、メモリ102より領域Bのライン0のオーバーラップ領域の画像信号を読み出し、画像信号SINaのブランキング期間中に出力する。領域Cにおいても同様に、入力されたライン0の画像信号SINcを出力した後、領域Dのライン0のオーバーラップ領域の画像信号をメモリ102より読み出し、画像信号SINcのブランキング期間中に出力する。領域B及び領域Dでは、水平方向のオーバーラップ領域は不要であるため、メモリ102からの読み出しは実施しない。

0042

各画像信号SINの最終ラインVactまで出力されると、図7に示すように分割画像信号入力部101a、101bは、領域C、Dの0ライン〜βラインのオーバーラップ領域の画像信号の読み出しを行い、フレーム内画像処理部103a、103bへ出力する。一方、分割画像信号入力部101c〜101dは、出力を完了する。以上の処理により、分割画像信号入力部101a〜101dは、図4(c)に示した全領域の画像信号の出力を完了する。

0043

フレーム内画像処理部103は、分割画像信号入力部101より入力された画像信号に対し、フィルタ処理を実施する。複数ライン間の所定の範囲にフィルタ処理を実施するため、入力された画像信号は、一旦フレーム内画像処理部103内の図示しないメモリへと格納される。その後、フレーム内画像処理部103は、内部のメモリから画像信号を読み出してフィルタ処理を実施した後、フレーム間画像処理部104へ出力する。フィルタ処理の結果、フレーム内画像処理部103a〜103dの出力は、図4(c)に示した網掛け領域が有効領域となり、灰塗部は参照領域となる。

0044

フレーム間画像処理部104は、フレーム内画像処理部103から入力された画像信号を、メモリ102の所定のアドレスに格納する。メモリ102に画像信号を格納する際、制御部105より指定された処理領域の情報に従い、図4(c)に示される各画像の有効領域の画像信号のみを格納し、参照領域の画像信号は破棄される。

0045

図8図9にフレーム間画像処理部104のメモリ書き込み時のタイミングチャートを示す。なお、図8及び図9において、入力はフレーム間画像処理部104への入力であり、メモリWrはメモリ書き込み制御部1041によるメモリ102への書き込みである。白塗領域は自領域に入力された画像信号を示し、網掛け領域はメモリ102より読み出した他領域の画像領域を示す。また、メモリWrにおいて、黒塗領域は参照領域を示し、メモリに書き込まれない領域であることを示す。

0046

フレーム間画像処理部104aにおいては、入力されたライン0の画像信号のうち、有効領域となる自領域A全域と、領域Bのオーバーラップ領域である左端部の有効領域のみメモリ102に格納し、参照領域となる領域Bの右端部は破棄する。また、フレーム間画像処理部104bにおいては、入力されたライン0の画像信号のうち、領域Bの左端部は参照領域であるため破棄し、それ以外の有効領域のみメモリ102へ書き込む。

0047

フレーム間画像処理部104c、104dにおいては、ライン0は全領域が参照領域であるため、入力されたライン0の画像信号はすべて破棄され、有効領域となるライン(k+1)よりメモリ102への書き込みを行う。画像信号の書き込み時、フレーム間画像処理部104cは、領域Cのラインの全領域と、領域Dのオーバーラップ領域である左端部の有効領域を、メモリ102へ書き込む。フレーム間画像処理部104dは、領域Dの左端部は参照領域であるため破棄され、それ以外の有効領域をメモリ102へ書き込む。

0048

以上の処理を、各ラインの入力毎に実施する。その後、最終ラインVactまで入力が完了すると、フレーム間画像処理部104c、104dは、入力が完了し、処理を停止する。一方、フレーム間画像処理部104a〜104bは、領域C、Dの0ライン目からの入力を受け、有効領域のメモリ102への書き込み処理を行う。領域C、Dのkラインまでが有効領域であるため、フレーム間画像処理部104a〜104bは、領域C、Dのkラインまでメモリ102への書き込みを実施し、参照領域となる(k+1)ライン以降の画像信号はメモリ102への書き込みは行わずに破棄する。以上により、フレーム内の全画素への処理を完了する。

0049

第1の実施形態によれば、従来のように入力された画像全域の画像信号をメモリに格納することなく、オーバーラップ領域の画像信号のみをメモリに格納することで各分割画像に対する画像処理が可能となる。したがって、画像処理に係るメモリアクセス量及びメモリに格納するデータ量を削減してメモリコストを削減でき、かつ分割境界部の画質劣化を生じさせることなく画像処理を行うことができる。

0050

<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第2の実施形態における画像処理装置の構成について説明する。図10は、第2の実施形態における画像処理装置の概略構成例を示すブロック図である。第2の実施形態における画像処理装置は、入力されるN個(Nは2以上の整数)の分割画像の画像信号を入力する図示しない入力端子と、入力される分割画像の画像信号を処理するN個の分割画像信号入力部1101とを有する。また、画像処理装置は、M個(Mは1以上の整数)の画像読み出し部1105と、メモリ1102と、(N+M)個のフレーム内画像処理部1103と、(N+M)個のフレーム間画像処理部1104とを有する。図10には、N=4、M=1の場合の構成例を示しているが、これに限定されるものではない。

0051

また、本例では、領域Aの分割画像の画像信号SINaが分割画像信号入力部1101aに入力され、領域Bの分割画像の画像信号SINbが分割画像信号入力部1101bに入力されるものとする。また、領域Cの分割画像の画像信号SINcが分割画像信号入力部1101cに入力され、領域Dの分割画像の画像信号SINdが分割画像信号入力部1101dに入力されるものとする。

0052

分割画像信号入力部1101は、図11に示すように、座標制御部11011とメモリ書き込み制御部11012とを有する。座標制御部11011は、入力される分割画像の画像信号の座標を取得し、分割境界領域であれば画像信号をメモリ1102へ書き込むようメモリ書き込み制御部11012を制御する。また、メモリ1102への書き込みが完了すると、画像読み出し部1105内のオーバーラップ領域制御部11051へ座標情報を通知する。また、入力された画像信号は、分割境界領域であるか否かにかかわらず、常時フレーム内画像処理部1103へ出力される。

0053

画像読み出し部1105内のオーバーラップ領域制御部11051は、各分割画像信号入力部1101a〜1101dより入力された座標情報を基に、処理可能な分割境界領域の画像信号がメモリ1102にあるか判定する。処理可能な分割境界領域の画像信号がある場合、オーバーラップ領域制御部11051は、メモリ読み出し制御部11052へ通知し、分割境界領域の画像信号を読み出させる。読み出された分割境界領域の画像信号は、座標情報とともにフレーム内画像処理部1103eへ出力される。

0054

フレーム内画像処理部1103は、入力された画像信号に対して、フィルタ処理等のフレーム内画像処理を施す。フレーム内画像処理部1103は、図示しないフィルタ処理部及びメモリを有する。フレーム内画像処理部1103は、画像信号の処理後、フレーム間画像処理部1104へ処理結果(フレーム内画像処理された画像信号)を出力する。フレーム間画像処理部1104は、フレーム内画像処理部1103より入力された画像信号のうち有効領域の画像信号を、メモリ1102に書き込む書き込み制御部を有する。フレーム間画像処理部1104は、参照領域となる画像信号はメモリ1102への書き込みを実施しない。

0055

次に、本実施形態における画像処理手法について説明する。ここでは、入力画像が図12(a)に示すように縦横均等に2分割(田の字状に4分割)されて入力される場合を想定し説明を行うが、これに限定されるものではない。4分割された入力画像において、左上部を領域Aとし、右上部を領域Bとし、左下部を領域Cとし、右下部を領域Dとする。

0056

図12に入力画像と各画像処理部(フレーム内画像処理部1103並びにフレーム間画像処理部1104)A〜Eで処理する領域を示す。図12(b)に示すように、画像処理部A〜画像処理部Dは、入力された分割画像と同じ領域の画像信号を入力して処理し、分割境界部を除く範囲が有効領域(網掛け部)となるよう処理する。それ以外の領域は、参照領域(灰塗部)として処理する。また、画像処理部Eは、各領域の分割境界領域の画像信号を、メモリ1102より読み出して処理する。画像処理部Eで処理された画像信号の有効領域は網掛けで示す分割境界領域であり、それ以外の領域が参照領域(灰塗部)として扱われる。画像処理部A〜画像処理部Eで処理された画像信号の有効領域を合わせると、画像信号SINa〜SINdの有効領域と等しくなる。

0057

次に、本実施形態における分割画像信号入力部1101a〜1101dでの処理について説明する。分割画像信号入力部1101a〜1101dの座標制御部11011は、入力された分割画像の画像信号SINa〜SINdの座標を取得し、該座標がオーバーラップ領域(分割境界領域)であるか判断を行う。オーバーラップ領域であると判断された場合、メモリ書き込み制御部11012より該領域の画像信号(画像データ)をメモリ102へライン毎に出力し、同時に画像読み出し制御部1105内のオーバーラップ領域制御部11051へ通知する。また、入力された画像信号SINを、オーバーラップ領域の如何にかかわらず、フレーム内画像処理部1103へ出力する。

0058

画像読み出し部1105は、分割画像信号入力部1101a〜1101dからの座標情報を使用し、メモリ1102に画像処理部Eでの画像処理に必要な画像信号が入力されているか監視し、書き込みを検知するとメモリ1102より読み出しを行う。図13図14に分割画像信号入力部1101a〜1101d及び画像読み出し部1105の処理動作例を示すタイミングチャートを示す。なお、図13及び図14において、入力は分割画像信号入力部1101への入力であり、メモリWrはメモリ書き込み制御部11012によるメモリ1102への書き込みである。また、メモリRdはメモリ読み出し制御部11052によるメモリ1102からの読み出しであり、出力は分割画像信号入力部101及び画像読み出し部1105からの出力である。

0059

分割画像の画像信号SINa〜SINdが同期して入力しているとすると、0ライン目のHact座標まで入力された時点で、領域A〜領域Dのオーバーラップ領域がメモリ1102に格納されている。オーバーラップ領域制御部11051は、この状態を検知すると、メモリ1102より図13に示すように領域A、Bの境界領域、及び領域C、Dの境界領域の順にメモリ読み出し制御部11052によりメモリ1102から画像信号の読み出しを行う。そして、読み出した画像信号とともにその座標情報をフレーム内画像処理部1103eへ出力する。

0060

画像信号SINの最終ラインであるVactまで画像信号の入力が完了すると、画像読み出し部1105は、図14に示すように領域A、Bの最終ラインVactの読み出し後、領域C、Dの0ライン〜βラインの画像信号を読み出す。そして、垂直方向の分割境界領域の処理が実施される。

0061

フレーム内画像処理部1103a〜1103eは、入力された画像信号に対し、所定のフィルタ処理を施してフレーム間画像処理部1104a〜1104dへ出力する。フレーム内画像処理部1103は、フィルタ処理において複数ラインの画像信号を参照するため、図示しないメモリを内部に有し入力された画像信号を書き込む。その後、フレーム内画像処理部1103a〜1103dは、内部のメモリから画像信号を読み出し、所定のフィルタ処理を施す。フィルタ処理の結果、図12に示したように、有効領域は網掛けで示す領域となり、それ以外は参照領域(灰塗部)として出力する。

0062

フレーム内画像処理部1103eは、内部のメモリへ画像信号を書き込む際、画像読み出し部1105より入力される座標情報を用い、座標毎に異なる領域へ画像信号を書き込む。また、画像信号をメモリ1102から読み出し処理する際にも、前記座標情報を用い、所定の領域毎に処理を行う。本実施形態では、領域A、Bの境界領域、領域C、Dの境界領域、領域A、Cの境界領域、領域B、Dの境界領域の順に入力されるため、それぞれ格納するアドレスを分けて処理する。処理の結果、図12に示す通り、境界領域が有効領域(網掛け部)として出力され、それ以外は参照領域(灰塗部)として出力される。また、出力する画像にあわせて該画像信号の座標情報をフレーム間画像処理部1104eへ出力する。

0063

図15図16にフレーム間画像処理部1104のメモリ1102への書き込み時のタイミングチャートを示す。なお、図15及び図16において、入力はフレーム間画像処理部1104への入力であり、メモリWrはフレーム間画像処理部1104内のメモリ書き込み制御部によるメモリ1102への書き込みである。

0064

フレーム間画像処理部1104は、入力された画像信号のうち、有効領域(図15図16において白塗領域)のみをメモリ1102へ書き込み、参照領域(図15図16において黒塗領域)は破棄する。各分割画像の分割境界部は、フレーム間画像処理部1104a〜1104dでは参照領域(図16,17において黒塗部)となるため、メモリ1102へ画像信号の書き込みは行わない。

0065

例えば、フレーム間画像処理部1104a、1104bは、ライン0より有効領域となりメモリ1102へ画像信号が書き込まれる。フレーム間画像処理部1104c、1104dは、0〜kラインまでは参照領域となるため破棄され、メモリ1102への画像信号の書き込みは(k+1)ライン以降実施される。また、フレーム間画像処理部1104a、1104bでは、Vact−jライン以降は参照領域となるため画像信号が破棄される。

0066

フレーム間画像処理部1104eでは、フレーム内画像処理部1103eより入力される座標情報に従い、入力される画像信号の有効領域(網掛け部)と参照領域(黒塗部)を判定し、メモリ1102へ有効領域の画像信号のみを書き込む。
以上の処理により、フレーム内の全画素への処理を完了する。

0067

第2の実施形態によれば、入力される画像信号のブランキング期間がフィルタ処理に要するオーバーラップ領域よりも小さく、第1の実施形態の画像処理装置では処理できない場合においても処理可能となる。また、従来のように、入力時に画像の全領域をメモリに書き込む必要がないため、メモリ容量及びメモリ帯域を削減することができる。また、分割画像の分割境界部においても適切な画像処理が可能となり、分割境界部の画質劣化を生じさせることもない。

0068

(本発明の他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0069

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

0070

101、1101:分割画像信号入力部 102、1102:メモリ103、1103:フレーム内画像処理部 104、1104:フレーム間画像処理部 105:制御部 1105:画像読み出し部 1011、11011:座標制御部 1012、1041、11012:メモリ書き込み制御部 1013、1042、11052:メモリ読み出し制御部 11051:オーバーラップ領域制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ