図面 (/)

技術 画像処理装置および画像処理方法、コンピュータプログラム

出願人 キヤノン株式会社
発明者 巽栄作
出願日 2016年1月27日 (5年4ヶ月経過) 出願番号 2016-013832
公開日 2017年8月3日 (3年10ヶ月経過) 公開番号 2017-135566
状態 特許登録済
技術分野 表示装置の制御、回路 画像処理 カラーテレビジョンの色信号処理
主要キーワード 重心位置ずれ 交換法則 拡大特性 分離ブロック 全周波数領域 フィルターサイズ パネルブロック 高周波成分信号
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年8月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

解像度が異なる複数の画像成分信号からなる入力信号に対して、解像度の情報が損われない画像処理を、より少ない帯域で行うための技術を提供する。

解決手段

画像処理装置は、解像度が異なる複数の画像成分信号からなる画像信号を入力し、複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い第1の画像成分信号から低周波成分信号LYを取得し、第1の画像成分信号から高周波成分信号HYを取得し、取得された低周波成分信号LYと、入力された画像信号に含まれる他の画像成分信号である第2の画像成分信号Pb,Prと、のそれぞれに対して所定の画像処理を実行し、低周波成分信号に対する所定の画像処理により得られる第1の処理済み信号ELYと、取得された高周波成分信号HYと、第2の画像成分信号に対する所定の画像処理により得られる第2の処理済み信号SLYと、に基づいて表示用信号SY,SPb,SPrを生成する。

概要

背景

従来から、映像信号における輝度信号色度信号解像度を異なるものとして伝送することが行われている。飛び越し走査インターレース)であるSD(スタンダードディフィニション)映像やHD(ハイディフィニション)映像においては、422形式と呼ばれる信号形式で行われることが多い。422形式とは、4画素分の輝度信号に対して、2画素分の赤色差信号と2画素分の青色差信号を格納する形式であり、この形式では色差信号は輝度信号に比べて半分の解像度しかないことになる。これは、人間の眼の視覚特性輝度変化に対してより敏感で、色変化に対しては比較的鈍感であることを利用して、伝送および記録に必要な信号帯域を節約したものである。

最近になって、4k解像度のUHD(ウルトラハイディフィニション)映像や8k解像度のSHVスーパーハイビジョン)映像を放送およびメディア流通させることが行われ始めている。これらの信号形式は順次走査プログレッシブ)で、420形式と呼ばれる形式が主流である。420形式は、輝度信号が縦に2画素、横に2画素で計4画素あるうちに、1画素分の赤色差信号と1画素分の青色差信号しかない形式である。この場合、色差信号は輝度信号に比べて縦横それぞれ2分の1の解像度となり、合わせると4分の1の解像度しかないことになる。

このような420形式は、伝送や記録においては必要帯域を節約するのに有効である。しかしながら、画像処理には、輝度信号と色差信号を同時に扱う必要のあるものが多い。例えば、3Dルックアップテーブルを用いた色補正階調補正などがこのような画像処理にあたる。

そういった画像処理を行うためには、輝度信号と色差信号の解像度を合わせる必要がある。そのためには、色差信号の解像度を画素補間により増大させて、輝度信号に合わせることが一般的である。あるいは輝度信号を縮小して、色差信号の解像度に合わせて画像処理を行い、後に超解像処理する場合もある。このように輝度信号を縮小して画像処理を行うと、超解像を行っても、解像度の情報が正確には元には戻らないので、画像が劣化してしまう。

そして、このように解像度を合わせた輝度信号と色差信号に対して、輝度信号と色差信号で個別の処理を行うことが特許文献1に記載されている。特許文献1の構成では、RGB信号に対するゲイン処理とは別に、輝度信号に対するシャープネス処理を行っている。

概要

解像度が異なる複数の画像成分信号からなる入力信号に対して、解像度の情報が損われない画像処理を、より少ない帯域で行うための技術を提供する。画像処理装置は、解像度が異なる複数の画像成分信号からなる画像信号を入力し、複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い第1の画像成分信号から低周波成分信号LYを取得し、第1の画像成分信号から高周波成分信号HYを取得し、取得された低周波成分信号LYと、入力された画像信号に含まれる他の画像成分信号である第2の画像成分信号Pb,Prと、のそれぞれに対して所定の画像処理を実行し、低周波成分信号に対する所定の画像処理により得られる第1の処理済み信号ELYと、取得された高周波成分信号HYと、第2の画像成分信号に対する所定の画像処理により得られる第2の処理済み信号SLYと、に基づいて表示用信号SY,SPb,SPrを生成する。

目的

本発明は、解像度が異なる複数の画像成分信号からなる入力信号に対して、解像度の情報が損われない画像処理を、より少ない帯域で行うための技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

解像度が異なる複数の画像成分信号からなる画像信号を入力する入力手段と、前記複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い第1の画像成分信号から低周波成分信号を取得する第1の取得手段と、前記第1の画像成分信号から高周波成分信号を取得する第2の取得手段と、前記第1の取得手段により取得された前記低周波成分信号と、前記入力手段により入力された画像信号に含まれる前記他の画像成分信号である第2の画像成分信号と、のそれぞれに対して所定の画像処理を実行する処理手段と、前記低周波成分信号に対する前記所定の画像処理により得られる第1の処理済み信号と、前記第2の取得手段により取得された前記高周波成分信号と、前記第2の画像成分信号に対する前記所定の画像処理により得られる第2の処理済み信号と、に基づいて表示用信号を生成する生成手段とを有することを特徴とする画像処理装置

請求項2

前記第1の画像成分信号は輝度信号であり、前記第2の画像成分信号は色差信号であることを特徴とする請求項1に記載の画像処理装置。

請求項3

前記第1の画像成分信号は2つのG信号であり、前記第2の画像成分信号はR信号およびB信号であることを特徴とする請求項1に記載の画像処理装置。

請求項4

前記低周波成分信号の解像度と、前記第2の画像成分信号の解像度とは一致していることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。

請求項5

解像度が等しい複数の画像成分信号からなる画像信号に含まれる一部の画像成分信号の解像度を低減させる処理を実行する実行手段をさらに有し、前記入力手段は、前記実行手段が実行した処理により得られた画像信号を入力することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。

請求項6

前記第1の取得手段は、ローパスフィルターによる縮小手段であることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。

請求項7

前記第2の取得手段は、前記第1の取得手段が取得した低周波成分信号を拡大する拡大手段と、前記第1の画像成分信号から前記拡大された低周波成分信号を減算する減算手段とを有することを特徴とする請求項6に記載の画像処理装置。

請求項8

前記拡大手段の拡大特性は、前記縮小手段の縮小特性の逆数であることを特徴とする請求項7に記載の画像処理装置。

請求項9

前記生成手段は、前記第1の処理済み信号と前記高周波成分信号とを加算する加算手段を有することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。

請求項10

前記所定の画像処理は、シャープネスを除く画像処理であることを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。

請求項11

前記所定の画像処理は、色補正階調補正、及び、変形の少なくともいずれかであることを特徴とする請求項10に記載の画像処理装置。

請求項12

前記生成手段が生成した表示用信号に基づく画像を表示部に表示させる表示制御手段をさらに有することを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。

請求項13

入力手段が、解像度が異なる複数の画像成分信号からなる画像信号を入力する入力工程と、第1の取得手段が、前記複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い第1の画像成分信号から低周波成分信号を取得する第1の取得工程と、第2の取得手段が、前記第1の画像成分信号から高周波成分信号を取得する第2の取得工程と、処理手段が、前記第1の取得工程により取得された前記低周波成分信号と、前記入力工程により入力された画像信号に含まれる前記他の画像成分信号である第2の画像成分信号と、のそれぞれに対して所定の画像処理を実行する処理工程と、生成手段が、前記低周波成分信号に対する前記所定の画像処理により得られる第1の処理済み信号と、前記第2の取得工程により取得された前記高周波成分信号と、前記第2の画像成分信号に対する前記所定の画像処理により得られる第2の処理済み信号と、に基づいて表示用信号を生成する生成工程とを有することを特徴とする画像処理装置の画像処理方法

請求項14

コンピュータを請求項1から12のいずれか1項に記載の画像処理装置が備える各手段として機能させるためのコンピュータプログラム

技術分野

0001

本発明は、画像処理装置および画像処理方法コンピュータプログラムに関するものである。

背景技術

0002

従来から、映像信号における輝度信号色度信号解像度を異なるものとして伝送することが行われている。飛び越し走査インターレース)であるSD(スタンダードディフィニション)映像やHD(ハイディフィニション)映像においては、422形式と呼ばれる信号形式で行われることが多い。422形式とは、4画素分の輝度信号に対して、2画素分の赤色差信号と2画素分の青色差信号を格納する形式であり、この形式では色差信号は輝度信号に比べて半分の解像度しかないことになる。これは、人間の眼の視覚特性輝度変化に対してより敏感で、色変化に対しては比較的鈍感であることを利用して、伝送および記録に必要な信号帯域を節約したものである。

0003

最近になって、4k解像度のUHD(ウルトラハイディフィニション)映像や8k解像度のSHVスーパーハイビジョン)映像を放送およびメディア流通させることが行われ始めている。これらの信号形式は順次走査プログレッシブ)で、420形式と呼ばれる形式が主流である。420形式は、輝度信号が縦に2画素、横に2画素で計4画素あるうちに、1画素分の赤色差信号と1画素分の青色差信号しかない形式である。この場合、色差信号は輝度信号に比べて縦横それぞれ2分の1の解像度となり、合わせると4分の1の解像度しかないことになる。

0004

このような420形式は、伝送や記録においては必要帯域を節約するのに有効である。しかしながら、画像処理には、輝度信号と色差信号を同時に扱う必要のあるものが多い。例えば、3Dルックアップテーブルを用いた色補正階調補正などがこのような画像処理にあたる。

0005

そういった画像処理を行うためには、輝度信号と色差信号の解像度を合わせる必要がある。そのためには、色差信号の解像度を画素補間により増大させて、輝度信号に合わせることが一般的である。あるいは輝度信号を縮小して、色差信号の解像度に合わせて画像処理を行い、後に超解像処理する場合もある。このように輝度信号を縮小して画像処理を行うと、超解像を行っても、解像度の情報が正確には元には戻らないので、画像が劣化してしまう。

0006

そして、このように解像度を合わせた輝度信号と色差信号に対して、輝度信号と色差信号で個別の処理を行うことが特許文献1に記載されている。特許文献1の構成では、RGB信号に対するゲイン処理とは別に、輝度信号に対するシャープネス処理を行っている。

先行技術

0007

特開2010−263598号公報

発明が解決しようとする課題

0008

しかしながら従来の構成には以下の課題がある。

0009

3Dルックアップテーブルを用いた色補正や階調補正などの画像処理を行うためには輝度信号と色差信号の解像度を合わせる必要がある。そして、色差信号を画素補間により解像度を増大させて処理を行うと、画像処理に必要な回路動作周波数帯域処理負荷)が増大してしまう。

0010

特許文献1の構成についても、輝度信号とRGB信号の処理を別に行ってはいるが、RGB信号の解像度は輝度信号と同じであるので、同様に必要な動作帯域が上昇してしまっている。

0011

この画像処理の動作帯域を入力信号周波数帯域よりも高くする必要があるという課題は、画像処理のハード回路を用いた場合であり、コンピュータを用いた画像処理においては、処理時間が長くなるという課題として顕在化する。

0012

また、この課題は、420形式だけでなく、422形式や411形式といった、輝度信号と色差信号の解像度が異なる信号に共通した課題となっている。

0013

そこで、本発明は、解像度が異なる複数の画像成分信号からなる入力信号に対して、解像度の情報が損われない画像処理を、より少ない帯域で行うための技術を提供することを目的とする。

課題を解決するための手段

0014

上記目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、
解像度が異なる複数の画像成分信号からなる画像信号を入力する入力手段と、
前記複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い第1の画像成分信号から低周波成分信号を取得する第1の取得手段と、
前記第1の画像成分信号から高周波成分信号を取得する第2の取得手段と、
前記第1の取得手段により取得された前記低周波成分信号と、前記入力手段により入力された画像信号に含まれる前記他の画像成分信号である第2の画像成分信号と、のそれぞれに対して所定の画像処理を実行する処理手段と、
前記低周波成分信号に対する前記所定の画像処理により得られる第1の処理済み信号と、前記第2の取得手段により取得された前記高周波成分信号と、前記第2の画像成分信号に対する前記所定の画像処理により得られる第2の処理済み信号と、に基づいて表示用信号を生成する生成手段と
を有する。

発明の効果

0015

本発明によれば、解像度が異なる複数の画像成分信号からなる入力信号に対して、解像度の情報が損われない画像処理を、より少ない帯域で行うことができる。

図面の簡単な説明

0016

画像処理装置の概要構成を示すブロック図
画像処理ブロック内部の構成を示すブロック図
画像処理ブロックにおける信号の周波数帯域を説明する図
画像処理ブロックの詳細な構成を示すブロック図
色ずれと画像処理の関係を説明する図
420形式における輝度信号と色差信号の重心位置に関する説明図
ローパスフィルターLPF)の例を示す図
画像処理ブロックの詳細な構成を示すブロック図
画像処理ブロックの詳細な構成を示すブロック図
画像処理ブロックの詳細な構成を示すブロック図
画像処理ブロックの構成を示すブロック図
画像処理ブロックにおける信号の帯域を説明する図
マイクロプロセッサを用いた構成例を示すブロック図
マイクロプロセッサによって行う処理を示したフローチャート

実施例

0017

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

0018

<第1実施形態>
図1図7を用いて、本発明の第1実施形態に係る画像処理装置を説明する。

0019

(画像処理装置)
図1は、第1実施形態における画像処理装置のハードウェア構成を示すブロック図である。ただし、図1のブロックの少なくとも一部をソフトウェアによって実現してもよい。

0020

図1中、21はデコーダーブロック、22は画像処理ブロック、23はパネル特性補正ブロック、24はパネルドライバブロック、25はパネルブロック、である。

0021

放送波ディスクメディアコンテンツでは、輝度色差信号エンコード圧縮)されている。ここでの輝度色差信号は、2k解像度(HD)では422形式と呼ばれる形式の、左右方向の色差信号が、輝度信号の半分しかない方式により表される。4k解像度(UHD)や8k解像度(SHV)においては、420形式と呼ばれる形式で、左右方向だけでなく上下方向においても色差信号が、輝度信号の半分しかない方式により表される。また、DV(テープ記録デジタルビデオ)においては、411形式と呼ばれる形式の、水平方向の色差信号が、輝度信号の4分の1しかない方式により表される。本実施形態では、これら色差信号が輝度信号より少ない方式全てに適応するが、以下の説明では、代表して420形式を採用した例を中心として説明する。

0022

これらの圧縮されている輝度色差信号を、まずデコーダーブロック21で、デコード伸長)して、非圧縮状態の輝度色差信号に戻す。非圧縮に戻した輝度色差信号に対して、画像処理ブロック22において、色補正、階調補正、シャープネス拡大縮小変形などの画像処理を行う。画像処理ブロックからの出力である輝度色差信号あるいはRGB信号は、パネル特性の補正ブロック23において、パネルブロック25の電圧輝度特性に応じて、補正される。この補正された出力を使用して、パネルドライバブロック24は表示部としてのパネルブロック25を駆動して、表示制御する。このパネルブロックは液晶素子を用いれば、バックライトによって直視式になるし、光源を用いて投影してもよい。また有機ELパネルを用いた表示装置でもよい。あるいは、パネル特性の補正ブロック23以降を別体の表示装置として、本実施形態の画像処理ブロック22を独立した画像処理装置としてもよい。

0023

(画像処理ブロック)
次に、図2図3を用いて、画像処理ブロック22内部の概要を説明する。図2は、本発明の第1実施形態の画像処理ブロック22内部の構成を示すブロック図、である。

0024

図2中、61は輝度信号の空間周波数の異なる成分に分離するブロック、62は画像処理を行う画像処理ブロック、63は異なる空間周波数の成分を合成するブロック、である。図2のように、本実施形態では輝度信号については、高周波成分と低周波成分とに分離し、低周波成分と色差信号についてのみ画像処理を行って、その結果を高周波成分と合成する。

0025

図3は、第1実施形態の画像処理ブロック22における信号の周波数帯域を説明する図、である。図3(A)は輝度信号の周波数帯域の説明図、図3(B)は色差信号の周波数帯域の説明図、である。

0026

図3中、71は入力輝度信号周波数成分、72は入力色差信号の周波数成分、73はローパスフィルターの周波数特性、74は輝度信号の低周波成分、75は輝度信号の高周波成分、76は輝度信号の低周波成分と高周波成分を合わせた周波数成分、である。

0027

420形式の輝度信号と色差信号を入力した場合で説明する。420信号は、色差信号が輝度信号に対して縦横2分の1の解像度しか持たない。このため、信号が存在するのはナイキスト周波数であるサンプリング周波数の2分の1であるところ、図3(A)、図3(B)のように、輝度信号と色差信号のサンプリング周波数(SF)の分布が異なることになる。すなわち、輝度信号の周波数成分71が高周波領域まで伸びているのに対し、色差信号の周波数成分72は半分しかない。

0028

解像度の異なるままでは、画像処理ブロック62において、3Dルックアップテーブルなどの処理が困難なため、空間周波数分離ブロック61によって、輝度信号を空間周波数に基づいて分離する。分離ブロック61は例えば、サンプリング周波数の4分の1のカットオフ周波数特性73を持つローパスフィルター(LPF)を用いることができる。入力輝度信号の周波数成分71がLPFを通過した成分を低周波成分74とする。入力輝度信号の周波数成分71から低周波成分74を差し引いた成分を、高周波成分75とすることができる。なお高周波成分75は、ハイパスフィルターを用いて抽出することも可能である。

0029

輝度の低周波成分74と色差の周波数成分72を用いて、画像処理ブロック62による画像処理を行うことができる。なお図示していないが、シャープネスなどの高周波領域の画像処理を行うときは、高周波成分75に対して行うことができる。

0030

画像処理した結果である輝度信号の低周波成分は、高周波成分75を合成ブロック63を用いて加えることによって、低周波から高周波まで広い成分を持つ輝度信号の周波数成分76に戻すことができる。

0031

このように、第1実施形態においては、輝度信号の低周波成分と色差信号による画像処理を行い、輝度信号の高周波成分と合成することによって、所望の画像処理を低い解像度で行いながら、高い解像度の情報を失わないことが可能である。

0032

次に、画像処理ブロック22の内部構成を図4を用いて、より詳細に説明する。図4は、第1実施形態の詳細な構成を示すブロック図、である。図4中、11は輝度信号の解像度の縮小部、12はシャープネス以外の画像処理を行う画像処理部、13はシャープネス処理を行う処理部、14は第1の解像度拡大部、15は減算器、16は第2の解像度拡大部、17は加算器、である。

0033

図2と同じく、420形式の輝度信号と色差信号を入力した場合で説明する。輝度信号Yはシャープネス処理部13に入力されて、シャープネス処理がなされ輝度信号HYが得られる。シャープネス処理部13においては、シャープネス処理に限ることなく、高周波成分に関する処理を行う。同時に、輝度信号Yは縮小部11に入力されて、縮小に最適化されたローパスフィルター(LPF)等により、縦横の両方向に2分の1縮小がなされ、縮小した輝度信号LYが得られる。このように、縮小部11は、入力された画像信号に含まれる解像度が異なる複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い画像成分信号から低周波成分信号を取得する。また、シャープネス処理部13は、解像度が高い画像成分信号に対するシャープネス処理を行なう。

0034

輝度信号とは別に入力された色差信号PbおよびPrは、輝度信号Yに比べて縦横2分の1の解像度なので、縮小した輝度信号LYと同じ解像度である。両方の信号をシャープネス以外の画像処理部12に入力し、色補正、階調補正、などの画像処理を行い、画像処理後の縮小した輝度信号SLYと、画像処理後の色差信号である出力色差信号SPbとSprを得る。ここでシャープネス以外の画像処理部12における演算処理テーブル演算処理は、YPbPr形式で処理してもよいし、RGB形式に変換して処理を行った後にYPbPr形式に戻してもよい。このように、シャープネス以外の画像処理部12は、輝度信号の低周波成分信号と、入力された画像信号に含まれる前記他の画像成分信号である画像成分信号(色差信号)と、のそれぞれに対して所定の画像処理を実行する処理を行う。

0035

次に、縮小した輝度信号LYを第1の拡大部14によって縦横2倍に拡大し、縮小および拡大後の輝度信号ELYを得る。拡大処理としては一般的に、単純拡大法線形補間法キュービック補間法データベース超解像法、などがある。本実施形態では高周波成分は別経路で保持されているので、余計な高周波成分を生まない線形補間を用いる場合を説明する。

0036

また、画像処理後の縮小した輝度信号SLYについても、第2の拡大部16によって縦横2倍に拡大し、縮小および処理および拡大後の輝度信号ESLYを得る。第2の拡大部の拡大処理は、第1の拡大部と同じ処理とすることで、画質の高い画像を出力することができる。

0037

次に、シャープネス処理後の輝度信号HYから、減算器15によって縮小および拡大後の輝度信号ELYを減算することによって、輝度信号の高周波成分が得られる。次に加算器17によって、縮小処理および拡大後の低周波成分の輝度信号ESLYを加算し、全周波数領域を持つ出力輝度信号SYを得る。このようにして、輝度信号の低周波成分信号に対する画像処理により得られる処理済み信号と、輝度信号の高周波成分信号と、色差信号に対する画像処理により得られる処理済み信号と、に基づいて表示用信号を生成する。

0038

このように、本実施形態では、入力輝度信号に対し、高周波成分に関する処理をしたものから、単純に縮小拡大した結果を減算し、低周波成分に関する処理を色差信号とともに行った結果を加算する処理を行った。このようにすることで、シャープネス処理以外の画像処理を行った結果のみを正確に、輝度信号に付加することができる。

0039

なお、演算順序は、結果が変わらない範囲内で、適宜変更してよい。例えば加算器17と減算器15の順序を逆にしても同じであること、演算の交換法則により自明である。また、縮小部11と拡大部14と減算器15を通した後で、シャープネス処理部13を通すなどの順序変更も可能である。

0040

(画像処理と色ずれの関係)
次に、図5を用いて、輝度信号と色差信号の解像度が異なる場合に発生する色ずれに対する画像処理の影響について説明する。図5は、色ずれと画像処理の関係を説明する図、である。

0041

図5(A)は元画像における輝度色差信号を示し、図5(B)は伝送時における420形式の輝度色差信号を示す。図5(C)は色差信号を拡大した場合の輝度色差信号を示し、図5(D)は本実施形態において輝度信号を縮小した輝度色差信号を示す。

0042

図5中、31は左画素輝度信号値、32は右画素の輝度信号値、33は左画素の色差信号値、34は右画素の色差信号値、35は420信号における色差信号値、36は拡大した色差信号値、37は縮小した輝度信号値、である。ここで色差信号はPb値とPr値の2つからなっており、両色差とも同じ説明になるので、片方だけに数字割り振っている。

0043

元画像における輝度と色差の関係は、444形式と言われる輝度信号と色差信号の解像度が同じものである。図5(A)においては、左画素と右画素のそれぞれが、輝度信号値と色差信号値の両方を持っている。

0044

この図5(A)から、伝送帯域を節約するために、422信号あるいは420信号形式としたものが図5(B)である。後述する手法で、左画素の色差信号値33と右画素の色差信号値から平均的値を計算し、420信号における色差信号値35を得ている。

0045

この図5(B)から、画像処理を行うために解像度を合わせる必要がある。図5(C)は、色差信号を拡大して、拡大した色差信号値36を得た例を示している。図5(C)では、単純拡大法による拡大の例を示す。この状態では、拡大した色差信号値36は、元画像における左画素の色差信号値33よりは大きいので、左画素はマゼンタ色に色ずれする。逆に元画像における右画素の色差信号値33よりは小さいので、右画素は緑色に色ずれすることになる。このように色ずれした各画素に対し色補正などの画像処理を行うと、色ずれによって、右画素と左画素に対する画像処理の内容が異なってしまう。そうすると、本来意図している画像処理が正しく行えないので、色ずれがひどくなったり疑似輪郭が現れたりなどの妨害が発生してしまう。

0046

本実施形態では図5(B)から、解像度を合わせるために、図5(D)のように、輝度信号を縮小して、縮小した輝度信号値37を得る。この縮小処理は後述するように420形式の色差信号を作る処理と同様の処理とすることで、右側の輝度画素31と左側の輝度画素32の平均的な値をとる。

0047

本実施形態では、縮小した輝度信号値37および420形式の色差信号値35とも、平均化した画素値であり色ずれは無い。色ずれの無い状態で画像処理することができるので、色差信号を拡大した場合のような妨害は発生しない。

0048

(縮小処理)
次に、元の420形式における色差の縮小処理や、本実施形態における縮小処理部について、図6ならびに図7を用いて説明する。図6は、420形式における輝度信号と色差信号の重心位置に関する説明図である。図6(A)は左上側重心の場合、図6(B)は中央重心の場合、図6(C)は左側重心の場合、を示す。図6(A)中、141は四角形で表した縦横2画素からなる4つの輝度画素、142は色差系の画素の重心位置、を示す。

0049

元の画像から、420系の伝送信号を作成する際に、どのようなLPFを用いてサンプリングしたかによって、大きく分けて3通りの重心位置を持つ伝送信号が存在する。

0050

図6(A)は色差信号の重心位置142が、4つの輝度画素141の左上画素の位置と一致しているものである。ここでのLPFは奇数×奇数のサイズを持つLPFが使われて、代表値となる色差の値が決められている。

0051

図6(B)は色差信号の重心位置142が、4つの輝度画素141のちょうど中央の位置にあるものである。ここでのLPFは偶数×偶数のサイズを持つLPFが使われて、代表値となる色差の値が決められている。

0052

図6(C)は色差信号の重心位置142が、4つの輝度画素141のうち左側2画素の中間の位置にあるものである。ここでのLPFは横奇数×縦偶数のサイズを持つLPFが使われて、代表値となる色差の値が決められている。

0053

次に、信号作成時に色差信号の縮小処理に使われたり、本実施形態において輝度信号の縮小処理に用いられるLPFを、説明する。図7は、420形式における色差信号の縮小や本実施形態における2分の1縮小手段に用いられるローパスフィルター(LPF)の例、である。

0054

420変換をするために必要な色差信号の縮小処理や本実施形態における輝度信号の縮小処理において、単純に縦横2画素ずつの2×2=4画素から平均化を行ってもよいが、モアレと言われるサンプリング妨害が発生することがある。そこで、カットオフ周波数を元の周波数の半分にするために、少し大きい領域である3×3画素から6×6画素程度の領域のLPFを用いて縮小処理を行うことで、モアレの発生を抑止することができる。本実施形態では、色差信号の420変換と同様の特性を持つLPFを用いて、輝度信号の2分の1縮小を行う。

0055

図7(A)は、3×3の領域の平均値フィルター、図7(B)は4×4の領域の平均値フィルター、図7(C)は4×4の領域のガウスフィルター、図7(D)は、5×5の領域のガウスフィルターを示す。図7(E)は、3×2の領域の平均値フィルター、図7(F)は3×2の領域のガウスフィルター、図7(G)は5×4の領域のガウスフィルター、を示す。

0056

格子内の中心を対象画素として、各格子内の数字が、対象および周辺に位置する画素に対する倍率である。倍率をかけた合計値を倍率の合計値で割り算することによって、出力を得る。あるいは割り算の代わりに、近似的に乗算シフト演算によって演算する。

0057

図7(A)の3×3の領域の平均値フィルターは、縮小する2×2画素の左上の画素を中心画素として、周囲8画素の値との平均値をとったものである。各画素用の倍率を掛けた合計値を9で割るか、7を掛けて64で割る(6ビット切り捨てる)演算である。

0058

図7(B)の4×4の領域の平均値フィルターは、縮小する2×2画素の中心位置(画素は無い)を中心として、周囲16画素の平均値をとったものである。演算は、各画素用の倍率を掛けた合計値を16で割る演算である。

0059

図7(C)の4×4の領域のガウスフィルターは、縮小する2×2画素の中心位置(画素は無い)を中心として、中心に近い画素ほど高い比重をかけて16画素の演算を行ったものである。各画素用の倍率を掛けた合計値を32で割る演算である。

0060

図7(D)の5×5の領域のガウスフィルターは、縮小する2×2画素の左上の画素を中心画素として、中心に近い画素ほど高い比重をかけて25画素の演算を行ったものである。各画素用の倍率を掛けた合計値を32で割る演算である。

0061

図7(E)の3×2の領域の平均値フィルターは、縮小する2×2画素の左側2画素の中間位置を中心として、周囲6画素の平均値をとったものである。演算は、各画素用の倍率を掛けた合計値を6で割る演算である。

0062

図7(F)の3×2の領域のガウスフィルターは、縮小する2×2画素の左側2画素の中間位置を中心として、中心に近い画素ほど高い比重をかけて6画素の演算を行ったものである。各画素用の倍率を掛けた合計値を8で割る演算である。

0063

図7(G)の5×4の領域のガウスフィルターは、縮小する2×2画素の左側2画素の中間位置を中心として、中心に近い画素ほど高い比重をかけて20画素の演算を行ったものである。各画素用の倍率を掛けた合計値を32で割る演算である。

0064

奇数、偶数ともサイズが大きいLPFの方、同サイズではガウスよりも平均値フィルターの方が、LPFの強度が強い(カットオフ周波数が低い)ものになっている。なお6×6以上のフィルターサイズの例は省略する。

0065

ここで、LPFの領域として偶数の領域を用いる場合と奇数の領域を用いる場合で、画素の重心位置が変わってくることになる。そこで、元の伝送信号における色差信号に使用されたLPFが、縦横それぞれについて偶数か奇数かを、信号における重心位置のずれから判定する。偶数であった場合は、本実施形態における輝度信号の縮小処理のLPFも偶数を用い、奇数であった場合は奇数を用いる。これにより、画素の重心位置ずれを小さくすることができる。縦方向と横方向は、独立でそれぞれ判定し、それぞれの奇数および偶数を合わせることとする。

0066

ここまで、入力された信号の信号形式が420形式のものの例を説明したが、422形式であれば横方向のみの一次元のLPFでよい。また411形式であれば、横方向のサイズが6〜10画素程度のLPFを用いればよい。

0067

以上、本実施形態の構成及び動作を第1実施形態を用いて説明したが、本発明は上記実施形態に限ることは無く、発明の趣旨を同じとする別の実施形態においても構成することができる。このような実施形態をとることにより、高い解像度の420映像に対して、ほとんどの画像処理は4分の1の帯域しかない回路にて処理することができる。したがって、並列回路を必要としないので、回路規模の増大を防ぐことができる。また回路の動作周波数を落とすことができ、消費電力を削減することができる。また、水平方向の解像度を半分に落とした状態で画像処理を行うので、フィルター処理などで用いるためのラインメモリーを削減することができる。また、色ずれの無い状態で画像処理を行うので、色ずれを拡大することなく、劣化を最小限に抑えられる。また、解像度に関する処理のみ別に行うことで、高い解像度の情報を失わない優れた画像出力を得ることができる。

0068

また、放送およびメディアで使用する方式がHDからUHDやSHVへと上がるにつれて、解像度および画素数がおよそ4倍ずつ増加し、画像処理に必要な動作帯域が上がっている現状がある。本実施形態の画像処理装置によれば、高い解像度の420映像に対して、画像処理の多くの部分を4分の1の帯域しか持たない回路にて行いながら、画質劣化少なく画像処理することができる。よって、画像処理回路に必要な動作帯域を大幅に小さくすることができる。同様に、マイクロプロセッサを用いた画像処理においても、多くの画像処理部分で処理量が4分の1に少なくなるので、高速に画像処理を行うことができる。

0069

以上の効果は420信号だけでなく、422信号や411信号など、輝度信号と色差信号の解像度の異なる入力信号についても同様の効果を奏する。また444信号においてはいったん420信号に変換して、劣化の少ない同様の画像処理を行うことにより、同様の効果を奏することができる。また、拡大部14の拡大特性を縮小部11の縮小特性の逆数とすることで、輝度信号の高周波成分と低周波成分とを整合させて合成することができる。

0070

<第2実施形態>
次に、上述の実施形態に対して、HPFおよびシャープネス回路を簡略化した第2実施形態を図8を用いて示す。図8は、本発明の第2実施形態における画像処理ブロック22の詳細な構成を示すブロック図、である。

0071

図8中、11,12,13,16,17は図4と同じ構成要素である。121は2分の1縮小部11の構成要素であるところのLPF処理部、122は2分の1縮小部11の構成要素であるところの2分の1サンプリング部、123はHPF処理部、124は乗算器、である。

0072

本図では、説明をわかりやすくするために、2分の1縮小部11をLPF部121と2分の1サンプリング部122に分解して示し、2分の1拡大処理部16を2倍サンプリング部16と称している。本実施形態では、図4の2分の1縮小部11と2倍拡大部14と減算器15の代わりを、HPF処理部123によってまとめている。HPF処理部123の特性は以下の式によって得られるので、まとめることが可能である。

0073

HPFの特性=1−(2倍サンプリングの特性×(2分の1サンプリングの特性×LPFの特性))
そうして、HPF処理部123で高周波成分のみとなった輝度信号Yに対して、乗算器124によって適度な定数を乗算することによって、シャープネス処理およびソフトネス処理を行うことができる。すなわち、乗算器124で、1.0より大きい値を乗算すれば、加算器17で加算する高周波成分の比率が高くなるので、シャープネスを行った出力輝度信号SYが得られる。逆に、乗算器124で1.0未満の値を乗算すれば、加算器17で加算する高周波成分の比率が低くなるので、ソフトネスを行った出力輝度信号SYが得られる。

0074

このように、本実施形態においては、簡略化した回路にて、上述した第1実施形態と同様の効果を奏することが可能である。

0075

<第3実施形態>
第1実施形態、第2実施形態では、4k信号や8k信号における放送やメディア配布に使われる420形式に適用した場合の例について述べた。ここで、8k信号のカメラ撮影編集あるいは試写に使われているDG(デュアルグリーン)方式に適用する場合として、第3実施形態を示す。なお、8kのDG方式とは、4k分のRおよびB画像と、8kの1画素分だけ右上にある4k分のG1画像と1画素だけ左下にある4k分のG2画像の4毎の色画像で、8k分の画像を疑似的に現わす方式である。

0076

図9は、本発明の第3実施形態における画像処理ブロック22の詳細な構成を示すブロック図、である。図9中、12、15,17は図4と同じである。131は平均化処理部、132は緑色シャープネス処理部、133は赤色シャープネス処理部、134は青色シャープネス処理部、である。

0077

本実施形態では、8k対応のDG方式のRG1G2B画像を処理する。R画像、G1画像、G2画像、B画像とも4kサイズで均等であるので、上述した実施形態における縮小および拡大処理は不要である。その代わりに、平均化処理131によって、G1信号とG2信号を合わせた信号に対する低周波信号であるところの平均値Ga信号を抽出する。そのGa信号と元のR信号B信号を用いて、シャープネス以外の画像処理を画像処理部12にて行う。ここではRGB画像の解像度が一致しているので、3DLUTなどRGB信号が関係し合う処理をかけることが可能である。

0078

次に、上述した実施形態では輝度信号Yに対してシャープネス処理を行ったが、本実施形態では、RGB信号ともにシャープネス処理を行う。緑色シャープネス処理部132では、G1信号とG2信号をその位置関係に配慮しながら、シャープネス処理フィルターにかける。この緑色シャープネス処理部132のみ、疑似的な8k処理が必要になる。シャープネス処理が終わったG1G2信号はそれぞれ、減算器15でGaを減算し、シャープネス処理以外の処理を行ったSGa信号を加算することで、出力SG1およびSG2が得られる。処理を終えた赤色および青色については、それぞれ単独で、シャープネス処理部133と134で、通常のシャープネス処理を行えば、出力が出られる。

0079

以上、8kのDG方式についても、8kの処理速度を持つ画像処理回路を用いることなく、4kの処理速度を持つ画像処理回路と特別な緑色のシャープネス処理回路のみで、画像処理を行うことができることを説明した。なお、カメラ信号処理などで、シャープネスが必要のない場合は、さらに簡略化できる。

0080

次に、入力画像に対し拡大縮小変形などの幾何変形処理を行う場合を説明する。幾何変形処理は、シャープネス処理部およびシャープネス処理以外の画像処理部の双方で行う。あるいは、出力輝度色差信号に対し幾何変形を行ってもよい。また出力輝度色差信号をRGB形式に変換後に幾何変形を行ってもよい。

0081

<第4実施形態>
なお、上述の実施形態においては幾何変形については言及していないが、幾何変形を行いながら、縮小した輝度信号で減算処理を行うようにしてもよい。この場合の第4実施形態を図10を用いて示す。図10は、本発明の第4実施形態における画像処理ブロック22の詳細な構成を示すブロック図、である。図10中、51は第1の解像度縮小部、52はシャープネス以外の画像処理と幾何変形処理を行う画像処理部、53はシャープネス処理と幾何変形処理を行う処理部、54は第2の解像度縮小部、55は減算器、56は解像度の拡大部、57は加算器、である。

0082

420形式の輝度信号と色差信号を入力した場合で説明する。まず、輝度信号Yはシャープネスおよび幾何変形処理部53に入力されて、シャープネス処理および幾何変形処理がなされ輝度信号HYが得られる。

0083

それとともに、輝度信号Yは第1の解像度縮小部51に入力されて、縦横の両方向に2分の1縮小がなされ、縮小した輝度信号LYが得られる。420形式の場合色差信号PbおよびPrは、2分の1縮小した輝度信号LYと同じ解像度である。両方の信号をシャープネス以外の画像処理および幾何変形処理部52に入力し、色補正、階調補正、などのシャープネス処理以外の画像処理および幾何変形を行う。画像処理の結果として、画像処理後の縮小した輝度信号SLYと、画像処理後の出力色差信号SPbとSprを得る。ここでシャープネス以外の画像処理および幾何変形処理部52における演算処理やテーブル演算処理や幾何変形処理は、YPbPr形式で処理してもよいし、RGB形式に変換して処理を行った後にYPbPr形式に戻してもよい。

0084

次に、シャープネスおよび幾何変形処理後の輝度信号HYから、第2の解像度縮小部54によって、シャープネスおよび幾何変形後に縮小された輝度信号LHYが得られる。画像処理後の縮小した輝度信号SLYから、シャープネスおよび幾何変形後に縮小された輝度信号LHYを減算器55によって減算すると、輝度信号の低周波成分の差分SLY-LHYが得られる。この輝度信号の低周波成分の差分SLY-LHYを解像度の拡大部56によって2×2倍に拡大し、加算器57によってシャープネス処理および幾何変形処理がなされた輝度信号HYに加えることによって、出力輝度信号SYが得られる。

0085

本実施形態においては、縮小部と拡大部の数を第1実施形態から変更しても、本実施形態の構成により必要な処理が行える例を示した。また幾何変形にも対応できることを示した。

0086

<第5実施形態>
ここまで、放送波や配布メディア再生する民生機器への適用を想定し、輝度色差信号の色差信号が輝度信号より少ない場合について、本発明の実施形態を説明してきた。一方、コンテンツを作成するための撮影機材編集機材等の業務用途では、444形式と呼ばれる輝度色差信号が同数含まれるものや、RGB色空間を用いるものがある。そこで、撮影機材や編集機材において画像処理を実施する形態例として、444形式の信号に対して画像処理を行う構成を、図11図12を用いて第5実施形態として示す。

0087

図11は、本発明第5実施形態の画像処理ブロックの構成を示すブロック図、である。図11中、61から63は図2と同じ、101は輝度色差色空間への変換と420形式へ変換するブロック、102は444形式への変換とRGB色空間へ変換するブロック、である。

0088

図12は、第5実施形態の画像処理ブロックにおける信号の帯域を説明する図、である。図12(A)は、入力RGB信号の周波数帯域の説明図、図12(B)は輝度信号の周波数帯域の説明図、である。図12(C)は色差信号の周波数帯域の説明図、図12(D)は出力RGB信号の周波数帯域の説明図、である。図12中、71から75は図3と同じ、111は入力RGB信号の周波数成分、112は出力RGB信号の周波数成分、である。

0089

入力信号が、444形式のRGB信号を入力した場合で説明する。444形式の輝度色差信号を入力した場合は、以下の処理前半中の色空間の変換処理を省略すればよい。444形式のRGB信号は、図12(A)に示すように、ナイキスト周波数であるサンプリング周波数の2分の1までの周波数成分を持ち、入力RGB信号の周波数成分111になる。このRGB信号を、色空間と420変換ブロック101によって、輝度色差色空間に色空間変換し、同時に色差信号をLPFによって縦横2分の1に縮小する。そうすると420形式の輝度色差信号が得られる。この輝度信号の周波数成分は71であり、色差信号の周波数成分は72である。420形式の輝度色差信号に対する画像処理の説明は、図2と同様なので省略するが、画像処理後に得られた、輝度信号の周波数成分は74と75を加えた76であり、色差信号の周波数成分は72のままである。

0090

この420形式の輝度色差信号を、444化と色空間変換ブロック102において、色差信号を縦横2倍に拡大するとともに、RGB色空間に変換する処理を行う。色差信号を縦横2倍に拡大しても空間周波数はそのまま高くならず72のままである。空間周波数の高い輝度信号と空間周波数の低い色差信号を使って、色空間変換を行うと、RGB信号の周波数成の中に輝度信号の高い周波数成分76が含まれることにより、RGB信号の周波数成分112は輝度信号の周波数成分76とほとんど同じになる。特にG信号は輝度信号の比率が高いので、周波数の劣化が少ない。表示装置で見たときには、モノクロ部分の解像度は、G画素の比率が高いので、解像感が高く感じられ好都合である。

0091

よって、本実施形態においても、画像処理では狭い帯域で画像処理を行うが、444形式のRGBで持っていた高い周波数成分が保たれるので、画質劣化が抑えられる。なお、撮影機材の出力や編集後のコンテンツとして、420形式の輝度色差信号が必要な場合には、後半の444化と色空間変換ブロック102は必要としない。

0092

本実施形態を用いることで、RGB信号または輝度色差信号における444形式の画像においても、ほとんどの画像処理に対して、4分の1の帯域しかない回路で処理することができるので、動作周波数を落として少ない消費電力とすることができる。また回路の並列化を不要とすることで、回路規模の増大を防ぐことができる。また、ラインメモリーを削減することができる。また、解像度に関する処理のみ別に行うことで、高い解像度の情報を失わない優れた画像出力を得ることができる。

0093

<第6実施形態>
次に、マイクロプロセッサなどを用いた構成によって、本発明の変形処理を行う第6実施形態を図13図14を用いて説明する。

0094

図13は、第6実施形態における、マイクロプロセッサを用いた構成によるブロック図である。図13中、81は演算および制御を行うマイクロプロセッサ(MPU)、82は入力インターフェース、83は出力インターフェースである。84はコンピュータプログラムを格納するROM、85はワーキングメモリとして使用するRAM、86は画像の一時記憶を行うストレージ、である。なお、RAM85が複数枚の画像を記憶できるほど大きなものである場合は、ストレージ86は無くてもかまわない。

0095

図14は、第6実施形態における、マイクロプロセッサによって行う処理を示したフローチャートである。図13の構成において、ROM84に書かれている図14のフローチャートに示した処理を行う。各ステップは、MPU81がコンピュータプログラムに基づき、装置全体を制御して実行される。以下、処理のステップごとに説明する。

0096

まず、S901において入力画像を入力画像インターフェース81よりRAM85に読み込む。読み込んだ入力画像はS902において、輝度画像色差画像に分けて、ストレージ86に一時記憶する。輝度画像に対してはS903において、LPFを用いた縮小処理を行い、縮小画像としてRAM85上に置くとともに、ストレージ86に記憶する。このLPFによる縮小処理は、第1実施形態で説明したものと同様の処理を行う。

0097

RAM85に置いていた縮小した輝度画像と、S902で一時記憶していた色差画像を用いて、S904において色補正、階調補正、などの画像処理を行い、S905において、ストレージ86に一時記憶する。S906において、ストレージ86から画像処理した輝度画像を読み出し、拡大処理を行い、ストレージ86に一時記憶する。

0098

ここでS907において、元の輝度画像をストレージ86から読み出し、シャープネスなどの高周波に関係する処理を行う。次に、S908において、シャープネスした輝度画像から、S906で一時記憶していた拡大処理後の輝度画像を減算する処理を行い、S909でストレージ86に一時記憶する。

0099

S910において、S905で記憶していた画像処理後の輝度画像を拡大処理する。S911において、拡大処理した輝度画像にS909で一時記憶していた減算処理後の輝度画像を加算処理する。S912で加算処理した輝度画像を一時記憶する。S913において、S912で一時記憶した輝度画像とS905で一時記憶した色差画像を、出力インターフェース83を通じて出力画像として出力する。出力画像は、モニタ等の表示部(不図示)に表示させる表示制御を行うことで、視認可能である。

0100

以上、第1実施形態と同様の処理をマイクロプロセッサによって行う工程を説明した。同様にマイクロプロセッサを用いて、第4実施形態から第5実施形態の処理を行えることは自明であるため、説明を省略する。

0101

本実施形態によれば、ほとんどの画像処理工程を、4分の1の解像度の画像に対して行うことになるので、処理時間において4倍に近い高速化が図れるものである。

0102

以上のように、本発明の各実施形態においては、解像度が異なる複数の画像成分信号からなる画像信号に対し、高周波成分を含む信号については、高周波成分と低周波成分を分離し、その低周波成分についてのみ画像処理を行う。このため、輝度信号と色差信号の解像度が異なる画像信号に対して画像処理を行う場合の処理負荷を低減することができる。なお、複数の実施形態をあげて、本発明を実現する構成例を説明したが、本発明の趣旨を実現する構成が、上記実施形態に限るものではないことは言うまでもない。

0103

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0104

11:縮小部、12:シャープネス以外の画像処理を行う画像処理部、13:シャープネス処理を行う処理部、14:拡大部、15:減算器、16:拡大部、17:加算器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ