図面 (/)

技術 メモリ混載画像処理用LSIおよび画像処理装置

出願人 株式会社東芝
発明者 西川剛志
出願日 2000年2月4日 (21年4ヶ月経過) 出願番号 2000-027911
公開日 2001年8月10日 (19年10ヶ月経過) 公開番号 2001-216503
状態 特許登録済
技術分野 ダイナミックメモリ イメージ入力 画像処理 静的メモリのアクセス制御 TV信号の記録 DRAM
主要キーワード 区分画像 構成範囲 データ保存形式 補助変数 正方形画像 読み出し準備 区分単位 情報提供源
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2001年8月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

ページアクセスおよびワードアクセスするときの消費電力を低減させて携帯性のある画像処理装置への搭載を可能にする。

解決手段

DRAM3のメモリ領域にページアクセスするために表示画面に対応する画像平面を複数に分割したページ範囲6の画像データと、メモリ領域にワードアクセスするためにページ範囲6を更に複数に分割したワード範囲8の画像データを記憶するDRAMと、画像処理回路2と、を混載し、データを読み出すように動作するメモリ混画像処理用LSIである。ページ範囲6は、メモリの消費電力モデルにおけるプリチャージ1回当たりの消費電力と平均プリチャージ回数との乗算値が最小となるサイズに設定され、ワード範囲8もメモリの消費電力モデルにおけるワードアクセス1回当たりの消費電力と平均アクセス回数との乗算値が最小となるサイズに設定される。

概要

背景

従来のメモリ混画像処理用LSIは描画等の処理速度の向上を図るものであり、LSIの駆動電力省電力化を図ることについてはその対策がほとんど講じられていなかった。

メモリ混載LSIチップメモリ部にアクセスする際には、複数のワード領域を含む複数のページ領域よりなるメモリの記憶領域に対して、まず第1の電力Aを消費してページ領域にアクセスし、次いで第2の電力Bを消費してワードにアクセスしていた。例えば、画像情報を記憶するための従来のメモリ混載画像処理用LSIの記憶原理について、図18を参照しながら説明する。図18では、この混載メモリの一例としてDRAMについて説明する。

図18(a)は、例えば動画像データを表示するCRT(Cathode Ray Tube)や液晶ディスプレイ等の表示装置表示画面Sを示しており、表示画面Sは仮想的に複数のページ領域Pに分割されている。それぞれのページ領域Pは例えば1水平走査期間(1H)に走査される1行分のデータである複数のワードLにより構成されている。このように表示画面上で仮想的に分割されたデータを図18(b)に示すようなDRAMの記憶領域Mに格納する。記憶領域Mは表示画面Sに対応してページ分のデータを格納する複数の格納領域Pと、1H分のデータに対応して格納領域Pに含まれるように構成された複数のワード格納領域Lと、を備えている。

このように、従来のメモリ混載画像処理用LSIは、表示画面S上の1フレーム分の画像データとDRAMに記憶されるデータとを対応させて記憶させているため、DRAMにアクセスするためには、図18(b)に示すページ単位の記憶領域Pにアクセスした後、走査ラインに対応する各ワードLにアクセスして、データの書き込みや読み出しを行なうようにしていた。

このため、例えば動画像データに動き補償等の処理を施すために、数ページに跨るデータを読み出さなくてはならない場合に、ページにアクセスするための電力Aがページの数を乗算した分だけ必要であり(P×n回×電力A)、さらにワードにアクセスするための電力Bも必要な数のワードの数を乗算した分だけ必要となっている(L×m回×電力B)。したがって、全体の消費電力はアクセスするページやワードの数に比例して増加することになり、例えば処理を必要としている画像の領域が多数のページにわたる場合にはそのページ数分だけ消費電力を費やすことになる。

このような従来のメモリ混載画像処理用LSIに限らず外付けメモリを利用する画像処理用LSIにおいて、DRAMへのアクセス回数を低減してアクセス時間を短縮するためにタイリングと呼ばれる手法が用いられている。このタイリングは表示画面Sにおけるデータの探索範囲は変更しないが探索の順番を変更するものであり、例えば、間に他のページに記憶されたワードデータがある同一ページの2つのワードデータを探索する場合に同一ページの2つを纏めて読み出すことにより少しでも探索時間を短縮することを考慮したものである。ただし、ページやワード領域が大きなサイズであるほどアクセス速度が向上するため、より大きいページサイズワードサイズを用いるようにしていた。しかし、外付けメモリを利用する場合には、ページやワードのサイズを選択することができる自由度は小さかった。

概要

ページアクセスおよびワードアクセスするときの消費電力を低減させて携帯性のある画像処理装置への搭載を可能にする。

DRAM3のメモリ領域にページアクセスするために表示画面に対応する画像平面を複数に分割したページ範囲6の画像データと、メモリ領域にワードアクセスするためにページ範囲6を更に複数に分割したワード範囲8の画像データを記憶するDRAMと、画像処理回路2と、を混載し、データを読み出すように動作するメモリ混載画像処理用LSIである。ページ範囲6は、メモリの消費電力モデルにおけるプリチャージ1回当たりの消費電力と平均プリチャージ回数との乗算値が最小となるサイズに設定され、ワード範囲8もメモリの消費電力モデルにおけるワードアクセス1回当たりの消費電力と平均アクセス回数との乗算値が最小となるサイズに設定される。

目的

上記問題点を解決するため、本発明は、DRAMにアクセスする際に複数集合してスクリーンを構成するページの分割の仕方について画像処理を最も効率的に行なうことができる大きさと形状を有するように工夫を凝らすことにより、ページにアクセスする第1の消費電力を低減させて効率的な電力消費を図ることができるメモリ混載画像処理用LSIを提供することを目的としている。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示画面に対応する画像平面格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲を更に複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部と、を備えることを特徴とするメモリ混画像処理用LSI。

請求項2

表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲を更に複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるメモリ混載画像処理用LSIにおいて、前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、メモリの消費電力モデルにおける前記プリチャージ1回当たりの消費電力と平均プリチャージ回数との乗算値最小値に最適化されるサイズに設定されることを特徴とするメモリ混載画像処理用LSI。

請求項3

表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲を更に複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるメモリ混載画像処理用LSIにおいて、前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、メモリの消費電力モデルにおける前記ワードアクセス1回当たりの消費電力と平均ワードアクセス回数との乗算値が最小値に最適化されるサイズに設定されることを特徴とするメモリ混載画像処理用LSI。

請求項4

表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲を更に複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるメモリ混載画像処理用LSIにおいて、前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、メモリの消費電力モデルにおける前記プリチャージ1回当たりの消費電力と平均プリチャージ回数との乗算値が最小値に最適化されるサイズに設定されると共に、前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、メモリの消費電力モデルにおける前記ワードアクセス1回当たりの消費電力と平均ワードアクセス回数との乗算値が最小値に最適化されるサイズに設定されることを特徴とするメモリ混載画像処理用LSI。

請求項5

前記画像平面は複数の画素により構成され、前記ページ領域は各辺が2画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して1辺が8ないし16画素の正方形またはこの正方形に近い大きさで縦横比が1対2までの長方形の領域をアクセスするようにしたことを特徴とする請求項1ないし請求項4の何れかに記載のメモリ混載画像処理用LSI。

請求項6

前記メモリ領域に格納されている2次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が1対2の長方形の区域に分割されてそれぞれ別個ページに纏められて格納されることを特徴とする請求項5に記載のメモリ混載画像処理用LSI。

請求項7

前記画像平面は複数の画素により構成され、前記ワード領域は各辺が2画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して1辺が8ないし16画素の正方形またはこの正方形に近い大きさで縦横比が1対2までの長方形の領域をアクセスするようにしたことを特徴とする請求項1ないし請求項4の何れかに記載のメモリ混載画像処理用LSI。

請求項8

前記メモリ領域に格納されている2次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が1対2の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されることを特徴とする請求項7に記載のメモリ混載画像処理用LSI。

請求項9

前記メモリ部は、ダイナミックランダムアクセスメモリDRAM),強誘電体ランダムアクセスメモリ(FRAM)または磁気抵抗ランダムアクセスメモリMRAM)の何れかにより構成されていることを特徴とする請求項1ないし請求項8の何れかに記載のメモリ混載画像処理用LSI。

請求項10

画像情報に対して圧縮処理または伸長処理を行なう画像圧縮または伸長装置を備えることを特徴とする請求項1ないし請求項9の何れかに記載のメモリ混載画像処理用LSI。

請求項11

請求項1ないし請求項10の何れかに記載のメモリ混載画像処理用LSIを備えることを特徴とする画像処理装置

技術分野

0001

本発明は、メモリ混画像処理用LSI(Large Scale Integrated-circuit—大規模集積回路—)に係り、特に低消費電力で駆動することができるメモリ混載画像処理用LSIに関するものである。画像処理部と共に混載されるメモリ部を構成するメモリ素子としては、ダイナミックランダムアクセスメモリ(以下DRAM—Dynamic Random Access Memory—と略記する)、強誘電体ランダムアクセスメモリ(以下FRAM—FerroelectricRandom Access Memory—と略記する)、磁気抵抗メモリ(以下MRAM—Magnetoresistance Random Access Memory—)等が含まれる。

背景技術

0002

従来のメモリ混載画像処理用LSIは描画等の処理速度の向上を図るものであり、LSIの駆動電力省電力化を図ることについてはその対策がほとんど講じられていなかった。

0003

メモリ混載LSIチップのメモリ部にアクセスする際には、複数のワード領域を含む複数のページ領域よりなるメモリの記憶領域に対して、まず第1の電力Aを消費してページ領域にアクセスし、次いで第2の電力Bを消費してワードにアクセスしていた。例えば、画像情報を記憶するための従来のメモリ混載画像処理用LSIの記憶原理について、図18を参照しながら説明する。図18では、この混載メモリの一例としてDRAMについて説明する。

0004

図18(a)は、例えば動画像データを表示するCRT(Cathode Ray Tube)や液晶ディスプレイ等の表示装置表示画面Sを示しており、表示画面Sは仮想的に複数のページ領域Pに分割されている。それぞれのページ領域Pは例えば1水平走査期間(1H)に走査される1行分のデータである複数のワードLにより構成されている。このように表示画面上で仮想的に分割されたデータを図18(b)に示すようなDRAMの記憶領域Mに格納する。記憶領域Mは表示画面Sに対応してページ分のデータを格納する複数の格納領域Pと、1H分のデータに対応して格納領域Pに含まれるように構成された複数のワード格納領域Lと、を備えている。

0005

このように、従来のメモリ混載画像処理用LSIは、表示画面S上の1フレーム分の画像データとDRAMに記憶されるデータとを対応させて記憶させているため、DRAMにアクセスするためには、図18(b)に示すページ単位の記憶領域Pにアクセスした後、走査ラインに対応する各ワードLにアクセスして、データの書き込みや読み出しを行なうようにしていた。

0006

このため、例えば動画像データに動き補償等の処理を施すために、数ページに跨るデータを読み出さなくてはならない場合に、ページにアクセスするための電力Aがページの数を乗算した分だけ必要であり(P×n回×電力A)、さらにワードにアクセスするための電力Bも必要な数のワードの数を乗算した分だけ必要となっている(L×m回×電力B)。したがって、全体の消費電力はアクセスするページやワードの数に比例して増加することになり、例えば処理を必要としている画像の領域が多数のページにわたる場合にはそのページ数分だけ消費電力を費やすことになる。

0007

このような従来のメモリ混載画像処理用LSIに限らず外付けメモリを利用する画像処理用LSIにおいて、DRAMへのアクセス回数を低減してアクセス時間を短縮するためにタイリングと呼ばれる手法が用いられている。このタイリングは表示画面Sにおけるデータの探索範囲は変更しないが探索の順番を変更するものであり、例えば、間に他のページに記憶されたワードデータがある同一ページの2つのワードデータを探索する場合に同一ページの2つを纏めて読み出すことにより少しでも探索時間を短縮することを考慮したものである。ただし、ページやワード領域が大きなサイズであるほどアクセス速度が向上するため、より大きいページサイズワードサイズを用いるようにしていた。しかし、外付けメモリを利用する場合には、ページやワードのサイズを選択することができる自由度は小さかった。

発明が解決しようとする課題

0008

上述したように従来のメモリ混載画像処理用LSIによれば、必要な画像データを切り出すためにメモリにアクセスする場合に、過剰な大きさのページ領域にまずアクセスし、次にその中に格納されているワードの中から必要なワードにアクセスするようにしていたため、取り出したいデータが数頁に跨るような場合に膨大な消費電力を費やさねばならないという問題を有していた。

0009

また、携帯用電子機器に搭載されたメモリ混載画像処理用LSIの場合、多くは充電式バッテリにより駆動することが多い。このため、長時間の使用に耐えるためには充電容量が大きいバッテリを搭載すればよいが、重量が増大するため機器全体の小型化を阻害することになる。したがって、ある程度の重量・サイズとの兼ね合いにより搭載されるバッテリの容量が決定されるが、搭載されたバッテリの電力消費については極力節約したいという要請があった。

0010

上記問題点を解決するため、本発明は、DRAMにアクセスする際に複数集合してスクリーンを構成するページの分割の仕方について画像処理を最も効率的に行なうことができる大きさと形状を有するように工夫を凝らすことにより、ページにアクセスする第1の消費電力を低減させて効率的な電力消費を図ることができるメモリ混載画像処理用LSIを提供することを目的としている。

課題を解決するための手段

0011

上記目的を達成するため、本発明の第1の基本構成に係るメモリ混載画像処理用LSIは、表示画面に対応する画像平面格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲を更に複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部と、を備えることを特徴としている。

0012

また、本発明の第2の基本構成に係るメモリ混載画像処理用LSIは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲を更に複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、メモリの消費電力モデルにおける前記プリチャージ1回当たりの消費電力と平均プリチャージ回数との乗算値最小値に最適化されるサイズに設定されていることを特徴としている。

0013

また、本発明の第3の基本構成に係るメモリ混載画像処理用LSIは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲を更に複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、メモリの消費電力モデルにおける前記ワードアクセス1回当たりの消費電力と平均ワードアクセス回数との乗算値が最小値に最適化されるサイズに設定されていることを特徴としている。

0014

また、本発明の第4の基本構成に係るメモリ混載画像処理用LSIは、第2の基本構成と第3の基本構成を組み合わせたもので、具体的には、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲を更に複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、メモリの消費電力モデルにおける前記プリチャージ1回当たりの消費電力と平均プリチャージ回数との乗算値が最小値に最適化されるサイズに設定されると共に、前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、メモリの消費電力モデルにおける前記ワードアクセス1回当たりの消費電力と平均ワードアクセス回数との乗算値が最小値に最適化されるサイズに設定されていることを特徴とする。

0015

また、上記第1ないし第4の基本構成に係るメモリ混載画像処理用LSIにおいて、前記画像平面は複数の画素により構成され、前記ページ領域は各辺が2画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して1辺が8ないし16画素の正方形またはこの正方形に近い大きさで縦横比が1対2までの長方形の領域をアクセスするようにしても良い。

0016

このように構成したメモリ混載画像処理用LSIにおいて、前記メモリ領域に格納されている2次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が1対2の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されるようにしても良い。

0017

また、上記第1ないし第4の基本構成に係るメモリ混載画像処理用LSIにおいて、前記画像平面は複数の画素により構成され、前記ワード領域は各辺が2画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して1辺が8ないし16画素の正方形またはこの正方形に近い大きさで縦横比が1対2までの長方形の領域をアクセスするようにしても良い。

0018

このように構成したメモリ混載画像処理用LSIにおいて、前記メモリ領域に格納されている2次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が1対2の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されるようにしても良い。

0019

また、上記のような構成を有するメモリ混載画像処理用LSIにおいて、前記メモリ部は、ダイナミックランダムアクセスメモリ(DRAM)により構成されていても良い。また、上記のような構成を有するメモリ混載画像処理用LSIにおいて、前記メモリ部は、強誘電体ランダムアクセスメモリ(FRAM)により構成されていても良い。また、上記のような構成を有するメモリ混載画像処理用LSIにおいて、前記メモリ部は、磁気抵抗ランダムアクセスメモリ(MRAM)により構成されていても良い。

0020

なお、上記第1ないし第4の基本構成に係るメモリ混載画像処理用LSIにおいて、前記画像アクセス部は、MPEG4、MPEG2、MPEG1、H.263などの動画像圧縮基準に準拠するビットストリームを処理する回路であり、前記メモリ部は読み出し準備を行なう単位、すなわちDRAMにおけるページ領域に相当する領域を有するメモリであり、好ましくは平面画像におけるページ範囲のサイズは64〜512ピクセルとしても良い。

0021

また、上記第1ないし第4の基本構成に係るメモリ混載画像処理用LSIにおいて、前記画像アクセス部は、MPEG4、MPEG2、MPEG1、H.263などの動画像圧縮基準に準拠するビットストリームを処理する回路であり、前記メモリ部はデータバスに相当する単位、すなわちDRAMにおけるワード領域に相当する部分を有するメモリであり、好ましくは平面画像におけるワード範囲のサイズが8〜64ピクセルとしても良い。

0022

また、上記何れかの構成に係るメモリ混載画像処理用LSIは、画像情報を圧縮または伸長する画像圧縮または伸長処理回路を備えていても良い。

0023

さらに、本発明の第5の基本構成に係る画像処理装置は、上述した各構成の何れかを備えるメモリ混載画像処理用LSIを備えていることを特徴とする。

発明を実施するための最良の形態

0024

以下、本発明に係るメモリ混載画像処理用LSIの好適な実施形態について添付図面を参照しながら詳細に説明する。図1ないし図9は本発明の第1実施形態に係るメモリ混載画像処理用LSIの構成および動作並びに作用効果を示すブロック図、模式図および特性図である。本発明の実施形態の説明においては、メモリの一例としてDRAMを用いて説明するが、例えばFRAMやMRAMのような他のメモリであっても、ページアクセスとワードアクセスの2段階アクセスを行なうメモリであれば如何なるものであっても本発明は適用可能である。

0025

図1に示すように、第1実施形態に係るメモリ混載画像処理用LSI1は、MPEG4のコーデック(codec)LSIであり、MPEG4コーデック2と混載DRAM3とを備えている。混載DRAM3が所定の動画像データを格納すると共に、コーデック2が動画像データの圧縮や伸長を行なっている。混載DRAM3のページサイズは1ページが256バイト(byte)であるが、62〜512バイトの範囲内であれば256バイトに限定されず、例えば「8×16」画素の128バイトの画像であっても良い。

0026

MPEG4コーデック2は、MPEG1,MPEG2,H.263等のようにマクロブロックブロック単位で動き補償を行なう他の動画像圧縮または伸長コーデックであっても良い。このコーデック2は、図2に示すような16画素×16画素の正方形に近い画像をランダム座標からアクセスすることができる画像処理回路であれば他のものであっても良い。コーデック2が画像平面の中から切り出してきてDRAM3にページ領域の画像として格納する画像は、図2に示すように画像平面5に対してページ範囲6の画像として捉えることができ、このページ範囲6のサイズは「16×16」画素であり、1画素の輝度色差成分を1バイトに対応させているから、輝度・色差平面では1バイトが1画素に相当することになり、したがって256画素で256バイトになる。

0027

したがって、この第1実施形態に係るメモリ混載画像処理用LSIにあっては1ページで処理する画素の範囲は256画素であり、この256画素分のページ範囲6にアクセスした後、ページ範囲6を構成するワード範囲(図示せず)における必要なワードを読み出すことにより画像の処理が行なわれる。この第1実施形態においては、ページ範囲6は図2に示されるように、「16×16」画素の正方形か、または「16×8」画素もしくは「8×16」画素の2対1または1対2の長方形のページ範囲となっている。

0028

なお、このような正方形または長方形の格子状の範囲で処理される画像データは、画像情報のサイズとしては格子状に分割されてから出力されるわけではないので、例えばデジタルカメラ等の情報提供源から入力される画像データは一旦は従来の方式によりメモリに格納されていても良い。その後、画像データを処理するためには、このような格子状のページ範囲やワード範囲に対応するページ領域やワード領域を有するメモリに書き換えて格納した方が、画像処理上は有利であり、本発明はこの点に着目して、画像処理に適したメモリのページ領域とワード領域とを設定するものである。

0029

以上のように構成された第1実施形態に係るメモリ混載画像処理用LSIの作用効果について図3ないし図9を参照しながら詳細に説明する。このような第1実施形態に係るメモリ混載画像処理用LSIにおいては、図2に示す画像平面5に対応するページ範囲6の画像をランダムな座標からアクセスし、1辺「16×16」画素または「8×16」画素の正方形に近い画像若しくは1対2の長方形に近い画像をメモリ領域のページ領域に格納する。この場合、ページのサイズはDRAM3のロー方向のプリチャージに消費される電力が統計的に最少となる蓋然性が高くなるようにして設定されている。以下に具体的説明する。

0030

DRAMにはページというアクセス単位がある。1つのページをアクセスするためにはDRAMに最適なコマンドを出す必要があり、このコマンド1回に対する電力的なコストは、
単位消費電力= A(B・ページサイズ+C)
(ただしA,B,Cはある容量のDRAMに対して定まる定数である。)という式により近似できる。

0031

説明を簡略化するためにページの区分単位を正方形とする。図3に示すように画像平面を1辺がX画素の正方形のページ範囲6に区切り、この正方形の1つ1つをDRAMのページに対応して格納する。この平面から1辺の長さがY画素の正方形の画像7を任意の座標(random)を基点とする位置から読み出すことになる。図3の例では、画像7は9個の格子(分割領域)を跨いでいることになる。したがって、コマンドを発するだけで、単位消費電力の9倍の電力が消費されることになる。この基点の座標がランダムな場合の跨ぐ格子数の期待値は次のようにして求められる。

0032

期待値計算用のパラメータである補助変数Zが図4のような関係「Y=M・X+Z(ただし、Mは0若しくは正の整数、Zは1以上X以下の整数で定義される。)」または、補助変数Nが図5のような関係「(N−1)・X<Y≦N・X(ただし、Nは自然数で定義される。)」で格子数の期待値が決定される。このように、パラメータを定義したとき、跨ぐ格子数の期待値VEは、下式により算出される。

0033

VE={(Z-1)2(N+1)2 + 2(Z-1)(X-Z+1)N(N+1) + (X-Z+1)2N2} / X2
Yを1回読み出すときの電力ペナルティは、「跨ぐ格子数の期待値×単位消費電力」である。

0034

画像処理用LSIにおいてはこのような処理を非常に多く行なう場合があり、特に動き補償を行なう動画像圧縮または伸長用LSIにおいては、このようなアクセスのかなりの部分を占めることがある。この動き補償を行なう場合の基本画像は、8×8画素のブロックまたは16×16画素のマクロブロックであるので、Yは8または16ということになる。他に消費電力を求める式におけるAは係数であるから無視することができ、BとCは式の中のページサイズをバイトで表現する場合「B:C=1:100〜1000」程度の比率を取ることが多い。この条件で最も消費電力を低減できるXを求める(NやZはXから算出できる)。

0035

この結果、図6に示すような特性図が得られるが、画素数16を中心としてXが8ないし32の間の範囲にあるとき消費電力の低減に有効である。これはページのサイズに直すと、1ページが64バイトから512バイトの範囲である。この範囲のページサイズが、「16画素×16画素」の正方形の領域の画像の読み出しに対して電力消費の上から有効であるものと考えられる。

0036

図7は、「8画素×8画素」の正方形画像の読み出しに対する消費電力を図6と同様にプロットしたものである。この場合にもやはり1ページを64バイトから512バイトの範囲に設定したときに消費電力を低減させることに有効である。この場合も、DRAMの消費電力モデルのパラメータのBとCの比率は図6と同様に「B:C=1:100〜1000」程度である。

0037

つまり、DRAM上に配置された画像から位置的にランダムな「8画素×8画素」または「16画素×16画素」の画像を頻繁にアクセスする場合、1ページが64バイトから512バイトであるDRAMを用いることが有利となる蓋然性が高いことになる。これに類する形状により画像を格納してアクセスする場合もこのようなページの構成範囲により同様な効果が得られる。

0038

次に、図8ないし図13を参照しながら本発明の第2実施形態に係るメモリ混載画像処理用LSIについて説明する。第2実施形態に係るメモリ混載画像処理用LSIは、第1実施形態のものがページサイズを定義していたのに対してワードサイズを定義する点で異なっている。

0039

図8において、メモリ混載画像処理用LSI1はMPEG4コーデック2と、ワードサイズが16バイトのDRAM3と、を備えている。第1実施形態との相違点はDRAM3が記憶するデータが第1実施形態の1ページ256バイトのサイズに対して1ワード16バイトに設定されている点である。この第2実施形態では一例として1ワードの大きさを16バイトとしているが8バイトから64バイトの範囲内で好ましくは「8」のべき乗となるバイト数の大きさに設定することも可能である。図8におけるMPEG4コーデック2の部分は、MPEG1,MPEG2およびH.263等のその他の規格適合するものであっても、またマクロブロック,ブロック単位で動き補償を行なう他の種類の動画像圧縮または伸長用のコーデックであっても良いことは第1実施形態と同様である。1辺が8画素ないし16画素の正方形に近い画像をランダムな座標からアクセスするような画像処理回路であれば他の構成を備えているものであっても良い。

0040

図8に示された第2実施形態に係るメモリ混載画像処理用LSIの混載DRAM3は、ワードと同じ容量の正方形または辺の長さが「1:2」の長方形の区域に分割されて、それぞれ異なるワードに纏めてデータを格納するものである。図9に示す具体例により説明すると、画像平面5に対してx方向y方向にそれぞれ「4画素×4画素」の領域8のサイズを格納するようにアドレスされている。したがって、図9においては「4画素×4画素」の正方形の領域に分割された区分画像をワード範囲8としているので、ワードサイズは16バイトである。

0041

この第2実施形態に係るメモリ混載画像処理用LSIは、図9のように「4画素×4画素」のワード範囲8により16バイト分のデータをワードとして記憶するものとしていたが、本発明はこれに限定されず、例えば図10に示すように、混載DRAM3上に格納される画像平面5の2次元プレーンにおいて、「8画素×2画素」の領域に相当する長方形のワード範囲8に分割されていても良い。この場合であっても、混載DRAM3が記憶するデータは、ワードサイズで16バイトであり、「8画素×2画素」の長方形の領域に画像を分割してワード毎にデータを格納するようにしている。

0042

以上の第2実施形態に係るメモリ混載画像処理用LSIの作用・効果について図11および図12を用いて説明する。第2実施形態に係るメモリ混載画像処理用LSIにおいて、動き補償などのような画像処理に多用されている1辺が8画素から16画素程度の正方形に近い画像をランダムな座標軸からアクセスする場合におけるDRAMからワードによりアクセスするときの消費電力が統計的に最小になる蓋然性が高くなる範囲にページサイズを構成すればよい。この場合のワードというのは、DRAMにアクセスするときのアクセス単位である。1つのワードをアクセスするためにはDRAMに適切なコマンドを出力する必要があり、このコマンド1回に対する電気的なコストは、
単位消費電力 = D(E・ワードサイズ+F)
(ただし、D,E,Fはある容量に対して定まる定数である。)のように近似することができる。

0043

上記の態様の説明を簡略化するため、画像を正方形により区分する。図3に示すように画像平面を1辺がX画素の正方形の領域に区切ることができる。この正方形の1つ1つが、DRAMのワードに対応して格納されるものとする。この平面から1辺の長さがY画素の正方形の画像を任意の座標を基点とする位置から読み出すものとする。ページアクセスを行なうページの領域の設定と同様に、ZおよびNを定義することができ、これにより跨ぐ格子数期待値VEは、下式
VE={(Z-1)2(N+1)2 + 2(Z-1)(X-Z+1)N(N+1) + (X-Z+1)2N2 }/ X2
により求められる。

0044

上記の単位消費電力の式に現れているDは定数なので無視して式中のワードサイズをバイトにより表現した場合、「E:F」の比率は「1:5」ないし「1:25」程度の範囲に収まることが多い。

0045

切り出す画像の1辺の長さすなわちYについて、Y=16の場合の特性を示すものが図11であり、また、Y=8の場合の特性が図12に示されている。これらの特性図は、ページに対応する画像の1辺の長さXに対する規格化された消費電力をプロットしたものであり、長さXが画素数2ないし4の間から画素数8の範囲で各々極小値を取ることが分かる。これはワードのサイズに直すと8バイトから64バイトであるDRAMを用いる構成が、電力消費の節約に有利となる蓋然性が高いことになり、それに類する形状や面積の画像を格納したりアクセスしたりする場合もこのページ構成の範囲で同様な効果が得られる。因みに、図11の場合には「16画素×16画素」の部分画像をランダムにアクセスする場合であり、図12は「8画素×8画素」の部分画像をランダムにアクセスする場合を示している。

0046

また、ページのサイズが「4」のべき乗である第1の場合、ページ領域に格納する部分画像としては正方形の形状が最適であり、ページのサイズが「4」のべき乗の2倍の大きさである第2の場合には「1:2」もしくは「1:4」の長方形がデータをまとめて格納し易い形状として前記第1の場合に次いで好ましい態様である。

0047

さらに、上記の説明に加えて、横方向の幅が8画素の長方形であり記憶のための容量がワードのサイズに等しい領域に画像が分割されている場合、ブロックサイズ(8画素×8画素)の画像をアクセスする際に、アドレス的には連続する領域に格納されるため、アドレスを発生させるコストが小さくなりアクセスがし易くなる。横方向の幅が16画素の長方形であり、記憶のための容量がワードのサイズに等しい領域に画像が分割されている場合に、マクロブロックサイズ(16画素×16画素)の画像をアクセスする際にも、アドレス的に連続する領域に格納されているためにアドレスを発生させるコストが小さくなりアクセスし易くなる。

0048

次に、本発明の第3実施形態に係るメモリ混載画像処理用LSIについて、図13および図14を参照しながら説明する。この第3実施形態に係るメモリ混載画像処理用LSIは、図13に示すように、第1および第2実施形態に係るLSI1と同一の構成を有しており、MPEG4コーデック2と、混載DRAM3とを備えている。第1および第2実施形態と異なる点は、混載DRAM3の構成が第1および第2実施形態の混載DRAMのデータ保存形式複合させたような構成になっている点である。すなわち、図13において、混載DRAM3は1ワード16バイトのサイズで、1ページが256バイトの容量を有するように設定されている。

0049

このページサイズが256バイトでワードサイズが16バイトをDRAM3上に記憶させる具体例として示されているのが図14である。図14において、画像平面5に対応するDRAM3上の記憶領域は、16バイトのワード範囲8が16個集合して1ページのページ範囲6を構成するようになっており、ページ範囲6の大きさは「16画素×16画素」で256バイトとなっている。

0050

したがって、動き補償処理等により1フレームの画像データにアクセスする場合には、x方向に16画素でy方向にも16画素分の1ページの画像データにまずアクセスし、ついでx方向に8画素でy方向に2画素分の1ワードの画像データにアクセスすることにより、ページデータおよびワードデータ共に最適なサイズのDRAM格納画像データに対して効率良く低消費電力で記憶動作読み出し動作を行なうことが可能となる。

0051

以上のように、ワード系に対する画像範囲の形状とサイズの設定についての工夫とページ系に対する画像範囲の形状とサイズの設定についての工夫とを組み合わせることにより、それぞれ別個に得ることができる効果に加えて、複合した効果も得られることになる。

0052

なお、上述した第1ないし第3実施形態に係るメモリ混載画像処理用LSIにおいて、前記メモリ部は、ダイナミックランダムアクセスメモリ(DRAM)により構成されているものとして説明したが、本発明はこれに限定されず、メモリ領域としてページ領域とワード領域を備え、ページアクセスした後にワードアクセスする2段階アクセスを行なうような上述した構成を有するメモリ混載画像処理用LSIであれば、メモリ部は強誘電体ランダムアクセスメモリ(FRAM—Ferroelectric Random Access Memory—)により構成されていても良いし、磁気抵抗ランダムアクセスメモリ(MRAM—Magnetoresistance Random Access Memory—)により構成されていても良い。

0053

以上説明した第1ないし第3実施形態は、LSI1を構成する混載DRAM3の内部構成について説明したが、本発明に係るメモリ混載画像処理用LSIの適用分野について、図15ないし図は17に示す第4ないし第6実施形態を用いて説明する。

0054

図15は本発明に係るメモリ混載画像処理用LSIを画像処理装置、特にバッテリによる駆動が可能な携帯用電子機器、に搭載した場合の一例として、MPEGカメラに適用した第4実施形態を示すブロック図である。図15において、MPEGカメラ10は、カメラ11と、メモリ混載画像処理用LSI12を備えており、LSI12は、カメラインターフェース13と、MPEG圧縮回路14と、第1ないし第3実施形態で説明した構成を備える混載DRAM15とが大規模集積回路として構成されている。この第4実施形態に係るメモリ混載画像処理用LSIは第1ないし第3実施形態のメモリ混載画像処理用LSIに比較してカメラインターフェース13のみが付加された基本的な構成となっている。なお、一般にカメラから出力される画像データは、画像サイズを格子状に分割した状態では出力されないので、そのような場合は一旦メモリに画像データを格納した後で格子状に分割された画像データがメモリのページ領域に対応するように格納されている画像の配置換えを行なえば良い。

0055

この第4実施形態に係るMPEGカメラによれば、メモリ混載画像処理用LSI12がMPEG圧縮回路14と混載RDAM15に加えてさらにカメラインターフェース13をも搭載しているので、従来と略々同一構成のカメラ11の例えば画像制御部に適用することにより、MPEGカメラ10を容易に提供することができるという特有の効果を有する。

0056

また、第4実施形態と同様の適用例として、第5実施形態に係るMPEGカメラ10のように、通信インターフェースをも同一チップ上に搭載するようにしても良い。図16は、この第5実施形態に係るMPEGカメラの構成を示すブロック図であり、同図において、MPEGカメラ10は、カメラ11とメモリ混載画像処理用LSI12とを備えている。LSI12は、カメラインターフェーズ13と、MPEG圧縮回路14と、混載DRAM15と、MPEGカメラ10により撮影した画像を外部に送信するための通信インターフェース16をも同一チップ上に実装しているものである。

0057

したがって、この第5実施形態に係るMPEGカメラ10によれば、通信インターフェース16を介してカメラが撮影した画像を外部に送信することができるという特有の効果を有する。なお、この通信インターフェース16はメモリ混載画像処理用LSI12と同一チップ上に実装するものとして説明したが、本発明はこれに限定されず、通信インターフェース16は別チップとして構成して、データの送受信用配線によりMPEG圧縮回路14と接続するように構成しても良い。また、この通信インターフェースを介して受信したMPEG圧縮信号に対してMPEG伸長回路(図示せず)により伸長を行ない、図示しないモニターに対し画像表示を行なう構成としても良い。このような画像伸長処理の場合にも本発明に係るメモリアクセス構成を適用することができる。

0058

また、第4および第5実施形態と同様の適用例として、第6実施形態に係るMPEGカメラのように、記録装置を備える構成としても良い。図17は第6実施形態に係るMPEGカメラの構成を示すブロック図であり、同図において、MPEGカメラ10は、カメラ11と、メモリ混載画像処理用LSI12と、記録装置18とを備えている。LSI12は、カメラインタフェース3と、MPEG圧縮回路14と、混載DRAM15と、前記記録装置18との間で画像データの送受信を行なうためのデータインターフェース17と、を備えている。

0059

このような構成を有する第6実施形態に係るMPEGカメラ10によれば、同一チップ上に実装されたデータインターフェース17によりMPEGカメラ10に設けられた記録装置18に撮影した画像を記録しておくことができ、本発明の特徴であるMPEG圧縮回路や混載DRAMの機能を記録された画像に対しても発揮することができるという特有の効果がある。なお、第5実施形態と同様にこの第6実施形態においてもデータインターフェース17のみディスクリートな回路により構成するようにしても良い。

0060

以上のように、本発明に係るメモリ混載画像処理用LSIは、第4ないし第6の実施形態に係るMPEGカメラ等に対して適用することができ、本発明は混載DRAMについてのページデータとワードデータとのアクセスの際の低消費電力化を図るものであるので、これにより携帯性に優れたMPEGカメラを提供することが容易となるという優れた効果を有する。

0061

また、MPEGカメラに限らず、本発明に係るメモリ混載画像処理用LSIは形態TV電話なども含め、あらゆる画像処理装置に対して適用可能である。また上述したように2段階アクセスを行なうメモリであればDRAMに限定されずFRAMやMRAMであっても本願発明を適用できることは勿論である。

発明の効果

0062

以上、詳細に説明したように本発明に係るメモリ混載画像処理用LSIによれば、画像平面を記憶する2段階アクセスを行なうメモリのページメモリ領域とワードメモリ領域とを画像処理のし易い画面上の最適な範囲の画像をページ範囲画像および/またはワード範囲画像に分けて画像を記憶させるようにしたので、消費電力の大きいページ記憶画像にアクセスする際の読み出しを効率良く行なうことができ、混載DRAMからの画像データの読み出しに要する消費電力を低減することができるという効果を有している。

0063

また、充電式のバッテリにより駆動することが多い携帯用の電子機器に搭載されたメモリ混載画像処理用LSIの場合であっても、長時間の使用に耐えるために重量があるがメモリ容量の大きなバッテリを搭載しなくとも、通常のバッテリでも充分に機能する程度の低消費で力で画像処理を行なうことができ、実施化に適したメモリ混載画像処理用LSIを提供することができる。

図面の簡単な説明

0064

図1本発明の第1実施形態に係るメモリ混載画像処理用LSIを示すブロック図である。
図2本発明の第1実施形態に係るメモリ混載画像処理用LSIの動作を示す模式図である。
図3第1実施形態の作用効果を説明する模式図である。
図4第1実施形態における期待値算出のパラメータを説明する模式図である。
図5第1実施形態における期待値算出のパラメータを説明する模式図である。
図6消費電力期待値を求めるための特性図である。
図7第1実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
図8本発明の第2実施形態に係るメモリ混載画像処理用LSIを示すブロック図である。
図9本発明の第2実施形態に係るメモリ混載画像処理用LSIの動作を示す模式図である。
図10第2実施形態に係るメモリ混載画像処理用LSIの動作を示す模式図である。
図11第2実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
図12第2実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
図13本発明の第3実施形態に係るメモリ混載画像処理用LSIを示すブロック図である。
図14第3実施形態に係るメモリ混載画像処理用LSIの動作を示す模式図である。
図15本発明をMPEGカメラに適用した第4実施形態に係るメモリ混載画像処理用LSIを示すブロック図である。
図16本発明をMPEGカメラに適用した第5実施形態に係るメモリ混載画像処理用LSIを示すブロック図である。
図17本発明をMPEGカメラに適用した第6実施形態に係るメモリ混載画像処理用LSIを示すブロック図である。
図18従来のメモリ混載画像処理用LSIの記憶する(a)画像平面のページ領域とワード領域と、(b)メモリにおける格納状態と、をそれぞれ模式的に示す説明図である。

--

0065

1メモリ混載画像処理用LSI
2MPEG4コーデック
3混載DRAM
5画像平面
6ページ範囲
8ワード範囲

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ