図面 (/)

技術 符号化装置、電子機器、撮像装置、および撮像システム

出願人 ソニー株式会社
発明者 深田章敬
出願日 2010年6月28日 (10年4ヶ月経過) 出願番号 2010-146439
公開日 2012年1月12日 (8年10ヶ月経過) 公開番号 2012-010264
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 スタジオ装置 TV信号の圧縮,符号化方式
主要キーワード フレームデータ量 水平出力信号 設定切替 変更直後 サーチ方向 入力フレームデータ 別フレーム 発明内容
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年1月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

符号化装置において、暗闇の画像を好適に符号化する。

解決手段

符号化装置3は、設定に応じて動画データを符号化する符号化実行部6と、符号化実行部6に符号化のための設定を行なう設定部5とを有する。設定部5は、動画データの画像が通常より暗い場合には、動画データの暗い画像の符号量が減るように設定する。符号化実行部6は、暗い画像の符号量を減らす設定の下で、動画データの暗い画像を符号化する。

概要

背景

撮像装置撮像された動画データを符号化する撮像システムには、たとえば監視システムがある。
そして、動画データを符号化することにより、伝送する動画データのデータ量を減らしたり、記録する動画データのデータ量を減らしたりすることができる(特許文献1)。

概要

符号化装置において、暗闇の画像を好適に符号化する。符号化装置3は、設定に応じて動画データを符号化する符号化実行部6と、符号化実行部6に符号化のための設定を行なう設定部5とを有する。設定部5は、動画データの画像が通常より暗い場合には、動画データの暗い画像の符号量が減るように設定する。符号化実行部6は、暗い画像の符号量を減らす設定の下で、動画データの暗い画像を符号化する。

目的

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

設定に応じて動画データを符号化する符号化実行部と、前記符号化実行部に符号化のための設定を行なう設定部とを有し、前記設定部は、前記動画データの画像が通常より暗い場合には、前記動画データの暗い画像の符号量が減るように設定し、前記符号化実行部は、暗い画像の符号量を減らす設定の下で、前記動画データの暗い画像を符号化する符号化装置

請求項2

前記設定部は、通常は、前記符号化実行部に対して、前記動画データについての画像の符号化を実行する間隔を規定する符号化フレームレートの固定を設定し、前記動画データの画像が通常より暗い場合には、前記符号化実行部に対して、前記符号化フレームレートの非固定を設定するように、符号化フレームレートの設定を変更し、前記符号化実行部は、前記符号化フレームレートが固定されている場合には、前記動画データについての画像の入力タイミングに関係なく一定の符号化フレームレートの期間毎に画像の符号化処理を実行し、前記符号化フレームレートが非固定にされている場合には、前記動画データについての画像の入力タイミング毎に画像の符号化処理を実行する請求項1記載の符号化装置。

請求項3

前記設定部は、前記動画データの画像が通常より暗い場合には、前記符号化実行部に対して、同じ画像についての符号化処理の反復を設定し、前記符号化実行部は、通常は、各符号化処理において前記動画データの画像の符号化処理を1回ずつ実行し、前記符号化処理の反復が設定された場合には、各符号化処理において前記動画データの画像についての符号化処理を複数回実行する請求項2記載の符号化装置。

請求項4

前記設定部は、通常は、前記符号化実行部に対して、複数回の符号化処理において、他の画像を参照するインターフレームへの符号化処理と、他の画像を参照しないイントラフレームへの符号化処理とを実行するように、符号化処理方法を設定し、前記動画データの画像が通常より暗い場合には、前記符号化実行部に対して、前記イントラフレームへの符号化処理のみを実行するように、符号化処理方法を設定し、前記符号化実行部は、前記イントラフレームへの符号化処理のみの実行が設定された場合には、各符号化処理において、前記イントラフレームに符号化する請求項2または3記載の符号化装置。

請求項5

前記符号化実行部は、設定部による設定が、前記動画データの画像が通常より暗い場合のものに変更された場合、当該変更直後の最初の画像を、それまでの符号化状況と関係なく、他の画像を参照しないイントラフレームに符号化する請求項2から4のいずれか一項記載の符号化装置。

請求項6

前記設定部は、通常は、前記符号化実行部に対して、画像の周波数成分毎カット割合を規定する第1量子化テーブルを設定し、前記動画データの画像が通常より暗い場合には、前記符号化実行部に対して、前記第1量子化テーブルより高周波成分のカット割合を大きくした第2量子化テーブルを設定し、前記符号化実行部は、設定された前記第1量子化テーブルまたは前記第2量子化テーブルを用いて前記動画データの画像を符号化する請求項2から5のいずれか一項記載の符号化装置。

請求項7

前記設定部は、通常は、前記符号化実行部に対して、第1量子化量を設定し、前記動画データの画像が通常より暗い場合には、前記符号化実行部に対して、前記第1量子化量より高周波部分の値が大きい第2量子化量を設定し、前記符号化実行部は、設定された前記第1量子化量または前記第2量子化量を用いて前記動画データの画像を符号化する請求項2から6のいずれか一項記載の符号化装置。

請求項8

前記設定部は、通常は、前記符号化実行部に対して、他の画像を参照するインターフレームとして符号化される画像についての動きベクトルサーチの実行を設定し、前記動画データの画像が通常より暗い場合には、前記符号化実行部に対して、前記動きベクトルサーチを無効に設定し、前記符号化実行部は、前記動きベクトルサーチが無効である場合には、動きベクトル固定化して符号化処理を実行する請求項2から7のいずれか一項記載の符号化装置。

請求項9

前記設定部は、前記動画データの画像が通常より暗い場合、前記符号化実行部に対して設定する、符号化フレームレートの固定/非固定、量子化テーブルの種類、量子化パラメータの値、インターフレームについての動きベクトルサーチの有無、符号化処理の反復の有無、イントラフレームとインターフレームとの強制的な切替の有無、イントラフレームへの固定の有無、ユーザデータの有無、設定切替時のイントラフレーム指定の有無、動きベクトルサーチのサーチ方向、動きベクトルサーチの参照範囲の設定のうちの、少なくとも1つの設定を変更する請求項1記載の符号化装置。

請求項10

前記符号化装置は、前記動画データの画像が通常より暗いか否かを判断する判断部を有し、前記設定部は、暗い画像の符号化に用いる暗闇用の設定データ、通常の明るさの画像の符号化に用いる通常用の設定データを有し、前記判断部の判断結果に基づいて、前記暗闇用の設定データおよび前記通常用の設定データのうちの1個の設定データを選択し、選択した設定データを前記符号化実行部に設定する請求項1から9のいずれか一項記載の符号化装置。

請求項11

前記判断部は、前記符号化実行部に入力される前記動画データが入力され、前記動画データの各画像について、画像が通常より暗いか否かを判断する請求項10記載の符号化装置。

請求項12

前記判断部は、前記動画データの撮像フレーム間隔に基づいて、各画像が通常より暗いか否かを判断する請求項11記載の符号化装置。

請求項13

前記判断部は、前記動画データの各画像についての撮像情報が入力され、前記撮像情報に基づいて各画像が通常より暗いか否かを判断する請求項10記載の符号化装置。

請求項14

前記撮像情報は、前記動画データにおける各画像の輝度、各画像を撮像した露光時間、および各画像についての直前の画像との撮像の時間間隔の少なくとも1個を示す情報である請求項13記載の符号化装置。

請求項15

前記判断部は、前記符号化実行部に、前記動画データの新たな画像が入力されると、前記符号化実行部に、所定の設定の下での符号化処理の実行を指示し、前記所定の設定の下での符号化処理の実行により得られる符号化結果に関する情報に基づいて、各画像が通常より暗いか否かを判断する請求項10記載の符号化装置。

請求項16

設定に応じて動画データを符号化する符号化実行部と、前記符号化実行部に設定を行なう設定部とを有し、前記設定部は、前記動画データの画像が通常より暗い場合には、前記動画データの暗い画像の符号量が減るように設定し、前記符号化実行部は、暗い画像の符号量を減らす設定の下で、前記動画データの暗い画像を符号化する電子機器

請求項17

撮像した動画データを含む信号を出力する撮像部と、前記撮像部から前記信号が入力される符号化部とを有し、前記符号化部は、設定に応じて動画データを符号化する符号化実行部と、前記符号化実行部に設定を行なう設定部とを有し、前記設定部は、前記動画データの画像が通常より暗い場合には、前記動画データの暗い画像の符号量が減るように設定し、前記符号化実行部は、暗い画像の符号量を減らす設定の下で、前記動画データの暗い画像を符号化する撮像装置

請求項18

前記撮像部は、撮影環境が暗い場合、前記動画データの撮影フレームレート下げる請求項17記載の撮像装置。

請求項19

撮像部、符号化部および第1通信部を有し、前記撮像部により撮像した動画データを前記符号化部で符号化して前記第1通信部から送信する撮像装置と、第2通信部、復号部およびモニタを有し、前記第1通信部から送信された符号化された動画データを前記第2通信部により受信して前記復号部により復号し、復号した動画データを前記モニタに表示する表示装置とを有し、前記符号化部は、設定に応じて動画データを符号化する符号化実行部と、前記符号化実行部に設定を行なう設定部とを有し、前記設定部は、前記動画データの画像が通常より暗い場合には、前記動画データの暗い画像の符号量が減るように設定し、前記符号化実行部は、暗い画像の符号量を減らす設定の下で、前記動画データの暗い画像を符号化する撮像システム

技術分野

0001

本発明は、動画データを符号化する符号化装置電子機器撮像装置、および撮像ステムに関する。

背景技術

0002

撮像装置で撮像された動画データを符号化する撮像システムには、たとえば監視システムがある。
そして、動画データを符号化することにより、伝送する動画データのデータ量を減らしたり、記録する動画データのデータ量を減らしたりすることができる(特許文献1)。

先行技術

0003

特開2000−261713号公報

発明が解決しようとする課題

0004

しかしながら、たとえば撮像装置などにより撮像された動画データを符号化する場合、撮影環境によっては動画データを符号化したとしても、データ量を好適に削減することができない場合がある。

0005

たとえば監視システムの撮像部には、暗闇を撮像する場合、各画像の露光時間を確保するために、撮像フレームレート下げるものがある。
この場合、撮像部から出力される暗闇の動画データのフレーム間隔が広がる。
そして、符号化装置が固定フレームレート符号化処理を実行している場合、同じ画像を複数回符号化したり、符号化されない画像が発生したりする。
同じ画像を複数回符号化することは、無駄な符号化データを発生させる。

0006

また、暗闇を撮影した画像には、光量が不足するため、多くの量子化ノイズが含まれる。
この場合、各動画データの画像を符号化した場合の符号量は、増大する。
特に、他の画像を参照するインターフレームとして暗闇の画像を符号化した場合、各画像に含まれる量子化ノイズが異なるため、その量子化ノイズの画像間の差異により符号量が増大する。
そして、符号化装置は、たとえばMPEG(Moving Picture Experts Group)1、2、4、またはH.264などの規格準拠した符号化方式により画像を符号化する。
このため、符号化装置は、符号量が増大した符号化データを、規格に準拠したデータ量に収めるために、符号化データを通常の場合より多く減らすように符号量を調整する。
その結果、暗闇の画像の画質は、通常の画像の画質より劣化する。

0007

このように符号化装置では、暗闇の画像を好適に符号化することが求められている。

課題を解決するための手段

0008

本発明の第1の観点の符号化装置は、設定に応じて動画データを符号化する符号化実行部と、符号化実行部に符号化のための設定を行なう設定部とを有し、設定部は、動画データの画像が通常より暗い場合には、動画データの暗い画像の符号量が減るように設定し、符号化実行部は、暗い画像の符号量を減らす設定の下で、動画データの暗い画像を符号化する。

0009

第1の観点では、動画データの画像が通常より暗い場合、設定部は、動画データの符号量が減るように設定する。
また、符号化実行部は、暗い画像の符号量を減らす設定の下で、動画データの暗い画像を符号化する。
よって、第1の観点では、暗い画像についての符号量を減らすことができる。

0010

本発明の第2の観点の電子機器は、設定に応じて動画データを符号化する符号化実行部と、符号化実行部に設定を行なう設定部とを有し、設定部は、動画データの画像が通常より暗い場合には、動画データの暗い画像の符号量が減るように設定し、符号化実行部は、暗い画像の符号量を減らす設定の下で、動画データの暗い画像を符号化する。

0011

本発明の第3の観点の撮像装置は、撮像した動画データを含む信号を出力する撮像部と、撮像部から信号が入力される符号化部とを有する。そして、符号化部は、設定に応じて動画データを符号化する符号化実行部と、符号化実行部に設定を行なう設定部とを有し、設定部は、動画データの画像が通常より暗い場合には、動画データの暗い画像の符号量が減るように設定し、符号化実行部は、暗い画像の符号量を減らす設定の下で、動画データの暗い画像を符号化する。

0012

本発明の第4の観点の撮像システムは、撮像部、符号化部および第1通信部を有し、撮像部により撮像した動画データを符号化部で符号化して第1通信部から送信する撮像装置と、第2通信部、復号部およびモニタを有し、第1通信部から送信された符号化された動画データを第2通信部により受信して復号部により復号し、復号した動画データをモニタに表示する表示装置とを有する。そして、符号化部は、設定に応じて動画データを符号化する符号化実行部と、符号化実行部に設定を行なう設定部とを有し、設定部は、動画データの画像が通常より暗い場合には、動画データの暗い画像の符号量が減るように設定し、符号化実行部は、暗い画像の符号量を減らす設定の下で、動画データの暗い画像を符号化する。

発明の効果

0013

本発明によれば、暗闇の画像を好適に符号化することができる。

図面の簡単な説明

0014

図1は、本発明の第1実施形態に係る撮像装置の概略ブロック図である。
図2は、図1の撮像部の概略ブロック図である。
図3は、図1の撮像装置において符号化される動画データの一例の説明図である。
図4は、図1の符号化部が実現されるコンピュータ装置のブロック図である。
図5は、図1の符号化実行部のブロック図である。
図6は、図5の符号化実行部の単独の動作の説明図である。
図7は、図1モード管理部が利用するモード判定テーブルの一例を示す図である。
図8は、図1符号方法管理部が利用する符号化パラメータテーブルの一例を示す図である。
図9は、図1の撮像装置の全体の動作のシーケンスチャートを示す図である。
図10は、図1のモード管理部の動作のフローチャートを示す図である。
図11は、図1の符号方法管理部の動作のフローチャートを示す図である。
図12は、図1の符号化実行部の動作のフローチャートを示す図である。
図13は、図1の撮像装置により符号化される動画データの一例の説明図である。
図14は、本発明の第2実施形態に係る撮像装置の概略ブロック図である。
図15は、図14の撮像装置の全体の動作のシーケンスチャートを示す図である。
図16は、本発明の第3実施形態に係る撮像装置の概略ブロック図である。
図17は、図16の撮像装置の全体の動作のシーケンスチャートを示す図である。
図18は、本発明の第4実施形態に係る監視システムの概略ブロック図である。

実施例

0015

以下、本発明の実施の形態を図面に関連付けて説明する。
説明は以下の順に行う。
1.第1実施形態(入力された画像のフレームレートに基づいて、暗闇の画像であるか否かを判断する撮像装置1の例)
2.第2実施形態(動画データについての撮像情報に基づいて、暗闇の画像であるか否かを判断する撮像装置1の例)
3.第3実施形態(符号化したフレームデータ21の増減に基づいて、暗闇の画像であるか否かを判断する撮像装置1の例)
4.第4実施形態(撮像システムの例)

0016

<1.第1実施形態>
第1実施形態
[撮像装置1の構成]
図1は、本発明の第1実施形態に係る撮像装置1の概略ブロック図である。
図1の撮像装置1は、撮像部2と、撮像部2に接続された符号化部3とを有する。
符号化部3は、モード管理部4、符号方法管理部5、符号化実行部6を有する。

0017

撮像部2は、画像を連続的に撮像し、撮像した複数のフレームデータ21を含む動画データの信号を出力する。

0018

モード管理部4は、撮像部2に接続される。
そして、モード管理部4は、撮像部2から入力された撮像データにおけるフレームデータ21のフレームレートに基づいて、撮像された動画データが暗闇の動画であるか否かを判断する。
モード管理部4は、たとえばフレームレートが低くなると、撮像された動画データが暗闇の動画であると判断する。

0019

また、モード管理部4は、判断したモードを、モード信号として出力する。
モード管理部4により判断される符号化部3の動作モードには、通常モードと、暗闇モードとがある。
暗闇モードは、暗闇を撮影したフレームデータ21を符号化するモードである。
通常モードは、暗闇以外の通常の明るさで撮影したフレームデータ21を符号化するモードである。

0020

符号方法管理部5は、符号化実行部6、撮像部2、モード管理部4に接続される。
符号方法管理部5は、符号化実行部6に符号化方式を設定し、符号化実行部6にMPEG1、2、4、またはH.264などの規格に準拠した符号化を実行させる。
このため、符号方法管理部5は、通常は、符号化実行部6に対して、たとえば固定フレームレート、GOP長、各ピクチャの符号化方式(I,P,B)、量子化テーブル量子化量などの量子化パラメータなどの基本的なパラメータを設定する。

0021

また、符号方法管理部5は、符号化部3の動作モード毎複数組の符号化パラメータを有する。
そして、符号方法管理部5は、モード管理部4から入力されたモード信号などに基づいて、1組の符号化パラメータを選択する。
符号方法管理部5は、選択した符号化パラメータの設定信号を出力する。

0022

符号化実行部6は、撮像部2、符号方法管理部5に接続される。
そして、符号化実行部6は、入力された設定信号に基づいて、符号化方式を切り替える。
符号化実行部6は、切り替えた符号化方式で、撮像部2から入力される動画データを符号化する。

0023

以上の動作により、図1の撮像装置1は、撮像部2から入力された撮像データにおけるフレームデータ21のフレームレートが低くなると暗闇の動画が撮像されていると判断し、符号化パラメータなどを暗闇画像用のものに切り替えてフレームデータ21を符号化する。符号化された動画データは、符号化実行部6から出力される。

0024

図2は、図1の撮像部2の概略ブロック図である。
図2の撮像部2は、画素アレイ部11、垂直走査部12、カラムAD(Analog to Digital)変換部13、水平走査部14、撮像制御部15、クロック信号生成部16を有する。
これらの回路は、たとえば半導体基板に、図2レイアウトにより形成される。

0025

画素アレイ部11は、複数の画素回路を有する。
画素回路は、図示しない光電変換素子転送トランジスタなどを有する。
複数の画素回路は、半導体基板の一面に二次元配列される。

0026

垂直走査部12は、複数の選択信号線により画素アレイ部11に接続される。
選択信号線は、たとえば二次元配列における各列の複数の画素回路に接続される。
垂直走査部12は、たとえば複数の選択信号線の1本を選択し、選択した選択信号線の電位を制御する。
これにより、二次元配列された複数の画素回路のうちの1列の画素回路が選択される。

0027

カラムAD変換部13は、複数のAD変換部を有する。
複数のAD変換部は、複数の垂直信号線により画素アレイ部11に接続される。
垂直信号線は、たとえば二次元配列における各行の複数の画素回路に接続される。
AD変換部は、選択された各列の画素回路の光電変換素子から読み出された信号を増幅して画素値へ変換する。

0028

水平走査部14は、カラムAD変換部13の複数のAD変換部、水平出力信号線17に接続される。
水平走査部14は、カラムAD変換部13の複数のAD変換部を順番に選択し、当該複数のAD変換部により変換された複数の画素値の信号を、水平出力信号線17へ出力する。

0029

撮像制御部15は、垂直走査部12、水平走査部14、クロック信号生成部16などに接続される。
そして、撮像制御部15は、クロック信号に同期して垂直走査部12、水平走査部14などの動作を制御する。
これにより、垂直走査部12は、たとえば複数の画素回路を1列ずつ順番に選択する。
水平走査部14は、各列の選択期間毎に1列分の画素回路の複数の画素値を水平出力信号線17へ出力する。
この1回の読出し動作により、撮像部2から撮像された1枚のフレームデータ21が出力される。
また、この読出し動作を繰り返すことにより、撮像部2は、複数のフレームデータ21を順番に出力する。
この複数のフレームデータ21により、撮像された動画データが構成される。

0030

また、撮像制御部15には、フレームデータ21が入力される。
撮像制御部15は、入力されるフレームデータ21に基づいて、撮像環境を判断する。
撮像制御部15は、たとえば各フレームデータ21の平均輝度演算したり、複数の画素値を積算したりする。
そして、撮像制御部15は、たとえば平均輝度または積算値について判断し、撮影される画像の明るさが所定の明るさ範囲となるように、画像の撮像時間および撮像間隔を調整する。
たとえば、平均輝度または積算値が所定値以下である場合、撮像制御部15は、画像の撮像間隔(フレームレート)を伸ばして各画像の撮像時間を確保し、その確保した撮像時間において適切な露光が得られるように撮像を制御する。

0031

図3は、図1の撮像装置1において符号化される動画データの一例の説明図である。
図3の動画データは、複数の画像のフレームデータ21を有する。
図3の動画データは、撮像部2から符号化部3へ出力される。
そして、図3の動画データは、左側のフレームから順番に、たとえば3枚のフレームデータ21のグループ毎に符号化される。
この符号化処理の単位をGOP(Group Of Pictures)という。

0032

また、図3の例では、各GOPにおいて左から1番目のフレームは、I(Intra)ピクチャとして符号化される。Iピクチャは、他のフレームを参照しないで符号化されるピクチャである。
2番目のフレームは、B(Bidirectional predictive)ピクチャとして符号化される。Bピクチャは、同一GOP内のIピクチャおよびPピクチャを参照して符号化されるピクチャである。
3番目のフレームは、P(Predictive)ピクチャとして符号化される。Pピクチャは、同一GOP内の先行して符号化されたIピクチャを参照して符号化されるピクチャである。

0033

図4は、図1の符号化部3が実現されるコンピュータ装置のブロック図である。
図4のコンピュータ装置100は、CPU(Central Processing Unit)101、メモリMEM)102、入出力部(I/O)103、タイマTMR)104を有する。
CPU101、メモリ102、入出力部103、タイマ104は、システムバス105に接続される。
なお、図4のコンピュータ装置100は、たとえば半導体集積回路として実現される。

0034

メモリ102は、符号化プログラムを記憶する。
メモリ102に記憶されている符号化プログラムは、コンピュータ装置100の出荷前にメモリ102に記憶されているものであっても、コンピュータ装置100の出荷後にメモリ102に記憶されているものであってもよい。
コンピュータ装置100の出荷後にメモリ102に記憶される符号化プログラムは、たとえばコンピュータ読取可能な記録媒体に記録されたものを読み込んだものであっても、インターネットなどの伝送媒体を通じてダウンロードしたものであってもよい。

0035

CPU101は、メモリ102に記憶されている符号化プログラムを読み込んで実行する。
これにより、CPU101に、図1のモード管理部4、符号方法管理部5、符号化実行部6が実現される。
なお、図4において、符号化部3に入力される動画データは、たとえば入出力部103から入力され、メモリ102に保存される。
また、符号化実行部6により符号化された動画データは、メモリ102に保存された後、入出力部103から外部へ出力される。

0036

図5は、図1の符号化実行部6のブロック図である。
図5の符号化実行部6は、MPEG4 visual方式により動画データを符号化する。図5の符号化実行部6は、設定されたGOP毎に、複数のフレームデータ21を符号化する。

0037

図5の符号化実行部6は、第1フレームメモリ31、動きベクトル検出器32、減算器33、DCT(Discrete Cosine Transform)器34、量子化器35を有する。
また、図5の符号化実行部6は、VLC(Variable Length Code)器36、バッファ37を有する。
また、図5の符号化実行部6は、逆量子化器38、IDCT(Inverse DCT)器39、第2フレームメモリ40、動き補償器41を有する。

0038

第1フレームメモリ31は、入力部11から出力されたフレームデータ21による画像を記憶する。
動きベクトル検出器32は、第1フレームメモリ31に接続される。
動きベクトル検出器32は、第1フレームメモリ31に記憶された新たな符号化対象の画像について、他のフレームデータ21の画像と共通するオブジェクトについての動きベクトルを検出する。
この際、動きベクトル検出器32は、設定された動きベクトルサーチの方向および参照範囲のフレームデータ21に基づいて、動きベクトルを検出する。
動きベクトル検出器32は、通常は、同一GOP内の既に符号化された先行するフレームデータ21に基づいて、動きベクトルを検出する。

0039

減算器33は、第1フレームメモリ31、動き補償器41に接続される。
減算器33は、第1フレームメモリ31に記憶される画像から、動き補償器41により補償処理された第2フレームメモリ40に記憶される画像を減算する。

0040

DCT器34は、減算器33に接続される。
DCT器34は、減算器33により差分演算された画像について、所定のブロック毎に離散コサイン変換する。

0041

量子化器35は、DCT器34に接続される。
量子化器35は、DCT器34のブロック毎に離散コサイン変換により得られた周波数帯毎DCT係数を量子化する。
この際、量子化器35は、設定された量子化量Qp、量子化テーブルを用いて、DCT係数を量子化する。

0042

VLC器36は、量子化器35に接続される。
VLC器36は、量子化器35により量子化されたDCT係数データを、可変長符号化する。
VLC器36は、符号化したデータを、バッファ37へ出力する。
これにより、バッファ37には、符号化されたフレームデータ21が記憶される。
このバッファ37から図2の出力部16へ符号化されたフレームデータ21が出力される。
また、VLC器36は、動きベクトル検出器32に接続され、この動きベクトル検出器32により検出された動きベクトルのデータをバッファ37へ出力する。

0043

また、DCT器34、量子化器35、およびVLC器36は、符号方法管理部5により符号化パラメータが設定される。
DCT器34、量子化器35、およびVLC器36は、これらに基づいてたとえばブロックサイズ、量子化の程度、符号化の仕方を調整する。
また、量子化器35は、バッファ37に記憶されている符号化済みのフレームデータ21のデータ量を読み込む。
量子化器35は、このデータ量に応じた独自の判断により、フレームデータ21の符号化の要否などを判断する。

0044

逆量子化器38は、量子化器35に接続される。
逆量子化器38は、量子化器35により量子化された後のDCT係数から、量子化済みのフレームデータ21についてのDCT係数を生成する。

0045

IDCT器39は、逆量子化器38に接続される。
IDCT器39は、逆量子化器38により生成されたDCT係数から、量子化済みのフレームデータ21の画像を生成する。
第2フレームメモリ40には、この量子化済みのフレームデータ21の画像が記憶される。

0046

動き補償器41は、動きベクトル検出器32、第2フレームメモリ40に接続される。
動き補償器41は、第2フレームメモリ40に記憶されている画像を、動きベクトル検出器32により検出された動きベクトルに基づいて移動させた画像を生成する。

0047

図6は、図5の符号化実行部6の単独の動作の説明図である。
図6(A)は、暗闇を撮像した場合の動画データを示す図である。
図6(B)は、符号化実行部6により符号化された符号化データを示す図である。
図6(C)は、図6(B)の各符号化データ符号化データ量の説明図である。
図6において、左から右へ時間が経過している。

0048

図6の符号化処理を実行するために、符号方法管理部5は、符号化実行部6に対して、固定フレームレート、GOP長、符号化するピクチャの種類(I,P,B)、量子化テーブル、量子化量などの、所定の規格に準拠した符号化パラメータを設定する。

0049

暗闇を撮像している場合、撮像部2は、光量不足を補うために、フレームレートを制御して各画像の露光時間を確保する。
このため、図6(A)に示すように、撮像部2から出力される複数のフレームデータ21の間隔は、一定とならない。フレーム間隔は、不定期となる。
撮像フレーム間隔が変化する場合に、符号化実行部6が、その設定に基づいて一定の固定フレームレートで符号化処理を実行した場合、図6(B)に示すように、撮像された複数のフレームデータ21は、符号化されない場合がある。
図6(A)では、3枚目のフレームデータ21が符号化されていない。
また、同じフレームデータ21が複数回符号化される場合がある。
図6(A)では、1枚目の撮像フレームデータ21が2回符号化されている。
2番目の符号化されたフレームデータ21は、1番目のフレームデータ21として動きがないフレームであり、情報量を増やすものではなく、無駄である。

0050

また、符号化実行部6が、図6(B)の1回目の符号化処理でイントラフレーム符号化を実行し、それ以降の符号化処理でインターフレーム符号化を実行したとする。
この場合、図6(C)に示すように、1枚目のイントラフレームの符号化データ量は、通常のフレームデータ量となる。
2枚目のインターフレームの符号化データ量は、1枚目と同一の画像を符号化しているため、通常より少ないフレームデータ量となる。
3枚目のインターフレームの符号化データ量は、1枚目のイントラフレームより多いフレームデータ量となる。
4枚目のインターフレームの符号化データ量は、1枚目のイントラフレームより多いフレームデータ量となる。

0051

このように暗闇を撮像した場合、固定フレームレートによる2枚目のインターフレームは、1枚目のインターフレームと同一の画像であるため、無駄である。
また、3枚目および4枚目のインターフレームのデータ量は、他の画像を参照した符号化がなされているにもかかわらず、他の画像を参照しないイントラフレームのデータ量より多くなってしまう。
この原因としては、暗闇を撮像した各画像には、露光時間を確保することにより大量のノイズ成分が含まれ、かつ、そのノイズ成分が画像毎に異なるためであると考えられる。
このことは、インターフレーム数が多いほど、符号量が増大することを意味する。
また、図6(B)の1回目のイントラフレームとして符号化される画像についても、その画像に大量の撮影時の量子化ノイズが含まれている。このため、一般的に、同じ画像を通常の明るさの下で撮影した場合より、符号化データ量が多くなる。

0052

そのため、暗闇のフレームデータ21について、たとえばMPEG1、2、4、またはH.264などの規格に準拠した符号化方式により符号化すると、通常より多い符号化データが発生する。
符号化実行部6は、この通常より多い符号化データを規格に準拠したデータ量に収めるために、符号化データを通常よりも多く減らすように符号量を調整する。
その結果、暗闇についての明瞭でない画像の画質は、通常の画像の画質より劣化する。
このような符号化の課題を解決するために、第1実施形態の符号化部3は、符号化実行部6の他に、符号方法管理部5、モード管理部4を有する。

0053

図7は、図1のモード管理部4が利用するモード判定テーブルの一例を示す図である。
図7のモード判定テーブルは、たとえば図4のメモリ102に記憶される。
そして、モード管理部4は、撮像部2から入力されるフレームデータ21のフレームレートに基づいて、符号化部3の動作モードを判断する。
モード管理部4は、フレームレートが所定の閾値より大きい場合、暗闇モードと判断する。
フレームレートが所定の閾値以下である場合、モード管理部4は、通常モードと判断する。
なお、このフレームレートの閾値には、たとえば撮像部2の通常動作でのフレームレートの値を使用すればよい。

0054

[暗闇の画像用の符号化パラメータの説明]
図8は、図1の符号方法管理部5が利用する符号化パラメータテーブルの一例を示す図である。
図8の符号化パラメータテーブルは、たとえば図4のメモリ102に記憶される。
そして、符号方法管理部5は、モード管理部4から入力されるモード信号に基づいて、暗闇モードの値または通常モードの値を選択する。
符号方法管理部5は、選択したモードの値を符号化実行部6へ設定するための設定信号を出力する。

0055

図8の符号化パラメータテーブルは、符号化実行部6がフレームデータ21の符号化に用いる複数の符号化パラメータテーブルについて、通常モードの値と、暗闇モードの値とを有する。
具体的には例えば、量子化テーブルについての通常モードの値は「TBL1」であり、暗闇モードの値は「TBL2」である。
量子化テーブルは、画像の周波数成分毎周波数成分のカット割合の値を有する。
なお、第2の量子化テーブルは、たとえば第2の量子化テーブルと比べて高周波部分のカット割合を大きくしたものであればよい。
これにより、符号化された暗闇の画像のフレームデータ21に含まれる撮影時の量子化ノイズを減らすことができる。
また、画像に含まれる撮影時の量子化ノイズによる符号量の増大を抑制できる。

0056

量子化量Qpは、量子化パラメータの一種である。
そして、量子化量Qpについての通常モードの値は「q1」であり、暗闇モードの値は「q2」である。
符号化実行部6は、設定された量子化量Qpにしたがって、量子化処理を実行する。
なお、暗闇モードの量子化量q2は、通常モードの量子化量q1と比べて、高周波部分の値が十分に大きいものであればよい。
これにより、符号化された暗闇の画像のフレームデータ21に含まれる撮影時の量子化ノイズを減らすことができる。
また、画像に含まれる撮影時の量子化ノイズによる符号量の増大を抑制できる。

0057

インターフレームの動きベクトルサーチについての通常モードの値は「有」であり、暗闇モードの値は「無(固定)」である。
動きベクトルサーチが無(固定)となることにより、インターフレームの動きベクトルが固定化される。
符号化処理が簡略化され、符号化部3の消費電力が低減する。
なお、この固定化処理と、後述するイントラ固定などとを組み合わせることにより、固定化したことによる符号量の増大、画質劣化などを抑制することができる。

0058

符号化反復の有無についての通常モードの値は「無」であり、暗闇モードの値は「有」である。
符号化処理を反復した場合、符号化処理に時間がかかる。このため、通常モードでは一定のフレームレートで符号化する必要があるため、符号化反復をしていない。
これに対して、暗闇モードとなる場合、撮像部2は、通常より低いフレームレートでフレームデータ21を出力している。
この長いフレーム期間を有効に利用するように、暗闇モードでは、符号化処理を反復して実行する。
これにより、符号化実行部6は、長くなったフレーム期間を有効に利用して、最適な符号量および画質が得られるように符号化処理を実行できる。

0059

イントラ/インタ切り替えの有無についての通常モードの値は「無」であり、暗闇モードの値は「有」である。
また、イントラ固定の有無についての通常モードの値は「無」であり、暗闇モードの値は「有」である。
暗闇を撮像した画像には、多くの撮影時の量子化ノイズが含まれる。
また、この撮影時の量子化ノイズは、前後して撮像された画像の間でも異なる。
このため、暗闇モードでは、イントラ/インタ切り替えを有りとする。また、イントラ固定を有りとする。
これにより、符号化実行部6は、暗闇撮影によりフレーム間隔(フレームレートの逆数)が広がると、インターフレーム符号化が指定されていたフレームデータ21を、基本的な設定にかかわらず強制的に切り替えて、イントラフレームとして符号化する。
その結果、符号化実行部6は、前後して撮像された暗闇の画像の間で撮影時の量子化ノイズが大きく異なっていたとしても、その異なる撮影時の量子化ノイズに起因する符号量の増大を抑制することができる。

0060

符号化フレームレートについての通常モードの値は「固定(=撮像部2の通常の撮像フレームレート)」であり、暗闇モードの値は「非固定(可変)」である。
暗闇を撮像する場合、撮像部2は、撮像フレームレートを可変させる。
このため、固定フレームレートでの入力を前提として符号化処理を実行した場合、同じ画像のフレームデータ21を複数回符号化したり、符号化されない画像のフレームデータ21が発生することがある。
そして、暗闇モードでは、符号化フレームレートを非固定とする。
この場合、符号化実行部6は、新たなフレームデータ21が入力される度に、そのフレームデータ21の符号化処理を実行する。
これにより、1GOP長に対応する撮像された動画データでの期間は、長くなる。
また、同一画像に関する不要な符号化を減らし、その分他のフレームに対する符号化割り当てを増やすことができ、トータルの画質を向上できる。
また、非固定フレームレートと固定GOP長との組み合わせにより、GOPが対応する期間を延ばすことができる。

0061

ユーザデータの有無についての通常モードの値は「任意(有または無)」であり、暗闇モードの値は「有」である。
符号化実行部6は、符号化したフレームデータ21により構成される動画データに、暗闇の画像であることを示す情報を含むユーザデータを追加する。
これにより、復号の際にユーザデータを解釈することにより、復号後画質改善用のフィルタ係数を、暗闇の画像についての撮影時の量子化ノイズを抑制するように変更可能となる。

0062

設定の切替時のイントラ指定についての通常モードの値は「無」であり、暗闇モードの値は「有」である。
この場合、符号化実行部6は、符号化パラメータの設定を更新した直後の最初のフレームデータ21を、GOPなどの基本的な設定に関係なく、イントラフレームとして符号化する。
これにより、最低限の符号量で符号化することができる。
また、この情報をユーザデータに含めることにより、復号部73では、変化点の取得、シーンチェンジの取得が可能となる。

0063

[撮像装置1の動作]
次に、図1の撮像装置1の動作を説明する。
図9は、図1の撮像装置1の全体の動作のシーケンスチャートを示す図である。
図9において、時間は上から下に経過している。

0064

撮像装置1において、撮像部2は、撮像処理を開始し、動画データを符号化部3へ出力する(ステップST1)。
具体的には、撮像部2は、撮像環境に応じた露光時間で撮影した画像のフレームデータ21を、その露光時間に対応した撮像フレームレートで繰り返し出力する。
符号化実行部6は、通常は、撮像部2の通常の撮像フレームレート毎に符号化処理を実行する。

0065

モード管理部4は、撮像部2から新たなフレームデータ21が入力されると、モード判定処理を実行する(ステップST2−1,ST2−2)。

0066

図10は、図1のモード管理部4の動作のフローチャートを示す図である。
モード判定処理において、モード管理部4は、モード決定処理を実行する(ステップST11)。
モード決定処理において、モード管理部4は、撮像部2から入力された撮像データにおけるフレームデータ21の撮像フレームレートに基づいて、撮像された動画データが暗闇の動画であるか否かを判断する。
モード管理部4は、図7に示すように、たとえば最新入力フレームデータ21についての撮像フレームレートが、通常の撮影時の撮像フレームレートより低くなると、撮像された動画データが暗闇の動画であると判断する。
モード管理部4は、たとえばタイマ104により計測された前回のフレームデータ21の入力時刻と、今回入力されたフレームデータ21の入力時刻との間の経過時間を演算する。
次に、モード管理部4は、演算した現時点での経過時間が、それまでの通常の撮像フレームレートにおける経過時間より長いか否かを判断する。
そして、演算した現時点での経過時間が従来の経過時間より長くなっている場合、モード管理部4は、撮像フレームレートが低くなったと判断する。
なお、モード管理部4は、メモリ102に記憶させた通常の撮像フレームレートと、タイマ104により計測された現在のフレーム期間とを比較して判断してもよい。

0067

これに対して、最新の入力フレームデータ21についての撮像フレームレートが、通常の撮像フレームレートに一致する場合、モード管理部4は、撮像された動画データが通常の動画であると判断する。

0068

モード決定処理を実行した後、モード管理部4は、判断したモード情報通知する(ステップST12)。
モード管理部4は、判定したモードの値を有するモード信号を出力する。
このモード情報は、図9に示すように、モード管理部4から符号方法管理部5へ通知される。

0069

モード情報が入力されると、符号方法管理部5は、符号化実行部6による符号方法を選択する(ステップST3−1,ST3−2)。

0070

図11は、図1の符号方法管理部5の動作のフローチャートを示す図である。
符号方法の選択処理において、符号方法管理部5は、撮像部2から入力された符号化対象のフレームデータ21が暗闇の画像であるか否かを判断する(ステップST21)。
符号方法管理部5は、モード信号の値に基づいて、これを判断する。

0071

暗闇の画像である場合、符号方法管理部5は、暗闇の画像用の符号方法を選択する(ステップST22)。
符号方法管理部5は、図8の左側の暗闇モードの符号化パラメータを選択する。

0072

暗闇の画像でない場合、符号方法管理部5は、通常の符号方法を選択する(ステップST23)。
符号方法管理部5は、図8の右側の通常モードの符号化パラメータを選択する。

0073

符号化方法を選択した後、符号方法管理部5は、選択した符号方法を通知する(ステップST24)。
符号方法管理部5は、選択した符号化パラメータの設定信号を出力する。
符号化パラメータの設定信号は、図9に示すように、符号化実行部6に入力される。

0074

符号化パラメータの設定信号が入力されると、符号化実行部6は、入力されている最新の画像のフレームデータについての符号化処理を実行する(ステップST4−1,ST4−2)。

0075

図12は、図1の符号化実行部6の動作のフローチャートを示す図である。
符号化実行部6は、通常の撮像フレームレート(固定フレームレート)に相当する周期毎に、図12の符号化処理を実行する。

0076

通常の撮像フレームレート毎の符号化処理において、符号化実行部6は、まず、符号化方法の変更の要否を判断する(ステップST31)。
符号化実行部6は、たとえば符号化パラメータの設定信号の内容が変更されると、符号化方法の変更が必要であると判断し、それ以外では不要と判断する。

0077

符号化方法の変更が必要である場合、符号化実行部6は、図5の各部に、入力された設定信号に含まれる符号化パラメータを設定する(ステップST32)。
これにより、符号化実行部6は、モード信号に基づいて符号方法管理部5により選択した符号化モードでフレームデータ21を符号化可能な状態となる。
なお、符号化方法の変更が必要でない場合、符号化実行部6は、符号化パラメータを設定しない。符号化実行部6は、過去の符号化方法を継続する。

0078

符号化パラメータを更新した後、または符号化方法の変更が必要でない場合、符号化実行部6は、最新の画像のフレームデータ21についての符号化処理を実行する(ステップST33)。
符号化実行部6は、たとえば新たに設定された符号化パラメータの下で、最新の画像のフレームデータ21を符号化し、所定のデータ量に収まるように符号量を調整する。

0079

以上の処理により、図9に示すように、撮像部2から出力された各フレームデータ21は、符号化される。
符号化実行部6は、符号化した各フレームデータ21を出力する。
これにより、撮像部2により撮像された動画データは、符号化される。

0080

[通常の明るい画像の場合の符号化部3の動作]
そして、このような動画の撮像および符号化の動作において、符号化実行部6は、通常の明るい画像が撮像されている場合などには、符号方法管理部5により設定された規格に準拠した基本的な符号化パラメータの設定の下で、符号化処理を実行する。
符号化実行部6は、たとえば固定フレームレートのタイミング毎に符号化処理を実行する。
符号化実行部6は、各画像のフレームデータ21を、GOPおよび符号化するピクチャの種類の指定にしたがって量子化し、符号化する。
このように規格に準拠した基本的な符号化パラメータの設定の下で、撮影された明るい画像を符号化することにより、動画の各画像のデータ量を減らすことができる。
なお、撮影された明るい画像にも、暗闇の画像と同様に、符号化によるノイズ成分が含まれている。しかしながら、明るい画像では、元々の情報量が多いため、暗闇の画像を撮影した場合のように符号化によるノイズ成分が復号後の画像において目立たない。

0081

[暗闇の画像の場合の符号化部3の動作]
また、モード管理部4により暗闇の画像のフレームデータ21が入力されたと判断されると、符号方法管理部5は、符号化実行部6に対して、図8の暗闇モード用の符号化パラメータを設定する。
そして、符号方法管理部5により符号化フレームレートとして「非固定(可変)」が設定されると、符号化実行部6は、撮像部2から新たな画像のフレームデータ21が入力される度に、実際に符号化処理を実行する。
また、符号化モードの値として「TBL2」が設定されると、符号化実行部6は、メモリ102に記憶されている暗闇モード用の第2の量子化テーブルを使用して、量子化処理を実行する。
量子化量「q2」が設定されると、符号化実行部6は、設定された量子化量Qpにしたがって、量子化処理を実行する。
インターフレームの動きベクトルサーチについて「無(固定)」が設定されると、符号化実行部6は、固定化された動きベクトルを用いて符号化処理を実行する。
符号化反復として「有」が設定されると、符号化実行部6は、同一の画像のフレームデータ21に対する符号化処理を複数回実行する。
イントラ/インタ切り替えについて「有」が設定されると、符号化実行部6は、規格に準拠した基本的な設定においてインターフレームへの符号化が指定されている場合であっても、画像のフレームデータ21をイントラフレームとして符号化する。
ユーザデータについて「有」が設定されると、符号化実行部6は、符号化したフレームデータ21により構成される動画データに、暗闇の画像であることを示す情報を含むユーザデータを追加する。
設定の切替時のイントラ指定について「有」が設定されると、符号化実行部6は、規格に準拠した基本的な設定に関係なく、符号化パラメータの設定を更新した際の最初のフレームデータ21を、イントラフレームとして符号化する。

0082

[動画データの符号化の一例]
図13は、図1の撮像装置1により符号化される動画データの一例の説明図である。
図13(A)は、撮像部2が符号化部3へ出力する複数のフレームデータ21を示す図である。
図13(B)は、符号化部3により符号化された複数のフレームデータ21を示す図である。
図13において、時間は、左から右へ経過している。

0083

図13(A)に示すように、撮像部2は、タイミングT11までは、通常の一定の撮像フレームレートVで、複数のフレームデータ21を出力している。
そして、タイミングT11以降では、撮影環境が暗くなったため、撮像部2は、2倍の撮像フレームレートVで、複数のフレームデータ21を出力する。
また、タイミングT12以降では、さらに撮影環境が暗くなったため、撮像部2は、3倍の撮像フレームレートVで、複数のフレームデータ21を出力する。
これにより、撮像部2は、各画像の露光時間を確保し、暗い環境下でも明るい画像を撮像することができる。

0084

この場合、符号方法管理部5から符号化実行部6へ出力される符号化パラメータの設定信号の内容は、タイミングT11、T12において変更される。
たとえばタイミングT11以前では、固定フレームレートで符号化処理を実行するが、タイミングT11以降では、可変フレームレートで符号化処理を実行する。
このため、符号化実行部6は、図13(B)に示すように、撮像フレームレートに応じて実際にフレームデータ21を符号化する実行タイミングが切り替わる。
具体的には、タイミングT11前の符号化処理は、GOP長=3の下で、1Vの期間毎にフレームデータ21を符号化していたのに対して、タイミングT11以降では、2Vの期間毎にフレームデータ21を符号化するように切り替わる。
また、タイミングT12以降では、3Vの期間毎にフレームデータ21を符号化するように切り替わる。
このように符号化実行部6が新たなフレームデータ21が入力された場合にのみ実際の符号化処理を実行することにより、GOPが対応する期間が延びることになる。

0085

なお、符号化実行部6は、各GOP内の最初のフレームデータ21をIフレームとして符号化し、2番目のフレームデータ21をBフレームとして符号化し、3番目のフレームデータ21をPフレームとして符号化する。
符号化パラメータの設定が変更された最初のフレームは、Iフレームとして符号化される。

0086

以上のように、第1実施形態の符号化部3は、暗闇を撮像する際にフレームレートが変化したとしても、その変化に追従して撮像された複数のフレームデータ21を適切に符号化することができる。
また、第1実施形態では、暗闇の画像のフレームデータ21に、多くの撮影時の量子化ノイズが含まれていたとしても、量子化パラメータなどの符号化パラメータをそれに応じた適切なものへ変更し、符号量の増大を抑えることができる。暗闇の画像のフレームデータ21を、イントラフレームとして符号化した場合でも、イントラフレームとしての符号化した場合でも、符号量の増大を抑えることができる。
その結果、第1実施形態において、暗闇についての明瞭でない画像の画質は、通常の符号化パラメータのまま符号化した場合と比べて、高画質に維持される。
また、第1実施形態では、通常の画像と暗闇の画像とで符号化方式を切り替えているので、画像の特徴、情報量などが異なるこれらの画像を、各々に適した符号化方式により好適に符号化することができる。

0087

<2.第2実施形態>
[撮像装置1の構成]
図14は、本発明の第2実施形態に係る撮像装置1の概略ブロック図である。
図14の撮像装置1は、撮像部2と、撮像部2に接続された符号化部3とを有する。
符号化部3は、モード管理部4、符号方法管理部5、符号化実行部6を有する。
第2実施形態では、モード管理部4が、動画データについての撮像情報に基づいて、暗闇の画像であるか否かを判断する。
なお、第2実施形態の各部の符号には、発明内容を理解し易くするために、第1実施形態の対応する各部と同じ符号を用いる。

0088

撮像部2は、画像を連続的に撮像し、撮像した複数のフレームデータ21を含む動画データの信号を出力する。
また、撮像部2は、各画像のフレームデータ21についての撮像情報の信号を出力する。
撮像情報は、撮像制御部15により生成される。
撮像制御部15は、各フレームデータ21の平均輝度を演算したり、複数の画素値を積算したりする。
また、撮像制御部15は、たとえば平均輝度または積算値と所定の暗闇の判定閾値とを比較する。
そして、演算した値が判定閾値以下である場合、撮像制御部15は、対応するフレームデータ21の画像が暗闇のものであることを示す撮像情報を生成する。
また、演算した値が判定閾値より大きい場合、撮像制御部15は、対応するフレームデータ21の画像が通常の明るさのものであることを示す撮像情報を生成する。

0089

なお、撮像情報は、たとえば各フレームデータ21の画像の輝度、各フレームデータ21の画像を撮像した露光時間、および各フレームデータ21の画像についての直前の画像との撮像の時間間隔の少なくとも1個を示す情報であればよい。
暗闇の画像では、輝度が低くなるため、撮像部2における各画像の露光時間が長くなり、その結果としてフレーム間隔も長くなる。

0090

モード管理部4は、撮像部2に接続される。
そして、モード管理部4は、撮像部2から入力される撮像情報の信号に基づいて、入力される各フレームデータ21の撮像環境を判断し、モード信号を出力する。
たとえば撮像情報の値が暗闇のものである場合、モード管理部4は、フレームデータ21の撮像環境が暗いと判断する。

0091

符号方法管理部5は、撮像部2、モード管理部4に接続される。
符号方法管理部5は、符号化部3の動作モード毎の複数組の符号化パラメータを有する。
そして、符号方法管理部5は、入力されたモード信号などに基づいて、1組の符号化パラメータを選択する。
符号方法管理部5は、選択した符号化パラメータの設定信号を出力する。

0092

符号化実行部6は、撮像部2、符号方法管理部5に接続される。
そして、符号化実行部6は、入力された設定信号に基づいて、符号化方式を切り替える。
符号化実行部6は、切り替えた符号化方式で、撮像部2から入力される動画データを符号化する。

0093

以上の動作により、図14の撮像装置1は、撮像データとは別の撮像情報に基づいて暗闇の画像であるか否かを判断し、暗闇の画像である場合には符号化パラメータなどを暗闇画像用のものに切り替えてフレームデータ21を符号化する。
符号化された動画データは、符号化実行部6から出力される。

0094

[撮像装置1の動作]
図15は、図14の撮像装置1の全体の動作のシーケンスチャートを示す図である。
撮像装置1において、撮像部2は、撮像処理を開始する(ステップST21)。
撮像部2は、撮像した画像のフレームデータ21を符号化部3へ繰り返し出力する。
また、撮像部2は、生成した各フレームデータ21についての撮像情報を生成して符号化部3へ繰り返し出力する。

0095

符号化部3のモード管理部4は、撮像部2から新たなフレームデータ21についての撮像情報が入力されると、符号化モードを判定する(ステップST22)。
モード管理部4は、判定したモードの値を有するモード信号を符号方法管理部5へ出力する。

0096

モード信号が入力されると、符号方法管理部5は、モード管理部4により判定された符号化モードに対応する符号方法を選択する(ステップST23)。
符号方法管理部5は、選択した符号方法のパラメータの設定信号を符号化実行部6へ出力する。
符号方法のパラメータの設定信号が入力されると、符号化実行部6は、入力された設定信号に含まれる符号化パラメータを設定する。

0097

その後、符号化実行部6は、新たに入力された最新の画像のフレームデータ21についての符号化処理を実行する(ステップST24)。
符号化実行部6は、たとえば新たに設定された符号化パラメータの下で、最新の画像のフレームデータ21を符号化し、所定のデータ量に収まるように符号量を調整する。
符号化実行部6は、符号化した各フレームデータ21を出力する。
これにより、撮像部2により撮像された動画データは、符号化される。

0098

以上のように、第2実施形態では、モード管理部4は、撮像部2から通知された撮像環境を示す撮像情報に基づいて、撮像環境が暗いか否かを判断する。
よって、モード管理部4は、フレームデータ21に基づいて自ら判断することなく、符号化モードを判定することができる。
モード管理部4の判定時間を短縮することができる。その分、符号化実行部6の符号化処理に時間をかけることができる。

0099

<3.第3実施形態>
[撮像装置1の構成]
図16は、本発明の第3実施形態に係る撮像装置1の概略ブロック図である。
図16の撮像装置1は、撮像部2と、撮像部2に接続された符号化部3とを有する。
符号化部3は、モード管理部4、符号方法管理部5、符号化実行部6を有する。
第3実施形態では、モード管理部4は、仮に符号化したフレームデータ21の増減に基づいて、暗闇の画像であるか否かを判断する。
なお、第3実施形態の各部の符号には、発明内容を理解し易くするために、第1実施形態の対応する各部と同じ符号を用いる。

0100

撮像部2は、画像を連続的に撮像し、撮像した複数のフレームデータ21を含む動画データの信号を出力する。

0101

モード管理部4は、符号化実行部6に接続される。
そして、モード管理部4は、符号化実行部6により符号化されたフレームデータ21に基づいて、入力されている各フレームデータ21の撮像環境を判断し、モード信号を出力する。
たとえば一定の符号化パラメータの下で符号化した場合、一般的に、暗闇の画像のフレームデータ21の符号量(ビット量)は、通常の画像のフレームデータ21の符号量(ビット量)より多くなる傾向にある。
このため、モード管理部4は、所定の符号化パラメータの下で符号化されたフレームデータ21の符号量が所定の符号量の閾値以上であるか否かを判断する。
そして、符号化されたフレームデータ21の符号量が所定の閾値以上である場合、モード管理部4は、フレームデータ21の撮像環境が暗いと判断する。
また、符号化されたフレームデータ21の符号量が所定の閾値未満である場合、モード管理部4は、フレームデータ21の撮像環境が通常の明るさであると判断する。

0102

符号方法管理部5は、撮像部2、モード管理部4に接続される。
符号方法管理部5は、符号化部3の動作モード毎の複数組の符号化パラメータを有する。
そして、符号方法管理部5は、入力されたモード信号などに基づいて、1組の符号化パラメータを選択する。
符号方法管理部5は、選択した符号化パラメータの設定信号を出力する。

0103

符号化実行部6は、撮像部2、符号方法管理部5に接続される。
そして、符号化実行部6は、入力された設定信号に基づいて、符号化方式を切り替える。
符号化実行部6は、切り替えた符号化方式で、撮像部2から入力される動画データを符号化する。

0104

以上の動作により、図16の撮像装置1は、符号化したフレームデータ21のデータ量の増減に基づいて暗闇の画像であるか否かを判断し、暗闇の画像である場合には符号化パラメータなどを暗闇画像用のものに切り替えてフレームデータ21を符号化する。
符号化された動画データは、符号化実行部6から出力される。

0105

[撮像装置1の動作]
図17は、図16の撮像装置1の概略ブロック図である。
撮像装置1において、撮像部2は、撮像処理を開始する(ステップST31)。
撮像部2は、撮像した画像のフレームデータ21を符号化部3へ繰り返し出力する。
また、撮像部2は、生成した各フレームデータ21についての撮像情報を生成して符号化部3へ繰り返し出力する。

0106

撮像部2から新たな最新の画像のフレームデータ21が入力されると、モード管理部4は、仮符号化指示の信号を符号化実行部6へ出力する(ステップST31)。
符号化実行部6は、所定の符号化パラメータでの符号化処理を実行する。
符号化実行部6は、符号化したフレームデータ21またはその符号量を示す信号を、モード管理部4へ出力する。

0107

符号化部3のモード管理部4は、符号化実行部6に接続される。
モード管理部4は、符号化されたフレームデータ21の符号量に基づいて、符号化モードを判定する(ステップST33)。
モード管理部4は、判定したモードの値を有するモード信号を符号方法管理部5へ出力する。

0108

モード信号が入力されると、符号方法管理部5は、モード管理部4により判定された符号化モードに対応する符号方法を選択する(ステップST34)。
符号方法管理部5は、選択した符号方法のパラメータの設定信号を符号化実行部6へ出力する。
符号方法のパラメータの設定信号が入力されると、符号化実行部6は、入力された設定信号に含まれる符号化パラメータを設定する。

0109

その後、符号化実行部6は、更新された符号化パラメータの下で、先に符号化処理したフレームデータ21についての符号化処理を実行する(ステップST35)。
符号化実行部6は、たとえば新たに設定された符号化パラメータの下で、最新の画像のフレームデータ21を符号化し、所定のデータ量に収まるように符号量を調整する。
符号化実行部6は、符号化した各フレームデータ21を出力する。
なお、符号化実行部6は、この本来の符号化処理において、最適な符号量または最適な画質が得られるまで、符号化処理を複数回繰り返す。
これにより、撮像部2により撮像された動画データは、符号化される。

0110

以上のように、第3実施形態では、モード管理部4は、符号化実行部6により仮に符号化されたフレームデータ21の符号量に基づいて、撮像環境が暗いか否かを判断する。
ここで、撮像部2は、暗闇の画像を撮像する場合、通常より低いフレームレートで撮像したフレームデータ21出力している。
よって、符号化部3は、符号化実行部6が同一のフレームデータ21について複数回の符号化処理を繰り返したとしても、次のフレームデータ21が入力する前に各フレームデータ21の符号化処理を完了することができる。
符号化部3は、撮像部2により撮像されたすべてのフレームデータ21を符号化することが可能である。
すなわち、第3実施形態では、撮像情報が得られない場合であっても、モード管理部4にて、撮像データの符号化を事前に仮実施し、符号化されたフレームデータ21の発生ビット量(符号量)の増減から暗闇撮像か否かを判断する。これにより、暗闇撮像のフレームデータ21を適切に符号化することができる。

0111

<4.第4実施形態>
[監視システム51の構成および動作]
図18は、本発明の第4実施形態に係る監視システム51の概略ブロック図である。
図18の監視システム51は、第1実施形態と同様の方式により暗闇のフレームデータ21を符号化して伝送する。
図18の監視システム51は、第1撮像装置52、第2撮像装置53、監視装置54、およびこれらが接続されたネットワーク55を有する。

0112

第1撮像装置52は、撮像部2、符号化部3、第1記憶部61、ネットワーク55に接続された第1通信部62を有する。
なお、第2撮像装置53の構成は、第1撮像装置52と同様であり、説明を省略する。

0113

撮像部2は、画像を連続的に撮像し、撮像した複数のフレームデータ21を含む動画データの信号を出力する。

0114

符号化部3は、符号化実行部6、符号方法管理部5、モード管理部4を有する。
モード管理部4は、撮像フレームレートに基づいて、符号化モードを判断する。
符号方法管理部5は、モード管理部4により判断された符号化モードに対応する符号化パラメータを符号化実行部6に設定する。
符号化実行部6は、設定された符号化パラメータの下で、撮像部2により撮像された各フレームデータ21を符号化する。

0115

第1記憶部61は、符号化部3に接続される。
第1記憶部61は、符号化部3により符号化されたフレームデータ21を蓄積記憶する。
これにより、第1記憶部61には、複数の符号化されたフレームデータ21による動画データが記憶される。

0116

第1通信部62は、符号化部3、第1記憶部61に接続される。
第1通信部62は、符号化部3により符号化されたフレームデータ21をネットワーク55へ出力する。
これにより、リアルタイムの画像のフレームデータ21は、第1撮像装置52から監視装置54へ送信される。
また、第1通信部62は、第1記憶部61に蓄積保存されている符号化されたフレームデータ21をネットワーク55へ出力する。
これにより、過去の画像のフレームデータ21が、第1撮像装置52から監視装置54へ送信される。

0117

監視装置54は、ネットワーク55に接続された第2通信部71、第2記憶部72、復号部73、モニタ74を有する。

0118

第2通信部71は、ネットワーク55から、第1撮像装置52または第2撮像装置53から送信された符号化されたフレームデータ21を受信する。
第2記憶部72は、第2通信部71に接続される。
第2記憶部72は、第2通信部71により受信された符号化されたフレームデータ21を記憶する。
これにより、第2記憶部72には、第1撮像装置52または第2撮像装置53により撮像された動画のフレームデータ21が蓄積保存される。

0119

復号部73は、第2通信部71および第2記憶部72に接続される。
復号部73は、第2通信部71により受信された符号化されたフレームデータ21を復号する。
また、復号部73は、第2記憶部72に蓄積された符号化されたフレームデータ21を復号する。

0120

モニタ74は、復号部73に接続される。
モニタ74は、復号部73により復号されたフレームデータ21に基づいて画像を表示する。
これにより、モニタ74には、第1撮像装置52により撮像された監視映像または第2撮像装置53により撮像された監視映像が、リアルタイムまたは時間をさかのぼって表示される。

0121

以上のように、第4実施形態では、監視装置54のモニタ74に、第1撮像装置52または第2撮像装置53により撮像した監視映像を表示することができる。
しかも、第1撮像装置52および第2撮像装置53の符号化部3は、第1実施形態の撮像装置1と同様に、暗闇の画像を、それに対応した好適な符号化パラメータに基づいてフレームデータ21を符号化する。
よって、監視装置54のモニタ74には、通常の符号化パラメータに基づいて符号化されたフレームデータ21と比べて、高画質の画像が表示される。

0122

以上の各実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
また、上述した各実施形態は、適宜組み合わせたり、入れ替えたりすることができる。

0123

たとえば上記第2実施形態では、撮像部2は、複数のフレームデータ21で構成される動画データとは別に、撮像情報の信号を符号化部3へ送信している。
この他にも例えば、撮像部2は、動画データに撮像情報を埋め込んで、符号化部3へ送信してもよい。
この場合、モード管理部4は、動画データに埋め込まれた撮像情報に基づいて、各フレームデータ21の撮像環境が暗いか否かを判断すればよい。

0124

上記実施形態では、暗闇の画像を符号化する場合、動きベクトルを固定化している。
この他にもたとえば、暗闇モードにおいても、動きベクトルサーチを実行するようにしてもよい。

0125

この場合、第3実施形態のモード管理部4は、符号量にかえて、フレームデータ21がインターフレームとして符号化されたときの動きベクトルに基づいて、暗闇の画像であるか否かを判断してもよい。
暗闇の画像では、通常画像と比べて、動きベクトルの方向または大きさがばらつきやすい傾向にある。
このため、動きベクトルの方向または大きさが所定値以上の分布ばらつく場合、モード管理部4は、暗闇の画像であると判断することができる。
これにより、たとえば符号化されたフレームデータ31がインターフレーム(別フレームを参照して符号化されるフレーム)の場合には、動きベクトルのバラツキにより暗闇撮像か否かを判断することができる。暗闇画像では、通常の明るさの画像に比べて、画像ノイズにより動きベクトルがバラツキやすい傾向にある。

0126

また、暗闇モードでは、撮像フレームレートが通常より低くなっている。フレーム間隔が開いている。
このため、動きベクトルサーチの方向を通常の一方向から全方向に切り替えてもよい。このように暗闇画像ではフレーム間隔が通常より開いている。このため、モード管理部4が、暗闇撮像の符号化処理において、インターフレームの動きベクトルサーチを全方向サーチに切り替える方式を採用したとしても、所望の各フレームをフレームレートの期間において符号化処理を終えることができる。
また、動きベクトルを参照する範囲を通常のGOP内から、既に符号化済みのすべてのフレームデータ21の範囲に切り替えてもよい。このように暗闇画像ではフレーム間隔が通常より開いている。このため、モード管理部4が、暗闇撮像についての参照ブロック選定を、保存している参照フレーム中の全ブロックから選定可能に切り替える方式を採用したとしても、所望の各フレームをフレームレートの期間において符号化処理を終えることができる。

0127

上記実施形態では、符号方法管理部5は、規格に準拠したGOPなどの基本的なパラメータを設定するとともに、画像が暗い場合には図8のすべてのパラメータを変更している。
この他にも例えば、符号方法管理部5は、画像が暗い場合に、図8のパラメータのうちの少なくとも1つのパラメータを変更してもよい。

0128

上記実施形態では、符号化部3は、暗闇の画像のフレームデータ21を符号化する場合と、通常の明るさの画像のフレームデータ21を符号化する場合とで、符号化方式を切り替えている。
この他にも例えば、符号化部3は、暗闇の画像のフレームデータ21を符号化する場合を含む3種類以上の場合分けにより、符号化方式を切り替えてもよい。

0129

上記第1実施形態から第3実施形態は、撮像装置1の例である。
撮像装置1には、たとえばビデオカメラDSC(Digital Still Camera)、放送局カメラ監視カメラウェブカメラなどがある。
なお、これらの実施形態の符号化部3および撮像部2は、撮像装置1の他に、携帯電話機ゲーム機器携帯電子ブックナビゲーション装置、コンピュータ装置、再生装置などの電子機器に用いることができる。
また、符号化部3と、撮像部2とは、別々の電子機器に用いられていてもよい。この場合において、撮像部2から符号化部3への動画データなどの伝送には、ケーブルを用いた有線通信無線通信を利用できる。

0130

上記第4実施形態は、第1実施形態の撮像装置1を監視システム51に使用した例である。
この他にも例えば、第2実施形態の撮像装置1または第3実施形態の撮像装置1を、第4実施形態の監視システム51に使用してもよい。
監視システム51において、撮像装置1と監視装置54とは、無線通信により動画データを送受してもよい。
これらの撮像装置1および監視装置54は、監視システム51の他にも、放送システム、ホームネットワークシステムなどの撮像システムにも適用可能である。

0131

1…撮像装置(電子機器)、2…撮像部、3…符号化部(符号化装置)、4…モード判定部(判断部)、5…符号方法管理部(設定部)、6…符号化実行部、51…監視システム(撮像システム)、52…第1撮像装置(撮像装置)、53…第2撮像装置(撮像装置)、54…監視装置(表示装置)、62…第1通信部、71…第2通信部、73…復号部、74…モニタ、TBL1…第1量子化テーブル、TBL2…第2量子化テーブル、q1…第1量子化量、q2…第2量子化量

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ