図面 (/)

技術 画像通信装置、画像送信装置および画像受信装置

出願人 ルネサスエレクトロニクス株式会社
発明者 柴山哲也望月誠二松原勝重岩田憲一
出願日 2014年8月25日 (5年1ヶ月経過) 出願番号 2014-170404
公開日 2016年4月4日 (3年5ヶ月経過) 公開番号 2016-046707
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 画像認識領域 画像認識率 通過段数 画像認識精度 認識用画像 画像認識アルゴリズム マーカー画像 エンコーダ制御
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年4月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

映像信号符号化処理を施して伝送し、それを復号した画像に対して画像認識処理を施す画像通信において、伝送される映像信号がリアルタイムに変化する場合にも高い画像認識率を維持する。

解決手段

入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリーム送出する符号化部と、受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、復号画像に画像認識処理を施す画像認識部とを備え、符号化部は、画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、符号化モードを調整する。

概要

背景

カメラ撮影されるなどされた原画像画像情報を、表示するために伝送するシステムでは、原画像を一旦符号化・圧縮して伝送した後に、復号して得られた画像(復号画像)を表示する。画像情報は一般に膨大であるので、ネットワークなどである伝送路における伝送帯域幅を抑えるためである。このような画像伝送システムにおいて、表示に代えて或いは表示に加えて、画像認識を行う事が求められる場合がある。例えば、監視カメラにおいて不審者を発見し、また、車載カメラにおいて、車間距離を求め、道路標識を認識し、或いは、歩行者や他の車両、その他障害物との衝突を回避するために、画像認識を行うことが求められる。

特許文献1には、画像符号化前段特徴量抽出部を備え、特徴量算出部で画像の平坦度アクティビティ)を算出し、画像符号化処理に含まれるデブロッキングフィルタに関するパラメータを決定することによって画質を改善する、画像符号化装置が開示されている。

特許文献2には、車両の運転支援のために、映像送信装置映像を符号化して送信し、映像受信装置復号後の映像を用いて画像認識を行う車載カメラシステムにおいて、高い認識率を実現する方法が開示されている。映像受信装置は、車両の走行状態運転支援アプリケーション車線逸脱警報衝突防止後方動画像表示など)に応じて、動画像フォーマットの画像サイズ、色フォーマットフレームレートビット深度などの符号化制御情報を映像送信装置のエンコーダ制御部に送信し、送信側が符号化制御情報に基づいて符号化モードを変更し、動画像ストリームを生成する。例えば、映像信号外部表示装置に出力するときはデブロッキングフィルタ機能をオンとし、画像認識処理に使用するときはデブロッキングフィルタをオフにすることにより、画像認識処理においてエッジ情報が鈍って認識率が低下するのを防止する(同文献の第0048段落)とされる。また、画像認識処理の前処理として粗探索を行って注目領域を決定し、その情報を符号化器側に伝送して符号化器側の符号化処理において当該注目領域の量子化ステップ幅を小さく制御することにより、認識率をさらに高めることができる(同文献の第0044段落)とされる。

概要

映像信号に符号化処理を施して伝送し、それを復号した画像に対して画像認識処理を施す画像通信において、伝送される映像信号がリアルタイムに変化する場合にも高い画像認識率を維持する。入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリーム送出する符号化部と、受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、復号画像に画像認識処理を施す画像認識部とを備え、符号化部は、画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、符号化モードを調整する。

目的

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる、画像送信装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリーム送出する符号化部と、受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、前記復号画像に画像認識処理を施す画像認識部とを備え、前記符号化部は、前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記符号化モードを調整する、画像通信装置

請求項2

請求項1において、前記画像通信装置は、画像送信装置画像受信装置とを含み、前記画像受信装置は、前記復号部と、前記画像認識部と、前記画像認識部が生成する前記認識精度情報を含む制御情報を送出するパラメータ送信部とを備え、前記画像送信装置は、前記符号化部と、前記制御情報を受信して前記制御情報に含まれる前記認識精度情報を前記符号化部に供給する受信部とを備える、画像通信装置。

請求項3

請求項1において、前記画像通信装置は、画像送信装置と画像受信装置とを含み、前記画像受信装置は、前記復号部と、前記画像認識部と、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを含む制御情報を送出するパラメータ送信部とを備え、前記画像送信装置は、前記符号化部と、前記制御情報を受信して前記制御情報に含まれる前記符号化モードを前記符号化部に供給する受信部とを備える、画像通信装置。

請求項4

請求項3において、前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部をさらに備え、前記制御情報は、前記撮像信号処理部が前記映像信号を生成するために実行する信号処理のパラメータを含み、前記受信部が受信した前記制御情報に含まれる前記パラメータは、前記撮像信号処理部に供給される、画像通信装置。

請求項5

請求項1において、前記画像通信装置は、画像送信装置と画像受信装置とを含み、前記画像認識部を受信側画像認識部とし、前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部と、送信側画像認識部と、前記符号化部とを備え、前記画像受信装置は、前記復号部と、前記受信側画像認識部とを備え、前記送信側画像認識部は、前記撮像処理部で処理される前記映像信号に対して画像認識処理を行ない、前記送信側画像認識部における認識結果の確からしさを、前記受信側画像認識部における認識結果の確からしさを示す認識精度情報として、前記符号化部に供給し、前記符号化部は、前記認識精度情報に基づいて、前記符号化モードを調整する、画像通信装置。

請求項6

請求項2において、前記画像送信装置は、前記映像信号として、予め与えられた評価用画像を含むことができるように構成され、前記符号化部は、前記評価用画像を含む映像信号に対して符号化処理を施し、前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して認識精度情報を求め、前記画像送信装置または前記画像受信装置は、求められた前記認識精度情報を期待される認識精度情報と等しくなるように、前記符号化モードを調整する、画像通信装置。

請求項7

入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリームを送出する符号化部と、前記符号化ストリームを画像受信装置に送出する送信部とを備え、前記画像受信装置は、受信した符号化ストリームに復号処理を施して生成した復号画像に画像認識処理を施す画像認識部を備え、前記符号化部は、前記画像受信装置の前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記符号化モードを調整する、画像送信装置。

請求項8

請求項7において、前記画像受信装置は、前記画像認識部が生成する前記認識精度情報を含む制御情報を送出可能に構成され、前記画像送信装置は、前記制御情報を受信して前記制御情報に含まれる前記認識精度情報を前記符号化部に供給する受信部をさらに備え、前記符号化部は、前記受信部から供給される前記認識精度情報に基づいて符号化モードを調整し、調整された符号化モードに基づいて前記符号化処理を実行する、画像送信装置。

請求項9

請求項7において、前記画像受信装置は、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを含む制御情報を送出可能に構成され、前記制御情報を受信して前記制御情報に含まれる前記符号化モードを前記符号化部に供給する受信部をさらに備え、前記符号化部は、前記受信部から供給される符号化モードに基づいて前記符号化処理を実行する、画像送信装置。

請求項10

請求項9において、入力される撮像信号から前記映像信号を生成する撮像信号処理部をさらに備え、前記制御情報は、前記撮像信号処理部が前記映像信号を生成するために実行する信号処理のパラメータを含み、前記受信部が受信した前記受信部が受信した前記制御情報に含まれる前記パラメータは、前記撮像信号処理部に供給される、画像送信装置。

請求項11

請求項7において、前記画像認識部を受信側画像認識部とし、前記画像受信装置は、前記復号部と、前記受信側画像認識部とを備え、前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部と、送信側画像認識部と、前記符号化部とを備え、前記送信側画像認識部は、前記撮像処理部で処理される前記映像信号に対して画像認識処理を行ない、前記送信側画像認識部における認識結果の確からしさを、前記受信側画像認識部における認識結果の確からしさを示す認識精度情報として、前記符号化部に供給し、前記符号化部は、前記認識精度情報に基づいて、前記符号化モードを調整する、画像送信装置。

請求項12

請求項8において、前記画像送信装置は、前記映像信号として、予め与えられた評価用画像を含むことができるように構成され、前記符号化部は、前記評価用画像を含む映像信号に対して符号化処理を施し、前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して認識精度情報を求め、前記画像送信装置または前記画像受信装置は、求められた前記認識精度情報を期待される認識精度情報と等しくなるように、前記符号化モードを調整する、画像送信装置。

請求項13

請求項12において、前記映像信号と前記評価用画像のうちどちらを前記符号化部に供給するかを選択するセレクタをさらに備える、画像送信装置。

請求項14

請求項12において、前記映像信号に前記評価用画像を挿入可能な認識用マーカー挿入部をさらに備える、画像送信装置。

請求項15

画像送信装置から送出される符号化ストリームを受信する受信部と、前記受信部で受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、前記復号画像に画像認識処理を施す画像認識部と、パラメータ送信部とを備え、前記符号化ストリームは、前記画像送信装置において映像信号に対して符号化モードを使用した符号化処理によって生成され、前記パラメータ送信部は、前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記画像送信装置における前記符号化モードを調整するための制御情報を送出する、画像受信装置。

請求項16

請求項15において、前記パラメータ送信部は、前記認識精度情報を、前記画像送信装置における前記符号化モードを調整するための前記制御情報として送出し、前記画像送信装置は、受信した前記認識精度情報に基づいて前記符号化モードを調整する、画像受信装置。

請求項17

請求項15において、前記パラメータ送信部は、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを、前記制御情報として送出し、前記画像送信装置は、前記制御情報として受信した前記符号化モードを使用して前記符号化処理を実行する、画像受信装置。

請求項18

請求項15において、前記パラメータ送信部が送出する前記制御情報は、前記復号部における前記復号処理によって得られる復号情報または前記復号情報に基づいて生成された情報を含む、画像受信装置。

技術分野

0001

本発明は、画像通信装置画像送信装置および画像受信装置に関し、特に画像認識を伴う画像符号化送受信装置に好適に利用できるものである。

背景技術

0002

カメラ撮影されるなどされた原画像画像情報を、表示するために伝送するシステムでは、原画像を一旦符号化・圧縮して伝送した後に、復号して得られた画像(復号画像)を表示する。画像情報は一般に膨大であるので、ネットワークなどである伝送路における伝送帯域幅を抑えるためである。このような画像伝送システムにおいて、表示に代えて或いは表示に加えて、画像認識を行う事が求められる場合がある。例えば、監視カメラにおいて不審者を発見し、また、車載カメラにおいて、車間距離を求め、道路標識を認識し、或いは、歩行者や他の車両、その他障害物との衝突を回避するために、画像認識を行うことが求められる。

0003

特許文献1には、画像符号化の前段特徴量抽出部を備え、特徴量算出部で画像の平坦度アクティビティ)を算出し、画像符号化処理に含まれるデブロッキングフィルタに関するパラメータを決定することによって画質を改善する、画像符号化装置が開示されている。

0004

特許文献2には、車両の運転支援のために、映像送信装置映像を符号化して送信し、映像受信装置復号後の映像を用いて画像認識を行う車載カメラシステムにおいて、高い認識率を実現する方法が開示されている。映像受信装置は、車両の走行状態運転支援アプリケーション車線逸脱警報衝突防止後方動画像表示など)に応じて、動画像フォーマットの画像サイズ、色フォーマットフレームレートビット深度などの符号化制御情報を映像送信装置のエンコーダ制御部に送信し、送信側が符号化制御情報に基づいて符号化モードを変更し、動画像ストリームを生成する。例えば、映像信号外部表示装置に出力するときはデブロッキングフィルタ機能をオンとし、画像認識処理に使用するときはデブロッキングフィルタをオフにすることにより、画像認識処理においてエッジ情報が鈍って認識率が低下するのを防止する(同文献の第0048段落)とされる。また、画像認識処理の前処理として粗探索を行って注目領域を決定し、その情報を符号化器側に伝送して符号化器側の符号化処理において当該注目領域の量子化ステップ幅を小さく制御することにより、認識率をさらに高めることができる(同文献の第0044段落)とされる。

先行技術

0005

特開2008−22404号公報
特開2013−239995号公報

発明が解決しようとする課題

0006

特許文献1及び2について本発明者が検討した結果、以下のような新たな課題があることがわかった。

0007

一般的な画像符号化方式は、人間の見た目ノイズが少ないと感じるよう画像を生成する符号化方法や、発生するビット量が最小になるように符号化モードを決定する符号化方法となっており、その復号画像を対象として画像認識をしようとした場合に、必ずしも画像認識処理に適するとは限らない。そのため、一般的な画像符号化方式によって圧縮伸長された復号画像では、認識率を十分に向上することができないことが分かった。

0008

特許文献1に記載される画像符号化方式は、復号された画像の人間が見たときの画質を改善するのに適するように、デブロッキングフィルタのパラメータを決定する符号化方式であって、画像認識の認識率を向上するためには、必ずしも同じパラメータ値が適するとは言えない。

0009

特許文献2に記載される車載カメラシステムでは、画像認識を行う映像受信装置が、車両の走行状態と運転支援アプリケーション(車線逸脱警報、衝突防止、後方動画像表示など)に応じて、符号化制御情報を映像送信装置のエンコーダ制御部に送信するので、車両の走行状態と運転支援アプリケーション毎に、それに適する符号化制御情報が明確に規定されている必要がある。例えば、画像認識の注目領域が車両の走行状態と運転支援アプリケーション毎に規定されている必要があるが、これを予め規定することができない場合には、上述のように、粗探索が画像認識処理の前処理として追加される必要がある(同文献の第0044段落)。

0010

しかしながら、画像認識の認識率を向上するための符号化モードの最適値は、車両の走行状態と運転支援アプリケーションによって一義的に規定することができるとは限らず、一般には、上記注目領域のように、画像認識処理が実行されるその時々の状況に応じてリアルタイムで変化する。

0011

そのため、特許文献2に記載される車載カメラシステムでは、車両の走行状態と運転支援アプリケーションに応じて規定される符号化制御情報が、画像認識処理にとって常に最適な符号化制御情報になっているとは限らず、認識率が低下する場合があるという問題があることがわかった。

0012

映像信号に符号化処理を施して伝送し、それを復号した画像に対して画像認識処理を施す画像通信においては、伝送される映像信号がリアルタイムに変化する場合にも、画像認識率を低下させることなく、その変化に応じて画像認識処理に適する符号化モードの値を、当該符号化処理に供給する必要があることがわった。

0013

このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

課題を解決するための手段

0014

一実施の形態によれば、下記の通りである。

0015

すなわち、入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリーム送出する符号化部と、受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、復号画像に画像認識処理を施す画像認識部とを備え、符号化部は、画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、符号化モードを調整する。

発明の効果

0016

前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。

0017

すなわち、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる。

図面の簡単な説明

0018

図1は、実施形態1に係る画像通信装置の構成例を示すブロック図である。
図2は、符号化部の構成例を示すブロック図である。
図3は、実施形態2に係る画像通信装置の構成例を示すブロック図である。
図4は、実施形態3に係る画像通信装置の構成例を示すブロック図である。
図5は、実施形態4に係る画像通信装置の構成例を示すブロック図である。
図6は、実施形態5に係る符号化部の構成例を示すブロック図である。

実施例

0019

1.実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

0020

〔1〕<画像認識精度情報に基づく符号化モードの最適化>
本願において開示される代表的な実施の形態に係る画像通信装置(100)は、入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリームを生成する符号化部(12)と、受信した符号化ストリームに復号処理を施して復号画像を出力する復号部(22)と、前記復号画像に画像認識処理を施す画像認識部(25)とを備える。前記符号化部は、前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記符号化モードを調整する。

0021

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる。

0022

〔2〕<受信ユニットのパラメータ送信部から認識精度情報を送出>
項1において、前記画像通信装置は、画像送信装置(送信ユニット)(10)と画像受信装置(受信ユニット)(20)とを含む。

0023

前記画像受信装置は、前記復号部と、前記画像認識部と、前記画像認識部が生成する前記認識精度情報を含む制御情報を送出するパラメータ送信部(26)とを備える。

0024

前記画像送信装置は、前記符号化部と、前記制御情報を受信して前記制御情報に含まれる前記認識精度情報を前記符号化部に供給する受信部(14)とを備える。

0025

これにより、画像受信装置(受信ユニット)側は、画像認識部における認識結果の確からしさを示す認識精度情報をそのまま送出するので、処理負担は軽い。画像送信装置(送信ユニット)側は、受信した認識精度情報に加えて自身の持つパラメータも参照して、適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

0026

〔3〕<受信ユニットのパラメータ送信部から符号化モードを送出>
項1において、前記画像通信装置は、画像送信装置(10)と画像受信装置(20)とを含む。

0027

前記画像受信装置は、前記復号部と、前記画像認識部と、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを含む制御情報を送出するパラメータ送信部(26)とを備える。

0028

前記画像送信装置は、前記符号化部と、前記制御情報を受信して前記制御情報に含まれる前記符号化モードを前記符号化部に供給する受信部(14)とを備える。

0029

これにより、画像受信装置(受信ユニット)側で、最適な符号化モードを算出或いは選択して、画像送信装置(送信ユニット)側に送るため、画像送信装置(送信ユニット)を簡略化することができる。

0030

〔4〕<受信した制御情報を撮像信号処理部で使用>
項3において、前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部(11)をさらに備える。

0031

前記符号化モードは、前記撮像信号処理部が前記映像信号を生成するために実行する信号処理のパラメータを含み、前記受信部が受信した前記制御情報に含まれる前記パラメータは、前記撮像信号処理部に供給される。

0032

これにより、符号化部に入力される映像信号が、符号化処理の前に適正化され、画像受信装置(受信ユニット)側での画像認識処理の認識率を、より高く保つことができる。

0033

〔5〕<送信ユニットに内蔵される画像認識部で認識精度情報を抽出>
項1において、前記画像通信装置は、画像送信装置(10)と画像受信装置(20)とを含む。また、前記画像認識部を受信側画像認識部(25)とし、前記画像受信装置は、前記復号部と、前記受信側画像認識部とを備える。

0034

前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部(11)と、送信側画像認識部(15)と、前記符号化部とを備える。

0035

前記送信側画像認識部は、前記撮像処理部で処理される前記映像信号に対して画像認識処理を行ない、前記送信側画像認識部における認識結果の確からしさを、前記受信側画像認識部における認識結果の確からしさを示す認識精度情報として、前記符号化部に供給する。前記符号化部は、前記認識精度情報に基づいて、前記符号化モードを調整する。

0036

これにより、画像受信装置(受信ユニット)側の受信側画像認識部における認識結果の確からしさを示す認識精度情報を、画像送信装置(送信ユニット)で推定して利用することができるため、より早く適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

0037

〔6〕<認識用画像/認識用マーカー
項2又は項3において、前記画像送信装置は、前記映像信号として、予め与えられた評価用画像を含むことができるように構成される(34、35)。

0038

前記符号化部は、前記評価用画像を含む映像信号に対して符号化処理を施す。前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して認識精度情報を求め、前記画像送信装置または前記画像受信装置は、求められた前記認識精度情報を期待される認識精度情報と等しくなるように、前記符号化モードを調整する。

0039

これにより、符号化モードの最適値を正確に求めることができる。

0040

〔7〕<画像送信装置>
本願において開示される代表的な実施の形態に係る画像送信装置(10)は、入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリームを送出する符号化部(12)と、前記符号化ストリームを画像受信装置に送出する送信部(13)とを備える。

0041

前記画像受信装置は、受信した符号化ストリームに復号処理を施して生成した復号画像に画像認識処理を施す画像認識部(25)を備える。

0042

前記符号化部は、前記画像受信装置の前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記符号化モードを調整する。

0043

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる、画像送信装置を提供することができる。

0044

〔8〕<受信ユニットのパラメータ送信部から認識精度情報を受信>
項7において、前記画像受信装置は、前記画像認識部が生成する前記認識精度情報を含む制御情報を送出可能に構成される(26)。

0045

前記画像送信装置は、前記制御情報を受信して前記制御情報に含まれる前記認識精度情報を前記符号化部に供給する受信部(14)をさらに備え、前記符号化部は、前記受信部から供給される前記認識精度情報に基づいて符号化モードを調整し、調整された符号化モードに基づいて前記符号化処理を実行する。

0046

これにより、画像受信装置(受信ユニット)側の処理負担は軽く、画像送信装置(送信ユニット)側は、受信した認識精度情報に加えて自身の持つパラメータも参照して、適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

0047

〔9〕<受信ユニットのパラメータ送信部から符号化モードを受信>
項7において、前記画像受信装置は、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを含む制御情報を送出可能に構成される(26)。

0048

前記画像送信装置は、前記制御情報を受信して前記制御情報に含まれる前記符号化モードを前記符号化部に供給する受信部(14)をさらに備え、前記符号化部は、前記受信部から供給される符号化モードに基づいて前記符号化処理を実行する。

0049

これにより、画像受信装置(受信ユニット)側で、最適な符号化モードを算出或いは選択して、画像送信装置(送信ユニット)側に送るため、画像送信装置(送信ユニット)を簡略化することができる。

0050

〔10〕<受信した制御情報を撮像信号処理部で使用>
項9において、前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部(11)をさらに備える。

0051

前記制御情報は、前記撮像信号処理部が前記映像信号を生成するために実行する信号処理のパラメータを含み、前記受信部が受信した前記制御情報に含まれる前記パラメータは、前記撮像信号処理部に供給される。

0052

これにより、符号化部に入力される映像信号が、符号化処理の前に適正化され、画像受信装置(受信ユニット)側での画像認識処理の認識率を、より高く保つことができる。

0053

〔11〕<送信ユニットに内蔵される画像認識部で認識精度情報を抽出>
項7において、前記画像認識部を受信側画像認識部とし、前記画像受信装置は、前記復号部と、前記受信側画像認識部とを備える。

0054

前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部(11)と、送信側画像認識部(15)と、前記符号化部とを備える。

0055

前記送信側画像認識部は、前記撮像処理部で処理される前記映像信号に対して画像認識処理を行ない、前記送信側画像認識部における認識結果の確からしさを、前記受信側画像認識部における認識結果の確からしさを示す認識精度情報として、前記符号化部に供給する。前記符号化部は、前記認識精度情報に基づいて、前記符号化モードを調整する。

0056

これにより、画像受信装置(受信ユニット)側の受信側画像認識部における認識結果の確からしさを示す認識精度情報を、画像送信装置(送信ユニット)で推定して利用することができるため、より早く適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

0057

〔12〕<認識用画像/認識用マーカー>
項8又は項9において、前記画像送信装置は、前記映像信号として、予め与えられた評価用画像を含むことができるように構成される(34、35)。

0058

前記符号化部は、前記評価用画像を含む映像信号に対して符号化処理を施し、前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して認識精度情報を求め、前記画像送信装置または前記画像受信装置は、求められた前記認識精度情報を期待される認識精度情報と等しくなるように、前記符号化モードを調整する。

0059

これにより、符号化モードの最適値を正確に求めることができる。

0060

〔13〕<認識用画像への切換>
項12において、前記画像送信装置は、前記映像信号と前記評価用画像のうちどちらを前記符号化部に供給するかを選択するセレクタ(34)をさらに備える。

0061

これにより、入力される映像信号に代えて評価用画像を用いて、符号化モードの最適値を正確に求めることができる。

0062

〔14〕<認識用マーカーの挿入>
項12において、前記画像送信装置は、前記映像信号に前記評価用画像を挿入可能な認識用マーカー挿入部(35)をさらに備える。

0063

これにより、入力される映像信号に挿入された評価用マーカー画像を用いて、符号化モードの最適値を正確に求めることができる。

0064

〔15〕<画像受信装置>
本願において開示される代表的な実施の形態に係る画像受信装置(20)は、画像送信装置(10)から送出される符号化ストリームを受信する受信部(21)と、前記受信部で受信した符号化ストリームに復号処理を施して復号画像を出力する復号部(22)と、前記復号画像に画像認識処理を施す画像認識部(25)と、パラメータ送信部(26)とを備える。

0065

前記符号化ストリームは、前記画像送信装置において映像信号に対して符号化モードを使用した符号化処理によって生成される。

0066

前記パラメータ送信部は、前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記画像送信装置における前記符号化モードを調整するための制御情報を送出する。

0067

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる、画像受信装置を提供することができる。

0068

〔16〕<受信ユニットのパラメータ送信部から認識精度情報を送出>
項15において、前記パラメータ送信部は、前記認識精度情報を、前記画像送信装置における前記符号化モードを調整するための前記制御情報として送出し、前記画像送信装置は、受信した前記認識精度情報に基づいて前記符号化モードを調整する。

0069

これにより、画像受信装置(受信ユニット)側からは、画像認識部における認識結果の確からしさを示す認識精度情報をそのまま送出るので処理負担は軽い。一方、画像送信装置(送信ユニット)側は、受信した認識精度情報に加えて自身の持つパラメータも参照して、適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

0070

〔17〕<受信ユニットのパラメータ送信部から符号化モードを送出>
項15において、前記パラメータ送信部は、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを、前記制御情報として送出し、前記画像送信装置は、前記制御情報として受信した前記符号化モードを使用して前記符号化処理を実行する。

0071

これにより、画像受信装置(受信ユニット)側で、最適な符号化モードを算出或いは選択して、画像送信装置(送信ユニット)側に送るため、画像送信装置(送信ユニット)を簡略化することができる。

0072

〔18〕<パラメータ送信部から復号情報を送出>
項15から項17のうちのいずれか1項に記載される画像受信装置において、前記パラメータ送信部が送出する前記制御情報は、前記復号部における前記復号処理によって得られる復号情報または前記復号情報に基づいて生成された情報を含む。

0073

これにより、符号化モードがより適切に適正化される。

0074

2.実施の形態の詳細
実施の形態について更に詳述する。

0075

〔実施形態1〕<基本構成(認識精度情報に基づく符号化モードの最適化)>
図1は、実施形態1に係る画像通信装置100の構成例を示すブロック図である。

0076

画像通信装置100は、ネットワークなどの通信路29を介して相互に接続される、送信ユニット10と受信ユニット20とを含んで構成される。送信ユニット10は、算出した符号化モードに基づいて映像信号を符号化して符号化ストリームを生成する符号化部12と生成された符号化ストリームを所定のプロトコルに乗せて通信路29に送出する送信部13とを備える。受信ユニット20は、通信路29から受信した信号(パケットなど)から符号化ストリームを再生する受信部21と、受信された符号化ストリームを復号して復号画像を生成する復号部22と、復号された復号画像に対して画像認識処理を実行する画像認識部25とを備える。ここで、符号化モードについて「算出された」とは、符号化部12が符号化効率などに基づいて適切な符号化モードを選択する処理を指し、外部から指定されても良い。

0077

送信ユニット10における符号化部12は、受信ユニット20の画像認識部25における認識結果の確からしさを示す認識精度情報に基づいて、上記映像信号の符号化に使用する符号化モードを調整する。即ち、画像認識率など、認識結果の確からしさを向上させる方向に、符号化モードを変更する。

0078

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる。

0079

図2は、送信ユニット10における符号化部12の構成例を示すブロック図である。符号化部12は、映像信号が入力され符号化ストリームを出力する符号化処理部16と、符号化処理部16に符号化モードを与える符号化モード決定部17とを備える。符号化モードには予測モードとデブロッキングフィルタに関するパラメータなどが含まれる。符号化モード決定部17は、入力される制御情報に含まれる、受信ユニット20の画像認識部25における認識結果の確からしさを示す認識精度情報に基づいて、認識結果の確からしさを向上させる方向に、符号化モードを変更して符号化処理部16に供給する。このとき、制御情報には認識精度情報の他、復号情報や認識領域情報が含まれる。符号化モード決定部17は、これに加えて、符号化部12の内部パラメータを参照して、最適な符号化モードを求めて、符号化処理部16に供給する。符号化部12の内部パラメータには例えば、予測時のSAD(Sum of Absolute Difference:入力信号予測信号誤差の絶対値の総和)や量子化値が含まれる。

0080

ここで、最適な符号化モードとは、必ずしも画像認識率を最大にすることができるパラメータ値を意味するものではない。例えば、受信ユニット20において、復号された画像が画像認識のみならず、表示にも使用される場合には、視認性(人の見た目)も考慮して適正なパラメータ値が最適とされる。

0081

認識結果の確からしさを示す認識精度情報は、例えば、画像認識部25における画像検出、認識、追跡処理の結果の確からしさを示す認識精度情報や認識領域を示す情報、認識領域情報などである。認識、検出の結果の確からしさは、各処理おける類似度を示す閾値や、識別器通過段数などから知ることができる。認識、検出の結果の確からしさを知る方法は、認識・検出アルゴリズムアプリケーションによって様々な方法が考えられるが、以下のような例がある。

0082

顔、標識などの物体検出においては、局所特徴量と統計的学習手法を組み合わせる手法が主流となっている。例えば、顔検出では、Haar-like特徴量を多数組み合わせて顔の検出器構築する。検出器には、弱識別器縦続接続し、AdaBoostを用いることで、多数の局所特徴量の中から、識別に最適な特徴量を選択する。ここで、検出の確からしさを示すこととして、縦続接続された弱識別器を何段通過したかが指標になりうる。

0083

標識認識などの特定物体認識処理では、事前学習も可能であり、あらかじめ参照画像から求めた特徴量と、入力画像からの対応点探索を行うことで、標識認識が可能になる。類似度を示す値を閾値処理するので、閾値とのユークリッド距離が類似度を示す指標になる。

0084

物体追跡においては、例えば、KLT(Kaneda Lucas Tomasi)法は局所領域における各点の動きは同一であると仮定し、微小時間における領域は並行移動のみという状態を仮定して特徴点移動先を求める。移動前後のおけるSIFT(Scale Invariant Feature Transform)などの特徴量の類似度(ユークリッド距離)を用いて特徴点判定を行うので、特徴量のユークリッド距離が指標となりうる。

0085

なお、受信ユニット20の画像認識部25における認識結果の確からしさを示す認識精度情報は、受信ユニット20の画像認識部25で得られる情報には限定されない。受信ユニット20の画像認識部25における認識結果の確からしさを知るまたは推定することができる手段を、送信ユニット10側に備えていてもよい。例えば、送信ユニット10側の符号化器12が生成するローカル復号画像に対して、簡易な画像認識処理を実行し、或いは、認識率を推定する目的に特化した認識率評価部を設けることにより、送信ユニット10において受信ユニット20の画像認識部25における認識結果の確からしさを知るまたは推定することができる。具体例については後述する。

0086

〔実施形態2〕<パラメータ送信部から認識精度情報または符号化モードを送出>
図3は、実施形態2に係る画像通信装置100の構成例を示すブロック図である。

0087

画像通信装置100は、ネットワークなどの通信路29を介して相互に接続される、送信ユニット10と受信ユニット20とを含んで構成される。

0088

送信ユニット10は、接続される撮像素子19から入力される撮像信号を処理する撮像信号処理部11と、算出した符号化モードに基づいて映像信号を符号化して符号化ストリームを生成する符号化部12と、生成された符号化ストリームを所定のプロトコル通信路29に送出する送信部13と、受信部14とを備える。受信ユニット20は、通信路29から受信した信号から符号化ストリームを再生する受信部21と、受信された符号化ストリームを復号して復号画像を生成する復号部22と、復号された復号画像に対して画像認識処理を実行する画像認識部25と、パラメータ送信部26とを備える。

0089

受信ユニット20のパラメータ送信部26は、画像認識部25における認識結果の確からしさを示す認識精度情報に基づいて、上記映像信号の符号化に使用する符号化モードを調整するための制御情報を、送信ユニット10に送出する。送信ユニット10の受信部14は、制御情報を受信して符号化部12に供給する。符号化部12は受信した制御情報に基づいて、受信ユニット20において画像認識率などの認識結果の確からしさを向上させる方向に、符号化モードを変更する。

0090

受信ユニット20のパラメータ送信部26から送信ユニット10の受信部14へ送られる、上記制御情報は、画像認識部25における認識結果の確からしさを示す認識精度情報そのものであっても良いし、その認識精度情報に基づいて適切な値に変更された符号化モードであってもよい。前者の場合は、受信ユニット20側は、画像認識部における認識結果の確からしさを示す認識精度情報をそのまま送出するので、処理負担は軽く、送信ユニット10側は、受信した認識精度情報に加えて自身の持つパラメータも参照して、適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。一方、後者の場合は、受信ユニット20側で、最適な符号化モードを算出或いは選択して、送信ユニット10側に送るため、送信ユニット10を簡略化することができる。

0091

図3に示される実施形態2に係る画像通信装置100について、さらに詳しく説明する。

0092

撮像素子19は、例えば、CCD(Charge Coupled Device)、CMOS(Complementally Metal Oxide Semiconductor)センサ等である。撮像素子19からの撮像信号は、送信ユニット10内の撮像信号処理部11で画像処理を施され、映像信号として符号化部12に送られる。符号化部12では入力された映像信号の画像データを、例えばH.264等の符号化規格に従って画像符号化を行う。符号化部12は図2に示すとおり、符号化モード決定部17と符号化処理部16に分けられる。符号化処理部16は符号化モード決定部17によって決定された符号化モードに従って、規格準拠の符号化を行う。符号化モード決定部17では、従来通りの符号化部12内で得られる予測時のSADや量子化パラメータ以外に、受信ユニット20から送られてきた制御情報に含まれる各種のパラメータを評価値として、符号化モードを決定する。符号化された符号化ストリームは送信ユニット10内の送信部13によって受信ユニット20に送信される。受信ユニット20内の受信部21が受信した符号化ストリームは、復号部22で復号される。受信ユニット20内の画像認識部25では、復号部22によって復号された復号画像を用いて画像認識を行い、画像認識結果、画像認識率や認識領域情報をパラメータ送信部26から通信路29を介して送信ユニット10に送信する。

0093

受信ユニット20から送信ユニット10に送る制御情報には、復号処理で得られた復号情報、画像認識部で得られた画像認識率等の認識精度情報、画像認識領域情報などが含まれると好適であるが、これらに限定されるものではなく、受信ユニット20内で得られるデータで他の情報が含まれてもよい。例えば、画像認識のアプリケーション情報、車両等の走行状態に関する情報、時刻天候外光の明るさなどに関する情報などである。また、復号情報に関しては受信ユニット20で得られるデータには限定されず、送信ユニット10内の符号化部12にて得られる場合はこれを使用することもできる。例えば、送信ユニット10内の符号化部12が、イントラエンコーダのようにデブロッキングフィルタ処理を行う必要がない場合には、受信ユニット20内の復号部22で復号画像を復号する時に使用した、デブロッキングフィルタ演算時のパラメータ等の復号情報を、前記制御情報に含めてパラメータ送信部26から送信ユニット10に送信する。一方、送信ユニット10内の符号化部12が、デブロッキングフィルタ処理を行う場合には、デブロッキングフィルタ演算時のパラメータは、受信ユニット20から送る必要はなく、送信ユニット10内で得られるのでこれを使用することができる。

0094

以上、説明したように、H.264等の画像符号化を行う際に、双方向に通信可能な通信経路(29)上にある復号器(22)と画像認識器(25)からの情報を利用し、システムとして効率的な符号化を行うことが可能になる。即ち、符号化する際に推測する予測モードやデブロッキングフィルタに関するパラメータ値の決定を、より的確なものにすることができる。特に復号画像に対して画像認識処理を施すシステムにおいては、認識率の低下を抑制することが可能になる。

0095

さらに具体的な例について説明する。

0096

画像認識部25は、実施形態1でも説明したように、様々な方式で特徴量を抽出し、抽出した特徴量をある閾値をもって特徴点判定を実施する。つまり非圧縮画像を対象とした場合と比較して認識率が低下するのは、閾値付近の画像データが符号化による劣化により誤判定される為であると考えられる。従って、認識率向上の為には、特徴量が閾値付近にある位置に対してより多くの符号量を割り当て、または発生する符号量を増加させてでも特徴を保持するような符号化方法に切り替える等の処理が必要である。例えばエッジ検出を行うときに、エッジを含むマクロブロックに多くの符号量を割り当て、または非圧縮のまま送信するなどの処理を行なう。

0097

本実施形態の符号化部12は標準規格に準拠する符号化を実施するが、受信ユニット20から供給される制御情報によって符号化方法をリアルタイムに変更できることが特徴である。例えば、切り替える符号化パラメータは次の(1)〜(4)があり、受信ユニット20から供給される認識精度情報に基づく重要度に従って(1)〜(4)を適用することができる。結果として、画像認識部26が指定した領域は原画像に近い形で符号化することが可能となり、符号化に伴う劣化による誤判定が減少することになる。
(1)フィルタ強度の調整(フィルタ強度を弱くし、または、フィルタをオフにする)
(2)ブロック分割(ブロック分割を細かくする(予測モード))
(3)ビット割り当て(量子化値を小さくする)
(4)IPCM(Intra Pulse Code Modulation)符号化(16×16単位で非圧縮)
本実施形態2では受信ユニット20が送信ユニット10に認識精度情報等を送信し、送信ユニット10内で符号化モードを決定するが、受信ユニット10内で適切な符号化モードを決定して直接指定することも可能である。

0098

〔実施形態3〕<送信ユニットに内蔵される画像認識部で認識精度情報を抽出>
図4は、実施形態3に係る画像通信装置の構成例を示すブロック図である。図3に示される実施形態2に係る画像通信装置と同様に、本実施形態3に係る画像通信装置100は、ネットワークなどの通信路29を介して相互に接続される、送信ユニット10と受信ユニット20とを含んで構成される。送信ユニット10は、実施形態2の送信ユニットと同様に、撮像素子19から入力される撮像信号を処理する撮像信号処理部11と、符号化モードに基づいて映像信号を符号化して符号化ストリームを生成する符号化部12と、生成された符号化ストリームを所定のプロトコルに乗せて通信路29に送出する送信部13とを備えるが、さらに画像認識部15を備え、受信部14は省略される。受信ユニット20は、実施形態2の受信ユニットと同様に、通信路29から受信した信号から符号化ストリームを再生する受信部21と、受信された符号化ストリームを復号して復号画像を生成する復号部22と、復号された復号画像に対して画像認識処理を実行する画像認識部25とを備えるが、パラメータ送信部26は省略される。

0099

実施形態2では、受信ユニット20の画像認識部25で実際に実行された画像認識処理の結果に基づいて、受信ユニット20における画像認識率などの認識結果の確からしさを向上させる方向に、符号化に使用する符号化モードを調整(最適化)した。本実施形態3では、受信ユニット20から制御情報を送る代わりに、送信ユニット10内に別の画像認識部15を設けて画像認識処理を実行することにより、受信ユニット20の画像認識部25における認識結果の確からしさを示す認識精度情報等を推定する。推定された認識精度情報等に基づいて、送信ユニット10での符号化に使用する符号化モードを調整(最適化)する。これにより、より早く適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。例えば、実施形態2では、受信ユニット20で復号され画像認識処理が実行された後に初めて制御情報が送信ユニット10にフィードバックされるため数フレーム遅延が生じるが、本実施形態3では最短では符号化の対象とされるフレームの映像信号に対する画像認識の結果に基づいて、そのフレームの符号化モードを調整することができるので、遅延を最小限に抑えることができる。

0100

図4に示される構成例では、送信側画像認識部15は撮像信号処理部11に接続される例を示したが、これに代えて、符号化部12に接続してローカル復号画像を対象とする画像認識処理を実行することができるように構成してもよい。

0101

また、実施形態2と同様に受信ユニット20がパラメータ送信部26を送信ユニット10が受信部14をそれぞれ備えるように構成し、送信側画像認識部15による認識結果の確からしさを示す認識精度情報等と、受信ユニット20から伝送される受信側の画像認識部25による認識精度情報等とを合わせて評価して、符号化に使用する符号化モードを調整(最適化)してもよい。

0102

〔実施形態4〕<受信した符号化モードを撮像信号処理部で使用>
図5は、実施形態4に係る画像通信装置の構成例を示すブロック図である。図3に示される実施形態2に係る画像通信装置と同様に、本実施形態5に係る画像通信装置100は、ネットワークなどの通信路29を介して相互に接続される、送信ユニット10と受信ユニット20とを含んで構成される。受信ユニット20は、実施形態2の受信ユニットと同様に、通信路29から受信した信号から符号化ストリームを再生する受信部21と、受信された符号化ストリームを復号して復号画像を生成する復号部22と、復号された復号画像に対して画像認識処理を実行する画像認識部25と、パラメータ送信部26とを備える。送信ユニット10は、実施形態2の送信ユニットと同様に、撮像素子19から入力される撮像信号を処理する撮像信号処理部11と、映像信号を符号化して符号化ストリームを生成する符号化部12と、生成された符号化ストリームを所定のプロトコルで通信路29に送出する送信部13と、受信部14とを備えるが、受信部14で受信された制御情報は、撮像信号処理部11に供給される。

0103

撮像信号処理部11では、入力された撮像信号に対してさまざまな処理が行われる。例えば、ゲイン調整逆光補正画像レベル調整、ガンマ補正色補正フィルタ処理などである。これらの補正や処理に対して、一般的にはアプリケーションによって最適だと思われるパラメータが設定される。本実施形態では、受信ユニット20からの制御情報を送信ユニット10で取得することが可能となる為、画像認識率や認識結果を撮像信号処理11内の信号処理にフィードバックすることが可能となり、画像認識に適した映像信号の生成が可能となる。

0104

例えば、道路標識を認識する場合などに、受信ユニット20内の画像認識部25のアプリケーション、アルゴリズムとして色情報を使用することがある。この様な場合には受信ユニット20からの制御情報を使用して撮像信号処理部11内の色補正を調整しながら認識率を向上させることが可能となる。また、撮像信号処理部内にてローパスフィルタ等のフィルタ処理を行っている場合は、フィルタの強弱、ON/OFFの切り替え、さらには認識領域周辺に特化したフィルタ強弱、ON/OFFの切替を実施する。

0105

以上のように、本来送信ユニット10では知りえない情報である画像認識率、認識領域や復号情報を撮像信号処理部11内の信号処理の最適化処理に使用することが可能となる。従って、撮像信号処理部11での画像生成において、画像認識に適した画像の生成が可能となり、受信ユニット20での画像認識率向上が可能となる。

0106

図5に示される構成例では、受信部14から符号化部12へは制御情報が供給されないが、実施形態2と同様に、受信部14から符号化部12へも制御情報を供給するように構成しても良い。これにより、符号化部12に入力される映像信号と、その符号化モードが共に、画像認識処理に適するように調整(最適化)される。

0107

〔実施形態5〕<認識用画像/認識用マーカー>
以上の実施形態では、入力される映像信号をそのまま使って、符号化、復号、画像認識処理を行なったときの認識精度情報等を使って、符号化モードを調整(最適化)するが、本実施形態5では、入力される映像信号に代えて既知の画像を用いて、符号化モードを調整(最適化)する実施形態について説明する。既知の画像を用いるため、画像認識処理の結果などについて、期待値を準備することができる。そのため、より正確に最適な符号化モードを決定することができる。本実施形態5で説明する技術は、上で説明した実施形態1〜4を始め、種々の実施形態にも組合せることが可能である。

0108

図6は、実施形態5に係る符号化部12の構成例を示すブロック図である。符号化部12は、入力される映像信号である原画像に代えて評価用画像を対象として、或いは、原画像に評価用マーカーを挿入された画像を対象として、符号化処理を施して符号化ストリームを生成する。符号化部12は、セレクタ33と34、認識用マーカー挿入部35、減算器36、イントラ予測31、インター予測32、変換37、逆変換41、量子化38、逆量子化40、符号化39、デブロッキングフィルタ42及び参照画像メモリ43を備える。セレクタ34は、入力される映像信号である原画像と評価用画像のいずれかを選択して符号化部12に入力する。認識用マーカー挿入部35は、入力された画像信号に、認識用マーカーを挿入することができる。セレクタ33は、イントラ予測31またはインター予測32の結果を減算器36に入力し、セレクタ34から入力される符号化処理の対象である画像信号から減算して、減算器36から差分信号を出力させる。差分信号は、例えば離散コサイン変換などの直交変換37、量子化38され、さらに例えばエントロピーコーディングなどにより符号化39されて、符号化ストリームとして出力される。量子化38の出力は、逆量子化40、変換37の逆変換41を経てローカル復号画像として出力され、イントラ予測31に供給され、また、デブロッキングフィルタ42を経て参照画像メモリ43に格納される。参照画像メモリ43に格納されたローカル復号画像は、インター予測32で参照される。また、デブロッキングフィルタ42のパラメータは、符号化39によって符号化ストリームに含めて復号部へ送出される。図6には、符号化部12のみが示されるが、他の構成と動作は、図1、3、4、5をそれぞれ示した各実施形態の画像通信装置100と同様である。

0109

各実施形態の画像通信装置100に、実施形態5に係る符号化部12を搭載することにより、システム上での効率的なキャリブレーションが可能となる。例えば、受信ユニット20内画像認識部23のアルゴリズムの最適化を行う際に、予め期待値が分かっている画像を符号化したものを認識画像として使用することができる。また、符号化部12の符号化モードの選択に使用する認識率の計測補助する機能となるため、より正確なフィードバックが可能となる。

0110

通常、伝送路29は帯域が制限されており、符号化部12は限られた帯域内でより適切な符号化処理をする必要がある。ここで、「より適切な符号化」を、受信ユニット20内でより高い画像認識率を実現する符号化とした場合に、本構成を使用することによりシステムとして決定するシーケンスベルパラメータ調整を効率的に実施することが可能となる。

0111

シーケンスレベルのパラメータには4:2:0/4:2:2等のカラーフォーマットや8/10/12/14bit等のビット深度などがある。例えば、画像のビット深度として8bitで符号化するか10bitで符号化するかを考えた場合、ビットレートが同一(帯域が同一)な場合は10bitで符号化すると8bitで符号化した場合に比べ情報量が増加し、量子化値を大きくする必要があり、条件によっては画質劣化する場合がある。また、画像認識率に関しては画像認識アルゴリズムなどの影響でどちらが有利かを判断することが難しい場合もある。本構成を使用することにより、画像認識アルゴリズムを含めたシステムとしての最適な符号化を決定することが可能となる。

0112

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

0113

例えば、撮像信号処理部11、符号化部12、復号部22、画像認識部15及び25などの信号処理は、専用の論理回路を使って実装されてもよいし、プロセッサなどで実行されるソフトウェアによって実装されても良い。また、伝送路29は、有線のネットワークでも無線のネットワーク或いはピアトゥピア(Pear to Pear)の通信回線であってもよい。

0114

10画像送信装置(送信ユニット)
11撮像信号処理部
12 符号化部
13 送信部
14 受信部
15画像認識部
16符号化処理部
17符号化モード決定部
19撮像素子
20画像受信装置(受信ユニット)
21 受信部
22復号部
25 画像認識部
26パラメータ送信部
29通信路(ネットワーク)
31イントラ予測
32インター予測
33、34セレクタ
35 認識用マーカー挿入部
36減算器
37 変換
38量子化
39 符号化
40逆量子化
41逆変換
42ブロッキングフィルタ
43参照画像メモリ
100 画像通信装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ