図面 (/)

技術 音声処理装置、映像処理装置、音声処理方法及び映像処理方法

出願人 株式会社JVCケンウッド
発明者 田中潤
出願日 2016年5月27日 (4年7ヶ月経過) 出願番号 2016-105999
公開日 2016年10月27日 (4年2ヶ月経過) 公開番号 2016-187193
状態 特許登録済
技術分野 スタジオ装置 可聴帯域変換器の回路等
主要キーワード 受像領域 配列個数 筺体側 テレビジョン受像 実効焦点距離 水平位 変数部分 実効焦点
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年10月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

画角内の複数の位置のいずれかで発生する音声を的確に収音して記録して再生することができる音声処理装置映像処理装置音声処理方法及び映像処理方法を提供する。

解決手段

ビデオカメラ100において、音声信号演算部12は、アレーマイクロホンにおける複数のマイクロホン素子が収音した音声信号を演算処理して、水平方向の複数の角度方向からの音声信号をマルチチャンネル音声信号として生成する。映像音声記録処理部16は、映像撮影部18によって撮影された被写体の映像信号と、マルチチャンネル音声信号を記録媒体40に記録するよう処理する。マルチチャンネル音声信号を再生する所定の操作がなされたら、映像合成部25は映像信号に付加情報重畳させる。制御部20は、付加情報の位置または向きに応じてマルチチャンネル音声信号における再生すべき水平方向の角度方向からの音声信号を決定する。

概要

背景

映像音声記録再生装置の一例としてのビデオカメラは、被写体を撮影した動画像映像
情報と、撮影中に収音した音声情報とを記録し再生する。ビデオカメラに搭載されている
マイクロホンは、一般的に、モノラルマイクホンまたはステレオマイクロホンである。
モノラルマイクロホンで音声を収音する場合、音声は、音声が発生する位置にかかわらず
チャンネル音声信号として記録される。ステレオマイクロホンで音声を収音する場合
、左右それぞれの音声が2チャンネルの音声信号として記録される。

概要

画角内の複数の位置のいずれかで発生する音声を的確に収音して記録して再生することができる音声処理装置映像処理装置音声処理方法及び映像処理方法を提供する。ビデオカメラ100において、音声信号演算部12は、アレーマイクロホンにおける複数のマイクロホン素子が収音した音声信号を演算処理して、水平方向の複数の角度方向からの音声信号をマルチチャンネル音声信号として生成する。映像音声記録処理部16は、映像撮影部18によって撮影された被写体の映像信号と、マルチチャンネル音声信号を記録媒体40に記録するよう処理する。マルチチャンネル音声信号を再生する所定の操作がなされたら、映像合成部25は映像信号に付加情報重畳させる。制御部20は、付加情報の位置または向きに応じてマルチチャンネル音声信号における再生すべき水平方向の角度方向からの音声信号を決定する。

目的

本発明はこのような問題点に鑑み、画角内の複数の位置のいずれかで発生する音声を的
確に収音し、記録及び再生することができる音声処理装置、映像処理装置、音声処理方法及び映像処理方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像撮影する際のズーム度合いに応じて決まる撮影する映像の画角に基づいて、収音指向性切り替える指向性切替部を備える音声処理装置

請求項2

映像を撮影する際の調整されたズームの度合いに応じて決まる撮影する映像の画角と所定の分解能とに基づいて、音声を収音する前記画角内の複数の角度方向を決定して、収音の指向性を切り替える指向性切替部を備える音声処理装置。

請求項3

映像を撮影する際の調整されたズームの度合いに応じて決まる撮影する映像の画角と所定の分解能とに基づいて、音声を収音する前記画角内の角度方向の数を決定して、収音の指向性を切り替える指向性切替部を備える音声処理装置。

請求項4

映像を撮影する際の調整されたズームの度合いに応じて決まる撮影する映像の画角と所定の分解能とに基づいて、音声を収音する前記画角内の複数の角度方向を決定して、収音の指向性を切り替える指向性切替部と、前記指向性切替部で決定した前記複数の角度方向で収音された音声の音声信号再生する所定の操作がなされたら、前記画角で撮影された映像の映像信号に、前記音声信号におけるいずれかの角度方向から収音された音声を選択するための付加情報重畳させるよう合成する映像合成部と、を備える映像処理装置

請求項5

映像を撮影する際の調整されたズームの度合いに応じて決まる撮影する映像の画角と所定の分解能とに基づいて決定された音声を収音する前記画角内の複数の角度方向で収音された音声の音声信号を再生する所定の操作がなされたら、前記画角で撮影された映像の映像信号に、前記音声信号におけるいずれかの角度方向から収音された音声を選択するための付加情報を重畳させるよう合成する映像合成部を備える映像処理装置。

請求項6

前記映像合成部によって生成された合成映像信号表示装置に表示する映像表示処理部と、前記表示装置に表示された前記合成映像信号における前記付加情報の位置または向きに応じて前記音声信号における再生すべき角度方向からの音声を決定する制御部と、を備える請求項4又は5に記載の映像処理装置。

請求項7

映像を撮影する際のズームの度合いに応じて決まる撮影する映像の画角と、音声を指向性をもって収音する際の所定の分解能とに基づいて、収音の指向性を切り替える指向性切替ステップを含む音声処理方法

請求項8

映像を撮影する際の調整されたズームの度合いに応じて決まる撮影する映像の画角と所定の分解能とに基づいて、音声を収音する前記画角内の複数の角度方向を決定して、収音の指向性を切り替える指向性切替ステップと、前記指向性切替ステップで決定した前記複数の角度方向で収音された音声の音声信号を再生する所定の操作がなされたら、前記画角で撮影された映像の映像信号に、前記音声信号におけるいずれかの角度方向から収音された音声を選択するための付加情報を重畳させるよう合成する映像合成ステップと、を含む映像処理方法

技術分野

0001

本発明は、音声処理装置映像処理装置音声処理方法及び映像処理方法に関する。

背景技術

0002

映像音声記録再生装置の一例としてのビデオカメラは、被写体を撮影した動画像映像
情報と、撮影中に収音した音声情報とを記録し再生する。ビデオカメラに搭載されている
マイクロホンは、一般的に、モノラルマイクホンまたはステレオマイクロホンである。
モノラルマイクロホンで音声を収音する場合、音声は、音声が発生する位置にかかわらず
チャンネル音声信号として記録される。ステレオマイクロホンで音声を収音する場合
、左右それぞれの音声が2チャンネルの音声信号として記録される。

0003

特開2000−298933号公報
特開2006−287544号公報

先行技術

0004

、「高臨場感音響技術とその理論」、IEICE Fundamental Review Vol.3 No.4、p.33-46

発明が解決しようとする課題

0005

モノラルマイクロホンまたはステレオマイクロホンを搭載したビデオカメラにおいては
画角内の複数の位置それぞれで発生する音声を的確に収音して記録することは困難であ
る。

0006

例えば画角中央付近に主たる撮影対象の被写体である人物が位置しており、画角の左
側または右側端部で動物が鳴いて音を発生させたとする。このような状況で、動物が発生
させた音を的確に収音して記録することは難しい。

0007

映像情報の再生時に再生映像を部分的に拡大して表示する、いわゆる再生ズームと称さ
れている機能がある。単にモノラルマイクロホンまたはステレオマイクロホンで音声を収
音した場合には、ズームアップした映像と再生される音声とを対応させることは難しい。
映像と音声とが対応しなければ、ユーザは違和感を覚えてしまう。

0008

本発明はこのような問題点に鑑み、画角内の複数の位置のいずれかで発生する音声を的
確に収音し、記録及び再生することができる音声処理装置、映像処理装置、音声処理方法及び映像処理方法を提供することを目的とする。

課題を解決するための手段

0009

本発明は、上述した従来の技術の課題を解決するため、映像を撮影する際のズーム度合いに応じて決まる撮影する映像の画角に基づいて、収音の指向性切り替える指向性切替部を備える音声処理装置を提供する。

0010

また、本発明は、映像を撮影する際の調整されたズームの度合いに応じて決まる撮影する映像の画角と所定の分解能とに基づいて、音声を収音する前記画角内の複数の角度方向を決定して、収音の指向性を切り替える指向性切替部と、前記指向性切替部で決定した前記複数の角度方向で収音された音声の音声信号を再生する所定の操作がなされたら、前記画角で撮影された映像の映像信号に、前記音声信号におけるいずれかの角度方向から収音された音声を選択するための付加情報重畳させるよう合成する映像合成部と、を備える映像処理装置を提供する。

0011

また、本発明は、映像を撮影する際の調整されたズームの度合いに応じて決まる撮影する映像の画角と所定の分解能とに基づいて決定された音声を収音する前記画角内の複数の角度方向で収音された音声の音声信号を再生する所定の操作がなされたら、前記画角で撮影された映像の映像信号に、前記音声信号におけるいずれかの角度方向から収音された音声を選択するための付加情報を重畳させるよう合成する映像合成部を備える映像処理装置を提供する。

0012

また、本発明は、映像を撮影する際のズームの度合いに応じて決まる撮影する映像の画角と、音声を指向性をもって収音する際の所定の分解能とに基づいて、収音の指向性を切り替える指向性切替ステップを含む音声処理方法を提供する。

0013

また、本発明は、映像を撮影する際の調整されたズームの度合いに応じて決まる撮影する映像の画角と所定の分解能とに基づいて、音声を収音する前記画角内の複数の角度方向を決定して、収音の指向性を切り替える指向性切替ステップと、前記指向性切替ステップで決定した前記複数の角度方向で収音された音声の音声信号を再生する所定の操作がなされたら、前記画角で撮影された映像の映像信号に、前記音声信号におけるいずれかの角度方向から収音された音声を選択するための付加情報を重畳させるよう合成する映像合成ステップと、を含む映像処理方法を提供する。

発明の効果

0014

本発明の音声処理装置、映像処理装置、音声処理方法及び映像処理方法によれば、画角内の複数の位置のいずれかで発生する音声を的確に収音し、記録及び再生することができる。

図面の簡単な説明

0015

第1実施形態の映像音声記録再生装置を示すブロック図である。
第1実施形態の映像音声記録再生装置であるビデオカメラの外観形状とビデオカメラが撮影する被写体の例を示す図である。
図1中のアレーマイクロホン10の具体的な構成例を示す図である。
図1中の音声信号演算部12(12’)における演算処理原理を説明するための図である。
図1中の音声信号演算部12の具体的な構成例を示すブロック図である。
図1中の音声信号演算部12’の具体的な構成例を示すブロック図である。
第1実施形態の映像音声記録再生装置における記録側の動作を示すフローチャートである。
第1実施形態の映像音声記録再生装置であるビデオカメラをテレビジョン受像機に接続した状態を示す図である。
平方向の角度方向を選択するための付加情報の画像と、水平方向の角度方向を区分けするための識別画像を重畳した画像を示す図である。
水平方向の角度方向を選択するための付加情報の画像と、水平方向及び垂直方向の角度方向を区分けするための識別画像を重畳した画像を示す図である。
水平方向の角度方向を選択するための付加情報の画像の他の例を示す図である。
第1実施形態の映像音声記録再生装置における再生側の動作を示すフローチャートである。
第2実施形態の映像音声記録再生装置を示すブロック図である。

実施例

0016

以下、各実施形態の映像音声記録再生装置について、添付図面を参照して説明する。各
実施形態の映像音声記録再生装置は、ビデオカメラを例とする。

0017

<第1実施形態>
第1実施形態のビデオカメラ100は、アレーマイクロホン10とステレオマイクロホ
ン11を備える。ステレオマイクロホン11の代わりにモノラルマイクロホンとしてもよ
いし、ステレオマイクロホン11を省略してアレーマイクロホン10のみとしてもよい。
但し、ステレオマイクロホン11を備える方が好ましい。

0018

図2は、ビデオカメラ100の外観形状の例と、ビデオカメラ100が撮影する被写体
200の例を示している。アレーマイクロホン10とステレオマイクロホン11は、ビデ
カメラ100の筺体上面に例えば図2に示すように配置されている。図2に示す配置は
単なる例であり、アレーマイクロホン10とステレオマイクロホン11の筺体上の位置、
互いの位置関係は任意である。

0019

アレーマイクロホン10は、図3の(a)に示すように、複数のマイクロホン素子ME
を水平方向に一列に配列させた構成を有する。水平方向に隣接する2つのマイクロホン素
子MEの中心間距離はdである。図3の(a)に示すマイクロホン素子MEが水平一列の
アレーマイクロホン10をアレーマイクロホン10Aとする。

0020

アレーマイクロホン10は、図3の(b)に示すように、複数のマイクロホン素子ME
の水平一列の配列10b1,10b2,10b3を垂直方向に配列させた構成であってもよい。
垂直方向に隣接する2つのマイクロホン素子MEの中心間距離はdである。図3の(b)
に示す水平一列のマイクロホン素子MEを垂直方向に複数配列させたアレーマイクロホン
10をアレーマイクロホン10Bとする。ここで、垂直方向に隣接する2つのマイクロ
素子MEの中心間距離はdでなくてもよい。

0021

図1図2に示すアレーマイクロホン10は、図3の(a)に示すアレーマイクロホン
10Aまたは図3の(b)に示すアレーマイクロホン10Bである。図3の(a),(b
)では、マイクロホン素子MEを水平方向に6個としているが、マイクロホン素子MEの
水平方向の個数は6個に限定されない。アレーマイクロホン10Bは、垂直方向に3列
しているが、垂直方向の配列個数も3個に限定されない。また、アレーマイクロホン10
は一直線状や一平面状への配置に限定されない。

0022

アレーマイクロホン10Aは、マイクロホン素子MEの配列方向に対する法線方向を0
度とすると、左右それぞれ90度までの方向の指向性を有する音声を収音することができ
る。アレーマイクロホン10Bは、左右それぞれ90度までの方向と上下それぞれ90度
までの方向の指向性を有する音声を収音することができる。

0023

アレーマイクロホン10によって収音した音声信号は、音声信号演算部12(12’)
に入力されて、後述する演算処理が施される。音声信号演算部12は、アレーマイクロホ
ン10Aからの音声信号を演算処理する。音声信号演算部12’は、アレーマイクロホン
10Bからの音声信号を演算処理する。音声信号演算部12(12’)は、ビデオカメラ
100が撮影している撮影範囲である画角と予め設定した所定の分解能とによって決まる
チャンネル数の音声信号を演算処理によって生成して出力する。

0024

音声信号増幅部13は、ステレオマイクロホン11より出力されたステレオ音声信号
、音声信号演算部12(12’)より出力されたチャンネル数の音声信号とをそれぞれ増
幅して、映像音声記録処理部16に供給する。

0025

制御部20は、ビデオカメラ100の全体を制御する。操作部30によってズームを調
整する操作がなされたら、ズーム調整部17は、指定されたズームとなるよう映像撮影
18を制御する。操作部30は、ビデオカメラ100の筐体に設けられている操作部また
はビデオカメラ100を遠隔制御するリモートコントローラである。映像撮影部18は、
ズームレンズと、CCDまたはCMOSの撮像素子とを有する。ズーム調整部17による
ズーム調整によって決まる実効焦点距離を示す情報は、指向性切替部14に入力される。

0026

図2において、ビデオカメラ100が被写体200を撮影している際に実際にビデオ
メラ100によって映像情報が取り込まれる撮影範囲は、破線で囲んだ画角201の部分
である。画角201は、ズーム調整部17によるズーム調整によって大きくなったり小さ
くなったりする。指向性切替部14は、実効焦点距離に基づいて、画角201の大きさで
あるビデオカメラ100が実際に撮影している水平方向及び垂直方向の角度範囲を知るこ
とができる。

0027

指向性切替部14には、分解能が例えば10度と設定されている。制御部20によって
、指向性切替部14に設定する分解能を可変できるようにしてもよい。指向性切替部14
は、実効焦点距離に基づいて画角201の情報を得るようにしているが、他の方法によっ
て画角201の情報を得るようにしてもよい。

0028

指向性切替部14は、音声信号演算部12(12’)が画角201と分解能とによって
決まるチャンネル数それぞれのチャンネルの音声信号を演算処理して出力するよう、音声
信号演算部12(12’)を制御する。指向性情報生成部15は、音声信号演算部12(
12’)が生成するそれぞれのチャンネルの音声信号の指向性情報を生成して、映像音声
記録処理部16に供給する。指向性情報は、例えば、水平方向または垂直方向のどの角度
方向からの音声信号であるかを示す。

0029

映像撮影部18より出力された映像信号は、映像信号処理部19に入力される。映像信
号処理部19は、入力された映像信号をA/D変換して所定の信号処理を施し、映像音声
記録処理部16に供給する。

0030

映像音声記録処理部16は、音声信号増幅部13より出力されたステレオ音声信号及び
指向性を有するマルチチャンネル音声信号と、指向性情報生成部15より出力された指向
性情報と、映像信号処理部19より出力された映像信号とを所定の信号形式のデータとし
て、記録媒体40に記録する。映像音声記録処理部16は、映像信号及び音声信号を所定
圧縮処理方式で圧縮して記録媒体40に記録してもよい。

0031

記録媒体40には、ステレオ音声信号及びマルチチャンネル音声信号が、マルチトラ
クで記録される。記録媒体40は、半導体メモリハードディスクドライブ等のビデオ
カメラ100に内蔵されている記録媒体でもよいし、メモリカード等の着脱自在の記録媒
体でもよい。

0032

図4を用いて、音声信号演算部12(12’)がそれぞれの方向の音声信号をどのよう
に演算処理して生成するかについて説明する。図4では、アレーマイクロホン10Aを例
にして説明する。アレーマイクロホン10Aのマイクロホン素子MEの破線で示す配列方
向に対する法線をL0とする。法線L0の方向を0度とする。音声の入射方向が0度であ
れば、それぞれのマイクロホン素子MEにはほぼ同時に音声が到達する。

0033

図4に示すように、法線L0に対して30度の直線L30の方向からの音声を収音する場
合を考える。アレーマイクロホン10Aに対して直線L30の方向から音声が入射すると、
6つのマイクロホン素子MEの中央を基準位置として、右側の3つのマイクロホン素子M
EにはそれぞれDL1,DL2,DL3なる遅延時間で音声が到達する。左側の3つのマイクロホ
ン素子MEにはそれぞれ基準位置よりも早く音声が到達することになり、負の遅延時間で
ある-DL1,-DL2,-DL3なる遅延時間で音声が到達する。

0034

即ち、それぞれのマイクロホン素子MEが収音する音声を、図4に示す遅延時間だけ遅
延させれば、アレーマイクロホン10Aの法線L0に対して30度の角度である直線L30
の方向から音声を収音することができることになる。実際には、負の遅延時間で音声を遅
延させることはできないため、例えば、最も左に位置するマイクロホン素子MEの遅延時
間を0として、右側のマイクロホン素子MEほど遅延時間を多くするように遅延させれば
、30度の方向からの音声を収音することができる。

0035

このように、アレーマイクロホン10A,10Bのマイクロホン素子MEが収音する音
声を法線方向からの左右の角度に応じた遅延時間だけ遅延させれば、水平方向の複数の角
度方向からの音声を収音することができる。同様にして、アレーマイクロホン10Bの場
合には、収音する音声を上下方向の角度に応じた遅延時間だけ遅延させれば、垂直方向の
複数の角度方向からの音声を収音することができる。

0036

音声信号演算部12(12’)は以上説明した原理に基づいて左右または上下のそれぞ
れの角度方向からの指向性を有する音声信号を演算処理して生成する。まず、図5を用い
て、アレーマイクロホン10Aからの音声信号を演算処理する音声信号演算部12の具体
的構成及び動作を説明する。

0037

図5に示すように、音声信号演算部12は、可変遅延器121a〜121fと、加算器122と
増幅器123とを備える。可変遅延器121a〜121fは、マイクロホン素子MEの数に対応
して設けられている。可変遅延器121a〜121fには、制御部20から、可変遅延器121a〜12
1fそれぞれの遅延時間を設定するための水平遅延制御信号Sdlchが入力される。

0038

例えば画角201が水平方向60度であり、分解能が10度と設定されている場合、音
声信号演算部12は、法線方向である0度、右方向に10度,20度,30度、左方向に
10度,20度,30度の7チャンネル分の方向の音声信号を演算処理して生成する。画
角201が水平方向30度であれば、4チャンネル分となる。制御部20は、それぞれの
チャンネルの方向とするための遅延時間を設定するための水平遅延制御信号Sdlchを、可
遅延器121a〜121fに供給する。

0039

画角201が水平方向60度の場合、制御部20は、0度、右方向に10度,20度,
30度、左方向に10度,20度,30度の7チャンネル分の音声信号を生成するための
それぞれの遅延時間を設定するよう、水平遅延制御信号Sdlchを順次切り替えて可変遅延
器121a〜121fに供給する。

0040

それぞれのマイクロホン素子MEより出力された音声信号は、いずれかのチャンネルに
対応した遅延時間に設定されている可変遅延器121a〜121fによって遅延される。加算器1
22は、可変遅延器121a〜121fより出力された音声信号を全て加算し、増幅器123は、
加算器122より出力された加算音声信号増幅して、1つのチャンネルの音声信号とし
て出力する。音声信号演算部12は、水平遅延制御信号Sdlchによって可変遅延器121a〜
121fによるそれぞれのチャンネルに対応した遅延時間に設定することにより、7チャン
ル分の音声信号を順次生成して出力する。

0041

次に、図6を用いて、アレーマイクロホン10Bからの音声信号を演算処理する音声信
号演算部12’の具体的構成及び動作を説明する。図6に示すように、音声信号演算部1
2’は、水平遅延部12b1,12b2,12b3と、垂直遅延部124と、加算器125と、
増幅器126とを備える。水平遅延部12b1,12b2,12b3は、図3の(b)に示すマ
クロホン素子MEの配列10b1,10b2,10b3に対応して設けられている。

0042

水平遅延部12b1は、可変遅延器121a1〜121f1と加算器1221とを有する。水平遅延部1
2b2は、可変遅延器121a2〜121f2と加算器1222とを有する。水平遅延部12b3は、可変遅
延器121a3〜121f3と加算器1223とを有する。可変遅延器121a1〜121f1,121a2〜121f2,12
1a3〜121f3には、図5で説明した水平遅延制御信号Sdlchが入力される。水平遅延部12
b1,12b2,12b3それぞれの動作は、図5の可変遅延器121a〜121f及び加算器122の
部分と同じである。

0043

垂直遅延部124の可変遅延器1241〜1243には、制御部20から、水平遅延部12b1,
12b2,12b3より出力された音声信号に基づいて、画角201の垂直方向の角度と分解
能とで決まるそれぞれの指向性を有する声信号を生成するための垂直遅延制御信号Sdlcv
が入力される。水平遅延部12b1,12b2,12b3より出力された音声信号は、垂直方向
のいずれかのチャンネルに対応した遅延時間に設定されている可変遅延器1241〜1243によ
って遅延される。

0044

加算器125は、可変遅延器1241〜1243より出力された音声信号を全て加算し、増幅器
126は、加算器125より出力された加算音声信号を増幅して、1つのチャンネルの音
声信号として出力する。音声信号演算部12’は、垂直遅延制御信号Sdlcvによって可変
遅延器1241〜1243によるそれぞれの垂直方向のチャンネルに対応した遅延時間に設定する
ことにより、複数チャンネル分の音声信号を順次生成して出力する。

0045

音声信号演算部12’は、水平方向の角度方向のチャンネル数をn、垂直方向の角度方
向のチャンネル数をmとすれば、n×mチャンネルの音声信号を生成することになる。

0046

図7を用いて、以上のように構成されるビデオカメラ100の記録側の動作を改めて説
明する。ビデオカメラ100の電源投入されると、制御部20は、ステップS1にて、
被写体の撮影を開始させる。制御部20は、ステップS2にて、操作部30よって記録開
始の指示があったか否かを判定する。記録開始の指示がなければ(NO)、ステップS2を
繰り返す。

0047

記録開始の指示があれば(YES)、指向性切替部14は、ステップS3にて、実効焦点
距離を取得する。指向性切替部14は、ステップS4にて、画角と分解能からチャンネル
数を決定する。ここでのチャンネル数とは、アレーマイクロホン10によって収音して生
成するマルチチャンネル音声信号のチャンネル数である。

0048

実効焦点距離をf、画角201における撮像素子の受像領域の水平方向の長さ(画角2
01の幅)をLW、垂直方向の長さ(画角201の高さ)をLHとすれば、画角201の
水平方向の角度αWと垂直方向の角度αHは次の式(1),(2)ようにして求めること
ができる。
αW=2tan-1(LW/2f) …(1)
αH=2tan-1(LH/2f) …(2)

0049

式(1),(2)より求めた画角201の水平方向の角度αWと垂直方向の角度αHと
、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定すること
ができる。

0050

指向性切替部14は、ステップS5にて、それぞれのチャンネルに対応した角度方向の
遅延時間を決定する。音声信号演算部12(12’)は、ステップS6にて、それぞれの
角度方向の収音を演算処理する。

0051

映像音声記録処理部16は、ステップS7にて、映像信号と、ステレオ音声信号と、そ
れぞれの角度方向の音声信号と、角度方向を示す指向性情報とを記録媒体40に記録させ
る。映像音声記録処理部16は、それぞれの角度方向の音声信号をマルチトラックで記録
させる。

0052

制御部20は、ステップS8にて、ズーム倍率が変更されたか否かを判定する。ズーム
倍率が変更されたら(YES)、処理をステップS3に戻す。ズーム倍率が変更されなかっ
たら(NO)、制御部20は、ステップS9にて、記録終了の指示があったか否かを判定す
る。記録終了の指示がなければ(NO)、処理をステップS6に戻す。記録終了の指示があ
れば(YES)、制御部20は、ステップS10にて、記録停止の処理を実行させ、処理を
ステップS2に戻す。

0053

次に、記録媒体40に記録された映像信号及び音声信号の再生動作について説明する。
図1において、操作部30によって記録媒体40に記録されている映像信号(撮影コン
ンツ)を再生する操作がなされると、映像音声再生処理部21は、制御部20による制御
に基づいて、記録媒体40に記録されている映像信号及びステレオ音声信号を読み出し
再生処理を施す。

0054

映像信号及びステレオ音声信号が所定の圧縮処理方式で圧縮されて記録媒体40に記録
されている場合には、映像音声再生処理部21は、映像信号及びステレオ音声信号を伸長
する。マルチチャンネル音声信号及び指向性情報は、後述する特定の操作がなされると、
記録媒体40より読み出される。

0055

映像音声再生処理部21より出力されたステレオ音声信号は、音声出力処理部22に入
力される。音声出力処理部22は、ステレオ音声信号に基づいた音をスピーカ23より発
生させる。操作部30によって、音量を増加または減少させる指示がなされたら、制御部
20は、音声出力処理部22におけるステレオ音声信号の増幅度を制御する。ステレオ音
声信号を、音声出力端子29aより外部へと出力させることができる。

0056

映像音声再生処理部21より出力された映像信号は、映像信号処理部24に入力されて
処理される。映像合成部25は、付加情報発生部26が付加情報を発生している場合には
、映像信号処理部24より出力された映像信号に付加情報を重畳させるよう合成する。映
表示処理部27は、映像信号処理部24より出力された映像信号または映像合成部25
によって付加情報が重畳された映像信号を表示部28に表示させるよう処理する。

0057

表示部28は、図2に示すように、例えばビデオカメラ100の筺体側面に設けられて
いる液晶パネルである。映像信号を、映像出力端子29vより外部へと出力させることが
できる。

0058

図8は、ビデオカメラ100をテレビジョン受像機300に接続し、映像信号をテレビ
ジョン受像機300の画面に表示させ、ステレオ音声信号による音声をテレビジョン受像
機300に内蔵されているスピーカより発生させている状態を示している。図8では、リ
モートコントローラを操作部30としている。テレビジョン受像機300は、ビデオカメ
ラ100外部の表示部である。

0059

ユーザ400が操作部30によって、アレーマイクロホン10によって収音して生成し
たマルチチャンネル音声信号を再生する所定の操作をしたら、制御部20は、付加情報発
生部26によって、映像信号に図8に示すようなポインタ画像51を示す付加情報信号
発生させ、画面に表示されている画像にポインタ画像51を重畳させる。ポインタ画像5
1は、予め設定した初期位置に表示させるようにすればよい。

0060

図9は、表示部28及びテレビジョン受像機300の画面に表示されている画像を示し
ている。アレーマイクロホン10が図3の(a)に示すアレーマイクロホン10Aの場合
には、制御部20は、付加情報発生部26によって、映像信号に図9に示すような縦線
水平位置識別画像52を示す付加情報信号を発生させ、画面に表示されている画像に水平
位置識別画像52を重畳させることが好ましい。水平位置識別画像52は、水平方向の角
度方向を区分けするための第1の識別画像である。

0061

水平位置識別画像52の本数は、マルチチャンネル音声信号のチャンネル数に対応した
本数することが好ましい。マルチチャンネル音声信号のチャンネル数が7であれば、水平
位置識別画像52の本数を6本とすれば、画面を水平方向に7分割することができる。こ
の場合、画面は7つの領域に分割される。

0062

ユーザ400が操作部30における例えば左右のカーソルキーによってポインタ画像5
1を左方向または右方向へと移動させる操作をしたら、制御部20は、ポインタ画像51
を左右方向に移動させる。図9では、ポインタ画像51は円内に右向きの矢印よりなる画
像であるが、ポインタ画像51を左方向へと移動させたら、円内に左向きの矢印よりなる
画像とする。円内に右向きまたは左向きの矢印のポインタ画像51は、マルチチャンネル
音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加情
報に相当する。

0063

アレーマイクロホン10が図3の(b)に示すアレーマイクロホン10Bの場合には、
制御部20は、付加情報発生部26によって、映像信号に図10に示すような縦線の水平
位置識別画像52と横線の垂直位置識別画像53それぞれを示す付加情報信号を発生させ
、画面に表示されている画像に水平位置識別画像52及び垂直位置識別画像53を重畳さ
せることが好ましい。垂直位置識別画像53は、垂直方向の角度方向を区分けするための
第2の識別画像である。

0064

垂直位置識別画像53の本数は、マルチチャンネル音声信号の垂直方向のチャンネル数
に対応した本数することが好ましい。マルチチャンネル音声信号の垂直方向のチャンネル
数が4であれば、垂直位置識別画像53の本数を3本とすれば、画面を垂直方向に4分割
することができる。マルチチャンネル音声信号の水平方向のチャンネル数が7であれば、
水平位置識別画像52と垂直位置識別画像53によって画面は28の領域に分割される。

0065

ユーザ400が操作部30における例えば上下のカーソルキーによってポインタ画像5
1を上方向または下方向へと移動させる操作をしたら、制御部20は、ポインタ画像51
を上下方向に移動させる。ポインタ画像51を上方向へと移動させたら、円内に上向きの
矢印よりなる画像とし、ポインタ画像51を下方向へと移動させたら、円内に下向きの矢
印よりなる画像する。この際、円内の矢印の先が領域の中央を指し示すように表示させる
。円内に上向きまたは下向きの矢印のポインタ画像51は、マルチチャンネル音声信号に
おける垂直方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当す
る。

0066

図9において、ユーザ400が操作部30における例えば決定キーを操作したら、制御
部20は、マルチチャンネル音声信号のうち、ポインタ画像51の位置に応じた再生すべ
き角度方向のチャンネルを決定する。制御部20は、映像音声再生処理部21を制御して
、決定したチャンネルの角度方向を示す指向性情報に基づいて、決定したチャンネルの音
声信号を記録しているトラックを再生させる。

0067

このように、ビデオカメラ100は、ポインタ画像51の水平方向の位置を移動させて
、決定キーを操作することによって、水平方向それぞれの角度方向のチャンネルの音声信
号を選択して再生させることができる。図10において、右端部に位置しているこどもが
発している声を聞きたい場合には、ポインタ画像51を右端部方向に移動させて決定キー
を操作すれば、そのこどもが発している声を再生して聞くことができる。

0068

図10の場合には、ポインタ画像51の垂直方向の位置を移動させて、決定キーを操作
することによって、垂直方向それぞれの角度方向のチャンネルの音声信号を選択して再生
させることができる。

0069

水平方向または垂直方向の角度方向を選択するための付加情報の画像は、図9図10
に示すようなポインタ画像51に限定されるものではない。例えば、小さな円形画像でも
よい。また、ポインタ画像の代わりに分割領域をハイライトグレーアウトさせてもよい

0070

さらに、図11に示す他の方法での表示を行ってもよい。図11は、水平方向の角度方
向を選択するための付加情報の画像の他の例を示している。図11に示す例は、マイクロ
ホンの画像を用いたポインタ画像54を示している。ユーザ400が操作部30における
例えば左右のカーソルキーを操作すると、マイクロホンの画像の端部を中心としてポイン
タ画像54が向く方向を変化させることができる。

0071

ポインタ画像54が向く方向を適宜設定して、ユーザ400が操作部30における例え
ば決定キーを操作したら、制御部20は、マルチチャンネル音声信号のうち、ポインタ
像54が向く方向に応じて、再生すべき角度方向のチャンネルを決定する。制御部20は
、映像音声再生処理部21を制御して、決定したチャンネルの角度方向を示す指向性情報
に基づいて、決定したチャンネルの音声信号を記録しているトラックを再生させる。

0072

図12を用いて、以上のように構成されるビデオカメラ100の再生側の動作を改めて
説明する。制御部20は、ステップS21にて、記録されている映像信号(撮影コンテン
ツ)の再生指示がなされたか否かを判定する。再生指示がなされなければ(NO)、制御部
20は、ステップS21を繰り返す。再生指示がなされたら(YES)、制御部20は、ス
テップS22にて、映像信号とステレオ音声信号を再生させる。

0073

制御部20は、ステップS23にて、ポインタ画像51を表示させる指示があったか否
かを判定する。ここでは、ポインタ画像51を用いる場合の動作について示す。制御部2
0は、指示があれば(YES)、処理をステップS24に移行させ、指示がなければ(NO)
、処理をステップS36に移行させる。制御部20は、ステップS24にて、ポインタ画
像51を初期位置に表示させる。

0074

制御部20は、ステップS25にて、ポインタ画像51を移動させる指示があったか否
かを判定する。ポインタ画像51を移動させる指示があれば(YES)、制御部20は、ス
テップS26にて、ポインタ画像51を移動させる。ポインタ画像51を移動させる指示
がなければ(NO)、制御部20は、処理をステップS37に移行させる。

0075

制御部20は、ステップS27にて、選択された角度方向の音声信号を再生する指示が
なされたか否かを判定する。制御部20は、選択された角度方向の音声信号を再生する指
示がなされたら、処理をステップS28に移行させ、指示がなされなかったら、処理をス
テップS37に移行させる。

0076

制御部20は、ステップS37にて、ポインタ画像51の表示解除の指示があったか否
かを判定する。例えば、操作部30における戻りキーを操作したら、ポインタ画像51の
表示解除の指示があったとすればよい。ポインタ画像51の表示解除の指示があれば(YE
S)、制御部20は、ステップS38にて、ポインタ画像51の表示を解除して、処理を
ステップS36に移行させる。ポインタ画像51の表示解除の指示がなければ(NO)、制
御部20は、処理をステップS25に戻す。

0077

制御部20は、ステップS28にて、ポインタ画像51の位置から再生すべきトラック
番号を決定する。制御部20は、ステップS29にて、決定したトラック番号の音声信号
を再生する。制御部20は、ステップS30にて、再生しているトラック番号の音声信号
の再生を停止する指示がなされたか否かを判定する。再生停止の指示がなされたら(YES
)、制御部20は、ステップS31にて、再生している音声信号の再生を停止させ、処理
をステップS25に戻す。

0078

再生停止の指示がなされなかったら(NO)、制御部20は、ステップS32にて、ポイ
ンタ画像51を移動させる指示があったか否かを判定する。制御部20は、ポインタ画像
51を移動させる指示があれば(YES)、処理をステップS28に戻し、ポインタ画像5
1を移動させる指示がなければ(NO)、処理をステップS33に移行させる。

0079

制御部20は、ステップS33にて、ポインタ画像51の表示解除の指示があったか否
かを判定する。ポインタ画像51の表示解除の指示がなければ(NO)、制御部20は、処
理をステップS29に戻す。ポインタ画像51の表示解除の指示があれば(YES)、制御
部20は、ステップS34にて、ポインタ画像51の表示を解除し、ステップS35にて
、再生している音声信号の再生を停止させて、ステップS36に移行させる。

0080

制御部20は、ステップS36にて、コンテンツデータの再生停止の指示がなされたか
否かを判定する。再生停止の指示がなされなければ(NO)、制御部20は、処理をステッ
プS22に戻す。再生停止の指示がなされたら(YES)、制御部20は、ステップS39
にて、映像信号及びステレオ音声信号の再生を停止させて、処理をステップS21に戻す

0081

ところで、上記のステップS29では、単に決定したトラック番号の音声信号を再生す
ると説明した。一般的には、図8に示すテレビジョン受像機300はステレオスピーカ
あり、ステレオスピーカを用いて、マルチチャンネル音声信号のうちの選択した角度方向
の音声信号を、あたかも視聴時の画面に対応する角度方向から音が聞こえてくるよう再生
することが必要である。

0082

一般的に2チャンネルステレオでは、音の強度差をつけることによって音像定位の制御
ができる。ある音声信号が左(L)チャンネルには重み係数wL、右(R)チャンネルには
wRの重み係数を乗じて分配されるときに、聴取ポイントを中心とした正面からスピーカま
での角度をφ0、正面から音声の定位位置までの角度をφ(正面から右側を正)とすると
次式の関係になることが一般に知られている(非特許文献1、p.34参照)。ここで、φ
0は表示装置視野角に近いことが望ましい。
sinφ/sinφ0=(wL−wR)/(wL+wR) …(3)

0083

このことを利用して、音声出力処理部22は、マルチチャンネル音声信号のうちの選択
したチャンネルの音声信号を、水平方向の角度方向に応じた比率で、ステレオ音声信号に
おけるLチャンネルとRチャンネルとに例えば次のように振り分ければよい。

0084

マルチチャンネルのチャンネル数をN、マルチチャンネルの左端のチャンネルから順に
チャンネル番号nを1,2,3,…とすると、式(3)は次の式(4)のようになる。

0085

0086

例えば、水平方向にチャンネル数Nが7の場合を考える。ここで、THX(THX社の登録
標)では2φ0=36°〜40°の視野角を推奨しており、視野角40°で視聴すると考える。
正面から左側へ1つ目、つまり左端から3つ目のチャンネルを選択した場合には、スピ
カ間の角度を2φ0=40°として、左辺分子のsin関数変数部分のφ0{(n-1)-(N-1)/2}
/Nより、40°・{(3-1)-(7-1)/2}/7=約-5.71°、つまり約5.71°正面から左側にずれた位
置に定位させる必要がある。φ=5.71°として式(4)より、wL:wR=1.29:0.71=0.
645:0.355となる。つまり、選択したチャンネルの音声信号を、Lチャンネルに35.5%、
Rチャンネルに64.5%で振り分ければよい。

0087

正面から右側へ2つ目、つまり左端から6つ目のチャンネルを選択した場合には、同様
に式(4)より、Lチャンネルに21%、Rチャンネルに79%で振り分ければよい。

0088

以上のようにすれば、ステレオ音声信号とマルチチャンネル音声信号のうちの選択した
チャンネルの音声信号とが自然に合成され、選択した位置(方向)の音声を的確に再生す
ることができる。本実施形態によれば、再生ズームを行った際に、ズームアップした映像
と再生される音声とを対応させることができ、ユーザはほとんど違和感を覚えることがな
い。

0089

垂直方向に複数チャンネルを有するマルチチャンネル音声信号の場合には、例えば、複
数のスピーカを垂直方向に配置したマルチチャンネルスピーカを用いて、同様に、複数の
スピーカに対して比率を適宜設定して振り分ければよい。

0090

<第2実施形態>
図13に示す第2実施形態のビデオカメラ101は、第1実施形態のビデオカメラ10
0における指向性情報生成部15を省略した構成である。指向性情報生成部15を省略し
た以外、ビデオカメラ101はビデオカメラ100と同じ構成であり、具体的な説明を省
略する。

0091

制御部20は、映像音声再生処理部21が記録媒体40から読み出したコンテンツデー
タのステレオ音声信号以外の音声信号のトラック数によって、画角201の水平及び垂直
方向の角度を知ることができる。

0092

指向性切替部14に設定されている分解能が固定であれば、制御部20は、それぞれの
トラックがどの角度方向からの音声信号であるかを知ることは可能である。よって、指向
性情報生成部15を省略してもよい。但し、分解能を変更する可能性がある場合には、指
向性情報生成部15を設けることが必要となる。よって、第1実施形態のビデオカメラ1
00の方が好ましい構成である。

0093

本発明は以上説明した第1,第2実施形態に限定されるものではなく、本発明の要旨を
逸脱しない範囲において種々変更可能である。

0094

10,10A,10Bアレーマイクロホン
12,12’音声信号演算部
14指向性切替部
15指向性情報生成部
16映像音声記録処理部
17ズーム調整部
18映像撮影部
21映像音声再生処理部
22音声出力処理部
25映像合成部
26付加情報発生部
28 表示部
40 記録媒体

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ