図面 (/)

技術 音声信号処理装置

出願人 キヤノン株式会社
発明者 市来裕一櫻井博史堀間勝利木村哲哉
出願日 2011年12月2日 (8年11ヶ月経過) 出願番号 2011-265066
公開日 2013年6月13日 (7年5ヶ月経過) 公開番号 2013-117635
状態 特許登録済
技術分野 スタジオ装置 可聴帯域変換器用回路 音声の分析・合成 可聴帯域変換器の回路等
主要キーワード 駆動部毎 駆動雑音 アナログ端子 メニュー表 線形予測法 外付けスピーカ 音質調整処理 サンプル目
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年6月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

本発明は、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる音声信号処理装置を提供することを目的とする。

解決手段

低減処理において、駆動部が駆動していないときに取得された音声信号のデータ量を減少させた信号に基づいて生成された補正音信号と、駆動部が駆動したときに取得された音声信号とを所定の合成比率で合成した信号を用いて駆動音を低減する。

概要

背景

従来、音声信号処理装置として撮像装置が知られており、撮像装置においては、撮像した画像から動画データを生成し、同時に集音した音声を動画データの音声信号として記録することができるものが知られている。

このような撮像装置においては、撮像のために、レンズ絞りなどが駆動したことにより生じる駆動音ノイズ雑音)が集音されてしまった場合などに、その駆動音を低減する信号処理を行うものが登場してきている。例えば、特許文献1には、駆動部の非動作中の音声に基づいて、線形予測法により予測波形信号を生成し、駆動部の動作中の音声信号と、生成した予測波形信号とを所定の割合で合成する技術と所定の比率で合成する技術が開示されている。合成比率は、1:0から0:1に徐々に変化するようにしており、いわゆるクロスフェードさせながら合成しているといえる。

概要

本発明は、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる音声信号処理装置を提供することを目的とする。低減処理において、駆動部が駆動していないときに取得された音声信号のデータ量を減少させた信号に基づいて生成された補正音信号と、駆動部が駆動したときに取得された音声信号とを所定の合成比率で合成した信号を用いて駆動音を低減する。

目的

本発明は、このような問題に鑑み、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる音声信号処理装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

駆動部を有する音声信号処理装置であって、前記駆動部の駆動を制御する制御手段と、前記音声信号処理装置の周囲の音声を示す、所定のサンプリング周波数デジタル化された音声信号を取得する取得手段と、前記取得手段により取得された音声信号を処理する音声処理手段とを有し、前記音声処理手段は、前記駆動部が駆動したときに前記取得手段により取得された音声信号における、前記駆動部の駆動による駆動音を低減する低減処理を行い、前記音声処理手段は、前記低減処理において、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のデータ量を減少させた信号に基づいて、生成された補正音信号と、前記駆動部が駆動したときに前記取得手段により取得された音声信号とを所定の合成比率で合成した信号を用いて前記駆動音を低減することを特徴とする音声信号処理装置。

請求項2

前記音声処理手段は、前記所定の合成比率を、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルに基づいて決定することを特徴とする請求項1記載の音声信号処理装置。

請求項3

前記音声処理手段は、前記所定の合成比率について、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルが小さいほど前記補正音信号の合成比率を大きくすることを特徴とする請求項2記載の音声信号処理装置。

請求項4

前記音声処理手段は、前記所定の合成比率について、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルが大きいほど前記補正音信号の合成比率を小さくすることを特徴とする請求項2記載の音声信号処理装置。

請求項5

前記音声処理手段は、前記所定の合成比率を、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルと、前記駆動部の駆動音の音声レベルとに基づいて、決定することを特徴とする請求項1記載の音声信号処理装置。

請求項6

前記音声処理手段は、前記補正音信号を生成する場合、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のサンプル数間引くことでデータ量を減少させることを特徴とする請求項1から5のいずれか1項記載の音声信号処理装置。

請求項7

前記音声処理手段は、前記補正音信号を生成する場合、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のサンプル数を間引き、前記所定のサンプリング周波数よりも低いサンプリング周波数の信号とし、前記音声処理手段は、前記所定の合成比率を、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の前記低いサンプリング周波数のナイキスト周波数より高い周波数の音声信号の音声レベルに基づいて、決定することを特徴とする請求項1から6のいずれか1項記載の音声信号処理装置。

請求項8

被写体の光学像を取得する撮像手段と、前記撮像手段に対して光学像を導くレンズユニット交換可能に取り付ける装着手段とを有し、前記音声処理手段は、前記所定の合成比率を、前記レンズユニットの駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルと、前記レンズユニット毎に異なる所定の音声レベルとに基づいて、決定することを特徴とする請求項1から7のいずれか1項記載の音声信号処理装置。

請求項9

前記音声処理手段は、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルが閾値レベルよりも大きい場合には、雑音低減処理を行わないことを特徴とする音声信号処理装置。

技術分野

0001

本発明は、音声信号処理装置に関する。

背景技術

0002

従来、音声信号処理装置として撮像装置が知られており、撮像装置においては、撮像した画像から動画データを生成し、同時に集音した音声を動画データの音声信号として記録することができるものが知られている。

0003

このような撮像装置においては、撮像のために、レンズ絞りなどが駆動したことにより生じる駆動音ノイズ雑音)が集音されてしまった場合などに、その駆動音を低減する信号処理を行うものが登場してきている。例えば、特許文献1には、駆動部の非動作中の音声に基づいて、線形予測法により予測波形信号を生成し、駆動部の動作中の音声信号と、生成した予測波形信号とを所定の割合で合成する技術と所定の比率で合成する技術が開示されている。合成比率は、1:0から0:1に徐々に変化するようにしており、いわゆるクロスフェードさせながら合成しているといえる。

先行技術

0004

特開2011−002723号公報

発明が解決しようとする課題

0005

しかしながら、特許文献1に示すような方式で雑音低減を行う場合、予測波形信号を生成する際に、演算負荷が増大してしまうという問題があった。

0006

そこで、本発明は、このような問題に鑑み、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる音声信号処理装置を提供することを目的とする。

課題を解決するための手段

0007

このような目的を達成するために、本発明の音声信号処理装置は、駆動部を有する音声信号処理装置であって、前記駆動部の駆動を制御する制御手段と、前記音声信号処理装置の周囲の音声を示す、所定のサンプリング周波数デジタル化された音声信号を取得する取得手段と、前記取得手段により取得された音声信号を処理する音声処理手段とを有し、前記音声処理手段は、前記駆動部が駆動したときに前記取得手段により取得された音声信号における、前記駆動部の駆動による駆動音を低減する低減処理を行い、前記音声処理手段は、前記低減処理において、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のデータ量を減少させた信号に基づいて、生成された補正音信号と、前記駆動部が駆動したときに前記取得手段により取得された音声信号とを所定の合成比率で合成した信号を用いて前記駆動音を低減すること特徴とする。

発明の効果

0008

本発明によれば、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる。

図面の簡単な説明

0009

撮像装置100の構成を示す図である。
本実施例の雑音低減処理の動作の制御を説明するためのフロー図である。
本実施例の音声処理部121の機能ブロック示す図である。

0010

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。

0011

本実施例では、音声信号処理装置の一例として撮像装置を例にとって説明するが、撮像装置でなくとも、駆動部を有し、音声信号処理を行うことができる装置であればどのような装置であっても良い。例えば、携帯電話コンピュータゲーム機などであっても良い。

0012

本実施例の撮像装置100は、撮像レンズ、絞り、シャッターなどを駆動させるためのアクチュエータなどの駆動部を有し、また、周囲の音声を集音する為の集音部(マイクユニット)を有する。本実施例の撮像装置100は、このような構成を有し、駆動部の駆動している期間の音声信号に対して、駆動部の駆動していない期間の音声信号に基づいて生成された補正音信号を所定の割合で合成することにより、駆動部の駆動音を低減することができる。

0013

本実施例の撮像装置100の特徴的な動作の一つは、補正音信号を生成する際の処理にある。

0014

音声は、音声入力部であるたとえばマイクユニットによりアナログ音声信号として取得され、たとえば、A/D変換回路で48kHzのサンプリング周波数でサンプリングされてデジタル音声信号に変換される。そして、音声処理部にて、音量調整処理周波数フィルタによる周波数制限処理などが施されてRAMに記憶される。

0015

そして、駆動部が駆動する場合には、RAMに記憶されている駆動部の駆動していない期間の音声信号に基づいて補正音信号を生成し、RAMに記憶されている駆動部の駆動している期間の音声信号に対して所定の割合で合成する。

0016

補正音信号を生成のする際には、まず、RAMに記憶されている駆動部の駆動していない期間の音声信号を読出し、例えば、3サンプリング毎加算平均値を算出してサンプリング数を1/3に減少させる。すなわち、48kHzの音声信号を16kHzに変換し、サンプリング数を減少させるような処理を行う。

0017

そして、サンプリング数を減少させた駆動部の駆動していない期間の音声信号に基づいて補正音信号を生成する。ここで生成された補正音信号は16kHzの音声信号となり、記録される音声信号とサンプリング周波数をあわせるため、サンプリング数を3倍にして、48kHzの信号に変換する。サンプリング数の増やし方の一つとしては、生成された16kHzの補間信号の各サンプルを直線補間する方法がある。また、その後、さらに、ローパスフィルタ掛け補正音信号の急峻な変化を抑制するようにしても良い。
なお、サンプリング数の増やし方はこれ以外の方法であっても良い。

0018

また、本実施例の撮像装置100のさらに特徴的な動作の一つは、生成された補正音信号を駆動部の駆動している期間の音声信号に合成する際の処理にもある。

0019

すなわち、補正音信号の基となる駆動部の駆動音の含まれていない期間の音声のレベルに応じて、補正音信号の合成比率を変更するのである。なお、駆動部の駆動音の含まれていない期間の音声のレベルが大きくなるにつれて、補正音信号の合成割合を低下させ、駆動部の駆動音の含まれていない期間の音声のレベルが小さくなるにつれて、補正音信号の合成割合を増加させる。

0020

本実施例の撮像装置100は、このような動作を行うことにより、駆動部の駆動していない期間の音声信号に基づいて予測波形信号を生成する演算量を低減することができる。さらに、生成された補正音信号に含まれる可能性のあるノイズ(16kHzのナイキスト周波数以上の周波数の音声が折り返し歪みを起こすことで発生するノイズ)を目立たなくすることができる。

0021

以下、このような撮像装置についてについて説明する。

0022

<全体構成>
図1は、本実施例の撮像装置100の構成を示すブロック図である。

0023

撮像装置100は、CPU101、RAM102、FlashROM103、操作部104を有する。また、撮像装置100は、撮像部110、画像処理部111、音声入力部120、音声処理部121、表示部130、表示制御部131、音声出力部132、記録媒体140、記録再生部141、通信部150を有する。また、撮像装置100は、符号化復号化処理部160を有する。

0024

図1において、CPU101は、FlashROM103に記録された撮像装置100の制御プログラムをRAM102に展開し、RAM102をワークメモリとして使用しながら、撮像装置100の各ブロックを制御するものである。操作部104は、例えば、電源タン記録ボタンズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類を有する。また、メニュー表示ボタン、決定ボタン、その他カーソルキーポインティングデバイスタッチパネル等を備え、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとCPU101に操作信号を送信する。

0025

撮像部110は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、CCDセンサCMOSセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号デジタル画像信号に変換して一時的にRAM102に記憶するものである。RAM102に記憶されたデジタル画像信号は、その後、画像処理部111に送信される。画像処理部111は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。画像処理部111は、デジタル画像信号のホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から自動的に判定した設定値に基づいて調整する画質調整処理を行い、処理をしたデジタル画像信号を再びRAM102に記憶させるものである。なお、画像処理部111の処理は、CPU101がFlashROM103に記録された前述の処理を実行する為のプログラムをRAM102に展開して実行するようにしてもよい。なお、撮像部110は、撮像レンズ、絞り、シャッターおよび、これらを駆動させるアクチュエータなどの様々な駆動部を有する。また、撮像装置100が交換レンズ式の撮像装置である場合には、撮像部110は、レンズユニット交換可能に装着することができる装着部を有する。レンズユニットは、撮像素子に被写体の光学像を導くものであり、装着部は異なる種類のレンズユニットを交換して装着することができる。

0026

音声入力部120は、たとえば、内蔵された無指向性マイクにより、撮像装置100の周囲の音声を集音(収音)し、得られたアナログ音声信号をA/D変換部によりデジタル化してデジタル音声信号を取得するものである。本実施例においては、例えば、アナログ音声信号を48kHzのサンプリング周波数でサンプリングしてデジタル音声信号に変換するものとする。そして、音声入力部120で取得されたデジタル音声信号は、音声処理部121に送信される。音声処理部121は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。音声処理部121では、記録時においては、レベルの適正化処理や周波数制限処理、雑音低減処理等の処理を行い、処理をしたデジタル音声信号をRAM102に記憶させるものである。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、AC3、AAC等の公知の一般的な音声圧縮方式を用いており、本発明の特徴とは関係ないので説明を省略する。また、再生時においては、記録媒体140から記録再生部141によって読出された音声ファイル動画ファイルに含まれる圧縮音声データ復号する処理も行う。なお、音声処理部121の処理は、CPU101がFlashROM103に記録された前述の処理を実行する為のプログラムをRAM102に展開して実行するようにしてもよい。

0027

なお、本実施例の音声処理部121は、後述するように、撮像部110等の駆動部の駆動音を低減する処理を実行することができる。たとえば、本実施例においては、駆動部の駆動している期間の音声信号を、その期間の前および/または後の期間の音声信号に基づいて補正音声信号を生成し、生成した補正音声信号を駆動部の駆動している期間の音声信号に合成する処理を行うことができる。

0028

また、表示制御部131は、表示部130に画像を表示するための表示制御を行うマイクロコンピュータであって、メモリ104に一時的に記憶されたデジタル画像信号を読み出して、表示部130に表示させる処理を行う。また、記録媒体140から記録再生部141によって読出された動画ファイルや静止画ファイルに含まれる画像データの画像を表示部130に表示させる処理も行う。表示部130は、たとえば撮像装置100に搭載された液晶パネル有機ELパネル等であっても良いし、撮像装置100とは別の表示装置(たとえば、テレビモニタプロジェクタ)であってもよい。なお、表示制御部131の処理は、CPU101がFlashROM103に記録された前述の処理を実行する為のプログラムをRAM102に展開して実行するようにしてもよい。

0029

符号化復号化処理部160は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。符号化復号化処理部160では、記録時においては、画像処理部111により処理されRAM102に記憶されたデジタル画像信号に基づいて、画像圧縮処理を行い、圧縮された動画データや静止画データを生成し、RAM102に一時的に記憶する処理を行う。また、再生時においては、記録媒体140から読出された画像ファイルの圧縮された動画データや静止画データを復号してデジタル画像信号を抽出し、RAM102に記憶していく処理を行う。なお、CPU101がFlashROM103に記録された前述の処理を実行する為のプログラムをRAM102に展開して実行するようにしてもよい。

0030

次に、記録再生部141は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。記録再生部141では、動画記録時においては、RAM102に記憶されている、符号化復号化処理部160により生成された圧縮動画データ、音声処理部121で生成された音声データ、撮影日等の各種情報とともに、動画ファイルとして記録媒体140に書き込む。また静止画記録時においては、ROM102に記憶されている静止画データを撮影日等の各種情報とともに静止画ファイルとして記録媒体140に記録する。動画ファイルを記録媒体140に記録する際は、圧縮動画データと音声データとからなるデータストリームを形成し、順次記録媒体140に記録していき、ファイルヘッダ等を付加してFATやexFAT等のファイルフォーマット適合した形で動画ファイルを記録媒体に記録する。また、再生時においては、記録媒体140に記録された動画ファイルや静止画ファイルを前述のファイルフォーマットに従って読出す。読出された動画ファイルや静止画ファイルは、CPU101によりヘッダ解析され、圧縮された動画データ、静止画データが抽出される。抽出された圧縮動画データ、静止画データは、RAM102に記憶されて、符号化復号化処理部160により復号される。なお、記録再生部141の処理は、CPU101がFlashROM103に記録された前述の処理を実行する為のプログラムをRAM102に展開して実行するようにしてもよい。

0031

また、記録媒体140は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク光ディスク光磁気ディスク、CD−R、DVD−R、磁気テープ不揮発性半導体メモリフラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部141は、それらの取り外し可能な記録媒体を受け入れるためのインタフェースを含む。

0032

次に音声出力部132は、例えばスピーカ音声出力端子アナログ端子デジタル端子)である。例えばスピーカであれば、CPU101によりflashROM103に記録されている所定のデジタル音声信号の出力が指示されたときにデジタル音声信号をアナログ音声外部に変換し、外部に音声として出力する。また、動画ファイルに格納された音声データの示すデジタル音声信号をアナログ音声信号に変換し、外部に音声として出力する。また、音声出力端子であれば、動画ファイルに格納された音声データの示すデジタル音声信号をアナログ音声信号に変換して外部装置外付けスピーカなど)に出力するか、デジタル音声信号をそのまま外部装置(光デジタル端子搭載のオーディオコンポなど)に出力する。

0033

また、通信部150は、撮像装置100とは異なる外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、有線接続無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。

0034

動画撮影動作
ここで、本実施例の撮像装置100の動画撮影動作について説明する。

0035

本実施例の撮像装置100は、ユーザが操作部104の電源ボタンを操作し、操作部104のモード切り換えスイッチが、例えば、「動画撮影モード」、「再生モード」等のどのモードであるかを操作部104からの指示信号により確認する。そして、「動画撮影モード」であると判定すると以下の動作を開始する。

0036

CPU101は、撮像装置100の各ブロックに、動画撮影の準備をさせる。操作部104から撮影開始の指示が入力されるまでは、CPU101は、撮像部110により得られたデジタル画像信号をRAM102に記憶させ、RAM102に記憶されたデジタル画像信号を読出させて表示部130に画像を表示させように表示制御部131を制御する。なお、画像処理部111により処理され、RAM102に記憶されたデジタル画像信号を読出させて表示部130に画像を表示させるように表示制御部131を制御しても良い。

0037

なお、本実施形態では、撮像部110から出力されるデジタル画像信号のフレームレートは、30フレーム/秒であるとする。また、本実施形態では、記録する動画のサイズ(画素数)を複数のサイズから選択した一つのサイズに設定することができる。

0038

この状態で、CPU101は、操作部104により撮影開始の指示が入力されたか否かを判定する。撮影開始の指示があると、CPU101は、撮像部110により得られたデジタル画像信号をRAM102に記憶させ、RAM102に記憶されたデジタル画像信号に対して設定値に基づいて画質調整処理を施すように画像処理部111を制御する。CPU101は動画撮影を継続している間、30フレーム/秒で撮像部110により出力されるデジタル画像信号を順次、画像処理部111に処理させる。そして、CPU101は、画像処理部111で処理されたデジタル画像信号を、順次RAM102に記憶させる。

0039

次に、CPU101は、RAM102に記憶された複数フレームのデジタル画像信号を順次符号化して動画データを生成するように符号化復号化処理部160を制御する。CPU101は、このとき、各フレーム画像フレーム内予測符号化フレーム、フレーム間予測符号化フレームとして圧縮符号化をするように符号化復号化処理部160を制御する。そして、CPU101は、符号化復号化処理部160で符号化された各フレーム画像を順次RAM102に記憶させていく。

0040

一方、撮影開始の指示があると、CPU101は、音声に関する処理をするようにも各ブロックを制御する。CPU101は、音声入力部120から出力されるアナログ音声信号を順次音声処理部121に転送し、デジタル信号への変換、音質調整処理等を施すように音声処理部121を制御する。また、音声圧縮の設定がされている場合には、CPU101は設定に従って、例えばAC3、AACの音声圧縮方式で音声信号を圧縮するように音声処理部121を制御する。そして、CPU101は、音声処理部121で処理した音声データをRAM102に順次記憶させていく。また、本実施例の音声処理部121は、撮影時に、撮像レンズ、絞り、シャッターおよび、これらを駆動させるアクチュエータなどの様々な駆動部による雑音を低減する処理をこのとき実行する。この処理については後述する。

0041

次にCPU101は、RAM102に記憶された動画データ、音声データを順次、記録媒体140に記録するように、記録再生部141を制御する。このとき例えば、15フレーム分(0.5秒分)の動画データと、0.5秒分の音声データとを一組にし、必要な各種情報を付加したデータストリームを形成し、ファイルシステムに従って記録媒体140に記録するように、記録再生部141を制御する。なお、30フレーム分(1秒分)の動画データと、1秒分の音声データを一組としても良い。CPU101は、これらの動作を動画撮影の停止の指示があるまで継続する。

0042

そして、操作部104により撮影停止の指示が入力されると、CPU101は、画像処理部111の処理を停止させ、RAM102に記憶されたデジタル画像信号の符号化が終了した時点で符号化復号化処理部160の符号化処理を停止させる。そして、CPU101は、RAM102に記憶されている符号化済みの動画データ、音声データを最後まで記録媒体140に記録してから動作を停止するように記録再生部141を制御する。なお、必要に応じて、記録終了後に、動画ファイルの動画データの先頭のフレームや先頭から数フレームの画像データを符号化復号化処理部160に送信して復号させ、復号されたデジタル画像信号の画素数を間引いたサムネイル画像データを生成して、動画ファイルに関連づけて記録するようにしても良い。

0043

この処理が終了すると、CPU101は、再び動画撮影の準備状態に各ブロックを戻す。

0044

<雑音低減処理>
ここで、本実施例の撮像装置100の動画撮影時における雑音低減処理動作について、図2のフローチャート及び、図3の音声処理部121の機能ブロック図を用いて説明する。なお、以下の例においては、撮像部110の絞りの駆動雑音を低減する例について説明するが、これが撮像レンズまたはシャッターの駆動音であっても、同様の雑音低減処理を行うものとする。

0045

この雑音低減処理は、前述したように、動画撮影処理中に順次、音声処理部121で実行される処理である。本実施例における雑音低減処理は、前述したように、雑音の発生する期間である、駆動部の駆動している期間の音声信号を、駆動部の駆動する前およびまたは後の期間の音声信号に基づいて生成された補正音信号に置き換える処理である。本実施例においては、補正音信号の基になる音声信号の集音される期間、すなわち、駆動部の駆動する前または後の期間をサンプリング期間と呼ぶものとする。このサンプリング期間は、例えば駆動部の駆動する前または後の期間の0.2秒の期間であるが、これよりも長くても短くても構わない。

0046

なお、本実施例においては、通常記録される音声信号は、アナログ音声信号からデジタル音声信号に変換する際に48kHzでサンプリングされている。しかし、補正音信号を生成する際には、演算量を低減させるために、サンプリング期間の48kHzでサンプリングされたデジタル音声信号のサンプリング数を減少させる。具体例を挙げると、3サンプル毎加算平均を求めて、その平均値からなる16kHzのデジタル音声信号に変換してから補正音信号を生成する。本実施例では、記録音声を48kHzとし、サンプリング数を減少させる際には、3サンプル毎の加算平均値を用いるものとする。しかし、記録音声は48kHzに限られるものではないし、サンプリング数を減少させる際にも、2サンプル毎の加算平均を用いても、4サンプル毎の加算平均を用いても構わない。また、サンプリング数を減少させる処理も加算平均を用いなくても良い。例えば、3サンプルおきのサンプリング値を用いるだけでも良い。

0047

なお、図2のフローチャートは、前述した動画撮影動作中に、CPU101の制御により実行される雑音低減処理に関する動作を示すものである。なお、雑音低減処理は、一度、音声処理部121により音声信号の音量最適化処理等が施され、RAM102に記憶されている音声信号を用いて行うものとして説明する。

0048

(S210)
まず、CPU101は、例えば撮像部110により得られた画像信号の輝度等を解析し、撮像部110の絞りの駆動が必要であるか否かを判定する。CPU101は、絞りの駆動が必要でない場合には(S210でNo)、音声処理部121に雑音低減処理を実行させない。一方、CPU101は、絞りの駆動が必要な場合には(S210でYes)、音声処理部121に雑音低減処理を実行させる。

0049

(S220)
CPU101は、絞りの駆動が必要な場合には(S210でYes)、撮像部110の絞り(駆動部)を駆動させ、絞り(駆動部)の駆動した期間を決定する。

0050

(S221)
S220で絞り(駆動部)の駆動した期間が決定されると、絞り(駆動部)の駆動した期間の音声信号を補間するための補正音信号を生成するための音声信号を取得するためのサンプリング期間が決定される。そして、CPU101は、RAM102に記憶された音声信号のサンプリング期間に対応する48kHzでサンプリングされた音声信号を読出して、音声処理部121に送信する。またCPU101は、音声処理部121に送信したサンプリング期間に対応する48kHzでサンプリングされた音声信号のサンプリング数を減少させるように音声処理部121のデータ圧縮部310を制御する。この処理は、前述したように、いわば、48kHzのサンプリング周波数の音声信号を16kHzのサンプリング周波数の音声信号に変換する処理である。これは、具体例として前述したように、3サンプル毎の加算平均を求めて、その平均値からなる16kHzのデジタル音声信号に変換してから補正音信号を生成する処理等である。

0051

(S222)
次に、CPU101は、サンプリング数を減少させたサンプリング期間の音声信号の、音声レベルを測定し、得られた音声レベルのうち、最大音声レベルの上位N個の音声レベルの平均値を取得するように音声処理部121のレベル制御部320を制御する。

0052

(S230)
次に、CPU101は、雑音低減処理を実行するか否かを判定するために、S222で記憶した最大音声レベルの上位N個の音声レベルの平均値が閾値レベルよりも小さいか否かを判定する。S222で記憶した最大音声レベルの上位N個の音声レベルの平均値が閾値レベルよりも小さい場合(S230Yes)は、雑音低減処理を実行するように音声処理部121を制御する。S222で記憶した最大音声レベルの上位N個の音声レベルの平均値が閾値レベルよりも小さくない場合(S230でNo)は、雑音低減処理を実行しないように音声処理部121を制御する。

0053

ここで、閾値レベルは、駆動部の駆動による駆動音よりも大きい音声レベルを示しており、S250における所定のレベルよりも大きいレベルである。このような動作によれば、駆動音の発生する前または後の周囲の音声レベルが大きいときには、雑音低減処理をそもそも行わなくても、駆動音が周囲の音声によってマスキングされるため、目立たなくなるため雑音低減処理を行わないようにすることができる。また、前述したように、補正音信号を生成した際に発生する可能性のあるノイズ(16kHzのナイキスト周波数以上の周波数の音声が折り返し歪みを起こすことで発生するノイズ)が低減後の信号に含まれる可能性を排除することができる。

0054

(S240)
S222で記憶した最大音声レベルの上位N個の音声レベルの平均値が閾値レベルよりも小さい場合(S230Yes)は、CPU101は、以下のように音声処理部121を制御する。CPU101は、S221でデータ圧縮部310によりサンプリング数を減少させたサンプリング期間の音声信号に基づいて、補正音信号を生成するように音声処理部121の補正音生成部330を制御する。

0055

補正音信号の生成方法は、いくつかあるが、例えば、特開2011−002723号公報に記載されているように、線形予測法を用いて、サンプリング期間の音声信号に基づいて生成してもよい。ここでいう線形予測法は、例えばn次のFIRフィルタを用いて、1サンプル目からnサンプル目までのサンプリング値に基づいて、n+1サンプル目のサンプリング値を算出するものである。これを、順次実行することで、n+2サンプル目、n+3サンプル目、のサンプリング値を順次算出していくものである。なお、線形予測法は、時間的に前方方向であっても、後方方向であってもどちらの方向にも適用可能である。

0056

本実施例においては、このような方法を用いているが、これ以外の方法を用いて補正音信号を生成してもよい。

0057

本実施例の撮像装置100は、このように、サンプリング数を減少させた音声信号を用いて補正音信号を生成するために、補正音信号を生成するための処理の負荷を低減することができる。

0058

(S241)
次に、CPU101は、S240でいわば16kHzの音声信号に基づいて生成された16kHの補正音信号のサンプル数を増加させて、記録音声と同様の48kHzの補正音信号を生成するように音声処理部121のデータ伸張部340を制御する。これは、前述したように、生成された16kHzの補間信号の各サンプルを直線補間してもよいし、その後、さらに、ローパスフィルタを掛け補正音信号の急峻な変化を抑制するようにしても良い。

0059

(S250)
次に、CPU101は、S241で生成した48kHzの補正音信号を、絞り(駆動部)の駆動している期間の音声信号に対してどの程度の割合で合成するかを決定するように音声処理部121の合成比率判定部350を制御する。そのために、S222で記憶した最大音声レベルの上位N個の音声レベルの平均値の、所定の音声レベルに対する割合を使用する。ここでいう所定のレベルは、例えば、本実施例の音声入力部により集音される絞り(駆動部)の駆動音の想定される音声レベル等を用いる。このレベルは例えば、撮像装置100の起動時に、絞り(駆動部)を駆動させることで取得しても良いし、予め記憶しておいても良い。すなわち、所定の音声レベルは、駆動部毎に異なる音声レベルを示すこともある。

0060

本実施例においては、S222で記憶した最大音声レベルの上位N個の音声レベルの平均値をPとし、所定の音声レベルをQとすると、補正音信号の合成比率Xは、X=1−(P÷Q)とする。一方で、駆動部の駆動している期間の音声信号の合成比率Yは、Y=1−Xとする。

0061

すなわち、サンプリング期間の音声信号の音声レベルが大きいほど、サンプリング期間の音声信号に基づいて生成された補正音信号を、絞り(駆動部)の駆動している期間の音声信号に対して合成する比率(合成比率)を下げていくのである。このように、CPU101は、サンプリング期間の音声信号の音声レベルに応じて、補正音信号の合成比率を変更する。なお、補正音信号は、サンプリング期間の音声信号に基づいて生成されるので、言い換えれば、生成された補正音信号の音声レベルに応じて、補正音信号の合成比率を変更することになる。

0062

このように合成比率を決定することでで、生成された補正音信号に含まれる可能性のあるノイズ(16kHzのナイキスト周波数以上の周波数の音声が折り返し歪みを起こすことで発生するノイズ)を目立たなくすることができる。

0063

(S251)
次に、CPU101は、S250で決定した、合成比率Xで、S241で生成した補正音信号を、合成比率Yで、絞り(駆動部)の駆動している期間の音声信号を互いに合成するように音声信号処理部121の合成部360を制御する。

0064

その後、CPU101は、絞り(駆動部)の駆動している期間の音声信号のとして、合成部360で合成した合成音声信号が記録されるように、RAM102に記憶されている、絞り(駆動部)の駆動している期間の音声信号を上書きする。

0065

(S260)
最後に、CPU101は、撮影終了の指示が操作部104から入力されたか否かを判定し、終了の指示が入力されていれば、雑音低減処理を終了し、終了していなければ、処理をS210に戻し、制御を継続する。

0066

以上のように、CPU101は、動画撮影動作中に、雑音低減処理を実行するように音声処理部121を制御する。

0067

本実施例の撮像装置100は、このような構成により、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる。

0068

また、本実施例の撮像装置100は、加えて、生成された補正音信号に含まれる可能性のあるノイズ(16kHzのナイキスト周波数以上の周波数の音声が折り返し歪みを起こすことで発生するノイズ)を目立たなくすることができる。これは、サンプリング期間の音声信号の音声レベルが大きい場合には、駆動部の駆動音が目立ちにくいため、補正音信号の合成比率を下げてもよく、合成比率を下げることにより補正音信号に発生する折り返し歪みノイズを低減することができるからである。また、サンプリング期間の音声信号の音声レベルが小さい場合には、そもそも、補正音信号に発生する折り返し歪みノイズが小さくなるため、合成比率を上げても、補正音信号に発生する折り返し歪みノイズが大きくなりにくいからである。

0069

このよう本実施例の撮像装置100は、サンプリング期間の音声信号のデータ量を間引いてから補正音信号を生成しても、補正音信号に発生する折り返し歪みノイズの影響を低減しつつ、駆動部の駆動音を低減することができるのである。

0070

なお、本実施例のS222においては、S221でサンプリング数を減少させたサンプリング期間の音声信号の、音声レベルを測定し、得られた音声レベルのうち、最大音声レベルの上位N個の音声レベルの平均値を取得した。しかし、S221でサンプリング数を減少させる前のサンプリング期間の音声信号の、音声レベルを測定し、得られた音声レベルのうち、最大音声レベルの上位N個の音声レベルの平均値を取得しても良い。

0071

なお、本実施例のS222においては、S221でサンプリング数を減少させたサンプリング期間の音声信号の、音声レベルを測定し、得られた音声レベルのうち、最大音声レベルの上位N個の音声レベルの平均値を取得した。しかし、本実施例においては、データ圧縮部310でデータ量を1/3に間引かれた結果、48kHzの音声信号が実質的に16kHzの音声信号に変換されている。そこで、S222において、16kHzのナイキスト周波数である8kHzより高い周波数成分をハイパスフィルタにより抽出し、最大音声レベルの上位N個の音声レベルの平均値を取得しても良い。そうすると、S230の雑音低減処理の実行の有無の判断、及びS250の合成比率の計算においても、8kHzより高い周波数成分の最大音声レベルの上位N個の音声レベルの平均値を使用することになる。すなわち、補正音信号における折り返し歪みノイズの発生元で有る、間引き後のサンプリング期間の音声信号のナイキスト周波数より高い周波数の音声信号の音声レベルを用いてS230の雑音低減処理の実行の有無の判断、及びS250の合成比率の計算を行うことになる。このような構成とすることにより、本実施例の撮像装置100は、補正音信号に発生する折り返し歪みノイズの影響が低い場合には補正音信号の合成比率を増加させることができるので、より効果の高い雑音低減処理を行うことができる。

0072

また、本実施例のS250で算出された補正音信号の合成比率X、駆動部の駆動している期間の音声信号の合成比率Yは、駆動部の駆動している期間の前方における合成比率であってもよい。この場合、駆動部の駆動している期間の後方においては、補正音信号の合成比率は、Xから徐々に0に近づき、駆動部の駆動している期間の音声信号の合成比率は、Yから徐々に1に近づくように変化させても良い。また、合成比率Xと合成比率Yは、駆動部の駆動している期間において、常に一定の値でもよい。

0073

また、本実施例の撮像装置100が例えばレンズ交換式の撮像装置である場合、CPU101は、撮像部110のレンズユニットが装着部に装着された際に、レンズユニットと通信を行い、レンズユニットの記録媒体に記録された識別情報を取得する。そして、識別情報に基づいて、レンズユニットの種類を特定し、その種類に対応した、S230における閾値レベル、S250における所定の音声レベルを設定し、図2の処理を行うようにしてもよい。すなわち、レンズユニット毎に異なる所定の音声レベルをせっていすることができる。このようにすることにより、装着されたレンズユニット毎に異なる駆動音に対応した雑音低減処理を実行することができる。

0074

なお、本実施例の撮像装置100は、例えば、デジタルカメラ、携帯電話、スマートフォンなど動画撮影中静止画撮影を行うことができる装置であればどのような装置であっても良い。また、上述の実施形態の機能を実現するソフトウェアのプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。ここでいうコンピュータは、たとえば、携帯電話、スマートフォン、パーソナルコンピュータなどを含む。

0075

[その他の実施形態]
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

実施例

0076

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコードインタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ