図面 (/)

この項目の情報は公開日時点(2018年3月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

音情報を取得して周波数解析を行って含まれる音を判別する際に、音の種類に応じて判別し易い解析結果画面切替えて表示させる。

解決手段

周波数解析部32は、音声取得部31により取得された音情報の時間周波数解析を行って周波数スペクトル波形(STFT解析結果)を生成し、この周波数スペクトル波形においてユーザにより指定された領域に含まれる周波数成分に対して再度周波数解析を行って異音の周期および周波数の情報を示した解析結果(1D−FFT解析結果)を得る。制御部33は、STFT解析結果画面と1D−FFT解析結果画面とを、ユーザの操作に応じて切り替えて表示する。

概要

背景

特許文献1には、画像形成装置の正常時の動作音を記憶しているRAMまたはROMと、画像形成装置から発生する動作音を検知するマイクロフォンとを有し、RAMまたはROMに記憶されている第1の音情報と、マイクロフォンにより検知された第2の音情報と、画像形成装置の動作情報とに基づいて、画像形成装置の異常箇所を特定するようなシステムが開示されている。

特許文献2には、印刷用紙上に画像を形成する画像形成部と前記印刷用紙を搬送する搬送部とを有する画像処理装置において、装置内部の音を電気信号に変換する音変換部と、この音変換部が変換した電気信号を解析して周波数ごとの成分を求める音解析部と、この音解析部が求めた周波数ごとの成分を出力する出力部とを備えた画像処理装置が開示されている。

概要

音情報を取得して周波数解析を行って含まれる音を判別する際に、音の種類に応じて判別し易い解析結果画面切替えて表示させる。周波数解析部32は、音声取得部31により取得された音情報の時間周波数解析を行って周波数スペクトル波形(STFT解析結果)を生成し、この周波数スペクトル波形においてユーザにより指定された領域に含まれる周波数成分に対して再度周波数解析を行って異音の周期および周波数の情報を示した解析結果(1D−FFT解析結果)を得る。制御部33は、STFT解析結果画面と1D−FFT解析結果画面とを、ユーザの操作に応じて切り替えて表示する。

目的

本発明の目的は、音情報を取得して周波数解析を行って含まれる音を判別する際に、音の種類に応じて判別し易い解析結果画面を切替えて表示させることが可能な診断装置診断システムおよびプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

発生した音を入力して音情報を取得する取得手段と、前記取得された音情報の時間周波数解析を行って得た周波数毎の信号強度分布時間変化を表した周波数スペクトル波形を表示する第1画面と、前記周波数スペクトル波形を周波数解析することにより前記周波数スペクトル波形に含まれる音の周期および周波数の情報を示した第2画面とを、使用者の操作に応じて切り替えて表示する表示手段と、を備えた診断装置

請求項2

前記表示手段は、使用者により連続音解析結果を参照したい旨が選択された場合、前記第1画面を表示する請求項1記載の診断装置。

請求項3

前記表示手段は、使用者により周期音の解析結果を参照したい旨が選択された場合、前記第2画面を表示する請求項1記載の診断装置。

請求項4

前記表示手段は、前記第1及び第2画面を並列して表示するとともに、並列して表示した前記第1及び第2画面のいずれかが選択された場合に選択された画面を表示する請求項1から3のいずれか1項記載の診断装置。

請求項5

前記取得手段により取得された音情報の時間周波数解析を行って前記周波数スペクトル波形を生成し、前記周波数スペクトル波形において使用者により指定された領域に含まれる周波数成分に対して周波数解析を行う周波数解析手段をさらに備える請求項1から4のいずれか1項記載の診断装置。

請求項6

前記表示手段は、前記周波数スペクトル波形において複数の領域が指定された場合、それぞれの領域に含まれる周波数成分に対して周波数解析を行って得られた周期および周波数の情報を、前記第2の画面において、それぞれ異なる方法により表示する請求項5記載の診断装置。

請求項7

前記表示手段は、前記周波数スペクトル波形において複数の領域が繰り返し指定された場合、それぞれの領域に含まれる周波数成分に対して周波数解析を行って得られた周期および周波数の情報を、前記第2の画面において、指定された順序が分かるよう表示する請求項5記載の診断装置。

請求項8

部装置との間で通信を行う通信手段と、前記第2画面において表示された複数の周期および周波数の情報の中から、使用者により選択された周期および周波数の情報を前記通信手段を介して外部装置に送信する送信手段と、前記送信手段により送信された周期および周波数の情報に対応する登録されている周波数スペクトル波形を前記通信手段を介して外部装置から受信する受信手段とをさらに備え、前記表示手段は、前記受信手段により受信された登録されている周波数スペクトル波形と、前記周波数解析手段により生成された周波数スペクトル波形とを並べて表示する請求項6または7記載の診断装置。

請求項9

発生した音を入力して音情報を取得する取得手段と、前記取得された音情報の時間周波数解析を行って得た周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形を表示する第1画面と、前記周波数スペクトル波形を周波数解析することにより前記周波数スペクトル波形に含まれる音の周期および周波数の情報を示した第2画面とを、使用者の操作に応じて切り替えて表示する表示手段と、前記取得手段により取得された音情報の時間周波数解析を行って前記周波数スペクトル波形を生成し、前記周波数スペクトル波形において使用者により指定された領域に含まれる周波数成分に対して周波数解析を行う周波数解析手段と、外部装置との間で通信を行う通信手段と、前記第2画面において表示された複数の周期および周波数の情報の中から、使用者により選択された周期および周波数の情報を前記通信手段を介して外部装置に送信する第1の送信手段と、前記第1の送信手段により送信された周期および周波数の情報に対応する登録されている周波数スペクトル波形を前記通信手段を介して外部装置から受信する受信手段とを備えた診断装置と、異常音の音情報の周波数解析を行って得た複数の周波数スペクトル波形を格納する格納手段と、前記診断装置から音の周期および周波数の情報を受信した場合、前記格納手段に格納されている前記複数の周波数スペクトル波形の中から、受信した音の周期および周波数の情報に対応した周波数スペクトル波形を選択して前記診断装置に送信する第2の送信手段とを備えたサーバ装置と、を備えた診断ステム

請求項10

発生した音を入力して音情報を取得する取得ステップと、前記取得された音情報の時間周波数解析を行って得た周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形を表示する第1画面と、前記周波数スペクトル波形を周波数解析することにより前記周波数スペクトル波形に含まれる音の周期および周波数の情報を示した第2画面とを、使用者の操作に応じて切り替えて表示する表示ステップとをコンピュータに実行させるためのプログラム

技術分野

0001

本発明は、診断装置診断ステムおよびプログラムに関する。

背景技術

0002

特許文献1には、画像形成装置の正常時の動作音を記憶しているRAMまたはROMと、画像形成装置から発生する動作音を検知するマイクロフォンとを有し、RAMまたはROMに記憶されている第1の音情報と、マイクロフォンにより検知された第2の音情報と、画像形成装置の動作情報とに基づいて、画像形成装置の異常箇所を特定するようなシステムが開示されている。

0003

特許文献2には、印刷用紙上に画像を形成する画像形成部と前記印刷用紙を搬送する搬送部とを有する画像処理装置において、装置内部の音を電気信号に変換する音変換部と、この音変換部が変換した電気信号を解析して周波数ごとの成分を求める音解析部と、この音解析部が求めた周波数ごとの成分を出力する出力部とを備えた画像処理装置が開示されている。

先行技術

0004

特開2007−079263号公報
特開2008−290288号公報

発明が解決しようとする課題

0005

ある装置において異音(異常音)が発生した場合、解析対象の装置において発生した音声を入力して音声信号を取得し、取得した音声信号と、解析対象の装置と同等の装置において過去に発生した異音の音声信号とを比較して、その異音の原因を解明しようとする場合がある。

0006

このような場合に、取得した音情報の時間周波数解析を行うことにより、周波数毎の信号強度分布時間変化を表した周波数スペクトル波形を得て、この周波数スペクトル波形における異音が含まれる領域を再度周波数解析することにより周波数スペクトル波形に含まれる異音の周期および周波数の情報を得る。そして、得られた異音の周期および周波数の情報に基づいて、過去の発生した異音の周波数スペクトル波形の中から今回取得した音情報の周波数スペクトル波形とを比較することにより異音の原因の解明を行っている。

0007

しかし、経験の乏しいユーザにとっては、異音が周期音の場合、周波数スペクトル波形におけるどの領域に異音が含まれるかを判別することが難しい。このような場合でも異音が周期音であれば、異音の周期および周波数の情報を表示する画面上であれば、異音を判別することは比較的容易である。

0008

逆に、異音が連続音の場合には、周波数スペクトル波形上においてどの領域に異音が含まれるかを判別することは比較的容易である。しかし、異音が連続音の場合には周期の情報異音の周期および周波数の情報を表示する画面上において、通常動作音や不定周期雑音との区別が付き難いため、異音を判別することは難しい。

0009

本発明の目的は、音情報を取得して周波数解析を行って含まれる音を判別する際に、音の種類に応じて判別し易い解析結果画面を切替えて表示させることが可能な診断装置、診断システムおよびプログラムを提供することである。

課題を解決するための手段

0010

[診断装置]
請求項1に係る本発明は、発生した音を入力して音情報を取得する取得手段と、
前記取得された音情報の時間周波数解析を行って得た周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形を表示する第1画面と、前記周波数スペクトル波形を周波数解析することにより前記周波数スペクトル波形に含まれる音の周期および周波数の情報を示した第2画面とを、使用者の操作に応じて切り替えて表示する表示手段とを備えた診断装置である。

0011

請求項2に係る本発明は、前記表示手段が、使用者により連続音の解析結果を参照したい旨が選択された場合、前記第1画面を表示する請求項1記載の診断装置である。

0012

請求項3に係る本発明は、前記表示手段が、使用者により周期音の解析結果を参照したい旨が選択された場合、前記第2画面を表示する請求項1記載の診断装置である。

0013

請求項4に係る本発明は、前記表示手段が、前記第1及び第2画面を並列して表示するとともに、並列して表示した前記第1及び第2画面のいずれかが選択された場合に選択された画面を表示する請求項1から3のいずれか1項記載の診断装置である。

0014

請求項5に係る本発明は、前記取得手段により取得された音情報の時間周波数解析を行って前記周波数スペクトル波形を生成し、前記周波数スペクトル波形において使用者により指定された領域に含まれる周波数成分に対して周波数解析を行う周波数解析手段をさらに備える請求項1から4のいずれか1項記載の診断装置である。

0015

請求項6に係る本発明は、前記表示手段が、前記周波数スペクトル波形において複数の領域が指定された場合、それぞれの領域に含まれる周波数成分に対して周波数解析を行って得られた周期および周波数の情報を、前記第2の画面において、それぞれ異なる方法により表示する請求項5記載の診断装置である。

0016

請求項7に係る本発明は、前記表示手段が、前記周波数スペクトル波形において複数の領域が繰り返し指定された場合、それぞれの領域に含まれる周波数成分に対して周波数解析を行って得られた周期および周波数の情報を、前記第2の画面において、指定された順序が分かるよう表示する請求項5記載の診断装置である。

0017

請求項8に係る本発明は、外部装置との間で通信を行う通信手段と、
前記第2画面において表示された複数の周期および周波数の情報の中から、使用者により選択された周期および周波数の情報を前記通信手段を介して外部装置に送信する送信手段と、
前記送信手段により送信された周期および周波数の情報に対応する登録されている周波数スペクトル波形を前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
前記表示手段は、前記受信手段により受信された登録されている周波数スペクトル波形と、前記周波数解析手段により生成された周波数スペクトル波形とを並べて表示する請求項6または7記載の診断装置である。

0018

請求項9に係る本発明は、発生した音を入力して音情報を取得する取得手段と、前記取得された音情報の時間周波数解析を行って得た周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形を表示する第1画面と、前記周波数スペクトル波形を周波数解析することにより前記周波数スペクトル波形に含まれる音の周期および周波数の情報を示した第2画面とを、使用者の操作に応じて切り替えて表示する表示手段と、前記取得手段により取得された音情報の時間周波数解析を行って前記周波数スペクトル波形を生成し、前記周波数スペクトル波形において使用者により指定された領域に含まれる周波数成分に対して周波数解析を行う周波数解析手段と、外部装置との間で通信を行う通信手段と、前記第2画面において表示された複数の周期および周波数の情報の中から、使用者により選択された周期および周波数の情報を前記通信手段を介して外部装置に送信する第1の送信手段と、前記第1の送信手段により送信された周期および周波数の情報に対応する登録されている周波数スペクトル波形を前記通信手段を介して外部装置から受信する受信手段とを備えた診断装置と、
異常音の音情報の周波数解析を行って得た複数の周波数スペクトル波形を格納する格納手段と、前記診断装置から音の周期および周波数の情報を受信した場合、前記格納手段に格納されている前記複数の周波数スペクトル波形の中から、受信した音の周期および周波数の情報に対応した周波数スペクトル波形を選択して前記診断装置に送信する第2の送信手段とを備えたサーバ装置とを備えた診断システムである。

0019

[プログラム]
請求項10に係る本発明は、発生した音を入力して音情報を取得する取得ステップと、
前記取得された音情報の時間周波数解析を行って得た周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形を表示する第1画面と、前記周波数スペクトル波形を周波数解析することにより前記周波数スペクトル波形に含まれる音の周期および周波数の情報を示した第2画面とを、使用者の操作に応じて切り替えて表示する表示ステップとをコンピュータに実行させるためのプログラムである。

発明の効果

0020

請求項1〜3に係る本発明によれば、音情報を取得して周波数解析を行って含まれる音を判別する際に、音の種類に応じて判別し易い解析結果画面を切替えて表示させることが可能な診断装置を提供することができる。

0021

請求項4に係る本発明によれば、2種類の解析結果画面の並列表示、いずれかの解析結果画面のみの表示との間で表示画面を切替えて、音情報を取得して周波数解析を行って含まれる音を判別する際に、音の種類に応じて判別し易い解析結果画面を切替えて表示させることが可能な診断装置を提供することができる。

0022

請求項5に係る本発明によれば、取得した音情報から、2種類の解析結果を取得することができる診断装置を提供することができる。

0023

請求項6に係る本発明によれば、周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形において、複数の領域を指定して、それぞれの領域に含まれる周波数成分の周期および周波数の解析結果を取得することが可能な診断装置を提供することができる。

0024

請求項7に係る本発明によれば、周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形において、領域の指定を複数回繰り返して、それぞれの領域に含まれる周波数成分の周期および周波数の解析結果を取得することが可能な診断装置を提供することができる。

0025

請求項8に係る本発明によれば、取得した音情報に対応する登録されている周波数スペクトル波形を取得して、取得した音情報の周波数波形と並べて表示することが可能な診断装置を提供することができる。

0026

請求項9に係る本発明によれば、音情報を取得して周波数解析を行って含まれる音を判別する際に、音の種類に応じて判別し易い解析結果画面を切替えて表示させることが可能な診断システムを提供することができる。

0027

請求項10に係る本発明によれば、音情報を取得して周波数解析を行って含まれる音を判別する際に、音の種類に応じて判別し易い解析結果画面を切替えて表示させることが可能なプログラムを提供することができる。

図面の簡単な説明

0028

本発明の一実施形態の異音診断システムの構成を示すシステム図である。
本発明の一実施形態における異音診断装置10のハードウェア構成を示すブロック図である。
本発明の一実施形態における異音診断装置10の機能構成を示すブロック図である。
本発明の一実施形態におけるサーバ装置50の機能構成を示すブロック図である。
図4中の波形データ格納部53に格納される情報の一例を示す図である。
本発明の一実施形態の異音診断システムの動作を説明するためのシーケンスチャートである。
機種名、シリアル番号、動作状態等の各種情報を入力する際の異音診断装置10の表示画面例を示す図である。
STFTの概念を説明するための図である。
STFTにより得られた解析結果に基づく周波数スペクトラム波形の画像例を示す図である。
図9の周波数スペクトラム波形の画像例において、ユーザにより選択された選択領域80の一例を示す図である。
高速フーリエ変換の解析結果例を示す図である。
2つの周波数スペクトル波形が表示された異音診断装置10の画面例を示す図である。
実際に異音の周波数解析結果を行った場合の周波数スペクトラム波形の画像例を示す図である。
異音が連続音の場合のSTFT解析結果画面例を示す図である。
異音が周期音の場合の1D−FFT解析結果画面例を示す図である。
異音が連続音の場合の1D−FFT解析結果画面例を示す図である。
STFT解析結果画面と1D−FFT解析結果画面を並列して表示した場合の画面例を示す図である。
STFT解析結果画面が表示された場合を示す図である。
1D−FFT解析結果画面が表示された場合を示す図である。
3つの表示モード間で表示の切替えが行われる様子を説明するための図である。
選択領域80に対する解析結果と、その他の領域に対する解析結果とが異なる表示方法で表示される様子を説明するための図である。
STFT解析結果画面において、1回目の選択領域81における解析結果と、2回目の選択領域82における解析結果とがそれぞれ異なる表示方法で表示される様子を説明するための図である。
STFT解析結果画面において、複数の領域が指定された場合、それぞれの領域における解析結果を異なる表示方法で表示される様子を説明するための図である。

実施例

0029

次に、本発明の実施の形態について図面を参照して詳細に説明する。

0030

図1は本発明の一実施形態の異音診断システムの構成を示すシステム図である。

0031

本発明の一実施形態の異音診断システムは、図1に示されるように、パーソナルコンピュータスマートフォンタブレット端末装置等の携帯可能な異音診断装置10と、サーバ装置50とから構成されている。

0032

なお、異音診断装置10は、通信ネットワークを介してサーバ装置50に接続可能な装置であればどのような装置であっても本発明は適用可能である。ただし、本実施形態では、異音診断装置10が、音声信号を取得可能なマイク等の装置および、タッチ入力が可能なタッチパネルを備えたタブレット端末装置の場合を用いて説明する。

0033

異音診断装置10は、エンドユーザが使用しているプリンタ等の画像形成装置20の保守管理修理等を行うサービスマン保守要員)により携帯され、画像形成装置20において発生した異音(異常音)信号を取得して、取得した異音信号を周波数解析したり、サーバ装置50から取得した登録されている過去の異音信号の周波数解析結果の波形と取得した異音信号の周波数解析結果波形とを表示するために使用される。

0034

異音診断装置10と、サーバ装置50とは、Wi−Fiルータ等の無線LANターミナル30や、インターネット通信網40を介して接続され情報の送受信を行っている。

0035

なお、異音診断装置10が携帯電話装置やスマートフォン等の場合には、異音診断装置10とサーバ装置50とを携帯電話回線網を介して接続して、不具合情報の送受信を行うようにすることも可能である。

0036

本実施形態の異音診断システムでは、エンドユーザの場所に設置された対象電子機器である画像形成装置20に異音が発生した場合、サービスマンが異音診断装置10を携帯して画像形成装置20の場所に出向く。そして、このサービスマンが、異音診断装置10を用いて発生している異音を録音することにより異音信号を取得して、異音の原因を特定する異音診断を行う。

0037

なお、画像形成装置20にマイク等を設けて録音機能を持たせて、異音が発生した場合にその録音機能により異音を録音ことも技術的には可能であるが、画像形成装置20がエンドユーザのオフィス等に設置される場合、この画像形成装置20に音声を録音する機能を設けることはセキュリティ上の理由により実現することができない。

0038

次に、本実施形態の異音診断システムにおける異音診断装置10のハードウェア構成を図2に示す。

0039

異音診断装置10は、図2に示されるように、CPU11、一時的にデータを保存可能なメモリ12、フラッシュメモリ等の記憶装置13、無線LANターミナル30との間で無線通信を行ってデータの送信及び受信を行う無線LANインタフェース(IF)14、タッチセンサ等の入力装置15、表示装置16、マイク17を有する。これらの構成要素は、制御バス18を介して互いに接続されている。

0040

本実施形態の異音診断装置10では、表示装置16上にタッチ位置を検出するためのタッチセンサが入力装置15として設けられたタッチパネルが備えられていて、このタッチパネルを用いて表示が行われるとともにユーザからの入力が行われる。

0041

CPU11は、メモリ12または記憶装置13に格納された制御プログラムに基づいて所定の処理を実行して、異音診断装置10の動作を制御する。なお、この制御プログラムは、インターネット通信網40や携帯電話回線網を介してダウンロードすることにより入手してCPU11に提供することも可能であるし、当該プログラムをCD−ROM等の記憶媒体に格納してCPU11に提供することも可能である。

0042

本実施形態の異音診断装置10は、上記の制御プログラムが実行されることにより以下に説明するような動作を行って、サービスマンが異音の原因を特定する業務の手助けを行う。

0043

図3は、上記の制御プログラムが実行されることにより実現される異音診断装置10の機能構成を示すブロック図である。

0044

本実施形態の異音診断装置10は、図3に示されるように、音声取得部31と、周波数解析部32と、制御部33と、音声データ格納部34と、表示部35と、通信部36と、音声再生部37とを備えている。

0045

表示部35は、制御部33による制御に基づいて各種データの表示を行う。通信部36は、外部装置であるサーバ装置50との間で通信を行う。音声再生部37は制御部33による制御に基づいて、録音された音声データ等を再生して音声信号に変換する。

0046

音声取得部31は、解析対象の装置である画像形成装置20において発生した異音の音声を入力して音声信号を取得する。

0047

なお、本実施形態では、音声取得部31が、画像形成装置20において発生した異音の音声を入力して音声信号を取得するものとして説明しているが、音声は音の一例であり、音声信号は音情報の一例である。

0048

周波数解析部32は、音声取得部31により取得された音声信号の時間周波数解析(時間依存周波数解析)を行って、取得された異音信号の周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形データ(第1解析結果)を生成する。なお、周波数スペクトル波形データは、周波数解析を行うことにより得られた解析結果である。

0049

具体的には、周波数解析部32は、音声取得部31により取得された音声信号に対してSTFT(Short time Fourier transform:短時間フーリエ変換)を行うことにより周波数スペクトル波形データを生成する。このSTFTの説明については後述する。

0050

制御部33は、周波数解析部32により得られた周波数スペクトル波形データを音声データとともに音声データ格納部34に格納する。

0051

また、制御部33は、周波数解析部32により得られた周波数スペクトル波形データのうち、異音であると推定される周波数成分に対して時間軸方向に周波数解析を行う高速フーリエ変換(1D−FFT(Fast Fourier Transform))を行うよう周波数解析部32に対して指示を行う。

0052

ここで、制御部33は、周波数スペクトル波形データの中から周期性を有する信号成分を抽出して、その信号成分を異音である可能性が高い信号成分であると選択するようにしても良い。また、制御部33は、得られた周波数スペクトル波形データを表示部35に表示させて、その周波数スペクトル波形を見たユーザが異音である可能性が高い周波数成分を指定することにより、その周波数成分を異音である可能性が高い信号成分であると選択するようにしても良い。

0053

そして、周波数解析部32では、制御部33による指示に基づいて、異音であると推定される周波数成分に対して時間軸方向に高速フーリエ変換を行う。

0054

そして、制御部33は、周波数解析部32における高速フーリエ変換の解析結果により、異音の周期および周波数の情報を取得する。

0055

また、制御部33は、取得した異音の周期および周波数の情報を、画像形成装置20の機種名、シリアル番号等の機種情報、画像形成装置20の動作状態を示す動作状態情報とともに通信部36を介してサーバ装置50に送信する。具体的には、この動作状態情報には、カラー印刷なのか白黒印刷なのか、両面印刷なのか片面印刷なのか、動作モードはスキャンプリント複写のいずれなのか、使用用紙の種類等の情報を含めるようにすることができる。このようにして、制御部33は、周波数解析部32により得られた周波数スペクトル波形データから得られた情報を、通信部36を介してサーバ装置50に送信する。

0056

サーバ装置50では、画像形成装置20の装置と同等の装置において過去に発生した異常音の音声信号の周波数解析を行って得られるスペクトル波形データを、元の音声データ、その音声データが取得された際の装置の動作状態、異音原因、異音への対処方法等の情報とともに格納している。

0057

そしてサーバ装置50は、異音診断装置10から送信されてきた異音の周期および周波数の情報から、周波数解析部32による周波数解析の結果得られた周波数スペクトル波形データに対応する周波数スペクトル波形データ(第2解析結果)を検索して、見つかった周波数スペクトル波形データを異音のサンプル波形データとして格納している音声データ等の情報等とともに異音診断装置10に送信する。

0058

この結果、制御部33は、周波数解析部32による周波数解析の結果得られた周波数スペクトル波形データに対応する周波数スペクトル波形データを通信部36を介してサーバ装置50から受信する。

0059

制御部33は、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置50から受信したスペクトル波形とを表示部35に並列に表示する。

0060

この際に、制御部33は、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置50から送信されてきた周波数スペクトル波形のうちの少なくとも一方の表示内容をユーザ(使用者)の操作に基づいて時間軸方向示で変更する。

0061

なお、制御部33は、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置50から送信されてきた周波数スペクトル波形における周期的波形が一致するように、この2つの周波数スペクトル波形のうちの少なくとも一方における時間軸方向の表示内容を変更するようにしても良い。

0062

ここで、周波数スペクトル波形の表示内容を時間軸方向に変更する具体例としては、周波数スペクトル波形の表示位置を時間軸方向に変更することが挙げられる。

0063

なお、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置50から送信されてきた周波数スペクトル波形のうちのいずれか一方の波形は、他方の波形よりも長時間の波形となるように設定されている。

0064

一例として、本実施形態においては、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形は約10秒分のデータとなっており、サーバ装置50から送信されてきた周波数スペクトル波形は約8秒分のデータとなっている。

0065

また、制御部33は、サーバ装置50から送信されてきた周波数スペクトル波形データが複数存在する場合、複数の周波数スペクトル波形データのうち、周波数解析部32の周波数解析によって得られた周波数スペクトル波形データとの類似度が高いものを優先して表示部33に表示する。

0066

さらに、制御部33は、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置50から送信されてきた周波数スペクトル波形のうちのいずれか一方の波形のうちのいずれか一方の波形が拡大または縮小された場合、他方の波形を同等の大きさとなるように拡大または縮小して表示する。

0067

さらに、制御部33は、異音波形が取得された際の画像形成装置20のプロセス速度画像形成速度)と、サーバ装置50から送信されてきた周波数スペクトル波形が取得された際の画像形成装置のプロセス速度とが異なる場合、この2つのプロセス速度に基づいて、サーバ装置50から送信されてきた周波数スペクトル波形の時間軸方向の長さを伸長または縮小して表示するようにしても良い。

0068

なぜならば、プロセス速度が変わってくると発生する異音の周期も変わってくるため、そのまま比較したのでは正しい比較ができないからである。また、複数のプロセス速度毎に異音データを取得して用意しておくことはデータ量が多くなるとともに異音データ取得の手間も多くなってしまうからである。

0069

また、ユーザが音声データの再生を指示した場合、音声再生部37は、制御部33からの制御に基づいて、音声取得部31において取得された音声データと、サーバ装置50から送信されてきた周波数スペクトル波形に対応する音声データとを、それぞれステレオ再生左信号および右信号として再生するようにしても良い。

0070

さらに、2つの周波数スペクトル波形の比較を容易にするために、制御部33は、並列に表示した2つの周波数スペクトル波形上に、それぞれ同一の周波数を示す調整可能な周波数補助線や、時間軸方向の位置を比較するための調整可能な共通の時間軸補助線を重ねて表示するようにしても良い。

0071

次に、本実施形態の異音解析システムにおけるサーバ装置50の機能構成を図4のブロック図を参照して説明する。

0072

本実施形態のサーバ装置50は、図4に示されるように、通信部51と、制御部52と、波形データ格納部53とを備えている。

0073

波形データ格納部53は、解析対象の装置である画像形成装置20と同等の装置において過去に発生した異常音の音声信号の周波数解析を行って得られる複数の周波数スペクトル波形データを格納する。

0074

具体的には、波形データ格納部53は、図5に示されるように、予め取得された異音の音声データを時間周波数解析することにより得られた周波数スペクトル波形データと、元となった音声データと、異音の原因と、その対処方法等の情報が機種毎に格納されている。

0075

そして、制御部52は、異音診断装置10から異音の周期や周波数の情報を受信した場合、波形データ格納部53に格納されている複数の周波数スペクトルの波形データの中から、受信した異音周期や周波数の情報に基づいて、異音診断装置10において取得された異音に基づく周波数スペクトルの波形データに類似するものを選択して、通信部51を介して異音診断装置10に送信する。

0076

なお、本実施形態では、異音診断装置10において異音の音声データのSTFT、高速フーリエ変換を行って、異音の周期および周波数の情報をサーバ装置50に送信するものとして説明しているが、高速フーリエ変換またはSTFT、高速フーリエ変換の両方をサーバ装置50側において実行するようにしても良い。

0077

この場合には、異音診断装置10からサーバ装置50に対して音声データをそのまま送信したり、音声データに対してSTFTを行った結果の周波数スペクトル波形データを送信し、サーバ装置50において音声データに対するSTFTや高速フーリエ変換を実行することになる。

0078

次に、本実施形態の異音診断システムの動作を図6のシーケンスチャートを参照して説明する。

0079

異音診断装置10において異音の原因を特定するための異音診断を行おうとする場合、図7に示すような画像が表示されて機種名、シリアル番号、動作状態等の各種情報が入力される(ステップS101)。

0080

そして、異音診断装置10では、動作モードを音声録音モードにして、マイク17を画像形成装置20の異音発生個所に近づけて異音の録音を行って音声データを取得する(ステップS102)。

0081

すると、異音診断装置10では、取得された音声データが周波数解析部32においてSTFTが行われることにより周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形が生成される(ステップS103)。

0082

このSTFTとは、図8に示されるように、短時間毎フーリエ変換を行って周波数成分毎信号強度を時間変化に応じて演算したものである。そして、このSTFTにより得られた解析結果を1つの周波数スペクトル波形の画像とした場合の波形例を図9に示す。

0083

図9に示した周波数スペクトル波形例では、横軸が時間、縦軸が周波数を表していて、周波数毎の強度は色によって表現されている。なお、図9では、この色の違いをハッチングパターンにより表現している。また、図9では周波数毎の強度が色によって表現される場合を例示しているが、この強度を階調により表現することも可能である。

0084

この図9の周波数スペクトル波形例では、異音の周波数成分61が特定の周波数に周期的に発生しているのが表示されているのが分かる。なお、この図9に示した周波数スペクトル波形例において、低い周波数成分は通常の動作音であり異音の周波数成分ではない。

0085

この図9に示したような周波数スペクトル波形が得られると、制御部33は、この周波数スペクトル波形を表示部35に表示する。すると、この周波数スペクトル波形を提示されたユーザが、異音の周波数成分61を特定して、例えばタッチパネルを操作することによりこの異音の周波数成分61が含まれる領域を選択する。

0086

このようにしてユーザにより選択された選択領域80の一例を図10に示す。図10に示した例では、複数の異音の周波数成分61を含むような長方形の領域が選択領域80として指定されているのが分かる。

0087

そして、このように選択領域80が指定されると、選択領域80に含まれる周波数成分に対する高速フーリエ変換(1D−FFT)が周波数解析部32により実行される(ステップS104)。このようにして実行された高速フーリエ変換の解析結果例(1D−FFT解析結果画面例)を図11に示す。

0088

なお、この図11では、高速フーリエ変換を行った周波数成分の信号の周期および周波数が検出されることにより異音の周期および周波数が特定されることになる。なお、異音には倍音成分等が含まれるため、複数の周期が検出される場合があるが最も信号強度が強い周期が異音周期として検出される。

0089

また、所定の周期以上の長周期の信号成分は通常動作音や不定周期雑音であると考えられるため、このような長周期の信号成分の領域は判定除外領域62として、この判定除外領域62における解析結果は無視される。

0090

さらに、所定の周波数以下の低周波の信号成分についても通常動作音と区別が付かないため、このような低周波の信号成分の領域は判定除外領域63として、この判定除外領域63における解析結果は無視される。

0091

異音診断装置10では、この高速フーリエ変換の解析結果により、異音の周波数および周期の情報を機種情報や動作状態の情報とともにサーバ装置50に送信する(ステップS105)。例えば、異音周波数は4kHz、異音周期は2.0秒というような情報がサーバ装置50に送信される。

0092

すると、サーバ装置50では、受信した情報に基づいて、波形データ格納部53を検索することにより、受信した情報に対応する周波数スペクトル波形のデータを抽出する(ステップS106)。

0093

そして、サーバ装置50は、抽出した周波数スペクトル波形データを、元の音声データ、異音原因、その対処方法等の情報とともに異音診断装置10に送信する(ステップS107)。

0094

すると、異音診断装置10では、サーバ装置50から送信されてきた周波数スペクトル波形データを受信する(ステップS108)。そして、異音診断装置10の制御部33は、受信した周波数スペクトル波形と、STFTで得られた周波数スペクトル波形を表示部35に表示させる(ステップS109)。

0095

このようにして2つの周波数スペクトル波形が表示された異音診断装置10の画面例を図12に示す。

0096

図12に示した画面例では、周波数解析部32におけるSTFTにより得られた周波数スペクトル波形が、「今回録音した異音の解析結果波形」として表示され、サーバ装置50から送信されてきた周波数スペクトル波形が、「過去の異音データ」として「感光体ドラム摩耗」という異音原因とともに表示されているのが分かる。

0097

異音診断を行おうとするサービスマンは、この2つの周波数スペクトル波形を比較して、波形中の異音成分が類似しているか否かを判定することにより異音の原因を特定する。

0098

また、サーバ装置50から複数の周波数スペクトル波形が送信されてきた場合には、例えば、「過去の異音データ」として表示されている周波数スペクトル波形の画像をタッチ操作により横方向になぞることにより、別の周波数スペクトル波形が表示される。

0099

このように複数の周波数スペクトル波形が送信されてきた場合には、サービスマンは、今回取得した異音の周波数スペクトル波形が、いずれの周波数スペクトル波形とより類似しているかを判定することにより異音の原因を特定する。なお、この異音の原因の特定の際には、単に周波数スペクトル波形の形状や異音成分の周期や周波数等を比較するだけでなく、元の音声データを音声再生部37により再生して今回取得した異音とサーバ装置50から送信されてきた周波数スペクトル波形に対応した音声とを聴き比べて異音の原因を特定する。

0100

しかし、画像形成装置20において発生する異音には様々な種類があり、実際に発生した異音を録音して解析した場合には、解析結果画面においてどの周波数成分が異音であるのかを判定するのが難しい場合がある。特に、異音原因の判定経験が少ないユーザの場合、周波数スペクトル画面を参照してもどの領域に異音が含まれているのかを判定することができない場合がある。

0101

具体的には、図9図10では、説明を簡単にするために、異音の周波数成分61が他の周波数成分とは異なる色で明確に区別可能な場合を一例として示していたが、実際に異音の周波数解析結果を行った場合、例えば図13に示すように、他の周波数成分との区別をつけることが困難な場合が多い。

0102

図13に示したようなSTFT解析結果画面では、信号強度のレベルを色により示しているが、異音の成分と異音以外の音の成分が同じ色で表示された場合、異音の周波数成分91を異音以外の音の周波数成分と区別することが困難な場合がある。

0103

なお、図13では、異音が一定の周期で発生するような周期音である場合の表示画面例であるが、異音が連続音である場合の表示画面例を図14に示す。

0104

図14では、連続音である異音の周波数成分92がSTFT解析結果画面上に表示された場合が示されている。図14に示されるように、異音が連続音の場合には、異音が周期音の場合と比較して、他の音の周波数成分との区別がし易い場合が多い。

0105

次に、異音が周期音の場合と連続音の場合の1D−FFT解析結果画面例を図15図16に示す。

0106

図15は、異音が周期音の場合の1D−FFT解析結果画面例であり、周期性のある異音の周波数成分93が存在する場合にはSTFT画面と比較して判別し易いのが分かる。

0107

図16は、異音が連続音の場合の1D−FFT解析結果画面例であり、連続音である異音の周波数成分94は1点で示され、通常動作音や不定周期雑音により解析結果の参照が不可能な判定除外領域62に含まれてしまっているのが分かる。つまり、実際に音を録音して解析した場合には、1D−FFT解析結果画面において連続音の異音成分を判別することは難しい。

0108

そのため、本実施形態の異音診断装置10では、制御部33は、図17に示すように、STFT解析結果画面と1D−FFT解析結果画面を並列して表示する。

0109

そして、制御部33は、並列して表示したSTFT解析結果画面及び1D−FFT解析結果画面のいずれかが選択された場合に選択された解析結果画面を表示する。

0110

例えば、図17では、指70によりSTFT解析結果画面が選択された場合が示されており、このような場合図18に示すようにSTFT解析結果画面が表示される。

0111

そして、図18に示したSTFT解析結果画面において「連続音の解析画面へ」というボタンが指70により選択されると、図19に示すように、1D−FFT解析結果画面が表示される。

0112

また、図19に示した1D−FFT解析結果画面において「周期音の解析画面へ」というボタンが指70により選択されると、図18に示したようなSTFT解析結果画面が表示される。

0113

このように、本実施形態の異音診断装置10では、制御部33は、取得された音情報の時間周波数解析を行って得た周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形を表示するSTFT解析結果画面と、周波数スペクトル波形を周波数解析することによりこの周波数スペクトル波形に含まれる音の周期および周波数の情報を示した1D−FFT解析結果画面とを、ユーザの操作に応じて切り替えて表示する。

0114

つまり、制御部33は、ユーザにより連続音の解析結果を参照したい旨が選択された場合、STFT解析結果画面を表示部35に表示する。そして、制御部33は、ユーザにより周期音の解析結果を参照したい旨が選択された場合、1D−FFT解析結果画面を表示する。

0115

なお、ここでユーザが連続音の解析結果を参照したい旨を選択する場合とは、明示的に「連続音」という表現がされている場合だけでなく、「持続音」という他の表現や、「ビー」、[ブー]等の擬音表現を選択した場合も含まれるものとする。つまり、「連続音」という表現以外の連続音に類する表現を選択した場合が含まれる。

0116

同様に、ユーザが周期音の解析結果を参照したい旨を選択する場合とは、明示的に「周期音」という表現がされている場合だけでなく、「断続音」という他の表現や、「ゴンゴンゴン」、「トントン」等の擬音表現を選択した場合も含まれるものとする。つまり、「周期音」という表現以外の周期音に類する表現を選択した場合が含まれる。

0117

また、図18図19のいずれの画面においても、「2画面表示に戻る」というボタンが選択された場合には、図17に示したような、2つの解析結果が並列に配置された画面が表示されることになる。

0118

つまり、図20に示すように、2つの解析結果が面を並列に表示する2画面表示モード、STFT解析結果画面を表示するSTFT解析結果画面表示モード、1D−FFT解析結果画面を表示する1D−FFT解析結果画面表示モードという3つの表示モード間で表示の切替えが行われる。

0119

なお、周波数解析部32は、音声取得部31により取得された音情報の時間周波数解析を行って周波数スペクトル波形(STFT解析結果)を生成し、この周波数スペクトル波形においてユーザにより指定された領域に含まれる周波数成分に対して再度周波数解析を行って、異音の周期および周波数の情報を得る。そして、制御部33は、得られた異音の周期および周波数の情報を、1D−FFT解析結果画面として表示部35に表示する。

0120

その際に、図10図11では、選択領域80に含まれる周波数成分に対してのみ1D−FFT解析が行われていたが、選択領域80以外の領域に含まれる周波数成分に対しても1D−FFT解析を行うようにしても良い。

0121

このような場合、図21に示されるように、選択領域80に対する解析結果と、その他の領域に対する解析結果とが異なる表示方法で表示される。

0122

また、制御部33は、STFT解析結果において複数の領域が繰り返し指定された場合、それぞれの領域に含まれる周波数成分に対して1D−FFT解析を行って得られた周期および周波数の情報を、1D−FFT解析結果画面において、指定された順序が分かるよう表示しても良い。

0123

このような処理が行われた場合の表示画面例を図22に示す。図22に示された表示画面では、STFT解析結果画面において、1回目の選択領域81における解析結果と、2回目の選択領域82における解析結果とがそれぞれ、1回目、2回目ということが分かるように表示されている。

0124

また、STFT解析結果において同時に複数の領域を指定することができるようにしても良い。このようにSTFT解析結果において複数の領域が指定された場合、制御部33は、図23に示すように、それぞれの領域に含まれる周波数成分に対して1D−FFT解析を行って得られた周期および周波数の情報を、1D−FFT解析結果画面において、それぞれ異なる表示方法により表示する。

0125

図21図23のいずれの場合でも、複数の解析結果のうち、ユーザが異音であると判定した解析結果を選択してサーバ装置50に送信することにより、送信された解析結果(周期および周波数)に対応した登録されている過去の異音の波形が検索されることになる。

0126

[変形例]
上記実施形態では、異音診断装置10がタブレット端末装置である場合を用いて説明したが、本発明はこれに限定されるものではなく、他の装置を異音診断装置とするような場合でも本発明を適用することができるものである。例えば、画像形成装置20の操作パネルが本体から脱着可能な構成であって、サーバ装置50と通信可能であり音声信号の取得機能を内蔵しているような構成の場合、この操作パネルを異音診断装置とするようにしても良い。

0127

また、上記実施形態では、異音診断装置10がマイク17を内蔵している場合を用いて説明しているが、異音診断装置10に音声録音機能が備えられていれば、マイク等の集音装置を外部に接続することにより音声信号の取得手段を実現するようにしても良い。

0128

さらに、上記実施形態では、異音解析の対象装置が画像形成装置である場合を用いて説明しているが、異音解析の対象となる装置は画像形成装置に限定されるものではなく、周期性を持った異音を発生させる可能性がある装置であれば他の装置である場合でも本発明は同様に適用可能である。

0129

10異音診断装置
11 CPU
12メモリ
13記憶装置
14無線LANインタフェース(IF)
15入力装置
16表示装置
17マイク
18制御バス
20画像形成装置
30無線LANターミナル
31音声取得部
32周波数解析部
33 制御部
34音声データ格納部
35 表示部
36通信部
37音声再生部
40インターネット通信網
50サーバ装置
51 通信部
52 制御部
53波形データ格納部
61 異音の周波数成分
62、63判定除外領域
70 指
80〜82選択領域
91〜94 異音の周波数成分

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ