図面 (/)

技術 音声会議システム、会議端末および音声サーバ

出願人 株式会社日立製作所
発明者 金田泰
出願日 2005年3月11日 (16年2ヶ月経過) 出願番号 2005-068918
公開日 2006年9月21日 (14年7ヶ月経過) 公開番号 2006-254167
状態 特許登録済
技術分野 ステレオ方式 交換機の特殊サービス(1) 電話機の回路等 電話機の機能 電話通信サービス
主要キーワード 各角度毎 無線発信機 着席情報 垂直角度 オーディオレンダ 方向感 反響音 水平角度
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2006年9月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

3Dオーディオ技術を用いた音声会議システムにおいて、音声データで表現されている各ユーザの方向および距離に違和感を生じさせないようにする。

解決手段

プレゼンスサーバ1は、音声会議に参加する複数の会議端末2各々のユーザの仮想空間上における位置および実空間上における所在場所会議室)を管理する。各会議端末2は、プレゼンスサーバ1を用いて、当該会議端末2と同じ会議室に存在する会議端末2以外の他の会議端末2各々のユーザの音声データを、当該他の会議端末2各々のユーザの仮想空間上における位置に基づいて立体音響処理し、合成してスピーカから出力する。

概要

背景

特許文献1には、会議室接続型音声会議システムが開示されている。この音声会議システムでは、各会議室マイクとスピーカとを設置して各会議室間を接続し、マイクで収音した会議室にいる参加者の声を、他の会議室各々に設置したスピーカから出力する。

また、特許文献2には、3Dオーディオ技術を用いた音声会議システムが開示されている。この音声会議システムでは、音声会議に参加する各参加者会議端末から、3Dオーディオ処理立体音響処理)された各参加者の音声データを出力する。

米国特許第5365583号明細書
米国特許第6327567号明細書

概要

3Dオーディオ技術を用いた音声会議システムにおいて、音声データで表現されている各ユーザの方向および距離に違和感を生じさせないようにする。プレゼンスサーバ1は、音声会議に参加する複数の会議端末2各々のユーザの仮想空間上における位置および実空間上における所在場所(会議室)を管理する。各会議端末2は、プレゼンスサーバ1を用いて、当該会議端末2と同じ会議室に存在する会議端末2以外の他の会議端末2各々のユーザの音声データを、当該他の会議端末2各々のユーザの仮想空間上における位置に基づいて立体音響処理し、合成してスピーカから出力する。

目的

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、3Dオーディオ技術を用いた音声会議システムにおいて、音声データで表現されている各ユーザの方向および距離に違和感を生じさせないようにすることにある。

効果

実績

技術文献被引用数
2件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

音声会議システムであって、複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバと、実空間上のそれぞれの所在場所に設置され、当該所在場所に存在する会議端末が前記プレゼンスサーバと通信を行なうために利用される複数の中継装置と、を有し、前記複数の会議端末各々は、自会議端末のユーザである自ユーザの前記仮想空間上における位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する仮想位置情報送信手段と、前記プレゼンスサーバから各会議端末のユーザの仮想位置情報と実空間上の所在場所を示す所在情報とを受信する位置情報受信手段と、前記位置情報受信手段が受信した各会議端末のユーザの所在情報に基づいて、自ユーザと同じ実空間上の所在場所に存在するユーザである他会議室ユーザを検出する他会議室ユーザ検出手段と、自ユーザの音声データを、前記会議室ユーザ検出手段が検出した他会議室ユーザの会議端末各々に送信する音声データ送信手段と、前記会議室ユーザ検出手段が検出した他会議室ユーザの会議端末各々から、他会議室ユーザの音声データを受信する音声データ受信手段と、前記音声データ受信手段で受信した他会議室ユーザの音声データ各々に対して、当該他会議室ユーザの仮想位置情報および自ユーザの仮想位置情報により特定される、前記仮想空間における当該他会議室ユーザと自ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他会議室ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、前記音声合成手段により生成された立体合成音声データをスピーカから出力する音声制御手段と、を有し、前記プレゼンスサーバは、前記複数の会議端末各々から送られてきたユーザの仮想位置情報を管理すると共に、前記複数の会議端末各々から送られてきた情報が経由した前記中継装置に基づいて、前記複数の会議室各々のユーザの所在情報を管理する管理手段と、前記複数の会議端末の各々に対して、前記管理手段で管理されている各会議端末のユーザの仮想位置情報および所在情報を、当該会議端末に送信する位置情報送信手段と、を有することを特徴とする音声会議システム。

請求項2

請求項1に記載の音声会議システムであって、前記中継装置は、自中継装置を利用する会議端末からの要求に従い、自中継装置の情報を当該会議端末のユーザの所在情報として、前記プレゼンスサーバに送信することを特徴とする音声会議システム。

請求項3

請求項1又は2に記載の音声会議システムであって、前記複数の会議端末各々は、自会議端末が存在する所在場所内に設けられた原点に対する自ユーザの位置と向きを検出する位置情報検出手段をさらに有し、前記仮想位置情報送信は、前記位置情報検出手段が検出した位置と向きを自ユーザの前記仮想空間上における位置および向きとして、自ユーザの仮想位置情報を前記プレゼンスサーバに送信することを特徴とする音声会議システム。

請求項4

音声会議システムであって、複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバと、前記複数の会議端末各々に音声データを送信する音声サーバと、実空間上のそれぞれの所在場所に設置され、当該所在場所に存在する会議端末が前記プレゼンスサーバと通信を行なうために利用される複数の中継装置と、を有し、前記複数の会議端末各々は、自会議端末のユーザである自ユーザの前記仮想空間上における位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する仮想位置情報送信手段と、自ユーザの音声データを前記音声サーバに送信する音声データ送信手段と、前記音声サーバから立体合成音声データを受信する立体合成音声データ受信手段と、前記立体合成音声データ受信手段で受信した立体合成音声データをスピーカから出力する音声制御手段と、を有し、前記音声サーバは、前記プレゼンスサーバから前記複数の会議端末各々のユーザの仮想位置情報と実空間上における所在場所を示す所在情報とを受信する位置情報受信手段と、前記複数の会議端末の各々について、前記位置情報受信手段が受信した各会議端末のユーザの所在情報に基づいて、当該会議端末のユーザである対象ユーザと同じ実空間上の所在場所に存在するユーザである他会議室ユーザを検出する他会議室ユーザ検出手段と、前記複数の会議端末各々から当該会議端末のユーザの音声データを受信する音声データ受信手段と、前記複数の会議端末の各々について、前記会議室ユーザ検出手段が検出した当該会議端末のユーザである対象ユーザに対する他会議室ユーザ各々の音声データに対して、当該他会議室ユーザの仮想位置情報および当該対象ユーザの仮想位置情報により特定される、前記仮想空間における当該他会議室ユーザと当該対象ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他会議室ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、前記複数の会議端末各々に対して、前記音声合成手段により生成された当該会議端末の対象ユーザに対する立体合成音声データを、当該会議端末に送信する立体合成音声データ送信手段と、を有し、前記プレゼンスサーバは、前記複数の会議端末各々から送られてきたユーザの仮想位置情報を管理すると共に、前記複数の会議端末各々から送られてきた情報が経由した前記中継装置に基づいて、前記複数の会議端末各々の所在情報を管理する管理手段と、前記管理手段で管理されている各会議端末のユーザの仮想位置情報および所在情報を、前記音声サーバに送信する位置情報送信手段と、を有することを特徴とする音声会議システム。

請求項5

請求項4に記載の音声会議システムであって、前記中継装置は、自中継装置を利用する会議端末からの要求に従い、自中継装置の情報を当該会議端末のユーザの所在情報として、前記プレゼンスサーバに送信することを特徴とする音声会議システム。

請求項6

請求項4又は5に記載の音声会議システムであって、前記複数の会議端末各々は、自会議端末が存在する所在場所内に設けられた原点に対する自ユーザの位置と向きを検出する位置情報検出手段をさらに有し、前記仮想位置情報送信手段は、前記位置情報検出手段が検出した位置と向きを自ユーザの前記仮想空間上における位置および向きとして、自ユーザの仮想位置情報を前記プレゼンスサーバに送信することを特徴とする音声会議システム。

請求項7

会議端末であって、自会議端末のユーザである自ユーザの前記仮想空間上における位置および向きを含む自ユーザの仮想位置情報を、音声会議に参加する複数の会議端末各々のユーザの前記仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバに送信する仮想位置情報送信手段と、前記プレゼンスサーバから各会議端末のユーザの仮想位置情報と実空間上の所在場所を示す所在情報とを受信する位置情報受信手段と、前記位置情報受信手段が受信した各会議端末のユーザの所在情報に基づいて、自ユーザと同じ実空間上の所在場所に存在するユーザである他会議室ユーザを検出する他会議室ユーザ検出手段と、自ユーザの音声データを、前記会議室ユーザ検出手段が検出した他会議室ユーザの会議端末各々に送信する音声データ送信手段と、前記会議室ユーザ検出手段が検出した他会議室ユーザの会議端末各々から、他会議室ユーザの音声データを受信する音声データ受信手段と、前記音声データ受信手段で受信した他会議室ユーザの音声データ各々に対して、当該他会議室ユーザの仮想位置情報および自ユーザの仮想位置情報により特定される、前記仮想空間における当該他会議室ユーザと自ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他会議室ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、前記音声合成手段により生成された立体合成音声データをスピーカから出力する音声制御手段と、を有することを特徴とする会議端末。

請求項8

コンピュータ読み取り可能なプログラムであって、前記プログラムは、コンピュータを、自会議端末のユーザである自ユーザの前記仮想空間上における位置および向きを含む自ユーザの仮想位置情報を、音声会議に参加する複数の会議端末各々のユーザの前記仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバに送信する仮想位置情報送信手段と、前記プレゼンスサーバから各会議端末のユーザの仮想位置情報と実空間上の所在場所を示す所在情報とを受信する位置情報受信手段と、前記位置情報受信手段が受信した各会議端末のユーザの所在情報に基づいて、自ユーザと同じ実空間上の所在場所に存在するユーザである他会議室ユーザを検出する他会議室ユーザ検出手段と、自ユーザの音声データを、前記会議室ユーザ検出手段が検出した他会議室ユーザの会議端末各々に送信する音声データ送信手段と、前記会議室ユーザ検出手段が検出した他会議室ユーザの会議端末各々から、他会議室ユーザの音声データを受信する音声データ受信手段と、前記音声データ受信手段で受信した他会議室ユーザの音声データ各々に対して、当該他会議室ユーザの仮想位置情報および自ユーザの仮想位置情報により特定される、前記仮想空間における当該他会議室ユーザと自ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他会議室ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、前記音声合成手段により生成された立体合成音声データをスピーカから出力する音声制御手段と、を有する会議端末として、機能させることを特徴とするコンピュータ読み取り可能なプログラム。

請求項9

複数の会議端末各々に音声データを送信する音声サーバであって、音声会議に参加する複数の会議端末各々のユーザの仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバから前記複数の会議端末各々のユーザの仮想位置情報と実空間上における所在場所を示す所在情報とを受信する位置情報受信手段と、前記複数の会議端末の各々について、前記位置情報受信手段が受信した各会議端末のユーザの所在情報に基づいて、当該会議端末のユーザである対象ユーザと同じ実空間上の所在場所に存在するユーザである他会議室ユーザを検出する他会議室ユーザ検出手段と、前記複数の会議端末各々から当該会議端末のユーザの音声データを受信する音声データ受信手段と、前記複数の会議端末の各々について、前記会議室ユーザ検出手段が検出した当該会議端末のユーザである対象ユーザに対する他会議室ユーザ各々の音声データに対して、当該他会議室ユーザの仮想位置情報および当該対象ユーザの仮想位置情報により特定される、前記仮想空間における当該他会議室ユーザと当該対象ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他会議室ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、前記複数の会議端末各々に対して、前記音声合成手段により生成された当該会議端末の対象ユーザに対する立体合成音声データを、当該会議端末に送信する立体合成音声データ送信手段と、を有することを特徴とする音声サーバ。

請求項10

コンピュータ読み取り可能なプログラムであって、前記プログラムは、コンピュータを、音声会議に参加する複数の会議端末各々のユーザの仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバから前記複数の会議端末各々のユーザの仮想位置情報と実空間上における所在場所を示す所在情報とを受信する位置情報受信手段と、前記複数の会議端末の各々について、前記位置情報受信手段が受信した各会議端末のユーザの所在情報に基づいて、当該会議端末のユーザである対象ユーザと同じ実空間上の所在場所に存在するユーザである他会議室ユーザを検出する他会議室ユーザ検出手段と、前記複数の会議端末各々から当該会議端末のユーザの音声データを受信する音声データ受信手段と、前記複数の会議端末の各々について、前記会議室ユーザ検出手段が検出した当該会議端末のユーザである対象ユーザに対する他会議室ユーザ各々の音声データに対して、当該他会議室ユーザの仮想位置情報および当該対象ユーザの仮想位置情報により特定される、前記仮想空間における当該他会議室ユーザと当該対象ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他会議室ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、前記複数の会議端末各々に対して、前記音声合成手段により生成された当該会議端末の対象ユーザに対する立体合成音声データを、当該会議端末に送信する立体合成音声データ送信手段と、を有する音声サーバとして、機能させることを特徴とするコンピュータ読み取り可能なプログラム。

技術分野

0001

本発明は、3Dオーディオ技術を用いた音声会議システムの技術に関する。

背景技術

0002

特許文献1には、会議室接続型の音声会議システムが開示されている。この音声会議システムでは、各会議室マイクとスピーカとを設置して各会議室間を接続し、マイクで収音した会議室にいる参加者の声を、他の会議室各々に設置したスピーカから出力する。

0003

また、特許文献2には、3Dオーディオ技術を用いた音声会議システムが開示されている。この音声会議システムでは、音声会議に参加する各参加者会議端末から、3Dオーディオ処理立体音響処理)された各参加者の音声データを出力する。

0004

米国特許第5365583号明細書
米国特許第6327567号明細書

発明が解決しようとする課題

0005

特許文献1に記載の会議室接続型の音声会議システムでは、会議室に複数の参加者がいる場合に、当該会議室に設置されたマイクで集音された音声データから誰が発言したのかを容易に判別できないという問題がある。

0006

一方、特許文献2に記載の3Dオーディオ技術を用いた音声会議システムでは、各参加者の音声が3Dオーディオ処理されて距離および方向が表現される。このため、音声データから誰が発言したのかを容易に判別できる。しかし、音声会議参加者のうちの複数人が同じ会議室内で音声会議システムを使用する場合には、同じ会議室にいる参加者の音声データで表現されている距離および方向と、当該参加者の実際の位置および向きとが異なると、音声データを介して聞こえる当該参加者の声の距離および方向と、直接聞こえる当該参加者の声の距離および方向とが相違し、このため、違和感を生じる。

0007

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、3Dオーディオ技術を用いた音声会議システムにおいて、音声データで表現されている各ユーザの方向および距離に違和感を生じさせないようにすることにある。

課題を解決するための手段

0008

上記課題を解決するために、本発明では、音声会議に参加する複数の会議端末各々のユーザの仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバを設ける。そして、会議端末毎に、プレゼンスサーバを用いて、当該会議端末と同じ実空間上の所在場所に存在する会議端末以外の他の会議端末各々のユーザの音声データを、当該他の会議端末各々のユーザの前記仮想空間上における位置に基づいて立体音響処理して合成する。

0009

例えば、本発明の音声会議システムは、複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバと、実空間上のそれぞれの所在場所に設置され、当該所在場所に存在する会議端末が前記プレゼンスサーバと通信を行なうために利用される複数の中継装置と、を有し、
前記複数の会議端末各々は、
自会議端末のユーザである自ユーザの前記仮想空間上における位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する仮想位置情報送信手段と、
前記プレゼンスサーバから各会議端末のユーザの仮想位置情報と実空間上の所在場所を示す所在情報とを受信する位置情報受信手段と、
前記位置情報受信手段が受信した各会議端末のユーザの所在情報に基づいて、自ユーザと同じ実空間上の所在場所に存在するユーザである他会議室ユーザを検出する他会議室ユーザ検出手段と、
自ユーザの音声データを、前記会議室ユーザ検出手段が検出した他会議室ユーザの会議端末各々に送信する音声データ送信手段と、
前記会議室ユーザ検出手段が検出した他会議室ユーザの会議端末各々から、他会議室ユーザの音声データを受信する音声データ受信手段と、
前記音声データ受信手段で受信した他会議室ユーザの音声データ各々に対して、当該他会議室ユーザの仮想位置情報および自ユーザの仮想位置情報により特定される、前記仮想空間における当該他会議室ユーザと自ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他会議室ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、
前記音声合成手段により生成された立体合成音声データをスピーカから出力する音声制御手段と、を有し、
前記プレゼンスサーバは、
前記複数の会議端末各々から送られてきたユーザの仮想位置情報を管理すると共に、前記複数の会議端末各々から送られてきた情報が経由した前記中継装置に基づいて、前記複数の会議室各々のユーザの所在情報を管理する管理手段と、
前記複数の会議端末の各々に対して、前記管理手段で管理されている各会議端末のユーザの仮想位置情報および所在情報を、当該会議端末に送信する位置情報送信手段と、を有する。

0010

また、本発明の他の音声会議システムは、複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置および実空間上における所在場所を管理するプレゼンスサーバと、前記複数の会議端末各々に音声データを送信する音声サーバと、実空間上のそれぞれの所在場所に設置され、当該所在場所に存在する会議端末が前記プレゼンスサーバと通信を行なうために利用される複数の中継装置と、を有し、
前記複数の会議端末各々は、
自会議端末のユーザである自ユーザの前記仮想空間上における位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する仮想位置情報送信手段と、
自ユーザの音声データを前記音声サーバに送信する音声データ送信手段と、
前記音声サーバから立体合成音声データを受信する立体合成音声データ受信手段と、
前記立体合成音声データ受信手段で受信した立体合成音声データをスピーカから出力する音声制御手段と、を有し、
前記音声サーバは、
前記プレゼンスサーバから前記複数の会議端末各々のユーザの仮想位置情報と実空間上における所在場所を示す所在情報とを受信する位置情報受信手段と、
前記位置情報受信手段が受信した各会議端末のユーザの所在情報に基づいて、自ユーザと同じ実空間上の所在場所に存在するユーザである他会議室ユーザを検出する他会議室ユーザ検出手段と、
前記複数の会議端末各々から当該会議端末のユーザの音声データを受信する音声データ受信手段と、
前記複数の会議端末の各々について、前記会議室ユーザ検出手段が検出した他会議室ユーザ各々の音声データに対して、当該他会議室ユーザの仮想位置情報および当該会議端末のユーザである対象ユーザの仮想位置情報により特定される、前記仮想空間における当該他会議室ユーザと対象ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他会議室ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、
前記複数の会議端末各々に対して、前記音声合成手段により生成された当該会議端末の対象ユーザに対する立体合成音声データを、当該会議端末に送信する立体合成音声データ送信手段と、を有し、
前記プレゼンスサーバは、
前記複数の会議端末各々から送られてきたユーザの仮想位置情報を管理すると共に、前記複数の会議端末各々から送られてきた情報が経由した前記中継装置に基づいて、前記複数の会議端末各々の所在情報を管理する管理手段と、
前記管理手段で管理されている各会議端末のユーザの仮想位置情報および所在情報を、前記音声サーバに送信する位置情報送信手段と、を有する。

発明の効果

0011

本発明によれば、会議端末は、実空間上の同じ所在場所に存在する他の会議端末のユーザの音声データを出力しない。実空間上の別の所在場所に存在する他の会議端末のユーザの音声データのみが立体音響処理されて出力される。したがって、音声データで表現されている各ユーザの方向および距離に違和感を生じさせないようにすることができる。

発明を実施するための最良の形態

0012

以下に、本発明の実施の形態を説明する。

0013

<<第1実施形態>>
図1は本発明の第1実施形態が適用された音声会議システムの概略構成図である。図示するように、本実施形態の音声会議システムは、プレゼンスサーバ1と、複数の会議端末2と、IP(Internet Protocol)網4を介してプレセンスサーバ1に接続する複数の無線LAN(Local Area Network)-AP(Access Point)3A〜3Cと、を有する。

0014

無線LAN-AP3A〜3Bは、それぞれ異なる会議室A〜Cに設置されており、会議室A〜Cに存在する会議端末2がプレゼンスサーバ1と通信を行なうために利用される。なお、図1では3つの無線LAN-APを示しているが、当然ながら、無線LAN-APの数はこの数に限られない。

0015

図2は無線LAN-AP3A〜3Cの概略構成図である。

0016

図示するように、無線LAN-AP3A〜3Cは、IP網4に接続するためのIP網インターフェース部301と、無線LANインターフェース部302と、所在情報送信部303と、を有する。

0017

無線LANインターフェース部302は、自無線LAN-AP3A〜3Cが設置されている会議室A〜Cに存在する会議端末2と無線LANを介して接続するためのインターフェースである。

0018

所在情報送信部303は、無線LANインターフェース302を介して会議端末2からユーザIDを伴う所在情報登録要求を受信すると、当該ユーザIDと自無線LAN-AP3A〜3Cの識別情報であるAPIDとを含む所在情報を、IP網インターフェース部301を介してプレゼンスサーバ1に送信する。

0019

プレゼンスサーバ1は、各会議端末2のユーザの仮想空間上における位置情報と所在情報(APID)とを管理する。ここで、仮想空間とは各会議端末2のユーザが会議を行うために仮想的に作り出した空間である。仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率色彩質感残響特性、空間内の空気による音の吸収率などがある。

0020

図3はプレゼンスサーバ1の概略構成図である。

0021

図示するように、プレゼンスサーバ1は、IP網4に接続するためのIP網インターフェース部101と、位置情報管理部102と、SIPサーバ処理部103と、位置情報記憶部104と、を有する。

0022

図4は位置情報記憶部104の登録内容を模式的に示した図である。図示するように、位置情報記憶部104には、会議端末2のユーザ毎に、レコード1040が記憶されている。レコード1040は、会議端末2のユーザを一意識別するためのユーザIDを登録するフィールド1041と、当該会議端末2のSIP-URI(Uniform Resource Identifier)を登録するフィールド1042と、当該会議端末2のIPアドレスを登録するフィールド1043と、当該会議端末2のユーザの仮想空間における位置(座標)および向き(視線方向の方位)を示す仮想位置情報を登録するフィールド1044と、当該会議端末2のユーザの所在場所(会議室)を示す所在情報を登録するフィールド1045と、を有する。

0023

位置情報管理部102は、位置情報記憶部104に登録されているレコード1040の検索更新を行う。

0024

SIPサーバ処理部103は、位置情報記憶部104に登録されているSIP-URIとIPアドレスとの対応関係を用いて、発側の会議端末2から受信したINVITEメッセージを、着側の会議端末2へ送信する。

0025

図5はプレゼンスサーバ1の動作フローを説明する図である。

0026

位置情報管理部102は、IP網インターフェース部101を介して会議端末2からユーザIDと共に仮想位置情報を受信すると(S1001)、当該ユーザIDがフィールド1041に登録されているレコード1040を位置情報記憶部104から検索し(S1002)、検索したレコード1040のフィールド1044に登録されている仮想位置情報を該受信した仮想位置情報に更新する(S1003)。

0027

また、位置情報管理部102は、IP網インターフェース部101を介して無線LAN−AP3A〜3CからユーザIDと共に所在情報(APID)を受信すると(S1004)、当該ユーザIDがフィールド1041に登録されているレコード1040を位置情報記憶部104から検索し(S1005)、検索したレコード1040のフィールド1045に登録されている所在情報を該受信した所在情報に更新する(S1006)。

0028

また、位置情報管理部102は、IP網インターフェース部101を介して会議端末2からユーザIDを伴う位置情報送信要求を受信すると(S1007)、位置情報記憶部104から全てのレコード1040を読出し(S1008)、該要求の送信元の会議端末2に返信する(S1009)。

0029

また、SIPサーバ処理部103は、IP網インターフェース部101を介して会議端末2から、宛先のSIP-URIの指定を伴うINVITEメッセージを受信すると(S1010)、該SIP-URIがフィールド1042に登録されているレコード1040を位置情報記憶部104から検索する(S1011)。そして、検索したレコード1040のフィールド1043に登録されているIPアドレスを宛先として該INVITEメッセージを転送する(S1012)。

0030

図1に戻って説明を続ける。会議端末2は、自会議端末2が存在する会議室以外の会議室に存在する他の会議端末2各々のユーザの音声データを、各ユーザの仮想空間における位置情報と、自会議端末2のユーザの位置情報との相対的な位置関係に基づいて立体音響処理し出力する。図6は会議端末2の概略構成図である。

0031

図示するように、会議端末2は、音声入力部201と、音声出力部203と、映像出力部204と、操作受付部205と、オーディオエンコーダ206と、オーディオレンダラ208と、プレゼンスプロバイダ210と、空間モデラ211と、IPパケットを処理するIP処理部212と、RTP(Real-time Transport Protocol)処理部213と、SIP制御部214と、着席情報作成部217と、他会議室ユーザ検出部218と、無線LANを介して無線LAN-AP3A〜2Cに接続するための無線LANインターフェース部219と、を有する。

0032

音声入力部210は、マイク221で収音した音声信号入力端子である。音声出力部203は、3Dオーディオ対応(例えば擬似5.1チャンネル対応)のヘッドフォン(あるいはスピーカ)223に接続される音声出力端子である。そして、操作受付部205はユーザのポインティングデバイス225に対する操作を受け付ける。また、オーディオエンコーダ206は、音声入力部201に入力された音声信号をエンコードして音声データを出力する。

0033

RTP処理部213は、オーディオエンコーダ206より出力された音声データをRTPパケットに格納し、該RTPパケットをIP処理部212および無線LANインターフェース部219を介して、SIP処理部214より通知された宛先のIPアドレスへ送信する。また、RTP処理部213は、無線LANインターフェース部219およびIP処理部212を介して他の会議端末2より受信したRTPパケットから、音声データを取り出して、該RTPパケットの送信元アドレスと共に他会議室ユーザ検出部218に出力する。

0034

空間モデラ211は、予め設定されている仮想空間の属性に従い、操作受付部205で受け付けた自ユーザのポインティングデバイス225に対する操作に応じて当該仮想空間における自ユーザの位置(座標)および視線方向(方位)を決定し、決定した位置および視線方向を含む自ユーザの位置情報をプレゼンスプロバイダ210に出力する。また、空間モデラ211は、プレゼンスプロバイダ210から各会議端末2のユーザの位置情報および所在情報を含むレコード1040を受け取って保持すると共に、着席情報生成部217および他会議室ユーザ検出部218に出力する。

0035

プレゼンスプロバイダ210は、空間モデラ211から受け取った自ユーザの位置情報を、IP網インターフェース部210を介してプレゼンスサーバ1に定期的に送信する。また、プレゼンスプロバイダ210は、IP処理部212および無線LANインターフェース部219を介してプレゼンスサーバ1に位置情報送信要求を定期的に送信し、その応答として、プレゼンスサーバ1から、音声会議に参加している各ユーザのレコード1040を受信する。そして、受信した各ユーザのレコード1040を空間モデラ211に通知する。

0036

他会議室ユーザ検出部218は、自ユーザのユーザIDに基づいて、空間モデラ211から受け取った各ユーザのレコード1040から自ユーザのレコード1040を特定する。そして、自ユーザの所在情報(APID)と異なる所在情報を持つ他ユーザ、つまり、自ユーザとは異なる会議室に存在するユーザのレコード1040を、他会議室ユーザのレコード1040として抽出する。それから、他会議室ユーザ検出部218は、RTP処理部213から送信元アドレスと共に受信した音声データの中から、いずれかの他会議室ユーザのレコード1040に含まれているIPアドレスと一致する送信元アドレスを持つ音声データを、当該他会議室ユーザの音声データとして抽出する。そして、抽出した他会議室ユーザの音声データ各々に、当該他会議室ユーザのレコード1040に含まれている仮想位置情報を付加して、オーディオレンダラ208に出力する。また、他会議室ユーザ検出部218は、自ユーザのレコード1040に含まれている仮想位置情報をオーディオレンダラ208に出力する。

0037

着席情報作成部217は、空間モデラ211から受け取ったユーザ各々のレコード1040の位置情報に基づいて、例えば図7に示すような、仮想空間における自ユーザの配置位置2161および他ユーザ各々の配置位置2162を示す着席情報表示データを生成する。そして、着席情報表示データを映像出力部204を介してディスプレイ224に表示する。

0038

オーディオレンダラ208は、他会議室ユーザ検出部218から自ユーザの仮想位置情報を受信する。また、他会議室ユーザの音声データ各々を仮想位置情報と共に受信する。そして、受信した他会議室ユーザ各々の音声データをバッファリングすることによって、各音声データ間で同期させる(対応付ける)。このバッファリング(プレイアウト・バッファリング)の方法については、例えば文献「Colin Perkins著:RTP: Audio and Video for the Internet, Addison-Wesley Pub Co; 1st edition (June 11, 2003)」に記載されている。また、オーディオレンダラ208は、同期させた他会議室ユーザの音声データ各々を、当該他会議室ユーザの仮想位置情報および自ユーザの仮想位置情報により特定される、仮想空間における当該他ユーザと自ユーザとの相対位置に基づいて立体化する。そして、オーディオレンダラ208は、2チャンネル左チャンネル右チャンネル)の信号データ(信号列)を、音声出力部203に接続された3Dオーディオ対応ヘッドフォン223に出力する。

0039

オーディオレンダラ208をより詳細に説明する。3次元オーディオ技術では、主に人の頭(以下、「人頭」)のまわりでの音響の変化の仕方インパルス応答)を表すHRIR(Head Related Impulse Response)と、部屋などの仮想環境によって生成される擬似的な残響とによって音の方向および距離を表現する。HRIRは、音源と人頭との距離、および、人頭と音源との角度(水平角度および垂直角度)によって決定される。なお、オーディオレンダラ208には、予めダミーへッドを使用して各距離および各角度毎に測定したHRIRの数値が記憶されているものとする。また、HRIRの数値には、左チャネル用(ダミーヘッド左耳で測定したもの)と、右チャネル用(ダミーヘッドの右耳で測定したもの)とで異なる数値を使用することによって、左右、前後または上下の方向感を表現する。

0040

図8オーディオレンダ208の処理を説明する図である。オーディオレンダラ208は、他会議室ユーザ検出部218から他会議室ユーザの仮想位置情報と共に送られてくる音声データ各々に関して、他会議室ユーザ毎に下記の計算を行う。

0041

まず、オーディオレンダラ208は、他会議室ユーザ毎に、他会議室ユーザ検出部218から当該他会議室ユーザの音声データの信号列si[t](t=1,...)を、当該他会議室ユーザの仮想位置情報と共に受け付ける。そして、当該他会議室ユーザの仮想位置情報と、自ユーザの仮想位置情報とを、当該他会議室ユーザの音声データの信号列si[t](t=1,...)を3Dオーディオ処理に用いるパラメータに設定する(S3001)。

0042

次に、オーディオレンダラ208は、他会議室ユーザ毎に、音声データの直接音と、残響である反射音とを計算する。直接音については、パラメータ設定された仮想位置情報を用いて、当該他会議室ユーザと自ユーザとの仮想空間における距離および角度(azimuth)を計算する(S3002)。それから、オーディオレンダラ208は、自ユーザとの距離および角度に対応するHRIRを、予め記憶しておいたHRIRの数値の中から特定する(S3003)。なお、オーディオレンダラ208は、予め記憶しておいたHRIRの数値を補間することによって算出したHRIRの数値を使用してもよい。

0043

次に、オーディオレンダラ208は、S3001で入力した信号列と、S3003で特定したHRIRの左チャネル用HRIRとを使用して、畳み込み(convolution)計算を行い、左チャネル信号を生成する(S3004)。同様に、S3001で入力した信号列と、S3003で特定したHRIRの右チャネル用HRIRとを使用して、畳み込み計算を行い、右チャネル信号を生成する(S3005)。

0044

また、反響音については、S3001でパラメータ設定された位置情報を用いて、付加すべき残響を計算する(S3006、S3007)。すなわち、オーディオレンダラ208は、仮想空間の属性による音響の変化の仕方(インパルス応答)に基づいて残響を計算する。以下、残響の計算について説明する。

0045

残響は初期反射(early reflection)および後期残響(late reverberation)により構成される。そして、初期反射の方が後期残響より、他会議室ユーザとの距離や部屋(仮想空間)の大きさなどに関する感覚の形成(認知)において、重要であると一般的に考えられている。実空間上の室内では、音源から直接発せられた音(直接音)が聞こえた後、数msから100msくらいの間に、条件によっては、壁、天井、床などからの数10個の初期反射を聞くことができるといわれている。部屋の形状が直方体であれば、1回の初期反射は6個だけである。しかしながら、より複雑な形状または家具などがある部屋においては、反射音の数が増え、また、壁などで複数回反射した音も聞こえる。

0046

初期反射の計算法としてimage source methodがあり、例えば文献「Allen, J.B. and Berkley, A., "Image Method for efficiently Simulating Small-Room Acoustics", J.Acoustical Society of America, Vol.65, No.4, pp.943-950, April 1979.」に記載されている。単純なimage source methodでは、部屋の壁、天井、床を鏡面とみなし、反射音を鏡面の反対側にある音源の像からの音として計算する。

0047

図9は説明を簡単にするために、天井と床を省略した2次元のimage source methodを模式的に表した図である。すなわち、中央に本来の仮想空間である仮想会議室2081があり、当該仮想会議室2081には、自ユーザおよび他会議室ユーザが存在する。そして、仮想会議室2081の周囲には、部屋の壁2082を含む12個の鏡像が描かれている。なお、鏡像は12個である必然性はなく、これより多くすることも少なくすることもできる。

0048

オーディオレンダラ208は、鏡像各々の中に存在する他会議室ユーザの各像からの音が、自ユーザ(聴取者)に直進するものとして、他会議室ユーザの各像から自ユーザまでの距離と方向を算出する(S3006)。音の強さは距離に反比例するため、オーディオレンダラ208は、距離に従って各音量減衰させる。但し、壁の反射率をα(0≦α≦1)とすると、壁でn回反射される音の標本には、αnを乗じて音量をさらに減衰させる。

0049

なお、反射率αの値は0.6程度の値を使用する。0.6程度の値にする理由は、自ユーザが他会議室ユーザとの距離を認識するのに充分な残響(すなわち、直接音と反射音との比)を取得するためである。また、もう1つの理由としては、αの値を過大にした場合、自ユーザの方向感覚をにぶらせるからである。

0050

次に、オーディオレンダラ208は、他会議室ユーザの像毎に、自ユーザとの距離および角度に対応するHRIRを、予め記憶しておいたHRIRの数値の中から特定する(S3007)。反射音はそれぞれ異なる方向から人頭に達するため、S3003で特定した直接音のHRIRとは異なるHRIRを適用する必要がある。

0051

なお、多数の反射音各々に、異なるHRIRを用いて後述するたたみこみ計算(S3007、S3008)を行うと、膨大な計算が必要になる。計算量の増加を防止するため、反射音の計算には、実際の音源の方向にかかわらず正面に音源があるときのHRIRを適用してもよい。そして、音が左右のに達する際の時間差(ITD:interaural time difference)と強度差(IID:interaural intensity difference)だけを計算することで、少ない計算量でHRIRの計算を代替できる。

0052

次に、オーディオレンダラ208は、S3001で入力した信号列と、S3007で特定したHRIRの左チャネル用HRIRとを使用して、畳み込み計算を行い、左チャネル信号の残響を生成する(S3008)。同様に、S3001で入力した信号列と、S3007で特定したHRIRの右チャネル用HRIRとを使用して、畳み込み計算を行い、右チャネル信号の残響を生成する(S3009)。

0053

さて、オーディオレンダラ208は、以上のようにして全ての他会議室ユーザ各々の左チャネル信号を計算したならば、これらを全て加算する(S3010)。なお、左チャネル信号は、S3004で算出した直接音と、S3008で算出した反射音とが含まれる。

0054

同様に、オーディオレンダラ208は、以上のようにして全ての他会議室ユーザ各々の右チャネル信号を計算したならば、これらを全て加算する(S3011)。なお、右チャネル信号は、S3005で算出した直接音とS3009で算出した反射音とが含まれる。

0055

HRIR計算(S3003、S3007)は、RTPパケットの1パケット分の音声データ毎に行う。しかし、畳み込み計算(S3004、S3005、S3008、S3009)では、次の1パケット分の音声データに繰り越すべき部分が生じる。このため、特定したHRIRまたは入力された信号列を次の1パケット分の音声データに対する処理まで保持する必要がある。

0056

このように、オーディオレンダラ208は、他会議室ユーザ検出部218から送られてきた他会議室ユーザ各々の音声データに対して、上述の計算による音量の調節、残響や反響音の重ね合わせ、および、フィルタリング等の処理を行い、自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を施す。すなわち、オーディオレンダラ208は、仮想空間の属性と、他会議室ユーザの自ユーザに対する相対的な位置とから帰結する処理によって音声を定位させた立体音響を生成する。

0057

図6に戻って説明を続ける。SIP制御部214は、各会議端末2のユーザIDおよびSIP-URIが登録されたテーブルを保持しており、必要に応じてこのテーブルを用いて、他の会議端末2との間にコネクション確立する。

0058

図10はSIP制御部214の動作フローを説明する図である。

0059

会議端末2の起動時に、SIP処理部214は、他会議室ユーザ検出部218より通知された他会議室ユーザのユーザIDを持つ会議端末2各々とコネクションを確立する。先ず、SIP処理部214は、自身のテーブルに登録されているSIP-URIの中から、未抽出の他会議室ユーザのSIP-URIを抽出する(S4001)。次に、SIP処理部214は、抽出したSIP-URIを宛先とするINVITEメッセージを、IP処理部212および無線LANインターフェース部219を介してプレゼンスサーバ1に送信し、SIP-URIを持つ会議端末2に対して、コネクションの確立を試みる(S4002)。次に、SIP処理部214は、自身のテーブルに登録されている全ての他会議室ユーザのSIP-URIを抽出したか否かを調べ(S4003)、抽出していない場合はS4001に戻り、抽出した場合は、起動時のコネクション確立処理を終了し、各種イベント待ち状態移行する。

0060

さて、SIP処理部214は、無線LANインターフェース部219およびIP処理部212を介してIP網4からINVITEメッセージを受信すると(S4101でYES)、該INVITEメッセージの送信元(発側)の会議端末2との間でSIPに従った呼制御シーケンスを実行し、当該会議端末2との間にコネクションを確立する(S4102)。

0061

また、SIP処理部214は、無線LANインターフェース部219およびIP処理部212を介してコネクションを確立している通話相手の会議端末2からBYEメッセージを受信すると(S4201でYES)、該通話相手の会議端末2との間でSIPに従った呼制御シーケンスを実行し、当該会議端末2との間のコネクションを解放する(S4202)。

0062

また、SIP制御部214は、他会議室ユーザ検出部218より他会議室ユーザのユーザIDが新たに通知されると(S4301でYES)、自身のテーブルに登録されているSIP-URIの中から、通知された他会議室ユーザのユーザID各々に対応付けられているSIP-URIを抽出し、各SIP-URIとの間にコネクションを確立しているか否かを調べる。コネクションを確立していないSIP-URIがある場合(S4302でYES)、SIP処理部214は、当該SIP-URIを宛先とするINVITEメッセージを、IP処理部212および無線LANインターフェース部219を介してプレゼンスサーバ1に送信し、当該SIP-URIを持つ会議端末2に対して、コネクションの確立を試みる(S4303)。

0063

一方、新たに通知された他会議室ユーザのユーザIDに対応付けられている全てのSIP-URIとの間にコネクションが確立している場合(S4302でNO)、SIP制御部214は、自身のテーブルを用いて、コネクションが確立中である通話相手のSIP-URIの中に、他会議室ユーザ検出部218より新たに通知された他会議室ユーザ以外のユーザのユーザIDに対応付けられているSIP-URIがあるか否かを調べる。他会議室ユーザ以外のユーザIDに対応づけられているSIP-URIとの間でコネクションが確立中であるならば(S4304でYES)、当該SIP-URIを宛先とするBYEメッセージを、IP処理部212および無線LANインターフェース部219を介して当該SIP-URIを持つ会議端末2に送信し、当該会議端末2との間のコネクションを解放する(S4305)。

0064

上記構成のプレゼンスサーバ1には、図11に示すような、プログラムに従ってデータの加工・演算を行なうCPU401と、CPU401が直接読み書き可能なメモリ402と、ハードディスク等の外部記憶装置403と、IP網3を介して外部システムデータ通信をするための通信装置404と、入力装置405と、出力装置406とを、を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。

0065

また、上記構成の無線LAN-AP3A〜3Cは、図11に示す構成に、無線LANに接続するための無線通信装置を追加したコンピュータシステムを利用することができる。

0066

また、上記構成の会議端末2は、図11に示す構成において、通信装置404の代わりに無線LANに接続するための無線通信装置を搭載したコンピュータシステムを利用することができる。例えば、PDA(Personal Digital Assistant)、ハンドヘルドコンピュータ、および、ウエアラブル・コンピュータなどである。

0067

図12は会議端末2にPDAまたはハンドヘルドコンピュータを用いた例を示している。装置本体230には、ディスプレイ224、ポインティングデバイス225、および、無線LAN用のアンテナ231が設けられている。また、装置本体230に接続されたヘッドセットは、マイク221および3Dオーディオ対応ヘッドフォン223を有する。

0068

ポインティングデバイス225は、前進タン2251、後退ボタン2252、左移動ボタン2253、右移動ボタン2254および選択ボタン2255を有する。例えば、前進ボタン2251を押すことによって、仮想空間内で前進し、後退ボタン2252を押すことによって仮想空間内で後退する。なお、ポインティングデバイス225は、タッチパネルであってもよい。すなわち、ディスプレイ224の表面を、指などの接触を検知するための素子を配置した透明なスクリーン(タッチパネル)で覆ったタッチスクリーンとしてもよい。ユーザは、指や専用のペンでディスプレイ224に触れることで、容易に入力操作を行なうことができる。

0069

また、図示するヘッドセットは、装置本体230に有線で接続されているが、Bluetooth(登録商標)やIrDAなどの近距離無線通信により接続してもよい。

0070

なお、上記各装置の各機能は、メモリ302にロードまたは記憶された所定のプログラム(プレセンスサーバ1の場合はプレゼンスサーバ用のプログラム、無線LAN-AP3A〜3Cの場合は無線LAN-AP用のプログラム、そして、会議端末2の場合は会議端末用のプログラム)を、CPU301が実行することにより実現される。

0071

次に、上記構成のビデオ会議システムの概略動作を説明する。

0072

図13は、図1に示す音声会議システムの概略動作を説明するための図である。ここでは、始めはユーザA、Dが同じ会議室Aにおり、ユーザB、Cが別の会議室Bにおり、その後、ユーザAがユーザB、Cと同じ会議室Bに移動する場合を例にとり、ユーザAが音声会議に参加する場合の概略動作を説明する。

0073

先ず、ユーザAの会議端末2は、ユーザAの仮想位置情報をプレゼンスサーバ1に送信する。これを受けて、プレゼンスサーバ1はユーザAの仮想位置情報を登録する(S5001)。また、ユーザAの会議端末2は、所在情報送信要求を自会議端末2が無線通信に利用する無線LAN-AP3Aに送信する(S5002)。これを受けて、無線LAN-AP3Aは、自無線LAN-APのAPIDをユーザAの所在情報としてプレゼンスサーバ1に送信する。これを受けて、プレゼンスサーバ1はユーザAの所在情報を登録する(S5003)。また、ユーザAの会議端末2は、位置情報送信要求をプレゼンスサーバ1に送信する(S5004)。これを受けて、プレゼンスサーバ1はユーザA〜Dの仮想位置情報および所在情報を送信する(S5005)。

0074

次に、ユーザAの会議端末2は、他会議室ユーザの検出を行う(S5006)。ここでは、始めはユーザA、Dが同じ会議室Aにおり、ユーザB、Cが別の会議室Bにいる。したがって、ここでは、他会議室ユーザとしてユーザB、Cが検出される。このため、ユーザAの会議端末2は、ユーザB、Cの会議端末2各々のSIP−URIを宛先とするINVITEメッセージをプレゼンスサーバ1に送信する。プレゼンスサーバ1は、これらのINVITEメッセージをユーザB、Cの会議端末2各々に送信する(S5007)。これにより、ユーザAの会議端末2は、ユーザB、Cの会議端末2各々との間にコネクションを確立し、これらのコネクションを介して音声会議を行う(S5008)。ユーザDは同じ会議室Aにいるので、ユーザDとの間にはコネクションを確立しない。ユーザAおよびユーザDは、本実施形態の会議システムを通さずに、直接会話を行う。

0075

さて、ユーザAが移動して、ユーザB、Cと同じ会議室Bに移動したとする。会議室Bにおいても、ユーザAの会議端末AはS5001〜S5006と同様の処理を行う(S5009〜S5014)。その結果、他会議室ユーザとしてユーザDのみが検出される。このため、ユーザAの会議端末2は、コネクション確立中のユーザB、Cの会議端末2各々に対してBYEメッセージを送信し、これらの会議端末2との間のコネクションを解放する(S5015)。また、ユーザAの会議端末2は、ユーザDの会議端末2のSIP−URIを宛先とするINVITEメッセージをプレゼンスサーバ1に送信する。プレゼンスサーバ1は、このINVITEメッセージをユーザDの会議端末2に送信する(S5016)。これにより、ユーザAの会議端末2は、ユーザDの会議端末2との間にコネクションを確立し、このコネクションを介して音声会議を行う(S5017)。ユーザB、Cは同じ会議室Bにいるので、ユーザB、Cとの間にはコネクションを確立しない。ユーザA、ユーザBおよびユーザCは、本実施形態の会議システムを通さずに、直接会話を行う。

0076

以上、本発明の第1実施形態を説明した。本実施形態では、会議端末2は、実空間上の同じ会議室に存在する他の会議端末2のユーザの音声データを出力しない。実空間上の別の会議室に存在する他の会議端末2のユーザの音声データのみが立体音響処理されて出力される。したがって、音声データで表現されている各ユーザの方向および距離に違和感を生じさせないようにすることができる。

0077

<<第2実施形態>>
図14は本発明の第2実施形態が適用された音声会議システムの概略構成図である。図示するように、本実施形態のビデオ会議システムは、プレゼンスサーバ1´と、音声サーバ5と、複数の会議端末2´と、IP網4を介してプレセンスサーバ1に接続する複数の無線LAN-AP(Local Area Network)3A〜3Cと、を有する。本実施形態において、上記の第1実施形態と同じ機能を有するものには同じ符号を付している。

0078

プレゼンスサーバ1´は、各会議端末2´のユーザの仮想位置情報と所在情報とを管理する。また、音声サーバ5からの位置情報送信要求に応答して、各会議端末2´のユーザの仮想位置情報および所在情報を音声サーバ5に送信する。なお、本実施形態のプレゼンスサーバ1´は、図3に示す第1実施形態のプレゼンスサーバ1からSIP処理部103を省略したものである。本実施形態のプレゼンスサーバ1´の処理フローは、図5に示す第1実施形態のプレゼンスサーバ1の処理フローからSIP処理(S1010〜S1012)を省略したものと同じになる。

0079

音声サーバ5は、各会議端末2´のユーザの音声データを受信する。また、音声サーバ5は、会議端末2´毎に、当該会議端末2´のユーザ向けの会議音声データ(3Dオーディオデータ)を生成し、当該会議端末2´に送信する。図15は音声サーバ5の概略図である。

0080

図示するように、音声サーバ5は、IP網4に接続するためのIP網インターフェース部501と、RTP処理部502と、SIP処理部503と、プレゼンスプロバイダ504と、空間モデラ505と、ユーザ情報生成部506と、音声分配部508と、会議端末2´毎に設けられたオーディオレンダラ509と、を有する。

0081

SIP制御部503は、IP網インターフェース部501を介して各会議端末2´との間にコネクションを確立する。

0082

RTP処理部502は、会議端末2´毎に、当該会議端末2´との間で確立されているコネクションを介して当該会議端末2´からユーザの音声データを受信し、受信した音声データを、該音声データの送信元アドレスと共に、音声分配部508に出力する。また、RTP処理部502は、会議端末2´毎に、当該会議端末2´に対応付けられたオーディオレンダラ509から出力された会議音声データを、当該会議端末2´との間で確立されているコネクションを介して当該会議端末2´に送信する。

0083

プレゼンスプロバイダ504は、IP網インターフェース部501を介してプレゼンスサーバ1に位置情報送信要求を定期的に送信し、その応答としてプレゼンスサーバ1から各会議端末2´のユーザのレコード(仮想位置情報、所在情報)1040を受信する。そして、受信した各ユーザのレコード1040を空間モデラ505に通知する。

0084

空間モデラ505は、プレゼンスプロバイダ504から各会議端末2´のユーザのレコード1040を受け取って保持すると共に、他会議室ユーザ検出部506に出力する。

0085

ユーザ情報生成部506は、会議端末2´毎に、空間モデラ211から受信した各ユーザのレコード1040の中から当該会議端末2´のユーザIDを含むレコード1040を特定する。そして、特定したレコード1040に含まれているユーザID、IPアドレスおよび位置情報を含む自ユーザ情報を生成し、音声分配部508に送信する。また、ユーザ情報生成部506は、会議端末2´毎に、前記特定したレコード1040以外のレコード1040の中から前記特定したレコード1040の所在情報と異なる所在情報を持つレコード1040を検索し、検索した各レコード1040に含まれているユーザID、IPアドレスおよび仮想位置情報を含む他会議室ユーザ情報を生成して、生成した他会議室ユーザ情報各々を当該会議端末2´の自ユーザ情報に含まれているユーザIDに対応付けて音声分配部508に送信する。

0086

音声分配部508は、会議端末2´毎に、RTP処理部502から受け取った各ユーザの音声データの中から、当該会議端末2´に送信する会議音声データに利用する音声データを抽出する。具体的には、会議端末2´毎に次の処理を行う。すわわち、ユーザ情報生成部506から受信した自ユーザ情報のうち、当該会議端末2´のユーザIDを含む自ユーザ情報を、当該会議端末2´の自ユーザ情報として検出する。そして、当該会議端末2´の自ユーザ情報を、当該会議端末2´に対応付けられたオーディオレンダラ509に出力する。また、ユーザ情報生成部506から受信した他会議室ユーザ情報のうち、当該会議端末2´の自ユーザ情報のユーザIDに対応付けられている他会議室ユーザ情報を、当該会議端末2´の他会議室ユーザ情報として検出する。また、RTP処理部502から受け取った各ユーザの音声データのうち、当該会議端末2´の他会議室ユーザ情報のIPアドレスを送信元アドレスとする音声データを検出する。そして、検出した音声データを、当該音声データの送信元アドレスをIPアドレスとする当該会議端末2の他会議室ユーザ情報と共に、当該会議端末2´に対応付けられたオーディオレンダラ509に出力する。

0087

オーディオレンダラ509は、音声分配部508から各音声データを他会議室ユーザ情報と共に受信する。また、音声分配部508から自ユーザ情報を受信する。そして、受信した各音声データをバッファリングすることによって、各音声データ間で同期させる(対応付ける)。また、オーディオレンダラ509は、同期させた各音声データを、各音声データに付与された他会議室ユーザ情報の仮想位置情報と自ユーザ情報の仮想位置情報とにより特定される、仮想空間における他会議室ユーザと自ユーザとの相対位置に基づいて立体化する。そして、オーディオレンダラ509は、2チャンネル(左チャンネルと右チャンネル)の信号データ(信号列)を含む会議音声データをRTP処理部502に出力する。なお、音声データの立体化の方法は、第1実施形態のオーディオレンダラ208のそれと基本的に同様である(図8および図9参照)。

0088

会議端末2´は、音声サーバ5との間にコネクションを確立し、該コネクションを介して自ユーザの音声データを音声サーバ5に送信する。また、該コネクションを介して音声サーバ5より音声会議データを受信して出力する。図16は会議端末2´の概略構成図である。

0089

図示するように、会議端末2´は、音声入力部201と、音声出力部203と、映像出力部204と、操作受付部205と、オーディオエンコーダ206と、オーディオデコーダ248と、プレゼンスプロバイダ210と、空間モデラ211と、IP処理部212と、RTP処理部243と、SIP制御部244と、着席情報作成部217と、を有する。ここで、図6に示す第1実施形態の会議端末2と同じ機能を有するものには同じ符号を付している。

0090

SIP制御部244は、IP処理部212および無線LANインターフェース部219を介して音声サーバ5との間にコネクションを確立する。

0091

RTP処理部243は、音声サーバ5の間で確立されているコネクションを介して、オーディオエンコーダ206より出力された音声データを音声サーバ5に送信する。また、該コネクションを介して、音声サーバ5から会議音声データを受信し、受信した会議音声データをオーディオデコーダ248に送信する。

0092

オーディオデコーダ248は、RTP処理部243から受け取った会議音声データをデコードして音声信号を音声出力部204に出力する。

0093

上記構成のプレゼンスサーバ1´および音声サーバ5も、第1実施形態のプレゼンスサーバ1と同様に、図11に示すようなコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。また、上記構成の会議端末2´も、第1実施形態の会議端末2と同様に、図11に示すようなコンピュータシステムを利用することができる。例えば、PDA、ハンドヘルドコンピュータ、および、ウエアラブル・コンピュータなどである。

0094

次に、上記構成の音声会議システムの概略動作を説明する。

0095

図17図14に示す音声会議システムの概略動作を説明するための図である。ここでは、始めはユーザE、Hが同じ会議室Aにおり、ユーザF、Gが別の会議室Dにおり、その後、ユーザEがユーザF、Gと同じ会議室Cに移動する場合を例にとり、ユーザEが音声会議に参加する場合の概略動作を説明する。なお、ユーザE〜Hの会議端末2´各々は、音声サーバ5との間にコネクションを確立しているものとする。

0096

先ず、ユーザEの会議端末2´は、ユーザEの仮想位置情報をプレゼンスサーバ1に送信する。これを受けて、プレゼンスサーバ1´はユーザEの仮想位置情報を登録する(S6001)。また、ユーザEの会議端末2´は、所在情報送信要求を自会議端末2´が無線通信に利用する無線LAN-AP3Aに送信する(S6002)。これを受けて、無線LAN-AP3Aは、自無線LAN-APのAPIDをユーザEの所在情報としてプレゼンスサーバ1´に送信する。これを受けて、プレゼンスサーバ1´はユーザEの所在情報を登録する(S6003)。

0097

一方、音声サーバ5は、位置情報送信要求を送信する(S6004)。これを受けて、プレゼンスサーバ1´はユーザE〜Hの仮想位置情報および所在情報を音声サーバ5に送信する(S6005)。それから、音声サーバ5は、他会議室ユーザの検出を行う(S6006)。ここでは、始めはユーザE、Hが同じ会議室Aにおり、ユーザF、Gが別の会議室Bにいる。しかたがって、ユーザEの他会議室ユーザとしてユーザF、Gが検出される。このため、音声サーバ5は、ユーザF、Gの会議端末2から受信した音声データ各々をユーザEとの相対位置に基づいて立体音響処理し合成し音声会議データを生成する。そして、生成した音声会議データを、ユーザEの会議端末2´に送信する(S6007)。ユーザHはユーザEと同じ会議室Aにいるので、ユーザHの音声データはユーザE向けの音声会議データに含まれない。ユーザEおよびユーザHは、本実施形態の会議システムを通さずに、直接会話を行う。

0098

さて、ユーザEが移動して、ユーザF、Gと同じ会議室Bに移動したとする。会議室Bにおいても、S6001〜S6006と同様の処理が行われる(S6008〜S6013)。その結果、ユーザEの他会議室ユーザとしてユーザHのみが検出される。このため、音声サーバ5は、ユーザHの会議端末2から受信した音声データをユーザEとの相対位置に基づいて立体音響処理し音声会議データを生成する。そして、生成した音声会議データを、ユーザEの会議端末2´に送信する(S6014)。ユーザF、Gは、ユーザEと同じ会議室Bにいるので、ユーザF、Gの音声データはユーザE向けの音声会議データに含まれない。ユーザE、ユーザFおよびユーザGは、本実施形態の会議システムを通さずに、直接会話を行う。

0099

以上、本発明の第2実施形態を説明した。本実施形態でも、上記の第1実施形態と同様に、会議端末2´は、実空間上の同じ会議室に存在する他の会議端末2´のユーザの音声データを出力しない。実空間上の別の会議室に存在する他の会議端末2´のユーザの音声データのみが立体音響処理されて出力される。したがって、音声データで表現されている各ユーザの方向および距離に違和感を生じさせないようにすることができる。

0100

なお、本発明は、上記の各実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

0101

例えば、上記の各実施形態では、各会議端末2、2´が、ポインティングデバイス225を介してユーザより受付けた操作内容に応じて当該ユーザの仮想位置情報(位置および向き)を決定している。しかし、本発明はこれに限定されない。例えば、会議端末2、2´の当該会議端末2、2´が実際に所在する会議室での現在位置および向きに基づいて、当該会議端末2、2´のユーザの仮想位置情報を決定してもよい。

0102

図18図6に示す会議端末2の変形例を説明するための図である。この変形例では、操作受付部205に代えて、会議端末2の方位を計測する方位計測部253と、会議端末2が所在する会議室における当該会議端末2の現在位置を算出する現在位置算出部252と、を有する。

0103

方位計測部253には、例えば磁気方位センサを用いることができる。通常、磁気方位センサは、磁気抵抗素子で構成されたホイートストンブリッジおよび薄膜コイルを有する。磁気抵抗素子は、当該磁気抵抗素子を流れる電流の方向と直交する方向に磁界印加されると抵抗値が変化する。磁気方位センサは、この特性を利用して地磁気を検出する。

0104

現在値算出部252は、例えば会議室に設置された少なくとも3つの無線発信機から発信された無線信号信号強度と、各無線発信機の設置位置(当該会議室に設けられた原点からの座標位置)とを用いて、三辺測量原理により自会議端末2の現在位置を測定する。ここで、無線通信システムを用いた位置検出システムについては、例えば「荻野、恒原他/B-5-203、無線LAN統合アクセスシステム(1):位置検出システムの検討、電子情報通信学会総合大会講演論文集、Vol. 2003年_通信 Num. 1 pp.662 (2003.03)」や、「恒原、荻野他/B-5-204、無線LAN統合アクセスシステム(2):位置検出精度に関する検討、電子情報通信学会総合大会講演論文集、Vol. 2003年_通信 Num. 1 pp.663 (2003.03)」に詳しい。なお、本実施形態では、各会議室の原点を各会議室の中心に設定している。

0105

空間モデラ211は、現在位置算出部252で算出した自会議端末2の会議室における現在位置および方位計測部253で測定した自会議端末2の方位と、仮想空間における自ユーザの位置および向きとして、仮想位置情報を生成する。本実施形態では、上述したように、各会議室の原点を各会議室の中心に設定している。したがって、プレゼンスサーバ1で管理される各会議端末2の仮想空間における位置と向きは図19に示すようになる。つまり、実空間における会議端末2の位置と向きが仮想空間における位置と向きに反映されるので、より違和感のない音声会議を実現できる。なお、各会議室の原点は必ずしも各会議室の中心とする必要はない。この場合、各会議室の原点に各会議室の中心までのオフセット値を持たせる。そして、現在位置の測定値をこのオフセット値で補正した値を、仮想空間における位置とする。

0106

なお、各会議端末2のユーザは、音声会議に参加する自身の仮想空間における位置を着席情報生成部217が生成した着席情報により確認し(図7参照)、仮想空間において他のユーザと重ならないように、自身の会議室(実空間)における現在位置を調整することができる。

0107

また、上記の各実施形態では、無線LAN-AP3A〜3Cが、会議端末2、2´からの所在情報送信要求に応答して、該要求送信元の所在情報をプレゼンスサーバ1に送信している。しかし、本発明はこれに限定されない。

0108

例えば、無線LAN-AP3A〜3Cが、会議端末2、2´からの所在情報送信要求に応答して、該要求送信元の所在情報を該要求送信元に返信し、会議端末2、2´が無線LAN-AP3A〜3Cから受信した所在情報を、プレゼンスサーバ1に送信してもよい。

0109

あるいは、無線LAN-AP3A〜3C、もしくは、会議室毎に設けられた、当該会議室に所在する会議端末2、2´のデータがIP網4へ伝送される場合に必ず通過するネットワーク装置(例えばLANスイッチ)に、SIPプロキシ機能を追加し、会議端末2、2´からプレゼンスサーバ1に送信されるSIPメッセージに、所在情報を表すSIPヘッダを追加させるようにしてもよい。追加するSIPヘッダとしては、例えば、"Via:SIP/2.0/UDProom-301@aa.co.jp:5060;type=room"のようなものが考えられる。この例では、このSIPヘッダが所在情報を表すことを"type=room"で示し、会議室の識別子を"room-301@aa.co.jp:5060"で示している。

0110

あるいは、無線LAN-AP3A〜3C、もしくは、会議室毎に設けられた、当該会議室に所在する会議端末2、2´のデータがIP網4へ伝送される場合に必ず通過するネットワーク装置(例えばLANスイッチ)に、SIPプロキシ機能を追加し、会議端末2、2´からプレゼンスサーバ1に送信されるSIPの登録要求メッセージREGISTERパケット)に、所在情報を追加させるようにしてもよい。このようにすれば、通常のSIPのシーケンスをそのまま使用して、会議端末2、2´の所在情報を、プレゼンスサーバ1、1´に登録することができる。

0111

あるいは、無線LAN-AP3A〜3C、もしくは、会議室毎に設けられた、当該会議室に所在する会議端末2、2´のデータがIP網4へ伝送される場合に必ず通過するネットワーク装置(例えばLANスイッチ)に、DS(Differentiated Services)機能付きのルータ機能を持たせ、IPパケットのDSフィールドを用いて、IPパケットに所在情報をマーキングさせるようにしてもよい。IPパケットのDSフィールドを使用すれば64通りのマーキングが可能であるので、64部屋までの会議室を区別できる。

0112

また、上記の各実施形態では、コネクションの確立にSIPを利用する場合を例にとり説明した。しかし、本発明はこれに限定されない。例えばH.323等のSIP以外の呼制御プロトコルを利用してもよい。なお、上記の第2実施形態のように、会議端末2´と音声サーバ5との間で常時通信を行なうことを前提する場合は、呼制御プロトコルに従った呼制御シーケンスを省略できる。

図面の簡単な説明

0113

図1は本発明の第1実施形態が適用された音声会議システムの概略構成図である。
図2は無線LAN-AP3A〜3Cの概略構成図である。
図3はプレゼンスサーバ1の概略構成図である。
図3は位置情報記憶部104の登録内容を模式的に示した図である。
図5はプレゼンスサーバ1の動作フローを説明する図である。
図6は会議端末2の概略構成図である。
図7は着席情報表示データの表示例を示す図である。
図8はオーディオレンダラ208の処理を説明する図である。
図9は天井と床を省略した2次元のimage source methodを模式的に表した図である。
図10はSIP制御部214の動作フローを説明する図である。
図15は音声会議システムを構成する各装置のハードウエア構成例を示す図である。
図12は会議端末2の外観の一例を示す図である。
図13図1に示す音声会議システムの概略動作を説明する図である。
図14は本発明の第2実施形態が適用された音声会議システムの概略構成図である。
図15は音声サーバ5の概略図である。
図16は会議端末2´の概略構成図である。
図17図14に示す音声会議システムの概略動作を説明する図である。
図18は会議端末2の変形例を説明するための図である。
仮想現在位置決定方法の一例を説明するための図である。

符号の説明

0114

1、1´…プレゼンスサーバ、2、2´…会議端末、3A〜3C…無線LAN-AP、4…IP網、5…音声サーバ、101…IP網インターフェース部、102…位置情報管理部、103…SIPサーバ処理部、104…位置情報記憶部、201…音声入力部、203…音声出力部、204…映像出力部、205…操作受付部、206…オーディオエンコーダ、208…オーディオレンダラ、210…プレゼンスプロバイダ、211…空間モデラ、212…IP処理部、213…RTP処理部、214…SIP制御部、217…着席情報生成部、218…他会議室ユーザ検出部、219…無線LANインターフェース部、243…RTP処理部、244…SIP制御部、248…オーディオデコーダ、252…現在地算出部、253…方位計測部、301…IP網インターフェース部、302…無線LANインターフェース部、303…所在情報送信部、501…IP網インターフェース部、502…RTP処理部、503…SIP制御部、504…プレゼンスプロバイダ、505…空間モデラ、506…ユーザ情報生成部、508…音声分配部、509…オーディオレンダラ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社ジゴワッツの「 認証システム」が 公開されました。( 2021/04/01)

    【課題】不正行為に対して十分な安全性を確保できる認証システムを提供する。【解決手段】認証システム10は、認証サーバ(A社サーバ1、B社サーバ2、スマートフォンサービスC社サーバ3)と、ユーザ端末(スマ... 詳細

  • 株式会社NTTドコモの「 応答システム」が 公開されました。( 2021/04/01)

    【課題・解決手段】応答システムは、呼出者によるユーザへの呼出に応じて、前記ユーザに代わって前記呼出者に応答する応答システムであって、前記呼出者に対話で応答する応答部と、前記応答部による対話内容を前記ユ... 詳細

  • 楽天株式会社の「 電話転送システム、電話転送方法、ならびに、プログラム」が 公開されました。( 2021/04/01)

    【課題】発呼者とのコミュニケーションを円滑に進めることのできる電話転送システム等を提供する。【解決手段】検知部210は、代理電話番号宛の発呼を検知する。取得部220は、検知された発呼に係る発呼者の電話... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ