図面 (/)

技術 通信装置及び通信会議システム

出願人 シャープ株式会社
発明者 田中幸雄
出願日 2009年10月8日 (11年4ヶ月経過) 出願番号 2009-234471
公開日 2011年4月21日 (9年10ヶ月経過) 公開番号 2011-082867
状態 未査定
技術分野 双方向TV,動画像配信等 電話通信サービス
主要キーワード 所定規格 端末画像 TV会議装置 書込情報 会議サーバ装置 表示形態変更 共有資料 前後フレーム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年4月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

受信した複数の画像データに係る画像表示を適切な表示品質で行うことができる通信装置及び通信会議システムを提供する。

解決手段

端末装置5aは、表示パネル55に複数のウインドウを並べて表示すると共に、通信会議に参加する各端末装置5aのカメラ52が撮像した画像を各ウインドウにそれぞれ表示し、ユーザが入力部61を利用してウインドウ又はウインドウに表示された画像に対する操作を行った場合に、操作対象のウインドウの画像の表示品質を高める。端末装置5aは、受信した音声データに基づいて通信会議の発言者のユーザを特定し、このユーザの画像の表示品質を高める。また端末装置5aは、ユーザによる操作がなされないウインドウ、及び、発言者のユーザを表示していないウインドウについては、時間の経過に伴って徐々に表示品質を低減する

概要

背景

ネットワーク技術の発展に伴って、遠隔の二拠点又は三拠点以上の多拠点に設置された複数の通信装置の間で画像(映像)及び音声等の大容量データ送受信することが可能となり、これらの通信装置を利用して遠隔地のユーザが会議を行うことができる通信会議システムが実用化されている。

従来の通信会議システムでは、一の通信装置が電話番号又はIP(Internet Protocol)アドレス等を指定して他の通信装置と直接的に接続を確立し、2つの通信装置が一対一で画像及び音声等のデータを交換することで通信会議が実現される。また3つ以上の通信装置を利用して、一の通信装置を親機とし、他の複数の通信装置を子機として、複数の子機がそれぞれ親機との接続を確立し、親機が子機間のデータ交換中継することにより、三拠点以上の多拠点での通信会議を実現した通信会議システムがある。また、より多くの拠点間での通信会議を実現するために、複数の通信装置をMCU(Multipoint Control Unit、多地点接続装置)にスター状に接続し、通信装置間のデータ交換をMCUが中継する構成の通信会議システムがある。MCUを利用した通信会議システムでは、通信会議に参加可能な拠点数はMCUの能力(通信装置を接続できる数、例えば通信ポートの数)に依存する。

また更には、LAN(Local Area Network)又はインターネット等のネットワークを介して接続された通信会議のサーバ装置と複数の通信装置(クライアント装置)とを用い、サーバ装置が任意の複数の通信装置間でのデータ交換を中継することで通信会議を実現するサーバクライアント型の通信会議システムがある。サーバ&クライアント型の通信会議システムは、サーバ装置の処理能力及びネットワークの通信速度等の制限はあるものの、MCUを利用した通信会議システムと比較して、通信会議に参加する拠点数の増減を比較的容易に行うことができるという利点がある。

多数の通信装置間で画像又は音声等のデータ交換を行うことができる通信会議システムでは、1つの通信装置を1人のユーザが使用して通信会議を行うことが可能となる。各ユーザが使用する通信装置は、液晶などの表示パネルカメラマイク及びスピーカ等を備え、ユーザを撮像した画像データの送受信及びユーザの発言に係る音声データの送受信等を行う。また多数の通信装置間で画像データの交換を行う場合、一の通信装置にはその他の多数の通信装置から画像データが送信されるため、各通信装置は複数の画像データを受信し、表示パネルに複数の画像を表示する必要がある。

特許文献1においては、複数の地点に設けられた会議端末多地点TV会議装置に接続し、多地点TV会議装置が複数の会議端末からの画像を選択して多重化し、各会議端末が多重化されたデータから分離した画像データを多地点で同時に表示を行う場合に、多地点TV会議装置から通知された会議端末数に応じて各会議端末が画面上の分割表示形態を変更する表示形態変更方式が提案されている。また特許文献1には、各会議端末が、自らが発言者であるか否かに応じて、送信する画像の解像度を変更することが記載されている。

特許文献2においては、複数の会議端末が映像情報の送受信を行い、各会議端末が他地点の会議端末から送信された映像情報を同時に表示するテレビ会議システムにおいて、各会議端末は、多地点の会議端末から送信される映像情報の解像度の設定を、自地点の会議参加者の操作に従って地点毎に受け付け、受信した映像情報をそれぞれ設定された解像度で表示する構成が提案されている。このテレビ会議システムは、リアルタイムの表示と映像の解像度との両方を満足させることができる。

特許文献3においては、ディスプレイ上に表示されている複数のウインドウの重なりなどに応じて、各ウインドウの表示領域を再生するのに必要な画像データを算出し、対応する画像データ送信装置に対して必要な画像データだけを送信するように指示するパケットを生成し、ネットワークを経由して送信装置側へ伝える構成とすることにより、無駄なトラヒックの発生を抑制し、通信料金を削減することができるマルチウインドウ画像受信装置が提案されている。

概要

受信した複数の画像データに係る画像表示を適切な表示品質で行うことができる通信装置及び通信会議システムを提供する。端末装置5aは、表示パネル55に複数のウインドウを並べて表示すると共に、通信会議に参加する各端末装置5aのカメラ52が撮像した画像を各ウインドウにそれぞれ表示し、ユーザが入力部61を利用してウインドウ又はウインドウに表示された画像に対する操作を行った場合に、操作対象のウインドウの画像の表示品質を高める。端末装置5aは、受信した音声データに基づいて通信会議の発言者のユーザを特定し、このユーザの画像の表示品質を高める。また端末装置5aは、ユーザによる操作がなされないウインドウ、及び、発言者のユーザを表示していないウインドウについては、時間の経過に伴って徐々に表示品質を低減する

目的

本発明は、斯かる事情に鑑みてなされたものであって、その目的とする

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

一又は複数の他の装置との間で画像データの送受信を行う通信手段と、該通信手段が受信した画像データに係る画像を表示する表示パネルとを備える通信装置において、前記通信手段が受信した画像データに係る画像を表示する画像表示部を、前記表示パネルに複数表示する処理を行う表示処理手段と、前記画像表示部又は該画像表示部に表示された画像に対する操作を受け付け操作受付手段と、前記画像表示部若しくは該画像表示部に表示された画像に対する操作の有無、又は、前記操作受付手段が受け付けた操作の内容に応じて、前記画像表示部に表示する画像の表示品質を調整する調整手段とを備えることを特徴とする通信装置。

請求項2

前記調整手段は、前記操作受付手段が操作を受け付けた場合に、操作対象の画像表示部に表示する画像の表示品質を高めるようにしてあることを特徴とする請求項1に記載の通信装置。

請求項3

前記調整手段は、操作対象でない画像表示部に表示する画像の表示品質を、時間経過に応じて低減するようにしてあることを特徴とする請求項1又は請求項2に記載の通信装置。

請求項4

前記通信手段は画像データと共に音声データの送受信を行うようにしてあり、前記調整手段は、前記通信手段が画像データと共に受信した音声データに係る音声に応じて、該画像データに係る画像を表示する前記画像表示部の表示品質を調整するようにしてあることを特徴とする請求項1から請求項3までのいずれか1つに記載の通信装置。

請求項5

前記調整手段は、前記通信手段が受信した音声データに係る音声の音量閾値を超えるか否かに応じて、表示品質を調整するようにしてあることを特徴とする請求項4に記載の通信装置。

請求項6

前記調整手段は、前記画像表示部に表示された画像の拡大、縮小又は移動に係る操作を前記操作受付手段が受け付けた場合に、操作対象の画像表示部に表示された画像の表示品質を調整するようにしてあることを特徴とする請求項1から請求項5までのいずれか1つに記載の通信装置。

請求項7

前記表示処理手段は、複数の画像表示部が重ならないように前記表示パネルに表示するようにしてあることを特徴とする請求項1から請求項6までのいずれか1つに記載の通信装置。

請求項8

前記画像データは、動画像に係る画像データであり、前記調整手段は、動画像の表示に係る解像度又はフレームレートを調整するようにしてあることを特徴とする請求項1から請求項7までのいずれか1つに記載の通信装置。

請求項9

請求項1から請求項8までのいずれか1つに記載の通信装置を複数備え、各通信装置は、カメラにて撮像された画像データを前記通信手段が他の通信装置へ送信し、他の複数の通信装置から送信された画像データを前記通信手段が受信し、受信した画像データに係る画像の表示を前記表示処理手段が行うようにしてあることを特徴とする通信会議システム

技術分野

0001

本発明は、ネットワークなどを介して、遠隔地の複数のユーザが通信会議を行うための通信装置及び通信会議システムに関する。

背景技術

0002

ネットワーク技術の発展に伴って、遠隔の二拠点又は三拠点以上の多拠点に設置された複数の通信装置の間で画像(映像)及び音声等の大容量データ送受信することが可能となり、これらの通信装置を利用して遠隔地のユーザが会議を行うことができる通信会議システムが実用化されている。

0003

従来の通信会議システムでは、一の通信装置が電話番号又はIP(Internet Protocol)アドレス等を指定して他の通信装置と直接的に接続を確立し、2つの通信装置が一対一で画像及び音声等のデータを交換することで通信会議が実現される。また3つ以上の通信装置を利用して、一の通信装置を親機とし、他の複数の通信装置を子機として、複数の子機がそれぞれ親機との接続を確立し、親機が子機間のデータ交換中継することにより、三拠点以上の多拠点での通信会議を実現した通信会議システムがある。また、より多くの拠点間での通信会議を実現するために、複数の通信装置をMCU(Multipoint Control Unit、多地点接続装置)にスター状に接続し、通信装置間のデータ交換をMCUが中継する構成の通信会議システムがある。MCUを利用した通信会議システムでは、通信会議に参加可能な拠点数はMCUの能力(通信装置を接続できる数、例えば通信ポートの数)に依存する。

0004

また更には、LAN(Local Area Network)又はインターネット等のネットワークを介して接続された通信会議のサーバ装置と複数の通信装置(クライアント装置)とを用い、サーバ装置が任意の複数の通信装置間でのデータ交換を中継することで通信会議を実現するサーバクライアント型の通信会議システムがある。サーバ&クライアント型の通信会議システムは、サーバ装置の処理能力及びネットワークの通信速度等の制限はあるものの、MCUを利用した通信会議システムと比較して、通信会議に参加する拠点数の増減を比較的容易に行うことができるという利点がある。

0005

多数の通信装置間で画像又は音声等のデータ交換を行うことができる通信会議システムでは、1つの通信装置を1人のユーザが使用して通信会議を行うことが可能となる。各ユーザが使用する通信装置は、液晶などの表示パネルカメラマイク及びスピーカ等を備え、ユーザを撮像した画像データの送受信及びユーザの発言に係る音声データの送受信等を行う。また多数の通信装置間で画像データの交換を行う場合、一の通信装置にはその他の多数の通信装置から画像データが送信されるため、各通信装置は複数の画像データを受信し、表示パネルに複数の画像を表示する必要がある。

0006

特許文献1においては、複数の地点に設けられた会議端末多地点TV会議装置に接続し、多地点TV会議装置が複数の会議端末からの画像を選択して多重化し、各会議端末が多重化されたデータから分離した画像データを多地点で同時に表示を行う場合に、多地点TV会議装置から通知された会議端末数に応じて各会議端末が画面上の分割表示形態を変更する表示形態変更方式が提案されている。また特許文献1には、各会議端末が、自らが発言者であるか否かに応じて、送信する画像の解像度を変更することが記載されている。

0007

特許文献2においては、複数の会議端末が映像情報の送受信を行い、各会議端末が他地点の会議端末から送信された映像情報を同時に表示するテレビ会議システムにおいて、各会議端末は、多地点の会議端末から送信される映像情報の解像度の設定を、自地点の会議参加者の操作に従って地点毎に受け付け、受信した映像情報をそれぞれ設定された解像度で表示する構成が提案されている。このテレビ会議システムは、リアルタイムの表示と映像の解像度との両方を満足させることができる。

0008

特許文献3においては、ディスプレイ上に表示されている複数のウインドウの重なりなどに応じて、各ウインドウの表示領域を再生するのに必要な画像データを算出し、対応する画像データ送信装置に対して必要な画像データだけを送信するように指示するパケットを生成し、ネットワークを経由して送信装置側へ伝える構成とすることにより、無駄なトラヒックの発生を抑制し、通信料金を削減することができるマルチウインドウ画像受信装置が提案されている。

先行技術

0009

特開平6−070040号公報
特開平9−009230号公報
特開平6−149523号公報

発明が解決しようとする課題

0010

各通信装置がユーザの姿をカメラで撮像した画像データを送信し、多数の通信装置間で画像データの交換を行う通信会議システムの場合、各通信装置はその他の多数の通信装置から送信された複数の画像データを受信し、受信した画像データに係る複数の画像を表示する必要がある。このため、通信会議に参加する通信装置の数が多いほど、各通信装置が行う表示処理負荷が増大し、表示すべき各画像の表示品質を保つことが困難になるという問題がある。特許文献1に記載の技術も同様の問題を有している。

0011

特許文献2に記載のテレビ会議システムでは、テレビ会議に参加する会議端末装置から送信される映像情報の解像度を地点毎に設定することができる。しかしながら、このテレビ会議システムでは、会議端末装置を使用するユーザが解像度操作用ウインドウに対する操作を行うことによって解像度が設定される構成であるため、解像度操作用ウインドウはアイコンなどにより操作を簡略化しているものの、ユーザにとって操作が煩わしいという問題がある。

0012

また特許文献3に記載のマルチウインドウ画像受信装置は、ウインドウの重なりなどに応じて必要な画像データを算出して、このデータだけを送信するように送信装置側へ指示を与えることができる。しかしながら多数の通信装置が参加する通信会議においては、画像データの送信側装置は同一の画像データを複数の装置へ送信する必要があり、受信側の解像度設定に応じた画像データの送信を行うためには、同一の画像データから解像度の異なる複数の画像データを生成して各通信装置へ送信しなければならない。よって、特許文献3のマルチウインドウ画像受信装置の技術を通信会議システムに適用した場合、送信側装置の処理負荷が増大すると共に、ネットワークの通信負荷が増大する虞がある。

0013

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、ユーザが煩わしい操作を行う必要がなく、且つ、送信側装置の負荷増大又はネットワークの通信負荷増大等を招来することなく、受信した複数の画像データに係る画像表示を適切な表示品質で行うことができる通信装置及び通信会議システムを提供することにある。

課題を解決するための手段

0014

本発明に係る通信装置は、一又は複数の他の装置との間で画像データの送受信を行う通信手段と、該通信手段が受信した画像データに係る画像を表示する表示パネルとを備える通信装置において、前記通信手段が受信した画像データに係る画像を表示する画像表示部を、前記表示パネルに複数表示する処理を行う表示処理手段と、前記画像表示部又は該画像表示部に表示された画像に対する操作を受け付ける操作受付手段と、前記画像表示部若しくは該画像表示部に表示された画像に対する操作の有無、又は、前記操作受付手段が受け付けた操作の内容に応じて、前記画像表示部に表示する画像の表示品質を調整する調整手段とを備えることを特徴とする。

0015

また、本発明に係る通信装置は、前記調整手段が、前記操作受付手段が操作を受け付けた場合に、操作対象の画像表示部に表示する画像の表示品質を高めるようにしてあることを特徴とする。

0016

また、本発明に係る通信装置は、前記調整手段が、操作対象でない画像表示部に表示する画像の表示品質を、時間経過に応じて低減するようにしてあることを特徴とする。

0017

また、本発明に係る通信装置は、前記通信手段は画像データと共に音声データの送受信を行うようにしてあり、前記調整手段は、前記通信手段が画像データと共に受信した音声データに係る音声に応じて、該画像データに係る画像を表示する前記画像表示部の表示品質を調整するようにしてあることを特徴とする。

0018

また、本発明に係る通信装置は、前記調整手段が、前記通信手段が受信した音声データに係る音声の音量閾値を超えるか否かに応じて、表示品質を調整するようにしてあることを特徴とする。

0019

また、本発明に係る通信装置は、前記調整手段が、前記画像表示部に表示された画像の拡大、縮小又は移動に係る操作を前記操作受付手段が受け付けた場合に、操作対象の画像表示部に表示された画像の表示品質を調整するようにしてあることを特徴とする。

0020

また、本発明に係る通信装置は、前記表示処理手段が、複数の画像表示部が重ならないように前記表示パネルに表示するようにしてあることを特徴とする。

0021

また、本発明に係る通信装置は、前記画像データが、動画像に係る画像データであり、前記調整手段は、動画像の表示に係る解像度又はフレームレートを調整するようにしてあることを特徴とする。

0022

また、本発明に係る通信会議システムは、上述の通信装置を複数備え、各通信装置は、カメラにて撮像された画像データを前記通信手段が他の通信装置へ送信し、他の複数の通信装置から送信された画像データを前記通信手段が受信し、受信した画像データに係る画像の表示を前記表示処理手段が行うようにしてあることを特徴とする。

0023

本発明においては、複数の通信装置が相互に画像データの送受信を行う通信会議システムにて、一の通信装置はカメラにて撮像した画像データを他の通信装置へ送信すると共に、複数の他の通信装置から画像データを受信した一の通信装置は、受信した複数の画像データに係る画像を並べる又は重ねるなどの方法で表示パネルに表示する。これにより通信装置を利用するユーザは、他の会議参加ユーザの姿を表示モニタにて同時的に視認することができる。複数の画像を表示パネルに表示する場合に、各通信装置は、例えば1つのウインドウ(画像表示部)に1つの他の通信装置から受信した画像を表示し、複数のウインドウを表示パネルの一部又は全部に並べる又は重ねるなどの方法で表示することができる。
このように表示パネルに複数の受信画像を表示する場合に、各通信装置は、表示パネル内のウインドウ又は各ウインドウ内の受信画像に対する操作を、例えばマウスタッチパネル又はペンタブレット等の機器による入力にて受け付ける。通信会議を行っている際に、ユーザが表示パネルに表示されたウインドウ又はウインドウ内の画像に対する操作を行った場合などは、ユーザはこの操作対象の画像を、他の画像と比較して、より詳細に見ようとしていると考えられる。よって、各通信装置は、ウインドウ又はウインドウ内の画像に対する操作の有無又は操作内容に応じて、対象の画像の表示品質を調整する処理を行う。
これにより、操作対象の画像の表示品質を高めてユーザにこの画像を詳細に視認させることができると共に、操作対象以外の画像の表示品質を低減して通信装置の処理負荷を低減することができる。

0024

また、本発明においては、表示パネルに表示したウインドウ又はウインドウ内の画像に対するユーザの(何らかの)操作を受け付けた場合に、通信装置は表示品質を高める処理を行う。通信装置は、表示パネルに表示された複数のウインドウからユーザの操作に応じて一のウインドウを特定し、特定したウインドウに表示する画像の表示品質を高める。これにより、ユーザが表示品質の設定変更などの特別な操作を行うことなく、ユーザが詳細に見ようとする画像の表示品質を高めることができる。

0025

操作がなされた直後の画像はユーザが詳細に見ている画像であると推定され、長時間に亘って操作がなされていない画像はユーザが詳細に見る必要のない画像であると推定できる。そこで、本発明においては、ウインドウ又はウインドウ内の画像に対するユーザの操作がなされない場合、このウインドウの画像の表示品質を時間経過に応じて低減していく。これにより、操作がなされた直後の画像を高品質に表示し、長時間に亘って操作がなされていない画像の表示品質を低減することができる。よって通信装置は、ユーザからの特別な操作を必要とすることなく、ユーザが詳細に見る画像の表示品質を高く、詳細に見る必要のない画像の表示品質を低くして表示を行うことができる。

0026

また、本発明においては、通信会議において画像データのみでなく、通信装置がマイク(集音手段)にて集音した音声データの送受信を行う。これにより、通信会議に参加する複数のユーザは、各ユーザの姿を見ながら音声の交換(会話)を行うことができる。
この構成の場合、各通信装置が集音した音声データから、例えば各通信装置を利用するユーザが通信会議において発言しているか否かを判断することができる。そこで各通信装置は、受信した他の通信装置からの音声データに応じて、例えば発言者の姿を撮像した画像の表示品質を高めるなど、受信した画像データに係る画像表示の表示品質を調整する。これにより、ユーザが特別な操作を行うことなく、通信装置が受信音声に基づいて自動的に表示品質の調整を行うことができる。

0027

また、本発明においては、受信した音声データに係る音声の音量が閾値を超えるか否かを通信装置が調べる。受信音声の音量が閾値を超えて大きい場合には、この音声送信元の通信装置を利用しているユーザが発言を行っている可能性が高く、受信側の通信装置を利用しているユーザは発言者の画像を詳細に見る可能性が高い。よって通信装置は、受信音声の音量が閾値を超えるか否かに応じて、受信画像の表示品質を調整する。これにより通信装置は、ユーザが詳細に見る可能性の高い画像の表示品質を自動的に高めることができる。

0028

また、本発明においては、通信装置が各ウインドウに表示した画像に対する拡大、縮小又は移動に係る操作を受け付け可能とする。通信装置は、これらの操作を受け付けた場合に、操作がなされたウインドウの画像の表示品質を調整する。例えば、画像の拡大操作又は移動操作がなされた場合、ユーザはこの画像を詳細に見ようとしていると考えられるため、通信装置はこの画像の表示品質を高めることができる。また例えば、画像の縮小操作がなされた場合、ユーザはこの画像を詳細に見ようとしていないと考えられるため、通信装置はこの画像の表示品質を低減することができる。

0029

また、本発明においては、受信画像表示用のウインドウを表示パネルに複数表示する場合、通信装置は複数のウインドウが重ならないように表示パネル内に表示を行う。これにより、通信装置を利用するユーザに対して、受信した全画像を見やすく表示することができる。

0030

また、本発明においては、画像の表示品質の調整は、動画像の解像度の調整又はフレームレートの調整により行う。これにより各通信端末は、必要性の低い画像の解像度又はフレームレートを低減して処理負荷の軽減を行うことができ、必要性の高い画像の解像度又はフレームレートを高めてユーザに対して見やすい画像表示を行うことができる。

発明の効果

0031

本発明による場合は、通信会議を行う各通信装置が、他の複数の通信装置から受信した画像データに係る画像をそれぞれウインドウなどの画像表示部に表示すると共に、ウインドウ又はウインドウ内の画像に対するユーザの操作の有無又は操作内容に応じて、この画像の表示品質を調整する構成とすることにより、ユーザが各画像の表示品質を設定するなどの煩わしい操作を行う必要がなく、ユーザが詳細に見ようとする画像の表示品質を自動的に高めるなどの調整を行うことができるため、通信装置の利便性を向上することができる。またユーザが詳細に見ない画像の表示品質を自動的に低減するなどの調整を行うことができるため、多数の画像表示を行う必要がある通信装置の処理負荷を軽減することができる。

図面の簡単な説明

0032

本発明に係る通信会議システムの一構成例を示す模式図である。
通信会議における画像データの送受信を説明するための模式図である。
通信会議におけるドキュメントデータの送受信を説明するための模式図である。
会議サーバ装置の構成を示すブロック図である。
端末装置の構成を示すブロック図である。
端末装置の信号処理部の構成を示すブロック図である。
本発明に係る端末装置が行う画像表示処理を説明するための模式図である。
通信会議における表示品質調整の一例を示す模式図である。
通信会議における表示品質調整の一例を示す模式図である。
本発明に係る通信会議システムの各端末装置が行う表示品質調整処理の手順を示すフローチャートである。
変形例に係る通信会議システムの各端末装置が行う表示品質調整処理の手順を示すフローチャートである。
変形例に係る通信会議システムの各端末装置が行う表示品質調整処理の手順を示すフローチャートである。

実施例

0033

以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図1は、本発明に係る通信会議システムの一構成例を示す模式図である。図において1は通信会議システムの会議サーバ装置であり、無線又は有線のネットワーク3を介して複数の端末装置(通信装置)5a、5b…に接続されている。会議サーバ装置1は、ネットワーク3に接続された複数の端末装置5a、5b…から任意に選択された2つ以上の端末装置5a、5b…の間で、画像データ、音声データ又はドキュメントデータ等の各種のデータ送受信を中継することにより、遠隔地での通信会議を実現する。

0034

また会議サーバ装置1は、複数の通信会議を並列的に行うことができる。図1に示す例では、3つの端末装置5a、5d、5eが1つのグループを形成して会議1を行い、他の3つの端末装置5b、5c、5fが1つのグループを形成して会議2を行っている。即ち、会議サーバ装置1は、2以上の端末装置5a、5b…を、通信会議を行う1つのグループとして扱い、1つのグループに含まれる複数の端末装置5a、5b…の間で画像データ及び音声データ等の中継を行うと共に、ネットワーク中に複数のグループを形成することを許し、複数のグループについて画像データ及び音声データ等の中継を同時的に行うことができる。

0035

通信会議システムの端末装置5a、5b…は、例えばノート型PC(Personal Computer)にカメラ及びスピーカを搭載した構成、また例えばディスプレイにカメラ及び通信機能を搭載した構成等により実現することができる。ただし端末装置5a、5b…の構成はこれらに限るものではなく、少なくとも会議サーバ1又は他の端末装置5a、5b…との間で有線又は無線による通信を行う機能、ユーザなどの撮像を行う機能、画像(映像)を表示する機能、ユーザの発言などに係る音声を集音する機能、音声を出力する機能、及び、マウス、キーボード又はペンタブレット等のユーザ入力を受け付ける機能等を備える装置であればよい。

0036

図2は、通信会議における画像データの送受信を説明するための模式図であり、4つの端末装置5a〜5dが会議サーバ装置1を利用して通信会議を行う場合について示してある。また、図2においては、各端末装置5a〜5dに搭載されたカメラにて撮影された各ユーザの画像を、全ての端末装置5a〜5dの間で送受信する例を示してある。

0037

各端末装置5a〜5dにはユーザの顔又は上半身等を撮影可能な位置にカメラがそれぞれ設けられている。各端末装置5a〜5dは、これを使用するユーザをカメラにて撮影し、撮影により得られた画像(自端末画像)を符号化した送信用の画像データを作成し、この画像データを会議サーバ装置1へ送信する。

0038

会議サーバ装置1は、4つの端末装置5a〜5dからの画像データ(4つの自端末画像)を受信し、必要に応じて各画像のサイズ又は画質等を調整する画像処理を行う。会議サーバ装置1は、これらの画像データを通信会議に参加する各端末装置5a〜5dへそれぞれ送信する。

0039

各端末装置5a〜5dは、会議サーバ装置1が送信する画像データを受信する。ただし、会議サーバ装置1から各端末装置5a〜5dへ送信する画像データは、各端末装置5a〜5dの自端末画像を含まない画像、即ち他の端末装置5a〜5dにて撮像された画像(他端末画像)のみであってよい。各端末装置5a〜5dは、自らが撮影した自端末画像と、会議サーバ装置1から受信した複数の他端末画像とをディスプレイに並べて表示する。なお、各端末装置5a〜5dは、自らのカメラにて撮像した自端末画像については表示を行わない構成であってもよい。通信会議システムでは会議サーバ装置1及び端末装置5a〜5dが上記の処理を繰り返し行っており、これにより各端末装置5a〜5dには、通信会議に参加する全てのユーザの画像が動画像として表示される。

0040

なお、図示は省略するが、通信会議における音声データの送受信についても同様の方法で送受信を行うことができる。各端末装置5a〜5dにはマイクが備えられており、ユーザの会話を音声データに変換して会議サーバ装置1へ送信する。会議サーバ装置1は、各端末装置5a〜5dからの音声データを受信し、必要に応じて音量及び音質等を調整する音声処理を行って、各端末装置5a〜5dへ音声データを送信する。各端末装置5a〜5dは、他の端末装置5a〜5dの音声データを会議サーバ装置1から受信し、自らのマイクにて集音した音声データと、会議サーバ装置1から受信した複数の音声データとを合成してスピーカから音声出力を行う。

0041

図3は、通信会議におけるドキュメントデータの送受信を説明するための模式図である。通信会議の開催者は、予め会議サーバ装置1に通信会議の開催予約を行い、この際に通信会議にて使用する資料を会議サーバ装置1に登録しておく。会議サーバ装置1に登録する資料は、テキスト又は画像等のデータで構成されたドキュメントデータであり、例えばテキストファイル画像ファイルプレゼンテーションソフトウェア用のファイルなどの種々のデータ形式のものであってよい。会議サーバ装置1は、開催者により予め登録されたこれらのドキュメントデータを共有資料101として記憶している。

0042

通信会議に参加するユーザが使用する各端末装置5a、5b…には、液晶ディスプレイなどによる表示パネル55が設けられており、上述のように会議参加ユーザを撮影した画像を表示パネル55に表示することができると共に、会議資料のドキュメントデータを表示することができる。このとき、端末装置5a、5b…は、表示パネル55を上下又は左右等に分割してユーザの撮影画像及びドキュメントデータを共に表示する構成であってもよく、表示パネル55に撮影画像又はドキュメントデータのいずれを表示するかをユーザが選択して切り替える構成であってもよい。

0043

会議サーバ装置1は、通信会議のための共有資料101をページ毎に管理しており、通信会議に参加する全ての端末装置5a、5b…に対して共有資料101の所定のページを送信することによって、全ての端末装置5a、5b…の表示パネル55に共有資料101の同じページを表示することができる。各端末装置5a、5b…の表示パネル55に表示する共有資料101のページの変更は、通信会議の開催者のユーザが使用する端末装置5a、5b…にて行うことができ、他のユーザが使用する端末装置5a、5b…では開催者のユーザが行うページ変更の操作に同期して共有資料101の表示ページが変更される。なお、開催者以外のユーザが、自らの端末装置5a、5b…にて、開催者のユーザによるページ変更とは非同期に、共有資料101のページ変更を行うこともできる。

0044

また各端末装置5a、5b…はペンタブレット、マウス又はタッチパネル等のポインティングデバイスによる入力部61を有しており、ユーザは表示パネル55に表示された会議資料に対して文字又は図形等の記入を入力部61にて行うことができる。一のユーザが一の端末装置5a、5b…の入力部61にて会議資料に記入した文字又は図形等は、他のユーザが使用する他の端末装置5a、5b…の表示パネル55に会議資料と重ねて表示される。即ち、会議資料に対して一のユーザが記入した文字又は図形等のデータは、通信会議に参加する全てのユーザにて共有される。

0045

このようなドキュメントデータ及びユーザの記入データの共有を行うために、本通信会議システムでは、共有資料101の各ページと、各端末装置5a、5b…にてユーザが記入した文字又は図形等のデータとを、それぞれ異なるレイヤとして扱っている。会議サーバ装置1から各端末装置5a、5b…へページ単位で送信される共有資料101は、各端末装置5a、5b…においては背景レイヤ151として扱われる。

0046

ユーザが入力部61を用いて記入した文字又は図形等のデータは、各端末装置5a、5b…にて書込レイヤ155として扱われる。各端末装置5a、5b…は、入力部61にてユーザからの入力を受け付けた後、書込レイヤ155のデータを会議サーバ装置1へ送信し、これを受信した会議サーバ装置1は、各端末装置5a、5b…に対応付け端末情報105a、105b…の書込情報として、各端末装置5a、5b…の書込レイヤ155のデータを記憶する。

0047

会議サーバ装置1は、会議に参加する全ての端末装置5a、5b…について、端末情報105a、105bの書込情報として各端末装置5a、5b…の書込レイヤ155のデータを記憶する。更に会議サーバ装置1は、各端末装置5a、5b…へ、他の端末装置5a、5b…の書込情報をそれぞれ異なるレイヤとして送信する。各端末装置5a、5b…は、会議サーバ装置1から送信された他の端末装置5a、5b…の書込レイヤ155のデータを受信して、背景レイヤ151に他の端末装置5a、5b…の書込レイヤ155と自らの書込レイヤ155とを重ねた表示用データを作成し、表示パネル55へ表示する。これにより、各端末装置5a、5b…の表示パネル55には、会議に参加する全ての端末装置5a、5b…にてユーザが書き込んだ情報を表示することができる。

0048

なお、各端末装置5a、5b…では、背景レイヤ、他の端末装置5a、5b…の書込レイヤ155、及び自らの書込レイヤ155等の複数のレイヤから、表示パネル55に重ねて表示するレイヤをユーザが任意に選択することができる。各端末装置5a、5b…は、いずれのレイヤを表示するかを閲覧情報として会議サーバ装置1へ送信しており、会議サーバ装置1は、各端末装置5a、5b…に対応付けた端末情報105a、105b…に、書込情報と共に閲覧情報を記憶している。これにより会議サーバ装置1は、各端末装置5a、5b…へ他の端末装置5a、5b…の書込情報を送信する際に、必要な書込情報のみを取捨選択して送信することができる。

0049

図4は、会議サーバ装置1の構成を示すブロック図である。通信会議システムの会議サーバ装置1は、制御部11、信号処理部12、画像処理部13、音声処理部14、通信処理部15、ネットワークI/F(インタフェース)部16、メモリ17、入力処理部18、表示処理部19及びハードディスク20等を備えて構成されている。

0050

ネットワークI/F部16は、通信会議システムのネットワーク3を構成する通信ケーブルなどを接続するための端子を有しており、H.323、SIP又はHTTP等の既存の通信プロトコル、又はこれら以外の独自の通信プロトコルに従って、端末装置5a、5b…及び他のサーバ装置(例えば、メールサーバなど)との間で通信を行う。ネットワークI/F部16は、受信したデータを通信処理部15へ与えると共に、通信処理部15から与えられたデータを所定の送信先へ送信する。

0051

通信処理部15は、通信に係るデータ変換及び暗号化等の処理を行う。通信処理部15は、制御部11又は信号処理部12等から与えられた送信用のデータを通信プロトコルに適したデータ形式に変換し、更に暗号化してネットワークI/F部16へ与えることによって、データの送信を行う。また通信処理部15は、ネットワークI/F部16から与えられた受信データを復号し、会議サーバ装置1の処理に適したデータ形式に変換して制御部11又は信号処理部12等へ与えることによって、データの受信を行う。

0052

信号処理部12は、画像データを符号化する画像符号化部、画像データを復号する画像復号化部、音声データを符号化する音声符号化部及び音声データを復号する音声復号化部を有している。会議サーバ装置1は、各端末装置5a、5b…からの画像データを通信処理部15にて受信し、受信した画像データを必要に応じて信号処理部12にて復号し、画像処理部13にて種々の画像処理を施すことができる。画像処理が施された画像データは、信号処理部12にて符号化され、各端末装置5a、5b…へ送信される。なお会議サーバ装置1は、受信した画像データに対して画像処理を施す必要がない場合は、受信した画像データに画像処理を施すことなく各端末装置5a、5b…へ送信する。

0053

同様に、会議サーバ装置1は、各端末装置5a、5b…からの音声データを通信処理部15にて受信し、受信した音声データを必要に応じて信号処理部12にて復号し、音声処理部14にて種々の音声処理を施すことができる。音声処理が施された音声データは、信号処理部12にて符号化され、各端末装置5a、5b…へ送信される。なお会議サーバ装置1は、受信した音声データに対して音声処理を施す必要がない場合は、受信した音声データに音声処理を施すことなく各端末装置5a、5b…へ送信する。

0054

なお信号処理部12は、MotionJPEG、MPEG又はH.264SVC等の規格により画像データの符号化/復号化を行うことができ、G.711、G.722、G.728、G.729又はMPEG4等の規格により音声データの符号化/復号化を行うことができる。ただし、上記の規格以外の規格により信号処理部12が画像データ又は音声データの符号化/復号化を行う構成であってもよい。

0055

画像処理部13は、信号処理部12から与えられた画像データに対して種々の画像処理、例えば画像の拡大縮小エッジ強調又は色調整等の画像処理を行うことができる。画像処理部13は、画像処理を施した画像データを信号処理部12へ与える。また画像処理部13は、会議サーバ装置1に接続された表示装置26に表示する画像を生成する処理を行う。同様に、音声処理部14は、信号処理部12から与えられた音声データに対して種々の音声処理、例えばノイズ除去又は音量調整等の音声処理を行うことができる。音声処理部14は、音声処理を施した音声データを信号処理部12へ与える。

0056

制御部11は、具体的にはCPU(Central Processing Unit)又はMPU(Micro Processing Unit)等の演算処理装置であり、ハードディスク20に予めインストールされた種々のプログラム読み出して実行することにより、会議サーバ装置1の各部の動作を制御し、通信会議に係る種々の処理を行う。

0057

メモリ17は、例えばSRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)等のメモリ素子で構成されている。メモリ17は、制御部11、信号処理部12、画像処理部13及び音声処理部14等が行う処理の過程にて生じた種々のデータを記憶する(ただし、信号処理部12、画像処理部13又は音声処理部14は、専用のメモリを有していてもよい)。またメモリ17は、通信処理部15にて送受信するデータを一時的に記憶する通信バッファとして使用してもよい。

0058

入力処理部18は、マウス又はキーボード等の入力装置25からの入力信号を処理することによって、ユーザによる入力操作の有無及び入力操作の内容等を判断して制御部11へ通知する。制御部11は、入力処理部18からの通知に応じて処理を行うことができる。表示処理部19は、画像処理部13から与えられた表示のための画像データを、液晶ディスプレイなどの表示装置26の表示に適した画像信号に変換して出力することにより、表示装置26にて画像表示を行う。

0059

ハードディスク20は、メモリ17より大容量の磁気記憶装置であり、不図示のOS(Operating System)及び各種のアプリケーションソフトウェア等の他に、通信会議システムを実現するための会議管理プログラム20a及び認証情報20b等のプログラム及びデータが記憶(インストール)されている。

0060

図5は、端末装置5aの構成を示すブロック図である。なお他の端末装置5b、5c…の構成は、端末装置5aの構成と同様であるため、図示は省略する。ただし、端末装置5a、5b…は全て同じ構成である必要はなく、通信会議システムには構成が異なる複数種の端末装置5a、5b…が含まれていてよい。また図5においては、端末装置5aがカメラ52、マイク53、表示パネル55、スピーカ56及び入力部61を一体的に備える構成を示してあるが、これに限るものではなく、これらの各装置が端末装置5aの本体に着脱可能に設けられる構成であってもよい。

0061

端末装置5aは、例えば表示パネル55の近傍にカメラ52が搭載されており、表示パネル55へ向いたユーザの頭部又は上半身等をカメラ52が1秒間に数十回又は数百回程度の頻度で撮像し、撮影画像に係る画像信号を信号処理部70へ与える。また端末装置5aは、ユーザの発言などの音声を集音するためのマイク53を備えており、マイク53が集音した音声信号ミキサ54を介して信号処理部70へ与えられる。ミキサ54は、マイク53により集音された音声信号の信号レベルの調整及び帯域制限等の処理を行うものである。

0062

端末装置5aは液晶ディスプレイなどの表示パネル55を備えており、表示パネル55は信号処理部70から与えられる画像信号に応じて画像表示を行う。また端末装置5aは音声出力を行うスピーカ56を備えており、スピーカ56は信号処理部70から与えられる音声信号に応じて音声出力を行う。

0063

信号処理部70は、アナログの画像信号及び音声信号とデジタルの画像データ及び音声データとの相互変換処理、画像データ及び音声データの符号化及び復号化等の処理を行うものである。図6は、端末装置5aの信号処理部70の構成を示すブロック図である。信号処理部70は、カメラ52及びミキサ54から入力される画像信号及び音声信号を多重化した送信データを生成する機能と、他の装置からの多重化された受信データを画像信号及び音声信号に分離して表示パネル55及びスピーカ56へ出力する機能とを有している。

0064

信号処理部70は、送信データを生成する機能に関するブロックとして、制御信号I/F部71、A/D変換部72、送信メモリ73、画像符号化部74、A/D変換部75、音声符号化部76及び多重化部77を有している。制御信号I/F部71は、端末装置5aの制御部51から制御信号が入力されており、この制御信号を多重化部77へ与えることにより、多重化部77は制御部51の制御に応じて処理を行うことができる。

0065

通信処理部70のA/D変換部72は、カメラ52の撮像により得られるアナログの画像信号が入力されており、この画像信号をデジタルの画像データに変換して出力し、送信メモリ73に記憶する。送信メモリ73は、SRAM又はDRAM等のメモリ素子で構成され、動画を構成する多数の画像データを記憶する十分な記憶容量を有している。送信メモリ73に記憶された画像データは、画像符号化部74にて所定規格のデータに符号化され、多重化部77へ与えられる。

0066

通信処理部70のA/D変換部75は、マイク53にて集音されたアナログの音声信号がミキサ54から入力されており、この音声信号をデジタルの音声データに変換して音声符号化部76へ出力する。音声符号化部76は、入力された音声データを所定規格のデータに符号化して、多重化部77へ与える。多重化部77は、画像符号化部74から入力された画像データと、音声符号化部76から与えられた音声データとを多重化した送信データを生成して出力する。信号処理部70の多重化部77から出力された送信データは、端末装置5aの通信処理部58へ与えられ、ネットワークを介して会議サーバ装置1へ送信される。

0067

信号処理部70は、受信データの分離機能に関するブロックとして、分離部78、音声復号化部79、D/A変換部80、画像復号化部81、受信メモリ82、D/A変換部83及び制御信号識別部84を有している。分離部78は、端末装置5aの通信処理部58から受信データが与えられており、多重化された受信データを画像データ、音声データ及び制御データに分離して出力する。

0068

信号処理部70の音声復号化部79は、分離部78から音声データが入力されており、この音声データを復号化してD/A変換部80へ出力する。D/A変換部80は、音声復号化部79から与えられたデジタルの音声データをアナログの音声信号に変換してスピーカ56へ出力する。これにより、通信会議に係る音声がスピーカ56から出力される。

0069

信号処理部70の画像復号化部81は、分離部78から画像データが入力されており、この画像データを復号化して受信メモリ82に記憶する。受信メモリ82は、SRAM又はDRAM等のメモリ素子で構成され、動画を構成する多数の画像データを記憶する十分な記憶容量を有している。また制御信号識別部84は、分離部78から制御データが入力されており、この制御データに応じて受信メモリ82に記憶された画像データの読み出しタイミングを制御する。受信メモリ82に記憶された動画データは、制御信号識別部84の制御に応じて所定のタイミングで読みだされ、D/A変換部83へ与えられる。D/A変換部83は、受信メモリ82から読み出されたデジタルの画像データをアナログの画像信号に変換して表示パネル55へ出力する。これにより、通信会議に係る画像が表示パネル55に表示される。

0070

また、端末装置5aは、他の装置との間でデータの送受信を行うためのネットワークI/F部57及び通信処理部58を有しており、信号処理部70は通信処理部58との間でデータの授受を行うことにより、会議サーバ装置1などの他の装置との間でネットワーク3を介したデータの送受信を行うことができる。ネットワークI/F部57は、ネットワーク3を構成する通信ケーブルなどを接続するための端子を有しており、所定の通信プロトコルに従って、サーバ装置1又は他の端末装置5b、5c…等との間で通信を行う。ネットワークI/F部57は、受信したデータを通信処理部58へ与えると共に、通信処理部58から与えられたデータを所定の送信先へ送信する。

0071

制御部51は、具体的にはCPU又はMPU等の演算処理装置であり、ROM(Read Only Memory)59に予め記憶された種々のプログラムを読み出して実行することにより、端末装置5aの各部の動作を制御し、通信会議に係る種々の処理を行う。ROM59は、例えばEEPROM(Electrically Erasable Programmable ROM)又はフラッシュメモリ等の不揮発性のメモリ素子で構成されており、通信会議システムを実現するためのプログラム及びデータが予め記憶されている。RAM(Random Access Memory)60は、例えばSRAM又はDRAM等のメモリ素子で構成されており、制御部51及び信号処理部70等が行う処理の過程にて生じた種々のデータを記憶する。

0072

また端末装置5aは、ペンタブレット、マウス若しくはタッチパネルなどのポインティングデバイス又はキーボード等のユーザの入力操作を受け付ける入力部61を備えており、入力部61はユーザによる入力操作に応じた信号を入力処理部62へ出力する。入力処理部62は、入力部61からの入力信号を処理することによって、ユーザによる入力操作の有無及び入力操作の内容等を判断して制御部51へ通知する。制御部51は、入力処理部62からの通知に応じて処理を行うことができる。

0073

本実施の形態に係る端末装置5aは、他の複数の端末装置5b、5c…からサーバ装置1を介して送信された複数の画像データを受信し、受信した画像データに係る複数の画像を表示パネル55に表示する処理を行うと共に、入力部61にて受け付けたユーザの入力操作に応じて表示パネル55に表示する各画像の表示品質を調整する処理を行う。図7は、本発明に係る端末装置5aが行う画像表示処理を説明するための模式図であり、端末装置5aの表示パネル55の一表示例を図示してある。

0074

端末装置5aは、通信処理部58にて受信した他の端末装置5b、5c…からの複数の画像データを、それぞれ異なるウインドウに表示すると共に、複数のウインドウを表示パネル55内にてマトリクス状に並べて表示する。図示の例は、4つの端末装置5a、5b…を利用して4人のユーザが通信会議を行っている場合であり、端末装置5aの表示パネル55には4つのウインドウ210〜204が2×2のマトリクス状に表示され、各ウインドウ201〜204にはそれぞれ端末装置5a、5b…を利用するユーザの画像が表示されている。

0075

また端末装置5aの表示パネル55には、表示領域の右側に複数のアイコン211〜213が並べて表示されている。端末装置5aを利用するユーザは、入力部61を利用してアイコン211〜213に対する操作(例えば入力部61がマウスを用いるものであればアイコン211〜213に対するクリック操作、又は、ペンタブレットを用いるものであればアイコン211〜213に対するペンタッチ操作等)を行うことができる。アイコン211〜213に対する操作がなされた場合、端末装置5aは、操作されたアイコン211〜213に対応付けられた処理を行う。例えばアイコン211は画像の拡大表示を行うためのものであり、アイコン211の操作に対して端末装置5aは、表示パネル55に表示されたウインドウ201〜204内の画像を拡大する画像処理を行う。

0076

また端末装置5aを利用するユーザは、入力部61を利用して、表示パネル55に表示された複数のウインドウ201〜204から特定のウインドウを選択する操作を行うことができる。各ウインドウ201〜204は、略長方形をなし、その上辺にユーザ名などの情報を表示するタイトルバーが設けられており、ユーザの操作により選択されたウインドウ201〜204のタイトルバーは非選択のものとは異なる色で表示される。図示の例では、右上に配されたウインドウ202が選択されており、上辺のタイトルバーは他のウインドウ201、203、204のものと異なる色で表示されている。

0077

また、上記のアイコン211〜213に係る処理は、選択されたウインドウ201〜204に対して行われる。図示の例は、選択された右上のウインドウ202に対してアイコン211の拡大表示の操作をユーザが行った場合である。拡大表示が行われたウインドウ202には、その右辺及び下辺スクロールバーが設けられ、ユーザは入力部61を利用してスクロールバーを操作することにより、ウインドウ202内の人物の表示位置を上下左右に移動させることができる。

0078

通信会議において上記のような表示を行う端末装置5aは、ウインドウ201〜204内の各ユーザの画像表示を行う際に、通信会議の開始当初は全てのウインドウ201〜204の表示品質を略均等として表示を行う。しかし端末装置5aは、通信会議の進行に伴って、端末装置5aを利用するユーザにとって重要であると推定されるウインドウ201〜204の画像の表示品質を高めると共に、重要でないと推定されるウインドウ201〜204の画像の表示品質を低下させる処理を行う。これにより、複数の画像表示を同時的に行う場合の処理負荷を軽減することができる。

0079

端末装置5aによる各ウインドウ201〜204の表示品質の調整は、下記の通りに行われる。
(1)発言者の画像を高品質で表示。
(2)ユーザが何らかの操作を行ったウインドウ201〜204の画像を高品質で表示。
(3)発言がなく、ユーザが操作を行わないウインドウ201〜204の画像を低品質で表示。

0080

通信会議において発言を行っている他のユーザ(発言者)の画像は、端末装置5aを利用しているユーザにとって重要であると推定できる。そこで端末装置5aは、発言者を表示しているウインドウ201〜204を特定し、特定したウインドウ201〜204の画像の表示品質を高める。端末装置5aは、他の端末装置5b、5c…から送信される音声データに基づいて、各ユーザの発言の有無(音声の有無)又は発言の音量等から発言者の特定を行う。

0081

また端末装置5aの表示パネル55に表示された複数のウインドウ201〜204に対してユーザの操作が行われた場合、ユーザは積極的にこのウインドウ201〜204に表示された画像を見ようとしていると推定でき、この画像がユーザにとって重要であると推定できる。そこで端末装置5aは、入力部61により操作がなされたウインドウ201〜204を特定し、特定したウインドウ201〜204の画像の表示品質を高める。例えばウインドウ201〜204の選択操作、選択されたウインドウ201〜204に対するアイコン211による拡大表示操作、又はウインドウ202のスクロールバーに対する表示位置の移動操作等が行われた場合に、端末装置5aは選択されていたウインドウ201〜204の画像の表示品質を高めることができる。

0082

また発言者でなく、ユーザの操作がなされていないウインドウ201〜204の画像は、このユーザにとって重要でないと推定できる。そこで端末装置5aは、所定期間に亘って発言者を表示しておらず、且つ、ユーザの操作がなされていないウインドウ201〜204を特定し、特定したウインドウ201〜204の画像の表示品質を低減する。

0083

なお端末装置5aが行う表示品質の調整は、画像の解像度の増減又はフレームレートの増減等により行うことができる。例えばMotionJPEG形式の画像のように前後フレーム差分情報を用いない形式の画像の場合、端末装置5aは、表示するフレーム間引くことでフレームレートを低減し、表示品質を低減することができる。また例えばMPEG形式の画像のように差分情報を用いる形式の画像の場合、端末装置5aは、キーフレーム単位でフレームを間引く、又は、フレームを一端展開して表示の際にフレームを間引く等の方法によりフレームレートを低減し、表示品質を低減することができる。また例えばH.264SVC形式のように異なる表示品質の画像が複数含まれる形式の画像の場合、端末装置5aは、受信データから所望の表示品質の画像を選択して表示することができる。

0084

端末装置5aは、上記の(1)〜(3)の判断を定期的に、又は、ユーザの操作がなされる都度行っている。なお通信会議の開始当初の表示品質は、最高品質であってもよく、最低品質であってもよく、これら以外の任意の表示品質であってよい。また表示品質の調整を行う時間間隔、表示品質の増減量、又は表示品質の上限・下限等をユーザが端末装置5aに対して予め設定することができる構成としてもよい。

0085

図8及び図9は、通信会議における表示品質調整の一例を示す模式図であり、(a)から(d)へ時系列に表示品質の変化を示してある。また図8及び図9の(a)〜(d)においては、左側に端末装置5aの表示パネル55の表示例を示し、右側に端末装置5aの制御部51の処理負荷を円グラフとして示してある。この円グラフは、各ウインドウ201〜204内の画像表示に費やされる制御部51の処理能力を割合として示したものであり、画像表示を高品質で行うほど制御部51の処理能力が多く費やされる。また円グラフには、各ウインドウ201〜204の処理負荷を時計回りに201a〜204aの符号を付した領域として示してあり、符号が付されていない領域は画像表示以外の処理に割り当てることができる制御部51の処理能力である。

0086

本例においては、図7に示す例と同様に、4つの端末装置5a〜5dをそれぞれ利用して4人のユーザが通信会議を行う場合を示す。また端末装置5aのウインドウ201に表示されるユーザを第1ユーザといい、ウインドウ202に表示されるユーザを第2ユーザといい、ウインドウ203に表示されるユーザを第3ユーザといい、ウインドウ204に表示されるユーザを第4ユーザという。また端末装置5aは、第1ユーザが利用しているものとする。

0087

通信会議のある時点において、例えば第4ユーザが発言者であるとする(図8(a)参照)。この場合、端末装置5aは、発言者の第4ユーザを表示するウインドウ204の表示品質を高めると共に、その他のウインドウ201〜203の表示品質を低減する。これにより第1ユーザは、発言者である第4ユーザの画像を快適且つ確実に見ることができる。また端末装置5aは、第1ユーザにとって重要でないと推定されるその他の画像表示に要する処理能力を低減することができる。

0088

その後、第4ユーザの発言が継続し、その他のユーザは発言せずに一定時間が経過したとする(図8(b)参照)。この場合、端末装置5aは、時間の経過に伴って、発言者ではない第1ユーザ〜第3ユーザの画像(ウインドウ201〜203の画像)の表示品質を徐々に低減する。なお端末装置5aは、発言者である第4ユーザの画像の表示品質を更に高めてもよく、ある程度の表示品質に達した場合に表示品質を一定に保ってもよい。

0089

その後、第4ユーザの発言が継続し、その他のユーザは発言せず、第1ユーザが端末装置5aの入力部61を用いて第2ユーザが表示されたウインドウ202に対する拡大操作を行ったとする(図9(c)参照)。この場合、端末装置5aは、ウインドウ202の画像を拡大表示すると共に、ウインドウ202の画像の表示品質を高める。なお端末装置5aは、操作がなされないその他のウインドウ201、203、204について、発言者のユーザを表示するウインドウ204は表示品質を高めてもよく、発言者でないユーザを表示するウインドウ201、203は表示品質を低減してもよい。

0090

その後更に、第4ユーザの発言が継続し、その他のユーザは発言せずに一定時間が経過したとする(図9(d)参照)。この場合、端末装置5aは、時間の経過に伴って、発言者ではない第1ユーザ〜第3ユーザの画像(ウインドウ201〜203の画像)の表示品質を徐々に低減する。ただし、図9(c)にて操作がなされたウインドウ202の第2ユーザの画像については、端末装置5aが表示品質の低減をしばらくの間行わなくてもよい。

0091

図10は、本発明に係る通信会議システムの各端末装置5a、5b…が行う表示品質調整処理の手順を示すフローチャートであり、各端末装置5a、5b…の制御部51が行う処理である。まず、端末装置5a、5b…の制御部51は、通信会議の開始時に、通信処理部15にて会議サーバ装置1を介した他の端末装置5a、5b…との接続を確立する(ステップS1)。通信会議の開始後、制御部51は、会議サーバ装置1を介して与えられる他の端末装置5a、5b…からの音声データを通信処理部15にて受信し、受信した音声データに応じて、通信会議における発言者を特定する処理を行う(ステップS2)。

0092

端末装置5a、5b…の制御部51は、受信した音声データを信号処理部70にて端末装置5a、5b…毎の音声に分離して復号し、複号した各音声の音量が閾値を超えるか否かを判定することによって、各端末装置5a、5b…における発言の有無を判定し、通信会議における発言者の特定を行う。

0093

制御部51は、ステップS2の発言者特定処理の結果、いずれかの端末装置5a、5b…にて発言がなされたか否か、即ち発言者が存在するか否かを判定する(ステップS3)。発言者が存在する場合(S3:YES)、制御部51は、この発言者が使用する端末装置5a、5b…からの画像を表示するウインドウ201〜204を特定し、特定したウインドウ201〜204に表示された発言者の画像を高品質化して(ステップS4)、ステップS5へ処理を進める。また発言者が存在しない場合(S3:NO)、制御部51は、表示品質の調整を行うことなくステップS5へ処理を進める。

0094

次いで、制御部51は、入力部61によりいずれかのウインドウ201〜204に対する操作がなされたか否かを判定する(ステップS5)。操作がなされた場合(S5:YES)、制御部51は、操作対象のウインドウ201〜204を特定し(ステップS6)、特定したウインドウ201〜204に表示された画像を高品質化して(ステップS7)、ステップS8へ処理を進める。操作がなされていない場合(S5:NO)、制御部51は、表示品質の調整を行うことなくステップS8へ処理を進める。

0095

次いで、制御部51は、ステップS4又はS7にて表示品質を高品質化したウインドウ201〜204以外のウインドウ201〜204を特定し、特定したウインドウ201〜204の表示品質を低減することによって、その他の画像を低品質化する(ステップS8)。その後、制御部51は、一定時間待機し(ステップS9)、通信会議が終了したか否かを判定する(ステップS10)。通信会議が終了していない場合(S10:NO)、制御部51は、ステップS2へ処理を戻し、上述の表示品質の調整を繰り返し行う。通信会議が終了した場合(S10:YES)、制御部51は、表示品質調整処理を終了する。

0096

以上の構成の通信会議システムにおいては、端末装置5a、5b…の表示パネル55に複数のウインドウ201〜204を並べて表示すると共に、通信会議に参加する各端末装置5a、5b…のカメラ52が撮像した画像を各ウインドウ201〜204にそれぞれ表示し、ユーザが入力部61を利用してウインドウ201〜204又はこれらに表示された画像に対する操作を行った場合に、操作対象のウインドウ201〜204の画像の表示品質を高める構成とすることにより、ユーザにとって重要と推定される画像の表示品質を高めることができ、ユーザにこの画像を詳細に視認させることができる。

0097

また、端末装置5a、5b…が受信した音声データに基づいて通信会議の発言者のユーザを特定し、このユーザの画像の表示品質を高める構成とすることにより、ユーザにとって重要と推定される画像の表示品質を高めることができ、ユーザにこの画像を詳細に視認させることができる。また、ユーザによる操作がなされないウインドウ201〜204、及び、発言者のユーザを表示していないウインドウ201〜204については、時間の経過に伴って徐々に表示品質を低減する構成とすることにより、ユーザにとって重要でないと推定される画像の表示品質を低減することができ、端末装置5a、5b…の制御部51の処理負荷を低減することができる。

0098

なお、本実施の形態においては、通信会議システムを会議サーバ装置1及び端末装置5a、5b…によるクライアントサーバ型のシステムとしたが、これに限るものではなく、複数の端末装置5a、5b…が会議サーバ装置1を介さずに直接的に画像データ及び音声データ等の送受信を行う構成としてもよい。また、会議サーバ装置1及び端末装置5a、5b…が有線の通信を行う構成としたが、これに限るものではなく、無線の通信を行う構成であってもよく、有線及び無線を混在させたシステムとしてもよい。

0099

また、端末装置5a、5b…は、複数のウインドウ201〜204を表示パネル55にマトリクス状に並べて表示する構成としたが、これに限るものではなく、複数のウインドウ201〜204の一部又は全部を重ねて表示する構成としてもよい。また、端末装置5a、5b…は、複数の画像をそれぞれウインドウ201〜204内に表示する構成としたが、これに限るものではなく、例えば表示パネル55の表示領域を単に複数に分割し、分割した各表示領域に画像を表示する構成としてもよい。

0100

また、端末装置5a、5b…は、自らのカメラ52にて撮像した画像(即ち、自らのユーザの画像)を他の端末装置5a、5b…が撮像した画像と共に並べて表示する構成としたが、これに限るものではなく、自らのカメラ52にて撮像した画像は表示しない構成であってもよい。また、自らのカメラ52にて撮像した画像を表示する場合であっても、この画像については表示品質の調整を行わず、例えば最低品質での表示に固定するなどの構成としてもよい。

0101

また、端末装置5a、5b…が受信した音声データに基づいて発言者の特定を行う構成としたが、これに限るものではなく、会議サーバ装置1が発言者の特定を行い、通信会議に参加する各端末装置5a、5b…へ発言者がいずれのユーザ又は端末装置5a、5b…であるかを通知する構成としてもよい。

0102

(変形例)
上述の実施の形態1に係る通信会議システムの端末装置5a、5b…は、表示パネル55に表示したウインドウ201〜204に対する操作が行われた場合に、操作対象のウインドウ201〜204内の画像の表示品質を高める構成であり、ユーザが行った操作の有無に応じて表示品質を調整する構成である。これに対して、変形例に係る通信会議システムの端末装置5a、5b…は、ユーザが行った操作の内容に応じて表示品質を調整する。

0103

例えば、ユーザがウインドウ201〜204の画像を拡大する操作を行った場合、この画像はユーザにとって重要であると推定できるが、ユーザが画像を縮小する操作(又は拡大した画像のサイズを元に戻す操作)を行った場合には、この画像はユーザにとって重要でないと推定できる。そこで、変形例の端末装置5a、5b…は、ウインドウ201〜204に対する操作がなされた場合であっても、この操作の内容が画像の縮小である場合には、表示品質を低減する。

0104

図11及び図12は、変形例に係る通信会議システムの各端末装置5a、5b…が行う表示品質調整処理の手順を示すフローチャートである。まず、端末装置5a、5b…の制御部51は、通信会議の開始時に、通信処理部15にて会議サーバ装置1を介した他の端末装置5a、5b…との接続を確立する(ステップS21)。通信会議の開始後、制御部51は、会議サーバ装置1を介して与えられる他の端末装置5a、5b…からの音声データを通信処理部15にて受信し、受信した音声データに応じて、通信会議における発言者を特定する処理を行う(ステップS22)。

0105

発言者特定処理の終了後、制御部51はいずれかの端末装置5a、5b…にて発言がなされたか否か、即ち発言者が存在するか否かを判定する(ステップS23)。発言者が存在する場合(S23:YES)、制御部51は、この発言者が使用する端末装置5a、5b…からの画像を表示するウインドウ201〜204を特定し、特定したウインドウ201〜204に表示された発言者の画像を高品質化して(ステップS24)、ステップS25へ処理を進める。また発言者が存在しない場合(S23:NO)、制御部51は、表示品質の調整を行うことなくステップS25へ処理を進める。

0106

次いで、制御部51は、入力部61によりいずれかのウインドウ201〜204に対する操作がなされたか否かを判定し(ステップS25)、操作がなされた場合(S25:YES)、操作対象のウインドウ201〜204を特定する(ステップS26)。更に制御部51は、ウインドウ201〜204に対して行われた操作の内容が画像の縮小操作であるか否かを判定する(ステップS27)。操作内容が縮小操作の場合(S27:YES)、制御部51は、操作対象のウインドウ201〜204に表示された画像を低品質化して(ステップS28)、ステップS30へ処理を進める。操作内容が縮小操作でない場合(S27:NO)、制御部51は、操作対象のウインドウ201〜204に表示された画像を高品質化して(ステップS29)、ステップS30へ処理を進める。また、操作がなされていない場合(S25:NO)、制御部51は、表示品質の調整を行うことなくステップS30へ処理を進める。

0107

次いで、制御部51は、ステップS24、S28又はS29にて表示品質を調整したウインドウ201〜204以外のウインドウ201〜204を特定し、特定したウインドウ201〜204の表示品質を低減することによって、その他の画像を低品質化する(ステップS30)。その後、制御部51は、一定時間待機し(ステップS31)、通信会議が終了したか否かを判定する(ステップS32)。通信会議が終了していない場合(S32:NO)、制御部51は、ステップS22へ処理を戻し、上述の表示品質の調整を繰り返し行う。通信会議が終了した場合(S32:YES)、制御部51は、表示品質調整処理を終了する。

0108

以上の構成の変形例に係る端末装置5a、5b…は、表示パネル55のウインドウ201〜204(又はウインドウ201〜204内の画像)に対する操作の有無のみでなく、操作の内容に応じて画像の表示品質を調整する(画像の縮小操作に応じて表示品質を低減する)構成とすることにより、ユーザにとって重要な画像であるか否かをより確実に判断して表示品質を調整することができる。なお、変形例に係る端末装置5a、5b…は、画像の縮小操作に応じて表示品質を低減する構成としたが、これに限るものではなく、その他の操作に応じても表示品質を低減する構成としてもよい。

0109

1会議サーバ装置
3ネットワーク
5a〜5f端末装置(通信装置)
11 制御部
12信号処理部
13画像処理部
14音声処理部
15通信処理部
16 ネットワークI/F部
17メモリ
18入力処理部
19表示処理部
20ハードディスク
51 制御部(調整手段)
52カメラ
53マイク
54ミキサ
55表示パネル
56スピーカ
57 ネットワークI/F部
58 通信処理部(通信手段)
59 ROM
60 RAM
61 入力部
62 入力処理部(操作受付手段)
70 信号処理部(表示処理手段)
201〜204ウインドウ(画像表示部)
211〜213 アイコン

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 三菱電機株式会社の「 モデム」が 公開されました。( 2021/01/07)

    【課題・解決手段】本発明の目的は、設置環境における電源事情に応じて動作を切り替えることで消費電力を抑えられるモデム(5、6)を提供することである。モデム(5、6)は、低圧電源端子(502、602)と、... 詳細

  • 合同会社IPBridge1号の「 表示制御装置及びコンピュータプログラム」が 公開されました。( 2021/01/07)

    【課題・解決手段】動画コンテンツに対し、所望の栞(しおり)を付加することを容易にして可能ならしめる。表示手段(30)の画面内に、動画コンテンツを静止画再生又は動画再生させる第1制御手段(11)と、動画... 詳細

  • 日本電気株式会社の「 メッセージ配信装置、方法およびプログラム」が 公開されました。( 2021/01/07)

    【課題・解決手段】メッセージ再送にかかるコストの増加を抑えることを可能にするため、メッセージを配信し、前記メッセージの宛先の各々に対する前記配信の成否に関する履歴を履歴記憶部へ記憶させ、前記メッセージ... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ