図面 (/)

技術 送信装置、送信方法およびコンテンツ配信システム

出願人 ソニー株式会社
発明者 市川由紀夫漆原真
出願日 2017年9月14日 (2年5ヶ月経過) 出願番号 2018-550049
公開日 2019年9月26日 (4ヶ月経過) 公開番号 WO2018-088026
状態 未査定
技術分野
  • -
主要キーワード ウェアラブルデバイス アーム制御装置 ネットワーク遮断 電気信号ケーブル 接アーム 帯域強調 医療用システム 回線スピード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題・解決手段

コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび該複数のアップローダに対応する複数のネットワークを介して、コンテンツ配信を行なう配信装置に送信する送信装置である。

概要

背景

従来、動画音声などのコンテンツデータを単一のアップローダと単一の通信回線で受信側に送信するシステムが提案されている(特許文献1)。

概要

コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび該複数のアップローダに対応する複数のネットワークを介して、コンテンツ配信を行なう配信装置に送信する送信装置である。

目的

本技術はこのような問題点に鑑みなされたものであり、遅延させることなくコンテンツの配信を行なうことができる送信装置、送信方法およびコンテンツ配信システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび該複数のアップローダに対応する複数のネットワークを介して、コンテンツ配信を行なう配信装置に送信する送信装置

請求項2

前記送信用データは、前記コンテンツデータを分割して生成されたセグメントである請求項1に記載の送信装置。

請求項3

前記送信用データは、前記コンテンツデータを分割したセグメントをさらに分割して生成されたサブセグメントである請求項1に記載の送信装置。

請求項4

前記サブセグメントには該サブセグメントが構成する前記セグメントを示す番号が付されている請求項3に記載の送信装置。

請求項5

前記サブセグメントには前記セグメントの分割数と該サブセグメントの順番を示す番号が付されている請求項3に記載の送信装置。

請求項6

前記複数のネットワークの通信速度に基づいて、前記複数のネットワークのうち最も通信速度の速いネットワークを優先的に利用して前記送信用データを送信する請求項1に記載の送信装置。

請求項7

前記複数のネットワークのうち、最も通信速度が遅いネットワークを基準として前記コンテンツデータの分割数を変更する請求項1に記載の送信装置。

請求項8

前記複数のネットワークの通信速度に基づいて前記コンテンツデータのビットレートを変更する請求項1に記載の送信装置。

請求項9

前記配信装置から前記端末装置への前記コンテンツの配信はセグメント単位で行われ、前記配信装置に所定時間内に届かなかった前記セグメントは、前記配信装置から前記端末装置へのリアルタイムライブ配信から除外される請求項2に記載の送信装置。

請求項10

前記配信装置から前記端末装置への前記コンテンツの配信はセグメント単位で行われ、前記配信装置に所定時間内に届かなかった前記サブセグメントを含む前記セグメントは、前記配信装置から前記端末装置へのリアルタイムのライブ配信から除外される請求項3に記載の送信装置。

請求項11

コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび該複数のアップローダに対応する複数のネットワークを介して、コンテンツ配信を行なう配信装置に送信する送信方法

請求項12

コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび該複数のアップローダに対応する複数のネットワークを介して配信装置に送信する送信装置と、前記送信装置から送信された前記送信用データを受信して、端末装置に送信してコンテンツ配信を行なう配信装置とからなるコンテンツ配信システム

技術分野

0001

本技術は、送信装置送信方法およびコンテンツ配信システムに関する。

背景技術

0002

従来、動画音声などのコンテンツデータを単一のアップローダと単一の通信回線で受信側に送信するシステムが提案されている(特許文献1)。

先行技術

0003

特開2011−66916号公報

発明が解決しようとする課題

0004

しかし、例えば、そのようなシステムでライブ放送を行う場合、通信回線でエラーが発生したり、遅延が発生したりするとデータの送信が途切れたり、受信側におけるデータの再生に遅延が生じるなどしてライブ放送のリアルタイム性が損なわれてしまうという問題がある。

0005

本技術はこのような問題点に鑑みなされたものであり、遅延させることなくコンテンツの配信を行なうことができる送信装置、送信方法およびコンテンツ配信システムを提供することを目的とする。

課題を解決するための手段

0006

上述した課題を解決するために、第1の技術は、コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび複数のアップローダに対応する複数のネットワークを介して、コンテンツ配信を行なう配信装置に送信する送信装置である。

0007

また、第2の技術は、コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび複数のアップローダに対応する複数のネットワークを介して、コンテンツ配信を行なう配信装置に送信する送信方法である。

0008

さらに、第3の技術は、コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび複数のアップローダに対応する複数のネットワークを介して配信装置に送信する送信装置と、送信装置から送信された送信用データを受信して、端末装置に送信してコンテンツ配信を行なう配信装置とからなるコンテンツ配信システムである。

発明の効果

0009

本技術によれば、遅延させることなくコンテンツの配信を行なうことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。

図面の簡単な説明

0010

本技術の実施の形態に係るコンテンツ配信システムの構成を示すブロック図である。
本技術の実施の形態に係るコンテンツ配信システムの構成を示すブロック図である。
送信装置の構成を示すブロック図である。
送信装置の構成を示すブロック図である。
配信装置および端末装置の構成を示すブロック図である。
プレイリストの一例を示す図である。
送信装置から配信装置へのアップロードの流れを示すフローチャートである。
プレイリストの更新の流れを示すフローチャートである。
配信装置から端末装置への配信の流れを示すシーケンス図である。
単一ネットワークによるアップロードと並列ネットワークによるアップロードの比較結果を示すグラフである。
手術室システムの全体構成を概略的に示す図である。
集中操作パネルにおける操作画面の表示例を示す図である。
手術室システムが適用された手術の様子の一例を示す図である。
図13に示すカメラヘッド及びCCU機能構成の一例を示すブロック図である。

実施例

0011

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1−1.コンテンツ配信システムの構成]
[1−1−1.送信装置の構成]
[1−1−2.配信装置の構成]
[1−1−3.端末装置の構成]
[1−2.コンテンツ配信システムによる処理]
[1−2−1.配信装置へのアップロード]
[1−2−2.プレイリストの更新]
[1−2−3.端末装置への配信第1の例]
[1−2−4.端末装置への配信第2の例]
[1−2−5.端末装置への配信第3の例]
[1−2−6.過去のコンテンツを配信]
[1−3.並列アップロードによる効果]
<2.応用例>
<3.変形例>

0012

<1.実施の形態>
[1−1.コンテンツ配信システムの構成]
図1は、本技術に係るコンテンツ配信システム100の全体構成を示す概略図である。コンテンツ配信システム100は、送信装置10と、複数のルータ2a、2b、2cと、コンテンツを配信する配信装置20と、コンテンツの視聴者(以下、視聴者と称する。)が使用するコンテンツ再生端末としての端末装置30とから構成されている。

0013

配信装置20は、図1においては複数のルータ(本実施の形態においてはルータ2a、2b、2cの3つ)および複数のネットワークNW(本実施の形態においてNW1、NW2、NW3の3つ)を介して送信装置10と通信可能に接続されている。また、配信装置20はネットワークNW4を介して端末装置30と接続されている。本実施の形態においてコンテンツ配信システム100は、HLS(HTTPLive Streaming)を使用してコンテンツのライブ配信リアルタイムで行なうものである。なお、ルータおよびネットワークの数はあくまで一例であり、3つに限られるものではない。詳しくは後述するが、2つ以上の複数であればいくつであってもよい。

0014

HLSとは、コンテンツとしてのライブ映像ストリーミング配信するためのプロトコルであり、通常のウェブサーバからHTTP(Hypertext Transfer Protocol)を使ってオーディオビデオを送信し、再生端末で再生するための機能である。HLSは、ライブ配信(放送)と既録のコンテンツ(ビデオオンデマンド)のいずれにも対応しており、ビットレートの異なる複数の代替ストリームサポートし、クライアントソフトウェアネットワーク帯域幅の変更に応じて、インテリジェントストリーム切り替えることが可能である。

0015

送信装置10は、外部装置(本実施の形態においてはビデオカメラ1)と接続されている。送信装置10は、ビデオカメラ1で撮像されたライブ映像やライブ音声などからなるコンテンツデータをルータ2a、2b、2cおよびネットワークNW1、NW2、NW3を介して配信装置20に送信(アップロード)するものである。なお、ビデオカメラ1は1台に限られず複数台であってもよい。

0016

端末装置30は、通信機能を備えたコンピュータであり、配信装置20から配信されたコンテンツを受信(ダウンロード)して再生可能端末である。端末装置30としては、例えば、スマートフォン携帯電話機等の携帯通信端末タブレット型端末携帯ゲーム機ノートパソコンデスクトップパソコンウェアラブル端末等が挙げられる。端末装置30は、ネットワークNW4を介して配信装置20と通信を行うことができ、かつ、コンテンツを再生することができる端末であればどのようなものでもよい。本実施の形態においては、配信装置20には複数の端末装置30が接続可能であり、それぞれの端末装置30はブラウザを介して同一のコンテンツをほぼ同時に視聴することができる。なお、配信装置20と端末装置30間の通信は一般的な通信プロトコルを用いて行われる。

0017

配信装置20は、送信装置10からルータ2a、2b、2cおよびネットワークNW1、NW2、NW3を介してアップロードされたコンテンツデータを受信して格納する。そして配信装置20は、ネットワークNW4を介して接続された端末装置30からコンテンツの配信要求を受け、対応するコンテンツを端末装置30に配信する。配信装置20はクラウドシステムクラウドコンピューティングサービスを用いて構成することが可能である。

0018

なお、ネットワークNW1、NW2、NW3は有線通信無線通信を問わず、例えば無線LAN(Local Area Network)やWAN(Wide Area Network)、WiFi(Wireless Fidelity)など、インターネットプロトコル(Internet Protocol)技術を利用して相互接続できるネットワークであればどのようなものでもよい。

0019

ルータ2a、2b、2cは、通信プロトコルにTCP/IP(Transmission Control Protocol/Internet Protocol)を用いて、送信装置10と配信装置20間においてネットワークを介してデータの中継を行なう通信機器である。ルータ2a、2b、2cは、モバイルルータ無線LANルータブロードバンドルータLTE(Long Term Evolution)ルータなど特定のネットワークを通じて送信装置10と配信装置20間におけるデータの送受信を中継することができるネットワークインターフェースであればどのようなものでもよい。

0020

本実施の形態においては、送信装置10と配信装置20とは複数のルータ2a、2b、2cおよびそれら複数のルータ2a、2b、2cそれぞれに対応した同数のネットワークNW1、NW2、NW3を介して接続されている。複数ネットワークを束ねることにより仮想的な広帯域ブロードバンド回線を実現しているということができる。単一ではなく、複数のルータ2a、2b、2cおよび複数のネットワークNW1、NW2、NW3を介してコンテンツデータをアップロードすることにより、ネットワークのいずれかが不安定になったり、切断してしまったとしてもコンテンツデータのアップロードが遅延したり途切れたりすることがない。よって、本技術はリアルタイムのライブ配信に特に有用であるといえる。

0021

また、本実施の形態においては、複数のネットワークNW1、NW2、NW3として、それぞれ異なる通信キャリア通信事業者)が提供するネットワークを使用する。これにより、いずれかの通信キャリアが提供するネットワークで通信速度の低下やネットワーク遮断などの異常が発生したとしても他の異常が発生していない通信キャリアのネットワークで引き続きコンテンツのアップロードを行なうことができる。これにより、ライブ配信が途切れてしまったり、ライブ配信のリアルタイム性が損なわれることを防止することができる。

0022

NW4は、端末装置30を利用する視聴者が契約している通信キャリアにより提供されるネットワークであり、有線通信でも無線通信でもよいし、どのような通信方式であってもよい。

0023

詳しくは後述するが、本実施の形態においては、送信装置10から配信装置20へのコンテンツデータのアップロードは図1に示すようにセグメントと称する単位で行なう場合と、図2に示すようにサブセグメントと称される単位で行う場合とがある。セグメントとサブセグメントが特許請求の範囲における送信用データに相当するものである。

0024

[1−1−1.送信装置の構成]
次に図3および図4を参照して送信装置10の構成について説明する。送信装置10は、エンコーダ11、Muxer12、第1セグメンタ13、第2セグメンタ14、ストリームキュー15、アップローダ16a、16b、16cおよび制御部17を備えて構成されている。なお、図3乃至5において各ブロックを接続する実線はセグメント、サブセグメントなどコンテンツを構成するデータの流れを示し、破線制御信号などの流れを示す制御線である。

0025

エンコーダ11は、外部接続されているビデオカメラ1で撮像した映像データをH.264、Divx などのビデオストリームにエンコードする。また、ビデオカメラ1に付属または別個マイクロホン録音した音声データをAAC(Advanced Audio Coding)、MP3(MPEG-1 Audio Layer-3)などのオーディオストリームにエンコードする。

0026

Muxer12は、エンコードされたビデオストリームとオーディオストリームとをMPEG2 Transport Stream(以下、TSという。)に結合する。

0027

第1セグメンタ13は、TSを所定の長さ(本実施の形態においては、1秒)に区切って複数のファイルに分割する。TSが第1セグメンタ13によって分割されて生成されたファイルをセグメントと称する。

0028

セグメントは、先頭キーフレームから始まり、それ単独でも動画コンテンツとして再生することが可能な拡張子「.ts」のメディアファイルである。セグメントのヘッダにはエンコードタイミングが含まれている。エンコードタイミングとは、エンコーダ11によってエンコードされた時刻を示す時刻情報である。配信装置20はこのエンコードタイミングを参照してエンコードタイミングで示される時刻が早い順にセグメントを配信する。さらに、セグメントにはセグメント番号が付されている。セグメント番号とは、TSを分割して生成されるセグメントのそれぞれに付される、セグメントを識別するためおよびセグメントの順序を示すための値であり、Segment[N] の形式で、一つめのセグメントをSegment[1] としてそれ以降に続くセグメントをSegment[2]、Segment[3]、・・・として1ずつインクリメントしていき、エンコードタイミングが早い順に従い付される番号である。セグメント番号の順序はセグメントの再生順序と一致している。

0029

第2セグメンタ14はセグメントをさらに小さいサイズに分割する。第2セグメンタ14によって分割されて生成されたファイルをサブセグメントと称する。サブセグメントは、それ単独では動画コンテンツとして再生不可能なファイルである。第2セグメンタ14で生成されたファイルは随時ストリームキュー15に格納される。

0030

サブセグメントのヘッダにはエンコードタイミング、セグメント番号、サブセグメント番号が含まれている。サブセグメントのヘッダに含まれているエンコードタイミングはそのサブセグメントが構成するセグメントのエンコードタイミングである。よって、1つのセグメントを構成する複数のサブセグメントのエンコードタイミングは全て同一である。

0031

サブセグメント番号とは、セグメントを分割して生成されるサブセグメントの分割数と、そのサブセグメントがセグメントの中の何番目に位置するかの順番を示す値からなるものである。例えば、図3のストリームキュー15に格納されているサブセグメントが示すように、2つのセグメント(Segment[1]とSegment[2])がそれぞれ3つのサブセグメントに分割される場合、分割数を示す値を分母とし、そのサブセグメントの順番を示す番号を分子として、Segment[1]-1/3、Segment[1]-2/3、Segment[1]-3/3、Segment[2]-1/3、Segment[2]-2/3、Segment[2]-3/3、のように付される。例えば、「Segment[1]-2/3」は3つのサブセグメントに分割されているSegment[1]の2番目のサブセグメントであることを示している。配信装置20は、受信したサブセグメントのサブセグメント番号を参照することによりセグメントが何個のサブセグメントに分割されているかを確認し、セグメントを構成するサブセグメントが全て届いたか否かを判断する。

0032

第2セグメンタ14は、各アップローダ16a、16b、16cからネットワークNW1、NW2、NW3の通信速度情報フィードバックを受け、複数のネットワークNW1、NW2、NW3のうちの最も通信速度が遅いネットワークの通信速度を基準としてセグメントの分割を行なようにしてもよい。複数のネットワークNW1、NW2、NW3のうちの最も通信速度が遅いネットワークの通信速度が遅ければ遅いほどサブセグメント数が増加するように分割を行い、速ければ速いほどサブセグメント数が少なくなるように分割を行なう。

0033

第2セグメンタ14は、ネットワークNW1、NW2、NW3のそれぞれの帯域(通信速度)の情報に応じて、セグメントの分割を行うようにしてもよい。第2セグメンタ14は、帯域情報を例えば以下のようにして取得する。送信装置10から所定のセグメントが、例えばネットワークNW1経由で配信装置20に送信される。配信装置20は、送信されたセグメントに含まれるエンコードタイミングとセグメントを受信したタイミングとの差分から帯域情報を求め、当該情報を送信装置10にフィードバックする。配信装置20は、ネットワークNW2、NW3に関する帯域情報も同様に送信装置10にフィードバックする。送信装置10は、フィードバックされた帯域情報に応じて最も混雑している(回線スピードが遅い)を基準にしてセグメントの分割数を決定する。

0034

なお、ネットワークNW1、NW2、NW3の混雑状況に応じて帯域情報が更新されるようにしてもよい。これに応じて、更新された帯域情報に応じてセグメントの分割数が改めて決定されるようにしてもよい。また、送信装置10が、帯域情報に応じたセグメントの分割数が記述されたテーブルを有し、当該テーブルを参照して、帯域情報に応じたセグメントの分割数を決定してもよい。また、送信装置10から配信装置20に対して予めテスト用のデータを送信して、セグメント送信前の帯域情報が配信装置20から送信装置10に対して送信されるようにして事前キャリブレーション処理が行われるようにしてもよい。

0035

なお、ネットワークの速度がセグメント単位で送信するのに十分な速度である場合には、セグメントは分割されず、セグメントのまま配信装置20にアップロードするとよい。その場合、図4に示すように、ストリームキュー15にはセグメントの状態で格納され、セグメントにはセグメント番号としてSegment[N]-1/1という番号が付されることになる。Segment[N]-1/1はN番目のセグメントが、1つのサブセグメントに分割されている(分割されていないことと同義)ことを示している。このようなネットワークの通信速度に応じたセグメントの分割数の変更はコンテンツ配信中にリアルタイムで行ってもよい。リアルタイムで行なうことによりネットワークの状態の変化に対応することができる。なお、以下の説明においては、サブセグメントの状態で送信装置10から配信装置20にアップロードされる場合を例にして説明を行なう。

0036

また、第2セグメンタ14は、コンテンツの画質音質などに応じて分割数を変更してもよい。例えば、エンコーダ11によって高画質の動画にエンコードされた場合にはデータサイズが大きくなるため分割数を増やす、4Kなど高画質コンテンツとして配信する場合には分割数を増やす、などである。分割数を増やすことによりサブセグメント一つ一つのサイズは小さくなるため、通信キャリアが提供するネットワークでもアップロードが可能となる。

0037

ストリームキュー15は、セグメントが分割された生成されたサブセグメント(セグメントがサブセグメントに分割されなかった場合にはセグメント)が順次格納されていくものである。

0038

アップローダ16a、16b、16cは、ストリームキュー15に格納されているサブセグメントを逐次ルータ2a、2b、2cおよびネットワークNW1、NW2、NW3を介して配信装置20にアップロードする。本技術においては、送信装置10は3つのアップローダ16a、16b、16cを備えており、アップローダの数とそれに対応するルータの数は一致している。なお、アップローダおよびルータの数は3つに限られるものではない。複数であれば3つ以上であってもよいし、3つ以下であってもよい。

0039

アップローダ16a、16b、16cは常にルータ2a、2b、2cおよびネットワークNW1、NW2、NW3の通信速度を監視しており、その通信速度情報を第2セグメンタ14にフィードバックとして供給することができる。第2セグメンタ14は、アップローダ16a、16b、16cからのフィードバックを受け、リアルタイムでサブセグメントの分割数を変更するとよい。これにより、ライブ配信中にネットワークNW1、NW2、NW3の通信速度の低下などが生じても、それに応じてサブセグメントの分割数を多くしてサブセグメント一つ一つのサイズを小さくすればサブセグメントの送信に遅延が生じることを防止することができる。なお、第2セグメンタ14は、ネットワークNW1、NW2、NW3の通信速度に反映させずに予め定められたサイズにセグメントを分割してサブセグメントを生成してもよい。

0040

制御部17は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって送信装置10の全体および各部の制御を行う。

0041

なお、送信装置10を構成する各部はソフトウェアによって実現されてもよいし、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

0042

[1−1−2.配信装置の構成]
次に図5を参照して配信装置20の構成について説明する。配信装置20は、レシーバ21a、21b、21c、サブセグメント結合部22、配信サーバ23および制御部24を備えて構成されている。

0043

レシーバ21a、21b、21cは、ルータ2a、2b、2cおよびネットワークNW1、NW2、NW3を介して送信装置10からアップロードされたサブセグメントまたはセグメントを受信するものである。本技術においては、配信装置20は複数のレシーバ21a、21b、21cを備えており、レシーバの数とそれに対応するアップローダ16a、16b、16cの数は一致している。なお、図1においてアップローダ、ルータおよびレシーバはそれぞれ3つであるが、アップローダおよびルータの数と同じであればレシーバの数はいくつであってもよい。

0044

サブセグメント結合部22は、レシーバ21a、21b、21cが受信したサブセグメントを結合してセグメントに戻して配信サーバ23に供給するものである。サブセグメント結合部22は1つのセグメントを構成する複数のサブセグメントのうちの1つを受信するとサブセグメント番号からそのセグメントがいくつのサブセグメントに分割されているか、そのサブセグメントが何番目のサブセグメントであるかを確認する。よって、セグメントを構成するサブセグメントの全てが届くまで待ち状態となり、全てのサブセグメントが届いたことを確認してからサブセグメントの結合処理を行なう。例えば、1つのセグメントSegment[1]が3つのサブセグメントに分割されている場合において、Segment[1]-3/3が最初にサブセグメント結合部22に届いた場合、サブセグメント結合部22は残りの2つのサブセグメントであるSegment[1]-1/3、Segment[1]-2/3、が届いてから結合処理を行なう。

0045

サブセグメント結合部22は、1つ前のセグメントを構成するサブセグメント受信後、所定時間内に次のセグメントを構成するサブセグメントのうちのいずれか1つでも届かなかった場合にはその届かなかったサブセグメントを含むセグメントの結合処理は行わない。結合処理が行われなかったセグメントは全てのサブセグメントが届くまで待ち状態となり、全てのサブセグメントが届き次第結合処理が施され配信サーバ23に格納される。言い換えれば、1つでもサブセグメントが届いていないセグメントは全てのサブセグメントが揃わない限り配信サーバ23には格納されない。配信サーバ23に格納されないセグメントは端末装置30でコンテンツとして再生されないことになる。この点の詳細については後述する。

0046

なお、送信装置10からサブセグメントではなくセグメントがアップロードされた場合にはサブセグメント結合処理は行われず、セグメントがそのまま配信サーバ23に格納される。

0047

配信サーバ23は、セグメントが格納されたことをうけてプレイリストを更新する。そして、端末装置30からのプレイリストの送信要求を受けると、その送信要求に従ってプレイリストを端末装置30に返信する。プレイリストにはセグメントの格納位置を示すURL(Uniform Resource Locator)が記述されている。

0048

配信サーバ23は、セグメントが配信サーバ23に格納されると、その格納されたセグメントのセグメント番号を参照し、その格納されたセグメントの位置を示すURLをエンコードタイミング順にプレイリストに記述する。これによりプレイリストには、常にエンコードタイミング順、すなわち再生順に沿ってセグメントのURLが記述されることになる。

0049

図6に配信サーバ23により更新されたプレイリストの例を示す。プレイリストは、HLSにおける拡張子「.m3u8」のインデックスファイルであり、ここでは、エンコードタイミング順に沿ってSegment[1],Segment[2],Segment[3]のURLが記述されている。図6のプレイリストは、ストリーム全体が1秒の3つのセグメントに分割されている場合のものである。なお、「#EXTM3U」はヘッダであり、「#EXTINF:1」はSegmentにおける時間の長さが1秒であることを意味する情報である。

0050

上述したように、セグメントを構成するサブセグメントのいずれか1つでも配信装置20に届かなかった場合にはその届かなかったサブセグメントを含むセグメントは配信サーバ23に格納されないので、そのセグメントのURLはプレイリストには記述されない。なお、配信装置20に届かなかったサブセグメントについては送信装置10側で送信エラーを検出してTCPによる再送制御処理を行なうため、最終的には全てのサブセグメントが配信装置20にアップロードされる。

0051

制御部24は、CPU、RAMおよびROMなどから構成されている。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって配信装置20の全体および各部の制御を行う。

0052

[1−1−3.端末装置の構成]
次に図5を参照して端末装置30の構成について説明する。端末装置30は、通信部31、デコーダ32、表示部33、音声出力部34および制御部35を備えて構成されている。

0053

通信部31は、HTTPGETリクエストにより配信装置20にプレイリストの送信要求を送るとともに、配信装置20から送信されたプレイリストを受信する通信モジュールである。また、通信部31は受信したプレイリストに記述されたURLにアクセスして配信サーバ23からダウンロードしたセグメントを受信する。

0054

デコーダ32は、エンコードされているセグメントに対してデコード処理を施しブラウザで再生可能な映像データを生成する。

0055

表示部33は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部33には、送信装置10から送信されたコンテンツを構成する映像、端末装置30のユーザインターフェースメニュー画面などが表示される。

0056

音声出力部34は、送信装置10から送信されたコンテンツを構成する音声を出力するスピーカーイヤホンを接続するイヤホンジャックなどである。

0057

制御部35は、CPU、RAMおよびROMなどから構成されている。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置30の全体および各部の制御を行う。また、表示部33においてコンテンツの動画を再生するためのブラウザの動作処理なども行なう。

0058

なお、端末装置30を構成する通信部31、デコーダ32はソフトウェアによって実現されてもよいし、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

0059

[1−2.コンテンツ配信システムによる処理]
[1−2−1.配信装置へのアップロード]
次に図7を参照して、コンテンツ配信システム100によるコンテンツの配信について説明する。まず、送信装置10から配信装置20へのアップロードについて説明する。

0060

まずビデオカメラ1によって撮像されたライブ映像やライブ音声などからなるコンテンツデータは、ステップS11でエンコーダ11によってエンコード処理が施される。次にステップS12で、コンテンツデータは第1セグメンタ13によってセグメントに分割される。

0061

次にステップS13で、制御部17により、コンテンツデータはセグメントの状態で配信装置20に送信可能か否かが判定される。これは、セグメントのサイズと複数のネットワークNW1、NW2、NW3のうち最も通信速度が遅いネットワークの通信速度や予め定められた閾値との比較により行われる。セグメントのサイズがネットワークNW1、NW2、NW3の最も遅い通信速度や所定の閾値よりも小さい場合には処理はステップS15に進み(ステップS13のYes)、セグメントは分割されずにストリームキュー15に格納される。

0062

一方、セグメントのサイズがネットワークNW1、NW2、NW3のうちの最も遅い通信速度や所定の閾値よりも大きい場合には処理はステップS14に進む(ステップS13のNo)。そして、ステップS14では第2セグメンタ14によってセグメントがサブセグメントに分割されて、ステップS15でサブセグメントがストリームキュー15に格納される。なお、下記の説明ではストリームキュー15にサブセグメントが格納された場合を例にして説明を行う。

0063

次にステップS16で、ストリームキュー15に格納されたサブセグメントがエンコードタイミングの順序でアップローダ16a、16b、16cからルータ2a、2b、2cおよびネットワークNW1、NW2、NW3を介して順次配信装置20にアップロードされる。そしてステップS17でコンテンツの配信が終了したかを確認し、配信が終了するまで処理が継続される(ステップS16のNo)。

0064

アップローダ16a、16b、16cから配信装置20にサブセグメントをアップロードする際、複数(本実施の形態においては3つ)のルータ2a、2b、2cおよびネットワークNW1、NW2、NW3を用いてサブセグメントを並列的に送信する。このように1つのネットワークで送信するのではなく、複数のネットワークで並列的に送信することにより、ネットワークのいずれかが不安定になったり、切断してしまったとしてもコンテンツの送信が遅延したり途切れたりすることがない。

0065

複数のネットワークでサブセグメントを送信する際、複数のネットワークのうち最も通信速度が速いネットワークに優先的にサブセグメントを送信させるようにしてもよい。これによって、より速くサブセグメントを配信装置20に送信することが可能となる。

0066

また、サブセグメント送信中に通信が切断したネットワークについてはそれ以降使用しないようにしてもよい。これによってより安定した状態でサブセグメントの送信を行なうことができる。

0067

[1−2−2.プレイリストの更新]
次に、図8を参照して配信装置20において行われるプレイリストの更新処理について説明する。まずステップS21で配信サーバ23に新たなセグメントが格納された場合、ステップS22で配信サーバ23はその格納されたセグメントの格納位置を示すURLをプレイリストに記述することによりプレイリストを更新する(ステップS21のYes)。

0068

配信装置20においては、プレイリストに予め記述するセグメントのURLの数を設定しておく。これは例えば、「1つめのセグメントをSegment[N] とすると、Segment[N+2] までのセグメントのURLを記述する(この場合は合計3つのURLが記述される)」などである。よって、そのプレイリストの1つめのセグメントがSegment[1] であり、Segment[1]、Segment[2]、Segment[3]の3つが配信サーバ23に格納された場合、Segment[1]、Segment[2]、Segment[3]のURLがプレイリストに記述されて端末装置30に送信される。また、そのプレイリストの1つめのセグメントがSegment[1] であり、Segment[1] およびSegment[3]は配信サーバ23に格納されたがSegment[2] は格納されていない場合、Segment[1] およびSegment[3]のURLがプレイリストに記述されて端末装置30に送信される。

0069

またプレイリストにSegment[3]のURLまでが記述された場合、次のプレイリストには、1つめのセグメントをSegment[4] として、Segment[4]、Segment[5]、Segment[6] のURLが記述される。

0070

なお、予め設定するプレイリストに記述するURLの数は3つに限られるものではなく、3つ以上でも3つ以下でもよい。

0071

そして、ステップS23でコンテンツ配信が終了し、全てのセグメントが配信サーバ23に格納されたか判断される。コンテンツ配信が終了し、全てのセグメントが配信サーバ23に格納された場合処理は終了となる(ステップS23のYes)。一方、コンテンツ配信がまだ終了していない場合には処理はステップS21に戻り、プレイリストへのセグメントのURLの記述は配信サーバ23に新たなセグメントが格納される度に行われる(ステップS23のNo)。

0072

[1−2−3.端末装置への配信第1の例]
次に図9を参照して配信装置20が端末装置30にコンテンツを配信する処理について説明する。まず、端末装置30からプレイリストの送信要求が届いた時点でその送信要求に応じて送信するプレイリストにURLを記述すべきセグメントが全て配信サーバ23に格納されている場合について説明する。

0073

まず、ステップS31で端末装置30が配信装置20に対してプレイリストの送信要求を行なう。これを受けて、ステップS32で配信装置20はプレイリストを端末装置30に送信する。例えば、プレイリストに3つのセグメントのURLを記述するように設定されている場合、3つのセグメントが配信サーバ23に格納され、3つのセグメントのURLがプレイリストに記述されると、配信装置20はプレイリストを端末装置30に送信する。以下の説明では、プレイリストに3つのセグメントのURLを記述するように設定されたものとして説明する。

0074

次にステップS33で端末装置30はプレイリストに記述された3つのURLにアクセスする。そしてステップS34で端末装置30は配信装置20から3つのセグメントをダウンロードする。そしてステップS35で、端末装置30はそれら3つのセグメントにデコード処理など所定の処理を施してライブ映像として表示部33に表示するとともに音声出力部34から音声を出力する。

0075

このステップS31から35までの処理がライブ配信終了まで繰り返されることになる。

0076

[1−2−4.端末装置への配信第2の例]
次に、配信サーバ23に届いていないセグメントがある場合について説明する。例としてプレイリストに3つのセグメントのURLを記述するように設定し、端末装置30からプレイリストの送信要求が届いた時点でSegment[1] およびSegment[3]は配信サーバ23に格納されているが、Segment[2] はまだ格納されていない場合について説明する。

0077

まずステップS31で、端末装置30が配信装置20に対してプレイリストの送信要求を行なう。これを受けて、ステップS32で配信装置20はプレイリストを端末装置30に送信する。この際、配信サーバ23にSegment[1] およびSegment[3] は格納されているが、Segment[2] がまだ格納されていないのでプレイリストにはSegment[2] のURLは記述されていない。よって、配信装置20はSegment[1]とSegment[3]のURLが記述されたプレイリストを端末装置30に送信する。これによりSegment[2] はリアルタイムのライブ配信から除外されることとなる。

0078

次にステップS33で端末装置30はプレイリストに記述された2つのURLにアクセスする。そしてステップS34で端末装置30は2つのセグメントSegment[1]とSegment[3]をダウンロードする。そして、ステップS35で、端末装置30はそのSegment[1]とSegment[3]にデコード処理など所定の処理を施してライブ映像として表示部33に表示するとともに音声出力部34から音声を出力する。

0079

その際、Segment[2]は配信サーバ23に格納されていないため、Segment[1] の再生後、Segment[2] の長さ分のコマ落ちが発生し、その後Segment[3] が再生される。すなわち、Segment[2] がない場合、Segment[2] 以降の配信を停止するのではなく、Segment[2] をコマ落ちとして次のセグメントであるSegment[3] が再生される。Segment[2] の長さが1秒である場合、1秒のコマ落ちが発生する。これによって、たとえSegment[2] が配信装置20に届いていなくてもSegment[2]が配信装置20に届くまでの待ち時間分遅延が生じることによりリアルタイム性が損なわれることを防止し、ライブ配信のリアルタイムを維持することができる。上述したようにセグメントはそれ単独でも動画コンテンツとして再生することが可能なファイルであるため、TSを構成するいくつかのセグメントがない場合でもその欠けているセグメントはコマ落ちとなり、TS全体としては再生可能である。

0080

なお、コマ落ちとは、動画を再生する際に、転送されたデータの一部が再生されず、音声や画像が一瞬とぎれる現象のことである。コマ落ちが発生すると、そのコマ落ちの時間だけ動画は滑らかでなくなる。

0081

次に端末装置30はSegment[1] の再生、Segment[2] の長さ分のコマ落ちおよびSegment[3] の再生が終了するまでにSegment[4]以降の次の3つのセグメントのURLが記述されたプレイリストの送信要求を行なう。そして、端末装置30はプレイリストに記述されたURLにアクセスし、セグメントをダウンロードし、所定の処理を施してライブ映像として表示部33に表示するとともに音声出力部34から音声を出力する。この処理がライブ配信終了まで繰り返されることになる。

0082

[1−2−5.端末装置への配信第3の例]
さらに例として、プレイリストに3つのセグメントのURLを記述するように設定し、端末装置30からプレイリストの送信要求が届いた時点でSegment[1]は配信サーバ23に格納されているが、Segment[2] およびSegment[3] は格納されていない場合について説明する。

0083

まずステップS31で端末装置30が配信装置20に対してプレイリストの送信要求を行なう。これを受けて、ステップS32で配信装置20はプレイリストを端末装置30に送信する。このとき、配信サーバ23にSegment[1] は格納されているがSegment[2] およびSegment[3]が格納されていないため、配信装置20はSegment[1]のURLのみが記述されたプレイリストを端末装置30に送信する。これによりSegment[2]、Segment[3] はリアルタイムのライブ配信から除外されることとなる。

0084

次にステップS33で端末装置30はプレイリストに記述された1つのURLにアクセスし、ステップS34で端末装置30は1つのセグメントSegment[1]をダウンロードする。そして、端末装置30はそのSegment[1]にデコード処理など所定の処理を施してライブ映像として表示部33に表示するとともに音声出力部34から音声を出力する。

0085

その際、Segment[2] およびSegment[3]は配信サーバ23に格納されていないため、Segment[1] の再生後、Segment[2] の長さ分コマ落ちが発生し、続いてSegment[3] の長さ分のコマ落ち発生する。Segment[2] およびSegment[3]の長さがそれぞれ1秒である場合、合計2秒のコマ落ちが発生する。これによって、たとえ Segment[2] およびSegment[3]が配信サーバ23に格納されていなくてもSegment[2] およびSegment[3]が配信サーバ23に格納されるまでの待ち時間分遅延が生じることによりリアルタイム性が損なわれることを防止し、ライブ配信のリアルタイムを維持することができる。

0086

次に再び、ステップS31で端末装置30はSegment[1]の再生が終了するまでに次の3つのセグメントのURLが記述されたプレイリストの送信要求を行なう。そして、ステップS32で配信装置20は端末装置30に3つのセグメントのURLが記述されたプレイリストを送信する。この際、Segment[2]が配信装置20にまだ届いておらずSegment[3]以降が届いている場合にはSegment[3]、Segment[4]、Segment5のURLが記述されたプレイリストが送信される。

0087

そして、ステップS33で端末装置30はプレイリストに記述された3つのURLにアクセスし、ステップS34で端末装置30にセグメントをダウンロードする。そしてステップS35で端末装置30はセグメントに所定の処理を施してライブ映像として表示部33および音声出力部34から出力する。このステップS31から34までの処理がライブ配信終了まで繰り返されることになる。

0088

一方、配信装置20からプレイリストの送信要求が来た際にプレイリストに記述すべき3つ分のセグメント、Segment[2]、Segment[3]、Segment[4]がまだ配信サーバ23に格納されていない場合にはSegment[1]以降のセグメントが配信サーバ23に格納されるまでプレイリストの送信を行わないようにしてもよい。

0089

[1−2−6.過去のコンテンツを配信]
ライブ配信終了後、VOD(Video On Demand)、録画放送等として既にライブ配信された過去のコンテンツを配信する場合について説明する。ライブ配信時には配信サーバ23格納されていなかったセグメントはそのライブ配信中もしくはライブ配信終了後に配信サーバ23に届き次第格納される。そして、そのセグメントが配信サーバ23に格納されるとプレイリストにURLが記述されてプレイリストが更新される。

0090

そして、ライブ配信終了後、視聴者が過去のコンテンツを見ようと端末装置30に所定の操作を行なうと、端末装置30が配信装置20に対してプレイリストの送信要求を行なう。これを受けて、配信装置20はプレイリストを端末装置30に送信する。このときにはライブ配信中には配信サーバ23に格納されていなかったセグメントも含めて全てのセグメントが配信サーバ23に格納されているため、配信装置20は全てのセグメントのURLが記述されたプレイリストを端末装置30に送信する。これにより、端末装置30は全てのセグメントのURLにアクセスして全てのセグメントの再生を行なうことができる。

0091

また、過去のコンテンツの配信の場合、既にTSを構成する全てのセグメントは配信サーバ23に格納されているため、視聴者は、プレイリストを用いて再生開始セグメントの選択することができる。配信サーバ23から送信されるプレイリストはTSを構成する全てのセグメントのURLが記述されているため、視聴者は、端末装置30の入力部等を介して任意のセグメントを再生開始セグメントとして選択することができる。そして端末装置30は、視聴者が選択したセグメントの配信要求を行い、端末装置30は、選択された再生開始セグメントと再生開始セグメント以降のセグメントをダウンロードする。そして端末装置30は、それらセグメントにデコード処理など所定の処理を施してライブ映像として表示部33に表示するとともに音声出力部34から音声を出力する。

0092

[1−3.並列アップロードによる効果]
図10は、同一のデータを単一のネットワークでデータを送信した場合と、4つのネットワークで並列送信した場合の比較実験の結果を示すグラフである。実線が並列送信の結果を示すものであり、破線が単一ネットワークでの送信結果を示すものである。縦軸は遅延時間(秒)を示しており、縦軸の値が大きくなるに従い通信に遅延が発生していることを示している。

0093

比較実験の条件は下記の通りである。
動画ビットレート:10Mbps(bits per second)
セグメントの長さ(時間):1秒
アップロード時間:5分
ルータ:LTEルータ
上り通信速度(LTEルータ一台あたり):18.73Mbps
時間帯:平日午後4時
場所:東京都内

0094

図10のグラフに示されるように単一ネットワークによる送信においては、矢印で示す位置のように送信中にパケットロスによる再送が発生するとその再送による遅延がそれ以降の送信に影響を及ぼし、それ以降の通信において遅延が蓄積してしまうことになる。

0095

一方、4つのネットワークを使用した並列送信の場合には局所的に遅延が発生する場合があってもその遅延が蓄積せずそれ以降の送信に影響を及ぼすことはない。よって、並列送信では、データの送信に遅延を蓄積させることなくリアルタイム性を維持してデータの送信を行なうことができる。

0096

以上のようにして本実施の形態によるコンテンツ配信が行われる。本技術は、スポーツ観戦の生中継、音楽のライブなどの生中継などリアルタイム性が要求されるコンテンツの配信に特に有用である。また、4K、VR(Virtual Reality)などは通常の映像コンテンツよりもデータ容量が大きくなるため、そのような方式のコンテンツの配信にも有用である。

0097

また、本技術は屋外で移動しながらの4Kライブ動画の配信、HMD(Head Mounted Display)などを用いたVRライブ動画の配信にも適用することができる。4K動画やVRライブ動画ではコンテンツのサイズが大きくなるので、本技術が特に有用であると考えられる。

0098

さらに、広角アクションカメラを用いた移動しながらのライブ配信にも適用することができる。アクションカメラとは、主にアウトドアスポーツ中の光景を撮像することに最適化された小型デジタルビデオカメラ1であり、様々なアクセサリーを用いるなどして人体自転車、車、動物サーフボードなどに取りつけることができる。

0099

また、複数キャリアの複数のネットワークを用いて並列アップロードを行っているため、移動時のハンドオーバへの耐性を向上させることができる。ハンドオーバとは、移動局、例えば、スマートフォンや携帯電話機と通信する基地局を移動中に切り替えることである。

0100

<2.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。手術室システムに適用することにより、手術室内で取得された、画像、映像をネットワークを介して配信装置20にアップロードし、端末装置30などの外部装置に配信することができる。

0101

図11は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図11を参照すると、手術室システム5100は、手術室内に設置される装置群視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。

0102

手術室には、様々な装置が設置され得る。図11では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A〜5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。

0103

ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A〜5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

0104

視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A〜5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者身体情報や、過去の検査結果術式についての情報等)等である。

0105

具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

0106

あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。

0107

視聴覚コントローラ5107は、出力先の装置である表示装置5103A〜5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。

0108

また、図11では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

0109

手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。

0110

手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。

0111

図12は、集中操作パネル5111における操作画面の表示例を示す図である。図12では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図12を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。

0112

発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。

0113

プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面プレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。

0114

コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パンチルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。

0115

また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップフリップ色調整コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。

0116

なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。

0117

図13は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。

0118

内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図11に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図13では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

0119

以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。

0120

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a〜5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a〜5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流超音波振動により、組織切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

0121

内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。

0122

(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。

0123

(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。

0124

鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

0125

カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

0126

なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系複数系統設けられる。

0127

(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図11に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。

0128

表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。

0129

光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。

0130

アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。

0131

入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。

0132

入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウスキーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。

0133

あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャ視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

0134

処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガス送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

0135

以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。

0136

(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図13では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a〜5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a〜5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。

0137

関節部5147a〜5147cにはアクチュエータが設けられており、関節部5147a〜5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a〜5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。

0138

例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。

0139

また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a〜5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。

0140

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

0141

なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a〜5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。

0142

(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像ホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

0143

また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

0144

また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。

0145

(カメラヘッド及びCCU)
図14を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図14は、図13に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。

0146

図14を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。

0147

まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

0148

撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。

0149

撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

0150

また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。

0151

また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。

0152

駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。

0153

通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。

0154

また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。

0155

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。

0156

カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。

0157

なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

0158

次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。

0159

また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

0160

画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。

0161

画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。

0162

制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

0163

また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

0164

カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

0165

ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。

0166

以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システム顕微鏡手術システムに適用されてもよい。

0167

本開示に係る技術は、撮像された術部画像、述部映像をより遅延なく外部の表示装置に出力することができるため、遠隔医療における診断の精度向上を図ることができる。

0168

<3.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

0169

実施の形態ではセグメントの長さは1秒であるとして説明を行ったがセグメントの長さはそれに限られるものではない。1秒以上でもよいし、1秒以下でもよい。ただし、本技術は、セグメントが配信装置20にない場合コンテンツの配信中においてそのセグメントはコマ落ちとなる。よって、セグメントが長すぎるとコマ落ちの状態も長くなり、コマ落ちの時間が長くなると視聴者に違和感や不快感を与えることになるため、ネットワークの通信速度、コマ落ちの許容時間も考慮してセグメントの長さを設定するとよい。

0170

実施の形態では、サブセグメントにはセグメントの分割数を示す分母とそのサブセグメントの順番を示す番号が付されていると説明を行った。しかし、セグメントの分割数を示すことができれば、分母と分子という表記方法に限られず、セグメントの分割数とサブセグメントの順番を示す番号を併記するなど、セグメントの分割数とサブセグメントの順番を示す番号を示していればどのような表記方法であってもよい。

0171

送信装置10において、エンコーダ11はアップローダ16a、16b、16cからネットワークの通信速度情報を受けて、通信速度が遅い場合にはビットレートを下げてエンコードするようにしてもよい。ビットレートを下げてエンコードすることによりコンテンツの画質を劣化させてデータサイズを小さくすることができるので通信速度が遅いネットワークでもアップロードすることが可能となる。

0172

実施の形態においては、複数のネットワークがすべて異なる通信キャリアが提供するものであるとして説明を行ったが、それは本技術を全てのネットワークがそれぞれ異なる通信キャリアが提供するネットワークである場合に限定するものではない。全てのネットワークの通信キャリアが異なるのが好ましいが、全てのネットワークが1つの通信キャリアにより提供されるネットワークでなければ、いくつかのネットワークが1つの通信キャリアにより提供されるものである場合を否定するものではない。

0173

また、ビデオカメラ1は一台に限定されるものではなく複数台であってもよい。また、複数台のビデオカメラ1で撮像し、全てのビデオカメラ1の録画コンテンツを配信装置20にアップロードし、配信装置20からビデオカメラ1の操作者にセグメント送信するということも可能である。これにより、その操作者が全てのビデオカメラ1の映像を確認しながら複数台のビデオカメラ1の撮像範囲、撮像方向などの制御を行なうことができる。また、送信装置10に接続される外部装置はマイクロホンのみであってもよいし、コンテンツを生成するものであればどのようなものでもよい。また、予め作成された映画録画済みのライブ動画などすでに完成しているコンテンツを送信装置10に供給するようにしてもよい。

0174

ビデオカメラなどのコンテンツの録音録画などを行なう外部装置を送信装置の機能を備えるように構成し、その外部装置から直接配信装置20にアップロードを行なうようにしてもよい。

0175

本技術は以下のような構成も取ることができる。
(1)
コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび該複数のアップローダに対応する複数のネットワークを介して、コンテンツ配信を行なう配信装置に送信する
送信装置。
(2)
前記送信用データは、前記コンテンツデータを分割して生成されたセグメントである(1)に記載の送信装置。
(3)
前記送信用データは、前記コンテンツデータを分割したセグメントをさらに分割して生成されたサブセグメントである(1)に記載の送信装置。
(4)
前記サブセグメントには該サブセグメントが構成する前記セグメントを示す番号が付されている(3)に記載の送信装置。
(5)
前記サブセグメントには前記セグメントの分割数と該サブセグメントの順番を示す番号が付されている(3)または(4)に記載の送信装置。
(6)
前記複数のネットワークの通信速度に基づいて、前記複数のネットワークのうち最も通信速度の速いネットワークを優先的に利用して前記送信用データを送信する(1)から(5)のいずれかに記載の送信装置。
(7)
前記複数のネットワークのうち、最も通信速度が遅いネットワークを基準として前記コンテンツデータの分割数を変更する(1)から(6)のいずれかに記載の送信装置。
(8)
前記複数のネットワークの通信速度に基づいて前記コンテンツデータのビットレートを変更する(1)から(7)のいずれかに記載の送信装置。
(9)
前記配信装置から前記端末装置への前記コンテンツの配信はセグメント単位で行われ、
前記配信装置に所定時間内に届かなかった前記セグメントは、前記配信装置から前記端末装置へのライブ配信から除外される(2)に記載の送信装置。
(10)
前記配信装置から前記端末装置への前記コンテンツの配信はセグメント単位で行われ、
前記配信装置に所定時間内に届かなかった前記サブセグメントを含む前記セグメントは、前記配信装置から前記端末装置へのライブ配信から除外される(3)に記載の送信装置。
(11)
コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび該複数のアップローダに対応する複数のネットワークを介して、コンテンツ配信を行なう配信装置に送信する
送信方法。
(12)
コンテンツデータをエンコードし、複数の送信用データに分割して複数のアップローダおよび該複数のアップローダに対応する複数のネットワークを介して配信装置に送信する送信装置と、
前記送信装置から送信された前記送信用データを受信して、端末装置に送信してコンテンツ配信を行なう配信装置と
からなるコンテンツ配信システム。

0176

10・・・・・・・・・・・・送信装置
16a、16b、16c・・・アップローダ
20・・・・・・・・・・・・配信装置
100・・・・・・・・・・・コンテンツ配信システム
NW1、NW2、NW3・・・ネットワーク

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ