技術 分散論理Ｌ３ルーティング

0001

現在の多くの企業は、様々な接続、アプリケーション、及びシステムをサポートする、スイッチ、ハブ、ルータ、サーバ、ワークステーション、及び他のネットワークデバイスを含む、大規模で洗練されたネットワークを有する。仮想マシン移行（ｍｉｇｒａｔｉｏｎ）、動的ワークロード、マルチテナント機能、並びに、サービス及びセキュリティ構成の顧客に特有の品質を含む、コンピュータネットワーキングの増加する洗練度は、ネットワーク制御のためのより優れたパラダイムを必要とする。ネットワークは、伝統的に、個々の構成要素の低レベルの構成を介して管理されてきた。ネットワーク構成は、しばしば、基礎となるネットワークに依存し、例えば、アクセス制御リスト（「ＡＣＬ」）エントリによりユーザのアクセスをブロックすることは、ユーザの現在のＩＰアドレスを知ることを必要とする。より複雑なタスクは、より広範囲なネットワーク知識を必要とし、ゲストユーザのポート８０トラフィックに、ＨＴＴＰプロキシを通過することを強制することは、現在のネットワークトポロジ、及び、各ゲストの位置を知ることを必要とする。このプロセスは、ネットワークスイッチング要素が複数のユーザ間で共有される困難さを増加させるものである。

0002

それに応じて、ソフトウェア定義ネットワーク（ＳＤＮ）と呼ばれる新しいネットワーク制御パラダイムに向けて成長している動きが存在する。ＳＤＮパラダイムでは、ネットワーク内の１つ又は複数のサーバ上で動作するネットワークコントローラが、共有されるネットワークスイッチング要素の転送動作をユーザごとに管理する制御論理を、制御し、維持し、実装する。ネットワーク管理上の決定を行うことは、しばしば、ネットワーク状態の知識を必要とする。管理意思決定を容易にするために、ネットワークコントローラは、ネットワーク状態のビューを作成及び維持し、アプリケーションプログラミングインタフェースを提供し、アプリケーションプログラミングインタフェース上で、管理アプリケーションは、ネットワーク状態のビューにアクセスすることができる。

0003

（データセンタ及び企業ネットワークの両方を含む）大規模なネットワークを維持することの主な目標のいくつかは、スケーラビリティ、モビリティ、及びマルチテナント機能である。これらの目標の１つに対処するためにとられた多くのアプローチは、結果として、他の目標の少なくとも１つを妨げた。例えば、Ｌ２ドメイン内の仮想マシンのネットワークモビリティを容易に提供することができるが、Ｌ２ドメインは、大きなサイズに拡張することができない。さらに、ユーザの分離を維持することは、モビリティを複雑にする。このように、スケーラビリティ、モビリティ、及びマルチテナント機能を満足することができる改善された解決法が必要である。

0004

いくつかの場合のいくつかの実施形態は、論理ルーティングを、Ｌ３ドメイン内で動作する論理データパスセット（ＬＤＰＳ）を実装する論理ルータによってＬ２ドメイン内で動作する２つ以上の論理データパス（ＬＤＰ）セットを相互接続する行為としてモデル化する。論理Ｌ２ドメインから別のものに横断するパケットは、いくつかの実施形態では、以下の４つのステップをとることになる。これらの４つのステップは、ネットワーク制御システムが実現する論理処理動作に関して以下に説明される。しかしながら、これらの動作は、ネットワーク制御システムによって生成される物理制御プレーンデータに基づいて、ネットワークの管理されるスイッチング要素によって実行されることを理解すべきである。

0005

第１に、パケットは、送信元の論理Ｌ２ドメインのＬ２テーブルパイプラインを介して処理されることになる。パイプラインは、論理ルータの論理ポートに取り付けられた論理ポートに転送されている宛先媒体アクセス制御（ＭＡＣ）アドレスで終わることになる。

0006

第２に、パケットは、再び、それを論理ルータのＬ３テーブルパイプラインを介して送信することによって、この論理ルータのＬ３データパスを介して処理されることになる。論理ルータは、ルーティングを必要とするパケットを受信するだけであるため、物理ルータ内の一般的なＬ２ルックアップステージは、いくつかの実施形態では、ルータのＬ３データパス内でスキップされる。

0007

いくつかの実施形態では、Ｌ３転送決定は、論理ルータの論理制御プレーンによって供給されるプレフィックス（転送情報ベース（ＦＩＢ））エントリを使用することになる。いくつかの実施形態では、論理制御プレーンデータを受信し、このデータを、次にネットワーク制御システムに供給される論理転送プレーンデータに変換するために、制御アプリケーションが使用される。Ｌ３転送決定のために、いくつかの実施形態は、最長のプレフィックス一致を実現するために、プレフィックスＦＩＢエントリを使用する。

0008

結果として、Ｌ３ルータは、パケットを、宛先Ｌ２ＬＤＰＳに「接続」された論理ポートに転送することになる。パケットをさらにそのＬＤＰＳに転送する前に、Ｌ３ルータは、送信元のＭＡＣアドレスを、そのドメインで定義されるものに変更し、同時に、宛先ＩＰアドレスを宛先ＭＡＣアドレスに解決することになる。解決は、いくつかの実施形態では、Ｌ３データパイプラインの最後の「ＩＰ出力」ステージによって実行される。同じパイプラインは、ＴＴＬを減分し、チェックサムを更新することになる（そして、ＴＴＬがゼロになる場合、ＩＣＭＰで応答する）。

0009

いくつかの実施形態は、ＭＡＣアドレスの書き換えなしでは、異なる転送決定が、次のＬＤＰＳで結果として生じる可能性があるため、処理されたパケットを次のＬＤＰＳに供給する前に、ＭＡＣアドレスを書き換えることに留意すべきである。従来のルータが、ＡＲＰを使用して宛先ＩＰアドレスの解決を実行するとしても、ネクストホップが論理Ｌ２データパスである限り、この解決は、仮想化アプリケーション内部のままであるため、いくつかの実施形態は、Ｌ３論理ルータ内でこの目的のためにＡＲＰを使用しないことにも留意すべきである。

0010

第３に、パケットは、宛先論理Ｌ２ドメインのＬ２テーブルパイプラインを介して処理されることになる。宛先Ｌ２テーブルパイプラインは、論理出口ポートを決定し、論理出口ポートに沿って、パケットを送信すべきである。未知のＭＡＣアドレスの場合、このパイプラインは、何かの分散ルックアップメカニズムに依存することによって、ＭＡＣアドレス位置を解決することになる。いくつかの実施形態では、管理されるスイッチング要素は、ＭＡＣ学習アルゴリズムに依存し、例えば、それらは、未知のパケットをフラッドする。これら又は他の実施形態では、ＭＡＣアドレス位置情報は、他のメカニズム、例えば、アウトオブバンドによって得ることもできる。このようなメカニズムがいくつかの実施形態で利用可能な場合、最後の論理Ｌ２テーブルパイプラインは、ＭＡＣアドレス位置を得るために、このメカニズムを使用する。

0011

第４に、パケットは、論理ポートアタッチメントを表す物理ポートに取り付けられた論理ポートに送信される。このステージでは、ポートがポイントツーポイント媒体（例えば、仮想ネットワークインタフェース、ＶＩＦ）である場合、やり残したものは何もなく、パケットをポートに送信する。しかしながら、最後のＬＤＰＳがＬ３ルータであり、したがって、アタッチメントが物理Ｌ３サブネットである場合、アタッチメントポイントは、いくつかの実施形態では、パケットを送信する前に、ＡＲＰを使用して宛先ＩＰアドレスを解決する。その場合には、送信元ＭＡＣアドレスは、出口の指定であり、ＶＩＦの場合の論理ＭＡＣインタフェースアドレスではない。他の実施形態では、ＡＲＰを使用して宛先ＩＰアドレスを解決することは、第２のステップ中に、Ｌ３論理ルータによって実行される。

0012

上記の例では、論理Ｌ２データパスと相互接続する単一の論理ルータのみが存在するが、トポロジを制限するものは何もない。当業者は、より多くのＬＤＰセットが、よりリッチなトポロジのために相互接続されてよいことを認識するであろう。

0013

いくつかの実施形態では、制御アプリケーションは、Ｌ３特有の論理状態が、論理Ｌ３パイプラインを指定する１つ又は複数のテーブルに関して定義されることを可能にする。ＬＤＰＳパイプラインを管理する対応する論理制御プレーンは、静的なルート構成、又は、標準的なルーティングプロトコル上の他のＬＤＰＳセットを有するピアに依存することができる。

0014

いくつかの実施形態では、仮想化アプリケーションは、上述した４ステップのＬ２／Ｌ３パケット処理の物理制御プレーンデータへの物理的実現を定義し、物理制御プレーンデータは、管理されるスイッチング要素によって物理転送データに変換されると、一連の論理パイプライン実行を実施し、一連のパイプライン実行は、すべて又は主として、最初のホップの管理されるエッジスイッチング要素で実行される。物理トラフィックの局所性を維持するために、最初のホップは、一連のパイプラインを（必要なすべての状態で）実行し、物理ネットワークの最終的な出口位置に向けてトラフィックを直接送信する。ショートカットトンネルが使用される場合、仮想化アプリケーションは、ショートカットトンネルメッシュを、単一のＬＤＰＳを超えて、すべての相互接続されたＬＤＰセットのポートの結合に拡張することによって、論理Ｌ２データパスを論理Ｌ３データパスと相互接続する。最初のホップですべてが実行される場合、最初のホップ要素は、典型的には、パケットが横断する論理ネットワークのすべての状態にアクセスを有する。

0015

前述の概要は、本発明のいくつかの実施形態への簡単な導入として役立つことを意図している。それは、本文献で開示されたすべての発明の主題の導入又は概観であることを意味しない。以下の詳細な説明、及び、詳細な説明で参照される図面は、概要に記載された実施形態、並びに、他の実施形態をさらに説明することになる。したがって、本文献によって説明されるすべての実施形態を理解するために、概要、詳細な説明、及び図面の完全な検討が必要とされる。さらに、特許請求された主題は、主題の要旨から逸脱することなく、他の特定の形態で具体化されてよいため、特許請求された主題は、概要、詳細な説明、及び図面の例示的な詳細によって限定されるべきではなく、添付の特許請求の範囲によって定義されるべきである。

0016

本発明の新規な特徴は、添付の特許請求の範囲に記載される。しかしながら、説明の目的のため、本発明のいくつかの実施形態は、以下の図面に記載される。

0017

いくつかの実施形態のネットワークアーキテクチャを概念的に示す図である。
論理スイッチ及び論理ルータを介してネットワークデータを処理するいくつかの実施形態の処理パイプラインを概念的に示す図である。
論理ルータが単一のＬ３ルータで実装されるネットワークアーキテクチャを概念的に示す図である。
論理ルータが管理されるスイッチング要素で実装されるネットワークアーキテクチャを概念的に示す図である。
いくつかの管理されるスイッチング要素の各々がＬ３でパケットをルーティングするように、ルータが分散的に実装されるネットワークアーキテクチャを概念的に示す図である。
図２を参照して上述した論理処理パイプラインの例示的な実装を概念的に示す図である。
論理スイッチ、論理ルータ、及び論理スイッチを介してパケットを処理するいくつかの実施形態の論理処理パイプラインを概念的に示す図である。
論理ルータ及び論理スイッチを実装するいくつかの実施形態の例示的なネットワークアーキテクチャを概念的に示す図である。
論理ルータ及び論理スイッチを実装するいくつかの実施形態の例示的なネットワークアーキテクチャを概念的に示す図である。
論理ルータ及び論理スイッチを実装するいくつかの実施形態の例示的なネットワークアーキテクチャを概念的に示す図である。
管理されるスイッチング要素及びＬ３を含むいくつかの実施形態のホストの例示的なアーキテクチャを概念的に示す図である。
管理されるスイッチング要素内の論理スイッチ及び論理ルータ、並びにＬ３ルータの例示的な実装を概念的に示す図である。
図１２を参照して上述した管理されるスイッチング要素内に実装されている論理スイッチ、論理ルータ、及びＬ３ルータの例示的な動作を概念的に示す図である。
図１２を参照して上述した管理されるスイッチング要素内に実装されている論理スイッチ、論理ルータ、及びＬ３ルータの例示的な動作を概念的に示す図である。
図１２を参照して上述した管理されるスイッチング要素内に実装されている論理スイッチ、論理ルータ、及びＬ３ルータの例示的な動作を概念的に示す図である。
いくつかの実施形態が、どの管理されるスイッチング要素にパケットを送信するかを決定するために、パケットを転送するために実行するプロセスを概念的に示す図である。
図８を参照して上述したホストを概念的に示す図である。
第１及び第２のＬ３ルータが同じホスト内に実装されている場合、いくつかの実施形態が、第１のＬ３ルータから第２のＬ３ルータにパケットを直接転送するために使用するプロセスを概念的に示す図である。
図２を参照して上述した論理処理パイプラインの例示的な実装を概念的に示す図である。
論理スイッチ、論理ルータ、及び別の論理スイッチを介してパケットを処理するいくつかの実施形態の論理処理パイプラインを概念的に示す図である。
論理ルータ及び論理スイッチを実装するいくつかの実施形態の例示的なネットワークアーキテクチャを概念的に示す図である。
論理ルータ及び論理スイッチを実装するいくつかの実施形態の例示的なネットワークアーキテクチャを概念的に示す図である。
論理ルータ及び論理スイッチを実装するいくつかの実施形態の例示的なネットワークアーキテクチャを概念的に示す図である。
論理ルータをフローエントリに基づいて実装する管理されるスイッチング要素を含むいくつかの実施形態のホストの例示的なアーキテクチャを概念的に示す図である。
管理されるスイッチング要素内の論理スイッチ及び論理ルータの例示的な実装を概念的に示す図である。
図２３を参照して上述した論理スイッチ、論理ルータ、及び管理されるスイッチング要素の例示的な動作を概念的に示す図である。
図２を参照して上述した論理処理パイプラインの例示的な実装を概念的に示す図である。
論理スイッチ、論理ルータ、及び別の論理スイッチを介してパケットを処理するいくつかの実施形態の論理処理パイプラインを概念的に示す図である。
論理ルータ及び論理スイッチを実装するいくつかの実施形態の例示的なネットワークアーキテクチャを概念的に示す図である。
論理ルータ及び論理スイッチを実装するいくつかの実施形態の例示的なネットワークアーキテクチャを概念的に示す図である。
転送及びルーティングするために、受信されたパケットへのＬ２及びＬ３のすべての処理を実行する最初のホップのスイッチング要素の一例を概念的に示す図である。
図２９を参照して上述した論理スイッチ、論理ルータ、及び管理されるスイッチング要素の例示的な動作を概念的に示す図である。
図２９を参照して上述した論理スイッチ、論理ルータ、及び管理されるスイッチング要素の例示的な動作を概念的に示す図である。
管理されるスイッチング要素が動作するホストの例示的なソフトウェアアーキテクチャを概念的に示す図である。
いくつかの実施形態がネットワークアドレスを変換するために実行するプロセスを概念的に示す図である。
いくつかの実施形態の最初のホップのスイッチング要素が、ＮＡＴ動作を含む論理処理パイプライン全体を実行することを概念的に示す図である。
帰ってくるパケットを管理されるスイッチング要素に送信する場合、管理されるスイッチング要素は、論理処理パイプラインを実行しない例を概念的に示す図である。
アドレスがＮＡＴされる宛先マシンにパケットを送信するためにいくつかの実施形態が実行するプロセスを概念的に示す図である。
第１のホストから第２のホストへのＶＭ移行として、第１のホストから第２のホストへＮＡＴ状態を移行する一例を示す図である。
第１のホストから第２のホストへのＶＭ移行として、第１のホストから第２のホストへＮＡＴ状態を移行する別の例を示す図である。
負荷分散を実行する論理スイッチ及び論理ルータの例示的な物理的実装を示す図である。
負荷分散を実行する論理スイッチ及び論理ルータの別の例示的な物理的実装を示す図である。
負荷分散を実行する論理スイッチ及び論理ルータのさらに別の例示的な物理的実装を示す図である。
サービス（例えば、ウェブサービス）を集合的に提供するマシン間で負荷を分散する負荷分散デーモンを概念的に示す図である。
異なるユーザのための異なる論理ネットワークにＤＨＣＰサービスを提供するＤＨＣＰデーモンを示す図である。
中央のＤＨＣＰデーモン、及び、いくつかのローカルのＤＨＣＰデーモンを示す図である。
最後のホップのスイッチング要素でいくつかの論理処理を実行する一例を概念的に示す図である。
図４４を参照して上述した論理スイッチ、論理ルータ、及び管理されるスイッチング要素の例示的な動作を概念的に示す図である。
図４４を参照して上述した論理スイッチ、論理ルータ、及び管理されるスイッチング要素の例示的な動作を概念的に示す図である。
最後のホップのスイッチング要素でいくつかの論理処理を実行する一例を概念的に示す図である。
図４６を参照して上述した論理スイッチ、論理ルータ、及び管理されるスイッチング要素の例示的な動作を概念的に示す図である。
図４６を参照して上述した論理スイッチ、論理ルータ、及び管理されるスイッチング要素の例示的な動作を概念的に示す図である。
管理されるスイッチング要素が動作するホストの例示的なソフトウェアアーキテクチャを概念的に示す図である。
いくつかの実施形態がネットワークアドレスを解決するために実行するプロセスを概念的に示す図である。
それぞれがＬ３デーモンを実行するいくつかのホスト（又はＶＭ）が、ＡＲＰ要求のブロードキャスティングを回避することを可能にするマップサーバを示す図である。
いくつかの実施形態が、ＩＰ及びＭＡＣアドレスのマッピングを含むマッピングテーブルを維持するために実行するプロセスを示す図である。
いくつかの実施形態が、ＩＰ及びＭＡＣアドレスのマッピングを含むマッピングテーブルを維持するために実行するプロセスを示す図である。
いくつかの実施形態のコントローラインスタンスが、ｎＬｏｇのようなテーブルマッピングプロセッサ（図示せず）を使用してテーブル上のテーブルマッピング動作を実行することによって、フローを生成することを概念的に示す図である。
例示的なアーキテクチャ及びユーザインタフェースを示す図である。
図５４を参照して上述したステージの前のテーブルを示す図である。
ユーザが、論理ポートを論理ルータに加えるために、論理ポートの識別子、ポートに関連付けるＩＰアドレス、及び、ネットマスクを供給した後のテーブルを示す図である。
テーブルマッピング動作のセットの結果を示す図である。
テーブルマッピング動作のセットの結果を示す図である。
図５４を参照して上述したステージの後のテーブルを示す図である。
テーブルマッピング動作のセットの結果を示す図である。
テーブルマッピング動作のセットの結果を示す図である。
図６１を参照して上述したステージの後のテーブルのいくつかに追加された新しい行を示す図である。
図５５〜６２を参照して上述したテーブルマッピング動作を実行することによって、制御アプリケーションが論理データを生成した後のアーキテクチャを示す図である。
本発明のいくつかの実施形態が実装されるのに用いられる電子システムを概念的に示す図である。

0018

本発明のいくつかの実施形態は、論理データパス（ＬＤＰ）セット（例えば、論理ネットワーク）が、物理ネットワークのスイッチング要素によって実装されることを可能にするネットワーク制御システムを提供する。ＬＤＰセットを実装するために、いくつかの実施形態のネットワーク制御システムは、論理転送プレーンデータから物理制御プレーンデータを生成する。物理制御プレーンデータは、次に、管理されるスイッチング要素にプッシュされ、そこで、典型的には、物理転送プレーンデータに変換され、物理転送プレーンデータは、管理されるスイッチング要素がそれらの転送決定を実行することを可能にする。物理転送データに基づいて、管理されるスイッチング要素は、物理制御プレーンデータ内で指定される論理処理ルールにしたがって、データパケットを処理することができる。

0019

単一の論理データパスセットは、物理エンドポイント又は仮想エンドポイントのいずれかに取り付けることができるいくつかの論理ポートを相互接続するために、スイッチングファブリックを提供する。いくつかの実施形態では、このようなＬＤＰセット及び論理ポートの作成及び使用は、仮想ローカルエリアネットワーク（ＶＬＡＮ）に対応する論理サービスモデルを提供する。このモデルは、いくつかの実施形態では、ネットワーク制御システムの動作を、論理Ｌ２スイッチング機能のみの定義に制限する。しかしながら、他の実施形態は、ネットワーク制御システムの動作を、論理Ｌ２スイッチング機能及び論理Ｌ３スイッチング機能の両方に拡張する。

0020

いくつかの実施形態のネットワーク制御システムは、以下の論理Ｌ３スイッチング機能をサポートする。
・論理ルーティング。パケットのためのＬ２スイッチングだけを実行する代わりに、いくつかの実施形態のネットワーク制御システムは、また、Ｌ２ブロードキャストドメイン（ＩＰサブネット）を横切る場合、インターネットプロトコル（ＩＰ）アドレスに基づいてパケットを転送するように、管理されるスイッチング要素に命令するために、物理制御プレーンデータを定義する。このような論理Ｌ３ルーティングは、Ｌ２ネットワークのスケーラビリティの問題を解決する。
・ゲートウェイ仮想化。純粋なＬ２インタフェースを使用することによって外部ネットワークとインタフェースする代わりに、いくつかの実施形態のネットワーク制御システムは、外部ネットワークと相互作用するために、ＩＰインタフェースを使用することができる。いくつかの実施形態では、ネットワーク制御システムは、外部ネットワークに対する複数の物理出口ポイント及び入口ポイントが存在する場合でも、単一の論理ゲートウェイを定義することによって、このようなＩＰインタフェースを定義する。したがって、いくつかの実施形態は、ゲートウェイ仮想化を使用することによって、外部ＩＰネットワークとインタフェースする。
・ネットワークアドレス変換。Ｌ３サブネット全体が、変換された（ＮＡＴされた）ネットワークアドレスであってよい。いくつかの実施形態では、論理ネットワークは、プライベートアドレスを使用し、外部ネットワークのためのＮＡＴされたＩＰアドレスのみを公開する。さらに、いくつかの実施形態では、論理ネットワークのサブネットは、きめ細かいアプリケーションレベルのルーティング決定を実施するために、ＮＡＴを介して相互接続し、又は、宛先ＮＡＴ処理を使用する。
・ステートフルフィルタリング。ＮＡＴ処理と同様に、いくつかの実施形態は、ステートフルアクセス制御リスト（ＡＣＬ）を使用することによって、サブネットを外部ネットワークから分離する。また、いくつかの実施形態は、ＡＣＬを論理サブネット間に配置する。
・負荷分散。いくつかの場合では、サービスを提供するために、論理ネットワークが使用される。これら及び他の場合に関して、ネットワーク制御システムは、アプリケーションクラスタのための仮想ＩＰアドレスを提供する。いくつかの実施形態では、ネットワーク制御システムは、負荷分散動作を指定し、負荷分散動作は、入りアプリケーショントラフィックを論理ＩＰアドレスのセットに対して拡散させることができる。
・ＤＨＣＰ。仮想マシン（ＶＭ）は、論理ネットワーク内で動的ＩＰアドレス割り当てサービスを提供するように設定することができるが、サービスプロバイダは、インフラストラクチャレベルでの動的ホスト構成プロトコル（ＤＨＣＰ）サービスのより効率的な実現を好む可能性がある。したがって、いくつかの実施形態のネットワーク制御システムは、インフラストラクチャレベルでのＤＨＣＰサービスの効率的な実現を提供する。

0021

これらのＬ３機能のそれぞれに関する設計を以下に説明する。実装に関して、機能は、大部分独立しているため、当業者は、これらの機能が、いくつかの実施形態のネットワーク制御システムによってすべて提供される必要はないことを理解するであろう。さらに機能を説明する前に、いくつかの仮定が言及されるべきである。これらの仮定は、以下の様なものである。
・大規模ネットワーク。複数のＬ２ネットワークにまたがる論理Ｌ３ネットワークは、論理Ｌ２ネットワークより大きくなる。いくつかの実施形態は、マップリデュース分散処理技術を使用することによって、１０Ｋサーバと同じくらい大きいサーバクラスタに関する論理Ｌ３の問題を解決する。
・物理トラフィック非局所性。データセンタ内の論理サブネットは、データセンタ内でかなりのトラフィックを交換する可能性がある。いくつかの実施形態は、トラフィックの局所性を、これが可能な程度に維持する。上述したマップリデュース例では、トラフィックは、エンドポイントに関して局所性を持たない。
・論理トラフィック局所性。論理サブネット間で交換されるトラフィックになると、局所性は実際に存在する。すなわち、すべての論理ネットワークが、上述したマップリデュースクラスタに関するクライアントを持つわけではない。
・機能の配置。参照により本明細書に組み込まれる米国特許出願第１３／１７７，５３５号に記載のように、管理されるスイッチング要素は、いくつかの実施形態では、（１）物理ネットワークのエッジスイッチング要素（すなわち、物理ネットワークによって接続された仮想又は物理コンピューティングデバイスとの直接接続を有するスイッチング要素）、並びに、（２）制御されるエッジスイッチング要素の動作を単純に及び／又は容易にするために、管理されるスイッチング要素階層内に挿入される非エッジスイッチング要素である。米国特許出願第１３／１７７，５３５号にさらに記載のように、エッジスイッチング要素は、いくつかの実施形態では、（１）ネットワークによって接続された仮想又は物理コンピューティングデバイスとの直接接続を有するスイッチング要素、並びに、（２）ネットワークの第１の管理される部分を、ネットワークの第２の管理される部分（例えば、第１の管理される部分と異なる物理的位置内の部分）、又は、ネットワークの管理されない部分（例えば、企業の内部ネットワーク）に接続するインテグレーション要素（エクステンダと呼ばれる）である。いくつかの実施形態は、論理Ｌ３ルーティングを、理想的には、第１の管理されるエッジスイッチング要素で、すなわち、最初のホップエッジスイッチング要素で実行し、第１の管理されるエッジスイッチング要素は、物理ネットワークによって相互接続される仮想マシンもホストするハイパーバイザ内で実装されてよい。いくつかの実施形態のネットワーク制御システムは、このとき、非エッジスイッチング要素（内部ネットワーク）を、デバイスを相互接続するファブリックに過ぎないものとして考えることができるため、理想的には、最初のホップスイッチング要素は、Ｌ３ルーティングのすべて又は大部分を実行する。

0022

以下に記載の実施形態のいくつかは、１つ又は複数の共有転送要素を管理するための１つ又は複数のコントローラ（以下、コントローラインスタンスとも呼ばれる）によって形成される新規の分散ネットワーク制御システムで実施される。いくつかの実施形態での共有転送要素は、仮想若しくは物理ネットワークスイッチ、ソフトウェアスイッチ（例えば、Ｏｐｅｎ ｖＳｗｉｔｃｈ）、ルータ、及び／又は、他のスイッチングデバイス、並びに、これらのスイッチ、ルータ、及び／又は他のスイッチングデバイス間の接続を確立する任意の他のネットワーク要素（負荷分散装置、などのような）を含むことができる。このような転送要素（例えば、物理スイッチ又はルータ）は、以下、スイッチング要素とも呼ばれる。既製のスイッチとは対照的に、ソフトウェア転送要素は、いくつかの実施形態では、そのスイッチングテーブル（複数可）及び論理を独立デバイス（例えば、独立コンピュータ）のメモリに格納することによって形成されるスイッチであり、他の実施形態では、そのスイッチングテーブル（複数可）及び論理を、ハイパーバイザ、及び、そのハイパーバイザ上の１つ又は複数の仮想マシンも実行するデバイス（例えば、コンピュータ）のメモリに格納することによって形成されるスイッチである。

0023

いくつかの実施形態では、コントローラインスタンスは、システムが、ユーザからの論理データパスセットを受け入れ、これらの論理データパスセットを実装するためにスイッチング要素を構成することを可能にする。いくつかの実施形態では、コントローラインスタンスの１つのタイプは、１つ又は複数のモジュールを実行するデバイス（例えば、汎用コンピュータ）であり、１つ又は複数のモジュールは、論理制御プレーンからのユーザ入力を、論理転送プレーンに変換し、次に、論理転送プレーンデータを、物理制御プレーンデータに変換する。いくつかの実施形態でのこれらのモジュールは、制御モジュール及び仮想化モジュールを含む。制御モジュールは、ユーザが、論理データパスセットを指定し、ポピュレートすることを可能にし、仮想化モジュールは、論理データパスセットを物理スイッチングインフラストラクチャ上にマッピングすることによって、指定された論理データパスセットを実装する。いくつかの実施形態では、制御アプリケーション及び仮想化アプリケーションは、２つの別個のアプリケーションであり、他の実施形態では、それらは、同じアプリケーションの一部である。

0024

特定の論理データパスセットのための論理転送プレーンデータから、いくつかの実施形態の仮想化モジュールは、ユニバーサル物理制御プレーン（ＵＰＣＰ）データを生成し、ＵＰＣＰデータは、論理データパスセットを実装する任意の管理されるスイッチング要素の一般的なものである。いくつかの実施形態では、この仮想化モジュールは、特定の論理データパスセットのためのマスタコントローラであるコントローラインスタンスの一部である。このコントローラは、論理コントローラと呼ばれる。

0025

いくつかの実施形態では、ＵＰＣＰデータは、次に、特定の管理されるスイッチング要素のためのマスタ物理コントローラインスタンスであるコントローラインスタンスによって、又は、「Ｃｈａｓｓｉｓ Ｃｏｎｔｒｏｌｌｅｒ」という表題の、代理人整理番号ＮＣＲＡ．Ｐ００８１を有する同時出願の米国特許出願＊＊にさらに記載されるような、特定の管理されるスイッチング要素のためのシャーシコントローラによって、各々の特定の管理されるスイッチング要素のためのカスタマイズされた物理制御プレーン（ＣＰＣＰ）データに変換され、この同時出願の米国特許出願は、参照により本明細書に組み込まれる。シャーシコントローラがＣＰＣＰデータを生成する場合、シャーシコントローラは、物理コントローラを介して、論理コントローラの仮想化モジュールからＵＰＣＰデータを取得する。

0026

物理コントローラ又はシャーシコントローラのいずれがＣＰＣＰデータを生成するのかにかかわらず、特定の管理されるスイッチング要素のためのＣＰＣＰデータは、管理されるスイッチング要素に伝播される必要がある。いくつかの実施形態では、ＣＰＣＰデータは、ネットワーク情報ベース（ＮＩＢ）データ構造を介して伝播され、ＮＩＢデータ構造は、いくつかの実施形態では、オブジェクト指向データ構造である。ＮＩＢデータ構造を使用することのいくつかの例は、参照により本明細書に組み込まれる米国特許出願第１３／１７７，５２９号及び第１３／１７７，５３３号に記載されている。これらの出願に記載のように、ＮＩＢデータ構造は、また、異なるコントローラインスタンス間の通信媒体として働くことができるように、そして、論理データパスセット（例えば、論理スイッチング要素）、及び／又は、これらの論理データパスセットを実装する管理されるスイッチング要素に関するデータを格納するように、いくつかの実施形態で使用される。

0027

しかしながら、他の実施形態は、ＣＰＣＰデータを物理コントローラ又はシャーシコントローラから管理されるスイッチング要素に伝播させるために、コントローラインスタンス間で通信するために、並びに、論理データパスセット及び／又は管理されるスイッチング要素に関するデータを格納するために、ＮＩＢデータ構造を使用しない。例えば、いくつかの実施形態では、物理コントローラ及び／又はシャーシコントローラは、ＯｐｅｎＦｌｏｗエントリを介して、管理されるスイッチング要素と通信し、構成プロトコルを介して更新する。また、いくつかの実施形態では、コントローラインスタンスは、データを交換するために、１つ又は複数の直接通信チャネル（例えば、ＲＰＣコール）を使用する。加えて、いくつかの実施形態では、コントローラインスタンス（例えば、これらのインスタンスの制御モジュール及び仮想化モジュール）は、リレーショナルデータベースデータ構造に書き込まれる記録に関して論理及び／又は物理データを表現する。いくつかの実施形態では、このリレーショナルデータベースデータ構造は、テーブルマッピングエンジン（ｎＬｏｇと呼ばれる）の入力及び出力テーブルの一部であり、テーブルマッピングエンジンは、コントローラインスタンスの１つ又は複数のモジュールを実装するために使用される。

0028

Ｉ．論理ルーティング
いくつかの場合のいくつかの実施形態は、論理ルーティングを、Ｌ３ドメイン内で動作するＬＤＰＳを実装する論理ルータによってＬ２ドメイン内で動作する２つ以上のＬＤＰセットを相互接続する行為としてモデル化する。論理Ｌ２ドメインから別のものに横断するパケットは、いくつかの実施形態では、以下の４つのステップをとることになる。これらの４つのステップは、ネットワーク制御システムが実現する論理処理動作に関して以下に説明される。しかしながら、これらの動作は、ネットワーク制御システムによって生成される物理制御プレーンデータに基づいて、ネットワークの管理されるスイッチング要素によって実行されることを理解すべきである。

0029

第１に、パケットは、送信元の論理Ｌ２ドメインのＬ２テーブルパイプラインを介して処理されることになる。パイプラインは、論理ルータの論理ポートに取り付けられた論理ポートに転送されている宛先媒体アクセス制御（ＭＡＣ）アドレスで終わることになる。

0030

第２に、パケットは、再び、それを論理ルータのＬ３テーブルパイプラインを介して送信することによって、この論理ルータのＬ３データパスを介して処理されることになる。論理ルータは、ルーティングを必要とするパケットを受信するだけであるため、物理ルータ内の一般的なＬ２ルックアップステージは、いくつかの実施形態では、ルータのＬ３データパス内でスキップされる。

0031

いくつかの実施形態では、Ｌ３転送決定は、論理ルータの論理制御プレーンによって供給されるプレフィックス（転送情報ベース（ＦＩＢ））エントリを使用することになる。いくつかの実施形態では、論理制御プレーンデータを受信し、このデータを、次にネットワーク制御システムに供給される論理転送プレーンデータに変換するために、制御アプリケーションが使用される。Ｌ３転送決定のために、いくつかの実施形態は、最長のプレフィックス一致を実現するために、プレフィックスＦＩＢエントリを使用する。

0032

結果として、Ｌ３ルータは、パケットを、宛先Ｌ２ＬＤＰＳに「接続」された論理ポートに転送することになる。パケットをさらにそのＬＤＰＳに転送する前に、Ｌ３ルータは、送信元のＭＡＣアドレスを、そのドメインで定義されるものに変更し、同時に、宛先ＩＰアドレスを宛先ＭＡＣアドレスに解決することになる。解決は、いくつかの実施形態では、Ｌ３データパイプラインの最後の「ＩＰ出力」ステージによって実行される。同じパイプラインは、ＴＴＬを減分し、チェックサムを更新することになる（そして、ＴＴＬがゼロになる場合、ＩＣＭＰで応答する）。

0033

いくつかの実施形態は、ＭＡＣアドレスの書き換えなしでは、次のＬＤＰＳで結果として異なる転送決定が生じる可能性があるため、処理されたパケットを次のＬＤＰＳに供給する前に、ＭＡＣアドレスを書き換えることに留意すべきである。従来のルータが、ＡＲＰを使用して宛先ＩＰアドレスの解決を実行するとしても、ネクストホップが論理Ｌ２データパスである限り、この解決は、仮想化アプリケーション内部のままであるため、いくつかの実施形態は、Ｌ３論理ルータ内でこの目的のためにＡＲＰを使用しないことにも留意すべきである。

0034

第３に、パケットは、宛先論理Ｌ２ドメインのＬ２テーブルパイプラインを介して処理されることになる。宛先Ｌ２テーブルパイプラインは、論理出口ポートを決定し、論理出口ポートに沿って、パケットを送信すべきである。未知のＭＡＣアドレスの場合、このパイプラインは、何かの分散ルックアップメカニズムに依存することによって、ＭＡＣアドレス位置を解決することになる。いくつかの実施形態では、管理されるスイッチング要素は、ＭＡＣ学習アルゴリズムに依存し、例えば、それらは、未知のパケットをフラッドする。これら又は他の実施形態では、ＭＡＣアドレス位置情報は、他のメカニズム、例えば、アウトオブバンドによって得ることもできる。このようなメカニズムがいくつかの実施形態で利用可能な場合、最後の論理Ｌ２テーブルパイプラインは、ＭＡＣアドレス位置を得るために、このメカニズムを使用する。

0035

第４に、パケットは、論理ポートアタッチメントを表す物理ポートに取り付けられた論理ポートに送信される。このステージでは、ポートがポイントツーポイント媒体（例えば、仮想ネットワークインタフェース、ＶＩＦ）である場合、やり残したものは何もなく、パケットをポートに送信する。しかしながら、最後のＬＤＰＳがＬ３ルータであり、したがって、アタッチメントが物理Ｌ３サブネットである場合、アタッチメントポイントは、いくつかの実施形態では、パケットを送出する前に、ＡＲＰを使用して宛先ＩＰアドレスを解決する。その場合には、送信元ＭＡＣアドレスは、出口の指定であり、ＶＩＦの場合の論理ＭＡＣインタフェースアドレスではない。他の実施形態では、ＡＲＰを使用して宛先ＩＰアドレスを解決することは、第２のステップ中に、Ｌ３論理ルータによって実行される。

0036

上記の例では、論理Ｌ２データパスと相互接続する単一の論理ルータのみが存在するが、トポロジを制限するものは何もない。当業者は、より多くのＬＤＰセットが、よりリッチなトポロジのために相互接続されてよいことを認識するであろう。

0037

いくつかの実施形態では、制御アプリケーションは、Ｌ３特有の論理状態が、論理Ｌ３パイプラインを指定する１つ又は複数のテーブルに関して定義されることを可能にする。ＬＤＰＳパイプラインを管理する対応する論理制御プレーンは、静的なルート構成、又は、標準的なルーティングプロトコル上の他のＬＤＰＳセットを有するピアに依存することができる。

0038

いくつかの実施形態では、仮想化アプリケーションは、上述した４ステップのＬ２／Ｌ３パケット処理の物理制御プレーンデータへの物理的実現を定義し、物理制御プレーンデータは、管理されるスイッチング要素によって物理転送データに変換されると、一連の論理パイプライン実行を実施し、一連のパイプライン実行は、すべて又は主として、最初のホップの管理されるエッジスイッチング要素で実行される。物理トラフィックの局所性を維持するために、最初のホップは、一連のパイプラインを（必要なすべての状態で）実行し、物理ネットワークの最終的な出口位置に向けてトラフィックを直接送信する。ショートカットトンネルが使用される場合、仮想化アプリケーションは、ショートカットトンネルメッシュを、単一のＬＤＰＳを超えて、すべての相互接続されたＬＤＰセットのポートの結合に拡張することによって、論理Ｌ２データパスを、論理Ｌ３データパスと相互接続する。

0039

最初のホップですべてが実行されると、最初のホップ要素は、典型的には、パケットが横断する論理ネットワークのすべての状態にアクセスを有する。最初のホップのスイッチング要素での論理パイプラインの実行に関する状態の配布（及び、そのスケーリングの意味）を、以下にさらに説明する。

0040

図１は、いくつかの実施形態のネットワークアーキテクチャ１００を概念的に示す。具体的には、この図は、論理ルータ１０５が、２つのＬＤＰセット（例えば、論理ネットワーク）１５０及び１５５間でパケットをルーティングすることを示す。図示のように、ネットワークアーキテクチャ１００は、論理ルータ１０５、論理スイッチ１１０及び１１５、並びに、マシン１２０〜１４５を含む。

0041

論理スイッチ１１０は、米国特許出願第１３／１７７，５３５号に記載の論理スイッチ（又は、論理スイッチング要素）である。論理スイッチ１１０は、いくつかの管理されるスイッチング要素（図示せず）にわたって実装される。論理スイッチ１１０は、Ｌ２（レイヤ２）でマシン１２０〜１３０間のネットワークトラフィックをルーティングする。すなわち、論理スイッチ１１０は、論理スイッチ１１０が有する１つ又は複数の転送テーブル（図示せず）に基づいて、マシン１２０〜１３０間で、データリンク層でネットワークデータをルーティングするために、スイッチング決定を行う。論理スイッチ１１０は、いくつかの他の論理スイッチ（図示せず）と共に、論理ネットワーク１５０に関するネットワークトラフィックをルーティングする。論理スイッチ１１５は、別の論理スイッチである。論理スイッチ１１５は、論理ネットワーク１５５に関するマシン１３５〜１４５間のトラフィックをルーティングする。

0042

いくつかの実施形態での論理ルータは、異なる論理ネットワーク間で、Ｌ３（レイヤ３−ネットワークレイヤ）でトラフィックをルーティングする。具体的には、論理ルータは、ルーティングテーブルのセットに基づいて、２つ以上の論理スイッチ間でネットワークトラフィックをルーティングする。いくつかの実施形態では、論理ルータは、単一の管理されるスイッチング要素内で実装され、他の実施形態では、論理ルータは、いくつかの異なる管理されるスイッチング要素内で分散的に実装される。これらの異なる実施形態の論理ルータを、以下にさらに詳細に説明する。論理ルータ１０５は、論理ネットワーク１５０及び１５５間で、Ｌ３でネットワークトラフィックをルーティングする。具体的には、論理ルータ１０５は、２つの論理スイッチ１１０及び１１５間でネットワークトラフィックをルーティングする。

0043

マシン１２０〜１４５は、データパケットを交換することができるマシンである。例えば、各マシン１２０〜１４５は、マシン１２０〜１４５上で実行するアプリケーションが、論理スイッチ１１０及び１１５並びに論理ルータ１０５を介してそれらの間でデータを交換することができるように、ネットワークインタフェースコントローラ（ＮＩＣ）を有する。

0044

論理ネットワーク１５０及び１５５は、各ネットワーク内のマシンが、異なるＬ３アドレスを使用するという点で異なる。例えば、論理ネットワーク１５０及び１５５は、企業の２つの異なる部署のための異なるＩＰサブネットである。

0045

動作中、論理スイッチ１１０及び１５５並びに論理ルータ１０５は、スイッチ及びルータのように機能する。例えば、論理スイッチ１１０は、マシン１２０〜１３０の１つから送信され、マシン１２０〜１３０の別のものに向かうデータパケットをルーティングする。論理ネットワーク１５０内の論理スイッチ１１０は、論理ネットワーク１１５内のマシン１３５〜１４５の１つ行きのデータパケットを受信し、論理スイッチ１１０は、パケットを論理ルータ１０５に送信する。論理ルータ１０５は、次に、パケットのヘッダに含まれる情報に基づいて、パケットを論理スイッチ１１５にルーティングする。論理スイッチ１１５は、次に、パケットをマシン１３５〜１４５の１つにルーティングする。マシン１３５〜１４５の１つから送信されたデータパケットは、同様に、論理スイッチ１１０及び１１５並びに論理ルータ１０５によってルーティングされる。

0046

図１は、２つの論理ネットワーク１５０及び１５５間でデータをルーティングする単一の論理ルータを示す。当業者は、２つの論理ネットワーク間でパケットをルーティングすることに関与する複数の論理ルータが存在してよいことを認識するであろう。

0047

図２は、論理スイッチ及び論理ルータを介してネットワークデータを処理するいくつかの実施形態の処理パイプライン２００を概念的に示す。具体的には、処理パイプライン２００は、論理スイッチ２２０、論理ルータ２２５、及び、次に論理スイッチ２３０をそれぞれ介してデータパケットを処理する３つのステージ２０５〜２１５を含む。この図は、図の上半分に論理ルータ２２５並びに論理スイッチ２２０及び２３０を示し、図の下半分に処理パイプライン２００を示す。

0048

論理ルータ２２５は、論理ルータ２２５が、論理スイッチ２２０及び２２０間でデータパケットをルーティングするという点で、図１を参照して上述した論理ルータ１０５と同様である。論理スイッチ２２０及び２３０は、論理スイッチ１１０及び１１５と同様である。論理スイッチ２２０及び２３０は、それぞれ、論理ネットワークに関してＬ２でトラフィックを転送する。

0049

論理スイッチ２２０がパケットを受信すると、論理スイッチ２２０は、パケットを一方の論理ネットワークで転送するために、論理処理パイプライン２００のステージ２０５（Ｌ２処理）を実行する。パケットが別の論理ネットワーク行きである場合、論理スイッチ２２０は、パケットを論理ルータ２２５に転送する。論理ルータ２２５は、次に、Ｌ３でデータをルーティングするために、パケットに論理処理パイプライン２００のステージ２１０（Ｌ３処理）を実行する。論理ルータ２２５は、このパケットを別の論理ルータ（図示せず）に送信し、又は、論理ルータ２２５が論理スイッチ２３０に結合されている場合、論理ルータ２２５は、パケットを論理スイッチ２３０に送信し、論理スイッチ２３０は、パケットをパケットの宛先マシンに直接送信する。パケットをパケットの宛先に直接送信する論理スイッチ２３０は、パケットをパケットの宛先に転送するために、論理処理パイプライン２００のステージ２１５（Ｌ２処理）を実行する。

0050

いくつかの実施形態では、論理スイッチ及び論理ルータは、管理されるスイッチング要素のセット（図示せず）によって実装される。いくつかの実施形態のこれらの管理されるスイッチング要素は、論理処理パイプライン２００のような論理処理パイプラインを実行することによって、論理スイッチ及び論理ルータを実装する。いくつかの実施形態の管理されるスイッチング要素は、管理されるスイッチング要素のフローエントリに基づいて論理処理パイプラインを実行する。管理されるスイッチング要素のフローエントリ（図示せず）は、いくつかの実施形態のネットワーク制御システムによって構成される。論理処理パイプライン２００のより詳細は、以下でさらに説明する。

0051

次の３つの図、図３、４、及び５は、いくつかの実施形態の論理スイッチ及び論理ルータのいくつかの実装を概念的に示す。図３及び４は、集中型Ｌ３ルーティングの２つの異なる実装を示し、図５は、分散型Ｌ３ルーティングを示す。

0052

図３は、ネットワークアーキテクチャ３００を概念的に示す。具体的には、図３は、論理ルータ２２５が、単一のＬ３ルータ３６０（例えば、ハードウェアルータ又はソフトウェアルータ）に実装されることを示す。Ｌ３ルータ３６０は、異なる論理ネットワークに関するパケットをルーティングし、異なる論理ネットワークの各々は、いくつかの異なる管理されるスイッチング要素に実装されるいくつかの論理スイッチを含む。この図は、それぞれ論理的実装及び物理的実装を表す左半分及び右半分に水平方向に分割される。この図は、それぞれレイヤ２及びレイヤ３を表す下半分及び上半分に垂直方向にも分割される。図３は、Ｌ３ルータ３６０、並びに、管理されるスイッチング要素３０５、３１０、３１５、及び３２０を含むネットワークアーキテクチャ３００を示す。この図は、論理スイッチ２２０及び２３０の各々が、３つのＶＭに論理的に結合されることも示す。

0053

Ｌ３ルータ３６０は、論理ルータ２２５を実装する。Ｌ３ルータ３６０は、論理スイッチ２２０及び２３０を含む異なる論理ネットワーク間でパケットをルーティングする。Ｌ３ルータ３６０は、パケットがＬ３でルーティングされるべき方法を指定するＬ３エントリ３３５にしたがってパケットをルーティングする。例えば、いくつかの実施形態のＬ３エントリは、ルーティングテーブル内のエントリ（例えば、ルート）であり、ルーティングテーブルは、ＩＰアドレスの特定の範囲内の宛先ＩＰアドレスを有するパケットが、論理ルータ２２５の特定の論理ポートを介して送出されるべきであることを指定する。いくつかの実施形態では、論理ルータ２２５の論理ポートは、Ｌ３ルータのポートにマッピングされ、論理ルータ２２５は、マッピングに基づいてＬ３エントリを生成する。論理ルータのポートを、論理ルータを実装するＬ３ルータにマッピングすることを、以下でさらに説明する。

0054

いくつかの実施形態の管理されるスイッチング要素３０５〜３２０は、分散的に論理スイッチを実装する。すなわち、これらの実施形態での論理スイッチは、１つ又は複数の管理されるスイッチング要素３０５〜３２０にまたがって実装されてよい。例えば、論理スイッチ２２０は、管理されるスイッチング要素３０５、３１０、及び３１５にまたがって実装されてよく、論理スイッチ２３０は、管理されるスイッチング要素３０５、３１５、及び３２０にまたがって実装されてよい。論理スイッチ２２０及び２３０に論理的に結合される６つのＶＭ３６２〜３７４は、図示のように、管理されるスイッチング要素３１０〜３２０に結合される。

0055

いくつかの実施形態の管理されるスイッチング要素３０５〜３２０は、それぞれ、パケットがＬ２で転送されるべき方法を指定するＬ２フローエントリにしたがってパケットを転送する。例えば、Ｌ２フローエントリは、特定の宛先ＭＡＣアドレスを有するパケットが、論理スイッチの特定の論理ポートを介して送出されるべきであることを指定することができる。管理されるスイッチング要素３０５〜３２０の各々は、Ｌ２フローエントリ３４０のセットを有する（スイッチング要素３０５〜３１５のためのフローエントリ３４０は、単純化のため示されない）。各々の管理されるスイッチング要素のためのＬ２フローエントリは、コントローラクラスタによって、管理されるスイッチング要素内に構成される。管理されるスイッチング要素のためのＬ２フローエントリを構成することによって管理されるスイッチング要素を構成することを、以下でさらに詳細に説明する。

0056

いくつかの実施形態の管理されるスイッチング要素３０５は、第２のレベルの管理されるスイッチング要素である。第２のレベルの管理されるスイッチング要素は、管理されるエッジスイッチング要素とは対照的に、マシンとの間でパケットを直接送受信しない、管理される非エッジスイッチング要素である。第２のレベルの管理されるスイッチング要素は、非エッジの管理されるスイッチング要素と、エッジの管理されるスイッチング要素との間のパケット交換を容易にする。米国特許出願第１３／１７７，５３５号に記載されているプールノード及びエクステンダも、第２のレベルの管理されるスイッチング要素である。いくつかの実施形態の管理されるスイッチング要素３０５は、エクステンダとして機能する。すなわち、管理されるスイッチング要素３０５は、１つ又は複数の他のネットワーク（図示せず）によって分離されるリモートの管理されるネットワーク（図示せず）を、通信可能にブリッジする。

0057

いくつかの実施形態の管理されるスイッチング要素３０５は、Ｌ３ルータ３６０に通信可能に結合される。Ｌ３でルーティングされる必要があるパケットが存在する場合、管理されるスイッチング要素３１０〜３２０は、Ｌ３ルータ３６０がパケットをＬ３でルーティングするように、管理されるスイッチング要素３０５にパケットを送信する。Ｌ３ルータに実装される集中型の論理ルータについてのさらなる詳細は、図６〜１６を参照して以下でさらに説明する。

0058

図４は、ネットワークアーキテクチャ４００を概念的に示す。具体的には、図４は、論理ルータ２２５が、管理されるスイッチング要素４１０に実装されることを示す。Ｌ３ルータ３６０がＬ３でパケットをルーティングするネットワークアーキテクチャ３００と対照的に、管理されるスイッチング要素４１０は、ネットワークアーキテクチャ４００で、Ｌ３でパケットをルーティングする。この図は、それぞれ論理的実装及び物理的実装を表す左半分及び右半分に水平方向に分割される。この図は、それぞれレイヤ２及びレイヤ３を表す下半分及び上半分に垂直方向にも分割される。

0059

ネットワークアーキテクチャ４００は、ネットワークアーキテクチャ４００がＬ３ルータ３６０を含まないことを除いて、ネットワークアーキテクチャ３００と同様である。管理されるスイッチング要素４１０は、論理ルータ２２５を実装する。すなわち、管理されるスイッチング要素４１０は、論理スイッチ２２０及び２３０を含む異なる論理ネットワーク間でパケットをルーティングする。いくつかの実施形態の管理されるスイッチング要素４１０は、パケットがＬ３でルーティングされるべきである方法を指定するＬ３エントリ４０５にしたがってパケットをルーティングする。しかしながら、いくつかの実施形態のＬ３エントリ３３５とは対照的に、Ｌ３エントリ４０５は、ルーティングテーブルに関するエントリではない。そうではなく、Ｌ３エントリ４０５は、フローエントリである。ルーティングテーブル内のエントリは、パケットの次のホップを見つけるための適切なルックアップテーブルであるが、米国特許出願第１３／１７７，５３５号に記載のように、フローエントリは、クォリファイア及びアクションを含む。また、Ｌ３フローエントリは、ルーティングテーブル（図示せず）内のエントリを生成させる方法を指定することができる。

0060

集中型の論理ルータを実装することに加えて、いくつかの実施形態の管理されるスイッチング要素４１０は、いくつかの管理されるスイッチング要素にまたがって実装される１つ又は複数の論理スイッチを実装する。管理されるスイッチング要素４１０は、したがって、それ自体のＬ２フローエントリ３４０のセット（図示せず）を有する。アーキテクチャ４００では、管理されるスイッチング要素４１０及び３１０〜３２０は、一緒に、分散的に論理スイッチ２２０及び２３０を実装する。

0061

いくつかの実施形態の管理されるスイッチング要素４１０は、このように、集中型論理ルータ及び論理スイッチの両方を実装する。他の実施形態では、集中型論理ルータ及び論理スイッチの実装は、２つ以上の管理されるスイッチング要素に分割されてよい。例えば、ある管理されるスイッチング要素（図示せず）は、フローエントリを使用して集中型論理ルータを実装することができ、別の管理されるスイッチング要素（図示せず）は、フローエントリに基づいて分散的に論理スイッチを実装することができる。フローエントリに基づいて管理されるスイッチング要素に実装される集中型論理ルータについてのさらなる詳細は、図１７〜２４を参照して以下でさらに説明する。

0062

図５は、ネットワークアーキテクチャ５００を概念的に示す。具体的には、図５は、論理ルータ２２５が、いくつかの管理されるスイッチング要素の各々がＬ３でパケットをルーティングするように、分散的に実装されることを示す。図５は、ネットワークアーキテクチャ５００が、４つの管理されるスイッチング要素５０５〜５２０を含むことを示す。

0063

管理されるスイッチング要素５０５〜５２０は、いくつかの異なる論理ネットワークに関する論理ルータ及びいくつかの論理スイッチを実装する。いくつかの実施形態の管理されるスイッチング要素５０５〜５２０の各々は、エッジスイッチング要素である。すなわち、管理されるスイッチング要素は、管理されるスイッチング要素に結合される１つ又は複数のマシンを有する。管理されるスイッチング要素に結合されるマシンは、論理スイッチにも論理的に結合される。管理されるスイッチング要素に結合されるマシンは、同じ論理スイッチには論理的に結合されてもされなくてもよい。

0064

管理されるスイッチング要素５０５〜５２０の各々は、少なくとも１つの論理ルータ及び少なくとも１つの論理スイッチで実装され、少なくとも１つの論理ルータ及び少なくとも１つの論理スイッチは、管理されるスイッチング要素に結合されたマシンとの間でパケットをルーティング及び転送することになる。すなわち、管理されるスイッチング要素が、管理されるスイッチング要素に結合されたマシンからパケットを受信すると、管理されるスイッチング要素は、論理転送決定及び論理ルーティング決定の両方を行う。管理されるスイッチング要素５０５〜５２０の各々は、論理フローエントリ５５０内のＬ２エントリ及びＬ３エントリにしたがって、論理転送及びルーティング決定を行う。論理フローエントリ５５０は、Ｌ２フローエントリ５３０のセット及びＬ３フローエントリ５３５のセットを含む。分散型論理ルータについてのさらなる詳細は、図２５〜３０Ｂを参照して以下でさらに説明する。

0065

図６〜１６は、ルータに実装された集中型論理ルータを示す。図６は、図２を参照して上述した論理処理パイプライン２００の例示的な実装を概念的に示す。図６は、ネットワークアーキテクチャ６００を示す。ネットワークアーキテクチャ６００では、論理処理パイプライン２００は、３つの管理されるスイッチング要素６１５、６２０、及び６２５、並びにＬ３ルータ６３５によって実行される。具体的には、Ｌ２処理２０５及びＬ２処理２１５は、管理されるスイッチング要素６１５、６２０、及び６２５にまたがって分散的に実行される。Ｌ３処理２１０は、Ｌ３ルータ６３５によって実行される。図６は、送信元マシン６１０及び宛先マシン６３０も示す。

0066

管理されるスイッチング要素６１５は、エッジスイッチング要素に結合されたマシンからパケットを直接受信するエッジスイッチング要素である。管理されるスイッチング要素６１５は、送信元マシン６１０からパケットを受信する。管理されるスイッチング要素６１５が、送信元マシン６１０からパケットを受信すると、管理されるスイッチング要素６１５は、パケットを論理的に転送するために、パケットにＬ２処理２０５の一部を実行する。

0067

管理されるスイッチング要素６１５と、管理されるスイッチング要素６２０との間に、１つ又は複数の管理されるスイッチング要素（図示せず）が存在してよい。これらの管理されるスイッチング要素は、ネットワーク構成物（例えば、ＰＩＦ、ＶＩＦ、など）を有し、ネットワーク構成物には、論理スイッチ２２０（図６には示さず）の論理構成物（例えば、論理ポート）がマッピングされる。

0068

パケットが、別の論理ネットワーク内にある宛先マシン６３０に向けられると、パケットは、管理されるスイッチング要素６２０に転送される。管理されるスイッチング要素６２０は、次に、Ｌ２処理２０５の残りを実行し、パケットを、集中型論理ルータ（図示せず）を実装するＬ３ルータ６３５に送信する。

0069

図３を参照して上述したＬ３ルータ３６０と同様に、Ｌ３ルータ６３５は、ハードウェアルータ又はソフトウェアルータであり、そのポートは、論理ルータのポートにマッピングされる。Ｌ３ルータ６３５は、パケットを論理的にルーティングするために、パケットにＬ３処理２１０を実行する。すなわち、Ｌ３ルータ６３５は、パケットを、別の論理ルータ（図示せず）又は管理されるスイッチング要素６２０に送信する。

0070

管理されるスイッチング要素６２０は、いくつかの実施形態では、エクステンダとして機能する第２のレベルの管理されるスイッチング要素である。管理されるスイッチング要素６２０は、Ｌ３ルータ６３５からパケットを受信し、論理処理パイプライン２００のＬ２処理２１５の実行を開始する。管理されるスイッチング要素６２０と、管理されるスイッチング要素６２５との間に、１つ又は複数の管理されるスイッチング要素（図示せず）が存在してよい。これらの管理されるスイッチング要素は、ネットワーク構成物を有し、ネットワーク構成物には、論理スイッチ２３０（図６には示さず）の論理構成物がマッピングされる。

0071

この例の管理されるスイッチング要素６２５は、管理されるスイッチング要素６２０からパケットを受信する。管理されるスイッチング要素６２５は、パケットを論理的に転送するために、パケットにＬ２処理２１５の残りを実行する。この例では、管理されるスイッチング要素６２５は、パケットを宛先マシン６３０に直接送信するスイッチング要素でもある。しかしながら、管理されるスイッチング要素６２５と、宛先マシン６３０との間に、１つ又は複数の管理されるスイッチング要素（図示せず）が存在してよい。これらの管理されるスイッチング要素は、ネットワーク構成物を有し、ネットワーク構成物には、論理スイッチ２３０（図６には示さず）の論理構成物がマッピングされる。

0072

Ｌ２処理２０５及びＬ２処理２１５は、この例では分散的に実行されるが、Ｌ２処理２０５及びＬ２処理２１５は、分散的に実行される必要はない。例えば、管理されるスイッチング要素６１５は、Ｌ２処理２０５全体を実行することができ、管理されるスイッチング要素６２５は、Ｌ２処理２１５全体を実行することができる。このような場合、管理されるスイッチング要素６２０は、ちょうど、Ｌ３ルータと管理されるスイッチング要素６１５及び６２５との間でパケットを中継することになる。

0073

図７は、論理スイッチ２２０、論理ルータ２２５、及び論理スイッチ２３０を介してパケットを処理するいくつかの実施形態の論理処理パイプライン２００を概念的に示す。具体的には、この図は、図６を参照して上述したネットワークアーキテクチャ６００で実行される場合の論理処理パイプライン２００を示す。上述したように、ネットワークアーキテクチャ６００では、Ｌ２処理２０５、Ｌ３処理２１０、及びＬ２処理２１５は、管理されるスイッチング要素６１５、６２０、及び６２５、並びにＬ３ルータ６３５によって実行される。

0074

Ｌ２処理２０５は、いくつかの実施形態では、管理されるスイッチング要素６１５及び６２０にまたがって実装される論理ネットワーク（図示せず）内の論理スイッチ２２０（図７には示さず）を介してパケットを処理する８つのステージ７０５〜７４０を含む。いくつかの実施形態では、パケットを受信する管理されるスイッチング要素６１５は、管理されるスイッチング要素６１５がパケットを受信すると、Ｌ２処理２０５の一部を実行する。管理されるスイッチング要素６２０は、次に、Ｌ２処理２０５の残りを実行する。

0075

いくつかの実施形態では、パケットは、ヘッダ及びペイロードを含む。ヘッダは、いくつかの実施形態では、フィールドのセットを含み、フィールドのセットは、ネットワークを介してパケットをルーティングするために使用される情報を含む。論理スイッチ及び論理ルータは、ヘッダフィールドに含まれる情報に基づいて、スイッチング／ルーティング決定を決定することができ、いくつかの場合では、ヘッダフィールドの一部又は全部を変更することができる。

0076

Ｌ２処理２０５のステージ７０５では、パケットの論理コンテキストを決定するために、入口コンテキストマッピングがパケットに実行される。いくつかの実施形態では、ステージ７０５は、論理スイッチ２２０がパケットを受信すると実行される（例えば、パケットは、管理されるスイッチング要素６１５によって最初に受信される）。論理コンテキストは、いくつかの実施形態では、論理スイッチに対するパケットの状態を表す。論理コンテキストは、例えば、パケットが属する論理スイッチ、パケットが受信されたときに通過した論理スイッチの論理ポート、パケットが送信されるときに通過する論理スイッチの論理ポート、パケットがいる論理スイッチの論理転送プレーンのステージ、などを指定する。

0077

いくつかの実施形態は、パケットの送信元ＭＡＣアドレス（すなわち、パケットを送信したマシン）に基づいて、パケットの論理コンテキストを決定する。いくつかの実施形態は、パケットの送信元ＭＡＣアドレス、及び。パケットのインポート（すなわち、入口ポート）（すなわち、パケットが受信されたときに通過した管理されるスイッチング要素６１５のポート）に基づいて、論理コンテキストルックアップを実行する。他の実施形態は、パケットの論理コンテキストを決定するために、パケットのヘッダ（例えば、ＭＰＬＳヘッダ、ＶＬＡＮ ｉｄ、など）内の他のフィールドを使用することができる。

0078

第１のステージ７０５が実行された後、いくつかの実施形態は、論理コンテキストを表す情報を、パケットヘッダの１つ又は複数のフィールドに格納する。これらのフィールドは、論理コンテキストタグ又は論理コンテキストＩＤと呼ぶこともできる。さらに、論理コンテキストタグは、いくつかの実施形態では、１つ又は複数の既知のヘッダフィールド（例えば、ＶＬＡＮ ｉｄフィールド）と一致してよい。このように、これらの実施形態は、ヘッダフィールドが使用されるために定義される方法で、既知のヘッダフィールド又はそれに付随する特徴を利用しない。代わりに、いくつかの実施形態は、論理コンテキストを表す情報を、メタデータとして格納し、メタデータは、（パケット自体に格納される代わりに）パケットに関連付けられ、パケットと共に渡される。

0079

いくつかの実施形態では、第２のステージ７１０は、論理スイッチ２２０に関して定義される。いくつかのこのような実施形態では、ステージ７１０は、論理スイッチに対するパケットの入口アクセス制御を決定するために、パケットの論理コンテキストに関して動作する。例えば、論理スイッチがパケットを受信するとき、論理スイッチへのパケットのアクセスを制御するために、入口ＡＣＬがパケットに適用される。論理スイッチに対して定義された入口ＡＣＬに基づいて、パケットは、（例えば、ステージ７１５によって）さらに処理されてよく、又は、パケットは、例えば、破棄されてよい。

0080

Ｌ２処理２０５の第３のステージ７１５では、論理スイッチのコンテキストにおいて、パケットにＬ２転送がパケットに実行される。いくつかの実施形態では、第３のステージ７１５は、論理スイッチ２２０に対してパケットを処理し、転送するために、パケットの論理コンテキストに関して動作する。例えば、いくつかの実施形態は、レイヤ２でパケットを処理するためのＬ２転送テーブル又はＬ２転送エントリを定義する。

0081

さらに、パケットの宛先が別の論理ネットワークである場合（例えば、パケットの宛先論理ネットワークが、そのトラフィックが論理スイッチ２２０によって処理される論理ネットワークと異なる場合）、論理スイッチ２２０は、パケットを論理ルータ２２５に送信し、論理ルータ２２５は、次に、パケットを宛先論理ネットワークにルーティングするために、Ｌ３処理２１０を実行することになる。したがって、第３のステージ７１５では、いくつかの実施形態の管理されるスイッチング要素６１５は、パケットが、論理ルータ２２５に関連付けられた論理スイッチの論理ポート（図示せず）を介して論理ルータ２２５に転送されるべきであると判断する。他の実施形態では、管理されるスイッチング要素６１５は、パケットが論理ルータ２２５に転送されるべきであるかどうかを必ずしも判定しない。むしろ、パケットは、論理ルータ２２５のポートのアドレスを宛先アドレスとして有することになり、管理されるスイッチング要素６１５は、このパケットを、宛先アドレスにしたがって、論理スイッチの論理ポートを介して転送する。

0082

第４のステージ７２０では、パケットの論理的転送の結果に対応する物理的結果を識別するために、出口コンテキストマッピングが実行される。例えば、パケットの論理的な処理は、パケットが論理スイッチ２２０の１つ又は複数の論理ポート（例えば、論理出口ポート）から送出されるべきであることを指定することができる。このように、出口コンテキストマッピング動作は、論理スイッチ２２０の特定の論理ポートに対応する１つ又は複数の管理されるスイッチング要素（管理されるスイッチング要素６１５及び６２０を含む）の物理ポート（複数可）を識別する。管理されるスイッチング要素６１５は、前のステージ７１５で決定された論理ポートがマッピングされる物理ポート（例えば、ＶＩＦ）が、管理されるスイッチング要素６２０のポート（図示せず）であると判断する。

0083

Ｌ２処理２０５の第５のステージ７２５は、第４のステージ７２０で実行された出口コンテキストマッピングに基づいて物理マッピングを実行する。いくつかの実施形態では、物理マッピングは、第４のステージ７２０で決定された物理ポートに向けてパケットを送信する動作を決定する。例えば、いくつかの実施形態の物理マッピングは、パケットが第５のステージ７２５で決定された物理ポート（複数可）に達するために、パケットを送信するために通過する、Ｌ２処理２０５を実行している管理されるスイッチング要素６１５のポートのセット（図示せず）の１つ又は複数のポートに関連付けられた１つ又は複数のキュー（図示せず）を決定する。このように、管理されるスイッチング要素は、決定された物理ポート（複数可）にパケットが達するためのネットワーク内の正しい経路に沿って、パケットを転送することができる。

0084

図示のように、Ｌ２処理２０５の第６のステージ７３０は、管理されるスイッチング要素６２０によって実行される。第６のステージ７３０は、第１のステージ７０５と同様である。ステージ７３０は、管理されるスイッチング要素６２０がパケットを受信すると実行される。ステージ７３０では、管理されるスイッチング要素６２０は、パケットの論理コンテキストをルックアップし、Ｌ２出口アクセス制御が、実行されるために残っていると判断する。

0085

いくつかの実施形態の第７のステージ７３５は、論理スイッチ２２０のために定義される。いくつかのこのような実施形態の第７のステージ７３５は、論理スイッチに対するパケットの出口アクセス制御を決定するために、パケットの論理コンテキストに関して動作する。例えば、論理転送がパケットに実行された後に、論理スイッチ２２０外へのパケットのアクセスを制御するために、出口ＡＣＬがパケットに適用されてよい。論理スイッチのために定義された出口ＡＣＬに基づいて、パケットは、さらに処理されてよく（例えば、論理スイッチの論理ポート外に送出される、若しくは、さらなる処理のためにディスパッチポートに送信される）、又は、パケットは、例えば、廃棄されてよい。

0086

第８のステージ７４０は、第５のステージ７２５と同様である。第８のステージ７４０では、管理されるスイッチング要素６２０は、論理スイッチ２２０の論理出口ポートがマッピングされる管理されるスイッチング要素６２０の特定の物理ポート（図示せず）を決定する。

0087

Ｌ３処理２１０は、Ｌ３ルータ６３５によって実装される論理スイッチ２２０（図７には示さず）を介してパケットを処理するための６つのステージ７４５〜７６１を含む。上述したように、Ｌ３処理は、レイヤ３ネットワークを介してどこにパケットをルーティングするかを決定するための論理ルーティングルックアップのセットを実行することを含む。

0088

第１のステージ７４５は、論理ルータ２２５がパケットを受信すると（すなわち、論理ルータ２２５を実装するＬ３ルータ６３５がパケットを受信すると）、アクセス制御を決定するための論理入口ＡＣＬルックアップを実行する。次のステージ７４６は、パケットにネットワークアドレス変換（ＮＡＴ）を実行する。具体的には、ステージ７４６は、パケットの宛先アドレスを、パケットの送信元マシンから隠されている宛先マシンの実際のアドレスに戻す宛先ＮＡＴ（ＤＮＡＴ）を実行する。このステージ７４６は、ＤＮＡＴが有効にされている場合、実行される。

0089

次のステージ７５０は、パケットのＬ３アドレス（例えば、宛先ＩＰアドレス）及びルーティングテーブル（例えば、Ｌ３エントリを含む）に基づいて、レイヤ３ネットワークを介してパケットを送信するために、１つ又は複数の論理ポートを決定するための論理Ｌ３ルーティングを実行する。論理ルータ２２５は、Ｌ３ルータ６３５によって実装されるため、ルーティングテーブルは、Ｌ３ルータ６３５内に構成される。

0090

第４のステージ７５５では、いくつかの実施形態のＬ３ルータ６３５は、パケットに送信元ＮＡＴ（ＳＮＡＴ）も実行する。例えば、Ｌ３ルータ６３５は、送信元ＮＡＴが有効にされている場合、送信元ＩＰアドレスを隠すために、パケットの送信元ＩＰアドレスを異なるＩＰアドレスに置き換える。

0091

第５のステージ７６０は、論理ルータ２２５が、ステージ７４０で決定されたポートを介してパケットを論理ルータ２２５の外にルーティングする前に、アクセス制御を決定するための論理Ｌ３出口ＡＣＬルックアップを実行する。Ｌ３出口ＡＣＬルックアップは、パケットのＬ３アドレス（例えば、送信元及び宛先ＩＰアドレス）に基づいて実行される。

0092

第６のステージ７６１は、宛先Ｌ３アドレス（例えば、宛先ＩＰアドレス）を宛先Ｌ２アドレス（例えば、宛先ＭＡＣアドレス）に変換するために、アドレス解決を実行する。いくつかの実施形態では、Ｌ３ルータ６３５は、宛先ＩＰアドレスに対応する宛先Ｌ２アドレスを見つけるために、（例えば、ＡＲＰ要求を送信するか、ＡＲＰキャッシュをルックアップすることによって）標準的なアドレス解決を使用する。

0093

論理ルータ２２５が宛先論理ネットワークに結合されていない場合、論理スイッチ２２０は、宛先論理ネットワークに向かう別の論理ルータネットワークにパケットを送信する。論理ルータ２２５が宛先論理ネットワークに結合されている場合、論理スイッチ２２０は、宛先論理ネットワーク（すなわち、宛先論理ネットワークにパケットを転送する論理スイッチ）にパケットをルーティングする。

0094

Ｌ２処理２１５は、いくつかの実施形態では、管理されるスイッチング要素６２０及び６２５にまたがって実装される別の論理ネットワーク（図７には示さず）内の論理スイッチ２３０を介してパケットを処理するための８つのステージ７６５〜７９８を含む。いくつかの実施形態では、パケットを受信する管理されるネットワーク内の管理されるスイッチング要素６２５は、管理されるスイッチング要素６２５が管理されるスイッチング要素６２０からパケットを受信すると、Ｌ２処理２１５を実行する。ステージ７６５〜７９８は、ステージ７６５〜７９８が論理スイッチ２３０によって（すなわち、論理スイッチ２３０を実装する管理されるスイッチング要素６２０及び６２５によって）実行されることを除いて、それぞれ、ステージ７０５〜７４０と同様である。すなわち、ステージ７６５〜７９８は、Ｌ３ルータ６３５から受信したパケットを、管理されるスイッチング要素６２０及び６２５を介して宛先に転送するように実行される。

0095

図８は、論理ルータ２２５並びに論理スイッチ２２０及び２３０を実装するいくつかの実施形態の例示的なネットワークアーキテクチャ８００を概念的に示す。具体的には、ネットワークアーキテクチャ８００は、そのデータパケットが論理ルータ２２５並びに論理スイッチ２２０及び２３０によって切り替えられる及び／又はルーティングされる論理ネットワークを実現する物理ネットワークを表す。図は、図の上半分に、論理ルータ２２５並びに論理スイッチ２２０及び２３０を示す。この図は、図の下半分に、Ｌ３ルータ８６０を示す。下半分には、それぞれ、ホスト８９０、８８０、及び８８５（例えば、Ｗｉｎｄｏｗｓ（登録商標）及びＬｉｎｕｘ（登録商標）のようなオペレーティングシステムによって動作されるマシン）で動作している、第２のレベルの管理されるスイッチング要素８１０、管理されるスイッチング要素８１５及び８２０も示される。図は、図の上部及び下部の両方にＶＭ１〜４を示す。

0096

この例では、論理スイッチ２２０は、論理ルータ２２５、ＶＭ１、及びＶＭ２間でデータパケットを転送する。論理スイッチ２３０は、論理ルータ２２５、ＶＭ３、及びＶＭ４間でデータパケットを転送する。上述したように、論理ルータ２２５は、論理スイッチ２２０及び２３０並びにおそらく他の論理ルータ及びスイッチ（図示せず）間でデータパケットをルーティングする。論理スイッチ２２０及び２３０並びに論理ルータ２２５は、論理ポート（図示せず）を介して論理的に結合され、論理ポートを介してパケットを交換する。これらの論理ポートは、Ｌ３ルータ８３０並びに管理されるスイッチング要素８１０、８１５、及び８２０の物理ポートにマッピングされる。

0097

いくつかの実施形態では、論理スイッチ２２０及び２３０の各々は、管理されるスイッチング要素８１５及び８２０並びにおそらく他の管理されるスイッチング要素（図示せず）にまたがって実装される。いくつかの実施形態では、論理ルータ２２５は、管理されるスイッチング要素８１０に通信可能に結合されるＬ３ルータ８６０に実装される。

0098

この例では、管理されるスイッチング要素８１０、８１５、及び８２０は、それぞれ、ホスト８９０、８８０、及び８８５で実行するソフトウェアスイッチング要素である。管理されるスイッチング要素８１０、８１５、及び８２０は、論理スイッチ２２０及び２３０を実装するフローエントリを有する。これらのフローエントリを使用して、管理されるスイッチング要素８１５及び８２０は、管理されるスイッチング要素８１０、８１５、及び８２０に結合されるネットワーク内のネットワーク要素間でネットワークデータ（例えば、パケット）をルーティングする。例えば、管理されるスイッチング要素８１５は、ＶＭ１及び３と、第２のレベルの管理されるスイッチング要素８１０との間でネットワークデータをルーティングする。同様に、管理されるスイッチング要素８２０は、ＶＭ２及び４と、第２のレベルの管理されるスイッチング要素８１０との間でネットワークデータをルーティングする。図示のように、管理されるスイッチング要素８１５及び８２０は、それぞれ、管理されるスイッチング要素８１５及び８２０に結合されるネットワーク要素とデータパケットを交換するために介する３つのポート（番号付けされた正方形として示される）を有する。

0099

管理されるスイッチング要素８１０は、管理されるスイッチング要素８１０が、エクステンダとして機能する第２のレベルの管理されるスイッチング要素であるという点で、図３を参照して上述した管理されるスイッチング要素３０５と同様である。管理されるスイッチング要素８１０は、この例ではソフトウェアルータであるＬ３ルータ８６０と同じホストで動作する。

0100

いくつかの実施形態では、ネットワーク要素間の通信を容易にするために、ネットワーク制御システム（図示せず）によってトンネルが確立される。例えば、管理されるスイッチング要素８１０は、図示のように、管理されるスイッチング要素８１５のポート２で終端するトンネルを介して、ホスト８８０で動作する管理されるスイッチング要素８１５に結合される。同様に、管理されるスイッチング要素８１０は、管理されるスイッチング要素８２０のポート１で終端するトンネルを介して、管理されるスイッチング要素８２０に結合される。

0101

異なるタイプのトンネリングプロトコルが、異なる実施形態でサポートされる。トンネリングプロトコルの例は、数あるタイプのトンネリングプロトコルの中でも、無線アクセスポイントの制御及びプロビジョニング（ＣＡＰＷＡＰ）、ジェネリックルーティングカプセル化（ＧＲＥ）、ＧＲＥインターネットプロトコルセキュリティ（ＩＰｓｅｃ）を含む。

0102

この例では、ホスト８８０及び８８５の各々は、図示のように、管理されるスイッチング要素及びいくつかのＶＭを含む。ＶＭ１〜４は、仮想マシンであり、仮想マシンは、それぞれ、ネットワークアドレス（例えば、Ｌ２に関するＭＡＣアドレス、Ｌ３に関するＩＰアドレス、など）のセットを有り当てられ、他のネットワーク要素との間でネットワークデータを送受信することができる。ＶＭは、ホスト８８０及び８８５上で動作するハイパーバイザ（図示せず）によって管理される。

0103

ネットワークアーキテクチャ８００を介するいくつかの例示的なデータ交換をここで説明する。論理スイッチ２２０に結合されたＶＭ１が、同じ論理スイッチ２２０に結合されたＶＭ２にパケットを送信すると、パケットは、最初に、管理されるスイッチング要素８１５に送信される。管理されるスイッチング要素８１５は、ＶＭ１からパケットを受信するエッジスイッチング要素であるため、管理されるスイッチング要素８１５は、次に、パケットにＬ２処理２０５を実行する。このパケットへのＬ２処理２０５の結果は、パケットが、管理されるスイッチング要素８２０のポート４を介してＶＭ２に達するように、管理されるスイッチング要素８２０に送信されるべきであることを示すことになる。ＶＭ１及び２は、同じ論理ネットワーク内にあり、したがって、パケットのためのＬ３ルーティングは、必要ではないため、このパケットにＬ３処理を実行する必要はない。パケットは、次に、管理されるスイッチング要素８１５及び管理されるスイッチング要素８２０間をブリッジしている第２のレベルの管理されるスイッチング要素８１０を介して、管理されるスイッチング要素８２０に送信される。パケットは、管理されるスイッチング要素８２０のポート４を介してＶＭ２に到達する。

0104

論理スイッチ２２０に結合されたＶＭ１が、論理スイッチ２３０に結合されたＶＭ３にパケットを送信すると、パケットは、最初に、管理されるスイッチング要素８１５に送信される。管理されるスイッチング要素８１５は、パケットにＬ２処理の一部を実行する。しかしながら、パケットは、ある論理ネットワークから別の論理ネットワークに送信される（すなわち、パケットの論理Ｌ３宛先アドレスは、別の論理ネットワークのためのものである）ため、Ｌ３処理がこのパケットに実行される必要がある。

0105

管理されるスイッチング要素８１５は、管理されるスイッチング要素８１０が、Ｌ３ルータ８６０にパケットを転送するために、パケットにＬ２処理の残りを実行するように、第２のレベルの管理されるスイッチング要素８１０にパケットを送信する。Ｌ３ルータ８６０で実行されるＬ３処理の結果は、パケットが、管理されるスイッチング要素８１０に返送されるべきであることを示すことになる。管理されるスイッチング要素８１０は、次に、別のＬ２処理の一部を実行し、Ｌ３ルータ８６０から受信したパケットを管理されるスイッチング要素８１５に転送し戻す。管理されるスイッチング要素８１５は、管理されるスイッチング要素８１０から受信したパケットにＬ２処理２１５を実行し、このＬ２処理の結果は、パケットが、管理されるスイッチング要素８１５のポート５を介してＶＭ３に送信されるべきであることを示すことになる。

0106

論理スイッチ２２０に結合されたＶＭ１が、論理スイッチ２３０に結合されたＶ４にパケットを送信すると、パケットは、最初に、管理されるスイッチング要素８１５に送信される。管理されるスイッチング要素８１５は、パケットにＬ２処理２０５を実行する。しかしながら、パケットは、ある論理ネットワークから別の論理ネットワークに送信されるため、Ｌ３処理が実行される必要がある。

0107

管理されるスイッチング要素８１５は、Ｌ３ルータ８６０がパケットにＬ３処理２１０を実行するように、管理されるスイッチング要素８１０を介してＬ３ルータ８６０にパケットを送信する。Ｌ３ルータ８６０で実行されるＬ３処理２１０の結果は、パケットが、管理されるスイッチング要素８２０に送信されるべきであることを示すことになる。管理されるスイッチング要素８１０は、次に、管理されるスイッチング要素から受信したパケットにＬ２処理の一部を実行し、このＬ２処理の結果は、パケットが、管理されるスイッチング要素８２０を介してＶＭ４に送信されるべきであることを示すことになる。管理されるスイッチング要素８２０は、パケットが、管理されるスイッチング要素８２０のポート５を介してＶＭ４に送信されるべきであることを決定するために、Ｌ２処理の残りを実行する。

0108

図９は、論理ルータ２２５並びに論理スイッチ２２０及び２３０を実装するいくつかの実施形態の例示的なネットワークアーキテクチャ９００を概念的に示す。具体的には、ネットワークアーキテクチャ９００は、そのデータパケットが論理ルータ２２５並びに論理スイッチ２２０及び２３０によって切り替えられる及び／又はルーティングされる論理ネットワークを実現する物理ネットワークを表す。図は、図の上半分に、論理ルータ２２５並びに論理スイッチ２２０及び２３０を示す。この図は、図の下半分に、Ｌ３ルータ８６０を示す。下半分には、それぞれ、ホスト９１０、８９０、８８０、及び８８５で動作している、第２のレベルの管理されるスイッチング要素９０５、第２のレベルの管理されるスイッチング要素８１０、並びに、管理されるスイッチング要素８１５及び８２０も示される。図は、図の上部及び下部の両方にＶＭ１〜４を示す。

0109

ネットワークアーキテクチャ９００は、ネットワークアーキテクチャ９００が、ホスト９１０で動作する管理されるスイッチング要素９０５を追加で含むことを除いて、ネットワークアーキテクチャ８００と同様である。いくつかの実施形態の管理されるスイッチング要素９０５は、プールノードとして機能する第２のレベルの管理されるスイッチング要素である。

0110

いくつかの実施形態では、ネットワーク要素間の通信を容易にするために、ネットワーク制御システム（図示せず）によってトンネルが確立される。例えば、この例での管理されるスイッチング要素８１５は、図示のように、管理されるスイッチング要素８１５のポート１で終端するトンネルを介して、ホスト９１０で動作する管理されるスイッチング要素９０５に結合される。同様に、管理されるスイッチング要素８２０は、管理されるスイッチング要素８２０のポート２で終端するトンネルを介して、管理されるスイッチング要素９０５に結合される。また、管理されるスイッチング要素９０５及び８１０は、図示のように、トンネルを介して結合される。

0111

論理ルータ２２５並びに論理スイッチ２２０及び２３０は、第２のレベルの管理されるスイッチング要素９０５がデータパケット交換に関わることを除いて、図８を参照して上述したＬ３ルータ８６０及び管理されるスイッチング要素８１０、８１５、及び８２０に実装される。すなわち、管理されるスイッチング要素８１５及び８１０は、管理されるスイッチング要素９０５を介してパケットを交換する。

0112

図１０は、論理ルータ２２５並びに論理スイッチ２２０及び２３０を実装するいくつかの実施形態の例示的なネットワークアーキテクチャ１０００を概念的に示す。ネットワークアーキテクチャ１０００は、管理されるスイッチング要素８１０及び管理されるスイッチング要素８２０間にトンネルが存在することを除いて、ネットワークアーキテクチャ８００と同様である。この図は、いくつかの実施形態のネットワークアーキテクチャ１０００が、ネットワークアーキテクチャ８００及びネットワークアーキテクチャ９００の混合物であることを示す。すなわち、いくつかの管理されるエッジスイッチング要素は、集中型Ｌ３ルータに結合された第２のレベルの管理されるスイッチング要素とのトンネルを有し、他の管理されるエッジスイッチング要素は、集中型Ｌ３ルータに結合された第２のレベルの管理されるスイッチング要素とパケットを交換するために、プールノードとして機能する第２のレベルの管理されるスイッチング要素を通過しなければならない。

0113

図１１は、管理されるスイッチング要素８１０及びＬ３ルータ８６０（図示せず）を含むいくつかの実施形態のホスト８９０の例示的なアーキテクチャを概念的に示す。具体的には、この図は、Ｌ３ルータ８６０が、ホスト８９０の名前空間１１２０に構成されることを示す。ホスト８９０は、いくつかの実施形態では、名前空間及び仮想マシンを作成することができるオペレーティングシステム（例えば、Ｌｉｎｕｘ（登録商標））によって管理されるマシンである。図示のように、この例でのホスト８９０は、管理されるスイッチング要素８１０、名前空間１１２０、及びＮＩＣ８４５を含む。この図は、コントローラクラスタ１１０５も示す。

0114

コントローラクラスタ１１０５は、管理されるスイッチング要素８１０を含むネットワーク要素を管理するネットワークコントローラ又はコントローラインスタンスのセットである。この例での管理されるスイッチング要素８１０は、ユーザ空間１１１２及びカーネル１１１０を含むホスト８９０に実装されるソフトウェアスイッチング要素である。管理されるスイッチング要素８１０は、ユーザ空間１１１５で動作している制御デーモン１１１５、並びに、カーネル１１１０で動作しているコントローラパッチ１１３０及びブリッジ１１３５を含む。ユーザ空間１１１５及びカーネル１１１０は、いくつかの実施形態では、ホスト８９０のためのオペレーティングシステムのものであり、他の実施形態では、ユーザ空間１１１５及びカーネル１１１０は、ホスト８９０上で動作している仮想マシンのものである。

0115

いくつかの実施形態では、コントローラクラスタ１１０５は、制御デーモン１１１５と（例えば、オープンフロープロトコル又は別の通信プロトコルを使用することによって）通信し、制御デーモン１１１５は、いくつかの実施形態では、ユーザ空間１１１２のバックグラウンドで動作しているアプリケーションである。制御デーモン１１１５は、管理されるスイッチング要素８１０が受信するパケットを処理し、ルーティングするために、コントローラクラスタ１１０５と通信する。具体的には、制御デーモン１１１５は、いくつかの実施形態では、コントローラクラスタ１１０５から構成情報を受信し、コントローラパッチ１１３０を構成する。例えば、制御デーモン１１１５は、管理されるスイッチング要素８１０が受信するパケットを処理し、ルーティングするための動作に関して、コントローラクラスタ１１０５からコマンドを受信する。

0116

制御デーモン１１１５は、論理ルータが、ルーティングテーブル及び他のテーブルに適切なエントリをポピュレートするために、名前空間１１２０に実装された論理ルータ（図示せず）と接続するポート（図示せず）を設定するために、コントローラパッチ１１３０のための構成情報も受信する。

0117

コントローラパッチ１１３０は、カーネル１１１０内で動作するモジュールである。いくつかの実施形態では、制御デーモン１１１５は、コントローラパッチ１１１３を構成する。構成されると、コントローラパッチ１１１３は、受信するパケットの処理及び転送に関するルール（例えば、フローエントリ）を含む。いくつかの実施形態のコントローラパッチ１１３０は、また、パケットを名前空間１１２０と交換するために、ポート（例えば、ＶＩＦ）のセットを作成する。

0118

コントローラパッチ１１３０は、カーネル１１１０のネットワークスタック１１５０から、又は、ブリッジ１１３５からパケットを受信する。コントローラパッチ１１３０は、パケットの処理及びルーティングに関するルールに基づいて、どの名前空間にパケットを送信するのかを決定する。コントローラパッチ１１３０は、また、名前空間１１２０からパケットを受信し、ルールに基づいて、ネットワークスタック１１５０又はブリッジ１１３５にパケットを送信する。管理されるスイッチング要素のアーキテクチャについてのさらなる詳細は、米国特許出願第１３／１７７，５３５号に記載されている。

0119

名前空間１１２０（例えば、Ｌｉｎｕｘ（登録商標）名前空間）は、ホスト８９０で作成されるコンテナである。名前空間１１２０は、ネットワークスタック、ネットワークデバイス、ネットワークアドレス、ルーティングテーブル、ネットワークアドレス変換テーブル、ネットワークキャシュ、など（これらのすべてが、図１１に示されているというわけではない）を実装することができる。名前空間１１２０は、したがって、名前空間が、論理送信元又は宛先アドレスを有するパケットを処理するように構成されている場合、論理ルータを実装することができる。名前空間１１２０は、例えば、名前空間のルーティングテーブル１１５５を構成することによって、このようなパケットを処理するように構成されてよい。いくつかの実施形態では、名前空間１１２０は、名前空間１１２０が管理されるスイッチング要素８１０に接続し、パケットを交換する（すなわち、動的ルーティング）につれて、ルーティングテーブル１１５５をポピュレートする。他の実施形態では、コントローラクラスタ１１０５は、ルーティングテーブル１１５５にルートをポピュレートすることによって、ルーティングテーブル１１５５を直接構成することができる。

0120

さらに、名前空間は、いくつかの実施形態では、名前空間がルーティングするパケットにネットワークアドレス変換（ＮＡＴ）も実行する。例えば、名前空間が、受信したパケットの送信元ネットワークアドレスを別のネットワークアドレスに変更する（すなわち、送信元ＮＡＴを実行する）場合である。

0121

ブリッジ１１３５は、ネットワークスタック１１５０と、ホストの外部のネットワークホストとの間で、ネットワークデータ（すなわち、ＮＩＣ１１４５を介して受信したネットワークデータ）をルーティングする。図示のように、ブリッジ１１３５は、ネットワークスタック１１５０及びＮＩＣ１１４５間、並びに、コントローラパッチ１１３０及びＮＩＣ１１４５間でネットワークデータをルーティングする。いくつかの実施形態のブリッジ１１３５は、標準的なＬ２パケット学習及びルーティングを実行する。

0122

ネットワークスタック１１５０は、ＮＩＣ１１４５を介して、管理されるスイッチング要素８１０の外部のネットワークホストからパケットを受信することができる。ネットワークスタック１１５０は、次に、コントローラパッチ１１３０にパケットを送信する。いくつかの場合では、パケットは、トンネルを介して、管理されるスイッチング要素の外部のネットワークホストから受信される。いくつかの実施形態では、トンネルは、ネットワークスタック１１５０で終端する。したがって、ネットワークスタック１１５０が、トンネルを介してパケットを受信すると、ネットワークスタック１１５０は、トンネルヘッダをアンラップし（すなわち、ペイロードをデカプセルし）、アンラップされたパケットをコントローラパッチ１１３０に送信する。

0123

ここで、管理されるスイッチング要素８１０及び名前空間１１２０の例示的な動作を説明する。この例では、トンネルが、ホスト８９０の外部の管理されるスイッチング要素８１０及び管理されるスイッチング要素８１５及び８２０（図１１には示さず）間に確立される。すなわち、管理されるスイッチング要素８１０、８１５、及び８２０は、図８に示すようなトンネルを介して接続される。トンネルは、ネットワークスタック１１５０で終端する。

0124

管理されるスイッチング要素８１５は、ＶＭ１〜ＶＭ４によって送信されたパケットを、管理されるスイッチング要素８１０に送信する。パケットは、ＮＩＣ１１４５によって受信され、次に、ブリッジ１１３５に送信される。パケットヘッダ内の情報に基づいて、ブリッジ１１３５は、パケットは、確立されたトンネルを介して送信されると判断し、パケットをネットワークスタック１１５０に送信する。ネットワークスタック１１５０は、トンネルヘッダをアンラップし、アンラップされたパケットをコントローラパッチ１１３０に送信する。

0125

パケットは、ある論理ネットワークから別の論理ネットワークに送信されるため、コントローラパッチ１１３０が有するルールにしたがって、コントローラパッチ１１３０は、パケットを名前空間１１２０に送信する。例えば、ルールは、特定の宛先ＭＡＣアドレスを有するパケットは、名前空間１１２０に送信されるべきであると指示することができる。いくつかの場合では、コントローラパッチ１１３０は、パケットを名前空間に送信する前に、パケットから論理的コンテキストを除去する。次に、名前空間１１２０は、２つの論理ネットワーク間でパケットをルーティングするために、パケットにＬ３処理を実行する。

0126

Ｌ３処理を実行することによって、名前空間１１２０は、宛先ネットワークレイヤアドレスが、宛先論理ネットワークに属する論理スイッチに行くべきであるため、パケットがコントローラパッチ１１３０に送信されるべきであると判断する。コントローラパッチ１１３０は、宛先論理ネットワークに属する論理スイッチを実装する管理されるスイッチング要素８２０へのトンネルを越えて、ネットワークスタック１１５０、ブリッジ１１３５、及び、ＮＩＣ１１４５を介して、パケットを受信し、パケットを送信する。

0127

上述したように、いくつかの実施形態は、Ｌ３ルータ８６０を名前空間１１２０に実装する。しかしながら、他の実施形態は、Ｌ３ルータ８６０を、ホスト８９０上で動作するＶＭに実装する。

0128

図１２は、管理されるスイッチング要素内の論理スイッチ及び論理ルータ、並びにＬ３ルータの例示的な実装を概念的に示す。具体的には、この図は、ホスト８９０内の論理ルータ２２５，並びに論理スイッチ２２０及び２３０の実装を示し、ホスト８９０は、第２のレベルの管理されるスイッチング要素８１０及びＬ３ルータ８６０、並びに管理されるスイッチング要素８１５及び８２０を含む。図は、図の左半分に、論理ルータ２２５、並びに論理スイッチ２２０及び２３０を示す。この図は、図の右半分に、第２のレベルの管理されるスイッチング要素８１０、並びに管理されるスイッチング要素８１５及び８２０を示す。図は、右及び左半分の両方に、ＶＭ１〜４を示す。簡単にするために、この図は、管理されるスイッチング要素のすべての構成要素、例えば、ネットワークスタック１１５０を示さない。

0129

論理スイッチ２２０及び２３０、並びに論理ルータ２２５は、論理ポートを介して論理的に結合される。図示のように、論理スイッチ２２０の論理ポートＸは、論理ルータ２２５の論理ポート１に結合される。同様に、論理スイッチ２３０の論理ポートＹは、論理ルータ２２５の論理ポート２に結合される。論理スイッチ２２０及び２３０は、これらの論理ポートを介して、論理ルータ２２５とデータパケットを交換する。また、この例では、論理スイッチ２２０は、論理ルータ２２５の論理ポート１のＭＡＣアドレスであるＭＡＣアドレス０１：０１：０１：０１：０１：０１を、論理ポートＸと関連付ける。論理スイッチ２２０が、Ｌ３処理を必要とするパケットを受信すると、論理スイッチ２２０は、ポートＸを介して論理ルータ２２５にパケットを送出する。同様に、論理スイッチ２３０は、論理ルータ２２５の論理ポート２のＭＡＣアドレスであるＭＡＣアドレス０１：０１：０１：０１：０１：０２を、論理ポートＹと関連付ける。論理スイッチ２３０が、Ｌ３処理を必要とするパケットを受信すると、論理スイッチ２３０は、ポートＹを介して論理ルータ２２５にパケットを送出する。

0130

この例では、コントローラクラスタ（図１２には示さず）は、管理されるスイッチング要素８１０のポート１が、論理スイッチ２２０のポートＸと関連付けられた同じＭＡＣアドレス、０１：０１：０１：０１：０１：０１と関連付けられるように、管理されるスイッチング要素８１０を構成する。したがって、管理されるスイッチング要素８１０が、このＭＡＣアドレスを宛先ＭＡＣアドレスとして有するパケットを受信すると、管理されるスイッチング要素８１０は、管理されるスイッチング要素８１０のポート１を介して、（名前空間１１２０内に構成された）Ｌ３ルータ８６０にパケットを送出する。このように、論理スイッチ２２０のポートＸは、管理されるスイッチング要素８１０のポート１にマッピングされる。

0131

同様に、管理されるスイッチング要素８１０のポート２は、論理スイッチ２３０のポートＹと関連付けられた同じＭＡＣアドレス、０１：０１：０１：０１：０１：０２と関連付けられる。したがって、管理されるスイッチング要素８１０が、このＭＡＣアドレスを宛先ＭＡＣアドレスとして有するパケットを受信すると、管理されるスイッチング要素８１０は、管理されるスイッチング要素８１０のポート２を介して、Ｌ３ルータ８６０にパケットを送出する。このように、論理スイッチ２３０のポートＹは、管理されるスイッチング要素８１０のポート２にマッピングされる。

0132

この例では、論理ルータ２２５は、論理ポート１及び２、並びに他の論理ポート（図示せず）を有する。論理ルータ２２５のポート１は、ポート１の背後にあるサブセットを表すＩＰアドレス１．１．１．１／２４と関連付けられる。すなわち、論理ルータ２２５が、ルーティングするためにパケットを受信し、パケットが宛先ＩＰアドレス、例えば、１．１．１．１０を有する場合、論理ルータ２２５は、このパケットを、ポート１を介して宛先論理ネットワーク（例えば、論理サブネット）に向けて送信する。

0133

同様に、この例の論理ルータ２２５のポート２は、ポート２の背後にあるサブセットを表すＩＰアドレス１．１．２．１／２４と関連付けられる。論理ルータ２２５は、宛先ＩＰアドレス、例えば、１．１．２．１０を有するパケットを、ポート２を介して宛先論理ネットワークに送信する。

0134

この例では、Ｌ３ルータ８６０は、Ｌ３ルータ８６０のルーティングテーブル（図示せず）にルートをポピュレートすることによって、論理ルータ２２５を実装する。いくつかの実施形態では、Ｌ３ルータ８６０は、管理されるスイッチング要素８１０が、Ｌ３ルータ８６０との接続を確立し、パケットを送信するときに、そのルーティングテーブルをポピュレートする。例えば、Ｌ３ルータが、管理されるスイッチング要素から最初のパケットを受信すると、Ｌ３ルータ８６０は、最初のパケットの送信元アドレスを宛先アドレスとして有するパケットが、管理されるスイッチング要素８１０に送信されるべきであることを知る。Ｌ３ルータは、最初のパケットがどこに送信されるのかを知るために、（例えば、ＡＲＰ要求を送信することによって）標準的なアドレス解決を実行することもできる。Ｌ３ルータ８６０は、これらの「ルート」をルーティングテーブルに格納し、その後にＬ３ルータが受信するパケットのルーティング決定を行う際に、これらのテーブルをルックアップすることになる。他のＬ３ルータ（図示せず）は、これらのルーティングテーブルを同様にポピュレートすることができる。

0135

他の実施形態では、コントローラクラスタは、Ｌ３ルータ８６０のポート１が、論理ルータ２２５のポート１に関連付けられた同じＩＰアドレスと関連付けられるように、Ｌ３ルータ８６０のルーティングテーブルを構成する。同様に、Ｌ３ルータ８６０のポート２は、論理ルータ２２５のポート２と関連付けられた同じＩＰアドレスと関連付けられる。
同様の方法で、別の論理スイッチ（図示せず）が、管理されるスイッチング要素の別のＬ３ルータ（図示せず）に実装されてよい。これらの実施形態のいくつかでは、制御クラスタは、Ｌ３ルータを構成するために、１つ又は複数のルーティングプロトコルを用いることができる。

0136

図１３Ａ〜１３Ｃは、図１２を参照して上述した管理されるスイッチング要素８１０、８１５、及び８２０、並びにＬ３ルータ８６０に実装された、論理スイッチ２２０及び２３０、並びに論理ルータ２２５の例示的な動作を概念的に示す。具体的には、図１３Ａ〜１３Ｃは、ＶＭ１〜ＶＭ４から送信されたパケットがどのようにＶＭ４に達するかを示す。

0137

論理スイッチ２２０に結合されるＶＭ１が、論理スイッチ２３０に結合されるＶＭ４にパケット１３３０を送信すると、パケットは、最初に、管理されるスイッチング要素８１５のポート４を介して、管理されるスイッチング要素８１５に送信される。管理されるスイッチング要素８１５は、パケットにＬ２処理を実行する。

0138

図１３Ａの上半分に示すように、管理されるスイッチング要素８１５は、パケット１３３０を処理し、転送するためのルール（例えば、フローエントリ）を含む転送テーブルを含む。管理されるスイッチング要素８１５が、管理されるスイッチング要素８１５のポート４を介してＶＭ１からパケット１３３０を受信すると、管理されるスイッチング要素８１５は、管理されるスイッチング要素８１５の転送テーブルに基づいて、パケット１３３０の処理を開始する。この例では、パケット１３３０は、ＶＭ４のＩＰアドレスである、１．１．２．１０の宛先ＩＰアドレスを有する。パケット１３３０の送信元ＩＰアドレスは、１．１．１．１０である。パケット１３３０は、また、ＶＭ１のＭＡＣアドレスを送信元ＭＡＣアドレスとして有し、論理ルータ２２５の論理ポート１のＭＡＣアドレス（すなわち、０１：０１：０１：０１：０１：０１）を宛先ＭＡＣアドレスとして有する。

0139

管理されるスイッチング要素８１５は、ステージ１３４０のコンテキストマッピングを実装する転送テーブル内の丸で囲まれた１によって示されるレコード（「レコード１」と呼ぶ）を識別する。レコード１は、ＶＭ１からパケット１３３０を受信するポート４である入口ポートに基づいて、パケット１３３０の論理コンテキストを識別する。加えて、いくつかの実施形態では、レコード１は、管理されるスイッチング要素８１５が、パケット１３３０の論理コンテキストを、パケット１３３０のヘッダのフィールドのセット（例えば、ＶＬＡＮ ｉｄフィールド）に格納することを指定する。他の実施形態では、管理されるスイッチング要素８１５は、論理コンテキスト（すなわち、パケットが属する論理スイッチ、並びに、その論理スイッチの論理入口ポート）を、パケットではなく、スイッチのレジスタ、又はメタフィールドに格納する。レコード１は、また、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。ディスパッチポートは、米国特許出願第１３／１７７，５３５号に記載されている。

0140

パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、管理されるスイッチング要素８１５は、ステージ１３４２の入口ＡＣＬを実装する転送テーブル内の丸で囲まれた２によって示されるレコード（「レコード２と呼ぶ」）を識別する。この例では、レコード２は、パケット１３３０がさらに処理されることを可能にし（例えば、パケット１３３０は、論理スイッチ２２０の入口ポートを通り抜けることができる）、したがって、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。加えて、レコード２は、管理されるスイッチング要素８１５が、パケット１３３０の論理コンテキスト（すなわち、パケット１３３０は、処理パイプライン１３００の第２のステージ１３４２によって処理されている）を、パケット１３３０のヘッダのフィールドのセットに格納することを指定する。

0141

次に、管理されるスイッチング要素８１５は、パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、ステージ１３４４の論理Ｌ２転送を実装する転送テーブル内の丸で囲まれた３によって示されるレコード（「レコード３」と呼ぶ）を識別する。レコード３は、論理ルータ２２５の論理ポート１のＭＡＣアドレスを宛先ＭＡＣアドレスとして有するパケットが、論理スイッチ２２０の論理ポートＸに送信されるべきであることを指定する。

0142

レコード３は、また、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。また、レコード３は、管理されるスイッチング要素８１５が、論理コンテキスト（すなわち、パケット１３３０は、処理パイプライン１３００の第３のステージ１３４４によって処理されている）を、パケット１３３０のヘッダのフィールドのセットに格納することを指定する。

0143

パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、管理されるスイッチング要素８１５は、ステージ１３４６のコンテキストマッピングを実装する転送テーブル内の丸で囲まれた４によって示されるレコード（「レコード４」と呼ぶ）を識別する。この例では、レコード４は、Ｌ３ルータ８６０のポート１が結合される管理されるスイッチング要素８１０のポート１を、パケット１３３０が転送されるべき論理スイッチ２２０の論理ポートＸに対応するポートとして識別する。レコード４は、加えて、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。

0144

パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、管理されるスイッチング要素８１５は、次に、ステージ１３４８の物理マッピングを実装する転送テーブル内の丸で囲まれた５によって示されるレコード（「レコード５」と呼ぶ）を識別する。レコード５は、パケット１３３０が、管理されるスイッチング要素８１０に到達するために、パケット１３３０が、管理されるスイッチング要素８１５のポート１を介して送信されるべきであることを指定する。この場合では、管理されるスイッチング要素８１５は、パケット１３３０を、管理されるスイッチング要素８１０に結合される管理されるスイッチング要素８１５のポート１から送出することになる。

0145

図１３Ａの下半分に示すように、管理されるスイッチング要素８１０は、パケット１３３０を処理し、ルーティングするためのルール（例えば、フローエントリ）を含む転送テーブルを含む。管理されるスイッチング要素８１０が、管理されるスイッチング要素８１５からパケット１３３０を受信すると、管理されるスイッチング要素８１０は、管理されるスイッチング要素８１０の転送テーブルに基づいて、パケット１３３０の処理を開始する。管理されるスイッチング要素８１０は、ステージ１３５０のコンテキストマッピングを実装する転送テーブル内の丸で囲まれた１によって示されるレコード（「レコード１」と呼ぶ）を識別する。レコード１は、パケット１３３０のヘッダに格納された論理コンテキストに基づいて、パケット１３３０の論理コンテキストを識別する。論理コンテキストは、パケット１３３０が、管理されるスイッチング要素８１５によって実行された第２及び第３のステージ１３４２及び１３４４によって処理されていることを指定する。このように、レコード１は、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。

0146

次に、管理されるスイッチング要素８１０は、パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、ステージ１３５２の出口ＡＣＬを実装する転送テーブル内の丸で囲まれた２によって示されるレコード（「レコード２」と呼ぶ）を識別する。この例では、レコード２は、パケット１３３０がさらに処理されることを可能にし（例えば、パケット１３３０は、論理スイッチ２２０のポート「Ｘ」を介して論理スイッチ２２０から出ることができる）、したがって、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。加えて、レコード２は、管理されるスイッチング要素８１０が、パケット１３３０の論理コンテキスト（例えば、パケット１３３０は、処理パイプライン１３００のステージ１３５２によって処理されている）を、パケット１３３０のヘッダのフィールドのセットに格納することを指定する。

0147

次に、管理されるスイッチング要素８１０は、パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、ステージ１３５４の物理マッピングを実装する転送テーブル内の丸で囲まれた３によって示されるレコード（「レコード３」と呼ぶ）を識別する。レコード３は、パケット１３３０がＬ３ルータ８６０に到達するために、パケット１３３０が送信されるべき管理されるスイッチング要素８１０のポートを指定する。この場合では、管理されるスイッチング要素８１０は、パケット１３３０を、Ｌ３ルータ８６０のポート１に結合される管理されるスイッチング要素８１０のポート１から送出することになる。いくつかの実施形態では、管理されるスイッチング要素８１０は、パケットをＬ３ルータ８６０に送信する前に、パケット１３３０から論理コンテキストを除去する。

0148

図１３Ｂの上半分に示すように、Ｌ３ルータ８６０は、入口ＡＣＬテーブル、ルーティングテーブル、及び出口ＡＣＬテーブルを含み、出口ＡＣＬテーブルは、パケット１３３０を処理し、ルーティングするためのエントリを含む。Ｌ３ルータ８６０が、管理されるスイッチング要素８１０からパケット１３３０を受信すると、Ｌ３ルータ８６０は、Ｌ３ルータ８６０のこれらのテーブルに基づいて、パケット１３３０の処理を開始する。Ｌ３ルータ８６０は、入口ＡＣＬテーブル内の丸で囲まれた１によって示されるエントリ（「エントリ１」と呼ぶ）を識別し、入口ＡＣＬテーブルは、Ｌ３ルータ８６０が、パケット１３３０のヘッダ内の情報に基づいてパケットを受け入れるべきであることを指定することによって、Ｌ３入口ＡＣＬを実装する。Ｌ３ルータ８６０は、次に、ルーティングテーブル内の丸で囲まれた２によって示されるエントリ（「エントリ２」と呼ぶ）を識別し、ルーティングテーブルは、その宛先ＩＰアドレス（すなわち、１．１．２．１０）を有するパケット１３３０が、論理ルータ２２５のポート２を介して論理スイッチ２３０に送信されるべきであることを指定することによって、Ｌ３ルーティング５５８を実装する。Ｌ３ルータ８６０は、次に、出口ＡＣＬテーブル内の丸で囲まれた３によって示されるエントリ（「エントリ３」と呼ぶ）を識別し、出口ＡＣＬテーブルは、Ｌ３ルータ８６０が、パケット１３３０のヘッダ内の情報に基づいて、論理ルータ２２５のポート２を介してパケットを送信することができることを指定することによって、Ｌ３出口ＡＣＬを実装する。また、Ｌ３ルータ８６０はパケット１３３０のための送信元ＭＡＣアドレスをＬ３ルータ８６０のポート２のＭＡＣアドレス（すなわち、０１：０１：０１：０１：０１：０２）に書き換える。

0149

Ｌ３ルータ８６０は、次に、宛先ＩＰアドレスを宛先ＭＡＣアドレスに変換するために、アドレス解決を実行する。この例では、Ｌ３ルータ８６０は、宛先ＩＰアドレスがマッピングされる宛先ＭＡＣアドレスを見つけるために、ＡＲＰキャッシュをルックアップする。Ｌ３ルータ８６０は、ＡＲＰキャッシュが、宛先ＩＰアドレスのための対応するＭＡＣアドレスを持っていない場合、ＡＲＰ要求を送信することができる。宛先ＩＰアドレスは、ＶＭ４のＭＡＣアドレスに解決されることになる。Ｌ３ルータ８６０は、次に、宛先ＩＰアドレスが解決されたＭＡＣアドレスを使用して、パケット１３３０の宛先ＭＡＣを書き換える。Ｌ３ルータ８６０は、パケット１３３０を、新しい宛先ＭＡＣアドレスに基づいて、Ｌ３ルータ８６０の論理ポート２を介して論理スイッチ２３０に送信することになる。

0150

図１３Ｂの下半分に示すように、管理されるスイッチング要素８１０は、パケット１３３０を処理し、転送するためのルール（例えば、フローエントリ）を含む転送テーブルを含む。管理されるスイッチング要素８１０が、管理されるスイッチング要素８１０のポート２を介してＬ３ルータ８６０からパケット１３３０を受信すると、管理されるスイッチング要素８１０は、管理されるスイッチング要素８１０の転送テーブルに基づいて、パケット１３３０の処理を開始する。管理されるスイッチング要素８１０は、ステージ１３６２のコンテキストマッピングを実装する転送テーブル内の丸で囲まれた４によって示されるレコード（「レコード４」と呼ぶ）を識別する。レコード４は、パケット１３３０がＬ３ルータ８６０から受信されるポート２である入口ポートに基づいて、パケット１３３０の論理コンテキストを識別する。加えて、レコード４は、管理されるスイッチング要素８１０が、パケット１３３０の論理コンテキストを、パケット１３３０のヘッダのフィールドのセット（例えば、ＶＬＡＮ ｉｄフィールド）に格納することを指定する。レコード４は、また、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。

0151

パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、管理されるスイッチング要素８１０は、次に、ステージ１３６４の入口ＡＣＬを実装する転送テーブル内の丸で囲まれた５によって示されるレコード（「レコード５」と呼ぶ）を識別する。この例では、レコード５は、パケット１３３０がさらに処理されることを可能にし、したがって、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。加えて、レコード５は、管理されるスイッチング要素８１０が、パケット１３３０の論理コンテキスト（すなわち、パケット１３３０は、処理パイプライン１３００のステージ１３６２によって処理されている）を、パケット１３３０のヘッダのフィールドのセットに格納することを指定する。

0152

次に、管理されるスイッチング要素８１０は、パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、ステージ１３６６の論理Ｌ２転送を実装する転送テーブル内の丸で囲まれた６によって示されるレコード（「レコード６」と呼ぶ）を識別する。レコード６は、ＶＭ４のＭＡＣアドレスを宛先ＭＡＣアドレスとして有するパケットが、論理スイッチ２３０の論理ポート（図示せず）を介して転送されるべきであることを指定する。

0153

レコード６は、また、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。また、レコード６は、管理されるスイッチング要素８１０が、論理コンテキスト（すなわち、パケット１３３０は、処理パイプライン１３００のステージ１３６６によって処理されている）を、パケット１３３０のヘッダのフィールドのセットに格納することを指定する。

0154

パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、管理されるスイッチング要素８１０は、ステージ１３６８のコンテキストマッピングを実装する転送テーブル内の丸で囲まれた７によって示されるレコード（「レコード７」と呼ぶ）を識別する。この例では、レコード７は、ＶＭ４が結合される管理されるスイッチング要素８２０のポート５を、パケット１３３０が転送されるべき論理スイッチ２３０の論理ポート（ステージ１３６６で決定される）に対応するポートとして識別する。レコード７は、加えて、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。

0155

パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、管理されるスイッチング要素８１０は、次に、ステージ１３７０の物理マッピングを実装する転送テーブル内の丸で囲まれた８によって示されるレコード（「レコード８」と呼ぶ）を識別する。レコード８は、パケット１３３０が、管理されるスイッチング要素８２０に到達するために、パケット１３３０が送信されるべき管理されるスイッチング要素８１０のポート（図示せず）を指定する。この場合では、管理されるスイッチング要素８１０は、パケット１３３０を、管理されるスイッチング要素８２０に結合される管理されるスイッチング要素８１０のポートから送出することになる。

0156

図１３Ｃに示すように、管理されるスイッチング要素８２０は、パケット１３３０を処理し、ルーティングするためのルール（例えば、フローエントリ）を含む転送テーブルを含む。管理されるスイッチング要素８２０が、管理されるスイッチング要素８１０からパケット１３３０を受信すると、管理されるスイッチング要素８２０は、管理されるスイッチング要素８２０の転送テーブルに基づいて、パケット１３３０の処理を開始する。管理されるスイッチング要素８２０は、ステージ１３７２のコンテキストマッピングを実装する転送テーブル内の丸で囲まれた４によって示されるレコード（「レコード４」と呼ぶ）を識別する。レコード４は、パケット１３３０のヘッダに格納された論理コンテキストに基づいて、パケット１３３０の論理コンテキストを識別する。論理コンテキストは、パケット１３３０が、管理されるスイッチング要素８１０によって実行されたステージ１３６４及び１３６６によって処理されていることを指定する。このように、レコード４は、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。

0157

次に、管理されるスイッチング要素８２０は、パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、ステージ１３７４の出口ＡＣＬを実装する転送テーブル内の丸で囲まれた５によって示されるレコード（「レコード５」と呼ぶ）を識別する。この例では、レコード５は、パケット１３３０がさらに処理されることを可能にし、したがって、パケット１３３０が、転送テーブルによって（例えば、パケット１３３０をディスパッチポートに送信することによって）さらに処理されることを指定する。加えて、レコード５は、管理されるスイッチング要素８２０が、パケット１３３０の論理コンテキスト（例えば、パケット１３３０は、処理パイプライン１３００のステージ１３７４によって処理されている）を、パケット１３３０のヘッダのフィールドのセットに格納することを指定する。

0158

次に、管理されるスイッチング要素８２０は、パケット１３３０のヘッダに格納された論理コンテキスト及び／又は他のフィールドに基づいて、ステージ１３７６の物理マッピングを実装する転送テーブル内の丸で囲まれた６によって示されるレコード（「レコード６」と呼ぶ）を識別する。レコード６は、パケット１３３０がＶＭ４に到達するために、パケット１３３０が送信されるべき管理されるスイッチング要素８２０のポート５を指定する。この場合では、管理されるスイッチング要素８２０は、ＶＭ４に結合される管理されるスイッチング要素８２０のポート５からパケット１３３０を送出することになる。いくつかの実施形態では、管理されるスイッチング要素８２０は、パケットをＶＭ４に送信する前に、パケット１３３０から論理コンテキストを除去する。

0159

図１４は、どの管理されるスイッチング要素にパケットを送信するかを決定するために、パケットを転送するためにいくつかの実施形態が実行するプロセス１４００を概念的に示す。プロセス１４００は、いくつかの実施形態では、パケットを受信し、別の管理されるスイッチング要素、又はパケットの宛先マシンにパケットを送信する管理されるスイッチング要素によって実行される。

0160

プロセス１４００は、（１４０５で）送信元マシンからパケットを受信することによって開始する。プロセス１４００は、次に、（１４１０で）Ｌ２処理の一部を実行する。プロセスがＬ２処理を実行するにしたがって、プロセス１４００は、（１４１５で）パケットが、パケットのさらなる処理のために第２のレベルの管理されるスイッチング要素に送信される必要があるかどうかを判定する。いくつかの実施形態では、プロセスは、パケットの宛先Ｌ２アドレスに基づいてこの判定を行う。プロセスは、宛先Ｌ２アドレスを見て、宛先Ｌ２アドレスと関連付けられたポートを介してパケットを送出する。例えば、パケットの宛先Ｌ２アドレスが、Ｌ３ルータのＬ２アドレスである場合、プロセスは、Ｌ３ルータと関連付けられた管理されるスイッチング要素と関連付けられたポートからパケットを送出する。パケットの宛先Ｌ２アドレスが、宛先マシンのＬ２アドレスである場合、プロセスは、宛先マシン、又は、宛先マシンへのルート中でより近い管理されるスイッチング要素に直接接続された管理されるスイッチング要素にパケットを送信する。

0161

プロセス１４００が、（１４１５で）パケットが第２のレベルの管理されるスイッチング要素に送信される必要があると判定すると、プロセス１４００は、（１４２０で）論理ルータを実装するＬ３ルータに通信可能に結合された第２のレベルの管理されるスイッチング要素にパケットを送信する。そうでなければ、プロセス１４００は、（１４２５で）宛先マシン、又は別の管理されるスイッチング要素にパケットを送信する。次に、プロセスは、終了する。

0162

図１５は、上述したホスト８９０を概念的に示す。具体的には、管理されるスイッチング要素８１０が、Ｌ３ルータからパケットを受信し、パケットが、同じホスト８９０に実装された別のＬ３ルータに向けられている場合、管理されるスイッチング要素８１０は、フローエントリに基づいて、２つのＬ３ルータを直接ブリッジする。

0163

図示のように、管理されるスイッチング要素８１０は、２つのＬ３ルータ１及び２に結合される。管理されるスイッチング要素８１０が含むフローエントリは、図の右側に示されている。フローエントリは、一方のＬ３ルータから別のＬ３ルータにアドレスされるトラフィックが、他のＬ３ルータに直接行くべきであることを示す。

0164

また、この図は、追加のネットワークトラフィックをルーティングするために、より多くの管理されるスイッチング要素が設けられ、既存のＬ３ルータに依存する場合、追加のルーティングリソースを提供するために、追加のルータが、ホスト８９０に設けられてよいことを示す。

0165

図１６は、第１及び第２のＬ３ルータが同じホストに実装されている場合、第１のＬ３ルータから第２のＬ３ルータにパケットを直接転送するためにいくつかの実施形態が使用するプロセス１６００を概念的に示す。プロセス１６００は、いくつかの実施形態では、上述した管理されるスイッチング要素８１０のような管理されるスイッチング要素によって実行され、管理されるスイッチング要素は、単一のホストに実装される２つ以上のＬ３ルータとパケットを交換する。

0166

プロセス１６００は、（１６０５で）第１のＬ３ルータからパケットを受信することによって開始する。プロセス１６００は、次に、（１６１０で）パケットが、第１のＬ３ルータが実装されているのと同じホストに実装されている第２のＬ３ルータにアドレスされているかどうかを判定する。プロセス１６００は、これを、パケットのヘッダ内の情報（例えば、宛先ＭＡＣアドレス）を調べることによって判定する。

0167

プロセス１６００が、（１６１０で）パケットが第２のＬ３ルータに向けられていると判定した場合、プロセス１６００は、パケットを第２のＬ３ルータに送信する。そうでなければ、プロセス１６００は、パケットの宛先（例えば、別の管理されるスイッチング要素又は宛先マシン）に向けてパケットを送信する。次に、プロセス１６００は、終了する。

0168

図１７〜２４は、管理されるスイッチング要素のフローエントリに基づいて、管理されるスイッチング要素に実装される集中型論理ルータを示す。図１７は、図２を参照して上述した論理処理パイプライン２００の例示的な実装を概念的に示す。図１７は、ネットワークアーキテクチャ１７００を示す。ネットワークアーキテクチャ１７００では、論理処理パイプライン２００は、３つの管理されるスイッチング要素１７１５、１７２０、及び１７２５によって実行される。具体的には、Ｌ２処理２０５及びＬ２処理２１５は、管理されるスイッチング要素１７１５、１７２０、及び１７２５にまたがって分散的に実行される。Ｌ３処理２１０は、管理されるスイッチング要素１７２０のフローエントリに基づいて、管理されるスイッチング要素１７２０によって実行される。図１７は、送信元マシン１７１０及び宛先マシン１７３０も示す。

0169

管理されるスイッチング要素１７１５は、管理されるスイッチング要素１７１５も、エッジスイッチング要素に結合されたマシンからパケットを直接受信するエッジスイッチング要素であるという点で、図６を参照して上述した管理されるスイッチング要素６１５と同様である。管理されるスイッチング要素１７１５は、送信元マシン１７１０からパケットを受信する。管理されるスイッチング要素１７１５が、送信元マシン１７１０からパケットを受信すると、管理されるスイッチング要素１７１５は、パケットを論理的に転送するために、パケットにＬ２処理２０５の一部を実行する。パケットが、別の論理ネットワークにある宛先マシン１７３０に向けられている場合、パケットは、管理されるスイッチング要素１７２０に転送される。

0170

管理されるスイッチング要素１７１５と、管理されるスイッチング要素１７２０との間に、１つ又は複数の管理されるスイッチング要素（図示せず）が存在してよい。これらの管理されるスイッチング要素は、ネットワーク構成物（例えば、ＰＩＦ、ＶＩＦ、など）を有し、ネットワーク構成物には、論理スイッチ２２０（図１７には示さず）の論理構成物（例えば、論理ポート）がマッピングされる。

0171

管理されるスイッチング要素１７２０は、いくつかの実施形態ではエクステンダとして機能する第２のレベルの管理されるスイッチング要素である。管理されるスイッチング要素１７２０は、Ｌ２処理２０５の残りを実行し、Ｌ３処理２１０も実行する。管理されるスイッチング要素１７２０は、また、論理処理パイプライン２００のＬ２処理２１５の一部を実行する。管理されるスイッチング要素１７２０は、次に、管理されるスイッチング要素１７２５にパケットを送信する。

0172

管理されるスイッチング要素１７２０と、管理されるスイッチング要素１７２５との間に、１つ又は複数の管理されるスイッチング要素（図示せず）が存在してよい。これらの管理されるスイッチング要素は、ネットワーク構成物を有し、ネットワーク構成物には、論理スイッチ２２０（図１７には示さず）の論理構成物がマッピングされる。

0173

この例の管理されるスイッチング要素１７２５は、管理されるスイッチング要素１７２０からパケットを受信する。管理されるスイッチング要素１７２５は、パケットを論理的に転送するために、パケットにＬ２処理２１５の残りを実行する。この例では、管理されるスイッチング要素１７２５は、パケットを宛先マシン１７３０に直接送信するスイッチング要素でもある。しかしながら、管理されるスイッチング要素１７２５と、宛先マシン１１３０との間に、１つ又は複数の管理されるスイッチング要素（図示せず）が存在してよい。これらの管理されるスイッチング要素は、ネットワーク構成物を有し、ネットワーク構成物には、論理スイッチ２３０（図１７には示さず）の論理構成物がマッピングされる。

0174

Ｌ２処理２０５及びＬ２処理２１５は、この例では分散的に実行されるが、Ｌ２処理２０５及びＬ２処理２１５は、分散的に実行される必要はない。例えば、管理されるスイッチング要素１７１５は、Ｌ２処理２０５全体を実行することができ、管理されるスイッチング要素１７２５は、Ｌ２処理２１５全体を実行することができる。このような場合、管理されるスイッチング要素１７２０は、論理処理パイプライン２００のＬ３処理２１０のみを実行することになる。

0175

図１８は、論理スイッチ２２０、論理ルータ２２５、及び論理スイッチ２３０を介してパケットを処理するいくつかの実施形態の論理処理パイプライン２００を概念的に示す。具体的には、この図は、図１７を参照して上述したネットワークアーキテクチャ１７００で実行される場合の論理処理パイプライン２００を示す。上述したように、ネットワークアーキテクチャ１７００では、Ｌ２処理２０５、Ｌ３処理２１０、及びＬ２処理２１５は、管理されるスイッチング要素１７１５、１７２０、及び１７２５によって実行される。

0176

Ｌ２処理２０５は、いくつかの実施形態では、管理されるスイッチング要素１７１５及び１７２０にまたがって実装される論理ネットワーク（図示せず）内の論理スイッチ２２０（図１８には示さず）を介してパケットを処理する７つのステージ１８０５〜１８３５を含む。いくつかの実施形態では、パケットを受信する管理されるスイッチング要素１７１５は、管理されるスイッチング要素１７１５がパケットを受信すると、Ｌ２処理２０５の一部を実行する。管理されるスイッチング要素１７２０は、次に、Ｌ２処理２０５の残りを実行する。

0177

最初の５つのステージ１８０５〜１８２５は、図７を参照して上述した最初の５つのステージ７０５〜７２５と同様である。Ｌ２処理２０５のステージ１８０５では、パケットの論理コンテキストを決定するために、パケットに入口コンテキストマッピングが実行される。いくつかの実施形態では、ステージ１８０５は、論理スイッチ２２０がパケットを受信する（例えば、パケットが、管理されるスイッチング要素１７１５によって受信される）と実行される。第１のステージ１８０５が実行された後、いくつかの実施形態は、論理コンテキストを表す情報を、パケットのヘッダの１つ又は複数のフィールドに格納する。

0178

いくつかの実施形態では、第２のステージ１８１０は、論理スイッチ２２０のために定義される。いくつかのこのような実施形態では、ステージ１８１０は、論理スイッチに対するパケットの入口アクセス制御を決定するために、パケットの論理コンテキストに関して動作する。例えば、論理スイッチがパケットを受信するとき、論理スイッチへのパケットのアクセスを制御するために、入口ＡＣＬがパケットに適用される。論理スイッチに対して定義された入口ＡＣＬに基づいて、パケットは、（例えば、ステージ１８１５によって）さらに処理されてよく、又は、パケットは、例えば、破棄されてよい。

0179

Ｌ２処理２０５の第３のステージ１８１５では、論理スイッチのコンテキストにおいて、パケットにＬ２転送が実行される。いくつかの実施形態では、第３のステージ１８１５は、論理スイッチ２２０に対してパケットを処理し、転送するために、パケットの論理コンテキストに関して動作する。例えば、いくつかの実施形態は、レイヤ２でパケットを処理するためのＬ２転送テーブル又はＬ２転送エントリを定義する。さらに、パケットの宛先が別の論理ネットワークである場合（例えば、パケットの宛先論理ネットワークが、そのトラフィックが論理スイッチ２２０によって処理される論理ネットワークと異なる場合）、論理スイッチ２２０は、パケットを論理ルータ２２５に送信し、論理ルータ２２５は、次に、パケットを宛先論理ネットワークにルーティングするために、Ｌ３処理２１０を実行することになる。したがって、第３のステージ１８１５では、管理されるスイッチング要素１７１５は、パケットが、論理ルータ２２５に関連付けられた論理スイッチの論理ポート（図示せず）を介して論理ルータ２２５に転送されるべきであると判断する。

0180

第４のステージ１８２０では、パケットの論理的転送の結果に対応する物理的結果を識別するために、出口コンテキストマッピングが実行される。例えば、パケットの論理的な処理は、パケットが論理スイッチ２２０の１つ又は複数の論理ポート（例えば、論理出口ポート）から送出されるべきであることを指定することができる。このように、出口コンテキストマッピング動作は、論理スイッチ２２０の特定の論理ポートに対応する１つ又は複数の管理されるスイッチング要素（管理されるスイッチング要素１７１５及び１７２０を含む）の物理ポート（複数可）を特定する。管理されるスイッチング要素１７１５は、前のステージ１８１５で決定された論理ポートがマッピングされる物理ポート（例えば、ＶＩＦ）が、管理されるスイッチング要素１７２０のポート（図示せず）であると判断する。

0181

Ｌ２処理２０５の第５のステージ１８２５は、第４のステージ１８２０で実行された出口コンテキストマッピングに基づいて物理マッピングを実行する。いくつかの実施形態では、物理マッピングは、第４のステージ１８２０で決定された物理ポートに向けてパケットを送信する動作を決定する。例えば、いくつかの実施形態の物理マッピングは、パケットが第４のステージ１８２０で決定された物理ポート（複数可）に達するために、パケットを送信するために通過する、Ｌ２処理２０５を実行している管理されるスイッチング要素１７１５のポートのセット（図示せず）の１つ又は複数のポートに関連付けられた１つ又は複数のキュー（図示せず）を決定する。このように、管理されるスイッチング要素は、決定された物理ポート（複数可）にパケットが達するためのネットワーク内の正しい経路に沿って、パケットを転送することができる。

0182

図示のように、Ｌ２処理２０５の第６のステージ１８３０は、管理されるスイッチング要素１７２０によって実行される。第６のステージ１８３０は、第１のステージ１８０５と同様である。ステージ１８３０は、管理されるスイッチング要素１７２０がパケットを受信すると実行される。ステージ１８３０では、管理されるスイッチング要素１７２０は、パケットの論理コンテキストをルックアップし、Ｌ２出口アクセス制御が、実行されるために残っていると判断する。

0183

いくつかの実施形態の第７のステージ１８３５は、論理スイッチ２２０のために定義される。いくつかのこのような実施形態の第７のステージ１８３５は、論理スイッチ２２０に対するパケットの出口アクセス制御を決定するために、パケットの論理コンテキストに関して動作する。例えば、論理転送がパケットに実行された後に、論理スイッチ２２０外へのパケットのアクセスを制御するために、出口ＡＣＬがパケットに適用されてよい。論理スイッチのために定義された出口ＡＣＬに基づいて、パケットは、さらに処理されてよく（例えば、論理スイッチの論理ポート外に送出される、若しくは、さらなる処理のためにディスパッチポートに送信される）、又は、パケットは、例えば、廃棄されてよい。

0184

Ｌ３処理２１０は、論理スイッチ２２０（図１８には示さず）を介してパケットを処理するための６つのステージ１８４０〜１８５６を含み、論理スイッチ２２０は、管理されるスイッチング要素１７２０のＬ３フローエントリに基づいて、管理されるスイッチング要素１７２０に実装される。上述したように、Ｌ３処理は、レイヤ３ネットワークを介してどこにパケットをルーティングするか決定するための論理ルーティングルックアップのセットを実行することを含む。

0185

第１のステージ１８４０は、論理ルータ２２５がパケットを受信すると（すなわち、論理ルータ２２５を実装する管理されるスイッチング要素１７２０がパケットを受信すると）、アクセス制御を決定するための論理入口ＡＣＬルックアップを実行する。次のステージ１８４１は、パケットの宛先アドレスを、パケットの送信元マシンから隠されている宛先マシンの実際のアドレスに戻すために、ＤＮＡＴを実行する。このステージ１８４１は、ＤＮＡＴが有効にされている場合、実行される。

0186

次のステージ１８４５は、パケットＬ３アドレス（例えば、宛先ＩＰアドレス）及びルーティングテーブル（例えば、Ｌ３エントリを含む）に基づいて、レイヤ３ネットワークを介してパケットを送信するための１つ又は複数の論理ポートを決定するための論理Ｌ３ルーティングを実行する。論理ルータ２２５は、管理されるスイッチング要素１７２０によって実装されるため、Ｌ３フローエントリは、管理されるスイッチング要素１７２０内に構成される。

0187

第４のステージ１８５０では、いくつかの実施形態の管理されるスイッチング要素１７２０は、パケットにＳＮＡＴも実行する。例えば、管理されるスイッチング要素１７２０は、送信元ＮＡＴが有効にされている場合、送信元ＩＰアドレスを隠すために、パケットの送信元ＩＰアドレスを異なるＩＰアドレスに置き換える。また、以下にさらに説明するように、管理されるスイッチング要素は、ネットワークアドレスを変換するためのフローエントリを受信するために、ＮＡＴデーモンを使用することができる。ＮＡＴデーモンは、図３１を参照してさらに後述される。

0188

第５のステージ１８５５は、論理ルータ２２５が、ステージ１８４５で決定されたポートを介してパケットを論理ルータ２２５の外にルーティングする前に、アクセス制御を決定するための論理Ｌ３出口ＡＣＬルックアップを実行する。Ｌ３出口ＡＣＬルックアップは、パケットのＬ３アドレス（例えば、送信元及び宛先ＩＰアドレス）に基づいて実行される。

0189

第６のステージ１８５６は、宛先Ｌ３アドレス（例えば、宛先ＩＰアドレス）を宛先Ｌ２アドレス（例えば、宛先ＭＡＣアドレス）に変換するために、アドレス解決を実行する。いくつかの実施形態では、管理されるスイッチング要素１７２０は、宛先ＩＰアドレスに対応する宛先Ｌ２アドレスを見つけるために、（例えば、ＡＲＰ要求を送信するか、ＡＲＰキャッシュをルックアップすることによって）標準的なアドレス解決を使用する。また、以下にさらに説明するように、いくつかの実施形態の管理されるスイッチング要素１７２０は、Ｌ３アドレスをＬ２アドレスに解決するためのフローエントリを受信するために、Ｌ３デーモンを使用することができる。Ｌ３デーモンは、図４８〜５０を参照してさらに後述される。

0190

論理ルータ２２５が宛先論理ネットワークに結合されていない場合、論理スイッチ２２０は、宛先論理ネットワークに向かう別の論理ルータネットワークにパケットを送信する。論理ルータ２２５が宛先論理ネットワークに結合されている場合、論理スイッチ２２０は、宛先論理ネットワーク（すなわち、宛先論理ネットワークにパケットを転送する論理スイッチ）にパケットをルーティングする。

0191

Ｌ２処理２１５は、いくつかの実施形態では、管理されるスイッチング要素１７２０及び１７２５（図示せず）にまたがって実装される別の論理ネットワーク（図１８には示さず）内の論理スイッチ２３０を介してパケットを処理するための７つのステージ１８６０〜１８９０を含む。ステージ１８６０〜１８９０は、ステージ１８６０〜１８９０が、論理スイッチ２３０によって（すなわち、論理スイッチ２３０を実装する管理されるスイッチング要素１７２０及び１７２５によって）実行される点を除いて、それぞれ、ステージ１８０５〜１８３５と同様である。

0192

図１９は、論理ルータ２２５並びに論理スイッチ２２０及び２３０を実装するいくつかの実施形態の例示的なネットワークアーキテクチャ１９００を概念的に示す。具体的には、ネットワークアーキテクチャ１９００は、そのデータパケットが論理ルータ２２５並びに論理スイッチ２２０及び２３０によって切り替えられる及び／又はルーティングされる論理ネットワークを実現する物理ネットワークを表す。図は、図の上半分に、論理ルータ２２５並びに論理スイッチ２２０及び２３０を示す。この図は、図の下半分に、それぞれ、ホスト１９９０、１９８０、及び１９８５（例えば、Ｗｉｎｄｏｗｓ（登録商標）及びＬｉｎｕｘ（登録商標）のようなオペレーティングシステムによって動作されるマシン）で動作している、第２のレベルの管理されるスイッチング要素１９１０、管理されるスイッチング要素１９１５及び１９２０を示す。図は、図の上部及び下部の両方にＶＭ１〜４を示す。

0193

この例では、論理スイッチ２２０は、論理ルータ２２５、ＶＭ１、及びＶＭ２間でデータパケットを転送する。論理スイッチ２３０は、論理ルータ２２５、ＶＭ３、及びＶＭ４間でデータパケットを転送する。上述したように、論理ルータ２２５は、論理スイッチ２２０及び２３０並びにおそらく他の論理ルータ及びスイッチ（図示せず）間でデータパケットをルーティングする。論理スイッチ２２０及び２３０並びに論理ルータ２２５は、論理ポート（図示せず）を介して論理的に結合され、論理ポートを介してパケットを交換する。これらの論理ポートは、Ｌ３ルータ１９６０並びに管理されるスイッチング要素１９１０、１９１５、及び１９２０の物理ポートにマッピングされる。

0194

いくつかの実施形態では、論理スイッチ２２０及び２３０の各々は、管理されるスイッチング要素１９１５及び１９２０並びにおそらく他の管理されるスイッチング要素（図示せず）にまたがって実装される。いくつかの実施形態では、論理ルータ２２５は、管理されるスイッチング要素１９１０に通信可能に結合されるＬ３ルータ１９６０に実装される。

0195

この例では、管理されるスイッチング要素１９１０、１９１５、及び１９２０は、それぞれ、ホスト１９９０、１９８０、及び１９８５で実行するソフトウェアスイッチング要素である。管理されるスイッチング要素１９１０、１９１５、及び１９２０は、論理スイッチ２２０及び２３０を実装するフローエントリを有する。これらのフローエントリを使用して、管理されるスイッチング要素１９１５及び１９２０は、管理されるスイッチング要素１９１０、１９１５、及び１９２０に結合されるネットワーク内のネットワーク要素間でネットワークデータ（例えば、パケット）を転送する。例えば、管理されるスイッチング要素１９１５は、ＶＭ１及び３と、第２のレベルの管理されるスイッチング要素１９１０との間でネットワークデータをルーティングする。同様に、管理されるスイッチング要素１９２０は、ＶＭ２及び４と、第２のレベルの管理されるスイッチング要素１９１０との間でネットワークデータをルーティングする。図示のように、管理されるスイッチング要素１９１５及び１９２０は、それぞれ、管理されるスイッチング要素１９１５及び１９２０に結合されるネットワーク要素とデータパケットを交換するために介する３つのポート（番号付けされた正方形として示される）を有する。