[レポート] NET305: AWS グローバル・ネットワークの舞台裏 #reinvent

開催中の AWS re:Invent 2018 会場より、本日（ 11/26 現地時間）行われた下記セッションをレポートします。

セッションタイトル

• NET305 Behind the Scenes: Exploring the AWS Global Network

概要

セッション概要より抄訳：

• AWS グローバル・ネットワークはセキュアかつ高可用性・高パフォーマンスのインフラストラクチャであり、各AZやリージョン、エッジネットワークをインターネットの手前で相互接続している
• Direct Connect や CloudFront といった AWS サービスとグローバルネットワークの統合が如何に快適な環境を提供しているかをひもとく
• もしあなたが、AWS のネットワークインフラストラクチャがどうやって大規模な 猫の写真 の配布を行うことが出来るのか不思議に思っているのなら、このセッションに答えがある

The AWS Global Network provides a secure, highly available, and high- performance infrastructure for customers. In this session, we walk through the architecture of various parts of the AWS network such as Availability Zones, AWS Regions, our Global Network connecting AWS Regions to each other and our Edge Network which provides Internet connectivity. We explain how AWS services such as AWS Direct Connect and Amazon CloudFront integrate with our Global Network to provide the best experience for our customers. We also dive into how the AWS Global Network connects to the rest of the Internet through peering at a global scale. If you are curious about how AWS network infrastructure can support large-scale cat photo distribution or how Internet routing works, this session answers those questions.

Speaker

• Tom Scholl - Senior Principal Network Engineer, AWS
• Steve Seymour - Principal Solutions Architect, AWS

資料

内容

アジェンダ

• AWS ネットワークのキーテーマ
• リージョン
• グローバルネットワークのバックボーン
• エッジロケーション・POPs
  • POPs = Point of Presence、接続ポイント

AWS グローバルネットワークの概要

• キーテーマ
  • セキュリティと可用性
  • 障害からの強い独立
  • スケーラビリティ
  • パフォーマンス
• トラフィックフローの例

• その詳細

• 猫 画像はあるひとつの AZ の中にある
• それはリージョンの中に収まっている
• Transit CenterからEdge POPsを経由して、インターネットの先に居る 猫 の元に届く

AWS リージョン

• アベイラビリティゾーン (AZ)
  • 他の AZ の障害から独立
  • 他の AZ と直接接続
  • 複数のデータセンタ
  • 低レイテンシ、密接
  • スケーラビリティ
• 二つのトラフィックフロータイプ
  • Side-to-side （東西 / ホスト間）
  • Up-to-down （南北 / 対インターネット・他リージョン）

スケーラブルなデータセンタを造る

• ネットワーキングテクノロジ
  • ルータ
  • 物理（L2以下）接続
  • コントロールプレーン
• セルで区切られたデータセンタアーキテクチャ
• ルータについて
  • 大きな筐体より、単チップのルータが良い
  • よりシンプルなパケット転送アーキテクチャ
• ネットワークモニタリング
  • Active data-plane probing
  • 統計的な偏差とふるまいの検知
  • デバイスからの信号を展開する
  • コンポーネントを深く監視する
    • ハードウェア
    • 電源
    • 温度

Transit Center

• 対インターネット・リージョン間接続（バックボーン）
• （リージョン内の）全ての AZ と冗長経路をもつ

AWS グローバルネットワーク・バックボーン

• 複数の AWS サービスと中継
  • Direct Connect
  • インターネット接続
  • リージョン間接続
  • CloudFront (AWSサービス利用)
• 全てのリージョン間通信はバックボーンを経由する（ただし中国を除く）

Amazon (AWS) とインターネットの接続箇所

• 二箇所
  • リージョン内の Transit center
  • グローバルネットワークのエッジ POPs
• インターネット相互接続記録は PeeringDB で検索
  • Amazon.com - PeeringDB

エッジ接続ポイント（POPs）

• 複数の AWS サービス
  • Direct Connect
  • CloudFront (CDN)
  • Route 53 (DNS)
  • Shield (DDoS対策)

Inside POPs - CloudFront

• AWS グローバルネットワークの防御線
• 外部ネットワークとの低レイテンシ
• オリジンのフェッチはAWSバックボーン経由

Inside POPs - Route 53

• 外部ネットワークとの低レイテンシ
• IPv4 / IPv6 Anycast

Inside POPs - Direce Connect

• 外部ネットワークとの低レイテンシ
• 全ての AWS リージョンと通信可能
• 複数の顧客ネットワーク接続点（冗長性のため）
• 複数のエッジPOPsに存在

Inside POPs - Shield

• 顧客のAWS環境を自動的に保護
• トラフィックがバックボーンに到達する前に止める

Inside POPs - インターネット接続

• 数千箇所とBGP接続
  • プライベートピアリング（PNI）
  • パブリックピアリング（IX）
• 監視
  • AWSサービスのログからパフォーマンスデータを取得

まとめ

• 障害からの強い独立性
• 多方面にわたるネットワークモニタリングと自動的な再調整システム
• 莫大な量の冗長性・スペアの配置
• 全てのレイヤにおいてスケーリング可能
• カスタムハードウェアとend-to-endのコントロール

所感

なんというか、大量の情報が詰め込まれたセッションでした。グローバルネットワークは AWS のインフラ中のインフラで、ここに多くのリソースがつぎ込まれていることが分かります。具体的な数字や、過去の類似のセッションにあったようなチップ名などは出てきませんでしたが、一方で「AWS Shield はそもそもグローバルネットワークを守るためのもの」であるとか、「Route 53 には Anycast が使われている」など、これまで想像するしか無かったところが断言されたのは大きいかと思います。

ちなみに、このセッションの最初のタイトルは「猫画像配布の舞台裏」といった感じだったとのこと。途中で変更したようなのですが、最初の猫スライドにその名残がでたとのことでしたｗ