この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
US時間では今11/29(火)の夜中です。明日からre:Inventの本番。各種セッションが始まるのですが、今日はその前夜祭として、AWSのVP and Distinguished EngineerであるJames Hamiltonの講演が行われていました。
- Amazon データセンターについて、James Hamilton が語る | Agile Cat --- in the cloud
- 「ここまで話していいの？」：AWSのデータセンターの中身を、設計総責任者が話した (1/2) - ＠IT
私は日本でお留守番しながらLive Streamingを見ていました。現地組はビールを飲みながら聴講していたので、現地組にかわり聴講ブログを箇条書きベースにはなりますが書こうと思います。通信環境があまりよくない状況で聴講していたため、内容が一部途切れている場所もありますがご了承下さい。
- re:Inventを初めて開催した年の参加者は6,000人。今年はなんと登録者が32,300人！数年で5倍の規模のカンファレンスになりました。
- 今日は私の話を通じて、AWSインフラの普段は触れられない部分にdeep diveしていこうと思います。
- 2015年時点で、2005年のAmazon.comが動くのに必要だった規模のインフラを毎日のペースでデプロイしている。とにかくひたすら拡大・改善を続けている
- AWSの特徴はなっといってもElasticity. 年に一度行われるAmazon Prime Dayの直前にサーバを追加投入することで柔軟なピーク対応が行えている。このような発送はオンプレミスDCの限られたリソースの中では絶対に行えない。調達だけで数カ月かかる。
- このElasticityのおかげで、AWSはビジネスの加速に寄与している。デプロイサイクルを短縮化することでデリバリ速度をあげている。
- 今現在、AWSには10のリージョンがあり、モントリオール、パリ、ロンドン、寧夏リージョンを来年に開設予定している。CloudFrontのエッジロケーションは68箇所に存在し、それぞれがAWSの非常に早い100GbEで結ばれている。
- Amazonではコストを下げ、速度を改善することに日々多大な研究を費やしている。例えば海底ケーブル。海底3マイル(約4.8km)に敷設されたの海底ケーブルが西海岸、ハワイ、ニュージーランド、オーストラリアを結んでいる。
- すべてのAWSリージョンは最低でも2つのAZを持っている。最近作成されたリージョンでは3つ以上存在し、5つ存在するリージョンも
- それぞれのAZには30万台以上の物理サーバが存在している。
- DCは規模の経済が働くため、たくさん所有すれば所有するほど一台あたりのコストは安くなる。
- ルーターはAmazon特製のものを使用している。一本のケーブルで25GbEを実現して、低コストで高品質な通信を実現するような努力をしている。
- AWSが自分たちで集積回路を作り始めている。全ては低コスト、高品質のサービスを実現するため。
- ルータだけでなく当然物理サーバもAWS独自で設計している。
- 2012年からは、N/W処理など様々なもののハードウェアオフローディングを始めている。これによりレイテンシ、消費電力、費用がおよそ10分の1まで縮小される。
- 2014年時には、42Uのラックに880本のディスクが搭載されていた。それが今日では42Uのラックに1100本のディスクが入るようになった。一つのラックあたり8.8PBのデータ容量を持つことになり、重さにすると2278ポンド = (1トン超)
- 消費電力削減も大きなマターの一つ。AWSは大量の電力を消費するため、1%でも消費電力を改善できれば大きな効果をもたらす。
ゲストスピーカー
その後、3人のゲストスピーカーの話がありました。
Infosys mainframe migration to AWS
- 30年物、3000万行のCOBOLプログラムで動いていたメインフレームシステムをAWSに移行した話
- メインフレームのシステムには増台するコスト、柔軟性の不足、メインフレームエンジニアの不足という3つの問題を抱えていた
- 移行はとにかくHard work. AWSとMainframeそれぞれに精通したエンジニアを多数揃えることでようやく実現した
NASA on AWS
次に、NASAのお話を受けました。AWSの話はそこそこに、NASAが何を考えて宇宙の研究をしているのか、という点で一人の宇宙ファンとして純粋にワクワクしながら話を聞いていました。
Machine Learning on AWS
AWSから、先日発表されたGPUインスタンスタイプであるp2インスタンスの紹介や、mxnet.ioという機械学習ライブラリの紹介をしつつ、AWSで機械学習プログラムを動かすことで最適なスケールを維持しつつ高い費用対効果をえることができる、という紹介がありました。
まとめ
前夜祭として、James Hamiltonの「AWS Inside Deep Dive」とも呼ぶべき非常に深い話を聞くことができました。翌日から始まるKeynoteへの期待が膨らみますね！
Keynoteは日本時間12/1(木) 01:00-02:30で行われます。以下からLiveStreamingでの視聴も可能です。興味のある方はぜひ忘れずに視聴を！
14
