(レポート) Keynote with Andy Jassy #reinvent
はじめに
本レポートはAWS re:Invent 2019の2日目日、12/3(月)に開催されたKeynote with Andy Jassyのレポートです。
登壇者はCEO of Amazon Web ServicesのAndy Jassy。
レポート
・8回目のAWS re:Inventへようこそ。今年は66,000人が参加している。ご存じのとおり、AWS reinventはセールスやマーケティングのためのカンファレンスではない。これは学習、教育のためのカンファレンスだ。私はたくさん伝えることを持っている。
・世界中の7,000の政府機関、10,000の学術機関、を25,000以上の非営利団体がAWSを使用している。
・今や多くの大企業がクラウドを利用している。大企業がクラウドへの移行を開始した理由は、ニュービジネスやスタートアップが多くの古くからあるビジネスをチェンジしたから。
・昔と比べてほしい、タクシーの利用方法は完全に変わった。Lift、Uber、多くのスタートアップが革命を起こした。
・ホテルの予約。昔あなたがどこかに泊まりたいと思ったらホテルに電話していた。今ではAirbnbがその業界をどのように完全に変えた。一度に400万件のアクセスがあり、1晩に200万人がAirbnbのホストハウスに滞在している。クレイジー。
・自転車は良い運動だけど、乗ったら移動しなくてはいけない。そして自宅で自転車に乗るのはちょっと退屈。Pelotonはその体験を完全に変えた。毎日20のライブストリームが提供され、10,000のオンデマンドストリームを見ながら自転車で運動が出来る。
・食べ物の配達。昔は、ニューヨークに住んでいない限り、ピザしか配達してくれなかった。今ではドアDoordash、Grubhub、Postmatesなどの企業が、事実上すべてのものを届けてくれる。
・考えてみれば、これらのスタートアップ企業は、過去からずっと存在してきたビジネスを大きくチェンジさせてきた。だから、今日の基調講演のテーマとして何を選ぶべきかを考えたとき、同じトピックに戻ってきた。つまり、変革についてどのように考えるべきか？ビジネスと顧客体験を改革するにはどうするべきか？変革とは、自分自身を変革すること、または新しい技術や状況や機会に合わせて変革することを意味する。
・もし何かを変革するつもりなら、先延ばしにしてはいけない。待っても楽にはならない。変革に必要なのは技術ではない。リーダーシップが全て。
・1つめ。大きな変革を起こすのは簡単ではない。組織には様々なブロック要因がある。時には意図的に、あるいは自己保身でブロックされることもある。上級管理職の信念を一致させなければいけない。
・2つめ。そして速く組織を動かすことを強制するための、積極的なトップダウン目標が必要だ。
・3つめ。さらに、人々を何度も訓練する必要がある。クラウドを使用するのはそれほど難しくないが、少しトレーニングが必要。そのため、毎年数十万人の顧客をトレーニングしてる。
・4つめ。始める前に組織が麻痺しないこと。顧客と私たちがよくやることは、ポートフォリオ分析を行って、全てのアプリケーションを調べ、それらを分類すると移行が簡単。移行が難しいものは後に持っていく。またクラウドに移行する前に再設計する必要があるシステムのリストも作成する。
・したがって、この変換の最初のステップに必要なのは技術ではなく、リーダーシップ。積極的なトップダウンの意思決定が重要。
・私達は175以上のサービスを提供している。数だけではなく、幅広い様々な機能が用意されている。
・いくつかのことを伝えたい。まず第一に、全てのコンピューターは優れたネットワークが接続されている。AWSよりも多くの機能と能力を備えたネットワークは無い。そして数多くのコンピューティングがある。現在、2年前に比べて4倍のインスタンスタイプがあるが、はるかに速い速度でイノベーションを実現できたのにはいくつかの理由がある。
・1つ目は、ここ数年でかなりの時間を費やして、仮想化ハイパーバイザーの再開発したこと。AWS Nitroシステムはベアメタルと区別できないほど高いパフォーマンスを、はるかに低いコストで発揮する。
・2つ目は、チップを設計および構築することを決定したこと。私たちにとって大きな転機は、イスラエルの非常に才能のある専門のチップデザイナーとビルダーのグループであるAnnapurna Labsを買収したとき。そして、より多くの機能を提供するために、実際にチップを設計および構築することにした。
・私たち自身を含め、多くの企業が長い間X 86プロセッサーを使用している。Intelは非常に緊密なパートナーだが、コストパフォーマンスの限界を押し上げるために、AMDの利用を開始した。
・私達のチームが作業を開始した最初のチップは、クラウドの最初のARMベースのインスタンスであるA1インスタンスの一部として昨年発表した、AWS Gravitonと呼ばれるアームベースのチップだった。
・新しいインスタンスセット。M6g、R6G、およびC6gインスタンスは、AWS Graviton2を搭載した新世代のインスタンス。2020年初頭に利用可能になる。
・その後、私たちはまた、ゲームチェンジャーになると考えていたものに取り組み始めた。それは機械学習だ。特にトレーニングについて、数年にわたってグループで多くのことを話してきた。多くの機械学習を大規模かつ実稼働で行う場合、コストの大部分は推論の予測にある。この問題に取り組みたい。昨年、私たちはInferentiaと呼ばれる推論に最適化されたチップに取り組んでいることをKeynoteで発表した。そして本日、Inf1インスタンスを発表する。現在、EC2で利用可能。ECS/EKS/SageMakerは2020年初頭で利用できるようになる。
・コンテナについて少し話そう。顧客はますますコンテナを活用している。これは、マイクロサービスのアーキテクチャの出現と、みんながより迅速かつ迅速にアプリケーションを展開できるからだ。kubernetesの管理サービスであるコンテナーサービスが事実上1つある。以前は、非常に人気のあるオーケストレーションエンジンがあった。顧客が私たちに言ったことは、コンテナだけが欲しいわけではないということ。そのためElastic Container Service(ECS)をリリースした。
・Kubernetesが非常に人気を博したため、多くのお客様が私たちに何かをしてほしいと望んでいた。今日、クラウドで実行されるkubernetesの84％がAWSで実行されている。そのため、多くの顧客はマネージドサービスを望んでいた。そこで私達はEKSをリリースした。
・顧客が言うには、コンテナサービスを管理するためにこれらの選択肢があるのは素晴らしいことですが、サーバーやクラスターについて心配したくない。コンテナをタスクレベルで管理したい。そのため、AWS Fargateをリリースした。
・顧客は言った。「私たちはFargateが大好きです。しかし、なぜそれをKubernetesで動作させないのでしょうか？」
・そのため、Amazon Fargate for Amazon EKSをリリースする。Kubernetesを利用している方は、すぐにAWSでコンテナを実行するのと同じメリットが享受できる。
・基調講演の前によくやっているように、音楽を演奏しているDJがいた。今年は2人のDJがいました。男性DJの名前はDavid Solomon。ゴールドマンサックスのCEOだ。
・ゴールドマンサックスのCEO、David Solomonが登壇。ゴールドマンサックスが金融業界においてどのようにAWSを活用しているのかを説明。
・変化には様々なものを捨てなくてはならない。例えば、企業がクラウドとオンプレミスを比較すると、クラウドが高くなることがある。しかし、クラウドは変化する。オンプレミスはElasticではないし、年に2500の新機能をローンチするクラウドの利点はない。新しいサービスは1年でリリースされる。
・オンプレミスからクラウドへの移行は家の引っ越しに似ている。ほら、メインフレームがある。ライセンスの変更、価格の引き上げなどの問題もある。
・多くの企業は、高価で遅く、複雑であるため、できるだけ早くメインフレームから離れようとしている。また、メインフレームのスキルを持っている人はほとんどいない。企業は、メインフレームからできるだけ早く離れようとしている。そして、そうすることで多くの成功を収めている。
・そして、古い商用のデータベース。人々はOracleから離れようとしている。なぜなら、それは高価であり、大量のロックインと懲罰的な条件があるからだ。
・オープンソースのDBエンジンは、商用データベースと十分比較可能なパフォーマンスを発揮する。しかし、移行には大きな時間が必要だ。そこで私達はAmazon Auroraをリリースした。商用データベースのコストの1/10で、数倍のパフォーマンスを発揮する。
・WindowsからLinuxへの移行は何年も続いている。LinuxはWindowsの約4倍の速度で成長している。これにはいくつかの理由がある。まず、人々はWindowsの税金を払いたくない。特に、価格が頻繁に上がることがわかっている場合はなおさらだ。第二に、Linuxには活気のあるコミュニティがある。そしてライセンスのルールは提供会社の理由で変更される。
・今現在、ギガバイトやテラバイトのデータを保存している世界ではない。私たちはペタバイトやエクサバイトのデータを消費する世界にいる。
・この大量データ時代の企業は、古いツールは利用していない。新しい技術の課題のために必要なツールを使い始めている。
・企業が抱える課題の1つは、長期間にわたって蓄積したすべてのデータがあり、残念ながらあちこちに保存されているということだ。
・S3がデータレイクとして選ばれる理由は？高い可用性、信頼性、拡張性をもっていること。そして最も安全なデータストアであり、多くの事例があること。バケットおよびアカウントのレベルでパブリックアクセスをブロックできる唯一のオブジェクトストアだ。そして昨日ローンチしたIAM Access Analyzerを利用して、すべてのオブジェクトとバケットに対するすべてのアクセス許可を分析できる唯一のオブジェクトストアだ。
・私達はみなさんがもっと柔軟にS3をS3にアクセスする方法を考えた。Amazon S3 Access Pointsをリリースする。
・Redshiftについて話したい。2012年にRedshiftの提供を開始した。データウェアハウスの世界が本当に変わった。クラウドで最も広く使用されているデータウェアハウスだ。昨年だけでもRedshiftチームは100を超える機能を追加している。
・私達は、多くの重要なデータが存在する全ての本番データベース全体でクエリを実行できるようにしたいと考えてた。本日、Federated Queryをリリースした。これにより、RedshiftからRDSとAurora PostgreSQL、そしてS3にクエリを実行できる。
・また、本日Amazon Redshift の新機能としてData Lake Exportをリリースした。
・顧客の要求。コンピューティングとストレージを越越に拡張させたい。これは合理的な要求。新しいRedshiftで実現した。
・ストレージを中心に備えた既存データウェアハウスのアーキテクチャの場合、処理を行うためには大規模なデータを計算のためのコンピュートノードに移動させる必要がある。そこにはいくつかの問題がある。1つめはデータ量。爆発的に増加したデータ量に対応するだけの高速なネットワークが必要になる。ネットワークが飽和するとパフォーマンスが低下しボトルネックになる。2つめはスループット。ネットワークのボトルネックを乗り越えても、CPIの使用はストレージに追いつくことができない。
・本来あるべき優れたパフォーマンスを実現するためにどのように進化する必要があるのか。Aqua、これはRedshiftのためのの高度なアクセラレータだ。クラウドデータウェアハウスソリューションよりも高いクエリパフォーマンスを得ることができる。2020年半ばに使えるようになる。
・数年前にローンチしたマネージドなElasticsearch Serviceは雑草のように成長している。このサービスを使用している人の数は信じられないほどだ。しかし、これらの顧客がどのようにESを使っているかを考えたとき、課題があることにも気づく。非常に多くの人々がマイクロサービスを使用しており、監視と評価に使用したいログデータが爆発的に増加している。その運用のパフォーマンスを満たすためには、現在のElasticsearchは比較的に非効率で、かつ高価だ。
・Amazon Elasticsearch Serviceのステロイドとなる、Ultra Warmをリリースする。適切に使用すれば、実行中のストレージコストを約90％節約できる。プレビューへのサインアップは今日から始まる。
・多くの企業はリレーショナルデータベースを使用しており、あまりに多くのデータがある。しかし高価で、複雑で、パフォーマンスが十分でない場合、Key/Value Storeが必要になる。更に、複数のデータベースのデータを関連させるためにはグラフトデータベースが必要だ。これがAmazon Neptuneを提供した理由だ。そして、時間の経過による変化を知るためにAmazon Timestreamを提供した。または、会社が大量のドキュメントを扱う場合、文書データベースが必要なため、MongoDBを使ったAmazon DocumentDBを構築した。
・しかし、明らかな欠落が1つある。それはCassandraだ。
・多くの顧客はCassandraをオンプレミスで管理している。ハードウェアを管理するのは難しい。ソフトウェアを管理するのも。スケールアップとスケールダウンも出来ない。Cassandraのロールバック機能は非常に使いづらく、多くの場合古いバージョンのCassandraを使っている。これはセキュリティ的に明らかに危険だ。Cassandraを大規模に使う顧客はDynamoDBに移行する傾向がある。しかし移行は簡単ではない。
・本日、Amazon Manage Cassandra Serviceのプレビューを発表する。
・CernerのCEO、Brent Schaefferが登壇。ヘルスケアテクノロジー企業。SageMakerの活用について。
・機械学習に対する私たちの考え方を共有したい。機械学習には3つの層がある。下層は、非常に快適なフレームワークレベルの機械学習の専門家向けだ。このグループは3つの主要なフレームワーク、Tensorflow、PyTorch、MXnetを扱う。私たちがータサイエンティストと話し合ったときにわかったことは、データサイエンティストの90％が複数のフレームワークを使用していること。したがって、3つの主要なフレームワークすべてを同様にサポートする。
・現在、世界にはそれほど多くの機械学習の専門家はいない。だから、機械学習を本当に重要なものにするなら、開発者やデータサイエンティストが機械学習にアクセスしやすくする必要がある。これが数年前にSageMakerをリリースした理由。
・1年前、Amazon SageMaker Ground Truthをリリースした。これにより、データに簡単にラベルを付けることができる。SageMakerのためのAWS Marketplaceをリリースした。これにより、機械学習で使用できる数百ものアルゴリズムが提供されている。DeepRacerは木曜日の基調講演の直前のチャンピオンシップのレースが行われる。Amazon SageMaker Neoでは一度トレーニングすればそのモデルをクラウドやエッジのどこでも実行できる。
・これらによって機械学習はとても簡単になったが、ステップのすべての作業と可視性を提供し、何がうまくいっているのかを把握することはまだ難しい。これがソフトウェア開発に統合開発環境を使う理由。
・機械学習のための、完全に統合された開発環境であるSageMaker Studioを発表する。WebベースのIDE。
・更に、Notebookをもっと簡単に扱うためのSageMaker Notebooksを発表する。クリックするだけでJupyterNotebookを数秒で利用を開始できる。
・私たちが抱えている別の問題について。機械学習にはあらゆる種類の試みがあり、多くの異なるパラメーターを狂ったように反復する。これをもっと簡単にしたい。SageMaker Processingを発表する。モデルの構築、取引、チューニングの各ステップを自動的に検索し、すべての入力、変数、すべてのパラメーター、結果を自動的にキャプチャする。
・どうすればトレーニングを簡単にできるか？人々はモデルを動かしているものをよりよく知り、それを調整し、修正し、説明できるようにしたいと考えている。SageMaker Debuggerを発表する。これにより、開発者はモデルのレーニングをデバッグし、プロファイルして、機械学習モデルの精度を向上させることができる。
・多くのモデルは複雑であり、問題を見つけるのは本当に難しい。SageMaker Model Monitorを使用すれば課題が解決出来る。モデルを監視して自動的にプロダクション環境で実行する。SageMaker Studioで使うことが出来る。
・非常に有用なデータセットがたくさんあることはわかっているが、これらのデータセットのモデルをトレーニングする時間や能力が必要だ。人々は自動機械学習モデルが必要だと言うが、より高い可視性が必要。そこでSageMaker Autopilotを発表する。これはフルコントロール出来るAuto MLだ。
・Dr Matt Wood登壇。SageMakerについてデモ。
・SageMakerと一緒に、機械学習専門家者向けの層について話した。そして今、最上位層がある。AIサービスだ。Pollyでテキストを音声に変換して、Transcribeで音声を文字に変換できる。Transcribeで翻訳できる。TextractでOCR出来る。すべての自然言語を使用して、AlexaやLexで利用できるようにした。更に昨年PersonalizeとForecastを提供した。
・そして、お客様から、お客様の経験に基づいて検討してほしいという依頼があった。それは詐欺。毎年世界中で数百億ドルの詐欺があり、そのための詐欺検出サービスやシステムgあある。しかしそれらは非常に高価であり、非常に不格好であり、機械学習をあまり使用せず、管理するのが難しく、あまりうまくスケーリングされないハードコーディングされたルールがたくさんある。私達はAmazonが20年以上にわたって不正検出を行ってきた中で、機械学習が信じられないほど役立つことを認識した。だがほとんどの企業にとって機械学習と不正検出を使用することは困難だ。
・そこで今日、詐欺管理を行う新しい機械学習サービスであるAmazon Fraud Detectorと呼ばれる新しいサービスの開始を発表する。
・私たちがさらに機械学習が助けてくれるかもしれないと考えていた領域は、コードだ。コードを記述し、確認し、ビルドおよびデプロイする仕組みはすでにある。私たち全員がコードレビューするが、それは全て主導だ。そして、コードレビューを行う人を持たない組織もたくさんある。
・だから、本日、Amazon CodeGuruと呼ばれる新しいサービスを発表する。これは、コードレビューを自動化する新しい機械学習サービスだ。これをAmazonを数年使用している。社内には80,000のアプリケーションがあり、何千万ドルもの節約につながった。
・クラウドサービスのコールセンターであるAmazon Connectとは信じられないほど速いスタートを切っている。非常にスケールしやすく、簡単にスケールアップおよびスケールダウンできる。非常に費用対効果が高く、使い始めるのは本当に簡単。高度なスキルは必要ない。
・顧客からのフィードバックとして、通話の分析がある。人々は全てのの電話を保存し、テキストを書き起こし、検索できるようにした。そしてそれらをすべて読むことなく、ポジティブな感情とネガティブな感情があるかどうかを知りたい。既に様々なサービスを組み合わせることで実現できるが、もっと簡単にしたかった。
・本日、Amazon Connectのコンタクトレンズの発売を発表する。シングルクリックでアクティブになり、全てのデータを書き起こし、自動的に分析を開始する。
・カスタマーサービスは様々なデータを必要とし、そしてあらゆるところに存在している。これらを全て統合してインデックスを構築する作業を行うのは本当に難しい。多くの場合検索はキーワードで行われるが、どのキーワードで行うべきなのか多くの人は知らない。
・機械学習と自然言語処理でエンタープライズサーチを改革する新しいサービスであるAmazon Kendraを発表する。
・Dr Matt Wood登壇。Kendraについてデモ。
・さて、人々が変革を進めた時に気づくこと。多くの場合、すべての最後のワークロードをクラウドに移行することは出来ない。オンプレミスに残らなければならないワーカーがいる場合、時々変革は失速してしまう。圧倒的多数のアプリケーションをクラウドで動かしていても、どうしても工場や施設に近くなければいけないワークロードがある。どうしたら良いか？
・私達はVmwareと深くパートナーシップを結び、VMware Cloud on AWSを提供した。1年前と比較して顧客数は約4倍になった。
・更にオンプレミスとクラウドをブリッジすること。それが昨年この基調講演で、AWS Outpostsを発表した理由です。
・今日、AWS OutpostsのGAを発表する。
・クラウドに移行出来ないもう一つの障害。1桁ミリ秒のレイテンシが必要とされる場合。この問題を解決するためのAWS Local Zonesをリリースする。これは新しいタイプのインフラストラクチャだ。
・更にクラウド移行が支障になるケース。世界中に多くのモバイルデバイスを所有しており、それらが高速にネットワークに接続する必要があるということ。5Gによって実現出来ると人々は期待する。しかしテクノロジーが本当に実現可能なことを正しく理解する必要がある。
・VerizonのCEO、Hans Vestberg登壇。5Gについて紹介。
・5Gは非常に魅力的。しかし問題は、非常に多くのホップが途中に存在すること。顧客が望んでいたのは、私達自身が5GのEdgeロケーションにいて、早く簡単にアクセスできること。そのためのAWS Wavelengthを発表する。これにより、1桁ミリ秒のレイテンシで配信するアプリケーションを構築できる。
・今日、大きな変革を話しました。
・時々、全てのワークロードをクラウドに移行する方法が無い場合、企業は行き詰まってしまう。
・私接待はその問題を解決するために多くの時間をかけてきたし、今後も努力し続ける。
・今日リリースしたサービスで、貴方がノックダウンしないように助けられたと思う。
・クラウドへの移行で起こっている変化は、私たちがこれまでのテクノロジーで見た中で最もタイタニックな変化だ。
・それをどのように扱うか、多くの人が変化を受け入れていると言うが、私の経験では、必ずしもそうとは限らない。
・多くの人々は変化に神経質になり、彼らにとってその変化が何を意味するのか、その変化で成功するスキルを持っているのかを知らない。
・多くの場合、このような大きな変化に対する最初の反応は、それを却下することだ。
・ビジネスの歴史には、大きな技術的変化に適応せず、塵の中に残っていた企業が散らばっている。
・クラウドは、これまで不可能だったものを実現するためのチャンスだ。
さいごに
全てのサービスが顧客の課題を解決するために、顧客からのフィードバックを受けて開発された、顧客ファーストである姿勢がしっかりと反映されたキーノートでした。何より多数の新サービスが発表されたことは本当にエキサイティングでしたね！
![[レポート]Amazon Redshiftで生成AIのためのデータ戦略を構築 #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
