![[AWS re:Invent 2024] Swami Sivasubramanian Keynoteで発表された新サービスまとめ #AWSreInvent](https://devio2024-media.developers.io/image/upload/v1733363243/user-gen-eyecatch/ymmfnlnpxgg5fvfmfqnz.png)
[AWS re:Invent 2024] Swami Sivasubramanian Keynoteで発表された新サービスまとめ #AWSreInvent
2024.12.05コンニチハ、千葉です。
AWS re:Invent 2024、現地ラスベガスからお送りしています。Swami Sivasubramanian Keynoteの中で発表された新サービスをまとめていきます。機械学習や生成AI関連のアップデートが大盛りです。随時アップデートしていきます。
発表された新サービス
Amazon SageMaker HyperPod flexible training plans (GA)
Amazon SageMaker HyperPodは、大規模な基盤モデルのトレーニングを最適化する新機能です。最大40%のトレーニング時間短縮を実現し、予測可能な時間枠内で効率的なトレーニングが可能です。HyperPodは、クラウド内で1,000以上のAIアクセラレーターを統合的に管理し、大規模な分散処理をサポートします。また、オンデマンドのリソース割り当てによりコスト効率も向上し、予算内での柔軟な運用が可能です。このサービスは、モデル開発のスピードを加速し、AI活用の広がりを支援します。
Amazon SageMaker HyperPod task governance
Amazon SageMaker HyperPodの新機能「task governance」は、プロジェクトの予算やタスクの優先度に基づいて、GPUやTrainiumなどの計算リソースの割り当てを動的かつ中央集権的に管理することを可能にします。これにより、リソースの無駄を最小限に抑え、AIプロジェクトの市場投入までの時間を短縮し、コスト超過を防ぐことができます。管理者は、数ステップで計算リソースの割り当てに関するクォータを設定でき、データサイエンティストや開発者は、必要なリソースを迅速に確保してモデルのトレーニングや推論を行うことが可能となります。
AI apps from AWS partners now available in Amazon SageMaker (GA)
パートナーのアプリを SageMaker 上にデプロイできるようになりました。
今までは、パートナーのネットワーク経由する必要がありセキュリティが十分ではありませんでした。
アップデートによりVPCで隔離された SageMaker 上ににパートナーアプリをデプロイできるようになりました。これにより、インフラの管理が不要かつ、データが隔離されセキュリティも向上します。
poolside Assistant (Coming soon)
Bedrock 上で様々なモデルを動かしてきました。MISTRAL AIの様々なモデル、MetaのLlama、stability.ai、ANTHROPIC の claudeなど様々なモデルをサポートしてきました。また、今回発表した Amazon Nova ファミリーもその一つです。
来年、poolside のモデルを追加します。poolside は開発者向けワークフローに特化した生成AIです。
コード生成、 テスト、ドキュメント作成など開発タスクに特化したLLMです。
Stable Diffusion3.5 (Coming soon)
Bedrock にて stability.ai の stable diffusion 3.5を追加予定です。
SageMaker HyperPod で学習された、テキストを画像に変換するモデルです。
高品質の画像を生成し、商品コンセプトからコンセプトアートまで幅広く対応します。
Luma AI (Coming soon)
Bedrock にて Luma AI を追加予定です。これは、テキストからビデオを生成します。
AIによるビデオ作成を支援し、大幅な進歩をもたらします。驚くべき高品質でリアルなビデオを生成します。
Amazon Bedrock Marketplace (GA)
Amazon Bedrock Marketplaceは、IBMやNvidiaなどの企業が提供するモデルを含む、100以上の人気・新興・専門的な基盤モデル（FMs）へのアクセスを提供します。 これにより、特定のドメインや言語、タスクに最適化されたモデルを容易に発見、テスト、デプロイでき、アプリケーションへの統合が簡素化されます。また、Amazon Bedrockの標準APIを通じてこれらのモデルにアクセスでき、Amazon Bedrock AgentsやKnowledge Basesなどのツールとも連携可能です。この統合により、セキュリティとガバナンスのレイヤーを簡素化し、生成AIの活用を加速します。
Amazon Bedrock supports prompt caching (Preview)
Amazon Bedrockの新機能「prompt caching 」は、頻繁に使用されるプロンプトの応答をキャッシュすることで、モデルへのリクエスト回数を削減し、コストを最大90%、レイテンシーを最大85%削減します。 キャッシュは各アクセス後最大5分間有効で、現在は特定のモデルとリージョンでプレビュー提供されています。この機能により、生成AIアプリケーションの効率とパフォーマンスが向上します。
Amazon Bedrock Intelligent Prompt Routing (Preview)
Amazon Bedrockは、インテリジェントプロンプトルーティングとプロンプトキャッシュのプレビュー版を発表しました。インテリジェントプロンプトルーティングは、プロンプトの複雑さに応じて最適なモデルを自動的に選択し、コストを最大30%削減します。プロンプトキャッシュは、頻繁に使用されるプロンプトの応答をキャッシュすることで、レイテンシーを最大85%、コストを最大90%削減します。これらの機能により、生成AIアプリケーションの効率とパフォーマンスが大幅に向上します。
Amazon Kendtra Generative AI Index (Preview)
Amazon Kendra GenAI Indexは、企業の非構造化データに生成AI機能を統合し、Amazon Bedrock Knowledge BasesやAmazon Q Businessとシームレスに連携することで、高度な検索・分析基盤を提供します。これにより、ユーザーは複数のサービスで単一のインデックスを活用でき、RAG（Retrieval Augmented Generation）の実装が容易になります。また、既存のKendra機能である各種コネクター連携、ユーザーコンテキストフィルタリング、メタデータサポート、関連性チューニングも継承しています。このサービスは、Amazon Kendraが利用可能な全リージョンで提供され、従量課金制となっています。
Amazon Bedrock Knowledge Bases supports structured data retrieval (Preview)
Amazon Bedrock Knowledge Basesは、自然言語のクエリをSQLに変換するNL2SQLモジュールを活用し、Amazon RedshiftやAmazon SageMaker Lakehouseなどの構造化データソースから情報を取得します。 これにより、ユーザーは「先月最も売れた製品トップ5は何ですか？」といった質問を直接行い、データベースから自動的に生成されたSQLクエリを通じて結果を取得できます。この機能は、構造化データを活用した生成AIアプリケーションの開発を容易にし、より直感的なデータ操作を可能にします。
Amazon Bedrock Knowledge Bases now supports GraphRAG (Preview)
Amazon Bedrock Knowledge Basesは、グラフデータベースであるAmazon Neptune Analyticsをベクトルストアとして利用することで、情報間の関連性を強化し、より精度の高いテキスト生成を可能にするGraphRAG（Graph Retrieval-Augmented Generation）をサポートしました（プレビュー版）。 これにより、関連性の高い情報を組み合わせたコンテキストリッチな応答生成が可能となり、複雑な質問に対しても的確な回答を提供できます。
Amazon Bedrock Data Automation (Preview)
Amazon Bedrock Data Automation（プレビュー版）は、非構造化データから価値あるインサイトを自動的に抽出するフルマネージド機能です。ドキュメント、画像、音声、動画などのマルチモーダルコンテンツを効率的に分析し、インテリジェントなドキュメント処理（IDP）やメディア分析、検索拡張生成（RAG）ワークフローを迅速かつコスト効果高く構築できます。
Amazon Bedrock Guardrails Multimodal toxicity detection (Preview)
Amazon Bedrock Guardrailsは、テキストに加えて画像コンテンツの有害性を検出・フィルタリングするマルチモーダル対応をプレビュー版で提供開始しました。これにより、憎悪、侮辱、性的、暴力的なカテゴリの有害な画像コンテンツを検出し、ユーザーエクスペリエンスの向上とモデル出力の管理が可能となります。この機能は、画像データをサポートするすべての基盤モデル（FMs）およびカスタムでファインチューニングされたモデルで利用できます。
Amazon Q Developer now tops the SWE Bench
Amazon Q Developer は SWE Bench でトップになりました。SWEベンチマークで最高のパフォーマンスを出しました。
※SWE-benchは、GitHubから収集した実世界のソフトウェア問題に対する大規模言語モデルの評価のためのベンチマークです。 コードベースと課題が与えられ、言語モデルは記述された問題を解決するパッチを生成することが求められます。
Amazon Q Developer is now available in SageMaker Canvas (Preview)
Amazon Q DeveloperがAmazon SageMaker Canvasに統合され、機械学習（ML）の専門知識がないビジネスアナリストやデータエンジニアでも、自然言語での対話を通じて高精度なMLモデルを構築できるようになりました。これにより、ユーザーはビジネス上の課題を効果的に解決するためのカスタムMLモデルを迅速に作成し、組織全体でのML活用が促進されます。
Amazon Q in QuickSight Scenarios (Preview)
Amazon Q in QuickSightは、新たにシナリオ分析機能のプレビュー版を発表しました。この機能は、AI支援によるデータ分析体験を提供し、迅速かつ優れた意思決定をサポートします。ユーザーは自然言語で質問や目標を入力するだけで、Amazon Q in QuickSightが分析手法の提案、データの自動解析、関連するインサイトの提示、そして推奨アクションの要約までを段階的にガイドします。これにより、専門的なスキルや手間のかかるデータ操作を必要とせず、複雑な問題に対する解決策を見つけることが可能となります。このシナリオ分析機能は、Amazon QuickSightのダッシュボードから直接アクセスでき、データの可視化からソリューションのモデリングまでシームレスに行えます。現在、Amazon Q in QuickSight Proユーザーは、米国東部（バージニア北部）および米国西部（オレゴン）のAWSリージョンでこのプレビュー版を利用できます。
AWS Education Equity Initiative
質の高いデジタル学習の機会に誰もがアクセスできるようにすることが引き続きの課題です。
ユネスコによると、5億人の学生がデジタルコンテンツにアクセスできていません。彼らの多くは貧困地域や農村地域で暮らしています。AWSは教育を推進し、多様な背景を持つ学習者に力を与えることを長年取り組んでいます。
世界中で十分なサービスを受けられない学習者向けにデジタルソリューションを構築し、このビジョンを実現するためにコンピュータークレジットを1億ドルコミットします。今後5年にわたりAWSの専門家からの技術指導を提供します。
まとめ Keynote「Swami」新発表まとめ
既存サービスの機能拡張が大盛りでした。セキュリティの強化やパフォーマンス向上、自然言語での分析を中心に様々なアップデートがありました。どんどん活用していきたいです。
![[세션레포트] Scaling on AWS for the first 10 million users #AWSreInvent #ARC201](https://images.ctfassets.net/ct0aopd36mqt/53SNOsU11M3m4DqvPA0xlI/6c4e2658f47b8521afbac66d1cb1c792/eng-reinvent-2024-sessionreport.jpg)
![[アップデート] ECR プライベートレジストリのポリシースコープが更新され、複数のリポジトリポリシーを管理しなくてもよくなりました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-3072b17e0305e4a124be9b93d6a74569/5fd8aa3c28b2893a9e0a34b43fb51385/amazon-ec2-container-registry)
![[アップデート] ECS Fargate でも AWS FIS のネットワーク障害系のアクションがサポートされるようになった…はずだったのだが、そのままでは動かなかったので無理やり動かした](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-6d4fdf3578638cab4e6e4655b3d692aa/15a803840d72679e6593006354d5766b/amazon-elastic-container-service)
