【セッションレポート】 Amazon Bedrock によるコスト最適化とスケーラブルなエンタープライズワークロードの実現（AWS-23）#AWSSummit
2025.06.30こんにちは！クラウド事業本部のおつまみです！
本記事は 2025 年 6 月 25 - 26 日の 2 日間開催された AWS Summit Japan 2025 のセッションレポートとなります。
セッション資料
セッション概要
企業の 80% 以上が生成 AI に投資する一方で、本番環境での運用は 24% に留まっています。その原因として、コストが見えない、パフォーマンスが不足しているなどの課題が挙げられています。本セッションでは、Amazon Bedrock を活用することでコスト、パフォーマンス最適化、ガバナンスに配慮した、エンタープライズレベルの生成 AI ワークロード実装方法を紹介します。特に Bedrock で提供している Inference Profile、Cross-Region Inference、各種消費オプションなど、具体的な機能の活用方法についても解説します。生成 AI 導入を検討している技術リーダーやアーキテクトの方々向けのセッションです。
スピーカー
本橋 和貴
アマゾン ウェブ サービス ジャパン合同会社
JAPAN GTM Data and AI
機械学習スペシャリストソリューションアーキテクト
アジェンダ
- エンタープライズにおける⽣成 AI 基盤の要件とは︖
- Amazon Bedrock を⽤いたエンタープライズ⽣成 AI 基盤の構築
- ガバナンスとコンプライアンス
- コストとパフォーマンス管理
- オペレーショナル・エクセレンス
- スケーラブルな⽣成 AI 基盤構築に向けて
- まとめ
本セッションの3行まとめ
- エンタープライズでの生成AI導入には、ガバナンス・コスト管理・運用の3つの柱を備えたプラットフォームが不可欠
- Amazon Bedrockは多様なモデル選択、コストタグ付け、推論モード、ガードレール機能で企業要件に対応
- 中央集権型と分散型のハイブリッドアプローチで、ガバナンスと開発の柔軟性を両立できる
セッションレポート
エンタープライズ生成AI基盤の現実と課題
セッションでは冒頭で、生成AI導入における企業の現状が示されました。
世界中の企業の80%以上が生成AIに投資している一方で、実際に本番環境で稼働させているのはわずか24%、適切なガバナンスとコスト管理フレームワークを持つのは21%という厳しい現実があります。
この背景には、以下のエンタープライズ環境特有の複雑さがあります。
- 複数のビジネスユニット・事業部が存在
- 数十の製品・エンジニアリングチームが分散
- 数百に及ぶユースケースが混在
エンタープライズグレード生成AIプラットフォームの6つの要件
こうした複雑な環境で生成AIを効果的に活用するために、以下の6つの要件が必要とされます。
- ニーズに応じたスケール能力: 1つのユースケースから数千のユースケースまで拡張可能
- プラグアンドプレイの基盤モデル: 様々なモデルプロバイダーから最適なモデルを簡単に導入・切り替え
- RAGパターンの容易な構築: 企業内データを活用した検索拡張生成の実装
- 基盤モデルのカスタマイズ能力: 企業固有のニーズに対応するモデル調整
- タスクのオーケストレーション: AIエージェントによる一連の作業の自動化
- データのプライバシーとセキュリティ: 企業データの安全性確保
Amazon Bedrockによる3つの重要な柱
1. ガバナンスとコンプライアンス
基盤モデルのオンボーディングでは、透明性のあるプロセスでモデル選択が可能です。各モデルには利用規約とモデルカードが提供され、適切なユースケースに対してモデルを選択できます。
コンプライアンス認証では、ISO、GDPR、日本のISMAPなど多数の基準に準拠しており、政府機関や金融・医療といった規制の厳しい業界でも安心して利用できます。
Amazon Bedrock Guardrails（2025/6/26より日本語正式サポート開始）により、企業のポリシーに合わせたセーフガードを実装できます。
- 有害なコンテンツの生成ブロック
- ジェイルブレイクやプロンプトインジェクション攻撃のフィルタリング
- 特定トピックや個人情報の出力制限
- ハルシネーションのフィルタリング
参考：Amazon Bedrock Guardrails が日本語に対応しました | Amazon Web Services ブログ
2. コストとパフォーマンス管理
コストタグ付けと管理機能により、チーム・部門・アプリケーション単位での支出管理が可能です。昨年末に導入されたアプリケーション推論プロファイルにより、個々のモデル呼び出しにもタグ付けができるようになりました。
3つの推論モードでコスト最適化を実現：できます。
- オンデマンド推論: 従量課金で小規模ワークロードに最適
- プロビジョンドスループット: 固定コストでパフォーマンス要件を満たす
- バッチ推論: オンデマンドの50%の価格で大量データ処理に最適
クロスリージョン推論により、リクエストを複数リージョンに自動ルーティングして可用性を向上でき、全ての通信はAWSバックボーンを経由するためセキュアです。
3. オペレーショナルエクセレンス
オブザーバビリティの3つの柱で生成AIシステムの見える化を実現できます。
- メトリクス: レスポンス時間、トークン使用量、エラー発生率、コストの数値データを時系列で収集
- ログ: ユーザープロンプト、生成回答、使用モデル、エラーメッセージを記録
- トレース: RAGシステムなど複数コンポーネントを横断するユーザー行動を追跡
Amazon CloudWatchのAmazon Bedrock自動ダッシュボードでは、設定不要ですぐに利用開始でき、呼び出しパフォーマンス、トークン使用量、機密データ検出履歴をリアルタイムで監視できます。
さらに、GitHubで公開されているオープンソースのオブザーバビリティソリューションにより、セッション情報管理やRAGシステムの詳細な分析が可能です。
ハイブリッド型プラットフォームアプローチ
最も生成AI活用が成熟した企業が採用しているのは、中央集権型と分散型のハイブリッドアプローチです。
ハイブリッド型の7つの利点
- ガバナンスの向上: 中央チームが共通ルールを整備
- コスト最適化: リソース管理と請求の一元化
- スケーラビリティと柔軟性: 新しいチーム・ユースケースへの簡単な拡張
- 統合されたクォータ管理: モデルやチームの公平なリソース分配
- 統合の簡素化: 企業システムとの連携を一元化
- 包括的なモニタリング: 全体像の把握による投資対効果の確認
- 合理化されたコンプライアンス: 監査と規制遵守の一元化
実装アーキテクチャ
具体的なハイブリッドプラットフォームでは以下の構成を取ります。
- 分散型ワークスペース: 各開発チームが独自環境でアプリケーション開発
- 中央集権型プラットフォーム: 生成AIゲートウェイが統一窓口として機能し、アクセス制御・コスト制限・クォータ管理・ログ記録を実施
- エンタープライズ統合: 既存システムとの連携を管理
Amazon Bedrockの豊富な機能を活用することで、このようなハイブリッドプラットフォームを効率的に構築できます。
生成AIの活用は一度構築して終わりではなく、継続的なモニタリングと改善のサイクルを回すことで、常に最適な状態を維持し、ビジネス価値を最大化していくことが重要です。
感想
このセッションを通じて、生成AI導入における「現実と理想のギャップ」が数字で明確に示されたことが特に印象的でした。
80%の企業が投資している一方で、本番稼働は24%、適切なガバナンスは21%という現実は、多くの企業が抱える課題だと感じました。
またハイブリッドアプローチの提案も非常に実践的でした。中央集権型の統制と分散型の柔軟性を両立させる考え方は、CCOEの運営でも応用できそうです。特に「中央チームがガードレール・モデルリスク管理・データプライバシー・コンプライアンス体制を整備し、事業部門が迅速なイノベーションを実現する」という役割分担は、多くの企業で参考になると思いました。
最後に参考として紹介されていたこちらの記事も読んで、生成 AI ソリューションにおけるWell-Architected も学び隊と思います。
Amazon Bedrock を使用した Well-Architected な生成 AI ソリューションによる運用上の優秀性の実現
最後までお読みいただきありがとうございました！
どなたかのお役に立てれば幸いです。
以上、おつまみ（＠AWS11077）でした！
