re:Invent 2023 で行われた BreakOut セッション Accelerate generative AI application development with Amazon Bedrock (AIM337) のセッションレポートです。
概要
Generative AI has the potential to transform how companies build applications and engage customers by enabling more intuitive, conversational experiences.
In this session, learn how to utilize Amazon Bedrock’s serverless experience to quickly build and scale generative AI applications with a choice of leading foundation models, while maintaining security and privacy.
See how you can privately customize models with your own data to deliver differentiated experiences to your customers.
See a demo of the end-to-end developer experience and the broad capabilities of Amazon Bedrock.
(日本語訳)
生成 AI は、より直感的で会話型のエクスペリエンスを可能にすることで、企業がアプリケーションを構築し、顧客と関わる方法を変革する可能性を秘めています。
このセッションでは、Amazon Bedrock のサーバーレス エクスペリエンスを利用して、セキュリティとプライバシーを維持しながら、
主要な基盤モデルを選択して生成 AI アプリケーションを迅速に構築および拡張する方法を学びます。
独自のデータを使用してモデルをプライベートにカスタマイズして、顧客に差別化されたエクスペリエンスを提供する方法をご覧ください。
エンドツーエンドの開発者エクスペリエンスと Amazon Bedrock の幅広い機能のデモをご覧ください。
動画
YouTubeで公開されていますので、詳しくみたい方はぜひご参照ください！
見どころ
re:Invent 2023 で発表された Amazon Bedrock のサービスを皆さん追えていますか？
追えていない方やサービスの名前だけ知っているという方におすすめのセッションとなっており、Amazon Bedrock のユースケースを実際の金融業界の例を出して説明していきます。
また、AWS が Responsible AI としての取り組みについても知ることのできるセッションとなっております。
セッション内容
エンタープライズ規模での生成AIの活用について
会社内では、複数のビジネス・エンジニアチーム・生成AIを活用したいケースが存在しており、
Amazon Bedrock ではそんなエンタープライズでのニーズにも応えるサービスを提供しており、このセッションでは各種機能について紹介していきます。
金融業界の例を出しながら、各種機能を紹介します。
金融業界でのユースケース
以下のユースケースが考えられ、Amazon Bedrock の機能で実現できます。
- 質問対応
- 要約
- エンティティ抽出
質問対応
お客様から入力された質問に対して回答を行うケースで、文書データを活用して回答を行います。
文書データを活用するためには、RAGが必要不可欠なものとなっています。
この時に利用されるのが、Knowledge Bases for Amazon Bedrock となります。
このサービスでは、マネージドにRAGを構築することができるサービスとなっています。
RAGを利用することで、モデルの応答精度を向上させることができ、マネージドなRAGということで、迅速に導入することができそうです。
また、質問対応を行う中で、定型の作業を行う場合には、Agents for Amazon Bedrock を活用することができます。
このサービスを利用することで、ユーザから入力されたテキストから、タスクを抽出して、処理の実行が可能となります。
要約
Proof of concept でプロンプトエンジニアリングでモデルを評価し、本番環境では、バッチ処理で推論を行い、結果をドキュメントDBに格納しておきます。
このような定期的な推論を行う場合は、Batch for Amazon Bedrock を活用することができます。
フルマネージドにモデルの呼び出しを行ってくれるため、再起動用のコードを用意するなどは不要です。
エンティティ抽出
Proof of concept では、プロンプトエンジニアリングとファインチューニングを行った後でモデルの評価を行います。
本番環境では、Agentsを使って、ファインチューニングしたモデルから回答を作成します。
この場合は、サポート担当者に回答を確認して、担当者によってお客様へ対応を行います。
Amazon Bedrock では、ファインチューニングに対応しているため、独自のタスクに合ったモデルを再構築できます。
デモ
デモは、Streamlitで作成されているようでした。
プロンプトを入力すると非同期で各モデルから出力結果を得ることができています。
一目でどの回答が良いかを評価することができそうです。
こちらのデモは、Agentの応答とトレース内容となります。
Agentでは、トラブルシューティングなどでも便利そうな、トレース機能を提供しているのはありがたいです。
APIの実行結果についても記録されています。
United 航空での取り組み
United 航空では、既存のデータをクラウド上にデータプラットフォームを構築したことが生成AIの活用につながりました。
移行したデータソースを活用して、Bedrockのファインチューニングを行い、Response Filter と Prompt Storage を活用することで安定してユーザに価値を届けることができています。
AWS Bedrock が今後もデータからビジネスにとって重要な価値提供を行うと考えています。
まとめ
このセッションは、今回の re:Invent 2023 で発表された Bedrock の具体的なユースケースがまとめられたセッションとなっております。
また、ユーザ目線の機能が Bedrock には豊富にあり、エンタープライズであっても迅速に導入できそうだと感じています。
例えば、本セッションでも登場した Knowledge Bases では、ハルシネーションを軽減できる仕組みとして、Knowledge base の情報のみでの回答に制限することや
Agentsでは、実行した処理のトレースが可能となっております。
このセッションから、Bedrockできることが明確にわかりますので、あとは手を動かしてみると良いでしょう。（私も確認してみたいと思います。）
以上、森田がお届けました！
0
