【ワークショップ】「Build responsible generative AI apps with Amazon Bedrock Guardrails」に参加してきました #AWSreInvent

こんにちは、引き続きre:Inventに参加中のこーへいです。

Build responsible generative AI apps with Amazon Bedrock Guardrails(Amazon Bedrock Guardrails を使用して責任ある生成 AI アプリを構築する※機械翻訳)に参加してきましたのでレポートしていきます。

本セッションについて

タイトル：Build responsible generative AI apps with Amazon Bedrock Guardrails

Level: 300 – Advanced

概要：※下記は機械翻訳

このライトニングトークでは、組織に生成AIを導入するための企業戦略を開発する方法を学びます。ベストプラクティスを発見し、安全かつ倫理的な使用のためのガイドラインを検討してください。導入を成功させるために必要な必須のテクノロジー、スキル、役割について学びます。このプレゼンテーションは、AWSパートナーであるPluralsightによって提供されています。

内容

今回使用するアーキテクチャは上記となっております。

実際にワークショップで使用するアプリケーションはこのような感じで、フロントエンドはAmplifyで、バックエンドはAPI Gateway経由でLambdaとBedrockで構成されています。

画面の通り、テキストに文字を入力するとAIが主にユニコーン社についての回答をするというシンプルなアプリです。

Guardrails for Amazon Bedrock

今回のメインディッシュです。

生成AIは大変便利ですが、今回金融サービスを提供しているユニコーン社のサポートに本アプリを使用した場合以下の懸念が生じます。

• 差別的または不快な応答が発生し、ユニコーン社の評判と顧客からの信頼が損なわれる可能性
• 機密の金融情報や個人を特定できるデータが漏洩するリスクがあり、データ漏洩や法的責任につながる可能性
• 誤解を招くコンテンツや詐欺的なコンテンツを生成可能性
• 想定された範囲外の要求を受け取る可能性

上記のような懸念への対策としてAWSは「Guardrails for Amazon Bedrock」を実装しました。

本ワークショップにてガードレール機能としては以下を体験できました。

• ブロックされたプロンプト(応答)のメッセージ表示
  • ガードレールがモデルに送信されたプロンプト(もしくはガードレールがモデルによって生成された応答)をブロックした場合に表示されるメッセージを設定(例：申し訳ありませんが、モデルはこの質問に回答できません)
• コンテンツフィルター
  • 以下の攻撃を緩和します。
    • 有害なカテゴリ：ユーザー入力またはモデル応答内の有害なコンテンツを検出するためのフィルターの強度を設定(嫌い、侮辱、性的、暴力、不正行為の5種類)
    • プロンプト攻撃：システム指示を無効にしようとするユーザー入力を検出してブロックするフィルターの強度を設定
• 拒否トピック
  • トピックに関連付けられたユーザー入力またはモデル応答をブロック機能(例：どの銘柄を購入すべきですか？など会社の商品に関する質問以外で、具体的な財務上の助言や推奨を行う質問や回答をブロック)
• 単語フィルター
  • 入力プロンプトやモデル応答内の単語やフレーズをブロック(例：競合他社の固有名など)
• 機密情報フィルター
  • 入力プロンプトやモデル応答内の個人識別情報 (PII) などの機密情報を検出し、ブロックやマスクの処理を行う機能(例：住所を含む回答のブロックなど)
• コンテキストグラウンディングチェック
  • モデルの応答が参照ソースに基づいており、ユーザーのクエリに関連しているかどうかを検証して、モデルの幻覚をフィルタリングする機能

機密情報フィルターにてEメールを含む内容をブロックしました。

Eメールに関する質問をすると事前に登録したブロック用の文章を返してくれています。

監視と運用

モデル呼び出しログを有効にすると、AWSアカウント内のすべてのモデル呼び出しのログ、入力データ、出力データを収集できます(以下は例)。

本ワークショップではBedrockの呼び出しログをCloudWatch Logsに流して、何かしらの条件でブロックされた場合を1とカウントするメトリクスフィルターを作成しました。

それらのメトリクスに対してはダッシュボード(ガードレールが介入した呼び出しと介入しなかった呼び出しの割合を示す円グラフなど)やアラームを作成し、ガードレールの調整をしていくのが良いとしています。

まとめ

Bedrockとガードレールを体験できるワークショップでした。

1時間くらいでサクッと学習できたのですごい満足度高かったです。実はほとんどBedrock周りを触っていなかったのですが今回re:Inventに参加してやはりAI周りを今勉強すべきと肌で感じたため、帰国後もしっかり勉強していきます。