[アップデート] Amazon Q Business にハルシネーション軽減機能がリリースされました

こんにちは！クラウド事業本部コンサルティング部のたかくに（@takakuni_）です。

Amazon Q Business にハルシネーション軽減機能がリリースされました。

Amazon Q Business launches support for hallucination mitigation in chat responses - AWS

ハルシネーション軽減機能

ハルシネーション軽減機能は、名前の通りハルシネーション（あたかも正解のような回答を行う行為）を軽減する機能です。従来、このハルシネーションが起きうる可能性は Amazon Q Business に搭載されている LLM 次第でした。

今回のアップデートで、Amazon Q Business は LLM の回答にハルシネーションがないか評価し、ハルシネーションが検出された場合、チャット中のメッセージをリアルタイムで修正し、新しいメッセージを生成するようになったようです。

If a hallucination is detected with high confidence, it corrects the inconsistencies in its response real-time during chat and generates a new, edited message.

Hallucination mitigation in Amazon Q Business - Amazon Q Business

やってみる

実際に Amazon Q Business のハルシネーション軽減機能を試してみます。

アプリケーションの作成

まずは、アプリケーションの作成を行います。この段階では、とくにデフォルトから変更した設定値はありません。

アプリケーション作成したのちに、Admin controls and guardrails からハルシネーション軽減機能を有効化します。Chat orchestration settings と、本機能は併用できないことに注意しましょう。

Chat orchestration settings

Chat orchestration settings は、回答生成を行う際に Amazon Q Business 側でアプリケーションに搭載したプラグイン/データソースを行き来して応答する機能です。

Using global controls in Amazon Q Business - Amazon Q Business

内容重複しますが、ハルシネーション軽減機能では併用できないため、手動でプラグイン/データソースへのクエリを行う必要があります。

プランについて

機能紹介のファイルアップロードでも利用可能な状況から、ライトプランでも利用可能と判断し、今回はユーザーにライトプランのサブスクリプションを紐づけています。

The hallucination mitigation feature helps ensure more accurate retrieval augmented generation (RAG) responses from data connected to the application—either through connected data sources, or files uploaded during chat (up to 100,000 characters).

クエリ

実際にファイルアップロードを元に質問を行ってみましょう。トークテーマは以下のスライドを利用しました。

事業内容について質問してみました。正しく回答できていますね。

続いて社員数についても聞いてみました。少し強引目に回答が難しい質問に答えさせようとすると、「No answer is found Generating an answer based on what I know...」といったメッセージが出力されるようになっていますね。

動画にするとわかりやすいですね。回答を訂正している様子がわかります。

https://youtu.be/AywdRwDywVg

まとめ

以上、「Amazon Q Business にハルシネーション軽減機能がリリースされました。」でした。

ハルシネーション抑制のためにも、抽象的な質問が来たら、即時でブロックするようなこともできたら面白そうだと思いました。

このブログがどなたかの参考になれば幸いです。クラウド事業本部コンサルティング部のたかくに（@takakuni_）でした！