Amazon Q in Connectエージェント支援機能の回答に対するフィードバック結果の確認方法
2025.06.05分からないこと
Amazon Q in Connectエージェント支援機能である手動検索や自動推奨では、Amazon Qからの回答に対して「👍 役に立った」「👎 役に立たなかった」のアイコンでフィードバックを送信できます。
このフィードバック結果はどのように確認するのでしょうか。
また、フィードバックによってAIエージェントの回答精度が自動的に向上するのでしょうか。
回答
フィードバックを重ねることで回答精度が自動的に向上することはありません。
AWSドキュメントには記載がありませんが、以下のAWSブログでは、フィードバックの結果についてCloudTrailのPutFeedbackイベントで追跡できると記載されています。
エージェントは、受け取ったレコメンデーションに「役に立った」または「役に立たなかった」のアイコンを使用して直接フィードバックを提供できます。これにより PutFeedback API をトリガーし、推奨事項が役に立ったかどうかが示され、 AWS CloudTrail で追跡することができます。このフィードバックは、追加の情報や明確化によってコンテンツのリソースと効果をさらに向上させ、エージェントと顧客の両方にとってより価値のあるコンテンツになる可能性がある点について、独自の視点を提供します。
https://aws.amazon.com/jp/blogs/news/optimizing-knowledge-base-amazon-q-in-connect/
フィードバックの内容は、CloudWatch Logsにはログが出力されませんが、手動検索や自動推奨の回答内容は出力されます。
フィードバックの結果については、CloudTrailのPutFeedbackイベントでassistantIdおよびtargetIdが取得できるため、回答内容が出力されたCloudWatch Logsのログから該当のassistantIdとrecommendation_idを探すことで判断できます。
確認してみる
回答内容しフィードバック後、CloudTrailでは以下のとおり、PutFeedbackイベントでassistantIdとtargetIdが確認できました。
{
"eventVersion": "1.09",
"userIdentity": {
"type": "AssumedRole",
"principalId": "AROAX33CPAQ3A6H5V5IS5:104b4727-a2ef-4f12-8daf-6068ce627667",
"arn": "arn:aws:sts::アカウントID:assumed-role/AWSServiceRoleForAmazonConnect_KKz5ixYpEfL4nTnFmZKB/104b4727-a2ef-4f12-8daf-6068ce627667",
"accountId": "アカウントID",
"accessKeyId": "ASIAX33CPAQ3AZ5UEZ3L",
"sessionContext": {
"sessionIssuer": {
"type": "Role",
"principalId": "AROAX33CPAQ3A6H5V5IS5",
"arn": "arn:aws:iam::アカウントID:role/aws-service-role/connect.amazonaws.com/AWSServiceRoleForAmazonConnect_KKz5ixYpEfL4nTnFmZKB",
"accountId": "アカウントID",
"userName": "AWSServiceRoleForAmazonConnect_KKz5ixYpEfL4nTnFmZKB"
},
"attributes": {
"creationDate": "2025-05-29T04:15:01Z",
"mfaAuthenticated": "false"
}
},
"invokedBy": "connect.amazonaws.com"
},
"eventTime": "2025-05-29T04:15:17Z",
"eventSource": "qconnect.amazonaws.com",
"eventName": "PutFeedback",
"awsRegion": "ap-northeast-1",
"sourceIPAddress": "connect.amazonaws.com",
"userAgent": "connect.amazonaws.com",
"requestParameters": {
"assistantId": "a1793008-f4de-481b-a9ed-3697ef373ff2",
"targetId": "0e750d96-1b8c-43e4-a81c-4759c373e07c",
"contentFeedback": {
"generativeContentFeedbackData": {
"relevance": "HELPFUL"
}
},
"targetType": "RESULT"
},
"responseElements": {
"assistantArn": "arn:aws:wisdom:ap-northeast-1:アカウントID:assistant/a1793008-f4de-481b-a9ed-3697ef373ff2",
"assistantId": "a1793008-f4de-481b-a9ed-3697ef373ff2",
"targetType": "RESULT",
"targetId": "0e750d96-1b8c-43e4-a81c-4759c373e07c",
"contentFeedback": {
"generativeContentFeedbackData": {
"relevance": "HELPFUL"
}
}
},
"requestID": "5639bcc9-39c7-4369-bf8d-02dcf022f302",
"eventID": "276570af-0a66-4da4-aeeb-2078e7128ded",
"readOnly": false,
"eventType": "AwsApiCall",
"managementEvent": true,
"recipientAccountId": "アカウントID",
"eventCategory": "Management"
}
relevanceの値は以下のとおりです。
HELPFUL：「👍 役に立った」NOT_HELPFUL：「👎 役に立たなかった」
CloudTrailのtargetIdキーは、CloudWatch Logsのログ出力時のrecommendation_idキーに対応します。
{
"assistant_id": "a1793008-f4de-481b-a9ed-3697ef373ff2",
"event_timestamp": 1748492114564,
"event_type": "TRANSCRIPT_QUERY_ASSISTANT",
"session_id": "00000000-0000-0000-0000-000000000000",
"recommendation_id": "0e750d96-1b8c-43e4-a81c-4759c373e07c",
"prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER",
"completion": "省略（回答内容など）",
"model_id": "apac.anthropic.claude-3-5-sonnet-20241022-v2:0"
}
Amazon Q in ConnectのCloudWatch Logsのログ出力方法については、以下の記事をご参照ください。
上記の方法でフィードバック内容を確認できますが、回答精度を容易に向上させる方法はないため、フィードバック内容を蓄積して定期的に確認する必要があります。
正直、現状ではフィードバック内容の活用は容易ではありません。
