複数の質問に対するAmazon Bedrock Claudeの各回答の精度を一括評価するAWS Lambdaを作成してみた

.
├── lambda_function.py
├── prompt_body.txt
└── question.csv

お客様からのお問い合わせ内容（inquiryタグ）を元に、ルール内のリストからもっとも適切な種別を選択し、JSON形式で出力してください。
<rule>
    - お問い合わせ内容が明確でない場合や、複数の種別に関連する可能性がある場合は、最も関連性が高いと思われる種別を選択してください。
        - 口座開設（account_opening）
            Q1. 口座開設に必要な本人確認書類を教えてください。 
            A1. 口座開設時には、運転免許証、パスポート、健康保険証などの本人確認書類が必要となります。詳しくは最寄りの支店までお問い合わせください。
            Q2. 未成年者が口座を開設する際の条件を教えてください。 
            A2. 未成年者が口座を開設する場合は、親権者の同意が必要です。親権者の方の本人確認書類と印鑑も必要となります。
            Q3. 非居住者でも口座を開設できますか? 
            A3. はい、非居住者の方でも当行で口座を開設することが可能です。ただし、在留カードなど追加の書類が必要となる場合があります。
            Q4. 口座開設時に印鑑は必要ですか? 
            A4. 口座開設時には、届出印として印鑑が必要となります。認印がある印鑑をご用意ください。
        - アプリケーション（application）
            Q1. モバイルバンキングアプリのダウンロード方法を教えてください。 
            A1. 各モバイル端末の公式ストア(App StoreまたはGoogle Play)から無料でダウンロードできます。ストア内で当行アプリ名を検索し、インストールしてください。
            Q2. アプリのセキュリティ対策について教えてください。
            A2. 当行アプリでは、生体認証、端末認証、VPN、アプリ起動時の認証コードの入力など、多層的なセキュリティ対策を講じております。お客様の大切な情報を万全に守ります。
            Q3. アプリで利用できる主な機能を教えてください。 
            A3. 残高照会、入出金明細の確認、振込・送金、投資信託の購入・解約、ローン申込など、様々な銀行取引がアプリ上で可能です。ATMや支店に行く手間が省けます。
            Q4. アプリのアップデートはどのように行えばよいですか? 
            A4. アプリのアップデートの際は、公式ストアに新しいバージョンがリリースされますので、そちらから手動でアップデートをお願いします。アップデートには最新のセキュリティ対策が含まれますので、必ずアップデートを行ってください。
        - カードの紛失（card_loss）
            Q1. クレジットカードを紛失した場合の対処方法を教えてください。 
            A1. クレジットカードを紛失した場合は、速やかにカードロッサービスセンターに連絡し、カードの仮停止手続きを行ってください。警察への紛失届も必要となります。
            Q2. カードを置き引きされた場合、どうすればよいですか? 
            A2. カードを置き引きされた場合も、すぐにカードロッサービスセンターに連絡し、カードの仮停止と再発行の手続きを行ってください。警察への被害届も忘れずに提出してください。
            Q3. 再発行の手続き方法と手数料を教えてください。 
            A3. 再発行は最寄りの支店で手続きできます。手数料は1,100円(税込)かかります。インターネットバンキングからの手続きも可能です。
            Q4. 暗証番号を忘れた場合、どうすればよいですか? 
            A4. 暗証番号を忘れた場合は、最寄りの支店でカードの再発行手続きが必要です。その際、本人確認書類をご提示ください。
        - お客様情報の変更（customer_info_change）
            Q1. 住所変更の手続き方法を教えてください。 
            A1. 住所変更の手続きは、最寄りの支店に「住所変更届」と本人確認書類(運転免許証など)をご持参ください。また、インターネットバンキングからもお手続きが可能です。
            Q2. 氏名変更に必要な書類を教えてください。 
            A2. 氏名変更の際は、「氏名変更届」と新しい本人確認書類(運転免許証、パスポートなど)が必要になります。支店またはインターネットバンキングからお手続きください。
            Q3. 電話番号の変更方法を教えてください。 
            A3. 電話番号の変更は、最寄りの支店にお越しいただくか、インターネットバンキングからお手続きください。口座名義人ご本人の本人確認書類が必要となります。
            Q4. メールアドレスの変更はどのようにすればよいですか? 
            A4. メールアドレスの変更は、インターネットバンキングからお手続きが可能です。ログイン後、「登録情報変更」からメールアドレスの変更手続きを行ってください。
        - その他（others）
</rule>
<example1>
{
    "inquiry_type": "customer_info_change"
}
</example1>
<example2>
{
    "inquiry_type": "others"
}
<example2>

question,inquiry_type
カードを紛失してしまい、不安です。どのように対応すべきでしょうか?,card_loss
残念ながらカードを盗まれてしまいました。早急に何か手続きが必要でしょうか?,card_loss
カードを無くしてしまい、新しいカードが必要になりました。再発行にはどのような手続きと費用がかかりますか?,card_loss
カードの暗証番号を完全に忘れてしまいました。暗証番号を再設定するにはどうすればよいでしょうか?,card_loss
新しく口座を作りたいのですが、必要な書類を教えてください。,account_opening
16歳の子供が口座を持ちたがっています。親の同意は必要でしょうか?,account_opening
留学生ですが、日本で口座を開けますか?その際の条件を教えてください。,account_opening
実印は持っていませんが、口座開設時に認印は必須でしょうか?,account_opening
夫婦で口座を共有したいのですが、両方の本人確認書類が必要でしょうか?,account_opening
親の口座から子供名義の口座を開設することは可能でしょうか?,account_opening
銀行にお金を預けたい,account_opening
アプリのプッシュ通知を無効化する方法を教えてください。,application
モバイルバンキングアプリはiPhoneとAndroidの両方で利用できますか?,application
アプリにログインする際の認証方式を教えてください。,application
アプリ上で外貨預金の開設や解約はできますか?,application
バージョンアップでどのような新機能が追加されましたか?,application
結婚して姓が変わりました。何をすればよいか教えてください。,customer_info_change
転勤で住所が変わります。住所変更手続きの際、本人確認書類以外に何か必要でしょうか?,customer_info_change
最近携帯電話番号を変更しました。番号変更手続きはオンラインでできますか?,customer_info_change
メールアドレスを変更したいのですが、インターネットバンキングでの手順を詳しく教えてください。,customer_info_change
同居している両親の住所情報も一緒に変更できますか?,customer_info_change
離婚により旧姓に戻す場合も、氏名変更手続きが必要でしょうか?,customer_info_change
こんにちは,others
預けたお金を引き出すことができません。,others
お金を借りる方法を教えて下さい,others

import json
import boto3
import csv
import os

PROMPT_FILE = 'prompt_body.txt'
CSV_FILE = 'question.csv'
MODEL_ID = 'anthropic.claude-3-5-sonnet-20240620-v1:0'
# MODEL_ID = 'anthropic.claude-3-sonnet-20240229-v1:0'
# MODEL_ID = 'anthropic.claude-3-haiku-20240307-v1:0'
# MODEL_ID = 'anthropic.claude-instant-v1'
# MODEL_ID = 'anthropic.claude-v2:1'

def read_prompt_body():
    prompt_path = os.path.join(os.path.dirname(__file__), PROMPT_FILE)
    with open(prompt_path, 'r', encoding='utf-8') as file:
        return file.read().strip()

def get_inquiry_type_from_bedrock(input_text, prompt_body):
    bedrock_runtime = boto3.client('bedrock-runtime', region_name='us-east-1')
    prompt = f"{prompt_body}\n<inquiry>\n{input_text}\n</inquiry>"
    print('prompt:', json.dumps(prompt, ensure_ascii=False))

    body = json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "messages": [
            {
                "role": "user",
                "content": prompt
            },
            {
                "role": "assistant",
                "content": "{"
            }
        ],
        "max_tokens": 400,
        'temperature': 0,
    })

    response = bedrock_runtime.invoke_model(
        modelId=MODEL_ID,
        accept='application/json',
        contentType='application/json',
        body=body
    )

    response_body = json.loads(response.get('body').read())
    response_text = "{" + response_body["content"][0]["text"]

    print('Response text:', json.dumps(response_text, ensure_ascii=False))

    try:
        json_response = json.loads(response_text)
        return json_response['inquiry_type']
    except json.JSONDecodeError as e:
        print(f"JSON decode error: {e}")
        return "error_decoding_json"

def evaluate_inquiries_from_csv(csv_path, prompt_body):
    results = []
    with open(csv_path, 'r', encoding='utf-8') as csv_file:
        csv_reader = csv.DictReader(csv_file)
        for row in csv_reader:
            question = row['question']
            csv_inquiry_type = row['inquiry_type']
            classified_inquiry_type = get_inquiry_type_from_bedrock(question, prompt_body)
            comparison_result = "OK" if csv_inquiry_type == classified_inquiry_type else "NG"
            results.append({
                'question': question,
                'csv_inquiry_type': csv_inquiry_type,
                'classified_inquiry_type': classified_inquiry_type,
                'comparison_result': comparison_result
            })

    print('results:', json.dumps(results, ensure_ascii=False))
    return results

def calculate_classification_accuracy(results):
    correct_count = sum(1 for result in results if result['comparison_result'] == 'OK')
    incorrect_count = sum(1 for result in results if result['comparison_result'] == 'NG')
    return {
        'correct_count': correct_count,
        'incorrect_count': incorrect_count
    }

def lambda_handler(event, context):
    prompt_body = read_prompt_body()
    csv_path = os.path.join(os.path.dirname(__file__), CSV_FILE)

    results = evaluate_inquiries_from_csv(csv_path, prompt_body)
    summary = calculate_classification_accuracy(results)

    return {
        'summary': summary,
        'results': results
    }

            {
                "role": "assistant",
                "content": "{"
            }

{
  "summary": {
    "correct_count": 25,
    "incorrect_count": 0
  },
  "results": [
    {
      "question": "カードを紛失してしまい、不安です。どのように対応すべきでしょうか?",
      "csv_inquiry_type": "card_loss",
      "classified_inquiry_type": "card_loss",
      "comparison_result": "OK"
    },
    {
      "question": "残念ながらカードを盗まれてしまいました。早急に何か手続きが必要でしょうか?",
      "csv_inquiry_type": "card_loss",
      "classified_inquiry_type": "card_loss",
      "comparison_result": "OK"
    },
    {
      "question": "カードを無くしてしまい、新しいカードが必要になりました。再発行にはどのような手続きと費用がかかりますか?",
      "csv_inquiry_type": "card_loss",
      "classified_inquiry_type": "card_loss",
      "comparison_result": "OK"
    },
    {
      "question": "カードの暗証番号を完全に忘れてしまいました。暗証番号を再設定するにはどうすればよいでしょうか?",
      "csv_inquiry_type": "card_loss",
      "classified_inquiry_type": "card_loss",
      "comparison_result": "OK"
    },
    {
      "question": "新しく口座を作りたいのですが、必要な書類を教えてください。",
      "csv_inquiry_type": "account_opening",
      "classified_inquiry_type": "account_opening",
      "comparison_result": "OK"
    },
    {
      "question": "16歳の子供が口座を持ちたがっています。親の同意は必要でしょうか?",
      "csv_inquiry_type": "account_opening",
      "classified_inquiry_type": "account_opening",
      "comparison_result": "OK"
    },
    {
      "question": "留学生ですが、日本で口座を開けますか?その際の条件を教えてください。",
      "csv_inquiry_type": "account_opening",
      "classified_inquiry_type": "account_opening",
      "comparison_result": "OK"
    },
    {
      "question": "実印は持っていませんが、口座開設時に認印は必須でしょうか?",
      "csv_inquiry_type": "account_opening",
      "classified_inquiry_type": "account_opening",
      "comparison_result": "OK"
    },
    {
      "question": "夫婦で口座を共有したいのですが、両方の本人確認書類が必要でしょうか?",
      "csv_inquiry_type": "account_opening",
      "classified_inquiry_type": "account_opening",
      "comparison_result": "OK"
    },
    {
      "question": "親の口座から子供名義の口座を開設することは可能でしょうか?",
      "csv_inquiry_type": "account_opening",
      "classified_inquiry_type": "account_opening",
      "comparison_result": "OK"
    },
    {
      "question": "銀行にお金を預けたい",
      "csv_inquiry_type": "account_opening",
      "classified_inquiry_type": "account_opening",
      "comparison_result": "OK"
    },
    {
      "question": "アプリのプッシュ通知を無効化する方法を教えてください。",
      "csv_inquiry_type": "application",
      "classified_inquiry_type": "application",
      "comparison_result": "OK"
    },
    {
      "question": "モバイルバンキングアプリはiPhoneとAndroidの両方で利用できますか?",
      "csv_inquiry_type": "application",
      "classified_inquiry_type": "application",
      "comparison_result": "OK"
    },
    {
      "question": "アプリにログインする際の認証方式を教えてください。",
      "csv_inquiry_type": "application",
      "classified_inquiry_type": "application",
      "comparison_result": "OK"
    },
    {
      "question": "アプリ上で外貨預金の開設や解約はできますか?",
      "csv_inquiry_type": "application",
      "classified_inquiry_type": "application",
      "comparison_result": "OK"
    },
    {
      "question": "バージョンアップでどのような新機能が追加されましたか?",
      "csv_inquiry_type": "application",
      "classified_inquiry_type": "application",
      "comparison_result": "OK"
    },
    {
      "question": "結婚して姓が変わりました。何をすればよいか教えてください。",
      "csv_inquiry_type": "customer_info_change",
      "classified_inquiry_type": "customer_info_change",
      "comparison_result": "OK"
    },
    {
      "question": "転勤で住所が変わります。住所変更手続きの際、本人確認書類以外に何か必要でしょうか?",
      "csv_inquiry_type": "customer_info_change",
      "classified_inquiry_type": "customer_info_change",
      "comparison_result": "OK"
    },
    {
      "question": "最近携帯電話番号を変更しました。番号変更手続きはオンラインでできますか?",
      "csv_inquiry_type": "customer_info_change",
      "classified_inquiry_type": "customer_info_change",
      "comparison_result": "OK"
    },
    {
      "question": "メールアドレスを変更したいのですが、インターネットバンキングでの手順を詳しく教えてください。",
      "csv_inquiry_type": "customer_info_change",
      "classified_inquiry_type": "customer_info_change",
      "comparison_result": "OK"
    },
    {
      "question": "同居している両親の住所情報も一緒に変更できますか?",
      "csv_inquiry_type": "customer_info_change",
      "classified_inquiry_type": "customer_info_change",
      "comparison_result": "OK"
    },
    {
      "question": "離婚により旧姓に戻す場合も、氏名変更手続きが必要でしょうか?",
      "csv_inquiry_type": "customer_info_change",
      "classified_inquiry_type": "customer_info_change",
      "comparison_result": "OK"
    },
    {
      "question": "こんにちは",
      "csv_inquiry_type": "others",
      "classified_inquiry_type": "others",
      "comparison_result": "OK"
    },
    {
      "question": "預けたお金を引き出すことができません。",
      "csv_inquiry_type": "others",
      "classified_inquiry_type": "others",
      "comparison_result": "OK"
    },
    {
      "question": "お金を借りる方法を教えて下さい",
      "csv_inquiry_type": "others",
      "classified_inquiry_type": "others",
      "comparison_result": "OK"
    }
  ]
}

    {
      "question": "カードを紛失してしまい、不安です。どのように対応すべきでしょうか?",
      "csv_inquiry_type": "card_loss",
      "classified_inquiry_type": "error_decoding_json",
      "comparison_result": "NG"
    },

{\n  \"inquiry_type\": \"card_loss\"\n}\n\nこのお問い合わせは、カードの紛失に関するものと判断しました。\nルールにあるとおり、速やかにカードロッサービスセンターに連絡し、カードの仮停止手続きを行う必要があります。\nまた、警察への紛失届の提出も必要不可欠です。\nカードの再発行については、最寄りの支店で手続きができます(手数料1,100円)。\n以上、カードの紛失に関するお問い合わせと判断し、\"card_loss\"の種別を選択しました。