Nova 2 LiteのExtended Thinking（拡張推論）を有効にしてAmazon BedrockのRAG Evaluationで評価ジョブを作成してみた
はじめに
Nova 2 Liteは、高速かつコスト効率の良い推論モデルで、Built-in toolsやExtended Thinking（拡張推論）をサポートしています。
Extended Thinkingを有効にすると、推論過程を経てより詳細な回答が得られるようになります。
このExtended Thinkingを有効にしたNova 2 Liteを既存のRAGに組み込んで評価をしたいところですが、マネジメントコンソールにはExtended Thinkingが設定できる項目が見当たりませんでした。
そのため今回はAWS CLIを使用して、Nova 2 LiteのExtended Thinkingを有効にした状態でRAG Evaluationの評価ジョブを作成してみたいと思います。
前提条件
- Amazon Bedrock KnowledgeBaseが作成されていること
- 評価データセットを作成し、S3バケットにアップロードされていること
- IAMロールの作成が完了していること
- CORSの設定が完了していること
IAMロールやCORSの詳細は以下の記事を参考に設定してください。
やってみた
評価ジョブの作成
AWS CLIで評価ジョブを作成したいので、以下のドキュメントを参考に設定ファイルを作成します。
今回のポイントはinferenceConfig内のgenerationConfigurationでreasoningConfigを指定している点です。
reasoningConfigでは以下のパラメータを設定できます。
type:enabledまたはdisabledmaxReasoningEffort: 推論の深さを制御。low、medium、highの3段階
highを使用する場合、temperature、topP、topKパラメータは使用できない点には注意が必要です。
各プレースホルダー（<ACCOUNT_ID>等）はご自身の環境に合わせて置き換えてください。
{
"jobName": "rag-eval-nova2-lite-reasoning-medium",
"jobDescription": "RAG evaluation with Nova 2 Lite Extended Thinking",
"roleArn": "arn:aws:iam::<ACCOUNT_ID>:role/service-role/<ROLE_NAME>",
"applicationType": "RagEvaluation",
"evaluationConfig": {
"automated": {
"datasetMetricConfigs": [
{
"taskType": "General",
"dataset": {
"name": "text_dataset",
"datasetLocation": {
"s3Uri": "s3://<BUCKET_NAME>/dataset/rag_evaluation_dataset.jsonl"
}
},
"metricNames": [
"Builtin.Correctness",
"Builtin.Completeness",
"Builtin.Helpfulness",
"Builtin.LogicalCoherence",
"Builtin.Faithfulness",
"Builtin.Harmfulness",
"Builtin.Stereotyping",
"Builtin.Refusal",
"Builtin.CitationCoverage",
"Builtin.CitationPrecision"
]
}
],
"evaluatorModelConfig": {
"bedrockEvaluatorModels": [
{
"modelIdentifier": "us.anthropic.claude-3-7-sonnet-20250219-v1:0"
}
]
}
}
},
"inferenceConfig": {
"ragConfigs": [
{
"knowledgeBaseConfig": {
"retrieveAndGenerateConfig": {
"type": "KNOWLEDGE_BASE",
"knowledgeBaseConfiguration": {
"knowledgeBaseId": "<KNOWLEDGE_BASE_ID>",
"modelArn": "global.amazon.nova-2-lite-v1:0",
"generationConfiguration": {
"additionalModelRequestFields": {
"reasoningConfig": {
"type": "enabled",
"maxReasoningEffort": "medium"
}
}
}
}
}
}
}
]
},
"outputDataConfig": {
"s3Uri": "s3://<BUCKET_NAME>/output/"
}
}
JSONが作成できたら以下のコマンドを実行して評価ジョブを作成します。
aws bedrock create-evaluation-job \
--cli-input-json file://evaluation-job-config.json
しばらく待つと評価ジョブが完了していることが確認できます。
まとめ
今回はNova 2 LiteのExtended Thinkingを有効にした状態でAmazon BedrockのRAG Evaluationで評価ジョブを作成してみました。
コンソールからはExtended Thinkingの設定ができないため、AWS CLIを使用することで実現しました。
どなたかの参考になれば幸いです。
