[アップデート] Amazon Bedrock Knowledge bases の同期ジョブに停止オプションが追加されました

たかくに

2024.10.05

こんにちは！AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。

Amazon Bedrock Knowledge bases の同期ジョブに停止オプションが追加されました。

今まで

アップデート前をおさらいします。今までは同期ジョブの開始（StartIngestionJob）を行うと、同期が完了するまで待機する必要がありました。（停止ができませんでした。）

今回の StopIngestionJob API がリリースされ、取り込みジョブを停止できるようになりました。

誤ってスタートしてしまった同期ジョブも停止できるようになり、状況に応じてはコスト削減が見込めますね。

やってみる

それでは実際にマネジメントコンソールから、ジョブの停止を行います。

同期ボタンの隣に Stop sync ボタンが追加されてますね。

2024-10-05 at 14.36.17-Amazon Bedrock.png

ちなみに、以前はこのような構造でした。

同期ジョブを実行して停止までしてみます。まずは同期の開始から。

2024-10-05 at 14.36.17-Amazon Bedrock.png

同期のジョブが開始されると、 Stop sync ボタンがクリックできるようになりました。続いてジョブ停止ボタンをクリックしてみます。

2024-10-05 at 14.37.40-Amazon Bedrock.png

ジョブが停止されました。ジョブのステータスは Stopped で、読み取れていないファイルは number_of_resources_failed（失敗したファイル） としてカウントされていますね。

2024-10-05 at 14.40.10-Amazon Bedrock.png

検証していて気がついたのですが、データソースの詳細画面からも同期の開始/停止ができるようになっていました。（どちらかというと、こちらの方が個人的には嬉しいアップデートです。）

2024-10-05 at 14.47.06-Amazon Bedrock.png

以前はデータソースの詳細画面には同期ボタンがなく、ナレッジベースのデータソース欄から同期ボタンをクリックする必要があり、少しクセがありました。（このアップデートの嬉しさが伝わる人、はたしているのかですね。）

再度、同期をかけてみましたが問題なく完了していますね。

2024-10-05 at 14.52.04-Amazon Bedrock.png

ログ

ナレッジベースといえば同期ジョブのログですね。ただ、普段取得できるログと大差はなく、ステータスの変更のみのようです。

StartIngestionJob.ResourceStatusChanged.json

{
	"event_timestamp": 1728107934135,
	"event": {
		"ingestion_job_id": "ILAELVLUY8",
		"document_location": {
			"type": "S3",
			"s3_location": {
				"uri": "s3://kb-sndbx-us-west-2-kb-datasource-123456789012/bedrock-ug.pdf"
			}
		},
		"chunk_statistics": {
			"ignored": 0,
			"metadata_updated": 0,
			"failed_to_update_metadata": 0,
			"deleted": 0,
			"failed_to_delete": 0,
			"created": 0,
			"failed_to_create": 2066
		},
		"data_source_id": "68HEZZ52EB",
		"knowledge_base_arn": "arn:aws:bedrock:us-west-2:123456789012:knowledge-base/Q4SB348JFV",
		"status": "FAILED"
	},
	"event_version": "1.0",
	"event_type": "StartIngestionJob.ResourceStatusChanged",
	"level": "INFO"
}

StartIngestionJob.StatusChanged.json

{
	"event_timestamp": 1728107934757,
	"event": {
		"ingestion_job_id": "ILAELVLUY8",
		"data_source_id": "68HEZZ52EB",
		"ingestion_job_status": "STOPPED",
		"knowledge_base_arn": "arn:aws:bedrock:us-west-2:123456789012:knowledge-base/Q4SB348JFV",
		"resource_statistics": {
			"number_of_resources_updated": 0,
			"number_of_resources_ingested": 0,
			"number_of_resources_deleted": 0,
			"number_of_resources_with_metadata_updated": 0,
			"number_of_resources_failed": 3
		}
	},
	"event_version": "1.0",
	"event_type": "StartIngestionJob.StatusChanged",
	"level": "INFO"
}