【Amazon Bedrock】Web Crawler で登録できた URL の一覧をログで確認する方法
はじめに
こんにちは、フニです。
本記事では、Amazon Bedrock Knowledge Base のデータソースに Web Crawler を登録した場合、同期できた URL の一覧を確認する方法についてご紹介します。
事前準備
前提として、Amazon Bedrock Knowledge Base が構築済みで、Web Crawler がデータソースに設定が必要です。
設定手順は以下のブログをご参照ください。
やってみた
CloudWatch Logs の確認
事前準備が完了したら、CloudWatch Logs に以下のようにログが保存されます。



CloudWatch Logs Insight クエリで一覧取得
対象ロググループを選択します。

以下のクエリを入力して実行すると、登録できた URL の一覧が取得できました。
fields event.source_uri, event.document_title
| filter event.sync_status.Status = "SUCCESS"
| sort @timestamp asc

CSV JSON XLSX の形式でダウンロードすることも可能です。

さいごに
今回は、Amazon Bedrock Knowledge Base のデータソースに Web Crawler を登録した場合、同期できた URL の一覧を確認する方法についてご紹介しました。
どの URL が同期されているか確認したいケースはありますが、大規模の場合は一つ一つの確認は難しいです。
その場合、CloudWatch Logs に保存されるので、クエリで簡単に取得できます。こちらの方法をご検討ください。
この記事が、誰かの助けになれば幸いです。
参考







