[やってみた]Amazon BedrockのKnowledge baseを触ってみた #AWSreInvent

AWS re:Invent 2023

#AWS

#Amazon Bedrock

Takaaki Kakei

2023.11.29

はじめに

現在開催中のAWS re:Invent 2023。 Amazon BedrockのサービスにKnowledge baseの機能が追加されました！ Knowledge baseについては既にクラスメソッドの下記ブログも公開されていますが、実際に触ってみて私なりの気づきがあったので紹介できたらと思います。

[アップデート] Amazon Bedrockで簡単にRAGが実現できる、Retrieval Augmented Generation (RAG) with Knowledge BaseがとうとうGAになりました！！ #AWSreinvent | DevelopersIO

気づき

Knowledge baseを削除してもVector Storeは消えない

Knowledge baseを削除してもVector Storeは消えないので注意しましょう。 Knowledge baseの検証時に、以下のようなことが発生しそうだと思いました。

Knowledge baseの作成時に、[Configure vector store]のステップで、[Quick create a new vector store - Recommended]を選択
裏側で、Vector engine for Amazon OpenSearch Serverlessが作成される
Knowledge baseを削除
検証用のOpenSearch Serverlessの削除を忘れる

本番運用時にVector Storeまで消えてしまったら困るので、この仕様はあるべき姿だとは思います。また削除時の注意書きでもリソースが残る旨は記載されていました。しかし、うっかり検証用のOpenSearch Serverlessを作成したままにしておくと、それなりに課金が発生するので、注意が必要です。

そのため、(0.24 2 + 0.24 2) 24 30.5 = 702.72が1アカウントにおけるServerlessの最低月額料金ということになります。

[アップデート] Amazon OpenSearch ServerlessがGAになりました | DevelopersIO

Syncは忘れがち

冒頭に紹介したブログでも言及されていましたが、Knowledge baseの作成後、Data sourceの設定に移動後、「Sync」を押下する必要があります。 ブログで紹介されていなかったらしばらく気づかなかったかもしれません。なお、扱えるファイル形式やサイズも制限があるのでご注意ください。

Set up your data for ingestion - Amazon Bedrock

Data sourceの追加は、1つしか追加できなさそう

Data sourceの設定欄では[Add]というボタンがありますが、これはデータソースが一つもない場合しか選択できませんでした。複数のデータを扱う場合、データソース先のS3バケット内で、フォルダを作成して管理することになりそうです。

[アップデート] Amazon Bedrockで簡単にRAGが実現できる、Retrieval Augmented Generation (RAG) with Knowledge BaseがとうとうGAになりました！！ #AWSreinvent | DevelopersIO

Knowledge baseの作成は時間がかかる場合がある

Knowledge baseの作成は、OpenSearch Serverlessの作成などが伴うと数分程度時間がかかります。画面遷移しなければ、作成中であることがわかりますが、画面遷移すると作成の状態がわからなくなるように見受けられました。もし作成後、画面遷移した場合はステータスが分からなくても少し待ってみてください。