せーのでございます。 ただいま、AWS re:Invent 2023 keynoteをラスベガス現地にて聞いております。
OpenSearch Serverless向けベクターエンジン「Vector engine for OpenSearch Service Serverless」がリリースされたのでお伝えします。
今年の夏ごろにプレビューにて発表されていたサービスがGAになりました。
簡単にハイブリッド検索が可能に
LLMとRAGの組み合わせに欠かせないベクトル検索。テキスト情報だけでなく、画像や音声、動画などもその文脈を理解した上でベクトル化して保管することにより「似たニュアンスの情報」をヒットさせることができます。例えば「ディズニー」というワードで検索した場合、通常のテキスト検索では「ディズニー」という文字が入っていないと検索結果には出てきませんが、ベクトル検索することで「ミッキーマウス」や「ドナルドダック」といった、ディズニーに関連するワードの入っている情報も引っ掛ける事ができます。
「Vector engine for OpenSearch Service Serverless」は、何千次元もの何十億ものベクトル埋め込みをミリ秒単位で保存、更新、検索できるようになりました。ベクトルエンジンの高性能な類似検索機能により、生成AIを搭載したアプリケーションは、ミリ秒スケールの一貫した応答時間で、正確で信頼性の高い結果を提供することができます。
今年のre:Inventの発表では特にこの「ベクトル検索」がキーワードになっており、様々なサービスにベクトル検索機能が付加されています。
ベクトルエンジンはまた、ベクトル検索とフルテキスト検索を同じクエリで組み合わせることで、ハイブリッド検索による結果の最適化と調整を可能にし、個別のデータストアや複雑なアプリケーションスタックを管理・維持する必要性を排除します。ハイブリッド検索はLLMとRAGを組み合わせた自然言語による検索システムを構築する上で、検索精度を高く保つためには欠かせない機能ですが、実装が難しく、開発に時間がかかっていたエンジニアの方も多かったと思います。今回のこのリリースでだいぶ楽になるのではないでしょうか。
冗長レプリカの無効化オプション （開発およびテスト向け）
ベクトルエンジンは、OpenSearch Compute Units(OCUs)という計算能力ユニットを使用します。
これはプレビュー時には可用性確保のため複数のAZにまたがるように構成されるのですが、開発時、またはテストの段階で、そこまでコストをかける必要がない場合は、このオプションで無効にし、コストを半分にすることができます。
このオプションでは、ベクターエンジンがすべてのデータをAmazon S3に永続化するため、耐久性は保証されますが、単一AZの障害時の可用性に影響します。
自動スケーリング機能
ベクトルエンジンはシームレスに自動スケーリングします。プレビューの時点では、約2,000万のベクトル埋め込みをサポートしていましたが、今回GAに伴い、10億ベクトルスケールに引き上げられました。
まとめ
これからLLMとRAGを組み合わせて社内情報などを自然言語で検索できる社内システムを組みたい、またはエンドユーザー向けにサービスの自動問い合わせができるチャットボットを作りたい、など、様々な形式の情報を一元的にクエリできるようになりたい、という方にはまさにうってつけのサービスだと思います。
ただベクター検索、ハイブリッド検索はなかなかクセがありますので、まずはじっくりドキュメントを読んで、小さく徐々に組んでいくことをおすすめします！
参考URL
https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-opensearch-serverless-vector-engine/
0
