
Amazon S3 Vectors のハイブリッド検索(ベクトル+全文)を試してみた
はじめに
2026年11月16日、Amazon S3 Vectors でハイブリッド検索が発表されました。
QueryVectors で従来使えたのは、ベクトル検索と、メタデータで絞り込むベクトル検索でした。今回、全文検索が加わり、ベクトル検索と組み合わせたハイブリッド検索を1回の QueryVectors で実行できるようになりました。
この記事では、DevelopersIO ブログ記事 4万件強の日本語要約テキストとインデックスを用意し、Amazon S3 Vectors でベクトルのみ・全文のみ・ハイブリッドの3方式で検索した結果を紹介します。
インデックスの作成と登録
以降の実測は boto3 1.44.4 で行いました。このバージョンでは、QueryVectors の queryTexts と、CreateIndex の textSearchConfigurations を指定できます。
queryTexts を使うには、IAM 権限として s3vectors:QueryVectors に加えて s3vectors:GetVectors が必要です。GetVectors の権限が無いと AccessDeniedException になります。
インデックスの作成
全文検索の対象にする metadata のキーを、CreateIndex の textSearchConfigurations に指定します。
s3v = boto3.client("s3vectors", region_name="ap-northeast-1")
req = dict(
vectorBucketName="<vector-bucket-name>",
indexName="articles",
dataType="float32",
dimension=1024,
distanceMetric="cosine",
metadataConfiguration={"textSearchConfigurations": [{"metadataKey": "summary"}]},
)
s3v.create_index(**req)
textSearchConfigurations の language を省略したので、日本語の summary も既定の standard analyzer で索引されます。
全文検索、ハイブリッド検索、メタデータのプレフィルタリングには、ENHANCED モードのインデックスが必要です。インデックスのモードはバケットの defaultIndexMode を引き継ぎ、今回のバケットでは ENHANCED でした。プレフィルタリングは、先行記事で試しています。
作成直後の GetVectorBucket と GetIndex の応答(抜粋)
GetVectorBucket が返したバケットの defaultIndexMode です。
"defaultIndexMode": "ENHANCED"
GetIndex が返したインデックスの metadataConfiguration と indexMode です。
"metadataConfiguration": {
"nonFilterableMetadataKeys": [],
"textSearchConfigurations": [
{
"metadataKey": "summary",
"status": "ACTIVE"
}
]
},
"indexMode": "ENHANCED"
ベクトルの登録
全文検索したいテキストは、PutVectors の metadata に summary として入れます。
items.append({
"key": aid,
"data": {"float32": [float(x) for x in vecs[pos]]},
"metadata": {
"language": m.get("language", ""),
"published_year": int(m["published_at"][:4]),
"slug": m.get("slug", ""),
"title": m.get("title", ""),
"summary": s["summary"],
},
})
日本語の要約を持つ記事(4万件強)を登録しました。ベクトルは、Nova 2 で作成済みのものを再利用しました。
クエリの書き方
3方式のリクエスト
QueryVectors に queryVector を渡すとベクトルのみ、queryTexts を渡すと全文のみ、両方を渡すとハイブリッドで検索します。
kw = dict(vectorBucketName=B, indexName=I, topK=TOPK, returnMetadata=True, returnScores=True, returnDistance=True)
if mode in ("vector", "hybrid"):
kw["queryVector"] = {"float32": vec}
if mode in ("text", "hybrid"):
kw["queryTexts"] = [{"metadataKey": "summary", "text": text}]
r = s3v.query_vectors(**kw)
mode は vector、text、hybrid のいずれかで、B と I はバケット名とインデックス名、TOPK は 10 です。queryTexts の 1 要素に渡す検索ワードは最大 1,024 文字です。
全文のみとハイブリッドのスコアは、returnScores を true にすると返ります。ベクトルのみは、returnDistance を true にすると距離が返ります。
スコアの返り方
後述のクエリ Graviton3E のハイブリッド応答の 1〜3 件目です(metadata は省略しています)。
{
"distance": 0.5577852129936218,
"scores": {
"fused": 0.03226646035909653,
"bm25Scores": [
{
"metadataKey": "summary",
"score": 9.29963493347168
}
],
"vectorDistance": 0.5577852129936218
},
"key": "wp-post-981825"
},
{
"distance": 0.5569610595703125,
"scores": {
"fused": 0.01666666753590107,
"vectorDistance": 0.5569610595703125
},
"key": "wp-post-1100053"
},
{
"scores": {
"fused": 0.01666666753590107,
"bm25Scores": [
{
"metadataKey": "summary",
"score": 11.153423309326172
}
]
},
"key": "wp-post-990881"
}
scores には、その記事が上位に入った方式のスコアだけが入ります。fused は、Reciprocal Rank Fusion(RRF)による値です。各方式での順位 r(1 位を 0 とします)から 1/(60 + r) を求めて合計します。この式で計算した値は、応答の fused と float32 の誤差の範囲で一致しました。1 件目の 0.03226646 は、ベクトル側 2 位と全文側 4 位の 1/61 + 1/63 です。fused を決めるのは各方式での順位だけです。
片方の方式だけに出た記事は、1 位でも約 0.01667(1/60)です。両方式で 1 位になった記事は約 0.0333 になります。片方の方式だけに出た同じ順位の記事どうしは、fused が同じ値になります。
検索結果の例
クエリのベクトルは、us-east-1 の Nova 2(amazon.nova-2-multimodal-embeddings-v1:0)で、embeddingPurpose を TEXT_RETRIEVAL、次元数を 1024 にして作りました。ベクトルのみではこのベクトルを queryVector に、全文のみではクエリ文を queryTexts に、ハイブリッドでは両方を渡し、topK=10 で実行しました。2 つのクエリについて、上位 5 件のタイトルを示します。
語を指定したクエリ
クエリは Graviton3E です。
ベクトルのみ
| 順位 | タイトル |
|---|---|
| 1 | HPC 向けに最適化された AWS Graviton 3E 搭載の Hpc7g インスタンスが一般提供開始されました |
| 2 | AWS Graviton の Delivery Partners が紹介されました #reinvent |
| 3 | 【速報】Nitro v5とGraviton 3E、C7gn, Hpc7gインスタンスが発表されました |
| 4 | Graviton3 を利用してコスパに優れる Redmine 環境を構築してみた |
| 5 | M7g (汎用), R7g(メモリ最適化) AWS Graviton 3を搭載する新しいEC2インスタンスがリリースされました |
全文のみ
| 順位 | タイトル |
|---|---|
| 1 | [レポート] Scaling network performance on next-gen Amazon EC2 instances #CMP333 #reinvent |
| 2 | re:Invent 2022 HPC 関連アップデート情報をまとめて紹介 #reinvent |
| 3 | re:Invent 2022 re:Cap 2nd Night に参加しました #awsbasics #reInvent |
| 4 | AWS Graviton の Delivery Partners が紹介されました #reinvent |
全文のみの結果は、10 件に満たない場合があります。このクエリでは 4 件でした。
ハイブリッド
| 順位 | タイトル |
|---|---|
| 1 | AWS Graviton の Delivery Partners が紹介されました #reinvent |
| 2 | HPC 向けに最適化された AWS Graviton 3E 搭載の Hpc7g インスタンスが一般提供開始されました |
| 3 | [レポート] Scaling network performance on next-gen Amazon EC2 instances #CMP333 #reinvent |
| 4 | re:Invent 2022 HPC 関連アップデート情報をまとめて紹介 #reinvent |
| 5 | 【速報】Nitro v5とGraviton 3E、C7gn, Hpc7gインスタンスが発表されました |
文で書いたクエリ
クエリは「メール配信サービスに届いた返信を、普段使っているメールソフトで読みたい」です。
ベクトルのみ
| 順位 | タイトル |
|---|---|
| 1 | SESに返信されてきたメールをメーラーで受信してみた |
| 2 | Amazon SES と Amazon WorkMail とでメール返信をしてみた |
| 3 | SendGridでゲームイベント告知メール配信してみた |
| 4 | AWS入門ブログリレー2024〜Amazon Simple Email Service(Amazon SES)編〜 |
| 5 | Zendesk アクションフロー × SendGrid API によるブランド別メールアドレスへのチケット転送 |
全文のみ
| 順位 | タイトル |
|---|---|
| 1 | [小ネタ]opswitchのメール通知設定でメールが届かない時に確認する項目 |
| 2 | SendGridでゲームイベント告知メール配信してみた |
| 3 | Gatsbyは静的サイトだけじゃない。Gatsby Funcstionsで問い合わせフォームを作ってみた。 |
| 4 | [Auth0] Authentication APIを使用してユーザーにパスワードリセットメールを送信する |
| 5 | Amazon Connect Email でキーワード判定による自動メール応答ができるようになりました! #AWSreInvent |
ハイブリッド
| 順位 | タイトル |
|---|---|
| 1 | SendGridでゲームイベント告知メール配信してみた |
| 2 | 迷惑メール扱いとなっている可能性のあるメールを個別に解消してみる |
| 3 | SESに返信されてきたメールをメーラーで受信してみた |
| 4 | [小ネタ]opswitchのメール通知設定でメールが届かない時に確認する項目 |
| 5 | Amazon SES と Amazon WorkMail とでメール返信をしてみた |
まとめ
Amazon S3 Vectors のメタデータフィルターは、従来は完全一致や前方一致(ENHANCED)、数値の比較などに使えました。今回のアップデートで、語単位の全文検索(BM25 順位付け)が可能になりました。
今回の検証では、要約テキストは 1 ベクトルあたり 2 KB のメタデータに収まる長さでした。これより長いテキストも、全文検索のキーを nonFilterableMetadataKeys にも指定すれば、2 KB とは別枠で 1 フィールドあたり 100 KB(UTF-8 の日本語で約 3.3 万文字)まで保持できます。
今回サポートされたハイブリッド検索は、ベクトル検索と全文検索の結果を組み合わせることで、Amazon S3 Vectors の検索精度を向上できる可能性があります。これまでのベクトル検索とメタデータフィルターの組み合わせで、検索ワードがヒットしにくいといった精度の課題があった場合は、今回のアップデートをお試しください。







