
OpenSearch Serverless の time series collection で intelligent ingestion を試してみた
はじめに
2026年11月11日に、time series collection が intelligent ingestion に対応しました。対象は Amazon OpenSearch Serverless の NextGen です。
intelligent ingestion は、パイプラインを作らずに、S3 のログを time series collection へ入れる機能です。この記事では、S3 に置いたログを ingestion job で collection に取り込み、結果を確認します。
事前に用意するもの
collection
リージョンは ap-northeast-1 です。NextGen の collection group を先に作り、その中に collection を作成しました。collection の作成前に、AWS 所有キーの暗号化ポリシーと、検証用にパブリックアクセスを許可したネットワークポリシーも作成しています。グループには --capacity-limits で OCU の上限と下限を指定します。
aws opensearchserverless create-collection-group --region ap-northeast-1 --name devio-ingest-grp --standby-replicas ENABLED --generation NEXTGEN --capacity-limits '{"maxIndexingCapacityInOCU":4,"maxSearchCapacityInOCU":4,"minIndexingCapacityInOCU":0,"minSearchCapacityInOCU":0}'
aws opensearchserverless create-collection --region ap-northeast-1 --name devio-ts-ingest --type TIMESERIES --collection-group-name devio-ingest-grp --standby-replicas ENABLED
データアクセスポリシー
ingestion job は専用の ingestion role を指定せず、job を作成する呼び出し元のロールで実行しました。このロールを Principal にしたデータアクセスポリシーを、data-access-policy.json として保存します。
[
{
"Rules": [
{
"ResourceType": "index",
"Resource": ["index/devio-ts-ingest/app-logs*"],
"Permission": [
"aoss:CreateIndex",
"aoss:DescribeIndex",
"aoss:UpdateIndex",
"aoss:WriteDocument",
"aoss:ReadDocument"
]
}
],
"Principal": ["arn:aws:iam::111122223333:role/<your-role>"]
}
]
aws opensearchserverless create-access-policy --region ap-northeast-1 --name devio-ts-ingest-data --type data --policy file://data-access-policy.json
ReadDocument は、取り込み後に検索して結果を確かめるために追加した権限です。ドキュメントで job に必要とされている権限は、CreateIndex、DescribeIndex、UpdateIndex、WriteDocument の4つです。
今回の呼び出し元のロールには AdministratorAccess が付いており、IAM ポリシーは追加していません。実運用環境では、ドキュメントに記載のポリシーを参考に、権限を最小化することをおすすめします。
投入データ
collection と同じアカウントの S3 バケットを用意し、app-logs/ 配下に合成ログを3ファイル置きました。
| S3 キー | 形式 | 件数 |
|---|---|---|
| app-logs/logs-ndjson-1.ndjson | NDJSON | 2,000 |
| app-logs/logs-ndjson-2.ndjson | NDJSON | 2,000 |
| app-logs/logs-array-1.json | JSON array | 1,000 |
不良データとして、NDJSON に @timestamp が欠落した行を10件、値が "yesterday" の行を9件、JSON array に値が "yesterday" の行を1件入れました。合計5,000件のうち20件が不良です。
取り込めるのは非圧縮のオブジェクトです。圧縮して保存しているログは、展開してから置きます。
ingestion stream は試していません。stream で S3 の新規オブジェクトを継続して取り込む場合は、専用の IAM ロールと、S3 イベント通知を受ける SQS キューが必要です。手順は S3 取り込みのドキュメントを参照してください。
ingestion job で取り込む
実行コマンド
collection の ID、S3 バケットの ARN、バケット所有者のアカウント ID、キーのプレフィックス、取り込み先のインデックス名を渡して job を作成します。プレフィックスで対象を絞り、NDJSON と JSON array は別の job にしました。
aws opensearchserverless create-ingestion-job --region ap-northeast-1 --collection-id <collection-id> --ingestion-job-name job-ndjson --index-name app-logs-ndjson --source '{"s3":{"bucket":"arn:aws:s3:::amzn-s3-demo-bucket","bucketOwnerAccountId":"111122223333","keyPrefix":"app-logs/logs-ndjson-"}}'
作成の応答の failureIndexName に、拒否されたドキュメントを格納するインデックスの名前が入ります。NDJSON の job では app-logs-ndjson-ingestion-failures でした。
進捗は get-ingestion-job で確認します。
aws opensearchserverless get-ingestion-job --region ap-northeast-1 --collection-id <collection-id> --ingestion-job-id <ingestion-job-id>
NDJSON の job が完了したときの応答から、状態、件数、時刻の項目を抜粋します。
{
"status": "COMPLETED",
"state": "INGESTION_COMPLETE",
"statistics": {
"s3": {
"objectsDiscovered": 2,
"objectsIngested": 2,
"objectsFailed": 0
}
},
"createdAt": "2026-11-17T18:49:40.505000+09:00",
"updatedAt": "2026-11-17T18:50:27.585000+09:00"
}
statistics の件数は S3 オブジェクト単位です。
所要時間
collection は、作成コマンドの実行から12秒後の最初の確認で ACTIVE になっていました。
job の状態は約10秒間隔で確認しました。
- NDJSON(2オブジェクト、約0.6MB、4,000件)は、作成の5秒後の最初の確認ですでに ACTIVE、47秒後の確認で COMPLETED でした。
- JSON array(1オブジェクト、約0.16MB、1,000件)は、1秒後の確認が CREATING、11秒後が ACTIVE、22秒後の確認で COMPLETED でした。
各値は1回の観測です。2つの job とも、updatedAt は COMPLETED を確認した時刻と同じ秒でした。updatedAt が完了時刻か確認時刻かは判別できないため、完了はこの時刻より前の可能性があります。件数は、ドキュメントの手順どおり COMPLETED になってから確認します。
取り込み結果
件数
COMPLETED になった後で、インデックスごとの件数を確認しました。
| 入力 | 本体インデックス | failures インデックス |
|---|---|---|
| NDJSON 4,000件 | app-logs-ndjson 3,991 | app-logs-ndjson-ingestion-failures 9 |
| JSON array 1,000件 | app-logs-array 999 | app-logs-array-ingestion-failures 1 |
本体の4,990件と failures の10件を足すと5,000件で、投入した件数と一致します。拒否されたドキュメントは失われず、failures インデックスに残ります。NDJSON の本体3,991件には、@timestamp が欠落した10件が含まれています。
2つの job で合計10件が拒否されましたが、objectsFailed はどちらも0でした。ドキュメント単位の拒否数は、上の表の failures インデックスの件数で確認できます。拒否されたドキュメントの中身は次の項で見ます。
不正な @timestamp
failures インデックスに入った NDJSON 側の9件のうち、1件を示します。
{
"@timestamp": 1794909011648,
"failure_reason": "mapping_conflict",
"failure_message": "MapperParsingException[failed to parse field [@timestamp] of type [date] in document with id '<document-id>'. Preview of field's value: 'yesterday']; nested: IllegalArgumentException[failed to parse date field [yesterday] with format [strict_date_optional_time||epoch_millis]]; nested: NotSerializableExceptionWrapper[date_time_parse_exception: Failed to parse with all enclosed parsers];",
"original_document": "{\"@timestamp\":\"yesterday\",\"seq\":3945,\"level\":\"ERROR\",\"service\":\"checkout\",\"status\":500,\"latency_ms\":14,\"message\":\"GET /search?q=tea 500\",\"ingestionSource\":{\"s3_uri\":\"s3://amzn-s3-demo-bucket/app-logs/logs-ndjson-2.ndjson\",\"s3_bucket\":\"amzn-s3-demo-bucket\",\"type\":\"s3\"}}",
"ingestionSource": {
"s3_uri": "s3://amzn-s3-demo-bucket/app-logs/logs-ndjson-2.ndjson",
"s3_bucket": "amzn-s3-demo-bucket",
"type": "s3"
}
}
拒否の理由は failure_reason と failure_message に、元のログ行は original_document に、取り込み元の S3 オブジェクトは ingestionSource に入っています。
@timestamp が無いドキュメント
既定の @timestamp を使うインデックスに NDJSON を取り込んだ範囲では、@timestamp が欠落した10件はすべて拒否されず、本体インデックスに入りました。補完された @timestamp は、元の S3 オブジェクトの LastModified と一致しました。
| seq | S3 オブジェクト | 取り込み後の @timestamp | S3 の LastModified |
|---|---|---|---|
| 199 | app-logs/logs-ndjson-1.ndjson | 2026-11-17T09:49:24Z | 2026-11-17T09:49:24+00:00 |
| 2463 | app-logs/logs-ndjson-2.ndjson | 2026-11-17T09:49:25Z | 2026-11-17T09:49:25+00:00 |
欠落10件のすべてが、それぞれのファイルの LastModified の値でした。job の作成は 09:49:40Z で、補完された値はそれより前の S3 オブジェクトの更新日時です。
同じ collection に _doc で直接投入すると、@timestamp の無いドキュメントは拒否されました。応答の抜粋です。
"reason":"document is missing required timestamp field [@timestamp]"
"status":400
補完を確認できたのは、ingestion job 経由の取り込みだけです。
発表には、タイムスタンプが欠落または不正なドキュメントは拒否されると書かれています。今回は、不正な値のドキュメントは発表どおり拒否されましたが、欠落したドキュメントは拒否されず、S3 の更新日時が補完されました。
タイムスタンプフィールドのドキュメントには、@timestamp が欠落している場合は拒否されると書かれています。直接投入の結果は、この記述と一致します。
S3 取り込みのドキュメントには、job 経由で @timestamp が欠落していた場合の扱いが書かれていません。欠落したログは、元のイベント時刻ではなく S3 の更新日時で時刻範囲の検索に現れます。欠落を job で弾く前提では使えないため、S3 へ置く前に、すべてのログへ @timestamp を付けておく必要があります。
まとめ
Amazon OpenSearch Serverless の intelligent ingestion により、S3 の NDJSON と JSON array のログを、パイプラインなしで time series collection へ取り込めるようになりました。
時系列データの取り込みや ETL のためにパイプラインを組まれている場合は、一度評価いただくことをおすすめします。








