OpenSearch Serverless の time series collection で intelligent ingestion を試してみた

OpenSearch Serverless の time series collection で intelligent ingestion を試してみた

S3 に置いた NDJSON と JSON array のログを、ingestion job で取り込みました。NDJSON では、@timestamp が不正なドキュメントは専用のインデックスに残り、欠落したドキュメントは拒否されず S3 の更新日時が入りました。
2026.11.19

はじめに

2026年11月11日に、time series collection が intelligent ingestion に対応しました。対象は Amazon OpenSearch Serverless の NextGen です。

https://aws.amazon.com/jp/about-aws/whats-new/2026/11/amazon-opensearch-serverless-nextgen-time-series-intelligent-ingestion/

intelligent ingestion は、パイプラインを作らずに、S3 のログを time series collection へ入れる機能です。この記事では、S3 に置いたログを ingestion job で collection に取り込み、結果を確認します。

事前に用意するもの

collection

リージョンは ap-northeast-1 です。NextGen の collection group を先に作り、その中に collection を作成しました。collection の作成前に、AWS 所有キーの暗号化ポリシーと、検証用にパブリックアクセスを許可したネットワークポリシーも作成しています。グループには --capacity-limits で OCU の上限と下限を指定します。

aws opensearchserverless create-collection-group --region ap-northeast-1 --name devio-ingest-grp --standby-replicas ENABLED --generation NEXTGEN --capacity-limits '{"maxIndexingCapacityInOCU":4,"maxSearchCapacityInOCU":4,"minIndexingCapacityInOCU":0,"minSearchCapacityInOCU":0}'
aws opensearchserverless create-collection --region ap-northeast-1 --name devio-ts-ingest --type TIMESERIES --collection-group-name devio-ingest-grp --standby-replicas ENABLED

データアクセスポリシー

ingestion job は専用の ingestion role を指定せず、job を作成する呼び出し元のロールで実行しました。このロールを Principal にしたデータアクセスポリシーを、data-access-policy.json として保存します。

[
  {
    "Rules": [
      {
        "ResourceType": "index",
        "Resource": ["index/devio-ts-ingest/app-logs*"],
        "Permission": [
          "aoss:CreateIndex",
          "aoss:DescribeIndex",
          "aoss:UpdateIndex",
          "aoss:WriteDocument",
          "aoss:ReadDocument"
        ]
      }
    ],
    "Principal": ["arn:aws:iam::111122223333:role/<your-role>"]
  }
]
aws opensearchserverless create-access-policy --region ap-northeast-1 --name devio-ts-ingest-data --type data --policy file://data-access-policy.json

ReadDocument は、取り込み後に検索して結果を確かめるために追加した権限です。ドキュメントで job に必要とされている権限は、CreateIndex、DescribeIndex、UpdateIndex、WriteDocument の4つです。

今回の呼び出し元のロールには AdministratorAccess が付いており、IAM ポリシーは追加していません。実運用環境では、ドキュメントに記載のポリシーを参考に、権限を最小化することをおすすめします。

https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-intelligent-ingestion-s3.html

投入データ

collection と同じアカウントの S3 バケットを用意し、app-logs/ 配下に合成ログを3ファイル置きました。

S3 キー 形式 件数
app-logs/logs-ndjson-1.ndjson NDJSON 2,000
app-logs/logs-ndjson-2.ndjson NDJSON 2,000
app-logs/logs-array-1.json JSON array 1,000

不良データとして、NDJSON に @timestamp が欠落した行を10件、値が "yesterday" の行を9件、JSON array に値が "yesterday" の行を1件入れました。合計5,000件のうち20件が不良です。

取り込めるのは非圧縮のオブジェクトです。圧縮して保存しているログは、展開してから置きます。

ingestion stream は試していません。stream で S3 の新規オブジェクトを継続して取り込む場合は、専用の IAM ロールと、S3 イベント通知を受ける SQS キューが必要です。手順は S3 取り込みのドキュメントを参照してください。

ingestion job で取り込む

実行コマンド

collection の ID、S3 バケットの ARN、バケット所有者のアカウント ID、キーのプレフィックス、取り込み先のインデックス名を渡して job を作成します。プレフィックスで対象を絞り、NDJSON と JSON array は別の job にしました。

aws opensearchserverless create-ingestion-job --region ap-northeast-1 --collection-id <collection-id> --ingestion-job-name job-ndjson --index-name app-logs-ndjson --source '{"s3":{"bucket":"arn:aws:s3:::amzn-s3-demo-bucket","bucketOwnerAccountId":"111122223333","keyPrefix":"app-logs/logs-ndjson-"}}'

作成の応答の failureIndexName に、拒否されたドキュメントを格納するインデックスの名前が入ります。NDJSON の job では app-logs-ndjson-ingestion-failures でした。

進捗は get-ingestion-job で確認します。

aws opensearchserverless get-ingestion-job --region ap-northeast-1 --collection-id <collection-id> --ingestion-job-id <ingestion-job-id>

NDJSON の job が完了したときの応答から、状態、件数、時刻の項目を抜粋します。

{
  "status": "COMPLETED",
  "state": "INGESTION_COMPLETE",
  "statistics": {
    "s3": {
      "objectsDiscovered": 2,
      "objectsIngested": 2,
      "objectsFailed": 0
    }
  },
  "createdAt": "2026-11-17T18:49:40.505000+09:00",
  "updatedAt": "2026-11-17T18:50:27.585000+09:00"
}

statistics の件数は S3 オブジェクト単位です。

所要時間

collection は、作成コマンドの実行から12秒後の最初の確認で ACTIVE になっていました。

job の状態は約10秒間隔で確認しました。

  • NDJSON(2オブジェクト、約0.6MB、4,000件)は、作成の5秒後の最初の確認ですでに ACTIVE、47秒後の確認で COMPLETED でした。
  • JSON array(1オブジェクト、約0.16MB、1,000件)は、1秒後の確認が CREATING、11秒後が ACTIVE、22秒後の確認で COMPLETED でした。

各値は1回の観測です。2つの job とも、updatedAt は COMPLETED を確認した時刻と同じ秒でした。updatedAt が完了時刻か確認時刻かは判別できないため、完了はこの時刻より前の可能性があります。件数は、ドキュメントの手順どおり COMPLETED になってから確認します。

取り込み結果

件数

COMPLETED になった後で、インデックスごとの件数を確認しました。

入力 本体インデックス failures インデックス
NDJSON 4,000件 app-logs-ndjson 3,991 app-logs-ndjson-ingestion-failures 9
JSON array 1,000件 app-logs-array 999 app-logs-array-ingestion-failures 1

本体の4,990件と failures の10件を足すと5,000件で、投入した件数と一致します。拒否されたドキュメントは失われず、failures インデックスに残ります。NDJSON の本体3,991件には、@timestamp が欠落した10件が含まれています。

2つの job で合計10件が拒否されましたが、objectsFailed はどちらも0でした。ドキュメント単位の拒否数は、上の表の failures インデックスの件数で確認できます。拒否されたドキュメントの中身は次の項で見ます。

不正な @timestamp

failures インデックスに入った NDJSON 側の9件のうち、1件を示します。

{
  "@timestamp": 1794909011648,
  "failure_reason": "mapping_conflict",
  "failure_message": "MapperParsingException[failed to parse field [@timestamp] of type [date] in document with id '<document-id>'. Preview of field's value: 'yesterday']; nested: IllegalArgumentException[failed to parse date field [yesterday] with format [strict_date_optional_time||epoch_millis]]; nested: NotSerializableExceptionWrapper[date_time_parse_exception: Failed to parse with all enclosed parsers];",
  "original_document": "{\"@timestamp\":\"yesterday\",\"seq\":3945,\"level\":\"ERROR\",\"service\":\"checkout\",\"status\":500,\"latency_ms\":14,\"message\":\"GET /search?q=tea 500\",\"ingestionSource\":{\"s3_uri\":\"s3://amzn-s3-demo-bucket/app-logs/logs-ndjson-2.ndjson\",\"s3_bucket\":\"amzn-s3-demo-bucket\",\"type\":\"s3\"}}",
  "ingestionSource": {
    "s3_uri": "s3://amzn-s3-demo-bucket/app-logs/logs-ndjson-2.ndjson",
    "s3_bucket": "amzn-s3-demo-bucket",
    "type": "s3"
  }
}

拒否の理由は failure_reason と failure_message に、元のログ行は original_document に、取り込み元の S3 オブジェクトは ingestionSource に入っています。

@timestamp が無いドキュメント

既定の @timestamp を使うインデックスに NDJSON を取り込んだ範囲では、@timestamp が欠落した10件はすべて拒否されず、本体インデックスに入りました。補完された @timestamp は、元の S3 オブジェクトの LastModified と一致しました。

seq S3 オブジェクト 取り込み後の @timestamp S3 の LastModified
199 app-logs/logs-ndjson-1.ndjson 2026-11-17T09:49:24Z 2026-11-17T09:49:24+00:00
2463 app-logs/logs-ndjson-2.ndjson 2026-11-17T09:49:25Z 2026-11-17T09:49:25+00:00

欠落10件のすべてが、それぞれのファイルの LastModified の値でした。job の作成は 09:49:40Z で、補完された値はそれより前の S3 オブジェクトの更新日時です。

同じ collection に _doc で直接投入すると、@timestamp の無いドキュメントは拒否されました。応答の抜粋です。

"reason":"document is missing required timestamp field [@timestamp]"
"status":400

補完を確認できたのは、ingestion job 経由の取り込みだけです。

発表には、タイムスタンプが欠落または不正なドキュメントは拒否されると書かれています。今回は、不正な値のドキュメントは発表どおり拒否されましたが、欠落したドキュメントは拒否されず、S3 の更新日時が補完されました。

タイムスタンプフィールドのドキュメントには、@timestamp が欠落している場合は拒否されると書かれています。直接投入の結果は、この記述と一致します。

https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-timestamp-field.html

S3 取り込みのドキュメントには、job 経由で @timestamp が欠落していた場合の扱いが書かれていません。欠落したログは、元のイベント時刻ではなく S3 の更新日時で時刻範囲の検索に現れます。欠落を job で弾く前提では使えないため、S3 へ置く前に、すべてのログへ @timestamp を付けておく必要があります。

まとめ

Amazon OpenSearch Serverless の intelligent ingestion により、S3 の NDJSON と JSON array のログを、パイプラインなしで time series collection へ取り込めるようになりました。

時系列データの取り込みや ETL のためにパイプラインを組まれている場合は、一度評価いただくことをおすすめします。

この記事をシェアする

AWSのお困り事はクラスメソッドへ

関連記事