[アップデート] Amazon DynamoDBで指定した区間のエクスポートができる増分エクスポート機能が追加されました

こんにちは。サービス開発室の武田です。Amazon DynamoDBで、指定した期間のみエクスポートする「増分エクスポート」がサポートされました。

#Amazon DynamoDB

#AWS

武田隆志

2023.09.27

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは。サービス開発室の武田です。

Amazon DynamoDBにはAmazon S3にテーブルをエクスポートできる機能があります。これまではテーブル全体をエクスポートする「フルエクスポート」のみが提供されていましたが、今回新しく、指定した期間のみエクスポートする「増分エクスポート」がサポートされました。

前提

増分エクスポートを使用する前提としてPITR（ポイントインタイムリカバリ）が有効化されている必要があります。そのためエクスポート機能を利用する予定のあるテーブルでは忘れずに有効化しましょう。

出力されるファイル

増分エクスポートをすると、マニフェストファイルとデータファイルの2種類がS3バケットに出力されます。マニフェストファイルは次のように出力されます。

prefix/AWSDynamoDB/ExportId/_started
prefix/AWSDynamoDB/ExportId/manifest-summary.json
prefix/AWSDynamoDB/ExportId/manifest-summary.checksum
prefix/AWSDynamoDB/ExportId/manifest-files.json
prefix/AWSDynamoDB/ExportId/manifest-files.checksum

prefixはエクスポート時に、任意に指定できるキーです。また、ExportIdは自動で振られる一意なIDです。_startedは0Bの書き込みチェックなどの目的で作られるファイルとなり、これは消してしまっても問題ありません。

manifest-summary.jsonはエクスポートジョブに関する概要情報を、manifest-files.jsonはエクスポートされたテーブルデータを含むファイルについての情報を含みます。それぞれのフォーマットを公式ドキュメントから引用します。

{
 "version": "2023-08-01",
 "exportArn": "arn:aws:dynamodb:us-east-1:599882009758:table/export-test/export/01695097218000-d6299cbd",
 "startTime": "2023-09-19T04:20:18.000Z",
 "endTime": "2023-09-19T04:40:24.780Z",
 "tableArn": "arn:aws:dynamodb:us-east-1:599882009758:table/export-test",
 "tableId": "b116b490-6460-4d4a-9a6b-5d360abf4fb3",
 "exportFromTime": "2023-09-18T17:00:00.000Z",
 "exportToTime": "2023-09-19T04:00:00.000Z",
 "s3Bucket": "jason-exports",
 "s3Prefix": "20230919-prefix",
 "s3SseAlgorithm": "AES256",
 "s3SseKmsKeyId": null,
 "manifestFilesS3Key": "20230919-prefix/AWSDynamoDB/01693685934212-ac809da5/manifest-files.json",
 "billedSizeBytes": 20901239349,
 "itemCount": 169928274,
 "outputFormat": "DYNAMODB_JSON",
 "outputView": "NEW_AND_OLD_IMAGES",
 "exportType": "INCREMENTAL_EXPORT"
}

{
"itemCount": 8,
   "md5Checksum": "sQMSpEILNgoQmarvDFonGQ==",
   "etag": "af83d6f217c19b8b0fff8023d8ca4716-1",
   "dataFileS3Key": "AWSDynamoDB/data/sgad6417s6vss4p7owp0471bcq.json.gz"
}