[アップデート] S3バケット内の単一オブジェクトのサイズ上限が5TBから50TBになりました #AWSreInvent

5TBよりも大きいオブジェクトを作成したい

こんにちは、のんピ(@non____97)です。

皆さんは5TBよりも大きいオブジェクトを作成したいなと思ったことはありますか? 私はあります。

動画やアセット、DBダンプ、機械学習の生成物などの大容量ファイルをS3バケット上に保存させたい時があります。

従来のS3バケットの単一オブジェクトのサイズ上限は5TBでした。

5TBを超過をする場合は、S3バケットにファイルをPUTする前にユーザー側でファイルを分割をする必要があります。ファイル分割をするということは、実際に使用する際にはユーザーがオブジェクトをGETした後にファイルをまとめる作業が必要となります。

データサイズが大きいということは処理に時間もかかりますし、正常に処理が完了しなかった場合の影響は大きいです。データのロストをケアしながら対応するのは中々神経使うことになります。

今回、アップデートによりS3バケット内の単一オブジェクトのサイズ上限が全リージョンで5TBから50TBになりました。

https://aws.amazon.com/about-aws/whats-new/2025/12/amazon-s3-maximum-object-size-50-tb/

要するに10倍に増強されています。

これはアツいですね。

ドキュメントを確認してみる

AWS公式ドキュメントを確認してみます。

https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html

50TBのオブジェクトをアップロードするためにはAWS SDK、REST API、または AWS CLIを使用してマルチパートアップロードを使用する必要があります。

マルチパートアップロードを使わないAWS SDK、REST API、またはAWS CLIの場合は一回のPUTで5GB、AWSマネジメントコンソール上からのアップロードは最大160GBです。

元々5TBのオブジェクトをアップロードしたい場合はCLIやSDKでマルチパートアップロードを使われていたと思いますが、改めて注意しましょう。

アップロード時のパフォーマンスを向上させたい場合はAWS Common Runtime(CRT)およびAmazon S3 Transfer Managerの利用が推奨されています。

CRTとAmazon S3 Transfer Managerについては以下AWS Blogsの記事が参考になります。

https://aws.amazon.com/jp/blogs/news/improving-amazon-s3-throughput-for-the-aws-cli-and-boto3-with-the-aws-common-runtime/

https://aws.amazon.com/jp/blogs/developer/introducing-crt-based-s3-client-and-the-s3-transfer-manager-in-the-aws-sdk-for-java-2-x/

大規模アセットがより扱いやすくなった

S3バケット内の単一オブジェクトのサイズ上限が5TBから50TBになったアップデートを紹介しました。

大規模アセットがより扱いやすくなりましたね。今後もS3を使い倒しておきましょう。

この記事が誰かの助けになれば幸いです。

以上、クラウド事業本部 コンサルティング部の のんピ(@non____97)でした!