はじめに

AWS マネジメントコンソールから S3 バケットへのファイル操作の制約事項を調査する機会がありました。マネジメントコンソールを使用してファイルをアップロード・ダウンロードする機会はあるものの、具体的な制約事項について正確に把握できていませんでした。今回は AWS 公式ドキュメントを中心に制約事項を確認し、実際に試してみた結果を共有します。

マネジメントコンソールからの基本的な操作方法については以下の記事をご参照ください。

https://dev.classmethod.jp/articles/s3_beginner_console/

調査結果早見

マネジメントコンソールから S3 を操作する際の制約事項です。

• アップロード:
  • 最大 160 GB まで
    -（実測では 160 GiB+1 Byte まで可能、161 GiB は不可）
• ダウンロード:
  • 一度に 1 オブジェクトのみ
  • 最大 5TB まで
  • ファイル名末尾のピリオドは自動削除される
• 削除:
  • API 制限は 1,000 個まで
  • マネージメントコンソールは内部的に分割し削除するのか、3,300 オブジェクト削除可能でした

大容量ファイルや大量オブジェクトを扱う場合は AWS CLI や SDK を推奨します。

アップロード検証

ファイルサイズの制限

マネジメントコンソールからアップロード可能な最大ファイルサイズは 160 GB です。これを超えるファイルは AWS CLI、SDK、または REST API を使用してください。

The maximum size of a file that you can upload by using the Amazon S3 console is 160 GB. To upload a file larger than 160 GB, use the AWS Command Line Interface (AWS CLI), AWS SDKs, or Amazon S3 REST API.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html

試してみた

160 GiB のファイルと 160 GiB+1 Byte のファイルをアップロードしました。

$ ls -lh test*
-rw-------@ 1 ohmura.yasutaka  staff  171798691840 12 24 14:06 test-160GiB.bin
-rw-------@ 1 ohmura.yasutaka  staff  171798691841 12 24 14:06 test-160GiB+1B.bin

160 GiB のファイル

160 GiB ちょうどのファイルは問題なくアップロードが進みました。

転送速度が遅いため完了を待たずに中断しました。

160 GiB+1 Byte のファイル

160 GiB+1 Byte のファイルも意外にアップロードできました。

1 Byte はセーフなのでしょうか。

161 GiB のファイル

次に 161 GiB のファイルを作成し、アップロードを試みました。

-rw-------@ 1 ohmura.yasutaka  staff   161G 12 24 14:14 test-161GiB.bin

容量超過時はファイル選択段階で警告が表示されました。

アップロードボタンを押すと以下のエラーが表示されアップロードできませんでした。

検証結果

公式ドキュメントでは 160 GB までと記載されていますが、実際の上限は 160 GiB と 161 GiB の間にあるようです。

ダウンロード検証

一度にダウンロードできる数

マネジメントコンソールからは一度に 1 つのオブジェクトのみダウンロード可能です。

複数オブジェクトを一括ダウンロードする場合は AWS CLI や SDK を使用してください。

Note

• You can download only one object at a time.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html

試してみた

マネジメントコンソールで複数のオブジェクトを選択しました。複数選択時はダウンロードボタンが無効化されます。

オブジェクト名の末尾ピリオドに関する制約事項

オブジェクト名の末尾にピリオド（.）がある場合、コンソールからダウンロードするとピリオドが削除されます。CLI、SDK、または REST API を使用すればピリオドを保持したままダウンロードできます。

• If you use the Amazon S3 console to download an object whose key name ends with a period (.), the period is removed from the key name of the downloaded object. To retain the period at the end of the name of the downloaded object, you must use the AWS Command Line Interface (AWS CLI), AWS SDKs, or Amazon S3 REST API.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html

試してみた

末尾にピリオドを含むオブジェクト名 test-file. のファイルを作成し、アップロードしました。これをマネジメントコンソールからダウンロードします。

ダウンロードされたファイル名は test-file になっていました。末尾のピリオドが削除されることを確認できました。

大容量ファイルのダウンロード制約

5 TB を超えるオブジェクトのダウンロードには並行 GetObject リクエストや Range HTTP ヘッダーを使用してください。単一の GET リクエストは 5 TB に制限されており、これを超えると 405 - Method Not Allowed エラーが発生します。

To download objects larger than 5 TB, use concurrent GetObject requests with either Range HTTP header to read specific byte ranges or partNumber to download specific part of an object. Single GET requests are limited to 5 TB, and you will receive a 405 - Method Not Allowed error for GET requests beyond 5 TB.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html

試してみた

まず 1 TB のファイルをマネジメントコンソールからダウンロードしました。

ファイルは問題なくダウンロードが進みました。転送速度が遅いため完了を待たずに中断しました。

次に、6 TB のファイルをアップロードし、ダウンロードを試みました。マネジメントコンソールからのダウンロードは 5 TB までの制限があることを確認できました。

検証結果

マネジメントコンソールからは 1 オブジェクトずつしかダウンロードできません。また末尾にピリオドがあるファイル名は自動的にピリオドが削除されます。5 TB を超える大容量ファイルはダウンロードができません。

削除検証

複数オブジェクトの一括削除制限

一度の HTTP リクエストで削除できるオブジェクト数は最大 1,000 個です。

This operation enables you to delete multiple objects from a bucket using a single HTTP request. If you know the object keys that you want to delete, then this operation provides a suitable alternative to sending individual delete requests, reducing per-request overhead.

The request can contain a list of up to 1,000 keys that you want to delete.

https://docs.aws.amazon.com/AmazonS3/latest/API/API_DeleteObjects.html

マネジメントコンソールから大量のオブジェクトを削除するとどうなるでしょうか。

試してみた

まず 1,200 オブジェクトを選択して削除します。

問題なく削除できました。

次に、表示できる限界だった 3,300 オブジェクトを選択して削除します。

こちらも問題なく削除できました。

検証結果

マネジメントコンソールは内部的に複数回のリクエストに分けて削除処理を実行しているのか定かではありませんが、1,000 個を超えるオブジェクトも削除可能でした。

まとめ

AWS マネジメントコンソールから S3 を操作する際の制約事項を調査し検証しました。

以下、主な制約事項の一覧です。

マネジメントコンソールは直感的で便利ですが、大容量ファイルや大量のオブジェクトを扱う場合は AWS CLI や SDK の使用を検討してください。

おわりに

S3 のマネジメントコンソール操作の制約を知りたい方の参考になれば幸いです。地味に時間のかかる作業でした。