S3 Express One Zoneと標準S3の性能をAWSCLIで比較してみた

re:Invent2023 で発表された、S3の新しいストレージクラス、「Amazon S3 Express One Zone」。 その性能傾向を確認するため、CLIで総容量4GB、1.2万オブジェクトの転送を実施して、従来(S3スタンダード)と比較する機会がありましたので紹介させて頂きます。

準備

AWS東京リージョンに検証用のEC2と、S3を用意しました。

EC2

• Instance type: c7gd.large
• AMI: al2023-ami-2023.2.20231113.0-kernel-6.1-arm64
• IAM Role: PowerUserAccess 相当付与
• AZ: ap-northeast-1a (apne1-az4)

awscli

CLIは最新バージョンに更新しました。

sudo dnf remove awscli -y
curl "https://awscli.amazonaws.com/awscli-exe-linux-aarch64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install
sudo ln -s /usr/local/bin/aws /usr/bin/aws

$ aws --version
aws-cli/2.15.0 Python/3.11.6 Linux/6.1.61-85.141.amzn2023.aarch64 exe/aarch64.amzn.2023 prompt/off

インスタンスストア

作業領域として c7gd.large のインスタンスストアを利用しました。

sudo sh -c "mkfs.ext4 /dev/nvme1n1; mkdir -p /mnt/nvme1n1; mount /dev/nvme1n1 /mnt/nvme1n1;"
sudo sh -c "mkdir -p /mnt/nvme1n1/tmp; chmod 777 /mnt/nvme1n1/tmp;"

$ df -h /dev/nvme1n1
Filesystem      Size  Used Avail Use% Mounted on
/dev/nvme1n1    108G   28K  103G   1% /mnt/nvme1n1

CloudFrontの標準アクセスログ、総容量は4.1GB、12000強のファイルを用意しました。

$ ls -lah | head -n 8
total 4.1G
drwxr-xr-x. 2 ec2-user ec2-user  860K Dec 10 16:03 .
drwxrwxrwx. 5 root     root      4.0K Dec 10 16:01 ..
-rw-r--r--. 1 ec2-user ec2-user  1007 Dec  9 08:36 E2LAXXXXXXXXXX.2023-11-02-15.6523171c.gz
-rw-r--r--. 1 ec2-user ec2-user   533 Dec  9 08:36 E2LAXXXXXXXXXX.2023-11-02-15.83230f88.gz
-rw-r--r--. 1 ec2-user ec2-user  1.0K Dec  9 08:36 E2LAXXXXXXXXXX.2023-11-02-15.a45bf262.gz
-rw-r--r--. 1 ec2-user ec2-user  1.9K Dec  9 08:36 E2LAXXXXXXXXXX.2023-11-02-15.a77ab92e.gz
-rw-r--r--. 1 ec2-user ec2-user  1.5K Dec  9 08:36 E2LAXXXXXXXXXX.2023-11-02-15.c21876a0.gz

$ ls -1 | wc -l
12086

$ ls -l | awk '{s+=$5; n++} END {print s/n}'
354541

S3

東京リージョンに3つのS3バケットを作成しました。

• 汎用 (Standard)
• ディレクトリ (S3 Express One Zone) ‐ apne1-az4 ‐ apne1-az1

測定

「s3 sync」を実施、S3への書き込み(アップロード)と、読み取り(ダウンロード)の所要時間を求めました。

time aws s3 sync . s3://<測定対象S3バケット>/cflog/ > /dev/null
time aws s3 sync s3://<測定対象S3バケット>/cflog/ ./download/ > /dev/null

結果

書き込み

読み込み

コスト比較

東京リージョンの S3(標準)と、Express One Zone、ストレージとAPI課金のコストを比較しました。

まとめ

CLIを利用した簡易な検証ですが、 従来のS3(標準)と比較し Express One Zoneのストレージクラスは高速。特に書き込み時の待機時間が少ない利用ができる傾向が確認できました。

Express One Zone、S3標準と比較すると、月額のストレージコストは割高ですが API実行コストは半額の設定。 長期保管の必要がない中間データ、一連の処理が完了した後に撤去するファイル置き場としての適正が高いものと思われます。

Amazon Athenaで、クエリ結果からテーブル作成する CTASクエリの出力先として最適な利用が出来ると思われますが、その検証は改めて試みてみたいと思います。

CREATE TABLE cloudfront_logs_az1_p
WITH (
     format = 'PARQUET',  
     external_location = 's3://<バケット名>--apne1-az1--x-s3/PARQUET') 
AS SELECT 
date, time, location, bytes, request_ip, method, host, uri, status, referrer, user_agent
FROM "default"."cloudfront_logs"