S3 バケット内の不完全なマルチパートアップロードの容量を調査する方法を教えてください。
困っていること
S3 の料金が意図せず高くなっています。
ドキュメントやブログを見たところ、不完全なマルチパートアップロードが存在しているような気がしています。
不完全なマルチパートアップロードの容量を簡単に確認する方法はありますか?
どう解決すればいいの?
S3 Storage Lens を使用すると、不完全なマルチパートアップロードの容量が確認できます。
やってみた
まずは 10 G のダミーファイルを作成します。
$ dd if=/dev/zero of=10G.dummy bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 16.1828 s, 648 MB/s
ダミーファイルを S3 バケットへコピーしつつ、途中で中断(Ctrl+Z)します。(念のため2回実施しました)
$ aws s3 cp 10G.dummy s3://s3-incomplete-mpu-test
^Zmpleted 72.0 MiB/9.8 GiB (21.9 MiB/s) with 1 file(s) remaining
[1]+ Stopped aws s3 cp 10G.dummy s3://s3-incomplete-mpu-test
$ aws s3 cp 10G.dummy s3://s3-incomplete-mpu-test
^Zmpleted 1009.0 MiB/9.8 GiB (20.7 MiB/s) with 1 file(s) remaining
[2]+ Stopped aws s3 cp 10G.dummy s3://s3-incomplete-mpu-test
Storage Lens コンソールを確認してみます。(Storage Lens は更新に時間がかかるため、1日以上置いてから確認しました。)
デフォルトで作成されているダッシュボードには、下記の URL でアクセスができます。
画面下部の「yyyy/mm/dd の上位 N の概要」にて、メトリクスを「不完全なマルチパートアップロードのバイト数」に指定することで、マルチパートアップロードの容量を確認することができました。