[一撃]正規表現で一致したS3バケットを削除するシェルスクリプトを書いてみた

マネージメントコンソールでS3バケットを削除していくの、地味にめんどくさくないですか?

のんピ

2021.05.04

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

うわっ…私のバケット、多すぎ…？

こんにちは、のんピです。

cdk deployとcdk destroyで楽しくスクラップビルドをしていたら、S3バケットが大量に作成されていた
なんてことはありませんか? 私はあります。

現在の私の環境のS3バケットは42個もありました。

マネージメントコンソールからS3バケットを削除する際には、バケットを1つずつ選択して一度バケットの中身を空にしてから削除する必要があります。 真心を込めた手作業で対応しても時間が勿体ないです。

ここでS3バケット名をご覧いただくと分かりますが、作成されたS3バケット名は先頭は固定の文字列で、後半はランダムな文字列(モザイクの裏側)になっています。
これを利用して正規表現に一致したS3バケットを一撃で大量に削除しようと思います。

正規表現に一致したS3バケットを削除するシェルスクリプト

作成したシェルスクリプトを記載します。
処理のフローとしては以下の通りです。

引数として文字列を受け取る
- 引数が1つじゃない = 正しいフォーマットではない場合は異常終了する
aws s3 api list-bucketsとjq、grepで、引数として受け取った文字列がマッチするS3バケット名を取得する
- マッチしたS3バケットが何もなければ正常終了する
マッチしたS3バケットの一覧を出力し、処理を続けるのか入力を受け付ける
- 削除するのであればyesで、次の処理に進む
- 削除しないのであれば、noで、正常終了する
- yesもしくはno以外の文字列が入力された場合は、繰り返し確認する
マッチしたS3バケットを順に削除する

delete-s3buckets.sh

#!/usr/bin/bash

bucket_name="$1"

# Abort the process if there is no argument
if [ $# != 1 ]; then
    echo "Please enter an argument."
    exit 1
fi

# Get the list of buckets to be deleted
backet_list=`aws s3api list-buckets | \
    jq -r ".Buckets[].Name" | \
    grep ${bucket_name} `

# There is no target bucket
if [ -z "${backet_list}" ]; then
    echo "There was no target bucket."
    exit 0
fi

# Confirm that you want to delete the bucket
echo "${backet_list}"
while true; do
    read -p "Do you want to delete this buckets? (y/n)" yn
    case $yn in
        [Yy]* ) break;;
        [Nn]* ) exit 0;;
        * ) echo "Please answer yes or no.";;
    esac
done

echo "Start deleting the bucket."


# Delete the bucket
echo "${backet_list}" | while read backet_name
do
    echo "Deleting ${backet_name} ..."
    aws s3 rb s3://$backet_name --force
done

echo "done"

実行してみた

それでは早速実行してみます。
Cloudshellから実行してみました。ログは以下のようになりました。(ログはコメントや空行、マスキングなどで整形しています。)

// 引数がない場合異常終了することを確認
[cloudshell-user@ip-10-0-1-89 ~]$ bash delete-s3buckets.sh 
Please enter an argument.

// 渡した文字列に一致するS3バケットがない場合異常終了することを確認
[cloudshell-user@ip-10-0-1-89 ~]$ bash delete-s3buckets.sh 12345678
There was no target bucket.

// "flow"という文字列が含まれるS3バケットをリストアップできることを確認
// 処理を途中で中断できることを確認
[cloudshell-user@ip-10-0-1-89 ~]$ bash delete-s3buckets.sh flow
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
Do you want to delete this buckets? (y/n)n

// "flow"から始まるS3バケットが見つからず、異常終了することを確認
[cloudshell-user@ip-10-0-1-89 ~]$ bash delete-s3buckets.sh ^flow
There was no target bucket.

// 先頭が"a"で間に0文字以上の文字列があり、その後"pp"を含むS3バケットがあることを確認
// y と n 以外を入力した場合、再度確認されることを確認
[cloudshell-user@ip-10-0-1-89 ~]$ bash delete-s3buckets.sh ^a.*pp
appstack-contentsbucket571b0902-1hnefmrkvdamd
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
Do you want to delete this buckets? (y/n)
Please answer yes or no.
Do you want to delete this buckets? (y/n)n   

// "appstack-flowlogsbucket"から始まるS3バケットがあることを確認
// 削除対象のS3バケットの中身が空になり、S3バケット自体も削除されることを確認
[cloudshell-user@ip-10-0-1-89 ~]$ bash delete-s3buckets.sh ^appstack-flowlogsbucket
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
appstack-flowlogsbucket8912xxxxxxxxxxxxxx
Do you want to delete this buckets? (y/n)y
Start deleting the bucket.
Deleting appstack-flowlogsbucket8912xxxxxxxxxxxxxx
delete: s3://appstack-flowlogsbucket8912xxxxxxxxxxxxxx-/
delete: s3://appstack-flowlogsbucket8912xxxxxxxxxxxxxx-/984900217833_vpcflowlogs_us-east-2_fl-0f240fd60b2b9d8a8_20210421T0125Z_ea3827d3.log.gz
delete: s3://appstack-flowlogsbucket8912xxxxxxxxxxxxxx-/984900217833_vpcflowlogs_us-east-2_fl-0f240fd60b2b9d8a8_20210421T0120Z_73278245.log.gz
delete: s3://appstack-flowlogsbucket8912xxxxxxxxxxxxxx-/984900217833_vpcflowlogs_us-east-2_fl-0f240fd60b2b9d8a8_20210421T0120Z_fab1391a.log.gz

(中略)

Deleting appstack-flowlogsbucket8912xxxxxxxxxxxxxx
remove_bucket: appstack-flowlogsbucket8912xxxxxxxxxxxxxx
Deleting appstack-flowlogsbucket8912xxxxxxxxxxxxxx
delete: s3://appstack-flowlogsbucket8912xxxxxxxxxxxxxx-/
delete: s3://appstack-flowlogsbucket8912xxxxxxxxxxxxxx-/984900217833_vpcflowlogs_us-east-1_fl-09227d000e7879198_20210425T0905Z_a3b0e54f.log.gz
remove_bucket: appstack-flowlogsbucket8912xxxxxxxxxxxxxx
done

実行完了後再度マネージメントコンソールからS3バケットの一覧を確認すると、42個あったバケットが7個に減っていました。めでたしめでたし。

スクリプトは便利

せっかくのGWなので片付けも兼ねてスクリプトで処理してみました。

スクリプトを使うと面倒な作業も時短できるので良いですよね。スクリプトで綺麗に処理が流れると心の中も綺麗になった気がします。
皆さんもGWの余暇時間を活かして環境を整理してみてはいかがでしょうか。

この記事が誰かの助けになれば幸いです。

以上、AWS事業本部コンサルティング部ののんピ(@non____97)でした!

[一撃]正規表現で一致したS3バケットを削除するシェルスクリプトを書いてみた

うわっ…私のバケット、多すぎ…？

正規表現に一致したS3バケットを削除するシェルスクリプト

実行してみた

スクリプトは便利

イベント

EVENT【5/15（水）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会〜フィンテック / リテール業界案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

[一撃]正規表現で一致したS3バケットを削除するシェルスクリプトを書いてみた

うわっ…私のバケット、多すぎ…？

正規表現に一致したS3バケットを削除するシェルスクリプト

実行してみた

スクリプトは便利

イベント

EVENT【5/15（水）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜フィンテック / リテール 業界案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

関連記事

【Security Hub修復手順】[Kinesis.1] Kinesis Data Streams は、保管中に暗号化する必要があります

デフォルトVPCサブネットの「パブリック IPv4 アドレスを自動割り当て」設定のあり・なしを検証したら、どちらもパブリックIPv4アドレスが割り当てられる

ALB のヘルスチェック失敗時に自動でメンテナンスページを表示させてみた

Amazon Connect Customer Profilesのデータソース自動更新と更新時間変更について

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会〜フィンテック / リテール業界案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！