Google Cloud Storage で大量のオブジェクト削除を工夫してやってみる

$ python gcs-put-objects.py 
XXXX に 100000件のファイル作成を開始します...
作成完了！ 所要時間: 359.42 秒

from google.cloud import storage
from concurrent.futures import ThreadPoolExecutor
import time

# === 設定項目 ===
BUCKET_NAME = 'YOUR_BUCKET_NAME' # 自分のバケット名に変更
PREFIX = 'dummy_files/'          # 削除対象のディレクトリ名
MAX_WORKERS = 200                # 並列処理の数（APIの同時リクエスト数）
# ===============

def delete_blob(blob):
    """GCSのオブジェクトを1件個別に削除する関数"""
    blob.delete()

def main():
    # 認証情報は環境変数(GOOGLE_APPLICATION_CREDENTIALS)などに依存
    client = storage.Client()
    bucket = client.bucket(BUCKET_NAME)

    print(f"[{BUCKET_NAME}] 内の [{PREFIX}] 配下を検索中...")
    # 削除対象のオブジェクトリストを取得
    blobs = list(bucket.list_blobs(prefix=PREFIX))
    total_files = len(blobs)

    if total_files == 0:
        print("削除対象のファイルが見つかりませんでした。")
        return

    print(f"合計 {total_files} 件のファイル削除を開始します (並列数: {MAX_WORKERS})...")
    start_time = time.time()

    # マルチスレッドで大量の DELETE リクエストを並列送信する
    with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
        # map関数を使って、取得したblobリストを次々とdelete_blob関数に渡す
        executor.map(delete_blob, blobs)

    elapsed_time = time.time() - start_time
    print(f"削除完了！ 所要時間: {elapsed_time:.2f} 秒")

if __name__ == "__main__":
    main()

$ python gcs-murtithred-delete.py 
[XXXX] 内の [dummy_files/] 配下を検索中...
合計 100000 件のファイル削除を開始します (並列数: 200)...
削除完了！ 所要時間: 380.22 秒

from google.cloud import storage
import time

# === 設定項目 ===
BUCKET_NAME = 'YOUR_BUCKET_NAME' # 自分のバケット名に変更
PREFIX = 'dummy_files/'          # 削除対象のディレクトリ名
# ===============

def batch_delete():
    client = storage.Client()
    bucket = client.bucket(BUCKET_NAME)

    print("削除対象のファイル一覧を取得中...")
    # prefixに一致するファイルのリストを取得
    blobs = list(bucket.list_blobs(prefix=PREFIX))
    total_blobs = len(blobs)

    if total_blobs == 0:
        print("削除対象のファイルが見つかりませんでした。")
        return

    print(f"合計 {total_blobs} 件のファイルをバッチAPIで削除します...")
    start_time = time.time()

    # 100件ずつに分割（チャンク化）して処理する
    chunk_size = 100

    for i in range(0, total_blobs, chunk_size):
        chunk = blobs[i : i + chunk_size]
        with client.batch():
            for blob in chunk:
                blob.delete()

        # 現在の経過時間を計算して出力に追加
        elapsed_so_far = time.time() - start_time
        print(f"  [{i + len(chunk)} / {total_blobs}] 件削除完了... (経過時間: {elapsed_so_far:.2f} 秒)")

    total_elapsed_time = time.time() - start_time
    print(f"削除完了！ 総所要時間: {total_elapsed_time:.2f} 秒")

if __name__ == "__main__":
    batch_delete()

$ python gcs-batch-delete.py 
削除対象のファイル一覧を取得中...
合計 100000 件のファイルをバッチAPIで削除します...
  [100 / 100000] 件削除完了... (経過時間: 3.11 秒)
  [200 / 100000] 件削除完了... (経過時間: 6.18 秒)
  [300 / 100000] 件削除完了... (経過時間: 9.23 秒)
  [400 / 100000] 件削除完了... (経過時間: 12.33 秒)
  [500 / 100000] 件削除完了... (経過時間: 15.29 秒)
  ......

from google.cloud import storage
from concurrent.futures import ThreadPoolExecutor
import time

# === 設定項目 ===
BUCKET_NAME = 'YOUR_BUCKET_NAME'
PREFIX = 'dummy_files/'
MAX_WORKERS = 50  # 50スレッドで並列化
CHUNK_SIZE = 100 # Batch APIの上限
# ===============

def delete_batch_chunk(chunk):
    """1000件の塊を受け取り、1つのバッチリクエストで削除する関数"""
    client = storage.Client()
    bucket = client.bucket(BUCKET_NAME)

    with client.batch():
        for blob in chunk:
            # blobオブジェクトが別クライアント由来だとエラーになる場合があるため
            # バッチ内で新しく参照し直すのが安全です
            bucket.blob(blob.name).delete()
    print(f"  {len(chunk)}件のバッチ削除スレッドが完了しました")

def main():
    client = storage.Client()
    bucket = client.bucket(BUCKET_NAME)

    print("ファイル一覧を取得中...")
    blobs = list(bucket.list_blobs(prefix=PREFIX))
    total_blobs = len(blobs)

    if total_blobs == 0:
        return

    # 1000件ずつのリストのリスト（チャンク）を作成
    chunks = [blobs[i:i + CHUNK_SIZE] for i in range(0, total_blobs, CHUNK_SIZE)]

    print(f"合計 {total_blobs} 件のファイルを、{len(chunks)}個のバッチに分けてマルチスレッド削除します...")
    start_time = time.time()

    # マルチスレッドでバッチリクエストを一気に送信
    with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
        executor.map(delete_batch_chunk, chunks)

    elapsed_time = time.time() - start_time
    print(f"削除完了！ 所要時間: {elapsed_time:.2f} 秒")

if __name__ == "__main__":
    main()

$ python gcs-batch-murtithred-delete.py 
ファイル一覧を取得中...
合計 100000 件のファイルを、1000個のバッチに分けてマルチスレッド削除します...
100件のバッチ削除スレッドが完了しました
.....
.....

削除完了！ 所要時間: 85.74 秒

$ echo "=== CPU情報 ==="
lscpu | grep -E "^CPU\(s\):|^Model name:|^Thread\(s\) per core:|^Core\(s\) per socket:"
echo -e "\n=== メモリ情報 ==="
free -h | grep -E "^Mem:|^Swap:"
echo -e "\n=== OS情報 ==="
grep PRETTY_NAME /etc/os-release
=== CPU情報 ===
CPU(s):                                  2
Model name:                              Intel(R) Xeon(R) CPU @ 2.20GHz
Thread(s) per core:                      2
Core(s) per socket:                      1

=== メモリ情報 ===
Mem:           7.8Gi       2.2Gi       4.3Gi       1.1Mi       1.5Gi       5.6Gi
Swap:             0B          0B          0B

=== OS情報 ===
PRETTY_NAME="Ubuntu 24.04.4 LTS"