transfer_manager で GCS へのファイルアップロードが高速化できるか確認してみた。

#!/bin/bash

FILE_SIZE=10000000
FILE_COUNT=100
FILE_PREFIX="sample_10MB_"
TARGET_DIR="files"

# フォルダが存在しない場合は作成
if [ ! -d "$TARGET_DIR" ]; then
  mkdir -p "$TARGET_DIR"
fi

# ファイル作成
for i in $(seq 1 $FILE_COUNT); do
  FILE_NAME="${FILE_PREFIX}${i}"
  dd if=/dev/urandom bs=$FILE_SIZE count=1 of="$TARGET_DIR/$FILE_NAME" status=none
  echo "create $TARGET_DIR/$FILE_NAME"
done

echo "done."

$ bash ./create_sample_files.sh
create files/sample_10MB_1
create files/sample_10MB_2
create files/sample_10MB_3
（省略）
create files/sample_10MB_100
done.

$ ls -la
total 16
drwxrwxr-x  3 mikami_yuki mikami_yuki 4096 Sep 24 15:20 .
drwxr-xr-x 67 mikami_yuki        1001 4096 Sep 24 15:20 ..
-rw-rw-r--  1 mikami_yuki mikami_yuki  457 Sep 24 15:20 create_sample_files.sh
drwxrwxr-x  2 mikami_yuki mikami_yuki 4096 Sep 24 15:20 files
$ ls -la files/
total 976820
drwxrwxr-x 2 mikami_yuki mikami_yuki     4096 Sep 24 15:20 .
drwxrwxr-x 3 mikami_yuki mikami_yuki     4096 Sep 24 15:20 ..
-rw-rw-r-- 1 mikami_yuki mikami_yuki 10000000 Sep 24 15:20 sample_10MB_1
-rw-rw-r-- 1 mikami_yuki mikami_yuki 10000000 Sep 24 15:20 sample_10MB_10
-rw-rw-r-- 1 mikami_yuki mikami_yuki 10000000 Sep 24 15:20 sample_10MB_100
-rw-rw-r-- 1 mikami_yuki mikami_yuki 10000000 Sep 24 15:20 sample_10MB_11
（省略）
-rw-rw-r-- 1 mikami_yuki mikami_yuki 10000000 Sep 24 15:20 sample_10MB_99

from google.cloud import storage
import time
import os

def upload_files(bucket_name, filenames, destination_path, directory):
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)

    start_time = time.time()  # アップロード開始時刻

    for filename in filenames:
        blob_name = os.path.join(destination_path, filename)
        blob = bucket.blob(blob_name)
        blob.upload_from_filename(os.path.join(directory, filename))

    end_time = time.time()  # アップロード終了時刻
    elapsed_time = end_time - start_time  # 経過時間

    print(f"アップロード時間: {elapsed_time:.2f} 秒")

bucket_name = "test-mikami"
directory = "./files"
destination_path = "upload_files/serial"

# ディレクトリ内のファイル名を取得
filenames = [f for f in os.listdir(directory) if os.path.isfile(os.path.join(directory, f))]
# 直列アップロード
upload_files(bucket_name, filenames, destination_path, directory)

$ python serial.py
アップロード時間: 69.10 秒

from google.cloud import storage
from google.cloud.storage import transfer_manager
import time
import os

def upload_files(bucket_name, filenames, source_directory="", blob_name_prefix="", workers=8):
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)

    start_time = time.time()  # アップロード開始時刻

    results = transfer_manager.upload_many_from_filenames(
        bucket, filenames, source_directory=source_directory, blob_name_prefix=blob_name_prefix, max_workers=workers
    )

    end_time = time.time()  # アップロード終了時刻
    elapsed_time = end_time - start_time  # 経過時間

    print(f"アップロード時間: {elapsed_time:.2f} 秒")

bucket_name = "test-mikami"
directory = "./files"
destination_path = "upload_files/transfer_manager/"

# ディレクトリ内のファイル名を取得
filenames = [f for f in os.listdir(directory) if os.path.isfile(os.path.join(directory, f))]
# Transfer Manager でアップロード
upload_files(bucket_name, filenames, source_directory=directory, blob_name_prefix=destination_path)

$ python transfer_manager.py
アップロード時間: 10.06 秒

from google.cloud import storage
import time
import os
from concurrent.futures import ThreadPoolExecutor

def upload_files(bucket_name, filenames, destination_path, directory):
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)

    start_time = time.time()  # アップロード開始時刻

    with ThreadPoolExecutor(max_workers=8) as executor:
        for filename in filenames:
            blob_name = os.path.join(destination_path, filename)
            blob = bucket.blob(blob_name)
            executor.submit(blob.upload_from_filename, os.path.join(directory, filename))

    end_time = time.time()  # アップロード終了
    elapsed_time = end_time - start_time  # 経過時間

    print(f"アップロード時間: {elapsed_time:.2f} 秒")

bucket_name = "test-mikami"
directory = "./files"
destination_path = "upload_files/parallel"

# ディレクトリ内のファイル名を取得
filenames = [f for f in os.listdir(directory) if os.path.isfile(os.path.join(directory, f))]
# 並列アップロード
upload_files(bucket_name, filenames, destination_path, directory)

$ python parallel.py
アップロード時間: 9.91 秒

$ python serial.py
アップロード時間: 17.23 秒

$ python transfer_manager.py
アップロード時間: 4.57 秒

$ python parallel.py
アップロード時間: 4.24 秒