GPUなしでもここまでできる - AWS LambdaによるYOLOv8推論の最適化手法

lambda-yolo-sample/
├── cdk/                     # CDKプロジェクト（TypeScript）
│   ├── bin/cdk.ts           # エントリーポイント
│   ├── lib/cdk-stack.ts     # スタック定義
│   └── lambda/              # Lambda関数（Python）
│       ├── best.pt          # カスタムモデル
│       ├── Dockerfile
│       ├── requirements.txt
│       └── lambda_function.py
└── scripts/                  # テストスクリプト
    ├── invoke_lambda.py      # 単一試験用
    ├── measurement.py        # 多数試験用（平均値算出）
    └── requirements.txt

# CDK依存関係のインストール
cd lambda-yolo-sample/cdk
pnpm install
# CDKブートストラップ（初回のみ）
pnpm exec cdk bootstrap
# Lambdaをデプロイ
pnpm exec cdk deploy

cd ../scripts
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

# Lambda関数を呼び出し
python invoke_lambda.py --image your-image.jpg --save-result result.jpg

{
  "image": "base64エンコードされた画像文字列"
}

{
  "statusCode": 200,
  "body": {
    "annotatedImage": "<base64 image data omitted>",
    "detections": [
      {
        "class_id": 0,
        "class_name": "DUCK",
        "confidence": 0.9832468628883362,
        "bbox": [
          143.3034210205078, 340.84954833984375, 384.9390563964844,
          576.7772827148438
        ]
      }
    ],
    "summary": { "total_detections": 1, "classes_detected": ["DUCK"] },
    "inference_time_ms": 153.74064445495605,
    "timing_breakdown": {
      "decode_ms": 4.119157791137695,
      "yolo_total_ms": 202.5775909423828,
      "inference_ms": 153.74064445495605,
      "plot_ms": 48.674583435058594,
      "detection_list_ms": 0.15401840209960938,
      "encode_ms": 196.68984413146973,
      "summary_ms": 0.009298324584960938
    }
  }
}

# GPU版PyTorchは約2GB - 不要なサイズ増加
# RUN pip install torch torchvision

# CPU版PyTorchは約500MB - 1.5GB削減
RUN pip install torch torchvision \
    --extra-index-url https://download.pytorch.org/whl/cpu

# キャッシュディレクトリを削除してサイズ削減
RUN pip install --no-cache-dir torch torchvision

# opencv-python-headlessでGUI依存を削除（約100MB削減）
RUN pip install opencv-python-headless

============================================================
計測結果（平均値）
============================================================
総処理時間: 710.91 ms
   Lambda内の計測: 406.13 ms
      Base64デコード: 4.23 ms
      YOLO処理合計: 205.16 ms
         - 推論: 155.63 ms
         - 結果描画: 49.36 ms
         - 検出リスト作成: 0.16 ms
      Base64エンコード: 196.73 ms
      サマリー作成: 0.01 ms
   その他（オーバーヘッド等）: 304.78 ms
============================================================

const yoloFunction = new DockerImageFunction(this, "YoloSampleFunction", {
  functionName: "yolo-sample",
  code: DockerImageCode.fromImageAsset(path.join(__dirname, "../lambda"), {
    // 【Lambdaメモリ設定 前】
    //memorySize: 3008, // 3GB
    // 【Lambdaメモリ設定 後】 vCPU 6個相当でYOLO推論を高速化（3倍）
    memorySize: 10240, // 10GB (最大)
    // ...
});

============================================================
計測結果（平均値）
============================================================
総処理時間: 580.21 ms
   Lambda内の計測: 296.59 ms
      Base64デコード: 4.41 ms
      YOLO処理合計: 92.30 ms
         - 推論: 72.91 ms 【-136.42】
         - 結果描画: 19.21 ms 【-30.15】
         - 検出リスト作成: 0.17 ms
      Base64エンコード: 199.87 ms
      サマリー作成: 0.01 ms
   その他（オーバーヘッド等）: 283.62 ms
============================================================

const yoloFunction = new DockerImageFunction(this,"YoloSampleFunction", {
  functionName: "yolo-sample",
  code: DockerImageCode.fromImageAsset(path.join(__dirname, "../lambda"), {

    // ...

    // 【ARM64への変更 前】
    //platform: cdk.aws_ecr_assets.Platform.LINUX_AMD64,
    // 【ARM64への変更 後】コスト削減を狙うがYOLO推論が遅くなるため非推奨
    platform: cdk.aws_ecr_assets.Platform.LINUX_ARM64,
  }),

  // 【ARM64への変更 前】
  //architecture: lambda.Architecture.X86_64,
  // 【ARM64への変更 後】コスト削減を狙うがYOLO推論が遅くなるため非推奨
  architecture: lambda.Architecture.ARM_64,

  // ...
});

# 【ARM64への変更 前】
# FROM public.ecr.aws/lambda/python:3.11
# 【ARM64への変更 後】コスト削減を狙うがYOLO推論が遅くなるため非推奨
FROM public.ecr.aws/lambda/python:3.11-arm64

============================================================
計測結果（平均値）
============================================================
総処理時間: 676.66 ms 【+96.54】
   Lambda内の計測: 394.01 ms
      Base64デコード: 2.95 ms
      YOLO処理合計: 228.99 ms
         - 推論: 219.89 ms【+146.98】
         - 結果描画: 8.91 ms
         - 検出リスト作成: 0.17 ms
      Base64エンコード: 162.06 ms
      サマリー作成: 0.01 ms
   その他（オーバーヘッド等）: 282.65 ms
============================================================

x86_64の強み:
- **Intel MKL (Math Kernel Library)** という高度に最適化された数学演算ライブラリを使用
- MKLは以下を提供:
  - 高速な行列演算（BLAS/LAPACK）
  - SIMD命令（AVX2/AVX-512）の最適化
  - マルチスレッド並列化
  - キャッシュ効率の最適化

ARM64の弱み:
- ARM64用のBLAS実装（OpenBLAS、BLIS等）は存在するが、MKLほど最適化されていない
- PyTorchのARM64ビルドは、x86_64ほど成熟していない
- 深層学習の畳み込み演算がARM64のNEON SIMD命令を十分に活用できていない

# lambda/lambda_function.py
# 【画像エンコード形式 後】 JPEG形式で圧縮率を上げエンコード時間を98%削減
def encode_image_to_base64(image: np.ndarray, format: str = "JPEG", quality: int = 85) -> str:
    # BGR -> RGB変換
    image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    # PIL Imageに変換
    image_pil = Image.fromarray(image_rgb)
    # バイトストリームに書き込み
    buffer = BytesIO()
    if format == "JPEG":
        image_pil.save(buffer, format=format, quality=quality)
    else:
        image_pil.save(buffer, format=format)
    buffer.seek(0)
    # Base64エンコード
    image_base64 = base64.b64encode(buffer.read()).decode("utf-8")
    return image_base64

============================================================
計測結果（平均値）
============================================================
総処理時間: 303.54 ms【-276.67】
   Lambda内の計測: 88.09 ms
      Base64デコード: 4.36 ms
      YOLO処理合計: 80.02 ms
         - 推論: 64.98 ms
         - 結果描画: 14.87 ms
         - 検出リスト作成: 0.16 ms
      Base64エンコード: 3.70 ms 【-196.17】
      サマリー作成: 0.01 ms
   その他（オーバーヘッド等）: 215.45 ms【-68.17】
============================================================

import torch  # 追加

def initialize_model() -> YOLO:
    """YOLOモデルを初期化"""
    global model

    if model is None:
        model_name = os.environ.get("MODEL_NAME", "/opt/ml/model/best.pt")

        print(f"Initializing YOLO model: {model_name}")
        model = YOLO(model_name)
        model.fuse()  # ★ レイヤーをfuse（10-20%高速化）
        print("YOLO model loaded and fused successfully")

    return model

def process_yolo_detection(
    image: np.ndarray,
    conf_threshold: float = 0.25,
    iou_threshold: float = 0.45
) -> tuple[np.ndarray, List[Dict[str, Any]], Dict[str, float]]:
    """YOLO物体検出を実行"""
    timing = {}

    yolo_model = initialize_model()

    # YOLO推論を実行
    inference_start = time.time()
    with torch.inference_mode():  # ★ 推論モードで高速化
        results = yolo_model(
            image,
            conf=conf_threshold,
            iou=iou_threshold,
            verbose=False
        )
    inference_end = time.time()
    timing['inference_ms'] = (inference_end - inference_start) * 1000

    # ... (以下省略)

============================================================
計測結果（平均値）
============================================================
総処理時間: 286.30 ms【-17.21】
   Lambda内の計測: 78.26 ms
      Base64デコード: 4.25 ms
      YOLO処理合計: 70.36 ms
         - 推論: 55.96 ms【-9】
         - 結果描画: 14.24 ms
         - 検出リスト作成: 0.16 ms
      Base64エンコード: 3.64 ms
      サマリー作成: 0.01 ms
   その他（オーバーヘッド等）: 208.04 ms
============================================================

その他 = 総処理時間 - Lambda内の計測
その他 = 286.30ms - 78.26ms = 208.04ms

============================================================
計測結果（平均値）
============================================================
総処理時間: 219.89 ms【-66.41】
   Lambda内の計測: 57.99 ms
      Base64デコード: 1.79 ms【-2.45】
      YOLO処理合計: 55.08 ms
         - 推論: 50.75 ms【-5.21】
         - 結果描画: 4.17 ms【-10.07】
         - 検出リスト作成: 0.16 ms
      Base64エンコード: 1.12 ms【-2.52】
      サマリー作成: 0.01 ms
   その他（オーバーヘッド等）: 161.91 ms【-46.13】
============================================================