LambdaがS3からGetObjectするのにかかる時間を計測してみた [追記, 修正あり]

こんにちは、CX事業本部の夏目です。

サーバーレスアプリケーションの設計をしていたとき、めったに更新しないマスタデータならS3に置くのもありじゃねって思ったので、LambdaがS3からデータを落とすのにかかる時間を調べてみました。

2019/10/10 追記

はてブのコメントで「get_object で取得したデータのストリームに触れてないし、ファイルハンドラを作ってるだけでデータサイズ分読めてないんじゃないかな」「既にブコメにあるようにget_objectの戻り値にあるStreamingBodyをどげんかせんといかん気がする。」と指摘されました。

実際そのとおりで、StreamingBodyから値を受け取って長さを求める処理を入れたところ1GBのデータをダウンロードするのに15秒ほどかかりました。

間違ったデータを提供してしまい、申し訳ありません。

計測に使ったコードを修正し、測定結果はすべて差し替えました

試した環境

• 東京リージョン
• イベント実行でLambdaを500回動かして確かめた

Lambdaのメモリ量の寄与

条件

• 10MBのデータをダウンロードさせてみた

結果

落としてくるデータ量の寄与

メモリサイズ 512MBのとき

メモリサイズ 3008MBのとき

まとめ

予想に反して、落とすデータ量よりもLambdaのメモリ量の方が影響が大きそうだった。 それでも、メモリ量128MBでも10MBのデータを1秒かからずにダウンロードできたので、頻繁に更新しないマスタデータをS3に置いてもレスポンスが悪くなることはほぼなさそう。

2019/10/10 追記

コメントを受けてあらためて測定したのですが、500件程度ではサンプル数が足りなかったかもなぁといった感じでした。 (一部データでは再測定前よりも平均値が短くなっているものもあったので)

特に、メモリ量の寄与はおもったよりもしっかりと結果にあらわれました。

でもまぁ、128MBのメモリのLambdaで10MBのデータをダウンロードしても1秒かからずに取得することができたので、自分としては満足のいく結果です。

おまけ - 測定に使用したLambdaのコード -

S3 BucketやKey, 結果を流し込むためのKinesisは環境変数を使って渡した。

import boto3
import os
from datetime import datetime, timezone
from uuid import uuid4
import json


def get_bucket_name() -> str:
    return os.environ['TARGET_BUCKET_NAME']


def get_key_name() -> str:
    return os.environ['TARGET_KEY_NAME']


def get_region_name() -> str:
    return os.environ['AWS_REGION']


def get_stream_name() -> str:
    return os.environ['OUTPUT_STREAM_NAME']


def get_memory_size(context) -> str:
    return str(context.memory_limit_in_mb)


def measure_download_time() -> float:
    s3 = boto3.client('s3')
    bucket = get_bucket_name()
    key = get_key_name()
    start = datetime.now()
    resp = s3.get_object(Bucket=bucket, Key=key)
    binary = resp['Body'].read()
    size = len(binary)
    end = datetime.now()
    delta = end - start
    return delta.total_seconds()


def create_result_data(time: float, memory_size: str) -> bytes:
    key = get_key_name()
    region = get_region_name()

    return json.dumps({
        'id': str(uuid4()),
        'key': key,
        'region': region,
        'memory_size': memory_size,
        'download_time': time,
        'timestamp': datetime.now(timezone.utc).timestamp()
    }).encode()


def put_kinesis(data: bytes) -> None:
    option = {
        'PartitionKey': f'k-{uuid4()}',
        'StreamName': get_stream_name(),
        'Data': data
    }
    kinesis = boto3.client('kinesis')
    kinesis.put_record(**option)


def lambda_handler(event, context) -> None:
    download_time = measure_download_time()
    memory_size = get_memory_size(context)
    data = create_result_data(download_time, memory_size)
    put_kinesis(data)