SQSやKinesisをイベントソースとするPython Lambda関数を最適化してみた

SQS や Kinesis　DataStreams をイベントソースとし、 バッチで複数のエントリを受け取り、特定APIを連続して実行する、PythonランタイムのLambda関数の最適化を試みる機会がありました。

今回、 Lambdaの メモリ割り当て設定の調整と、 Requests モジュールを利用した Keep Aliveの導入について、紹介させて頂きます。

Lambda設定

• ランタイム: Python 3.9
• アーキテクチャ: x86_64
• メモリ: 128, 256, 512, 1024, 2048 MB

レイヤ-

Requests モジュール、 LambdaのPythonランタイム、3.8 以降 で標準バンドル外となりました。

AWS Lambdaで利用できるPythonライブラリの一覧をpkg_resourcesを使って確認してみた

今回、Python 3.9 のランタイム で Requests モジュールを利用するため、、有志が公開されているレイヤー Keith's Layers (Klayers) を組み込みました。

• 名前: Klayers-p39-requests
• バージョン ARN: arn:aws:lambda:ap-northeast-1:770693421928:layer:Klayers-p39-requests:17

検証

15KBのアイコンファイルを10回連続してダウンロードするLambda関数を用意しました。

割当メモリ、利用するモジュール別に 実行時間 (Billed Duration) を測定、比較しました。

url='https://dev.classmethod.jp/favicon.ico'
curl -v ${url} > /dev/null

< HTTP/2 200 
< content-type: image/x-icon
< content-length: 15086
< x-cache: Hit from cloudfront

urllib.request

Python ランタイムで標準で利用できるライブラリを利用しました。

import urllib.request
url='https://dev.classmethod.jp/favicon.ico'
def lambda_handler(event, context):
  for i in range(10):
    response = urllib.request.urlopen(url)
    print(str(i) + ':' + str(response.getcode()))

• urllibだけである程度HTTPリクエストを頑張る

requests (キープアライブ無効)

requestsモジュール、キープアライブ無効で利用しました。

import requests
url='https://dev.classmethod.jp/favicon.ico'
def lambda_handler(event, context):
  for i in range(10):
    response = urllib.request.urlopen(url)
    print(str(i) + ':' + str(response.getcode()))

• Requests: HTTP for Humans

requests (キープアライブ有効)

requestsモジュールを利用して、キープアライブ有効な利用としました。

import requests
url='https://dev.classmethod.jp/favicon.ico'
def lambda_handler(event, context):
  with requests.Session() as s:
    for i in range(10):
      response = s.get(url)
      print(str(i) + ':' + str(response.status_code))

結果

Lambda実行時間(Billed Duration:ms)比較

まとめ

AWS Lambda、メモリ割り当て量に比例した CPU性能を利用する事が可能です。

関数メモリの設定 (コンソール)

今回のLambda関数 メモリ消費量は50MB前後と記録されていましたが、 メモリ割り当てを1024MBとする事でCPU処理性能が向上、実行時間が短縮する事で、費用対効果に優れた利用が可能となりました。

REPORT RequestId: ###-###-###-###-###   Duration: 603.47 ms Billed Duration: 604 ms Memory Size: 128 MB Max Memory Used: 49 MB  Init Duration: 206.76 ms
REPORT RequestId: ###-###-###-###-###   Duration: 72.56 ms  Billed Duration: 73 ms  Memory Size: 1024 MB    Max Memory Used: 49 MB  Init Duration: 208.93 ms
REPORT RequestId: ###-###-###-###-###   Duration: 71.44 ms  Billed Duration: 72 ms  Memory Size: 2048 MB    Max Memory Used: 49 MB  Init Duration: 217.65 ms

また、Lambda ランタイム Python 3.8以降で 標準バンドルされなくなった requests モジュール、 同一サーバのAPIを 繰り返し実行するワークロードでは、 KeepAlive による大きな性能改善が実現できる場合があります。

requests モジュール の効果が確認できた場合には、Lambda関数コード (ZIPパッケージ)への同梱や、Lambdaレイヤーの継続的な維持の実現性について、評価、検討してご利用ください。