AWS Parameters and Secrets Lambda Extensionの実装について色々確認してみた

Goで実装されてるみたいです
2022.10.23

CX事業本部@大阪の岩田です。 AWS Parameters and Secrets Lambda Extensionの実装が気になったので色々試してみました。

レスポンスヘッダー

AWS Parameters and Secrets Lambda ExtensionはLambda実行環境内でHTTPサーバーを起動します。このHTTPサーバーがパラメータやSecretの取得リクエストを処理してくれるわけですが、レスポンスヘッダに何か特徴は無いのでしょうか?試しに以下のコードを実行してレスポンスヘッダを確認してみましょう。

import json
from urllib import request
import os
from pprint import pprint


def lambda_handler(event, context):
    
    headers = {
        'X-Aws-Parameters-Secrets-Token': os.environ['AWS_SESSION_TOKEN']
        
    }
    req = request.Request('http://localhost:2773/secretsmanager/get?secretId=lambda/extension/test', headers=headers)
    
    with request.urlopen(req) as res:
      pprint(res.getheaders())
    
    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

結果は以下のようになりました。

[('Content-Type', 'text/plain'),
('Date', 'Fri, 21 Oct 2022 15:48:11 GMT'),
('Content-Length', '327'),
('Connection', 'close')]

特にこれといった特徴も無い最小限のレスポンスヘッダという感じですね。

ユーザーエージェント

キャッシュミスが発生した場合は、AWS Parameters and Secrets Lambda ExtensionからSecrets ManagerやSSMパラメータストアにアクセスすることになりますが、ユーザーエージェントはどうなっているのでしょうか?先程Invokeした際Cloud Trailに記録されたログを確認してみました。

{
    "eventVersion": "1.08",
    "userIdentity": {
        "type": "AssumedRole",
        ...略
    "userAgent": "aws-sdk-go-v2/1.16.8 os/linux lang/go/1.19.1 md/GOOS/linux md/GOARCH/amd64 api/secretsmanager/1.15.14 secretsmanager.ExtensionUserAgent/SecretsManagerLambdaExtension/1.0.94",
    "requestParameters": {
        "secretId": "lambda/extension/test"
    },
    "responseElements": null,
    "requestID": "fb147514-1ab3-49c2-ad68-3d40af905a88",
    "eventID": "1d575083-44dc-466f-8951-d2e51d6524a9",
    "readOnly": true,
    "eventType": "AwsApiCall",
    "managementEvent": true,
    "recipientAccountId": "AWSアカウントID",
    "eventCategory": "Management",
    "tlsDetails": {
        "tlsVersion": "TLSv1.2",
        "cipherSuite": "ECDHE-RSA-AES128-GCM-SHA256",
        "clientProvidedHostHeader": "secretsmanager.ap-northeast-1.amazonaws.com"
    }
}

ユーザーエージェントは aws-sdk-go-v2/1.16.8 os/linux lang/go/1.19.1 md/GOOS/linux md/GOARCH/amd64 api/secretsmanager/1.15.14 secretsmanager.ExtensionUserAgent/SecretsManagerLambdaExtension/1.0.94だそうです。また、TLS1.2でアクセスしていることや暗号スイートに ECDHE-RSA-AES128-GCM-SHA256を利用していることが分かります。

デバッグログ

環境変数PARAMETERS_SECRETS_EXTENSION_LOG_LEVELを指定するとAWS Parameters and Secrets Lambda Extensionのログレベルが変更できまます。上記環境変数にDEBUGを設定して再度Lambdaを実行してみました。

出力されたログからタイムスタンプ等を削って分かりやすく加工したのが以下のログです。

PARAMETERS_SECRETS_EXTENSION_LOG_LEVEL is DEBUG. Log level set to debug.
DEBUG PARAMETERS_SECRETS_EXTENSION_CACHE_ENABLED is not present. Cache is enabled by default.
DEBUG PARAMETERS_SECRETS_EXTENSION_CACHE_SIZE is not present. Using default cache size: 1000 objects.
DEBUG SECRETS_MANAGER_TTL is not present. Setting default time-to-live: 5m0s.
DEBUG SSM_PARAMETER_STORE_TTL is not present. Setting default time-to-live: 5m0s.
DEBUG SECRETS_MANAGER_TIMEOUT_MILLIS is not present. Setting default timeout: 0s.
DEBUG SSM_PARAMETER_STORE_TIMEOUT_MILLIS is not present. Setting default timeout: 0s.
DEBUG PARAMETERS_SECRETS_EXTENSION_MAX_CONNECTIONS is not present. Setting default value: 3.
DEBUG PARAMETERS_SECRETS_EXTENSION_HTTP_PORT is not present. Setting default port: 2773.
INFO Systems Manager Parameter Store and Secrets Manager Lambda Extension 1.0.94
DEBUG Creating a new cache with size 1000
INFO Serving on port 2773
EXTENSION       Name: AWSParametersAndSecretsLambdaExtension    State: Ready    Events: [INVOKE,SHUTDOWN]
INFO ready to serve traffic
DEBUG Caching secret with key /secretsmanager/get?secretId=lambda/extension/test

設定値に関するログが色々と出力されていますが、あまり内部の挙動が分かるようなログは出力されていなさそうです。

実行ファイルを確認してみる

今度はAWS Parameters and Secrets Lambda Extensionの実行ファイルについて見ていきましょう。以下のコードを実行し、Extensionの本体である実行ファイルを適当なS3バケットにアップロードします。アップロードが完了したローカルにダウンロードして色々確認してみましょう。

import json
import boto3

def lambda_handler(event, context):

    s3 = boto3.resource('s3')
    bucket = s3.Bucket('適当なバケット名')
    bucket.upload_file('/opt/extensions/AWSParametersAndSecretsLambdaExtension', 'AWSParametersAndSecretsLambdaExtension')
      
    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

まずファイルサイズでも確認してみましょう。

$ du -h AWSParametersAndSecretsLambdaExtension
6.8M	AWSParametersAndSecretsLambdaExtension

サイズは6.8Mでした。

続いてfileコマンドを実行してみます。

$ file AWSParametersAndSecretsLambdaExtension
AWSParametersAndSecretsLambdaExtension: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, Go BuildID=6GMSLUap4TAIQDIwkZFk/Lht7YB4ZxIArtVKhpq6A/LaUOXo0ANxGRFaIsZg6T/bO1xuDx-0bH4VqWlg212, stripped

ユーザーエージェントを確認した段階で分かっていましたが、Goで開発されているようですね。

stringsコマンドの実行結果から色々確認してみましょう

$ strings AWSParametersAndSecretsLambdaExtension | grep ^github.com | cut -d / -f1,2,3 | sort | uniq
github.com/aws/aws-sdk-go-v2
github.com/aws/smithy-go
github.com/aws/smithy-go.(*CanceledError).CanceledError
github.com/aws/smithy-go.(*CanceledError).Error
github.com/aws/smithy-go.(*CanceledError).Unwrap
github.com/aws/smithy-go.(*DeserializationError).Error
github.com/aws/smithy-go.(*DeserializationError).Unwrap
github.com/aws/smithy-go.(*ErrorFault).String
github.com/aws/smithy-go.(*GenericAPIError).Error
github.com/aws/smithy-go.(*GenericAPIError).ErrorCode
github.com/aws/smithy-go.(*InvalidParamsError).Add
github.com/aws/smithy-go.(*InvalidParamsError).AddNested
github.com/aws/smithy-go.(*InvalidParamsError).Error
github.com/aws/smithy-go.(*InvalidParamsError).Len
github.com/aws/smithy-go.(*OperationError).Error
github.com/aws/smithy-go.(*OperationError).Unwrap
github.com/aws/smithy-go.(*ParamRequiredError).AddNestedContext
github.com/aws/smithy-go.(*ParamRequiredError).Error
github.com/aws/smithy-go.(*ParamRequiredError).SetContext
github.com/aws/smithy-go.(*SerializationError).Error
github.com/aws/smithy-go.(*SerializationError).Unwrap
github.com/aws/smithy-go.(*invalidParamError).AddNestedContext
github.com/aws/smithy-go.(*invalidParamError).Error
github.com/aws/smithy-go.(*invalidParamError).SetContext
github.com/aws/smithy-go.ErrorFault.String
github.com/aws/smithy-go.InvalidParamsError.Error
github.com/aws/smithy-go.NewErrParamRequired
github.com/aws/smithy-go.ParamRequiredError.Error
github.com/aws/smithy-go.invalidParamError.Error
github.com/aws/smithy-go.invalidParamError.Field
github.com/jmespath/go-jmespath
github.com/jmespath/go-jmespath.init

どういうライブラリを使っているかなんとなく分かりました。

色々なリクエストを発行してみる

AWS Parameters and Secrets Lambda Extensionが起動するHTTPサーバーは/systemsmanager/parameters/getもしくは/secretsmanager/getというパスに対するGETリクエストを処理します。GET以外のメソッドを利用したり、別のパスにリクエストを発行するとどうなるのでしょうか?

以下のコードを試します。

req = request.Request('http://localhost:2773/secretsmanager/get?secretId=lambda/extension/test', headers=headers, method="POST")
try:
    with request.urlopen(req) as res:
      pprint(res.getheaders())
except urllib.error.HTTPError as ex:
    print(ex.code, ex.reason)

ログには400 Bad Requestが出力されました。

続いて先程のコードのmethod="POST"を他のメソッドにして試していきます。

メソッド ステータスコード レスポンスボディ
POST 400 Bad Request
PUT 400 Bad Request
PATCH 400 Bad Request
DELETE 400 Bad Request
HEAD 400 Bad Request
TRACE 400 Bad Request
OPTIONS 400 Bad Request

全部400 Bad Requestでした。

続いてクエリストリングを指定せずにGETするとどうなるか確認します。リクエスト発行部を以下のように変更して実行してみます。

req = request.Request('http://localhost:2773/secretsmanager/get', headers=headers, method="GET")

こちらもログは400 Bad Requestでした。クエリストリングが不足しているとか、もう少し情報が欲しいところではあります。

続いてコードを以下のように修正し、存在しないパスへのリクエストを試します。

req = request.Request('http://localhost:2773/secretsmanager/', headers=headers, method="GET")

こちらもログは400 Bad Requestでした。404ではないんですね。

まとめ

AWS Parameters and Secrets Lambda Extensionの仕様について色々と調査してみました。そのうちOSSでコードが公開されると面白そうですね。