Lambda関数をOSXのローカルにてバージョン管理しつつ更新するフローまで組み立てた記録

管理コンソール上で直接作成したLambda関数を、ローカルでバージョン管理しつつユニットテストの実施、及びlambda-uploaderで更新可能にするまでの記録です。

#AWS Lambda

#AWS

haoyayoi

2019.03.04

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

管理コンソール上で直接作成したLambda関数を、バージョン管理の導入とユニットテスト及びローカルからの更新フローに切り替えたくなった時、大体以下のような課題が出てきます。

リポジトリへの登録
AWS上への反映
テストの実施

構成を出来る限りシンプルにしつつ、手戻り等が発生しないことを心掛けながら、再現性のある手続きを備忘録として残してみました。

環境整理

Python3.6で、以下のライブラリを使います。

ライブラリ名	導入方法
pipenv	Homebrew
anyenv	Homebrew
direnv	Homebrew
tox	pypi
lambda-uploader	pypi
pytest	pypi

ディレクトリ構成

Lambda関数の実装をインターフェイスとモデルで分離する場合は、srcとtests内に配置します。

.
|-- Brewfile
|-- .gitignore
|-- .envrc
|-- Pipfile
|-- Pipfile.lock
|-- README.md
|-- function.py
|-- lambda.json
|-- requirements.txt
|-- reset_lambda_json.py
|-- src
|   `-- lib
|       |-- __init__.py
|       `-- lib.py
|-- tests
|   |-- conftest.py
|   |-- fixtures
|   |   `-- event.json
|   `-- test_lib.py
|-- tox.ini
|-- update_lambda_json.py
`-- upload.sh

gitignore

環境に依存するファイルや一時ディレクトリを記録します。

% vim .gitignore
.venv/
.tox/
.envrc
*.pyc

ライブラリ導入

pipenvにはdev指定で入れることにより、requirements.txtの更新生成手順を簡潔にします。

% brew install pipenv direnv anyenv
% echo 'eval "$(direnv hook zsh)"' >> ~/.zshrc
% echo 'eval "$(anyenv init -)"' >> ~/.zshrc
% echo 'export PIPENV_VENV_IN_PROJECT=true' >> ~/.zshrc
% echo 'eval "$(pipenv --completion)"' >> ~/.zshrc
% exec $SHELL -l
% pipenv install --python 3.6
% pipenv install --dev python-lambda-local lambda-uploader pytest tox

環境変数設定

個別の環境に依存する変数も想定して、コミットせずにローカル管理します。

3行目に追加しているsourceによって、作業ディレクトリへ移動すると同時に仮想環境を起動しています。

% direnv edit .
export AWS_PROFILE=xxxxx
export XXX=xxx
source .venv/bin/activate

テスト環境設定

direnvで設定した環境変数でテスト時に使いたいものがある場合はpassenvに追加指定します。

% vim tox.ini
[tox]
skipsdist = True
[testenv]
passenv = AWS_PROFILE
deps = pipenv
setenv = PYTHONPATH = {toxinidir}/src
         PIPENV_VERBOSITY = -1
commands = pipenv sync --dev
           pipenv run py.test tests/ --pdb

Lambda更新用手続き

lambda-uploader実行の為の設定を行います。基本的にはlambda.jsonに追記するだけです。

ただし、環境変数に関してはdirenvの内容を反映しつつもコミットを防止するため、更新時するタイミングでlambda.jsonへ反映し、更新が終わったら反映を元に戻します。

function.pyへの移植

管理コンソール上で直接書いていた関数の内容を移植します。

後は必要に応じて実装を分離してlib以下に配置します。

lambda.jsonへの設定

コンソール上に反映したくないファイルをignoreセクションに追加します。多少追加もれがあるかもしれません。

{
    "name": "<function name>",
    "description": "function",
    "region": "ap-northeast-1",
    "runtime": "python3.6",
    "handler": "function.lambda_handler",
    "role": "arn:aws:iam::00000000000:role/lambda_basic_execution",
    "ignore": [
        "lambda_function\.zip$",
        "circle\.yml$",
        "\.git$",
        "\.gitignore$",
        "/.*\.pyc$",
        "Pipfile$",
        "Pipfile\.lock$",
        "tests$",
        "\.envrc$",
        "tox\.ini$",
        "upload_lamdba_json\.py$",
        "reset_lamdba_json\.py$",
        "\.tox$"
        "\.venv$"
    ],
    "timeout": 300,
    "memory": 128,
    "variables": {}
}

アップロード処理

極力環境変数を引数に渡さないで実行可能にします。MFA設定済みのアカウントの場合は毎回認証が発生します。

% vim upload.sh
direnv allow . #本来想定している環境変数で上書きする
rm -rf .tox/ #テスト用の一時ディレクトリが存在する場合、消滅したファイルを参照しにいくケースがあったため
rm -rf .lambda_uploader_temp/ #前回のアップロード用一時ファイルを参照しようとして、エラーになるケースがあったため
pipenv lock -r > requirements.txt
python update_lambda_json.py #lambda.jsonに環境変数を一時的に書き加える
lambda-uploader
python reset_lambda_json.py #lambda.jsonに加えた一時的な更新を元に戻す

MFA設定

AWSアカウントに二段階認証(MFA)を設定済みの場合は、configにmfa_serialを忘れずに設定します。

% vim ~/.aws/config
[profile XXXX]
mfa_serial = arn:aws:iam::000000000000000000:mfa/XXXXXXXXXXXXXXXX
...

upload_lambda_json.py

lamdba.jsonの環境変数指定部分を一時的に書き換えるためのバッチです。

import json
import os

envs = ['XXXX', 'LINE_CHANNEL_ACCESS_TOKEN', 'LINE_CHANNEL_SECRET']
dir_path = os.path.dirname(__file__)
json_data = None
with open(os.path.join(dir_path, 'lambda.json'), 'r') as r:
    json_data = json.load(r)
    variables = dict()
    for env in envs:
        variables.update({env: os.environ[env]})
    json_data['variables']  = variables
with open(os.path.join(dir_path, 'lambda.json'), 'w') as w:
    json.dump(json_data, w, indent=4)

reset_lambda_json.py

lambda.jsonで書き換えた環境変数指定部分をリセットするためのバッチです。

import json
import os

dir_path = os.path.dirname(__file__)
json_data = None
with open(os.path.join(dir_path, 'lambda.json'), 'r') as r:
    json_data = json.load(r)
    json_data['variables']  = dict()
with open(os.path.join(dir_path, 'lambda.json'), 'w') as w:
    json.dump(json_data, w, indent=4)