Lambda + Python3.7のログをJSON形式で出力してみる（行ごとに分割されない形で）

西村祐二

2019.02.27

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

どうも！大阪オフィスの西村祐二です。

LambdaのログはCloudWatch Logsに出力されますが、別のサービスで参照するときや見やすくするためにJSON形式で出力したいときってあると思います。

簡単にできると思ったら少しハマってしまったので、ブログにしておきます。

はじめ、下記ブログを参考にloggingを使ったのですが、ログが行毎に分割されてしまいました。

【小ネタ】AWS Lambdaで複数行のログを送るときの挙動を調べてみた

環境

Python 3.7

最終的なコード

最終的なコードは下記のようなコードになりました。見せ方の関係で一つのファイルに記載していますが、別ファイルから呼び出すなどして使いやすくしてください。

下記リンク先を大いに参考させていただきました。

https://stackoverflow.com/questions/50233013/aws-lambda-logs-to-one-json-line

リンク先でも記載されていますが、

Lambda内部のログ出力する部分のLambdaLoggerHandlerが標準クラスのlogging.Formatterを使用しているようなので、JSONを出力するカスタムクラスを作ってFormatterを置き換えようということをしています。

また、追加でevent情報などをログに含めたい場合があります。extra=dict(data)とすることで、logrecordプロパティとの競合を回避します。

import json
import logging
import traceback


class FormatterJSON(logging.Formatter):
    def format(self, record):
        if self.usesTime():
            record.asctime = self.formatTime(record, self.datefmt)
        j = {
            'logLevel': record.levelname,
            'timestamp': '%(asctime)s.%(msecs)dZ' % dict(asctime=record.asctime, msecs=record.msecs),
            'timestamp_epoch': record.created,
            'aws_request_id': getattr(record, 'aws_request_id', '00000000-0000-0000-0000-000000000000'),
            'message': record.getMessage(),
            'module': record.module,
            'filename': record.filename,
            'funcName': record.funcName,
            'levelno': record.levelno,
            'lineno': record.lineno,
            'traceback': {},
            'extra_data': record.__dict__.get('extra_data', {}),
            'event': record.__dict__.get('event', {}),
        }
        if record.exc_info:
            exception_data = traceback.format_exc().splitlines()
            j['traceback'] = exception_data

        return json.dumps(j, ensure_ascii=False)


logger = logging.getLogger()
logger.setLevel('INFO')

formatter = FormatterJSON(
    '[%(levelname)s]\t%(asctime)s.%(msecs)dZ\t%(levelno)s\t%(message)s\n',
    '%Y-%m-%dT%H:%M:%S'
)
# Replace the LambdaLoggerHandler formatter :
logger.handlers[0].setFormatter(formatter)


def hello(event, context):
    try:
        # ログに表示させたい情報をdataに入れる
        value = dict(a='abc', b='def', c=123)
        data = {"event": event}
        data['extra_data'] = value
        logger.info('Start hello Func', extra=dict(data))

        # 例外を発生させる
        print(1 / 0)

    except ZeroDivisionError as error:
        data = {"event": event}
        logging.exception(error, extra=dict(data))