LambdaのリトライをAWS SQSを使ってやってみる

SQSからLambdaを起動する機構を使ってリトライ処理を実装します。

#AWS Lambda

#AWS CloudFormation

#Amazon SQS

#AWS

梶原大使

2019.02.18

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

AWS事業本部の梶原＠福岡です。

福岡オフィスでこんなことがありました。「Lambdaファンクションで状態を取得して、正常に終了するまで、1分くらいでリトライしたいんですけどなんか簡単な方法ないすか？」「CloudWatch Events で定期実行とか。」「ステップファンクションでステートマシンで回すとか。」「SQSとか？」「SQS!!!!!!??????、Ｓ？Ｑ？Ｓ？なぜ繰り返しでキューが！？」

実は昨年、SQSでアップデートがありました。 AWS LambdaがSQSをイベントソースとしてサポートしました！

AWS LambdaがSQSをイベントソースとしてサポートしました！

ということで、SQSからLambdaが起動できるんです。え、だから、どうするのって事なんですが、実はよくあるハマりなんですが、キューに入れたメッセージは処理後一定時間たつと再度見えるようになります。これを利用して

１．SQSにメッセージを投入する
２．Lambdaでメッセージ処理をする
    ２．１　正常終了する
    　　－＞　キューからメッセージが消える
    ２．２　異常終了する
    　　－＞　キューにメッセージが残る
３．異常終了した際は、メッセージが残るので一定時間たつと
　　メッセージが再度見えるように（処理可能）になる
　　ー＞　２に戻る

お！？なんとなく行けそう？

ということで、今回はサンプル的に、リトライをするというところをメインに常に異常終了を起こすコードを書いて使い物になるか検証したいと思います。実際の処理では、正常処理を実装し、条件分岐してリトライを実施したい場合のみエラーを起こします。

図にするとこんな感じです。

環境作成

設定値

AWS SQS

メッセージの配信遅延時間(DelaySeconds)：10秒
キューからメッセージが配信された後にメッセージを利用できなくなる時間の長さ(VisibilityTimeout):60秒
Amazon SQS がメッセージを保持する秒数(MessageRetentionPeriod):5分(300秒)
待機期間(ReceiveMessageWaitTimeSeconds):5秒

上記の設定でキューを作成します。上手くいけば、メッセージを保持している5分間の間に4回実施されます。

CloudFormation

ここはさくっと、SQSとLambdaを作成します。必要なリソースはCloudFormation一撃でできるように用意させて頂きました。使用するテンプレートはこちら

AWSTemplateFormatVersion: '2010-09-09'
Metadata:
  AWS::CloudFormation::Interface:
    ParameterGroups:
      - Label:
          default: "SQS Settings"
        Parameters:
          - DelaySeconds
          - ReceiveMessageWaitTimeSeconds
          - VisibilityTimeout
          - MessageRetentionPeriod
    ParameterLabels:
      DelaySeconds:
        default: "DelaySeconds"
      VisibilityTimeout:
        default: "VisibilityTimeout"
      ReceiveMessageWaitTimeSeconds:
        default: "ReceiveMessageWaitTimeSeconds"
      MessageRetentionPeriod:
        default: "MessageRetentionPeriod"
Parameters:
  DelaySeconds:
    Type: Number
    Default: 10
  VisibilityTimeout:
    Type: Number
    Default: 60
  ReceiveMessageWaitTimeSeconds:
    Type: Number
    Default: 5
  MessageRetentionPeriod:
    Type: Number
    Default: 300

Resources:
  LambdaRertryQueue:
    Type: AWS::SQS::Queue
    Properties:
      DelaySeconds: !Ref DelaySeconds
      ReceiveMessageWaitTimeSeconds: !Ref ReceiveMessageWaitTimeSeconds
      VisibilityTimeout: !Ref VisibilityTimeout
      MessageRetentionPeriod: !Ref MessageRetentionPeriod

  RetryLambdaFunction:
    Type: AWS::Lambda::Function
    Properties:
      Handler: index.handler
      Role: !GetAtt LambdaExecutionRole.Arn
      Code:
        ZipFile: !Sub |
          exports.handler = async (event) => {
              console.log(event);
              const error = new Error("retry Error");
              throw error;
          };
      Runtime: nodejs8.10
      Timeout: 30

  EventSourceMapping:
    Type: AWS::Lambda::EventSourceMapping
    Properties:
      BatchSize: 1
      EventSourceArn: !GetAtt LambdaRertryQueue.Arn
      FunctionName: !GetAtt RetryLambdaFunction.Arn

  LambdaExecutionRole:
    Type: AWS::IAM::Role
    Properties:
      AssumeRolePolicyDocument:
        Version: '2012-10-17'
        Statement:
        - Effect: Allow
          Principal:
            Service:
            - lambda.amazonaws.com
          Action:
          - sts:AssumeRole
      Path: "/"
      Policies:
      - PolicyName: root
        PolicyDocument:
          Version: '2012-10-17'
          Statement:
          - Effect: Allow
            Action:
              - logs:CreateLogGroup
              - logs:CreateLogStream
              - logs:PutLogEvents
            Resource: arn:aws:logs:*:*:*
          - Effect: Allow
            Action:
              - sqs:DeleteMessage
              - sqs:GetQueueAttributes
              - sqs:ReceiveMessage
            Resource: arn:aws:sqs:*

※lamdaの権限はSQSのポーリングとCloudWatchLogsへの書き込みを許可しています。必要に応じて変更してください。

51~55行目でLambda関数を直書いてます。すべてエラーを返すようにしています。

テンプレートはS3に置いたので下のリンクをクリックして、テンプレートを実行してみてください。

ここをクリック