AWS Step FunctionsによるDynamoDBテーブルからのデータ取得時のLastEvaluatedKey対応をしてみた

若槻龍太

2022.05.09

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、CX事業本部 IoT事業部の若槻です。

今回は、AWS Step FunctionsによるDynamoDBテーブルからのデータ取得時のLastEvaluatedKey対応をしてみました。

なぜLastEvaluatedKey対応をするのか

Step Functions State Machineがサポートしているペイロードサイズには256KBの上限があります。

しかしState MachineからDynamoDBテーブルへScanやQueryを行う際には、取得されるアイテムセットの最大サイズは1MBとなり256KBを超えるため、Limitパラメータを使用してアイテムを取得し過ぎないようにする必要があります。

そこでLimitパラメータを使用した際にも全てのデータを取得できるように、LastEvaluatedKeyの使用に対応したStep Functions State Machineを作ってみました。

やってみた

作成したのは次のような定義のStep Functions State Machineです。

{
  "StartAt": "FirstScan",
  "States": {
    "FirstScan": {
      "Type": "Task",
      "Parameters": {
        "TableName": "hoge",
        "Limit": 1
      },
      "Resource": "arn:aws:states:::aws-sdk:dynamodb:scan",
      "Next": "Choice"
    },
    "Choice": {
      "Type": "Choice",
      "Choices": [
        {
          "Variable": "$.LastEvaluatedKey",
          "IsPresent": true,
          "Next": "LoopedScan"
        }
      ],
      "Default": "Success"
    },
    "LoopedScan": {
      "Type": "Task",
      "Next": "Choice",
      "Parameters": {
        "TableName": "hoge",
        "Limit": 1,
        "ExclusiveStartKey": {
          "id": {
            "S.$": "$.LastEvaluatedKey.id.S"
          }
        }
      },
      "Resource": "arn:aws:states:::aws-sdk:dynamodb:scan"
    },
    "Success": {
      "Type": "Succeed"
    }
  }
}

ワークフロー図は次のようになります。

DynamoDBのScan操作によりテーブルからデータ取得を行うState Machineです。
1回目のFirstScanではExclusiveStartKeyを使わずにScanを行っています。
その後に続くLoopedScanではExclusiveStartKeyを使ってScanを行っています。
Scanの結果にLastEvaluatedKeyが含まれている間、ChoiceとLoopedScanの間でループを行います。
動作確認のためScan時のLimitは1としています。実際には適当な数を指定してください。
今回は省いていますが、実際にはFirstScanとChoiceの間、およびLoopedScanとChoiceの間に取得データを使用した何らかの処理を行うステップが入ることになるかと思います。