AWS DevOps Agent のインシデント調査に Step Functions で時間の上限を設けてみた

AWS DevOps Agent のインシデント調査に Step Functions で時間の上限を設けてみた

Step Functions から調査を開始し、上限時間を過ぎても終わっていない調査を、AWS SDK 統合の UpdateBacklogTask で取り消す仕組みを作りました。
2026.11.17

こんにちは、製造ビジネステクノロジー部 モビリティチーム の若槻です。

AWS DevOps Agent のインシデント調査(Investigation)は、エージェントが作業した時間(agent time)に応じて課金されます。アラームをきっかけに自動で調査を開始する構成では、1 件の調査が意図せず長く続き、費用が大きくなることは避けたいところです。そのため、調査に時間の上限を設けておきたい場面があると思います。しかし、DevOps Agent には、調査 1 件あたりの時間の上限を利用者が設定する機能がありません。

前回の記事では、実行中の調査を UpdateBacklogTask で取り消せることを確認しました。今回はこれを使い、CloudWatch アラームをきっかけに Step Functions から調査を開始し、上限時間を過ぎても終わっていない調査を取り消す仕組みを作ってみました。費用が想定を超える前に処理を止める、サーキットブレーカーの役割を持たせる仕組みです。

DevOps Agent の標準機能での調査時間の上限設定

はじめに、DevOps Agent で調査時間の上限を設定できるかを確認しました。DevOps Agent のクォータには、時間に関する項目として「カスタムエージェント呼び出しタイムアウト」(1 時間、調整不可)が記載されています。これはカスタムエージェントの呼び出しに適用される上限で、インシデント調査には適用されません。

インシデント調査については、EventBridge に送られるイベントに Investigation Timed Out(調査が許可された最大時間を超えた)があるため、サービス側には上限があると考えられます。ただし、その時間は公開されておらず、利用者が変更することもできません。

このように、DevOps Agent の標準機能には、インシデント調査の時間の上限を利用者が設定する手段がありません。そこで、利用者側で上限を設ける仕組みを作ることにしました。

構成

CloudWatch アラームから DevOps Agent の調査を直接開始するのではなく、間に Step Functions を入れて、調査の開始から取り消しまでを 1 回の実行で管理します。

CloudWatch アラーム(ALARM に変化)
  → EventBridge ルール(CloudWatch Alarm State Change)
  → Step Functions
      1. 調査を開始する(CreateBacklogTask)
      2. 1 分待ってから調査の状態を確認する(GetBacklogTask)
           - 調査が終わっていれば終了する
           - IN_PROGRESS になってから上限時間を過ぎていれば 3 へ
           - それ以外は 2 を繰り返す
      3. 調査を取り消す(UpdateBacklogTask で CANCELED を指定)

DevOps Agent の API は、Step Functions の AWS SDK 統合(arn:aws:states:::aws-sdk:devopsagent:<API 名>)で直接呼び出すため、Lambda 関数は使いません。

Step Functions から調査を開始すると、CreateBacklogTask の応答から調査のタスク ID を受け取れます。EventBridge のイベントから調査を特定する必要がないため、実装が簡単になります。

経過時間は、調査を作成した時刻ではなく、IN_PROGRESS を初めて確認した時刻を起点に計算します。1 個の Agent Space で同時に実行できる調査は既定で 3 件までのため、上限に達していると調査が PENDING_START のまま待つことがあり、その時間を上限に含めないようにするためです。

実装

AWS CDK で実装しました。Agent Space は前回の記事と同じものを使っています。

スタック

スタックでは、障害を起こす Lambda 関数とそのエラーアラーム、調査に上限を設ける仕組みの 2 個のコンストラクトを作成します。上限時間(timeoutSeconds)は 60 秒、状態を確認する間隔(pollIntervalSeconds)は 1 分にしました。

lib/devops-agent-timeout-verification-stack.ts
import * as cdk from "aws-cdk-lib";
import { Construct } from "constructs";

import { AppParameter } from "../bin/parameter";
import { InvestigationTimeoutConstruct } from "./constructs/devops-agent-timeout-verification/investigation-timeout";
import { SlowTaskFunctionConstruct } from "./constructs/devops-agent-timeout-verification/slow-task-function";

/**
 * DevOps Agent の調査時間の上限の検証用スタック
 *
 * 意図的にタイムアウトする Lambda 関数のエラーアラームをきっかけに、Step Functions から
 * DevOps Agent の調査を開始する。上限の時間を過ぎても調査が終わっていなければ取り消す。
 */
export class DevOpsAgentTimeoutVerificationStack extends cdk.Stack {
  constructor(
    scope: Construct,
    id: string,
    props: AppParameter & cdk.StackProps,
  ) {
    super(scope, id, props);

    const { agentSpaceId, timeoutSeconds, pollIntervalSeconds } =
      props.devOpsAgentTimeoutVerification;

    // 意図的にタイムアウトする Lambda 関数とエラーアラームを作成
    const slowTaskFunction = new SlowTaskFunctionConstruct(
      this,
      "SlowTaskFunction",
    );

    // アラームをきっかけに調査を開始し、上限の時間を過ぎたら取り消す
    new InvestigationTimeoutConstruct(this, "InvestigationTimeout", {
      agentSpaceId,
      alarm: slowTaskFunction.alarm,
      timeoutSeconds,
      pollIntervalSeconds,
    });
  }
}

障害を起こす Lambda 関数は、前回の記事と同じく、ハンドラーの処理時間(10 秒)よりタイムアウト値(3 秒)を短くして、意図的に Task timed out を発生させます。今回は、1 分間に 1 回でもエラーが発生したら ALARM になるアラームを追加しています。

Lambda 関数とアラームのコード
lib/constructs/devops-agent-timeout-verification/slow-task-function/index.ts
import * as cdk from "aws-cdk-lib";
import * as cloudwatch from "aws-cdk-lib/aws-cloudwatch";
import * as lambda from "aws-cdk-lib/aws-lambda";
import * as nodejs from "aws-cdk-lib/aws-lambda-nodejs";
import * as logs from "aws-cdk-lib/aws-logs";
import { Construct } from "constructs";

/**
 * 検証用 Lambda 関数とエラーアラームの実装
 *
 * ハンドラーの処理時間(10 秒)より短いタイムアウト値を設定することで、
 * 意図的に Task timed out を発生させる。エラーを検知するアラームを作成し、
 * アラームをきっかけに DevOps Agent の調査を開始させるための検証用リソース。検証専用。
 */
export class SlowTaskFunctionConstruct extends Construct {
  public readonly function: nodejs.NodejsFunction;
  public readonly alarm: cloudwatch.Alarm;

  constructor(scope: Construct, id: string) {
    super(scope, id);

    const functionName = "devops-agent-timeout-verification-slow-task";

    /**
     * 関数のロググループ
     *
     * エージェントがロググループを見つけやすいように、規約どおりの名前を明示する。
     */
    const logGroup = new logs.LogGroup(this, "LogGroup", {
      logGroupName: `/aws/lambda/${functionName}`,
      retention: logs.RetentionDays.ONE_WEEK,
      removalPolicy: cdk.RemovalPolicy.DESTROY, // 検証用のため、スタック削除時に削除する
    });

    this.function = new nodejs.NodejsFunction(this, "Default", {
      functionName,
      entry:
        "lib/constructs/devops-agent-timeout-verification/slow-task-function/function.ts",
      handler: "handler",
      runtime: lambda.Runtime.NODEJS_24_X,
      timeout: cdk.Duration.seconds(3), // 処理時間より短く、意図的にタイムアウトさせる
      logGroup,
    });

    /**
     * 関数のエラーを検知するアラーム
     *
     * 1 分間に 1 回でもエラーが発生したら ALARM にする。
     */
    this.alarm = this.function
      .metricErrors({
        period: cdk.Duration.minutes(1),
        statistic: cloudwatch.Stats.SUM,
      })
      .createAlarm(this, "ErrorAlarm", {
        alarmName: `${functionName}-errors`,
        threshold: 1,
        evaluationPeriods: 1,
        comparisonOperator:
          cloudwatch.ComparisonOperator.GREATER_THAN_OR_EQUAL_TO_THRESHOLD,
        treatMissingData: cloudwatch.TreatMissingData.NOT_BREACHING,
      });
  }
}

ステートマシン

ステートマシンは JSONata で定義しています。CreateInvestigation でタスク ID と上限時間を変数に保存し、GetInvestigation で IN_PROGRESS を初めて確認した時刻を startedAt に保存します。CheckStatus では、調査が終わっていれば終了し、startedAt からの経過時間が上限を超えていれば CancelInvestigation に進みます。

PENDING_CUSTOMER_APPROVAL は緩和策の承認待ちの状態で、根本原因の分析は終わっているため、調査が終わったものとして扱いました。

DevOps Agent の API は、AWS CDK の CallAwsService.jsonata で呼び出しています。service には SDK 統合のサービス名 devopsagent を、action には API 名をキャメルケース(getBacklogTask など)で指定します。

前回の記事で使った AWS CLI の応答では、フィールド名はキャメルケース(agentSpaceId・status など)でした。一方、Step Functions の SDK 統合では、引数と応答のフィールド名がパスカルケース(AgentSpaceId・Status など)になります。そのため、引数は AgentSpaceId のように指定し、応答の値は $states.result.Task.Status のように参照します。GetInvestigation の応答は次のとおりでした。

{
  "Task": {
    "AgentSpaceId": "<AGENT_SPACE_ID>",
    "CreatedAt": "2026-11-17T07:36:41.121Z",
    "Description": "CloudWatch アラーム devops-agent-timeout-verification-slow-task-errors が ...",
    "ExecutionId": "<EXECUTION_ID>",
    "HasLinkedTasks": false,
    "Priority": "HIGH",
    "Status": "IN_PROGRESS",
    "TaskId": "<TASK_ID>",
    "TaskType": "INVESTIGATION",
    "Title": "CloudWatch アラーム devops-agent-timeout-verification-slow-task-errors",
    "UpdatedAt": "2026-11-17T07:36:51.520Z",
    "Version": 2
  }
}

ステートマシンの実行ロールの IAM ポリシーには、aidevops:CreateBacklogTask・aidevops:GetBacklogTask・aidevops:UpdateBacklogTask を対象の Agent Space に限定して許可しています。CallAwsService は、iamAction を省略すると <service>:<action> の形でアクションを作成しますが、DevOps Agent の IAM のサービス接頭辞は aidevops で、SDK 統合のサービス名 devopsagent とは異なります。そのため、iamAction を明示しています。

また、状態を確認してから取り消すまでの間に調査が完了した場合、UpdateBacklogTask は ConflictException になります。SDK 統合ではエラー名が DevOpsAgent.ConflictException になるため、これを addCatch で受けて InvestigationFinishedBeforeCancel で終了するようにしました。なお、この経路は今回の検証では発生していません。

ステートマシンのコード
lib/constructs/devops-agent-timeout-verification/investigation-timeout/index.ts
import * as cdk from "aws-cdk-lib";
import * as cloudwatch from "aws-cdk-lib/aws-cloudwatch";
import * as events from "aws-cdk-lib/aws-events";
import * as targets from "aws-cdk-lib/aws-events-targets";
import * as logs from "aws-cdk-lib/aws-logs";
import * as sfn from "aws-cdk-lib/aws-stepfunctions";
import * as tasks from "aws-cdk-lib/aws-stepfunctions-tasks";
import { Construct } from "constructs";

export interface InvestigationTimeoutConstructProps {
  agentSpaceId: string; // 調査を開始する Agent Space の ID
  alarm: cloudwatch.IAlarm; // 調査のきっかけにするアラーム
  timeoutSeconds: number; // 調査が IN_PROGRESS になってから取り消すまでの秒数
  pollIntervalSeconds: number; // 調査の状態を確認する間隔(秒)
}

/**
 * 調査に時間の上限を設ける実装
 *
 * CloudWatch アラームをきっかけに Step Functions から DevOps Agent の調査を開始し、
 * 上限の時間を過ぎても調査が終わっていなければ取り消す。
 * DevOps Agent の API は、Step Functions の AWS SDK 統合で直接呼び出す。
 */
export class InvestigationTimeoutConstruct extends Construct {
  public readonly stateMachine: sfn.StateMachine;

  constructor(
    scope: Construct,
    id: string,
    props: InvestigationTimeoutConstructProps,
  ) {
    super(scope, id);

    const { agentSpaceId, alarm, timeoutSeconds, pollIntervalSeconds } = props;
    const stack = cdk.Stack.of(this);

    const agentSpaceArn = stack.formatArn({
      service: "aidevops",
      resource: "agentspace",
      resourceName: agentSpaceId,
    });

    /**
     * 調査を開始する
     */
    const createInvestigation = tasks.CallAwsService.jsonata(
      this,
      "CreateInvestigation",
      {
        service: "devopsagent",
        action: "createBacklogTask",
        iamAction: "aidevops:CreateBacklogTask", // IAM のサービス接頭辞は SDK のサービス名と異なる
        iamResources: [agentSpaceArn],
        parameters: {
          AgentSpaceId: agentSpaceId,
          TaskType: "INVESTIGATION",
          Priority: "HIGH",
          Title: "{% 'CloudWatch アラーム ' & $states.input.alarmName %}",
          Description:
            "{% 'CloudWatch アラーム ' & $states.input.alarmName & ' が ' & $states.input.time & ' に ALARM になりました。理由: ' & $states.input.reason & ' 原因を調査してください。' %}",
        },
        assign: {
          taskId: "{% $states.result.Task.TaskId %}",
          timeoutSeconds: "{% $states.input.timeoutSeconds %}",
          startedAt: null, // IN_PROGRESS を初めて確認した時刻
        },
      },
    );

    /**
     * 一定時間待つ
     */
    const wait = sfn.Wait.jsonata(this, "WaitInterval", {
      time: sfn.WaitTime.duration(cdk.Duration.seconds(pollIntervalSeconds)),
    });

    /**
     * 調査の状態を取得する
     *
     * PENDING_START の間は経過時間に数えないように、IN_PROGRESS を初めて確認した時刻を保存する。
     */
    const getInvestigation = tasks.CallAwsService.jsonata(
      this,
      "GetInvestigation",
      {
        service: "devopsagent",
        action: "getBacklogTask",
        iamAction: "aidevops:GetBacklogTask",
        iamResources: [agentSpaceArn],
        parameters: {
          AgentSpaceId: agentSpaceId,
          TaskId: "{% $taskId %}",
        },
        assign: {
          status: "{% $states.result.Task.Status %}",
          startedAt:
            "{% $startedAt ? $startedAt : ($states.result.Task.Status = 'IN_PROGRESS' ? $now() : null) %}",
        },
      },
    );

    const canceled = sfn.Succeed.jsonata(this, "InvestigationCanceled", {
      outputs: { taskId: "{% $taskId %}", canceled: true },
    });

    const finishedBeforeCancel = sfn.Succeed.jsonata(
      this,
      "InvestigationFinishedBeforeCancel",
      {
        outputs: { taskId: "{% $taskId %}", canceled: false },
      },
    );

    /**
     * 調査を取り消す
     *
     * 判定から取り消しまでの間に調査が完了した場合は ConflictException になるため、
     * エラーにせず終了する。
     */
    const cancelInvestigation = tasks.CallAwsService.jsonata(
      this,
      "CancelInvestigation",
      {
        service: "devopsagent",
        action: "updateBacklogTask",
        iamAction: "aidevops:UpdateBacklogTask",
        iamResources: [agentSpaceArn],
        parameters: {
          AgentSpaceId: agentSpaceId,
          TaskId: "{% $taskId %}",
          TaskStatus: "CANCELED",
        },
      },
    )
      .addCatch(finishedBeforeCancel, {
        errors: ["DevOpsAgent.ConflictException"],
      })
      .next(canceled);

    const finished = sfn.Succeed.jsonata(this, "InvestigationFinished", {
      outputs: { taskId: "{% $taskId %}", status: "{% $status %}" },
    });

    /**
     * 調査の状態で分岐する
     *
     * - 調査が終わっていれば終了する(PENDING_CUSTOMER_APPROVAL は緩和策の承認待ちで、根本原因の分析は終わっているため終了とみなす)
     * - IN_PROGRESS になってから上限の時間を過ぎていれば取り消す
     * - それ以外は待ってから再確認する
     */
    const checkStatus = sfn.Choice.jsonata(this, "CheckStatus")
      .when(
        sfn.Condition.jsonata(
          "{% $status in ['COMPLETED', 'FAILED', 'TIMED_OUT', 'CANCELED', 'SKIPPED', 'LINKED', 'PENDING_CUSTOMER_APPROVAL'] %}",
        ),
        finished,
      )
      .when(
        sfn.Condition.jsonata(
          "{% $exists($startedAt) and $startedAt != null and ($toMillis($now()) - $toMillis($startedAt)) / 1000 >= $timeoutSeconds %}",
        ),
        cancelInvestigation,
      )
      .otherwise(wait);

    this.stateMachine = new sfn.StateMachine(this, "StateMachine", {
      queryLanguage: sfn.QueryLanguage.JSONATA,
      definitionBody: sfn.DefinitionBody.fromChainable(
        createInvestigation.next(wait).next(getInvestigation).next(checkStatus),
      ),
      timeout: cdk.Duration.hours(3), // 調査の状態が変わらない場合に備えた上限
      logs: {
        destination: new logs.LogGroup(this, "StateMachineLogGroup", {
          retention: logs.RetentionDays.ONE_WEEK,
          removalPolicy: cdk.RemovalPolicy.DESTROY, // 検証用のため、スタック削除時に削除する
        }),
        level: sfn.LogLevel.ALL,
      },
    });

    /**
     * アラームが ALARM になったらステートマシンを起動する
     */
    new events.Rule(this, "AlarmRule", {
      eventPattern: {
        source: ["aws.cloudwatch"],
        detailType: ["CloudWatch Alarm State Change"],
        resources: [alarm.alarmArn],
        detail: {
          state: { value: ["ALARM"] },
        },
      },
      targets: [
        new targets.SfnStateMachine(this.stateMachine, {
          input: events.RuleTargetInput.fromObject({
            alarmName: events.EventField.fromPath("$.detail.alarmName"),
            reason: events.EventField.fromPath("$.detail.state.reason"),
            time: events.EventField.time,
            timeoutSeconds,
          }),
        }),
      ],
    });
  }
}

動作確認

上限時間を超過した調査

上限時間を過ぎても調査が終わっていない場合に、調査が取り消されることを確認しました。デプロイ後に、障害を起こす Lambda 関数を 3 回実行しました。

aws lambda invoke \
  --region ap-northeast-1 \
  --function-name devops-agent-timeout-verification-slow-task \
  /dev/null

約 1 分後にアラームが ALARM になり、ステートマシンの実行が始まりました。実行への入力は次のとおりです。

{
  "alarmName": "devops-agent-timeout-verification-slow-task-errors",
  "reason": "Threshold Crossed: 1 datapoint [3.0 (17/11/26 07:35:00)] was greater than or equal to the threshold (1.0).",
  "time": "2026-11-17T07:36:40Z",
  "timeoutSeconds": 60
}

実行履歴から、各ステートで取得した調査の状態を時系列で並べると次のようになりました。

時刻 ステート 調査の状態
16:36:41 CreateInvestigation PENDING_START
16:37:41 GetInvestigation IN_PROGRESS(startedAt に保存)
16:38:41 GetInvestigation IN_PROGRESS(上限を超えたと判定)
16:38:42 CancelInvestigation CANCELED

IN_PROGRESS を初めて確認した 16:37:41 から 60 秒後の確認で上限を超えたと判定され、16:38:42 に調査が取り消されました。想定どおりの動作です。1 分ごとに確認しているため、取り消しは上限から最大で 1 分程度遅れます。また、調査が実際に IN_PROGRESS になったのは、16:36:41 から 16:37:41 までの間のいずれかの時刻です。

コンソールの実行のグラフビューでは、CheckStatus から CancelInvestigation に進んだことを確認できます。CheckStatus の変数には、startedAt に保存した時刻と、上限の秒数(timeoutSeconds)が表示されています。


上限を超えて調査を取り消した実行のグラフと CheckStatus の変数

ステートマシンの出力は次のとおりです。

{"taskId":"<TASK_ID>","canceled":true}

get-backlog-task で調査を確認したところ、ステータスは CANCELED になっていました。タイトルと説明には、アラームの内容が入っています。

{
    "task": {
        "agentSpaceId": "<AGENT_SPACE_ID>",
        "taskId": "<TASK_ID>",
        "executionId": "<EXECUTION_ID>",
        "title": "CloudWatch アラーム devops-agent-timeout-verification-slow-task-errors",
        "description": "CloudWatch アラーム devops-agent-timeout-verification-slow-task-errors が 2026-11-17T07:36:40Z に ALARM になりました。理由: Threshold Crossed: 1 datapoint [3.0 (17/11/26 07:35:00)] was greater than or equal to the threshold (1.0). 原因を調査してください。",
        "taskType": "INVESTIGATION",
        "priority": "HIGH",
        "status": "CANCELED",
        "createdAt": "2026-11-17T07:36:41.121000+00:00",
        "updatedAt": "2026-11-17T07:38:41.960000+00:00",
        "version": 3,
        "metadata": {
            "canceledReason": "USER_CANCELED"
        },
        "hasLinkedTasks": false
    }
}

list-executions で確認した実行の executionStatus も CANCELED でした。調査記録(list-journal-records で取得できる、エージェントの推論やツールの呼び出しの記録)は 82 件で、最後の記録の時刻は取り消す直前の 16:38:41 でした。前回の記事と同じく、取り消した後は調査記録が追加されていません。

上限時間内に完了した調査

上限時間内に調査が終わった場合に、調査が取り消されずに処理が終了することを確認しました。同じ入力で timeoutSeconds を 600 にして、ステートマシンを手動で実行しました。

aws stepfunctions start-execution \
  --region ap-northeast-1 \
  --state-machine-arn <STATE_MACHINE_ARN> \
  --input file://input.json

調査は 16:36:52 に IN_PROGRESS を確認し、約 4 分後の 16:40:53 に COMPLETED を確認しました。ステートマシンは InvestigationFinished で終了し、想定どおり取り消しは行われませんでした。


上限時間内に調査が完了した実行のグラフ

{"taskId":"<TASK_ID>","status":"COMPLETED"}

課金の対象になる時間

上限 60 秒で取り消した調査の、課金の対象になる時間は 110 秒でした。 調査が IN_PROGRESS だった約 61〜121 秒の範囲に収まっており、取り消した後の時間は課金の対象に含まれていないと考えられます。ただし、状態の確認は 1 分ごとのため、課金の対象になる時間は、上限の 60 秒より最大で 1 分程度長くなります。

課金の対象になる時間は、CloudWatch の AWS/AIDevOps 名前空間の ConsumedInvestigationTime メトリクスで、Agent Space ごとに確認できます。値は調査が終わってから数分後に記録され、データポイントの時刻は調査が終わった時刻ではなく、調査を開始したころの時刻でした。

aws cloudwatch get-metric-statistics \
  --region ap-northeast-1 \
  --namespace AWS/AIDevOps \
  --metric-name ConsumedInvestigationTime \
  --dimensions Name=AgentSpaceUUID,Value=$AGENT_SPACE_ID \
  --start-time 2026-11-17T07:30:00Z \
  --end-time 2026-11-17T08:00:00Z \
  --period 60 \
  --statistics Sum SampleCount Minimum Maximum

今回の 2 件の調査は同じ 1 分間のデータポイントに記録されたため、Minimum と Maximum からそれぞれの値を読み取りました。

調査 IN_PROGRESS だった時間 ConsumedInvestigationTime
上限 60 秒で取り消した調査 約 61〜121 秒(16:36:41〜16:37:41 のいずれかから 16:38:42 まで) 110 秒
上限 600 秒で完了した調査 約 241〜302 秒(16:35:51〜16:36:52 のいずれかから、16:39:53〜16:40:53 のいずれかまで) 262 秒

注意点

自動と手動の取り消しの区別

Step Functions から取り消した調査も、metadata.canceledReason は USER_CANCELED でした。Web アプリのボタンで取り消した場合と同じ値のため、調査の情報だけでは、上限時間を過ぎて自動で取り消されたのか、人が取り消したのかを区別できません。区別が必要な場合は、Step Functions の実行履歴を確認するか、取り消した記録を別に残す必要があります。

取り消した調査の再開

前回の記事で確認したとおり、取り消した調査は再開できません。上限時間を短くしすぎると、根本原因の分析が終わる前に取り消されてしまうため、普段の調査にかかる時間をもとに設定する必要があります。今回の検証では、調査は約 4 分で完了しました。

アラームの繰り返しによる調査の重複

アラームが ALARM と OK を繰り返すと、そのたびにステートマシンが起動し、調査が作成されます。運用で使う場合は、同じアラームの調査が実行中であれば新しく作成しないなどの対策が必要です。

後片付け

検証用のスタックは cdk destroy で削除しました。

npx cdk destroy DevOpsAgentTimeoutVerification --context environment=dev

おわりに

AWS DevOps Agent のインシデント調査に、Step Functions で時間の上限を設けてみました。調査時間の上限を利用者が設定する機能はありませんが、Step Functions から調査を開始すれば、タスク ID を受け取って状態を確認し、上限時間を過ぎたら UpdateBacklogTask で取り消すことができました。DevOps Agent の API は AWS SDK 統合で直接呼び出せるため、Lambda 関数を用意する必要もありません。

今回はサーキットブレーカーが作動したときに調査を取り消しましたが、作動したときの動作は取り消しに限りません。取り消す代わりに Slack などへ通知したり、担当者へエスカレーションしたりして、調査を続けるかどうかを人が判断する構成も考えられます。その場合は、CancelInvestigation のステートを、Amazon SNS への通知などに置き換えることになります。

Step Functions の代わりに Lambda の durable functions を使い、同じ処理を Lambda 関数 1 個で書くこともできます。こちらは別の記事で紹介しています。

アラームをきっかけに自動で調査を開始する構成で、1 件の調査が長く続くことに備えたいときの参考になれば幸いです。

参考

以上

この記事をシェアする

関連記事