カスタムリソースが原因でCloudFormationスタックの処理が完了しない場合の対処方法

#AWS CloudFormation

#AWS

いわさ

2022.01.12

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

いわさです。

先日以下の記事でCloudFormationのカスタムリソースを使ってテンプレートを作成したのですが、試行錯誤の過程でスタックを操作できなくなる状態が発生しました。

具体的には、カスタムリソースの作成に失敗したためスタックをロールバック操作したのですが、カスタムリソースのロールバック中にエラーハンドリングに失敗してスタックへシグナル送信出来ない状態となってしまい、カスタムリソースのステータスがDELETE_IN_PROGRESSのまま戻せなくなりました。

そうすると、スタック自体のステータスもUPDATE_ROLLBACK_COMPLETE_CLEANUP_IN_PROGRESSになってしまい、キャンセルやロールバック操作を受け付けなくなります。

この状態になるとスタック操作のタイムアウトを待つしかなさそうですが、実は強制的にカスタムリソースのステータスを更新することが出来ましたのでその方法を紹介します。

強制的にカスタムリソースの完了シグナルを送信する

横田あかりさんの以下の記事では、curlコマンドでカスタムリソースプロバイダーのレスポンス相当のメッセージを手動で送信しています。

今回はこちらを参考に、先程失敗したカスタムリソースの成功シグナルを手動で送信することで解決しました。

リクエストに必要な情報を取得する

カスタムリソースのLambda権限が正しく付与されていればCloudWatch Logsに削除オペレーション時のイベントが出力されていると思います。

必要な情報は、PhysicalResourceId、StackId、RequestId、LogicalResourceIdそしてエンドポイント(ResponseURL)です。

{
    "RequestType": "Delete",
    "ServiceToken": "arn:aws:lambda:ap-northeast-1:123456789012:function:amb-stack-ManagedBlockchainVpcEndpointLambda-OwtwNbsylAmm",
    "ResponseURL": "https://cloudformation-custom-resource-response-apnortheast1.s3-ap-northeast-1.amazonaws.com/arn%3Aaws%3Acloudformation%3Aap-northeast-1%3A123456789012%3Astack/amb-stack/0207c950-6f34-11ec-91bd-064a048f128d%7CManagedBlockchainVpcEndpoint%7C46944558-0fb8-4d08-8bc0-97f364db5586
    "StackId": "arn:aws:cloudformation:ap-northeast-1:123456789012:stack/amb-stack/0207c950-6f34-11ec-91bd-064a048f128d",
    "RequestId": "46944558-0fb8-4d08-8bc0-97f364db5586",
    "LogicalResourceId": "ManagedBlockchainVpcEndpoint",
    "PhysicalResourceId": "amb-stack-ManagedBlockchainVpcEndpoint-1743680CK41PB",
    "ResourceType": "AWS::CloudFormation::CustomResource",
    "ResourceProperties": {
        "ServiceToken": "arn:aws:lambda:ap-northeast-1:123456789012:function:amb-stack-ManagedBlockchainVpcEndpointLambda-OwtwNbsylAmm",
        "VpcId": "vpc-05a0afdde14b86481",
        "NetworkId": "n-CLXLSES5ENFATN2TY2TIEHNF6M",
        "SubnetIds": [
            "subnet-0d0bbe7005410c56d"
        ],
        "SecurityGroupIds": [
            "sg-0bbf9b68416d51fd2"
        ]
    }
}

リクエストを送信する

同じようにcurlを使ってリクエストを送信します。

iwasa.takahito@hoge ~ % curl -H 'Content-Type: ''' -X PUT -d '{
    "Status": "SUCCESS",
    "PhysicalResourceId": "amb-stack-ManagedBlockchainVpcEndpoint-1743680CK41PB",
    "StackId": "arn:aws:cloudformation:ap-northeast-1:123456789012:stack/amb-stack/0207c950-6f34-11ec-91bd-064a048f128d",
    "RequestId": "46944558-0fb8-4d08-8bc0-97f364db5586",
    "LogicalResourceId": "ManagedBlockchainVpcEndpoint"
  }' 'https://cloudformation-custom-resource-response-apnortheast1.s3-ap-northeast-1.amazonaws.com/arn%3Aaws%3Acloudformation%3Aap-northeast-1%3A123456789012%3Astack/amb-stack/0207c950-6f34-11ec-91bd-064a048f128d%7CManagedBlockchainVpcEndpoint%7C46944558-0fb8-4d08-8bc0-97f364db5586

送信後、カスタムリソースのステータスがDELETE_COMPLETEに変わりました。