CloudFrontの作成、設定変更、キャッシュクリアが完了したら通知して欲しかったので作ってみた
この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
AWS事業本部の梶原＠福岡オフィスです。
CloudFrontの作成や、設定変更後のデプロイって、ちょっぴり時間かかりますよね（個人の意見です） やらかしちゃった後のキャッシュクリアとかも、完了するまではよはよ！もう急いで！ってなりますよね（個人の意見です） とはいえ、ずっとコンソールに張り付くのも、なんだかな～なので、状態が変化したら通知してくれるのイベントないかなーと探したんですがちょっと見つからなかったので、作りました。
構成はこんな感じです。
状態を監視するlambdaのリトライについてはSQSを使用しています。 詳しくはこちら
ざっくり動きを説明すると
1. CloudWatch EventRuleで､CloudTrailに出力されるCloudFrontのイベントを補足 2. 補足したらSQSのキューにメッセージを投入 3. SQSからLambdaを起動 3.1 完了していなければ、エラーを返すことによりリトライ 3.2 完了していれば、SNS通知を行い、正常終了
と言うことで、それでは各種リソースを作成していきます！というのも、結構手間なので CloudFormation一撃シリーズ化しました。 これで、メールアドレスだけあれば、通知がきますよ！（検証はちゃんとしてくださいね）
いるもの（前提条件）
- AWSアカウント(各種権限)
- メールアカウント(SNS通知用)
- CluodTrailが有効になっていること
各種設定
CloudWatch Rule 設定
イベントソース：CloudFront
イベント名：
- CreateDistribution(CloudFrontディストリビューションの作成),
- CreateDistributionWithTags(CloudFrontディストリビューションの作成タグ付き),
- UpdateDistribution(CloudFrontディストリビューションの設定更新)
- CreateInvalidation(キャッシュクリア)
※補足 監視対象のイベント名はＡＰＩリファレンスなどを参照してください。 https://docs.aws.amazon.com/cloudfront/latest/APIReference/API_Operations.html
SQS 設定
- デフォルトの可視性タイムアウト: 1 分
- メッセージ保持期間: 4 日
- メッセージ受信待機時間: 20 秒
１分間隔で、リトライして,Lambdaを実行するようにしています。取得（リトライ間隔)は調整ください、そんなに要求が厳しくなければ５分でも （CloudFormationのパラメータ化しています）
lambda に割り当てたRole権限
- 基本的なLambdaの実行権限(マネージドポリシー)
- SQSへのアクセス(マネージドポリシー)
- CloudFrontへの読み取り専用アクセス(マネージドポリシー)
- SNSへのPublish権限
リージョンについて
CloudFrontのイベントを補足するために、米国東部 (バージニア北部)でCloudFormationを実行する必要があります。 CloudWatchのルール以外の各種リソースはとくにリージョンの縛りはありませんが、動作確認は米国東部 (バージニア北部)のリソースで実施しています。 また、lambdaのソースを置くバケットなどもCloudFormationを実行するバケットと同じところに置く必要があります。
リソースの作成
CloudFormationテンプレートのポイント
長いので、全体はブログの最後に記載します。
- CloudWatch EventRuleで､CloudTrailに出力されるCloudFrontのイベントを補足
- 補足したらSQSのキューにメッセージを投入
の部分のテンプレートは下記になります。
CloudFrontEventsRule: Type: AWS::Events::Rule Properties: Description: "CloudFrontEventsRule" EventPattern: source: - aws.cloudfront detail-type: - AWS API Call via CloudTrail detail: eventSource: - cloudfront.amazonaws.com eventName: - CreateDistribution - CreateDistributionWithTags - UpdateDistribution - CreateInvalidation State: "ENABLED" Targets: - Id: "CFEventSqsQueue" Arn: !GetAtt CFEventSqsQueue.Arn
イベントパターンを変更することで、キャッシュクリアだけのイベントを補足、また特定のディストリビューションだけ補足することもできますので ぜひカスタマイズしてみてください。 CloudTrailのイベントソースの書き方などは結構、試行錯誤しました。判れば簡単ですが他のイベントを補足する際などにも参考になるかと
lambda関数は特に変な処理はさせていないと思うで、適時カスタマイズしてください。 むしろエラー処理とかすっとばしてるので、カスタマイズ前提でお願いします。
CloudFormationの実行
テンプレートと、lambdaのソースはS3バケットに置いてます。 ログイン後、リージョンを米国東部 (バージニア北部)に変更して、下記'ここをクリック'を押下してCloudFormationを実行し、パラメータに通知先のメールアドレスを入れてください。
正常にリソースが作成されたら、下記のような感じになるかと思います。
下記件名でSNS通知の確認がメールアドレス宛に来ていると思うので、承認(Confirmation)してください。
AWS Notification - Subscription Confirmation
動作確認
CloudFrontの作成または設定変更を行うとSQSにイベントが通知され、lambdaが動きます。
CloudFrontのStatusがDeployedになるまで、１分間隔でリトライを行います。
キャッシュのクリアの場合はInvalidationのStatusがCompletedになるまで１分間隔でリトライします。
リトライを続けても４日間でメッセージは消えるようになっているので、万が一エラーが出続けても４日経過すると消えます。
まとめ
実装自体は、そうでもなかったのですが、やっぱり動作確認に結構時間がとられました。（あくまで個人の意見です） 実際にこのまま使うことは想定していないですが、CloudTrailのイベントの補足の仕方、CloudFrontに限らずステータスの完了を待つなどの 時に使えるテクニックではないでしょうか？
また、SNS通知でなく、再度別のSQSキューに入れて、後続処理を流していくなどの使い方などもできるかもしれません。 結構ニッチなニーズな気はしますが、どなたかの役にたつと幸いです。
テンプレート
AWSTemplateFormatVersion: '2010-09-09' Metadata: AWS::CloudFormation::Interface: ParameterGroups: - Label: default: "SQS Settings" Parameters: - ReceiveMessageWaitTimeSeconds - VisibilityTimeout - MessageRetentionPeriod - Label: default: "SNS Settings" Parameters: - EMailAddress ParameterLabels: VisibilityTimeout: default: "VisibilityTimeout" ReceiveMessageWaitTimeSeconds: default: "ReceiveMessageWaitTimeSeconds" MessageRetentionPeriod: default: "MessageRetentionPeriod" EMailAddress: default: "E-Mail Address" Parameters: VisibilityTimeout: Type: Number Default: 60 ReceiveMessageWaitTimeSeconds: Type: Number Default: 20 MessageRetentionPeriod: Type: Number Default: 345600 EMailAddress: Type: String Default: hogefuga@exsample.com Resources: CFEventSqsQueue: Type: AWS::SQS::Queue Properties: ReceiveMessageWaitTimeSeconds: !Ref ReceiveMessageWaitTimeSeconds VisibilityTimeout: !Ref VisibilityTimeout MessageRetentionPeriod: !Ref MessageRetentionPeriod CloudFrontEventsRule: Type: AWS::Events::Rule Properties: Description: "CloudFrontEventsRule" EventPattern: source: - aws.cloudfront detail-type: - AWS API Call via CloudTrail detail: eventSource: - cloudfront.amazonaws.com eventName: - CreateDistribution - CreateDistributionWithTags - UpdateDistribution - CreateInvalidation State: "ENABLED" Targets: - Id: "CFEventSqsQueue" Arn: !GetAtt CFEventSqsQueue.Arn CFEventSqsQueuePolicy: Type: AWS::SQS::QueuePolicy Properties: PolicyDocument: Version: '2012-10-17' Statement: - Sid: AWSEvents_CloudFrontEventsRule_Id1 Effect: Allow Principal: Service: events.amazonaws.com Action: sqs:SendMessage Resource: !GetAtt CFEventSqsQueue.Arn Condition: ArnEquals: aws:SourceArn: !GetAtt CloudFrontEventsRule.Arn Queues: - !Ref CFEventSqsQueue EMailSNSTopic: Type: AWS::SNS::Topic Properties: Subscription: - Endpoint: !Ref EMailAddress Protocol: email CFGetStatusLambdaFunc: Type: AWS::Lambda::Function Properties: Handler: index.handler Role: !GetAtt LambdaExecutionRole.Arn Environment: Variables: SNS_TOPIC_ARN: !Ref EMailSNSTopic Code: S3Bucket: pub-devio-blog-vtuisp2o S3Key: lambda/lambda-cf-getevent.zip Runtime: nodejs8.10 Timeout: 30 EventSourceMapping: Type: AWS::Lambda::EventSourceMapping Properties: BatchSize: 1 EventSourceArn: !GetAtt CFEventSqsQueue.Arn FunctionName: !GetAtt CFGetStatusLambdaFunc.Arn LambdaExecutionRole: Type: AWS::IAM::Role Properties: AssumeRolePolicyDocument: Version: '2012-10-17' Statement: - Effect: Allow Principal: Service: - lambda.amazonaws.com Action: - sts:AssumeRole ManagedPolicyArns: - arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole - arn:aws:iam::aws:policy/service-role/AWSLambdaSQSQueueExecutionRole - arn:aws:iam::aws:policy/CloudFrontReadOnlyAccess Path: "/" Policies: - PolicyName: LambdaExecutionRole-SnsPublishPolicy PolicyDocument: Version: '2012-10-17' Statement: - Effect: Allow Action: - sns:Publish Resource: arn:aws:sns:*:*:*
lambda関数
var AWS = require('aws-sdk');
var SNS_TOPIC_ARN = process.env.SNS_TOPIC_ARN;
exports.handler = async(event) => {
// SQSで1メッセージのみ取得
var body = JSON.parse(event.Records[0].body);
var response;
switch (body.detail.eventName) {
case 'CreateDistribution':
case 'CreateDistributionWithTags':
case 'UpdateDistribution':
console.info(body.detail.eventName + ' Event');
response = getDistributionStatus(body);
break;
case 'CreateInvalidation':
console.info(body.detail.eventName + ' Event');
response = getInvalidationStatus(body);
break;
default:
console.warn('Not Support Event ' + body.detail.eventName);
return;
}
return response;
};
async function getDistributionStatus(body) {
console.log(JSON.stringify(body, null, 4));
// CoudFront getDistribution
var cloudfront = new AWS.CloudFront();
var params;
switch (body.detail.eventName) {
case 'CreateDistribution':
case 'CreateDistributionWithTags':
params = {
Id: body.detail.responseElements.distribution.id
};
break;
case 'UpdateDistribution':
params = {
Id: body.detail.requestParameters.id
};
break;
}
var distribution = await cloudfront.getDistribution(params).promise();
console.log(JSON.stringify(distribution, null, 4));
if (distribution.Status != 'Deployed') {
console.info('DistributionId:' + params.Id + ' Distribution Status ' + distribution.Status + ' to retry');
// throw Error
const error = new Error("Retry getDistribution");
throw error;
}
console.info('DistributionId:' + params.Id + ' Distribution Status ' + distribution.Status);
// SNS publish
var message = JSON.stringify(distribution, null, 4);
var result = snsPublish(
message,
'distribution Status ' + distribution.Status,
SNS_TOPIC_ARN
);
console.log(JSON.stringify(result, null, 4));
return distribution;
}
async function getInvalidationStatus(body) {
// CoudFront getInvalidation
var cloudfront = new AWS.CloudFront();
var params = {
DistributionId: body.detail.requestParameters.distributionId,
Id: body.detail.responseElements.invalidation.id
};
var invalidation = await cloudfront.getInvalidation(params).promise();
console.log(JSON.stringify(invalidation, null, 4));
if (invalidation.Status != 'Completed') {
console.info('DistributionId:' + params.DistributionId + ' Invalidation Status ' + invalidation.Status + ' to retry');
// throw Error
const error = new Error("Retry getInvalidation");
throw error;
}
console.info('DistributionId:' + params.DistributionId + ' Invalidation Status ' + invalidation.Status);
// SNS publish
var message = JSON.stringify(invalidation, null, 4);
var result = snsPublish(
message,
'Invalidation Completed',
SNS_TOPIC_ARN
);
console.log(JSON.stringify(result, null, 4));
return invalidation;
}
async function snsPublish(message, subject, topicArn) {
var sns = new AWS.SNS();
var params = {
Message: message,
Subject: subject,
TopicArn: topicArn
};
var result = await sns.publish(params).promise();
return result;
}
