Redshift クラスタの一時停止機能を定時刻にLambdaから実行する

下地泰寛

2020.04.16

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、データアナリティクス事業本部の下地です。

先月、Redshiftのアップデートでクラスターを一時停止する機能が追加されました!アップデートについて弊社ブログでも取り上げさせてもらってます。

このアップデートにより使用しない時間帯にRedshiftクラスターを一時停止し費用を抑えることが容易になりました(これまでは停止ではなく削除する必要があったためスナップショットを取得し、実行時にスナップショットから立ち上げる必要がありました)。さらに、ユーザーで決めた時間にクラスターを停止・再起動する機能も追加されておりますのでとても便利です。

今回はRedshiftクラスターを運用する際に、基本的には夜間帯は環境を一時停止したいが「不定期で夜間帯に起動し続ける必要がある」場合に対応するために、Redshiftクラスターのタグ情報に基づいてクラスターを停止(または続行)するLambdaの実装を行いCloudWatch Eventsから実行する機能を作成します。

全体像

作成する全体像としては図のような手順になります。

CloudWatch Eventsにより定時刻にLambdaを実行
Redshiftの指定のタグ値を取得
タグ値によって処理(停止、続行)を行う
処理内容をSNS通知する

作成手順

Redshift, SNS, Lambda, CloudWatch Eventsの設定を行います。

Redshiftタグ値の設定

Redshiftクラスターのタグ値を設定します。今回はstop_flgを分岐に使用するキーとして作成します(特定のタグ値の処理を確認するために別のタグ値も別途作成しています)。

stop_flg: true -> Redshiftクラスター停止
stop_flg: false -> Redshiftクラスター続行

SNSの設定

プログラム実行後にemail通知を飛ばすようにSNSの設定を行います。

トピックを作成後にプロトコルをEmailに選択したサブスクリプションを設定しました。

Lambdaの設定

今回「python3.6」を使用し作成しました。記述したコードを載せます。

import boto3
import os

REGION         = "使用するregion名"
CLUSTERNAME    = "クラスター名"
sns_arn        = "snsのarn"
KEYNAME        = "取得するタグ値のキーワード"
STOPKeyword    = "環境を停止する文字列"
NOTSTOPKeyword = "環境を継続する文字列"

def lambda_handler(event, context):
    # TODO implement
    client = boto3.client('redshift', region_name = REGION)
    sns_client = boto3.client("sns", region_name = REGION)
    reds = client.describe_clusters(ClusterIdentifier = CLUSTERNAME)
    name_tag = [x['Value'] for x in reds['Clusters'][0]['Tags'] if x['Key'] == KEYNAME]
    
    if name_tag[0] == STOPKeyword:
        response = client.pause_cluster(ClusterIdentifier=CLUSTERNAME)
        request = {"TopicArn": sns_arn,"Subject": "検証環境を停止しました","Message": "検証環境を停止しました"}
    elif name_tag[0] == NOTSTOPKeyword:
        request = {"TopicArn": sns_arn,"Subject": "検証環境は停止してません。","Message": "検証環境は停止してません。"}
    sns_client.publish(**request)

IAM policyの設定

動作に必要なポリシーを作成します。今回、必要なのはredshiftの”詳細の読み取り機能,pause機能"と"SNSのpublish"機能です。この3つの機能について下記のように指定します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "redshift:DescribeClusters",
                "redshift:PauseCluster"
            ],
            "Resource": "arn:aws:redshift:[REGION名]:[アカウント番号]:cluster:[CLUSTERNAME名]"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "sns:Publish",
            "Resource": "*"
        }
    ]
}