CloudFormationを使ってAmazon RDSのインスタンスをスナップショットから立ち上げてみました
初めに
Amazon RDSはスナップショットの復元は別アカウントからのデータ移行や、バックアップからの復元、様々なケースで利用されます。
個人的にはバックアップからの復元や既存ののデータを利用した一時検証環境などを使うケースで利用することが多く、その関係IaCで管理する環境に含めることが少なく今まで手動で立ち上げしかやったことのない対応でした。
直近別環境から既存RDSのスナップショットを利用して新規環境を立ち上げる対応でスナップショットから立ち上げる対応をCloudFormatinoで書く機会があったので備忘録として残しておきます。
別アカウントからのスナップショット復元
本筋からは少し外れますが別のアカウントからのスナップショットを利用する場合は、そのアカウントからスナップショットを共有してもらう必要があります。
なお自動バックアップでは共有できないようなので共有が必要な場合は自動バックアップとは別に手動でスナップショットを取得し、そちらを共有する必要があります。
その他詳細は上記AWSドキュメントページをご参照ください。
スナップショットからの立ち上げ方
今回は非Aurora環境から試しますがこの場合はAWS::RDS::DBInstanceのDBSnapshotIdentifierに対してスナップショットのARNを指定することでそのスナップショットからのインスタンスの立ち上げが可能です。
Auroraを利用する場合はAWS::RDS::DBClusterのSnapshotIdentifierとなりそうですが、DBInstanceの方にもDBClusterSnapshotIdentifierというパラメータがあるのでこの辺りの指定は改めて機会がありましたら確認してみます。
DBSnapshotIdentifierの指定変更に関する注意事項
AWS::RDS::DBInstanceに記載がありますが一度指定した後の変更には注意が必要です。
After you restore a DB instance with a DBSnapshotIdentifier property, you can delete the DBSnapshotIdentifier property. When you specify this property for an update, the DB instance is not restored from the DB snapshot again, and the data in the database is not changed. However, if you don't specify the DBSnapshotIdentifier property, an empty DB instance is created, and the original DB instance is deleted. If you specify a property that is different from the previous snapshot restore property, a new DB instance is restored from the specified DBSnapshotIdentifier property, and the original DB instance is deleted.
つまりのところDBSnapshotIdentifierでしているする復元元のスナップショットの識別子(ARN)の値が指定された場合は(そのスナップショットで再作成が必要なため)置換処理がかかるようです。
ただし指定がある状態から指定を削除した場合は特に何も処理が行われない形になるとのことです(現状維持)。
削除保護をつけておくことで防止はできますが誤って指定を変えてしまった場合に元のDBを吹き飛ばす可能性があるので一応注意しましょう。
テンプレート
CloudFormationテンプレートは以下のようになります。
今回はDBSnapshotArnを空とすることでDBSnapshotIdentifierがAWS::NoValue(すなわちパラメータ無し)として扱われるようになっております。
今回の対応は以下の流れで対応を行います。
CloudFormationで新規立ち上げ->DB内容変更->スナップショット作成->DB内容変更->スナップショット指定追加(スナップショット復元)->スナップショット指定削除(空のDB作成)
VPC等一部のリソースは毎回作成するのは煩雑でベースになるものを事前にあるのでそちらを利用しています。バージョンのベタ書き等がありますがその点は目を瞑っていただければと思います。
AWSTemplateFormatVersion: 2010-09-09
Parameters:
Env:
Type: String
Prefix:
Type: String
DeleteProtection:
Type: String
AllowedValues:
- True
- False
EnableMultiAZ:
Type: String
AllowedValues:
- True
- False
VPCId:
Type: String
RDSSGId:
Type: String
SubnetGroupId:
Type: String
DBSnapshotId:
Type: String
DBInstanceClass:
Type: String
RDSStorageSize:
Type: Number
Conditions:
SpecifySnapshot: !Not [ !Equals [ !Ref DBSnapshotId, ""]]
Resources:
#----------------------------------
#----- RDS Instance
#----------------------------------
DBInstance:
Type: AWS::RDS::DBInstance
Properties:
Engine: postgres
MasterUsername: postgres
AllocatedStorage: !Ref RDSStorageSize
StorageType: gp3
# 後述しますがこの設定が原因で後々失敗します
DBInstanceIdentifier: !Sub ${Env}-${Prefix}
MasterUserPassword: !Sub "{{resolve:secretsmanager:${RDSMasterUserPassword}:SecretString:password::}}"
AvailabilityZone: !Sub ${AWS::Region}a
DBInstanceClass: !Ref DBInstanceClass
AutoMinorVersionUpgrade: False
EnablePerformanceInsights: True
MultiAZ: !Ref EnableMultiAZ
CACertificateIdentifier: "rds-ca-rsa4096-g1"
CopyTagsToSnapshot: True
DBSubnetGroupName: !Ref SubnetGroupId
OptionGroupName: !Ref RDSOptionGroup
DBSnapshotIdentifier:
Fn::If:
- SpecifySnapshot
- !Ref DBSnapshotId
- !Ref AWS::NoValue
VPCSecurityGroups:
- !Ref RDSSGId
DBParameterGroupName: !Ref InstanceParameterGroup
DeletionProtection: !Ref DeleteProtection
Tags:
- Key: Environment
Value: !Ref Env
RDSMasterUserPassword:
Type: AWS::SecretsManager::Secret
Properties:
Name: !Sub ${Env}-${Prefix}-master-password
GenerateSecretString:
GenerateStringKey: password
PasswordLength: 20
ExcludePunctuation: True
SecretStringTemplate: '{}'
#----------------------------------
#----- Parameter Group
#----------------------------------
InstanceParameterGroup:
Type: AWS::RDS::DBParameterGroup
Properties:
DBParameterGroupName: !Sub ${Env}-${Prefix}-instance-pg
Description: "-"
Family: postgres15
Tags:
- Key: Environment
Value: !Ref Env
#----------------------------------
#----- Option Group
#----------------------------------
RDSOptionGroup:
Type: AWS::RDS::OptionGroup
Properties:
EngineName: postgres
MajorEngineVersion: 15
OptionGroupName: !Sub ${Env}-${Prefix}-og
OptionGroupDescription: "-"
Tags:
- Key: Environment
Value: !Ref Env
新規立ち上げ〜データ投入〜スナップショット作成
まずはスナップショットなしで立ち上げを行います。
先ほどのテンプレートでスタックを立ち上げる際にDBSnapshotIdを空、後々再作成を行う関係でDeleteProtectionをfalseにして削除保護をつけないようにして起動します。
起動後接続を行い適当なテストデータを作っておきます。
postgres=> select version();
version
---------------------------------------------------------------------------------------------------------
PostgreSQL 15.4 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 7.3.1 20180712 (Red Hat 7.3.1-12), 64-bit
(1 row)
postgres=> CREATE TABLE history(id serial, text text, create_date timestamp DEFAULT now());
CREATE TABLE
postgres=> INSERT INTO history(text) SELECT md5(generate_series::text) FROM generate_series(1,20);
INSERT 0 20
postgres=> SELECT * FROM history;
id | text | create_date
----+----------------------------------+----------------------------
1 | c4ca4238a0b923820dcc509a6f75849b | 2023-12-19 08:41:54.345255
2 | c81e728d9d4c2f636f067f89cc14862c | 2023-12-19 08:41:54.345255
3 | eccbc87e4b5ce2fe28308fd9f2a7baf3 | 2023-12-19 08:41:54.345255
4 | a87ff679a2f3e71d9181a67b7542122c | 2023-12-19 08:41:54.345255
5 | e4da3b7fbbce2345d7772b0674a318d5 | 2023-12-19 08:41:54.345255
6 | 1679091c5a880faf6fb5e6087eb1b2dc | 2023-12-19 08:41:54.345255
7 | 8f14e45fceea167a5a36dedd4bea2543 | 2023-12-19 08:41:54.345255
8 | c9f0f895fb98ab9159f51fd0297e236d | 2023-12-19 08:41:54.345255
9 | 45c48cce2e2d7fbdea1afc51c7c6ad26 | 2023-12-19 08:41:54.345255
10 | d3d9446802a44259755d38e6d163e820 | 2023-12-19 08:41:54.345255
11 | 6512bd43d9caa6e02c990b0a82652dca | 2023-12-19 08:41:54.345255
12 | c20ad4d76fe97759aa27a0c99bff6710 | 2023-12-19 08:41:54.345255
13 | c51ce410c124a10e0db5e4b97fc2af39 | 2023-12-19 08:41:54.345255
14 | aab3238922bcc25a6f606eb525ffdc56 | 2023-12-19 08:41:54.345255
15 | 9bf31c7ff062936a96d3c8bd1f8f2ff3 | 2023-12-19 08:41:54.345255
16 | c74d97b01eae257e44aa9d5bade97baf | 2023-12-19 08:41:54.345255
17 | 70efdf2ec9b086079795c442636b55fb | 2023-12-19 08:41:54.345255
18 | 6f4922f45568161a8cdf4ad2299f6d23 | 2023-12-19 08:41:54.345255
19 | 1f0e3dad99908345f7439f8ffabdffc4 | 2023-12-19 08:41:54.345255
20 | 98f13708210194c475687be6106a3b84 | 2023-12-19 08:41:54.345255
(20 rows)
マネジメントコンソールから手動でスナップショットを取得します。
後ほどCloudFormationのパラメータのDBSnapshotId(と言いつつARN)を入れるのでスナップショットのARNを控えておきます。
今回は同一アカウントのため前述のような別アカウント共有は行いません。
データ変更〜スナップショット復元
上記のスナップショットで戻したことが確認できるようにさらにデータを追加しておきます。
postgres=> INSERT INTO history(text) SELECT md5(generate_series::text) FROM generate_series(1,20);
INSERT 0 20
postgres=> SELECT * FROM history offset 20;
id | text | create_date
----+----------------------------------+----------------------------
21 | c4ca4238a0b923820dcc509a6f75849b | 2023-12-19 08:51:18.906937
22 | c81e728d9d4c2f636f067f89cc14862c | 2023-12-19 08:51:18.906937
23 | eccbc87e4b5ce2fe28308fd9f2a7baf3 | 2023-12-19 08:51:18.906937
24 | a87ff679a2f3e71d9181a67b7542122c | 2023-12-19 08:51:18.906937
25 | e4da3b7fbbce2345d7772b0674a318d5 | 2023-12-19 08:51:18.906937
26 | 1679091c5a880faf6fb5e6087eb1b2dc | 2023-12-19 08:51:18.906937
27 | 8f14e45fceea167a5a36dedd4bea2543 | 2023-12-19 08:51:18.906937
28 | c9f0f895fb98ab9159f51fd0297e236d | 2023-12-19 08:51:18.906937
29 | 45c48cce2e2d7fbdea1afc51c7c6ad26 | 2023-12-19 08:51:18.906937
30 | d3d9446802a44259755d38e6d163e820 | 2023-12-19 08:51:18.906937
31 | 6512bd43d9caa6e02c990b0a82652dca | 2023-12-19 08:51:18.906937
32 | c20ad4d76fe97759aa27a0c99bff6710 | 2023-12-19 08:51:18.906937
33 | c51ce410c124a10e0db5e4b97fc2af39 | 2023-12-19 08:51:18.906937
34 | aab3238922bcc25a6f606eb525ffdc56 | 2023-12-19 08:51:18.906937
35 | 9bf31c7ff062936a96d3c8bd1f8f2ff3 | 2023-12-19 08:51:18.906937
36 | c74d97b01eae257e44aa9d5bade97baf | 2023-12-19 08:51:18.906937
37 | 70efdf2ec9b086079795c442636b55fb | 2023-12-19 08:51:18.906937
38 | 6f4922f45568161a8cdf4ad2299f6d23 | 2023-12-19 08:51:18.906937
39 | 1f0e3dad99908345f7439f8ffabdffc4 | 2023-12-19 08:51:18.906937
40 | 98f13708210194c475687be6106a3b84 | 2023-12-19 08:51:18.906937
(20 rows)
postgres=> SELECT COUNT(*) FROM history;
count
-------
40
(1 row)
先ほど作成したスナップショットのARNをDBSnapshotIdに指定し同一のスタックをアップデートします。
置換条件がConditionになっているのでこの時点では発生するかは断定できません。
アップデートすると失敗してしまいました。
完全に失念していましたがこれはDBInstanceIdentifierを指定していることで置換処理ができないためのエラーとなります。
(RDSの仕組み上同一アカウントリージョン上に同名のDBが作れない為)
識別子のために固定の名前をつけていることも多いかと思いますのでCloudFormationでDBSnapshotIdentifierを差し替えるような型値前提としている場合はDBInstanceIdentifierを未指定にするようにして対応しましょう。
DBInstanceIdentifierの指定を削除したテンプレートで再作成し(DBSnapshotIdの値は空)あらためて先ほどのDBSnapshotIdを指定する形で更新を行います。
(後で冷静に考えるとわざわざ一度消さずにDBInstanceIdentifierの指定を削除してアップデートで十分だったかもしれません)
スタックを更新してみると新しいリソースを作成するメッセージが含まれており置換処理が発生することがわかります。
作成中にDBインスタンスを見に行くと置換前後のインスタンス両方が確認できます。
SELECT文を実行して最初に取ったスナップショットの状態に戻っていることを確認します。
sh-4.2$ psql -h db-snapshot-dbinstance-yflw3q0pvlzb.xxxxxx.ap-northeast-1.rds.amazonaws.com -U postgres
Password for user postgres:
psql (14.8, server 15.4)
WARNING: psql major version 14, server major version 15.
Some psql features might not work.
SSL connection (protocol: TLSv1.2, cipher: ECDHE-RSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.
postgres=> select * from history;
id | text | create_date
----+----------------------------------+----------------------------
1 | c4ca4238a0b923820dcc509a6f75849b | 2023-12-19 08:41:54.345255
2 | c81e728d9d4c2f636f067f89cc14862c | 2023-12-19 08:41:54.345255
3 | eccbc87e4b5ce2fe28308fd9f2a7baf3 | 2023-12-19 08:41:54.345255
4 | a87ff679a2f3e71d9181a67b7542122c | 2023-12-19 08:41:54.345255
5 | e4da3b7fbbce2345d7772b0674a318d5 | 2023-12-19 08:41:54.345255
6 | 1679091c5a880faf6fb5e6087eb1b2dc | 2023-12-19 08:41:54.345255
7 | 8f14e45fceea167a5a36dedd4bea2543 | 2023-12-19 08:41:54.345255
8 | c9f0f895fb98ab9159f51fd0297e236d | 2023-12-19 08:41:54.345255
9 | 45c48cce2e2d7fbdea1afc51c7c6ad26 | 2023-12-19 08:41:54.345255
10 | d3d9446802a44259755d38e6d163e820 | 2023-12-19 08:41:54.345255
11 | 6512bd43d9caa6e02c990b0a82652dca | 2023-12-19 08:41:54.345255
12 | c20ad4d76fe97759aa27a0c99bff6710 | 2023-12-19 08:41:54.345255
13 | c51ce410c124a10e0db5e4b97fc2af39 | 2023-12-19 08:41:54.345255
14 | aab3238922bcc25a6f606eb525ffdc56 | 2023-12-19 08:41:54.345255
15 | 9bf31c7ff062936a96d3c8bd1f8f2ff3 | 2023-12-19 08:41:54.345255
16 | c74d97b01eae257e44aa9d5bade97baf | 2023-12-19 08:41:54.345255
17 | 70efdf2ec9b086079795c442636b55fb | 2023-12-19 08:41:54.345255
18 | 6f4922f45568161a8cdf4ad2299f6d23 | 2023-12-19 08:41:54.345255
19 | 1f0e3dad99908345f7439f8ffabdffc4 | 2023-12-19 08:41:54.345255
20 | 98f13708210194c475687be6106a3b84 | 2023-12-19 08:41:54.345255
(20 rows)
なお今回初めて知ったのですがリストア復旧の場合はモニタリングのセッティングの後にResetting-master-credentials-messageと言う処理が挟まりこの段階でマスターユーザの情報が変更されるようです。
スナップショット指定削除
DBSnapshotIdの指定を削除しDBSnapshotIdentifierの指定が有りから無しになった際の挙動を見ます。
この場合は特に置換が発生しないことが確認できます。
少しわかりづらいですが更新処理を行った19:32~3頃にはRDS側のイベントは特に発生しておらず、また先のスナップショットからの復元を行った際のログも残っております。
終わりに
終わりに今回はCloudFormationによるスナップショットの復元を試しつつ指定が変動した際の挙動を確認してみました。
一発目の立ち上げを行う場合には今回のような置換処理等が発生せずにスムーズに行えるため便利ではありそうですが、変更するような運用を取る際にはパラメータの指定には少し注意が必要そうです。
CloudFormationでスナップショットを利用したRDSインスタンスの立ち上げは可能ですが置換等を行う場合は条件によっては利用できないことがございますので利用シーンや差し替えのフローを整理の上、場合によっては手動での対応も視野に入れていただければと思います。
![[アップデート] Amazon Aurora のモニタリング機能に「CloudWatch Database Insights」が登場しました](https://images.ctfassets.net/ct0aopd36mqt/3nibOl2sZ0LKJueI0FHFi5/14de7bd294f7916a28b789105c60d450/reinvent-2024-newservice-jp.jpg)
