Aurora MySQLのスナップショットを使用してTiDB Serverlessにデータを移行してみた

えがわ

2024.03.07

ゲームソリューション部のえがわです。

Aurora MySQLのスナップショットを使用してTiDB Serverlessにデータを移行してみました。

AWS DMSを使用する場合はこちら

環境

TiDB Serverless (v7.1.1)
EC2(Amazon Linux 2023) 踏み台として使用します。
Aurora MySQL(8.0.mysql_aurora.3.04.1)

注意点

以下の説明は本筋ではないため割愛しています。

IAMロールやKMS
スキーマやスナップショット保存用のバケットの作成

事前準備

Aurora MySQL(移行元)のデータ

移行元のAuroraには以下のデータを追加しておきます。

CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(100) NOT NULL,
    email VARCHAR(100) NOT NULL UNIQUE,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

CREATE TABLE orders (
    id INT AUTO_INCREMENT PRIMARY KEY,
    user_id INT,
    product_name VARCHAR(255) NOT NULL,
    quantity INT NOT NULL,
    order_date DATE NOT NULL,
    FOREIGN KEY (user_id) REFERENCES users(id)
);

INSERT INTO users (name, email) VALUES
('Alice', 'alice@example.com'),
('Bob', 'bob@example.com'),
('Charlie', 'charlie@example.com'),
('David', 'david@example.com'),
('Eve', 'eve@example.com'),
('Frank', 'frank@example.com'),
('Grace', 'grace@example.com'),
('Hannah', 'hannah@example.com'),
('Ivy', 'ivy@example.com'),
('Jack', 'jack@example.com');

INSERT INTO orders (user_id, product_name, quantity, order_date) VALUES
(1, 'Laptop', 1, '2023-01-15'),
(2, 'Mouse', 2, '2023-01-16'),
(1, 'Keyboard', 1, '2023-01-17'),
(3, 'Monitor', 1, '2023-01-18'),
(4, 'USB Cable', 3, '2023-01-19'),
(3, 'Webcam', 1, '2023-01-20'),
(5, 'Headphones', 1, '2023-01-21'),
(6, 'Desk Lamp', 1, '2023-01-22'),
(7, 'Notebook', 5, '2023-01-23'),
(8, 'Pen', 10, '2023-01-24');

文字セットの照合順序の統一（必要な方のみ）

TiDB Serverless(v7.1.1)のデフォルトの照合順序はutf8mb4_general_ciとなっています。
※v7.4でutf8mb4_0900_ai_ciに変更されています。

今回はAurora側の照合順序を変更します。

文字セットの照合順序をutf8mb4_general_ciに変更します。

MySQL [tidb_migrate]> ALTER DATABASE tidb_migrate CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
Query OK, 1 row affected (0.005 sec)

各テーブルの照合順序をutf8mb4_general_ciに変更します。
吐き出されたSQLを実行することで変更が可能です。

MySQL [tidb_migrate]> SELECT CONCAT('ALTER TABLE `', table_name, '` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;') AS _sql FROM information_schema.TABLES WHERE table_schema = 'tidb_migrate';
+-----------------------------------------------------------------------------------+
| _sql                                                                              |
+-----------------------------------------------------------------------------------+
| ALTER TABLE `orders` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; |
| ALTER TABLE `users` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;  |
+-----------------------------------------------------------------------------------+
2 rows in set (0.001 sec)

tiupの設定

踏み台サーバーでtiupの設定をします。

tiupをインストール

curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
source ~/.bash_profile

DumplingとLightningをインストール

dumplingとtidb-lightningをインストールします。

tiup install dumpling tidb-lightning

$ tiup tidb-lightning -V
Starting component tidb-lightning: /home/ssm-user/.tiup/components/tidb-lightning/v7.6.0/tidb-lightning -V
Release Version: v7.6.0
Git Commit Hash: 52794d985ba6325d75a714d4eaa0838d59425eb6
Git Branch: heads/refs/tags/v7.6.0
Go Version: go1.21.5
UTC Build Time: 2024-01-22 14:15:25
Race Enabled: false

$ tiup dumpling -V
Starting component dumpling: /home/ssm-user/.tiup/components/dumpling/v7.6.0/dumpling -V
Release version: v7.6.0
Git commit hash: 52794d985ba6325d75a714d4eaa0838d59425eb6
Git branch:      heads/refs/tags/v7.6.0
Build timestamp: 2024-01-22 02:14:07Z
Go version:      go version go1.21.5 linux/amd64

DDLのエクスポート

Auroraのスナップショットには DDLが含まれていないため、Dumplingを使用してAuroraからスキーマをエクスポートする必要があります。
tiupコマンドでDumplingを実行します。

$ tiup dumpling --host ${host} --port 3306 --user admin --password ${password} --database tidb_migrate --consistency none --no-data --output 's3://${my-bucket}/schema-backup'
Starting component dumpling: /home/ssm-user/.tiup/components/dumpling/v7.6.0/dumpling --host {host} --port 3306 --user admin --password ${password} --database tidb_migrate --consistency none --no-data --output s3://my-bucket/schema-backup
Release version: v7.6.0
Git commit hash: 52794d985ba6325d75a714d4eaa0838d59425eb6
Git branch:      heads/refs/tags/v7.6.0
Build timestamp: 2024-01-22 02:14:07Z
Go version:      go version go1.21.5 linux/amd64

中略...

[2024/03/06 02:22:26.218 +00:00] [INFO] [main.go:82] ["dump data successfully, dumpling will exit now"]

DDLが指定したS3バケットにエクスポートされました。

吐き出したDDLをTiDBにインポート

インポートを行うにはLightningを使用します。
Lightningを実行するために設定ファイルを作成します。
今回は以下の設定で行います。

tidb-lightning-schema.toml

[tidb]
host = ${host}
port = ${port}
user = ${user}
password = ${password}
tls = "cluster"

[tikv-importer]
backend = "tidb"

[mydumper]
data-source-dir = "s3://${my-bucket}/schema-backup"

[security]
ca-path = "/etc/pki/tls/certs/ca-bundle.crt"

TiDBの接続情報はTiDBのコンソール画面から確認できます。

設定ファイルを指定しLightningを実行します。

$ tiup tidb-lightning -config tidb-lightning-schema.toml
Starting component tidb-lightning: /home/ssm-user/.tiup/components/tidb-lightning/v7.6.0/tidb-lightning -config tidb-lightning-schema.toml

+---+----------------------------------------------+-------------+--------+
| # | CHECK ITEM                                   | TYPE        | PASSED |
+---+----------------------------------------------+-------------+--------+
| 1 | Source data files size is proper             | performance | true   |
+---+----------------------------------------------+-------------+--------+
| 2 | the checkpoints are valid                    | critical    | true   |
+---+----------------------------------------------+-------------+--------+
| 3 | Cluster version check passed                 | critical    | true   |
+---+----------------------------------------------+-------------+--------+
| 4 | Lightning has the correct storage permission | critical    | true   |
+---+----------------------------------------------+-------------+--------+

tidb lightning exit successfully

スキーマのインポートが完了しました。

スナップショットからTiDBに復元

スキーマのインポートと同様にLightningを使用します。
先ほどとは別で設定ファイルを作成します。
data-source-dirにスナップショットの保存先を指定します。

tidb-lightning-data.toml

[tidb]
host = ${host}
port = ${port}
user = ${user}
password = ${password}
tls = "cluster"

[tikv-importer]
backend = "tidb"

[mydumper]
data-source-dir = "s3://${my-bucket}/sql-backup/tidb-migrate-ss/"

[[mydumper.files]]
pattern = '(?i)^(?:[^/]*/)*([a-z0-9_]+)\.([a-z0-9_]+)/(?:[^/]*/)*(?:[a-z0-9\-_.]+\.(parquet))$'
schema = '$1'
table = '$2'
type = '$3'

[security]
ca-path = "/etc/pki/tls/certs/ca-bundle.crt"

$ tiup tidb-lightning -config tidb-lightning-data.toml
+---+----------------------------------------------+-------------+--------+
| # | CHECK ITEM                                   | TYPE        | PASSED |
+---+----------------------------------------------+-------------+--------+
| 1 | Source data files size is proper             | performance | true   |
+---+----------------------------------------------+-------------+--------+
| 2 | the checkpoints are valid                    | critical    | true   |
+---+----------------------------------------------+-------------+--------+
| 3 | Cluster version check passed                 | critical    | true   |
+---+----------------------------------------------+-------------+--------+
| 4 | Lightning has the correct storage permission | critical    | true   |
+---+----------------------------------------------+-------------+--------+

tidb lightning exit successfully

移行が完了したので、データを確認してみます。

Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 744567
Server version: 5.7.28-TiDB-Serverless TiDB Server (Apache License 2.0) Community Edition, MySQL 5.7 compatible

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [tidb_migrate]> select * from users;
+----+---------+---------------------+---------------------+
| id | name    | email               | created_at          |
+----+---------+---------------------+---------------------+
|  1 | Alice   | alice@example.com   | 2024-03-06 01:34:15 |
|  2 | Bob     | bob@example.com     | 2024-03-06 01:34:15 |
|  3 | Charlie | charlie@example.com | 2024-03-06 01:34:15 |
|  4 | David   | david@example.com   | 2024-03-06 01:34:15 |
|  5 | Eve     | eve@example.com     | 2024-03-06 01:34:15 |
|  6 | Frank   | frank@example.com   | 2024-03-06 01:34:15 |
|  7 | Grace   | grace@example.com   | 2024-03-06 01:34:15 |
|  8 | Hannah  | hannah@example.com  | 2024-03-06 01:34:15 |
|  9 | Ivy     | ivy@example.com     | 2024-03-06 01:34:15 |
| 10 | Jack    | jack@example.com    | 2024-03-06 01:34:15 |
+----+---------+---------------------+---------------------+
10 rows in set (0.008 sec)

MySQL [tidb_migrate]> select  * from orders;
+----+---------+--------------+----------+------------+
| id | user_id | product_name | quantity | order_date |
+----+---------+--------------+----------+------------+
|  1 |       1 | Laptop       |        1 | 2023-01-15 |
|  2 |       2 | Mouse        |        2 | 2023-01-16 |
|  3 |       1 | Keyboard     |        1 | 2023-01-17 |
|  4 |       3 | Monitor      |        1 | 2023-01-18 |
|  5 |       4 | USB Cable    |        3 | 2023-01-19 |
|  6 |       3 | Webcam       |        1 | 2023-01-20 |
|  7 |       5 | Headphones   |        1 | 2023-01-21 |
|  8 |       6 | Desk Lamp    |        1 | 2023-01-22 |
|  9 |       7 | Notebook     |        5 | 2023-01-23 |
| 10 |       8 | Pen          |       10 | 2023-01-24 |
+----+---------+--------------+----------+------------+
10 rows in set (0.004 sec)

無事に移行が完了しています！

最後に

DumplingとLightningを使用してAurora MySQLからTiDB Serverlessにデータを移行してみました。
2テーブル、数十行のレコードとはいえ、簡単かつ迅速に移行を行うことができました。
~~S3バケット名のタイポで3時間詰まっていたことは秘密~~

Aurora MySQLのスナップショットを使用してTiDB Serverlessにデータを移行してみた

環境

注意点

事前準備

Aurora MySQL(移行元)のデータ

文字セットの照合順序の統一（必要な方のみ）

tiupの設定

tiupをインストール

DumplingとLightningをインストール

DDLのエクスポート

吐き出したDDLをTiDBにインポート

スナップショットからTiDBに復元

最後に

イベント

EVENT【5/29（水）大阪】Alteryxの使い方から導入メリットまですべてがわかるセミナー＆ワークショップ

EVENT【5/15（水）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会〜フィンテック / リテール業界案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

Aurora MySQLのスナップショットを使用してTiDB Serverlessにデータを移行してみた

環境

注意点

事前準備

Aurora MySQL(移行元)のデータ

文字セットの照合順序の統一（必要な方のみ）

tiupの設定

tiupをインストール

DumplingとLightningをインストール

DDLのエクスポート

吐き出したDDLをTiDBにインポート

スナップショットからTiDBに復元

最後に

イベント

EVENT【5/29（水）大阪】Alteryxの使い方から導入メリットまですべてがわかるセミナー＆ワークショップ

EVENT【5/15（水）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜フィンテック / リテール 業界案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

関連記事

AWS Marketplaceを使用してSaaS製品(TiDB Cloud)を使ってみた

TiDBのChat2Query APIを使用してデータベースをAIに集計してもらおう

AWS DMSを使用してAurora MySQLからTiDB Serverlessにデータを移行してみた

Dumplingを使ってTiDBのデータをエクスポートしてみた

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会〜フィンテック / リテール業界案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！