こんにちは、ゲームソリューション部のsoraです。
今回は、TiDB Cloudで変更データをストリーミングするChangefeedを使って、S3に出力してみたことについて書いていきます。

手順は以下を参考に進めていきます。
https://docs.pingcap.com/ja/tidbcloud/changefeed-sink-to-cloud-storage

S3・IAMユーザの作成（AWS）

データの出力先のS3バケットを作成します。
S3バケットについて、この後の工程に作成するTiDB CloudのChangefeedを設定するクラスタと同じリージョンに作成します。
また、Changefeedを使用するためにアクセスキーが必要なため、IAMユーザの作成・アクセスキーの作成をします。

Changefeedの作成（TiDB Cloud）

Dedicatedクラスタの作成

ChangefeedはServerlessクラスタでは使用できない機能であり、Dedicatedクラスタのみ利用可能なため、Dedicatedクラスタを作成します。
リージョンは作成したS3バケットと同じリージョンを指定します。

Changefeedの作成

作成したクラスタのChangefeed＞Create Changefeedから作成します。

まずレプリケーション先を選択します。
今回はS3にしますが、KafkaやMySQL、TiDB Serverlessなどもあります。
TiDB Serverlessを指定する際は、リージョンの制限があるため注意が必要です。
（今回のバージニア北部では使用できないため、グレーアウトされています。）
https://docs.pingcap.com/tidbcloud/changefeed-sink-to-tidb-cloud

次にレプリケーションの設定をします。
今回はテーブルが1つしかないため、テーブルフィルターは設定変更しません。
イベントによってレプリケーション対象外とするフィルタも設定できますが、今回は設定しません。
Start Replication Positionはどの地点からのレプリケーションを取るかの設定で、TSO等も設定できますが現在からとします。
フラッシュパラメータはレプリケーションの間隔と最大のファイルサイズを設定します。
今回はテスト用であり、間隔は初期設定から少し伸ばしています。

次にChangefeedに使用するRCUの指定と名前の設定をします。
RCUは最小の2RCUsとしています。

最後に設定項目を確認して、Submitボタンで作成できます。

作成が完了したため、データを1レコード追加してみます。

INSERT INTO prefecture (prefecture, prefectural_capital, area) VALUES
('Toyama', 'Toyama', 'Chubu');

その後、Changefeed作成時に設定したレプリケーション間隔を待ってみると、ステータスがRunningに変わっていることが確認できました。

詳細を確認すると、変更したデータがレプリケーションされてそうに見えます。

レプリケーション先のS3を確認してみると、更新したデータが出力されていることが確認できました。

"I","prefecture","prefecture_db",16,"Toyama","Toyama","Chubu"

ちなみに、S3の中にはテーブルのスキーマ情報もメタデータとして出力されていました。

{
    "Table": "prefecture",
    "Schema": "prefecture_db",
    "Version": 1,
    "TableVersion": 452762721399603207,
    "Query": "",
    "Type": 0,
    "TableColumns": [
        {
            "ColumnName": "id",
            "ColumnType": "INT",
            "ColumnPrecision": "11",
            "ColumnNullable": "false",
            "ColumnIsPk": "true"
        },
        {
            "ColumnName": "prefecture",
            "ColumnType": "VARCHAR",
            "ColumnPrecision": "255",
            "ColumnNullable": "false"
        },
        {
            "ColumnName": "prefectural_capital",
            "ColumnType": "VARCHAR",
            "ColumnPrecision": "255",
            "ColumnNullable": "false"
        },
        {
            "ColumnName": "area",
            "ColumnType": "VARCHAR",
            "ColumnPrecision": "255",
            "ColumnNullable": "false"
        }
    ],
    "TableColumnsTotal": 4
}

最後に

今回は、TiDB Cloudで変更データをストリーミングするChangefeedを使って、S3に出力してみたことを記事にしました。
どなたかの参考になると幸いです。