[Talend] CDC(Change Data Capture)を使ったデータ連携(2/3)

OracleにCDCを定義する

前回の記事ではテーブルスキーマを定義するまでを定義したので、今回はoracleのテーブルに対して実際にCDCの定義以降を行います。

・STEP1：Create CDCを選択します。

・STEP2：下記画面が表示されたら Create Subscriber をクリックします。

・STEP3：Subscriperを定義します。

・STEP4：TSUBSCRIBERSが追加されていることを確認します。

・STEP5：add CDC で定義します。

・STEP6：下記画面が表示されるので Execute でSQLを実行します。

・STEP7：下記のように追加されていることを確認します。

以上でCDCの定義までは完了したので、次は実際に動作の確認を行ってみます。

データ変更用のTalend JOBを作成

customersテーブルに変更を加えるジョブを作成します。Create JobでModifyTablesOracleとしてここでは作成します。

1. Delete用のSubJobを作成
2. Update用のSubjobを作成
3. Insert用のSubJobを作成

各サブジョブ作成後はOnSubjobOKのトリガで順にプロセスが流れるようにTalend上で定義します。

まずはDataOracleメタデータをドラッグ＆ドロップでジョブデザイナーエリアに配置します。（tOracleInputを指定します。）同様にDataOracleメタデータをドラッグ＆ドロップで配置します。（tOracleOutputを指定します。）

配置したtOracleInput_1のプロパティ
※クエリには where ID='1' を追加していることに注意

配置したtOracleOutput_1のプロパティ
※Action on dataのプロパティを delete に変更していることに注意

次に関係線をメインで繋いでdeleteに変更します。

同じようにDataOracleメタデータをドラッグ＆ドロップで配置してUpdate用のSubjobも作ります。

配置したtOracleInput_2のプロパティ
※クエリには where ID='2' を追加していることに注意

配置したtOracleOutput_2のプロパティ
※Action on dataのプロパティを update に変更していることに注意

配置したtMapのマップエディタ

各コンポーネントをメインの関係線で結びます。

最後にcustomersテーブルにレコードを追加するSubjobを作成します。
tRowGeneratorとDataOracleメタデータをドラッグ＆ドロップで配置してtOracleOutputコンポーネントを配置します。

tRowGenerator Editorで値を設定します。

配置したtOracleOutput_3のプロパティ
※Action on dataのプロパティを insert に変更していることに注意

tRowGeneratorとtOracleOutputにメインで関係線を結び、各SubjobがOKなら次のSubjobへ処理が移るようにトリガを設定します。

ジョブの完成系は以下の感じになります。

次はcustomersテーブルが変更された場合にMySQLのテーブルへ変更を反映するジョブを作成します。