[Talend] Talend Open Studioチュートリアル③ 〜結合してDBに書き出し〜

はじめに

以前弊社能登が書いたブログを参考にしながらやってみましたので併せてどうぞ。
以前投稿したブログでtMapを使うところまでやりましたので、そこからの続きになります。

今回の作業はCSVのデータとMysqlのデータをtMapを使いマッピングして、Mysqlに新しいテーブルを作り書き出す処理になります。 公式のチュートリアルはこちらです。

環境

Mac 10.10.5
Talend 6.2.0
Mysql 5.7.9
Java 1.7.80

準備

公式のチュートリアルではmysqlにdemo5mnというデータベースがあり、サンプルデータを書き込んだテーブルがある前提で解説していますので、その部分について説明します。

ローカルマシンのmysqlにdemo5mnというデータベースを用意します。あとでmysqlのユーザー名・パスワード・DB名を入力する箇所があります。
mysqlの操作については今回は割愛します。

公式のチュートリアルにあるサンプルデータを使います。

次の手順で使うのでexampleFile.zipをダウンロードします。

①　左ペインのジョブを右クリックして「アイテムのインポート」を選択します。
②　アーカイブファイルの選択をクリックして参照でファイルを選びます。ここで選ぶファイルは上でダウンロードしたexampleFile.zipにあるdemo5mn_prerequisite.zipになります。
③　ジョブが表示されますので全て選択します。

次にDB接続を作ります

左ペインのDB接続を右クリックしてDB接続の作成を選択します。名前は適当につけてNextを押します。

DBタイプにmysqlを選択してユーザ名・パスワード・サーバを入力します。Databaseに入力するのは事前に用意したDatabase名になります。
全て入力したらチェックを押します。

成功しましたと出ればOKです。

では次に、最初にインポートしたジョブと、今作ったDB接続を使ってテーブルmysqlにテーブルを作成します。

インポートしたCustomersというジョブを選択し、コンポーネントビュー上で区切り記号付きファイルを選択し、下ペインのコンポーネントタブを選択します。 ファイル名/ストリームでダウンロードしたsampleFile.zipにあるcustomers_demo5mn.csvを選びます。

コンポーネントビュー上でDB接続を選択し、下ペインのコンポーネントタブを選択します。 プロパティタイプをリポジトリにして、「...」を押して、上で作ったDB接続を選択します。

実行するとcustomerテーブルが作られます。 statesについても同様の操作でテーブルを作ります。

これで準備は完了です。

マッピング

まずスキーマ情報を取得してコンポーネントビュー上で扱えるようにします。 上で作成したDB接続を右クリックして。スキーマ情報の取得を選択します。

今回はデフォルトで構わないのでNextを押します。

扱いたいテーブルを選択してNextを押します。

ここで取得するスキーマを確認することができます。

これでローカルマシンのmysqlを使うことができるようになりましたので、statesをコンポーネントビューにドラッグします。 ドロップすると「作成するコンポーネントを一つ選択してください」と表示されますのでtMysqlInputを選択します。

ドラッグしたstatesのコンポーネントタブのクエリフィールドの横にある「...」を押してクエリビルダーを表示します。

デザイナタブを押すとチェックボックス付きの表が出ますので、ID、Capital、MostPopulousCityのチェックを外してクエリを実行します。 実行は上の走っている人のアイコンです。これを見つけるのに非常に苦労しました。

クエリを実行して左下に結果が表示されればOKです。

statesを右クリックして、「ロウ」→「メイン」と選択してtMapにつなぎます。

DB接続のcustomersをドラッグして任意の位置に配置します。 作成するコンポーネントを一つ選択してくださいと表示されるのでtMysqlOutputを選択します。
※チュートリアル②の続きなのでtLogRowがありますが、削除して構いません。

コンポーネントタブのテーブル操作フィールドをテーブルが存在する場合、削除してから作成を選択します。

tMapを→クリックして「ロウ」→「メイン」と選択してcustomersにつなぎます。

①　row1のstatesをrow3へドラッグします。
②　row3のStateをrow2へドラッグします。
③　row2で受け取るstatesの値を14に変更します。
変更していないと、書き込む値に対して書き込める値が小さいため以下のように怒られます。
Data truncation: Data too long for column 'states' at row 1

row3についてはPostalとStateのカラムのみ追加してください。上でstatesのtMysqlInputを作った箇所でPostalとStateのみ選択している箇所と整合性が取れずエクセプションを吐きます。

※ここでいうrow1、row2、row３は前画面の矢印の名前なので適宜読み替えてください。

これでCSVからmysqlにテーブルを作って値を代入ができました。statesカラムの値もちゃんとstatesテーブルの値が書き込まれていることが確認できます。 デバッグ実行は実行タブのデバッグ実行でできます。

最後に

少し長くなりましたが、入力元が違うデータをマッピングして新しくテーブルを作ることができましたので、ここまで理解できれば応用していろいろなことができそうです。
次はジョブのエクスポートをやってみます。