-
2018年03月22日
-
[Talend] Google Analyticsへ接続・データ取得する
Talendにはさまざまなコンポーネントがありますが、今回はGoogle Analyticsのコンポーネントを使って動作を検証してみたいと思います。 検証した環境 MacOS High Sierra Talend Ope […]
-
2018年01月25日
-
[Talend] Sandbox環境のSalesforceに接続・データ取得する
今後ニーズが出て来るかなと思ってTalend使って接続できるか検証してみました。 今回利用した環境＆ソフトウェア Talend Open Studio for Data Integration 6.4.1 MAC版 ma […]
-
2017年10月19日
-
RedshiftとPostgresqlに同時アクセスした際に発生したエラーの解決方法
はじめに DI部のおおたきです。Talendを使ってRedshiftとRDS（Postgresql）の両方に接続するジョブを作成したのですが、Postgresqlへの登録時にエラーが発生したので対応方法を備忘録として記載 […]
-
2017年07月07日
-
[Talend] Talend Data Preparationを使ってみた
はじめに 最近よくデータプレパレーションという言葉を耳にするようになったので流れにのって実際にツールを使って体験してみました。 報告レポートを生成するための前準備として多くの時間を費やしている方も多いのではないでしょうか […]
-
2017年03月31日
-
[Talend]実行するSQLを外出しにする[Java]
Talendのジョブで実行するSQLに修正があった場合、Talend起動して、ジョブを開いて対象のクエリを修正する、というのは意外と面倒な作業です(当然ながらジョブの修正に付随してビルド・デプロイ作業も発生するかと思いま […]
-
2017年03月21日
-
TalendからPostgreSQLにCSVデータをインポートする
はじめに DI部のおおたきです。Talendを使ってPostgreSQLにCSVファイルのインポートをやってみました。 Redshiftはよく使うのですがPostgreSQLはあまり触ったことがなく、どうやってCSVをイ […]
-
2017年02月28日
-
[Talend]EC2上で動かすTalendのジョブのContextをタグから変更出来るようにしてみた
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 TalendではContextにDBの接続情報といった実行環境毎に異なる値を格納すると言った事が可能です。 [Talend] 実行時にコンテクストパラメータ […]
-
2016年12月27日
-
[Talend] tDenormalizeコンポーネントを使ってみた
はじめに Talendのコンポーネントはたくさんありますが、使ったことないコンポーネントの方が断然多いのです。そこで適当に使ったことないコンポーネントを動かしてみてどんな動きをするのか？を検証してみる 第2段です。 検証 […]
-
2016年12月16日
-
[Talend] tNormalizeコンポーネントを使ってみた
はじめに Talendのコンポーネントはたくさんありますが、使ったことないコンポーネントの方が断然多いのです。そこで適当に使ったことないコンポーネントを動かしてみてどんな動きをするのか？を検証してみる 第1段です。 検証 […]
-
2016年12月06日
-
[Talend]複数のテーブルからカラムデータを取得し別テーブルへ登録する(ELTコンポーネント)
データをロードする際にETL処理してからRedshiftへロードするというパターンとオリジナルデータをそのままRedshiftやRDBへロードしてから必要なデータをかき集めてテーブルにデータを入れるというELT処理の２パ […]
-
2016年10月11日
-
TalendでtJavaを使用してJavaでマスキング処理。
はじめに Talendには様々なコンポーネントが用意されていますが、細かいところはコードを書いて対応したいという事があります。その時には「tJava」を使用すれば解決します。 TalendはEclipseを元に開発されて […]
-
2016年09月21日
-
Talend×LambdaでサーバーレスのETL処理をする
はじめに 自分が所属しているデータインテグレーション部では、TalendというETLツールをよく使っています。 Talendの使い方としては、S3からデータを取得してデータ加工処理を行い、再度S3へアップロードしてRed […]
-
2016年08月30日
-
[Talend]Javaのバージョンを切り替える方法
はじめに Talendジョブの実行環境のJavaのバージョンを確かめないと予期せぬ動作をすることがあります。 テスト中はTalendから直接ジョブを実行することが多いと思いますが、TalendのJavaのバージョンの切り […]
-
2016年08月26日
-
[Talend] エラーとなる可能性のある処理をリトライする
特定の処理でエラー（例外）が発生した際にリトライしたいケースありますよね？数秒ほど何らかの理由でデータベースへアクセスができない状態となった時など、数秒間置いてリトライする処理が組まれていれば全体の処理を止めずに完了する […]
-
2016年08月19日
-
[Talend] tRedshiftRow の使い方
tRedshiftRow とは Talend には「t～Row」というコンポーネントがデータベース毎に用意されています。この「t～Row」系のコンポーネントはデータベースに対して SQL を発行する機能を有しています。S […]
-
2016年08月10日
-
[Talend] ASCII テーブルも Talend で作成する
前回「[Talend] サンプルデータを持ったテーブルを簡単に作成する」という記事を書きましたが、よくよく考えてみると ascii テーブルも Talend で作れば良かったなと思ったので作ってみました。 ASCII テ […]
-
2016年08月05日
-
[Talend] サンプルデータを持ったテーブルを簡単に作成する
前回の記事「[Redshift] ASCII は廃止されたリーダーノード専用関数です」にて、ベンチマークテストの際に使用するサンプルコードを持ったテーブルを Talend Open Studio を使って作成しました。今 […]
-
2016年07月22日
-
TalendでAmazonS3に接続するコンポーネントまとめ
はじめに タイトルの通り、TalendでAmazonS3に関連するコンポーネントをご紹介します。 AmazonS3にCSV/TSV形式でデータのバックアップを取る、 RedshiftにCopyするためのファイルを置くなど […]
-
2016年07月13日
-
[Talend] Talend Open Studioチュートリアル③ 〜結合してDBに書き出し〜
はじめに 以前弊社能登が書いたブログを参考にしながらやってみましたので併せてどうぞ。 以前投稿したブログでtMapを使うところまでやりましたので、そこからの続きになります。 今回の作業はCSVのデータとMysqlのデータ […]
-
2016年07月10日
-
[Talend] Talend Open Studio チュートリアル② 〜tMapの使い方〜
はじめに 以前投稿したブログでジョブの作成まではできていますので、そこからの続きになります。 今回はローカルマシンのCSVファイルを読み込んで、値を少し変化させてログに出力をするところまでをやってみます。 マッピング 前 […]
-
2016年07月08日
-
Talendでディレクトリの中にある一番最新ファイルを取得する方法
はじめに 忘れない内にまたTalendネタを書きます。 ディレクトリの内に複数のファイルがあり、その中から最新のファイルのみを処理したい場合があります。 今回は、そういった場合にTalendでどう作るかをご紹介します。 […]
-
2016年07月07日
-
[Talend]tMysqlBulkExecを使う時はスキーマの設定を忘れずに
はじめに TalendのtMysqlBulkExecはファイルを読み込んでDB(Mysql)に登録してくれる 便利なコンポーネントです。 tMysqlBulkExecを使っていて少しハマった点があったので、 同じ過ちを繰 […]
-
Talend Open Studio for Data Integration 6.2.0を触ってみた。
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 DI部で大変お世話になっているTalendの6.2.0が出たようなので、触ってみました。 Home - Talend Open Studio for Dat […]
-
[Talend] DBからデータを抽出してS3へPutする
データ分析基盤構築においてありがちな連携パターンのサンプルジョブですが、作ってみました。 使用した環境 Talend Open Studio 6.1 for MACOS 読み出し元D/B：仮想OS上のWindows7 o […]
-
使ってみる tRedshiftOutputBulk コンポーネント
Redshift Bulk 系コンポーネント 名称 機能 tRedshiftBulkExec COPY コマンドを発行する。 tRedshiftOutputBulk Flow データからファイルを生成し、S3 へアップロ […]
-
2016年07月05日
-
[Talend] Talend Open Studio チュートリアル① 〜ジョブの作成〜
はじめに 業務でTalendを使うことになったのでメモ 環境構築から公式のチュートリアルのジョブの作成までやってみます。 TalendOpenStudioとは TalendOpenStudioとは誤解を怖れずに言えば、高 […]
-
2016年07月04日
-
【小ネタ】TalendでMySQLから取得したデータをストリームで処理する
DBから取得したデータをストリームで処理する Talendを使ってDBからデータを取得する際に、データの件数が多い場合、 実行環境のマシンスペックがしょぼかったりすると処理に時間がかかったり、 最悪メモリリークが発生する […]
-
2016年06月30日
-
TalendにJavaのコードを書く
はじめに Talendはソースコードを書かなくても(書けなくても)プログラムが作れてしまうのがメリットではありますが、Javaのソースコードを書くことも勿論できます。 『こういう処理を作りたいけど、どのコンポーネント使っ […]
-
2016年06月28日
-
Talendでデータの正規化を行う
こんにちは。Yuraです。 Talendを使ってデータの正規化を行ってみました。 正規化用データ作成 はじめに正規化したいデータを用意します。 CSV形式で以下のような注文データを作成しました。 このデータを正規化すると […]
-
2016年05月19日
-
Talendでデータの移行をやってみる
はじめに こんにちは、Yuraです。 業務でTalendで作られたプログラムを触ることはあるものの、私の場合修正作業がほとんどです。 今後の為に、勉強も兼ねて自分でも何か作ってみようと思いました。 今回は、Talendを […]