-
2018年10月20日
-
[Talend]ユーザーコンポーネントを利用してみた
今回は「Talend Exchange」を利用したユーザーコンポーネントの追加についてご紹介したいと思います。
-
2018年10月18日
-
[Talend]tContextLoadを利用してファイルからコンテキスト値をロードする
今回はTalendのコンポーネント「tContextLoad」を紹介したいと思います。
-
2018年10月17日
-
[Talend]tHashInput, tHashOutputを利用してデータをキャッシュ利用する
今回はTalendのコンポーネント「tHashInput」、「tHashOutput」を紹介したいと思います。
-
2018年10月16日
-
[Talend]tFileInputPropertiesを利用して設定値を読み込む
今回はTalendのコンポーネント「tFileInputProperties」を紹介したいと思います。
-
2018年10月15日
-
[Talend]tSleepを利用して処理を一時停止する
今回はTalendのコンポーネント「tSleep」を紹介したいと思います。
-
2018年10月12日
-
[Talend]tLoopを利用して繰り返し処理を実行する
今回はTalendのコンポーネント「tLoop」を紹介したいと思います。
-
2018年10月11日
-
[Talend]tFileArchiveを利用してファイルを圧縮する
今回はTalendのコンポーネント「tFileArchive」を紹介したいと思います。
-
2018年10月10日
-
[Talend]tFileListを利用してファイルをリストアップする
今回はTalendのコンポーネント「tFileList」を紹介したいと思います。
-
2018年10月09日
-
[Talend]tLogRowを利用してログ出力をする
今回はTalendのコンポーネント「tLogRow」を紹介したいと思います。
-
2018年10月04日
-
[Talend]tFixedFlowInputを利用して固定値を利用する
今回はTalendのコンポーネント「tFixedFlowInput」を紹介したいと思います。
-
2018年10月03日
-
[Talend]tConvertTypeを利用して型変換をする
今回はTalendのコンポーネント「tConvertType」を紹介したいと思います。
-
2018年10月02日
-
[Talend]ルーチンを利用してJavaのコードを書く
今回はTalendの機能の１つ「ルーチン」を紹介したいと思います。
-
2018年10月01日
-
tJavaコンポーネントを利用してJavaのコードを直接書く
今回はTalendのコンポーネント「tJava」を紹介したいと思います。
-
2018年09月28日
-
tSetGlobalVarを利用してジョブ内で値を持ち回す
今回はTalendのコンポーネント「tSetGlobalVar」を紹介したいと思います。
-
2018年09月18日
-
tNormalizeコンポーネントを利用してレコードを縦持ち変換してみた
今回はTalendのコンポーネント「tNormalize」の活用方法について書きたいと思います。
-
2018年09月03日
-
Talend Studioの設定を変更して快適に使おう
Talend Studioは、インストール後の設定のままでも利用できますが、設定を変更することでより快適に利用できます。そこで、今回はわたしがインストール後に設定しているオススメ設定をご紹介します。
-
2018年03月22日
-
[Talend] Google Analyticsへ接続・データ取得する
Talendにはさまざまなコンポーネントがありますが、今回はGoogle Analyticsのコンポーネントを使って動作を検証してみたいと思います。 検証した環境 MacOS High Sierra Talend Ope […]
-
2018年01月25日
-
[Talend] Sandbox環境のSalesforceに接続・データ取得する
今後ニーズが出て来るかなと思ってTalend使って接続できるか検証してみました。 今回利用した環境＆ソフトウェア Talend Open Studio for Data Integration 6.4.1 MAC版 ma […]
-
2017年10月19日
-
RedshiftとPostgresqlに同時アクセスした際に発生したエラーの解決方法
はじめに DI部のおおたきです。Talendを使ってRedshiftとRDS（Postgresql）の両方に接続するジョブを作成したのですが、Postgresqlへの登録時にエラーが発生したので対応方法を備忘録として記載 […]
-
2017年07月07日
-
[Talend] Talend Data Preparationを使ってみた
はじめに 最近よくデータプレパレーションという言葉を耳にするようになったので流れにのって実際にツールを使って体験してみました。 報告レポートを生成するための前準備として多くの時間を費やしている方も多いのではないでしょうか […]
-
2017年03月31日
-
[Talend]実行するSQLを外出しにする[Java]
Talendのジョブで実行するSQLに修正があった場合、Talend起動して、ジョブを開いて対象のクエリを修正する、というのは意外と面倒な作業です(当然ながらジョブの修正に付随してビルド・デプロイ作業も発生するかと思いま […]
-
2017年03月21日
-
TalendからPostgreSQLにCSVデータをインポートする
はじめに DI部のおおたきです。Talendを使ってPostgreSQLにCSVファイルのインポートをやってみました。 Redshiftはよく使うのですがPostgreSQLはあまり触ったことがなく、どうやってCSVをイ […]
-
2017年02月28日
-
[Talend]EC2上で動かすTalendのジョブのContextをタグから変更出来るようにしてみた
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 TalendではContextにDBの接続情報といった実行環境毎に異なる値を格納すると言った事が可能です。 [Talend] 実行時にコンテクストパラメータ […]
-
2016年12月27日
-
[Talend] tDenormalizeコンポーネントを使ってみた
はじめに Talendのコンポーネントはたくさんありますが、使ったことないコンポーネントの方が断然多いのです。そこで適当に使ったことないコンポーネントを動かしてみてどんな動きをするのか？を検証してみる 第2段です。 検証 […]
-
2016年12月16日
-
[Talend] tNormalizeコンポーネントを使ってみた
はじめに Talendのコンポーネントはたくさんありますが、使ったことないコンポーネントの方が断然多いのです。そこで適当に使ったことないコンポーネントを動かしてみてどんな動きをするのか？を検証してみる 第1段です。 検証 […]
-
2016年12月06日
-
[Talend]複数のテーブルからカラムデータを取得し別テーブルへ登録する(ELTコンポーネント)
データをロードする際にETL処理してからRedshiftへロードするというパターンとオリジナルデータをそのままRedshiftやRDBへロードしてから必要なデータをかき集めてテーブルにデータを入れるというELT処理の２パ […]
-
2016年10月11日
-
TalendでtJavaを使用してJavaでマスキング処理。
はじめに Talendには様々なコンポーネントが用意されていますが、細かいところはコードを書いて対応したいという事があります。その時には「tJava」を使用すれば解決します。 TalendはEclipseを元に開発されて […]
-
2016年09月21日
-
Talend×LambdaでサーバーレスのETL処理をする
はじめに 自分が所属しているデータインテグレーション部では、TalendというETLツールをよく使っています。 Talendの使い方としては、S3からデータを取得してデータ加工処理を行い、再度S3へアップロードしてRed […]
-
2016年08月30日
-
[Talend]Javaのバージョンを切り替える方法
はじめに Talendジョブの実行環境のJavaのバージョンを確かめないと予期せぬ動作をすることがあります。 テスト中はTalendから直接ジョブを実行することが多いと思いますが、TalendのJavaのバージョンの切り […]
-
2016年08月26日
-
[Talend] エラーとなる可能性のある処理をリトライする
特定の処理でエラー（例外）が発生した際にリトライしたいケースありますよね？数秒ほど何らかの理由でデータベースへアクセスができない状態となった時など、数秒間置いてリトライする処理が組まれていれば全体の処理を止めずに完了する […]