カテゴリー
このカテゴリーに属する記事数：47
はじめに 最近よくデータプレパレーションという言葉を耳にするようになったので流れにのって実際にツールを使って体験してみました。 報告レポートを生成するための前準備として多くの時間を費やしている方も多いのではないでしょうか […]
Talendのジョブで実行するSQLに修正があった場合、Talend起動して、ジョブを開いて対象のクエリを修正する、というのは意外と面倒な作業です(当然ながらジョブの修正に付随してビルド・デプロイ作業も発生するかと思いま […]
はじめに DI部のおおたきです。Talendを使ってPostgreSQLにCSVファイルのインポートをやってみました。 Redshiftはよく使うのですがPostgreSQLはあまり触ったことがなく、どうやってCSVをイ […]
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 TalendではContextにDBの接続情報といった実行環境毎に異なる値を格納すると言った事が可能です。 [Talend] 実行時にコンテクストパラメータ […]
はじめに Talendのコンポーネントはたくさんありますが、使ったことないコンポーネントの方が断然多いのです。そこで適当に使ったことないコンポーネントを動かしてみてどんな動きをするのか？を検証してみる 第2段です。 検証 […]
はじめに Talendのコンポーネントはたくさんありますが、使ったことないコンポーネントの方が断然多いのです。そこで適当に使ったことないコンポーネントを動かしてみてどんな動きをするのか？を検証してみる 第1段です。 検証 […]
データをロードする際にETL処理してからRedshiftへロードするというパターンとオリジナルデータをそのままRedshiftやRDBへロードしてから必要なデータをかき集めてテーブルにデータを入れるというELT処理の２パ […]
はじめに Talendには様々なコンポーネントが用意されていますが、細かいところはコードを書いて対応したいという事があります。その時には「tJava」を使用すれば解決します。 TalendはEclipseを元に開発されて […]
はじめに 自分が所属しているデータインテグレーション部では、TalendというETLツールをよく使っています。 Talendの使い方としては、S3からデータを取得してデータ加工処理を行い、再度S3へアップロードしてRed […]
はじめに Talendジョブの実行環境のJavaのバージョンを確かめないと予期せぬ動作をすることがあります。 テスト中はTalendから直接ジョブを実行することが多いと思いますが、TalendのJavaのバージョンの切り […]
特定の処理でエラー（例外）が発生した際にリトライしたいケースありますよね？数秒ほど何らかの理由でデータベースへアクセスができない状態となった時など、数秒間置いてリトライする処理が組まれていれば全体の処理を止めずに完了する […]
tRedshiftRow とは Talend には「t～Row」というコンポーネントがデータベース毎に用意されています。この「t～Row」系のコンポーネントはデータベースに対して SQL を発行する機能を有しています。S […]
前回「[Talend] サンプルデータを持ったテーブルを簡単に作成する」という記事を書きましたが、よくよく考えてみると ascii テーブルも Talend で作れば良かったなと思ったので作ってみました。 ASCII テ […]
前回の記事「[Redshift] ASCII は廃止されたリーダーノード専用関数です」にて、ベンチマークテストの際に使用するサンプルコードを持ったテーブルを Talend Open Studio を使って作成しました。今 […]
はじめに タイトルの通り、TalendでAmazonS3に関連するコンポーネントをご紹介します。 AmazonS3にCSV/TSV形式でデータのバックアップを取る、 RedshiftにCopyするためのファイルを置くなど […]
はじめに 以前弊社能登が書いたブログを参考にしながらやってみましたので併せてどうぞ。 以前投稿したブログでtMapを使うところまでやりましたので、そこからの続きになります。 今回の作業はCSVのデータとMysqlのデータ […]
はじめに 以前投稿したブログでジョブの作成まではできていますので、そこからの続きになります。 今回はローカルマシンのCSVファイルを読み込んで、値を少し変化させてログに出力をするところまでをやってみます。 マッピング 前 […]
はじめに 忘れない内にまたTalendネタを書きます。 ディレクトリの内に複数のファイルがあり、その中から最新のファイルのみを処理したい場合があります。 今回は、そういった場合にTalendでどう作るかをご紹介します。 […]
はじめに TalendのtMysqlBulkExecはファイルを読み込んでDB(Mysql)に登録してくれる 便利なコンポーネントです。 tMysqlBulkExecを使っていて少しハマった点があったので、 同じ過ちを繰 […]
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 DI部で大変お世話になっているTalendの6.2.0が出たようなので、触ってみました。 Home – Talend Open Studio for Dat […]
データ分析基盤構築においてありがちな連携パターンのサンプルジョブですが、作ってみました。 使用した環境 Talend Open Studio 6.1 for MACOS 読み出し元D/B：仮想OS上のWindows7 o […]
Redshift Bulk 系コンポーネント 名称 機能 tRedshiftBulkExec COPY コマンドを発行する。 tRedshiftOutputBulk Flow データからファイルを生成し、S3 へアップロ […]
はじめに 業務でTalendを使うことになったのでメモ 環境構築から公式のチュートリアルのジョブの作成までやってみます。 TalendOpenStudioとは TalendOpenStudioとは誤解を怖れずに言えば、高 […]
DBから取得したデータをストリームで処理する Talendを使ってDBからデータを取得する際に、データの件数が多い場合、 実行環境のマシンスペックがしょぼかったりすると処理に時間がかかったり、 最悪メモリリークが発生する […]
はじめに Talendはソースコードを書かなくても(書けなくても)プログラムが作れてしまうのがメリットではありますが、Javaのソースコードを書くことも勿論できます。 『こういう処理を作りたいけど、どのコンポーネント使っ […]
こんにちは。Yuraです。 Talendを使ってデータの正規化を行ってみました。 正規化用データ作成 はじめに正規化したいデータを用意します。 CSV形式で以下のような注文データを作成しました。 このデータを正規化すると […]
はじめに こんにちは、Yuraです。 業務でTalendで作られたプログラムを触ることはあるものの、私の場合修正作業がほとんどです。 今後の為に、勉強も兼ねて自分でも何か作ってみようと思いました。 今回は、Talendを […]
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 前回TalendでSalesforceに接続を行いました。 今回はSalesforceで最初から作成されているオブジェクトからデータを抽出し、 MySQLの […]
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 Talendには様々なデータソースに接続するコンポーネントがあるのですが、 その中でSalesforceに接続するコンポーネントについて調べてみました。 t […]