-
2019年10月30日
-
Looker Blocks™のViz Blocksを試してみる #looker
こんにちは、今回はLookerで用意されている便利なLooker Blocks™にあるViz Blocksを試してみたいと思います。 Lookerで使えるように準備する。 まずはLookerのAdmin画面にてLabsを […]
-
2019年10月28日
-
CData API Server を使ってみた
さて今回は CData API Server 2019J を実際にセットアップしてREST APIを公開して動作させてみようと思います。 社内には10年以上前に作成されたようなWebアプリやVBアプリ等がまだまだ稼働して […]
-
2018年03月22日
-
[Talend] Google Analyticsへ接続・データ取得する
Talendにはさまざまなコンポーネントがありますが、今回はGoogle Analyticsのコンポーネントを使って動作を検証してみたいと思います。 検証した環境 MacOS High Sierra Talend Ope […]
-
2018年01月25日
-
[Talend] Sandbox環境のSalesforceに接続・データ取得する
今後ニーズが出て来るかなと思ってTalend使って接続できるか検証してみました。 今回利用した環境&ソフトウェア Talend Open Studio for Data Integration 6.4.1 MAC版 ma […]
-
2017年12月22日
-
社内にあるVMware ESXiにAmazon Linux 2をインストールする
社内の方からVMware ESXiでAmazon Linux 2を動かしたいと要望があったので、早速動かしてみました。 Amazon Linux 2の特徴については【速報】AWS向けの新ディストリビューション Amazo […]
-
2017年07月07日
-
[Talend] Talend Data Preparationを使ってみた
はじめに 最近よくデータプレパレーションという言葉を耳にするようになったので流れにのって実際にツールを使って体験してみました。 報告レポートを生成するための前準備として多くの時間を費やしている方も多いのではないでしょうか […]
-
2016年12月27日
-
[Talend] tDenormalizeコンポーネントを使ってみた
はじめに Talendのコンポーネントはたくさんありますが、使ったことないコンポーネントの方が断然多いのです。そこで適当に使ったことないコンポーネントを動かしてみてどんな動きをするのか?を検証してみる 第2段です。 検証 […]
-
2016年12月16日
-
[Talend] tNormalizeコンポーネントを使ってみた
はじめに Talendのコンポーネントはたくさんありますが、使ったことないコンポーネントの方が断然多いのです。そこで適当に使ったことないコンポーネントを動かしてみてどんな動きをするのか?を検証してみる 第1段です。 検証 […]
-
2016年12月06日
-
[Talend]複数のテーブルからカラムデータを取得し別テーブルへ登録する(ELTコンポーネント)
データをロードする際にETL処理してからRedshiftへロードするというパターンとオリジナルデータをそのままRedshiftやRDBへロードしてから必要なデータをかき集めてテーブルにデータを入れるというELT処理の2パ […]
-
2016年07月07日
-
[Talend] DBからデータを抽出してS3へPutする
データ分析基盤構築においてありがちな連携パターンのサンプルジョブですが、作ってみました。 使用した環境 Talend Open Studio 6.1 for MACOS 読み出し元D/B:仮想OS上のWindows7 o […]
-
2015年12月15日
-
[Talend]tMysqlOutputとtMysqlBulkExecで処理時間がどれくらい違うのか?を検証
はじめに 最近Talendにこなれてきたせいなのか、なんだかTalendが好きになってきたんじゃないかと思える今日この頃ですw と前置きはこれくらいにしておいて、tMysqlOutputとtMysqlBulkExecの処 […]
-
2015年12月09日
-
[Talend]ファイル内のEOFを取り除く
不要な制御文字コードを取り除く データ分析系の案件をやっているといろんな種類のCSVもしくはTSVファイルと連携することがあります。 よくあるケースとして 文字コードがSHIFT−JISで連携されてくるケース 文字コード […]
-
2015年12月08日
-
[Talend] CDC(Change Data Capture)を使ったデータ連携(3/3)
[Talend] CDC(Change Data Capture)を使ったデータ連携(1/3) [Talend] CDC(Change Data Capture)を使ったデータ連携(2/3) [Talend] CDC(C […]
-
[Talend] CDC(Change Data Capture)を使ったデータ連携(2/3)
[Talend] CDC(Change Data Capture)を使ったデータ連携(1/3) [Talend] CDC(Change Data Capture)を使ったデータ連携(2/3) [Talend] CDC(C […]
-
[Talend] CDC(Change Data Capture)を使ったデータ連携(1/3)
[Talend] CDC(Change Data Capture)を使ったデータ連携(1/3) [Talend] CDC(Change Data Capture)を使ったデータ連携(2/3) [Talend] CDC(C […]
-
2015年07月24日
-
データインテグレーション部 体制拡大のため絶賛仲間を募集中です!
データインテグレーション部について クラスメソッドは今年の7月から第12期目に入りました。 弊部は前期まではHTML5を中心としたWeb受託案件に取り組んでおりましたが、 第11期(下期)辺りからWeb受託と分析基盤が半 […]
-
2015年07月22日
-
[Talend]コンポーネントの定義をプロパティファイルで切り出しておく
やっておきたいこと Talendでジョブ定義するにあたり、いろんなコンポーネントを配置することになります。 ローカルPCで開発している時には特に問題ないですが、作成後にジョブを実行形式で書き出して運用環境へ 配置したい場 […]
-
2015年07月09日
-
[Talend]ETL処理後のCSVをAmazon S3へアップする
前回までのジョブ定義にS3へのアップ処理を追加する 前回までのジョブ定義についてはこちらから参照して下さい。 S3へアップする方法として Talendで用意されているAmazonS3用のコンポーネントを利用する。 jav […]
-
2015年07月08日
-
[Talend]CSVを読み込んでカラムを追加してCSVを出力するジョブ定義
最初に Talendにはたくさんのコンポーネントがあって、どれを使っていいのか最初は全然分からず戸惑う方が多いのではないでしょうか。 そこで、よく使いそうなコンポーネント(処理)を不定期ではありますがコツコツと紹介してい […]
-
2015年07月07日
-
Talend Open Studio for Data Integration 6.0 RC1をインストールする
ダウンロード&インストール 表題の通りですが、Talend Open Studio for Data Integration 6.0.0 RC1が出ているのでインストールしてみました。 ダウンロードサイトからWindow […]
-
2014年07月04日
-
[tips] CalipsoにTinyMCEを組込んだあと新規投稿ができない状態を回避する方法
今日は小ネタです 表題の通りTinyMCEを組み込んだ後に新規投稿を行うと下記のエラー An invalid form control with name='content[content]' is not focusa […]
-
2014年06月30日
-
Node.jsベースのCMS calipsoを動かしてみる
表題の通りですが、インストールして動かすにあたって若干ハマったところがありますので、備忘録として残しておきたいと思います。(WYSIWYGエディタの組み込み方法とRole設定追加後の編集で落ちるの回避方法) 動作環境 記 […]
-
2014年05月21日
-
ColdFusion Builder 3 with AngularJSを使ってMobileネイティブアプリを体験してみる
はじめに Adobe ColdFusion 11が2014年4月30日に正式リリースされ、同時にAdobe ColdFusion Bulider 3もパワーアップしてリリースされたようです。目玉はモバイルアプリ開発がサポ […]
-
2014年05月04日
-
ColdFusion + Apache POIを使って既存EXCELシートを更新する
やりたいことは何か? Webフォームで入力されたを値を既存のEXCELひな形の指定したセルに対して値をセットして、それをcfdocumentタグを使ってPDF化したいというごく普通のことです ColdFusion標準機能 […]
-
2014年04月25日
-
CFCのクエリ結果をAngularJSが読めるフォーマットに変換する
フロントエンドにAngularJS使う機会が増えてきたので、勉強ついでに昔作ったWebアプリのフロントをAngularJSに置き換えてみようと思いAngularJSを触ってみました。 まずは以下のクエリをサンプルに使って […]
-
2013年11月27日
-
[HTML5] Canvas + EaselJSを使ってSDNもどきのUIを作ってみる #1
クラウド環境の利用がスタンダードになりつつある昨今、Web I/Fを通して対話的にクラウド環境構築できることは当然ですが、もっとビジュアルにクラウド環境が構築できればいいなと思い、SDN(Software Defined […]
-
[HTML5] Canvas + EaselJSを使ってSDNもどきのUIを作ってみる #2
前回は2つのオブジェクト間に連結線を描画するところまで試しましたが、今回はオブジェクトにマウスオーバーした際の処理とメニューボタンを作ってみたいと思います。 利用した環境 EaselJS0.7.0 IIS7.5(Web […]
-
[HTML5] Canvas + EaselJSを使ってSDNもどきのUIを作ってみる #3
前々回と前回でおおよその動きまでは実現しましたが、各オブジェクトに対しての詳細設定をしないとデプロイまではいけないので、今回は各オブジェクトの設定画面を表示して、localStorageに保存するところまでをやってみます […]
-
2013年09月03日
-
Amazon SESをColdFusion10とAWS SDK for javaの組み合わせで操作する
今回は利用する事も多くなりそうなサービスである Amazon SES を体験してみたいと思います。 初めて Amason SES を利用する場合はsandbox状態になっています。その状態でも無料で利用できるのですが、 […]
-
2013年08月22日
-
Amazon SNSをColdFusion10とAWS SDK for javaの組み合わせで操作する #2 | publish
前回はsubscribeまでを体験しましたので、今回はpublishを実際にやってみます。 動作させた環境 Windows7 64Bit ColdFusion10 デベロッパー版 AWS SDK for java 1.5 […]