-
2018年02月08日
-
BigData-JAWS 勉強会#11「Snowflake、Cloudera&EMR比較、re:Invent 2017まとめ」参加レポート #bdjaws
はじめに こんにちは、yokatsukiです。ビッグデータをテーマに扱うJAWS-UGの支部、"BigData-JAWS"の第11回目の勉強会が2018年2月6日、目黒にあるアマゾンウェブサービスジャパンのセミナールーム […]
-
2018年01月11日
-
Metabase BIツールをAWS Elastic Beanstalkで構築してみた
はじめに DI部のおおたきです。Metabaseをご存知でしょうか。このツールはOSSのBIツールで比較的簡単にデータの可視化ができるようです。 Metabaseを動作させる方法として幾つかあるのですが公式サイトに記載さ […]
-
2017年12月13日
-
re:Invent2017 データ分析関連エントリーまとめ #reinvent
2017/12/13 13:20更新 本記事ではAWS re:Invent 2017で発表された、ビッグデータ関連の新機能、セッションの受講レポートのブログをまとめています。 データ分析系新機能・新サービス Amazon […]
-
2017年12月02日
-
【まとめてみた】EarthOnAWS How NASA is Using AWS #STG205 #reinvent
こんにちは。池田です。re:Invent参加メンバーによるアウトプットのスピードに圧倒されつつもこっそり投稿します。 はじめに 本投稿はAWS re:Inventにて発表された「STG205_#EarthOnAWS Ho […]
-
2017年11月24日
-
[レポート] EC・モバイル・アナリティクス最前線〜国内外最新事例から学ぶこれからのマーケティング戦略〜（前半）
事業開発部の酒匂です。 今月に開催されました弊社の下記のセミナー内容についてレポートいたします。 【11/7 東京】「EC・モバイル・アナリティクス最前線〜国内外最新事例から学ぶこれからのマーケティング戦略〜」を開催しま […]
-
2017年08月29日
-
[ 参加レポート]TECH PLAY Conference 2017 – 大規模Webサービス #techplayconf2017
はじめに こんにちは、yokatsukiです。 TECH PLAY主催の事例カンファレンス「TECH PLAY Conference 2017」が、2017年8月20日(日)〜25日(金)の日程で開催されました。 【8/ […]
-
2017年08月08日
-
【レポート】AWSクラウドで実現するBigData活用
DI部の川崎です。 AWSJ主催のセミナー「AWSクラウドで実現するBigData活用」を受講する機会がありましたので、その模様をお伝えします。 セミナーの概要 Big Data という言葉を聞くようになって久しいですが […]
-
2017年06月20日
-
【レポート】AWS Summit Tokyo 2017：Building a Serverless Data Lake on AWS Bootcamp #AWSSummit
DI部の川崎です。 ビッグデータ分析基盤の構築を担当する我々の部署にも、サーバーレスの大波がやって来ました。 という訳で、AWS Summit Tokyo 2017の「Building a Serverless Data […]
-
2017年04月17日
-
Tableau Serverの自動インストール（サイレントインストール）手順
Tableau ServerはGUI形式のインストーラーが提供されており、インストールウィザードに従うだけで比較的簡単にインストールが可能です。が、インストールの手間はできるだけ省きたいもの。インストーラーを実行してあと […]
-
2016年12月25日
-
『ビッグデータオールスターズ 日本を代表するビッグデータエンジニア・マーケターが大集結！- 』に参加してきた
しんやです。今年の個人的鑑賞映画第1位は通算12回鑑賞した『シン・ゴジラ』で決まりかなーと思っていたのですが、先日観た『ドント・ブリーズ』というホラー(？)映画が年の瀬のここに来て衝撃的過ぎて第1位をどちらにしようか迷っ […]
-
2016年12月06日
-
[Talend]複数のテーブルからカラムデータを取得し別テーブルへ登録する(ELTコンポーネント)
データをロードする際にETL処理してからRedshiftへロードするというパターンとオリジナルデータをそのままRedshiftやRDBへロードしてから必要なデータをかき集めてテーブルにデータを入れるというELT処理の２パ […]
-
2016年10月29日
-
AWS上でのデータレイク構築の概要を紹介している『Building a Data Lake on AWS』を読んでみた
先日、『データレイク』で情報を調べてみたら『Building a Data Lake on AWS』というeBookの資料(PDF)がある事を知りました。比較的ボリューム短めで読み易かったので、当エントリではその読んでみ […]
-
2016年10月26日
-
Amazon Redshift: 新しいデータ型『タイムゾーン付きタイムスタンプ(TIMESTAMPTZ)』をつかってみた。
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 以前しんやの記事でRedsshiftにタイムゾーン付きタイムスタンプ型が使用可能になったと言ったエントリがあがりました。こちら弊社の開発環境にも適用されたの […]
-
2016年10月03日
-
Embulk＋DigdagでExcelのデータをPostgreSQLにロードする
データインテグレーション部 大矢です。 DBのテストデータをExcelで書くことはよくあると思います。 今回はExcelで書いたデータをEmbulkでDBにロードする、ということをやってみようと思います。 使用した環境は […]
-
2016年09月27日
-
(レポート) ユーザー企業に学ぶビッグデータ分析基盤活用実践セミナー〜Amazon Redshift で短期間導入・低コスト運用〜
はじめに 本記事は2016年9月27日(火)に開催した「ユーザー企業に学ぶビッグデータ分析基盤活用実践セミナー〜Amazon Redshift で短期間導入・低コスト運用〜」のレポートです。 会場はアマゾンウェブサービス […]
-
BigData-JAWS 勉強会#2 参加レポート（Embulk/DigdagとRedshift）#bdjaws
はじめに データインテグレーション部 大矢です。 2016年9月26日開催のBigData-JAWS 勉強会#2に参加してきました。 この記事はその前半、弊社川崎の発表した「EmbulkとDigdagで作るRedshif […]
-
BigData-JAWS 勉強会#1 参加レポート #bdjaws
はじめに こんにちは、yokatsukiです。 日本におけるAWSのユーザグループ、JAWSですが、今までビッグデータを専門にしている支部は無かったようです。という訳で、ビッグデータをテーマに扱う支部がBigData-J […]
-
2016年07月21日
-
データウェアハウス(DWH)の4つの要件について
こんにちは、DI部の川崎です。 DI部内で、データウェアハウス（DWH）の勉強会を行いました。その中から、データウェアハウス（DWH）の4つの要件についてご紹介します。 テキストはいつものこちらの本です。 「10年戦える […]
-
2016年07月07日
-
[Talend]tMysqlBulkExecを使う時はスキーマの設定を忘れずに
はじめに TalendのtMysqlBulkExecはファイルを読み込んでDB(Mysql)に登録してくれる 便利なコンポーネントです。 tMysqlBulkExecを使っていて少しハマった点があったので、 同じ過ちを繰 […]
-
カスタマーストーリーのお披露目イベントに参加しました！
当選しました！ 、、、と言っても、２年前の話になります。当時前職でBIツールの代理店に勤務しており、BIツールのTableauをAWS Redshiftと組み合わせて、サービスとして提供するという「カスタマーストーリー」 […]
-
Talend Open Studio for Data Integration 6.2.0を触ってみた。
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 DI部で大変お世話になっているTalendの6.2.0が出たようなので、触ってみました。 Home - Talend Open Studio for Dat […]
-
[Talend] DBからデータを抽出してS3へPutする
データ分析基盤構築においてありがちな連携パターンのサンプルジョブですが、作ってみました。 使用した環境 Talend Open Studio 6.1 for MACOS 読み出し元D/B：仮想OS上のWindows7 o […]
-
2016年06月22日
-
Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag
はじめに こんにちは、yokatsukiです。 先日6月18日、第五回ゲームサーバ勉強会に参加してきました。 そこで、トレジャーデータのサポートエンジニアマネージャー高橋様から、直前の6月15日にオープンソース化されたば […]
-
2016年06月10日
-
88件のシェア(ちょっぴり話題の記事)
Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 タイトルの「DigDag」（ディグダグ）と聞いて○ァミコンや○ムコを思い浮かべた方はきっとアラサー以上ですね！ 今回はEmbulkを使い始めると直面するで […]
-
2016年05月30日
-
[Embulk] guess機能を試してみた (テーブルが存在する場合)
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 今回も、読み込んだデータファイルのレイアウトを推測する「guess」という機能を使います。 これまでは、データのロード時に、新規のテーブルを自動作成してい […]
-
[Embulk] タイムスタンプのカラムを追加する add_timeプラグイン編
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 前回「タイムスタンプのカラムを追加する」という記事を書いたのですが、早速、Embulk作者の古橋さんからembulk-filter-add_timeが利用 […]
-
【再検証】CROSS2016:Google BigQuery × Amazon Redshift
こんにちは、Redshiftを本格的に使い始めて2か月の川崎です。 先日、下記のタイトルで記事を書いたのですが、その時に引用させていただいたのが、今回取り上げるCROSS2016の「Google BigQuery × A […]
-
2016年05月29日
-
[Embulk] タイムスタンプのカラムを追加する
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 今回は、Embulkでプラグインとして提供されているフィルター機能を組み合わせて、元のデータファイルに無い、タイムスタンプのカラム（テーブルにロードされた […]
-
2016年05月27日
-
Redshiftのルーツを紐解く
IT系勉強会ウォッチャーの川崎です。とある勉強会 で、Redshiftのバージョン表記が「8」台である、という話題が出まして、そこからRedshiftのルーツとなる製品の話をさせていただきました。 この記事では、ネット上 […]
-
2016年05月19日
-
[Tableau]追記型データにおける任意の日付におけるデータ(時点情報)の出力方法
はじめに こんにちは、yokatsukiです。 今回はDWH内のデータをTableauで表示するテクニックのお話です。 一般的にDWHに格納するデータは、変更が発生する度に追記する形で保存し、必要に応じてデータマートとし […]