カテゴリー
このカテゴリーに属する記事数：102
はじめに こんにちは、yokatsukiです。 TECH PLAY主催の事例カンファレンス「TECH PLAY Conference 2017」が、2017年8月20日(日)〜25日(金)の日程で開催されました。 【8/ […]
DI部の川崎です。 AWSJ主催のセミナー「AWSクラウドで実現するBigData活用」を受講する機会がありましたので、その模様をお伝えします。 セミナーの概要 Big Data という言葉を聞くようになって久しいですが […]
DI部の川崎です。 ビッグデータ分析基盤の構築を担当する我々の部署にも、サーバーレスの大波がやって来ました。 という訳で、AWS Summit Tokyo 2017の「Building a Serverless Data […]
Tableau ServerはGUI形式のインストーラーが提供されており、インストールウィザードに従うだけで比較的簡単にインストールが可能です。が、インストールの手間はできるだけ省きたいもの。インストーラーを実行してあと […]
しんやです。今年の個人的鑑賞映画第1位は通算12回鑑賞した『シン・ゴジラ』で決まりかなーと思っていたのですが、先日観た『ドント・ブリーズ』というホラー(？)映画が年の瀬のここに来て衝撃的過ぎて第1位をどちらにしようか迷っ […]
データをロードする際にETL処理してからRedshiftへロードするというパターンとオリジナルデータをそのままRedshiftやRDBへロードしてから必要なデータをかき集めてテーブルにデータを入れるというELT処理の２パ […]
先日、『データレイク』で情報を調べてみたら『Building a Data Lake on AWS』というeBookの資料(PDF)がある事を知りました。比較的ボリューム短めで読み易かったので、当エントリではその読んでみ […]
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 以前しんやの記事でRedsshiftにタイムゾーン付きタイムスタンプ型が使用可能になったと言ったエントリがあがりました。こちら弊社の開発環境にも適用されたの […]
データインテグレーション部 大矢です。 DBのテストデータをExcelで書くことはよくあると思います。 今回はExcelで書いたデータをEmbulkでDBにロードする、ということをやってみようと思います。 使用した環境は […]
はじめに 本記事は2016年9月27日(火)に開催した「ユーザー企業に学ぶビッグデータ分析基盤活用実践セミナー〜Amazon Redshift で短期間導入・低コスト運用〜」のレポートです。 会場はアマゾンウェブサービス […]
はじめに データインテグレーション部 大矢です。 2016年9月26日開催のBigData-JAWS 勉強会#2に参加してきました。 この記事はその前半、弊社川崎の発表した「EmbulkとDigdagで作るRedshif […]
はじめに こんにちは、yokatsukiです。 日本におけるAWSのユーザグループ、JAWSですが、今までビッグデータを専門にしている支部は無かったようです。という訳で、ビッグデータをテーマに扱う支部がBigData-J […]
こんにちは、DI部の川崎です。 DI部内で、データウェアハウス（DWH）の勉強会を行いました。その中から、データウェアハウス（DWH）の4つの要件についてご紹介します。 テキストはいつものこちらの本です。 「10年戦える […]
はじめに TalendのtMysqlBulkExecはファイルを読み込んでDB(Mysql)に登録してくれる 便利なコンポーネントです。 tMysqlBulkExecを使っていて少しハマった点があったので、 同じ過ちを繰 […]
当選しました！ 、、、と言っても、２年前の話になります。当時前職でBIツールの代理店に勤務しており、BIツールのTableauをAWS Redshiftと組み合わせて、サービスとして提供するという「カスタマーストーリー」 […]
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 DI部で大変お世話になっているTalendの6.2.0が出たようなので、触ってみました。 Home – Talend Open Studio for Dat […]
データ分析基盤構築においてありがちな連携パターンのサンプルジョブですが、作ってみました。 使用した環境 Talend Open Studio 6.1 for MACOS 読み出し元D/B：仮想OS上のWindows7 o […]
はじめに こんにちは、yokatsukiです。 先日6月18日、第五回ゲームサーバ勉強会に参加してきました。 そこで、トレジャーデータのサポートエンジニアマネージャー高橋様から、直前の6月15日にオープンソース化されたば […]
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 タイトルの「DigDag」（ディグダグ）と聞いて○ァミコンや○ムコを思い浮かべた方はきっとアラサー以上ですね！ 今回はEmbulkを使い始めると直面するで […]
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 今回も、読み込んだデータファイルのレイアウトを推測する「guess」という機能を使います。 これまでは、データのロード時に、新規のテーブルを自動作成してい […]
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 前回「タイムスタンプのカラムを追加する」という記事を書いたのですが、早速、Embulk作者の古橋さんからembulk-filter-add_timeが利用 […]
こんにちは、Redshiftを本格的に使い始めて2か月の川崎です。 先日、下記のタイトルで記事を書いたのですが、その時に引用させていただいたのが、今回取り上げるCROSS2016の「Google BigQuery × A […]
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 今回は、Embulkでプラグインとして提供されているフィルター機能を組み合わせて、元のデータファイルに無い、タイムスタンプのカラム（テーブルにロードされた […]
IT系勉強会ウォッチャーの川崎です。とある勉強会 で、Redshiftのバージョン表記が「8」台である、という話題が出まして、そこからRedshiftのルーツとなる製品の話をさせていただきました。 この記事では、ネット上 […]
はじめに こんにちは、yokatsukiです。 今回はDWH内のデータをTableauで表示するテクニックのお話です。 一般的にDWHに格納するデータは、変更が発生する度に追記する形で保存し、必要に応じてデータマートとし […]
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 前回の記事はこちらをご覧ください。 [Embulk] guess機能を試してみた [Embulk] guess機能を試してみた【追記】あり Embulkの […]
IT系勉強会ウォッチャーの川崎です。2016年4月25日(月)に開催された Treasure Data Tech Talk に参加してきたので、発表スライドを中心にイベントの様子をご紹介いたします。 イベントの内容 Tr […]
【追記】 コメントをいただきました。 Postgresqlのデータを登録する際は、default_timezoneを設定するのが良いとのことです。 そのままでは、投入されたデータの日付が9時間ずれてしまうそうです。 詳し […]
４月入社の川崎です。Redshiftに取り組むにあたり、改めてデータウェアハウス（DWH）の基本について確認しておこうと思います。 DBA（データベース管理者）歴20年の私の経験から言えるのは「同じデータベースでも、デー […]
こんにちは、最近Embulkを調べている川崎です。 こちらのツイートによると、4/23(土)発売のWEB+DB PRESS Vol.92で、Embulkの特集記事が掲載されるようです。 という訳で、それに備えて？Embu […]