-
2020年08月04日
-
データ統合基盤 CSアナリティクスのメール通知機能
弊社では、短期間かつお手軽にAWS上にデータ分析基盤を導入可能なCSA(Customer Story Analytics)というデータ統合基盤パッケージを提供しています。 今回は、CSAのジョブ管理ツールであるJMC（J […]
-
ウェビナー「Fivetran はじめの一歩」で登壇しました
こんにちは、shoです。 8月に入り、暑い季節になりましたね。 2020年8月4日(火)に開催したウェビナー「Fivetran はじめの一歩」に登壇しました。 本エントリでは、ウェビナーの内容とウェビナー中にあったQ&A […]
-
2020年07月30日
-
Snowflakeのワークシートでのトランザクションと変数の挙動まとめ（小ネタ）
Snowflakeウェブインターフェースのワークシート（Worksheet）上で、トランザクションやセッション変数がどのように動作するかを検証する。
-
LookML定義を活用したデータカタログ機能『Lookerデータディクショナリ』でデータガバナンスを強化！ #looker
先日購入した書籍『AWSで始めるデータレイク』を用いて、現在社内(部内)で読書会を行っています。読書会自体は非常に盛り上がっており、ディスカッションするトピックが多くて想定した以上に全然ページが進まない、という嬉しい(？ […]
-
新しくデザインされたIDE『オブジェクトブラウザ』でLookMLの編集や操作がとても便利になりました #looker
先日リリースされたLookerバージョン7.12では、「オブジェクトブラウザパネル」のリリースがなされました。LookMLの編集や操作を行う上での助けとなるUIやメニューが盛り込まれている機能となるようです。 Navig […]
-
LookerコンテンツのSlack連携がより手軽に＆便利になっています #looker
Lookerでクエリした結果を可視化したLook(単一ビュー)またはダッシュボード(Lookを複数まとめたもの)をSlackを介して配信する手法については過去、下記エントリでそれぞれ紹介していました。 ですが最近では、「 […]
-
Lookerの可視化(Vizualization)で何が出来るか確認してみる – 放射状ゲージ(Radial Gauge)編 #looker
Lookerでは、対象となるデータ理解するための様々な可視化(Visualization)機能が利用可能です。 Visualization Types 当エントリは、Lookerの可視化機能で利用可能なグラフの1つである […]
-
Lookerの可視化(Vizualization)で何が出来るか確認してみる – バーゲージ(Bar Gauge)編 #looker
Lookerでは、対象となるデータ理解するための様々な可視化(Visualization)機能が利用可能です。 Visualization Types 当エントリは、Lookerの可視化機能で利用可能なグラフの1つである […]
-
2020年07月28日
-
SnowflakeのCOPYコマンド実行時にPURGEオプションを利用してみた
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 SnowflakeのCOPYコマンド実行時のオプションとして、PURGEというオプションがあります。このオプションを指定するとCOPY成 […]
-
XplentyでRedshiftとBigQueryを往来してみる
はじめに データアナリティクス事業本部のkobayashiです。 XplentyはETL、ELTツールとして様々なデータソースを扱え、また処理もXplentyのGUIで直感的に作成できます。 今回はXplentyを使って […]
-
XplentyのAPIを使って複数のジョブ実行を試してみた
はじめに データアナリティクス事業本部のkobayashiです。 XplentyはETL、ELTツールとして様々なデータソースを扱え、また処理もXplentyのGUIで直感的に作成できます。 XplentyにもAPIが用 […]
-
Amazon Athena Partition Projectionを用いたHiveパーティションのパーティションプルーニングの自動化
Hiveパーティション（カラム名ありパーティション）は、データレイクで一般的なファイルレイアウトです。本日は、year、month、dayのパーティションキーのテーブルに対してPartition Projectionを用 […]
-
2020年07月21日
-
165件のシェア(すこし話題の記事)
【書評】データレイク構築・運用のノウハウを網羅的に学び始められる！ 『AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門』
データレイクに興味がある人、データレイクを構築・運用することになった人はまず読んでおくと良いと思います。
-
2020年07月20日
-
[小ネタ]Snowflakeの名前付きステージのファイルフォーマットをCOPY時に上書き指定できるか試してみた
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 Snowflakeの「内部ステージ」における「名前付きステージ」では、ステージの作成時にファイルフォーマットを指定するのでCOPYコマン […]
-
2020年07月16日
-
Snowflakeの名前付きステージ経由でファイルをロードしてみた
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 Snowflakeには「ステージ」というSnowflakeのテーブルにファイルからデータをロードする際に、そのファイルを置く場所がありま […]
-
2020年07月15日
-
クラウドストレージ(Amazon S3)へのファイルアップロードをサポートする「CSA: Data Uploader」で出来ること
カスタマーストーリーアナリティクス(CSA)のプロダクト「CSA: Data Uploader」を使うと何が出来るのか、何が嬉しいのかについて紹介＆解説します。
-
2020年07月14日
-
Snowflakeのテーブルステージ経由でファイルをロードしてみた
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 Snowflakeには「ステージ」というSnowflakeのテーブルにファイルからデータをロードする際に、そのファイルを置く場所がありま […]
-
データ統合基盤CSアナリティクスを使ってS3上のデータをRedshiftに定期連携してみる
弊社では、短期間かつお手軽にAWS上にデータ分析基盤を導入可能なCSA(Customer Story Analytics)というデータ統合基盤パッケージを提供しています。 JMCでは、ジョブの構成要素として「データ連携」 […]
-
XplentyでAPIを叩いてデータを取得してみる（政府統計の総合窓口（e-Stat））
はじめに データアナリティクス事業本部のkobayashiです。 XplentyはETL、ELTツールとして様々なデータソースを扱え、また処理もXplentyのGUIで直感的に作成できます。 今回もXplentyを使って […]
-
2020年07月09日
-
Snowflakeのユーザーステージ経由でファイルをロードしてみた
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 Snowflakeには「ステージ」というSnowflakeのテーブルにファイルからデータをロードする際に、そのファイルを置く場所がありま […]
-
2020年07月07日
-
Amazon Redshift Spectrum INSERT INTOでパーティションテーブル作成を試してみました
データアナリティクス事業本部の石川です。数週間前にAmazon Redshift Spectrum のCTASとINSERT INTOをサポートのブログを書きました。今回はその機能を用いて、データがパーティション分割され […]
-
Snowflakeのイケてる機能「ストリーム」を使用してテーブルの変更履歴を追跡する
-
EC2インスタンスを利用してRedashをセットアップしてみた
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 「Redash」というBIツールがあります。SaaS形式で利用する有償版と自分でホスティングするオープンソース版があるとのことなので、今 […]
-
2020年07月06日
-
[Looker]接続先DBのスキーマをLiquidパラメーターで動的に変更する
-
XplentyでFirestoreのAPIを叩いてデータを取得する
はじめに データアナリティクス事業本部のkobayashiです。 XplentyはETL、ELTツールとして様々なデータソースを扱え、また処理もXplentyのGUIで直感的に作成できます。 今回もXplentyを使って […]
-
2020年07月03日
-
SnowflakeのCLIクライアント「SnowSQL」をLinuxにインストールしてみた
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 SnowflakeにはSnowSQLというCLIクライアントがあります。このCLIクライアントでは、SnowflakeへのSQLクエリの […]
-
2020年07月02日
-
【超入門編:データ分析って何？】ほぼ社会人1年目が料理に例えて説明する
データ分析っていくらウェブで調べても何してるかわからない！って人は見てみてください
-
XplentyでSlack Web APIを叩いてチャンネル一覧を取得する
はじめに データアナリティクス事業本部のkobayashiです。 XplentyはETL、ELTツールとして様々なデータソースを扱え、また処理もXplentyのGUIで直感的に作成できます。 今回はXplentyを使って […]
-
2020年06月30日
-
[Snowflake][Looker]東京都のCOVID19情報をcsvから自分で可視化してみた。
東京都発表のCOVID19陽性患者のデータを、スタンダードなやり方で愚直に可視化してみました。
-
2020年06月29日
-
[Looker]別ProjectのGitリポジトリからLookMLをインポートする