dbt CloudのIPアドレスをSnowflakeのNetwork policy/ruleとして追加してみた

Snowflake ver8.46のリリースよりNotebooksのContainer Runtime向けにSPCSのCompute poolが2つデフォルトで定義されるようになりました

[2024年12月18日号]個人的に気になったModern Data Stack情報まとめ

[レポート]BUILD TOKYO ONLINE：Snowflake DevOpsで開発生産性を加速させよ

[レポート]BUILD TOKYO ONLINE：Snowflakeの進化するデータパイプライン構築 -Apache Icebergのパイプライン組み込みやデータエンジニアリング機能のアップデート-

[レポート]BUILD TOKYO ONLINE：Snowflakeの生成AIで実現する社内データ活用促進への道筋

[レポート]BUILD TOKYO ONLINE：Snowflake BUILD Opening KEYNOTE

Censusとdbtのリポジトリを連携してCensusの処理に影響のあるdbtのModelを検出するCI処理を設定してみた

CensusでGoogle SheetsをDestinationとして設定してSyncしてみた

Snowflake CLIをインストールしてキーペア認証でSnowflakeへ接続してみた

[レポート]いま、データに必要な解像度 #01pN

[レポート]一人データエンジニアの過去・現在・未来 ～データ基盤構築を通じて乗り越えたい壁とは～ #01pN

[登壇レポート]Data Engineering Study # 27で2024年のModern Data Stackのアップデート情報を振り返ってきました #DataEngineeringStudy #01pN

[新機能]Snowsight上でテーブル・カラムのDescriptionを自動生成できるようになりました

[新機能]Iceberg tablesに対してADD_FILES_COPYオプションでロードすることで元のparquetをそのままS3内でコピーして高速にロードできるようになりました

[2024年12月4日号]個人的に気になったModern Data Stack情報まとめ

[新機能]dbtのsnapshotsがyamlファイル上で定義できるようになり、snapshots出力先のスキーマ・データベースを環境別に分けることもできるようになりました

SnowflakeからSlackの特定のチャンネルにSYSTEM$SEND_EMAIL()を使って通知を送ってみた

[新機能]Snowflakeの新しいアカウント「Organization Account」を試してみた

SnowflakeのQuickstart「Build a Snowflake Native App with Snowpark Container Services」をやってみた

Censusとdbtのリポジトリを連携してDatasetsからdbtのModelを選択できるようにしてみた

[2024年11月20日号]個人的に気になったModern Data Stack情報まとめ

[新機能]Snowflakeでプレビュー機能の有効化・無効化を制御できるシステム関数がリリースされました

[新機能]dbtのdata testで任意の設定をconfigで指定できるようになり、各data testでSnowflakeのウェアハウスを指定できるようになりました

[小ネタ]dbtでクエリ実行結果を変数として扱う方法

SnowflakeのINCLUDE_METADATAオプションを用いてファイル名などのメタデータを取得しつつcsvファイルをロードしてみた

[新機能]CREATE OR ALTERコマンドがロール・データベース・スキーマ・ステージ・ビュー・ウェアハウスに対応しました

Lookerのロードマップイベント「AI for BI Innovation Roadmap Webinar」で気になった新情報まとめ

[24.18新機能]Lookerの中でLooker Studioが使えるようになる「Studio in Looker」を試してみた

[新機能]Snowsight上でテーブル・ビューなどオブジェクト間のデータリネージを見ることができるようになりました

[24.18新機能]LookerのExploreから発行されたクエリのパフォーマンス分析ができる「Explore query tracker」を試してみた

2025年1月1日よりFivetranのTransformations機能でdbt CoreとQuickstart data modelsを用いた場合に費用が発生します

DWHをCDPのように使えるCensusの「Audience Hub」を使ってセグメンテーションしてみた

Censusで共通利用出来るデータを定義出来る「Datasets」を試してみた

dbt CloudでMFAをone-time passwordで設定してみた

[2024年10月30日号]個人的に気になったModern Data Stack情報まとめ

[新機能]CI Jobの実行時にSQLFluffによるリンティングが行えるようになりました

CensusでDestinationにSlackを設定してSnowflakeのデータをSyncしてみた

MotherDuck社の公式ブログのチュートリアル「DuckDB Tutorial For Beginners」をやってみた

Snowflake Open Catalogが一般提供開始！カタログを作成してSnowflakeからテーブルを定義してみた

CensusでSourceにSnowflakeを設定してみた

Snowflakeでリーダーアカウントを作成して挙動を確かめてみた

[新機能]変更されたModelの数やデータの違いを確認できるdbt Cloudの「Advanced CI」を試してみた

[新機能]dbtのon-run-startに記述したクエリが失敗した時に後続のModelの実行をスキップできるようになりました

[2024年10月16日号]個人的に気になったModern Data Stack情報まとめ

[新機能]クエリサイズを日時で分割しbackfill処理も行いやすいdbt incremental modelの「microbatch」strategyを試してみた

[新機能]dbt CloudのAuto-exposures機能でdbtのModelと紐づくTableauダッシュボードを自動的にexposureとして登録しリネージが可視化できるようになりました

[新機能]dbt Explorerで各Modelのクエリ回数が確認できるようになりました

[新機能]dbt Explorerで各リソースにtrust signal iconsが表示されるようになりました

[2024年10月2日号]個人的に気になったModern Data Stack情報まとめ

Looker Explore Assistantをチューニング・カスタマイズする際の検証アプローチをまとめてみた（ExploreのURL生成ver）

Looker Explore Assistantで回答例をexamplesテーブルに登録し回答精度を向上させてみた（回答例の手動作成ver）

Looker Explore Assistantの要約を日本語にしてみた

[2024年9月18日号]個人的に気になったModern Data Stack情報まとめ

[新機能]テキストを独自のカテゴリに自動分類できるCortex LLM Function「CLASSIFY_TEXT」がリリースされました

[レポート]モダンデータスタックの歪 #SWTTokyo

[レポート]会員2000万人超、年間チケット発券8000万枚のぴあが推進するSnowflakeデータ基盤 #SWTTokyo

[レポート]MMDXにおけるデータ基盤 #SWTTokyo

[レポート]SNOWFLAKE WORLD TOUR TOKYO：KEYNOTE #SWTTokyo

LookerのSigned embedding用のURLの検証が出来る「Signed embed tool」を試してみた