[2024年11月20日号]個人的に気になったModern Data Stack情報まとめ

[新機能]Snowflakeでプレビュー機能の有効化・無効化を制御できるシステム関数がリリースされました

[新機能]dbtのdata testで任意の設定をconfigで指定できるようになり、各data testでSnowflakeのウェアハウスを指定できるようになりました

[小ネタ]dbtでクエリ実行結果を変数として扱う方法

SnowflakeのINCLUDE_METADATAオプションを用いてファイル名などのメタデータを取得しつつcsvファイルをロードしてみた

[新機能]CREATE OR ALTERコマンドがロール・データベース・スキーマ・ステージ・ビュー・ウェアハウスに対応しました

Lookerのロードマップイベント「AI for BI Innovation Roadmap Webinar」で気になった新情報まとめ

[24.18新機能]Lookerの中でLooker Studioが使えるようになる「Studio in Looker」を試してみた

[新機能]Snowsight上でテーブル・ビューなどオブジェクト間のデータリネージを見ることができるようになりました

[24.18新機能]LookerのExploreから発行されたクエリのパフォーマンス分析ができる「Explore query tracker」を試してみた

2025年1月1日よりFivetranのTransformations機能でdbt CoreとQuickstart data modelsを用いた場合に費用が発生します

DWHをCDPのように使えるCensusの「Audience Hub」を使ってセグメンテーションしてみた

Censusで共通利用出来るデータを定義出来る「Datasets」を試してみた

dbt CloudでMFAをone-time passwordで設定してみた

[2024年10月30日号]個人的に気になったModern Data Stack情報まとめ

[新機能]CI Jobの実行時にSQLFluffによるリンティングが行えるようになりました

CensusでDestinationにSlackを設定してSnowflakeのデータをSyncしてみた

MotherDuck社の公式ブログのチュートリアル「DuckDB Tutorial For Beginners」をやってみた

Snowflake Open Catalogが一般提供開始！カタログを作成してSnowflakeからテーブルを定義してみた

CensusでSourceにSnowflakeを設定してみた

Snowflakeでリーダーアカウントを作成して挙動を確かめてみた

[新機能]変更されたModelの数やデータの違いを確認できるdbt Cloudの「Advanced CI」を試してみた

[新機能]dbtのon-run-startに記述したクエリが失敗した時に後続のModelの実行をスキップできるようになりました

[2024年10月16日号]個人的に気になったModern Data Stack情報まとめ

[新機能]クエリサイズを日時で分割しbackfill処理も行いやすいdbt incremental modelの「microbatch」strategyを試してみた

[新機能]dbt CloudのAuto-exposures機能でdbtのModelと紐づくTableauダッシュボードを自動的にexposureとして登録しリネージが可視化できるようになりました

[新機能]dbt Explorerで各Modelのクエリ回数が確認できるようになりました

[新機能]dbt Explorerで各リソースにtrust signal iconsが表示されるようになりました

[2024年10月2日号]個人的に気になったModern Data Stack情報まとめ

Looker Explore Assistantをチューニング・カスタマイズする際の検証アプローチをまとめてみた（ExploreのURL生成ver）

Looker Explore Assistantで回答例をexamplesテーブルに登録し回答精度を向上させてみた（回答例の手動作成ver）

Looker Explore Assistantの要約を日本語にしてみた

[2024年9月18日号]個人的に気になったModern Data Stack情報まとめ

[新機能]テキストを独自のカテゴリに自動分類できるCortex LLM Function「CLASSIFY_TEXT」がリリースされました

[レポート]モダンデータスタックの歪 #SWTTokyo

[レポート]会員2000万人超、年間チケット発券8000万枚のぴあが推進するSnowflakeデータ基盤 #SWTTokyo

[レポート]MMDXにおけるデータ基盤 #SWTTokyo

[レポート]SNOWFLAKE WORLD TOUR TOKYO：KEYNOTE #SWTTokyo

LookerのSigned embedding用のURLの検証が出来る「Signed embed tool」を試してみた

LookerのSigned embeddingを公式ドキュメントのEmbed SDK Demoで試してみた

[2024年9月4日号]個人的に気になったModern Data Stack情報まとめ

[新機能]Snowflakeでユーザー・ウェアハウス・クエリタグごとの消費クレジットを簡単に集計できる「QUERY_ATTRIBUTION_HISTORY」ビューがリリースされました

LookerのPrivate embeddingを試してみた

[2024年8月新機能]UNDROPコマンド時にデータベース・スキーマ・テーブルのオブジェクトIDを指定できるようになりました

Omniでスプレッドシートのように別シートの値の参照ができる「XLOOKUP」関数を試してみた

OmniとGitHubを連携し、Branch Modeでの開発をやってみた

OmniでBranch Modeを使い、変更内容の反映を段階的に行ってみた

Lookerでテーブル計算だけでパレート図を作成してみた

[2024年8月21日号]個人的に気になったModern Data Stack情報まとめ

OmniのWorkbook上で選択したフィールドに基づいた集計結果をdbtのModelとしてプッシュしてみた

Omniとdbtリポジトリを連携してdbt上のdescriptionをOmniに反映させてみた

GUI上の操作で試行錯誤した結果をコード化してSemantic Layerとして共通利用できるBIツール「Omni」を試してみた

Looker上で自然言語で問い合わせてExploreのグラフ描写ができる「Looker Explore Assistant」を試してみた

Snowflake内のテーブルデータに対して自然言語で問い合わせを行う仕組みを簡単に構築できる「Cortex Analyst」を試してみた

dbt Cloud CLIとSQLFluffとGitHub Actionsを用いて、プルリクエスト発行時に自動フォーマッティングしてみた

dbt Cloud上でSQLFluffを使ってリンティングとフォーマッティングしてみた

gcloud CLIをWSL2のUbuntu 24.04 LTSにインストールしてみた

[2024年8月7日号]個人的に気になったModern Data Stack情報まとめ

SnowflakeのMasking Policyを共通データベース・スキーマで作成して適用できるか確認してみた

[新機能]Snowflakeでテキストデータに対するRAGを簡単に実装できる「Cortex Search」を用いてRAGチャットボットを構築してみた