[2025年2月19日号]個人的に気になったModern Data Stack情報まとめ

SnowflakeでGCSのバケットを外部ステージに設定してみた

BigQuery tables for Apache Icebergで定義されたテーブルをSnowflakeのIceberg Tableとしてクエリできるようにしてみた

[2025年2月5日号]個人的に気になったModern Data Stack情報まとめ

SnowflakeでAmazon SNSを使用した通知先をSlackチャンネルにしてみた

[小ネタ]Lookerでparameterを用いてフィルタ欄から値の変更ができる基準線を追加する方法

[新機能]Snowflake CopilotがAWS東京リージョンでも利用可能となりました

[2025年1月22日号]個人的に気になったModern Data Stack情報まとめ

2025年1月20日にデフォルトで有効化されるバンドルにおいてセカンダリロールが全ユーザーに対して有効化されます

[小ネタ]dbt CloudのCI Jobsでカスタムデータベース・カスタムスキーマを設定している場合に作られるスキーマを確認してみた

[小ネタ]dbtでtarget.nameに応じてgeneric testの実行有無を切り替える方法

[2025年1月8日号]個人的に気になったModern Data Stack情報まとめ

Salesforce Developer EditionのSign upをやってみた

dbt CloudのIPアドレスをSnowflakeのNetwork policy/ruleとして追加してみた

Snowflake ver8.46のリリースよりNotebooksのContainer Runtime向けにSPCSのCompute poolが2つデフォルトで定義されるようになりました

[2024年12月18日号]個人的に気になったModern Data Stack情報まとめ

[レポート]BUILD TOKYO ONLINE：Snowflake DevOpsで開発生産性を加速させよ

[レポート]BUILD TOKYO ONLINE：Snowflakeの進化するデータパイプライン構築 -Apache Icebergのパイプライン組み込みやデータエンジニアリング機能のアップデート-

[レポート]BUILD TOKYO ONLINE：Snowflakeの生成AIで実現する社内データ活用促進への道筋

[レポート]BUILD TOKYO ONLINE：Snowflake BUILD Opening KEYNOTE

Censusとdbtのリポジトリを連携してCensusの処理に影響のあるdbtのModelを検出するCI処理を設定してみた

CensusでGoogle SheetsをDestinationとして設定してSyncしてみた

Snowflake CLIをインストールしてキーペア認証でSnowflakeへ接続してみた

[レポート]いま、データに必要な解像度 #01pN

[レポート]一人データエンジニアの過去・現在・未来 ～データ基盤構築を通じて乗り越えたい壁とは～ #01pN

[登壇レポート]Data Engineering Study # 27で2024年のModern Data Stackのアップデート情報を振り返ってきました #DataEngineeringStudy #01pN

[新機能]Snowsight上でテーブル・カラムのDescriptionを自動生成できるようになりました

[新機能]Iceberg tablesに対してADD_FILES_COPYオプションでロードすることで元のparquetをそのままS3内でコピーして高速にロードできるようになりました

[2024年12月4日号]個人的に気になったModern Data Stack情報まとめ

[新機能]dbtのsnapshotsがyamlファイル上で定義できるようになり、snapshots出力先のスキーマ・データベースを環境別に分けることもできるようになりました

SnowflakeからSlackの特定のチャンネルにSYSTEM$SEND_EMAIL()を使って通知を送ってみた

[新機能]Snowflakeの新しいアカウント「Organization Account」を試してみた

SnowflakeのQuickstart「Build a Snowflake Native App with Snowpark Container Services」をやってみた

Censusとdbtのリポジトリを連携してDatasetsからdbtのModelを選択できるようにしてみた

[2024年11月20日号]個人的に気になったModern Data Stack情報まとめ

[新機能]Snowflakeでプレビュー機能の有効化・無効化を制御できるシステム関数がリリースされました

[新機能]dbtのdata testで任意の設定をconfigで指定できるようになり、各data testでSnowflakeのウェアハウスを指定できるようになりました

[小ネタ]dbtでクエリ実行結果を変数として扱う方法

SnowflakeのINCLUDE_METADATAオプションを用いてファイル名などのメタデータを取得しつつcsvファイルをロードしてみた

[新機能]CREATE OR ALTERコマンドがロール・データベース・スキーマ・ステージ・ビュー・ウェアハウスに対応しました

Lookerのロードマップイベント「AI for BI Innovation Roadmap Webinar」で気になった新情報まとめ

[24.18新機能]Lookerの中でLooker Studioが使えるようになる「Studio in Looker」を試してみた

[新機能]Snowsight上でテーブル・ビューなどオブジェクト間のデータリネージを見ることができるようになりました

[24.18新機能]LookerのExploreから発行されたクエリのパフォーマンス分析ができる「Explore query tracker」を試してみた

2025年1月1日よりFivetranのTransformations機能でdbt CoreとQuickstart data modelsを用いた場合に費用が発生します

DWHをCDPのように使えるCensusの「Audience Hub」を使ってセグメンテーションしてみた

Censusで共通利用出来るデータを定義出来る「Datasets」を試してみた

dbt CloudでMFAをone-time passwordで設定してみた

[2024年10月30日号]個人的に気になったModern Data Stack情報まとめ

[新機能]CI Jobの実行時にSQLFluffによるリンティングが行えるようになりました

CensusでDestinationにSlackを設定してSnowflakeのデータをSyncしてみた

MotherDuck社の公式ブログのチュートリアル「DuckDB Tutorial For Beginners」をやってみた

Snowflake Open Catalogが一般提供開始！カタログを作成してSnowflakeからテーブルを定義してみた

CensusでSourceにSnowflakeを設定してみた

Snowflakeでリーダーアカウントを作成して挙動を確かめてみた

[新機能]変更されたModelの数やデータの違いを確認できるdbt Cloudの「Advanced CI」を試してみた

[新機能]dbtのon-run-startに記述したクエリが失敗した時に後続のModelの実行をスキップできるようになりました

[2024年10月16日号]個人的に気になったModern Data Stack情報まとめ

[新機能]クエリサイズを日時で分割しbackfill処理も行いやすいdbt incremental modelの「microbatch」strategyを試してみた

[新機能]dbt CloudのAuto-exposures機能でdbtのModelと紐づくTableauダッシュボードを自動的にexposureとして登録しリネージが可視化できるようになりました