[登壇レポート]Tokyo dbt Meetup 13で「dbtと連携するBI製品＆機能ざっくり紹介」というタイトルで登壇してきました #dbt_tokyo

Windows 11でTableau DesktopからDuckDBコネクタで接続をしてみた

[小ネタ]SnowflakeのDynamic Tableで利用できるUDF/UDTFについて確認してみた

Windows 11にDuckDBのexeファイルをダウンロードしてテーブルを作成してみた

[2025年4月2日号]個人的に気になったModern Data Stack情報まとめ

[小ネタ]Snowflakeの各ユーザーがどのロールを利用できるか確認できるクエリをClaude 3.7 Sonnetに作成してもらいました

テーブルに新しいデータが入った時に品質テストを行い異常があったら通知するアラートを作ってみた

Tableau Desktop/Tableau CloudからSnowflake OAuthを用いてSnowflakeへ接続してみた

[新機能]dbt Cloudで生成AIを用いた開発が行える「dbt Copilot」が一般提供となりました

[小ネタ]タスクの実行ログを確認できる「TASK_HISTORY」と「イベントテーブルのログ」の違いをざっくりと調べてみた

[新機能]対象のテーブルに新しいレコードが追加されたときに指定した条件式を実行してアラート出来るようになったのでタスクとDynamic Tableのエラー通知を行ってみた

[小ネタ]Snowpipeでpipeオブジェクト作成後にERROR_INTEGRATIONを設定することはできるか確かめてみた

SnowflakeのSnowpipeとDynamic Tableで重複削除・差分更新を行うデータパイプラインを構築してみた

Snowflakeのタスクだけで重複削除・差分更新を行うデータパイプラインを構築してみた

[2025年3月19日号]個人的に気になったModern Data Stack情報まとめ

[小ネタ]SnowflakeのGUI画面Snowsightでのロール切替時の表示順について

[新機能]Looker×生成AIがとうとうネイティブ機能で実現！プレビューとなった「Gemini in Looker」の「Conversational Analytics」を試してみた

[2025年3月5日号]個人的に気になったModern Data Stack情報まとめ

dbt CloudでDev/QA/Prodで環境分離した開発プロセスを考えてみた

[登壇レポート]Apache Icebergと超えていくデータレイクの限界 -S3とSnowflake活用事例-でSnowflake×Icebergの機能と活用例についてお話しました #datalake_findy

dbt Cloud×Snowflakeでdbt cloneコマンドの挙動を確認してみた

[新機能]SnowflakeのSnowsightにおいてAccount Identifierなどの外部ツールからの接続に必要な情報がすぐに確認できる画面が追加されました

dbt Cloudで複数のジョブにmodel実行を分けているときのCI Jobsの挙動を確認してみた

[2025年2月19日号]個人的に気になったModern Data Stack情報まとめ

SnowflakeでGCSのバケットを外部ステージに設定してみた

BigQuery tables for Apache Icebergで定義されたテーブルをSnowflakeのIceberg Tableとしてクエリできるようにしてみた

[2025年2月5日号]個人的に気になったModern Data Stack情報まとめ

SnowflakeでAmazon SNSを使用した通知先をSlackチャンネルにしてみた

[小ネタ]Lookerでparameterを用いてフィルタ欄から値の変更ができる基準線を追加する方法

[新機能]Snowflake CopilotがAWS東京リージョンでも利用可能となりました

[2025年1月22日号]個人的に気になったModern Data Stack情報まとめ

2025年1月20日にデフォルトで有効化されるバンドルにおいてセカンダリロールが全ユーザーに対して有効化されます

[小ネタ]dbt CloudのCI Jobsでカスタムデータベース・カスタムスキーマを設定している場合に作られるスキーマを確認してみた

[小ネタ]dbtでtarget.nameに応じてgeneric testの実行有無を切り替える方法

[2025年1月8日号]個人的に気になったModern Data Stack情報まとめ

Salesforce Developer EditionのSign upをやってみた

dbt CloudのIPアドレスをSnowflakeのNetwork policy/ruleとして追加してみた

Snowflake ver8.46のリリースよりNotebooksのContainer Runtime向けにSPCSのCompute poolが2つデフォルトで定義されるようになりました

[2024年12月18日号]個人的に気になったModern Data Stack情報まとめ

[レポート]BUILD TOKYO ONLINE：Snowflake DevOpsで開発生産性を加速させよ

[レポート]BUILD TOKYO ONLINE：Snowflakeの進化するデータパイプライン構築 -Apache Icebergのパイプライン組み込みやデータエンジニアリング機能のアップデート-

[レポート]BUILD TOKYO ONLINE：Snowflakeの生成AIで実現する社内データ活用促進への道筋

[レポート]BUILD TOKYO ONLINE：Snowflake BUILD Opening KEYNOTE

Censusとdbtのリポジトリを連携してCensusの処理に影響のあるdbtのModelを検出するCI処理を設定してみた

CensusでGoogle SheetsをDestinationとして設定してSyncしてみた

Snowflake CLIをインストールしてキーペア認証でSnowflakeへ接続してみた

[レポート]いま、データに必要な解像度 #01pN

[レポート]一人データエンジニアの過去・現在・未来 ～データ基盤構築を通じて乗り越えたい壁とは～ #01pN

[登壇レポート]Data Engineering Study # 27で2024年のModern Data Stackのアップデート情報を振り返ってきました #DataEngineeringStudy #01pN

[新機能]Snowsight上でテーブル・カラムのDescriptionを自動生成できるようになりました

[新機能]Iceberg tablesに対してADD_FILES_COPYオプションでロードすることで元のparquetをそのままS3内でコピーして高速にロードできるようになりました

[2024年12月4日号]個人的に気になったModern Data Stack情報まとめ

[新機能]dbtのsnapshotsがyamlファイル上で定義できるようになり、snapshots出力先のスキーマ・データベースを環境別に分けることもできるようになりました

SnowflakeからSlackの特定のチャンネルにSYSTEM$SEND_EMAIL()を使って通知を送ってみた

[新機能]Snowflakeの新しいアカウント「Organization Account」を試してみた

SnowflakeのQuickstart「Build a Snowflake Native App with Snowpark Container Services」をやってみた

Censusとdbtのリポジトリを連携してDatasetsからdbtのModelを選択できるようにしてみた

[2024年11月20日号]個人的に気になったModern Data Stack情報まとめ

[新機能]Snowflakeでプレビュー機能の有効化・無効化を制御できるシステム関数がリリースされました

[新機能]dbtのdata testで任意の設定をconfigで指定できるようになり、各data testでSnowflakeのウェアハウスを指定できるようになりました