[2025年7月9日号]個人的に気になったModern Data Stack情報まとめ

さがらです。

Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。

そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。

※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。

Modern Data Stack全般

The Data Engineer Toolkit: Infrastructure, DevOps, and Beyond

MotherDuck社のブログより、現代のデータエンジニアに求められる、データ処理、インフラ、DevOps、データ品質、AI、ソフトスキルといった高度な技術ツールキットと概念を解説した記事が出ていました。

データエンジニアが必要とするツールの候補が一通り網羅されている印象を受けたので、参考になる方も多いと思います。

https://motherduck.com/blog/data-engineering-toolkit-infrastructure-devops/

Hex社がまとめた「The State of Data Teams」

Hex社がデータ関係のリーダー2000人を対象としたアンケートを行った結果をまとめて、「The State of Data Teams」として公開しました。

AIに対する期待を77%の人が抱いているがAIを最優先事項として取り組んでいるリーダーは3%、データチームのリーダーの84%がデータ品質と信頼性を最優先事項としている、といった内容が特に気になりました。

https://hex.tech/state-of-data-teams/

レイクハウス時代における「Git for Data」について述べた記事

Orchestra社のブログより、「What does git for Data even look like anymore?」というタイトルでレイクハウス時代における「Git for Data」について述べた記事が出ていました。

ソフトウェア開発のGitワークフローをデータの世界、特にIcebergやS3を基盤とするレイクハウスアーキテクチャに適用する「Git for Data」の現在地を解説しています。

また、Nessie, LakeFS, Bauplan, Y42といったツールが、それぞれ異なるアプローチでデータ自体のバージョン管理を実現していることを紹介しています。

https://dataopsleadership.substack.com/p/what-does-git-for-data-even-look

Data Warehouse/Data Lakehouse

Snowflake

Semantic ViewをExcelから参照する方法

Mediumにて、Semantic ViewをExcelから参照する方法をまとめた記事が出ていました。

Semantic Viewでコードで定義した指標をExcelでエンドユーザーが参照できるため、面白いユースケースだと感じました！

https://medium.com/@angelamarieharney/query-a-snowflake-semantic-model-from-excel-fd79279ac8c9

terraform-provider-snowflakeの最新バージョン「v2.3.0」がリリース

terraform-provider-snowflakeの最新バージョンとして、v2.3.0がリリースされました。

PROGRAMMATIC_ACCESS_TOKENの対応が嬉しいですね。

https://github.com/snowflakedb/terraform-provider-snowflake/releases/tag/v2.3.0

Canva社で行っている実験の商業的インパクトを測定するためにSnowflake×Streamlitで構築したアプリ「IMPACT」

Canva社より、行っている実験(experimentation)の商業的インパクトを測定するためにSnowflake×Streamlitで構築したアプリ「IMPACT」についての紹介記事が出ていました。

Canva社では年間数千件の実験が行われますが、その商業的インパクト（MAUやARRへの影響）を測定するプロセスは手作業で非効率、かつチームごとに一貫性がなかったとのことです。

この課題を解決するため、SnowflakeとStreamlitを活用した内製アプリ「IMPACT」を開発し、実験前後の影響度合いの試算をセルフサービスで迅速に行えるようにして、分析時間を数時間から10分未満に短縮したと言及があります。

https://www.canva.dev/blog/engineering/measuring-commerical-impact-at-scale/

MotherDuck/DuckDB

DuckLake ver 0.2がリリース

DuckLakeの最新バージョンとして、ver 0.2がリリースされました。

DuckLakeの認証情報を管理するためのSecret機能、Parquetファイルの圧縮形式や行グループサイズなどをグローバル・スキーマ・テーブル単位で設定できるSettings機能、parquetファイルの保存先のパスがグローバル/スキーマ/テーブルの3層構造で管理出来るようになった点など、良いアップデートが多いです！

https://duckdb.org/2025/07/04/ducklake-02.html

MotherDuckがDuckLakeのマネージドサービスをプレビューで提供開始

MotherDuckがDuckLakeのマネージドサービスをプレビューで提供開始しました。

データの保存先をMotherDuck内のマネージドストレージにするのかユーザ管理のクラウドストレージにするのか、コンピュートをMotherDuckのリソースを使うのかローカルのDuckDBを使うのか、など柔軟な選択肢を取れるようです。

https://motherduck.com/blog/announcing-ducklake-support-motherduck-preview/

DuckDB・uv・Cursorを用いたAI開発

MotherDuck社のブログより、DuckDB・uv・Cursorを用いたAI開発の方法についてまとめた記事が出ていました。

個人的には、Pythonを使ってDuckDBのスキーマを取得してXMLとして出力してCursorにコンテキストとして付与している点が印象的でした。

https://motherduck.com/blog/vibe-coding-sql-cursor/

Data Transform

dbt

dbt×LLMをテーマに「Tokyo dbt Meetup #15」が開催

2025/7/3にdbt×LLMをテーマに「Tokyo dbt Meetup #15」が開催されました。昨今のLLMの技術トレンドを見ると、気になっている方も多いトピックだったと思います！（私は残念ながら現地に行けていないのですが、菱沼さんによるClaude Code×dbt×Snowflakeのライブコーディングデモなどもあり、大変盛り上がっていたようですね！）

https://www.meetup.com/tokyo-dbt-meetup/events/307976885/?eventOrigin=group_past_events

本イベントについてのレポートブログとUbie社の登壇資料が公開されていましたので、リンクを載せておきます。

https://zenn.dev/shinyaa31/articles/6c3ebfebc4831a

https://speakerdeck.com/yoshyum/dbtmin-zhu-hua-tollmniyorukai-fa-busuto-ai-readynafen-xi-saikuruwomu-zhi-site

dbt FusionがBigQueryをサポート開始

現在Beta版として提供されているdbt Fusionですが、BigQueryをサポート開始しました！これで現在、Snowflake、Databricks、BigQueryに対応したことになります。

以下のリンク先のタイムラインを見る限りでは、7月末にRedshiftの対応も予定しています。

https://github.com/dbt-labs/dbt-fusion?tab=readme-ov-file#timeline

dbt Core 1.9で動いていた既存リポジトリをdbt Fusion × dbt公式VS Code拡張機能で動かしてみた

私の記事で恐縮ですが、dbt Core 1.9で動いていた既存リポジトリをdbt Fusion × dbt公式VS Code拡張機能で動かしてみたので、その内容をブログとしてまとめてみました。

事前にウェビナーや公式ブログでdbt Fusionに関する知識は得ていたものの、実際に触ってみると想像以上に開発体験が従来のdbtよりも良くなっていて感動しました！

https://dev.classmethod.jp/articles/dbt-core-1-9-to-dbt-fusion-with-vs-code-extension/

Coalesce

CoalesceがDatabricksのサポートを発表

Coalesceが新しくDatabricksのサポートを発表しました。今まではSnowflakeだけでしたが、対応製品を広げてきましたね。

https://docs.coalesce.io/updates#publications/databricks-support-now-available

Business Intelligence

Looker

Looker 25.10でリリースされたネイティブCI機能「Looker Continuous Integration」

私の記事で恐縮ですが、2025年6月にリリースされたLooker 25.10の新機能である「Looker Continuous Integration」を試してみたのでその内容をブログにしました。

現時点ではこの機能を有効化すると米国にデータが保存される点に注意が必要ですが、このCI機能を有効化することで本番環境のダッシュボードを壊すことを防ぎ、より開発に専念できると思います！

https://dev.classmethod.jp/articles/looker-25-10-continuous-integration/

Data Catalog

OpenMetadata

OpenMetadata 1.8がリリース

OpenMetadataの最新バージョンである「1.8」がリリースされました。併せてSaaS版も1.8が公開されています。

https://blog.open-metadata.org/announcing-openmetadata-1-8-948eb14d41c7

https://blog.getcollate.io/announcing-collate-18

OpenMetadataのサーバーに組み込まれたMCP Serverのリリースが熱いアップデートだと思います！以下のリンク先のデモ動画では、Claude DesktopでOpenMetadataのMCP Serverを設定する手順をまとめています。

https://www.youtube.com/watch?v=7ryQhpquL9c

Data Orchestration

Dagster

Dagsterの最新バージョンである「1.11」がリリース

Dagsterの最新バージョンである「1.11」がリリースされました。Components機能がStableとなったこと、CLIであるdgがStableとなったこと、create-dagsterコマンドによるプロジェクト・ワークスペースのセットアップ、といったアップデートが行われています。

https://dagster.io/blog/dagster-1-11-build-me-up-buttercup

https://github.com/dagster-io/dagster/releases/tag/1.11.0