![[2025年11月12日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-4c47f61cc8c1b97c00c0efcc68eab01b/ebc4f0c0223a249eae2f9de257dedbcd/eyecatch_moderndatastack_1200_630.jpg?w=3840&fm=webp)
[2025年11月12日号]個人的に気になったModern Data Stack情報まとめ
さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Modern Data Stack全般
4 Senior Data Engineers Answer 10 Top Reddit Questions
MotherDuck社のブログにて、4名のシニアデータエンジニアが、Redditのコミュニティ「r/dataengineering」で最も多く寄せられた10の質問に回答する記事が公開されました。
以下の質問について4人のシニアデータエンジニアからの回答があり、参考になる内容が多いと思います！
- （面接）もし今日、仕事に応募するとしたら、どのように面接の準備をしますか？
- （Data Quality）データ品質にどう対処していますか？ 誰も投資したがらない中で。
- （アーキテクチャ）Data LakeやLakehouseが注目される中、Data Warehouseを使い続けることをどう正当化しますか？
- （Schema変更）「ちょっとしたSchema定義の変更」が既存のETLパイプラインを壊さないように、どう管理していますか？
- （要求）「Real-TimeでAI駆動のダッシュボードが欲しい」という要求と、時間的制約とのバランスをどう取りますか？
- （引き継ぎ）最初の作成者が去った後のData Stackを、どのように引き継ぎますか？
- （スキル）Linuxスキルはどう学びましたか？ DEに必要な最低限のスキルは？
- （Excel）ビジネスサイドからの「ExcelにExportできますか？」という要求にどう対応しますか？
- （コスト）Cloudコストをどのように節約していますか？
- （洞察）長年学んだ最も重要な洞察を1つだけ挙げるとすれば何ですか？
Snowflake社によりまとめられたThe Modern Marketing Data Stack 2026が公開
Snowflake社が毎年リリースしているMartech分野に関するレポート「The Modern Marketing Data Stack 2026」が公開されました。
私もざっくりとしか確認できていませんが、スタック全体へのAI/MLの組み込みやAIエージェントの登場によるマーケティングプロセスの自動化についての言及など、AIについての記述が増えていると感じました。
以下のURLから必要な情報を入力することでダウンロード可能です。
宣伝：Data Engineering Summitで登壇してきました
2025年11月6日に、Findy社主催でData Engineering Summitが開催されました。
大変ありがたいことに本イベントにSpecial Speaker枠として招待頂き、「激動の2025年、Modern Data Stackの最新技術動向」というタイトルで登壇をしてきました。
以下が登壇レポートへのリンクとなります。2025年の各製品のアップデートをざっくり振り返られる内容となっていますので、ぜひご覧ください！
Data Warehouse/Data Lakehouse
Snowflake
開発者向けイベントの「BUILD」が開催され、多くの新機能を発表
Snowflakeが毎年11月頃に開催しているBUILDが2025年11月4日～7日に開催されました。
この中で、多くの新機能が発表されています。
- Snowflake内のコーディングAIアシスタントであるCortex Codeを発表
- SAP SnowflakeとSAP Business Data Cloud Connectを発表
- Snowflake PostgresがPrivate Previewとなり、IcebergをPostgresで利用できるエクステンションとしてpg_lakeをリリース
また、リリースノートでも多くの機能が発表されていました。
- Storage lifecycle policies (General Availability)
- Trust Center extensions (Preview)
- AISQL AI_REDACT function (Preview)
- dbt Projects on Snowflake (General availability)
- Interactive tables and interactive warehouses (Preview)
- Snowflake Openflow - Snowflake Deployments (General availability)
- Snowflake Machine Learning Experiments (Preview)
- Cortex Agents (General availability)
- Snowflake Intelligence (General availability)
- Snowflake-managed MCP server (General availability)
- Cortex AISQLのAI_CLASSIFYやAI_TRANSCRIBEなどの関数 (General Availability)
- Sharing semantic views (General Availability)
BigQuery
Data Engineering AgentのPreviewを発表
BigQueryの新機能として「Data Engineering Agent」のPreviewを発表しました。（リリースノートに記載はなく、以下のブログだけが確認できました。）
ブログからの引用ですが、以下のことができるようです。（まとめには生成AIを使用しています。）
-
Pipeline development and maintenance (パイプラインの開発と保守)
- 自然言語（平易な文章）でのパイプライン作成
- 既存パイプラインに対する、自然言語でのインテリジェントな修正指示
- Dataplex Universal Catalogと連携し、ビジネス用語集やデータプロファイルなどのメタデータを自動取得
- UDFs (User-Defined Functions) を利用した、独自のビジネスロジックやベストプラクティスの組み込み
- パイプラインのドキュメントとカラム（列）説明の自動生成
-
Data preparation, transformation and modeling (データの準備、変換、モデリング)
- Google Cloud Storage上の生ファイルに対する、自動的なクリーニング、重複排除、フォーマット標準化
- Dataplexリポジトリで定義されたルールに基づく、データ品質アサーションの生成
- PII (Personally Identifiable Information) とフラグ付けされたカラムの自動暗号化
- Data VaultやStar Schemasといった、複雑なデータモデリングスキーマの生成
-
Pipeline troubleshooting (パイプラインのトラブルシューティング)
- Gemini Cloud Assistとの統合による問題診断
- 実行ログの分析による、パイプライン障害の根本原因の特定
- 障害に対する解決策の提案
-
Pipeline migrations (パイプラインの移行)
- Dataform環境への移行（既存のデータと変換スクリプトの100%自動複製）
- レガシーなデータ処理ツールの独自フォーマットや設定を、ネイティブなBigQuery pipelineに変換
- 既存コードを分析し、最適化されたBigQuery pipelineを生成
Databricks
Databricks MarketplaceでMCP Serverを登録できるように
Databricks MarketplaceでMCP Serverを登録できるようになりました。
これにより、Databricks Marketplaceで公開されたMCP Serverを自社のDatabricks内で気軽に入手し試すことができるようになりました。
Databricks内でGeminiが利用できるように
Databricks内で、Googleの生成AIモデルであるGeminiがネイティブに利用可能となったことを発表しました。
Gemini 2.5 ProとGemini 2.5 Flashが利用可能です。
ClickHouseが日本支社を設立
リアルタイム分析を担えるデータウェアハウスやAI/ML基盤を提供するClickHouseが、Japan Cloud社との戦略的パートナーシップを通じて日本法人ClickHouse株式会社を設立したことを発表しました。
Business Intelligence
Looker
Looker 25.20のリリースノートが公開
Lookerの最新バージョンである25.20のリリースノートが公開されました。
今回のリリースは細かい修正が多い印象です。
Hex
HexのAgent機能を拡張するSlack統合機能とMCP Serverを発表
Hexの新機能として、Slack統合機能とMCP Serverを発表しました。
- Slack統合：Slackチャンネルで「@Hex」とメンションするだけで、Hex Agentにデータに関する質問ができます。AgentがSQLを書き、分析し、結果をスレッド内で直接回答します。
- MCP Server：Claude Desktop, Claude Code, CursorのようなAIアシスタントや独自の内部ツールからHex Agentに接続し、既存のHexプロジェクトの検索や新規Exploreの開始が可能になります。
Omni
dbtと連携した各機能について
私の記事で恐縮ですが、Omniはdbtと連携した機能を豊富に備えており、最近技術検証を行ってブログを投稿していました。
Omniでdbtの開発環境のデータを参照しながらSemantic Layerの定義変更・ダッシュボード修正が行えるDynamic Schema、ビジネスメタデータの入力がOmniから可能となるdescriptionとexposureのプッシュ機能、について投稿しています。
Data Catalog
Atlan
Data Quality Studioが一般提供
Atlanの中でデータ品質をGUIベースの操作で定義できる、Data Quality Studioが一般提供となりました。
以下のドキュメントを見る限りはDatabricksとSnowflakeでネイティブ統合が可能で、各製品のデータ品質管理機能と連携したデータ品質ルールの設定ができるようです。
Secoda
DashboardsとAI Analyticsをリリース
Secodaの新機能として、DashboardsとAI Analyticsがリリースされました。
Dashboards機能を使うと、手動あるいはSecoda AIで下図のようなダッシュボードを作成することができるようです。
AI Analytics機能を使うと、Secoda AIの利用状況を確認できるようです。
Select Star
Select Starの最新リリース
Select Starの最新リリースが公開されました。Ask AIのアップデート、OpenLineageとの統合、アセットを開いた際に空白のDescriptionを自動生成、Select StarのSemantic ModelでLookerの定義を取り込み、などのアップデートが行われています。
Data Orchestration
Dagster
Dagsterが1.12をリリース
Dagsterが最新バージョンとなる1.12をリリースしました。
折りたたみ可能なサイドバーを導入するなどのUIの変更、Componentsとdg CLIの一般提供、などが主要なアップデートと感じました。
Kestra
Kestraが1.1をリリース
Kestraが最新バージョンとなる1.1をリリースしました。
タスクが失敗した際にAIが修正案を提案する機能、GCSやS3などのファイル検出トリガーが新規作成（CREATE）だけでなく更新（UPDATE）にも対応、あたりが個人的には気になりました。
