![[2026年3月18日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-4c47f61cc8c1b97c00c0efcc68eab01b/ebc4f0c0223a249eae2f9de257dedbcd/eyecatch_moderndatastack_1200_630.jpg?w=3840&fm=webp)
[2026年3月18日号]個人的に気になったModern Data Stack情報まとめ
さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Modern Data Stack全般
「ETL is Dead」（Data Engineering Weekly）
Data Engineering WeeklyのAnanth Packkildurai氏が、「ETL is Dead」と題した記事を公開しました。
AIエージェントが主要なオペレーターへと進化する中で、従来のETLパイプラインがデータエンジニアリングの定義的な仕事としての役割を終えるという主張です。従来のETL（「データは到着したか?」）から、ECL（Extract, Contextualize, Load）（「データは信頼できるか?」）へのシフトを提案しており、意味論的定義を保持する「Context Store」の構築を中核に据えています。
Data Warehouse/Data Lakehouse
Snowflake
Cortex Code in Snowsightが一般提供
Snowsight上で利用できるCortex Codeが一般提供となりました。2026年2月にCLI版のCortex Code CLIが先に一般提供されておりましたが、Snowsight版も追いついた形です。
Snowsightに統合されたCortex Codeは、エージェント型アシスタントとしてSQL・Pythonノートブック開発、データ探索、アカウント管理を支援します。
Cortex Code in Snowsightについては私も先日試しており、現在はAgent Skillsにも対応しています。
Cortex Agent Evaluationsが一般提供
Cortex Agentの評価機能が一般提供となりました。エージェントの動作とパフォーマンスを監視・評価できます。
評価メトリクスとして、以下の3種類が提供されています。
- Answer Correctness：エージェントの回答が期待される回答とどの程度一致するかを測定
- Logical Consistency：エージェント指示、プランニング、ツール呼び出し全体の一貫性を測定
- Custom Metrics：ユーザーが独自メトリクスを定義し、ドメイン固有の要件への適合性を検証
こちらの機能については弊社でも既に試しております、こちらもぜひご覧ください。
Apache Iceberg v3のサポートがプレビュー
Apache Iceberg テーブル仕様のバージョン3（v3）がプレビューとなりました。
v3では以下の新しいデータ型がサポートされています。
geographygeometrynanosecondvariant
加えて、カラムのデフォルト値の設定、削除ベクトルによる書き込みパフォーマンス向上、行レベルのリネージ追跡（データガバナンスと監査向け）にも対応しています。v3対応はSnowflakeプラットフォーム全体に統合されており、Snowflake管理・External管理の両方のIcebergテーブルで読み取り・書き込みが可能です。
Openflow Connector for Google BigQueryがプレビュー
SnowflakeのOpenflow Connector for Google BigQueryがプレビューとして提供されました。Google BigQueryをデータソースとして接続し、データをSnowflakeにレプリケーションできるようになります。
Cortex Searchの複数機能が一般提供
プレビュー段階にあった複数のCortex Search機能が一般提供となりました。マルチインデックス検索（単一サービス内で複数の検索可能列をサポート）、カスタムベクトル埋め込み（事前計算されたベクトル埋め込みの利用）、Cortex AgentsおよびSnowflake Intelligence向けの動的制御機能（フィルター条件の動的適用、結果数の設定など）が含まれています。
Snowflake NotebooksがLegacy Snowflake Notebooksにリネーム
従来のSnowflake Notebooksが「Legacy Snowflake Notebooks」にリネームされ、Notebooks in Workspacesへの移行が推奨されるようになりました。今後はWorkspaces内のNotebooksが主力となる方向性が明確になっています。
Terraform Provider for Snowflakeのロードマップが更新
2026年3月12日にTerraform Provider for Snowflakeのロードマップが更新されました。
今後の重点領域として、レガシー0.x.xからv2.x.xへの移行支援の継続、外部ボリュームリソースの安定化、認証ポリシー・タグ・アカウントパラメータの属性追加、Icebergテーブル向けのカタログ統合サポート、セッションポリシーの新規実装が挙げられています。
BigQuery
Conversational Analyticsに複数のアップデート
BigQueryのConversational Analytics機能に複数のアップデートがプレビューとして追加されました。
主な追加機能は以下の通りです。
- ObjectRef関数のサポートによるGCS内の画像やPDFの参照・操作
- BQML関数への対応
- クエリ結果とのチャット機能
- パーティション分割テーブルのサポート
- エージェント生成クエリのラベリング
{‘ca-bq-job’: ‘true’}のようにBigQueryジョブ履歴にラベルが付くようです
Databricks
Genie Codeを発表 — データ作業向け自律型AIエージェント
2026年3月11日、Databricksが「Genie Code」を発表しました。データ作業向けの自律型AIエージェントで、従来の「Databricks Assistant」からリネームされた形です。
Genie Codeは、パイプラインの構築、障害のデバッグ、ダッシュボードのデプロイ、本番システムのメンテナンスなど、複雑なタスクを自律的に実行できます。リアルワールドのデータサイエンスタスクにおいて、既存のコーディングエージェントの成功率を32.1%から77.1%に向上させたとのことです。
主な特徴は以下の通りです。
- Proactive Operations：Lakeflowパイプラインやモデルをバックグラウンドで監視し、障害の分析やリソース割り当ての調整を自律的に実行
- Enterprise Context：Unity Catalogと統合され、既存のガバナンスポリシーとアクセス制御を遵守
- Continuous Improvement：永続的なメモリにより、過去の対話やコーディングの好みに基づいて内部指示を自動更新
また、同時にAIエージェント評価のスタートアップであるQuotient AIの買収も発表されており、継続的な評価機能をGenieとGenie Codeに直接組み込む方針です。
Snowflakeの「Cortex Code」に対する、Databricks側の回答とも言える位置づけです。特にProactive Operations（バックグラウンド監視・自律修復）の機能は一歩先を行っている印象を受けます。
Unity Catalog 0.4.0でManaged Tablesが導入
OSSのメタデータカタログであるUnity Catalogのバージョン0.4.0にて、「Managed Tables」が導入されました。
従来のテーブルがファイルシステムパスでアクセスされるのに対し、Managed Tablesは「カタログを通じてのみ発見・アクセスされる」新しいアプローチを採用しています。主な特徴は以下の通りです。
- パフォーマンス向上：ファイルシステムアクセスを不要にすることで、メタデータ解決の遅延を排除
- スキーマ変更の検証：互換性のない更新を防止し、下流ワークロードの破損を防ぐ
- 包括的な監査：テーブルレベルのアクセスログを一元管理
- マルチテーブルトランザクション：複数テーブルにわたる原子的な更新が可能
必要環境はDelta Lake 4.1.0およびUnity Catalog 0.4.0です。
DuckDB
DuckDB 1.5.0リリース — VARIANT型、GEOMETRY型、CLI刷新
DuckDB 1.5.0（コードネーム: Variegata）がリリースされました。主な新機能は以下の通りです。
- VARIANT型：Snowflakeの半構造化VARIANT型にインスパイアされた、バイナリ形式で型情報を保持するデータ型。JSON型と比較して最大100倍高速なJSON分析が可能
- GEOMETRY型（ビルトイン化）：空間拡張からコアに統合。業界標準のWKB形式で保存され、約3倍のディスク容量削減が可能な"shredding"技術を実装。座標参照システム（CRS）にも対応
- CLI刷新：カラースキーム（ダーク/ライトモード）、動的プロンプト、ページャー機能、前回の結果に
_でアクセスする機能を追加 - パフォーマンス改善：非ブロッキングチェックポイントの導入により、TPC-H SF100スコアが17%改善。min/maxクエリが6〜18倍高速化
VARIANT型はSnowflakeのVARIANT型と互換性があり、ParquetのVARIANT仕様（2025年策定）にも準拠しています。DuckDBとSnowflake間でのVARIANTデータのやり取りがスムーズになることが期待されます。
Data Transform
dbt
dbt MCP Serverにプロダクトドキュメントツールが追加
dbt MCP Serverにsearch_product_docsとget_product_doc_pagesツールが追加され、開発環境からリアルタイムでdbtの公式ドキュメントにアクセスできるようになりました。
MCPを通じたツール連携がdbt側でも着実に進んでいます。
Business Intelligence
Omni
Claudeコネクタ＆Claude Skillsを発表
Omniが、Claude DesktopからOmniのデータウェアハウスのライブデータを分析できる「Claudeコネクタ」を発表しました。MCPサーバーを介した統合により、OmniのSemantic ModelとクエリエンジンをClaude上で直接活用できます。認証はOAuthで処理され、ユーザー権限に自動的に紐付けられます。
また、Omniでのモデリングやコンテンツ開発を自動化する「Claude Skills」も併せて提供されています。モデル探索（omni-model-explorer）、モデル構築（omni-model-builder）、クエリ実行（omni-query）、コンテンツ管理、AI最適化、管理機能など、多岐にわたるスキルが用意されています。
また、関連記事として私の記事で恐縮ですが、Tableauの.twbファイルからOmniのSemantic LayerのYAMLコードをClaude Codeで自動生成する検証記事を書いています。この記事の執筆時はOmni公式のSkillの存在を知らなかったためダッシュボードの生成は手動で行っていますが、このSkillがあればSemantic Layerのコード生成からダッシュボード生成までClaude Code経由で自動化できるかもしれません…！
AI Skillsでワンクリック定型分析が可能に
OmniのAI Skills（旧AI Workflows）がベータとして提供されています。モデルファイルのYAMLにskills:セクションを定義することで、AIアシスタントにワンクリックで起動できる定型分析ボタンを追加できます。
私も検証してブログを書いています。個人的に「自然言語でAIに質問をするスキル」は敷居が高いと感じており、このAI Skillはエンドユーザーが条件を指定するだけで事前に設定された内容に基づく分析レポートを出力してくれる点がとても良いと感じています。
Bring Your Own Modelが利用可能に
ユーザーが自身のAPIキーを管理し、OpenAI、Anthropic、Snowflake Cortex、Grokなど複数のLLMプロバイダーを選択できる「Bring Your Own Model」機能が発表されました。
Omni管理のLLM体験に加えて、組織のポリシーに合わせたモデル選択が可能になります。
Looker
複数の新機能リリース
2026年3月のLookerリリースノートで、複数のアップデートがありました。
- Self-service Explores GA（3月17日）：CSV/XLS/XLSXファイルのアップロードとクエリ実行機能が一般提供。Google Sheets向けのOAuthサポートも追加
- Custom Calendars Preview（3月17日）：SnowflakeおよびBigQuery接続で、LookMLカスタムカレンダーディメンショングループを通じた会計年度カレンダーや小売の営業日等に関するカレンダーの設定が可能に
- Increased Row Limit（3月17日）：可視化行制限を最大50,000行まで設定可能に（管理者向け）
Preset
Series Cで727万USDの資金調達をa16z主導で完了
Apache SupersetのマネージドサービスであるPresetが、a16z（Andreessen Horowitz）主導のSeries Cラウンドを完了しました。727万USDの資金調達を行っており、Redpoint VenturesおよびDatatech.fundも参加しています。
この資金はAI機能の深化とSupersetエコシステムの強化に充てられるとのことです。
Data Activation (Reverse ETL)
Fivetran (Activations)
Fivetranの接続・変換からActivation Syncをトリガー可能に
Fivetranに統合されたActivations（旧Census）にて、上流のFivetran接続や変換の完了をトリガーとしてActivation Syncを自動的に実行できるようになりました。
シンク設定のトリガー設定内にあるFivetranタブで依存関係を直接設定でき、追加のセットアップは不要です。従来のAPIキーベースのトリガーを置き換える形となります。
開発チームは今後、より高度なスケジューリングとオーケストレーションワークフローをサポートするためにこの基盤の上に構築していく予定とのことです。
Data Catalog
Atlan
Snowflake UDFsのリネージサポート
AtlanでSnowflakeのUDF（ユーザー定義関数）とストアドプロシージャがファーストクラスアセットとして検出可能になりました。UDFやストアドプロシージャがProcess Nodeに接続され、ビジネスロジックがデータパイプラインをどのように流れるかを追跡できます。
Data Quality・Data Observability
Monte Carlo
Agent Observabilityを発表
Monte Carloが、AI AgentのライフサイクルをEnd-to-Endで可視化する「Agent Observability」機能を発表しました。
機能の詳細な画面説明などはなかったのですが、以下の4つの柱でAI Agentの信頼性を担保する設計となっているようです。
- Context：Agentが動作する入力環境と条件の理解
- Performance：速度、効率、リソース利用メトリクスの測定
- Behavior：Agentのアクション、意思決定、操作パターンの追跡
- Outputs：結果の品質と正確性の検証
