![[2026年11月12日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-refcat-img-ee7c31b92fbe29ea378b955d879c6b5a/362040a04b0559e73e7a2f032789bb47/eyecatch_moderndatastack_1200_630.jpg?w=3840&fm=webp)
[2026年11月12日号]個人的に気になったModern Data Stack情報まとめ
さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Modern Data Stack全般
Context Needs Its Iceberg Moment
AtlanのCEOであるPrukalpa氏のニュースレター「Context & Chaos」にて、「コンテキストにもIcebergのような転機が必要」という論考が公開されました。
Apache Icebergは、Parquetなどのオープンなファイル形式の上に、テーブルの構成・スキーマ・スナップショットを管理する共通の仕組みを提供しました。一方で、AI Agentに渡すSkillsなどのコンテキストにはオープンな形式があっても、現在のバージョン、所有者、廃止状況、各ツールへの配布方法などを共通で管理するレイヤーが不足している、という問題提起です。
記事では、コンテキストを共有する仕組みに加え、Agentが実際にそれを使ったかの検証、変更時のレビュー、利用者からのフィードバックを反映する運用も重要だと述べられています。
SnowflakeのBusiness Ontology、DatabricksのGenie Ontologyなど、各社からAI向けのコンテキスト層が発表される中、企業が定義したコンテキストをどこまでツール間で共有できるようになるのか、今後も注目したいです。
Data Extract/Load
Fivetran
AI Connector Agentが一般提供
AIを用いてSaaS向けコネクタを構築するAI Connector Agentが一般提供となりました。
APIドキュメントを分析してエンドポイントを特定し、同期対象を選択することで、Fivetranがホスト・管理するコネクタを生成できます。Fivetranが標準でサポートしていないREST APIの取り込みにも活用できるため、独自コネクタの開発・保守負荷を減らしたい場合に役立ちそうです。
同月のリリースノートには、BigQueryを宛先とするManaged Data Lakeのベータ提供など、ほかにも複数の更新が記載されています。
Airbyte
Context Layerにセマンティック検索が追加
AirbyteのContext Layerに、セマンティック検索が追加されました。
Gongの通話記録やJiraの課題説明など、取り込み済みのテキストをパッセージに分割して埋め込みを生成し、意味による検索とキーワード検索を組み合わせて利用できます。検索結果には元のレコードや周辺コンテキストも含まれるため、AgentがDWH上のほかのデータとSQLで結合することもできます。
Airbyte MCPを通してClaudeやChatGPTなどからも利用でき、機能の利用には管理者および接続単位での有効化が必要です。
Data Warehouse/Data Lakehouse
Snowflake
Expedition 2026にてAI Gatewayの一般提供、Business Ontologyなどを発表
Snowflake Expedition 2026にて、AI Agentのガバナンスやコンテキストに関する複数の発表がありました。
- Cortex AI Gateway（GA）：OpenAI Chat Completions形式やAnthropic Messages形式でモデルを利用でき、トレースや利用状況、予算・クォータを管理可能
- Cortex AI Gateway Tools（Public Preview）：MCPツールの管理・ガバナンスを支援
- Business Ontology（まもなくPublic Preview）：承認済みのビジネス用語や関係性を定義し、AIや分析に提供
- Cortex Sense・Cortex AI Guardrails（まもなくPublic Preview）：コンテキストの推論やAI利用時のガードレールを支援
- Cortex Sandboxes・Dynamic Model Routingなど（Private Preview）
CoCo Cloud AgentsやPipeline Builderなど、データエンジニアリング関連の発表
同じくSnowflake Expedition 2026では、データエンジニアリング関連の発表もありました。主なものを提供状況ごとに整理すると、以下のとおりです。
- GA：CoCo Cloud Agents、CoCo Automations、Snowpipe StreamingのElastic Channels、Interactive Analyticsなど
- Public Preview：Snowflake Pipeline Builder、CoCo GitHub Integration、Icebergテーブル向けWrite-Audit-Publishなど
- まもなくPublic Preview：Snowflake for Slack、Snowflake Datastream、Apache Spark向けファイルリーダーなど
- Private Preview：Streaming Transformations
CoCoで作成したHTMLレポートを共有できる機能がプレビュー
CoCoを使って作成した自己完結型のHTMLレポートを、Reportアーティファクトとして共有する機能がプレビューとなりました。
Snowsight WorkspacesやCoCo Desktopなどで作成したレポートを公開し、アカウント内のユーザーやロールに共有できます。閲覧者は元のワークスペースやテーブルへのアクセス権がなくても、公開されたスナップショットを閲覧できます。
元のレポートを変更した場合は、共有されたアーティファクトも更新・公開し直す必要があります。また、元データへのアクセス権がないユーザーにも結果を見せられるため、公開前にレポートの内容と共有範囲を確認しておきましょう。
Semantic ViewsでLevel of Detail（LOD）式がプレビュー
Semantic Viewsで、クエリの粒度とは異なる粒度で値を計算するLOD式がプレビューとなりました。
FIXED DIMENSIONS：計算の粒度を指定したディメンションに固定INCLUDE DIMENSIONS：計算時にディメンションを追加EXCLUDE DIMENSIONS：計算時にディメンションを除外
Semantic Studioでも扱えますが、現時点ではCortex AnalystとCortex AgentsはLOD metricsを利用しない点にご注意ください。
TableauでLODを使って定義していたような計算をセマンティックレイヤー側に寄せられるのは嬉しいです。今後、Cortex Agentsからも利用できるようになることを期待しています。
Horizon Catalog経由のIcebergテーブルのクロスアカウント読み書きがGA
Horizon Catalogを経由して、別のSnowflakeアカウントが管理するApache Icebergテーブルを読み書きする機能が一般提供となりました。
Workload Identity Federation(WIF)を用いることで、シークレットの作成・保管・ローテーションを行わずに認証できます。データをコピーせず、異なるリージョンのアカウント間でも利用可能です。
また、Horizon Iceberg REST Catalog APIを通して、Spark・Trino・DuckDB・PyIcebergなどの外部エンジンから、外部管理のIcebergテーブルを読み書きする機能もGAとなっています。
Open Data SharingがGA
Open Data Sharingが一般提供となりました。
外部のコンシューマーが、Iceberg REST Catalog APIを使って、Snowflake管理のIcebergテーブルを読み取り専用で参照できます。ETLによるデータコピーを行わずに共有でき、クロスリージョン共有やWIF・PATによる認証にも対応しています。
なお、クロスリージョン共有にはクラウドやリージョンに関する制約がありますので、利用前に公式ドキュメントをご確認ください。
AI_PARSE_DOCUMENTのAGENTICモードがプレビュー
AI_PARSE_DOCUMENT関数のAGENTICモードがパブリックプレビューとなりました。
PDF内のテキストやレイアウトに加えて、グラフ・図・表などの視覚要素を解釈し、要約や構造化データとして抽出できます。
私も実際に試してみてブログにしています。決算報告書や会社紹介資料を解析したうえで、Cortex SearchとCortex Analystを組み合わせたAgentから、PDFとテーブルを横断して分析する構成を紹介しています。
Hybrid Tablesが自動で最大8倍高速に
Hybrid Tablesのエンジン改善がGAとなり、デフォルトで有効になったことが発表されました。
Snowflakeのベンチマークでは、ポイント操作のスループットが最大8倍となり、バッチINSERTについても性能・コストの改善が示されています。既存のワークロードに変更は不要とのことです。
数値はワークロードやウェアハウスの条件によって変わるため、利用中の方は自環境で性能とコストを確認してみるとよさそうです。
Databricks
Genie OntologyがGA
Unity Catalogでモデル化された知識と、Genieがアセットや利用状況から学習した知識を組み合わせるコンテキスト層、Genie Ontologyが一般提供となりました。
Genie OneやGenie CodeなどのAgentに、組織のビジネスを踏まえた情報を提供するための仕組みです。同時期に、Genie SearchやSlack・Microsoft Teams向けのGenieアプリもGAとなっています。
Unity Catalog Metric ViewsをPower BIに公開可能に
Unity CatalogのMetric ViewsをPower BIに公開する機能が、Private Previewとして発表されました。
Catalog ExplorerまたはLakeflow Jobsから同期でき、Metric ViewのメジャーはPower BIのDAXメジャーとして利用できます。DirectQueryとImportの両方に対応しますが、同期はDatabricksからPower BIへの一方向です。
BigQuery
Graph measuresがGA
BigQueryのGraph measuresが一般提供となりました。
集計を特定のキーに固定することで、JOINなどによる二重カウントを防げます。また、GRAPH_EXPANDを用いた複数ファクトの扱いにも対応しています。公式ブログでは、BIの指標とナレッジグラフを組み合わせ、AIや分析で一貫した指標を使う取り組みが紹介されています。
Unity Catalog・Glue・Snowflake Horizonなどのリモートカタログ対応がGA
BigQuery Lakehouseのリモートカタログとして、Databricks Unity Catalog、AWS Glue、Snowflake Horizon、Workday Data Lakeへの対応が一般提供となりました。
あわせて、リモートのファイルをGoogle Cloudのリージョンにキャッシュし、転送コストや遅延を抑えるクロスクラウドキャッシュもGAとなっています。
他社のカタログをBigQueryから参照できるようになり、異なるプラットフォーム間でオープンなデータを利用する選択肢がさらに広がった印象です。
Knowledge CatalogでKnowledge Studioがプレビュー
Knowledge Catalogにて、Knowledge Studioがプレビューとなりました。
自然言語やコンテキストグラフを使ったアセットの探索、自動エンリッチメントによるメタデータの生成などを行えます。また、コンテキストセットをMCPやAPI経由でAI Agentに提供することも可能です。
会話型分析が東京リージョンで利用可能に
BigQueryの会話型分析が東京リージョン（asia-northeast1）で利用できるようになりました。
同月には、AI.PARSE_DOCUMENTの一般提供や、データエージェントと会話をGoogle Cloud Observabilityで監視する機能の一般提供も発表されています。データの保存場所の要件から東京リージョンを利用している方にとっては、確認しておきたいアップデートです。
ClickHouse
Managed PostgresがGA、Xataを買収
ClickHouseが、Managed Postgresの一般提供と、Xataの買収を発表しました。
Managed PostgresはNVMeベースのPostgresサービスで、WalShadowやClickPipesなどを通してClickHouseと連携できます。GAはAWSが対象で、GCPはPrivate Previewです。
また、Xataの買収により、インスタントブランチ・クローン・scale-to-zeroなどの機能を今後統合する予定とのことです。
Data Transform
dbt
Have dbt skills been bitter lesson'd?
dbt Developer Blogにて、コーディングエージェントにdbt向けのSkillsがどの程度必要なのかを検証した記事が公開されました。
Snowflake上のdbtプロジェクトを使った検証では、Skillsの有無による差よりも実行ごとのばらつきが大きく、記事で評価したClaude 5.5系モデルは、Skillsなしでもチェック項目の92%以上を満たしたとのことです。
ただし、これは限定された検証環境での結果です。そのうえで記事では、一般的なdbtの概念を重ねて説明するよりも、チーム固有のテスト・デプロイ・レビュー手順などをSkillsに記述することを提案しています。
Semantic Layer
Cube
Building the Data Model Factory
Cubeが、本番環境からのフィードバックを使ってセマンティックモデルを継続的に改善する「data model factory」という考え方を紹介しました。
エラーや遅いクエリ、不足しているコンテキストなどを手掛かりに、モデルの変更を別ブランチで提案する構想です。セマンティックモデルを一度作って終わりにせず、利用状況を見ながら改善していくための考え方として参考になります。
Business Intelligence
Hex
Hex 4.0がパブリックベータとして提供開始
Hex 4.0がパブリックベータとして提供開始されました。
主な変更点は以下のとおりです。
- プロジェクトのロジックや可視化をコードで定義
- MCP経由で外部Agentからプロジェクトを構築・編集
- Context StudioでAgentの利用状況を確認
- 新しい実行エンジンによるクエリの並列実行
既存プロジェクトが自動的に4.0へ移行されるわけではないため、利用を検討する際はベータ版の対応状況や移行方法をご確認ください。
Data Activation（Reverse ETL）
Hightouch
Headless Hightouchを発表
HightouchのMCPサーバーを通して、外部のAIツールからHightouchのマーケティングAgentを利用するHeadless Hightouchが発表されました。
Snowflake CoWork、Databricks Genie、Gemini Enterprise、Claudeなどから、オーディエンスの作成や施策の分析、メール・SMSの下書きなどを行う構成が紹介されています。権限はHightouch側のRBACに従います。
