![[2026年10月15日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-refcat-img-ee7c31b92fbe29ea378b955d879c6b5a/362040a04b0559e73e7a2f032789bb47/eyecatch_moderndatastack_1200_630.jpg?w=3840&fm=webp)
[2026年10月15日号]個人的に気になったModern Data Stack情報まとめ
さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Modern Data Stack全般
The Self-Organizing Data Stack
Data Engineering WeeklyのAnanth Packkildurai氏が、「自己組織化するデータスタック」というコンセプトの記事を公開しました。
この記事では、データエンジニアがDAGや物理テーブルを個別に作り込むのではなく、利用者が必要とするデータプロダクトの意味や契約を定義し、オーケストレーションエンジンがその要件を満たすグラフを維持・再編成する構想が提案されています。
具体的には、要件からのパイプライン生成、重複する処理の統合、変更の検証と修復、依存先を壊さない切り替え、意味が曖昧な場合の人への確認、といったループをオーケストレーションエンジンが担います。一方で、ビジネス上の意味や判断は人が管理する、という役割分担です。
LinkedInのData Context Layer
LinkedInのData Context Layerの取り組みが紹介されていました。
LinkedInでは、スキーマやクエリ利用状況などから自動生成するコンテキストに加えて、業務ルールや例外、過去の調査で得られた知識をGitリポジトリで管理しています。人がPull Requestでレビューしたコンテキストと、自動的に生成・更新されるコンテキストを分けて管理し、Agentやアプリケーション、従業員が共通のコンテキストを利用できるようにする「Context as Code」のアプローチです。
AgentはMCPツールを通じてコンテキストを取得でき、階層化されたインデックスをたどることで、関係のない情報を大量に読み込まずに必要な情報へアクセスできる仕様です。
Data Warehouse/Data Lakehouse
Snowflake
Semantic Views向けのIDE「Semantic Studio」が一般提供
Semantic Viewを作成・管理するIDE「Semantic Studio」がSnowflake Workspacesに統合され、一般提供となりました。
Semantic Viewの編集に加え、CoCoによるAI支援、Gitによるバージョン管理、変更差分の確認、評価用クエリの実行などがWorkspace上で可能となりました。
Horizon Catalogを外部システムへ拡張する「Horizon Context」がプレビュー
Horizon Catalogを外部システムのメタデータまで拡張する「Horizon Context」がプレビューとなりました。
Power BI、Tableau、dbt、Databricksなどの外部システムにあるメタデータをSnowflake上で参照・管理し、リネージやタグ、説明などを横断的に扱えるようにする機能です。
Cortex Agent SDKがパブリックプレビュー
Cortex Agents向けのPython・TypeScript SDKがパブリックプレビューとなりました。アプリケーションからAgentを管理し、会話スレッドを維持したり、長時間実行される作業に再接続したりする用途が想定されています。
AI_COMPLETEで「Snowflake Decision」がプライベートプレビュー
AI_COMPLETE関数で利用できる新しいモデル「Snowflake Decision」がプライベートプレビューとなりました。テキストや構造化データをもとに、分類・スコアリング・判定などの限定された意思決定を行うモデルです。
対応する評価形式として、選択肢からの分類、ルーブリックに基づくスコアリング、True/False形式の判定が紹介されています。選択肢やスコアの確率・信頼度も結果に含まれるため、一定の閾値を超えたものは自動処理し、判断が難しいものは人のレビューに回す、といった使い方が想定されています。
CoCoと会話してMarketplaceのリスティングを探せる「Agentic Marketplace Discovery」がパブリックプレビュー
SnowsightのMarketplaceで、CoCoに必要なデータを説明し、該当するリスティングを探索・比較できる「Agentic Marketplace Discovery」がパブリックプレビューとなりました。
Workday Data Cloudとのゼロコピー連携が一般提供
Workday Data CloudとSnowflakeのゼロコピー連携が一般提供となりました。WorkdayのHRデータをApache Iceberg経由でSnowflakeから参照でき、Workday側のセマンティックレイヤーやガバナンスを維持しながら、Snowflake上の分析やAI活用につなげられます。
現時点で利用可能な対象データとして、Worker、Position、PayrollなどのHRオブジェクトが紹介されています。金融データは今後対応予定で、連携はAWSとGCPで利用可能とのことです。
タグとデータ保護ポリシーを管理するSnowsightのUIが一般提供
Snowsight上でタグやデータ保護ポリシーを管理するインターフェースが一般提供となりました。
BigQuery
Conversational Analyticsがマルチプロジェクトに対応、データエージェントのGemini Enterpriseへの公開も可能に
BigQueryのConversational Analyticsで、複数プロジェクトのデータソースを使った会話や、データセット単位の会話を作成できるようになりました。また、BigQueryで作成したデータエージェントをGemini Enterpriseに公開する機能も一般提供となっています。
BigQuery Data Engineering Agentが東京リージョンに対応
BigQuery Data Engineering Agentがasia-northeast1（東京）リージョンに対応しました。データの所在地要件から東京リージョンを利用している環境にとって、選択肢が広がるアップデートです。
Databricks
Metric ViewsのWindow measuresが一般提供
Metric ViewsのWindow measuresが一般提供となりました。移動平均、期間比較、累積値など、時間軸に沿った集計をMetric Viewで定義できます。
Governed tag propagationがベータ、Cross-engine ABACが一般提供
Unity CatalogのGoverned tag propagationがベータとなりました。対応する操作でテーブルやビューが派生した際、リネージを使って管理タグを自動伝播し、下流データにも分類やABACの適用をつなげられます。
また、Cross-engine ABACが一般提供となりました。対応する外部エンジンからUnity Catalogの管理テーブルを読む場合も、Databricks serverless computeによる行フィルターや列マスキングなどが適用されます。
弊社でも、タグの伝播とABACを組み合わせて試したブログを書いています。
Genie Code CLIがベータ
Databricks上のデータ・AI開発を支援するコーディングAgent「Genie Code CLI」がベータとなりました。ターミナル上でローカルファイルを扱い、Databricks CLIを通じてデータの探索や質問への回答、パイプライン・モデル・アプリなどの作成・デプロイを行えます。モデルへのアクセスはUnity Gatewayを通じて管理されます。
Private Network Gatewayを発表
Databricksが、serverless workloadからプライベートネットワークへ接続するための「Private Network Gateway」を発表しました。
ネットワーク単位で接続を設定し、既存のルート、DNS、ファイアウォール設定を使ってアクセス先を制御する仕組みです。サーバーレスのLakeflow Connectからプライベートデータベースに接続したり、社内のMCPサーバーをAgentから利用したりする用途が紹介されています。
提供状況は、Azureでパブリックプレビュー、AWSでプライベートプレビューです。Google Cloudは開発中とのことです。
DuckDB
DuckDB CLIに「Agent Mode」が登場
DuckDBのCLIに、AIコーディングAgent向けの「Agent Mode」が追加されました。
AgentがCLI出力を読む際のトークン消費や、結果の切り詰めを見落とすリスクを減らすため、Agentを検出した場合に出力形式を最適化します。DuckDBの発表では、テストしたTPC-Hの22問で、CLIからAgentに返すトークン数を約60%削減しながら回答を維持できたとしています。Agent ModeはDuckDB v2.0に含まれています。
Unity Catalog（OSS）
Unity Catalog 0.7.0でApache Icebergをネイティブサポート
OSS版Unity Catalogの0.7.0にて、Apache Icebergのネイティブサポートが追加されました。Delta UniFormを介さずにネイティブなIcebergテーブルを作成・書き込み・rename・dropでき、Iceberg RESTカタログ経由でSparkやPyIcebergから同じガバナンスを利用できます。
Data Transform
dbt
dbt Wizardの内部構造を解説するブログが公開
DAGや依存関係を理解してdbtプロジェクトの変更を行うAgent「dbt Wizard」の内部構造を解説する記事が公開されました。
dbt Wizardでは、Agentが変更を作成した後、コンパイルやテストなどの結果をフィードバックして修正を繰り返す検証ループを用意しています。また、DuckDBとParquetを使ったメタデータインデックスで依存関係や影響範囲を参照し、変更後に必要な検証を計画します。
dbt Labsの発表では、Wizardを使った変更のフォローアップ修正率は5%だったとのことです。Agentの出力をそのまま採用するのではなく、コンパイラやテストからのフィードバックを含む仕組みで品質を担保する設計が参考になります。
Business Intelligence
Sigma
Claude Dashboardsで作ったプロトタイプをSigmaに送れるように
Claude Dashboardsで作成したプロトタイプを、Send to SigmaからSigmaのワークブックに変換できるようになりました。試作はClaudeで素早く行い、共有や本番運用はガバナンス・権限管理のあるSigmaで行う、という使い分けを想定しています。
Lightdash
プロジェクト保守を自動化する「Lightdash Autopilot」を発表
Lightdashが、プロジェクトの保守を自動化するAgent「Lightdash Autopilot」を発表しました。
- 長期間使われていないチャートやダッシュボードを削除
- 壊れたチャートを修復
- 遅いクエリを検出
- 削除コンテンツをアクティビティログから復元
Looker
Looker 26.18のリリースノートが公開
Looker 26.18のリリースノートが公開され、以下のアップデートが案内されました。
- LookMLを診断・自動修復する
Diagnose & Repairツール - Looker CIのStyle Validator
- Conversational Analyticsの定期配信
- Gemini CLIなどで生成するLooker Data Apps
- AI-Assisted Quick Startsの一般提供
- ClickHouse 26以降、Dremio 26.0以降（Arrow Flight SQL）への対応
また、私の記事で恐縮ですが、ダッシュボードの可視化タイルに直接フィルターを配置できる「Filters on Visualization Tiles」を試したブログも書いています。
Hex
evalsを使ったヒルクライミングでAIの誤りを7分の1に
Hexが、evalsを用いた反復改善の取り組みを公開しました。1,800件のevalを使った検証では、AIの誤編集率を21%から3%に削減できたとのことです。
また、改善への寄与はプロンプト調整よりもバリデータの改善が大きかったとしています。Agentの品質を高める際に、モデルへの指示だけでなく、出力を検証する仕組みも重要だと分かる事例です。
Knowledge Catalog（旧Dataplex）
Lookerのアセットをデータプロダクトとして扱えるように
Google CloudのKnowledge Catalog（旧Dataplex）で、Looker（Google Cloud core）のダッシュボード・Look・Explore・LookMLプロジェクトなどを、データプロダクトに含めて管理・共有できるようになりました。
Data Activation (Reverse ETL)
Hightouch
HightouchがStrataを買収
Hightouchが、AIを活用したノーコードのAPI連携基盤「Strata」の買収を発表しました。
Strataでは、連携したいデータと接続先を自然言語で説明すると、Agentがフィールドやイベントをマッピングし、変換を含む統合を生成・維持します。接続先の数が価値に直結するReverse ETL領域で、コネクタ開発そのものをAIで効率化する方向性は興味深いです。
Data Orchestration
Orchestra
AI Agent向けのオーケストレーション記述言語「Orchestra Markup Language（.oml）」を発表
Orchestraが、AI Agentが記述することを前提に設計したオーケストレーション記述言語.omlを発表しました。IDE内でのリアルタイムの型検証や、SQL・Pythonなど言語別のブロック記法に対応しています。
