![[2026年10月28日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-refcat-img-ee7c31b92fbe29ea378b955d879c6b5a/362040a04b0559e73e7a2f032789bb47/eyecatch_moderndatastack_1200_630.jpg?w=3840&fm=webp)
[2026年10月28日号]個人的に気になったModern Data Stack情報まとめ
さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Modern Data Stack全般
Open Data Infrastructure in the age of AI agents
The Analytics Engineering Roundupにて、dbt LabsのTristan Handy氏、FivetranのGeorge Fraser氏、a16zのMartin Casado氏による、AIエージェント時代のデータ基盤に関する議論が公開されました。
個人的に印象的だったのは、「MCPで各SaaSに直接接続すれば、データ基盤は不要になるのでは？」という考え方に対する議論です。
記事では、MCPはHTTPに近いシステムへのアクセス手段であり、それ自体がデータの構造化、権限管理、ガバナンスや検索のためのアーキテクチャを提供するわけではない、と説明されています。また、複数システムを横断する場合の権限管理やトークンコストも課題として挙げられています。
Data Extract/Load
Airbyte
Airbyte MCP ServerとContext Layerを発表
Airbyteが、Airbyte MCP ServerとContext Layerを発表しました。
MCP Serverを使うことで、ClaudeやChatGPT、CursorなどのMCP対応クライアントから、Airbyteの接続作成や同期の実行、失敗した同期のログ確認と修正案の提示などが可能です。
また、Context Layerでは、BigQueryやSnowflakeへの読み取りに加え、ウェアハウスを経由せず50以上の対応ソースから直接データを参照できます。
- MCP Serverはオープンソースで、Coreを含むAirbyteの各プランで利用可能
- Context Layerは管理者による有効化が必要で、公式ブログではAirbyte CloudとEnterprise Flexに対応すると記載
- 操作は読み取り・変更・削除に分類され、削除時には確認を挟む設計
ELTツールの運用操作をエージェント経由で行えることに加え、ウェアハウスを経由しないソースの直接読み取りも提供している点が興味深いです。
Fivetran
Fivetran SkillsでClaudeからMarketoのデータを扱う方法を公開
FivetranがMarketoを題材に、AIエージェントへデータの読み方を伝える「Fivetran Skills」の活用記事を公開しました。
Fivetran Skillsは、Fivetranで同期したBigQuery・Databricks・Snowflake上のデータを、Claude CodeやCodex、Gemini CLIなどのAIエージェントから分析するためのオープンソースの分析パッケージで、現在パブリックプレビューとして提供されています。
記事では、Marketo固有のリードの遷移、プログラムの構成、メールへの反応などを踏まえ、ウェアハウスに同期されたデータに対してSQLで回答する仕組みが紹介されています。
Data Warehouse/Data Lakehouse
Snowflake
Snowflake Postgresのデータミラーリングが一般提供
Snowflake PostgresのテーブルをSnowflakeのデータベースへ継続的に複製する、データミラーリング機能が一般提供となりました。
INSERT・UPDATE・DELETEやスキーマ変更を反映でき、別途ETLツールやコネクタを用意する必要はありません。変更はPostgresの論理レプリケーションを用いて取得され、Icebergのチェンジログを経由してSnowflakeへ適用されます。
また、確定済みデータと転送中の変更を合わせて参照できる$liveビューや、変更を確認するための$changesフィードも提供されます。ミラー先はSnowflakeの標準テーブル、または自社ストレージを利用するIcebergテーブルを選択できます。
SnowflakeとOracleが提携を拡大、OCI上でSnowflakeを提供予定
SnowflakeとOracleが提携の拡大を発表し、Snowflake AI Data CloudをOracle Cloud Infrastructure（OCI）のファーストパーティサービスとして提供する計画を明らかにしました。
Oracleとの直接契約やOCI経由の請求に加え、Oracle Database、Fusion Applications、NetSuiteなどとの連携が予定されています。他クラウド上のSnowflakeアカウントとのデータ共有やレプリケーションなどにも対応する計画です。
※現時点では提供開始時期は明示されておらず、計画段階の発表ですのでご注意ください。
dbt Projects on Snowflakeでdbt State連携やsource freshnessなどに対応
dbt Projects on Snowflakeにて、複数のアップデートがありました。
- dbt State連携：dbt Labsのサービスを用いて再構築が必要なモデルを判定し、不要な実行を省略
- source freshness：Workspacesやスケジュール実行などから実行でき、DAG上で鮮度の状態を確認可能
- プロジェクト間参照のDAG表示：
dbt depsで取り込んだプライベートGitパッケージのモデルを元のプロジェクトごとに表示 - 失敗モデルの再実行：失敗したモデルとその下流を再実行可能
Parquet Directがプレビュー
クラウドストレージ上のParquetファイルから、データを複製せずに読み取り専用のIcebergテーブルを作成できる「Parquet Direct」がプレビューとなりました。
スキーマ推論やスキーマ進化、Hiveパーティションの推論に対応し、クラウドストレージのイベントを用いた自動更新も可能です。
既存のデータレイク上にあるParquetファイルをSnowflakeから参照したい場合の新しい選択肢となりそうです。
Pipeline Builderがプレビュー
Workspaces内でNotebooks・Pythonファイル・ML Jobs・SQLなどをタスクグラフとして組み立てられる、ビジュアル設計ツール「Pipeline Builder」がプレビューとなりました。
パイプラインはDCMプロジェクトとして管理でき、Git管理やデプロイ前の確認にも対応しています。
早速弊社でも実際に試してブログを書いていますので、使用感を知りたい方はこちらもご覧ください。
タスクグラフのAtomic deployments・集中設定・高度な分岐がプレビュー
Snowflakeのタスクグラフに関する複数の機能がプレビューとなりました。
- スケジュール、リトライ、デフォルト設定などをグラフ単位で管理
- 更新内容をステージングし、新しいバージョンとしてまとめてコミット
- 先行タスクの失敗・成功などに応じた条件分岐
失敗時の処理などをタスクグラフ内に組み込みやすくなるため、Snowflake上でパイプラインを完結させたい場合に嬉しいアップデートだと思います。
Cortex Codeのスキル・プラグイン共有が一般提供
Cortex Codeのスキルやプラグインを、Cortex Extensionオブジェクトとしてチームやロール、アカウント内で共有する機能が一般提供となりました。
共有時にはセキュリティスキャンが実行され、スキャンに失敗したものは他のユーザーがインストールできない仕組みです。また、カタログ管理の権限を委譲できるようになりました。
移行用デスクトップアプリ「Snowflake AIM」がパブリックプレビュー
Snowflakeへの移行を支援するスタンドアロンのデスクトップアプリ「Snowflake AIM」がパブリックプレビューとなりました。
接続・初期化・登録・変換・評価・移行のガイド付きワークフローを提供し、SQL Server、Redshift、Oracle、Teradata、PostgreSQLからの移行に対応しています。
SSISやInformaticaの変換にも対応しており、BIの付け替えは現時点ではPower BIが対象です。
BigQuery
ObjectRefによるマルチモーダル分析が一般提供
Cloud Storage上の画像・動画・音声・文書などを、STRUCT型のObjectRefとしてSQLから扱う機能が一般提供となりました。
GAに合わせて、エンドユーザー認証情報の利用、OBJ.LIST関数、複数ファイルをまとめて扱う配列への対応なども追加されています。
AI.CLASSIFY、AI.IF、AI.GENERATEと組み合わせることで、非構造化データの分類や情報抽出をSQLから実行できます。
Databricks
Agent Memoryがベータ
Databricksが、AIエージェント向けにセッションや長期記憶を管理する「Agent Memory」をベータとして発表しました。
基盤にはサーバーレスPostgresのLakebaseが利用されており、ユーザーごとの記憶を閲覧・エクスポート・削除できます。
Databricksの社内ベンチマークでは、正答率が約3倍になり、トークン使用量が31%削減されたとのことです。
Unity CatalogがIcebergテーブルのREGISTER・UNREGISTERに対応
Databricksが、オープンなデータカタログに関するブログを公開しました。
Unity Catalogでは、Iceberg REST Catalog仕様のREGISTER・UNREGISTERを使い、データファイルをコピーせずにIcebergテーブルの登録・登録解除ができると説明されています。両機能はプライベートプレビューで、利用にはDatabricksへの問い合わせが必要です。
DuckDB
DuckDB 2.0.0 LTS「Cinnamon Teal」リリース
DuckDB 2.0.0がLTSとしてリリースされました。少なくとも2027年10月までサポートされる予定です。
主なアップデートは以下の通りです。
- Quackプロトコルの強化：クライアント・サーバー型の利用やリモートクエリを改善
- 非同期I/O：ParquetやCSVなどの読み取りを改善
- CLIのエージェントモード：AIエージェントが扱いやすい出力形式などを提供
- VARIANT型やDuckLake関連機能の強化
- IcebergやDeltaとの連携機能の拡充
メジャーバージョンアップに伴う互換性上の変更もあるため、既存環境を更新する際はリリース記事の移行手順をご確認ください。
Data Transform
dbt
dbt platformの2026年10月リリースノート
dbt platformの2026年10月のリリースノートに、以下のアップデートが記載されました。
- dbt Stateの無料枠：セルフホストのdbtユーザー向けに、トライアル終了後も月1,000 DATTの無料プランを提供
- dbt Stateの利用状況通知：月間枠の80%到達時などに課金管理者へ通知
- Wizard Desktop：dbt platformのリモートMCPサーバーへの接続や、ファイル・画像の添付などを改善
dbt Stateに無料枠が用意されたことで、セルフホスト環境からも試しやすくなったのは嬉しいです。詳細は公式ドキュメントをご確認ください。
Business Intelligence
Looker
Looker管理のMCPサーバーが一般提供
Lookerに組み込まれたMCPサーバーが、2026年10月26日のリリースノートで一般提供と記載されました。
AIエージェントから追加のミドルウェアなしでLookMLモデルに接続でき、OAuthを用いたユーザー単位のアクセス管理に対応します。
Hex
Hex 4.0をプライベートベータとして発表
Hexが、プラットフォームを刷新したHex 4.0をプライベートベータとして発表しました。
Claude・Codex・Cursorなどの外部エージェントから分析にアクセスし、結果を公開・共有できるほか、分析のロジックや可視化をYAMLではなくプログラムのコードとしてレビューしやすくする方向性が示されています。
また、新しい実行エンジンでは独立したクエリの並列実行や、変更の影響を受けた部分だけの再実行に対応しています。Hexの社内ダッシュボードでは4〜12倍の高速化が見られたとのことです。
1億ドルの資金調達を発表
Hexが、1億ドルの資金調達を発表しました。
Hex 4.0の発表と併せて、AIエージェントを前提とした分析プラットフォームへの投資を進める方針が示されています。
Data Catalog
Google Cloud Knowledge Catalog
自己学習型のコンテキスト強化機能がプレビュー
Knowledge Catalogにて、AIエージェント向けのコンテキストを強化する機能がプレビューとして発表されました。
Geminiが非構造化データやメタデータをもとに、ビジネス定義、結合関係、ゴールデンクエリ、エージェントへの指示などを提案します。また、エージェントの実行トレースから改善が必要な箇所を検出し、変更案を作成できます。
信頼度に応じた公開の制御や、データスチュワードによる承認も用意されています。
エージェントの失敗からカタログ上のコンテキストを改善する、というフィードバックループが製品機能として形になってきたと感じました。
LookMLメタデータのKnowledge Catalogへのインデックスが一般提供
LookMLのモデルやExplore、View、ダッシュボードなどをKnowledge Catalogにインデックスする機能が、Looker（Google Cloud core）向けに一般提供となりました。
エージェントがLookML上の指標の計算式や結合経路などを参照できるようになり、既存のセマンティックモデルをAI向けのコンテキストとして活用できます。
Data Quality・Data Observability
Elementary
BoomiがElementary Dataを買収
Boomiが、データオブザーバビリティ製品を提供するElementary Dataの買収を発表しました。
Elementaryのオブザーバビリティ、品質、ガバナンス、データディスカバリーの機能をBoomi Enterprise Platformへ取り込む方針です。
Elementaryの発表によると、既存の製品やOSSプロジェクトは継続し、OSSについても引き続きメンテナンスされるとのことです。dbtユーザーにとって馴染みのあるOSSでもあるため、今後の展開にも注目したいです。
