![[2026年9月16日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-refcat-img-ee7c31b92fbe29ea378b955d879c6b5a/362040a04b0559e73e7a2f032789bb47/eyecatch_moderndatastack_1200_630.jpg?w=3840&fm=webp)
[2026年9月16日号]個人的に気になったModern Data Stack情報まとめ
さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Modern Data Stack全般
SpotifyがPortalとClaude Codeの組み合わせでトークン使用量を約90%削減
SpotifyのEngineering Blogにて、社内ツール「Portal」とClaude Codeを組み合わせ、AIコーディングエージェントのトークン使用量を大幅に削減した事例が公開されました。
AIコーディングエージェントが消費するトークンの多くは、必ずしも高度な推論ではなく、ファイルの読み込みやコマンド実行結果などのI/Oに使われています。そこでSpotifyでは、こうした処理を別の軽量なモデルへ委譲し、Claude Codeには要約結果だけを渡す構成を採用しています。
具体的には、以下のような2種類のAgent Modeを用意しています。
- bulk-reader：複数の大きなファイルを読み込み、質問に対する構造化された要約を返す
- code-writer：既存ファイルのパターンを参照しながら、テストコードや設定ファイルなどの定型的なコードを生成する
さらに、Claude CodeのHooksを利用して、大きなファイルを直接読み込もうとした場合に処理をブロックし、bulk-readerへ誘導しています。
一方で、デバッグやアーキテクチャ判断のような高度な推論、細かな編集作業は委譲には向いていないとされています。ベンチマークでは大きなファイルの読み込みにおいて、平均で約90%のトークン削減を実現したとのことです。
AI Agentの活用では、どのモデルを使うかだけでなく、どの処理をどのモデルへ渡すかというルーティング設計が重要になってきています。その好例だと感じました。
Data Warehouse / Data Lakehouse
Snowflake
Snowflake World Tour Tokyo 2026が開催
2026年9月10日・11日に、Snowflake World Tour Tokyo 2026が開催されました。
SnowflakeのAI、データ基盤、ガバナンス、アプリケーション開発など、多くの新機能や事例に関する発表が行われ、弊社メンバーによるセッションレポートも公開されています。以下のリンクよりご覧ください。
Cortex AI Gatewayがパブリックプレビューに
Snowflake外部のLLMプロバイダーへのアクセスを一元的に管理する「Cortex AI Gateway」がパブリックプレビューとなりました。
Cortex AI Gatewayを利用することで、外部のLLM APIを呼び出す場合でも、Snowflake側で以下のような統制を行えるようになります。
- アクセス制御
- 利用状況の可視化
- 利用量やコストの管理
- 外部モデル利用時のガバナンス
AIサービスごとに認証・ログ・コスト管理を分散させるのではなく、データ基盤側に統制点を集約できる選択肢として注目しています。
Openflow第2世代のDeploymentとRuntimeが一般提供
SnowflakeのOpenflow第2世代について、DeploymentとRuntimeが一般提供となりました。
DeploymentやRuntimeがSnowflakeオブジェクトとして扱われるようになり、Snowflake SQLやOpenflow UIからライフサイクルを管理できます。データ連携基盤の実行環境をSnowflakeの管理モデルへ寄せられる点が特徴です。
なお、Gen2 Connectorの機能は引き続きプレビューです。今回GAになったのはDeploymentとRuntimeであり、ConnectorのセットアップウィザードやSQL・Stageベースの設定とは提供状況が異なります。
dbt Projects on SnowflakeでSlim CIとdefer to productionがGA
dbt Projects on Snowflakeにて、dbt Artifactsを利用したSlim CIとdefer to productionが一般提供となりました。
主な機能は以下の通りです。
- Slim CI
最新の本番実行アーティファクトを利用し、変更されたリソースと、その下流依存関係を中心に検証する - Defer to production
開発環境でまだ構築されていない上流モデルを、本番環境の既存リレーションへ解決する - 並行実行
同じdbt Project Objectから複数の実行を並行して起動する - 失敗時の復旧
最新の失敗実行アーティファクトを利用し、復旧処理を効率化する
dbtプロジェクトの規模が大きくなると、Pull Requestごとに全モデルをビルドするCIは、実行時間・コンピュートコストともに無視できなくなります。
dbtの状態管理機能をSnowflake上のdbt Projectsへ組み込めるようになったことで、CI/CDの運用をより理想的な形で設計できそうです。
弊社でもこの新機能について検証しております。併せてご覧ください。
External Secret Providersがパブリックプレビューに
Snowflakeから、以下の外部シークレットマネージャーに保存された値を参照できる「External Secret Providers」がパブリックプレビューとなりました。
- AWS Secrets Manager
- Azure Key Vault
- Google Cloud Secret Manager
APIキーやデータベースパスワードなどをSnowflake内にコピーするのではなく、外部のシークレット管理サービスを参照できます。
また、Workload Identity Federationを利用するため、クラウド側の長期的なアクセスキーやサービスアカウントキーをSnowflakeに保存する必要がない点も特徴です。
既存のシークレット管理基盤を維持しながら、Snowflakeから安全に外部サービスへ接続したい場合に有用な機能だと思います。
こちらの機能についても、弊社で既に検証をしております。併せてご覧ください。
Databricks
Genie One / Genie Codeの外部ツール連携をMCPで強化
DatabricksのMCPコネクタを通じて、Genie OneやGenie Codeから外部ツールへアクセスできるようになりました。
対象として、以下のようなサービスが紹介されています。
- Google Workspace
- Microsoft 365
- Slack
- GitHub
- Atlassian
接続はUnity CatalogとUnity Gatewayを通じてガバナンスされ、ツール呼び出しに対する認可、ポリシー適用、監査ログ記録を行えます。
ユーザーごとにOAuth認証を行うため、共有の認証情報やOAuthトークンをAgent間で使い回す必要もありません。また、Google Drive、Microsoft 365、Atlassian、Slackについては、書き込みアクションにも対応しています。
OpenSharingで外部Iceberg / Deltaテーブル共有がGA
Databricksが提供する共有規格「OpenSharing」にて、外部Icebergテーブルの共有・読み取りが一般提供となりました。
OneLake、Hive Metastore、AWS Glueなどの外部カタログに登録されたDelta形式のテーブルについても、コピーなしで共有できるとされています。
SnowflakeやTrinoなど、外部のIceberg対応クライアントからもトランザクション整合性を保ったままアクセスできるとのことです。
ClickHouse
Prometheusの代替を目指す新しいTimeSeries Engineを発表
ClickHouseが、Prometheusの代替を目指す新しいTimeSeries Engineを発表しました。
Prometheusメトリクスの保存とPromQLクエリをサポートし、ログやトレースと同じClickHouse基盤で扱えるようにする構成です。
メトリクス、ログ、トレースを一つの分析基盤へ集約できれば、Observability用途で複数システムを運用する負担を減らせる可能性があります。
Data Transform
dbt
dbt 2.0.0が正式リリース
dbt Labsが、dbt 2.0.0を正式リリースしました。
dbt v2はRustベースのFusionエンジンを基盤としており、これまでFusionとして展開されてきた機能が、dbtの新しいメジャーバージョンとして整理されています。
主な変更点は以下の通りです。
- インストール済みパッケージからAgent Skillsをインストール可能
- DatabricksのネイティブなMetric View materializationに対応
- 新しい
adbc_clickhouseドライバーによるClickHouse連携の強化 - Fusion/dbt CoreというCLI上のブランド表記をdbt/dbt-ossへ変更
- より高速なdbt Docs v2を提供
- v1で非推奨となっていた機能やフラグの整理
dbt v2では、既存のプロジェクト構造やDAGの考え方を引き継ぎながら、より高速で厳格な実行モデルへ移行しています。
ただし、アップグレードにあたっては以下の点に注意が必要です。
- 既存の非推奨警告を解消する必要がある
- 外部パッケージのv2対応状況を確認する必要がある
- v1向けのCLIフラグや挙動が変更されている
- 一部アダプターや環境では、まだPreviewやBeta扱いの場合がある
移行にあたっての注意点などは、以下の公式Docも併せてご覧ください。
Datacoves
Atlas Agreement Layerを発表
Datacovesが、企業内のAI利用における合意形成を支援する「Atlas Agreement Layer」というコンセプトを発表しました。
Atlasは、ユーザーの質問にすぐ回答するのではなく、まず質問の意味や前提を明確化します。複数の解釈がある場合はユーザーに確認し、その結果として合意された定義を記録・バージョン管理するという仕組みです。
例えば「売上が落ちている理由は何か」という質問に対しても、以下のような論点を明確にする必要があります。
- 売上は受注額か、請求額か、入金額か
- 比較対象は前月か、前年同月か
- 返品やキャンセルを含めるか
- どの地域や商品を対象にするか
AIによって「それらしい誤答」を簡単に生成できるようになったからこそ、質問の意味や定義に関する合意を、回答後ではなく回答プロセスの中で形成するという発想が重要になります。
データガバナンスを別プロジェクトとして進めるのではなく、質問に答えるプロセスの副産物として組み込む考え方が興味深いです。
Business Intelligence
dbt
dbt Chartsをオープンソースで公開
dbt Labsが、ダッシュボードを宣言的に定義する「dbt Charts」をApache 2.0ライセンスで公開しました。
YAMLとSQLを使って、ダッシュボード全体をコードとして定義でき、dbtプロジェクトと同じGitリポジトリで管理できます。
主な特徴は以下の通りです。
- ダッシュボードをコードとして管理
- SQLとYAMLによる宣言的な定義
- Gitによるバージョン管理
- Pull Requestによるレビュー
- dbtプロジェクトとの統合
- AI Agentによる生成・検証を意識した設計
「Agentはコード、SQL、Gitには強いが、他社製品のUI操作は苦手」という考え方に基づき、BI定義をUI中心ではなくコード中心へ寄せています。
Looker
VS Code拡張機能が一般提供
Looker Extension for VS Codeが一般提供となりました。
LookML開発をVS Code上で行えるほか、MCP対応によってAIを活用した開発支援も可能になっています。対話的なオンボーディングやOAuth対応も強化されています。
Tableau
Chat GPT向けプラグインをリリース
TableauのXにおいて、Chat GPTからTableauのダッシュボードを生成できるプラグインが発表されました。
Sigma
ChatGPT WorkとCodex向けプラグインをリリース
Sigmaが、ChatGPT WorkおよびCodexからSigmaを利用できるプラグインを発表しました。
自然言語による質問から、Sigma上でインタラクティブなダッシュボードを作成できます。Sigma側で設定された権限も引き継がれるため、AIチャットから利用する場合でも既存のガバナンスを維持できます。
また、チャット上で以下のような変更を対話的に行えます。
- グラフの種類を変更する
- 色や表示形式を調整する
- フィルターを追加する
- ダッシュボードの構成を変更する
Data Orchestration
Kestra
v2.0が正式リリース
Kestra 2.0が正式リリースされ、LTS版として位置づけられました。
今回のリリースでは、実行エンジンの再設計に加えて、Agent連携やガバナンス機能も強化されています。
Dagster ※Prefectにより買収
Prefectとの統合機能がプレビューに
Dagster 1.13.22にて、DagsterのアセットからPrefectのDeploymentやバックグラウンドタスクを起動できるdagster-prefect統合がプレビューとなりました。
異なるオーケストレーション製品を一つの組織内で併用しているケースでは、すべてを一度に移行するのではなく、既存資産を残したまま相互運用する必要があります。
今回の統合は、DagsterとPrefectのどちらか一方に完全移行するのではなく、両方の実行モデルを組み合わせるための選択肢として興味深いアップデートです。
