![[2026年9月2日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-refcat-img-ee7c31b92fbe29ea378b955d879c6b5a/362040a04b0559e73e7a2f032789bb47/eyecatch_moderndatastack_1200_630.jpg?w=3840&fm=webp)
[2026年9月2日号]個人的に気になったModern Data Stack情報まとめ
さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Data Extract/Load
Airbyte
Connector Skills：Agentに「ゴール達成」のための知識を提供
Airbyteが、AI Agent向けの新機能「Connector Skills」を発表しました。
従来のコネクタは、SaaSやデータベースからデータを取得するための接続機能という位置付けでした。
Connector Skillsでは、単にデータを取得するだけでなく、Agentが各システムをどのように利用し、どのような手順で目的を達成すべきかという知識まで提供します。
Airbyteでは、Skillsを次の2種類に分類しています。
- Connector Docs：設定済みコネクタの定義や同期状態から自動生成されるドキュメント
- Custom Skills：営業予測、Shopify分析、広告分析、サポートチケットのトリアージ、高度なSOQLなど、Airbyte側で整備された専門的な手順書
SkillsはAirbyteのプラットフォーム側に保存され、Agentが必要に応じて取得します。ユーザーが毎回ドキュメントをコピーしてPromptに貼り付ける必要はありません。
また、Connector Skillsは、ページネーション、フィールド選択、エラー処理など、各コネクタ固有の利用方法をAgentに理解させる役割も担います。
Airbyte 2.2がリリース
Airbyteの最新バージョンである2.2がリリースされました。
今回のリリースでは、コネクタ、接続設定、同期処理、運用管理など、Airbyteを利用したデータ連携基盤の使い勝手を改善する複数のアップデートが含まれています。
詳細な変更内容については、以下のリリース記事をご確認ください。
Estuary
Derivation Agent Skillsでストリーミング変換を構築
Estuaryが、AIコーディングアシスタントからストリーミング変換処理を構築できる「Derivation Agent Skills」の実践ガイドを公開しました。
Agentに自然言語で変換内容を指示すると、Estuaryの設定ファイルやSQL、Pythonによる変換ロジックを生成し、デプロイまでの手順を案内してくれます。
記事では、PostgreSQLの銀行取引データを例に、以下のような処理を構築しています。
- 承認済みトランザクションのフィルタリング
- 口座単位の集計
- 累積値や平均値の計算
- 顧客・加盟店・口座情報とのJOIN
- ネストされた配列の展開
- 直近24時間のウィンドウ処理
- Pythonによる加盟店カテゴリ分類
生成された設定や変換ロジックは、デプロイ前にレビューできます。
特に、ストリーミング処理ではキー、シャッフル方式、状態の増加、保持期間、スキーマ制約などを確認する必要があるため、Agentにすべてを任せるのではなく、生成物を通常の本番コードと同じようにレビューすることが重要です。
EstuaryのAgent Skillsは、Claude Code、Cursor、OpenAI Codex、GitHub Copilot、Gemini CLIなど、複数のAI開発環境で利用できる構成になっています。
Data Warehouse/Data Lakehouse
Snowflake
宣伝：Snowflake World Tour Tokyo 2026が2026年9月10日(木)～11日(金)に開催され、弊社も出展します！
2026年9月10日(木)～11日(金)に開催される「Snowflake World Tour Tokyo」に弊社クラスメソッドが出展し、セッションにて株式会社サンエー様のSnowflake活用事例をご紹介します。
「Snowflake World Tour」は、Snowflakeの最新技術を深掘りし、データ活用やAI活用を加速させる方法が学べるイベントです。クラスメソッドはイベントパートナーとして出展し、Snowflake、Fivetran、dbt、Tableau、Omniなどを組み合わせたModern Data Stackソリューションについてご紹介します。
セッションでは、株式会社サンエー様にご登壇いただき、Snowflake活用事例をご紹介します。クラスメソッドからはデータ事業本部 ビジネスソリューション部 データエンジニアリンググループの大濵 長真が登壇します。
Cortex AgentsのCoding Agentが一般提供
Snowflake Cortex Agentsのコーディングタスク向け機能である「Coding Agent」が一般提供となりました。
コーディングAgentは、Cortex Agentsが持つデータアクセスやツール実行の仕組みを活用しながら、コード生成・修正・検証などの開発作業を支援する機能です。
Cortex Agentsの非同期APIが一般提供
Cortex Agentsをバックグラウンドで実行できる非同期APIが一般提供となりました。
Agentの実行リクエストでbackgroundをtrueに設定すると、クライアントが切断された後も長時間の処理を継続できます。
実行時間は最大6時間で、Stream Agent Runエンドポイントで再接続したり、SQLを利用している場合はTHREAD_MESSAGESをポーリングしたりできます（バックグラウンド実行にはスレッドが必須です）。現時点ではAWS・Microsoft Azureで一般利用可能です。
複数の検索・SQL実行・ドキュメント解析などを組み合わせた長時間のAgentタスクを、同期APIで待ち続ける必要がなくなる点が実運用上のメリットです。
Snowflake App Runtimeが一般提供
Snowflake上でNode.jsのWebアプリケーションを構築・デプロイするための「Snowflake App Runtime」が一般提供となりました。
Next.jsを中心としたアプリケーションをSnowflake上で実行でき、Snowflake CLIやCortex Codeを使って、自然言語によるアプリケーション開発も行えます。
主な特徴は以下の通りです。
app.ymlによるアプリケーション設定- Snowflakeのサービスユーザーまたはログインユーザーとしてのクエリ実行
- Application ServicesやArtifact RepositoryのSQL操作
- SSOを利用したアプリケーション共有
- AWS、Azure、Google Cloudの商用リージョンで利用可能
現時点ではNode.jsが中心で、Python対応は今後予定されています。また、政府リージョンやトライアルアカウントでは利用できない点には注意が必要です。
Snowflake Native Appsとは異なる形で、Snowflake内のデータに近い場所で業務アプリケーションやAgent UIを実行する基盤が整ってきたと感じます。
Snowflake App Runtimeについては私も一度試しているため、こちらもぜひ併せてご覧ください。
Openflowの第2世代がパブリックプレビュー
SnowflakeのデータインテグレーションサービスであるOpenflowの第2世代が、パブリックプレビューとなりました。
第2世代では、Openflowのデプロイメント、ランタイム、コネクタがSnowflakeのSQLオブジェクトとして扱われます。
主な特徴は以下の通りです。
CREATE、ALTER、DROP、SHOW、DESCRIBEによるSQL管理- SnowflakeのRBACを利用した権限管理
- File Based Entitiesによるコネクタ設定のバージョン管理
- 設定変更のコミット、ロールバック、環境間プロモーション
- セットアップウィザードによる接続・設定検証
パブリックプレビュー時点では、PostgreSQL CDCおよびMySQL/MariaDB CDCが対応コネクタです。
第1世代のOpenflowも引き続き利用でき、第1世代と第2世代を同一アカウント内で共存させることも可能です。
dbt Projects on Snowflakeのファイル数上限が5倍に
Snowflake上のdbtプロジェクトオブジェクトに含められるファイル数の上限が、20,000ファイルから100,000ファイルへ引き上げられました。
対象となるファイルはmodels/配下だけではなく、以下のようなプロジェクト内のファイルも含まれます。
target/dbt_packages/logs/- その他の生成済みファイル
大規模なdbtプロジェクトや、依存パッケージの多いプロジェクトをSnowflake上にデプロイする際に、ファイル数の制約に遭遇しにくくなります。
マルチバリュータグが一般提供
Snowflakeのタグに対して、複数の文字列値を設定できる「マルチバリュータグ」が一般提供となりました。
MULTI_VALUE = TRUEでタグを作成し、ADD VALUEやDROP VALUEでタグ値を追加・削除できます。
さらに、複数のソースから伝播したタグ値をON_CONFLICT = MERGEでマージしたり、SYSTEM$TAG_VALUE_CONTAINS関数で特定の値が含まれているかを確認したりできます。
従来の単一値タグでは、「どれか1つ」を表す分類には向いていましたが、複数の規制やデータカテゴリに同時に該当するオブジェクトを表現するのは困難でした。
今回の機能により、タグを使ったデータガバナンスや分類管理をより細かく行えるようになります。
弊社でも実際に複数値の追加・削除や、タグ伝播時の値マージを検証してブログにまとめています。併せてご覧ください。
External LineageがGA、Cortex Agentsのデータリネージ可視化機能も追加
Snowflakeのリネージ関連機能がまとまってアップデートされました。
- External Lineage GA：Snowflakeのネイティブリネージ機能が拡張され、Snowflake外部のデータソース・宛先も含めてリネージを追跡できるようになりました。OpenLineage標準に対応しており、dbtやApache AirflowなどからOpenLineageイベントを送信可能です。カラムレベルのリネージや、Snowflakeオブジェクトを経由しない外部システム間のリネージ追跡にも対応しています（Enterprise Edition以上が必要）。
- Cortex Agentsのデータリネージ：Agentの仕様に定義されたCortex AnalystやCortex Searchなどのツールを起点に、Agentがどのデータへアクセスできるのかをリネージグラフ上で追跡できるようになりました。テーブル→Semantic View→Cortex Analyst→Cortex Agentという経路を辿って確認できます。
これにより、Agentが参照しているテーブルやSemantic Viewを把握しやすくなり、データ変更時の影響調査や、Agentの回答根拠の確認に役立ちます。データリネージが単なるETL処理の追跡だけではなく、「どのAgentがどのデータを使っているか」を管理するための仕組みに広がっている点が注目です。
External Lineageはプレビュー段階の際に弊社でもFivetran経由のテーブルを対象に検証しておりまして、FivetranのWebhookで同期完了イベントを検知し、OpenLineage形式のペイロードを生成してSnowflakeに送信する構成を組んでいました。
BigQuery
BigQuery Graphが一般提供
BigQueryのグラフデータ処理機能「BigQuery Graph」が一般提供となりました。
グラフ構造を持つデータをBigQuery上で扱い、CALL文や複数のGQL関数を利用してグラフクエリを実行できます。
従来のリレーショナルテーブルだけでは表現しにくかった、以下のようなデータをBigQuery内で分析しやすくなります。
- 顧客と取引の関係
- 商品とカテゴリの関係
- 組織や従業員の階層
- ネットワークや依存関係
- 不正取引や異常なつながり
dbt CoreのメタデータをKnowledge Catalogへインポート可能に
Dataplex、BigQuery Universal Catalog、Knowledge Catalogにおいて、dbt Coreのメタデータをインポートできる機能がプレビュー提供となりました。
dbtのJSONアーティファクトをgcloudコマンドで変換・ステージングし、Knowledge Catalogへ取り込む構成です。
取り込み可能な情報には、以下が含まれます。
- テーブルの列名・データ型・行数
- dbtのテスト結果
- 実行メタデータ
- dbtリソース間の依存関係
- 変換グラフ
これにより、BigQuery上のテーブルだけでなく、dbtで管理している変換処理やテスト結果もカタログの検索・ガバナンス対象にできます。
一方で、現時点では以下のような制約があります。
- dbt Cloudは非対応
- dbt Core v2は非対応
- dbt Fusionは非対応
- モデルバージョニングを利用したモデルは非対応
Databricks
Lakebase Postgresがオートスケーリングに対応
DatabricksのマネージドPostgresサービスであるLakebase Postgresに、オートスケーリング機能が追加されました。
ワークロードに応じてコンピュートリソースを自動調整できるため、アクセス量の変動が大きいアプリケーションや、常時一定ではないAgentワークロードで利用しやすくなります。
Unity Catalog Skillsがベータ提供
Unity Catalog上でAgent Skillsを公開・管理・共有できる「Unity Catalog Skills」がベータ提供となりました。
Skillは、catalog.schema.skillという形式のUnity Catalogオブジェクトとして登録され、SKILL.md仕様に準拠します。
テーブルやビューと同じように、以下のような仕組みを利用できます。
- 権限管理
- タグ付け
- 監査
- 共有
- 利用者や更新者の制御
コーディングAgentは、公開されたSkillをダウンロードするか、MCP経由でリアルタイムに読み込めます。
これまでファイルやリポジトリ単位で管理されがちだったAgent Skillを、データカタログのガバナンス対象として扱う発想が特徴的です。Skillsの棚卸し、利用権限、更新履歴、監査ログなどを、既存のUnity Catalog運用に組み込めるようになる点が興味深いと感じました。
DuckDB / MotherDuck
DuckLabsがAWSにJoin、DuckDBはOSSとして継続
DuckDBの開発を担うDuckLabsがAWSにJoinすることが発表されました。
DuckDB本体やDuckLakeなどのプロジェクトは、今後もオープンソースとして継続され、知的財産はDuckDB Foundationが管理する体制が維持されると説明されています。
DuckDBをサービスとして提供するMotherDuckはDuckLabsとは別会社ですが、今回の発表を受けてMotherDuck側からもブログが公開されています。
MotherDuckは、これまでDuckDBの運用経験を積み、数百件のパッチを提出してきた立場から、今後もエンタープライズ向けサポートを継続するとしています。
軽量な分析エンジンとして利用が広がってきたDuckDBがAWSの傘下に入ることで、今後AWSサービスとの連携やクラウド上での利用形態がどのように進化するのか注目されます。
DuckLabsとMotherDuckは別会社であるため、この点は整理して理解しておく必要があります。
MotherDuck CLIを発表
MotherDuckが公式CLIを発表しました。
ターミナルからMotherDuckのウェアハウスへ接続し、クエリ実行やデータ操作を行えるようになります。
AIコーディングエージェントや開発者向けのターミナル中心のワークフローとの相性も良く、MotherDuckをアプリケーション開発やデータ分析の一部として組み込みやすくなるアップデートだと思います。
Data Transform
dbt
dbt WizardがUsage-based課金へ移行
dbtのAI機能であるdbt Wizardが、トークン消費量に応じたUsage-based課金モデルへ移行しました。
あわせて、新規アカウントではAI機能がデフォルトで有効となる仕様変更も行われています。組織単位でオプトアウトすることは可能です。
dbt state explainなどdbt State関連機能が強化
dbt Stateに対して、複数の機能強化が行われました。
主なアップデートは以下の通りです。
dbt state explainコマンド- Snowflakeメタデータ取得の並列化
- Jinjaテンプレートのレンダリング前コード変更を検知する
compare_unrendered_code - インクリメンタル実行判定の可視性向上
特に、なぜあるモデルがスキップされたのか、あるいは再実行されたのかをdbt state explainで確認できるようになる点は、CIや本番運用で役立つはずです。
Business Intelligence
Sigma
Sigma CLIを発表
Sigmaが、ターミナルからSigmaのオブジェクトを操作できる「Sigma CLI」を発表しました。
ダッシュボードやワークブックなどのSigmaオブジェクトをコードやCLIから扱えるようになることで、AIコーディングエージェントとの連携や、開発・テスト・デプロイの自動化が行いやすくなります。
Data Catalog
Atlan
Conversational AIからHTMLダッシュボードやMarkdownを生成
AtlanのConversational AIに、会話内容をもとにスタンドアロンの成果物を生成する機能が追加されました。
生成できる成果物には、以下のようなものがあります。
- HTMLダッシュボード
- Markdownドキュメント
- 図表
- 分析結果をまとめたレポート
OpenMetadata
OpenMetadata 2.0がリリース
OSSのメタデータプラットフォームであるOpenMetadataが、バージョン2.0をリリースしました。
今回のリリースでは、OpenMetadataを従来の「データカタログ」から、データとAIのためのオープンなContext Layerとして位置付け直しています。
データカタログには、テーブルやカラムの情報だけではなく、以下のような情報が蓄積されています。
- データの所有者
- リネージ
- データ品質
- 用語定義
- 利用状況
- アクセス権限
- チームやドメイン
- データプロダクトとの関係
これらの情報をAI Agentが利用できれば、単に「どのテーブルにデータがあるか」を検索するだけでなく、「どのデータを、どの定義で、どの権限のもとで使うべきか」を判断しやすくなります。
Data Orchestration
Kestra
Kestra 2.0に向けて実行エンジンを再設計
Kestraが、Kestra 2.0に向けた実行エンジンの再設計について解説しました。
従来のデータベースに依存したワーカー構成から、より疎結合なコントロールプレーン構成へ移行することで、ワークフローの実行管理やスケーラビリティを改善する方向です。
Astronomer
Astro Runtimeを再設計、速度とスケールを改善
AstronomerのマネージドAirflowであるAstro Runtimeが、AI時代のワークロードを見据えて再設計されました。
Airflowを利用したデータパイプラインに加えて、AI AgentやLLMを含む長時間・多段階の処理では、実行時間、並列度、リソース効率、リトライ制御などがより重要になります。
今回のアップデートでは、Astro Runtimeの実行速度とスケーラビリティの改善が強調されています。
Orchestra
Agentic Control Plane構想で330万ドルを調達
Orchestraが、Agentic Control Plane構想のもと、330万ドルの資金調達を発表しました。
従来のオーケストレーションは、あらかじめ定義されたDAGやワークフローをスケジュールどおり実行することが中心でした。
一方、Agentic Control Planeでは、Agentが状況に応じて処理を計画・実行・監視し、必要に応じて人間へ確認を求めるような運用が想定されています。
