[2025年10月1日号]個人的に気になったModern Data Stack情報まとめ

[2025年10月1日号]個人的に気になったModern Data Stack情報まとめ

2025.10.01

さがらです。

Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。

そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。

※注意事項:記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。

Modern Data Stack全般

「Open Semantic Interchange (OSI)」の発足

Snowflake、Salesforce、dbt Labsなどが中心となり、AIのためのデータ活用を促進するオープンソースイニシアチブ「Open Semantic Interchange (OSI)」の発足を発表しました。

この取り組みは、各製品ごとに異なる仕様で散在する断片的なSemantic Layerの定義を、ベンダーニュートラルなオープン仕様によって標準化する共通のセマンティックデータフレームワークの構築を目指すものとなっています。

Launch Partnerとしては下図のベンダーが挙がっています。

press-release-open-semantic-interchange-1200x500-blackrock

以下は本件に関するSnowflakeとSalesforceからのリリースです。

https://www.snowflake.com/en/news/press-releases/snowflake-salesforce-dbt-labs-and-more-revolutionize-data-readiness-for-ai-with-open-semantic-interchange-initiative/

https://www.salesforce.com/blog/agentic-future-demands-open-semantic-layer/

他の参画している製品も本発表に関するブログを投稿しているのですが、中でもSelect Starの投稿が特に気になりました。下図はブログからの引用ですが、このようなことが実現できると、Select Starがハブとなって今回のOpen Semantic Interchangeに参画していないBIツールともSemantic Layerの定義を連携できるため、熱いと思います。

https://www.selectstar.com/resources/snowflake-ai-ready-semantic-model

2025-10-01_10h36_14

「みんなの考えた最強のデータ基盤アーキテクチャ第5回〜オールスター大集合スペシャル!!」が開催

9/25に、「みんなの考えた最強のデータ基盤アーキテクチャ第5回〜オールスター大集合スペシャル!!」が開催されました。

https://datatech-jp.connpass.com/event/360596/

現地参加100人、オンライン参加500人を超える申し込みがあったイベントで、以下のリンクからハッシュタグ「みん強」を見て頂けると、当日の盛り上がりがよく分かると思います。

https://x.com/hashtag/みん強?src=hashtag_click

以下は私が見つけた範囲で、各登壇者の投影資料へのリンクを張っておきます。

https://speakerdeck.com/kaz3284/minqiang-di-5hui-kubellnodetaji-pan-kai-fa-nozui-xin-zhuang-kuang-toainohuo-yong-noshi-jian-nituite

https://speakerdeck.com/tenajima/data-vaultwoyong-itamarutipurodakutonotamenodetaji-pan-kai-fa

https://speakerdeck.com/pei0804/revops-practice-learned

https://speakerdeck.com/foursue/20250924-lt2ben-yaru

https://speakerdeck.com/genshun9/minqiang-nokoremadetokorekara

Data Extract/Load

Airbyte

Airbyte 2.0がリリース

Airbyteの最新バージョンとして、メジャーバージョンが上がった2.0がリリースされました。(OSS版はまだ2.0がリリースされていませんでした。)

https://airbyte.com/v2

https://airbyte.com/blog/airbyte-2-0

上記のリンク先からの引用ですが、このような機能がリリースされています。

  • Enterprise Flex: control planeとdata planeを分離するアーキテクチャにより、管理はクラウドで行いながら、実際のデータは顧客のインフラ内に留まるハイブリッドモデルを提供
  • Data Activation: データウェアハウスから得られたインサイトを、SalesforceやHubSpotといったビジネスアプリケーションに直接同期する機能。いわゆるReverse ETLのプロセスをプラットフォーム内で完結可能に
  • Speed: コネクタのアーキテクチャを再設計し、データ同期速度を4〜10倍向上。例えば、MySQLからS3への同期は4.7倍、PostgresからS3へは12倍高速化
  • 新しい料金プラン: チームの成長段階に合わせた新しいプラン体系を発表。特にProプラン以上で導入された「Capacity Based Pricing」はデータ転送量ではなく、必要な並列処理能力(Data Workers)に基づいているのが特徴
    • Core (旧OSS): 無料のオープンソース版
    • Standard (旧Cloud): 従量課金制のマネージドサービス
    • Pro (旧Teams): 容量ベースの価格設定で、RBACやSSOなどのガバナンス機能を提供
    • Enterprise Flex: Proの全機能に加え、データプレーンをクラウド、マルチクラウド、オンプレミスなど任意の場所にデプロイ可能
    • Self-Managed Enterprise: 厳しいセキュリティ要件を持つ組織向けの完全自己管理型エンタープライズ版

Data Warehouse/Data Lakehouse

Snowflake

FILEデータ型が一般提供

Snowflakeで非構造化データを扱うためのFILEデータ型が一般提供となりました。

これにより、Cortex AISQLと組み合わせた画像や文書ファイルに対する生成AI活用が安心してできるようになりました!

https://docs.snowflake.com/en/release-notes/2025/other/2025-09-25-file-data-type-ga

Cortex Analystの機能強化

Cortex Analystで機能アップデートがあり、以下2つの新機能が追加されました。Derived metricsは他のSemantic Layerだと出来ていたことですし実際のビジネスでは複数のmetricsを用いた演算が必要になることが多いため、嬉しいですね!

  • Private facts and metrics:Semantic Modelの中でmetricsとして定義するが、エンドユーザーからはこのmetricsを直接クエリできないようにする機能(主にDerived metricsだけで使用するmetricsが前提の機能だと思います。)
  • Derived metrics:複数のメトリクス同士の演算を行ったmetricsが定義できるようにする、新しいmetrics

https://docs.snowflake.com/en/release-notes/2025/other/2025-09-30-semantic-model-improvements

dbt Projects on Snowflakeでdocs generateができるように

dbt Projects on Snowflakeでサイレントアップデートがあり、docs generateができるようになっていました。

まだ私も試せてはいないのですが、GitHub Actionsなどでdocsをホストしたい場合にexecute dbt projectコマンドでdocs generateが行えるはずのため、profiles.ymlをdbt Core用に書き換えなくて済むようになります!

https://x.com/SS_chneider/status/1973154146976145839

Snowflake内でClaude Sonnet 4.5が利用できるように

Snowflake内でClaude Sonnet 4.5が利用できるようになりました。公式Docの方にはまだ記載がありません。

また、サポート対象外のリージョンでもクロスリージョン推論を有効にすることでアクセス可能です。

https://www.snowflake.com/en/blog/cortex-ai-claude-sonnet-4-5/

SELECT社によるSnowflakeの2025年夏にリリースされた機能まとめ記事

SELECT社より、Snowflakeの2025年夏にリリースされた機能まとめ記事が出ていました。

https://select.dev/posts/snowflake-summer-2025-product-updates

Snowflake×PowerBIを組み合わせる際のプラクティスまとめ記事

phData社のブログより、Snowflake×PowerBIを組み合わせる際のプラクティスまとめ記事が出ていました。

主に以下の内容について言及があります。

  • Power BIのネイティブSnowflake Connectorを使用する
  • Import、DirectQuery、Compositeモデルの中からユースケースに応じて接続モードを慎重に選択する
  • スタースキーマの採用など、データを適切にモデリングする
  • Microsoft Entra SSO for Snowflakeを設定する
  • ゲートウェイには適切なAzure VMを使用する
  • SnowflakeとPower BIのデータセンター間の距離を最小化する
  • データモデルの同時クエリ上限を引き上げる
  • CopilotなどのAI機能を活用する

https://www.phdata.io/blog/how-to-optimize-power-bi-and-snowflake-for-advanced-analyitcs/

BigQuery

Dataplexでカラムレベルリネージが見れるように

Dataplexの新機能として、カラムレベルリネージを見ることができるようになりました。(一般提供)

https://cloud.google.com/dataplex/docs/release-notes#September_29_2025

https://cloud.google.com/dataplex/docs/lineage-views#column-level-lineage

column-level-lineage

Geminiを用いた配列のネスト解除機能がリリース

Geminiを用いた、配列の各要素を独立した行に展開できる機能がリリースされました。

https://cloud.google.com/bigquery/docs/release-notes#September_29_2025

https://cloud.google.com/bigquery/docs/data-prep-get-suggestions#unnest-arrays

BigQuery SQLに関する新機能まとめ記事

Google Cloudのyu yamadaさんにより、BigQuery SQLに関する5つの新機能をまとめた記事が出ていました。

カラム名に基づいたUNION、より簡易な配列操作、

https://zenn.dev/google_cloud_jp/articles/3b20a94df7624e

Databricks

Databricks Oneがパブリックプレビュー

ビジネスユーザー向けに設計されたシンプルなユーザーインターフェース「Databricks One」が、パブリックプレビューを開始しました。

https://docs.databricks.com/aws/ja/workspace/databricks-one

下図のようなUIとなっており、自然言語でデータに対して質問したり、関連するダッシュボードなどへそのままリンクもできる機能となっています。

landing-page-d83506567dae89e178878be9b9506725

Lakeflow Pipelines Editorがパブリックプレビュー

Databricksが、ETLパイプラインの開発とデバッグを行うための新しいIDE「Lakeflow Pipelines Editor」をパブリックプレビューとしてリリースしました。

https://docs.databricks.com/aws/en/dlt/dlt-multi-file-editor

下図は上記のリンク先からの引用ですが、ただパイプラインのコードを編集するだけでなく、テーブル間の依存関係を見たり、することも可能となっています。

dlt-multi-file-editor-overview-bd4eb971616acd036963cdd1560b1d8f

Databricks内でOpenAI GPT-5とClaude Sonnet 4.5が利用できるように

それぞれ別のニュースではあるのですが、Databricks内でGPT-5とSonnet 4.5が利用できるようになりました。

https://www.databricks.com/blog/run-openai-models-directly-databricks

https://www.databricks.com/blog/claude-sonnet-45-here

MotherDuck/DuckDB

DuckDBのducklake拡張機能とDuckLake 0.3がリリース

DuckDBのducklake拡張機能とDuckLake 0.3がリリースされました。ducklake拡張機能の利用には、DuckDB v1.4.0が必要です。

DuckDBのiceberg拡張機能を利用したDuckLakeとIceberg間でのデータコピー、DuckDB v1.4.0でリリースされたMERGE文をducklake拡張機能を介して利用、という点が主なアップデートだと感じました。

https://duckdb.org/2025/09/17/ducklake-03.html

MotherDuckがヨーロッパ初のクラウドリージョンをプライベートプレビューとして発表

MotherDuckがヨーロッパ初のクラウドリージョンをプライベートプレビューとして発表しました。

この新リージョンはAWSのeu-central-1上で稼働し、正式なリリースは今年の秋を予定しているとのことです。

https://motherduck.com/blog/motherduck-in-europe/

Business Intelligence

Looker

Gemini CLIからLookerにアクセスできるように

Gemini CLIの拡張機能として、Lookerにアクセスできる機能がリリースされました。

利用できるExploreの確認や指定したExploreの中で利用できるdimensionとmeasureの確認はもちろん、Lookerに対するLookやダッシュボードの作成もできるようです。

https://cloud.google.com/looker/docs/release-notes#September_23_2025

https://github.com/gemini-cli-extensions/looker

Data Activation (Reverse ETL)

Hightouch

Hightouchの中でDashboardが利用可能に

Hightouchの新機能として、複数のグラフを統合してダッシュボードとする機能がリリースされました。

キャンペーンのパフォーマンス確認用のダッシュボードなど、Hightouch側でまとめて確認したいケースはあると思うのでその際に役立つと思います。

https://changelog.hightouch.io/

https://hightouch.com/docs/campaign-intelligence/dashboards

dashboard_add_additional_chart

Data Orchestration

Airflow

Airflow 3.1がリリース

Airflowの最新バージョンである3.1がリリースされました。

https://github.com/apache/airflow/releases/tag/3.1.0

Astronomer社のブログより、どのような機能が追加されたかまとめられた記事が投稿されています。

AIワークフローに対するサポート機能の向上、ReactベースのUIに対応したインターフェースにアップデート、DAGのお気に入り機能、などが追加されているようです。

https://www.astronomer.io/blog/introducing-apache-airflow-3-1/

この記事をシェアする

FacebookHatena blogX
[2025年10月1日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO