![[2025年4月16日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-4c47f61cc8c1b97c00c0efcc68eab01b/ebc4f0c0223a249eae2f9de257dedbcd/eyecatch_moderndatastack_1200_630.jpg)
[2025年4月16日号]個人的に気になったModern Data Stack情報まとめ
2025.04.16さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Modern Data Stack全般
How AI will Disrupt BI As We Know It
dbt Labs社のCEOであるTristan氏により、AIがビジネスインテリジェンス(BI)を根本から変革する可能性について分析した記事が出ていました。
従来のBIツールは「モデリング」「探索的データ分析(EDA)」「プレゼンテーション」の3つの主要機能を持っていましたが、
MCP等によりAIはエンタープライズデータにアクセスできるようになり、BIツールの主要機能であるEDAを奪う可能性があると言及しています。
Data Extract/Load
Fivetran
Managed Data Lake ServiceがGoogle Cloud Storageに対応
Fivetranがカタログを管理してOpen Table Format(Iceberg、Delta Lake)を用いたテーブルの更新を担うサービスであるManaged Data Lake Serviceが、Google Cloud Storageに対応しました。
カタログについて、デフォルトではFivetran管理のカタログであるFivetran Iceberg REST Catalogが利用されますが、オプションでユーザー側で管理するBigQuery metastoreを選択することも出来るようです。
Airbyte
Airbyteの最新バージョンである1.6がリリース
Airbyteの最新バージョンである1.6がリリースされました。
主なアップデート内容は以下になります。
- 同期の成功・失敗を視覚化するダッシュボード
- スキーマ変更があった際にTimelineの画面でイベント記録
- コネクタの設定に関するJSONオブジェクトをGUIからすぐにコピー可能に
- Connector Builderが非同期のストリーム(Asynchronous Streams)に対応
- 複数クラウド・リージョンに跨ったデータロードが可能に ※Self-Managed Enterpriseのみ
Data Warehouse/Data Lakehouse
Snowflake
terraform-provider-snowflakeが4/23にGA予定
公式リポジトリのROADMAP.mdが更新され、4/23にterraform-provider-snowflakeがGAとなる記載がありました。
併せて、resourceのデフォルト値変更やsensitive追加など部分的に破壊的な変更があるv2.0.0のリリースもまもなく行われるようです。
名前付きの内部ステージに対するSnowpipeのAUTO_INGESTとディレクトリテーブルのAUTO_REFRESHが出来るように
まもなくリリース予定のv9.10のリリースで、名前付きの内部ステージに対するSnowpipeのAUTO_INGESTとディレクトリテーブルのAUTO_REFRESHが出来るようになります。※プレビュー機能
これまで名前付きの内部ステージに対するSnowpipeはAPI経由で更新するしかなかった認識なので、内部ステージを活用したい要件では特に役立つ機能だと思います！
BigQuery
Google Cloud Next'25が開催され、「Autonomous Data to AI」プラットフォームの実現に向けた多くの新機能が発表
Google Cloud Next'25が開催され、「Autonomous Data to AI」プラットフォームの実現に向けた多くの新機能が発表されました。
Autonomous(自律的な)がキーワードとしてありますが、Data Agentsという、Google Cloud上でのデータパイプラインの開発をAIが自律的に行う新機能が発表されました。
- Data Engineering Agent
- Data Governance Agent
- Data Science Agent
- Conversational Agent for Business Users
- すでにGAと表記されていましたので、この記事の内容がConversational Agentに合致すると思います。
これらの新機能について説明のあったセッションレポートについて弊社でブログを執筆しておりますので、こちらも併せてご覧ください。
また、Google Cloud全体でもAgent Development KitやAgent2Agent (A2A) Protocolなどの発表がありました。以下の公式のRecap記事や、弊社のブログも参考になると思いますので併せてご覧ください。
MotherDuck/DuckDB
MCP・DuckDB・dbtを用いたデータパイプライン開発
MotherDuck社の公式ブログより、MCP・DuckDB・dbtを用いたデータパイプライン開発によるメリットとサンプルについて記述した記事が出ていました。
これまでの生成AIを用いた一般的なワークフローは、「プロンプト作成→AIによるコード生成→データでのテスト」という流れでしたが、AIが不正確なコードを生成した場合、プロンプトの修正⇛コードの再生成⇛再テストが必要でした。
しかしMCPを用いることで、DuckDB/MotherDuck用のMCPサーバーを介してデータをクエリし、そのデータを得た上で、コードの生成～テストも担えるようになるため、より高速に「プロンプト作成→AIによるコード生成→データでのテスト」の流れを回すことが出来るようになるとのことです。
Data Transform
dbt
dbt Cloudの新機能まとめ記事
dbt Cloudの新機能をまとめた記事が出ていました。
- Model query historyがGA
- Power BIとdbt Semantic Layerの連携機能がベータ提供
- dbt Copilotが一般提供
- 買収したSDFを取り入れた次世代のdbtエンジンがプライベートベータ提供
- dbtがDataFrames on BigQueryをサポートし、dbt Python modelで利用できるように
- ただ、2025/4/16時点ではまだdbt Python modelに関するドキュメントが更新されていませんでした
dbt CloudがGoogle Cloud上でホストできるようになりMarketplaceでも提供をとなりました
dbt CloudがGoogle CloudのUS Eastリージョンでホスト出来るようになり、Google CloudのMarketplaceでdbt Cloudの提供が開始されました。
Business Intelligence
Looker
Google Cloud Next'25にて、Lookerの最新情報が公開
Google Cloud Next'25にてLookerのセッションもあり、併せて最新情報をまとめたブログが出ていました。
Gemini in Lookerがホスト先を問わずどのLookerでも利用できるようになったこと、Looker reports(おそらく以前でいうStudio in Lookerとほぼ同義)、Spectacles.devの買収によるLookMLのCI/CD機能のアップデート、といった内容について言及があります。
実際にGoogle Cloud Next'25にて行われたセッションについては、以下のリンク先で資料も閲覧可能です。
個人的には、17pのEmbedded Looker ReportsとEmbeded Looker Conversational Analyticsが特に気になりました。
25.6のリリースノートが公開
Lookerの最新バージョンである25.6のリリースノートが公開されました。ドライバのアップデート等、細かなアップデートが中心となっています。
Tableau
Tableau Conference 2025が開催
現地時間の2025年4月15日～4月17日にて、Tableau Conference 2025が開催されています。
この開催にあわせて、発表された新機能をまとめたブログも出ています。
大きく「Agentic Analytics」という考えを打ち出しており、人間がAIエージェントと連携したデータ分析からアクションの実施がTableau Next(旧称Tableau Einstein)にて出来る、という内容となっております。
- Tableau NextはSalesforceプラットフォーム上で動作する新しいBIプラットフォーム
- Tableau Nextでは、Data Cloud機能によりSnowflakeなどのDWHのデータをコピー無しでアクセス可能
- Tableau Nextに含まれる「Tableau Semantics」により、Salesforceプラットフォーム上で背景情報を含めたデータモデルを定義
- Tableau Nextでは、これまでのTableauにょうなUIで可視化も可能
- Tableau Nextでは、Data Proというデータ変換の自動化機能、Conciergeという自然言語でのデータとの対話機能、Inspectorというデータの監視・アラート機能、というAIを用いた機能も多く提供されている
正直私も「Tableau Nextとは？？」となっていたのですが、このTableau Next自体がどういった物・位置づけなのかを知りたい場合は以下の記事で詳しく言及があります。
Hex
Embedded Analytics機能を発表
Hexの新機能として、アプリケーション上にHexの「Apps(選択したノートブックのセルをまとめて公開できる機能)」を埋込できるEmbedded Analytics機能を発表しました。
以下のドキュメントによると、ノートブックやExploreの埋め込みはできないようなので、ご注意ください。
View/edit the notebook - no near term plans to support
Comments - no near term plans to support
Explore - no near plans to support
Snapshots - no near term plans to support
Lightdash
任意のブランチでLightdash上の検証が行える「Preview Projects」がリリース
Lightdashの新機能として、任意のブランチでmainへのマージの前にLightdash上の検証が行える「Preview Projects」がリリースされました。
マージ前のブランチでDimensionやmetricsがどう可視化出来るかを確認するのに役立ちます。
Steep
フィルタ候補値に対する既存のフィルタ設定の適用、前月比・前年比の比較、といった新機能をリリース
Steepが新機能として、フィルタ候補値に対する既存のフィルタ設定の適用(Smarter filtering)、前月比・前年比の比較、といった新機能をリリースしました。
Data Catalog
Secoda
Data Leaders Forumで発表したSecodaの新機能についてのまとめ記事
Secodaが主催で開催したData Leaders Forumで発表したSecodaの新機能についてのまとめ記事が出ていました。
大きく以下の4つの機能について言及があります。（以下のまとめには生成AIを利用）
個人的には、「Access requests」がとても気になっています！これまで各リソースへのアクセス権を行う機能はDataZoneやImmutaなどにしかない印象だったので、MDS界隈のデータカタログがこの機能に着手してくれたことがとても嬉しいですね。
-
Policies
- データガバナンス基準を自動化された拡張可能な方法で定義・実施できる機能
- リソース、コンプライアンス条件、リソースが基準を満たさない場合のアクションを指定
- GDPR、HIPAA、SOC 2などの規制フレームワークに合わせたテンプレートを提供
- カスタマイズ可能な重要度レベル、必要な文書化やオーナー割り当てなどの条件設定、自動修正ステップなどの機能を搭載
-
Access requests
- Secoda内から直接アクセス許可をリクエストできる機能
- ユーザーはSecodaまたはSlackからアクセスをリクエストし、管理者は一元化されたインターフェースで管理・承認
- リソースの選択、期間と目的の指定、役割の割り当て、アクセス範囲と有効期限の設定が可能
- 自動期限切れ機能で長期的な権限拡散を防止し、監査ログですべてのリクエスト・承認・変更を追跡
-
Custom roles
- 組織に特化した役割を設計し、誰が何をどこでできるかを正確に制御する機能
- ユーザー管理、リソースアクセス、機能アクセス、ワークスペース設定の4つの領域で権限を定義
- データエンジニアリングチーム、財務部門、コンサルティングチーム、アナリスト向けなど様々なユースケースに対応
- なりすまし機能で各役割のユーザーが見ることができる内容をプレビュー可能
-
Logs and version history
- ワークスペース全体の変更を完全に把握するためのログ機能の拡張
- 自動または手動のすべての更新がリソースレベルで追跡され、ユーザー、日付、アクションタイプ、影響を受けたアセットでフィルタリング可能
- すべてのリソースにバージョン履歴が含まれ、メタデータを以前の状態に復元可能
- リソースごとのアクティビティログの表示、以前のバージョンへの復元、バージョン比較、ユーザーアクティビティの追跡などが可能
Data Mesh
Nextdata
Nextdata OSを発表
Data Meshの概念を考えたZhamak氏が創業者であるNextdataが「Nextdata OS」を発表しました。Data Productsのための統合プラットフォームになるようですが、どういった製品となるのかの詳細はまだ明らかになっていません。
Nextdata社の公式HPも更新されています。簡易的な製品紹介動画もあります。
現地時間の4月22日にローンチイベントも開催されます。
