![[2025年6月11日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-4c47f61cc8c1b97c00c0efcc68eab01b/ebc4f0c0223a249eae2f9de257dedbcd/eyecatch_moderndatastack_1200_630.jpg?w=3840&fm=webp)
[2025年6月11日号]個人的に気になったModern Data Stack情報まとめ
さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Modern Data Stack全般
The State of Data and AI Engineering 2025
lakeFS社のブログより、「The State of Data and AI Engineering 2025」というタイトルでデータエンジニアリングの現状をまとめたレポート記事が出ていました。
記事の冒頭で以下のトレンドに言及した上で、Ingestion、Data Lakesなど各分野の現状についても触れています。
- MLOps分野は徐々に縮小
- LLMの精度、監視、パフォーマンスソリューションが活況
- AWS Glueはベンダーロックインからの唯一の脱却手段
- BigQuery、Databricks、SnowflakeがIceberg RESTカタログの読み取り専用フェデレーションをサポートする中、AWS GlueはDatabricksやSnowflakeと統合することで、読み書き両方の操作を可能にしているため。
- ストレージプロバイダーはパフォーマンスを優先
- Google CloudのGCS Fast Tier、AWSのS3 Express、CoreWeaveなどの高性能ストレージがリリースされている
Data Warehouse/Data Lakehouse
Snowflake
Snowflake Summit 2025が開催
Snowflakeの年次で一番大きなイベントである「Snowflake Summit 2025」が開催されました。
このイベントで発表された新機能については、以下の公式ブログが参考になると思います。
私のブログで恐縮ですが、各新機能について言及した公式ブログの内容をまとめた記事を投稿しておりますので、こちらも併せてご覧ください。
私が特に熱いと感じた発表は以下になります。
- Semantic Viewが一般提供となり、SELECT文でクエリができるように
- Snowflake Horizon Catalogの機能強化
- Tableau、Databricksなど競合のDWHなど、他の製品の情報も統合できるように
- dbt Projects
- Snowflake内でdbtの開発が行え、タスクで定期実行も出来る機能
- dbtの新しいエンジンである「Fusion」も利用可能となる予定
- YouTubeでのデモ動画
- Cortex AISQL
- AI_AGG、AI_FILTERなどの新規関数がリリースされ、これらの関数の引数に自然言語を入れることで、自然言語でクエリの内容を定義できる機能
- 参考ブログ
- Adaptive Warehouses
- ユーザーがサイズやクラスター数なども指定することなく、Snowflake側で最適なウェアハウススペックを決めてくれる新しいウェアハウス
- Snowflake Intelligence
- 自然言語でデータにアクセスできる新しい機能、外部製品を連携したタスクを実行するエージェント機能も提供予定
- YouTubeでのデモ動画
- Snowflake Postgres
- 買収したCrunchy Data社のテクノロジーを用いた、Snowflake内で動くPostgreSQL
BigQuery
メルカリ社の事例：メルカリにおけるデータアナリティクスAIエージェント「Socrates」とADK活用事例
@na0fu3yさんにより、メルカリ社においてAgent Development Kit(ADK)を用いて自社開発したデータアナリティクスAIエージェント「Socrates」について、ADK User Groupのキックオフで発表がありました。
登壇資料と、併せて公開されたNotebookLMは以下になります。
「BigQuery tables for Apache Iceberg」と「BigQuery metastore」の名称変更
2025年6月3日のリリースで、「BigQuery tables for Apache Iceberg」と「BigQuery metastore」の名称変更が発表されました。どちらも今回の名称変更に合わせて、一般提供となっています。
- 「BigQuery tables for Apache Iceberg」 ⇛ 「BigLake tables for Apache Iceberg in BigQuery」
- 「BigQuery metastore」 ⇛ 「BigLake metastore」
MotherDuck/DuckDB
DuckDBがGitHubで3万のスターを獲得
DuckDBの公式ブログより、DuckDBがGitHubで3万のスターを獲得したことを発表しました。
ブログ上では以下の指標についても述べられており、DuckDBが成長していることがよくわかりますね。
- DuckDBのウェブサイトは毎月300万人以上のユニークビジター数で、これは2024年12月の2倍以上
- 数百万件の拡張機能ダウンロードによりトラフィック量は700テラバイトを超えている
- 2025年だけで、DB Engines rankingで55位から45位へと10位上昇
- 現在、PyPIの月間ダウンロード数は2000万件を超えている
Data Transform
dbt
2025 dbt Launch Showcaseが開催
現地時間2025年5月28日に2025 dbt Launch Showcaseが開催されました。このイベントでは、多くの新機能が発表されています。
このイベントで発表された内容に関して、ブログにまとめておりますのでこちらもぜひ併せてご覧ください。
また、このイベントで述べられていない新機能もリリースノートに記載があります。
SQLMesh(Tobiko Cloud)
DuckLakeとSQLMeshを用いたチュートリアル
Tobiko Data社の公式ブログより、DuckLakeとSQLMeshを用いたチュートリアル記事が出ていました。
Semantic Layer
Cube
エージェント型の分析プラットフォーム「D3」を発表
Cubeが新機能として、エージェント型の分析プラットフォーム「D3」を発表しました。
機能の利用画面は下図のような形で、自然言語で問合せつつ、生成されたSQLの確認と編集もできるようです。エージェントのアクセス可能なデータ範囲やデータの利用ルールの設定も、可能とありました。
Business Intelligence
ThoughtSpot
Agentic Semantic Layerを発表
ThoughtSpotが新機能として、「Agentic Semantic Layer」を発表しました。
以下の特徴を持つ機能となっております。(生成AIによる要約です。)
- エージェントとしての設計 (Agentic by Design): 静的なモデルとは異なり、動的で文脈を認識し、ThoughtSpotのAIエージェント「Spotter」と連携して動作します。
- AIによる高度な解釈: AIを活用した同義語登録や検索インデックス、データマッチング技術により、自然言語による曖昧な質問でも、ユーザーの意図を正確に解釈します。
- 継続的な学習: アナリストがフィードバックを与え、モデルを「コーチング」することで、AIの精度と文脈理解を継続的に向上させます。
- 柔軟な統合と実装: ThoughtSpot内でビジネスロジックを定義するだけでなく、Snowflakeやdbtなど、既存のデータ基盤にあるロジックをそのまま活用することも可能です。
- 組み込み分析用のSDK: AIによる分析機能を、あらゆるアプリケーションに簡単に組み込むことができます。
Sigma
SnowflakeのSemantic Viewとの連携機能を発表
Sigmaが、SnowflakeのSemantic Viewとの連携機能を発表しました。
Semantic Viewで定義されたDimensionとMetricsを、Sigma上で利用できるようになっています。
Hex
SnowflakeのSemantic Viewとの連携機能を発表
Hexが、SnowflakeのSemantic Viewとの連携機能を発表しました。
Semantic Viewで定義されたDimensionとMetricsを、HexのExplore上でドラッグ＆ドロップ操作で可視化できるようになっています。
シリーズCで7000万USDの資金調達を実施
Hex社がシリーズCで7000万USDの資金調達を実施したことを発表しました。
Omni
SnowflakeのSemantic Viewとの連携機能を発表
Omniが、SnowflakeのSemantic Viewとの連携機能を発表しました。
Semantic Viewで定義されたDimensionとMetricsを使うだけでなく、Omni上での変更を反映したSemantic ViewをPythonのスクリプトで生成することも動画内では行っています。
Evidence
Evidence用のAIを用いた開発環境「Evidence Studio」を発表
Evidenceが新機能として、AIを用いた開発環境「Evidence Studio」を発表しました。
下図は上記のリンク先からの引用ですが、Evidenceの開発を行えたり、AI機能でのコードの自動生成も行えるようです。
注意点として、We will be sunsetting the current Cloud product by the end of this year and we are helping existing customers transition to Studio.とも言及しているため、既存のCloud版のユーザーは全てEvidence Studioに移行が必要となるようです。
Data Quality・Data Observability
Soda
NannyML社の買収を発表
Soda社が、NannyML社の買収を発表しました。
NannyML社は私も初耳だったのですが、デプロイ後のMLモデルのパフォーマンスを監視できるOSSのPythonライブラリと、そのCloud版を提供する企業のようです。
Elementary
Elementaryが新機能としてAIエージェント「Ella」を発表
Elementaryが、新機能としてAIエージェント「Ella」を発表しました。
Test Recommendations Agent、Triage & Resolution Agent、Governance Agent、Performance & Cost Agent、Catalog Agent、といったエージェントを提供するようです。
