![[2025年3月19日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-4c47f61cc8c1b97c00c0efcc68eab01b/ebc4f0c0223a249eae2f9de257dedbcd/eyecatch_moderndatastack_1200_630.jpg)
[2025年3月19日号]個人的に気になったModern Data Stack情報まとめ
2025.03.19さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Data Warehouse/Data Lakehouse
全般
Is Apache Iceberg the New Hadoop? Navigating the Complexities of Modern Data Lakehouses
Data Engineering Weeklyより、Apache Icebergについて、実装の課題、エコシステムの観点などからHadoopと比較分析している記事が出ていました。
Icebergはそれ自体では完全なソリューションではなく、効果的に機能するためには周囲のエコシステムが必要であり、このエコシステムには、カタログ、コンピュートエンジン、メンテナンスプロセスが含まれます。Hadoopも同様に広大なエコシステムを持ち、その管理が複雑さの大きな原因であったため、Icebergも同様の課題に直面していると述べられています。
個人的にもこの課題は共感する所があるため、このあたりの運用課題を各ベンダーがどう解決していくのかに期待したいところです。
Snowflake
v9.7とバンドル2025_02の内容が公開
Snowflakeのリリースノートのページにて、最新バージョンのv9.7とバンドル2025_02の内容が公開されました。
特に以下のアップデートが気になりました。
- (v9.7)XML形式のサポート
- (バンドル2025_02)ユーザーに対する権限付与
- (バンドル2025_02)各データ型の最大サイズが64MB～128MBに拡張
SnowflakeがAmazon S3 Tablesを参照して外部カタログのIceberg Tableを定義できるように
SnowflakeがAmazon S3 Tablesを参照して外部カタログのIceberg Tableを定義できるようになったことを発表するブログが、SnowflakeのProduct Managerから出ていました。現在はプレビュー機能です。
（3月13日にS3 TablesがApache Iceberg REST Catalog APIに対応する機能が公開されたことで、可能になったようです。）
BigQuery
BigQueryのスロット管理によるコスト最適化に関する解説記事
Mediumにおいて、BigQueryのスロット管理によるコスト最適化に関する解説記事が出ていました。
スロット自体やコスト体系の説明から始まり、スロットの管理にはどのような機能があるかなど体系的にまとめられており、参考になりました。
MotherDuck/DuckDB
DuckDBがApache Iceberg REST Catalogのサポートを発表
DuckDBがApache Iceberg REST Catalogのサポートを発表しました。
これまではストレージ上のメタデータファイルを直接指定する方法でしかDuckDBはIcebergを参照できなかったため、カタログと連携できれば最新のメタデータファイルを取得できますし、個人的にはとても熱い機能です！！
この機能に触れている下記の記事では、S3 Tablesとの連携について述べられています。
DuckDBがローカルPC上で実行できるGUIツールである「Local UI」を発表
DuckDBがローカルPC上で実行できるGUIツールである「Local UI」を発表しました。
画像は下記のブログからの引用ですが、Notebookの形式で出力したテーブル・カラムの統計なども得ながらクエリの実行・分析ができるようです。
Data Transform
dbt
dbt利用時のGitのブランチ戦略に関する解説記事
dbt Developerブログにおいて、Gitのブランチ戦略をどうするのがよいかまとめた記事が出ていました。
関連して私の記事で恐縮ですが、dbt CloudでDev/QA/Prodの3環境に分けた場合のdbt projectの構成や開発プロセスをまとめた記事を最近投稿していますので、こちらも参考になると幸いです。
dbtの新エンジンであるminijinjaに関する記事
dbt Developerブログにおいて、dbtの新エンジンはRust実装のminijijaを活用し、プロジェクト解析を劇的に高速化するという内容についてまとめた記事が出ていました。従来のJinjaベースの解析と比較して、特に大規模プロジェクトで30倍以上の速度向上を実現するようです！
この詳細は2025年3月19日～20日に開催予定のdbt Developer Dayで説明がされるようです。気になる方はぜひご参加ください。
Business Intelligence
Looker
25.4のリリースノートが公開
Lookerの最新版である25.4のリリースノートが公開されました。
個人的には以下の内容が気になりました。
- Gemini in Lookerを使うための権限として
gemini_in_lookerロールが追加された - Conversational Analyticsを使うために、Studio in Lookerの有効化が不要となる
- こちらの機能は私もブログを書いていますので、参考になると嬉しいです
- Snowflakeの接続設定でキーペア認証をサポート
Omni
創業3周年にして、シリーズBで6900万USDの資金調達を実施
創業3周年となるOmniが、シリーズBで6900万USDの資金調達を実施したことを発表しました。
下記は記事からの引用した文の翻訳ですが、評価額6億5000万USDと前年比8倍の成長も凄まじいなと感じます。
お客様に支えていただいたことに感謝し、Omniが ICONIQ Growthが主導し、既存の投資家であるTheory Ventures、First Round Capital、Redpoint Ventures、GV、Snowflake Venturesが参加する6900万ドルのシリーズB資金調達を完了したことを誇りを持ってお知らせします。創業3周年を迎えたこの節目に、当社の評価額は6億5000万ドルとなり、収益と顧客利用の両面で前年比8倍の成長を遂げています。
Data Catalog
Atlan
Excelで記述した定義を元にER図を可視化出来るように
Atlanが新機能として、Excelのテンプレートを用いてER図をAtlanに取り込める機能を発表しました。
Select Star
Fivetran統合機能、Tableau統合機能の改善などの新機能をリリース
Select Starが新機能として、Fivetran統合機能、Tableau統合機能の改善などの新機能をリリースしました。
特にTableauに関して、シートとビューを分けて管理することが出来るようになり、どのシートがどのビューにあるかを識別し、リネージも表示できるようになったとのことです。（個人的には、カスタムSQLもリネージに表示できることを知らなかったので、そこが一番の衝撃でした…）
Data Activation (Reverse ETL)
Census
CensusがIceberg形式でカタログとデータの更新を管理する「Census Store」を発表
Censusの新機能として、CensusがIceberg形式でカタログとデータの更新を管理する「Census Store」を発表しました。
以下のドキュメントを見る限りでは、Censusが管理するS3バケットを使うことはもちろん、ユーザーが管理するS3バケットにデータを管理することも可能となっています。
Census Storeの活用例として、Snowflakeからクエリする方法もドキュメントして整備されています。
Census StoreにSaaSのデータをロードするための機能として、「SaaS Datasets」という機能も発表されています。現在はSalesforceとHubSpotに対応しているようです。
FivetranのManaged Data Lake Service然り、製品側がカタログとデータの更新を管理する機能が少しずつ増えてきた印象です。
Data Orchestration
Dagster
「dg CLI」と「Components」を発表
DagsterのOSS版の新機能として、「dg CLI」と「Components」が発表されました。（現在はプレビュー機能）
「dg CLI」はDagsterプロジェクト管理のためのCLIツールであり、「Components」はyamlベースでDagster関係のリソースを定義できる機能、と理解しています。（Compo）
