![[2025年1月22日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-4c47f61cc8c1b97c00c0efcc68eab01b/ebc4f0c0223a249eae2f9de257dedbcd/eyecatch_moderndatastack_1200_630.jpg)
[2025年1月22日号]個人的に気になったModern Data Stack情報まとめ
2025.01.22さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Data Extract/Load
Airbyte
Airbyte v1.4.0がリリース
2025年1月17日に、Airbyteの最新バージョンであるv1.4.0がリリースとなりました。
プラットフォーム自体の更新や、DISCOVER_REFRESH_WINDOW_MINUTESというスキーマ検出の実行頻度を変えられるパラメータが追加されたようです。
Omnata
SalesforceコネクタがFormula Fieldの同期に対応（パブリックプレビュー）
まだパブリックプレビューの機能になりますが、OmnataのSalesforceコネクタがFormula Fieldの同期に対応することを発表しました。
私は「Jan 2025 - Product Updates」というOmnataからのメールでこの機能を知ったのですが、メールでは下記のように言及がありました。本番環境のパイプラインに適用する前に、一度検証したほうが良さそうですね。
We have recently added support for translating Salesforce formula fields into their Snowflake equivalents. Formula fields can be tricky to replicate since their values can change without the data changing, for example; a date calculation based on TODAY(), or, a field that references another object.
You can now check the box in the sync config to include formula fields in a sync. You'll need to consider dependencies to other objects in/out of the sync and we recommend testing them separately before adding them into a production pipeline.
Data Warehouse/Data Lakehouse
Snowflake
BigQueryで管理しているIcebergテーブルをSnowflakeのIcebergテーブルとして扱う事例
Mediumにおいて、BigQueryで管理しているIcebergテーブルをSnowflakeのIcebergテーブルとして扱う事例をまとめた記事が出ていました。
背景として、BigQueryでのみ生データを取得可能なGA4やFirebaseのデータについてJSONでエクスポートしてSnowpipeで取り込むパイプラインに対する課題があり、その解決策としてIcebergテーブルを用いた方法で実装したようです。
AWS
Amazon S3 Tablesが東京リージョンでも利用可能に
Amazon S3 Tablesが東京リージョンでも利用可能になりました。これで日本でも試しやすくなりましたね！
Data Transform
dbt
dbt LabsがSDF Labsの買収を発表
dbt Labsが、dbtと競合製品であるSDFを提供するSDF Labsの買収を発表しました。
SDF Labsはローカルに閉じたコンパイルやRust製による動作の速さが売りのツールですが、これがdbtにどう取り込まれていくのかは楽しみです！
直近では、下記のイベントで今後の動きについて公表される予定となっています。
Tobiko(SQLMesh)
SQLMeshが1プロジェクト内で複数DB/DWHが関わるモデルのサポートを発表
SQLMeshが新機能として、1プロジェクト内で複数DB/DWHが関わるモデルのサポートを発表しました。
下記の記事内ではPostgreSQLとDuckDBを1つのプロジェクトに用いる例と共に本機能について説明されています。
公式ドキュメントはこちらになります。（上述の記事と同じPostgreSQLとDuckDBを用いた例が記載されています。）
SQLMeshを提供するTobikoがQuaryの買収を発表
SQLMeshを提供するTobikoがQuaryの買収を発表しました。
Quaryは、「エンジニア向けのBI」と銘打っているOSSのツールです。
Business Intelligence
Looker
25.0のリリースノートが公開
Lookerの最新バージョンである25.0のリリースノートが公開されました。
細かい修正がメインのアップデートですが、Looker Original版のみ追加されたLab機能である「Content Validator Scoping」は気になるところです。
A new Labs feature, Content Validator Scoping, allows admins to use additional parameters to filter Content Validator jobs.
ThoughtSpot
Analyst Studioを発表
ThoughtSpotが新機能として、「Analyst Studio」を発表しました。
AIアシスト付きのSQLエディタ、PythonとRに対応したノートブック、データソースに対するライブ接続とスナップショット的な抽出、といった機能を備えるようです。
Lightdash
Dashboards as Codeをリリース
Lightdashが新機能として、「Dashboards as Code」をリリースしました。
これは、Lightdashで作成されたチャートやダッシュボードをCLIでlightdash downloadと実行することで、対象のチャートとダッシュボードの定義に関するyamlファイルを自動で生成してくれる機能となっています。
コードで管理できるため、参照しているテーブルやメトリックの名称が変更したときにも、一括で置換を実施することが出来るようです。
Data Catalog
OpenMetadata
OpenMetadataの2024年のリリース情報まとめ
OpenMetadataのOSS版とSaaS版について、それぞれ2024年の主なリリース情報をまとめた記事が出ていました。
それぞれ体系的にまとめられていて参考になるため、OpenMetadataが2024年にどういった機能を出したのか一通り確認したい場合には丁度良いと思います。
