[登壇レポート]Data Engineering Study # 27で2024年のModern Data Stackのアップデート情報を振り返ってきました #DataEngineeringStudy #01pN
さがらです。
2024年12月10日に、primeNumber社主催のイベント「01(zeroONE) 2024」が開催されました。
このイベントの中でData Engineering Study #27も初のオフライン開催の形式で行われ、その中で私は「クラメソさがら氏が語る!2024年のModern Data Stackを振り返ろう~分野別の目玉アップデート情報まとめ~」というセッションタイトルで登壇をしてきました。
本記事ではこの登壇資料と登壇を終えての所感についてまとめます。
登壇資料
登壇を終えて
まず、大変多くの方に現地で聞いて頂けてとても嬉しかったです!現地で聴講頂いた皆様、本当にありがとうございました。
今回の機会に改めてModern Data Stackのアップデートをまとめてみて、データ基盤の開発・運用がより楽になる機能が増えたり、データアプリ開発など数年前ではなかったユースケースが出てきたり、データ基盤周りの技術は日々進歩しているなということをしみじみと感じました。(詳細は是非上述の登壇資料よりご確認頂ければと思います。)
一方で、Apache Icebergを始めとしたレイクハウス関係、データ基盤に対する生成AIの活用、といった分野は今後も各製品が注力してアップデートをかけていくことが予想されます。
下図は登壇資料からの引用ですが、レイクハウスの考えを一部分だけでも導入することで既存アーキテクチャでもメリットを得られると思いますので、「今の自社の基盤だと、どこに導入できるかな…」ということを考えてみることをおすすめします。(レイクハウス関係の機能は各製品が開発中・プレビュー中の機能も多いため、ご注意ください。)
最後に、これからも下記のようなまとめ記事を定期的に執筆していきますので、ぜひご覧ください!!