re:Growth 2025 大阪で「 今年のデータ・ML系アップデートと気になるアプデのご紹介」というタイトルで登壇しました #AWSreInvent #cmregrowth
データ事業本部の鈴木です。
2025年12月10日(水)に開催されたAWS re:Invent ふりかえり勉強会「クラスメソッドre:Growth 2025 大阪」に「今年のデータ・ML系アップデートと気になるアプデのご紹介」というタイトルで登壇しました。
登壇資料
ポイントのご紹介
Apache Iceberg対応のトレンド
Apache Icebergに関するアップデートが多い背景についてご紹介しました。
Apache Icebergはオープンソースデータテーブル形式で、トランザクションによりデータの正確性と一貫性を確保できるほか、タイムトラベル機能でデータやデータ構造が時間の経過とともにどのように変化しているかを追跡することもできます。
AWSをはじめ多くのアナリティクスに関するクラウド製品でサポートされてきており、この形式でデータを保持しておくことで、データの相互運用性も高めることが可能になります。
アナリティクス系サービスを普段から利用されている方だとこのトレンドは肌で感じていると思いますが、そうでない方だと「たくさんApache Icebergという名前に関連したアップデートが出ていたけどなんでだろう？」となってしまうかと思いましたので、ご紹介しました。
Apache Icebergについては以下が参考になります。
AWS LambdaのDurable Functions
AWS LambdaのDurable Functionsはアナリティクス系サービスを使う際にも相性がよいように思いましたのでご紹介しました。
Durable Functionsを使うことで、時間がかかる処理でもチェックポイントから再開し、AWS Lambdaだけで制御できるようになりました。
例えば以下ではAmazon Athenaの制御をDurable Functionsに置き換える例が紹介されています。
データ分析クエリは処理量が大きいことが多く、実行時間も長くなりがちです。これまではStep Functionsなどのオーケストレータで制御するような作りがよくありました。Step FunctionsはAPI統合もあり、わざわざLambda関数を作らなくても単体でもAthenaの制御ができました。
一方で、クエリの保存場所であったり、若干直感的でない（オーケストレーターが自分でクエリを実行すると想像しづらい）ため、結局ステートマシンもLambda関数も作ってクエリを実行していることが多かったのではないかなと思います。
Durable Functionsを使うことでこういった実装がより簡潔にできるようになることを期待しています。
そのほかの気になるアップデート
当日は発表時間の都合で省いてしまいましたが、SageMaker AIのサーバレスMLflowやGlue Data Qualityの前処理クエリも注目しているので、気になる方はチェックしてみてください！
最後に
「クラスメソッドre:Growth 2025 大阪」の登壇資料のご紹介でした。
アナリティクスや機械学習のサービスを使われている方は、re:Invent 2025のアップデートのキャッチアップの参考になりましたら幸いです。
