[新機能] Amazon Redshift integration for Apache Spark が発表されました #reinvent

はじめに

現在開催中のAWS re:Invent 2022。今日はAdam Selipskyの Keynoteがありました。その会場でAmazon Redshift integration for Apache Sparkが発表されました!

Amazon Redshift integration for Apache Spark

AWSの公式ブログにて詳細が発表されています。

これまでAmazon EMRAmazon SageMakerAWS GlueApache Sparkを使いたい場合、サードパーティのApache Sparkコネクタを使ってAmazon Redshiftに接続する必要がありました。本機能はAmazon Redshift と Apache Sparkを統合するものであり、Redshift及びRedshift ServerlessでSparkアプリケーションを簡単に構築/実行できるようになるとのこと。

本機能は今日から即時利用可能であり、全てのリージョンで使えます。サポートするバージョンはAmazon EMR 6.9、AWS Glue 4.0、Amazon Redshift全てです。

さいごに

Sparkを活用するユースケースでダイレクトにRedshiftを活用できるようになります。これは熱いアップデートですね!