この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
現在開催中のAWS re:Invent 2022。今日はAdam Selipskyの Keynoteがありました。その会場でAmazon Redshift integration for Apache Sparkが発表されました！
Amazon Redshift integration for Apache Spark
AWSの公式ブログにて詳細が発表されています。
- New – Amazon Redshift Integration with Apache Spark
- Announcing Amazon Redshift integration for Apache Spark with Amazon EMR
これまでAmazon EMRやAmazon SageMaker、AWS GlueでApache Sparkを使いたい場合、サードパーティのApache Sparkコネクタを使ってAmazon Redshiftに接続する必要がありました。本機能はAmazon Redshift と Apache Sparkを統合するものであり、Redshift及びRedshift ServerlessでSparkアプリケーションを簡単に構築/実行できるようになるとのこと。
本機能は今日から即時利用可能であり、全てのリージョンで使えます。サポートするバージョンはAmazon EMR 6.9、AWS Glue 4.0、Amazon Redshift全てです。
Shift from manual to automatic. ☁️??
With Amazon Redshift integration for Apache Spark, you can cut out the cumbersome process of setting up a third-party connector—reducing the time it takes to drive business insights & #ML tasks. #AWS #reInvent
? https://t.co/RH1dJ1UCbi pic.twitter.com/XiC8zKQRdw
— Amazon Web Services (@awscloud) November 29, 2022
さいごに
Sparkを活用するユースケースでダイレクトにRedshiftを活用できるようになります。これは熱いアップデートですね！
13
