【速報】『Amazon EMR on Amazon EKS』が発表されました #reinvent
日本時間2020年12月10日深夜のAWS re:Invent 2020のAnalyticsのリーダーシップセッションにて、EMRのEKS対応『Amazon EMR on Amazon EKS』の提供が発表されました。
Amazon EMR on Amazon EKS とは
EKS(Elastic Kubernetes Service)は、Kubernetes を簡単に実行できるようにするマネージド型サービスですが、このEKSにAmazon EMRをデプロイ、つまりEKS環境上でAmazon EMRを利用できるようになりました。
Aamazon EMRのようなビッグデータフレームワークでは、Apache Spark、Hive、Hudi、Prestoなどをフレームワーク上でプロビジョニングとスケーリングを自動化し、さまざまなEC2インスタンスでパフォーマンスを最適化して、コストとパフォーマンスの要件を満たす必要があります。
本日は発表された Amazon EMR on Amazon EKSは、EKSでオープンソースのビッグデータフレームワークのプロビジョニングと管理を自動化できるEMRの新しいデプロイオプションです。EKSでEMRを使用すると、同じEKSクラスタ上で異なるアプリケーションと一緒にSparkアプリケーションを実行して、リソースを共有し、リソースの使用率を向上させ、インフラストラクチャ管理を簡素化できます。
Amazon EMR on Amazon EKS の特長
EMRアプリケーションを他のタイプのアプリケーションと同じEKSクラスターにデプロイできますので、リソースを共有してコストとパフォーマンスを効率化、すべてのアプリケーションを運用および管理するための単一のソリューションを標準化できます。お客様は、最新のフレームワークへのアクセス、パフォーマンスが最適化されたランタイム、アプリケーション開発用のEMRノートブック、デバッグ用のSparkユーザーインターフェイス、最新のEMR Studio(Preview)など、現在EC2で使用しているものと同じEMR機能をすべてEKSで利用できます。