この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
12月14日に開催のAWS re:Invent 2016の報告イベント「re:Growth 2016 Sapporo」に登壇してきました。ビックデータエンジニアが気になる新サービスとして、Amazon Athena と Amazon Glue のご紹介と Amazon Athena の簡単なデモをご覧いただきました。
発表資料
まとめ
Amazon Athena の登場によって、S3上の静的なファイルもデータ分析の対象することが容易になり、Amazon Glueの登場によって、ボトルネックであったETLが簡単にかつスケーラブルになることで、より大きなデータ分析が可能になります。
AWSが提供するBigdata関連サービスのざっくりした棲み分けは以下のとおりです。
- データレイクは Amazon Athena
- データウェアハウスは Amazon Redshift
- 高度かつ大規模なデータ分析は Amazon EMR
- これらを効果的に連携するのが、Amazon Glue