re:Growth2016 Sapporoで『ビックデータ観点で見た AWS re:Invent 2016』を話してきました #reinvent #cmdevio

12月14日に開催のAWS re:Invent 2016の報告イベント「re:Growth 2016 Sapporo」に登壇してきました。ビックデータエンジニアが気になる新サービスとして、Amazon Athena と Amazon Glue のご紹介と Amazon Athena の簡単なデモをご覧いただきました。

発表資料

まとめ

Amazon Athena の登場によって、S3上の静的なファイルもデータ分析の対象することが容易になり、Amazon Glueの登場によって、ボトルネックであったETLが簡単にかつスケーラブルになることで、より大きなデータ分析が可能になります。

AWSが提供するBigdata関連サービスのざっくりした棲み分けは以下のとおりです。

• データレイクは Amazon Athena
• データウェアハウスは Amazon Redshift
• 高度かつ大規模なデータ分析は Amazon EMR
• これらを効果的に連携するのが、Amazon Glue