re:Growth2016 Sapporoで『ビックデータ観点で見た AWS re:Invent 2016』を話してきました #reinvent #cmdevio
12月14日に開催のAWS re:Invent 2016の報告イベント「re:Growth 2016 Sapporo」に登壇してきました。ビックデータエンジニアが気になる新サービスとして、Amazon Athena と Amazon Glue のご紹介と Amazon Athena の簡単なデモをご覧いただきました。
発表資料
まとめ
Amazon Athena の登場によって、S3上の静的なファイルもデータ分析の対象することが容易になり、Amazon Glueの登場によって、ボトルネックであったETLが簡単にかつスケーラブルになることで、より大きなデータ分析が可能になります。
AWSが提供するBigdata関連サービスのざっくりした棲み分けは以下のとおりです。
- データレイクは Amazon Athena
- データウェアハウスは Amazon Redshift
- 高度かつ大規模なデータ分析は Amazon EMR
- これらを効果的に連携するのが、Amazon Glue
![[レポート] インシデント発生に備えるための議論をする tabletop「Incident response tabletop: Supply chain」 #GHJ205-R #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
![[レポート]re:Invent 2024のEXPO会場で救急セットを作ったりして #GiveBack しよう #AWSreInvent #ACT126](https://devio2024-media.developers.io/image/upload/v1733389602/user-gen-eyecatch/myjtprkzjjcwvxmf8enu.png)
