Developers.IO 2017セッション「G-1 現場で使える Amazon Athena」ハンズオンセミナーを開催しました #cmdevio2017

2017.07.03

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Developers.IO 2017 「現場で使える Amazon Athena」 ハンズオンセミナー担当の石川です。 Amazon Athenaは AWS re:Invent 2016の新サービスとして話題となった『標準SQLを使ってS3上のデータを簡単に分析する事が出来るサービス』です。

ハンズオンのねらい

S3はあらゆるAWSサービスのハブストレージであり、S3のログデータに対してインタラクティブにクエリを実行することで、ビックデータのみならず、AWS基盤・サービス・アプリで起こっている『何か』を把握することができます。 データ分析向けのサービスと捉えがちですが、今回は趣を変え『DevOps』という観点で Amazon Athena 使ってみたいと考えました。

ハンズオンの内容

Amazon Athena 概要

  • Amazon Athena とは
  • Athena の特徴
  • Athena のユースケース
  • Athena のエンジンとメタデータ管理
  • Athena のアーキテクチャー
  • Athenaを利用するのに必要な権限の付与

初めての Amazon Athena

  • Athena のコンソールの理解
  • GUIによるデータベースの作成(演習1)
  • GUIによるテーブルの作成(演習1)
  • GUIによるクエリの実行(演習1)
  • テーブル定義のポイント

Amazon Athenaを使い倒す

  • タブ区切り文字列の検索(演習2)
  • Athenaのクエリ結果をさらに検索する(演習3)
  • 複雑なデータ型の検索 - Array型(演習4)
  • 複雑なデータ型の検索 - Struct型(演習5)
  • 複雑なデータ型の検索 - Map型(演習6)

アクティビティを探索する

  • ELBのログを探索する(演習7)
  • CloudTrailのログを探索する(演習8)

パフォーマンスの改善

  • 読み取りデータ量の削減する方法
  • カラム名ありパーティション(演習11)
  • カラム名なしパーティション(演習12)

Amazon Athenaを今後使うために

  • Amazon Athenaを今後も使うための方針
  • 参考文献

最後に

当日はハンズオンに参加して頂き誠にありがとうございました。セッションの後もご質問を頂いたり、ご挨拶をさせていただきましたこと感謝しております。105分という限られた時間の中で、出来る限り手を動かす時間を多く割り当てました。これを機会にAthenaをご利用頂けると幸いです。