[レポート] AWSで独自のログ分析ソリューションを構築する #reinvent

ANT323-R - [REPEAT] Build Your Own Log Analytics Solutions on AWS

With the simplicity of Amazon Elasticsearch Service (Amazon ES), there are many opportunities to use it as a backend for real-time application and infrastructure monitoring. With this wealth of opportunities comes sprawl; developers in your organization are deploying Amazon ES for many different workloads and many different purposes. Should you centralize into one Amazon ES domain? What are the tradeoffs in scale and cost? How do you control access to the data and dashboards? How do you structure your indexes, by single tenant or multi-tenant? In this session, we explore whether, when, and how to centralize logging across your organization to minimize costs and maximize value. We also discuss how Autodesk built a unified log analytics solution using Amazon ES. Please join us for a speaker meet-and-greet following this session at the Speaker Lounge (ARIA East, Level 1, Willow Lounge). The meet-and-greet starts 15 minutes after the session and runs for half an hour.

セッション

Benefits of Amazon Elasticsearch Service

• 容易に使用できる
• スケールする
• セキュア
• 高可用性
• オープンソースのAPIやツールをサポート
• 他のAWSサービスと連携できる

Amazon S3を使ったデータレイク

• S3 の作成イベントをトリガーにLambdaを起動
• データの変換をLambdaで行わせる
• S3 は高い耐久性のあるストレージ
• 簡単にセットアップできる

Kinesis Data Firehoseを利用

Single index vs multiple indices

• 考慮すべき要因
  • アクセスパターン
  • パフォーマンス
  • スケーリング
  • アクセスコントロールの教会k
  • データ保持
  • 細分化されたデータのバックアップ・レストア

Security and monitoring

• IAM
  • ロールペースの認証
• Index level access control
  • インデックスごとの細かい制御
• AWS CloudTrail
  • 監査
• CloudWatch のモニタリングとアラート
  • ヘルスモニターとメトリクスの使用、アラートで起動するイベントのセットアップ

• VPCでセキュアを確保

• Amazon Cognito を Kibana のサインインに使用

  • パブリックとプライベートなエンドポインドを動作
  • ユーザーとロールの作成を Amazon Cognito の control access を内包
  • フェデレートIDのサポート
  • ドメインごとのアクセスコントロール

ボトルネックへの理解

• ボトルネックを理解する

Autodesk instrumentation solution

なぜ計測するのか？

• モニタリング
  • リアルタイムでの運用の問題の検出と通知
  • MTTD improvement
• 法務
  • インシデント管理
  • MTTR improvement
• 解析
  • 機能や回復力を高めるための洞察を導き出す

Pain points

アークテクチャーアプローチ

• 簡略化
• メトリックの標準化

loggingの統合

• さまざまな形式のログデータを記録する
• ソリューション
  • 標準のログデータモデル
  • 分散トレース状態のログレコードに注釈を付ける
  • オープントレーシングの採用
  • メジャーな言語のSDKをサポートしている

なぜ Amaozon Elasticsearch Service なのか?

• フルマネージド
• 高可用性
• シンプルに供給とスケーリングプロセス
• インスタンスタイプが選べる
• Amazon Kinesis Data Firehose にシームレスに連携できる
• Amazon CloudWatch のmetricsのモニタリング
• Kinane をビルトイン
• 効果的なコスト

他に考慮する点

まとめ

大量のログの計測に、 Elasticserach を利用されている様子が話されました。大量のログを解析し、可視化するところまでをサポートする、その他のサービスとの連携が容易であることが選定基準であるとのことでした。