AWSのログ管理！AWS運用管理フォーカスセミナー！！に参加してきました

はじめに

藤本です。

AWSのログ管理！AWS運用管理フォーカスセミナー！！に参加してきました。
ビックリマーク多めですね。

AWS運用管理フォーカスセミナー

AWS運用管理フォーカスセミナーはAWSにおける運用管理に特化したセミナーとなります。
特にオンプレミスとクラウド(AWS)の運用管理の違いに関して、テーマ毎にスピーカーが軽やかなトークを展開します。
今回のAWSのログ管理！は三回目でした。
第一回、第二回目は監視がテーマでした。第一回目は商用監視ツール、第二回目はZabbixをテーマに開催。 私は初めて参加しましたので過去の内容は分かりませんが、AWS Partner SAブログにサマリが紹介されています。

• 第一回
  AWS運用管理フォーカスセミナー

• 第二回
  第2回 運用管理フォーカスセミナー Zabbix on AWS

過去のセミナーのアンケートでログ管理に関するご要望が多くあったことから今回のテーマが決定しました。

それでは以下に簡単にサマリを。ブログにまとめながらセミナー聞くってムズい。。

ご挨拶

スピーカー：ADSJ 松本様

• クラウドとオンプレミスの違い クラウド移行によりシステムのアーキテクチャが変化した。
  それによりシステムの構成を考えるポイントが変わった。それに合わせて、運用管理も変えなければクラウドのメリットを享受することは出来ない。ログ管理然り。
• AWSも各種サービスのログ出力機能が充実 本日のアップデートの中にもELBのUser Agent、SSL Cipher and Protocolといった項目が追加されたように日々AWSのログ出力機能はアップデートされています。
• ログ活用 上記でも述べた通り、AWSのログ出力機能が充実してきましたが、ログ収集出来ている企業は多いが、収集したログを分析等で活用している企業はまだ少ない。ログを分析することによりピーク予測やキャパシティ計測を実施することができる。ログは大事な資産。

AWSのログ管理

スピーカー：ADSJ 酒徳様

ログの一般的な活用の流れ

• 集取
• 集約
• 分析・可視化

AWSにおけるログ管理

収集、集約はAWSで提供できているが、分析・可視化はAWSも対応できていないこともある。分析・可視化は今回紹介するSplunkやLogStorageのようなエコシステムを活用して実現していきましょう。

AWSのログ管理サービスのご紹介

CloudWatch Logs

• OSにエージェントを導入し、エージェントからログを収集し、AWS上でログを保管する。
• 保管の期間は1日〜永久に保管が可能。
• AWSマネジメントコンソール上でログの閲覧が可能。キーワード検索によるフィルタも可能。
• フィルタを利用することにより、CloudWatchからアラートを上げることが可能。
• CloudWatchの構成
  LogGroup -> LogStream -> ログメッセージ
• CloudWatch Logs利用条件
  • EC2インスタンスにLog Agentが導入済みであること。
  • CloudWatch Logsのエンドポイントがパブリックにあるため、プライベート環境にあるEC2インスタンスはNATインスタンスを配置する等して、エンドポイントとアクセス可能なこと。
  • Log AgentはAPIを発行するため、設定ファイルにアクセスキーを設定するか、EC2インスタンスにIAM Roleを割り当てていること。

VPC Flow Logs

VPC内に流れる通信をCloudWatch Logsに収集してくれる機能。例えばSecurityGroupのAccept/Deny等を記録。

ECS Logger Container(?)

ステートレスなコンテナサービスは停止するとデータは破棄されるため、ログデータ等保管しなければいけないデータは外部に出力させる必要がある。ECSではSyslog -> Log Agent -> CloudWatch Logsでログデータを保管することが可能。

CloudWatch Logs Subscriptions

CloudWatch Logs -> Kinesisにデータ転送可能。それによりログデータを活用する後続処理を行うことができる。

AWS CloudTrail

AWSアカウントの操作をロギングするサービス。API操作からManagement Consoleへのログイン、ディスカッションフォーラムの操作まで保管。
基本的に全リージョンでCloudTrailの有効を推奨。CloudTrailのログデータがあることでAWS Supportで調査のスピード改善に役立つ。
現在はほとんどのAWSサービスに対応している。
対応状況サービス一覧

AWS Config

• AWSリソースの設定情報取得
• 構成変更(設定履歴)のトレース
• リレーションシップ
  • AWSサービスに紐づくAWSサービスの関係性が分かる

まとめ

どのAWSサービスがどこに出力するのかを把握する必要がある。

• CloudWatch Logsで収集・監視可能なログ
  • EC2 (CloudWatch Logs Agent)
  • ECS (CloudWatch Logs Agent)
  • VPC Flow Logs
  • CloudTrail
• S3で収集可能なログ
  • Cloud Trail
  • ELB
  • CloudFront
  • S3
  • （何かもう一つあったような。。）

繰り返しとなりますが、AWSへ移行する場合、アーキテクチャに合わせて運用管理も再検討しましょう。

Splunkで実現するログデータ運用、クラウドとオンプレミスで一元管理

スピーカー：Splunk Service Japan 三船様

Splunkの概要

オンプレミスでも、クラウドでも、担当者が縦割り/横割りに分かれることで部門間のエスカレーションが多く発生し、問い合わせから解決までのスピードに時間がかかる運用現場がよくある。例えば、監視ツールはシステム運用チーム、OS/アプリケーションログ解析は開発チーム、データベースログはDBチーム、でもログ採取はシステム運用チームなどなど。

Splunkはログの収集、可視化を行うことで横断した解析が可能となり、解析の時間短縮を提供する。またログデータには秘匿性の高い情報が増えてきたためセキュリティ性の向上も同時に提供する。

Splunkはあらゆるログを分析するプラットフォーム

• 時系列データベース・
  • タイムスタンプをキーにデータを管理する。
  • 時系列に情報を閲覧することができる。
• カスタムアダプター不要
  • 様々なログ収集先に対応している。
    CloudTrailからデータを取り込むからと言ってアドオンなどの追加不要
• 外部ツールとの連携可能
  • HadoopやRDBなどと連携することでSplunkで収集したログデータの分析も可能。

性能・スケーラビリティ

• TB/日クラスの規模まで対応可能。実績あり。
• ログデータを収集・保管するインデクサー、可視化・閲覧するサーチヘッドがともにスケールすることで性能拡張、高可用性を実現することができる。
• ログ収集先、Splunkはクラウドでもオンプレミスでもハイブリットでも提供可能。

Splunkの提供形態

• SplunkはSaaS版もパッケージ版もある

Splunk App

• 様々なツールと連携するためのアドオン（基本的に無償提供）

Splunk App for AWS

AWSと連携するためのアドオン。下記のAWSサービスと連携可能。

• AWS CloudTrail
• AWS Config
• AWS Billing
• AWS CloudWatch
• AWS CloudFront
• AWS ELB
• AWS S3
• その他、アスキーテキストデータ

Demo

Dashboardで様々なデータ（Billing、BusinessAnalysis、IoT）をグラフ化、サマリを表示することが可能です。

AWS Config on Splunk

リソース間の繋がりが可視化され、それにより、繋がりがないリソースから利用状況を判断できたり、変更作業発生時にリソース間の影響範囲を把握することができます。

統合ログ管理システム

スピーカー：インフォサイエンス 稲村様

AWS上のログ分析における課題

• ログが細かい単位で出力したり、APIじゃないと取れないログ
• JSON形式（人に優しくない）
• CloudTrailが膨大で多岐に渡るため見るのが大変
• サービスリリースを追えない
• サービスによってメッセージフォーマットが異なったりするため、回避策を実装しなくてはいけない

Logstorageの概要

• あらゆる場所、あらゆるログ送信元からのログデータを収集することが可能。
• ログデータをセキュアに管理。

Logstorageの特徴

• 様々なプロトコル、送信方法に対応
• 高圧縮機能
  • 最大1/40までの圧縮が可能。多くの企業に評価されている。
• ログの改ざんチェック機能/暗号化対策
  • 監査としては必須機能。PCI DSSでは必須。
  • Logstorageを導入する50社以上がPCI DSSを取得。PCI DSSのログ管理要件を満たすことに自信あり。
• あらゆる機器、ソフトウェアのログを収集可能
  • 様々なHW/SWベンダと提携して事前にログフォーマット情報をいただくことで新バージョンへの対応も早い。

Logstorage for AWS

• CloudTrailとの連携
  • 複数AWSアカウントに対しても対応可能
  • S3バケットから分割されたCloudTrailのログを収集、統合し、レポート出力可能
• AWS Configとの連携
  • リソースの関連性を構成図として表示する
    これはすごく見やすかったです。これだけでもLogstorageを導入したいと思いました、ら、弊社ブログで既に紹介済みでした。
    LogstorageでAWSの全体構成を可視化する
  • 今現在、AWS Configに対応しているが対応できていないサービス、AWS Configが対応していないサービスも表示できるように機能拡張を進めている
• CloudWatch Logsとの連携
  • CloudWatch Logsに送信しているログを収集可能
  • EC2インスタンスから送信したログやVPC Flow Logsをレポート出力可能

まとめ

いかがでしたでしょうか？
様々な運用ツールがAWSに対応してきたことからもAWSの需要・注目が非常に高いことが分かります。特に私が興味を持ったのはAWS Configの可視化です。今回、二社ともに実装されていました。AWS ConfigはAWSリソースの設定状況や変更履歴をトレースすることができ、非常に有用なサービスですが、Management Console上では正直人間に優しいUIではないと思っています。私自身オンプレの構成変更をExcelで管理していて、大変苦労してきました。構成管理がリアルタイムで可視化でき、数クリックで履歴を追えることはシステム運用者にとって非常にありがたいものではないでしょうか。このようなソリューションは今後も注目していきたいです。 ちなみに後日（明日？）、本日の各社のスライドは公開されるそうですので、興味を持たれた方は是非ご覧ください。