(レポート) ISM311: How FINRA Gains Visibility into Its AWS Environment #reinvent

FINRA社がどのように自社のAWS環境を可視化したか

★★★以下、現在米国で開催されているre:Invent 2015に参加した体のレポートとなります★★★

FINRA社のAWS環境可視化のセッションに参加しましたので、その中のBilling周りの内容に関してレポートしたいと思います。

（※この写真は現地で撮影した体の写真です）

SlideShareに資料が公開されていますのでご確認ください：

Project Cost Management in AWS

FINRA社では主にSplunkの力を借りてAWS環境のコスト管理を行っているようです。

弊社でもDBRを中心にAWS環境のコスト分析は行っており、FINRA社の課題やその解決方法に興味があります！

現状の把握

• 伝統的な財務レビューのサイクルでは遅すぎる
  • クォータ毎のレビュー
• AWS Detailed Billing Reportsは見るには気力が失せる
  • 1000万行以上
• プロジェクトマネージャーがフォーカスしたい事
  • 予算より下回っているか？
  • コストはどこに掛かっているか？
  • 誰がそれを使っているか？
• レポートを手動で作成する
  • FINRAのデータと統合する必要がある

（DBRをExcelで見ようとすると、確かに気力が失せますね（＾～＾；））

選択されたアプローチ

• プロセス/デリバリシステムとしてSplunkを採用
  • 収集、分析、可視化
• SplunkでAWS Billing Dataを収集する
  • S3バケットからBillingデータを収集する（日次）
  • Detailed Line Items with Resources and Tags
    • 注：DBRで最も詳細なCSVデータになります
• データをリッチにする
  • プロジェクトコード参照
  • 見積もり
  • Billing調整
• インターフェース構築
  • FINRA AWS Billing App

大規模にAWSを利用しようとすると必ずDBRと向き合う必要があります。FINRA社はDBRのCSVをデータを様々に加工して、特にプロジェクトマネージャーがAWS利用の状況を把握しやすいようにアプリケーションを構築してしまったようです！

構成図

FINRA AWS Billing Appのイメージ

 

インパクト - コスト削減

• Low Hanging Fruitにフォーカスする
  • Low Hanging Fruit：達成しやすい目標、容易に解決できる課題
  • 週末や夕方以降はサービスをシャットダウンする
  • 夕暮れのストレージ/休眠中のEC2
    • Storage Sun Setting：あまり使われていないストレージ？？？
  • 多く使われているAWSサービスを特定する
  • 予算を超えているプロジェクト
• 結果
  • 1ヶ月でDBRのCSVの行を13.5%減らすことができた！
• より良い見積もり
  • フィードバックとコントロール

将来

• もっと短いサイクル
• タグの補強
• 「フリーライダー」サービス
  • ただで利用できるサービス（CFnとか）をどうするか？？？
• ドリルダウン分析

最後に

やはり使われていないEC2は停止するといった簡単な施策を社内で徹底することにより、DBRのデータが減る＝実際の利用費も削減されるという結果が出ているようです。かつタグ付けを詳細化することによりプロジェクトの予算との分析なども実施されており、大変参考になりました。

弊社でもDBR登場初期からヘビーに使い倒しているのですが、まだまだ改善の余地ありということを気づかせてくれた大変有意義なセッションでした。