[レポート] Mackerel Meetup #11 Tokyo へ行ってきました！ #mackerelio

2/5 に Mackerel Meetup #11 Tokyo が開催されたので、弊社 梶原 とふたり¹で行ってきました。簡単ですがレポートしたいと思います。

なお、既に公式のレポート記事が掲載されていますので、こちらもご紹介します。

• Mackerel Meetup #11 開催レポート！ - Mackerel ブログ #mackerelio

概要

エンジニアをワクワクさせる 「直感的サーバー監視サービス」 Mackerel（マカレル） のMeetup #11を開催します。

Mackerel（マカレル）は はてな社が開発・運営されている SaaS 型のサーバー監視サービスです。所謂 agent インストール型の今時の監視に加えて、AWS と連携して CloudWatch のメトリクス（一部）を監視対象にする「AWS インテグレーション機能」も備えています。

今回は 11回目ということで、下記の 4セッションが行われました。

• The 2018 Mackerel Product Roadmap
• AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側
• seesaa meets Mackerel
• Mackerel で ECS をどこまでモニタリングできるのか

会場は六本木一丁目の DMM.com さまのオフィス。会議室？の入り口へ向かう途中に 馬（アイワナシーユー） がいました。²

以下、セッションのレポートになります。

セッションレポート

最初に乾杯がありました。このあと懇親会が予定されているのですが、セッションの前に乾杯するのは初めての試みとのことですｗ

※以下敬称略

The 2018 Mackerel Product Roadmap

• 登壇者 : 杉山広通 (@sugiyama88)
  • Mackerel 株式会社はてな プロデューサー
• 概要 : 今までの軌跡を踏まえ、Mackerelは今後どのような進化を遂げていくのか？2018年のプロダクトロードマップについてお話します

• Mackerelとは
  • はてなの主力サービスを支え続けてきた
  • 最高のドッグフーディング
• コマンドラインも特徴
• 同じロールのホストは同じグラフへ
• 選ばれる理由
  • 簡単で分かりやすい
  • 開発スピード（毎週リリース
  • マルチクラウド
  • 日本語サポートが充実
• スタートアップ支援プラン
• CloudProviderインテグレーション
  • Cloud事業者の監視システムとして
• 2017年リリースの振り返り
  • メトリックデータの拡充
  • 堅牢なアーキテクチャへの移行
  • イベント機能の拡充
  • メタデータプラグイン
  • Azureインテグレーション
  • ioドメイン脱出
  • アクション機能（自動化支援）
    • checkプラグインの実行結果に基づいて任意のコマンドを実行
  • 公開グラフ機能

2018年のRoadmap

• 常に最適解を供給し続ける
• Product Roadmap = 最新の開発方針
• アラートグループ
  • グループ単位でのアラート
  • 一定時間内のアラートをまとめて通知 > 大量のアラート通知からの開放
• コンテナの正式サポート
• カスタムダッシュボードV2
  • より直感的で分かりやすい、モダンなカスタムダッシュボードへ
• ML（機械学習）の活用
  • 異常検知
  • 時系列データを学習し移動的に監視ルールを決めてアラートする
  • MLの機能を手軽に提供できるように
    • 機械学習の第1弾
    • 複数のメトリックの組み合わせて学習
    • 混合ガウス分布を利用したい条件値
• OSS Monitoring Affinityの拡充
  • Nagios,sensuに続いて今年はPrometheusとの親和性を向上させる
  • 観測範囲の拡大
  • 多次元データモデル
  • Discoveryで取得した情報を元にagentがexporterをscrapingし、取得したデータを時系列で取り込む

まとめ

• Mackerelのビジョン
  • エンジニアをワクワクさせる「直感的サーバー監視サービス」
• DevOpsの中核として
  • ライフサイクル全体の効率化を促進
• We are Hiring

AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側

• 登壇者 : 脇坂朝人 (@ast_j)
  • Mackerel 株式会社 はてな アプリケーションエンジニア
• 概要：先日リリースした Mackerel の時系列データ1分粒度長期保存の開発や実装、時間が許せばモニタリングについてお話します

• 時系列データ（時系列データベース）とは
• 移行前 : Graphite
• 移行後 : diamond (内製)
  • グラファイトとは炭素つながりで命名
  • 詳細は発表済み
    • 時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
    • Serverlessconf Tokyo 2017で『サーバレスアーキテクチャによる時系列データベースの構築と監視』という発表してきました - プログラムモグモグ
• コンセプト
  • スケールする
  • マネージドサービスで運用省力化
  • アクセス特性に応じた階層型データストア Redis,DynamoDB,S3
• DynamoDB
  • メイン
  • 安定・高パフォーマンス・スケーラビリティ
  • 手頃なコスト
• Redis
  • いまのところEC2上で稼働（マネージドサービスではない
• S3
  • KVS的に利用している
• 古いデータの上書き更新は発生しない
• S3に置く際に符号化している（データ圧縮）
• 1分粒度の長期保存
  • データ量がこれまでの 441倍
  • 古いデータのレイテンシ要件は緩い
  • 古いデータはS3に配置
• DynamoDB -> S3
  • DynamoDB上からはTTL Expireで削除
  • その際のイベントをDynamoDB Stream経由でLambdaが補足
  • LambdaがS3にPutObject
• 利点
  • 能動的な操作なくDynamoDB上のレコードを削除できる
  • 失敗時のリトライも自動
  • Stream以外に状態を持たない
• DynamoDB TTL Expireは 2017/02のアップデートで追加
  • diamondの開発は 2016/12頃から
• S3への高頻度書き込み
  • 内部シャーディング対応のためのprefix付与
  • 急な増加の場合は、AWSサポート経由での事前対応依頼（暖機？）
• S3のモニタリング
  • 過剰なペースでの更新は HTTP 5xxエラーが発生する（らしい）
  • オプションを有効にする（オプトイン）
    • バケットのメトリクス設定 - Amazon Simple Storage Service
  • 参考 : Amazon CloudWatch を使用したメトリクスのモニタリング - Amazon Simple Storage Service
• mackerel-plugin-aws-s3-requests
  • 公式プラグインとしてリリース予定

seesaa meets Mackerel

• 登壇者 : 瀬戸祐樹 (@yseto)
  • シーサー株式会社 エンジニア
• 概要 : ブログ、掲示板、wikiなどのメディアサービスを運用しているシーサーでのMackerelの活用事例

• seesaaの紹介
• インフラ・運用について
  • 主に運用をやっているのは3名ほど
  • インフルエンザ怖い
  • 対象はオンプレ・AWS
• Mackerel以前
  • savacan（さばかん）
    • 独自実装
  • グラフはcacti
  • 運用担当者がひとり張り付き
• （当時の運用環境がどのようなものだったかの詳解（書くとつらいので略））
• 「ある冬、運用担当者が辞めた」
• Mackerel
  • 試用 > 即決で約 200ホストにエージェント導入
• Mackerelによって得られた監視
  • 外形監視
  • 「我々は雰囲気で監視をしていた」
• Mackerelのいいところ
  • まずはエージェントをいれて状況を見る、というところから開始できる
  • エージェントはyumで
  • サポート
• Mackerel監視設定について
  • PDCAを回す必要性
  • エージェントの導入時期で設定・監視項目が異なる
  • mkr コマンドでサーバー一覧を作り、設定ファイルをダウンロードして全数検査
• やってしまいがち
  • ワンライナー、やっつけプラグイン
  • シェルスクリプトにする
  • 既成プラグインへ載せ替え
• Whitebait
  • 知らせる > しらす > シラス（whitebait）
  • 該当VMが、Xen Serverのどのホストに収容されているか
  • Mackerelのchecksプラグインの結果で見られるように
  • yseto/whitebait: xen server self hosting assistant
• 設定レポジトリ
  • 社内Git
• こんなものも監視している
  • オンプレのスイッチ
  • オフィスの機器
  • mysqlスレーブ
  • keepalived
  • ハードウェアRAID
  • さくらのクラウドの課金
  • AWS Lambda, CloudFront
  • Docker
• グラフ画像をChatWorkに
  • yseto/slack_to_chatwork: SlackっぽいペイロードをChatworkにポストする。
• まとめ
  • インストールするだけで使えるMackerelは運用の味方
  • オフィスのトラブルもMackerelで監視するとはかどる

インフラエンジニア出身の身としては、とても辛みと喜びみの伝わってくるプレゼンでした。。。

Mackerel で ECS をどこまでモニタリングできるのか

• 登壇者 : 吉田慶章 (@kakakakakku)
  • 株式会社マクアケ
• 概要 : 「Mackerel の活用事例」と「Mackerel で ECS (クラスタ / コンテナインスタンス / タスク) をモニタリングしている事例」をお話します

弊社梶原がレポートしております、懇親会のレポートと合わせてこちらをご覧下さい。

[レポート]【Mackerel で ECS をどこまでモニタリングできるのか】 at Mackerel Meetup #11 Tokyo #mackerelio

所感

Mackerel Meetupには初めての参加でしたが、Mackerelはエンジニアの方向を向いた監視システムであり、そのビジョンに忠実なのだなと感じさせるセッションでした。弊社環境でも一部で使用しており、個人的に今後の発展は気になります。これからも注目していこうと思います。

注釈