[レポート] Mackerel Meetup #11 Tokyo へ行ってきました！ #mackerelio

監視サービス

#イベントレポート

#勉強会

#Mackerel

#監視サービス

#レポート

渡辺聖剛

2018.02.06

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

2/5 に Mackerel Meetup #11 Tokyo が開催されたので、弊社梶原とふたり¹で行ってきました。簡単ですがレポートしたいと思います。

なお、既に公式のレポート記事が掲載されていますので、こちらもご紹介します。

Mackerel Meetup #11 開催レポート！ - Mackerel ブログ #mackerelio

概要

エンジニアをワクワクさせる「直感的サーバー監視サービス」 Mackerel（マカレル）のMeetup #11を開催します。

Mackerel（マカレル）ははてな社が開発・運営されている SaaS 型のサーバー監視サービスです。所謂 agent インストール型の今時の監視に加えて、AWS と連携して CloudWatch のメトリクス（一部）を監視対象にする「AWS インテグレーション機能」も備えています。

今回は 11回目ということで、下記の 4セッションが行われました。

The 2018 Mackerel Product Roadmap
AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側
seesaa meets Mackerel
Mackerel で ECS をどこまでモニタリングできるのか

会場は六本木一丁目の DMM.com さまのオフィス。会議室？の入り口へ向かう途中に馬（アイワナシーユー）がいました。²

以下、セッションのレポートになります。

セッションレポート

最初に乾杯がありました。このあと懇親会が予定されているのですが、セッションの前に乾杯するのは初めての試みとのことですｗ

※以下敬称略

The 2018 Mackerel Product Roadmap

登壇者 : 杉山広通 (@sugiyama88)
- Mackerel 株式会社はてなプロデューサー
概要 : 今までの軌跡を踏まえ、Mackerelは今後どのような進化を遂げていくのか？2018年のプロダクトロードマップについてお話します

Mackerelとは
- はてなの主力サービスを支え続けてきた
- 最高のドッグフーディング
コマンドラインも特徴
同じロールのホストは同じグラフへ
選ばれる理由
- 簡単で分かりやすい
- 開発スピード（毎週リリース
- マルチクラウド
- 日本語サポートが充実
スタートアップ支援プラン
CloudProviderインテグレーション
- Cloud事業者の監視システムとして
2017年リリースの振り返り
- メトリックデータの拡充
- 堅牢なアーキテクチャへの移行
- イベント機能の拡充
- メタデータプラグイン
- Azureインテグレーション
- ioドメイン脱出
- アクション機能（自動化支援）
  - checkプラグインの実行結果に基づいて任意のコマンドを実行
- 公開グラフ機能

2018年のRoadmap

常に最適解を供給し続ける
Product Roadmap = 最新の開発方針
アラートグループ
- グループ単位でのアラート
- 一定時間内のアラートをまとめて通知 > 大量のアラート通知からの開放
コンテナの正式サポート
カスタムダッシュボードV2
- より直感的で分かりやすい、モダンなカスタムダッシュボードへ
ML（機械学習）の活用
- 異常検知
- 時系列データを学習し移動的に監視ルールを決めてアラートする
- MLの機能を手軽に提供できるように
  - 機械学習の第1弾
  - 複数のメトリックの組み合わせて学習
  - 混合ガウス分布を利用したい条件値
OSS Monitoring Affinityの拡充
- Nagios,sensuに続いて今年はPrometheusとの親和性を向上させる
- 観測範囲の拡大
- 多次元データモデル
- Discoveryで取得した情報を元にagentがexporterをscrapingし、取得したデータを時系列で取り込む

まとめ

Mackerelのビジョン
- エンジニアをワクワクさせる「直感的サーバー監視サービス」
DevOpsの中核として
- ライフサイクル全体の効率化を促進
We are Hiring

AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側

登壇者 : 脇坂朝人 (@ast_j)
- Mackerel 株式会社はてなアプリケーションエンジニア
概要：先日リリースした Mackerel の時系列データ1分粒度長期保存の開発や実装、時間が許せばモニタリングについてお話します

時系列データ（時系列データベース）とは
移行前 : Graphite
移行後 : diamond (内製)
- グラファイトとは炭素つながりで命名
- 詳細は発表済み
  - 時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
  - Serverlessconf Tokyo 2017で『サーバレスアーキテクチャによる時系列データベースの構築と監視』という発表してきました - プログラムモグモグ
コンセプト
- スケールする
- マネージドサービスで運用省力化
- アクセス特性に応じた階層型データストア Redis,DynamoDB,S3
DynamoDB
- メイン
- 安定・高パフォーマンス・スケーラビリティ
- 手頃なコスト
Redis
- いまのところEC2上で稼働（マネージドサービスではない
S3
- KVS的に利用している
古いデータの上書き更新は発生しない
S3に置く際に符号化している（データ圧縮）
1分粒度の長期保存
- データ量がこれまでの 441倍
- 古いデータのレイテンシ要件は緩い
- 古いデータはS3に配置
DynamoDB -> S3
- DynamoDB上からはTTL Expireで削除
- その際のイベントをDynamoDB Stream経由でLambdaが補足
- LambdaがS3にPutObject
利点
- 能動的な操作なくDynamoDB上のレコードを削除できる
- 失敗時のリトライも自動
- Stream以外に状態を持たない
DynamoDB TTL Expireは 2017/02のアップデートで追加
- diamondの開発は 2016/12頃から
S3への高頻度書き込み
- 内部シャーディング対応のためのprefix付与
- 急な増加の場合は、AWSサポート経由での事前対応依頼（暖機？）
S3のモニタリング
- 過剰なペースでの更新は HTTP 5xxエラーが発生する（らしい）
- オプションを有効にする（オプトイン）
  - バケットのメトリクス設定 - Amazon Simple Storage Service
- 参考 : Amazon CloudWatch を使用したメトリクスのモニタリング - Amazon Simple Storage Service
mackerel-plugin-aws-s3-requests
- 公式プラグインとしてリリース予定

seesaa meets Mackerel

登壇者 : 瀬戸祐樹 (@yseto)
- シーサー株式会社エンジニア
概要 : ブログ、掲示板、wikiなどのメディアサービスを運用しているシーサーでのMackerelの活用事例

seesaaの紹介
インフラ・運用について
- 主に運用をやっているのは3名ほど
- インフルエンザ怖い
- 対象はオンプレ・AWS
Mackerel以前
- savacan（さばかん）
  - 独自実装
- グラフはcacti
- 運用担当者がひとり張り付き
（当時の運用環境がどのようなものだったかの詳解（書くとつらいので略））
「ある冬、運用担当者が辞めた」
Mackerel
- 試用 > 即決で約 200ホストにエージェント導入
Mackerelによって得られた監視
- 外形監視
- 「我々は雰囲気で監視をしていた」
Mackerelのいいところ
- まずはエージェントをいれて状況を見る、というところから開始できる
- エージェントはyumで
- サポート
Mackerel監視設定について
- PDCAを回す必要性
- エージェントの導入時期で設定・監視項目が異なる
- mkr コマンドでサーバー一覧を作り、設定ファイルをダウンロードして全数検査
やってしまいがち
- ワンライナー、やっつけプラグイン
- シェルスクリプトにする
- 既成プラグインへ載せ替え
Whitebait
- 知らせる > しらす > シラス（whitebait）
- 該当VMが、Xen Serverのどのホストに収容されているか
- Mackerelのchecksプラグインの結果で見られるように
- yseto/whitebait: xen server self hosting assistant
設定レポジトリ
- 社内Git
こんなものも監視している
- オンプレのスイッチ
- オフィスの機器
- mysqlスレーブ
- keepalived
- ハードウェアRAID
- さくらのクラウドの課金
- AWS Lambda, CloudFront
- Docker
グラフ画像をChatWorkに
- yseto/slack_to_chatwork: SlackっぽいペイロードをChatworkにポストする。
まとめ
- インストールするだけで使えるMackerelは運用の味方
- オフィスのトラブルもMackerelで監視するとはかどる