ZabbixでAWS/S3の保存量を取得する

はじめに

先日、S3の総保存量を計算するスクリプトについて、本ブログで紹介がありました

今回はそのスクリプトを利用し、ZabbixでS3の各バケット毎の保存量を監視する仕組みを作ってみました。

事前準備

AMIはAmazon Linux AMI 2014.03.1、Zabbixのバージョンは2.2.2です。

Zabbixのインストール方法に着いてはこちらを参照ください。(バージョンが2.0.9と古いです。登録するレポジトリを変更し、2.2系をインストールしてください。)

ZabbixサーバからS3のAPIを利用するので、「Amazon S3 Read Only Access」権限のあるIAM Roleを持ったインスタンスにしてください。IAM Roleについてはこちらを参照ください。

また、AWS SDK for Rubyも使うのでインストールしてください。下記の要領でできます。

$ sudo yum install rubygems rubygem20-aws-sdk.noarch

下記コマンドを実行して、エラーが出なかったら、roleの設定もSDKのインストールも正常にできています。

$ ruby -e "require 'rubygems';require 'aws-sdk';puts AWS::S3.new.buckets.count"

外部スクリプトの設置

S3の保存量を取得するため、Zabbixの外部チェックを利用します。 外部チェックは、Zabbixサーバがシェルスクリプトまたはバイナリを実行することによって実行するチェックです。

外部チェックで利用するスクリプトを設置します。

パラメータとして、バケット名と取得するデータの種別(バケット内のオブジェクトの総数、またはバケット内のオブジェクトサイズの合計)を渡します。 例えば、「shinsuke-test」という名前のバケット内のオブジェクトの総数を取得する場合は、下記のようなコマンドを実行します。

/usr/lib/zabbix/externalscripts/s3 --bucket_name shinsuke-test --mode count

設置するスクリプトの内容は以下になります。

/usr/lib/zabbix/externalscripts/s3

#!/usr/bin/ruby

require 'rubygems'
require 'aws-sdk'
require 'optparse'

params = ARGV.getopts(
  '',
  'mode:',
  'bucket_name:'
)

s3 = AWS::S3.new

bucket = s3.buckets[params['bucket_name']]

exit unless s3.buckets.include? bucket

case params['mode']
  when 'count'
    puts bucket.objects.count
  when 'size'
    puts bucket.objects.inject(0){|total_size, object| total_size + object.content_length}
end

Zabbixアイテムの設定

ホストを作成し、アイテム設定を行いましょう。

バケット「shinsuke-test01」内のオブジェクト総数を監視する場合は、以下のような設定を行います。

主な設定は下記の通りです。

バケット内のオブジェクトサイズの合計を取得する場合は、次のような設定になります。

最新データで監視結果を見てみましょう。

ちゃんと取れているようです。

ローレベルディスカバリによる自動アイテム登録

いま紹介したやり方だと、バケット毎にアイテムを作成する必要があります。それは面倒なので、Zabbixのローレベルディスカバリを利用し、自動でバケット毎のアイテムが作成されるようにしましょう。

ローレベルディスカバリについてはこちらの記事(【ZABBIX】やっぱりLLD(ローレベルディスカバリ)は最高だぜ！)が分かりやすいです。

「Template AWS S3」というテンプレートを作成し、ディスカバリルールを設定します。

主な設定項目は下記の通りです。

キーに指定している「discover_s3」はS3のバケット一覧を返すスクリプトで、中身は以下の通りです。

/usr/lib/zabbix/externalscripts/discover_s3

#!/usr/bin/ruby

require 'rubygems'
require 'aws-sdk'
require 'optparse'
require 'json'

discovery = {'data' => []}
s3 = AWS::S3.new
s3.buckets.each do |bucket|
  discovery['data'] << {
                      '{#BUCKET_NAME}' => bucket.name,
                    }
end

puts discovery.to_json

このスクリプトの実行結果は次のようになります。

[ec2-user@zabbix-server ~]$ /usr/lib/zabbix/externalscripts/discover_s3 | jq .
{
  "data": [
      {
      "{#BUCKET_NAME}": "shinsuke-test01"
    },
    {
      "{#BUCKET_NAME}": "shinsuke-test02"
    }
  ]
}

ローレベルディスカバリではこの結果を利用してアイテムのプロトタイプを作成することが出来ます。

オブジェクト総数を監視するプロトタイプは以下のようになります。

主な設定項目は下記の通りです。

以前、直接指定していたバケット名の部分が「{#BUCKET_NAME}」に変わっただけで、他は同じです。

バケット内のオブジェクトサイズの合計も同様に設定します。

これでテンプレートは出来たので、ホストを作成し、リンクさせましょう。

しばらくすると、アイテムが作成され、

監視結果も取れることが確認できました。

最後に

バケット内のオブジェクトサイズの合計からバケットの使用量を求めているため、オブジェクト数が増えると値取得に時間がかかります。

外部チェックのタイムアウトはデフォルトで3秒なので、最大値である30秒に変更しておきましょう。

$ sudo vim /etc/zabbix/zabbix_server.conf
### Option: Timeout
#       Specifies how long we wait for agent, SNMP device or external check (in seconds).
#
# Mandatory: no
# Range: 1-30
# Default:
# Timeout=3
Timeout=30

ただ、たとえ30秒に変更しても、オブジェクト数によってはタイムアウトにより値が取得できません。(c3.large上のZabbixの場合、2000オブジェクトを越えるとタイムアウトが発生しました。)

オブジェクト数が多い場合は、タイムアウトの無いZabbix Senderによる監視を検討した方が良いかもしれません。

今回作成した、S3用テンプレートです。手動で設定するのが手間な場合はこちらをご利用ください。

Zabbixテンプレート