AWS Systems Manager Agent のログ設定を変更してみた

園部治

2020.08.04

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

園部です。

想定通りに動作しない時や障害発生時のトラブルシューティングでは、ログを確認することは有効な手立ての一つです。 AWS Systems Manager （以降 SSM ）におけるトラブルシューティングでも S3やCloudWatchLogsなどに出力される実行結果とともに SSM Agent に出力されるログも有効です。

SSM エージェントは、実行、コマンド、スケジュールされたアクション、エラー、ヘルスステータスを各インスタンスのログファイルに書き込みます。

引用元： SSM エージェントログを表示する

ただし単一なファイルに大量の情報を出力しすぎると、返ってノイズとなり必要な情報にたどり着くまでに時間を要してしまう場合があります。そのためログをレベルで分けて出力内容や出力先などをコントロールする方法があります。今回は、SSM Agent ログで設定を変更して実施してみます。

やってみた

ログについて

設定を変更する前に SSM Agent ログについておさらいしておきます。 SSM Agent ログは通常以下に出力されます。

Linux

/var/log/amazon/ssm/amazon-ssm-agent.log
/var/log/amazon/ssm/errors.log

Windows

%PROGRAMDATA%\Amazon\SSM\Logs\amazon-ssm-agent.log
%PROGRAMDATA%\Amazon\SSM\Logs\errors.log

実際にはこのような内容が出力されます。（Linux 環境）割と量が多く頻繁に出力されている印象をお持ちの方が多いのではないかと思います。

# tail /var/log/amazon/ssm/amazon-ssm-agent.log
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Opening websocket connection to:wss://ssmmessages.ap-northeast-1.amazonaws.com/v1/data-channel/cm-sonobe.osamu-017ee7428a25ba935?role=publish_subscribe
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Successfully opened websocket connection to: wss://ssmmessages.ap-northeast-1.amazonaws.com/v1/data-channel/cm-sonobe.osamu-017ee7428a25ba935?role=publish_subscribe
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Skipping handshake.
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Instance region is ap-northeast-1
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Getting region information aboutbucket ap-northeast-1
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Starting pty
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Successfully created ssm-user
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Successfully created file /etc/sudoers.d/ssm-agent-users
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Successfully changed mode of /etc/sudoers.d/ssm-agent-users to 288
2020-08-03 13:02:15 INFO [ssm-session-worker] [sonobe-017ee7428a25ba935] [DataBackend] [pluginName=Standard_Stream] Plugin Standard_Stream started

# tail /var/log/amazon/ssm/errors.log
2020-08-03 13:01:11 ERROR [getApplicationData @ dataProvider_unix.go.268] [ssm-document-worker] [286373dd-0186-4b63-ba53-6addff0a111d.2020-08-03T13-01-11.042Z] [DataBackend] [pluginName=aws:softwareInventory] [aws:softwareInventory] Failed to execute command : dpkg-query [-W -f={"Name":"<start374a2eeb>${Package}<end03651326>","Publisher":"<start374a2eeb>${Maintainer}<end03651326>","Version":"<start374a2eeb>${Version}<end03651326>","ApplicationType":"<start374a2eeb>${Section}<end03651326>","Architecture":"<start374a2eeb>${Architecture}<end03651326>","Url":"<start374a2eeb>${Homepage}<end03651326>","Summary":"<start374a2eeb>${Description}<end03651326>","PackageId":"<start374a2eeb>${Package}_${Version}_${Architecture}.deb<end03651326>"},] with error - exec: "dpkg-query": executable file not found in $PATH
2020-08-03 13:01:11 ERROR [getFiles @ dataProvider.go.165] [ssm-document-worker] [286373dd-0186-4b63-ba53-6addff0a111d.2020-08-03T13-01-11.042Z] [DataBackend] [pluginName=aws:softwareInventory] [aws:softwareInventory] Path /root/tools does not exist!

ログ設定

では、さっそくログ設定を変更していきます。

SSM Agent ログの設定は /etc/amazon/ssm 配下にある seelog.xml.template で記述がされています。ログフォーマットや出力先、ログレベルを定義されています。

各種詳細については seelog Wiki に記載がされています。

# cat /etc/amazon/ssm/seelog.xml.template
<!--amazon-ssm-agent uses seelog logging -->
<!--Seelog has github wiki pages, which contain detailed how-tos references: https://github.com/cihub/seelog/wiki -->
<!--Seelog examples can be found here: https://github.com/cihub/seelog-examples -->
<seelog type="adaptive" mininterval="2000000" maxinterval="100000000" critmsgcount="500" minlevel="info">
    <exceptions>
        <exception filepattern="test*" minlevel="error"/>
    </exceptions>
    <outputs formatid="fmtinfo">
        <console formatid="fmtinfo"/>
        <rollingfile type="size" filename="/var/log/amazon/ssm/amazon-ssm-agent.log" maxsize="30000000" maxrolls="5"/>
        <filter levels="error,critical" formatid="fmterror">
            <rollingfile type="size" filename="/var/log/amazon/ssm/errors.log" maxsize="10000000" maxrolls="5"/>
        </filter>
    </outputs>
    <formats>
        <format id="fmterror" format="%Date %Time %LEVEL [%FuncShort @ %File.%Line] %Msg%n"/>
        <format id="fmtdebug" format="%Date %Time %LEVEL [%FuncShort @ %File.%Line] %Msg%n"/>
        <format id="fmtinfo" format="%Date %Time %LEVEL %Msg%n"/>
    </formats>
</seelog>

今回はログレベルを変更してみます。
具体的には以下の７つのレベルが利用可能です。各種詳細については Log levels に記載がされています。

Trace
Debug
Info
Warn
Error
Critical
Off

上記の例（デフォルト）では Info レベルからログに出力されています。そのため amazon-ssm-agent.log への出力量が多く感じるのかもしれません。実際のトラブルシューティングの現場ではいわゆる Debug レベルに変更し、より詳細なログを収集するケースが多いかと思います。ドキュメント内でも Debug へ設定変更する例が紹介されています。

SSM エージェントログを表示する

Debug レベルへ変更

ログレベルを変更するには設定ファイルを変更する必要があります。

/etc/amazon/ssm 配下にある seelog.xml.template をコピーして任意の値に修正し SSM Agent を再起動することで設定を反映されます。変更箇所は差分で表示しています。冒頭の minlevel を変更するだけで Debug レベルへ変更となりますが、ログフォーマットも Debug 用のものを利用してみます。

# cp /etc/amazon/ssm/seelog.xml.template /etc/amazon/ssm/seelog.xml
# vi /etc/amazon/ssm/seelog.xml

# diff /etc/amazon/ssm/seelog.xml.template /etc/amazon/ssm/seelog.xml
4c4
< <seelog type="adaptive" mininterval="2000000" maxinterval="100000000" critmsgcount="500" minlevel="info">
---
> <seelog type="adaptive" mininterval="2000000" maxinterval="100000000" critmsgcount="500" minlevel="debug">
8,9c8,9
<     <outputs formatid="fmtinfo">
<         <console formatid="fmtinfo"/>
---
>     <outputs formatid="fmtdebug">
>         <console formatid="fmtdebug"/>

# amazon-ssm-agent restart

これで反映されました。では実際にログを見ていきます。特に何も実行していないので効果がわかりづらいですが DEBUG レベルのログが出力されている点とフォーマットが変更されていることが確認できます。

# tail /var/log/amazon/ssm/amazon-ssm-agent.log
2020-08-04 02:51:38 INFO [func1 @ backend.go.179] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] [DataBackend] stopping ipc worker...
2020-08-04 02:51:38 DEBUG [watch @ filechannel.go.288] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] received event: "/var/lib/amazon/ssm/i-02d8d9afef378e47c/channels/sonobe-0f30b62f1adab01f5/worker-20200804025116-000": CREATE
2020-08-04 02:51:38 DEBUG [watch @ filechannel.go.288] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] received event: "/var/lib/amazon/ssm/i-02d8d9afef378e47c/channels/sonobe-0f30b62f1adab01f5/worker-20200804025116-001": CREATE
2020-08-04 02:51:38 INFO [Messaging @ messaging.go.108] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] requested shutdown, prepare to stop messaging
2020-08-04 02:51:38 INFO [Close @ filechannel.go.166] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] channel /var/lib/amazon/ssm/i-02d8d9afef378e47c/channels/sonobe-0f30b62f1adab01f5 requested close
2020-08-04 02:51:38 DEBUG [consumeAll @ filechannel.go.203] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] consuming all the messages under: /var/lib/amazon/ssm/i-02d8d9afef378e47c/channels/sonobe-0f30b62f1adab01f5
2020-08-04 02:51:38 WARN [consumeAll @ filechannel.go.210] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] IPC file not readable: tmp
2020-08-04 02:51:38 INFO [Messaging @ messaging.go.140] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] ipc channel closed, stop messaging worker
2020-08-04 02:51:38 INFO [main @ main.go.89] [ssm-session-worker] [sonobe-0f30b62f1adab01f5] Session worker closed
2020-08-04 02:51:53 DEBUG [ssm-session-worker] [sonobe-0d976144e557c1b1a] [DataBackend] [pluginName=Standard_Stream] Payload length will be adjusted: %!(EXTRA uint32=0)

おまけに

今回、ログ設定の変更で修正したファイル（seelog.xml）と同じディレクトリにある amazon-ssm-agent.json.template を利用することで SSM Agent の設定を変更することが可能です。ご興味のある方は、詳細が以下の Github で公開されているので、ご一読ください。

Runtime Configuration

さいごに

SSM Agent のログレベルやフォーマットが修正出来るということを頭の片隅にしまっておけば、いざという時の手札が増えるのではないでしょうか。また今回は実施していませんが、出力先やローテーション条件を変更することで自社のポリシーに揃えるといったことが必要な時に有益ではないかと思います。

AWS Systems Manager Agent のログ設定を変更してみた

やってみた

ログについて

Linux

Windows

ログ設定

Debug レベルへ変更

おまけに

さいごに

イベント

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【4/18リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS/システムアーキテクト/Android案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩

AWS Systems Manager Agent のログ設定を変更してみた

やってみた

ログについて

Linux

Windows

ログ設定

Debug レベルへ変更

おまけに

さいごに

イベント

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【4/18リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜AWS/システムアーキテクト/Android案件特集〜 を開催します

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制 はじめの一歩

関連記事

AWS Systems Manager 의 Parameter Store가 교차 계정을 지원하게 되었습니다

SSMエージェントはIAMロールの夢を見るか を語りました #jawsug #opsjaws

AWS CDKでECS Fargate Bastionを一撃で作ってみた

Ubuntu Pro 22.04に対してSSM Patch Managerでパッチ適用できるか確認してみた

EVENT【4/18リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS/システムアーキテクト/Android案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩

SSMエージェントはIAMロールの夢を見るかを語りました #jawsug #opsjaws