WAFログのCountリクエストをAthenaで確認したい

困っていた内容

S3 に出力されている AWS WAF ログから、Count¹ のリクエストを確認したいと考えています。

そのため、まず以下ドキュメントに記載のクエリを使用し、Amazon Athena で WAF ログのテーブルの作成を行いました。

• AWS WAF ログのクエリ - Amazon Athena

WAF ログの中に Count のリクエストは存在することは間違いないのですが、作成したテーブルに対し、Count のリクエストを抽出するためのクエリを作成・実行したところ結果が 0 件となりました。

どう対応すればいいの?

該当する Count アクションが WAF ログのどのフィールドに記録されているか把握し、それに応じたクエリを実行する必要があります。

現在、WAF ログの Count の記録フィールドは以下の三箇所があります。

1. WAF ログ直下の "nonTerminatingMatchingRules" フィールドに "action": "COUNT" として記録
2. "ruleGroupList" フィールド内の "nonTerminatingMatchingRules" フィールドに "action": "COUNT" として記録
3. "ruleGroupList" フィールド内の "excludedRules" フィールドに "exclusionType": "EXCLUDED_AS_COUNT" として記録

※ それぞれのログ形式の詳細と、対応する WebACL の設定につきましては、以下ブログ記事をご確認ください。

この三つのログパターンのうち、1 および 3 を Athena で抽出するためのクエリについては、以下の AWS ブログで確認することができます。²

• AWS WAF のログ分析に関する考慮事項 | Amazon Web Services ブログ

しかし、2 については、2022 年 10 月 27 日のアップデート³ により記録されるようになったフィールドであるため、2022 年 9 月に公開されている上記の AWS ブログでカバーされない内容となります。

以下では、上述の三つのログパターンで記録された COUNT を抽出するためのクエリの一例をそれぞれ紹介します。

1. WAF ログ直下の "nonTerminatingMatchingRules" フィールドに "action": "COUNT" として記録されている場合

SELECT
    from_unixtime(timestamp/1000, '+00:00') AS UTC,
    from_unixtime(timestamp/1000, '+09:00') AS JST,
    httprequest.clientip,
    httprequest.uri,
    httprequest.country,
    t.ruleid
FROM "waf_logs"
CROSS JOIN UNNEST(nonTerminatingMatchingRules) AS t(t)
WHERE t.action='COUNT'

2. "ruleGroupList" フィールド内の "nonTerminatingMatchingRules" フィールドに "action": "COUNT" として記録されている場合

SELECT
    from_unixtime(timestamp/1000, '+00:00') AS UTC,
    from_unixtime(timestamp/1000, '+09:00') AS JST,
    httprequest.clientip,
    httprequest.uri,
    httprequest.country,
    t1.rulegroupid,
    t2.ruleId
FROM "waf_logs"
CROSS JOIN UNNEST(rulegrouplist) AS t(t1)
CROSS JOIN UNNEST(t1.nonTerminatingMatchingRules) AS t(t2)
WHERE t2.action='COUNT'

3. "ruleGroupList" フィールド内の "excludedRules" フィールドに "exclusionType": "EXCLUDED_AS_COUNT" として記録されている場合

SELECT
    from_unixtime(timestamp/1000, '+00:00') AS UTC,
    from_unixtime(timestamp/1000, '+09:00') AS JST,
    httprequest.clientip,
    httprequest.uri,
    httprequest.country,
    t.rulegroupid,
    t.excludedrules
FROM "waf_logs"
CROSS JOIN UNNEST(rulegrouplist) AS t(t)
WHERE t.excludedrules IS NOT NULL

参考資料

• Querying AWS WAF logs - Amazon Athena
• Rule action - AWS WAF, AWS Firewall Manager, and AWS Shield Advanced
• Action overrides in rule groups - AWS WAF, AWS Firewall Manager, and AWS Shield Advanced
• AWS WAF のログ分析に関する考慮事項 | Amazon Web Services ブログ
• Log fields - AWS WAF, AWS Firewall Manager, and AWS Shield Advanced
• Flattening nested arrays - Amazon Athena

注釈