[アップデート] Amazon CloudWatch Logs のトランスフォーマーが OSCF v1.1 のプロセッサをサポートしました

いわさです。

Amazon CloudWatch Logs にはトランスフォーマーという機能があります。
この機能を使うと標準形式のログを特定のフォーマットに変換処理をしたり、フィールドのパースを行うことができます。
このあたりの機能は以下の高国さんの記事が参考になると思います。

https://dev.classmethod.jp/articles/cloudwatch-logs-log-transformation-feature/

パーサーにはカスタマイズ設定可能なタイプのプロセッサと、AWS によって事前に組み込まれているプロセッサがあります。
Grok や CSV などはカスタマイズ前提のプロセッサで、WAF や Postgres　などは事前組み込みのプロセッサになります。

今朝のアップデートで、事前組み込みプロセッサに「OSCF v1.1」が追加されました。

https://github.com/aws/aws-cli/commit/ed74a6bc712b34ece3390279c0e4b81c48892edb

Open CyberSecurity Schema Framework (OCSF) は、サイバーセキュリティデータの標準化を目的としたオープンソースのスキーマフレームワークで、Splunk や Sumo Logic など様々な分析プラットフォームでサポートされているオープン規格です。
AWS だと Amazon Security Lake も OSCF をサポートしています。

https://dev.classmethod.jp/articles/amazon-security-lake-ga/

設定してみる

早速トランスフォーマーを設定し、ログ変換の様子を確認してみたいと思います。
今回は CloudTrail のログを CloudWatch Logs へ出力するように設定し、そのログを変換してみます。

CloudTrail で CloudWatch Logs への出力設定が出来たら、対象のロググループのトランスフォーマータブからアクセスします。
トランスフォーマーはアカウントレベルとロググループレベルとあるのですが、今回はロググループレベルで設定します。

この画面では次のようにプロセッサタイプなどを選択できるのですが、ここで次のように「OSCF v1.1」が追加されていることが確認できました。

パーサーに対してイベントソースのタイプを指定する必要がありまして、本日時点で次のログがサポートされています。

• CloudTrail
• Route53Resolver
• VPCFlow
• EKSAudit
• AWSWAF

今回はここで CloudTail を選択します。

設定後、トランスフォーマータブで次のように有効化されていれば変換が出来る状態です。

ログを観察してみる

冒頭の高国さんのブログにも記載されていますが、トランスフォーマーを使ったログを AWS で確認する場合には CloudTrail Insights を使う必要があります。
ロググループのログイベント検索機能では次のように変換前のログが表示されるのみです。

CloudTrail Insights で確認してみると、次のように OSCF v1.1 に準拠したフィールドで CloudTrail のログがマッピングされて出力されていることを確認出来ました。

さいごに

本日は Amazon CloudWatch Logs　のトランスフォーマーが OSCF v1.1 のプロセッサをサポートしたので使ってみました。

これまで外部 SaaS での取り込みためのログを自前で変換していた方や、それが面倒で諦めた方などはこれを機に再検討してみては如何でしょうか。
あまり私はトランスフォーマーを使う機会がこれまでなかったのですが、なかなか便利な機能ですね。