[アップデート] AWS CloudTrail Lake がクエリ結果の S3 へのエクスポートに対応しました

yhana

2022.11.07

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

AWS CloudTrail Lake のクエリ結果を Amazon S3 へエクスポートできるようになりました。エクスポートされるデータには、CloudTrail の署名が付きます。このアップデートにより、Amazon QuickSight やサードパーティの BI ツールによる可視化などの連携が行いやすくなります。

試してみる

今回の検証では、次のブログを参考に構築した AWS Organizations 環境の CloudTrail Lake を利用します。

クエリ結果の S3 へのエクスポートとクエリ結果の検証を試します。

クエリ結果の S3 へのエクスポート

事前準備として、クエリ結果を保存する S3 バケットを作成します。

バケット名 test-cloudtrail-lake-query-results-20221104
主な設定内容
- AWS リージョン ap-northeast-1
- バケットのブロックパブリックアクセス設定 パブリックアクセスを全てブロック
- デフォルトの暗号化 有効にする（SSE-S3）
- バケットポリシー下記参照

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "cloudtrail.amazonaws.com"
            },
            "Action": [
                "s3:PutObject*",
                "s3:Abort*"
            ],
            "Resource": [
                "arn:aws:s3:::test-cloudtrail-lake-query-results-20221104",
                "arn:aws:s3:::test-cloudtrail-lake-query-results-20221104/*"
            ],
            "Condition": {
                "StringEquals": {
                    "AWS:SourceArn": "arn:aws:cloudtrail:ap-northeast-1:111122223333:eventdatastore/*"
                }
            }
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "cloudtrail.amazonaws.com"
            },
            "Action": "s3:GetBucketAcl",
            "Resource": "arn:aws:s3:::test-cloudtrail-lake-query-results-20221104",
            "Condition": {
                "StringEquals": {
                    "AWS:SourceArn": "arn:aws:cloudtrail:ap-northeast-1:111122223333:eventdatastore/*"
                }
            }
        }
    ]
}

S3 バケットを事前に作成せずに、CloudTrail Lake のクエリ実行時に自動で作成することもできます。上記のバケットポリシーは、自動作成する場合のバケットポリシーと同様の内容にしています。

エクスポート方法は簡単であり、マネジメントコンソール上から行う場合は、クエリ実行時に「結果を S3 に保存」をチェックして保存先の S3 を選択するだけです。

次のクエリを実行してみます。

SELECT
    eventID,
    eventTime,
    eventSource,
    eventName,
    RecipientAccountId
FROM
    a2b7ff15-9a9a-4226-aeae-xxxxxexample
WHERE
    eventTime >= '2022-11-03 12:00:00'
AND
    eventTime <= '2022-11-03 13:00:00'
ORDER BY
    eventTime ASC
LIMIT
    5

マネジメントコンソール上でクエリ結果を確認します。

次に S3 を確認してみると、クエリ結果が保存されています。

result_1.csv.gzにクエリ結果が保存されており、解凍した CSV ファイルは下記となります。1 行目に実行したクエリの実行時間と実行内容も記載されています。

# Execution Time: 2022-11-04T15:07:11.245281Z Query Statement: SELECT eventID, eventTime, eventSource, eventName, RecipientAccountId FROM a2b7ff15-9a9a-4226-aeae-xxxxxexample WHERE eventTime >= '2022-11-03 12:00:00' AND eventTime <= '2022-11-03 13:00:00' ORDER BY eventTime ASC LIMIT 5
eventID,eventTime,eventSource,eventName,RecipientAccountId
56ec28c5-67a1-47b9-94d1-3acf8aa849bf,2022-11-03 12:01:18.000,s3.amazonaws.com,GetBucketAcl,444455556666
6a491b77-bcda-4577-a76f-7d17f32a84b7,2022-11-03 12:03:09.000,iam.amazonaws.com,ListRoles,111122223333
8d3e7842-b7ab-4999-9d7d-c3114f7a6dd7,2022-11-03 12:03:10.000,iam.amazonaws.com,ListRoles,111122223333
6b544edb-af54-4083-9bfe-a14eb359b5f8,2022-11-03 12:03:48.000,s3.amazonaws.com,GetBucketAcl,444455556666
8962b5d3-8dda-458d-b71d-677028f29bdb,2022-11-03 12:06:23.000,s3.amazonaws.com,GetBucketAcl,444455556666

なお、クエリ結果は次の構造で保存されます。

All Buckets
    Bucket_Name
        AWSLogs
            Account_ID;
                CloudTrail-Lake
                    Query
                        2022
                            06
                              20
                                Query_ID

引用元：CloudTrail Lake に保存されたクエリ結果を見つける - AWS CloudTrail

ユーザーガイドによると、S3 へのエクスポートのレイテンシーは次の通りです。

平均して、クエリスキャンが完了した後、S3 バケットに配信されるデータ 1 GB ごとに 6 分のレイテンシーが予想されます。

引用元：クエリを実行してクエリ結果を保存する - AWS CloudTrail

1 時間以上のクエリはタイムアウトになる可能性があり、その場合は S3 にエクスポートされない点に留意する必要があります。

1 時間以上実行されるクエリは、タイムアウトになる場合があります。クエリがタイムアウトする前に処理された部分的な結果を引き続き取得できます。CloudTrail は、部分的なクエリ結果を S3 バケットに配信しません。タイムアウトを回避するには、より狭い時間範囲を指定してクエリを調整し、スキャンされるデータの量を制限します。

引用元：クエリを実行してクエリ結果を保存する - AWS CloudTrail

また、クエリ結果の CSV ファイルは 1 ファイルあたり最大 1 TB となり、1 TB を超える場合はファイルが分割されるようです。

配信されるクエリ結果ファイルの数は、クエリ結果の合計サイズによって異なります。クエリ結果ファイルの最大ファイルサイズは 1 TB です。各クエリ結果ファイルの名前は、result_.csv.gznumberです。たとえば、クエリ結果の合計サイズが 2 TB の場合、result_1.csv.gz と result_2.csv.gz の 2 つのクエリ結果ファイルが作成されます。

引用元：CloudTrail Lake に保存されたクエリ結果をダウンロードする - AWS CloudTrail

署名の検証

S3 にはクエリ結果の他に署名ファイルresult_sign.jsonも保存されており、署名を検証することができます。

署名ファイルは次の構造となります。

{
  "version": "1.0",
  "region": "ap-northeast-1",
  "files": [
    {
      "fileHashValue": "052b4cd259cef22414fbdc0a6821cb11c0aaf757e07f21818a242c021ffa29ee",
      "fileName": "result_1.csv.gz"
    }
  ],
  "hashAlgorithm": "SHA-256",
  "signatureAlgorithm": "SHA256withRSA",
  "hashSignature": "92788186b60871812fc12f0a65d7e562c33c0315a741214bb2a093828cf93fcb91c4f9532093c7524203844416a44e487cbcf1c09a3538385a3f415957135e84196902be82ff5d900f5c5bb0daf8de6faea86175a5ece68aa9972771e0480496164126b83cb12af31ead1f98cd793bc70f56fb8bbf57622723635052614926df10c72d6df0599cb0525f6182d264b0619e19ff84a9f1ee5bac7b41a6557f7d5db19b411f7f36d1b2aee913287dea76f8865d808cedd6c7f574b38a90437742751fdde6f7b68de45bbf719f84122ebd596e3ac86f7261140b938221dd7242dea36198e0f25c103239a407c0d3b3042fbe22af3c3cec7289252d3b0267fc682877",
  "publicKeyFingerprint": "93953f189caff2358f6231baabff2226",
  "queryCompleteTime": "2022-11-04T15:07:11Z"
}

署名の構造は次のユーザーガイドで解説されています。

CloudTrail 署名ファイルの構造 - AWS CloudTrail

署名の検証を試してみます。

AWS CLI を利用して、次のユーザーガイドの手順に従って実行します。

コマンドラインを使用したクエリ結果の検証 - AWS CloudTrail

まずはローカルにクエリ結果ファイルと署名ファイルをダウンロードします。

$ aws s3 sync s3://test-cloudtrail-lake-query-results-20221104/AWSLogs/111122223333/CloudTrail-Lake/Query/2022/11/04/f0355626-411d-42a9-8365-339a37a8b8c0/ ./ --region ap-northeast-1
download: s3://test-cloudtrail-lake-query-results-20221104/AWSLogs/111122223333/CloudTrail-Lake/Query/2022/11/04/f0355626-411d-42a9-8365-339a37a8b8c0/result_1.csv.gz to ./result_1.csv.gz
download: s3://test-cloudtrail-lake-query-results-20221104/AWSLogs/111122223333/CloudTrail-Lake/Query/2022/11/04/f0355626-411d-42a9-8365-339a37a8b8c0/result_sign.json to ./result_sign.json

$ ls
result_1.csv.gz  result_sign.json

opensslコマンドによりクエリ結果ファイルresult_1.csv.gzのハッシュ値を確認します。

$ openssl dgst -sha256 result_1.csv.gz
SHA256(result_1.csv.gz)= 052b4cd259cef22414fbdc0a6821cb11c0aaf757e07f21818a242c021ffa29ee

もし実行環境にopensslがない場合はインストールする必要があります。例えば、AWS CloudShell では次のコマンドでインストールします。

$ sudo yum install openssl

次に、署名の検証に使用する公開鍵（PEM ファイル）を作成します。

公開鍵は AWS CLI または CloudTrail API により取得します。取得にあたり、署名ファイル内のqueryCompleteTimeとpublicKeyFingerprintを確認しておきます。

AWS CLI により、公開鍵を取得するコマンドは下記となります。複数の公開鍵が返却される場合があるため、queryオプションを用いてpublicKeyFingerprintが一致する公開鍵のみを取得しています。

aws cloudtrail list-public-keys \
  --start-time "2022-11-03T15:07:11Z" \
  --end-time "2022-11-04T15:07:11Z" \
  --query PublicKeyList[?Fingerprint==\'93953f189caff2358f6231baabff2226\']

実行結果です。

$ aws cloudtrail list-public-keys --start-time "2022-11-03T15:07:11Z" --end-time "2022-11-04T15:07:11Z" --query PublicKeyList[?Fingerprint==\'93953f189caff2358f6231baabff2226\']
[
    {
        "Value": "MIIBCgKCAQEA+bMJFO+f/gJLFq7vN9v/pOsW07r1f181fiRyOfZ3m/x7w1c61tQxflzPLHOtDS57WXjyhu4cGuFui8VnnWX68SAAew0N2vC/kRbd7ajgFdkv6T3enON3ylXROPPQfYQ/QGazMiomdSSPVJaiIRTjMsOg7QvBo2z8Y6rVMgBEcgnQbp0wFZwGuLiMQqAFjYn9xRrI+p4QdQlhxd1bir0Lg+H00d2MSsem+yKzvSV+4BVYqSwcJ2+SLdZ3wi9ot9iqahwK9zSMz1YG8EcpP/j2YBRt0WMQDEo9tjY2Hcsc+XkdqngDVzDXf//3CeW5LQ6DlPJ7nYY2L4loUylG3rgp7QIDAQAB",
        "ValidityStartTime": "2022-10-18T00:13:00+00:00",
        "ValidityEndTime": "2022-11-17T00:13:00+00:00",
        "Fingerprint": "93953f189caff2358f6231baabff2226"
    }
]

上記出力のValueの値を利用して公開鍵（PEM ファイル）を作成します。

$ printf -- "-----BEGIN RSA PUBLIC KEY-----\n%s\n-----END RSA PUBLIC KEY-----" "MIIBCgKCAQEA+bMJFO+f/gJLFq7vN9v/pOsW07r1f181fiRyOfZ3m/x7w1c61tQxflzPLHOtDS57WXjyhu4cGuFui8VnnWX68SAAew0N2vC/kRbd7ajgFdkv6T3enON3ylXROPPQfYQ/QGazMiomdSSPVJaiIRTjMsOg7QvBo2z8Y6rVMgBEcgnQbp0wFZwGuLiMQqAFjYn9xRrI+p4QdQlhxd1bir0Lg+H00d2MSsem+yKzvSV+4BVYqSwcJ2+SLdZ3wi9ot9iqahwK9zSMz1YG8EcpP/j2YBRt0WMQDEo9tjY2Hcsc+XkdqngDVzDXf//3CeW5LQ6DlPJ7nYY2L4loUylG3rgp7QIDAQAB" | fold -w64 >> public_key_pkcs1.pem

$ cat public_key_pkcs1.pem
-----BEGIN RSA PUBLIC KEY-----
MIIBCgKCAQEA+bMJFO+f/gJLFq7vN9v/pOsW07r1f181fiRyOfZ3m/x7w1c61tQx
flzPLHOtDS57WXjyhu4cGuFui8VnnWX68SAAew0N2vC/kRbd7ajgFdkv6T3enON3
ylXROPPQfYQ/QGazMiomdSSPVJaiIRTjMsOg7QvBo2z8Y6rVMgBEcgnQbp0wFZwG
uLiMQqAFjYn9xRrI+p4QdQlhxd1bir0Lg+H00d2MSsem+yKzvSV+4BVYqSwcJ2+S
LdZ3wi9ot9iqahwK9zSMz1YG8EcpP/j2YBRt0WMQDEo9tjY2Hcsc+XkdqngDVzDX
f//3CeW5LQ6DlPJ7nYY2L4loUylG3rgp7QIDAQAB
-----END RSA PUBLIC KEY-----

PEM ファイルをopensslで読み込み可能な X.509 形式に変換します。

$ openssl rsa -RSAPublicKey_in -in public_key_pkcs1.pem -pubout -out public_key_x509.pem
writing RSA key

$ cat public_key_x509.pem
-----BEGIN PUBLIC KEY-----
MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEA+bMJFO+f/gJLFq7vN9v/
pOsW07r1f181fiRyOfZ3m/x7w1c61tQxflzPLHOtDS57WXjyhu4cGuFui8VnnWX6
8SAAew0N2vC/kRbd7ajgFdkv6T3enON3ylXROPPQfYQ/QGazMiomdSSPVJaiIRTj
MsOg7QvBo2z8Y6rVMgBEcgnQbp0wFZwGuLiMQqAFjYn9xRrI+p4QdQlhxd1bir0L
g+H00d2MSsem+yKzvSV+4BVYqSwcJ2+SLdZ3wi9ot9iqahwK9zSMz1YG8EcpP/j2
YBRt0WMQDEo9tjY2Hcsc+XkdqngDVzDXf//3CeW5LQ6DlPJ7nYY2L4loUylG3rgp
7QIDAQAB
-----END PUBLIC KEY-----

署名ファイルのhashSignatureの値から、署名のバイナリファイルを作成します。

$ printf "92788186b60871812fc12f0a65d7e562c33c0315a741214bb2a093828cf93fcb91c4f9532093c7524203844416a44e487cbcf1c09a3538385a3f415957135e84196902be82ff5d900f5c5bb0daf8de6faea86175a5ece68aa9972771e0480496164126b83cb12af31ead1f98cd793bc70f56fb8bbf57622723635052614926df10c72d6df0599cb0525f6182d264b0619e19ff84a9f1ee5bac7b41a6557f7d5db19b411f7f36d1b2aee913287dea76f8865d808cedd6c7f574b38a90437742751fdde6f7b68de45bbf719f84122ebd596e3ac86f7261140b938221dd7242dea36198e0f25c103239a407c0d3b3042fbe22af3c3cec7289252d3b0267fc682877" >> signature

$ xxd -r -p signature signature.bin

クエリ結果ファイルのハッシュ値を格納するhash_list_fileを作成します。今回の例では、クエリ結果ファイルは 1 ファイルのみのため、ハッシュ値も 1 つとなります。

$ printf "052b4cd259cef22414fbdc0a6821cb11c0aaf757e07f21818a242c021ffa29ee" >> hash_list_file

opensslコマンドにより、署名の検証を行います。

$ openssl dgst -sha256 -verify public_key_x509.pem -signature signature.bin hash_list_file
Verified OK

検証結果は OK です！

以上で、検証作業は終了です。

さいごに

AWS CloudTrail Lake のクエリ結果を S3 にエクスポートできるアップデートの紹介でした。このアップデートにより、Amazon QuickSight やサードパーティの BI ツールによる可視化などの連携が行いやすくなりました。ただし、1 時間以上のクエリは S3 にエクスポートされないなど、いくつか注意が必要な点もありました。

これからの AWS CloudTrail Lake のアップデートも楽しみです。

[アップデート] AWS CloudTrail Lake がクエリ結果の S3 へのエクスポートに対応しました

試してみる

クエリ結果の S3 へのエクスポート

署名の検証

さいごに

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩

[アップデート] AWS CloudTrail Lake がクエリ結果の S3 へのエクスポートに対応しました

試してみる

クエリ結果の S3 へのエクスポート

署名の検証

さいごに

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜AWS / システムアーキテクト案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制 はじめの一歩

関連記事

[アップデート]CloudTrail LakeでCloudTrail Insightsのイベントデータストアが作成できるようになりました

[Breakout Session] AWS コンプライアンスと監査サービスのカスタマイズ方法 #AWSreInvent #COP209

[アップデート]AWS CloudTrail LakeのイベントデータストアをAthenaで検索できるようになりました！ #AWSreInvent

[アップデート]AWS CloudTrail Lakeの料金オプションが追加され、One-year extendable retention pricing (1 年間延長可能な保持価格)を指定できるようになりました

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩