![[アップデート] Amazon S3 Tables のテーブルバケットで S3 サーバーアクセスログを有効にして記録される内容を確認してみた](https://devio2024-media.developers.io/image/upload/f_auto,q_auto,w_3840/f_auto,q_auto/v1790869710/eyecatch/hi1gtfwh62jd1b8aibbd.png)
[アップデート] Amazon S3 Tables のテーブルバケットで S3 サーバーアクセスログを有効にして記録される内容を確認してみた
クラウド事業統括本部の石川です。Amazon S3 Tables のテーブルバケットで S3 サーバーアクセスログが使えるようになりましたので、AWS CLI とマネジメントコンソールで設定し、配信されたログの中身を確認してみました。
Amazon S3 Tables のテーブルバケットが S3 サーバーアクセスログに対応しました。テーブルの操作、名前空間の管理、データへのアクセスといったテーブルバケットへのリクエストの記録を、同じアカウント・同じリージョンの汎用バケットに配信できます。用途として、セキュリティ監査、アクセス分析、コスト配分が挙げられています。
各レコードには、リクエスト元、オペレーション、テーブル名、名前空間、レスポンスステータス、リクエストのタイミングが含まれます。ログの形式は汎用バケットのサーバーアクセスログと同じスペース区切りのテキストなので、汎用バケット向けに作ったログ分析の仕組みを流用でき、Amazon Athena や DuckDB などのクエリエンジンで検索できます。ログの生成と配信に S3 Tables の追加料金はかからず、配信先の汎用バケットのストレージ料金などの通常の S3 料金がかかります。
S3 Tables が利用できるすべての AWS リージョンで使え、AWS マネジメントコンソール、AWS CLI、AWS SDK、AWS CloudFormation から設定できます。
API としては PutTableBucketLogging と GetTableBucketLogging が追加されました。AWS CLI では 2.40.0 から aws s3tables put-table-bucket-logging / get-table-bucket-logging が使えます。
なお、2026年6月には「汎用バケットのサーバーアクセスログを Amazon CloudWatch Logs に配信し、S3 Tables にミラーする」機能が発表されています。こちらは汎用バケットのログの保存先として S3 Tables を使う機能です。今回のアップデートは、テーブルバケット自体へのリクエストを記録する機能で、別物です。
S3 Tables のサーバーアクセスログとは
サーバーアクセスログはテーブルバケット単位で有効にします。有効にすると、そのテーブルバケット内のすべての名前空間とテーブルへのリクエストが記録され、指定した汎用バケットにログファイルとして配信されます。名前空間単位・テーブル単位の設定はありません。
PutTableBucketLogging で指定する設定項目は次のとおりです。
| 項目 | 必須 | 内容 |
|---|---|---|
targetBucket |
必須 | ログの配信先の汎用バケット名 |
targetPrefix |
必須 | ログオブジェクトのキーのプレフィックス。空でもよい。末尾に / は自動で付かない |
targetObjectKeyFormat.partitionedPrefix.partitionDateSource |
必須 | キーの日付フォルダに使う日付。EventTime(リクエストの日付)または DeliveryTime(ログの配信日) |
ログを無効にするときは、空の tableBucketLoggingStatus({})を指定して PutTableBucketLogging を呼びます。設定を削除する専用の API はありません。
配信先の汎用バケットには次の要件があります。
- テーブルバケットと同じアカウント・同じリージョンであること(クロスアカウント・クロスリージョンの配信は不可)
- デフォルト暗号化が SSE-S3 であること(SSE-KMS / DSSE-KMS は不可)
- S3 Object Lock が無効であること
- リクエスタ支払いが無効であること
- バケットポリシーで、ログ配信のサービスプリンシパル
logging.s3.amazonaws.comにs3:PutObjectを許可していること(コンソールで有効にした場合は自動で追加され、CLI / SDK / REST API の場合は自分で追加する)
このほか、次の制約があります。
- Amazon CloudWatch Logs への配信には対応していない(汎用バケットにのみ配信)
- AWS マネージドテーブルでは有効にできない
- ログオブジェクトのキー形式
SimplePrefixには対応していない(常に日付でパーティション分割される) - ACL には対応していない
- 誤ったリージョナルエンドポイントに送られたリクエストは記録されない
ログの配信はベストエフォートです。ほとんどのレコードは記録から数時間以内に配信されますが、配信が大きく遅れるレコード、配信されないレコード、重複するレコードがあり得ます。すべてのリクエストを確実に記録したい場合は、AWS CloudTrail を使うよう案内されています。
やってみた
前提条件
- 検証リージョン: アジアパシフィック(東京)ap-northeast-1
- AWS CLI 2.40.0
- S3 Tables と AWS 分析サービスの統合が有効になっていること(Athena からテーブルを読み書きするため)
検証環境の構成
検証環境の構成は次のとおりです。CLI でテーブルバケットのサーバーアクセスログを設定し(①)、コンソールで設定を確認します(②)。CLI と Athena からテーブルバケットにリクエストを送り(③)、配信先の汎用バケットに届いたログ(④)を Athena で集計します(⑤)。

ログの配信先の汎用バケットを作成する
手順
ログの配信先として、テーブルバケットと同じリージョンに汎用バケットを作成します。
% aws s3api create-bucket --bucket s3tables-sal-logs-b22c67db --region ap-northeast-1 --create-bucket-configuration LocationConstraint=ap-northeast-1
{
"Location": "http://s3tables-sal-logs-b22c67db.s3.amazonaws.com/",
"BucketArn": "arn:aws:s3:::s3tables-sal-logs-b22c67db"
}
配信先のデフォルト暗号化は SSE-S3 である必要があります。新規作成した汎用バケットのデフォルト暗号化は SSE-S3(AES256)でした。
% aws s3api get-bucket-encryption --bucket s3tables-sal-logs-b22c67db --output table
------------------------------------------
| GetBucketEncryption |
+----------------------------------------+
|| ServerSideEncryptionConfiguration ||
|+--------------------------------------+|
||| Rules |||
||+------------------------------------+||
||| BucketKeyEnabled |||
||+------------------------------------+||
||| False |||
||+------------------------------------+||
||||ApplyServerSideEncryptionByDefault||||
|||+--------------------+-------------+|||
|||| SSEAlgorithm | AES256 ||||
|||+--------------------+-------------+|||
|||| BlockedEncryptionTypes ||||
|||+----------------------------------+|||
||||| EncryptionType |||||
||||+--------------------------------+||||
||||| SSE-C |||||
||||+--------------------------------+||||
CLI でログを設定する場合、配信先のバケットポリシーは自分で設定します。ドキュメントの例にならい、ログ配信のサービスプリンシパル logging.s3.amazonaws.com に s3:PutObject を許可し、aws:SourceArn にテーブルバケットの ARN、aws:SourceAccount にアカウント ID を指定しました。Resource はログのプレフィックス logs/ 配下に限定しています。
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "S3TablesServerAccessLogsPolicy",
"Effect": "Allow",
"Principal": {
"Service": "logging.s3.amazonaws.com"
},
"Action": "s3:PutObject",
"Resource": "arn:aws:s3:::s3tables-sal-logs-b22c67db/logs/*",
"Condition": {
"ArnLike": {
"aws:SourceArn": "arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db"
},
"StringEquals": {
"aws:SourceAccount": "123456789012"
}
}
}
]
}
% aws s3api put-bucket-policy --bucket s3tables-sal-logs-b22c67db --policy file://log-bucket-policy.json
テーブルバケットは次の手順で作成するので、バケットポリシーの時点ではまだ存在しないテーブルバケットの ARN を指定しています。
テーブルバケット・名前空間・テーブルを作成する
手順
検証用のテーブルバケット、名前空間 sal_ns、テーブル events を作成します。
% aws s3tables create-table-bucket --name s3tables-sal-demo-b22c67db --tags run_id=s3tsal-20261111-b22c67db,owner=ishikawa,purpose=blog-verification,ttl=2026-11-12
{
"arn": "arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db"
}
% aws s3tables create-namespace --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --namespace sal_ns
{
"tableBucketARN": "arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db",
"namespace": [
"sal_ns"
]
}
テーブルのスキーマは JSON ファイルで渡しました。
table-metadata.json:
{
"iceberg": {
"schema": {
"fields": [
{"name": "event_id", "type": "int", "required": true},
{"name": "event_type", "type": "string"},
{"name": "event_time", "type": "timestamp"}
]
}
}
}
% aws s3tables create-table --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --namespace sal_ns --name events --format ICEBERG --metadata file://table-metadata.json
{
"tableARN": "arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db/table/24f3f0cf-870f-4fb7-ace7-7982df570663",
"versionToken": "6cb9aa423c658249c7bf"
}
サーバーアクセスログ設定の初期状態を確認する
有効にする前に get-table-bucket-logging を実行すると、tableBucketLoggingStatus は空でした。テーブルバケットのサーバーアクセスログは、デフォルトでは無効です。
% aws s3tables get-table-bucket-logging --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db
{
"tableBucketLoggingStatus": {}
}
サーバーアクセスログを有効にする
ログの設定を JSON ファイルに書きます。プレフィックスは logs/、日付のソースは EventTime にしました。
logging-enabled.json:
{
"loggingEnabled": {
"targetBucket": "s3tables-sal-logs-b22c67db",
"targetPrefix": "logs/",
"targetObjectKeyFormat": {
"partitionedPrefix": {
"partitionDateSource": "EventTime"
}
}
}
}
put-table-bucket-logging で設定します。成功しても何も出力されません。
% aws s3tables put-table-bucket-logging --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --table-bucket-logging-status file://logging-enabled.json
もう一度 get-table-bucket-logging を実行すると、設定した内容が返りました。設定したのは 2026-11-10T23:24:35Z(JST では 11月11日 08:24:35)です。
% aws s3tables get-table-bucket-logging --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db
{
"tableBucketLoggingStatus": {
"loggingEnabled": {
"targetBucket": "s3tables-sal-logs-b22c67db",
"targetPrefix": "logs/",
"targetObjectKeyFormat": {
"partitionedPrefix": {
"partitionDateSource": "EventTime"
}
}
}
}
}
マネジメントコンソールで確認する
S3 コンソールの[テーブルバケット]からテーブルバケットを開き、[プロパティ]タブを表示しました。一番下に[サーバーアクセスのログ記録]セクションがあり、CLI で設定した内容(ステータス「有効」、ターゲットバケット、宛先プレフィックス logs/、日付のソース「S3イベント時間」)が表示されています。

[編集]を押すと、ログ記録の有効化・無効化、送信先の S3 URI、ログオブジェクトキーの日付のソース([S3イベント時間]または[ログファイルの配信時間])を設定する画面が表示されました。有効化を選ぶと「S3 コンソールはバケットポリシーを自動的に更新」するという警告が表示されます。今回は内容を確認しただけで、[キャンセル]で閉じました。

サーバーアクセスログに記録させるリクエストを発生させる
CLI から、テーブルバケット・名前空間・テーブルを参照するリクエストを送ります。
手順
% aws s3tables get-table-bucket --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db
{
"arn": "arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db",
"name": "s3tables-sal-demo-b22c67db",
"ownerAccountId": "123456789012",
"createdAt": "2026-11-10T23:24:22.521919+00:00",
"tableBucketId": "1dee7849-096f-4adf-bc76-207d09227220",
"type": "customer"
}
% aws s3tables list-namespaces --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --output table
--------------------------------------------------------------
| ListNamespaces |
+------------------------------------------------------------+
|| namespaces ||
|+-----------------+----------------------------------------+|
|| createdAt | 2026-11-10T23:24:23.474246+00:00 ||
|| createdBy | 123456789012 ||
|| namespaceId | 4d8995a8-be18-4604-868b-1b248078bffe ||
|| ownerAccountId | 123456789012 ||
|| tableBucketId | 1dee7849-096f-4adf-bc76-207d09227220 ||
|+-----------------+----------------------------------------+|
||| namespace |||
||+--------------------------------------------------------+||
||| sal_ns |||
||+--------------------------------------------------------+||
% aws s3tables get-table --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --namespace sal_ns --name events --query "[name,type,format,versionToken]" --output table
--------------------------
| GetTable |
+------------------------+
| events |
| customer |
| ICEBERG |
| 6cb9aa423c658249c7bf |
+------------------------+
% aws s3tables get-table-metadata-location --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --namespace sal_ns --name events
{
"versionToken": "6cb9aa423c658249c7bf",
"metadataLocation": "s3://24f3f0cf-870f-4fb7-1k9qszgn3mqwwn5ciebtnr4ugcto4apn1b--table-s3/metadata/00000-080ec784-f572-4e6b-93f0-eeee999cffeb.metadata.json",
"warehouseLocation": "s3://24f3f0cf-870f-4fb7-1k9qszgn3mqwwn5ciebtnr4ugcto4apn1b--table-s3"
}
エラーがどう記録されるかも見るため、存在しないテーブルを指定しました。
% aws s3tables get-table --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --namespace sal_ns --name not_exists
aws: [ERROR]: An error occurred (NotFoundException) when calling the GetTable operation: The specified table does not exist.
次に、Athena からテーブルにデータを書き込みます。最初の INSERT は No columns given to insert、SELECT は COLUMN_NOT_FOUND: line 1:8: Relation contains no accessible columns で失敗しました。aws lakeformation list-permissions でテーブル events の権限を確認すると、どのプリンシパルにも権限が付与されていませんでした(PrincipalResourcePermissions が空)。
% aws athena get-query-execution --query-execution-id 9c4e622e-e5ab-44b2-ac3a-4d6a10c70981 --query "QueryExecution.[Status.State,Status.StateChangeReason,Statistics.DataScannedInBytes]" --output table
-------------------------------------------------------------------------
| GetQueryExecution |
+-----------------------------------------------------------------------+
| FAILED |
| COLUMN_NOT_FOUND: line 1:8: Relation contains no accessible columns |
| 0 |
+-----------------------------------------------------------------------+
実行ロールにテーブル events の権限を付与してから、再実行しました。
% aws lakeformation grant-permissions --principal DataLakePrincipalIdentifier=arn:aws:iam::123456789012:role/cm-ishikawa.satoru --resource '{"Table":{"CatalogId":"123456789012:s3tablescatalog/s3tables-sal-demo-b22c67db","DatabaseName":"sal_ns","Name":"events"}}' --permissions ALL
% aws athena start-query-execution --work-group primary --query-execution-context Catalog=s3tablescatalog/s3tables-sal-demo-b22c67db,Database=sal_ns --query-string "INSERT INTO events VALUES (1, 'login', TIMESTAMP '2026-11-11 08:00:00'), (2, 'view', TIMESTAMP '2026-11-11 08:05:00'), (3, 'logout', TIMESTAMP '2026-11-11 08:10:00')"
{"QueryExecutionId": "8d5dfb63-9db4-4bec-ad4b-e83dd0d92f78"}
% aws athena start-query-execution --work-group primary --query-execution-context Catalog=s3tablescatalog/s3tables-sal-demo-b22c67db,Database=sal_ns --query-string "SELECT * FROM events ORDER BY event_id"
{"QueryExecutionId": "543292d3-2aa8-4866-8187-0ccd692ebb9d"}
% aws athena get-query-results --query-execution-id 543292d3-2aa8-4866-8187-0ccd692ebb9d --query "ResultSet.Rows[*].Data[*].VarCharValue" --output text
event_id event_type event_time
1 login 2026-11-11 08:00:00.000000
2 view 2026-11-11 08:05:00.000000
3 logout 2026-11-11 08:10:00.000000
INSERT と SELECT のクエリ ID(8d5dfb63-9db4-4bec-ad4b-e83dd0d92f78 と 543292d3-2aa8-4866-8187-0ccd692ebb9d)は、後でログと照合します。
配信されたログを確認する
ログを有効にした 23:24:35Z から約49分後の 00:13:55Z に、最初のログオブジェクトが届きました。
% aws s3api list-objects-v2 --bucket s3tables-sal-logs-b22c67db --prefix logs/ --query "Contents[].[Key,Size,LastModified]" --output table
------------------------------------------------------------------------------------------------------------------------------------------------------
| ListObjectsV2 |
+---------------------------------------------------------------------------------------------------------------+-------+----------------------------+
| logs/123456789012/ap-northeast-1/s3tables-sal-demo-b22c67db/2026/11/10/2026-11-10-00-00-00-7568F71FCC7FB04B | 2052 | 2026-11-11T00:13:55+00:00 |
| logs/123456789012/ap-northeast-1/s3tables-sal-demo-b22c67db/2026/11/10/2026-11-10-00-00-00-BFB5ABDD361C4FA7 | 1401 | 2026-11-11T00:14:41+00:00 |
+---------------------------------------------------------------------------------------------------------------+-------+----------------------------+
キーはドキュメントどおり logs/<アカウントID>/<リージョン>/<テーブルバケット名>/YYYY/MM/DD/ の下に作られ、EventTime を指定したのでファイル名の時刻部分は 00-00-00 でした。パーティションプロジェクションで高速かつ効率的にクエリが可能です。日付フォルダは UTC の日付で、日本時間 11月11日 08時台のリクエストが 2026/11/10/ に入っています。
その後もログオブジェクトは数分おきに届き、最後に届いたのは 01:05:52Z でした。01:53Z まで待っても新しいオブジェクトは届かなかったので、ここで締め切りました。届いたのは26オブジェクト・54レコードです。レコードの request_time_iso とオブジェクトの更新日時の差から計算すると、リクエストから配信までの時間は最短で約47分、中央値で約69分、最長で約99分でした。

ログの中身を見てみます。CLI の get-table-metadata-location のレコードは次のとおりです。
arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db [10/Nov/2026:23:26:06 +0000] arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db/table/24f3f0cf-870f-4fb7-ace7-7982df570663 sal_ns events - - 203.0.113.10 arn:aws:sts::123456789012:assumed-role/cm-ishikawa.satoru/ishikawa 3b365c17-150f-4d2e-b565-0153e488ac46 S3Tables.GetTableMetadataLocation 200 - 286 63 63 "-" "aws-cli/2.40.0 md/awscrt#0.38.1 ua/2.1 os/macos#25.6.0 md/arch#arm64 lang/python#3.14.8 md/pyimpl#CPython m/AN,Z,g,E,b cfg/retry-mode#standard md/installer#exe sid/f98775181009 md/prompt#off md/command#s3tables.get-table-metadata-location" SigV4 TLS_AES_128_GCM_SHA256 AuthHeader s3tables.ap-northeast-1.amazonaws.com TLSv1.3 2026-11-10T23:26:06.823Z -
テーブルバケット ARN、テーブル ARN、名前空間 sal_ns、テーブル名 events、送信元 IP、IAM ロール、S3Tables.GetTableMetadataLocation、ステータス 200 が1行に並んでいます。user_agent の末尾には md/command#s3tables.get-table-metadata-location と、実行した CLI のコマンド名が入っていました。
Athena の INSERT でテーブルストレージに Parquet ファイルを書き込んだレコードは次のとおりです。
arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db [10/Nov/2026:23:27:29 +0000] arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db/table/24f3f0cf-870f-4fb7-ace7-7982df570663 sal_ns events data/20261110_232728_00178_yyke8-134b696e-72da-49a8-bdc9-ccdffd998892.parquet 557 198.51.100.20 arn:aws:sts::123456789012:assumed-role/cm-ishikawa.satoru/ishikawa MTQWMW597VXB277B REST.PUT.OBJECT 200 - - 57 18 "-" "AWS_ATHENA, aws-sdk-java/2.24.11 Linux/4.14.355-284.746.amzn2.aarch64 OpenJDK_64-Bit_Server_VM/21.0.13+10-LTS Java/21.0.13 kotlin/1.9.255-SNAPSHOT vendor/Amazon.com_Inc. io/sync http/Apache cfg/retry-mode/standard hll/cross-region, athenaQueryId=8d5dfb63-9db4-4bec-ad4b-e83dd0d92f78" SigV4 TLS_AES_128_GCM_SHA256 AuthHeader 24f3f0cf-870f-4fb7-1k9qszgn3mqwwn5ciebtnr4ugcto4apn1b--table-s3.s3.ap-northeast-1.amazonaws.com TLSv1.3 2026-11-10T23:27:29.000Z ap-northeast-1
operation は REST.PUT.OBJECT、key には書き込んだ Parquet ファイルのキー、host_header にはテーブルストレージのエンドポイント(<ID>--table-s3.s3.ap-northeast-1.amazonaws.com)が入っています。user_agent の末尾の athenaQueryId=8d5dfb63-9db4-4bec-ad4b-e83dd0d92f78 は、INSERT のクエリ ID と一致しました。なお、REST.* のレコードの request_time_iso は秒単位(.000Z)で、S3Tables.* のレコードはミリ秒単位でした。
存在しないテーブルへの get-table は、ステータス 404、エラーコード NotFoundException で記録されていました。テーブルが存在しないので、table_arn は - です。
arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db [10/Nov/2026:23:26:07 +0000] - sal_ns not_exists - - 203.0.113.10 arn:aws:sts::123456789012:assumed-role/cm-ishikawa.satoru/ishikawa 9e6d3bcb-c8d4-4572-93fa-7427a2815edc S3Tables.GetTable 404 NotFoundException 49 74 74 "-" "aws-cli/2.40.0 md/awscrt#0.38.1 ua/2.1 os/macos#25.6.0 md/arch#arm64 lang/python#3.14.8 md/pyimpl#CPython m/AN,Z,g,E,b cfg/retry-mode#standard md/installer#exe sid/f98775181009 md/prompt#off md/command#s3tables.get-table" SigV4 TLS_AES_128_GCM_SHA256 AuthHeader s3tables.ap-northeast-1.amazonaws.com TLSv1.3 2026-11-10T23:26:07.754Z -
54レコードを送信元ごとに分けると、remote_ip と user_agent の入り方は次のようになっていました。
| 送信元 | 記録された operation の例 | remote_ip | user_agent | その他 |
|---|---|---|---|---|
| AWS CLI | S3Tables.GetTable、S3Tables.ListNamespaces |
送信元 IP | aws-cli/2.40.0 md/awscrt#0.38.1 ua/2.1 os/macos#25.6.0 md/arch#arm64 lang/python#3.14.8 md/pyimpl#CPython m/AN,Z,g,E,b cfg/retry-mode#standard md/installer#exe sid/f98775181009 md/prompt#off md/command#s3tables.<コマンド名> |
|
| マネジメントコンソール | S3Tables.GetTableBucket、S3Tables.GetTableBucketLogging、S3Tables.ListTagsForResource |
送信元 IP | ブラウザの User-Agent | referer が https://global.console.aws.amazon.com/ |
| Athena(テーブルストレージ) | REST.PUT.OBJECT、REST.GET.OBJECT、REST.HEAD.OBJECT |
手元の端末とは別の IP | AWS_ATHENA, aws-sdk-java/2.24.11 Linux/4.14.355-284.746.amzn2.aarch64 OpenJDK_64-Bit_Server_VM/21.0.13+10-LTS Java/21.0.13 kotlin/1.9.255-SNAPSHOT vendor/Amazon.com_Inc. io/sync http/Apache cfg/retry-mode/standard hll/cross-region, athenaQueryId=<クエリID> |
key と object_size が入る |
| Athena のクエリや Glue / Lake Formation の API を実行した時刻のレコード | S3Tables.GetTableBucket、S3Tables.GetTable、REST.GET.OBJECT(metadata.json) |
- |
- |
requester は実行ロール |
表の AWS CLI と Athena の user_agent は、記録された値の1例です。AWS CLI の6レコードのうち1レコードは m/ の値が AN,Z,g,E,C,b でした。Athena の14レコードは、Linux/ の値が 4.14.355-284.746.amzn2.aarch64、4.14.355-284.746.amzn2.x86_64、4.14.355-287.755.amzn2.x86_64 の3種類に分かれていました。
最後の行のレコードは remote_ip と user_agent が - で、レコード単体では呼び出し元を判別できません。Athena のクエリを送信した時刻や、Glue / Lake Formation の API を実行した時刻と一致していたので、それらの操作に伴うリクエストだと判断しました。
また、コンソールでテーブルバケットのプロパティを開いたときの GetTableBucketLogging や GetTableBucketEncryption なども記録されていました。コンソールの画面表示に伴う API 呼び出しも記録の対象です。
一方、次のリクエストはログに含まれていませんでした(01:53Z までに届いた範囲)。
- ログを有効にした
PutTableBucketLoggingと、その直前に実行したGetTableBucketLogging。有効化直後(23:24:35.517Z)に実行したGetTableBucketLoggingからは記録されていた - Athena の INSERT のコミットに相当する
S3Tables.UpdateTableMetadataLocation
Athena でログをクエリする
配信されたログを Athena でクエリします。ドキュメントの例をもとに、データベースとテーブルを作成しました。LOCATION と storage.location.template には配信先バケット・プレフィックス・アカウント ID・リージョン・テーブルバケット名を指定します。プレフィックスとアカウント ID の間にはスラッシュを入れません(今回はプレフィックスを logs/ にしたので logs/123456789012/ap-northeast-1/s3tables-sal-demo-b22c67db/ になります)。
CREATE DATABASE s3tables_sal_logs_b22c67db
CREATE EXTERNAL TABLE s3tables_sal_logs_b22c67db.s3_tables_logs(
`table_bucket_arn` STRING,
`request_time` STRING,
`table_arn` STRING,
`namespace_name` STRING,
`table_name` STRING,
`key` STRING,
`object_size` BIGINT,
`remote_ip` STRING,
`requester` STRING,
`request_id` STRING,
`operation` STRING,
`http_status` STRING,
`error_code` STRING,
`bytes_sent` BIGINT,
`total_time` STRING,
`turnaround_time` STRING,
`referer` STRING,
`user_agent` STRING,
`signature_version` STRING,
`cipher_suite` STRING,
`authentication_type` STRING,
`host_header` STRING,
`tls_version` STRING,
`request_time_iso` STRING,
`source_region` STRING)
PARTITIONED BY (
`timestamp` string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'input.regex'='([^ ]*) \\[(.*?)\\] ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (\"[^\"]*\"|-) (\"[^\"]*\"|-) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*).*$')
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
's3://s3tables-sal-logs-b22c67db/logs/123456789012/ap-northeast-1/s3tables-sal-demo-b22c67db/'
TBLPROPERTIES (
'projection.enabled'='true',
'projection.timestamp.format'='yyyy/MM/dd',
'projection.timestamp.interval'='1',
'projection.timestamp.interval.unit'='DAYS',
'projection.timestamp.range'='2026/11/01,NOW',
'projection.timestamp.type'='date',
'storage.location.template'='s3://s3tables-sal-logs-b22c67db/logs/123456789012/ap-northeast-1/s3tables-sal-demo-b22c67db/${timestamp}')
以降の SQL は aws athena start-query-execution で実行し、aws athena get-query-results --query "ResultSet.Rows[*].Data[*].VarCharValue" --output text で結果を取得しました。まず、operation とステータスごとの件数です。
SELECT operation, http_status, count(*) AS cnt
FROM s3_tables_logs
WHERE timestamp = '2026/11/10'
GROUP BY operation, http_status
ORDER BY operation, http_status
operation http_status cnt
REST.GET.OBJECT 200 9
REST.GET.OBJECT 206 8
REST.HEAD.OBJECT 200 2
REST.PUT.OBJECT 200 4
S3Tables.GetNamespace 200 1
S3Tables.GetTable 200 7
S3Tables.GetTable 404 1
S3Tables.GetTableBucket 200 9
S3Tables.GetTableBucketEncryption 200 2
S3Tables.GetTableBucketLogging 200 4
S3Tables.GetTableBucketStorageClass 200 2
S3Tables.GetTableMetadataLocation 200 1
S3Tables.ListNamespaces 200 1
S3Tables.ListTables 200 1
S3Tables.ListTagsForResource 200 2
user_agent で送信元を分類し、S3 Tables API とテーブルストレージへのリクエストに分けて数えました。
SELECT
CASE
WHEN user_agent LIKE '%aws-cli/%' THEN 'AWS CLI'
WHEN user_agent LIKE '%Mozilla/%' THEN 'Browser (Console)'
WHEN user_agent LIKE '%AWS_ATHENA%' THEN 'Athena'
ELSE 'user_agent: -'
END AS client,
CASE WHEN operation LIKE 'REST.%' THEN 'table storage' ELSE 'S3 Tables API' END AS kind,
count(*) AS cnt
FROM s3_tables_logs
WHERE timestamp = '2026/11/10'
GROUP BY 1, 2
ORDER BY 1, 2
client kind cnt
AWS CLI S3 Tables API 6
Athena table storage 14
Browser (Console) S3 Tables API 12
user_agent: - S3 Tables API 13
user_agent: - table storage 9
最後に、user_agent から Athena のクエリ ID を取り出し、クエリごとのテーブルストレージへのリクエスト数とバイト数を集計しました。bytes_sent はレスポンスのバイト数、object_size はオブジェクトのサイズです。
SELECT
regexp_extract(user_agent, 'athenaQueryId=([0-9a-f-]+)', 1) AS athena_query_id,
operation,
count(*) AS cnt,
coalesce(sum(bytes_sent), 0) AS bytes_sent,
coalesce(sum(object_size), 0) AS object_size
FROM s3_tables_logs
WHERE timestamp = '2026/11/10'
AND user_agent LIKE '%athenaQueryId=%'
GROUP BY 1, 2
ORDER BY 1, 2
athena_query_id operation cnt bytes_sent object_size
543292d3-2aa8-4866-8187-0ccd692ebb9d REST.GET.OBJECT 4 13922 13922
543292d3-2aa8-4866-8187-0ccd692ebb9d REST.HEAD.OBJECT 1 0 4286
8d5dfb63-9db4-4bec-ad4b-e83dd0d92f78 REST.GET.OBJECT 2 5119 5119
8d5dfb63-9db4-4bec-ad4b-e83dd0d92f78 REST.HEAD.OBJECT 1 0 4286
8d5dfb63-9db4-4bec-ad4b-e83dd0d92f78 REST.PUT.OBJECT 4 0 13922
9c4e622e-e5ab-44b2-ac3a-4d6a10c70981 REST.GET.OBJECT 1 833 833
fc6ff786-0111-452f-998d-208b52680bd6 REST.GET.OBJECT 1 833 833
INSERT(8d5dfb63-9db4-4bec-ad4b-e83dd0d92f78)は4件の REST.PUT.OBJECT で計 13,922 バイトを書き込んでいました。内訳は Parquet ファイル、metadata.json、マニフェスト、マニフェストリストです。SELECT(543292d3-2aa8-4866-8187-0ccd692ebb9d)は metadata.json、マニフェストリスト、マニフェスト、Parquet ファイルの4つを REST.GET.OBJECT で読み込んでいました。Lake Formation の権限がなくて失敗した2つのクエリ(fc6ff786-0111-452f-998d-208b52680bd6 と 9c4e622e-e5ab-44b2-ac3a-4d6a10c70981)でも、metadata.json(833 バイト)の読み込みが記録されていました。
なお、--output text は値が NULL の列を詰めて表示するため、coalesce で NULL を 0 に置き換えています。
サーバーアクセスログを無効にする
空の tableBucketLoggingStatus を指定して、ログを無効にします。
% aws s3tables put-table-bucket-logging --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --table-bucket-logging-status '{}'
get-table-bucket-logging の結果は、有効化前と同じ空の状態に戻りました。
% aws s3tables get-table-bucket-logging --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db
{
"tableBucketLoggingStatus": {}
}
後片付け
Lake Formation の権限を取り消し、テーブル・名前空間・テーブルバケット、ログ用の Glue のテーブルとデータベース、Athena のクエリ結果、配信先の汎用バケットを削除しました。
% aws lakeformation revoke-permissions --principal DataLakePrincipalIdentifier=arn:aws:iam::123456789012:role/cm-ishikawa.satoru --resource '{"Table":{"CatalogId":"123456789012:s3tablescatalog/s3tables-sal-demo-b22c67db","DatabaseName":"sal_ns","Name":"events"}}' --permissions ALL
% aws s3tables delete-table --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --namespace sal_ns --name events
% aws s3tables delete-namespace --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db --namespace sal_ns
% aws s3tables delete-table-bucket --table-bucket-arn arn:aws:s3tables:ap-northeast-1:123456789012:bucket/s3tables-sal-demo-b22c67db
% aws glue delete-table --database-name s3tables_sal_logs_b22c67db --name s3_tables_logs
% aws glue delete-database --name s3tables_sal_logs_b22c67db
% aws s3 rb s3://s3tables-sal-logs-b22c67db --force
注意: ドキュメントによると、テーブルバケットを削除しても配信済みのログファイルは配信先に残ります。また、配信先の汎用バケットを削除しても、テーブルバケットのログ設定は残ったままで、その間のログレコードは破棄されます。今回は先にログを無効にしてから削除しました。
効果的なユースケース
今回確認できたログの内容と配信のタイミングから、効果的と考えられるユースケースを3つ挙げます。どれも、ログが届くまで1時間前後かかっても困らない、事後の集計や調査です。
| ユースケース | 主に使うフィールド | 今回の検証で確認できたこと |
|---|---|---|
| Athena のクエリ単位・ロール単位でのアクセス量の集計(アクセス分析・コスト配分) | user_agent(athenaQueryId)、requester、table_name、bytes_sent、object_size |
クエリ ID ごとに、読み書きしたファイルの数とバイト数を集計できた |
| テーブルごとの利用状況の把握 | namespace_name、table_name、requester、operation |
テーブル単位の API とテーブルストレージへのリクエストのすべてに、名前空間名とテーブル名が入っていた |
| 存在しないテーブルへのアクセスの調査 | http_status、error_code、table_name、requester、user_agent |
存在しないテーブルへの GetTable が、指定したテーブル名と CLI のコマンド名付きで 404 として記録された |
Athena のクエリ単位・ロール単位でアクセス量を集計する
1つのテーブルバケットを複数のチームが Athena で使っている場合に向いています。「Athena でログをクエリする」の3つ目の SQL のように athenaQueryId でまとめれば、どのクエリがどのファイルを何バイト読み書きしたかがわかります。requester でまとめれば、IAM ロール(チーム)ごとのリクエスト数とバイト数を出せるので、What's New で挙げられているコスト配分の按分の基準に使えます。
ただし、今回の54レコードのうち22レコードは user_agent が - で、クエリ ID を取り出せませんでした。これらは requester と時刻で集計します。
テーブルごとの利用状況を把握する
名前空間名とテーブル名ごとにリクエスト数を数えると、よく使われているテーブルや、一定期間アクセスがないテーブルがわかります。ログの設定はテーブルバケット単位なので、バケット内のすべてのテーブルが集計の対象になります。
配信はベストエフォートで、届かないレコードもあり得ます。アクセスがないテーブルを削除する前には、CloudTrail でも確認してください。
存在しないテーブルへのアクセスを調べる
テーブル名を変更・削除したあとに、古い名前を参照し続けているジョブやユーザーを探す用途です。http_status が 404 のレコードには、指定されたテーブル名、requester、user_agent が入るので、どのロールがどのクライアントから古い名前を指定したかがわかります。
一方、Lake Formation の権限不足で失敗した Athena のクエリは、metadata.json の読み込みがステータス 200 で記録されていただけで、エラーのレコードはありませんでした。権限エラーの調査には、Athena のクエリの失敗理由を確認する必要があります。
考察
設定について
- 設定は
PutTableBucketLogging/GetTableBucketLoggingの2つの API で完結し、CLI では JSON を1つ渡すだけで有効化できました。CLI 2.40.0 より前のバージョンにはコマンドがないので、CLI の更新が必要です。 - CLI / SDK で設定する場合は、配信先のバケットポリシーで
logging.s3.amazonaws.comにs3:PutObjectを自分で許可します。コンソールで有効にする場合は、コンソールがバケットポリシーを更新します。 targetPrefixの末尾にはスラッシュが自動で付かないので、logs/のようにスラッシュ付きで指定すると、キーがlogs/<アカウントID>/<リージョン>/<テーブルバケット名>/YYYY/MM/DD/になり整理しやすくなります。
設定する側に必要な S3 の権限について
本記事の手順では管理者権限のロールで設定したので問題になりませんでしたが、別途、権限を絞ったロールから PutTableBucketLogging を呼び出したところ、次の 400 エラーで失敗しました。このロールに許可していたのは s3tables:PutTableBucketLogging と s3tables:GetTableBucketLogging だけです。
{"message":"The target logging bucket is not owned by you."}
配信先の汎用バケットへの S3 の権限を1つずつ外して試すと、次の4つが必要でした。どれか1つでも欠けると失敗します。
| 権限 | 欠けていたときのエラーメッセージ |
|---|---|
s3:ListBucket |
The target logging bucket is not owned by you. |
s3:GetBucketLocation |
The target logging bucket does not have the appropriate grants for the log-delivery group. |
s3:GetEncryptionConfiguration |
The target logging bucket does not have the appropriate grants for the log-delivery group. |
s3:GetBucketObjectLockConfiguration |
The target logging bucket does not have the appropriate grants for the log-delivery group. |
CloudTrail を見ると、PutTableBucketLogging を呼び出したときに、S3 Tables(invokedBy が s3tables.amazonaws.com)が呼び出し元の権限で配信先バケットの GetBucketLocation、GetBucketEncryption、GetBucketObjectLockConfiguration を実行していました。配信先が同じリージョンにあるか、SSE-S3 で暗号化されているか、Object Lock が無効かを確認していると考えられます。エラーメッセージは「所有者が違う」「ログ配信グループへの許可がない」という内容なので、権限不足が原因だとは読み取りにくいです。
執筆時点のドキュメントでは、ログを設定する IAM ポリシーの例に s3tables:PutTableBucketLogging と s3tables:GetTableBucketLogging だけが載っています。権限を絞ったロールから設定する場合は、配信先バケットへの次の権限も付与してください。
{
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetBucketLocation",
"s3:GetEncryptionConfiguration",
"s3:GetBucketObjectLockConfiguration"
],
"Resource": "arn:aws:s3:::<ログの配信先バケット名>"
}
配信のタイミングについて
- 今回は、リクエストから配信まで約47分〜約99分かかりました。数分で確認できるログではないので、リアルタイムの監視には向きません。ドキュメントにあるとおり、すべてのリクエストを確実に記録したい監査用途では AWS CloudTrail を併用するのがよさそうです。
EventTimeの日付フォルダは UTC 基準です。日本時間の0時〜8時台のリクエストは、UTC では前日なので前日のフォルダに入ります。Athena のパーティション射影で日付を指定するときは注意が必要です。
ログの中身について
- 日付のパーティションは UTC なので フィルタは UTC で行い、表示する際に JTS に置き換えるなどの配慮が必要です。
- テーブルストレージへのリクエストは
keyとobject_size付きで記録され、Athena からのリクエストにはuser_agentにathenaQueryIdが含まれていました。クエリ単位でどのファイルを何バイト読み書きしたかを集計できるので、What's New で挙げられているアクセス分析やコスト配分に使えます。 - Athena のクエリや Glue / Lake Formation の API を実行した時刻に記録された
S3Tables.*のレコードなどは、remote_ipとuser_agentが-でした。これらはrequester(IAM ロール)と時刻で他のログと突き合わせる必要があります。 - 権限不足で失敗した Athena のクエリでも、
metadata.jsonの読み込みは記録されていました。 - ログを有効にした
PutTableBucketLogging自体は記録されず、有効化直後のリクエストから記録されていました。ログ設定の変更を追跡したい場合も CloudTrail を見ることになります。
最後に
S3 Tables のテーブルバケットでサーバーアクセスログが使えるようになったので、CLI とマネジメントコンソールで設定し、配信されたログを Athena で集計してみました。
設定は put-table-bucket-logging に JSON を1つ渡すだけで、配信先の汎用バケットのポリシーを用意しておけば、テーブルバケット・名前空間・テーブルへの API リクエストと、テーブルストレージへのデータの読み書きの両方が記録されます。ログの形式は汎用バケットのサーバーアクセスログと同じスペース区切りで、ドキュメントの DDL の LOCATION などを書き換えて、Athena からクエリできました。特に、Athena のクエリ ID 単位でテーブルストレージへの読み書きを集計できる点は、どのクエリがどのテーブルにどれだけアクセスしたかを把握したい場合に役立ちます。
一方で、配信には1時間前後かかり、ベストエフォートなので、確実な監査には CloudTrail を併用してください。
S3 Tables を共有のデータレイクとして運用していて、テーブルごとのアクセス状況を把握したい方は、まずは検証用のテーブルバケットで有効にしてみてはいかがでしょうか。







