ECS FargateでFireLens(AWS for Fluent Bit)の設定ファイルをS3から参照してみた

新澤忠士

2023.07.26

CX事業部Delivery部の新澤です。

ECSでは、FireLens(AWS for Fluent Bit)を利用したカスタムログルーティングを行う設定をする際、FireLensで自動生成される設定ファイルに加えて、自分で作成したカスタム設定ファイルを指定することが可能です。 カスタム設定ファイルの指定方法には、S3バケットに設定ファイルを設置してファイルのARNを指定するs3方式と、コンテナイメージをビルドする際にカスタム設定ファイルをイメージにコピーして、ファイルパスを指定するfile方式の2通りがあります。

しかし、Fargateでのカスタム設定ファイルの指定については、公式ドキュメントにて

AWS Fargate でホストされるタスクは、file 設定ファイルタイプのみをサポートします。

と記載されています。

そのため、今まではFargateでカスタム設定ファイルを利用する際は自前のコンテナイメージを作成していたのですが、実はFargateでもS3バケットを参照可能ということを知る機会がありましたので、試してみました。

概要

FireLensの実体であるAWS for Fluent Bitは、AWSからPublic ECRとDocker Hubで提供されていますが、今回の目的であるS3の設定ファイルを参照する機能は、イメージタグの先頭に"init-"が付いているイメージで提供されています。

例：

  • aws-for-fluent-bit:init-latest
  • aws-for-fluent-bit:init-2.27.0

"init-"付きのイメージは、Fluent Bit起動時に設定ファイルの初期化プロセスが実行されて、以下のようにコンテナの環境変数で指定したS3オブジェクトのARNやコンテナ内のファイルパスで指定した設定ファイルを参照してマージしてくれるようになっています。また、設定ファイルは複数指定することもできます。

"environment": [
                {
                    "name": "aws_fluent_bit_init_s3_1",
                    "value": "arn:aws:s3:::yourBucket/aaaaa.conf"
                },
                {
                    "name": "aws_fluent_bit_init_s3_2",
                    "value": "arn:aws:s3:::yourBucket/bbbbb.conf"
                },
                {
                    "name": "aws_fluent_bit_init_file_1",
                    "value": "/ecs/s3.conf"
                }
            ]

やってみた

では、さっそく試してみます。

システム構成

次のようなシステム構成をCDKを使ってデプロイしてみます。

API Gateway経由でECSサービスにリクエストします。ECSサービスではnginxコンテナが起動しており、アクセスログはFluent Bitに送られます。

Fluent Bitでは、エラーログをCloudWatch Logs、全てのログをFirehose経由S3バケットに出力するようルーティングします。

カスタム設定ファイルの作成

Firehose、CloudWatch Logsそれぞれに出力するカスタム設定ファイルを作成します。

出力先のFirehoseやCloudWatch Logsの情報はコンテナ定義の環境変数を参照するようにしています。

# nginxデフォルトログフォーマットをパースして構造化する
[FILTER]
    Name parser
    Match nginx-*
    Key_Name log
    Parser nginx

# ステータスコードが4xx,5xx、もしくは出力先がstderrのログのタグの先頭に"error"を付与
[FILTER]
    Name rewrite_tag
    Match nginx-*
    Rule $code ^[4-5]\d{2}$ error.$TAG false
    Rule $source ^stderr$ error.$TAG false

# 全てのログをFirehoseに送る
[OUTPUT]
    Name            kinesis_firehose
    Match           *
    delivery_stream ${FIREHOSE_DELIVERY_STREAM_NAME}
    region          ap-northeast-1
    time_key        time
    time_key_format %Y-%m-%dT%H:%M:%S.%3N
    compression     gzip

# タグ先頭が"error"のログのみCloudWatch Logsに送る
[OUTPUT]
    Name cloudwatch_logs
    Match   error.*
    region ap-northeast-1
    log_group_name ${LOG_GROUP_NAME}
    log_stream_prefix errorlog-

CDKの作成

サンプルCDKの全ソースはこちらにあります。ご参考まで。

まず、カスタム設定ファイルを配置するS3バケットと、カスタム設定ファイルをデプロイする定義を作成します。

    // S3 bucket for Fluentbit config files
    const configBucket = new s3.Bucket(this, 'FluentbitConfigBucket', {
      autoDeleteObjects: true,
      removalPolicy: cdk.RemovalPolicy.DESTROY,
    });
    new s3deployment.BucketDeployment(this, 'BucketDeployment', {
      destinationBucket: configBucket,
      sources: [s3deployment.Source.asset(path.resolve('fluentbit-config'))],
      retainOnDelete: false,
    });

ECSタスク定義では、nginxとFireLensのコンテナ定義を作成していますが、CDKでFireLensを構成する場合、Fluent Bitのコンテナイメージはデフォルトでは"latest"タグが使われるので明示的に"init-latest"タグのコンテナイメージを指定する必要があります。

同時に環境変数で上記で作成したS3バケットに配置されるカスタム設定ファイルの参照も指定します。

先頭に"aws_fluent_bit_init_s3"を付与した環境変数に、ファイルのARNを入れればOKです。 （例では後ろに連番を付与していますが、付与する文字列は任意です）

また、このサンプルではnginxのログを構造化ログにパースしたいので、Fluent Bitコンテナイメージに同梱されているパーサー設定ファイルも"aws_fluent_bit_init_file_1"で指定しています。

    const taskdef = new ecs.FargateTaskDefinition(this, 'ExampleTaskDef', {
      cpu: 256,
      memoryLimitMiB: 512,
    });
    taskdef.addContainer('nginx', {
      image: ecs.ContainerImage.fromRegistry('public.ecr.aws/nginx/nginx:latest'),
      portMappings: [{ containerPort: 80 }],
      logging: ecs.LogDrivers.firelens({}),
    });
    taskdef.addFirelensLogRouter('FireLensLogRouter', {
      image: ecs.ContainerImage.fromRegistry('public.ecr.aws/aws-observability/aws-for-fluent-bit:init-latest'),
      firelensConfig: {
        type: ecs.FirelensLogRouterType.FLUENTBIT,
      },
      environment: {
        FIREHOSE_DELIVERY_STREAM_NAME: deliveryStream.deliveryStreamName,
        LOG_GROUP_NAME: logGroup.logGroupName,
        aws_fluent_bit_init_s3_1: `${configBucket.bucketArn}/extra.conf`,
        aws_fluent_bit_init_file_1: '/fluent-bit/parsers/parsers.conf',
      },
      logging: ecs.LogDrivers.awsLogs({
        logGroup: new logs.LogGroup(this, 'FluentbitLogGroup'),
        streamPrefix: 'fluentbit',
      }),
    });

デプロイ

サンプルのCDKでデプロイしてみます。

$ npx cdk deploy --profile <AWS CLIプロファイル名>
(略)
Outputs:
ApiGatewayFargateServiceStack.ECSClusterName = ApiGatewayFargateServiceStack-ClusterEB0386A7-XXXXXXXXXXXX
ApiGatewayFargateServiceStack.HttpApiEndpoint = https://XXXXXXXXXXXX.execute-api.ap-northeast-1.amazonaws.com
ApiGatewayFargateServiceStack.LogGroupName = ApiGatewayFargateServiceStack-ErrorLogGroupB9A57448-XXXXXXXXXXXX
ApiGatewayFargateServiceStack.S3Bucket = apigatewayfargateservicestack-logbucketcc3b17e8-XXXXXXXXXXXX
Stack ARN:
arn:aws:cloudformation:ap-northeast-1:XXXXXXXXXXXX:stack/ApiGatewayFargateServiceStack/eb1a52a0-2b46-11ee-88ae-0abdce72a65d

ログを出力させてみる

API Gatewayにリクエストしてみます。

nginxの応答が返ってきたらOKです。

$ curl https://XXXXXXXXXXXX.execute-api.ap-northeast-1.amazonaws.com/
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

次はエラーログを出力させるために存在しないURLにアクセスしてみます。

$ curl https://XXXXXXXXXXXX.execute-api.ap-northeast-1.amazonaws.com/hoge
<html>
<head><title>404 Not Found</title></head>
<body>
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.25.1</center>
</body>
</html>

ログを確認してみます。

S3バケットに両方のリクエストのログが出力されていました。

{
  "remote": "xxx.xxx.xxx.xxx",
  "host": "-",
  "user": "-",
  "method": "GET",
  "path": "/",
  "code": "200",
  "size": "615",
  "referer": "-",
  "agent": "curl/7.88.1",
  "time": "2023-07-26T00:02:51.0"
}
{
  "source": "stderr",
  "log": "2023/07/26 00:05:51 [error] 35#35: *2 open() \"/usr/share/nginx/html/hoge\" failed (2: No such file or directory), client: xxx.xxx.xxx.xxx, server: localhost, request: \"GET /hoge HTTP/1.1\", host: \"xxxxxxxxx.execute-api.ap-northeast-1.amazonaws.com\"",
  "container_id": "4a31cb911313401d96101e6eec3892d0-2531612879",
  "container_name": "nginx",
  "ecs_cluster": "ApiGatewayFargateServiceStack-ClusterEB0386A7-XXXXXXXXXXXX",
  "ecs_task_arn": "arn:aws:ecs:ap-northeast-1:XXXXXXXXXXXX:task/ApiGatewayFargateServiceStack-ClusterEB0386A7-XXXXXXXXXXXX/4a31cb911313401d96101e6eec3892d0",
  "ecs_task_definition": "ApiGatewayFargateServiceStackExampleTaskDef975C0BA0:3",
  "time": "2023-07-26T00:05:51.958"
}
{
  "remote": "xxx.xxx.xxx.xxx",
  "host": "-",
  "user": "-",
  "method": "GET",
  "path": "/hoge",
  "code": "404",
  "size": "153",
  "referer": "-",
  "agent": "curl/7.88.1",
  "ecs_cluster": "ApiGatewayFargateServiceStack-ClusterEB0386A7-XXXXXXXXXXXX",
  "ecs_task_arn": "arn:aws:ecs:ap-northeast-1:XXXXXXXXXXXX:task/ApiGatewayFargateServiceStack-ClusterEB0386A7-XXXXXXXXXXXX/4a31cb911313401d96101e6eec3892d0",
  "ecs_task_definition": "ApiGatewayFargateServiceStackExampleTaskDef975C0BA0:3",
  "time": "2023-07-26T00:05:51.0"
}

CloudWatch Logsのほうにはカスタム設定ファイルの指定通りエラーログのみが出力されていました。

Fluent Bit起動後の設定ファイルを確認してみる

Fluent Bitコンテナ内では設定ファイルがどのように取り込まれているか確認してみます。

ECS ExecでFluent Bitコンテナにログインしてみます。

$ aws ecs execute-command --cluster <ECSクラスター名> --profile <AWS CLIプロファイル名> \
    --task `aws ecs list-tasks --cluster <ECSクラスター名> --profile <AWS CLIプロファイル名> | jq -r '.taskArns[]' | cut -d'/' -f3` \
    --container fluentbit \
    --interactive \
    --command "/bin/sh"

Fluent Bitプロセスが読み込んでいる設定ファイルを確認してみます。

/init/fluent-bit-init.confを読み込んでいることがわかります。また、環境変数で指定したパーサーファイルも読み込まれていますね。

sh-4.2# ps axwww | grep fluent | grep -v grep
    1 ?        Ssl    0:00 /fluent-bit/bin/fluent-bit -e /fluent-bit/firehose.so -e /fluent-bit/cloudwatch.so -e /fluent-bit/kinesis.so -c /init/fluent-bit-init.conf -R /fluent-bit/parsers/parsers.conf

S3を参照したファイルは、/init/fluent-bit-init-s3-filesにダウンロードされてインクルードされていました。

sh-4.2# cat /init/fluent-bit-init.conf 
@INCLUDE /fluent-bit/etc/fluent-bit.conf
@INCLUDE /init/fluent-bit-init-s3-files/extra.conf

sh-4.2# cat /init/fluent-bit-init-s3-files/extra.conf
# nginxデフォルトログフォーマットをパース
[FILTER]
    Name parser
    Match nginx-*
    Key_Name log
    Parser nginx
(略)

最後に

今回はFargateでFireLensを利用する際にS3にカスタム設定ファイルを配置する方法について試してみました。

コンテナイメージ内にカスタム設定ファイルを保持する方式だと、設定変更の際にはコンテナイメージのビルド＆プッシュ、タスク定義の変更＆デプロイと結構手間でしたが、S3を参照することでECSサービスの再起動だけで設定変更可能になるので、とても便利ですね。

AWS

関連記事

Mountpoint for Amazon S3 の自動マウントを systemd で実現する方法

大村 保貴

2024.04.28

[Amazon FSx for NetApp ONTAP] ファイル共有のACLでReadのみの明示的なDenyをONTAPが認識できるのか確認してみた

のんピ

2024.04.28

【書評】メール技術の基礎を抑えたい方必見「実務で使える メール技術の教科書」

おつまみ

2024.04.28

[アップデート] 有害・危険なコンテンツをブロックする「Guardrails for Amazon Bedrock」がGAになりました！

青柳英明

2024.04.28