EKS on Fargate で Pod のメトリクスを取得してみた（ADOT 編)

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: fargate-logging-test
  region: ap-northeast-1
  version: "1.31"

iam:
  withOIDC: true

# Fargate 専用のためマネージドノードグループは作成しない
fargateProfiles:
  # kube-system と CoreDNS 用（Fargate 専用クラスターで必須）
  - name: fp-system
    selectors:
      - namespace: kube-system
      - namespace: default

  # 検証用ワークロード
  - name: fp-demo
    selectors:
      - namespace: demo

  # ADOT Collector（メトリクス収集用）
  - name: fp-container-insights
    selectors:
      - namespace: fargate-container-insights

eksctl create cluster -f cluster-config.yaml

# CoreDNS から EC2 用のアノテーションを削除
kubectl patch deployment coredns \
  -n kube-system \
  --type json \
  -p='[{"op": "remove", "path": "/spec/template/metadata/annotations/eks.amazonaws.com~1compute-type"}]'

# Pod を再起動して Fargate で起動させる
kubectl rollout restart deployment coredns -n kube-system

# CoreDNS が Running になることを確認
kubectl get pods -n kube-system -l k8s-app=kube-dns

apiVersion: v1
kind: Namespace
metadata:
  name: demo

apiVersion: v1
kind: Service
metadata:
  name: web-app
  namespace: demo
spec:
  selector:
    app: web-app
  ports:
    - port: 80
      targetPort: 80
  type: ClusterIP
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-app
  namespace: demo
spec:
  replicas: 2
  selector:
    matchLabels:
      app: web-app
  template:
    metadata:
      labels:
        app: web-app
    spec:
      containers:
      # コンテナ 1: nginx（メインアプリケーション）
      - name: nginx
        image: nginx:1.25
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: "100m"
            memory: "128Mi"
          limits:
            cpu: "200m"
            memory: "256Mi"

      # コンテナ 2: log-generator（サイドカー / ログ生成用）
      - name: log-generator
        image: busybox:1.36
        command:
        - /bin/sh
        - -c
        - |
          i=0
          while true; do
            i=$((i+1))
            echo "{\"level\":\"info\",\"container\":\"log-generator\",\"msg\":\"heartbeat #${i}\",\"ts\":\"$(date -u +%Y-%m-%dT%H:%M:%SZ)\"}"
            sleep 10
          done
        resources:
          requests:
            cpu: "50m"
            memory: "64Mi"
          limits:
            cpu: "100m"
            memory: "128Mi"

kubectl apply -f namespace-demo.yaml
kubectl apply -f deployment-web-app.yaml

kubectl get pods -n demo -o wide

apiVersion: v1
kind: Namespace
metadata:
  name: fargate-container-insights

kubectl apply -f namespace-fargate-insights.yaml

kubectl get namespace fargate-container-insights

# ADOT Collector 用の ServiceAccount を作成（IAM ロールを自動作成）
eksctl create iamserviceaccount \
  --name adot-collector \
  --namespace fargate-container-insights \
  --cluster fargate-logging-test \
  --region ap-northeast-1 \
  --attach-policy-arn arn:aws:iam::aws:policy/CloudWatchAgentServerPolicy \
  --approve

kubectl get serviceaccount adot-collector -n fargate-container-insights -o yaml

# 公式テンプレートをダウンロード
curl -O https://raw.githubusercontent.com/aws-observability/aws-otel-collector/main/deployment-template/eks/otel-fargate-container-insights.yaml

# クラスター名を置換
sed -i '' 's/YOUR-EKS-CLUSTER-NAME/fargate-logging-test/g' otel-fargate-container-insights.yaml

# リージョンを置換（デフォルトは us-east-1）
sed -i '' 's/us-east-1/ap-northeast-1/g' otel-fargate-container-insights.yaml

kubectl apply -f otel-fargate-container-insights.yaml

prometheus (receiver)
  │  Kubernetes API Server 経由で cAdvisor メトリクスをスクレイプ
  ▼
metricstransform/label_1 ... ラベルのリネーム（name→container_id, compute_type→LaunchType 等）
  ▼
resourcedetection .......... EKS メタデータ（ClusterName 等）を自動検出
  ▼
metricstransform/rename .... cAdvisor メトリクスを Pod / Container レベルに分離・リネーム
  ▼
filter ..................... リネーム済みメトリクス（pod_*, new_container_*）のみ通過
  ▼
cumulativetodelta .......... 累積値をデルタ値に変換
  ▼
deltatorate ................ デルタ値をレートに変換（例: bytes → bytes/sec）
  ▼
metricsgeneration/1 ........ 派生メトリクス生成（CPU millicore 換算、メモリ使用率 等）
  ▼
metricsgeneration/2 ........ CPU 使用率（pod_cpu_utilization_over_pod_limit）を算出
  ▼
metricstransform/label_2 ... Type ラベル追加（Pod / Container）、Namespace / PodName ラベルの正規化
  ▼
batch ...................... 60 秒間隔でバッチ送信
  ▼
awsemf (exporter)
  │  CloudWatch Embedded Metric Format で送信
  ▼
CloudWatch Container Insights
  ロググループ: /aws/containerinsights/{ClusterName}/performance

kubectl get pods -n fargate-container-insights -o wide

NAME                READY   STATUS    RESTARTS   AGE   IP            NODE
adot-collector-0    1/1     Running   0          2m    10.0.x.xxx    fargate-ip-10-0-x-xxx...

kubectl logs -n fargate-container-insights adot-collector-0 --tail=20

aws logs describe-log-streams \
  --log-group-name /aws/containerinsights/fargate-logging-test/performance \
  --order-by LastEventTime \
  --descending \
  --region ap-northeast-1 \
  --query 'logStreams[*].logStreamName' \
  --output json

fields @timestamp, PodName, Namespace, pod_cpu_usage_total, pod_memory_working_set
| filter Namespace = "demo"
| sort @timestamp desc
| limit 20

# demo Namespace の Pod が動作中であることを確認
kubectl get pods -n demo -o wide