AWS DevOps Agent（Preview）を利用してトラブルシューティングしてみた #AWSreInvent

Please investigate the cause of the ECS task launch failure. 

Start your investigation by reviewing the log messages recorded in the log group /aws/events/ecs/containerinsights/mycluster/performance. 

Root causes  

1. CloudFormation 管理のシークレットローテーション時に、手動作成したタスク定義および IAM ポリシーが更新されなかった  

根本原因は、CloudFormation で管理されている Datadog のシークレットがローテーションされた際に、手動で作成されたリソース（ECS タスク定義 FireLens:7 および ecsTaskExecutionRole の IAM ポリシー）が更新されず、設定ドリフトが発生したことです。  
この環境では、Datadog の API キーシークレットは CloudFormation で管理されており、一定の間隔で削除・再作成され、新しい ARN に差し替えられます（この挙動は 2025年11月18日に確認されており、それ以前から行われていたと考えられます）。  

しかし、タスク定義 FireLens:7（2024年12月4日にユーザー cm-shiina.yuichi が登録）と ecsTaskExecutionRole のインラインポリシーは、削除済みの特定 ARN `DdApiKeySecret-Z0HxBLdSbsOO-zDk7lp` をハードコードしていました。  
その結果、シークレットのローテーションが発生するたびに、タスク定義と IAM ポリシーを手動で更新しなければならない保守負荷が生じています。`DdApiKeySecret-*` のようなワイルドカードパターンの利用や、タスク定義自体を CloudFormation 管理にする設計が取られていないため、ローテーションのたびにこれらのリソースは陳腐化し、手動で修正されるまでタスク起動に失敗する状況になっていました。  

Key findings  

1. タスク定義 FireLens:7 が削除済みの Secrets Manager シークレットを参照している  

ECS のタスク定義 `FireLens:7` は、Secrets Manager のシークレット  
`arn:aws:secretsmanager:ap-northeast-1:XXXXXXXXXXX6:secret:DdApiKeySecret-Z0HxBLdSbsOO-zDk7lp`  
を参照していますが、このシークレットは 2025年9月2日以前（タスクが 2025年12月2日に失敗した時点から 3か月以上前）に削除されています。  

タスク定義は 2024年12月4日に登録されて以降、一度も更新されておらず、その間に CloudFormation によるローテーションの過程で当該シークレットが削除されました。タスク内の 3 つのコンテナ（nginx、log_router、datadog-agent）はいずれも、この存在しないシークレットを設定で参照しているため、タスク起動時に ECS がシークレット取得を試みた際、ResourceInitializationError が発生してタスクが失敗しています。  

2. ecsTaskExecutionRole の IAM ポリシーが削除済みシークレットの ARN をハードコードしている  

ecsTaskExecutionRole には、secretsmanager:GetSecretValue 権限を付与するインライン IAM ポリシー `DatadogAPIKeySecretsGetPolicy` が設定されていますが、そのポリシーは削除済みの特定 ARN  
`arn:aws:secretsmanager:ap-northeast-1:XXXXXXXXXXXX:secret:DdApiKeySecret-Z0HxBLdSbsOO-zDk7lp`  
のみにアクセスを許可するようハードコードされています。  

そのため、新しい Datadog API キーシークレットを作成してタスク定義側で参照 ARN を更新したとしても、この IAM ポリシーも同様に更新して新しい ARN へのアクセス権を付与しない限り、タスクは AccessDeniedException により失敗します。  

現在、このアカウントには有効な Datadog シークレットが 2 つ存在しています（2025年3月4日作成の `DdApiKeySecret-3B9Ndv6N139Y` と、2025年11月18日作成の `DdApiKeySecret-he3rIxDhsVpv`）。しかし、ecsTaskExecutionRole はこれらいずれのシークレットに対してもアクセス権を持っていません。