CloudWatch Logs の「S3 へのログデータのエクスポートタスク」を同時実行することはできますか？

困っていること

CloudWatch Logs から S3 へログを定期的に出力するため、エクスポートタスクを実行しています。

しかし、エクスポートタスクを複数実行するとLimitExceededExceptionエラーが発生します。

複数同時実行をすることは可能でしょうか。

どう対応すればいいの？

CloudWatch Logs のエクスポートタスクはサービス仕様上、同時実行ができません。

なお、エクスポートタスクは、分析のためのログ取得やログの一部分を保全すると言ったアドホックなユースケースが想定されています。そのため、継続的にログデータを S3 へ出力するといった用途は適しておりません。

代替方法として、Kinesis Data Firehose 経由で S3 に出力する方法が考えられます。

参考資料

CloudWatch ログクォータ - Amazon CloudWatch Logs

エクスポートタスク

アカウントごとに、一度に 1 つのアクティブ (実行中または保留中) のエクスポートタスクがあります。このクォータは変更できません。

S3 バケットへのエクスポートに失敗する CloudWatch Logs をトラブルシューティングする | AWS re:Post

CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | DevelopersIO

サブスクリプションを使用したログデータのリアルタイム処理 - Amazon CloudWatch Logs

CloudWatch Logs サブスクリプションフィルターの使用 - Amazon CloudWatch Logs