Glue Crawler 実行時に Table Version の上限超過エラーが発生した場合の対処方法

困っている内容

Glue Crawler の実行時に下記のエラーが発生しました。

Number of TABLE_VERSION resources exceeds the account limit 1000000

今後同様のエラーが再発しないように対策したいのですが、どのような対応が必要でしょうか？

どう対処すればいいの？

このエラーは、アカウントあたりの Table Version 数が上限（デフォルト: 1,000,000）^[1] に達した場合に発生します。
そのため、下記の API を使用し、不要な古いバージョンを定期的に削除する方法をご検討ください。

• DeleteTableVersion^[2]
• BatchDeleteTableVersion^[3]

なお、直接 UpdateTable API^[4] を呼び出してテーブルを更新する場合は、SkipArchive パラメータを true に設定することでアーカイブバージョンの作成を抑止できます。
一方で、Crawler 経由でのテーブル更新にはこのパラメータを適用する手段がないため、Crawler 利用時は上記の削除 API による定期メンテナンスが主な対策となります。

補足

Glue Crawler の実行時に Table Version の作成を無効化する機能（バージョニング自体をオフにする機能）は、現時点では提供されていません。

脚注

1. AWS Glue endpoints and quotas - AWS General Reference ↩︎

2. DeleteTableVersion - AWS Glue ↩︎

3. BatchDeleteTableVersion - AWS Glue ↩︎

4. UpdateTable - AWS Glue ↩︎