BigQueryのテーブルでパーティション数の上限が増えました

Google Cloudデータエンジニアのはんざわです。
2024年5月29日のアップデートにより、パーティション分割されたテーブルにおけるパーティション数の上限が増加しました。
これにより、これまで以上に長期間のデータをBigQueryに保存できるようになりました。

BigQuery release notes： 5月29日 2024

個人的には大きなアップデートだと思うので早速ブログを執筆しています！

どれくらい増えるのか

今回のアップデートでパーティション数の上限が4000から10000に増加しました。
これにより、アップデート前後のパーティション数の上限と日次パーティションの対応年数を表で示すと次のようになります。

項目	アップデート前	アップデート後
パーティション数の上限	4000	10000
日次パーティションの対応年数	約11年	約27年

元々の最大年数が約11年だったのに対し、上限増加のおかげで約27年分のパーティションを分割することができるようになりました！

Quotas and limits： Partitioned tables

まとめ

今回のBigQueryのパーティション数の上限増加に関するアップデート情報を紹介しました。

元々、BigQueryで日付やタイムスタンプによるパーティション分割されたテーブルの作成可能になったのが2016年頃でした。
もし今回の上限増加がなかった場合、サービス開始当初から日次パーティションを利用しているユーザーは、あと数年で限界を迎えていた恐れがありました。
その場合、古いデータを別のテーブルに移動させたり、古いデータを削除したりと何らかの対策を練る必要がありました。
今回のアップデートで上限が増えたことにより、そのような心配が不要になったのは良かったと思います。

今後も安心してBigQueryを利用していただきたいです！