Google Cloudデータエンジニアのはんざわです。
2024年5月29日のアップデートにより、パーティション分割されたテーブルにおけるパーティション数の上限が増加しました。
これにより、これまで以上に長期間のデータをBigQueryに保存できるようになりました。
BigQuery release notes： 5月29日 2024
個人的には大きなアップデートだと思うので早速ブログを執筆しています！
どれくらい増えるのか
今回のアップデートでパーティション数の上限が4000から10000に増加しました。
これにより、アップデート前後のパーティション数の上限と日次パーティションの対応年数を表で示すと次のようになります。
| 項目 | アップデート前 | アップデート後 |
|---|---|---|
| パーティション数の上限 | 4000 | 10000 |
| 日次パーティションの対応年数 | 約11年 | 約27年 |
元々の最大年数が約11年だったのに対し、上限増加のおかげで約27年分のパーティションを分割することができるようになりました！
Quotas and limits： Partitioned tables
まとめ
今回のBigQueryのパーティション数の上限増加に関するアップデート情報を紹介しました。
元々、BigQueryで日付やタイムスタンプによるパーティション分割されたテーブルの作成可能になったのが2016年頃でした。
もし今回の上限増加がなかった場合、サービス開始当初から日次パーティションを利用しているユーザーは、あと数年で限界を迎えていた恐れがありました。
その場合、古いデータを別のテーブルに移動させたり、古いデータを削除したりと何らかの対策を練る必要がありました。
今回のアップデートで上限が増えたことにより、そのような心配が不要になったのは良かったと思います。
今後も安心してBigQueryを利用していただきたいです！
0
