[アップデート] Amazon QuickSight で SPICE データセットのサイズ制限がアップし 20 億行までサポートされるようになりました
コーヒーが好きな emi です。
2025/7/2 のアップデートで、Amazon QuickSight の SPICE データセットの行数制限が大幅に拡張され、20 億行までサポートされるようになりました。
アップデート概要
2025/7/2 のアップデートで、Amazon QuickSight Enterprise Edition で SPICE データセットの行数制限が従来の 10 億行から 20 億行 に倍増されました。1 つの SPICE データセットに 20 億行のデータが格納できるということです。
1 行あたりのデータが非常に小さいデータの場合、1TB の容量制限に引っかからなくても、10 億行の行数制限に引っかかってしまうことがありました。IoT センサーデータや高頻度で出力されるログなどでこういったケースがあったのではないでしょうか。
このアップデートにより、取り込み速度やクエリパフォーマンスを低下させることなく、1 つの SPICE データセットに 20 億行までデータを格納できるようになりました。小さくて大量のデータが存在する場合の選択肢として SPICE の検討の幅が広がったと言えます。
主な変更点
- データ行数制限:1 つの SPICE データセットあたり、10 億行 → 20 億行(2倍に拡張)
- 対象エディション:Enterprise Edition のみ
- 対象リージョン:以下、QuickSight Enterprise Edition が利用できるすべてのリージョン
- 米国東部 (バージニア北部およびオハイオ)
- 米国西部 (オレゴン)
- カナダ
- サンパウロ
- 欧州 (フランクフルト、アイルランド、ロンドン)
- アジアパシフィック (ムンバイ、ソウル、シンガポール、シドニー、東京)
- AWS GovCloud (米国西部)
従来の制限との比較
これまでの SPICE データセット制限
Edition | 行数制限 | 容量制限 |
---|---|---|
Standard Edition | 2,500万行 | 25 GB |
Enterprise Edition | 10億行 | 1 TB |
SPICE のクォータは次のとおりです。
- フィールドあたり 2,047 の Unicode 文字
- 列名あたり 127 の Unicode 文字
- ファイルあたり 2,000 列
- マニフェストあたり 1,000 ファイル
- Standard Edition の場合、データセットごとに 2,500 万 (25,000,000) 行、または 25 GB
- Enterprise エディションの場合、データセットごとに 10 億 (1,000,000,000) 行、または 1 TB
アップデート後の制限
Edition | 行数制限 | 容量制限 |
---|---|---|
Standard Edition | 2,500万行 | 25 GB |
Enterprise Edition | 20億行 | 1 TB |
利用時の注意点
1 つのデータセットの容量制限は 1TB と変わらずなので注意してください。
また、当たり前ですが、より多くのデータを格納することで SPICE 使用料が増加する可能性があります。
おわりに
簡単ですが、以上です。
QuickSight の SPICE データセット制限が 20 億行に拡張されたことで、小さくて大量のデータが存在するようなケースで SPICE が使えるようになりました。
本記事への質問やご要望については画面下部のお問い合わせ「DevelopersIO について」からご連絡ください。記事に関してお問い合わせいただけます。
参考