[アップデート] Amazon QuickSight の結合して作成した SPICE データセットの上限が 20 GB に引き上げれたので、上限エラーを発生させてみた

いわさです。

Amazon QuickSight では複数のデータセットを結合して別のデータセットを作成することが出来ます。
単独の SPICE データセットにはエンタープライズエディションの場合は 1 TB までとういう上限があるのですが、複数から結合して作成したデータセットの場合は従来は 1 GB を超えることは出来ないという制限がありました。

が、先日のアップデートでこの上限が 20 倍の 20 GB まで拡張されました。

https://aws.amazon.com/about-aws/whats-new/2024/07/amazon-quicksight-20x-higher-limit-spice-join/

今回のアナウンスを受けてそもそも 1 GB を超える時の動きをちゃんと把握出来てなかったなと反省しつつ、サイズが超えた場合の挙動を改めて確認してみることにしました。

結合後のデータセットサイズが 20 GB を超える場合

今回は裏ルートから入手したこちらのドデカ CSV ファイルをアップロードしたいと思います。
5.7 GB あります。

QuickSight のファイルアップロード機能は 1 GB の上限があるので、直接アップロードは出来ませんでした。

なので、S3 にアップデートしてマニフェストファイルを使ってデータセットへ取り込みを行います。

取り込むことが出来ました。

ただ、サイズがローカルファイルサイズよりもかなり大きくなっていますね。10.9 GB です。
このよに QuickSight の SPICE データサイズは独自の使用でフィールドサイズが算定されるので注意が必要です。

https://dev.classmethod.jp/articles/quicksight-spice-sizing/

結合してみる

で、このデータセットを結合して新しいデータセットを作成してみます。
今回のアップデートでこの結合後のデータセットサイズが 20 GB を超えていなければ OK なはずです。

先ほど作成したデータセットをベースに、もう一つ同じデータセットを追加したものを作成します。
同じデータを ID で内部結合するので、データサイズは 2 倍程度（21.8 GB くらい？）になるはずです。

結合してデータのロード（更新）をしてみると、次のようにインポートに失敗しました。

エラー詳細を確認してみると、エラータイプはCUSTOMER_ERRORで、エラー詳細メッセージは次のようになっていました。

Memory capacity limitation exceeded for data sources in the join configuration.Breakdown of data source memory capacity in bytes by LogicalTableld at the point of failure

上限を超えてエラーになった旨と結合元の２つのデータセットのサイズについて説明されていますね。なるほど。

結合後のデータセットサイズが 20 GB を超えない場合

では今度は 20 GB を超えないかつ、1 GB は超えるデータで試してみます。
物理ファイルは 3.74 GB です。ステップは割愛しますが先ほど同じように S3 を経由して取り込みますからね。

取り込み後、データセットのサイズは 3.1 GB になりました。
あれ？減ることもあるのですね。

こちらも先程と同じように結合してみます。

おっ、期待どおり 6.2 GB のデータセットが作成されました。
エラーも発生していませんね。

以前までは 1 GB が上限だったということなので、このサイズでも失敗していたということですね。多分。

さいごに

本日は Amazon QuickSight の結合して作成した SPICE データセットの上限が 20 GB に引き上げれたので、上限エラーを発生させてみました。

今まで結合 SPICE データセットの 1 GB 上限が問題になるケースが私の場合はたまたま無かったのですが、問題になっていた環境では嬉しいですね。