[アップデート] Amazon Redshift Query Editor V2、結果セットと出力サイズの上限を100MBに拡大したので検証しました

AWS事業本部コンサルティング部の石川です。Amazon Redshift Query Editor V2が、クエリ結果セットの最大サイズと出力サイズを100MBまで拡大しました。フォーマット（CSV、JSON）ごとのファイルサイズの違いなど、不明点があったため、実際に結果セットの境界や、CSVやJSONもダウンロードサイズなどを検証してみました。

https://aws.amazon.com/jp/about-aws/whats-new/2024/11/amazon-redshift-query-editor-v2-result-export-size/

Amazon Redshift Query Editor V2の変更点

Amazon Redshift Query Editor V2が、クエリ結果セットの最大サイズと出力サイズを100MBまで拡大しました。この更新により、行数の制限なしで大規模なデータセットを扱えるようになりました。以前の制限である5MBまたは100,000行から大幅に拡張されたことで、ユーザーはより柔軟にデータを扱えるようになります。

• 新しい上限

  • 結果セットと出力サイズの上限が100MBに拡大されました。

• レコード数制限の撤廃

  • 以前の100,000行というレコード数の制限がなくなりました。

結果セットと出力サイズの上限を100MBを試す

上限が増えたことがわかりましたが、結果セットのサイズ、出力ファイルサイズ、フォーマット（CSV、JSON）違いによってどうなるかがよくわかりませんので、実際にどれくらいまでダウンロードできるか試してみました。

テストデータ

テストデータは、以下の customer テーブルをRedshiftのテーブルにコピーしたものを用いています。

https://dev.classmethod.jp/articles/amazon-athena-tips-ssb-sample-data/

検証

Query Editor V2でクエリを実行して、実行結果のファイルをダウンロードできる最大レコード数（境界値）を探します。その境界値での動作を確認しました。

エラーにならないレコード数は、1205750レコードです。

エラーになるレコード数は、1205751レコードです。

エラーにならないレコード数で、エクスポートするとCSVファイルは120.7MB、JSONファイルは241.1MBでした。

つまり、クエリの結果セットの制限が100MBでした。エクスポートファイルはクエリの結果セットから生成されるため、それぞれファイルサイズがCSVファイルは120.7MB、JSONファイルは241.1MBと増加します。クエリの結果セットが制限の100MBを超えた場合は、[Export]ボタンを押すことができないためダウンロードできません。

最後に

今となっては、Amazon Redshift Query Editor V2はとても良く使うツールですので、この機会にエクスポート機能の挙動についても検証しました。

システムビューの出力をUNLOADコマンドなどでファイルに出力しようとすると、データ型がサポートされていないためエラーになり、ファイル出力するにはpsqlコマンドを利用するなどの手間がかかります。一方、Amazon Redshift Query Editor V2のエクスポート機能は、表示された文字列がそのままCSVやJSONなどのフォーマットでファイル出力できるため、簡単にダウンロードできます。しかし、これまではレコード数やファイルサイズなどの制限が厳しいため、この長所を活かしきれていませんでした。

Amazon Redshift Query Editor V2の結果セットと出力サイズの拡大は、大規模データを扱うユーザーにとって頼りになる機能強化です。このアップデートによって、より効率的なデータ提供やデータ活用が可能になり、ビッグデータワークロードの管理が改善されることが期待されます。すべてのAWS商用リージョンで利用可能です。