Glue DataBrewで出力ファイルがどのように分割されるのか試してみた

こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。

先日発表された、ビジュアルデータ準備サービス「AWS Glue DataBrew」にとても興味があり、下記エントリを参考に触っています。

その中で気になった「ファイルの出力単位」を少し調べてみましたので、まとめてみます。

ファイルの出力について

DataBrewの「ジョブ」の設定では「ジョブ出力設定」にこんな注意書きがあります。

出力ファイルが大きすぎる場合、出力ファイルはパーティション分割されます。

出力ファイル数やサイズについては、2020/11/18現在は特に設定がなく、どのようになるのか色々と試してみました。

抽出対象データ

サンプルデータの「メトロポリタン美術館コレクション（dataset-met-objects）」から、カラム「credit line」以外を削除して、「重複なし」の処理をしたレシピを通しています。

色々なパターンでの出力を試す

以下のパターンで試してみました。また、ジョブに設定する「ユニットの最大数」は「2」としています。

出力結果まとめ

ジョブを実行した結果、S3に保存された「ファイル数」と、分割されたファイルをダウンロードした際の「1ファイルのバイト数」が以下となりました！

ファイル数はいずれも「16」ファイルとなっていました。ファイルサイズは「数KB」となっており、同一ファイル形式では単純に圧縮によるファイルサイズの変化がみられました。

例えば、JSONの非圧縮ファイルは「13385」バイトでGzip圧縮ファイルは「3879」バイトとなっていますが、Gzip圧縮ファイルを解凍したところ、当然ですが非圧縮ファイルと同じjsonファイルですので「13385」バイトとなります。

また、どのファイルにおいてもヘッダ行の有無などはありますが、実データとしては「197レコード分」の出力となっているように見受けられました。

また、「ユニットの最大数」も関係していそうと思われたので、今度は「ユニットの最大数」を「16」にして試したところ、すべて「ファイル数」は「43」ファイル(74レコード分の出力)となりました。およそ2.7倍に増えましたね。

まとめ

色々なパターンでのファイル出力を試してみましたが、今回試したパターンではファイル数は「16～43」、ファイルサイズは「数KB程度」にファイル分割されていました。色々と分割条件はありそうですが、いずれにせよある程度のファイル数に分割して出力されることは間違いなさそうなので、そのあたりは利用の際に考慮が必要かなと思いました。

どなたかのお役に立てば幸いです。それでは！