この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
いわさです。
Glue DataBrewでソート機能が強化されたみたいです。
ただ、変更前を私が知らないのとソートに関して触れている記事が見当たらなかったので、今回はアップデートにフォーカスしすぎずソート機能をまとめて試してみた内容を紹介したいと思います。
AWS Glue DataBrew now supports multi-column and custom sort as transformations
直近のアップデートとしては、マルチカラムソート機能とカスタムソート機能がおそらく追加されたのだと思います。
ソートメニュー
フィルターメニューと列メニューの間に追加されています。
この機能からUIでレシピステップとしてソート機能を開始出来ます。
2021年12月末ごろの画面キャプチャを見ると、「ソート」メニューもなかったので、今回追加された形ですね。
通常の１カラムの昇順・降順のソート
列１つ指定して昇順か降順かを指定します。
普通の使い方です。
マルチカラムでのソート
Add another column to sortからソート対象のカラムを追加できます。
ここではheader1とheader2をそれぞれ第一昇順、第二昇順で指定しました。
カスタムソート
次はカスタムソートです。
ここではheader3にPDCAのPlan, Do, Check, Actionという文字列を設定しています。
header3を通常どおりソートしようとすると普通はアルファベット順になると思います。
ここで、Sort by custom valuesで並び順をリストで指定することが出来ます。
PDCA順になりました。
さらに、カスタムソートでは大文字・小文字の考慮も出来ます。
bbb,aaa,DDD,CCC,BBB,AAAとカスタムソートを指定した場合は以下では大文字・小文字の区別がされていない状態です。
こちらは、Case-sensitiveを選択すると区別されるようになります。
ちなみに、非カスタムソートの場合は区別されてます。その場合に区別したくないときはソート前のステップで大文字・小文字の統一が必要そうですね。
欠損値の位置
欠損値のソート時の扱いにもオプションが用意されています。
こちらデフォルトでnull値が行末にありますが、有効化すると先頭に配置が出来ます。
さいごに
本日はGlue DataBrewのソート機能を使って見ました。
なお、レシピコードを作成する際は以下をご確認ください。当然ですが、本日UI上から設定された内容は全てカバーされています。