AWS Glue クローラーのコンソールが新しくなりクローラーの実行履歴が確認しやすくなりました

いわさです。

先日、AWS Glue のクローラー履歴機能が追加されました。

早速確認したのですがどうやらここ数日で Glue クローラーコンソール画面も新しくなってるようです。
そこで、本日は新旧の Glue クローラーコンソール画面を比較しながら、先日以下の記事で使ったクローラー履歴を確認してみました。

旧コンソール

こちらは旧コンソールのクローラー一覧画面です。
最新の実行結果のサマリと CloudWatch Logs への遷移が出来るようになっています。

クローラー詳細画面ではクローラーの設定内容を確認出来るようになっていました。

クローラー一覧画面で検索を行う際には以下のように「名前」を選択し検索ワードを入力する形でした。

新コンソール

一覧

新コンソールは以下のような AWS の他サービスと同じような UI になっています。

検索

検索バーは名前以外でも検索出来るようになっていますが、キーワード入力だけでサッと検索してくれるので地味に便利だなと思いました。

クローラー詳細 & 実行履歴

旧コンソールではクローラー一覧画面で最新の実行結果の結果をサマリで確認し、クローラー詳細では設定内容のみ確認するという形でした。
新コンソールではクローラー一覧画面でクローラーを選択するとそれぞれのクローラーの実行履歴を確認出来るようになっています。

最新の実行結果のみでなく、過去の実行結果に関する DPU 時間をひと目で確認出来たり、テーブル変更の詳細内容も確認出来るようになっています。

以下のアップデートブログでは「クローラー履歴機能の開始日以降に発生したクロールに対してサポートされ、最大 12 か月のクロールのみが保持されます」と言及されていました。

私は頻繁に Glue クローラーを実行しているわけではないのであまり参考になりませんが、2022 年 7 月 20 日ごろに実行した履歴が残っていたので、アップデート以前の直近 1 ヶ月程度は対象に含まれていそうです。

ログ

旧コンソールと同様に先程のクローラー一覧画面から最新結果のログを表示することも出来ますが、クローラー履歴から過去の実行結果に対してもログの確認が出来ます。

View run details ?

一点注意点ですが、クローラー履歴の「View run details」を選択すると本日時点ではエラー画面が表示されました。

実行結果の詳細が可視化されるのか、あるいは遷移せずに CloudWatch Logs 相当の実行詳細ログが確認出来るのか、ドキュメントにも明記がなく何が確認出来る画面なのか期待したいところです。
正常な動作が確認出来るようになったら追記したいと思います。

クローラー作成

作成画面も UI が新しくなっています。
私が確認した範囲では新しく設定出来るようになった項目が増えているわけではなさそうです。

先日の記事のように JDBC と S3 のデータソースを指定みました。
他の AWS サービスと同じような画面遷移になったなという印象です。

アップデート情報では複数データストアの場合に使いやすくなったという記述がありましたが、旧コンソールは以下のような流れで追加操作を繰り返すようなフローだったので、他の AWS サービスと同様一覧にデータストアを追加する形になり、その点を指しているのかなと推察しています。

オンデマンド実行

クローラーのオンデマンド実行の操作感は今までと変わらずで、一覧から選択し実行という流れです。
ここは画面が変わってもあまり今までと操作感変わらず使えそうです。

さいごに

本日は、新しくなった AWS Glue クローラーの実行履歴機能を中心に新しくなったクローラーコンソールを確認してみました。

旧コンソールでは他の AWS サービスと比較すると少し癖がある操作感だったという印象ですが、他の AWS サービスと同じ操作感になりました。
そして、クローラーの実行履歴を確認することが出来るようになりこの点もとても便利になったのではないかなと思います。

ちなみに、新コンソールと旧コンソールは URL で切り替えることが出来ます。
旧コンソールを使いたい場合は URL を指定して試してみてください。（いつまで旧が使えるかは不明）

• 新: https://ap-northeast-1.console.aws.amazon.com/glue/home?region=ap-northeast-1#/v2/data-catalog/crawlers
• 旧: https://ap-northeast-1.console.aws.amazon.com/glue/home?region=ap-northeast-1#catalog:tab=crawlers