Amazon MWAA Serverlessの管理UIを触ってみた

こんにちは。サービス開発室の武田です。

Amazon MWAA（Managed Workflows for Apache Airflow）Serverlessがリリースされ、移行の検討を進めている方もいるでしょうか。今回はマネジメントコンソールにアクセスし、Serverlessの管理UIを触ってみました。

ServerlessにAirflow UIは提供されない

まず最初に、ServerlessではAirflow UIが提供されません。従来のMWAAではAirflowのWeb UIにアクセスでき、DAGの状態確認や手動トリガーが可能でした。しかし、ServerlessではこのUIが廃止され、CloudWatch LogsやCloudTrailでの監視に切り替わっています。

それではDAGの構築や手動トリガーはどのように行うのか？AWS CLIしかないのか？そんなことはありません。

管理UIはAmazon SageMaker Unified Studioに統合

実はServerlessの管理UIは Amazon SageMaker Unified Studio に統合されています。Unified Studioには Workflows というワークフローを管理するメニューがあり、これがServerlessと統合されているため、主な管理はこちらで行うことになります。

やってみた

それでは実際にマネジメントコンソールからServerlessにアクセスしてみましょう。アクセスすると「Airflow 環境を作成」と「Create serverless workflows」のボタンがあります。上は従来版MWAAの環境構築、下が新しいServerlessのワークフロー構築となります。今回は下をクリックします。

このとき、Unified Studioの初期セットアップが完了していない場合はその画面が表示されます。初期セットアップが終わっていると、次のようにワークフロー画面が開かれます。この画面ではドラッグ&ドロップなどグラフィカル操作でワークフローが構築できます。

試しにワークフローを組んでみました。S3バケットのオブジェクトを一覧表示し、適当にオブジェクトをコピーします。右側にペインが開き、そこで各オペレーターのパラメーターを指定できました。

画面上部にある「Save」でワークフローを保存でき、「Run」で手動トリガー可能です。

試しに手動トリガーで動かしてみました。先ほどの画面で「View runs」というリンクがありましたが、それをクリックすると実行の一覧が確認できます。

「Run ID」から1つを選択してみると、そのRunで実行されたタスクが一覧で確認できます。Airflow UIの場合はDAGとして確認できましたが、このUIでは単なるリストになっています。

このリストからタスクを1つ選んでクリックしてみると、タスク詳細や出力、ログが確認できます。ダウンロードなどもできますので分析が必要な際も助かりますね。

最後に、MWAAのページにもワークフロー一覧ページがあるため確認してみました。こちらではワークフローの一覧だけ確認でき、リンクをクリックするとUnified Studioに飛ばされました。簡易的にワークフローの確認はできますが、それだけのようです。

まとめ

ServerlessではAirflow UIがなくなるということで、どのように実行履歴など確認するのかな？CloudWatch Logs Insightとかで頑張るのかな？と思っていたのですが、Unified Studioで管理UIが提供されていて安心しました。

これから触ろうと思っている方の参考になれば幸いです。