さがらです。
2023年10月のdbt Cloudのアップデートとして、前回失敗したModel・Testからジョブを再開できる機能が追加されました。
早速この機能を試してみたので、本記事でその内容をまとめてみます。
前提条件
本機能を使うためには、以下の要件を満たしている必要があります。dbt ver1.6で追加されたdbt retryが前提の機能のため、このコマンドの条件を満たす必要があります。
- dbt Cloudの環境であること
- 使用するdbtのバージョンは「1.6」以上であること
- 対象となるジョブは、「最新の実行が
errorであること」「実行に失敗したコマンドが下記のコマンドのいずれかであること（dbt retryコマンドの公式Docより）」- build
- compile
- seed
- snapshot
- test
- run
- run-operation
詳細は、下記の本機能の公式Docにも記載がありますので、こちらも併せてご覧ください。
※これは私だけかもしれませんが、私のdbt Cloudのアカウント（USリージョン）では本機能が有効化されていなかったため、サポートに連絡して本機能有効化して頂きました！
事前準備
チュートリアルで使用されるJaffle Shopのデータについて、以下のリネージで構成されているModel群があるとします。
ここで、一番末端のModelであるcustomers.sqlの最後のselect句をあえて削除してMainブランチにMergeし、必ずエラーが起こるように仕込んでおきます。（検証用の愚行です…）
この上で、Environmentのdbtのバージョンを1.6にしておき、このEnvironmentでdbt buildを実行するジョブを準備しておきます。
1回目のジョブ実行
対象のジョブを手動実行してみます。
当然dbt buildでエラーを起こします。
customers.sqlは末端のModelなので、このModelの実行前に多くのModelやTestが実行されていました。これがRerun機能を使ったときにどうなるのかが注目ポイントです。
2回目のジョブ実行（Rerun機能を使用）
続いて、Rerun機能を用いて再実行してみます。
対象のジョブの右上のRerunを押すと、Rerun from failureというオプションが表示されますので、これを押します。
すると、dbt buildコマンドは失敗したcustomers.sqlから再開されていました！customers.sqlよりも前に実行されたModelやTestが再実行されていないのがいいですよね。
最後に
簡単ではありますが、2023年10月のdbt Cloudの新機能である「前回失敗したModel・Testからジョブを再開できる機能」を試してみました。
これはどのdbt Cloudユーザーにも使ってもらいたい機能ですので、ぜひ活用してみてください！
2
