さがらです。
dbt Cloudで差分があるmodelだけを実行＆テストするCIジョブについて、以前下記のブログを書いていました。
しかし2023年9月のアップデートで、新しく「continuous integration(CI) jobs」という新しいタイプのジョブが追加され、これを用いるとより簡単にCIジョブの定義が可能となります。
この新しいCIジョブの定義について試してみたので、本記事で内容をまとめてみます。
事前準備
これまでのCIジョブと同じように、差分だけを実行するCIジョブを設定するには、Set deployment typeがProductionとなるEnvironmentのジョブを設定し、一度でも実行しておく必要があります。
後で設定するCIジョブは、このProductionを設定したEnvironmentのジョブにより生成されるArtifactsとの差分を確認する必要があるからです。
実際に私は下図のように設定しました。
- Environment
- ジョブ
CIジョブの設定
続いて、CIジョブの設定をしていきます。
Productionを設定したEnvironmentにおいて、+ Create jobを押し、Continuous integration jobを押します。
あとは、Job nameを変更して右上のSaveを押せば基本的にはOKです！理由としては、デフォルトで実行するdbtコマンドはdbt build --select state:modified+が入っており、Triggered by pull requestsにもデフォルトでチェックが入っているためです。
CIジョブが想定通りに動くか確認してみた
ということで実際にCIジョブが想定通りに動くかを見てみます。
下図のような依存関係において、stg_customers.sqlだけを編集してコミットしてみます。
この上でGitHubでPull Requestを作成すると、下図のようにdbt Cloudのcheck処理が走ります。
dbt Cloudを見ると、下図のようにCIジョブが走っていました。
このCIジョブによりSnowflakeでは専用のスキーマが作られ、編集を行ったstg_customersビューとその下流に位置するModelであるcustomersテーブルだけが作られています。編集を行ったModelとその下流に位置するModelだけが作られているため、想定通りの挙動ですね！
最後に
2023年9月のアップデートで新しく追加された「continuous integration(CI) jobs」を試してみました。
とても簡単にCIを導入できるため、dbt Cloudを導入されている場合にはぜひ試してほしいです！
2
