dbt CoreからDatabricksにOAuthで接続してみた

データ事業本部のueharaです。

今回は、dbt CoreからDatabricksにOAuthで接続してみたいと思います。

Databricks側の設定

まずはDatabricks側から設定します。

Databricksの『Settings』ページから『Identity and access』の『Service principals』にアクセスします。

開いた画面で『Add service principal』を選択します。

その後『Add new』を入力し、任意のサービスプリンシパル名を設定します。

作成したサービスプリンシパルの『Secrets』タブから『Generate secret』を選択します。

『Lifetime (days)』に任意の値を設定して作成すると、以下のように Secret と Client ID が生成されるのでどこかにメモしておきます。

※Secretは再度表示することはできないのでご注意下さい。

これでDatabricks側の設定は完了です。

dbt Coreの設定

次にdbt Coreです。

dbt , dbt-databricks のインストールが済んでいない場合は pip を利用して以下でインストール可能です。

$ pip install dbt-core dbt-databricks

dbtの実行環境が用意できたら、プロジェクトディレクトリを作成します。（ profiles.yml は後で手動で作成するためスキップします）

 $ dbt init my_dbt_demo --skip-profile-setup

作成できたら、プロジェクトディレクトリ（上記であれば my_dbt_demo）の直下に以下の profiles.yml を作成します。

my_dbt_demo:
  outputs:
    dev:
      catalog: workspace
      host: <YOUR-DATABRICKS-HOST>
      http_path: <YOUR-HTTP-PATH>
      schema: default
      threads: 1
      type: databricks
      auth_type: oauth
      client_id: "{{ env_var('DATABRICKS_CLIENT_ID') }}"
      client_secret: "{{ env_var('DATABRICKS_CLIENT_SECRET') }}"
  target: dev

<YOUR-DATABRICKS-HOST> にはご自身のDatabricksのホスト名（例： dbc-xxxxxxxx-xxxx.cloud.databricks.com ）を入力し、 <YOUR-HTTP-PATH> には SQL WarehouseやクラスターのHTTP path（例： /sql/1.0/warehouses/xxxxxxxxxxxxxxxx ）を入力して下さい。

auth_type は oauth にして、 client_id と client_secret はそれぞれ環境変数から取得します。

環境変数の DATABRICKS_CLIENT_ID と DATABRICKS_CLIENT_SECRET は、それぞれ先程Databricks上で払い出したClient IDとSecretを設定して下さい。

接続してみた

これでいよいよ準備ができたので、以下コマンドで接続を確認してみます。

$ dbt debug

コマンド実行後、以下のように表示されたら接続が成功しています。

せっかくなのでdbtも実行してみます。

プロジェクトディレクトリの seeds 配下に、 dbtで始めるデータパイプライン構築〜入門から実践〜で公開されている raw_customers.csv を格納します。

id,first_name,last_name
1,Yasuko,Kataoka
2,Chizuru,Ozaki
3,Kouhei,Iwasawa
4,Kae,Utsunomiya

その後、以下の seed コマンドを実行して、Databricksにcsvファイルのデータを取り込みます。

$ dbt seed

実行が完了すると、以下のようにDatabricks上で raw_customers テーブルが作成できていることが確認できました。

最後に

今回は、dbt CoreからDatabricksにOAuthで接続してみました。

参考になりましたら幸いです。

参考文献

• dbt Coreへの接続