Databricksとdbt platformをパーソナルアクセストークンを使用して接続してみた
かわばたです。
表題のとおり、Databricksとdbt platformの接続方法を試していきたいと思います。
接続の手段としてPartner Connectを使用する方法と手動で設定する方法がありますが、今回はパーソナルアクセストークンを使用する方法で試していきたいと思います。
【公式ドキュメント】
対象読者
- Databricksとdbt platformの接続方法を確認したい方
検証環境
- Databricks Free Edition
- dbt platform Enterprise版
実施しないこと
- 権限回りの各種設定
パーソナルアクセストークンによる接続を試してみた
接続情報の確認
- SQLウェアハウスの作成と接続の詳細（サーバーのホスト名、HTTP パス）を確認します。
SQLウェアハウスを押下します。
SQLウェアハウスを作成を押下し、dbt platform用のウェアハウスを作成します。
※今回はFree Editionのため作成できなかったので、既存のものを活用します。
作成したウェアハウスをクリックします。
サーバーのホスト名、HTTP パスを確認し記録しておきます。
パーソナルアクセストークンの生成
右上側のユーザー名をクリックし、ユーザー設定→開発タブ→アクセストークンを選択し、新規トークンを作成を押下します。
コメントと存続期間を設定します。
※存続期間の最大は730（日）となります。
下記のようにトークンが作成されますので、コピーしておきます。
こちらのポップアップを閉じるとトークンは再表示できないため注意が必要です。
dbt用のカタログを作成
下記のようにdbt用のカタログを作成しました。
【公式ドキュメント】
dbt platformの設定
dbt platformにログインし、プロジェクトの接続設定画面を開きます。
TypeをDatabricksに選択したうえで、任意のConnection nameを記載します。
先ほど確認していた、サーバーのホスト名、HTTP パスを入力します。
Optional settingsでCatalogを指定しました。
Development Credentialsの設定は下記のように行いました。
Tokenは先ほど確認した内容を記載します。
Test Connectionを行って、下記のようにCompleteと表示されていれば接続が完了しています。
dbt platformのStudioでdbt build実行してみた
Studioでdbt buildコマンドを実行すると、下記のとおりモデルを動かすことができました。
下記のようにカタログ内にスキーマとデータが生成されていました。
OAuthでの接続について
自動化されたツール、システム、スクリプト、アプリを使用して認証する場合のセキュリティのベストプラクティスとして、DatabricksではOAuthトークンの使用を推奨しています。
ドキュメントにもある通り、基本的にはセキュリティの観点でOAuthによる接続が望ましいです。
Databricks Account Consoleからアプリを作成しなくてはいけないのですが、Databricks Free Editionでは制約があるためdbt platformとの接続ができませんでした。
【公式ドキュメント】
最後に
今回はパーソナルアクセストークンを使用する方法の接続を試していきましたが、可能であればOAuth接続の方がセキュリティの観点では望ましいです。
ただ、Studio IDEで1時間ごとの再認証/再起動があるのは開発者の立場としては煩わしさが残るなと感じました。（2025/12/29時点）
dbt platform上で開発を行うケースかつセキュリティの観点でパーソナルアクセストークン利用の接続が許すのであれば、今回試した方法を利用するのも一案かと思います。
この記事が何かの参考になれば幸いです！
