さがらです。
現地時間10月16日～10月19日で、dbt Coalesceが開催されました。
基調講演で発表された新機能については、下記のブログが参考になります。
この基調講演で、MetricFlow統合後のdbt Semantic Layerが一般提供になったと発表がありました！
連携できるパートナー製品も併せて発表され、なんとTableauも含まれています。
ということで、実際にTableau DesktopからMetricFlow統合後のdbt Semantic Layerを参照してみたので、本記事でその内容をまとめてみます。
※Tableauからdbt Semantic Layerへ接続するコネクタは2023年10月28日時点ではBeta版のため、ご注意ください。
試す内容
下記の公式Docに沿って、Tableau Desktopからdbt Semantic Layerで定義されたmetricsを参照してみます。
dbt Semantic Layerの設定については、下記の公式Docを参考にします。
検証環境
- dbt Cloud：Enterpriseエディション
- 各Environmentのdbtバージョン：1.6
- Tableau Desktop：2023.3
- OS：Windows 10
事前準備
下記のリポジトリをforkしたdbt projectを事前にdbt Cloud上で定義し、Production Environmentを定義して、dbt seedとdbt buildを含むジョブを実行しておきます。
下記の記事も参考になるはずです。
dbt Cloud上でのSemantic Layerの設定
まずdbt Cloud上の対象のdbt projectにおいて、Semantic Layerを有効化しておく必要があります。
Account settingsのProjectsから対象のdbt projectを選択し、Configure Semantic Layerを押します。
続いて、このdbt projectで使用しているDWHへの認証情報を入力します。
最低でも、semantic_modelsとmetricsが参照しているdbt Modelを含むスキーマ・テーブルへの読み取り権限が必要となります。
必要な情報を入力したら、右下のSaveを押します。
すると、Environment IDやHostなどの情報が表示されます。
この上でTableau Desktopから接続するにはService Tokenが必要となりますので、Generate Service Tokenを押します。
任意のToken Nameを入れて、デフォルトのSemantic Layer OnlyとMetadata Onlyが付与された状態で、右下のSaveを押します。
すると、Service Tokenが表示されます！この画面を離れると表示できなくなるので、忘れずにコピーしておきましょう。
Tableau Desktopからdbt Semantic Layerに接続
まず、https://github.com/dbt-labs/semantic-layer-tableau-connector/releases/download/v1.0.0/dbt_semantic_layer.tacoにアクセスして、コネクタをダウンロードし、下記の該当するフォルダに保存します。 ※もしコネクタのバージョンが古くなっている場合には、dbtの公式Docから最新のコネクタへのURLを確認してください。
- Windows:
C:\Users\\[Windows User]\Documents\My Tableau Repository\Connectors - Mac:
/Users/[user]/Documents/My Tableau Repository/Connectors - Linux:
/opt/tableau/connectors
次に、https://search.maven.org/remotecontent?filepath=org/apache/arrow/flight-sql-jdbc-driver/12.0.0/flight-sql-jdbc-driver-12.0.0.jarからJDBCドライバをダウンロードし、下記の該当するフォルダに保存します。 ※もしコネクタのバージョンが古くなっている場合には、dbtの公式Docから最新のコネクタへのURLを確認してください。
- Windows:
C:\Program Files\Tableau\Drivers - Mac:
~/Library/Tableau/Drivers - Linux:
/opt/tableau/tableau_driver/jdbc
この状態でTableau Desktopを起動し、その他からdbt Labsによるdbt Semantic Layerを選択します。
すると、先程dbt Cloud上で確認したHost、Environment ID、Service Tokenを入力する画面が出てきますので入力します。入力後、右下のサインインを押します。
これで、下図のような画面が出ればOKです！
実際にグラフを作ってみた
接続は無事に完了したので、早速グラフを作ってみたいと思います。
ワークシートに移動すると、MetricFlowで定義したsemantic_modelsのdimensionsがディメンションとして、metricsがメジャーとして表示されているのがわかります。
特にディメンションにおいては、<entitiesのname>: <dimensionsのname>で表記されていることがわかります。
「type: simple」のmetricsでグラフ作成
早速グラフを作ってみます！
メジャーにmetricsで定義したtype: simpleのOrder Total、ディメンションにdimensionsで定義したOrder Id: Ordered Atを選択します。
すると、下図のように無事にグラフを作れました！Order Id: Ordered Atは日付に関するディメンションですが、連続・非連続問わずグラフを作ることが可能です。
「type: derived」のmetricsでグラフ作成
次に、売上を計算するmetricsであるrevenueからコストを計算するmetricsであるorder_costを引いた、order_gross_profitというtype: derivedのmetricsを可視化してみます。
※関連するmetricsの定義はこちらのコードになります。
metrics:
- name: revenue
description: Sum of the product revenue for each order item. Excludes tax.
type: simple
label: Revenue
type_params:
measure: revenue
- name: order_cost
description: Sum of cost for each order item.
label: Order Cost
type: simple
type_params:
measure: order_cost
~中略~
- name: order_gross_profit
description: Gross profit from each order.
type: derived
label: Order Gross Profit
type_params:
expr: revenue - cost
metrics:
- name: revenue
- name: order_cost
alias: costこちらも問題なく可視化できました！
もう一つtype: derivedの例として、売上を計算するmetricsであるrevenueを用いて、1ヶ月前のrevenueと比較したときの売上比率を計算するrevenue_growth_momを可視化してみます。
※関連するmetricsの定義はこちらのコードになります。
metrics:
# Simple metrics
- name: revenue
description: Sum of the product revenue for each order item. Excludes tax.
type: simple
label: Revenue
type_params:
measure: revenue
#Derived Metrics
- name: revenue_growth_mom
description: "Percentage growth of revenue compared to 1 month ago. Excluded tax"
type: derived
label: Revenue Growth % M/M
type_params:
expr: (current_revenue - revenue_prev_month)*100/revenue_prev_month
metrics:
- name: revenue
alias: current_revenue
- name: revenue
offset_window: 1 month
alias: revenue_prev_monthこのような計算式が複雑なtype: derivedのmetricsでも問題なく可視化できました！
「type: ratio」のmetricsでグラフ作成
次に、売上を計算するmetricsであるrevenueを分母に、foodに関連する売上のみを計算するmetricsであるfood_revenueを分子にした、割合を出すfood_revenue_pctというtype: ratioのmetricsを可視化してみます。
※関連するmetricsの定義はこちらのコードになります。
semantic_models:
- name: order_item
~中略~
measures:
- name: revenue
description: The revenue generated for each order item. Revenue is calculated as a sum of revenue associated with each product in an order.
agg: sum
expr: product_price
- name: food_revenue
description: The revenue generated for each order item. Revenue is calculated as a sum of revenue associated with each product in an order.
agg: sum
expr: case when is_food_item = 1 then product_price else 0 end
metrics:
# Simple metrics
- name: revenue
description: Sum of the product revenue for each order item. Excludes tax.
type: simple
label: Revenue
type_params:
measure: revenue
- name: food_revenue
description: The revenue from food in each order
label: Food Revenue
type: simple
type_params:
measure: food_revenue
#Ratio Metrics
- name: food_revenue_pct
description: The % of order revenue from food.
label: Food Revenue %
type: ratio
type_params:
numerator: food_revenue
denominator: revenueこちらも問題なく可視化できました！
2023年10月28日時点で注意すべきこと
「Tableau Desktopからdbt Semantic Layerが使える！！」ということで非常にテンションは上がるのですが、現状はいくつか注意すべき点があります。
semantic_modelsのentitiesでForeign Keyを定義しJOINできる関係である場合のみグラフを作れる
例えば、order_totalはsemantic_models上でlocationとcustomerに対するForeign Keyを定義しているため、Customer: <dimension名>やLocation: <dimension名>を一緒に選択してもエラーにはなりません。
実際のコードはこちらです。
semantic_models:
- name: orders
defaults:
agg_time_dimension: ordered_at
description: |
Order fact table. This table is at the order grain with one row per order.
model: ref('orders')
entities:
- name: order_id
type: primary
- name: location
type: foreign
expr: location_id
- name: customer
type: foreign
expr: customer_id
~中略~
metrics:
- name: order_total
description: Sum of total order amonunt. Includes tax + revenue.
type: simple
label: Order Total
type_params:
measure: order_totalしかし、接続しているdbt projectでは他のsemantic_modelsも定義しており、例えばProduct: <dimension名>を選択すると下図のようにエラーが起きます。
このように、Tableau Desktop上で選択できるすべてのメジャーとディメンションの組み合わせでグラフを作れるわけではありません。これがdbt Semantic Layerを使うユーザー視点からすると少しわかりづらくなってしまうかもしれません。
現状は、MetricFlow上でsemantic_modelsのentitiesでForeign Keyを定義しJOINできる関係である場合のみグラフを作れる、ということに注意が必要です。
measureでcount_distinctなどで定義していても、Tableau上のメジャーの表記はすべて「合計」となる
これはTableauに慣れている人ほど違和感があるかもしれませんが、semantic_modelsでmeasureをcount_distinctなどで定義している場合でも、Tableauのメジャーの表記上はすべて「合計」として表示されます。
例えば、下図はNew Customerという、Customer: Customer Typeがnewのユーザーのみに絞り込んでcustomer_id列でcount_distinctの集計を行うmetricsなのですが、Tableauのメジャー上は「合計」と表示されています。
かつ、これらのメジャーは「合計」以外に切り替えられないようになっています。
累計を出す「type: cumulative」のMetricsは上手く可視化できなそう
MetricFlowのmetricsでは、type: cumulativeで指定したmeasureの累計を出すことが可能なのですが、このtype: cumulativeのmetricsがTableau Desktop上では上手く可視化できないと感じました。
具体的には、type: cumulativeのmetricsであるCumulative Revenueと、ディメンションであるMetric Timeを併せてグラフを作ろうとしても下図のようにエラーとなってしまいました。
累積を出したい場合には、type: simpleでシンプルに売上を集計しているmetricsを選択し、Tableau Desktopの簡易表計算で「累計」を選択するのが良さそうです。
最後に
MetricFlow統合後のdbt Semantic LayerをTableau Desktopから参照してみました。
上述したような注意点はありますが、複数のmetricsを用いた計算を事前にdbt上で定義しておくことで、Tableau Desktop上で計算フィールドを駆使せずとも複雑な指標を可視化することができます！
2023年10月28日時点ではTableauからdbt Semantic Layerへの接続はBeta版なので、一部の注意点については今後の改善も見込まれると思います。
dbt × Tableauの組み合わせが更に進むと思う機能なので、今後にも期待したいです！
2
