Alteryx Designer CloudとBigQueryの連携
こんにちは、まつおかです。
今回はAlteryx Designer CloudとGoogle BigQueryとの連携手順をご紹介します。
前提条件
BigQueryと接続し、データの入出力を行うためには、以下の前提条件があります。
- プライベートデータストレージ（PDS）がGoogle Cloud Storage（GCS）であること
- BigQueryへデータ出力する場合やBigQueryを実行エンジンとして利用する場合、使用するワークスペースのプライベートデータストレージとして、GCSが設定されている必要があります
- BigQueryへデータ出力する際は設定したGCSをステージングエリアとして利用します
- BigQueryからの入力のみであればPDSの設定は不要です。
- 設定方法は以下のブログをご参照ください。
-
PDSで設定したサービスアカウントとBigQuery接続に使用するサービスアカウントは同一であること
-
ワークフロー実行時にBigQueryのエンジンを使用する場合は、入力もしくは出力がBigQueryであること
-
BigQueryとの連携でサポートされているエンジンは以下の通り（ワークフローの右上に表示されている「Run Job」ボタン右の▼をクリックすると選択できます）
- Alteryx Engine
- Dataproc
- BigQuery
事前準備
- BigQueryへの接続に使用するサービスアカウントには以下の権限を付与
| 分類 | 権限 |
|---|---|
| ジョブ実行 | bigquery.jobs.create |
| データセット | bigquery.datasets.get |
| bigquery.datasets.getIamPolicy | |
| テーブル (参照) | bigquery.tables.list |
| bigquery.tables.get | |
| bigquery.tables.getData | |
| bigquery.tables.getIamPolicy | |
| テーブル (書込) | bigquery.tables.create |
| bigquery.tables.updateData | |
| bigquery.tables.createSnapshot | |
| bigquery.tables.export | |
| ルーチン | bigquery.routines.list |
| bigquery.routines.get | |
| モデル (ML) | bigquery.models.list |
| bigquery.models.getMetadata | |
| bigquery.models.getData | |
| bigquery.models.export |
- サービスアカウントのJSONキーファイルを準備
BigQueryへの接続設定
次に、Alteryx Oneのワークスペースで、BigQueryへの接続を設定します。
-
Alteryx Oneのポータル画面から、「データ」ページの「Connections」を表示し、右上の「新しい接続」をクリック
-
検索ボックスに「big」と入力し「Google BigQuery」を選択
-
接続情報を入力
- 接続名：BigQueryへの接続として認識しやすい名前を入力
- 説明（任意）：用途がわかる説明を入力
- データプロジェクトID：Google CloudのプロジェクトIDを入力
- 資格情報タイプ：「サービスアカウントキー」を選択
- サービスアカウントキー：サービスアカウントのJSONキーをテキストエディタなどで開、全てを選択してコピーし貼り付ける
-
「接続テスト」ボタンをクリックし、正常に接続できることを確認後「作成」ボタンをクリックし設定を完了
Designer Cloudでの入出力
データ入力
-
Input Dataツールを配置し、「Connect to Data」ボタンをクリック
-
作成した接続を選択し、読み込むテーブルを選択後「次へ」をクリック
-
データを確認後（特にオプションはありません）「Create Dataset」ボタンをクリックしてデータセットを作成
-
正しくデータが読み込めました！
データ出力
-
Output Dataツールを配置し接続設定した出力対象の接続をクリック
-
出力対象のテーブル名を入力し、出力パスを選択後「次へ」をクリック
-
出力アクションを選択し「確認」ボタンをクリック
-
設定後「Rub Job」ボタン横の▼から実行エンジンオプションを確認し「Run Job」ボタンをクリックして実行
-
ジョブページで実行結果を確認できます
-
BigQuery側でもテーブルが作成されたのを確認できました
-
BigQueryのエンジンを使用し実行した場合は、BigQuery側の「ジョブ エクスプローラ」で実行された処理の詳細を確認することもできます
さいごに
以上、Alteryx Designer CloudからBigQueryからのデータ入出力の方法をご紹介しました。
BigQueryとの連携が可能なだけでなく、実行時にBigQueryのエンジンを使用することができますので、大規模なデータ加工の場合はパフォーマンスの向上が期待できます。
今後BigQueryを中心としたデータ活用を検討されている方は、ぜひ試してみてください。
