Alteryx DesignerからADLS Gen2へのファイル出力

こんにちは、まつおかです。
今回はAlteryxからAzure Data Lake Storageへcsvファイルを出力する手順をご紹介します。

前提条件

以下の環境で検証しています。

• Windows 11 Pro
• Azure Data Lake Storage Gen2（ADLS Gen2）
  • 階層型名前空間（Hierarchical Namespace）が有効なストレージアカウントが作成されていること
  • 使用するコンテナが作成されていること
• サービスプリンシパル
  • AlteryxからAzureへ接続する際のサービスプリンシパルが作成されていること
  • 必要な情報、ロールは事前準備を参照
• Alteryx Designer 2025.1
  • ワークフローのAMP Engineが有効であること
• Microsoft Azure Data Lake Storage Tools v2.5.1
  • インストール方法は次の事前準備を参照

事前準備

サービスプリンシパル

ADLS Gen2への接続はサービスプリンシパルを使用しました。
接続情報としてサービスプリンシパルの以下の情報が必要となります。

• Client ID
• Tenant ID
• Client Secret（「Secret ID」ではなく「Secret Value」です！！）

ストレージアカウントへのロール付与

使用するサービスプリンシパルに、ストレージアカウントへのアクセス権限 「ストレージ BLOB データ共同作成者」 を付与してください。
ストレージアカウントレベルでの付与が必要です。

Microsoft Azure Data Lake Storage Toolsのインストール

ADLS Gen2へのファイル出力にはMicrosoft Azure Data Lake Storage Toolsを使用します。
ツールはAlteryx Marketplaceからダウンロードすることができます。

https://marketplace.alteryx.com/en-US/apps/417869/microsoft-azure-data-lake-storage-tools

Marketplaceの使い方については以下をご参照ください。

https://dev.classmethod.jp/articles/alteryx-marketplace/

Marketplaceから入手したyxi形式のインストーラを実行しツールをインストールすると、コネクタパレットの中に「Azure Data Lakeファイル入力」と「Azure Data Lakeファイル出力」の2つのツールが表示されます。

今回は「Azure Data Lakeファイル出力」ツールを使用し、ファイルを出力します。

ADLSへのファイル出力

Azure Data Lakeファイル出力ツールを配置すると、設定画面に「Setup Connection」ボタンが表示されますので、こちらをクリックし接続の設定を行います。

Setup Connectionボタンをクリックすると接続マネージャー画面が表示されますので、右上の「＋新規」ボタンをクリックし新しいデータソースと資格情報を追加していきます。

データソースはデフォルトで選択されていますので、データソース名を設定して右上の「保存」ボタンをクリックします。

次に資格情報を設定します。右上の「＋資格情報の接続」をクリックし追加します。

認証方法

認証方法は4つ用意されています。

• Built-In App
  • 用意された組み込みアプリでの認証
  • ブラウザから個人のアカウントでログインして接続
• Custom App
  • 自社で作成したアプリでの認証
  • ブラウザから個人のアカウントでログインして接続
• Service to Service authentication
  • サービスプリンシパルを使用した認証
  • 個人のログインを介さずシステム間で直接接続
• Shared Key authentication
  • ストレージアカウントのアクセスキーを直接使用した認証
  • キーを入力するだけで接続できるシンプルな方法

今回はサービスプリンシパルを使用し認証しますので「Service to Service authentication」を選択しました。

ADLS OUTPUT SERVICE TO SERVICE

次にサービスプリンシパルの情報を設定します。

• 資格情報
  • 新しく資格情報を作成することを前提としていますので、「新しい資格情報の作成」を選択します
• 資格情報名
  • わかりやすい名称を設定します
• EndPoint
  • https://onelake.dfs.fabric.microsoft.com
• Client ID
  • サービスプリンパルのクライアント（アプリケーション）ID
• Tenant ID
  • AzureのテナントID
• Client Secret
  • サービスプリンパルのシークレットバリュー

OAUTH SESSION (TOKENS)とPROXY AUTHENTICATION

• OAUTH SESSION (TOKENS)
  • 接続ごとに発行されるOAuthトークンの保存先設定
  • 初回は「新しい資格情報の作成」でOK
  • 同じサービスプリンシパル、ストレージアカウントへの接続を作成する場合は、既存の資格情報を選択すことも可能
• PROXY AUTHENTICATION
  • 社内ネットワークでプロキシサーバーを経由してインターネットに接続している場合に設定
  • プロキシを使用しない場合でも資格情報の作成は必須のため、「新しい資格情報の作成」で進める

最後に、いちばん下にある「SDKへの接続を許可」にチェックを入れ、右上の「作成/リンク」ボタンをクリックして設定を完了します。

接続情報が作成できたので、右の「接続」ボタンをクリックするとDCM画面が閉じ、ワークフロー画面に戻ります。

Azure Data Lakeファイル出力ツールの設定

接続が正しく設定できたら、次はツールの設定に進みます。

■「Data」タブ設定

• Storage Account Name

  • ストレージアカウント名を入力

• File System Name

  • ストレージアカウント名を入力すると、ドロップダウンメニューからアカウント内にあるコンテナを選択可能になるので、出力対象のコンテナを選択

• File Path

  • コンテナ直下に出力する場合：/<ファイル名>.csv
  • コンテナ内のフォルダに出力する場合：/<フォルダ名>/<ファイル名>.csv

  注意）パスの先頭に「/」（スラッシュ）が必要です！！

■「Options」タブ設定

• File Format：ファイル形式

  

• Delimiter：区切り文字

  

• write headers：出力にヘッダ行を含める

• Quote Character：囲み文字

  

• Code Page：出力文字コード

• Existing File Action：既存ファイルがある場合のアクション（Appendはcsv形式のみ）

  

• Upload Chunk Size：一度に送信するデータサイズ

• Buffer Size：データ送信前に一時的にメモリに溜めておくサイズ

「Upload Chunk Size」と「Buffer Size」は通常はデフォルト値のままで問題ありません。大容量ファイルの場合やエラーが出る際には調整してください。

ワークフローの実行

設定は以上で完了です。
ワークフローを実行し、ADLSにファイル出力されたことを確認してください。

さいごに

以上、ADLS Gen2へのファイル出力手順のご紹介でした。
今回検証する中でいちばんのつまづきポイントは以下でした。

• EndPointはストレージのURLではなく 「https://login.microsoftonline.com」 を入力
• 出力パスは 先頭に「/」 が必要

参考になれば幸いです！