クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にAzure Blob Storage(Beta)環境のファイルを指定する #データ統合基盤 #CSアナリティクス
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』6日目のエントリです。
- クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita
- クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO
- ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス
当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』の入力に、任意のAzure Blob Storage(Beta)環境下のテキストファイルを指定する手順について紹介します。
目次
- 事前準備：Azure Blob Storage(Beta) ストレージアカウントの作成とアクセスキー情報の取得
- 事前準備：Azure Blob Storage(Beta) コンテナーの作成
- Azure Blob Storage(Beta)の接続設定の準備
- CSA Data Uploader入力：Azure Blob Storage(Beta)環境の作成
- まとめ
事前準備：Azure Blob Storage(Beta) ストレージアカウントの作成とアクセスキー情報の取得
入力：Azure Blob Storage(Beta)の設定を行うには、Azureのアカウント・環境及びストレージアカウントを利用する際の認証情報が必要となります。今回は検証用にAzureアカウントを用意した上で手順を進めたいと思います。
メニューより[ストレージアカウント]を検索し、選択。
「追加」を選択。
ストレージアカウントに関する設定を追記し、「確認及び作成」を選択。(「ストレージアカウント名」は後述設定で用いますので控えておいてください。)
内容を確認し「作成」を選択。
ストレージアカウントが作成されました。
該当ストレージアカウントの「アクセスキー」を選択。アクセスキー情報の「キー」の値を控えておきます。(これも後述手順で用います)
事前準備：Azure Blob Storage(Beta) コンテナーの作成
ストレージアカウントを作成後、引き続き「コンテナー」を作成しておく必要があります。コンテナーはAmazon S3におけるバケットと同等のものと考えて良いかと思います。対象ストレージアカウント配下の「コンテナー」を選択。
コンテナーメニューより、「追加」を選択。任意の名称を入力してコンテナーを作成しておきます。
Azure Blob Storage(Beta)の接続設定の準備
Data UploaderがAzure BLOB Storageのデータソースにアクセス出来るように、Data Uploader側でも設定が必要となります。
「設定」メニューより、[接続設定] - [Azure BLOB Storage(Beta)]を選択。
一覧画面より[追加]を押下し、必要な情報を設定します。接続名には任意の名称を、「ストレージアカウント名」と「アクセスキー」は前述手順で控えた内容を設定します。接続検証が出来たら[保存]を押下。
設定が作成出来ました。
対象コンテナに対し、ファイルをアップロードしておきました。ここからの手順は、このデータに対応する入力要素を作成していきます。 Data Uploaderのジョブ一覧画面にて、[ジョブを作成]を押下、任意のジョブ名で[データアップロード]ジョブを作成します。(ファイルの変換処理が要らない場合はファイルアップロードジョブでもOKです) 入力要素の作成で入力種別に[Azure Blob Storage(Beta)接続]を選択。 前述手順で作成した接続を選択。 バケット名以下、必要な情報を設定していきます。ファイル・フォルダパスについてはAmazon S3接続等と同様のルールです。[読み込みテスト]押下でアクセス可能なことを確認出来たら[保存]を押下。 入力要素の作成が完了しました。[データ表示]クリックでデータの内容も確認出来ました。 という訳で、『クラスメソッド CSアナリティクス Advent Calendar 2020』6本目のエントリ、『Data Uploader』の入力に任意のAzure Blob Storage(Beta)環境のファイルを指定する手順の紹介でした。CSA Data Uploaderは1ヶ月間のトライアル利用が可能となっています。興味をお持ち頂いた方は是非無料版ダウンロードページからインストーラを入手頂き、お試し頂けますと幸いです。 では、明日(7日目)のエントリもお楽しみに！
まとめ
