クラウド型のデータパイプライン構築ツール「Xplenty」のデモ動画のご紹介

こんにちは。大場です。

クラウド型のデータパイプライン構築ツール「Xplenty」のデモ動画を一通り見てみました。以下のようなデモ動画が用意されていて Xplenty の操作感を見るのにちょうどよかったので紹介したいと思います。興味がありましたら実際の動画を見てもらえればと思います。

• Amazon S3 への接続
• Amazon Redshift への接続
• Google BigQuery への接続
• Google BigQuery のインテグレーション
• Web サーバのログから PV や訪問者をカウント
• Facebook Ads と Saleforce のデモ

Amazon S3 への接続

この動画では Xplenty から AmazonS3 に接続する手順を紹介しています。

• S3 のバケットにサンプルデータを用意（デモでは Web のログを用意）
• Xplenty から S3 にアクセスするための IAM ユーザを作成
  • 予め Xplenty が用意したポリシーを利用可能
  • 一部（ソースと宛先のバケットなど）をカスタマイズして利用
• Xplenty 側で S3 へ接続するためのコネクションを作成
  • Accesskey, Secret key などの接続情報を設定
• Xplenty でパッケージ（処理フロー）を作成して接続を確認

Amazon Redshift への接続

この動画では Xplenty から Amazon Redshift に接続するためのコネクションの作成手順を紹介しています。

• Xplenty 側でコネクションの作成画面を開く
  • コネクション名を入力
  • アクセスタイプを指定（Direct Connection または Tunnel Connection）
  • ホストネームを入力
  • ユーザ名・パスワードを入力
  • ポート番号を確認
  • データベースを指定
  • リージョンを設定して作成
• 事前に Redshift 側のセキュリティグループの設定で、Xplenty 側の IP アドレスからの接続を許可するように設定

Google BigQuery への接続

この動画では Xplenty から Google BigQuery に接続するためのコネクションの作成手順を紹介しています。

• Xplenty 側でコネクションの作成画面を開く
• コネクション名を入力
• GCP のプロジェクトIDを入力
• GCP のデータセットIDを入力
  • GCP 側の IAM & Admin の設定で Xplenty から接続するためのメンバー追加
  • BigQuery 側で任意のデータセットに対して、Share Dataset で、Xplenty から接続するためのメンバー追加
• リージョンを設定して作成完了

Google BigQuery のインテグレーション

この動画では Xplenty を使ってどのように BigQuery にインテグレーションするかを紹介しています。流れとしては Google ストレージにある Web ログを抽出してPVを取得、MySQL から訪問者を抽出して結合、それら結果を BigQuery に保存、というステップを紹介しています。

• Xplenty にアクセスをして、以下に接続するためのコネクションを作成
  • Google ストレージ
  • Google Cloud SQL（MySQL）
  • Google BigQuery
• Xplenty でパッケージ（処理フロー）を作成
  • Google ストレージからデータ取得・加工
  • Google Cloud SQL（MySQL）からデータを取得
  • それぞれをジョイン
  • Google BigQuery のコネクタに接続
• パッケージが動くかの確認と保存、処理を実行
  • Xplenty 側で処理を実行するためのクラスタを起動
  • パッケージを選択して実行
• BigQuery でデータを確認

Web サーバのログからPV数や訪問者をカウント

この動画では Web のログからPV数と訪問者をカウントします。動画のなかで具体的な集計のプロセスを紹介しています。

• Xplenty 上で以下のパッケージを作成
  • クラウド環境から Amazon Cloud Front のログを取得
  • ログを加工・集計をおこないクラウド環境データをロード
• パッケージの動作確認と保存、処理の実行

Facebook Ads と Saleforce のデモ

この動画では Facebook Ads のデータを Salesforce のレポートに反映する処理を紹介しています。こちらも動画のなかで具体的な集計のプロセスを紹介しています。

• Xpleny 上に作成した以下のパッケージを紹介
  • Faacebook Ads からデータを取得・集計・加工
  • Slalesforce からリード情報を取得・集計・加工
  • 2つのソースをジョインした上でサイド集計して Salesforce にロード
• パッケージの動作確認と保存、処理の実行

さいごに

Xplenty の Youtube デモ動画をご紹介しました。冒頭で紹介した Xplenty のサイトからクレジットカードの登録なしで7日間のトライアルができるようです。興味のある方はぜひお試しください。それではまた。