クラウド型のデータパイプライン構築ツール「Xplenty」のデモ動画のご紹介

2019.12.08

こんにちは。大場です。

クラウド型のデータパイプライン構築ツール「Xplenty」のデモ動画を一通り見てみました。以下のようなデモ動画が用意されていて Xplenty の操作感を見るのにちょうどよかったので紹介したいと思います。興味がありましたら実際の動画を見てもらえればと思います。

  • Amazon S3 への接続
  • Amazon Redshift への接続
  • Google BigQuery への接続
  • Google BigQuery のインテグレーション
  • Web サーバのログから PV や訪問者をカウント
  • Facebook Ads と Saleforce のデモ

Amazon S3 への接続

この動画では Xplenty から AmazonS3 に接続する手順を紹介しています。

  • S3 のバケットにサンプルデータを用意(デモでは Web のログを用意)
  • Xplenty から S3 にアクセスするための IAM ユーザを作成
    • 予め Xplenty が用意したポリシーを利用可能
    • 一部(ソースと宛先のバケットなど)をカスタマイズして利用
  • Xplenty 側で S3 へ接続するためのコネクションを作成
    • Accesskey, Secret key などの接続情報を設定
  • Xplenty でパッケージ(処理フロー)を作成して接続を確認

Amazon Redshift への接続

この動画では Xplenty から Amazon Redshift に接続するためのコネクションの作成手順を紹介しています。

  • Xplenty 側でコネクションの作成画面を開く
    • コネクション名を入力
    • アクセスタイプを指定(Direct Connection または Tunnel Connection)
    • ホストネームを入力
    • ユーザ名・パスワードを入力
    • ポート番号を確認
    • データベースを指定
    • リージョンを設定して作成
  • 事前に Redshift 側のセキュリティグループの設定で、Xplenty 側の IP アドレスからの接続を許可するように設定

Google BigQuery への接続

この動画では Xplenty から Google BigQuery に接続するためのコネクションの作成手順を紹介しています。

  • Xplenty 側でコネクションの作成画面を開く
  • コネクション名を入力
  • GCP のプロジェクトIDを入力
  • GCP のデータセットIDを入力
    • GCP 側の IAM & Admin の設定で Xplenty から接続するためのメンバー追加
    • BigQuery 側で任意のデータセットに対して、Share Dataset で、Xplenty から接続するためのメンバー追加
  • リージョンを設定して作成完了

Google BigQuery のインテグレーション

この動画では Xplenty を使ってどのように BigQuery にインテグレーションするかを紹介しています。流れとしては Google ストレージにある Web ログを抽出してPVを取得、MySQL から訪問者を抽出して結合、それら結果を BigQuery に保存、というステップを紹介しています。

  • Xplenty にアクセスをして、以下に接続するためのコネクションを作成
    • Google ストレージ
    • Google Cloud SQL(MySQL)
    • Google BigQuery
  • Xplenty でパッケージ(処理フロー)を作成
    • Google ストレージからデータ取得・加工
    • Google Cloud SQL(MySQL)からデータを取得
    • それぞれをジョイン
    • Google BigQuery のコネクタに接続
  • パッケージが動くかの確認と保存、処理を実行
    • Xplenty 側で処理を実行するためのクラスタを起動
    • パッケージを選択して実行
  • BigQuery でデータを確認

Web サーバのログからPV数や訪問者をカウント

この動画では Web のログからPV数と訪問者をカウントします。動画のなかで具体的な集計のプロセスを紹介しています。

  • Xplenty 上で以下のパッケージを作成
    • クラウド環境から Amazon Cloud Front のログを取得
    • ログを加工・集計をおこないクラウド環境データをロード
  • パッケージの動作確認と保存、処理の実行

Facebook Ads と Saleforce のデモ

この動画では Facebook Ads のデータを Salesforce のレポートに反映する処理を紹介しています。こちらも動画のなかで具体的な集計のプロセスを紹介しています。

  • Xpleny 上に作成した以下のパッケージを紹介
    • Faacebook Ads からデータを取得・集計・加工
    • Slalesforce からリード情報を取得・集計・加工
    • 2つのソースをジョインした上でサイド集計して Salesforce にロード
  • パッケージの動作確認と保存、処理の実行

さいごに

Xplenty の Youtube デモ動画をご紹介しました。冒頭で紹介した Xplenty のサイトからクレジットカードの登録なしで7日間のトライアルができるようです。興味のある方はぜひお試しください。それではまた。