クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にODBC接続データを指定する #データ統合基盤 #CSアナリティクス

「カスタマーストーリー」を支えるツール特集

#CSA: Data Uploader

#ビジネス

#クラスメソッド

しんや

2020.12.07

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』7日目のエントリです。

当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』の入力に、任意のODBC接続を指定する手順について紹介します。

事前準備：データーベース環境及びODBCドライバ設定を用意

当エントリの手順を遂行するために、予め『MySQLの環境準備』『MySQLのODBC接続設定』を済ませておきます。ODBCドライバについては、下記公式サイトよりWindows環境に対してODBCドライバを導入しておきました。

MySQL :: Download Connector/ODBC

所定のMySQL環境に対するODBC接続設定を以下のように設定し、接続が出来ることを確認しておきます。この際『Cursors/Results』→『Don't cache results of forward-only cursors』にチェックを入れておいてください。

Data Uploader上でのODBC接続設定作成

上記作成の接続をCSA Data Uploaderで利用するための設定を行います。メニューの[設定]から[ODBC]を選択。

ODBC設定データソースの設定画面にて[追加]を押下、対象種別に対応するデータベースの種類(MySQL)を選択。

CSA Data Uploaderでは作成したODBC接続を以下のような形で自動認識してくれます。データソース名として上記で作成したODBC接続を選択。

接続に用いるユーザー名・パスワードを合わせて設定し、[接続テスト]押下で繋がることを確認した上で[保存]を押下。

Data Uploader上でのODBC接続設定が作成出来ました。

CSA Data Uploader入力：ODBC接続の作成

抽出を行うデータをサンプルで用意します。簡潔ではありますが下記の様な形でデータを用意しておきました。

CREATE DATABASE csadudb;
Query OK, 1 row affected (0.17 sec)

USE csadudb;
Database changed
----
mysql> SELECT * FROM csadudb.demotable ORDER BY userid;
+--------+--------------------------+------------+
| userid | username                 | birthday   |
+--------+--------------------------+------------+
|   1001 | ああああああああ         | 2001-01-01 |
|   1002 | いいいいいいいい         | 2001-02-02 |
|   1003 | うううううううう         | 2001-03-03 |
|   1004 | ええええええええ         | 2001-04-04 |
|   1005 | おおおおおおおお         | 2001-05-05 |
|   1006 | かかかかかかかか         | 2001-06-06 |
|   1007 | きききききききき         | 2001-07-07 |
|   1008 | くくくくくくくく         | 2001-08-08 |
|   1009 | けけけけけけけけ         | 2001-09-09 |
|   1010 | ここここここここ         | 2001-10-10 |
+--------+--------------------------+------------+
10 rows in set (0.18 sec)

Data Uploaderのジョブ一覧画面にて、[ジョブを作成]を押下、任意のジョブ名で[データアップロード]ジョブを作成します。(ファイルの変換処理が要らない場合はファイルアップロードジョブでもOKです)

作成したジョブのジョブ詳細画面に遷移、入力処理の追加で入力種別に[ODBC接続]を選択。

データソース名に、予め設定したData UploaderのODBC接続を指定。

追加で、[クエリ]部分にODBC接続を介して行いたいSQLクエリを記述します。当然ではありますが、対象ODBCのデータベース(今回の場合はMySQL)で実行可能なSQL書式のみが有効となります。[読み込みテスト]押下で繋がる事を確認し、[保存]押下。

[データ表示]押下でデータベースへのODBC接続、及びデータの取得が行えていることを確認出来ました。

まとめ

という訳で、『クラスメソッド CSアナリティクス Advent Calendar 2020』7本目のエントリ、『Data Uploader』の入力に任意のODBC接続を指定する手順の紹介でした。CSA Data Uploaderは1ヶ月間のトライアル利用が可能となっています。興味をお持ち頂いた方は是非無料版ダウンロードページからインストーラを入手頂き、お試し頂けますと幸いです。

では、明日(8日目)のエントリもお楽しみに！