この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』をメジャーバージョンアップ(v2.0)しました。バージョンアップの内容はジョブ画面のリニューアルによるUI改善、エクスプローラ機能の追加となります。
今回はリニューアルしたジョブ画面のうち、アップロードジョブについて紹介したいと思います。
アップロードジョブとは
CSA Data Uploaderでは作成出来る「ジョブの定義」に幾つかパターンが存在します。「アップロードジョブ」はその中の一つであり、『任意の場所からデータを抽出し、クラウドストレージにファイルをアップロード』する処理を実現します。
「アップロードジョブ」には2種類あり、CSA Data Uploaderでは「ファイルアップロード」「データアップロード」という2つのジョブ種別に分かれています。
「ファイルアップロードジョブ」は先ほど書いた『任意の場所からデータを抽出し、クラウドストレージにファイルをアップロード』を実現するためのものです。
「データアップロードジョブ」はデータに簡易的な変換・加工処理を掛けてからアップロードするジョブとなります。
「ファイルアップロード」「データアップロード」については以下の過去エントリーなども参照ください。
データアップロードジョブの作成
実際にリニューアルした画面でデータアップロードジョブを作成し、新しくなった画面を紹介していきます。シナリオとしては、ローカルにあるファイルに簡易的な変換・加工処理を掛けてS3へアップロードするものとします。
ジョブ一覧より[ジョブを作成]を押下します。
[ジョブの追加]ダイアログが表示されるので、任意のジョブ名を入力し、ジョブ種別に[データアップロード]を選択して[作成]ボタンを押下します。
ジョブ一覧に作成したジョブが表示されるので、そのジョブ名を押下します。
[ジョブ詳細]画面が表示されます。この画面は今回リニューアルしました。画面右側に灰色の表示枠が追加されました。ここにはジョブが実行する処理がフロー形式で表示されます。処理を追加するため[編集]を押下します。
[編集]を押下するとジョブの編集ダイアログが表示されます。このダイアログも今回リニューアルしました。まずはローカルにあるファイルをアップロード元として指定するため、フロー欄にある[入力]ボックスの右脇の鉛筆アイコンを押下します。
入力を設定するためのダイアログが表示されます。今回は[ローカル接続]を選択します。
ローカルのファイルを選択する画面が表示されます。この画面については今までと変わりありません。[ファイル/フォルダパスの選択]より任意のファイルを選択し、文字コードやヘッダーの有無などを適宜選択し、[読み込みテスト]ボタンにてOKが表示されたら[保存]を押下します。
ジョブの編集ダイアログのフロー欄に先ほど設定した[ローカル接続]が表示されます。詳細を確認したい場合や再設定したい場合は、[入力]ボックスの右脇の鉛筆アイコンを再度押下することで可能となります。
入力されるデータを確認したい場合、[入力]ボックス下の[データ表示]リンクを押下します。入力されるデータの先頭5件がプレビューとして表示されます。
ファイルに簡易的な変換・加工処理を行うため、変換処理を追加します。画面上部の[変換]を押下し、任意の変換処理を選択します。今回は任意の列を選択して出力する[列選択]を指定します。
列を選択するダイアログが表示されるので、出力したい列を選択して[保存]を押下します。
ジョブの編集ダイアログのフロー欄に先ほど設定した[列選択]が表示されます。詳細を確認したい場合や再設定したい場合は、[変換]ボックスの右脇の鉛筆アイコンを再度押下することで可能となります。
変換後のデータを確認したい場合、[変換]ボックス下の[データ表示]リンクを押下します。データの先頭5件がプレビューとして表示されます。
変換処理は複数行うこともできます。変換処理を追加したい処理をフローにて選択し、画面上部の[変換]より任意の変換処理を選択します。今回は列を追加する[列の追加]を指定します。
列を追加するダイアログが表示されます。追加したい列について入力して[保存]を押下します。
ジョブの編集ダイアログのフロー欄に先ほど設定した[列の追加]が表示されます。詳細を確認したい場合や再設定したい場合は、[変換]ボックスの右脇の鉛筆アイコンを再度押下することで可能となります。
フロー上の最後の変換後のデータを確認したい場合、最後の[変換]ボックス下の[データ表示]リンクを押下します。データの先頭5件がプレビューとして表示されます。
出力先を指定するため、フロー欄にある[出力]ボックスの右脇の鉛筆アイコンを押下します。
出力を設定するためのダイアログが表示されます。今回は[S3アップロード]を選択します。
出力先のS3のバケット、ファイル名などを設定する画面が表示されます。この画面については今までと変わりありません。任意の値を入力し[保存]を押下します。
ジョブの編集ダイアログのフロー欄に先ほど設定した[S3アップロード]が表示されます。詳細を確認したい場合や再設定したい場合は、[変換]ボックスの右脇の鉛筆アイコンを再度押下することで可能となります。
入力から出力までの一連の処理を設定しフロー欄にて確認したら、右上の[保存]を押下します。[ジョブ詳細]画面のフロー欄に設定した一連の処理が表示されます。
ジョブの実行スケジュールや詳細などを入力して[保存]を押下するか、即時実行したい場合は[保存して実行]を押下して、データアップロードジョブの作成を終了します。
なお、「ファイルアップロードジョブ」は上記の「データアップロードジョブ」より変換・加工処理を除いたものとなります。 機能としては上記の構成となるため、詳細の解説は割愛します。
まとめ
CSA Data Uploaderでリニューアルしたアップロードジョブの紹介でした。
なお、CSA Data UploaderのUI改善については、メジャーバージョンアップ(v2.0)のタイミングで以下の画面・機能についても対応を行っています、合わせてご覧頂けますと幸いです。
- CSA Data UploaderのUI改善を行いました(プログラム実行ジョブ)
- CSA Data UploaderのUI改善を行いました(ジョブ実行ジョブ)
- 任意の接続先のファイル＆フォルダ操作をCSA Data Uploader経由で行える「エクスプローラ」機能をリリースしました
CSA Data Uploaderは1ヶ月間のトライアル利用が可能となっています。興味をお持ち頂いた方は是非無料版ダウンロードページからインストーラを入手頂き、お試し頂けますと幸いです。
3
