この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』14日目のエントリです。
- クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita
- クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO
- ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス
当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群を用いて『任意のデータソースからファイルを取得し、そのまま任意のクラウドストレージにファイルをアップロードする』一連の流れを作り上げる流れについて説明します。
目次
「ファイルアップロードジョブ」とは
CSA Data Uploaderでは、作成出来る「ジョブの定義」に幾つかパターンが存在します。当エントリで紹介するのはその中の「ファイルアップロード」というジョブです。
このジョブは『任意の場所にあるファイルを取得して、そのまま任意のクラウドストレージにファイルをアップロード』するというケースを実現するためのジョブタイプです。ジョブ作成時に『入力』『出力』の処理パートが用意され、それぞれのパートで必要な処理を画面UI経由で設定します。先日公開した「データアップロードジョブ」とは以下の点が異なります。「所定の場所にあるファイルをそのままアップロードさせたい」という場合にちょうど良いタイプのものとなっています。また、変換処理が要らないので、CSV等の「データ」に関するものでは無く、任意の形式をアップロードするというようなケースにも利用出来ます。
- ファイルアップロードには「変換」処理が存在しない
- ファイルアップロードで入力データソースとして指定出来るのは「ファイル」ベースのもののみに限定される
当エントリで実践する内容
当エントリでは、以下の処理を経てファイルをアップロードする流れをCSA Data Uploaderで実践してみます。『データでは無く、ファイルをアップロード出来る』ということを確認するために、ここでは敢えて『動画ファイル』をアップロードしてみることにしました。CSA Data Uploaderをシンプルな『ファイルアップロードツール』としても使えますよ、という感じです。
- 入力：Windowの配下に存在する任意の動画ファイルを入力データソースとして取得
- 出力：抽出・変換したデータをAmazon S3に任意の形式でファイルとしてアップロード
CSA Data Uploader ファイルアップロード実践
入力処理の作成:対象ファイルの指定
まずは入力ファイルの準備。今回はローカル環境にある動画ファイルということで、こんな感じでファイルを1個用意してみました。容量は3GB無いくらい、それなりなサイズのものとなっています。
CSA Data Uploaderのジョブ一覧画面にて[ジョブを作成]を押下、ジョブ種別に『ファイルアップロード』を指定する形でジョブを作成します。
ジョブの枠が出来ました。データアップロードジョブとは異なり、真ん中にあった『変換処理』の枠がファイルアップロードでは存在していません。
入力指定で種別に[ローカル接続]を指定。
以下のような形で入力ファイルを指定します。指定方法に関してはデータアップロードジョブで行ったものと同じです。
出力処理の作成:Amazon S3へアップロード
次いで『出力処理』を作成します。今回はアップロード先にS3を指定してみます。
S3接続名以下の設定内容についても、ここまで紹介してきた『データアップロード』で説明してきたものと同じです。今回はシステム日付で当日の値を割り出し、フォルダ構成に組み込む形を指定してみました。
これで一連のジョブ設定が出来上がりました。
ファイルアップロードジョブの実行＆内容確認
作成したジョブを早速実行してみます(即時実行指定)。
実行後暫くして処理が完了しました。処理時間については、Data Uploaderが導入されているネットワーク環境にも拠るところがあるかと思います。
合わせて実行ログも確認しています。開始終了時間と『どのファイルをどこに上げたか』が分かるようになっています。
アップロード対象のS3バケットの内容も確認してみます。ちゃんとアップロード出来ていることが確認出来ました。
まとめ
という訳で、『クラスメソッド CSアナリティクス Advent Calendar 2020』14本目のエントリ、CSA Data Uploaderで「ファイルアップロードジョブ」(任意の入力と出力を一連の処理として定義したもの)を作成・実行する手順の紹介でした。CSA Data Uploaderは1ヶ月間のトライアル利用が可能となっています。興味をお持ち頂いた方は是非無料版ダウンロードページからインストーラを入手頂き、お試し頂けますと幸いです。
では、明日(14日目)のエントリもお楽しみに！
35
