[ブース紹介]データプレパレーションソリューション-Fivetran、etleap、datacoral #reinvent

こんにちは。DA部プリセールスエンジニアの兼本です。

AWS re:Invent 2019のエキスポのスポンサーブースから、データプレパレーション系のソリューションをいくつかご紹介します。

Fivetran(BoothID #512)

Fivetranはフルマネージドのデータパイプラインサービスを提供しています。

最近では、弊社ブログに登場したこともありますので、名前を知っている方もいらっしゃるかもしれません。

• Fivetran × Snowflake × LookerでZendeskデータ分析環境をお手軽に構築

• ブース訪問レポート：Fivetran編(自動データパイプライン構築) – Looker：JOIN 2019 at San Francisco #looker #JOINdata

etleap(BoothID #1010)

こちらは2013年に設立した日本未上陸のデータパイプラインソリューションです。コードフリー、RedShiftやSnowflakeへのデータ出力を売りにしていました。
さまざまなブースを見て回りましたが、海外のETL/データパイプライン製品は、AWS、GCP、Azureは勿論のこと、Snowflakeへの対応を謳っているものが多いように感じました。
etleapは、コードフリーで簡単なETL処理を作成することができるようになっており、読み込んだJSONデータを解析することもできるので、ビジネスユーザでも使いやすい印象です。

登録したタスクを一元管理するダッシュボードも提供されています。

datacoral(BoothID #1105)

これはちょっと面白くて、データパイプラインなのですが、サービス提供ではなくAWS-nativeなサーバレスのソリューションということです。
datacoralを利用する場合、利用者のAWSアカウント上で、datacoralのインストールを行うことで、s3 bucket、Redshift Cluster、Lambda functionなどを使ったサーバレスのデータパイプラインの仕組みが構築できるようになっています。

Web GUIも用意されているのですが、ETLの加工処理などはSQLクエリを使って記述します。

様々なシステムから読み込んだデータテーブルをもとにビューを作成する仕組みも提供されています。

ビジネスユーザ向けではないものの、エンジニア受けのよさそうなソリューションですよね。
話聞いててテンション上がってブースの写真を撮り忘れてしまいました。

まとめ

いかがでしたか。
データパイプラインツールに関しては、別エントリでもTalend Data Pipeline Designer & Stitch、Xplentyなどをご紹介してまいりましたが、さまざまなクラウドサービスに蓄積されたデータを素早く簡単に連携できるので、個人的には結構面白いソリューションだと考えています。

以上、最後まで読んでいただきありがとうございました。