【レポート】クラウドでの効率的なデータエンジニアリングで、雑多なデータを有用なデータへ#alteryx23
こんにちは！アライアンス統括部のikumiです。現地時間2023年05月22日(月)〜2023年05月25日(木)に米国ラスベガスで開催されたAlteryxの年次カンファレンスイベント「Inspire 2023」。今回クラスメソッドからは計6人のメンバーが現地参戦してきました。
本記事では、5/24に行われた、「クラウドでの効率的なデータエンジニアリングで、雑多なデータを有用なデータへ」のセッションについて、その内容をお届けいたします。
セッション概要
- セッションタイトル
- From Messy to Useful Data with Efficient Data Engineering in the Cloud
- スピーカー(敬称略)
- Christopher Moore, Alteryx Analytics Cloud SME, Alteryx
- Paul Warburg, Senior Product Marketing Manager, Alteryx
- 概要
- ビジネス側とITチームの間で、データ要件にギャップがあると感じたことはないでしょうか。本セッションでは、従来のデータエンジニアリングが複雑である理由と、Designer Cloudがそのギャップを解消する方法について説明します。ビジネスユーザーであっても、データパイプラインの構築・自動化・加工を、ITの介入なしにクラウド上で実現する方法について学びます。
セッション内容
従来のデータエンジニアリングにおける課題
- 散らばったデータをクラウドに集めるだけでなく、有用な形で提供できるようにする必要がある
- しかし、有用に活用するためには、その情報が何を意味するかを正しく理解する必要がある
-
もし企業にデータエンジニアの部隊がある場合、その部隊に対してデータのリクエスト送ることがあると思います
-
しかしその体制をひっくり返して、データエンジニアの部隊が、分析に必要なことを実行できるようにしてみるのはどうだろうか
- ビジネス側のユーザーがセルフサービスでデータを取り扱えるようになることで、データのインサイトを深く理解できるようになる
データエンジニアリングとは何だろうか？
- データエンジニアリングでは、新しいシステム等をどのように利用すればいいか理解できたり、データの準備やパイプラインの構築をしたりと、データにまつわるすべてのことを行います
-
問題になるのは、そのうちどこまでを自分自身でできるのか、ということ
-
データエンジニアリングを行うために、実現すべきことは多くあります
-
しかし一般的にはすべてを実現するのは難しいと思います
-
そこで、Alteryx Designer Cloudではそれを実現できるように開発しています
Alteryx Designer Cloudができること
-
データプロファイリング
- データルプロファイリングでは、新たなツールを配置することなく、データの概要を把握することができます
- そして、データの品質に問題がある場合は何を対処すればいいか提案を行うことができます
- データの前処理
- 直感的なツール操作で、データの標準化や結合などの処理を行えます
- さらに結果ウィンドウからも処理を行え、作業が効率的に進みます
- フローの自動化や管理
- ワークフローの自動化や管理が簡単にできるようになった
- また、クラウド上での作業によりプラットフォームの機能を素早く利用できるため、ワークロードの効率化が可能となります
- これらの機能を活用することで、素早くインサイトを得ることができますし、データの管理の面でも簡単で効率的になります
- それが、私たちがAlteryx Analytics Cloudで実現したい真の価値といえます
最後に
データの活用においては、データを理解して有用な形で準備しておくことがいかに大事なのかを理解できました。Alteryx Analytics Cloudは、ビジネスユーザーがデータを取り扱えるようになるためであったり、ITチームにおいても作業の効率化ができることを基本の考えとして開発されているということを感じました。
