[レポート] Cisco社がFivetranとdbtを使用してデータ分析基盤を強化した方法 #dbtCoalesce

大阪オフィスの玉井です。

2022年10月17日〜21日に行われたCoalesce 2022というハイブリッド（オンライン+オフライン）カンファレンスが開催されました。主催はdbt labs社です。

本記事は、その中で発表されたHow Cisco powers its modern ELT approach with Fivetran and dbt Labsというセッションについて、レポートをお届け致します。

セッション概要

登壇者

• Nikolay Voronchikhin
  • Cloud Solutions & Applications Analyst, Cisco
• Alex Hauer
  • Sr Product Marketing Manager, Fivetran

超概要

超有名企業であるCisco社の、Fivetranとdbt Cloudの導入事例です。

セッションレポート

※このセッションは2人がバラバラに話すため、発言者を色で分けています。

• 黒：Alex氏
• 青：Nikolay氏

前段

本日は、このセッションにお集まりいただき、大変光栄に思います。

さて、いきなりですが、私の名前はAlex Hauerです。Fivetranのシニアプロダクトマーケティングマネージャーを務めています。

今日は、Cisco社のクラウドソリューションとアプリケーションのアナリストであるNikolayさんと一緒に、Cisco社のELTモダナイゼーションの旅についてお聞きすることができ、とても嬉しく思っています。

でもその前に、「なぜELTの話をするのか」「なぜ多くの人がモダナイゼーションのためにFivetranを頼りにしているのか」について話したいと思います。さっそく見ていきましょう。

ELTにFivetranを使う理由

すべてデータから始まります。データはミッションクリティカルな存在になっています。

例えば、マーケティング、財務、販売、そしてそのデータに関連するすべての分析プロジェクトなど、ビジネス分析を強化することができます。データを活用することで、どこに予算を使うべきか、どこに努力を注ぐべきか、どこにリスクがあるのかを明らかにするための洞察を得ることができます。ビジネスの原動力となるデータにアクセスすることで、業務を改善することができます。あるいは、顧客のニーズを満たす新しい製品を生み出し、提供する製品を充実させることもできます。

どのような用途であっても、データは強力です。しかし、データにアクセスし、それを変換して、有意義でインパクトのあるものにする方法が必要です。

しかし、ご存知のように、データ分析は簡単ではありません。

企業にとって、組織全体で価値を高めるためには、データパイプラインを機能させ、データをクレンジングし、適切なリソースを確保することが重要です。98%の企業がデータパイプラインに頻繁な中断があるにもかかわらず、これらは現代の企業が直面する最大の課題のいくつかです。一方、68%のデータチームが、組織がデータから得ている価値を最大化するための十分な時間を有していません。

このように、重要なデータが使えない、パイプラインが切れているために意思決定が遅れる、機会が失われるといった課題が発生している今こそ、データスタックのモダナイゼーションを始めるべき時です。組織のデータの力をうまく活用するためには、データパイプラインと正確な分析が必要です。

Fivetranはユースケースに関係なく、お客様のデータソースを接続し、そのデータをクラウド上の別の場所に移動させるお手伝いをします。

しかし、データ移行に対するFivetranのアプローチは、ご覧のとおり、単にあるシステムから次のシステムへデータを移動させるだけではありません。Fivetranは、データパイプラインの構築と管理に関連するすべての作業からお客様が解放されるよう、可能な限りの自動化と拡張性、そして安全性を織り込んでいます。

しかし、Fivetranは、そのソリューションの一部に過ぎません。データ分析に対するニーズを全て満たすには、スケールと効率性を備えたモダンデータスタックが必要です。モダンデータスタックには、データ統合、集中化、ストレージ、そして最終的にはデータ分析に力を発揮する自動化されたELTプロセスが必要です。

このようなニーズを満たすためのツールが、dbtです。Fivetranは、先ほど説明したように、データの移動を強力にサポートします。データがロードされると、dbtはデータの変換とモデリングを行い、目的の出力システムで分析やアクションを行うための準備を支援します。私たちは、お客様の組織の成長とインパクトを促進するために、データの力を解き放つお手伝いをします。

そして、このスタックを採用してデータドリブンなビジネスを強化している企業が、Cisco社です。それではNikolayさん、あなたの旅についてお話ししましょう。今日、あなたと一緒にここにいられることをとてもうれしく思います。

Cisco社がFivetranを導入する前と後

Fivetranとdbt Cloudの話をするために、あなたと一緒にここにいることに興奮しています。

では、さっそく本題に入りましょう。私は先ほど、データの重要性とELTのためのモダンデータスタックの出現について述べました。

まず、会場にいる皆さんのために一歩下がってみましょう。Cisco社で解決しようとしているデータの問題について教えてください。そして、Fivetranとdbt Cloudを採用する前は、どのようにそれを解決していたのでしょうか？

Ciscoでは、Salesforceのデータを分析し、商談の潜在的なiACVを特定することが使用例の1つでした。私たちは、データを活用してより大きな収益性と成長性を確保したいと考えていました。

それはとても理にかなっていますね。では、これまではSalesforceのデータをどのように分析されていたのでしょうか？

かなり手動的なプロセスでした。以前はもっと伝統的なETLツールを使っていて、データにアクセスし、それを分析用データに変換するプロセスを手作業で行っていました。私たちは、SalesforceのデータをOracleデータベースに移動するためのカスタムスクリプトを作成しました。これは簡単なプロセスではなく、この抽出とロードのプロセスを構築し、維持するために時間が必要でした。

また、このプロセスでは、データにアクセスするためだけに何時間もかかっていました。もちろん、そのデータをクラウドデータウェアハウスであるSnowflakeに移行する必要があったのは言うまでもありません。

データの移動に時間がかかっていたんですね。それはデータ処理全体のことですか？

いいえ、それは私たちのパイプラインの一部に過ぎません。データがSnowflakeに到着した後、関係者がデータ分析するためにデータを変換する方法が必要でした。

そこで、別のチームがデータをモデル化し、カスタムスクリプトとは別のETLの実装を使って変換しました。データチームとして、ステークホルダーに分析やビジネスの準備が整ったデータを提供することは、私たちの責任です。これは、データの準備、モデリング、クレンジング、変換に多くの時間とリソースを費やすことを意味しますが、残念ながら開発に対する標準化されたアプローチを持っていなかったため、サイロで行われていました。

つまり、最終的に手動で行っていたプロセスに多くの時間と人的資源を投入し、パフォーマンスと信頼性の面でさまざまな結果を得ていたようです。Fivetranとdbtを選んだのは、より自動化され、より良いパフォーマンスを得るためなのでしょうか？

100%そうです。データを分析し、データに基づいた行動を推奨することに時間を費やしたかったのですが、その代わりに構築とメンテナンスに行き詰ってしまいました。そこで、自動化に向けた方法を模索する必要がありました。

モダンデータウェアハウスにデータを取り込むための、コード不要の自動化されたアプローチを探していたのですね。

その通りです。Fivetranがあれば、SalesforceのデータをSnowflakeに取り込むためのコネクタを、ビルドやコーディングなしで簡単に作成することができるのです。これにより、多くの時間を節約することができました。

また、パイプラインの信頼性も高いので、メンテナンスに注力したり、データ入力に時間を取られたりすることもありません。以前は、パイプラインの実行に1時間以上かかっていました。また、インクリメンタルロードもうまくいきませんでした。そのため、多くのコストがかかっていたのですが、セットアップや使い方が簡単になったことで解消されました。

「簡単にコストが削減できた」という言葉を聞くのは好きです。信頼性の向上、メンテナンスの軽減、コストの削減と、本当に素晴らしいことだと思います。Fivetranに切り替えたことで、ビジネスにプラスの影響があったことはありますか？

ありました。1週間かかっていたプロセスを、新しいオブジェクトを作成するのに1日に短縮しました。つまり、約85％のスピードアップです。

これだけの時間を取り戻した結果、チームやプロセスにどのような影響があったのでしょうか。

1つのユースケースにかかる時間を短縮することで、より多くのユースケースを短期間で実現し、会社に大きなビジネス価値をもたらすことができました。Fivetranのソリューションがシンプルなため、より影響力のある分析プロジェクトに集中することができ、プラットフォームチームの影響力を高めることができました。

それはすごいですね。インパクトのあるデータ分析ということですが、インパクトがあるといえば、新しいデータムーブメントのプロジェクトに取り組んでいらっしゃるそうですね。

そうです。Google BigQueryという新しいデータウェアハウスが私たちのスコープに入ってきたのです。もしFivetranがなかったら、データを移動するために新しいパイプライン、新しいクエリ、新しいコードを構築しなければならなかったでしょう。

そうですね。では、データにアクセスできるようになったことで、そのデータの使い方に何か影響を及ぼしたという実感はありますか？

間違いなくあります。関係者はより正確で、よりリアルタイムに近い意思決定を行うことができるようになりました。また、データをより深く掘り下げることができ、Ciscoがより多くの機会や成長分野を発見するのに役立っています。Fivetranソリューションは、今日のCiscoにとっての勝利と言えるでしょう。

Cisco社のdbt Cloudについて

繰り返しになりますが、Fivetranはソリューションの一部に過ぎません。dbt Cloudを導入したことで、さらにデータ分析が加速したのではないでしょうか。

確かに、以前は他のツールやカスタムスクリプトを使ってデータを変換していました。これは、かなり時間とリソースを要する作業でした。また、ユースケース間での標準的なデータ化も行われていませんでした。

では、その前の状態から、標準化、リソース管理を求めて、dbt Cloudを探されたのですか？

はい、その通りです。dbtのデータ変換のアプローチは、SQLベースなので、より簡単です。そのため、複雑さが軽減されます。また、SnowflakeやBigQueryのような複数のウェアハウスの上で使用することができます。

そしてもう1つは、Gitです。dbtでは、クラウド開発者は複数のブランチを同時に使って開発することができます。だから、いつ、どのようにツールを使うか、構文を学ぶことが、より大きなものになります。

一度にたくさんのポジティブなことが起こりそうですね、しかも、自分が理解しやすいものならなおさらです。では、dbtの使い方を理解したら、他にも追加でポジティブな影響があったのでしょうか？

データ変換プロセスの標準化だけでなく、自動化も実現しました。以前は、各ビジネスユニットが独自の方法で、独自のアプローチでデータ変換を行っていました。dbtでは、あらかじめテーブルが組み込まれたYAMLファイルをアナリストに提供し、アナリストはそのテーブルの上にカスタムロジックを構築することで、標準化を実現しました。つまり、データの出発点があるため、複雑さが軽減され、能力を発揮するまでの時間が長くなるのです。

それは素晴らしいことです。私たちはコラボレーションが大好きですよね。そして、それがdbtの全精神的な理念なのです。

dbt Cloudへの移行に伴い、他に何か良い影響はありますか？標準化、リソースの話もしましたが、他に何かありますか？

変換プロセスの標準化は、私たちにとってビジネス上の優先事項なのです。dbt Cloudを利用することで、一部の変換の複雑さを軽減し、インサイトまでの時間を短縮することができました。

また、複数の単位で変換のアプローチを標準化することができました。これにより、すべてのチームが同じ基準に従ってユースケースを作成できるようになりました。このベースラインファイルを使用することで、より迅速に作業を開始することができ、全体的に問題を少なくすることができます。つまり、これはデータ変換のための理想的なプラットフォームなのです。シンプルで拡張性があり、すべてのビジネスユニットのニーズを満たすことができます。しかも、柔軟で使い勝手が良いので、誰もが必要に応じてカスタマイズできます。

標準化、リソース管理、データとのより良いコラボレーションなど、どちらのプラットフォームでもおなじみのことをたくさんおっしゃっているように聞こえます。しかし、Fivetranに似ているのは、最適化したのは新興企業だけではないことです。しかし、Fivetranでは、最適化したのは初期段階だけではありません。

そうですね、dbt Cloudがあれば、私たちも基盤となるシステムをメンテナンスする必要がなくなり、常に問題なくスムーズにデータ変換を実行できるようにすることができます。ですから、このソリューションは、Ciscoの長期的な勝利と言えるでしょう。

素晴らしい！長期的な勝利とおっしゃいましたが、私たちはそのような勝利の数々を聞くのが大好きです。

Fivetranとdbtの組み合わせ

お話しいただいたことを整理してみると、ELTのためのパフォーマンスとスケーラビリティに優れたデータパイプラインが完成したことになります。データの取り込み、抽出、ロードをFivetranで最適化し、クラウドデータウェアハウス内のアプリケーションと自社データに簡単にアクセスできるようになったと。

dbt Cloudを利用することで、より簡単にアプリケーションや自社のデータにアクセスできるようになりました。クラウドに移行することで、スケールと使いやすさが向上し、多くのリソースが解放され、最終的にはCisco社の社員全員がより高い洞察力と能力を発揮して、先ほどお話に出たACVのような収益性を高めることができるようになります。

ですから、以前よりも効率的でパワフルになっており、多くを犠牲にする必要はなくなりました。これらのモダンデータスタックツールを使うことで、多くのものを得ることができました。

そう言ってもらえるとうれしいですね。また、ある小鳥のさえずり（Twitterのこと？）によると、このプロジェクトの一環として、キャリアにプラスになるようなことがあったということで、お祝いを申し上げるべきかもしれません。

チームやプラットフォームチームをモダンデータスタックに移行させ、チームの効率性を高め、企業のROIを向上させれば、両者とも大きな利益を得ることができます。あなたとあなたの組織の両方が、大きな利益を得ることができるのです。つまり、より少ないコストでより多くのものを手に入れ、より高いパフォーマンスを発揮できる、ダブルの魅力があるのです。あなた方とチーム全員に、改めておめでとうと言いたいです。

まとめ

あなたのCisco社での経験から、聴衆に学んでもらいたいことは何ですか？

強調したいことは主に2つあります。

Fivetranは、非常に使いやすく、トレーニングに参加する必要もなく、例えば大学のプログラムを立ち上げるために多くの時間を費やすこともなく、すぐにツールを使い始めることができました。これは大きなメリットです。クラウドにデータを取り込むために、すぐにモダナイゼーションを開始しました。Fivetranは、私たちのモダンステートアーキテクチャを強化するためのデータへのアクセスを提供してくれました。

そして、dbt Cloudでは、弊社のプラットフォームの、こうした変換プロセスの自動化と標準化のための素晴らしい場所を提供してくれました。そして、dbt Cloudのおかげで、データをより速くインサイトに変えることができるようになったのです。

それは素晴らしいことです。つまり、Fivetranとdbt Cloudを組み合わせて、最終的に得られるのは、コストと時間を節約し、インパクトまでの時間を長くする効果的な方法なのです。

私たちは、私たちのプラットフォームから得た素晴らしい成果を聞くのが大好きです。Nikolayさんには、素晴らしいパートナーとして、Cisco社の歩みをご紹介いただきました。本当にありがとうございました。

おわりに

どちらかというとベンチャー企業が採用してそうなイメージがあるFivetranとdbtですが、Cisco社のような歴史ある大企業も使っているということで、企業規模を問わないツールなのだなあと思いました。