[レポート] The Future is an Experience（データ分析の未来は「体験」である） #futuredata

大阪オフィスの玉井です。

2021年10月13日 午前9時～午後3時（米国太平洋標準時）、Future Dataというデータ分析に関するオンラインカンファレンスが開催されました。

この記事では、このイベントの「The Future is an Experience」というセッションのレポートをお届けします。

セッション情報

登壇者

Benn Stancil氏（Co-founder and Chief Analytics Officer, Mode）

概要

In this talk, I’ll talk about the past and future of the modern data stack—not as a collection of tools or as an architectural diagram, but as an experience. The talk will describe how the current stack can create experiential chaos, offer a proposal for what we can do about it, and provide a roadmap for how we can get there.

この講演では、モダンデータスタックの過去と未来について、ツールの集合体やアーキテクチャ図としてではなく、体験（Experience）としてお話します。この講演では、現在のデータスタックがどのように体験のカオスを生み出しているかを説明し、それに対して私たちができることを提案し、そこに到達するためのロードマップを提供します。

セッションレポート

※レポート文のみ、一人称は登壇者を指します。

前段（外食とデータ）

私はMode社の共同設立者の一人であるBenn Stancilです。今回は、データの未来は「体験」であるというお話をしたいと思います。しかし、データやテクノロジーなどの話を始める前に、実は別の話をしたいと思います。それは何かというと、外食の体験や、外食することの意味について話したいと思います。ええと、ではスライドを進めていきましょう。

外食の経験（Experience）について。

パンデミック前、このような携帯電話を使っている時代がありました。この携帯電話を知っている世代の方は、昔の食事の様子が、今とは全く違っていたことを知っていると思います。

この時代の外食は、友人に電話したり、噂話をしたりして、おすすめのレストランを聞き出し、その意見を参考にして店を選び、周辺の状況に応じて混雑する時間帯を推測し、予約を取るために電話をしたり、レストランへの移動時間を予測して、その方法でレストランに行くようにしていたのです。しかし、最終的には（本当かどうかわからない）逸話や個人的な経験に基づいて、一日の計画を立てることになりました。そして、それはたいていうまくいきました。

しかし、時には交通渋滞に巻き込まれたり、予約を取り損ねたりすることもありました。

店に着いたら着いたで、満席でテーブルが確保できないこともありました。

時には、食事が本当にまずいこともありました。もしその食事が本当に重要なものであれば、これらのことが全てを決めます。大事なデートや重要なイベントがあったり、ランチの後にウェディングドレスを試着したりする予定があったりするならば、これらのこと（食事）がうまくいかないと大変なことになります。

しかし、今ではこのような外食の仕方はありません。このような携帯電話がある世界では、非常に異なった「体験」をすることができます。重要なのは、すべてのプロセスがデータに基づいて行われているということです。そして、それはあまりにも自然なことなので、私たちはあまり気がつきません。

今日、私たちは、Google検索でレストランを探し、そのレストランのさまざまな評価を比較することができます。例えば、「ここは星4つ半だから、星1つや4.1つしかないこっちの店よりもそっちの方がいいな」という具合です。また、Yelpでも同じように、さまざまな店の評価を比較しています。

私たちは動物ですから、ロボットのようにはいきませんが、上位のレストランを選びます。なぜなら、私は星4つ半ですが、彼らは100以上のレビューがあるからです。これは、これらのレストランの方が優れていることを示しているのかもしれません。さらに、価格で検討することもできます。例えば、ここにあるBIRRIA LANDIA WILLIAMSBURGには2ドルの表示があります。一方、1つ下の店は1ドルなので、そちらの店に行ったほうがお得感があるかもしれませんね。

この外食を企画する際には、より詳細な分析を行います。Googleで検索したり、混雑予想を調べたりして、テーブルが確保できそうかどうかを判断します。この予約を本当に重視する場合は、「体験」を重視して予約を取るようにしています。

そのような場合は、Resyのようなツールを使って、レストランごとに空いている日や時間帯などのデータを得ることができます。

Resyにアクセスすると、このように大量の空き情報が表示されます。このように、大量の空きがあると、「これだけ空いているということは、このレストランはあまり良くないのではないか」という、ちょっとした分析シグナルになります。

そして最後に、どこかに出かける予定の日には、Googleを使って移動時間を調べ、車で帰るか、公共交通機関を使うかなどを計画し、どこで食事をするか、どんな外食体験をしたいかを決めるのに役立てます。私たちが自然と決断を早く下すようになったというわけではありません。私たちは皆、Yelpでいつまでも調べているような体験をしています。しかし、私たちはより良い選択をしていると思います。

逆に言えば、超大事なディナーの予定が入っていて、それがうまくいくかどうかを気にしていた場合…

この携帯電話がいいですか？

それとも、このような携帯電話がいいでしょうか？私は2番目の携帯電話に一票を投じたいと思います。

では、なぜこのような話をするのでしょうか？これがデータの未来とどう関係しているのか？

ここでのポイントは、YelpやGoogle、その他のツールで行ってきたことを、データ分析の担当者である私たちがすべて体験するべきだということです。それには、2つの大きな理由があります。

1つ目は、知識や直感に頼っていたプロセスを、完全にデータドリブンにしたことです。「どこにレストランがあるか？」はデータで決める、「どうやってそこに行くか？」もデータで決める…ということです。

私たちが口にするものも、間接的にデータを利用しています。例えば、この店で何かを注文しなければならない場合、私たちが選ぶ可能性のある人気のあるアイテムが用意されていますが、私たちはそのデータを使って自分が何を食べたいかを決めているのです。

もうひとつの理由は、「みんながやっている」ということです。先程説明した話は、今、私たちが外食する際の普遍的な方法であり、技術者やデータ志向の人だけでなく、Yelpが使用しているデータディクショナリーのトレーニングを受けていない世界中の人たちにとっても同様です。

YelpやGoogleのスキーマに組み込まれているわけでもなく、アナリストからデータを活用するように言われることもなく、皆が当たり前のようにデータを活用しています。企業での仕事のやり方と比較すると、これは本当に驚異的なことだと思います。

企業をデータドリブンにしようとしているときのことを考えてみてください。これは、データドリブンな企業を作る方法を人々に伝える家内工業のようなものです。

このようなことを考えてみると、企業をデータドリブンにするにはどうしたらいいか、ということがよくわかります。これはYelpやGoogleが全世界に向けて行ったことでもあります。アナリストとしては、人々がどのようにデータを利用しているのか、適切に利用されているのかを気にしています。また、データリテラシーのようなものも気になりますが、これはおかしなことに家内工業的なものでもあります。

企業は人々にデータを使ってもらうためのツールやトレーニングに莫大な費用を投じていますし、人々にデータを使ってもらうための専門チームや、サービスを提供しようとしているチームもあります。しかし、それでも人々にデータに耳を傾けてもらうのは難しいのです。そのため、長期在職者であっても、重要な経営判断、つまり高額な決断を下す人は、必ずしもデータに耳を傾けないのです。

しかし、全世界で、人々が外食するためにレストランを選ぶとき、それは物事の全体像の中では比較的些細な決定です。

世界のどこにいても、まったく知らない国の、まったく知らない都市に連れて行って、数時間後には楽しい夜の計画を立てることができます。さらに驚くべきことは、データを利用するだけでなく、データしかない場所でも、自然にプランニングができるということです。

私たちは、家にいるとき、どこで食事をするかを決めるのに、データを利用しています。それは、直感のない外国での直感に代わるものではなく、私たちがよく知っている通りや地域での直感に代わるものなのです。以前は直感で判断していたことが、今では完全にデータ主導のプロセスに委ねられているということが、いかに驚くべきことなのか、一旦立ち止まって考えてみる価値があると思います。私にとって、データの未来がどのようなものかを考えると、それは次のようなものです。それは、どこに食事に行くかを決めるのではなく、ビジネス上の意思決定にデータが自然に溶け込むような体験です。

データ分析の体験を作り出す4つの方法（+2つの技術的な要素）

私が「データの未来は体験である」と言っているのは、このことを意味しています。私たちが参考にできることはたくさんあります。これらのアイデアをビジネスにおけるデータの考え方に取り入れることができます。消費者を対象とした例としては、YelpやGoogleが挙げられるでしょう。他にも、KAYAK で飛行機のチケットを購入したり、FitbitやWHOOPなどのアプリで健康状態を把握したりする方法があります。このような体験を、企業としての意思決定の方法に反映させることができるのではないか、という他の人のアイデアを聞いてみたいですね。しかし、後半では、実際にどうやってそれを実現するかについて、いくつかのアイデアを共有したいと思います。そこで、この体験を企業内で実際に使えるものにするための私のアプローチをいくつか紹介します。

具体的には、私たちができることは4つあると思います。つまり、GoogleやYelpのやり方から学べることが4つあるということです。そして、実際に構築する必要があると思われるものが2つあります。合計6つのことをお伝えします。これらの体験から、実際にこれらの体験を作り出す方法や、企業でのデータの使い方についてお話します。

1. データと意思決定を統合する

まず第一に、データと意思決定を直接統合しなければならず、意思決定が起きている瞬間にデータを持っていなければなりません。

Yelpを見てみると、収益や広告のクリック数などはさておき、表向きのYelpの目標は、私たちが素晴らしいレストランを選べるようにすることです。そのため、データはその体験の一部として組み込まれています。データは、レストランを探すのに役立つ検索や地図など、Yelpの他の機能と一緒に表示されます。Yelpは、データを他の仕事と区別しようとはしません。データはひとつのまとまった体験の一部にすぎないと考えているのです。そのため、データを使って意思決定をすることが自然にできるのです。

Googleの場合も同様で、左のサイドバーを見ると、メニューや写真へのリンク、電話番号などの機能があります。そして、その横には別の情報に関するチャートがあります。このように、（Google Mapの）目的は、美味しいお店を見つけて、そこにたどり着くための手助けをすることです。Googleはそのために効果的なデータを利用しています。

これは、企業内で実際に行われている方法と対比させることができます。例えば、アカウント管理について考えてみましょう。アカウントマネージャーはSalesforceを使い、意思決定に役立つデータを持っていて、あちこちの数字を調べられるかもしれません。しかし、本当に大きな決断を下そうとしているのであれば、そのようなことはありません。

このようなダッシュボードやBIツールは、データの探索や意思決定を支援するための専用サイトです。しかし、これらは意思決定の体験そのものからは切り離されています。意思決定の必要性を実際に見出したツール（Salesforce）とは切り離されているのです。

微妙な変化に見えるかもしれませんが、Yelpがこのようなアプローチをとったらどうなるか、ということを考えてみる価値はあると思います。

もしYelpが、（データを）自然に使えて、上手く統合できるという体験から、Yelpのレビューがフィルターやトグルなどでいっぱいのダッシュボードとして表示されるという体験へと変わってきたとしたら…。レストランを探すには、ドロップダウンから料理を選び、価格でピボットする必要がありますが、これらは適切な領域です。平均値を取るか？30日、90日、全期間のどれを使うのか、平均値を取るのか、中央値を取るのか、そういったことをデータ担当者としては、ダッシュボードをいじりたくなるような楽しさがあります。しかし、食事に行こうとしている人にとっては、それはイライラする体験です。むしろ、あなたが提供してくれるレビューデータをこのように利用することができれば、Yelpはもっと悪くなってしまうでしょう。では、なぜこうしないのでしょうか？例えば、なぜYelpが構築した体験ではなく、私たちが構築した体験なのか？

2. 人々が必要としてるのは、データではなくソリューションである

この教訓（上記のYelpの話）は、2つ目の教訓である「人々はソリューションを必要としている」ということにつながると思います。彼らはデータ自体を必要としているわけではなく、データ自体には関心がないのです。問題を解決することが重要なのです。これはとても簡単なことだと思います。私たちは比較的直感的にそれを知っています。データやアナリティクスは何のためにあるのか」という話になると、人々は「人々の意思決定を助けるためだ」と答えるでしょう。ですから、これは議論の余地のないことだと思います。しかし、私たちはそれを実践するのに苦労しています。

苦労している理由は、私たちが作ったものの多くは実際には使われていないということです。Seth Rosen氏がここで指摘しているのは、私たちの誰もが感じていることだと思いますが、これらのデータ資産を構築しても、一度使われただけで消えてしまうということです。そして、ここで人々が語っているのは、その試みに丁重に感謝しているようなものですが、彼らが言っているのは、あなた方は私のために実際に問題を解決しているわけではなく、私にデータを与えているだけだということです。

そして、それは人々が求めているものではありません。「もし私にもっと時間があったら、もっと短いダッシュボードを作っていただろう」というブレーズ・パスカルの言葉を思い出します（「パスカルの手紙」をもじったジョーク）。もし私にもっと時間があって、解決しようとしている問題を理解していたら、このようなすべてを網羅したダッシュボードを作らずに、必要な特定の判断を助けるためにもっと的を絞ったものを作っていたでしょう。

Yelpはこれを理解しています。Yelpは自分たちがデータで解決しようとしている問題を正確に理解しています。これが彼らのホームページです。例えば、私が住んでいる場所の近くにあるタイ料理店を探すように、「xをyの近くで探す」ためのものであることを明確にしています。彼らはあなたが何をしに来たのかを理解しています。そして、そのためのソリューションを提供してくれています。だからこそ、人々はリピーターになってくれるのだと思います。

3. 冷酷なまでに(データを)制御する

3つ目のポイントは、Yelpがこの分野で成功したもう1つの理由にもつながると思うのですが、彼らは実際に表示するデータを徹底的に管理しています。これは、データの専門家として、社内の人々にどのようにデータを提示するかについて、実際に問題になる点だと思います。

さて、話はYelpに戻りますが、これは特定のレストランのレビューサイトです。

ここにあるデータはすべて彼らが提供してくれるものです。星の数は5つに丸めて表示されます。つまり、1から10までのスケールですね。レビューの数とそれだけで、他の平均値は教えてくれません。分布もありません。ユーザーのタイプ別にスコアを見ることはできません。もし私がベジタリアン向けのタコスレストランを探していたとしても、それは見つかりません。また、ユーザー層別に評価することもできません。これらの数字が集約された指標を変えることはできません。中央値を見たいとか、ある期間の平均値を見たいとかね。Yelpがどのようにしてレビューを集計しているのか、実際のところはわかりません。それが何なのかもわかりません。

倫理的な問題はさておき、Yelpはうまくいくからそうしているのです。私たちに必要なのは、実はこれだけなのです。選択肢を増やしても、実際には食べたいレストランをより良く選ぶことはできません。Yelpはそれを知っているので、そのようなことはしていません。Yelpは、私たちが実際に必要としている情報を提供することで、私たちを自分自身から救ってくれているのです。

これは、私たちがどのように仕事をしているかと対比させて考えてみました。これは[Taylor brownlow氏の人気ブログ記事](Dashboards are Dead. Dashboards have been the primary weapon… | by Taylor Brownlow | Towards Data Science)からの引用です。「ダッシュボードが公開されると、すぐに新しいビュー、フィルター、フィールド、ページなど、あらゆるリクエストが殺到しました。」

私たちはしばしばこれらの要求を受け入れますが、断るのが非常に難しいのは理解できます。しかし、それは人々の意思決定を困難にし、ダッシュボードの範囲を非常に混乱するほど広げてしまうことになりかねません。データリテラシーが話題になっている理由のひとつは、人々にデータを与えるときに、このようなものを与えているからだと思います。

彼らが左のフィールドの意味を理解しなければならないのに対し、我々はそれらの指標をどのように解釈するかを理解しなければなりません。もちろん、これは混乱を招くものです。もし私が車を運転していて、車のダッシュボードに車からのありとあらゆる情報が表示されていたとしたら、私たちは皆、機械工にならなければならないでしょう。しかし、このようなニュアンスを理解してもらうためには、データを利用するアナリストが必要な場合もあります。一方、Yelpの場合は、必要なデータだけを提示してくれるので、そのような必要はありません。

同様に、これは2つ目のポイントに戻るのですが、人々が解決しようとしている問題を実際に理解していなければ、それはできません。エンジニアリング的な問題を解決しようとしているのであれば、それはできません。

4. 人々は関与したいと思っている

レストランを決めることは、どこに食べに行くかを決めるのと同じように、比較的些細な決定であり、理論的には自動化できるプロセスです。例えば、レストランを選んでくれるような機能があってもいいのではないでしょうか。

私たちは、このようなことがあったら、「私のためにレストランを選んでください」と言うことができるものです。しかも、この記事のように、あまりやりたくないことも多いのですが、これは事実なので面白いですね。誰もが経験したことのあることですが、残りのコンテンツを前後して選びたくないのです。好きなものを選んだら、好きなものを選ぶ、そういうことです。

　　

…にもかかわらず、私たちはどこに食事に行くかを自動化していません。そのような製品を作りたいという需要はそれほど多くないようです。ここから得られる教訓は、人は自分を切り捨てて決断することに抵抗があるということだと思います。このようなデータは、特に今回のようにうまく表現されている場合には、意思決定の指針として非常に役立ちます。しかし、最終的には私たちがその輪に加わりたいと思っています。

技術編

先程の4つ目のポイントについては、データ分析の未来について考えるときに思い出す価値があると思います。データ分析ツールはテクノロジーであり、AIやその他の新しい技術は素晴らしいものですが、それらは最終的には意思決定のためのガイドです。意思決定は人間の経験であり、テクノロジーがそれを代行するのではなく、私たちがそれを促進する必要があるのです。

しかし、テクノロジーが重要であることは言うまでもありません。そこで、実際にこれをサポートする技術とはどのようなものなのか、少しまとめてみたいと思います。テクノロジーは人とうまく連携する必要があります。しかし、このような体験を構築するためのテクノロジーとはどのようなものでしょうか。そこには2つの重要なポイントがあると思います。

5. 私たちには「data OS」が必要である

1つ目は、私が「data OS」と呼んでいるものが必要だということです。

私が言いたいのは、以前にデータが実際にどのように消費されていたのか、少し過去に遡ってみることが有効だと思うということです。これまで私たちが経験してきたデータは、製品分析のためにAmplitudeで使用してきた機能的なアプリや、Salesforce、販売分析などで管理されていました。これらのアプリは、データの収集、保存、消費を管理し、その中で体験を統合するために適切な仕事をしますが、非常にサイロ化されていて、それらの間を行き来することはできません。

現在はこのようなアーキテクチャに移行したわけですが、ETL、あるいはELT、そしてそのデータフローのようなものは、このような図を構築することになります。データとウェアハウスを一元化しました。そして今度は、他のツールを使って、データをウェアハウスやサードパーティのツールにパイプすることになります。しかし、結局のところ、これはプラットフォームとしては機能しません。データをさまざまな場所に移動させるだけです。また、機能的なツールの中で体験を構築するためのプラットフォームとしても機能しません。

そのために必要なのは、OSのようなものです。つまり、携帯電話のOSのように、データを扱うさまざまなアプリ間を調整することができるのです。つまり、異なる体験にデータを提供するための一貫したプラットフォームを提供し、一貫したメトリクスを提供することで、1つの体験で操作しても他の体験に移ることができるようにするのです。

例えば、デザイン中に誰がどのプランを利用しているか、デザイン中にどの機能がどれだけ使われているかなどをfigmaのデータで確認したい場合、その体験をデザイナーのデザイン体験に統合するための方法を秘密裏に提供します。また、データレイヤーの上にSASアプリケーションを再実装するためのプラットフォームにもなりますが、そのための基盤が必要です。

メトリクス・レイヤー・ツールの中には、これと似たようなことを始めるものがあります。

LookerはTableauとの提携を発表しましたが、これはLookerがBIツールや従来のセットではなく、データガバナンスと指標定義のレイヤーを担当しているということを本質的に認めていると思います。

これ以上はあまり突っ込みたくないですね。なぜなら、私のブログにも（data OSについて）書いているからです。そこでちょっとしたものを読むことができます。

しかし、（これ以上突っ込みたくない）もっと大きな理由は、このOSになるために最も適した製品は、実は「dbt」だと思うからです。 そちらのセッションも別途あるので、邪魔をしたくありません。

6. 探索もまた体験である

最後のポイントになりました。最終的には、このアナロジーがどこで破綻するかを認識する必要があります。データの探索もまた、体験である必要があるのです。ですから、私はGoogleとYelpの例えが好きです。しかし、完璧ではありません。

Yelpが使えないイベントは確かにあります。例えば、大きな結婚式を計画したい場合、Yelpは使えません。もっと強力なツールを使わなければなりません。大勢の人が集まる会場を探したり、こだわりのある料理の提供方法を探したりするのに役立ちます。そのためには、もっと強力なツールが必要です。

データについての考え方も同じで、狭いツールでは対応できないことがたくさんあります。もっと大きなものが必要なのです。例えば、海外進出するかどうか、営業チームを雇うかどうか、会議のスポンサーになるかどうか、会社を買収して新しい顧客を獲得するかどうかなど、これらはすべて大きな決断であり、決断するためにはより豊かな分析が必要です。

しかし、この教訓はデータ探索にも当てはまると思います。今日、私たちは探索を技術的な境界線に沿ってさまざまなツールに分割していますが、これも体験と考えるべきです。

ダッシュボード用のツール、ビジュアル分析用のツール、SQL用のツール、Python用のツールなどがありますが、結局のところ、私たちが作る仕事と人々が働く場所を分けているのです。つまり、この図の左側にはビジネスユーザーが、右側にはデータサイエンティストが住んでいることになります。このような経験上の境界線はすべて人工的なものですが、これはツールがこのように設計されているからです。

実際には、データの探索方法は多岐にわたります。Pythonの分析をダッシュボードに昇格させたり、視覚的な分析を技術的なアイデアに発展させたりと、さまざまなタイプのツールを行き来できるようにすることで、質問に答えるための方法をより簡単にすることができます。データサイエンティストがあるツールを使っていて、オペレーションリーダーが別のツールを使っているということはありません。このような統合された体験を通して、よりユビキタスな方法でデータを組織の他の部分に押し出そうとするならば、これは必要なことだと私は思います。

統合されたデータ体験の集合体です。その中には、誰もがデータをシームレスに探索できるグローバルな探索体験も含まれており、全体を支えるデータプラットフォームの上に構築されています。それを実現するためのツールやテクノロジーについては、いろいろと検討していきたいと思います。

まとめ

最終的には、私たちがここで成功するためには、問題を見失ってはいけません。問題点やそれを解決する意味を見失ってはいけないと思います。最終的には、私がレストランに行く場合、Yelpがレビューをどのようにランク付けするかは気にしませんし、ドライブ時間の計算方法も気にしません。Googleがどうやって混雑状況を把握するかも気になりません。使用している特殊なオーブンも気にならないし、店員の組織方法も気にならない。レストランの組織構造なども気にしません。私が気になるのは、おいしい食事をして、素晴らしい体験をすることです。

未来のデータツールの構築を考えるとき、私たちが考えるべきことは、他の人々が必要な意思決定を行えるようにするために、私たちが提供する本当に素晴らしい体験とは何か、ということです。そして、それ以外のすべてのことは、そこから派生する必要があります。

おわりに

前段のつかみ話で、「どんな人でも飲食店を探すときはデータを基にする」のに、「企業が行う大事な意思決定ではデータを基にしない」という話が深く突き刺さりました。確かに、社会人どころか、今どきの学生ですら、スマホを駆使して色々なデータをチェックするのに、会社の業務では未だにKKDが主流って、おかしな話ですよね。

そして、「必要なのはデータではなくソリューション」も重要なポイントです。データ分析に関わっていると、どうしても「このデータをどうするか？」という部分にとらわれがちですが、「そもそも、この目的を達成するのに、そのデータは必要か？」という視点を忘れないようにしないと、本末転倒になってしまいますね。

データ分析の本当に大事な部分がわかったようなセッションでした。