[レポート] E-7 その施策、アウトカム測定できてますか？ – プロダクトマネージャーカンファレンス2022 #pmconf2022

2022年11月02日(水)、プロダクトマネジメントに携わる人たちが共に学び、切磋琢磨するイベント『プロダクトマネージャーカンファレンス2022』がオンライン形式で開催されました。

当エントリでは、ブレイクアウトセッション『その施策、アウトカム測定できてますか？』の参加(視聴)レポートをお届けします。

目次

• セッション概要
• セッションレポート
• まとめ

　

セッション概要

セッション概要は以下の通りです。

• タイムテーブル丨プロダクトマネージャーカンファレンス 2022
  • E-7 その施策、アウトカム測定できてますか？丨SESSION 講演内容丨プロダクトマネージャーカンファレンス 2022

　

セッションレポート

自己紹介

• 2019年Retty株式会社に入社
• 現在PM，エンジニア経験を活かし検索体験の改善やSEO等、広くプロダクト改善に携わる
• Rettyのミッション：新たな「食体験」を創り上げ、人生をもっとHappyに。
• 本セッションでお伝えしたいこと
  • 回帰：アウトカムを測定しない場合、測定する場合でどのような差が生まれるのか
  • 進化：アウトカム測定をよりプロダクト改善に活用していくためにどんなことができるか
• アウトカム＝「提供したユーザー価値」と「還元されたビジネス価値」
  • ユーザー価値
    • ユーザーがプロダクトを通じて課題解決出来る
    • ユーザーが要望を満たされることによって得られるもの
  • ビジネス価値
    • KPI、KGIの改善や売上の増加など
    • ユーザー価値が向上した結果としてもたらされるもの

プロダクトマネジメント初心者の悩み

• PM初心者が「ウッ」となる質問
  • この施策は効果あったの？／なんで？
  • アウトカム測定のハードル：分析するの難しそう、数字にもあまり強くないし...
  • 考える余裕がない：やることがいっぱいあってリリースで精一杯

アウトカムを測定しないと？

• 思いつきドリブンで進む
  • 施策を閃く
  • リリースする
  • 次の施策を考える
• 思いつきドリブンに繋がる行動
  • 想像だけで考える：事実を見ずに想像だけで考えてしまっている。
  • 正しいと思い込む：想像通りに上手くいくと思い、失敗した時のことを考えない。
  • リリース数を追う：ユーザー価値では無く、自分達が何を行ったのかを追う。
• だんだん負のループへ
  • アイデアが尽きる：思いつきドリブンではいずれ限界がくる
  • 重要なことができない：開発チームが重要なことに取り組めない状態に
  • 目標に追われる：数値は上がらないのに時間だけが過ぎて、ますます焦る
• 結果、目標に追われて少しずつ余裕が無くなっていく

アウトカム測定をすると、どうなるのか？

• データドリブンで進む
  • 事実から考える
  • リリースする
  • 次の施策を考える
• データドリブンに繋がる行動
  • 事実を確認する：実際に起きていることは何かを確認する。
  • 変化を確認する：変化に応じてどんな対応をするか考える。
  • 提供価値を追う：自分達が行ったことがどのようなユーザー価値に繋がるかを追う。
• 正のループが周り続ける
  • 臨機応変に対応：起きたことに応じて最適な選択肢を選ぶ
  • 重要なことに集中：よりユーザー価値に繋がる事に集中することができる
  • 持続可能なペース：先の見通しを立てて一定のペースで走ることができる
• 結果、余裕を持ってユーザー価値の提供に集中できる

アウトカムを測定する

• 定量・定性を組み合わせて行動演歌・心理変化を把握する(本セッションでは定量分析にフォーカス)
  • 定量分析
    • わかる事：ユーザーの行動変化
    • 分析方法：ログ分析など
  • 定性分析
    • わかる事：ユーザーの心理変化
    • 分析方法：インタビューなど

コンセプト

• 定量分析をする前に考えること
  • 知りたいことは？
    • 「効果があった」と言うには：施策の効果があったというためには「どんな変化が起きていれば良いのか」を整理する
    • 答えを出せる問いに変換：起きていれば良いことをYes/Noで答えられる形式にする。
  • 何を測定する？
    • ポジティブな変化：効果があったと言えるために必要な変化
    • ネガティブな変化：ポジティブな変化によって生まれた効果を相殺してしまうような変化
  • どう測定する？
    • セグメント・指標：どのユーザーを測定対象とするか／どのデータを測定するか
    • 測定期間：施策効果はリリース後何日ぐらいで現れてくるのか

実践

• ケーススタディ：
  • 施策：検索ロジックの変更
  • ユーザー価値：行きたいと思えるお店により出会いやすくなること
  • ビジネス価値：お店の閲覧が増えること
  • 知りたいことは？
    • 効果があったと言うには
      • ユーザー価値：行きたいと思えるお店により出会いやすくなった
      • ビジネス価値：お店の閲覧が増えた
    • 答えを出せる問いに変換
      • 検査黒軸を変更したことで、お店の閲覧は増えたのか？
      • 検索ロジックを変更したことで、来店する割合が減っていないか？
  • 何を測定する？
    • ポジティブな変化
      • 問い：検索ロジックを変更したことでお店の閲覧は増えたのか？
      • 測定すること：検索結果からお店ページを閲覧したセッション数
    • ネガティブな変化
      • 問い：検索ロジックを変更したことで来店する割合は減っていないか？
      • 測定すること：検索結果からお店ページを閲覧し、来店した割合
  • どう測定する？
    • セグメント・指標
      • セグメント：検索結果からお店ページを閲覧したユーザー
      • 指標：セッション数、来店した割合
    • 測定期間
      • 期間：リリース前後の1週間
      • 理由：外食のサイクルはだいたい1週間で回っているため
• ポジティブな変化
  • わかったこと：リリース後に検索結果からお店を閲覧したセッション数が増えている
  • 言えること：「検索ロジックを変更したことでお店の閲覧は増えたのか？」の問いはYesだった
• アウトカムを測定することで「ウッ」となる質問に答えられた！

進化

• 「ウッ」となる質問から、自信を持って答えられる質問へ
  • 「この施策は効果あったの？」
    • 「この数値がこの変化なので、施策効果としてはこれぐらいでした！」
  • 「なんで？」
    • 「＊＊＊のようなユーザー行動の変化があったと考えられます！」
• 現実はハードルがたくさん
  • 外部要因：長期休みや他社の活動によって影響を受ける可能性がある
  • 内部要因：他にも施策があると切り分けてアウトカム測定が必要
  • 測定の正確性：取れるデータには限りがあり、推定しか出来ないことも
  • 事業数値への変換：計画シートに乗せるためには1ヶ月単位での数値が必要
• 次に「ウッ」となる質問
  • 「効果ありそう？」
  • 事前にアウトカムを推定する
  • ユーザーの課題から考える
  • 類似施策から試算する

まとめ

• アウトカム測定の有無によって変わること
• アウトカムを測定する時に考えること
  • 知りたいことは？
  • 何を測定する？
  • どう測定する？

　

まとめ

という訳で、プロダクトマネージャーカンファレンス2022のセッション『その施策、アウトカム測定できてますか？』の視聴レポートでした。

• プロダクトマネージャーカンファレンス 2022 の記事一覧 | DevelopersIO