2019/11/26
アナリストの役割として施策の効果検証をすることは多々ある。効果検証の結果を説明する際には様々な指標が出てくるが、役割ごとにグループ化できるのでそれをまとめてみます。わかりやすくABテストだとします。そこには以下の5種類の値が登場します。
①：施策の勝ち負けを判定する指標。CVR系指標になることが多い。なるべく1つにしたい。2つあると、片方は勝ったが片方は負けたときの判断で揉めるから。
②︰効果検証の前提を確認する値。ABの2グループが偏りなく分けられていることを確認する目的。ターゲットを分けるのには何らかのツールを使うことが多く、ツールはその辺しっかりやってくれるので、基本はこの確認をする必要は無い。
③：勝ち負けの場所を特定する値。①を四則演算で分解したもの。たとえばフォームが絡んだテストなら、フォームへの遷移率が上がったのか、フォームの通過率が上がったのかを特定する、等。
④︰③の発展で、なぜその場所で勝ち負けがついたのか特定する値。ユーザ行動に対する理屈による感情の説明か、成り立つ仮説と、その説明に過不足無い値を考える必要がある。難易度高。
⑤：いずれでもない。本来不要だが依頼者が気になるなら取っておく。取るのに工数がかかる場合は要相談。それ取って数字がこうなら何が言えますか？と問う。
話のしかたは、「前提②は確認して問題なし。その上で①により勝ちました。③で差がついており、その理由は④が考えられます。」となる。