2020/01/30
ABテストの効果測定をするとき、まず施策の狙いが正しい場合に起こる指標の変化を見ます。そのとき、思っていた動きと違う指標が出てくることがあります。上がるはずなのに下がったみたいな。テストの計測設計時点である程度考えておきたいですが、現実にはそうもいかず、結果が出てから考えるシーンが出てきます。
この深堀りで重要なのが、指標達の増減を論理的に説明できる理屈です。
例えば、商材を変えずに広告費用を増やした場合に起こることは何でしょうか。僕の考えは、訪問回数が増加、CVRは減少、です。訪問回数が増えるのは当たり前ですが、予算を増やすことで広告のインブレッションが増えるから。CVRが減るのは、増やした広告が表示されるのは増やす前の広告が表示されるユーザよりコンバージョンの確度が低いはずだから。つまり、コンバージョン意欲が相対的に低いユーザが増えることで、全体のCVRが下がる、ということ。
もう一つ別の例。フォームでの送信がコンバージョンの場合、フォーム自体の到達率が上がるとフォーム自体の通過率はどうなるか？これは基本下がると思っています。先の例と同じように、何らかの施策によって増えたフォーム到達者は、それまで来ていた到達率よりも相対的にコンバージョンへの意欲が低いと考えるからです。
大事なのは、この考えは絶対ではなくベース・前提にするということ。この通りの指標の動きなら、その仮定のまま深堀りをするし、この通りでなかったら「普通こうなのに何故か違う」という観点で深堀りをする。
闇雲な探索的深堀りは時間もかかるし沼にハマる可能性がある。自分のサービスの主要指標について、単体または組み合わせでの数値の増減理由をストックしておくことは、迅速な分析に役立ちます。あとこの考えはサービスが変わっても応用が効く。