この記事の背景

以前、この議論になったので自身の意見をクリアにしておくことも踏まえて投稿することにした。

勿論、その人のスタイルによるので「これがベストだ！」というものではない。

サービス改善の際になんのために定量分析をするのか

結論から言うと「仮設の確度を高めるため」に尽きると思う。

じゃあこの仮設の確度が高い状態ってなんなんでしょう。

例えば「このページでどこのページに遷移させる方がCVRが改善しそう」という問いに対して「なぜなら定量的にそれがわかっているから」という状態ですね。

けどマイクロKPIは大体同じじゃない？

これなんですよね。

例えば一覧画面であれば詳細画面へのCTR(遷移率)ですし、詳細画面であればフォーム画面へのCTRですし。

勿論、一覧画面でフォームへのCTRを高める方が結果的にCVRを改善させることもありますが、それならばそうすると良いだけの話かと思います。

要はベーシックに考えた時に、指定した画面内では構成する要素の種類数が選択可能な最大値なわけです。

例えばこういうサイトであれば7つです。(直帰率を減らすを含むなら8つです)

で考えた時にファネルはこうです。

このファネル構成自体はどこのサービスもそもそも同じかと思いますし、ここから考えた時に如何にフォームへの遷移量を増やすのかが鍵なのは言わずもがな。

であればやることはシンプルで一覧画面では詳細画面へのCTRがどうやったら増えるかを考えると良いです。

デザインを変えたり、キャッチコピーを変えたりを試していくわけです。

試していく過程で、詳細ではなくフォームへの遷移を増やした方がCVR改善するじゃんって思考にもなります。

そうするとこのような改善も1つです。

あとは「詳細画面へのCTRを向上させるべきか」「フォームへのCTRを向上させるべきか」バランスを検証していくだけです。

逆説的にいうとCVRを改善しようと思ったら、改善すべきCTRの要素は決まっている

上記の例のようなサービスは世の中かなりの数を占めています。

であればそれらのサービスは同じような目的のもと改善をしていくこととなります(順序や施策は変わりますが)。

なので個人的には改善すべきポイントが分かりきっているのに、「どこらへんを改善すべきか」という論点に固執する必要があるのか疑問です。

そもそもできないこと

この記事を書くことにもなった背景として「じゃあどれぐらいCTRが上がるの？」という論点にもなりました。

結論、それは分かりません。なぜならABテストをしたとして、どのタイミングでテストパターンにするかや、外的要因(例えばCMを打った、テレビで取り上げられた)によって左右されるからです。

参考値としてざっくり出すことはできますが、精緻にはまず出ません。

「じゃあどれぐらいCTRが上がるの？」という質問の背景を考える

これは優先順位をつけたいからだと思っていて、なぜ優先順位をつけたいのかを考える必要があります。

1つ目は「効率的に改善したい」、2つ目は「開発工数が少ない」ことが想定されます。2に関しては実践する施策を考えるときにROIを出すだけです。ここでのROIの考え方は以下です。

ROI

=効果/投資

=改善値/開発工数(工期)

=画面ごとのトラフィック×画面ごとのCVR/開発工数(工期)

これを施策ごとに算出し、ROIが高いものから実施すると良いです。

注意点としては画面ごとのトラフィックのみを固定し、画面ごとのCVRの見立て改善値を一定とした場合、トラフィックの少ない画面は何もできなくなってしまうことです。

これの最たる例が一部の画面だけ綺麗で使いやすいが、一部の画面ではかなり古く使いにくいデザインになるといったサービス内でのツギハギ状態です。

勿論、KPI上正しい戦略と言える場合もありますが、サービスのUXを考えた際に違和感を生み、ブランディングを毀損します。

そこはサービスの目指したい世界観を話し合うと良いでしょう。

まとめ

個人的にはサービスを改善するには、開発工数を小さくし、たくさん実施してことが最も効率的かつ確実だと考えています。なのでたくさん実施していく際にその都度「じゃあここがどれぐらい上がるの？」といった議論は時間が勿体無いので、だったらすぐに市場に出して検証した方が効率的だなと思います。たくさんできないのであれば、じっくり議論すれば良いかと思いますし、そもそも工数を増やせないかや、工数を小さくできないかを考えると良いんじゃないかと思います。