A/Bテストにも根本的な限界がある

あなたは何もかも実験で解決しようとするのではなく、むしろ本質的な変革に取り組む必要がある。実験で解決できるのは小さな改善程度で、本当の変革には別の方法が必要だ。

初期のスタートアップでは、成長やグロースハッキング、分析、A/Bテストなどに時間を費やすのは全くの無駄だ。

常に実験する必要はない。例えば、アクティベーション率が6%から7%に上がったといった些細な変化に固執するのは意味がない。それ以上の意味のある改善を見つけることが重要だ。

A/Bテストはマーケットプレイスにはうまく機能しない。なぜなら、そこにはネットワーク効果が働いているからだ。

A/Bテストをする場合は必ず仮説を立てるべきだ。仮説なしにAが優れているからBに変更するというのは、後々大きな問題になる可能性がある。

ある特定の変更が全体像からみて意味のあるものかどうかを見極めるのは難しい。その変更だけを見ていてはその点がわからない。