ほとんどの実験は失敗するが、それこそが重要な点

コホヴィは、テック企業におけるA/Bテスト実験について言及しています。「失敗」とは、目標指標を改善できなかったことを意味しています。

マイクロソフトでは、2/3の案が失敗していました。より最適化されたBingでさえ、失敗率は85%でした。そしてAirbnbでは、失敗率が92%と、私が観察した中で最も高い数値でした。

プロダクトリードグロースを正しく行うには、仮説の検証など科学的なアプローチと、お客様に大きなインパクトを与えるチャレンジングな取り組みのバランスが重要です。その過程では、成功よりも失敗が多くなるでしょう。

私の経験では、成長実験の成功率は30%程度です。ですから、リスクを取り、失敗を恐れないカルチャーを作ることが大切です。失敗とは収益が上がらないことではなく、学びが得られないことです。

私たちの仮説や信じていることの80%は、実際には間違っています。

プロダクトリードグロースの主な手段が実験主導の開発の場合、30-40%以上のヒット率であれば、目標が小さすぎる可能性があります。

レジリエンスがない場合、小さくて意味のない勝利に執着してしまうことがあります。