La plupart des expériences échouent - et c'est exactement le but

Contexte: Kohavi fait référence aux expériences de test A/B dans les entreprises technologiques, où «l'échec» signifie que l'expérience n'a pas amélioré la métrique cible.

Chez Microsoft, environ 66%, soit les deux tiers des idées, échouent. Chez Bing, qui est un domaine beaucoup plus optimisé après que nous l'ayons optimisé pendant un certain temps, le taux d'échec était d'environ 85%. Et puis chez Airbnb, ce chiffre de 92% est le taux d'échec le plus élevé que j'ai observé.

Si vous faites de la croissance de la bonne manière, si vous faites une croissance dirigée par le produit de la bonne manière, alors vous essayez d'équilibrer la science et une sorte d'approche assez hygiénique pour valider les hypothèses et les hypothèses avec le fait d'être vraiment ambitieux et de vraiment pousser pour les choses qui auront un impact massif pour vos clients au bout du compte. Et quand vous faites ça, vous allez échouer plus que vous n'allez réussir en chemin.

Les expériences de croissance dans mon histoire ont typiquement un taux de réussite d'environ 30%. Donc la grande majorité des choses que vous essayez ne fonctionnent pas. Et donc vous voulez créer une culture où les gens n'ont pas peur de prendre des risques et n'ont pas peur d'échouer. Et pour moi, l'échec n'est pas de ne pas générer de revenus, l'échec est de ne pas apprendre.

Environ 80% du temps, nos hypothèses et les choses que nous croyons être vraies sont fausses.

Si votre principale modalité de travail de croissance dirigée par le produit est le développement de produits basé sur l'expérimentation et que vous atteignez plus de 30, 40% du temps, vous pensez trop petit.

Si vous n'êtes pas résilient, ce que j'ai vu se passer, c'est que vous finissez par chercher désespérément une victoire, ce qui peut parfois ressembler à des paris trop petits et trop insignifiants pour compter.