Lenny DistilledCroissance → Expérimentation et métriques
J'encouragerais tout le monde, si possible, à examiner certaines des expériences que vous pensiez être vos plus grands gagnants. Regardez les métriques en aval pendant un an, deux ans sur cette expérience. Et je parie que vous seriez surpris de constater à quel point la métrique est différente de ce que vous pensiez qu'elle serait après un an.
Je pense qu'il y a probablement deux choses qui ont été très courantes. Et je dirais que dans pas mal de cas, vous obtenez une augmentation d'une métrique à court terme... Et puis vous regardez un an plus tard, et il n'y a en fait pas de hausse incrémentielle du GMV de cette cohorte.
Le pourcentage fait référence à la fréquence à laquelle les expériences de croissance qui montrent des résultats positifs à court terme se révèlent sans impact à long terme lorsqu'elles sont mesurées après un an.
C'est dans la fourchette de 30 à 40 %.
La plupart des boucles de croissance perdent leur capacité à produire des résultats significatifs pour vous dans les cinq à six à sept premières années.
OEC signifie « Critère d'évaluation global », le cadre de Kohavi pour définir les métriques que les tests A/B devraient optimiser.
Pour moi, le mot clé est la valeur à vie, ce qui signifie que vous devez définir l'OEC de manière à ce qu'elle soit prédictive de manière causale de la valeur à vie de l'utilisateur.