Les tests A/B ont des limites fondamentales

Vous ne pouvez pas expérimenter pour sortir de tout. Ce que les gens choisissent de tester dans un monde qui a fait la promotion de l'expérimentation pour tout tend à être plus incrémental par conception.

Je pense que la croissance et le growth hacking, ainsi que toute cette analyse et ces tests A/B, sont une perte de temps totale pour les très jeunes startups.

Parfois, vous n'avez pas besoin d'expérimenter. Parfois, si le business, disons le taux d'activation, augmente de 6% au lieu de 7%, cette précision ne vous aide pas vraiment au-delà du fait de pouvoir dire dans votre bilan de performance, 'J'ai augmenté l'activation de 7%.'

Les expériences A/B ne fonctionnent pas non plus, et c'est quelque chose de très spécifique aux marketplaces. Je veux dire, elles ne fonctionnent pas comme on s'y attendrait à cause des effets de réseau partout.

Si on fait un test A/B, il doit y avoir une hypothèse. Si on n'a pas d'hypothèse et que A est mieux que B, alors on est coincés avec B. Et c'est un très, très gros problème, mais on ne pourra jamais le changer.

Je pense que ça peut passer à côté de l'objectif dans certains changements ou certains domaines où vous travaillez sur une toute nouvelle chose ou où ce changement spécifique ne sera pas vraiment représentatif de l'ensemble que vous construisez.