Las pruebas A/B tienen limitaciones fundamentales

No se puede experimentar para salir de todo. Lo que la gente decide probar en un mundo que ha promovido la experimentación para todo tiende a ser más incremental por diseño.

Creo que el crecimiento y el crecimiento hacker y hacer todo este análisis, las pruebas A/B, es una pérdida total de tiempo para las empresas emergentes muy tempranas.

A veces no necesitas experimentar. A veces, si el negocio, digamos la tasa de activación, sube del 6% al 7%, esa precisión en realidad no ayuda mucho más allá de poder decir en tu revisión de desempeño: 'Oye, aumenté la activación un 7%'.

Las pruebas A/B tampoco funcionan, y eso es algo muy particular de los mercados. Quiero decir, no funcionan de la manera en que uno esperaría que lo hicieran, porque hay efectos de red por todas partes.

Si hacemos una prueba A/B, tiene que haber una hipótesis. Si no tenemos una hipótesis y A es mejor que B, entonces nos quedamos atascados con B. Y ese es un problema realmente, realmente grande, pero nunca podemos cambiarlo.

Creo que tal vez se pierde el punto en algunos cambios o algunas áreas donde estás trabajando hacia algo completamente nuevo o este cambio específico no será realmente indicativo del conjunto más grande hacia el que te estás construyendo.