La mayoría de los experimentos fallan, y eso es precisamente el punto

Kohavi se refiere a los experimentos de pruebas A/B en empresas de tecnología, donde el 'fracaso' significa que el experimento no mejoró la métrica objetivo.

En Microsoft, aproximadamente el 66%, dos tercios de las ideas fracasan. En Bing, que es un dominio mucho más optimizado después de haber estado optimizándolo durante un tiempo, la tasa de fracaso era de alrededor del 85%. Y luego en Airbnb, este número del 92% es la tasa de fracaso más alta que he observado.

Si estás haciendo crecimiento de la manera correcta, si estás haciendo crecimiento impulsado por el producto de la manera correcta, entonces estás tratando de equilibrar la ciencia y, por así decirlo, tomar un enfoque algo higiénico para validar supuestos e hipótesis con ser realmente ambicioso y realmente empujar por las cosas que van a tener un impacto masivo para tus clientes al final del día. Y cuando estás haciendo eso, vas a fallar más de lo que tendrás éxito en el camino.

Los experimentos de crecimiento en mi historia suelen tener una tasa de éxito del 30% aproximadamente. Así que la gran mayoría de las cosas que intentas no funcionan. Y entonces quieres crear una cultura donde la gente no tenga miedo de asumir riesgos y no tenga miedo de fracasar. Y para mí, el fracaso no es que no hayas impulsado los ingresos, el fracaso es no aprender.

Aproximadamente el 80% de las veces, nuestras hipótesis y las cosas que creemos que serán ciertas están equivocadas.

Si tu modalidad principal de trabajo de crecimiento impulsado por el producto es el desarrollo de productos basado en experimentos y estás alcanzando más del 30, 40% de las veces, estás pensando demasiado pequeño.

Si no eres resistente, lo que he visto que sucede es que terminas aferrándote a una victoria, lo cual a veces puede parecer como hacer apuestas que son demasiado pequeñas y demasiado insignificantes para importar.