Los mejores experimentos te sorprenden

Un experimento sorprendente es aquel donde el resultado estimado de antemano y el resultado real difieren en gran medida. Por lo que el valor absoluto de la diferencia es grande.

Si eres muy pesimista, podrías perderte el resultado sorprendente que emerge de un experimento. Podrías obligarte a hacer una serie de experimentos a regañadientes, pero dirás 'Sabes qué? Odio esto. Estoy haciendo cuatro experimentos hoy porque tengo que hacerlo porque quiero ser emprendedor, pero apesta y todo es miserable y negro'. Y entonces no notarás que, oh, esta cosa no funcionó, pero no funcionó de una manera interesante.

Imaginemos que hicimos ese experimento. ¿Qué crees que devolverá? O imaginemos que hicimos ese estudio de usuarios. Y los gerentes de producto que tienen la capacidad de imaginar esos resultados, creo que nos ayuda a ser mucho más eficientes, porque pensamos, bueno, si todos creemos que va a ir allí y eso no nos va a obligar a tomar ninguna medida, ¿por qué hacerlo?

La ley de Twyman, la declaración general es que si cualquier cifra que parezca interesante o diferente suele estar equivocada. Si el resultado parece demasiado bueno para ser verdad, tu movimiento normal de un experimento es inferior al 1% y de repente tienes un movimiento del 10%, detén la cena de celebración.

Un valor P es una medida estadística utilizada en las pruebas A/B para determinar si los resultados experimentales son estadísticamente significativos, comúnmente establecida en 0.05 (5%).

Muchas personas asignan uno menos el valor P como la probabilidad de que tu tratamiento sea mejor que el control. Eso está mal.

La "tasa de éxito" se refiere al porcentaje histórico de pruebas A/B en Airbnb que mostraron resultados positivos.

En Airbnb, donde la tasa de éxito es solo del 8%, si obtienes un resultado estadísticamente significativo con un valor P menor a 0.05, hay un 26% de probabilidad de que esto sea un resultado falso positivo. No es el 5%, es el 26%.