Les meilleures expériences vous surprennent

Une expérience surprenante est celle où la résultat estimé à l'avance et le résultat réel diffèrent beaucoup. Donc la valeur absolue de la différence est grande.

Si vous êtes très pessimiste, vous risquez de manquer le résultat surprenant qui ressort d'une expérience. Vous pourriez vous forcer à faire un tas d'expériences à contrecœur, mais vous vous dites : 'Vous savez quoi ? Je déteste ça. Je fais quatre expériences aujourd'hui parce que je dois le faire parce que je veux être entrepreneur, mais ça craint et tout est sombre et misérable.' Et alors vous ne remarquerez pas que, oh, ça n'a pas fonctionné, mais ça n'a pas fonctionné d'une manière intéressante.

Imaginons que nous ayons fait cette expérience. Qu'est-ce que vous pensez qu'elle donnera comme résultat ? Ou imaginons que nous ayons fait cette étude utilisateur. Et les responsables produit qui ont la capacité d'imaginer ces résultats, je pense que ça nous aide à être beaucoup plus efficaces aussi, parce qu'on se dit, si on pense tous que ça va aller dans cette direction et que ça ne nous incite pas à prendre des mesures, pourquoi le faire du tout ?

La loi de Twyman, l'énoncé général est que si un chiffre semble intéressant ou différent, il est généralement faux. Si le résultat semble trop beau pour être vrai, votre mouvement normal d'une expérience est inférieur à 1% et tout à coup vous avez un mouvement de 10%, retenez le dîner de célébration.

La valeur p est une mesure statistique utilisée dans les tests A/B pour déterminer si les résultats expérimentaux sont statistiquement significatifs, généralement fixée à 0,05 (5%).

Beaucoup de gens attribuent un moins la valeur P comme la probabilité que votre traitement soit meilleur que le contrôle. C'est faux.

Le 'taux de succès' fait référence au pourcentage historique de tests A/B chez Airbnb ayant montré des résultats positifs.

Chez Airbnb, où le taux de réussite n'est que de 8%, si vous obtenez un résultat statistiquement significatif avec une valeur P inférieure à 0,05, il y a 26% de chances que ce soit un faux positif. Ce n'est pas 5%, c'est 26%.