Os melhores experimentos te surpreendem

Um experimento surpreendente é aquele em que o resultado estimado antecipadamente e o resultado real diferem muito. Portanto, o valor absoluto da diferença é grande.

Se você for muito pessimista, poderá perder o resultado surpreendente que surge de um experimento. Você pode se forçar a fazer uma série de experimentos a contragosto, mas você diria: 'Sabe de uma coisa? Eu odeio isso. Estou fazendo quatro experimentos hoje porque tenho que fazer, porque quero ser um empreendedor, mas é uma droga e tudo é miserável e sombrio.' E então você não perceberá que, ah, isso não funcionou, mas não funcionou de uma maneira interessante.

Vamos apenas fingir que fizemos aquele experimento. O que você acha que vai voltar com ele? Ou vamos fingir que fizemos aquele estudo de usuário. E os PMs que têm a habilidade de imaginar esses resultados, acho que isso nos ajuda a ser muito mais eficientes também, porque a gente pensa, bem, se todos nós achamos que vai dar certo e que isso não vai nos compelir a tomar nenhuma ação, por que fazer isso?

A lei de Twyman, a declaração geral é que se qualquer figura que pareça interessante ou diferente, geralmente está errada. Se o resultado parece bom demais para ser verdade, seu movimento normal de um experimento é abaixo de 1% e de repente você tem um movimento de 10%, segure o jantar de comemoração.

Um valor P é uma medida estatística usada em testes A/B para determinar se os resultados experimentais são estatisticamente significativos, comumente definido em 0,05 (5%).

Muitas pessoas atribuem um menos o valor de P como a probabilidade de que seu tratamento seja melhor que o controle. Isso está errado.

A taxa de sucesso se refere ao percentual histórico de testes A/B na Airbnb que mostraram resultados positivos.

Na Airbnb, onde a taxa de sucesso é de apenas 8%, se você obtiver um resultado estatisticamente significativo com um valor de P menor que 0,05, há uma chance de 26% de que este seja um resultado falso positivo. Não é 5%, é 26%.