A maioria dos experimentos falha - e é exatamente o ponto

Kohavi está se referindo a experimentos de teste A/B em empresas de tecnologia, onde "falha" significa que o experimento não melhorou a métrica-alvo.

Na Microsoft, cerca de 66%, dois terços das ideias falham. No Bing, que é um domínio muito mais otimizado depois que o otimizamos por um tempo, a taxa de fracasso era de cerca de 85%. E então, no Airbnb, esse número de 92% é a taxa de fracasso mais alta que eu já observei.

Se você estiver fazendo o crescimento certo, se estiver fazendo o crescimento liderado pelo produto da maneira certa, então você está tentando equilibrar a ciência e uma abordagem um pouco higiênica para validar suposições e hipóteses com ser realmente ambicioso e realmente empurrar as coisas que terão um impacto massivo para seus clientes no final das contas. E quando você está fazendo isso, você vai falhar mais do que vai ter sucesso ao longo do caminho.

Os experimentos de crescimento em minha história têm tipicamente uma taxa de sucesso de aproximadamente 30%. Então, a grande maioria das coisas que você tenta não funciona. E então você quer criar uma cultura em que as pessoas não tenham medo de correr riscos e não tenham medo de falhar. E para mim, o fracasso não é você não impulsionar a receita, o fracasso é não aprender.

Aproximadamente 80% das vezes, nossas hipóteses e as coisas que acreditamos que serão verdadeiras estão erradas.

Se sua modalidade principal de trabalho de crescimento liderado pelo produto for o desenvolvimento de produtos orientado por experimentos e você estiver acertando mais de 30, 40% das vezes, você está pensando muito pequeno.

Se você não for resiliente, o que eu vi acontecer é você acabar se agarrando a uma vitória, o que às vezes pode parecer fazer apostas que são muito pequenas e insignificantes para importar.