O teste A/B tem limitações fundamentais

Você não pode experimentar sua maneira de sair de tudo. O que as pessoas decidem testar em um mundo que promoveu a experimentação para tudo tende a ser mais incremental por design.

Acho que o crescimento, o growth hacking e fazer toda essa análise e teste A/B são uma perda total de tempo para startups muito iniciais.

Às vezes você não precisa experimentar. Às vezes, se o negócio, digamos, as taxas de ativação subirem de 6% para 7%, essa precisão realmente não ajuda muito além de poder dizer em sua revisão de desempenho: 'Ei, eu aumentei a ativação em 7%.'

Os experimentos A/B também não funcionam, e essa é uma coisa muito única sobre mercados. Quero dizer, não funcionar da maneira que você esperaria que funcionassem, porque há efeitos de rede em todos os lugares.

Se fizermos um teste A/B, tem que haver uma hipótese. Se não tivermos uma hipótese e A é melhor que B, então ficamos presos com B. E esse é realmente um problema muito grande, mas nunca podemos mudá-lo.

Acho que isso talvez perca o ponto em algumas mudanças ou algumas áreas onde você está trabalhando para uma coisa totalmente nova ou essa mudança específica realmente não será indicativa do todo maior que você está construindo.