Lenny DistilledCrescimento → Experimentação e Métricas
Eu encorajaria a todos, se possível, a olhar para alguns dos experimentos que você achou que eram os seus maiores vencedores. Olhe para as métricas downstream por um ano, dois anos após esse experimento. E eu apostaria que você ficaria surpreso com quantas vezes a métrica é diferente do que você pensava que seria após um ano.
Acho que provavelmente há duas coisas que têm sido muito comuns. E eu diria que em vários casos, você obtém um aumento em uma métrica a curto prazo... E então você olha um ano depois, e na verdade não há nenhum aumento incremental no GMV daquele grupo de clientes.
A porcentagem refere-se a quantas vezes os experimentos de crescimento que mostram resultados positivos a curto prazo acabam não tendo impacto a longo prazo quando medidos após um ano.
É na faixa de 30 a 40%.
A maioria dos loops de crescimento esgotam sua capacidade de produzir resultados significativos para você dentro dos primeiros cinco a seis a sete anos.
OEC significa 'Critério de Avaliação Geral', a estrutura de Kohavi para definir métricas que os testes A/B devem otimizar.
Para mim, a palavra-chave é o valor vitalício, que é você ter que definir o OEC de forma que ele seja previsivelmente causal do valor vitalício do usuário.