Question 1

What does "Você é o que você mede - as métricas moldam os resultados" mean for product managers?

Accepted Answer

Você é a sua função objetivo. Então, queremos as funções objetivo ricas e complexas, e não esses substitutos simplistas. — Edwin Chen

Question 2

What does "A maioria dos experimentos falha - e é exatamente o ponto" mean for product managers?

Accepted Answer

Na Microsoft, cerca de 66%, dois terços das ideias falham. No Bing, que é um domínio muito mais otimizado depois que o otimizamos por um tempo, a taxa de fracasso era de cerca de 85%. E então, no Airbnb, esse número de 92% é a taxa de fracasso mais alta que eu já observei. — Ronny Kohavi

Question 3

What does "Acompanhe o valor para o cliente, não métricas vaidades" mean for product managers?

Accepted Answer

É realmente importante observar não apenas o volume que você traz, mas qual é a jornada desse volume com seu negócio um ano depois. Quanto dinheiro você realmente ganha com eles para poder decidir adequadamente quanto posso gastar para conquistar esse cliente? — Meltem Kuran Berkowitz

Question 4

What does "O teste A/B tem limitações fundamentais" mean for product managers?

Accepted Answer

Você não pode experimentar sua maneira de sair de tudo. O que as pessoas decidem testar em um mundo que promoveu a experimentação para tudo tende a ser mais incremental por design. — Ramesh Johari

Question 5

What does "Aprender é melhor que ganhar ao experimentar" mean for product managers?

Accepted Answer

A experimentação nunca foi historicamente sobre vencedores e perdedores na ciência. A experimentação é sempre muito orientada a hipóteses. É sobre o que você está aprendendo? — Ramesh Johari

Experimentação e Métricas

Você é o que você mede - as métricas moldam os resultados

A maioria dos experimentos falha - e é exatamente o ponto

Acompanhe o valor para o cliente, não métricas vaidades

O teste A/B tem limitações fundamentais

Aprender é melhor que ganhar ao experimentar

O crescimento requer grandes apostas, não apenas otimização

O rastreamento do lado do servidor é melhor que do lado do cliente para análises

Vitórias de curto prazo muitas vezes desaparecem a longo prazo

IA quebra as métricas tradicionais de produtividade

Comece com métricas imperfeitas e iterate

Métricas simples vencem pontuações compostas complexas

Experimentos com limite de tempo aprendem rápido

O ajuste produto-mercado tem limites de medição claros

Foque em números absolutos, não em taxas de conversão

Atribuição é investigação, não destino

Indicadores antecipados vencem resultados atrasados

Insights qualitativos complementam testes quantitativos

Métricas sem ação são entretenimento

O crescimento precisa de cultura, não apenas de experimentos

As estrelas-guia devem evoluir com seu crescimento

O alto crescimento mascara problemas de produto