Question 1

What does "Eres lo que mides: las métricas dan forma a los resultados" mean for product managers?

Accepted Answer

Eres tu función objetivo. Así que queremos las funciones objetivas ricas, complejas y no estos sustitutos simplistas. — Edwin Chen

Question 2

What does "La mayoría de los experimentos fallan, y eso es precisamente el punto" mean for product managers?

Accepted Answer

En Microsoft, aproximadamente el 66%, dos tercios de las ideas fracasan. En Bing, que es un dominio mucho más optimizado después de haber estado optimizándolo durante un tiempo, la tasa de fracaso era de alrededor del 85%. Y luego en Airbnb, este número del 92% es la tasa de fracaso más alta que he observado. — Ronny Kohavi

Question 3

What does "Rastrea el valor del cliente, no las métricas vanidosas" mean for product managers?

Accepted Answer

Es realmente importante mirar no solo el volumen que traes, sino cuál es el recorrido de ese volumen con tu negocio un año después. Cuánto dinero ganas realmente de ellos para poder decidir adecuadamente cuánto puedo gastar para ganar a este cliente. — Meltem Kuran Berkowitz

Question 4

What does "Las pruebas A/B tienen limitaciones fundamentales" mean for product managers?

Accepted Answer

No se puede experimentar para salir de todo. Lo que la gente decide probar en un mundo que ha promovido la experimentación para todo tiende a ser más incremental por diseño. — Ramesh Johari

Question 5

What does "Aprender supera a ganar cuando se experimenta" mean for product managers?

Accepted Answer

La experimentación nunca se trató históricamente en la ciencia de ganadores y perdedores. La experimentación siempre es muy impulsada por hipótesis. Se trata de, ¿qué estás aprendiendo? — Ramesh Johari

Experimentación y métricas

Eres lo que mides: las métricas dan forma a los resultados

La mayoría de los experimentos fallan, y eso es precisamente el punto

Rastrea el valor del cliente, no las métricas vanidosas

Las pruebas A/B tienen limitaciones fundamentales

Aprender supera a ganar cuando se experimenta

El crecimiento requiere grandes apuestas, no solo optimización

El seguimiento del lado del servidor supera al del lado del cliente para el análisis

Los éxitos a corto plazo a menudo desaparecen a largo plazo

La IA rompe las métricas tradicionales de productividad

Comienza con métricas imperfectas y luego itera

Las métricas simples superan a las puntuaciones compuestas complejas

Limita en el tiempo los experimentos para aprender rápido

El ajuste producto-mercado tiene umbrales claros de medición

Enfócate en números absolutos, no en tasas de conversión

La atribución es una investigación, no un destino

Los indicadores líderes superan a los resultados rezagados

Los conocimientos cualitativos completan las pruebas cuantitativas

Las métricas sin acción son entretenimiento

El crecimiento necesita cultura, no solo experimentos

Las estrellas norte deben evolucionar con tu crecimiento

El alto crecimiento oculta los problemas del producto