Question 1

What does "Vous êtes ce que vous mesurez - les métriques façonnent les résultats" mean for product managers?

Accepted Answer

Vous êtes votre fonction d'objectif. Donc, nous voulons des fonctions d'objectif riches et complexes, pas ces simples substituts. — Edwin Chen

Question 2

What does "La plupart des expériences échouent - et c'est exactement le but" mean for product managers?

Accepted Answer

Chez Microsoft, environ 66%, soit les deux tiers des idées, échouent. Chez Bing, qui est un domaine beaucoup plus optimisé après que nous l'ayons optimisé pendant un certain temps, le taux d'échec était d'environ 85%. Et puis chez Airbnb, ce chiffre de 92% est le taux d'échec le plus élevé que j'ai observé. — Ronny Kohavi

Question 3

What does "Suivez la valeur client, pas les métriques de vanité" mean for product managers?

Accepted Answer

Il est vraiment important de regarder non seulement le volume que vous générez, mais aussi le parcours de ce volume avec votre entreprise un an plus tard. Combien d'argent gagnez-vous réellement d'eux pour pouvoir décider correctement combien je peux dépenser pour gagner ce client ? — Meltem Kuran Berkowitz

Question 4

What does "Les tests A/B ont des limites fondamentales" mean for product managers?

Accepted Answer

Vous ne pouvez pas expérimenter pour sortir de tout. Ce que les gens choisissent de tester dans un monde qui a fait la promotion de l'expérimentation pour tout tend à être plus incrémental par conception. — Ramesh Johari

Question 5

What does "L'apprentissage l'emporte sur la victoire lors des expérimentations" mean for product managers?

Accepted Answer

L'expérimentation n'a jamais été historiquement dans la science une question de gagnants et de perdants. L'expérimentation est toujours très orientée vers l'hypothèse. Il s'agit de savoir ce que vous apprenez ? — Ramesh Johari

Expérimentation et métriques

Vous êtes ce que vous mesurez - les métriques façonnent les résultats

La plupart des expériences échouent - et c'est exactement le but

Suivez la valeur client, pas les métriques de vanité

Les tests A/B ont des limites fondamentales

L'apprentissage l'emporte sur la victoire lors des expérimentations

La croissance nécessite de gros paris, pas seulement de l'optimisation

Le suivi côté serveur bat le suivi côté client pour l'analytique

Les victoires à court terme disparaissent souvent à long terme

L'IA brise les métriques de productivité traditionnelles

Commencez avec des métriques imparfaites et itérez

Les métriques simples battent les scores composites complexes

Limitez dans le temps les expériences pour apprendre rapidement

L'adéquation produit-marché a des seuils de mesure clairs

Concentrez-vous sur les chiffres absolus, pas les taux de conversion

L'attribution est une enquête, pas une destination

Les indicateurs avancés battent les résultats décalés

Les aperçus qualitatifs complètent les tests quantitatifs

Les métriques sans action sont du divertissement

La croissance nécessite une culture, pas seulement des expériences

Les étoiles du nord devraient évoluer avec votre croissance

Une croissance élevée masque les problèmes du produit