Kurzfristige Erfolge verschwinden oft langfristig

Ich würde jeden ermutigen, wenn möglich, einige der Experimente anzuschauen, von denen Sie dachten, dass es Ihre größten Gewinner waren. Schauen Sie sich die nachgelagerten Kennzahlen für ein Jahr, zwei Jahre nach diesem Experiment an. Und ich wette, Sie werden überrascht sein, wie oft sich die Kennzahl anders entwickelt hat, als Sie es erwartet hatten, nach einem Jahr.

Ich denke, es gibt wahrscheinlich zwei Dinge, die sehr verbreitet sind. Und ich würde sagen, dass in ziemlich vielen Fällen Sie einen Anstieg einer Kennzahl kurzfristig sehen... Und dann schauen Sie ein Jahr später, und es gibt tatsächlich keine zusätzliche Steigerung des Bruttowarenwerts von dieser Kohorte.

Der Prozentsatz bezieht sich darauf, wie oft Wachstumsexperimente, die kurzfristig positive Ergebnisse zeigen, sich langfristig als unwirksam erweisen, wenn man sie nach einem Jahr misst.

Es liegt im Bereich von 30 bis 40 Prozent.

Die meisten Wachstumsschleifen verlieren ihre Fähigkeit, Ihnen innerhalb der ersten fünf bis sechs bis sieben Jahre bedeutende Ergebnisse zu liefern.

"OEC" steht für "Overall Evaluation Criterion", Kohavi's Framework für die Definition von Metriken, die A/B-Tests optimieren sollten.

Für mich ist das Schlüsselwort der Kundenwert über die gesamte Lebensdauer, was bedeutet, dass Sie das übergreifende Erfolgskriterium so definieren müssen, dass es kausal vorhersagbar ist für den Kundenwert über die Lebensdauer.