A/B-Tests haben grundlegende Einschränkungen

Man kann nicht durch Experimente alles lösen. Was die Menschen in einer Welt, die Experimente für alles propagiert, testen möchten, ist eher inkrementell angelegt.

Ich denke, das ganze Wachstum und Growth Hacking und das Analysieren und A/B-Testen ist für sehr frühe Startups eine reine Zeitverschwendung.

Manchmal muss man nicht unbedingt experimentieren. Manchmal, wenn das Geschäft, sagen wir mal die Aktivierungsrate, um 6% statt 7% steigt, hilft diese Präzision tatsächlich nicht wirklich weiter, außer dass man in seinem Leistungszeugnis sagen kann: 'Hey, ich habe die Aktivierungsrate um 7% gesteigert.'

A/B-Experimente funktionieren auch nicht, und das ist eine ganz besondere Sache bei Marktplätzen. Ich meine, sie funktionieren nicht so, wie man es erwarten würde, weil es überall Netzwerkeffekte gibt.

Wenn wir einen A/B-Test machen, muss es eine Hypothese geben. Wenn wir keine Hypothese haben und A besser ist als B, dann stecken wir in B fest. Und das ist ein wirklich, wirklich großes Problem, aber wir können es nie ändern.

Ich denke, das verfehlt vielleicht den Punkt bei manchen Änderungen oder in Bereichen, wo man auf etwas Größeres, völlig Neues hinarbeitet, oder diese spezielle Änderung wird nicht wirklich repräsentativ für das Ganze sein, was man aufbaut.