Die besten Experimente überraschen dich

Ein überraschendes Experiment ist eines, bei dem der geschätzte Ergebnis im Vorfeld und das tatsächliche Ergebnis stark voneinander abweichen. Also der absolute Wert der Differenz ist groß.

Wenn du sehr pessimistisch bist, könntest du das überraschende Ergebnis verpassen, das aus einem Experiment hervorgeht. Du könntest dich selbst zwingen, widerwillig eine Reihe von Experimenten durchzuführen, aber du denkst dir: 'Weißt du was? Ich hasse das. Ich mache heute vier Experimente, weil ich es machen muss, weil ich Unternehmer sein will, aber es ist scheiße und alles ist düster und schwarz.' Und dann bemerkst du nicht, dass diese Sache nicht funktioniert hat, aber sie hat auf eine interessante Art nicht funktioniert.

Lass uns einfach so tun, als hätten wir dieses Experiment durchgeführt. Was denkst du, was es ergeben wird? Oder lass uns so tun, als hätten wir diese Benutzerstudie durchgeführt. Und die Product Manager, die die Fähigkeit haben, sich diese Ergebnisse vorzustellen, denke ich, das hilft uns auch sehr viel effizienter zu sein, weil wir sagen: 'Nun, wenn wir alle denken, dass es dahin geht und das uns nicht dazu bringt, irgendeine Aktion zu ergreifen, warum machen wir es dann überhaupt?'

Twymans Gesetz, die allgemeine Aussage ist, dass jede Zahl, die interessant oder anders aussieht, normalerweise falsch ist. Wenn das Ergebnis zu gut, um wahr zu sein scheint, dein normaler Verschiebungseffekt eines Experiments unter 1% liegt und du plötzlich eine Verschiebung von 10% hast, halte das Feiertagsessen zurück.

Ein P-Wert ist ein statistisches Maß, das bei A/B-Tests verwendet wird, um zu bestimmen, ob die Versuchsergebnisse statistisch signifikant sind, normalerweise auf 5% festgelegt.

Viele Leute weisen den Wert von 1 minus P als Wahrscheinlichkeit zu, dass deine Behandlung besser als die Kontrolle ist. Das ist falsch.

Die 'Erfolgsquote' bezieht sich auf den historischen Prozentsatz der A/B-Tests bei Airbnb, die positive Ergebnisse zeigten.

Bei Airbnb, wo die Erfolgsquote nur 8% beträgt, besteht bei einem statistisch signifikanten Ergebnis mit einem P-Wert von weniger als 0,05 eine 26%ige Chance, dass es sich um ein falsch positives Ergebnis handelt. Es sind nicht 5%, sondern 26%.