Qualitative Erkenntnisse ergänzen quantitative Tests

AB-Tests sind großartig, aber der AB-Test sagt selten, warum sich etwas auf die eine oder andere Weise verändert hat. Sie müssen nicht raten. Ich kenne jemanden, der Ihnen eine Antwort geben kann.

Wir haben sieben Zeichen geändert und Airbnb Millionen von Dollar eingebracht, denn was wir herausgefunden haben, war wirklich einfach. Der Button fühlt sich beängstigend an. Der Aufruf zum Handeln auf dem Button fühlt sich beängstigend an.

Die Fähigkeit, die verschiedenen Mikro- und Makrozyklen zu identifizieren, wie sie alle miteinander verbunden sind, und sie in einem qualitativen Modell zu dokumentieren, um ein gemeinsames Verständnis davon zu vermitteln, wie man wächst, ist wirklich leistungsstark. Dieses dann mit der quantitativen Seite der Dinge zu ergänzen, die dabei helfen, den Fokus von Quartal zu Quartal zu lenken und sicherzustellen, dass man bei der Investition zielgerichtet vorgehen kann, wird zu einem großen Ermöglicher.

Die Fehleranalyse bezieht sich darauf, systematisch Ausfälle von KI-Systemen zu untersuchen, um Muster und Ursachen zu identifizieren, was die Redner zuvor in ihrer Präsentation demonstrierten.

Ich denke, viele Menschen machen vorschnell A/B-Tests, weil sie noch nie eine Fehleranalyse durchgeführt haben. Wenn Sie A/B-Tests durchführen und diese auf einer tatsächlichen Fehleranalyse, wie wir sie heute gezeigt haben, basieren, dann ist das großartig, machen Sie weiter. Aber wenn Sie sie nur aufgrund dessen machen, was Sie hypothetisch für wichtig halten, dann würde ich die Leute ermutigen, darüber noch einmal nachzudenken.