Les aperçus qualitatifs complètent les tests quantitatifs

Les tests A/B sont géniaux, mais le test A/B vous dit rarement pourquoi il a changé de cette manière. Vous n'avez pas à deviner. Je connais quelqu'un qui peut vous donner la réponse.

Nous avons changé sept caractères et fait gagner des millions de dollars à Airbnb, car ce que nous avons découvert était vraiment simple. Le bouton semble effrayant. L'appel à l'action sur le bouton semble effrayant.

Être capable d'identifier les différentes boucles micro et macro, comment elles sont toutes connectées, être capable de les documenter dans un modèle qualitatif pour communiquer une compréhension partagée de la façon dont vous grandissez, c'est vraiment puissant. Augmenter cela avec le côté quantitatif des choses qui aide à orienter le focus trimestre par trimestre et à s'assurer que vous pouvez être intentionnel sur les investissements, cela devient un grand facilitateur.

L'analyse des erreurs fait référence à l'examen systématique des échecs des systèmes IA pour identifier les modèles et les causes profondes, ce que les orateurs ont démontré plus tôt dans leur présentation.

Je pense que beaucoup de gens font prématurément des tests A-B, car ils n'ont jamais fait d'analyse d'erreur au préalable. Si vous allez faire des tests A-B et qu'ils sont alimentés par une véritable analyse d'erreur comme nous l'avons montré aujourd'hui, alors c'est génial, allez-y. Mais si vous allez juste les faire sur la base de ce que vous pensez hypothétiquement être important, alors je vous encouragerais à aller repenser cela.