Los conocimientos cualitativos completan las pruebas cuantitativas

Las pruebas A/B son excelentes, pero rara vez te dicen por qué cambió de la manera en que lo hizo. No tienes que adivinar. Conozco a alguien que puede darte una respuesta.

Cambiamos siete caracteres y ganamos millones de dólares para Airbnb, porque lo que descubrimos era realmente simple. El botón se siente aterrador. El llamado a la acción en el botón se siente aterrador.

Poder identificar los diversos bucles micro y macro, cómo están todos conectados, poder documentarlos en un modelo cualitativo para comunicar un entendimiento compartido de cómo crecer, es realmente poderoso. Complementar eso con el lado cuantitativo de las cosas que ayuda a guiar el enfoque de trimestre a trimestre y asegurar que puedes ser intencional sobre dónde estás invirtiendo, eso se vuelve un gran habilitador.

El análisis de errores se refiere a examinar sistemáticamente los fallos de los sistemas de IA para identificar patrones y causas raíz, lo que los oradores demostraron anteriormente en su presentación.

Creo que mucha gente hace pruebas A/B de manera prematura, porque nunca han hecho un análisis de errores en primer lugar. Si vas a hacer pruebas A/B y se nutren de un análisis de errores real como hemos mostrado hoy, entonces genial, hazlo. Pero si solo vas a hacerlos en función de lo que hipotéticamente crees que es importante, entonces les recomendaría que vayan y repiensen eso.