Insights qualitativos complementam testes quantitativos

Os testes A/B são ótimos, mas raramente o teste A/B te diz por que a mudança ocorreu daquela maneira. Você não precisa adivinhar. Eu conheço alguém que pode te dar a resposta.

Nós alteramos sete caracteres e isso rendeu milhões de dólares para a Airbnb, porque descobrimos algo realmente simples. O botão parece assustador. A chamada para ação no botão parece assustadora.

Ser capaz de identificar os diversos loops micro e macro, como eles estão todos conectados, e documentá-los em um modelo qualitativo para comunicar um entendimento compartilhado de como você cresce, isso é realmente poderoso. Complementar isso então com o lado quantitativo das coisas que ajuda a guiar o foco trimestral e garantir que você possa ser intencional sobre onde está investindo, isso se torna um grande facilitador.

A "análise de erros" refere-se ao exame sistemático das falhas do sistema de IA para identificar padrões e causas raiz, o que os palestrantes demonstraram anteriormente em sua apresentação.

Eu acho que muitas pessoas fazem testes A/B prematuramente, porque nunca fizeram nenhuma análise de erro antes. Se você vai fazer testes A/B e eles forem embasados por uma análise de erro real, como mostramos hoje, então ótimo, vá em frente. Mas se você simplesmente vai fazê-los com base no que você hipoteticamente acha que é importante, eu encorajaria as pessoas a repensar isso.