定性洞见补充定量测试

A/B 测试很棒,但很少能告诉你为什么会出现这种变化。你不需要猜测。我认识一个人可以给你一个答案。

我们只改了七个字符就让 Airbnb 赚到了数百万美元,因为我们发现的问题非常简单。那个按钮感觉太吓人了。按钮上的呼吁行动感觉太吓人了。

能够识别各种微观和宏观的反馈循环,了解它们之间的联系,并用定性模型来传达对于如何实现增长的共同认知,这真的很强大。然后再用定量数据来指导季度目标,确保能有意识地投资,这就成为一个很大的推动力。

错误分析是指系统地检查 AI 系统失败的原因,识别模式和根源,这是演讲者之前演示过的。

我认为很多人过早地进行 A-B 测试,因为他们从未做过任何错误分析。如果你要进行 A-B 测试,而且是基于我们今天展示的实际错误分析,那就太棒了,去做吧。但如果你只是根据你认为重要的假设来做,那我建议你重新考虑一下。