最好的实验会让你意外

令人意外的实验是指,实验前的预估结果和实际结果差异很大,差值的绝对值很大。

如果你过于悲观,可能就会错过实验中出现的令人惊喜的结果。你可能会勉强地做一些实验,但内心觉得'这太糟糕了,我今天必须做4个实验,因为我想当一个创业者,但是这真的太痛苦和沮丧了'。这样你就很难注意到,虽然这个东西没有起作用,但它的失败方式却很有趣。

让我们假设我们已经运行了那个实验。你认为会是什么结果?或者让我们假设我们进行了那项用户调研。能够想象这些结果的产品经理,我认为会帮助我们更有效率,因为如果我们都觉得结果会是那样,而且这种结果也不会促使我们采取任何行动,那么为什么还要做呢?

特威曼法则的一般说法是,任何看起来有趣或不同的数字通常都是错误的。如果结果看起来太好了,不太可能是真的,你的正常实验移动幅度不到1%,但突然有了10%的移动,那就不要着急庆祝了。

P值是一个统计指标,在A/B测试中用于确定实验结果是否具有统计学意义,通常设定为0.05(5%)。

很多人将1减去P值作为处理组优于对照组的概率。这是错误的。

成功率指的是Airbnb历史上A/B测试呈现积极结果的百分比。

在Airbnb,成功率只有8%,但如果你得到一个统计学上显著的结果,P值小于0.05,那么这可能是一个假阳性结果的概率是26%,而不是5%。