测试一切,但测试正确的版本

我非常清楚我是测试一切的大粉丝,任何你做的代码更改,任何你引入的功能都必须在某个实验中进行。因为我观察到一些令人惊讶的结果,即使是小的错误修复,甚至是小的更改也可能有令人惊讶和意想不到的影响。

你永远不想在离开一个实验或测试时说,'也许执行不好,因为动员一个团队进行测试需要大量精力,'你真的想确保你的测试真的能提供信号。

我说测试一切,在过去的四年里,我们对连续学习天数进行了600多次实验,所以几乎每隔一天就会进行一次。

找到一个实验运行很容易的地方和团队。不要选那些每六个月才发布一次的团队,或者Office以前每三年发布一次的团队。选择那些频繁发布的团队。

我没有让团队运行这个实验六个月,而是集中在较低的果实上。我们运行了一个非常简单的实验,就是'你注册后就会获得一个徽章'。当然,事后来看,这并没有带来任何结果,因为没有人为注册而感到自豪。