A/B测试存在根本性限制

您无法凭借实验来解决一切问题。在一个提倡实验的世界里,人们选择测试的内容往往更倾向于增量式改进。

我认为,对于刚起步的初创公司来说,专注于增长、增长黑客和大量进行数据分析、A/B测试都是在浪费时间。

有时候你不需要进行实验。比如说,用户激活率从6%提升到7%,这种精度微小的提升对业务影响并不大,除了能在绩效评估时说'嘿,我将用户激活率提升到了7%'。

A/B实验在市场类型产品中也不太适用,这是一个非常独特的问题,因为那里到处都存在网络效应。

如果我们进行A/B测试,必须有一个假设。如果我们没有假设,而A方案确实优于B方案,那我们就只能坚持B方案,这是一个很大的问题,我们无法改变它。

我认为,有时某些变更或某些领域的工作,是在朝着一个更大的全新目标努力,这种具体变更可能并不能完全反映你正在构建的整体情况。