A/B 테스트에는 근본적인 한계가 있다

A/B 테스트로는 모든 문제를 해결할 수 없습니다. 실험을 모든 것의 해결책으로 여기는 세상에서는 사람들이 테스트하는 대상이 더 점진적으로 설계되는 경향이 있습니다.

굉장한 초기 스타트업에게는 성장, 성장 해킹, 그리고 모든 이런 분석과 A/B 테스트 작업이 시간 낭비에 불과합니다.

때로는 실험할 필요가 없습니다. 비즈니스 지표, 예를 들어 활성화율이 6%에서 7%로 올랐다고 해서, 그 정밀성이 성과 평가에서 '활성화율을 7% 높였다'고 말할 수 있을 뿐 그 이상 도움이 되지 않습니다.

A/B 실험은 또한 작동하지 않는데, 이는 마켓플레이스에 특유한 특성입니다. 네트워크 효과가 곳곳에 존재하기 때문입니다.

A/B 테스트를 하려면 가설이 있어야 합니다. 가설 없이 A가 B보다 더 좋다고 해서 B를 선택하면, 이후에 이를 바꿀 수가 없는데 이것이 정말 큰 문제입니다.

이 변화가 전체적인 새로운 시도를 향한 작은 한 걸음에 불과하다면, A/B 테스트로는 그 큰 그림을 제대로 볼 수 없습니다.