모든 것을 테스트하되, 올바른 버전을 테스트한다

저는 모든 것을 테스트하는 것의 큰 팬이라는 점을 명확히 합니다. 즉, 코드 변경이나 새로운 기능 도입 시 반드시 어떤 실험을 거쳐야 합니다. 작은 버그 수정이나 작은 변경 조차도 때때로 의외의 영향을 미칠 수 있다는 것을 관찰했기 때문입니다.

실험이나 테스트를 마치고 '실행이 잘못되었을 수도 있다'고 말하고 싶지 않습니다. 팀을 동원해 무언가를 테스트하는 데는 많은 노력이 필요하기 때문에, 우리의 테스트가 실제 의미 있는 신호를 제공하도록 하고 싶습니다.

모든 것을 테스트한다고 말할 수 있습니다. 지난 4년 동안 스트릭 기능에서 600건이 넘는 실험을 진행했으니까요, 거의 이틀에 한 번씩 실험을 하고 있습니다.

실험이 쉽게 진행될 수 있는 팀을 찾아야 합니다. 6개월에 한 번씩 출시하거나, 과거 Office가 3년에 한 번씩 출시했던 팀은 피하세요. 자주 출시하는 팀을 찾아야 합니다.

6개월 동안 이 실험을 진행하게 하지 않았습니다. 대신 보다 쉽게 달성할 수 있는 목표에 초점을 맞추었죠. 가입하면 배지를 받는 아주 간단한 실험을 진행했지만, 결과적으로 아무도 가입 사실에 대해 자랑스러워하지 않아서 아무 성과도 없었습니다.