실험에서는 승리보다는 학습이 중요하다

실험은 역사적으로 승자와 패자에 대한 것이 아니었습니다. 실험은 항상 가설 중심적입니다. 우리가 무엇을 배우고 있는지에 대한 것이죠.

단순히 성과에만 집중하면 어려움을 겪을 수 있습니다. 단계별로 필요한 학습에 초점을 맞추면 그것이 성과를 창출하는 길을 열어줄 것입니다.

너무 완벽하려고 하지 마세요. '어쨌거나 80% 정도'라고 말하는 것으로 충분합니다. 중요한 것은 왜 80%인가에 대한 것이죠. 학습에 집중하세요.

적절한 실험을 설계하고 명확하게 실패한 경우에만 배울 수 있습니다. 그렇지 않으면 직관적으로 어떤 것이 작동할 것 같다고 생각해서 여러 년 동안 계속해서 시도하게 되는 상황에 빠질 수 있습니다.

학습에는 대가가 따릅니다. 우리가 모르는 것이 있을 때, 모든 옵션에 샘플을 할당하는 것이 당연한 선택일 것 같습니다. 사후에 보면 처리 방식이 더 나았겠지만, 왜 그렇게 많은 샘플을 대조군에 할당했을까 하는 생각이 듭니다.