최고의 실험은 예상을 깨트립니다

예상치 못한 실험 결과는 사전 예측과 실제 결과 사이의 차이가 크다는 것을 의미합니다.

만약 너무 비관적이라면, 실험에서 나오는 놀라운 결과를 놓칠 수 있습니다. 실험을 해야 한다고 마지못해 하다가는 관심 있는 결과를 놓칠 수 있습니다.

실험 결과나 사용자 연구 결과를 미리 상상해보는 것은 우리를 효율적으로 만들어줄 수 있습니다. 만약 우리가 예상한 대로 결과가 나온다면 굳이 그 실험을 할 필요가 있을까요?

트와이먼의 법칙에 따르면 흥미롭거나 다른 결과가 나오면 그 결과는 대개 잘못된 것입니다. 실험 결과가 너무 좋게 나왔다면 그 결과를 곧바로 믿기 보다는 재확인해볼 필요가 있습니다.

P 값은 A/B 테스트에서 실험 결과가 통계적으로 유의한지 판단하는 데 사용되는 통계적 측정치이며, 일반적으로 0.05(5%)로 설정됩니다.

많은 사람들이 P값의 보완성을 실험 결과의 확률로 잘못 해석합니다.

Airbnb에서의 성공률 8%는 P 값이 통계적으로 유의한 결과를 보였다는 것을 의미합니다.

에어비앤비에서와 같이 성공률이 낮은 경우, P값이 0.05 미만이라도 이것이 거짓 양성일 가능성은 26%에 달합니다.