대부분의 실험이 실패하지만 - 그것이 바로 핵심 포인트다

코하비는 기술 기업에서 A/B 테스트 실험을 논의하고 있으며, '실패'는 실험이 목표 지표를 개선하지 못했음을 의미합니다.

마이크로소프트에서는 아이디어의 약 66%, 3분의 2가 실패하고 있습니다. Bing의 경우 최적화가 많이 이루어진 분야이지만 실패율은 약 85%입니다. 그리고 에어비앤비에서는 92%라는 제가 본 가운데 가장 높은 실패율을 보이고 있습니다.

성장에 제대로 힘쓴다면, 제품 주도 성장을 제대로 한다면, 과학적인 면과 가정과 가설을 검증하는 어느 정도 위생적인 접근법을 균형 있게 취하면서도 고객에게 엄청난 영향을 미칠 수 있는 큰 야심찬 것들을 추구하게 됩니다. 그렇게 하다 보면 성공하는 경우보다 실패하는 경우가 더 많아질 것입니다.

제 경험상 성장 실험의 성공률은 대략 30% 정도입니다. 따라서 시도하는 대부분의 것들은 작동하지 않습니다. 그래서 사람들이 위험을 두려워하지 않고 실패하는 것을 두려워하지 않는 문화를 만들어야 합니다. 실패란 수익을 창출하지 못했다는 뜻이 아니라 배우지 못했다는 뜻입니다.

우리가 사실이라고 믿는 가설과 가정의 약 80%가 잘못되어 있습니다.

제품 주도 성장 작업의 주요 방식이 실험 기반 제품 개발이라면 30-40% 이상 성공한다면 생각이 너무 작은 것입니다.

회복력이 없다면 제가 보기에는 작은 승리를 잡으려 하게 되어, 결국에는 너무 작고 중요하지 않은 賭博에 의존하게 됩니다.