सर्वोत्कृष्ट प्रयोग तुम्हाला आश्चर्यचकित करतात

जर एखादा प्रयोग अपेक्षेपेक्षा खूप वेगळा असेल, तर तो आश्चर्यजनक असतो. म्हणजे, वास्तविक निकाल आणि अंदाज यांच्यातील फरक खूप मोठा असतो.

जर तुम्ही खूप निराशावादी असाल, तर तुम्ही प्रयोगाच्या आश्चर्यकारक निकालाकडे दुर्लक्ष करू शकता. तुम्ही अनिच्छुकपणे प्रयोग करू शकता, परंतु मग तुम्हाला हे लक्षात येणार नाही की, हे काम केले नाही, पण ते एका रोचक पद्धतीने केले गेले आहे.

आपण त्या प्रयोगाचे निकाल काय असतील याची कल्पना करू शकतो काय? किंवा आपण वापरकर्ता अभ्यासाचे निकाल काय असतील याची कल्पना करू शकतो काय? आणि जर आपल्या सर्वांना वाटते की हे निकाल आमच्या कोणत्याही कृतीस प्रेरित करणार नाहीत, तर आपण ते का करावे?

टवमनचा नियम म्हणजे की, जर काही आकडेवारी रोचक किंवा वेगळी वाटते, तर ती सामान्यतः चुकीची असते. जर निकाल खूप चांगले वाटत असतील आणि तुमच्या नियमित प्रयोगांमध्ये 1% पेक्षा कमी बदल असला, आणि तेव्हा एकाएकी 10% बदल होतो, तर честोत्सव करण्यापूर्वी वाट पहा.

P-मूल्य ही A/B चाचणीमध्ये वापरली जाणारी सांख्यिकीय मापदंड असून, ती 0.05 (5%) असल्यास प्रयोगाचे निकाल महत्वपूर्ण असतात.

बरेचजण एक वजा पी मूल्य हे उपचार नियंत्रण पेक्षा बरे असण्याची संभाव्यता मानतात. हे चुकीचे आहे.

एअरबीबीमध्ये केलेल्या A/B चाचण्यांपैकी फक्त 8% मध्येच धनात्मक परिणाम मिळतात.

एअरबीएनबीवर, यशस्वितेचा दर फक्त 8% आहे, तर जर तुम्हाला 0.05 पेक्षा कमी पी मूल्यासह सांख्यिकीय महत्वाचे निकाल मिळतात, तर हे खोटे धनात्मक निकाल असण्याची 26% शक्यता आहे. हे 5% नाही, तर 26% आहे.