एक आश्चर्यजनक प्रयोग वह होता है जहां पूर्वानुमानित परिणाम और वास्तविक परिणाम में बहुत अधिक अंतर होता है। इसलिए अंतर का बिल्कुल मान बड़ा होता है।
Ronny KohaviThe ultimate guide to A/B testing
कला → विश्लेषणात्मक बोध
एक आश्चर्यजनक प्रयोग वह होता है जहां पूर्वानुमानित परिणाम और वास्तविक परिणाम में बहुत अधिक अंतर होता है। इसलिए अंतर का बिल्कुल मान बड़ा होता है।
यदि आप बहुत नकारात्मक हैं, तो आप प्रयोग से उभरने वाले आश्चर्यजनक परिणाम को छूट सकते हैं। आप खुद को बेरुखी से कुछ प्रयोग करने को मजबूर कर सकते हैं, लेकिन आप जैसे, 'आप जानते हैं, मैं इससे नफरत करता हूं। मैं आज चार प्रयोग कर रहा हूं क्योंकि मुझे करना है क्योंकि मैं एक उद्यमी होना चाहता हूं, लेकिन यह बहुत दर्दनाक और काला है।' और फिर आप नहीं देखेंगे कि, ओह, यह चीज काम नहीं करती, लेकिन यह एक रोचक तरीके से काम नहीं करती।
आइए बस मान लेते हैं कि हमने वह प्रयोग कर लिया। आप क्या सोचते हैं कि यह क्या वापस आएगा? या आइए मान लें कि हमने वह उपयोगकर्ता अध्ययन किया है। और वे पीएम जो इन परिणामों को कल्पना करने की क्षमता रखते हैं, मुझे लगता है कि यह हमें बहुत अधिक कुशल बनाता है, क्योंकि हम जैसे, अगर हम सब सोचते हैं कि यह वहां जाएगा और यह हमें किसी भी कार्रवाई करने के लिए प्रेरित नहीं करेगा, तो हम क्यों ही करें?
ट्वाइमैन का नियम, सामान्य बयान यह है कि यदि कोई भी आंकड़ा दिलचस्प या अलग प्रतीत होता है, तो वह आमतौर पर गलत होता है। यदि परिणाम सच्चा लगता है, तो आपका सामान्य प्रयोग 1% से कम है और अचानक आपके पास 10% की गति है, तो उत्सव पर रोक लगाएं।
पी वैल्यू एक सांख्यिकीय मापदंड है जो ए/बी परीक्षण में उपयोग किया जाता है ताकि प्रयोगात्मक परिणाम सांख्यिकीय रूप से महत्वपूर्ण हैं या नहीं, आमतौर पर 0.05 (5%) पर सेट किया जाता है।
कई लोग 1 - पी मान को उस संभावना के रूप में निर्धारित करते हैं जो आपका इलाज नियंत्रण से बेहतर है। यह गलत है।
एयरबीएनबी पर, जहां सफलता दर केवल 8% है, यदि आप एक सांख्यिकीय रूप से महत्वपूर्ण परिणाम प्राप्त करते हैं तो पी वैल्यू 0.05 से कम है।
एयरबीएनबी पर, जहां सफलता दर केवल 8% है, यदि आप 0.05 से कम के पी मान के साथ सांख्यिकीय रूप से महत्वपूर्ण परिणाम प्राप्त करते हैं, तो यह एक गलत धनात्मक परिणाम होने की 26% संभावना है। यह 5% नहीं है, यह 26% है।