Lenny Distilled

सबसे अच्छे प्रयोग आपको आश्चर्यचकित करते हैं

कला → विश्लेषणात्मक बोध

परिभाषित करने वाली
एक आश्चर्यजनक प्रयोग वह होता है जहां पूर्वानुमानित परिणाम और वास्तविक परिणाम में बहुत अधिक अंतर होता है। इसलिए अंतर का बिल्कुल मान बड़ा होता है।
Ronny KohaviThe ultimate guide to A/B testing
समर्थक
यदि आप बहुत नकारात्मक हैं, तो आप प्रयोग से उभरने वाले आश्चर्यजनक परिणाम को छूट सकते हैं। आप खुद को बेरुखी से कुछ प्रयोग करने को मजबूर कर सकते हैं, लेकिन आप जैसे, 'आप जानते हैं, मैं इससे नफरत करता हूं। मैं आज चार प्रयोग कर रहा हूं क्योंकि मुझे करना है क्योंकि मैं एक उद्यमी होना चाहता हूं, लेकिन यह बहुत दर्दनाक और काला है।' और फिर आप नहीं देखेंगे कि, ओह, यह चीज काम नहीं करती, लेकिन यह एक रोचक तरीके से काम नहीं करती।
Sam SchillaceHow to be more innovative
समर्थक
आइए बस मान लेते हैं कि हमने वह प्रयोग कर लिया। आप क्या सोचते हैं कि यह क्या वापस आएगा? या आइए मान लें कि हमने वह उपयोगकर्ता अध्ययन किया है। और वे पीएम जो इन परिणामों को कल्पना करने की क्षमता रखते हैं, मुझे लगता है कि यह हमें बहुत अधिक कुशल बनाता है, क्योंकि हम जैसे, अगर हम सब सोचते हैं कि यह वहां जाएगा और यह हमें किसी भी कार्रवाई करने के लिए प्रेरित नहीं करेगा, तो हम क्यों ही करें?
Yuhki YamashitaAn inside look at how Figma builds product
संवेदनशील
ट्वाइमैन का नियम, सामान्य बयान यह है कि यदि कोई भी आंकड़ा दिलचस्प या अलग प्रतीत होता है, तो वह आमतौर पर गलत होता है। यदि परिणाम सच्चा लगता है, तो आपका सामान्य प्रयोग 1% से कम है और अचानक आपके पास 10% की गति है, तो उत्सव पर रोक लगाएं।
Ronny KohaviThe ultimate guide to A/B testing
कुछ सावधानियों के साथ

पी वैल्यू एक सांख्यिकीय मापदंड है जो ए/बी परीक्षण में उपयोग किया जाता है ताकि प्रयोगात्मक परिणाम सांख्यिकीय रूप से महत्वपूर्ण हैं या नहीं, आमतौर पर 0.05 (5%) पर सेट किया जाता है।

कई लोग 1 - पी मान को उस संभावना के रूप में निर्धारित करते हैं जो आपका इलाज नियंत्रण से बेहतर है। यह गलत है।
Ronny KohaviThe ultimate guide to A/B testing
कुछ सावधानियों के साथ

एयरबीएनबी पर, जहां सफलता दर केवल 8% है, यदि आप एक सांख्यिकीय रूप से महत्वपूर्ण परिणाम प्राप्त करते हैं तो पी वैल्यू 0.05 से कम है।

एयरबीएनबी पर, जहां सफलता दर केवल 8% है, यदि आप 0.05 से कम के पी मान के साथ सांख्यिकीय रूप से महत्वपूर्ण परिणाम प्राप्त करते हैं, तो यह एक गलत धनात्मक परिणाम होने की 26% संभावना है। यह 5% नहीं है, यह 26% है।
Ronny KohaviThe ultimate guide to A/B testing

The Missing Stamp

Every episode of Lenny's Podcast, distilled into the insights that matter and the quotes that make them stick.

LENNY WAS HERE__STAMP_DATE__

Lenny, if you're reading this, the stamp's ready when you are. 🧡🔥