A/B चाचणीत मूलभूत मर्यादा आहेत

तुम्ही सर्व गोष्टींसाठी प्रयोग करून बाहेर पडू शकत नाही. लोकांनी प्रयोग करण्यासाठी प्रोत्साहित केलेल्या जगात जे काही चाचणी करण्याचे ठरवतात ते अधिक अल्पक्रियानिष्ठ असते.

मला वाटते की वाढ आणि वाढ हॅकिंग आणि या सर्व विश्लेषण, A/B चाचणी गोष्टी करणे, खूप लवकर सुरू असलेल्या स्टार्टअपसाठी एक संपूर्ण वेळ नष्ट करण्याची गोष्ट आहे.

काही वेळा तुम्हाला प्रयोग करण्याची गरज नसते. काही वेळा व्यवसायाचा, म्हणजेच सक्रियण दर 6% ऐवजी 7% वर जातो, ती अचूकता खरोखर इतकी मदत करत नाही की, 'मी सक्रियण दर 7% वर वाढविली' असे तुमच्या कार्यकारी समीक्षेमध्ये सांगता येईल.

A/B प्रयोगही काम करत नाहीत, आणि हे बाजारपेठेशी संबंधित खूप वेगळे आहे. मी म्हणेन की, तुम्ही अपेक्षित करता त्याप्रमाणे ते काम करत नाहीत कारण तेथे नेटवर्क प्रभाव सर्वत्र आहेत.

जर आम्ही A/B चाचणी करतो, तर एक परिकल्पना असणे आवश्यक आहे. जर आमच्याकडे परिकल्पना नसेल आणि A ही B पेक्षा चांगली असेल, तर आम्ही B शी अडकून राहू. आणि हा खूप, खूप मोठा समस्या आहे, परंतु आम्ही ती कधीही बदलू शकत नाही.

मला वाटतं, की काही बदलांमध्ये किंवा काही क्षेत्रांमध्ये तुम्ही मोठ्या नव्या गोष्टींकडे जात असता, त्याचा फार मोठा परिणाम होणार नाही किंवा या विशिष्ट बदलाचा तुम्ही बांधत असलेल्या मोठ्या संपूर्ण गोष्टीचा निर्देशक नसेल.