En iyi deneyler sizi şaşırtır

Şaşırtıcı bir deney, önceden tahmin edilen sonuç ile gerçek sonuç arasındaki farkın büyük olduğu deneydir. Yani, mutlak değer olarak fark büyük olmalıdır.

Çok kötümser olursanız, deneyin ortaya çıkardığı şaşırtıcı sonucu fark etmeyebilirsiniz. İsteksizce bir dizi deney yapmanız gerektiğini düşünebilir, ama 'Biliyor musunuz, bu beni sıkıyor. Bugün dört deney yapacağım, çünkü girişimci olmak istiyorum, ama berbat ve her şey karanlık' diyebilirsiniz. Ve o zaman, bu şeyin işe yaramadığını ama ilginç bir şekilde işe yaramadığını fark etmezsiniz.

Sadece o deneyi yaptığımızı varsayalım. Sonucunun ne olacağını düşünüyorsunuz? Veya o kullanıcı araştırmasını yaptığımızı varsayalım. Ve bu sonuçları hayal etme yeteneğine sahip olan PM'ler, bence, çok daha verimli olmamıza yardımcı oluyor. Çünkü 'Eğer hepimiz bunun oraya gideceğini düşünüyorsak ve bu bizi harekete geçirmiyor, o zaman bunu neden yapalım?'

Twyman kuralına göre, ilginç veya farklı görünen her rakam genellikle yanlıştır. Sonuç gerçekten de inanılmaz görünüyorsa - deneyin normal hareketi %1'in altında ve aniden %10 hareket ediyorsa - kutlama yemeğini iptal edin.

P değeri, A/B testlerinde işlem sonucunun istatistiksel olarak anlamlı olup olmadığını belirlemek için kullanılan bir istatistiksel ölçüdür ve genellikle %5 (0,05) olarak ayarlanır.

Birçok kişi, deney sonucunun kontrol grubundan daha iyi olma olasılığını 1 eksi P değeri olarak kabul eder. Bu yanlıştır.

A/B testlerinde istatistiksel olarak anlamlı sonuçlar elde etmek için kullanılan bir ölçü olan P değeri, genellikle %5 olarak ayarlanır.

Airbnb'de başarı oranı sadece %8% olmasına rağmen, P değeri 0.05'ten küçük olan istatistiksel olarak anlamlı bir sonuç elde ederseniz, bu sonucun yanlış pozitif olma olasılığı %26'dır. Bu oran %5 değil, %26'dır.