A/B testlerinin temel sınırlamaları var

Her şeyi deney yoluyla çözmeye çalışamazsınız. A/B testleri konusunda teşvik edilen dünya, daha çok tasarım gereği daha kademeli testlere yönlendiriyor.

Çok erken aşamadaki start-uplar için büyüme, büyüme hacklemesi ve tüm bu analitik, A/B test etme şeyleri tamamen vakit kaybı.

Bazen deney yapmaya gerek yok. Diyelim ki aktivasyon oranları %6 yerine %7 olsa, bu hassasiyet performans değerlendirmesinde 'Aktivasyonu %7 artırdım' demekten öte çok da bir işe yaramaz.

A/B deneyleri de işe yaramaz ve bu, pazaryerleri için çok özel bir durum. Yani ağ etkilerinin her yerde bulunmasından dolayı beklediğiniz gibi çalışmaz.

Eğer bir A/B testi yapıyorsak, bir hipotez olmalı. Eğer hipotezimiz yoksa ve A, B'den daha iyiyse, o zaman B ile kaldık. Bu gerçekten çok büyük bir sorun ve bunu asla değiştiremeyiz.

Bazı değişiklikler veya üzerinde çalıştığınız büyük yeni bir şey için belirli bir değişiklik, inşa etmeye çalıştığınız büyük resmi yansıtmayabilir. Belki de burada esas amacı kaçırıyor olabiliriz.