Varify anlamlılığı nasıl hesaplar?
İçindekiler tablosu
Kısa ve tatlı
Makalede, Varify'ın anlamlılığı daha hızlı tespit etmek için tek taraflı ki-kare ve t-testlerini kullanarak test sonuçlarını sıklıkçı bir yöntemle nasıl analiz ettiği açıklanmaktadır. Ayrıca, özellikle A/A testleri için daha uzun çalışma sürelerinin ve az sayıda metriğin şans eseri yanlış kararlardan kaçınmak için neden önemli olduğu da açıklanmaktadır.
app.varify.io'da anlamlılık hesaplaması
Varify, test sonuçlarını değerlendirmek için istatistiksel bir sistem kullanır. sıklıkçı yöntem. Varyant ile orijinal arasındaki farkın şans eseri ortaya çıkma olasılığını hesaplar. Şans mümkün olduğunca göz ardı edilebilirse, Varify hesaplanan p-değerinin tersi sözde Önem. Bu 95'ten büyük %, sonuç araçta şu şekilde görüntülenir önemli görüntülendi.
Sonuçları mümkün olduğunca verimli bir şekilde değerlendirmek için Varify iki yerleşik istatistiksel test kullanır:
Binom hedefler için (örn. tıklama oranı, dönüşüm oranı), bir tek taraflı ki-kare testi kullanılmış.
Satış veya değer ölçümleri için (örn. Ortalama Sipariş Değeri, Ziyaretçi Başına Gelir) hesaplamak için kullanılır. tek taraflı öğrenci t-testi kullanıldı.
Bu tek taraflı testler bilinçli olarak seçilmiştir. Onlar sağlar daha hızlı sonuçlar, çünkü iki taraflı yöntemlere göre daha az muhafazakar hesaplama yaparlar. Bu, müşterilerin bir varyantın daha iyi performans gösterme olasılığının olup olmadığını daha erken görmelerini sağlar.
Tabii ki, bunun bir dezavantajı da var: eğer bir test çok kısa sürüyor veya aynı anda birçok metrik analiz edildiğinde, sözde bir Yanlış pozitif - Yani, gerçekte sadece bir tesadüf olmasına rağmen önemli gibi görünen bir sonuç.
Bu yüzden:
👉 Biraz daha uzun süre test etmek daha iyi, Böylece sonuçlar stabilize olur ve bir varyantın gerçekten daha iyi olup olmadığına daha güvenilir bir şekilde karar verebilirsiniz.
Özellikle de A/A testleri önemli olan sadece Çok az destinasyon eklemek için. Sözde aracılığıyla Alfa hata birikimi her ek metrik, bir metriğin Yanlış pozitif yaratılır - başka bir deyişle, gerçekte kazanan olmayan sözde bir kazanan.
A/A testi için en iyi uygulamalar:
Çalışma süresi: en az 10 gün
Varyant başına en az 500 dönüşüm
Maksimum 3 varış noktası odaklanarak Ana KPI
Arada meydana gelen anlamlılık değerleri aşağıdaki gibi olmalıdır görmezden gelindi Önemli olan nihai sonuçtur. Yanlış pozitif oranını düşük tutmanın ve sonuçları gerçekten güvenilir kılmanın tek yolu budur.
Bir anlamlılık hesaplayıcısı kullanarak kendi anlamlılık hesaplaması
A/B testi sonuçlarınızda önemli farklılıklar olup olmadığını kontrol edin. Varify.io size bu amaç için bir anlamlılık hesaplayıcısı sunar.
