Varify anlamlılığı nasıl hesaplar?
İçindekiler tablosu
Kısa ve tatlı
Makale, Varify'ın test sonuçlarını istatistiksel olarak nasıl analiz ettiğini açıklamaktadır. Varsayılan olarak, bir varyantın daha iyi performans gösterip göstermediğini hızlı bir şekilde gösteren tek taraflı testlere sahip bir sıklıkçı yöntem kullanılır. Pro Plan'da, iki taraflı bir sıklıkçı yöntem ve bir Bayesian yöntemi de mevcuttur. Bayesian yöntemi ayrıca 95 % anlamlılığına ne zaman ulaşılacağını tahmin eden bir çalışma süresi tahmini görüntüler. Ayrıca daha uzun çalışma sürelerinin ve az sayıda metriğin - özellikle A/A testlerinde - şans eseri yanlış kararlardan kaçınmak için neden önemli olduğunu açıklar.
app.varify.io'da anlamlılık hesaplaması
Varsayılan olarak, Varify test sonuçlarını değerlendirmek için istatistiksel sıklıkçı bir yöntem kullanır. Bu, varyant ile orijinal arasındaki farkın şans eseri meydana gelme olasılığını hesaplar. Şans mümkün olduğunca göz ardı edilebilirse, Varify hesaplanan p-değerinin karşılığını görüntüler - buna anlamlılık denir. Bu değer 95 %'den büyükse, sonuç araçta anlamlı olarak görüntülenir.
Bir bakışta istatistiksel yöntemler
Varify, A/B testlerini analiz etmek için üç istatistiksel yöntem sunar. Hangi yöntemlerin mevcut olduğu seçilen plana bağlıdır.
Tek taraflı sıklıkçı test (standart)
Varsayılan olarak, Varify iki yerleşik tek taraflı istatistiksel test kullanır:
- İki terimli hedefler (örn. tıklama oranı, dönüşüm oranı) için tek taraflı ki-kare testi kullanılır.
- Satış veya değer ölçümleri (örneğin ortalama sipariş değeri, ziyaretçi başına gelir) için tek taraflı Student t-testi kullanılır.
Bu tek taraflı testler bilinçli olarak seçilmiştir. İki taraflı yöntemlere göre daha az muhafazakar hesaplama yaptıkları için daha hızlı sonuç verirler. Bu, bir varyantın daha iyi performans gösterme olasılığının olup olmadığını daha erken görmenizi sağlar.
Elbette bunun bir dezavantajı da vardır: bir test çok kısa bir süre çalışırsa veya birçok metrik aynı anda analiz edilirse, yanlış pozitif olasılığı artar - yani, aslında sadece bir tesadüf olmasına rağmen önemli görünen bir sonuç.
İki Taraflı Sıklık Testi (Pro Plan)
Pro Plan'da alternatif olarak iki taraflı sıklıkçı yönteme geçebilirsiniz. Aynı istatistiksel testler kullanılır (ki-kare veya Student's t-test), ancak iki taraflı bir varyantta. Aradaki fark: iki taraflı bir test sadece bir varyantın daha iyi olup olmadığını değil, aynı zamanda daha kötü performans gösterip göstermediğini de kontrol eder. Bu yöntem daha muhafazakârdır ve anlamlılığa ulaşmak için genellikle daha fazla veri gerektirir - ancak her iki yönde de daha sağlam bir sonuç sağlar.
Bayesian yöntemi (plan başına)
Bayesian yöntemi Pro Plan'da da mevcuttur. Sıklıkçı yaklaşımın aksine, p-değerlerini değil, bir varyantın orijinalinden daha iyi olma olasılığını hesaplar. Bu genellikle sonuçların yorumlanmasını daha sezgisel hale getirir.
Ek bir avantaj: Bayes yöntemi ile Varify, 95 % anlamlılığına ne zaman ulaşılacağını tahmin eden bir çalışma süresi tahmini görüntüler. Bu, test sırasında testin ne kadar süre çalışması gerektiğini daha iyi tahmin etmenizi sağlar.
Güvenilir sonuçlar için en iyi uygulamalar
Seçtiğiniz yöntem ne olursa olsun, sonuçların stabil hale gelmesi ve bir varyantın gerçekten daha iyi olup olmadığına daha güvenilir bir şekilde karar verebilmeniz için biraz daha uzun süre test etmek daha iyidir.
Özellikle A/A testleri için sadece birkaç hedef eklemek önemlidir. Alfa hatası birikimi, her ek metrikle birlikte yanlış pozitif olasılığını artırır - yani aslında kazanan olmayan sözde bir kazanan.
A/A testi için en iyi uygulamalar:
- Süre: en az 10 gün
- Varyant başına en az 500 dönüşüm
- Ana KPI'ya odaklanarak en fazla 3 hedef ekleyin
- Arada meydana gelen anlamlılık değerleri göz ardı edilmelidir - önemli olan nihai sonuçtur. Yanlış pozitif oranını düşük tutmanın ve sonuçları gerçekten güvenilir kılmanın tek yolu budur.
Bir anlamlılık hesaplayıcısı kullanarak kendi anlamlılık hesaplaması
A/B testi sonuçlarınızda önemli farklılıklar olup olmadığını kontrol edin. Varify.io size bu amaç için bir anlamlılık hesaplayıcısı sunar.
