A/A testi anlamlı sonuçlar gösteriyor
İçindekiler tablosu
Hata nasıl anlaşılır
A/A testiniz birkaç gün sonra bir veya daha fazla metrik için önemli bir sonuç gösteriyor.
Hata nasıl düzeltilir
Test kurulumunun güvenilirliğini kontrol etmek için bir A/A testi kullanılır. İki özdeş varyant birbirlerine karşı test edilir. Teorik olarak, her iki varyant da aynı sonuçları vermelidir. Eğer bir A/A testi bir önemli̇ sonuç genellikle şunu gösterir gerçek bir etki üzerinde değil, ama İstatistiksel veya teknik nedenler Orada.
1. A/A testinde anlamlılığın önemi
Varify test sonuçlarını bir sıklıkçı yaklaşım.
Ne zaman Tesadüf büyük ölçüde göz ardı edildi ve p-değerinin tersi olarak Önem görüntülendi.
Bu değerin üzerindeyse 95 %, Varify bir önemli̇ sonuç için.
Ancak bir A/A testinde bu, bir varyantın gerçekten „daha iyi“ olduğu anlamına gelmez - ancak verilerin, bir fark olasılığının gerçekte olduğundan daha büyük görüneceği şekilde rastgele dağıldığı anlamına gelir.
2. „yanlış“ anlamlı sonuç için yaygın nedenler
a) Çok kısa bir dönem
Çok az veri ile, şans hala güçlü bir etkiye sahip olabilir. Kısa vadeli önemli bir sapma normaldir ve güvenilir bir sinyal değildir.
b) Çok fazla gol
Her bir ilave hedef, sözde bir hedefin vurulma olasılığını artırır. Alfa hatası. Bu, bir yerde şans eseri bir fark bulunma şansının metrik sayısı ile arttığı anlamına gelir.
c) Eşit olmayan trafik tahsisi
Ziyaretçiler varyantlar arasında eşit olarak dağıtılmazsa (örneğin önbelleğe alma, bot trafiği veya eksik oynatma nedeniyle), sonuç bozulabilir.
d) Örneklem çok küçük
Metrikler düşük dönüşüm rakamlarında büyük dalgalanmalar gösterir. Sadece birkaç dönüşümlük bir fark, görünüşte yüksek bir öneme yol açabilir.
3. A/A testleri için en iyi uygulama
A/A testlerinin güvenilir sonuçlar vermesini sağlamak için şunları öneriyoruz
Çalışma süresi: en azından 10 gün
Veri hacmi: en azından Varyant başına 500 dönüşüm
Hedefler: maksimum 3 Metrikler, ana KPI'lara odaklanarak
Ara sonuçları dikkate almayın: Anlamlılık değerleri dönem boyunca dalgalanabilir. Sadece Testin sonunda nihai sonuç anlamlıdır.
Bu, şansın etkisinin düşük kalmasını ve analizin gerçekçi sonuçlar vermesini sağlar.
4. Sonuç
A/A testinde anlamlı bir sonuç çoğu durumda şu anlama gelir Gerçek sinyal yok, ancak bunlarla sınırlıdır Rastgele veya test yapılandırması atfedilebilir.
Ancak uzun bir süre boyunca yeterli veri toplandığında ve şans istatistiksel olarak dışlanabildiğinde bir sonuç gerçekten güvenilirdir.