A/A testi anlamlı sonuçlar gösteriyor
Hatayı nasıl tanırsınız
A/A testin, birkaç gün sonra bir veya daha fazla metrik için anlamlı bir sonuç gösteriyor.
Hata nasıl düzeltilir
Bir A/A testi, test kurulumunun güvenilirliğini kontrol etmek için kullanılır. Birbirinin aynısı olan iki varyant birbirine karşı test edilir. Teorik olarak, her iki varyant da aynı sonuçları elde etmelidir. Bir A/A testi anlamlı bir sonuç gösteriyorsa, bu genellikle gerçek bir etkiye değil, istatistiksel veya teknik nedenlere işaret eder.
1. A/A testinde anlamlılığın önemi
Varify, test sonuçlarını frequentist bir yaklaşımla değerlendirir.
Tesadüfün büyük ölçüde dışlandığında, p-değerinin tersi Anlamlılık (Significance) olarak gösterilir.
Bu değer %95'in üzerindeyse, Varify anlamlı bir sonuç gösterir.
Ancak bir A/A testinde bu, bir varyantın gerçekten „daha iyi“ olduğu anlamına gelmez - bunun yerine, verilerin rastgele öyle bir şekilde dağılmış olduğu ve bir farkın olma olasılığının gerçekte olduğundan daha büyük görünmesine yol açtığı anlamına gelir.
2. „yanlış“ anlamlı bir sonucun yaygın nedenleri
a) Süre çok kısa
Çok az veri ile şans hâlâ güçlü bir etkiye sahip olabilir. Anlamlı kısa vadeli bir sapma normaldir ve güvenilir bir sinyal değildir.
b) Çok fazla hedef
Eklenen her hedef, sözde Alfa hatası olasılığını artırır. Bu, bir farkın rastgele bir yerde bulunma şansının metrik sayısıyla birlikte arttığı anlamına gelir.
c) Eşit olmayan trafik dağılımı
Ziyaretçiler varyantlar arasında eşit dağıtılmazsa (örneğin önbellekleme, bot trafiği veya eksik gösterim nedeniyle), sonuç çarpıtılabilir.
d) Örneklem çok küçük
Düşük dönüşüm rakamlarında metrikler büyük ölçüde dalgalanır. Sadece birkaç dönüşümlük bir fark, görünüşte yüksek bir anlamlılığa yol açabilir.
3. A/A testleri için en iyi uygulama
A/A testlerinin güvenilir sonuçlar sağlaması için şunları öneririz
- Çalışma süresi: en az 10 gün
- Veri miktarı: varyant başına en az 500 dönüşüm
- Hedefler: maksimum 3 Metrik, ana KPI'lara odaklanarak
- Ara sonuçları göz ardı edin: Anlamlılık değerleri süre boyunca dalgalanabilir. Yalnızca Testin sonundaki nihai sonuç anlamlıdır.
Bu, şansın etkisinin düşük kalmasını sağlar ve değerlendirmenin gerçekçi sonuçlar vermesini garanti eder.
4. sonuç
Bir A/A testinde anlamlı bir sonuç, çoğu durumda gerçek bir sinyal olmadığı anlamına gelir, ancak rastlantı veya test yapılandırmasına bağlanabilir.
Yalnızca yeterli veri daha uzun bir süre boyunca toplandığında ve şans istatistiksel olarak dışlanabildiğinde bir sonuç gerçekten güvenilir olur.