Varify anlamlılığı nasıl hesaplar
Kısaca
Bu makale, Varify'ın test sonuçlarını istatistiksel olarak nasıl değerlendirdiğini açıklar. Varsayılan olarak, bir varyantın daha iyi performans gösterip göstermediğini hızlıca gösteren tek yönlü testlerle frekansçı bir yöntem kullanılır. Pro Plan'da iki yönlü frekansçı bir yöntem ve bir Bayes yöntemi de mevcuttur. Bayes yöntemi ayrıca %95 anlamlılığa ne zaman ulaşılacağını tahmin eden bir çalışma süresi tahmini gösterir. Ayrıca, özellikle A/A testleri için, rastlantı sonucu yanlış kararlar vermekten kaçınmak açısından daha uzun çalışma süreleri ve az sayıda metriğin neden önemli olduğunu açıklar.
app.varify.io'da anlamlılık hesaplaması
Varify, varsayılan olarak test sonuçlarını değerlendirmek için istatistiksel bir frekansçı (frequentist) yöntem kullanır. Bu yöntem, varyant ile orijinal arasındaki farkın tesadüfen ortaya çıkma olasılığının ne kadar olduğunu hesaplar. Şans faktörü mümkün olduğunca dışlanabiliyorsa, Varify hesaplanan p-değerinin tersini - yani anlamlılığı - gösterir. Bu değer %95'ten büyükse, sonuç araçta anlamlı (significant) olarak gösterilir.
İstatistiksel yöntemlere genel bakış
Varify, A/B testlerini analiz etmek için üç istatistiksel yöntem sunar. Hangi yöntemlerin kullanılabilir olduğu seçilen plana bağlıdır. Yöntem, hesap düzeyinde merkezi olarak ayarlanır ve ardından o hesaptaki tüm deneylere uygulanır—deney bazında seçilemez. Yöntem „Advanced Tracking Setup.“ altında yapılandırılabilir.
Tek yönlü frekansçı test (standart)
Varify varsayılan olarak iki köklü tek yönlü istatistiksel test kullanır:
- Binom hedefler için (örn. tıklama oranı, dönüşüm oranı) tek yönlü ki-kare testi kullanılır.
- Satış veya değer metrikleri için (örn. ortalama sipariş değeri, ziyaretçi başına gelir) tek yönlü Student t-testi kullanılır.
Bu tek yönlü testler bilinçli olarak seçilmiştir. İki yönlü yöntemlere kıyasla daha az muhafazakâr hesaplama yaptıklarından sonuçları daha hızlı verirler. Bu, bir varyantın daha iyi performans gösterip göstermeyeceğini daha erken görmeni sağlar.
Elbette bunun bir de dezavantajı var: bir test çok kısa süre çalışırsa veya aynı anda çok sayıda metrik değerlendirilirse, yanlış pozitif olasılığı artar - yani gerçekte sadece bir tesadüf olmasına rağmen anlamlı görünen bir sonuç.
İki Yönlü Frekansçı Test (Pro Plan)
Pro Plan'da, bu hesap ayarı alternatif olarak iki kuyruklu (two-tailed) bir frequentist yönteme geçirilebilir—bu değişiklik daha sonra hesaptaki tüm deneyleri etkiler. Aynı istatistiksel testler kullanılır (ki-kare veya Student t-testi), ancak iki kuyruklu bir versiyonda. Fark şudur: İki kuyruklu bir test yalnızca bir varyantın daha iyi performans gösterip göstermediğini değil, aynı zamanda daha kötü performans gösterip göstermediğini de kontrol eder. Bu yöntem daha muhafazakârdır ve istatistiksel anlamlılığa ulaşmak için genellikle daha fazla veri gerektirir—ancak karşılığında her iki yönde de daha sağlam bir sonuç sağlar.
Bayes yöntemi (plana göre)
Bayes yöntemi de Pro Plan'da mevcuttur. Frekansçı yaklaşımın aksine, p-değerleri hesaplamaz, bunun yerine bir varyantın orijinalden daha iyi olma olasılığını hesaplar. Bu, sonuçları genellikle daha sezgisel bir şekilde yorumlanabilir kılar.
Ek bir avantaj: Bayes yöntemiyle Varify, %95 anlamlılığa ne zaman ulaşılmasının muhtemel olduğunu tahmin eden bir çalışma süresi tahmini gösterir. Bu, test sırasında testin ne kadar süre çalışması gerektiğini daha iyi tahmin etmenizi sağlar.
Güvenilir sonuçlar için en iyi uygulamalar
Hangi yöntemi seçerseniz seçin, sonuçların stabilize olması ve bir varyantın gerçekten daha iyi olup olmadığını daha güvenilir bir şekilde değerlendirebilmeniz için biraz daha uzun test yapmak daha iyidir.
Özellikle A/A testleri için sadece birkaç hedef eklemek önemlidir. Alfa hata birikimi, her ek metrikle birlikte yanlış pozitif olasılığını artırır - yani aslında kazanan olmayan sözde bir kazanan.
A/A testi için en iyi uygulamalar:
- Süre: en az 10 gün
- Varyant başına en az 500 dönüşüm
- Ana KPI'ya odaklanarak en fazla 3 hedef ekleyin
- Aradaki anlamlılık değerleri göz ardı edilmelidir - önemli olan nihai sonuçtur. Yanlış pozitif oranını düşük tutmanın ve sonuçların gerçekten güvenilir olmasının tek yolu budur.
Anlamlılık hesaplayıcı ile kendi anlamlılık hesaplamanız
A/B test sonuçlarınızda anlamlı farklar olup olmadığını kontrol edin. Bu amaçla Varify.io bir anlamlılık hesaplayıcısı sunar.
