Il test A/A mostra risultati significativi
Come riconoscere l'errore
Il tuo test A/A mostra un risultato significativo per una o più metriche dopo pochi giorni.
Come risolvere l'errore
Un test A/A viene utilizzato per verificare l'affidabilità della configurazione del test. Due varianti identiche vengono testate l'una contro l'altra. Teoricamente, entrambe le varianti dovrebbero ottenere gli stessi risultati. Se un test A/A mostra un risultato significativo, di solito indica che non si tratta di un effetto reale, ma di cause statistiche o tecniche.
1. importanza della significatività nel test A/A
Varify valuta i risultati dei test con un approccio frequentista.
Quando la Coincidenza è in gran parte esclusa, il reciproco del valore p viene mostrato come Significance.
Se questo valore è superiore al 95 %, Varify mostra un risultato significativo.
In un test A/A, tuttavia, questo non significa che una variante sia realmente «migliore» - ma che i dati sono distribuiti in modo casuale tale per cui la probabilità di una differenza appare maggiore di quanto non sia in realtà.
2. Cause comuni per un risultato significativo «falso»
a) Durata troppo breve
Con troppo pochi dati, il caso può comunque avere un effetto forte. Una deviazione significativa a breve termine è normale e non è un segnale affidabile.
b) Troppi obiettivi
Ogni obiettivo aggiuntivo aumenta la probabilità del cosiddetto errore Alfa. Questo significa che la probabilità che una differenza venga trovata da qualche parte per caso aumenta con il numero di metriche.
c) Allocazione del traffico non uniforme
Se i visitatori non sono distribuiti uniformemente tra le varianti (ad es. a causa di caching, traffico bot o playout incompleto), il risultato può risultare distorto.
d) Campione troppo piccolo
Le metriche fluttuano molto con cifre di conversione basse. Una differenza di poche conversioni può portare a una significatività apparentemente alta.
3. best practice per i test A/A
Per garantire che i test A/A forniscano risultati affidabili, ti consigliamo
- Durata: almeno 10 giorni
- Quantità di dati: almeno 500 conversioni per variante
- Obiettivi: massimo 3 metriche, concentrandosi sui KPI principali
- Ignora i risultati intermedi: i valori di significatività possono oscillare durante il periodo. Solo il risultato finale al termine del test è significativo.
Questo garantisce che l'influenza del caso rimanga bassa e che la valutazione fornisca risultati realistici.
4. conclusione
Un risultato significativo in un test A/A nella maggior parte dei casi non significa nessun segnale reale, ma è riconducibile a caso o configurazione del test.
Solo quando sono stati raccolti dati sufficienti per un periodo di tempo più lungo e il caso può essere escluso statisticamente, un risultato è davvero affidabile.