Hai appena concluso un test A/B. La variante B converte il 15% in più. Festeggi? Magari no. Se il campione è piccolo o la durata insufficiente, quel 15% potrebbe essere solo rumore. Noi, di Meteora Web, vediamo clienti che prendono decisioni millionarie su dati fragili. In questa guida ti spieghiamo come impostare un test A/B che regga il confronto con la statistica, non solo con l'entusiasmo.
Perché la significatività statistica non è un optional
La significatività statistica ti dice se la differenza osservata tra due varianti è reale o se può essere dovuta al caso. Senza di essa, ogni miglioramento è una scommessa. Immagina di lanciare una moneta 10 volte: esce testa 7 volte. È un risultato significativo? No. Con 10 lanci, la variazione casuale è enorme. Con 1000 lanci, 7 su 10 diventerebbero anomali. Stessa logica per le conversioni.
Il problema del campione piccolo
Un test su 100 visitatori per variante è come giudicare un ristorante da un singolo pasto. Se il tasso di conversione base è 2%, con 100 visitatori hai solo 2 conversioni. La variabile casuale domina. La dimensione del campione è il primo parametro da calcolare prima ancora di lanciare il test.
Errore comune: testare su un campione troppo piccolo per risparmiare tempo. Il risultato? Falsi positivi o falsi negativi. Si spende budget per implementare una variante che non funziona, o si scarta una buona.
La variazione casuale
Anche con campioni adeguati, la variazione naturale esiste. Un lunedì piove, il traffico cambia, il server rallenta. La potenza statistica (tipicamente 80%) ti protegge da questi eventi: se c'è un effetto reale, lo vedrai 8 volte su 10. Il livello di significatività (5%) limita il rischio di dichiarare un vincitore quando non c'è differenza.
Come impostare un test A/B con la statistica giusta
Prima di scrivere codice o disegnare varianti, fai i conti. Noi usiamo sempre questa sequenza:
Determinare la dimensione del campione
Serve la formula per il test di proporzioni. Ecco un esempio in Python che puoi copiare e incollare:
import math
def sample_size(alpha, power, p1, p2):
"""
alpha: livello di significatività (es. 0.05)
power: potenza desiderata (es. 0.80)
p1: tasso di conversione attuale (es. 0.02)
p2: tasso atteso della variante (es. 0.025)
"""
z_alpha = 1.96 # per alpha=0.05
z_beta = 0.84 # per power=0.80
p_bar = (p1 + p2) / 2.0
q_bar = 1 - p_bar
q1 = 1 - p1
q2 = 1 - p2
n = (z_alpha * math.sqrt(2 * p_bar * q_bar) + z_beta * math.sqrt(p1 * q1 + p2 * q2))2 / (p2 - p1)2
return math.ceil(n)
# Esempio: tasso attuale 2%, target 2.5%
print(sample_size(0.05, 0.80, 0.02, 0.025))
# Output: ~11.000 per varianteCalcola il numero di visitatori per variante. Se non hai abbastanza traffico, il test non è affidabile. Meglio aspettare o ridurre l'effetto minimo rilevabile (MDE).
Scegliere il livello di significatività e potenza
I valori standard sono alpha=5% e power=80%. Per test critici (es. pagamento) puoi alzare alpha a 1% e power a 90%. Ogni aumento richiede più campione. La scelta dipende dal rischio: se implementare la variante costa caro, vuoi più certezza.
Durata del test
Non fermare il test al primo superamento della significatività. Aspetta che il campione minimo sia raggiunto. Regola empirica: lascia correre per almeno 2 cicli settimanali completi, anche se il campione è raggiunto prima. I pattern di traffico infrasettimanali possono falsare i risultati.
Interpretare i risultati: cosa cercare
Una volta che il test è completo, non guardare solo il p-value. Analizza l'intero quadro.
p-value, intervallo di confidenza e practical significance
Il p-value sotto 0.05 indica che la differenza osservata è improbabile sotto l'ipotesi nulla. Ma non dice quanto è grande la differenza. L'intervallo di confidenza (es. 95%) ti dà il range in cui cade il vero effetto. Esempio: "La variante B aumenta le conversioni del 12% ± 5%" — significa che l'incremento reale è tra il 7% e il 17%. Se l'intervallo contiene lo zero, non è significativo.
La significatività pratica è diversa: anche se statisticamente significativo, l'effetto è abbastanza grande da giustificare l'implementazione? Un aumento dello 0,1% su 10.000 utenti potrebbe non valere lo sforzo tecnico.
Errori comuni nell'interpretazione
- Guardare il test troppo presto (peeking): se controlli ogni giorno e fermi al primo p-value significativo, inflazioni il tasso di falsi positivi. Usa sequential testing o aspetta la dimensione pianificata.
- Fermarsi al primo segnale: anche se la significatività è raggiunta prima, la dimensione del campione potrebbe non essere sufficiente per stimare l'effetto con precisione.
- Ignorare la segmentazione: un test può essere significativo su mobile ma non su desktop. Analizza per segmenti se ha senso.
Strumenti per il calcolo
Noi usiamo principalmente Python e R per i calcoli, ma esistono calcolatori web affidabili. Ecco un esempio in R che restituisce la dimensione del campione:
# In R
power.prop.test(
n = NULL,
p1 = 0.02,
p2 = 0.025,
sig.level = 0.05,
power = 0.80,
alternative = "one.sided"
)
# Output: n = 11308 per gruppoPer il calcolo del p-value a test concluso, usa un test chi-quadrato o il test di Fisher in Python (scipy.stats.chi2_contingency) o R (prop.test).
In sintesi — cosa fare adesso
- Calcola la dimensione del campione con la formula sopra prima di lanciare il test. Non improvvisare.
- Fissa durata e soglia di significatività prima di iniziare. Scrivilo da qualche parte.
- Non guardare i risultati fino a quando il campione non è raggiunto. Se devi, usa metodi sequential.
- Interpreta intervallo di confidenza e significatività pratica, non solo il p-value.
- Documenta ogni test: ipotesi, campione, durata, risultati. Impara per il prossimo.
Un test A/B ben progettato è un investimento. Un test mal fatto è un costo che non si vede. Noi, di Meteora Web, costruiamo strumenti per misurare ogni click. Se vuoi approfondire, qui parliamo di come segmentare il pubblico per test più efficaci.
