Come analizzare i risultati dei test A/B senza uno statistico (Guida 2026)
Per analizzare i risultati di un test A/B, confronta i due gruppi su un'unica metrica principale. Verifica se il divario è maggiore della normale variazione casuale, quindi indica l'intervallo in cui potrebbe ricadere la differenza reale. Excel può occuparsi dei calcoli. Sono le valutazioni soggettive di contorno che di solito falliscono.
Questa guida spiega cosa raccogliere prima di guardare i numeri e come eseguire il test manualmente. Copre anche i limiti del percorso manuale e come interpretare i risultati in modo onesto.
Cosa ti serve prima ancora di poter interpretare il test
Quattro elementi determinano se un risultato ha un valore. Raccoglili per primi.
Una metrica principale, scelta prima dell'avvio del test. Tasso di conversione, entrate per visitatore o tasso di attivazione. Sceglila in anticipo. Selezionarla dopo aver visto i dati è il modo in cui i team si autoconvincono di aver vinto.
Dati grezzi, non solo percentuali. Un incremento del 3% ha un significato su 200 visitatori e uno molto diverso su 200.000. Ti servono i denominatori.
La finestra temporale completa del test. Le settimane parziali distorcono i risultati, perché il comportamento nei giorni feriali differisce da quello del fine settimana. Esegui il test per settimane intere.
Un registro di ciò che è cambiato. Una sola variabile per test. Se hai modificato contemporaneamente il titolo e il colore del pulsante, nessuna statistica potrà distinguerne gli effetti.
Se manca anche solo uno di questi quattro elementi, fermati prima di fare i calcoli. Un calcolo preciso su un test compromesso produce comunque una risposta errata di cui sarai erroneamente sicuro.
Le due domande a cui risponde ogni test A/B
Ogni risultato si riduce a due domande, ed è facile confonderle.
La differenza è reale? Questa è la domanda sulla significatività. Chiede quanto sarebbe probabile un divario così grande se le due versioni avessero prestazioni identiche. Un p-value risponde a questo quesito. Per convenzione, un valore inferiore a 0.05 è considerato abbastanza improbabile da giustificare un'azione.
La differenza è abbastanza grande da essere rilevante? Questa è la domanda sulla dimensione dell'effetto. Un intervallo di confidenza risponde a questo quesito, indicando l'intervallo in cui plausibilmente si colloca la differenza reale. Un incremento statisticamente reale dello 0.2% potrebbe comunque non valere i costi di sviluppo.
Un test significativo ma minuscolo è un errore di interpretazione comune e costoso. Rispondi a entrambe le domande, in questo ordine. Riporta entrambi i numeri insieme, perché un team che sente solo il p-value tratterà ogni risultato significativo come pronto per il rilascio.
La via manuale in Excel
Excel gestisce questo aspetto nativamente. Il percorso dipende dal tipo di metrica che stai testando.
Disponi i due gruppi affiancati
Inserisci una colonna per variante. Per una metrica continua come le entrate per visitatore, ogni riga rappresenta il valore di un singolo visitatore. Per la conversione, ogni riga è un 1 o uno 0. Mantieni le righe grezze anziché un riepilogo, poiché le formule necessitano della variabilità sottostante.
Usa T.TEST per una metrica continua
T.TEST(array1, array2, tails, type) restituisce la probabilità associata a un test t di Student. Usa tails = 2 a meno che tu non abbia stabilito in anticipo che conta solo una direzione. Per type, usa 1 per campioni accoppiati, 2 quando i due gruppi hanno varianza uguale e 3 quando non ce l'hanno. La varianza disuguale a due campioni è l'opzione predefinita più sicura per la maggior parte dei test web.
La formula restituisce direttamente il p-value. La pagina della funzione T.TEST di Microsoft documenta gli argomenti.
Gestisci i tassi di conversione in modo diverso
La conversione è una proporzione, non una misura continua. L'approccio standard è un test z a due proporzioni, ed Excel non ha una singola funzione dedicata. Hai due opzioni praticabili.
Costruisci il test z a mano a partire dalla proporzione combinata e dall'errore standard, quindi converti il punteggio in un p-value con NORM.S.DIST. Oppure disponi i conteggi in una tabella due per due di convertiti e non convertiti per variante. Calcola i conteggi previsti, quindi usa CHISQ.TEST per ottenere il p-value.
Entrambi i metodi funzionano. Entrambi richiedono una ricostruzione ogni volta che la struttura del test cambia.
I limiti della via manuale
Ci sono tre fattori che la mettono sistematicamente in crisi.
Il solo p-value non indica l'entità dell'incremento, quindi è comunque necessario un calcolo separato dell'intervallo di confidenza. L'uso di metriche multiple moltiplica il tasso di falsi positivi e nulla nel foglio di calcolo ti avverte di questo. Inoltre, ogni nuovo test comporta la ricostruzione delle stesse formule su un'esportazione con una struttura diversa.
C'è un quarto costo facile da trascurare: chi ha creato il foglio diventa l'unica persona in grado di verificarlo.
Per un singolo test, la via manuale va benissimo. Per un programma di test settimanale, ti ritroverai a ricostruire lo stesso foglio cinquanta volte all'anno.
Come analizzare i risultati dei test A/B con Powerdrill Bloom
Se i dati del tuo test sono già in un file esportato, puoi saltare la creazione delle formule.
Passo 1: Carica i dati del tuo test
Trascina l'esportazione in formato Excel, CSV o TSV dal tuo strumento di test o dal tuo database. È possibile caricare più file contemporaneamente, consentendo di confrontare un file di eventi e uno di utenti in un unico passaggio. Il rilevamento e la pulizia delle colonne vengono eseguiti al momento del caricamento.
Passo 2: Descrivi il confronto in linguaggio naturale
Poni la domanda come faresti con un collega. Ad esempio: "confronta la conversione tra la variante A e la variante B, dimmi se la differenza è significativa e forniscimi l'intervallo di confidenza". L'agente seleziona il test appropriato per il tipo di metrica, riporta il p-value e l'intervallo, e spiega quale test ha utilizzato. Chiedi una suddivisione per segmenti ed eseguirà nuovamente il calcolo senza costringerti a ricostruire tutto.
Passo 3: Esporta il grafico, il report o la presentazione
Esporta il risultato sotto forma di grafico, inseriscilo in un riepilogo scritto o converti l'area di lavoro in diapositive per la presentazione. Gli stili Professional, Business e Fancy consentono tutti l'esportazione in PowerPoint o Notion. Per la parte visiva, lo strumento di visualizzazione dei dati copre gli altri tipi di grafici disponibili a partire dallo stesso caricamento.
Come interpretare i risultati senza sovrastimare le conclusioni
| Cosa vedi | Cosa significa | Cosa NON significa |
|---|---|---|
| p = 0.03 | Un divario così grande è improbabile in assenza di una differenza reale | Non significa che ci sia il 97% di probabilità che B sia migliore |
| p = 0.20 | Prove insufficienti per giungere a una conclusione | Non è la prova che le versioni siano identiche |
| Intervallo da −1% a +6% | L'incremento reale potrebbe essere negativo | Non si tratta di un incremento del 2.5%, anche se questo è il valore medio |
| Significativo ma con un incremento dello 0.2% | Reale, ma probabilmente non vale la pena implementarlo | Non rappresenta di per sé un successo commerciale |
| Significativo su una metrica su otto | All'incirca ciò che produce il solo caso | Non è una scoperta |
Arrotonda anche in modo onesto. Riportare un incremento con due cifre decimali implica una precisione che la dimensione del campione non supporta.
Scrivi la conclusione sotto forma di frase che includa un intervallo. "La variante B ha aumentato la conversione in una misura compresa tra l'1% e il 5%" è onesto. "La variante B vince" non lo è, a meno che l'intero intervallo non sia superiore a zero.
Errori comuni
Interrompere il test non appena appare significativo. Controllare ripetutamente e fermarsi al primo momento favorevole aumenta drasticamente i falsi positivi. Stabilisci in anticipo la dimensione del campione e la data di fine, poi attendi.
Testare otto metriche e riportare quella vincente. Con un numero sufficiente di metriche, qualcosa supererà lo 0.05 per puro caso. Definisci chiaramente la metrica principale fin dall'inizio e considera il resto como contesto.
Ignorare il denominatore. Campioni di piccole dimensioni producono variazioni percentuali apparentemente spettacolari. Mostra sempre i conteggi accanto ai tassi.
Segmentare a posteriori finché non emerge qualcosa di utile. Suddividere per dispositivo, paese e canale finché un segmento non risulta significativo è lo stesso problema sotto un'altra forma. Pre-registra i segmenti che ti interessano.
Confrontare gruppi che non sono mai stati comparabili. Se il traffico è stato suddiviso in modo non uniforme, o se le varianti sono state testate in giorni diversi, la differenza misurata includerà anche questo squilibrio.
Considerare un risultato nullo come un fallimento. Un test che non mostra differenze fornisce un'informazione reale. Ti evita di rilasciare una modifica che richiede sforzi e non porta alcun ritorno.
In sintesi
L'analisi dei risultati dei test A/B si riduce a due risposte: se la differenza è reale e se è abbastanza grande da essere rilevante. Excel ti fornisce la prima risposta con T.TEST e ti costringe a costruire la seconda. Le proporzioni richiedono un test diverso rispetto alle metriche continue, ed è proprio questo il passaggio che la maggior parte delle persone salta.
Se esegui test regolarmente, la ricostruzione manuale è la parte da eliminare. Prova Powerdrill Bloom gratuitamente — carica l'esportazione, richiedi il confronto in linguaggio naturale ed esporta il resoconto. Per le opzioni relative agli strumenti, consulta gli strumenti IA per l'analisi dei test A/B, e per le basi, come eseguire statistiche descrittive.
Domande frequenti
Come faccio a sapere se i risultati del mio test A/B sono significativi?
Confronta i due gruppi sulla tua metrica principale e calcola un p-value. Un valore inferiore a 0.05 è la soglia abituale per considerare improbabile che una differenza sia dovuta al caso. Associalo a un intervallo di confidenza, poiché la sola significatività non dice nulla sull'entità della differenza.
Posso analizzare i risultati dei test A/B in Excel?
Sì. Usa T.TEST per metriche continue come le entrate per visitatore. I tassi di conversione sono proporzioni, quindi richiedono un test z a due proporzioni o un test chi-quadrato su una tabella di conteggio due per due. Excel non dispone di una singola funzione integrata per il test a due proporzioni.
Di quale dimensione del campione ho bisogno per un test A/B?
Dipende dal tuo tasso di base e dal più piccolo incremento che vale la pena rilevare. Incrementi previsti più piccoli richiedono campioni molto più grandi. Calcola l'obiettivo prima del lancio, quindi prosegui fino a raggiungere quel numero anziché fermarti quando il risultato sembra favorevole.
Cosa mi dice effettivamente un p-value?
Fornisce la probabilità di osservare una differenza grande almeno quanto quella rilevata se le due versioni avessero realmente le stesse prestazioni. Un p-value basso significa che il caso è una spiegazione improbabile. Non rappresenta la probabilità che la tua variante sia migliore.
Perché il mio test A/B non ha mostrato alcuna differenza?
Ci sono tre motivi comuni. Il campione era troppo piccolo per rilevare l'effetto, la modifica era troppo impercettibile per spostare il comportamento, oppure non vi è realmente alcuna differenza. Un risultato nullo è una scoperta reale e ti protegge dal rilascio di qualcosa che non porta alcun beneficio.