Cos'è la significatività statistica? Definizione, esempi e limiti (2026)
La significatività statistica indica che è improbabile che un risultato sia dovuto solo al caso, assumendo che non vi sia alcun effetto reale. Di solito viene dichiarata quando il p-value scende sotto 0.05. Questa soglia è una convenzione adottata per comodità, non una proprietà della natura. Inoltre, un risultato significativo non equivale a un risultato importante.
Queste due frasi racchiudono la maggior parte degli errori commessi nella pratica con questo concetto. I team considerano lo 0.05 come un voto di sufficienza e la significatività come una prova dell'impatto, ed entrambe le interpretazioni portano a decisioni prese con sicurezza ma basate su pochissimo.
Questa guida spiega a cosa risponde effettivamente il p-value, da dove proviene la soglia e come viene costruito un test. Si conclude con le quattro cose che la significatività non può assolutamente dirti.
Cos'è la significatività statistica?
La significatività statistica è un'affermazione sulla sorpresa, non sulla verità. Si parte dal presupposto che non stia accadendo nulla — che i due gruppi siano identici o che le variabili non siano correlate. Questa ipotesi di partenza è l'ipotesi nulla.
Poi ci si chiede: se l'ipotesi nulla fosse vera, con quale frequenza osserverei dati estremi almeno quanto i miei? Se la risposta è "raramente", i dati osservati sono difficili da conciliare con l'ipotesi di partenza, e quindi la si rifiuta.
Questa è l'intera logica. Nota cosa non include. Non c'è alcuna affermazione su quanto sia grande l'effetto, su quanto sia probabile che la tua ipotesi sia vera o se il risultato sia importante per qualcuno.
A cosa risponde effettivamente il p-value
Il p-value è la probabilità di osservare dati estremi almeno quanto i tuoi, assumendo che l'ipotesi nulla sia vera.
Questa clausola condizionale ha un peso enorme, e viene quasi sempre tralasciata. Un p-value di 0.03 non significa che ci sia il 3% di possibilità che il risultato sia un caso. E non significa nemmeno che ci sia il 97% di probabilità che la tua ipotesi sia corretta. Significa che: se non ci fosse davvero alcun effetto, dati così estremi si presenterebbero circa il 3% delle volte.
La distinzione sembra accademica finché non cambia una decisione. Esegui venti test indipendenti su un set di dati senza alcun effetto reale e otterrai comunque circa un risultato "significativo". Il cinque percento di nulla è pur sempre qualcosa. Non si tratta di un errore matematico. È proprio ciò che comporta una soglia del 5%.
Da dove proviene la soglia di 0.05
Non esiste una derivazione matematica. Il limite di 0.05 è entrato nell'uso comune per convenzione nella pratica statistica dell'inizio del XX secolo ed è rimasto perché era comodo e tutti gli altri lo usavano.
Questo è importante per capire come interpretare i risultati borderline. Un p-value di 0.049 e uno di 0.051 descrivono prove quasi identiche, eppure uno viene definito significativo e l'altro no. Considerare quel confine come una linea netta tra reale e non reale è l'abuso più comune di questo concetto.
Riporta il p-value effettivo anziché indicare solo se ha superato la soglia. In questo modo, i lettori potranno valutare autonomamente la solidità delle prove.
Come si testa la significatività
L'ipotesi nulla
Definisci con precisione l'assunzione di assenza di effetto prima di guardare i risultati. "La versione B ha lo stesso tasso di conversione della versione A" è verificabile. "La versione B è migliore" non lo è, perché non specifica cosa costituirebbe una prova contraria.
La statistica del test
Scegli un test adatto ai dati. Il confronto tra le medie di due gruppi richiede solitamente un t-test; il confronto delle proporzioni richiede un test z o un test del chi-quadrato su una tabella di contingenza. L'uso del test sbagliato produce un numero che sembra legittimo ma non lo è.
Il p-value e la decisione
Il test converte i tuoi dati in un p-value. Confrontalo con la soglia stabilita prima di eseguire il test. Scegliere la soglia a posteriori, o eseguire ripetutamente il test finché non la supera, invalida l'intera procedura.
Significatività statistica vs. significatività pratica
| Significatività statistica | Significatività pratica | |
|---|---|---|
| Domanda a cui risponde | Potrebbe essere un caso? | Vale la pena agire di conseguenza? |
| Dipende dalle dimensioni del campione | Fortemente | Per nulla |
| Espresso come | p-value | Dimensione dell'effetto, intervallo di confidenza |
| Si può ottenere | Raccogliendo più dati | Solo grazie a un effetto reale |
L'ultima riga è quella da ricordare. Con un campione sufficientemente grande, quasi ogni differenza diventa statisticamente significativa, comprese quelle troppo piccole per avere importanza. Un miglioramento della conversione dello 0.02% su dieci milioni di utenti supererà qualsiasi soglia desiderata, ma non varrà comunque il tempo di sviluppo necessario.
Ecco perché la dimensione dell'effetto dovrebbe sempre accompagnare ogni p-value. La significatività indica che l'effetto probabilmente non è pari a zero; la dimensione dell'effetto dice se a qualcuno dovrebbe importare.
Cosa non ti dice la significatività statistica
Quanto è grande l'effetto. Il p-value si riduce all'aumentare delle dimensioni del campione, indipendentemente dall'entità della differenza sottostante. Non è una misura di grandezza.
Quanto è probabile la tua ipotesi. Il p-value viene calcolato assumendo che l'ipotesi nulla sia valida. Non può quindi fare marcia indietro e dirti la probabilità che non lo sia. Rispondere a questa domanda richiede un approccio completamente diverso.
Se il risultato si ripeterà. Un singolo risultato significativo in un unico campione è una prova debole. È la replicabilità che lo trasforma in una scoperta scientifica.
Se il design dello studio era corretto. Il test di significatività presuppone che i dati siano stati raccolti correttamente. Un campione distorto produce una risposta sicuramente significativa ma sicuramente errata, e nessun rigore statistico a valle potrà rimediare.
Errori comuni nel riportare la significatività
Riportare solo se ha superato lo 0.05. Pubblica il p-value effettivo. "p = 0.048" e "p = 0.052" dicono al lettore molto più di "significativo" e "non significativo". Questa coppia di etichette implica una differenza di evidenza che in realtà non esiste.
Eseguire il test finché non viene superato. Controllare i risultati quotidianamente e fermarsi quando il p-value scende sotto la soglia garantisce prima o poi un risultato significativo, che vi sia o meno un effetto. Stabilisci in anticipo le dimensioni del campione.
Testare molte varianti senza apportare modifiche. Confrontare cinque varianti con un controllo equivale a cinque test, e la probabilità di almeno un falso positivo è molto superiore al 5%. Esistono correzioni apposite proprio per questo.
Interpretare un risultato non significativo come assenza di effetto. Un test con potenza insufficiente non troverà nulla, indipendentemente dalla presenza o meno di un effetto. Riporta l'intervallo di confidenza in modo che i lettori possano vedere quali dimensioni dell'effetto rimangono plausibili.
Omettere la dimensione dell'effetto. La significatività indica che l'effetto probabilmente non è pari a zero. Solo la dimensione dell'effetto dice se vale la pena fare qualcosa al riguardo, e solo un intervallo di confidenza mostra con quale precisione lo hai individuato.
Come testare la significatività sui tuoi dati con Powerdrill Bloom
Passo 1: Carica i tuoi dati
Carica il file dei risultati — esportazioni di esperimenti, risposte a sondaggi o record di transazioni. Powerdrill Bloom analizza il profilo delle colonne, rendendo visibili le dimensioni dei gruppi e i valori mancanti prima dell'esecuzione di qualsiasi test.
Passo 2: Descrivi il test in linguaggio naturale
Indica cosa stai confrontando e di che tipo di misura si tratta. Confronta i tassi di conversione tra questi due gruppi e indica se la differenza è significativa. Richiedi la dimensione dell'effetto e l'intervallo di confidenza insieme al p-value. Chiedi anche se i presupposti del test sono validi per questi dati, anziché darlo per scontato.
Passo 3: Esporta il grafico, il report o la presentazione
Esporta il grafico di confronto, una tabella con il p-value e l'intervallo di confidenza, o un riepilogo scritto per la revisione.
Conclusione
La significatività statistica risponde a una sola domanda specifica: questo risultato potrebbe plausibilmente derivare solo dal caso? È davvero utile per questo, e inutile per tutto il resto che le persone le chiedono. La soglia di 0.05 è una convenzione, un risultato significativo può essere irrilevante e un risultato non significativo non è la prova che non sia successo nulla.
Se letta insieme alla dimensione dell'effetto e a un intervallo di confidenza, svolge un lavoro concreto. Se desideri questo trio senza dover impostare i test manualmente, prova Powerdrill Bloom sul tuo file dei risultati. Vedi anche la nostra pagina delle auto insights, la guida per analizzare i risultati dei test A/B senza uno statistico, eseguire statistiche descrittive e condurre un t-test con l'IA.
Domande frequenti
Cosa significa statisticamente significativo in parole semplici?
Significa che sarebbe improbabile che il risultato si presentasse se non ci fosse un effetto reale. Non significa che l'effetto sia grande o importante — solo che il caso da solo non è una spiegazione sufficiente per ciò che hai osservato.
Cos'è un p-value?
La probabilità di osservare dati estremi almeno quanto i tuoi, assumendo che l'ipotesi nulla sia vera. Non è la probabilità che la tua ipotesi sia corretta, né la possibilità che il risultato sia un caso.
Perché si usa 0.05 como livello di significatività?
Si tratta di una convenzione derivante dalla pratica statistica dell'inizio del XX secolo, piuttosto che di un valore derivato matematicamente. Poiché è arbitrario, un p-value di 0.049 e uno di 0.051 rappresentano prove quasi identiche, nonostante si trovino su lati opposti della soglia.
Un risultato può essere significativo ma non importante?
Sì, e accade continuamente con campioni di grandi dimensioni. Un campione sufficientemente grande rende statisticamente significative anche differenze minime, motivo per cui la dimensione dell'effetto dovrebbe sempre essere riportata accanto al p-value.
Cosa significa se il mio risultato non è significativo?
Significa che i tuoi dati non forniscono prove solide contro l'ipotesi nulla — non che l'ipotesi nulla sia vera. Un test con potenza insufficiente può mancare completamente un effetto reale, quindi un non-risultato è spesso un'indicazione sulle dimensioni del campione.