Il test di ipotesi è un processo scientifico diffuso utilizzato nelle discipline statistiche e delle scienze sociali. Nello studio delle statistiche, si ottiene un risultato statisticamente significativo (o uno con significatività statistica) in un test di ipotesi quando il valore p è inferiore al livello di significatività definito. Il valore p è la probabilità di ottenere una statistica del test o un risultato del campione estremo o più estremo di quello osservato nello studio, mentre il livello di significatività o alfa indica a un ricercatore quanto devono essere risultati estremi per respingere l'ipotesi nulla. In altre parole, se il valore p è uguale o inferiore al livello di significatività definito (tipicamente indicato con α), il ricercatore può tranquillamente presumere che i dati osservati siano incoerenti con l'assunto che l'ipotesi nulla sia vera, nel senso che il l'ipotesi nulla, o la premessa che non esiste alcuna relazione tra le variabili testate, può essere respinta.
Respingendo o confutando l'ipotesi nulla, un ricercatore sta concludendo che esiste una base scientifica per ritenere che ci sia una relazione tra le variabili e che i risultati non siano dovuti a errori o possibilità di campionamento. Mentre rifiutare l'ipotesi nulla è un obiettivo centrale nella maggior parte degli studi scientifici, è importante notare che il rifiuto dell'ipotesi nulla non equivale alla prova dell'ipotesi alternativa del ricercatore.
Il concetto di significatività statistica è fondamentale per la verifica delle ipotesi. In uno studio che prevede il prelievo di un campione casuale da una popolazione più ampia nel tentativo di dimostrare alcuni risultati che possono essere applicati alla popolazione nel suo insieme, esiste il potenziale costante che i dati dello studio siano il risultato di un errore di campionamento o di una semplice coincidenza o caso. Determinando un livello di significatività e verificando il valore p rispetto ad esso, un ricercatore può confermare o rifiutare con fiducia l'ipotesi nulla. Il livello di significatività, nel più semplice dei termini, è la probabilità soglia di rifiutare erroneamente l'ipotesi nulla quando in realtà è vera. Questo è anche noto come tasso di errore di tipo I. Il livello di significatività o alfa è quindi associato al livello di confidenza generale del test, il che significa che maggiore è il valore di alfa, maggiore è la confidenza nel test.
Un errore di tipo I, o un errore del primo tipo, si verifica quando l'ipotesi nulla viene respinta quando in realtà è vera. In altre parole, un errore di tipo I è paragonabile a un falso positivo. Gli errori di tipo I vengono controllati definendo un livello appropriato di significatività. Le migliori pratiche nel test dell'ipotesi scientifica richiedono di selezionare un livello di significatività prima ancora che inizi la raccolta dei dati. Il livello di significatività più comune è 0,05 (o 5%), il che significa che esiste una probabilità del 5% che il test subisca un errore di tipo I rifiutando una vera ipotesi nulla. Al contrario, questo livello di significatività si traduce in un livello di confidenza del 95%, il che significa che nel corso di una serie di test di ipotesi, il 95% non comporterà un errore di tipo I.