Nel condurre un test di significatività o test di ipotesi, ci sono due numeri che sono facili da confondere. Questi numeri possono essere facilmente confusi perché sono entrambi numeri compresi tra zero e uno e sono entrambe probabilità. Un numero è chiamato il valore p della statistica test. L'altro numero di interesse è il livello di significatività o alfa. Esamineremo queste due probabilità e determineremo la differenza tra di loro.
Il numero alfa è il valore di soglia su cui misuriamo i valori di p. Ci dice quanto devono essere estremi i risultati osservati per respingere l'ipotesi nulla di un test di significatività.
Il valore di alfa è associato al livello di confidenza del nostro test. Di seguito sono elencati alcuni livelli di confidenza con i relativi valori di alfa:
Sebbene in teoria e in pratica molti numeri possano essere usati per l'alfa, il più comunemente usato è 0,05. La ragione di ciò è perché il consenso mostra che questo livello è appropriato in molti casi e, storicamente, è stato accettato come standard. Tuttavia, ci sono molte situazioni in cui dovrebbe essere usato un valore inferiore di alfa. Non esiste un singolo valore di alfa che determina sempre il significato statistico.
Il valore alfa ci dà la probabilità di un errore di tipo I. Gli errori di tipo I si verificano quando rifiutiamo un'ipotesi nulla che sia effettivamente vera. Pertanto, a lungo termine, per un test con un livello di significatività di 0,05 = 1/20, un'ipotesi nulla reale verrà respinta una su ogni 20 volte.
L'altro numero che fa parte di un test di significatività è un valore p. Un valore p è anche una probabilità, ma proviene da una fonte diversa rispetto all'alfa. Ogni statistica del test ha una probabilità o un valore p corrispondente. Questo valore è la probabilità che la statistica osservata si sia verificata per caso da sola, supponendo che l'ipotesi nulla sia vera.
Poiché esistono diverse statistiche di test, esistono diversi modi per trovare un valore p. In alcuni casi, dobbiamo conoscere la distribuzione di probabilità della popolazione.
Il valore p della statistica del test è un modo per dire quanto sia estrema questa statistica per i nostri dati campione. Più piccolo è il valore p, più è improbabile il campione osservato.
Per determinare se un risultato osservato è statisticamente significativo, confrontiamo i valori di alfa e valore p. Esistono due possibilità:
L'implicazione di quanto sopra è che minore è il valore di alfa, più difficile è affermare che un risultato è statisticamente significativo. D'altra parte, maggiore è il valore di alfa è più facile è affermare che un risultato è statisticamente significativo. Insieme a questo, tuttavia, c'è la maggiore probabilità che ciò che abbiamo osservato possa essere attribuito al caso.