Cosa sono le recinzioni interne ed esterne?

Una caratteristica di un set di dati che è importante determinare è se contiene valori anomali. I valori anomali sono intuitivamente considerati valori nel nostro insieme di dati che differiscono notevolmente dalla maggior parte del resto dei dati. Naturalmente, questa comprensione degli outlier è ambigua. Per essere considerato un valore anomalo, quanto dovrebbe deviare il valore dal resto dei dati? Quello che un ricercatore chiama un outlier si abbinerà a quello di un altro? Al fine di fornire una certa coerenza e una misura quantitativa per la determinazione dei valori anomali, utilizziamo recinzioni interne ed esterne.

Per trovare le recinzioni interne ed esterne di un insieme di dati, abbiamo prima bisogno di alcune altre statistiche descrittive. Inizieremo calcolando i quartili. Ciò porterà all'intervallo interquartile. Alla fine, con questi calcoli alle nostre spalle, saremo in grado di determinare le recinzioni interne ed esterne.

quartili

Il primo e il terzo quartile fanno parte del riepilogo di cinque numeri di qualsiasi set di dati quantitativi. Iniziamo trovando la mediana o il punto intermedio dei dati dopo che tutti i valori sono elencati in ordine crescente. I valori inferiori alla mediana corrispondono a circa la metà dei dati. Troviamo la mediana di questa metà del set di dati, e questo è il primo quartile.

Allo stesso modo, ora consideriamo la metà superiore del set di dati. Se troviamo la mediana per questa metà dei dati, allora abbiamo il terzo quartile. Questi quartili prendono il nome dal fatto che hanno diviso il set di dati in quattro parti o quarti di dimensioni uguali. Quindi, in altre parole, circa il 25% di tutti i valori dei dati è inferiore al primo quartile. Allo stesso modo, circa il 75% dei valori dei dati è inferiore al terzo quartile.

Intervallo interquartile

Successivamente è necessario trovare l'intervallo interquartile (IQR). Questo è più facile da calcolare rispetto al primo quartile q₁ e il terzo quartile q₃. Tutto quello che dobbiamo fare è prendere la differenza di questi due quartili. Questo ci dà la formula:

IQR = Q₃ - Q₁

L'IQR ci dice quanto è estesa la metà centrale del nostro set di dati.

Trova le recinzioni interne

Ora possiamo trovare le recinzioni interne. Iniziamo con il QI e moltipliciamo questo numero per 1,5. Quindi sottraggiamo questo numero dal primo quartile. Aggiungiamo anche questo numero al terzo quartile. Questi due numeri formano il nostro recinto interno.

Trova le recinzioni esterne

Per i recinti esterni, iniziamo con l'IQR e moltiplichiamo questo numero per 3. Quindi sottraggiamo questo numero dal primo quartile e lo aggiungiamo al terzo quartile. Questi due numeri sono i nostri recinti esterni.

Rilevare valori anomali

Il rilevamento di valori anomali ora diventa facile come determinare dove si trovano i valori dei dati in riferimento ai nostri recinti interni ed esterni. Se un singolo valore di dati è più estremo di uno dei nostri recinti esterni, allora questo è un valore anomalo e talvolta viene definito un valore erratico. Se il nostro valore di dati è compreso tra una recinzione interna ed esterna corrispondente, questo valore è un valore anomalo sospetto o un valore erratico lieve. Vedremo come funziona con l'esempio di seguito.

Esempio

Supponiamo di aver calcolato il primo e il terzo quartile dei nostri dati e di aver trovato questi valori rispettivamente a 50 e 60. L'intervallo interquartile IQR = 60 - 50 = 10. Successivamente, vediamo che 1,5 x IQR = 15. Ciò significa che le recinzioni interne sono a 50-15 = 35 e 60 + 15 = 75. Questo è 1,5 x IQR inferiore al primo quartile e più del terzo quartile.

Calcoliamo ora 3 x IQR e vediamo che questo è 3 x 10 = 30. I recinti esterni sono 3 x IQR più estremi del primo e del terzo quartile. Ciò significa che i recinti esterni sono 50-30 = 20 e 60 + 30 = 90.

Tutti i valori di dati inferiori a 20 o superiori a 90 sono considerati anomali. Qualsiasi valore di dati compreso tra 29 e 35 o tra 75 e 90 è sospetto di valori anomali.