Vai al contenuto

Problema dei dati mancanti

Da Wikipedia, l'enciclopedia libera.

In statistica e apprendimento automatico, il problema dei dati mancanti si verifica quando non è disponibile alcun valore per una variabile in un'osservazione. È un caso comune che può avere un effetto significativo sulle conclusioni che si possono trarre dai dati.

Il problema può sorgere a causa di risposte mancate: non vengono fornite informazioni su uno o più elementi o sull'intera unità (“oggetto”). Per alcuni elementi è più probabile generare una mancata risposta rispetto ad altri: ad esempio informazioni su questioni private come il reddito. L'attrito è un fenomeno che può verificarsi negli studi longitudinali, ad esempio quando si studia lo sviluppo di un soggetto e si ripetono le misurazioni dopo un certo periodo di tempo. Si ha un fenomeno di attrito quando i partecipanti abbandonano lo studio prima della sua conclusione e vengono a mancare una o più misurazioni.

Spesso il problema si verifica nelle ricerche in economia, sociologia e scienze politiche perché enti governativi o privati scelgono di non comunicare dati statistici importanti o non riescono a farlo,[1] o perché l’informazione non è disponibile. A volte il problema è causato dal ricercatore, ad esempio quando la raccolta dati viene fatta in modo non appropriato o si fanno errori in fase di data entry.[2]

Tali forme di mancanza assumono tipologie diverse, con differenti impatti sulla validità delle conclusioni della ricerca: mancanza completamente causale (Missing completely at random, MCAR), mancanza casuale (missing at random, MAR) e mancanza non casuale (missing not at random, MNAR). Dati mancanti possono essere trattati in modo simile ai dati censurati.

Tipologie

[modifica | modifica wikitesto]

Capire le ragioni per la mancanza di dati è importante per gestire correttamente i restanti dati. Se i valori mancano in modo completamente casuale, il campione di dati è probabilmente ancora rappresentativo della popolazione. Se invece i valori mancano in modo sistematico, la loro analisi potrebbe risultare distorta. Ad esempio, in uno studio sulla relazione tra QI e reddito, se i partecipanti con un QI superiore alla media tendono a saltare la domanda “Qual è il tuo stipendio?”, analisi che non tengano conto di questa mancanza casuale (modello MAR, citato più avanti) potrebbero erroneamente non riuscire a trovare una correlazione positiva tra QI e stipendio. A causa di questi problemi, gli esperti abitualmente raccomandano ai ricercatori di progettare gli studi in modo da ridurre al minimo la presenza di valori mancanti.[2] È possibile utilizzare modelli grafici per descrivere in dettaglio il meccanismo alla base dei dati mancanti.[3][4]

Mancanza completamente casuale

[modifica | modifica wikitesto]

In un insieme di dati, i valori sono detti «mancanti in modo completamente casuale» (MCAR) se gli eventi che determinano la mancanza di un particolare dato sono indipendenti sia dalle variabili osservabili sia dai parametri non osservabili di interesse e si verificano in modo del tutto casuale.[5] Quando i dati sono MCAR, analisi condotte su di essi non sono affette da distorsione; tuttavia, raramente i dati sono MCAR.

Nel caso MCAR, la mancanza di dati non è correlata ad alcuna variabile dello studio: pertanto, i partecipanti con dati completamente osservati costituiscono di fatto un campione casuale di tutti i partecipanti a cui è stato assegnato un determinato intervento. Con MCAR si presume che l'assegnazione casuale dei trattamenti sia preservata, ma nella pratica si tratta solitamente di un'ipotesi eccessivamente ottimistica.[6]

Mancanza casuale

[modifica | modifica wikitesto]

Il fenomeno del «dati mancanti in modo non casuale» (MAR) si verifica quando i dati mancanti non sono casuali, ma possono essere interamente spiegati dalle variabili per le quali sono disponibili informazioni complete.[7] Poiché il MAR è un presupposto impossibile da verificare statisticamente, ci si deve basare sostanzialmente sulla sua ragionevolezza.[8] Un esempio è dato dal fatto che gli uomini sono meno propensi a compilare questionari sulla depressione, ma ciò non ha nulla a che vedere con il loro livello di depressione, una volta tenuto conto del fatto che si tratta di uomini. A seconda del metodo di analisi, questi dati possono comunque indurre un bias sui parametri analitici a causa della possibile assenza di dati in alcune celle (ad esempio, la categoria “uomini con livello di depressione molto elevato” potrebbe non presentare alcuna risposta). Tuttavia, se il parametro viene stimato con il metodo della massima verosimiglianza a informazione completa (Full Information Maximum Likelihood), il metodo MAR fornirà stime asintoticamente non distorte.

Il grafico mostra le distribuzioni di probabilità delle stime dell'intensità attesa della depressione nella popolazione. Il numero di casi è pari a 60. Supponiamo che la distribuzione della popolazione reale sia una distribuzione normale standard e che la probabilità di mancata risposta sia una funzione logistica dell'intensità della depressione. La conclusione è la seguente: maggiore è il numero di dati mancanti (MNAR), più le stime risultano distorte. Si tende a sottostimare l'intensità della depressione nella popolazione.

Mancanza non casuale

[modifica | modifica wikitesto]

Il concetto di «dati mancanti non casuali» (MNAR) (noto anche come «mancata risposta non ignorabile») si riferisce a dati che non sono né MAR né MCAR (ovvero, il valore della variabile mancante è correlato al motivo per cui è mancante).[5] Per continuare con l'esempio precedente, ciò si verificherebbe se gli uomini non compilassero un questionario sulla depressione proprio a causa del loro livello di depressione.

È stato illustrato come la mancanza e/o la distorsione dei dati relativi alla demografia, alla sicurezza e alla salute pubblica possano costituire indicatori di possibili violazioni dei diritti umani di cui sono stati forniti diversi esempi ben documentati.[9]

Mancanza strutturata

[modifica | modifica wikitesto]

Dati mancanti possono anche presentarsi in modi sottili che non trovano una spiegazione adeguata nella teoria classica. Si sta verificando sempre più spesso il caso di dati che potrebbero non essere MAR, ma i valori mancanti mostrano un'associazione o una struttura, sia esplicita che implicita. Tale fenomeno è stato definito «mancanza strutturata».[10]

Il fenomeno della mancanza strutturata si verifica comunemente quando si combinano informazioni provenienti da più studi, ciascuno dei quali può distinguersi per il progetto e l'insieme delle misurazioni e, di conseguenza, contenere solo un sottoinsieme di variabili rispetto all'insieme delle modalità di misurazione. In queste situazioni, la mancanza di valori può essere correlata alle diverse metodologie di campionamento utilizzate per raccogliere i dati o riflettere le caratteristiche della popolazione di interesse più ampia e può quindi fornire informazioni utili. Ad esempio, in ambito sanitario, il fenomeno della mancanza strutturata è stata osservato come conseguenza della fusione di dati clinici, genomici e di imaging.[10]

La presenza di mancanti strutturati può costituire un ostacolo all'uso efficace dei dati su larga scala, sia attraverso i metodi statistici classici che con gli attuali metodi di apprendimento automatico. Ad esempio, potrebbero esserci distorsioni intrinseche nelle ragioni per cui alcuni dati potrebbero mancare in determinati schemi, il che potrebbe avere implicazioni sull'equità predittiva dei modelli di apprendimento automatico. Inoltre, i metodi consolidati per la gestione dei dati mancanti, come l'imputazione, di solito non tengono conto della loro struttura e quindi è necessario lo sviluppo di nuove formulazioni per affrontare la mancanza strutturata in modo appropriato o efficace. Infine, la caratterizzazione della mancanza strutturata all'interno del quadro classico di MCAR, MAR e MNAR è un obiettivo attualmente in corso di investigazione.[11]

Mancanza pianificata

[modifica | modifica wikitesto]

I dati mancanti possono anche essere una componente intenzionale del progetto dello studio. Nello specifico, la «mancanza pianificata» è una strategia di progettazione della ricerca, utilizzata nelle indagini tramite questionario, in cui alcuni dati vengono intenzionalmente omessi per i singoli intervistati (in genere somministrando a ciascun partecipante un sottoinsieme di domande selezionato in modo casuale) al fine di facilitare la compilazione ai partecipanti, pur conservando la capacità di stimare i parametri per l'insieme completo delle domande a livello di campione.[12][13]

Tecniche di gestione

[modifica | modifica wikitesto]

I dati mancanti riducono la rappresentatività del campione e possono quindi distorcere le inferenze relative alla popolazione. In linea generale, esistono tre approcci principali per gestire i dati mancanti:

  1. l'«imputazione», in cui si inseriscono dei valori al posto dei dati mancanti,
  2. l'«omissione», in cui i campioni con dati non validi vengono scartati da ulteriori analisi, e
  3. l'«analisi», che consiste nell’applicare direttamente metodi non influenzati dai valori mancanti.

Una panoramica sistematica dedicata alla prevenzione e alla gestione dei dati mancanti nella ricerca sugli esiti centrata sul paziente ha identificato dieci standard necessari per la prevenzione e la gestione dei dati mancanti. Questi includono standard relativi alla progettazione e alla conduzione dello studio, all'analisi e alla reportistica.[14]

In alcune applicazioni pratiche, i ricercatori possono controllare il livello di dati mancanti e prevenirne la comparsa prima della raccolta dei dati. Ad esempio, nei questionari online spesso non è possibile saltare una domanda. È necessario rispondere a una domanda, altrimenti non è possibile passare a quella successiva. Pertanto, i valori mancanti dovuti al partecipante vengono eliminati da questo tipo di questionario, sebbene tale metodo possa non essere consentito da un comitato etico che supervisiona la ricerca. Nella ricerca tramite sondaggi, è comune compiere diversi tentativi per contattare ogni individuo del campione, spesso inviando lettere per cercare di persuadere coloro che hanno deciso di non partecipare a cambiare idea.[15] Tuttavia, tali tecniche possono rivelarsi utili o controproducenti nel ridurre gli effetti inferenziali negativi dei dati mancanti, poiché le persone disposte a farsi convincere a partecipare dopo un iniziale rifiuto o un'assenza da casa sono probabilmente molto diverse da quelle che continueranno a rifiutare o a rimanere irraggiungibili nonostante ulteriori tentativi.[15]

Nei casi in cui è probabile che si verifichino valori mancanti, si consiglia spesso al ricercatore di prevedere l'uso di metodi di analisi dei dati che siano robusti alla presenza di dati mancanti. Un'analisi è robusta quando si ha la certezza che violazioni lievi o moderate dei presupposti fondamentali della tecnica produrranno un bias minimo o nullo, ovvero una distorsione minima o nulla nelle conclusioni tratte riguardo alla popolazione.

Imputazione

[modifica | modifica wikitesto]

Alcune tecniche di analisi dei dati non sono robuste nei confronti dei valori mancanti e richiedono di “colmare” o imputare i dati mancanti. Rubin (1987) ha sostenuto che ripetere l'imputazione anche solo poche volte (cinque o meno) migliora enormemente la qualità della stima.[2] Per molti scopi pratici, due o tre imputazioni catturano la maggior parte dell'efficienza relativa che si potrebbe ottenere con un numero maggiore di imputazioni. Tuttavia, un numero troppo esiguo di imputazioni può portare a una perdita sostanziale di potenza statistica (probabilità di identificare effetti), e alcuni studiosi raccomandano da 20 a 100 o più imputazioni.[16] Qualsiasi analisi dei dati sottoposti a imputazione multipla deve essere ripetuta per ciascuno degli insiemi di dati imputati e, in alcuni casi, le statistiche relative devono essere combinate in modo relativamente complesso.[2] L'imputazione multipla non viene applicata in alcune discipline specifiche, a causa della mancanza di formazione o malintesi al riguardo.[17] Sono stati utilizzati anche metodi come la cancellazione per liste, ma si è riscontrato che questi introducono ulteriore bias.[18] Ci si può affidare a guide specifiche che forniscono istruzioni dettagliate su come imputare i dati.[19]  

L'algoritmo EM è un approccio in cui vengono stimati (imputati) i valori delle statistiche che verrebbero calcolati se fosse disponibile l'insieme di dati completo, tenendo conto della distribuzione dei dati mancanti. In questo approccio, valori relativi a singoli dati mancanti non vengono solitamente imputati.

Interpolazione

[modifica | modifica wikitesto]

L'interpolazione è un metodo dell'analisi numerica utile a generare nuovi dati all'interno dell'intervallo di un insieme discreto di punti noti.

Nel confronto tra due campioni accoppiati con dati mancanti, una statistica di verifica che utilizza tutti i dati disponibili senza necessità di imputazione è il test t per campioni che si sovrappongano parzialmente.[20] Ciò è valido in condizioni di normalità e assumendo dati MCAR.

Cancellazione parziale

[modifica | modifica wikitesto]

Tra i metodi che prevedono la riduzione dei dati disponibili a un insieme di dati privo di valori mancanti figurano:

Analisi completa

[modifica | modifica wikitesto]

Metodi che tengono pienamente conto di tutte le informazioni disponibili, senza la distorsione derivante dall'utilizzo di valori imputati come se fossero stati effettivamente osservati:

Si possono usare anche metodi di identificazione parziale.[22]

Tecniche basate su modelli

[modifica | modifica wikitesto]

Le tecniche basate su modelli, che spesso utilizzano grafici, offrono strumenti aggiuntivi per verificare i tipi di dati mancanti (MCAR, MAR, MNAR) e per stimare i parametri in presenza di dati mancanti. Ad esempio, un test per confutare l'ipotesi MAR/MCAR si presenta come segue:

Per una generica tripla di variabili X, Y e Z dove Z è pienamente osservata mentre X e Y solo parzialmente osservate, i dati dovrebbero soddisfare la relazione:
.

In parole povere, la parte osservata di X dovrebbe essere indipendente dallo stato di mancanza di Y, a condizione che Z assuma un qualsiasi valore. Il mancato soddisfacimento di questa condizione indica che il problema rientra nella categoria MNAR.[23]

(Nota: tali verifiche sono necessarie per il caso MAR basato su variabili che rappresenta una leggera variazione del MAR basato su eventi.[24][25][26])

Quando i dati ricadono nella categoria MNAR, sono disponibili tecniche per la stima coerente dei parametri allorché sono valide alcune condizioni nel modello.[27] Ad esempio, se Y spiega la ragione per la mancanza in X, e Y stesso ha valori mancanti, si può comunque stimare la congiunta di X e Y se la mancanza in Y è casuale. Andrà stimata:

dove e denotano le porzioni osservate delle loro rispettive variabili.

Strutture di modelli diverse possono portare a diversi stime da fare e a diverse procedure di stima, purché sia possibile ottenere una stima coerente. Nel caso precedente occorre stimare prima da dati completi e poi moltiplicarla per stimata dai casi in cui Y è osservata a prescindere dallo stato di X. Inoltre, per ottenere una stima coerente è importante che il primo termine sia e non .

In molti casi le tecniche basate su modello consentire alla struttura del modello di essere sottoposta a test di confutazione.[26] Ogni modello che implichi l’indipendenza fra una variabile X parzialmente osservata e l'indicatore di mancanza di un'altra variabile Y (i.e. ), conditionatamente rispetto a può essere sottoposto al seguente test di refutazione: .

Infine, gli elementi stimabili che emergono da queste tecniche sono espressi in forma chiusa e non richiedono procedure iterative come EM, che sono soggette a ottimali locali.[28]

Una classe special di problemi emerge quando la probabilità di valori mancanti dipende dal tempo. Ad esempio, nelle banche dati sui traumi, la probabilità di perdere dati relativi all'esito del trauma dipende dal giorno successivo all'evento. In questi casi si possono applicare vari modelli a catene di Markov non stazionarie.[29]

Note

[modifica | modifica wikitesto]
  1. ↑ (EN) Steven F. Messner, Exploring the consequences of erratic data reporting for cross-national research on homicide, in Journal of Quantitative Criminology, vol. 8, n. 2, 1992-06, pp. 155–173, DOI:10.1007/BF01066742.
  2. 1 2 3 4 Herman J. Adèr, Gideon J. Mellenbergh e D. J. Hand, Advising on research methods: a consultant's companion, Johannes van Kessel, 2008, ISBN 978-90-79418-01-5.
  3. ↑ (EN) Karthika Mohan e Judea Pearl, On the Testability of Models with Missing Data, in Proceedings of the Seventeenth International Conference on Artificial Intelligence and Statistics, PMLR, 2 aprile 2014, pp. 643–650.
  4. ↑ (EN) Juha Karvanen, Study Design in Causal Models, in Scandinavian Journal of Statistics, vol. 42, n. 2, 2015-06, pp. 361–377, DOI:10.1111/sjos.12110.
  5. 1 2 Denise F. Polit e Cheryl Tatano Beck, Nursing research: generating and assessing evidence for nursing practice, 9ª ed., Wolters Kluwer, 2012, ISBN 978-1-4511-0914-6.
  6. ↑ Web Blog From Dr Deng, On Biostatistics and Clinical Trials: Missingness Mechanism (MCAR, MAR, and MNAR) - A Great Explanation of These Terms, su On Biostatistics and Clinical Trials, 5 ottobre 2012. URL consultato il 9 giugno 2026.
  7. ↑ (EN) Missing Data | LSHTM, su lshtm.ac.uk. URL consultato il 9 giugno 2026.
  8. ↑ Roderick J. A. Little e Donald B. Rubin, Statistical analysis with missing data, collana Wiley series in probability and statistics, 3ª ed., Wiley, 2020, ISBN 978-0-470-52679-8.
  9. ↑ Douglas A. Samuelson e Herbert F. Spirer, Chapter 3. Use of Incomplete and Distorted Data in Inference About Human Rights Violations, University of Pennsylvania Press, 31 dicembre 1992, pp. 62–78, DOI:10.9783/9781512802863-006, ISBN 978-1-5128-0286-3.
  10. 1 2 (EN) Robin Mitra, Sarah F. McGough e Tapabrata Chakraborti, Learning from data with structured missingness, in Nature Machine Intelligence, vol. 5, n. 1, 25 gennaio 2023, pp. 13–23, DOI:10.1038/s42256-022-00596-z.
  11. ↑ James Jackson, Robin Mitra e Niels Hagenbuch, A Complete Characterisation of Structured Missingness, 2023, DOI:10.48550/ARXIV.2307.02650.
  12. ↑ (EN) Charlene Zhang e Martin C. Yu, Planned Missingness: How to and How Much?, in Organizational Research Methods, vol. 25, n. 4, 1º ottobre 2022, pp. 623–641, DOI:10.1177/10944281211016534.
  13. ↑ (EN) Charlene Zhang e Paul R. Sackett, Planned missingness: An underused but practical approach to reducing survey and test length, in Industrial and Organizational Psychology, vol. 16, n. 1, 2023-03, pp. 129–142, DOI:10.1017/iop.2022.113.
  14. ↑ (EN) Tianjing Li, Susan Hutfless e Daniel O. Scharfstein, Standards should be applied in the prevention and handling of missing data for patient-centered outcomes research: a systematic review and expert consensus, in Journal of Clinical Epidemiology, vol. 67, n. 1, 2014-01, pp. 15–32, DOI:10.1016/j.jclinepi.2013.08.013.
  15. 1 2 Stoop, I.; Billiet, J.; Koch, A.; Fitzgerald, R., Improving survey response: lessons learned from the European Social Survey, Wiley, 2010, ISBN 978-0-470-51669-0.
  16. ↑ Graham J.W., Olchowski A.E. e Gilreath T.D., How Many Imputations Are Really Needed? Some Practical Clarifications of Multiple Imputation Theory, in Preventative Science, vol. 8, n. 3, 2007, pp. 208–213, DOI:10.1007/s11121-007-0070-9, PMID 17549635.
  17. ↑ (EN) Joost R. van Ginkel, Marielle Linting e Ralph C. A. Rippe, Rebutting Existing Misconceptions About Multiple Imputation as a Method for Handling Missing Data, in Journal of Personality Assessment, vol. 102, n. 3, 3 maggio 2020, pp. 297–308, DOI:10.1080/00223891.2018.1530680.
  18. ↑ (EN) Stef van Buuren, Flexible Imputation of Missing Data, Second Edition, 2ª ed., Chapman and Hall/CRC, 17 luglio 2018, DOI:10.1201/9780429492259, ISBN 978-0-429-49225-9.
  19. ↑ (EN) Adrienne D. Woods, Daria Gerasimova e Ben Van Dusen, Best practices for addressing missing data through multiple imputation, in Infant and Child Development, vol. 33, n. 1, 2024-01, DOI:10.1002/icd.2407.
  20. ↑ (EN) Ben Derrick, Bethan Russ e Deirdre Toher, Test statistics for the comparison of means for two samples that include both paired and independent observations, in Journal of Modern Applied Statistical Methods, vol. 16, n. 1, 1º maggio 2017, pp. 137–157, DOI:10.22237/jmasm/1493597280.
  21. ↑ Gal Chechik, Geremy Heitz e Gal Elidan, Max-margin Classification of Data with Absent Features, in J. Mach. Learn. Res., vol. 9, 1º giugno 2008, pp. 1–21, DOI:10.5555/1390681.1390682.
  22. ↑ (EN) Elie Tamer, Partial Identification in Econometrics, in Annual Review of Economics, vol. 2, n. 1, 4 settembre 2010, pp. 167–195, DOI:10.1146/annurev.economics.050708.143401.
  23. ↑ (EN) Karthika Mohan e Judea Pearl, On the Testability of Models with Missing Data, in Proceedings of the Seventeenth International Conference on Artificial Intelligence and Statistics, PMLR, 2 aprile 2014, pp. 643–650.
  24. ↑ Adnan Darwiche, Modeling and Reasoning with Bayesian Networks, Cambridge University Press, 2009, DOI:10.1017/CBO9780511811357, ISBN 978-0-521-88438-9.
  25. ↑ (EN) Richard F Potthoff, Gail E Tudor e Karen S Pieper, Can one assess whether missing data are missing at random in medical studies?, in Statistical Methods in Medical Research, vol. 15, n. 3, 2006-06, pp. 213–234, DOI:10.1191/0962280206sm448oa.
  26. 1 2 Judea Pearl e Karthika Mohan, Recoverability and Testability of Missing data: Introduction and Summary of Results (PDF), UCLA Computer Science Department, R-417, 2013.
  27. ↑ Karthika Mohan, Judea Pearl e Jin Tian, Graphical Models for Inference with Missing Data, in Advances in Neural Information Processing Systems, vol. 26, Curran Associates, Inc., 2013.
  28. ↑ K. Mohan, G. Van den Broeck, A. Choi e J. Pearl, An Efficient Method for Bayesian Network Parameter Learning from Incomplete Data, in Presented at Causal Modeling and Machine Learning Workshop, ICML-2014, 2014.
  29. ↑ (EN) E.M. Mirkes, T.J. Coats e J. Levesley, Handling missing data in large healthcare dataset: A case study of unknown trauma outcomes, in Computers in Biology and Medicine, vol. 75, 2016-08, pp. 203–216, DOI:10.1016/j.compbiomed.2016.06.004.

Letture ulteriori

[modifica | modifica wikitesto]
  Portale Statistica: accedi alle voci di Wikipedia che trattano di Statistica
Estratto da "https://it.wikipedia.org/w/index.php?title=Problema_dei_dati_mancanti&oldid=151791766"