Dimensione dell'effetto

La dimensione dell'effetto, nota anche come efficacia dell'effetto, indica l'entità di un effetto empirico quantificabile con l'ausilio di parametri statistici e viene utilizzata per evidenziare la rilevanza pratica dei risultati dei test di verifica d'ipotesi. Esistono molteplici misure della dimensione dell'effetto.

Definizione

Esistono diversi modi per misurare l'efficacia. Secondo lo psicologo Jacob Cohen, per misurare l'intensità dell'effetto dovrebbe valere quanto segue:

1. si tratta di un numero adimensionale,
2. non dipende dall'unità di misura dei dati di partenza,,
3. a differenza dei test statistici di verifica di ipotesi, è indipendente dalla numerosità del campione e
4. il suo valore dovrebbe tendere a zero quando non è stata rifiutata l'ipotesi nulla del test statistico rilevato.

Esempio

Si confronti il quoziente di intelligenza dei bambini che sono stati istruiti secondo un nuovo metodo con quello dei bambini che sono stati istruiti secondo il metodo tradizionale. Se in ognuno dei due campioni è stato registrato un numero molto elevato di bambini, anche differenze di soli 0,1 punti di QI tra i due gruppi possono diventare significative. Tuttavia, nonostante un risultato significativo del test, una differenza di 0,1 punti di QI non comporta quasi nessun miglioramento.

Basandosi esclusivamente sulla significatività (valore p) del risultato, si potrebbe concludere che il nuovo metodo produce un miglioramento delle prestazioni intellettuali e che il vecchio metodo didattico dovrebbe essere abolito anche a fronte di un costo potenzialmente elevato, sebbene l'effetto effettivamente ottenuto – un aumento di 0,1 punti – difficilmente potrebbe giustificare tale spesa.

Utilizzo nella ricerca

La dimensione dell'effetto indica negli esperimenti scientifici (in particolare in medicina, scienze sociali e psicologia), l'entità dell'influenza di un fattore sperimentale. Nei modelli di regressione, funge da indicatore dell'influenza di una variabile sulla variabile spiegata. Gli effetti vengono calcolati nelle meta-analisi per poter comparare i risultati di diversi studi in un'unità di misura uniforme, che è appunto la dimensione dell'effetto.

Essa può essere calcolata dopo uno studio per poter confrontare le differenze tra gruppi eterogenei in una misura standardizzata.

Tuttavia, può anche essere utile stabilire una dimensione minima-soglia critica dell'effetto prima di eseguire uno studio o un test di ipotesi. Supponiamo che sia stato condotto un esperimento con un fattore che ha un effetto molto limitato sul parametro studiato. Un successivo test statistico basato su un campione molto ampio sarà comunque molto probabilmente significativo. Il conseguente rifiuto dell'ipotesi nulla potrebbe indurre a ritenere che il fattore studiato abbia un significato pratico. Tuttavia, la piccola dimensione dell'effetto indica che non è così.

Significatività statistica

Nell'applicazione pratica dei test statistici, un valore p basso è spesso associato a un alto potere (forza) dell'effetto. È vero che, mantenendo invariati gli altri parametri di un di test di ipotesi (dimensione del campione, livello di significatività scelto, selettività-potere richiesti), un valore p più basso è associato a una maggiore potere dell'effetto. Tuttavia, questo è solo la probabilità di errore e il suo valore concreto dipende dal test di ipotesi specifico (o dalle distribuzioni sottostanti) e dalla dimensione del campione (campioni più grandi generano sistematicamente valori p più piccoli), quindi non è significativo per i confronti tra i risultati di test diversi o campioni di dimensioni diverse. Ci si aspetta però che una misura dell'efficacia possa essere utilizzata in modo significativo per tali confronti.

È possibile, ad esempio nell'esecuzione di una meta-analisi, determinare un'efficacia associata da una certa probabilità di errore, se la dimensione del campione è nota. Un test statistico consiste essenzialmente nel verificare, sulla base di una distribuzione campionaria specifica (preferibilmente non centrale) per il test di ipotesi utilizzato (ad esempio nel test F per un'analisi della varianza o nel test t) per verificare se il valore empirico della statistica sia plausibile (o non plausibile), supponendo che una specifica ipotesi nulla da verificare sia corretta. Dalla probabilità di errore data, dalle informazioni sulla dimensione del campione e da altri parametri necessari della distribuzione scelta, è quindi possibile calcolare la forza dell'effetto associato al risultato del test. Allo stesso modo, un livello di significatività fissato può essere utilizzato per fornire una stima della forza minima dell'effetto necessaria perché il livello di significatività prescelto possa essere mantenuto per una data dimensione del campione.

Nella teoria dei test di Fisher, il valore p può rappresentare una dimensione dell'effetto, poiché un valore p basso viene interpretato come un'alta probabilità che l'ipotesi di ricerca sia vera. Tuttavia, a causa della standardizzazione delle statistiche di test, aumentando la dimensione del campione è possibile “rendere” significativo qualsiasi effetto. Secondo Neyman-Pearson, tuttavia, occorre tenere conto del fatto che l'accettazione dell'ipotesi di ricerca comporta sempre il rifiuto dell'ipotesi nulla. Un risultato che diventa altamente significativo nell'ipotesi nulla può essere ancora più improbabile nell'ipotesi di ricerca, poiché la selettività si riduce drasticamente. Il valore p non è quindi adatto come grandezza dell'effetto, poiché l'effetto nell'ipotesi di ricerca può essere troppo piccolo per avere un significato pratico.

Indici di misura dell'efficacia

Il coefficiente di correlazione di Bravais-Pearson r è uno degli indici più utilizzati e più antichi per misurare l'efficacia dell'effetto nei modelli di regressione. Esso soddisfa in modo naturale i requisiti stabiliti da Cohen per l'efficacia dell'effetto.

Secondo Cohen , $|r|\geqq 0{,}1$ indica un effetto piccolo, $|r|\geqq 0{,}3$ un effetto medio e $|r|\geqq 0{,}5$ un effetto forte. In alternativa è possibile utilizzare il coefficiente di determinazione $R^{2}$.

d di Cohen

La d di Cohen è la dimensione dell'effetto per le differenze di media tra due gruppi con uguale dimensione e uguale varianza e aiuta a valutare la rilevanza pratica di una differenza significativa di media (vedi anche t-test):

$D={\frac {\mu _{1}-\mu _{2}}{\sigma }}.$

Come stimatore per gruppi di uguale dimensione e varianze diverse, Cohen ha utilizzato

$d={\frac {{\bar {x}}_{1}-{\bar {x}}_{2}}{\sqrt {(s_{1}^{2}+s_{2}^{2})/2}}}$

dove ${\bar {x}}_{i}$ rappresenta la media dei due campioni e $s_{i}^{2}$ rappresenta le varianze stimate dei due campioni secondo l'equazione

$s_{i}^{2}={\frac {1}{n-1}}\sum _{j=1}^{n}{(x_{ji}-{\bar {x}}_{i})^{2}}$

Secondo Cohen, un valore $d$ compreso tra 0,2 e 0,5 indica un effetto lieve, un valore compreso tra 0,5 e 0,8 indica un effetto medio, mentre un valore $d$ superiore a 0,8 indica un effetto forte.

Dimensioni dei gruppi disomogenee e varianze dei gruppi

Altri autori diversi da Cohen stimano la deviazione standard $\sigma$ utilizzando la varianza dei (meta)dati aggregati calcolata come:

$s={\sqrt {\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}}{n_{1}+n_{2}-2}}}$

con

$s_{i}^{2}={\frac {1}{n_{i}-1}}\sum _{j=1}^{n_{i}}(x_{j,i}-{\bar {x}}_{i})^{2}.$

Conversione in r

Se l'appartenenza a un campione viene codificata con zero e all'altro con uno, è possibile calcolare un coefficiente di correlazione. Esso risulta da Cohen d come:

$r={\frac {d}{\sqrt {d^{2}+{\frac {(n_{1}+n_{2})^{2}}{n_{1}n_{2}}}}}}$.

A differenza del $d$ di Cohen, il coefficiente di correlazione $r$ ha un limite superiore pari a 1. Cohen ha suggerito di parlare di effetto debole a partire da r=0,10, di effetto medio a partire da r=0,30 e di effetto forte a partire da r=0,50. A seconda del contesto, questa classificazione è stata nel frattempo rivista. Per la psicologia, ad esempio, è stato dimostrato empiricamente che r=0,05 corrisponde a un effetto molto piccolo, r=0,10 a un effetto piccolo, r=0,20 a un effetto medio, r=0,30 a un effetto grande e r≥0,40 a un effetto molto grande.

Δ di Glass

Nel 1976 Gene V. Glass propose di utilizzare solo la deviazione standard del secondo gruppo:

$\Delta ={\frac {{\bar {x}}_{1}-{\bar {x}}_{2}}{s_{2}}}.$

Il secondo gruppo è considerato qui come gruppo di controllo. Se si effettuano confronti con più gruppi sperimentali, è preferibile stimare $\sigma$ dal gruppo di controllo, in modo che la dimensione dell'effetto non dipenda dalle varianze stimate dei gruppi sperimentali. Tuttavia, ipotizzando varianze disuguali nei due gruppi, la varianza aggregata è lo stimatore più opportuno.

g di Hedges

Nel 1981 Larry Hedges propose un'ulteriore modifica.Si tratta dello stesso approccio utilizzato da Cohen per il suo d, con una correzione della deviazione standard aggregata. Purtroppo, la terminologia è spesso imprecisa. Inizialmente anche questa forza dell'effetto corretta veniva chiamata d. La d di Cohen e la g di Hedges sono in gran parte comparabili, ma la modifica di Hedges è considerata più soggetta a errori. In particolare, la g di Hedges non fornisce stime attendibili per campioni di piccole dimensioni, ma può essere corretto. La g di Hedges può essere utile quando le dimensioni dei campioni sono diverse.

La g di Hedges viene calcolato come segue:

$g={\frac {{\bar {x}}_{1}-{\bar {x}}_{2}}{s^{*}}}$

e

$s^{*}={\sqrt {\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}}{n_{1}+n_{2}-2}}}$

fornisce una stima distorta dell'effetto.

Una stima non distorta g* si ottiene mediante la seguente correzione:

$g^{*}=J(n_{1}+n_{2}-2)g\approx \left(1-{\frac {3}{4(n_{1}+n_{2})-9}}\right)g$

e

$J(a)={\frac {\Gamma (a/2)}{{\sqrt {a/2}}\,\Gamma ((a-1)/2)}}$

fornisce uno stimatore non distorto, più adatto al calcolo degli intervalli di confidenza dell'efficacia dell'effetto dei molteplici campioni rispetto alla d di Cohen, che stima l'efficacia dell'effetto nella popolazione.

f² di Cohen

La f² di Cohens è una misura dell'efficacia nell'ambito dell'analisi della varianza o del test F e dell'analisi di regressione.

Analisi di regressione

La dimensione dell'effetto f² è calcolata come segue:

$f^{2}={\frac {R_{\text{included}}^{2}-R_{\text{excluded}}^{2}}{1-R_{\text{included}}^{2}}}$

con il coefficiente di determinazione $R_{\text{included}}^{2}$ con tutte le variabili del modello di regressione e $R_{\text{excluded}}^{2}$ senza la variabile da testare. Se interessa solo l'effetto combinato di tutte le variabili, la formula sopra riportata si riduce a

$f^{2}={\frac {R^{2}}{1-R^{2}}}.$

Secondo Cohen, $f^{2}=0{,}02$ indica un effetto lieve, $f^{2}=0{,}15$ un effetto medio e $f^{2}=0{,}35$ un effetto forte.

Test F o analisi della varianza

La dimensione dell'efetto f per k gruppi si calcola come:

$f={\frac {\sqrt {{\frac {1}{k}}\sum _{i=1}^{k}({\bar {x}}_{i}-{\bar {x}})^{2}}}{s}}$

con lo stimatore $s$ per la deviazione standard dei singoli gruppi.

Secondo Cohen, indica $f=0{,}10$ un effetto lieve, $f=0{,}25$ un effetto medio e $f=0{,}40$ un effetto forte.

Eta quadrato parziale

La dimensione dell'effetto può essere indicata anche tramite l'eta quadrato parziale. Il calcolo viene effettuato come segue:

$\eta ^{2}={\frac {SQ_{\rm {Effekt}}}{SQ_{\rm {Effekt}}+SQ_{\rm {Rest}}}}$

dove ${SQ_{\rm {Effekt}}}$ è la devianza degli effetti da determinare e ${SQ_{\rm {Rest}}}$la somma dei quadrati residui.

Moltiplicando l'eta quadrato parziale per 100, è possibile utilizzarlo per interpretare la frazione di varianza spiegata. La misura indica quindi la percentuale di varianza delle variabili dipendenti spiegata dalla variabile indipendente. Il programma SPSS di IBM calcola l'eta quadrato parziale come impostazione predefinita nelle analisi della varianza. Nelle versioni precedenti del programma, questo era erroneamente denominato eta quadrato. In un'analisi della varianza a fattore singolo, non c'è differenza tra l'eta quadrato e l'eta quadrato parziale. Non appena viene calcolata un'analisi della varianza multifattoriale, è necessario calcolare l'eta quadrato parziale.

Tuttavia, l'eta quadrato sovrastima la percentuale della varianza spiegata. Rasch e altri e Jürgen Bortz (1943-2007) raccomandano invece di utilizzare lo stimatore dell'effetto sulla popolazione omega quadrato $\omega ^{2}$, che viene calcolato partire dalla $f^{2}$ di Cohen nel modo seguente:

$\omega ^{2}={\frac {f^{2}}{1+f^{2}}}$

Phi di Cramer, V di Cramer e w di Cohen

Una misura dell'efficacia può essere calcolata non solo sulla base delle differenze di media o varianza, ma anche in relazione alle probabilità. In questo caso, il calcolo viene effettuato sulla base dei dati di una tabella incrociata che contiene probabilità anziché frequenze assolute, da cui viene calcolato $\chi ^{2}$ e poi estratta la radice quadrata. Il risultato è il w Cohen (talvolta anche piccolo omega):

$w={\sqrt {\sum \limits _{i.j=1.1}^{k_{i}.k_{j}}{\frac {\left(p_{b_{i}.j}-p_{e_{i}.j}\right)^{2}}{p_{e_{i}.j}}}}}$

In questo caso, $k_{i}$ è il numero di categorie della variabile colonna, $k_{j}$ il numero di categorie della variabile di riga, $p_{b_{i}.j}$ la probabilità osservata nella cella i.j e $p_{e_{i}.j}$ la probabilità prevista nella cella i.j. Le probabilità delle celle attese vengono calcolate moltiplicando tra loro le rispettive probabilità marginali. Poiché nelle tabelle incrociate che non contengono frequenze assolute ma probabilità, al posto del numero di casi compare sempre il numero 1, è possibile sostituire $w$ con $\phi$ calcolato, che è numericamente identico:

$\phi ={\sqrt {\frac {\chi ^{2}}{n}}}={\sqrt {\frac {\chi ^{2}}{1}}}={\sqrt {\chi ^{2}}}={\sqrt {\sum \limits _{i.j=1.1}^{k_{i}.k_{j}}{\frac {\left(p_{b_{i}.j}-p_{e_{i}.j}\right)^{2}}{p_{e_{i}.j}}}}}=w$

È numericamente identico anche quando, in riferimento a tabelle incrociate che contengono probabilità, $V\cdot {\sqrt {(\min[r,c]-1)}}$ calcolato, dove $r$ è il numero di righe, $c$ il numero di colonne e $\min[r,c]$ il più piccolo dei due numeri.

Per la w di Cohen, convenzionalmente, il valore 0,1 è considerato piccolo, 0,3 medio e 0,5 grande.

Dimensione dell'effetto piccola, media, grande

I valori sopra indicati per effetti piccoli, medi o grandi dipendono fortemente dal settore specifico. Cohen ha scelto tali valori nell'ambito delle sue analisi e secondo la prassi delle scienze sociali:

«Si tratta di un metodo elaborato per ottenere la stessa dimensione del campione utilizzata in precedenti studi di scienze sociali di grandi, medie e piccole dimensioni (rispettivamente). Il metodo utilizza come obiettivo una dimensione dell'effetto standardizzata...»

(R.V.Lenth)

Pertanto, molti ricercatori li accettano solo come valori indicativi o li mettono in discussione in modo critico. Uno studio empirico sulla frequenza degli effetti nella psicologia differenziale ha dimostrato che la classificazione di Cohen delle correlazioni di Pearson (piccola = 0,10; media = 0,30; grande = 0,50) non riflette in modo adeguato i risultati ottenuti in questo campo di ricerca. Infatti, solo in meno del 3% dei risultati degli studi considerati (708 correlazioni in totale) è stato possibile osservare un effetto di almeno r = 0,5. Sulla base di questa indagine, si raccomanda piuttosto di interpretare in questo campo r = 0,1 come effetto piccolo, r = 0,2 come medio e r = 0,3 come grande.

Bibliografia

• Wynne W. Chin, The Partial Least Squares Approach to Structural Equation Modeling, in George A. Marcoulides (a cura di), Modern Methods for Business Research, Lawrence Erlbaum Associates, Mahwah 1998, pp. 295–336.
• Jacob Cohen, A power primer, in Psychological Bulletin, vol. 112, 1992, pp. 155–159.
• Oswald Huber, Das psychologische Experiment, Bern 2000.
• Brigitte Maier-Riehle, Christian Zwingmann, Effektstärkevarianten beim Eingruppen-Prä-Post-Design: Eine kritische Betrachtung, in Rehabilitation, vol. 39, 2000, pp. 189–199.
• Rainer Schnell, Paul B. Hill, Elke Esser, Methoden der empirischen Sozialforschung, München / Wien 1999.
• Jürgen Bortz, Nicola Döring, Forschungsmethoden und Evaluation, 2a ed .ne, Springer, Berlin u. a. 1996, ISBN 3-540-59375-6.

Vedi anche

• Crisi della replicazione
• Ricerca quantitativa
• Test di verifica d'ipotesi

Collegamenti esterni

• (DE) Effektstärke, su matheguru.com.
• (DE) Berechnung von Effektstärken [Calcolo delle dimensioni dell'effetto], su psychometrica.de.
• L'ABC dell'effect size: cosa è e come utilizzarlo, su adrianogilardone.com, 19 marzo 2024.