Le classi dimensionali della VQR nell’Area 01

On April 9, 2017

Qualche giorno fa è uscito sul sito ROARS, a firma di

*****************

Negli esercizi di valutazione è fondamentale assicurarsi di stare confrontando oggetti confrontabili. Nel caso delle istituzioni universitarie, è evidente che istituzioni di dimensioni profondamente diverse hanno dinamiche e funzionamento completamente diversi; quindi è stato necessario classificare le università in funzione delle loro dimensioni.
Prima di tutto, per questioni di privacy e per ribadire il fatto che si stanno valutando istituzioni e non singoli ricercatori, nella VQR 2011-2014 i risultati delle istituzioni universitarie con meno di 5 prodotti attesi (e quindi tipicamente al più 2 soggetti valutati) non sono stati riportati nei rapporti d’area. Inoltre, il rapporto VQR 2011-2014 dell’Area 01 segnala anche che i risultati delle università con fra 5 e 9 prodotti attesi sono da considerarsi statisticamente poco significativi.
I restanti Atenei sono stati suddivisi in tre classi dimensionali (piccoli, medi e grandi) in funzione del numero di prodotti attesi. La procedura usata nella VQR 2011-2014 per la determinazione delle tre classi dimensionali è stata la stessa per tutti i GEV, ed è descritta nella Sezione 6 del Rapporto Finale della VQR 2011-2014. Dopo aver elencato gli Atenei in ordine decrescente di numero di prodotti attesi è stata calcolata la differenza fra il numero di prodotti attesi di un’università e il numero dei prodotti attesi dall’università che la precede; la demarcazione fra una classe dimensionale e la successiva è stata posta dove tale differenza aveva un massimo locale elevato, in modo da ottenere una separazione significativa fra l’ateneo più piccolo di una classe e l’ateneo più grande della classe successiva. Inoltre si è evitato di creare classi dimensionali contenenti pochi atenei.
La procedura qui descritta è una procedura statistica standard, ed è esattamente la stessa usata dal GEV01 nella VQR 2004-2010. La differenza nei risultati dipende esclusivamente dal fatto ovvio che negli anni trascorsi fra le due VQR Atenei diversi hanno avuto dinamiche di pensionamenti e assunzioni diverse, per cui le dimensioni relative sono cambiate.
La Tabella allegata riporta l’elenco degli Atenei in ordine decrescente di numero di prodotti attesi nell’Area 01, rispettivamente per la VQR 2004-2010 e per la VQR 2011-2014, con anche l’indicazione della differenza nel numero di prodotti attesi fra un’università e quella che la precede nell’elenco. Come si può facilmente vedere, l’ordinamento degli Atenei in base al numero di prodotti attesi è cambiato fra una VQR e la successiva.
L’esame delle differenze mostra anche chiaramente come sono state determinate le classi dimensionali per l’Area 01 nei due esercizi VQR. Nella VQR 2004-2010, escludendo ovviamente di voler considerare “grande” solo Roma La Sapienza o solo Roma La Sapienza, Milano e Torino, c’erano cinque punti in cui poteva essere naturale inserire la separazione: Padova (salto 39), Genova (salto 21), Milano Politecnico (salto 23), Bari (salto 22) e Catania (salto 20), e fu scelta Catania.
Nella VQR 2011-2010, escludendo di nuovo di voler considerare “grande” solo Roma La Sapienza o solo Roma La Sapienza, Milano e Torino, c’era un solo punto in cui si poteva inserire una separazione naturale, Roma Tor Vergata, in quanto unico ateneo (sotto Torino) con un salto superiore a 20.
Un’analisi analoga può essere effettuata su come è stata determinata la soglia di demarcazione della classe dimensionale “piccola”. L’unica differenza è che in questo caso per la VQR 2011-2014 la normativa suggeriva la soglia naturale di 40 addetti (cioè tipicamente 80 prodotti attesi), che è il numero minimo richiesto dalla l. 240/10 per la creazione di un dipartimento, mentre per la VQR 2004-2010 non esisteva alcuna indicazione normativa analoga. Quindi per la VQR 2011-2014 è stata cercata una demarcazione corrispondente a un massimo locale della differenza vicino a 80 prodotti attesi, portando a un’unica scelta possibile, Parma. Per la VQR 2004-2010 c’erano tre scelte possibili (Parma, Basilicata e Napoli II) e, in assenza di una indicazione normativa chiara, fu scelta Napoli II.
In conclusione, la determinazione delle classi dimensionali dell’Area 01 per la VQR 2011-2014 è stata univocamente dettata dai riscontri con la normativa e dalla distribuzione statistica del numero di prodotti attesi dalle varie università, senza alcuna scelta arbitraria da parte del GEV; inoltre, la procedura usata per la determinazione della classe dimensionale “grande” per l’Area 01 nella VQR 2011-2014 è esattamente identica a quella usata per la VQR 2004-2010.

Marco Abate

PS: Ringrazio ROARS per la segnalazione di un errore fattuale (ora corretto) nella versione precedente di questa nota, riguardante il punto di taglio scelto fra quelli possibili per la classe dimensionale “grande” nella VQR 2004-2010. Rimane il fatto che la procedura usata per determinare i possibili valori di taglio nelle due VQR è quella qui indicata, la stessa in entrambi i casi, e che la scelta dei valori di taglio per la VQR 2011-2014 è stata dettata dalla distribuzione dei prodotti attesi e dai riscontri con la normativa come qui descritto.

 

Tabella 1: Elenco degli Atenei in ordine decrescente di numero di prodotti attesi nell’Area 01, rispettivamente per la VQR 2004-2010 e per la VQR 2011-2014

2 Comments

  1. Alberto Baccini

    13/04/2017 at 12:56

    Di errori fattuali nel nostro commento ne segnalavamo 6, non soltanto 1. Per comodità dei lettori li riportiamo qui
    1. Le regole per la classificazione dimensionale della VQR2011-2014 come risultano dai documenti ufficiali ANVUR non sono quelle descritte da Abate.
    2. Le regole per la classificazione dimensionale della VQR2004-2010 come risultano dai documenti ufficiali ANVUR non sono quelle descritte da Abate.
    3. La soglia di demarcazione tra medie e grandi nella VQR 2004-2010 non è quella descritta da Abate (nel suo post originale)
    4. La classificazione dimensionale degli atenei grandi e medi riportata da Abate non corrisponde a quella pubblicata nel rapporto ANVUR 2004-2010. (nelle tabelle in linea corretta continua ad esserci un errore: Bari è grande e non media)
    5. Non è vero quanto sostiene Abate che la soglia di demarcazione delle grandi scelta per la VQR2011-2014 è “esattamente identica” a quella della VQR 2004-2010. (ora rimosso)
    6. Non è vero, come sostiene Abate, che la legge Gelmini detta le soglie di demarcazione tra Atenei medi ed atenei piccoli.
    Argomentazioni e link ai documenti ufficiali ANVUR sono disponibili qui.

    http://www.roars.it/online/vqr-le-classifiche-a-sua-insaputa-del-gev-01/

  2. Roberto Natalini

    13/04/2017 at 16:13

    A parte l’unico errore vero, che è stato corretto (tra parentesi era rimasto
    un refuso nella tabella, Bari era rimasta media mentre è grande; la tabella ora è sistemata), sugli altri "errori" lasciamo giudicare ai lettori.

Leave a Reply

Your email address will not be published. Required fields are marked *

this site uses the awesome footnotes Plugin