Qualche giorno fa è uscito sul sito ROARS, a firma di Alberto Baccini and Giuseppe De Nicolao, l’articolo “VQR: le classifiche prêt-à-porter confezionate dai GEV. And the winners are …“, in cui si afferma che i GEV avrebbero alterato le soglie dimensionali per preparare le classifiche: In particolare si scrive: “Rispetto al 2013, il GEV 01 (Scienze Matematiche e informatiche) ha alzato la soglia delle grandi università e anche quella delle medie. Roma Tor Vergata, che sarebbe stata medaglia oro tra le grandi, è stata così declassata tra le medie, dove ha preso un più modesto bronzo. Avendo spostato di categoria Tor Vergata, ad aggiudicarsi l’oro tra le grandi è stata Pisa (università del coordinatore del GEV), mentre il bronzo è andato a Roma La Sapienza (università di un coordinatore sub-GEV) che così, seppur rocambolescamente, ha rimediato l’unico podio di tutta la VQR 2011-2014.” A proposito di queste affermazioni riportiamo un commento di Marco Abate, Coordinatore GEV 01 per la VQR 2011-2014.
*****************
Negli esercizi di valutazione è fondamentale assicurarsi di stare confrontando oggetti confrontabili. Nel caso delle istituzioni universitarie, è evidente che istituzioni di dimensioni profondamente diverse hanno dinamiche e funzionamento completamente diversi; quindi è stato necessario classificare le università in funzione delle loro dimensioni.
Prima di tutto, per questioni di privacy e per ribadire il fatto che si stanno valutando istituzioni e non singoli ricercatori, nella VQR 2011-2014 i risultati delle istituzioni universitarie con meno di 5 prodotti attesi (e quindi tipicamente al più 2 soggetti valutati) non sono stati riportati nei rapporti d’area. Inoltre, il rapporto VQR 2011-2014 dell’Area 01 segnala anche che i risultati delle università con fra 5 e 9 prodotti attesi sono da considerarsi statisticamente poco significativi.
I restanti Atenei sono stati suddivisi in tre classi dimensionali (piccoli, medi e grandi) in funzione del numero di prodotti attesi. La procedura usata nella VQR 2011-2014 per la determinazione delle tre classi dimensionali è stata la stessa per tutti i GEV, ed è descritta nella Sezione 6 del Rapporto Finale della VQR 2011-2014. Dopo aver elencato gli Atenei in ordine decrescente di numero di prodotti attesi è stata calcolata la differenza fra il numero di prodotti attesi di un’università e il numero dei prodotti attesi dall’università che la precede; la demarcazione fra una classe dimensionale e la successiva è stata posta dove tale differenza aveva un massimo locale elevato, in modo da ottenere una separazione significativa fra l’ateneo più piccolo di una classe e l’ateneo più grande della classe successiva. Inoltre si è evitato di creare classi dimensionali contenenti pochi atenei.
La procedura qui descritta è una procedura statistica standard, ed è esattamente la stessa usata dal GEV01 nella VQR 2004-2010. La differenza nei risultati dipende esclusivamente dal fatto ovvio che negli anni trascorsi fra le due VQR Atenei diversi hanno avuto dinamiche di pensionamenti e assunzioni diverse, per cui le dimensioni relative sono cambiate.
La Tabella allegata riporta l’elenco degli Atenei in ordine decrescente di numero di prodotti attesi nell’Area 01, rispettivamente per la VQR 2004-2010 e per la VQR 2011-2014, con anche l’indicazione della differenza nel numero di prodotti attesi fra un’università e quella che la precede nell’elenco. Come si può facilmente vedere, l’ordinamento degli Atenei in base al numero di prodotti attesi è cambiato fra una VQR e la successiva.
L’esame delle differenze mostra anche chiaramente come sono state determinate le classi dimensionali per l’Area 01 nei due esercizi VQR. Nella VQR 2004-2010, escludendo ovviamente di voler considerare “grande” solo Roma La Sapienza o solo Roma La Sapienza, Milano e Torino, c’erano cinque punti in cui poteva essere naturale inserire la separazione: Padova (salto 39), Genova (salto 21), Milano Politecnico (salto 23), Bari (salto 22) e Catania (salto 20), e fu scelta Catania.
Nella VQR 2011-2010, escludendo di nuovo di voler considerare “grande” solo Roma La Sapienza o solo Roma La Sapienza, Milano e Torino, c’era un solo punto in cui si poteva inserire una separazione naturale, Roma Tor Vergata, in quanto unico ateneo (sotto Torino) con un salto superiore a 20.
Un’analisi analoga può essere effettuata su come è stata determinata la soglia di demarcazione della classe dimensionale “piccola”. L’unica differenza è che in questo caso per la VQR 2011-2014 la normativa suggeriva la soglia naturale di 40 addetti (cioè tipicamente 80 prodotti attesi), che è il numero minimo richiesto dalla l. 240/10 per la creazione di un dipartimento, mentre per la VQR 2004-2010 non esisteva alcuna indicazione normativa analoga. Quindi per la VQR 2011-2014 è stata cercata una demarcazione corrispondente a un massimo locale della differenza vicino a 80 prodotti attesi, portando a un’unica scelta possibile, Parma. Per la VQR 2004-2010 c’erano tre scelte possibili (Parma, Basilicata e Napoli II) e, in assenza di una indicazione normativa chiara, fu scelta Napoli II.
In conclusione, la determinazione delle classi dimensionali dell’Area 01 per la VQR 2011-2014 è stata univocamente dettata dai riscontri con la normativa e dalla distribuzione statistica del numero di prodotti attesi dalle varie università, senza alcuna scelta arbitraria da parte del GEV; inoltre, la procedura usata per la determinazione della classe dimensionale “grande” per l’Area 01 nella VQR 2011-2014 è esattamente identica a quella usata per la VQR 2004-2010.
Marco Abate
PS: Ringrazio ROARS per la segnalazione di un errore fattuale (ora corretto) nella versione precedente di questa nota, riguardante il punto di taglio scelto fra quelli possibili per la classe dimensionale “grande” nella VQR 2004-2010. Rimane il fatto che la procedura usata per determinare i possibili valori di taglio nelle due VQR è quella qui indicata, la stessa in entrambi i casi, e che la scelta dei valori di taglio per la VQR 2011-2014 è stata dettata dalla distribuzione dei prodotti attesi e dai riscontri con la normativa come qui descritto.
Tabella 1: Elenco degli Atenei in ordine decrescente di numero di prodotti attesi nell’Area 01, rispettivamente per la VQR 2004-2010 e per la VQR 2011-2014
Roberto Natalini [coordinatore del sito] Matematico applicato. Dirigo l’Istituto per le Applicazioni del Calcolo del Cnr e faccio comunicazione con MaddMaths! e Comics&Science.
A parte l’unico errore vero, che è stato corretto (tra parentesi era rimasto
un refuso nella tabella, Bari era rimasta media mentre è grande; la tabella ora è sistemata), sugli altri “errori” lasciamo giudicare ai lettori.
Alberto Baccini
il 13th Aprile 2017 alle 12:56
Di errori fattuali nel nostro commento ne segnalavamo 6, non soltanto 1. Per comodità dei lettori li riportiamo qui
1. Le regole per la classificazione dimensionale della VQR2011-2014 come risultano dai documenti ufficiali ANVUR non sono quelle descritte da Abate.
2. Le regole per la classificazione dimensionale della VQR2004-2010 come risultano dai documenti ufficiali ANVUR non sono quelle descritte da Abate.
3. La soglia di demarcazione tra medie e grandi nella VQR 2004-2010 non è quella descritta da Abate (nel suo post originale)
4. La classificazione dimensionale degli atenei grandi e medi riportata da Abate non corrisponde a quella pubblicata nel rapporto ANVUR 2004-2010. (nelle tabelle in linea corretta continua ad esserci un errore: Bari è grande e non media)
5. Non è vero quanto sostiene Abate che la soglia di demarcazione delle grandi scelta per la VQR2011-2014 è “esattamente identica” a quella della VQR 2004-2010. (ora rimosso)
6. Non è vero, come sostiene Abate, che la legge Gelmini detta le soglie di demarcazione tra Atenei medi ed atenei piccoli.
Argomentazioni e link ai documenti ufficiali ANVUR sono disponibili qui.
This website uses cookies to improve your experience. We'll assume you're ok with this, but you can opt-out if you wish.AcceptRead More
Privacy & Cookies Policy
Privacy Overview
This website uses cookies to improve your experience while you navigate through the website. Out of these, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may affect your browsing experience.
Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.
Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.
A parte l’unico errore vero, che è stato corretto (tra parentesi era rimasto
un refuso nella tabella, Bari era rimasta media mentre è grande; la tabella ora è sistemata), sugli altri “errori” lasciamo giudicare ai lettori.
Di errori fattuali nel nostro commento ne segnalavamo 6, non soltanto 1. Per comodità dei lettori li riportiamo qui
1. Le regole per la classificazione dimensionale della VQR2011-2014 come risultano dai documenti ufficiali ANVUR non sono quelle descritte da Abate.
2. Le regole per la classificazione dimensionale della VQR2004-2010 come risultano dai documenti ufficiali ANVUR non sono quelle descritte da Abate.
3. La soglia di demarcazione tra medie e grandi nella VQR 2004-2010 non è quella descritta da Abate (nel suo post originale)
4. La classificazione dimensionale degli atenei grandi e medi riportata da Abate non corrisponde a quella pubblicata nel rapporto ANVUR 2004-2010. (nelle tabelle in linea corretta continua ad esserci un errore: Bari è grande e non media)
5. Non è vero quanto sostiene Abate che la soglia di demarcazione delle grandi scelta per la VQR2011-2014 è “esattamente identica” a quella della VQR 2004-2010. (ora rimosso)
6. Non è vero, come sostiene Abate, che la legge Gelmini detta le soglie di demarcazione tra Atenei medi ed atenei piccoli.
Argomentazioni e link ai documenti ufficiali ANVUR sono disponibili qui.
http://www.roars.it/online/vqr-le-classifiche-a-sua-insaputa-del-gev-01/