Mettereste nell’organo di valutazione di un ente chi fino al giorno prima ha avuto un ruolo di primo piano nel suo governo? Lo nominereste anche se si fosse fatto promotore di metodologie di valutazione amatoriali e scientificamente inadeguate? Anche se avesse avuto parte nel dilazionare le nomine dell’organo di valutazione fino a che non si fosse insediata la nuova dirigenza? Per mano del Rettore Fabio Rugge, l’Università di Pavia sta facendo tutto questo con la nomina di Lorenzo Rampa a membro del Nucleo di Valutazione. Anche se il Senato Accademico ha espresso parere non favorevole.
Secondo lo Statuto dell’Università degli Studi di Pavia,
I componenti del Nucleo sono nominati dal Rettore, sentito il Senato accademico e il Consiglio di amministrazione.
Nella seduta del 16-12-2013, il Rettore Fabio Rugge ha sottoposto al parere del Senato Accademico i seguenti sette nominativi:
Membri esterni
- Prof.ssa Marisa Civardi (Università di Milano Bicocca)
- Dott.ssa Paola Galimberti (Università di Milano)
- Dott. Enrico Periti (DG dell’Università di Brescia)
- Prof.ssa Stefania Romenti (IULM-Milano)
Membri interni
- Prof. Giampaolo Merlini
- Prof. Lorenzo Rampa
- Prof. Giuseppe Savaré.
La rosa di nominativi è stata oggetto di commenti e riserve, alcune delle quali sono consultabili qui. In apertura di discussione, uno dei membri del Senato Accademico, Cristina Barbieri, ha consegnato nelle mani del Senato le sue dimissioni insieme alle motivazioni del suo voto contrario:
Su questa delibera io pongo le mie dimissioni nelle mani del Senato. Le riterrò convalidate se il Senato riterrà irrilevanti le motivazioni che sottendono.
Cosa c’è in quella lista di nomi da suscitare prese di posizione così nette? Il nominativo più controverso è risultato essere quello di Lorenzo Rampa, ovvero il prorettore vicario uscente con delega alle finanze. Di seguito, esaminiamo quelle che ci sembrano le ragioni principali per cui la nomina di Rampa al NuV è ritenuta da alcuni decisamente inopportuna.
Coincidenze
Nello scorcio finale del precedente rettorato il rinnovo del NuV sembrava imminente al punto di essere stato messo all’ordine del giorno della seduta del Senato Accademico del 18 febbraio 2013. Venuti al dunque, la fretta era svanita e la decisione rinviata ad altra seduta da destinarsi. Secondo alcuni, questo mutamento di rotta poteva ricondursi anche all’allora prorettore Rampa:
l’ex prorettore vicario ha avuto parte attiva nel favorire la dilazione dei tempi per il rinnovo del NuV, traendone quindi un evidente beneficio in termini di disponibilità a ricoprire l’incarico. (Pietro Galinetto, Dichiarazione di voto)
Circostanza che trova conferma in quello che scrive Cristina Barbieri nella sua lettera di dimissioni:
sono stata avvicinata dal prorettore Rampa che mi ha ragguagliato sul fatto che avrebbe fatto tutto quello che era in suo potere per mantenere in carica il Nuv e procrastinare la scelta e che si sarebbe recato da Govoni per convincerlo a rimanere in carica.
Inoltre ho potuto constatare in Senato un visibile conflitto tra il rettore Stella e il prorettore Rampa emerso nella risposta al quesito della senatrice Roma su che fine avesse fatto il punto all’odg relativo al Nuv che era stato definito dal rettore così urgente da meritare una seduta straordinaria del Senato. Le ragioni dell’urgenza ci erano state esposte chiaramente dal presidente del Nuv.
Non ho pertanto alcun dubbio sul fatto che il prorettore Rampa si sia speso politicamente, in conflitto con il rettore Stella, per procrastinare la nomina del Nucleo di valutazione e metterla nelle mani dell’attuale rettore.
La scelta è stata effettivamente procrastinata, nel frattempo viene eletto un nuovo rettore e questi propone Lorenzo Rampa come membro del nuovo NuV.
Competenza e bibliometria fai-da-te
Tra i compiti del NuV rientrano quelli relativi alla valutazione della ricerca. Infatti, il NuV
- propone agli Organi di governo i criteri di valutazione della gestione amministrativa, delle attività didattiche e di ricerca, degli interventi di sostegno al diritto allo studio;
- propone i parametri di riferimento dell’attività di valutazione;
Un aspetto che richiede competenza e rigore scientifico è la scelta di criteri per la valutazione delle attività di ricerca. Lorenzo Rampa, nella sua veste di prorettore con delega al bilancio, è stato il principale promotore dell’uso di Scholar Search per la valutazione della produzione scientifica dell’ateneo (“Un riparto difficile: il backstage del piano triennale pavese“). Scholar Search è un’interfaccia messa a punto dal gruppo di Biologia Molecolare di Roma Tor Vergata per l’interrogazione di Google Scholar. In ambito scientifico, l’uso di Google Scholar per scopi di valutazione è esplicitamente sconsigliato dalla letteratura bibliometrica. Non solo, ma Scholar Search aggrava i problemi, perché commette errori nella disambiguazione dei cognomi. Questi errori sono dei “falsi positivi”, che si verificano quando ad un ricercatore vengono attribuiti i lavori scientifici di un omonimo. Allo stesso tempo, sono però frequenti anche i “falsi negativi”, ovvero l’omissione lavori scientifici che non risultano indicizzati da Google Scholar, la cui copertura delle scienze umane e sociali è a dir poco lacunosa.
In un precedente articolo pubblicato su questo blog avevamo preso come esempio proprio l’Area 14 (Scienze politiche e sociali), in generale, e il neo-rettore Fabio Rugge, in particolare, per mostrare – dati alla mano – quale fosse il grado di distorsione introdotto da Scholar Search. Ebbene, se si prestava fede a Scholar Search, Rugge si sarebbe meritato l’appellativo di “rettore fannullone” dato che in sette anni risultava aver scritto solo una recensione. Tuttavia, una veloce verifica del suo curriculum evidenziava che Scholar Search aveva sprofondato nel nulla “solo” il 96% della sua produzione scientifica di quegli anni (falsi negativi). Era anche stato notato che la maggior parte degli articoli attribuiti a ricercatori pavesi dell’area 14 appartenevano in realtà ad omonimi operanti nelle scienze dure (falsi positivi).
Rampa aveva replicato (Idee per allungare il passo nei riparti di risorse, senza retrocedere) osservando che, per la valutazione della ricerca pavese, era stata utilizzata una versione precedente di Scholar Search, meno prona ai falsi positivi causati dalle omonimie. Ciò nonostante, riconosceva che fossero “certamente inaffidabili gli indicatori individuali“. Tuttavia, chiamando in causa presunti effetti di compensazione statistica, aggiungeva che potevano ritenersi “(secondo alcuni) provvisoriamente accettabili quelli aggregati“. Sosteneva infine che se si confrontavano le valutazioni di Scholar Search con quelle della VQR, “si notano una discreta correlazione ed una accettabile co-graduazione“.
Tutte affermazioni che si scontrano con dati di fatto difficilmente eludibili che abbiamo già discusso in dettaglio (“Some like it wrong” – Risposta a Rampa). Per esempio, Scholar Search sovrastima drammaticamente le percentuali di inattivi nelle scienze umane e sociali. Se si esclude l’Area 13 (Scienze economiche e statistiche), in cui l’errore supera comunque i 20 punti, la sovrastima nelle altre aree umanistiche (Aree 10-12 e 14) è addirittura maggiore di 50 punti percentuali.
D’altro canto, la “discreta correlazione” non sembra essere statisticamente diversa da zero.
Nel tentativo di difendere l’uso di uno strumento bibliometrico fai-da-te, estraneo allo stato dell’arte scientifico, Rampa cerca ulteriore conforto nei dati della VQR:
Si noti che l’Area 14 è quella con la maggior percentuale di prodotti conferiti dal Gev alla peer review e dunque quella da cui ci si sarebbe attesi la massima difformità tra una valutazione di quel tipo [peer review VQR – NdR] e una di natura bibliometrica [H norm di Scholar Search – NdR].
Tuttavia, chi conosce come è stata svolta la VQR sa che non ha senso affermare che l’Area 14 ha “la maggior percentuale di prodotti conferiti dal Gev alla peer review“, perché quest’area condivide con le aree 10 e 12 la caratteristica di essere interamene valutata tramite peer review.
Riassumendo, per quanto riguarda la valutazione bibliometrica, oltre ad inciampare sulla VQR, Lorenzo Rampa si è fatto promotore di una metodologia tecnicamente inadeguata ed estranea agli standard scientifici.
Conflitto di interessi tra valutatore e valutato
Lorenzo Rampa, in qualità di prorettore vicario con delega alle finanze, ha svolto un ruolo di primo piano nella determinazione delle azioni di governo del precedente rettorato. Il nuovo nucleo di valutazione si troverà a valutare gli effetti di tali azioni e dovrebbe essere nella condizione di farlo in piena autonomia. Inserire nel NuV proprio l’ex prorettore vicario significherebbe creare una inopportuna sovrapposizione tra valutatore e valutato, come sottolineato da Pietro Galinetto:
La presenza nel NuV di colui che fino a pochissimi mesi fa operava come prorettore vicario con delega alle finanze mina alla base l’autonomia del NuV. Il NuV si troverà a valutare gli effetti delle azioni di governo che uno dei suoi membri ha contribuito in modo consistente a determinare.
Rampa al NuV: perché?
Se si interrogano privatamente i colleghi dell’ateneo, è difficile – forse quasi impossibile – trovare chi difenda con convinzione la nomina di Rampa al NuV. Il 16 dicembre 2013, il Senato Accademico, spaccato letteralmente in due (7 Contrari, 4 Astenuti, 11 Favorevoli), non ha dato parere favorevole alla proposta del rettore, portando alla luce del sole un disagio diffuso. Non sembra che ciò sia stato sufficiente a fermare una scelta controversa.
Troppi interrogativi rimangono senza risposta.
- Perché mantenere un tale cordone ombelicale con il precedente governo dell’ateneo, anche a costo di vanificare la credibilità degli sbandierati intenti di rinnovamento?
- Perché far sedere su una poltrona proprio l’ex prorettore vicario che, secondo più di una testimonianza, aveva contribuito a dilazionarne il rinnovo?
- Perché nominare al NuV chi ha promosso metodologie di valutazione scientificamente inadeguate e le difende ancor oggi venendo smentito dai numeri?
- Perché far valutare gli esiti delle politiche recenti proprio da chi ha avuto un ruolo determinante nella loro elaborazione?
- Perché far nascere un NuV con un deficit congenito, non solo di reputazione tecnica, ma anche di terzietà, a causa del conflitto di interessi che lo mina dall’interno?