Lettera Aperta al Prorettore alla Ricerca e al Governo dell’ateneo

Riportiamo di seguito il testo della lettera aperta al Prorettore alla Ricerca e al Governo dell’ateneo relativo all’adozione del sistema a pagamento per la valutazione della ricerca delle università, denominato CRUI-UniBas. È possibile sottoscrivere la lettera aperta inviando un messaggio di adesione tramite l’email istituzionale all’indirizzo:

openletter.cruiunibas@gmail.com

Testo della lettera aperta

Nel suo messaggio del 12 settembre scorso, il Prorettore alla Ricerca, Roberto Bottinelli, ci ha informato che l’Università di Pavia ha aderito a un’iniziativa della Conferenza dei Rettori delle Università Italiane: un sistema a pagamento per la valutazione della ricerca delle università, denominato CRUI-UniBas, che consentirebbe di eseguire procedure basate sul Modello della VQR 2011-2014 e sul Modello dell’ASN. Riguardo alle prime, è stato spiegato che “Per poter effettuare valutazioni automatizzate su larga scala, i criteri della VQR vengono complementati con regole opportune per eliminare la necessità di effettuare interventi di peer-review”.

Non possiamo fare a meno di manifestare la nostra contrarietà alla partecipazione del nostro ateneo a questa iniziativa, a cui, da quanto scritto, hanno aderito solo circa la metà degli atenei italiani. Vi sono tre ragioni che giustificano la nostra contrarietà.

In primo luogo, il ricorso a valutazioni individuali automatizzate non rientra tra le buone pratiche accettate dalla comunità scientifica internazionale. Sull’inopportunità e i pericoli di un uso automatizzato di indicatori bibliometrici nelle valutazioni individuali dei ricercatori e dei singoli lavori scientifici c’è un consenso pressoché universale, testimoniato da diverse dichiarazioni sottoscritte da autorevoli organismi internazionali, tra cui:

Già nel 2011, l’HEFCE, l’agenzia di valutazione inglese, aveva respinto il ricorso a “valutazioni automatizzate su larga scala”:

Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF

Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework, HEFCE 2009.

Una posizione confermata nel 2015 con il supporto di uno studio commissionato ad una commissione di esperti indipendenti, il secondo il quale

“Analysis concluded that no metric can currently provide a like-for-like replacement for REF peer review”

“In assessing research outputs in the REF, it is not currently feasible to assess research outputs or impacts in the REF using quantitative indicators alone”

Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management, HEFCE 2015.

In secondo luogo, entrambi i modelli di valutazione che ci vengono proposti sono stati oggetto di critiche specifiche che ne sottolineano la mancanza di scientificità, se non addirittura la nocività per la scienza italiana.

Per quanto riguarda il “modello ASN”, basterà ricordare la recentissima lettera che tre premi Nobel per la Fisica e altri otto eminenti scienziati hanno indirizzato alla Ministra Fedeli. La lettera chiede alla Ministra di correggere il “cieco algoritmo valutativo” dell’ASN che, in assenza di modifiche, potrebbe mettere in pericolo quella che ci viene riconosciuta come una “grande tradizione scientifica”:

“LISA Pathfinder was led by an Italian scientific team whose members, we understand, would not qualify any more for their current positions, and actually for any permanent position in Italian universities, according to the recently revised Italian regulations. We understand that this paradoxical situation originates from a blind evaluation algorithm. […] We are confident that you, your Honor, in your wisdom, will find ways to correct such an automatic mechanism that, if unchanged, may endanger this great scientific tradition”

Lettera alla ministra Valeria Fedeli, firmata dai Nobel per la Fisica T. Kajita, K.S. Thorne, R. Weiss, e da altri otto scienziati, 2017

 

Non meno controverso è il “modello VQR”, la cui adeguatezza e rigore scientifico sono stati messi in dubbio nella letteratura scientifica internazionale. Un primo articolo ne sconsiglia l’uso, già a partire dal titolo:

  1. Abramo e C.A. D’Angelo, Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian VQR 2011–2014, Scientometrics 2016

Altrettanto esplicito il giudizio di un secondo articolo scientifico, secondo il quale

“… the bibliometric evaluation process of the VQR 2011–2014 contains too many questionable operations. Also, even if (erroneously) deciding to combine Ci [citations] and Ji [journal metrics], we believe that this could be done avoiding dubious transformations/normalizations that alter the scales of the initial data.”

“In light of the arguments gathered and developed in this paper, we are doubtful whether the whole procedure – once completed thanks to the participation of tens of thousands of individuals, including evaluation experts, researchers, administrative staff, government agencies, etc. – will lead to the desired results, i.e., providing reliable information to rank universities and other research institutions, depending on the quality of their research. We understand the importance of national research assessment exercises for guiding strategic decisions, however, we believe that the VQR 2011–2014 has too many vulnerabilities that make it unsound and often controversial.”

D.A.F. Maisano e F. Franceschini, Critical remarks on the Italian research assessment exercise VQR 2011-2014, Journal of Informetrics 2017.

Una terza ragione di perplessità deriva dal fatto che persino l’Agenzia nazionale di valutazione, che pure ha contribuito a mettere a punto questi “modelli”, ne sconsiglia l’uso non solo per le comparazioni tra diversi settori scientifico-disciplinari, ma anche per le valutazioni individuali:

 

“Non è dunque appropriato utilizzare i punteggi VQR come strumento per stabilire, tramite confronto diretto, se un gruppo di ricercatori di un’area o di un settore ha prodotto una ricerca migliore di un altro.”

L’indicatore standardizzato di performance dipartimentale (ISPD)Risposta al Comunicato CUN del 18 luglio 2017, ANVUR 2017.

“L’elaborazione di tale indicatore [Indicatore di produzione scientifica FFABR: uno degli indicatori che il sistema Crui-UniBas intende replicare] non va confusa con la valutazione della qualità dei risultati scientifici, che non può prescindere dal coinvolgimento di comitati di esperti rappresentativi delle diverse componenti culturali della comunità scientifica di riferimento. Una valutazione di contesto, completamente automatizzata, inoltre, non deve in nessun caso essere sostitutiva dell’esame di tutta l’esperienza dei candidati in occasione di valutazioni comparative ai fini del reclutamento e della progressione di carriera. […] L’indicatore è costruito con riferimento ad uno specifico SSD e non deve essere utilizzato per confronti diretti tra SSD diversi”

L’indicatore di produzione scientifica FFABR: presentazione sintetica della procedura adottata, ANVUR 2017.

 

Alla luce di tutto ciò, chiediamo che il nostro ateneo ritiri la sottoscrizione al  sistema CRUI-UniBas.

Non si addice al rango dell’ateneo pavese accodarsi all’uso di “ciechi algoritmi valutativi” che, oltre ad essere controversi dal punto di vista della correttezza scientifica, sono già stati messi all’indice da autorevoli organizzazioni e istituzioni scientifiche, inclusa la Fondazione Nobel, perché ritenuti capaci di infliggere seri danni all’autentica qualità della ricerca.

Piuttosto, muovendosi nel solco della sua tradizione scientifica, il nostro ateneo dovrebbe far valere il suo peso e il suo prestigio affinché le metodologie nazionali di valutazione risultino allineate ai migliori standard internazionali. Un ruolo di stimolo che non è compatibile con la scelta di adeguare la nostra valutazione locale a schemi preconfezionati, già sconfessati dalla comunità  scientifica internazionale e, per quanto riguarda l’utilizzo che viene prefigurato,  sconsigliati anche dall’Agenzia nazionale di valutazione.

La questione su come si possano o si debbano valutare i ricercatori dell’ateneo pavese non si presta ad essere risolta con l’adozione di meccanismi calati da fuori o dall’alto, tanto più se in contrasto con le buone pratiche internazionali. Richiede piuttosto l’apertura di un dibattito interno all’ateneo che tenga conto sia delle specificità delle aree di ricerca sia dei migliori standard internazionali. A titolo di esempio, ecco alcune raccomandazioni contenute in un recentissimo documento sottoscritto da tre rinomate accademie scientifiche (Académie des Sciences, Leopoldina e Royal Society 2017):

There is a serious danger that undue emphasis on bibliometric indicators will not only fail to reflect correctly the quality of research, but may also hinder the appreciation of the work of excellent scientists outside the mainstream; it will also tend to promote those who follow current or fashionable research trends, rather than those whose work is highly novel and which might produce completely new directions of scientific research. Moreover, over- reliance on citations as a measure of quality may encourage the formation of aggregates of researchers (or “citation clubs”) who boost each others citation metrics by mutual citation. It thus becomes important to concentrate on better methods of evaluation, which promote good and innovative scientific research. […] Evaluations must be based under all circumstances on expert assessment of scientific content, quality and excellence. Publications that are identified by the authors as their most important work, including major articles and books, should receive particular attention in the evaluation. The simple number of publications should not be a dominant criterion.

Impact factors of journals should not be considered in evaluating research outputs. Bibliometric indicators such as the widely used H index or numbers of citations (per article or per year) should only be interpreted by scientific experts able to put these values within the context of each scientific discipline. The source of these bibliometric indicators must be given and checks should be made to ensure their accuracy by comparison to rival sources of bibliometric information. The use of bibliometric indicators should only be considered as auxiliary information to supplement peer review, not a substitute for it.

The use of bibliometric indicators for early career scientists must in particular be avoided.

Paolo Bertoletti (Scienze Economiche e Aziendali)

Mauro Carfora (Fisica)

Giuseppe De Nicolao (Ingegneria Industriale e dell’Informazione)

Ian Carter (Scienze Politiche e Sociali)

Luca Fonnesu (Studi Umanistici)

Amedeo Marini (Chimica)

Silvia Priori (Biologia Molecolare)

Alessandro Reali (Ingegneria Civile e Architettura)

 

 

 

Questa voce è stata pubblicata in Documenti di riferimento. Contrassegna il permalink.

Una risposta a Lettera Aperta al Prorettore alla Ricerca e al Governo dell’ateneo

  1. Assolutamente d’accordo .

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.