La ricerca italiana promossa a pieni voti. Oppure no?
La ricerca italiana è promossa a pieni voti. E’ la conclusione del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) un organismo di valutazione creato dal MIUR che in una conferenza stampa del 26 Gennaio ha presentato i risultati del primo rapporto sulla valutazione della ricerca Italiana, riproposti in maniera assai poco critica da quasi tutti media.
L’immagine che ne viene fuori è quella di una ricerca italiana al "top": il 30 % dei "prodotti" scientifici valutati è stato giudicato “eccellente” secondo "una scala di valore condivisa dalla comunità scientifica internazionale", la fascia più ampia, pari al 46%, si è posizionata sul “buono”. Infine 19 % di prodotti sono stati giudicati “accettabili” e soltanto il 5% “limitati”.
"La ricerca italiana supera l’esame della valutazione, mostrando risultati di qualità" – dichiara così il ministro Moratti, che ha fortemente sostenuto la creazione del CIVR.
Ma allora – viene da pensare- va tutto bene? Siamo di fronte all’ennesimo miracolo italiano, che di colpo annulla gli annosi problemi della nostra ricerca, con il suo carico di povertà cronica, baronati, finanziamenti senza logica, fuga dei cervelli e a rischio di calo verticale della produttività?
Guardando da vicino il rapporto ci si accorge che non è tutto oro quello che luccica.
Cerchiamo di semplificare: dato che tutto è relativo, quando qualcuno ci dice che qualcosa è "eccellente", "buono" o "accettabile" , la prima cosa da fare è capire a quale scala di valori si riferisce. Secondo il CIVR, la scala di valori è quella "condivisa dalla comunità scientifica internazionale". E’ davvero così?
IL Research Assesment Excercise britannico, ad esempio, è considerato dalla stessa Moratti una dei metodi di riferimento mondiali per la valutazione della ricerca, e ad esso si è ispirato il lavoro del CIVR. Questa è la definizione di "eccellenza" che troviamo nelle linee guida del RAE:
Four star:
Quality that is world-leading in terms of originality, significance and rigour.
Traduzione: secondo il RAE (e secondo i criteri universalmente accettati) è eccellente la ricerca che risulta al massimo livello mondiale in termini di originalità, importanza e rigore.
Questa, invece, è la scala di valori adottata dal CIVR e pubblicata nel suo rapporto:
Eccellente:
Il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale
Buono:
Il prodotto si colloca nel segmento 60%-80%
Accettabile
Il prodotto si colloca nel segmento 40%-60%
Limitato:
Il prodotto si colloca nel 40% inferiore
In altre parole: il CIVR ha chiesto ai propri esperti (interni ed esterni) di classificare come "eccellenti" i "prodotti" (principalmente pubblicazioni scientificiche e brevetti) che a loro giudizio rientrano nel "top 20% " di tutta la produzione mondiale.
E qui nasce un problema -che un addetto ai lavori chiamerebbe "bias metodologico": la definizione di eccellenza adottata dal CIVR non corrisponde a quella adottata nel resto del mondo.
Qual’è la differenza fra le due definizioni di "eccellenza"? Quella saggiamente adottata oltremanica è qualitativa: è eccellente il prodotto che risulta al massimo livello mondiale in termini di originalità, importanza e rigore. La definizione scelta dal CIVR è invece quantitativa: sono "eccellenti" tutti i prodotti che rientrano nei migliori 20% del proprio campo.
Non ci sarebbe nulla di male se solo fosse chiaro da dove arriva quel fatidico 20 per cento. Infatti, anche se può sembrare strano, la soglia di eccellenza universalmente accettata nella valutazione della produttività scientifica non è del 20 ma dell’ uno per cento: infatti, anche se non ci sono leggi scritte, la consuetudine è di giudicare eccellente solo quegli articoli, quei progetti scientifici, quei ricercatori, che si situano nel top 1% mondiale dei loro rispettivi campi (alcuni considerano come soglia il 5%, ma questo cambia poco nel nostro caso).
Facciamo un esempio per capire: se in una scuola di mille alunni decidiamo di considerare eccellenti solo i migliori dieci (l’1 per cento) sceglieremo con tutta probabilità dieci piccoli geni (o i dieci più secchioni). Se decidiamo che sono eccellenti i migliori 200 (il 20 per cento), quasi sicuramente annovereremo fra gli "eccellenti" anche un bel pò di alunni mediocri, e perfino qualche ciuccio.
E nella scienza, se si vuole prendere quello che è veramente buono, bisogna essere estremamente stringenti, perchè è tristemente noto che la maggior parte degli articoli scientifici che vengono pubblicati è "fuffa"- cioè non verrà mai citato in altri lavori (quest’ultimo è un argomento che prometto di spiegare in dettaglio in post futuri).
La definizione di "eccellente" adottata dal CIVR è perciò troppo elastica, e comprende verosimilmente molti "prodotti" che , secondo i criteri universalmente accettati, verrebbero considerati tutt’ al più passabili, e forse anche qualche "ciuccio".
Con questo non voglio dire che non ci sia spazio per l’eccellenza nella ricerca Italiana; al contrario, nel mio blog porterò molti esempi e indicatori di assoluta eccellenza mondiale in alcuni campi.
E’ positivo che finalmente si faccia uno sforzo per valutare l’output della ricerca italiana, e per stabilire criteri di finanziamento basati sui risultati, e di questo va dato merito al ministro Moratti che ha fortemente sostenuto questa strada.
Tuttavia, adottando criteri troppo elastici per definire l’eccellenza il CIVR e il ministro Moratti offrono un’immagine virtuale ed edulcolorata della ricerca italiana. Si tratta di un esercizio rischioso perchè invece di premiare i migliori finisce col mettere ancora una volta sullo stesso piano chi fa veramente ricerca eccellente e chi no. I ciucci ringraziano.