La mosca cieca del peer review
E´ pronto il piano della Regione che rivoluzionerà il sistema di assegnazione dei fondi per la ricerca scientifica biomedica. [i fondi] verranno assegnati con un sistema “all´americana”, in cui, tra l´altro, il nome dei candidati resterà sconosciuto fino all´ultimo […] (Repubblica 19/09/2008)
Come tutti i toscani, sono felice di vivere in Toscana. Non è solo una regione ricca di eventi straordinari, come la Sagra della Nana e il raduno dei Landini Testa Calda dell’ Anonima Peneto Trattori. Dati alla mano, la Toscana è anche un esempio innegabile, nel panorama italiano, di gestione virtuosa della Sanità pubblica.E’ per questo che ho sofferto più del normale leggendo in questo articolo di Repubblica del piano “rivoluzionario” lanciato dall’assessore alla Sanità della mia regione, Enrico Rossi, per il finanziamento della ricerca scientifica. La Tristezza si è poi seduta accanto a me quando, sullo stesso giornale, l’assessore regionale dichiara di ispirasi, per questa “rivoluzione” al modello americano.
Diciamolo subito: il piano “rivoluzionario” della Regione Toscana, non solo non è così rivoluzionario, ma è anche poco sensato agli occhi di chi conosce come funziona l’assegnazione seria dei fondi. Per finire, non c’entra un tubo con il cosiddetto sistema “all’americana”, citato da Rossi.Tralasciando molti dettagli, il problema principale sta nella già citata frase: “il nome dei candidati resterà sconosciuto fino all´ultimo“. Questo peer review “alla cieca” si può definire ottimisticamente come un’ingenuità o, più realisticamente, come una boiata pazzesca.© Sergio Pistoi 2008
Nessuno dei sistemi di valutazione avanzati ai quali Rossi crede di ispirarsi, nasconde il nome dei candidati. Non lo fa l’NIH, non lo fa 
nessuno degli enti internazionali che conosco. Tanto meno lo fanno l’AIRC e Telethon, altri due esempi citati da Rossi e che conosco molto da vicino. I motivi sono semplici e tutti validi:
a) Finanziare un progetto senza sapere chi lo propone è come dare un mutuo senza sapere chi è il destinatario, cosa fa, dove vive, qual’è il suo “stato di servizio”. Il candidato, il suo CV, l’istituto in cui opera e il suo track record sono informazioni essenziali per la valutazione di un progetto scientifico. Per questo nessun ente serio valuterebbe progetti anonimi.
b) L’anonimato dei candidati è in ogni caso una pia illusione: avendo sufficienti informazioni sul progetto, chiunque lavori nel campo (a maggior ragione i valutatori) può capire senza problemi di chi si sta parlando. Un progetto serio non è solo una lista di obiettivi da raggiungere, ma deve ovviamente contenere informazioni utili a capire chi lo vuole fare, dove, come e perchè. Anche togliendo il nome e cognome del candidato, queste informazioni sono sufficienti a identificarlo. Se sono un valutatore e voglio favorire il candidato Pincopallo che presenta un progetto sul ruolo della proteina Sempronina nell’insorgenza del Parkinson, non ho bisogno di leggere il nome del candidato che presenta un progetto che parla del ruolo della Sempronina nel Parkinson (quanti pensate che ce ne siano?).
Comunque, se l’assessore Rossi non mi crede, possiamo fare una scommessa: lui mi manda i progetti senza il nome, e io gli dico chi li ha presentati.
c) Nel piano della Regione Toscana sono previsti 250 mila euro di compenso per i valutatori: per chi conosce la peer review questo è molto strano, dato che i suddetti valutatori prestano per prassi consolidata la loro opera in modo gratuito. Provate a dire ad un americano che state pagando i vostri revisori e vi riderà in faccia, altro che sistema “all’americana”.
d) Il sistema “alla cieca” è anche vagamente offensivo per chi valuta, perchè non si basa su un rapporto di fiducia: tu mi chiedi di valutare in modo imparziale e poi parti dal principio che voglio fare il furbo? Tipicamente italiano. Nessun valutatore serio accetterebbe di farlo. Forse per questo hanno deciso di pagarli per il disturbo.
e)Il peer review serio è basato sulla divisione fra chi giudica e chi viene giudicato: a scienziati di riconosciuto valore si chiede di valutare in modo imparziale il lavoro di colleghi. Una struttura professionale (i cosiddetti peer review managers- l’NIH ne ha ottanta, Telethon ne ha una decina) “valuta i valutatori” , si assicura cioè che questi vengano scelti in base a criteri di eccellenza e limitando al massimo i conflitti di interesse. Nel modello “all’americana” di Rossi, non si capisce chi faccia questo lavoro.
Detto in termini chiari, il sistema proposto da Rossi non è una rivoluzione ma è la vecchia riproposizione del peer review all’italiana. Un sistema che, come sempre, non vuole attribuire la responsabilità e la fiducia della scelta a chi valuta. Non è un passo in avanti ma un passo falso, seppure motivato da buone intenzioni.
Ho tutti i motivi di pensare che l’assessore Rossi sia in buona fede. Per questo, da Toscano a Toscano, mi permetto di dirgli, come direbbe Totò: “si informi”. Potrebbe cominciare col leggere qui come funziona il peer review americano, quello vero. Oppure come funziona quello di Telethon, da lui citato. Poi ne riparliamo. (nell’immagine: una sessione di peer review della Regione Toscana)