Valutazione e burocrazia

Un problema cruciale che vari paesi sviluppati stanno considerando riguarda  come organizzare unsistema di ricerca di base e dunque come investire e ripartire i fondi in maniera ottimale. Mentre non è semplice rispondere a questa domanda, ci si può chiedere come altri paesi hanno affrontato il problema, che tipo di risposte sono state sperimentate e se hanno funzionato rispetto al fine ultimo di migliorare la ricerca. Mentre da noi, dopo anni di gestazione (era stata ideata dal ministro Mussi) è appena nata l’Agenzia nazionale per la valutazione del sistema  universitario (Anvur), ed ancora non si capisce cosa debba fare e come, a parte il fatto che ne sono stati nominati sette membri, un esempio importante è sicuramente rappresentato dalla Research Assessment Excercise(Rae) che è stata iniziata in Inghilterra nel 1986, durante l’epoca Thatcher. La Rae ha funzionato fino al 2008 secondo le stesso schema ed ora verrà probabilmente cambiato in maniera abbastanza radicale per i motivi che illustrerò di seguito.
Ad intervalli di qualche anno, la valutazione della Rae viene eseguita in tutte le università. Vengono nominati i valutatori per ogni disciplina, ed i membri di ciascun dipartimento (e non di una università, per non confondere i diamanti con il carbone) devono selezionare una parte dei loro lavori da inviare ai comitati di valutatori, che li studieranno ed esprimeranno un giudizio sulla loro qualità. Ai dipartimenti con un buon giudizio verranno destinati fondi di ricerca, mentre a quelli con un cattivo giudizio i fondi saranno ridotti e ai membri verranno aumentate le ore di lezione. Inoltre alcuni dipartimenti con un cattivo giudizio sono stati anche chiusi. Bisogna considerare che la Rae èun’operazione costosa sia perché è necessario assumere persone che si dedichino completamente per seguire il gran volume di lavoro associato, sia perché richiede, ad ogni accademico, del tempo di lavoro non irrilevante.
Dunque la questione, posta in maniera magistrale da Donald Gillies nel suo libro How should research be organised?, è la seguente: questa costosa procedura ha migliorato la qualità della ricerca prodotta in Inghilterra? Infatti, mentre a prima vista la risposta a questa domanda dovrebbe essere ovvia, quando si studia il problema con una prospettiva storica, la risposta non è affatto scontata. Questo non significa che non sia necessario introdurre un sistema di valutazione, ma che bisogna farlo pensandoci bene e riflettendo a fondo sui punti critici che necessariamente sono presenti quando si vuole valutare un lavoro scientifico, sia esso prodotto da un singolo o da un dipartimento. Dunque è importante che il sistema sia affidato a persone esperte che si pongano il problema della riuscita dell’esercizio di valutazione e non a burocrati che contano il numero di pubblicazioni e citazioni in maniera automatico (tra l’altro, operazione che potrebbe essere svolta da un computer).
Lo strumento usato dalla Rae è una sorta di doppia revisione tra pari (peer review): un lavoro, per essere considerato, deve essere già stato pubblicato su una rivista che si basi proprio sulla revisione tra pari, e sarà quindi valutato dai comitati Rae una seconda volta. La Rae è dunque costruita in modo tale da “tagliare” i fondi ai ricercatori che non lavorano bene e darli a coloro che lavorano bene. Il punto fondamentale su cui si concentra l’analisi e la critica di Donald Gillies riguarda invece un problema complementare: che in questa maniera, basando la valutazione sulla doppia peer review, si possano tagliare i fondi ai ricercatori che lavorano su progetti che in un certo momento storico non sono considerati importanti, ma che invece potrebbero esserlo in futuro, mentre si finanziano solo i ricercatori che sono impegnati nei progetti di mainstream.
Per capire questo problema è necessario considerare degli esempi storici, che certo non mancano, come magistralmente illustrato da Thomas Kuhn nel suo La struttura delle rivoluzioni scientifiche. In pratica, il problema da porsi è come riuscire a non eliminare dei progetti innovativi poco apprezzati dalla maggioranza dei ricercatori del momento. La soluzione a questo problema è chiaramente molto complessa perché non si può prevedere il futuro. Ma forse queste riflessioni insegnano che sia necessario dare spazio anche alle “fluttuazioni”, ovvero a progetti poco popolari ma portati avanti da persone serie e con determinazione: la scienza non è democratica, nel senso che non va avanti nella direzione di quello che pensa la maggioranza degli scienziati.
Il motivo per il quale la Rae è stata recentemente ristrutturata è semplicemente il seguente: se i valutatori, anche con le migliori intenzioni, devono leggere decine, se non centinaia, di articoli e libri, generalmente difficili, in un tempo limitato, saranno capaci di dedicare il tempo necessario per giudicarli in maniera corretta, visto che le loro decisioni avranno degli effetti importanti sulle persone? Il governo inglese ha iniziato a dubitare che questo sia il caso, e dunque, anche per diminuire la spesa della Rae, ha ridisegnato la valutazione in modo molto più semplice: ilconteggio delle metriche, ovvero quante pubblicazioni, quante citazioni per pubblicazione, quante pubblicazioni su riviste ad alto impact factor, ecc. In questa maniera i valutatori non devono essere degli scienziati, ma è sufficiente che siano delle persone che sappiano usare i database dove sono indicizzate le pubblicazioni e le citazioni. Il problema di fondo, se questo sistema funzioni e realmente porti ad un miglioramento della qualità, è lo stesso che nella Rae vecchia maniera. Da una parte questo metodo, se ben implementato tenendo conto delle peculiarità delle diverse discipline (come ho discusso in un post precedente) può aiutare ad identificare i casi limite di ricercatori che non lavorano, dall’altro porta con sé lo stesso rischio di eliminare ricerche innovative poco popolari ed incoraggiare i ricercatori a lavorare sui paradigmi del mainstream.
Dunque per evitare il paradosso di un sistema di valutazione che abbassi anziché aumentare la qualità della ricerca, è necessario prestare molta attenzione ai vari casi che potrebbero verificarsi sia in negativo (ricercatori improduttivi) che in positivo (ricercatori che lavorano su progetti potenzialmente importanti ma poco popolari). Come messo in luce anche da Roberto Natalinil’ideale, dal punto di vista di un ricercatore, sarebbe avere  a che fare con persone di alto livello scientifico che dedichino tempo ed energia per capire i problemi. Ma questa operazione, oltre a richiedere tanto tempo, richiede anche risorse non banali e, come messo in luce da Pier Luigi Biggeri(a capo del Comitato nazionale per la valutazione del sistema universitario),  l’Anvur, oltre ad essereuna scatola vuota, ha attualmente meno di un decimo delle risorse destinante ad una simile agenzia in Francia. E poi, chissà quali sono i fondi che distribuirà tra i ricercatori meritevoli…(Pubblicato su Il Fatto Quotidiano online)