Quanto può far male una palla di neve

una striscia di Calvin and Hobbes, del fumettista Statunitense Bill Watterson.

Nascosto dietro uno tra decine di pupazzi di neve e montarozzi sparsi per il campo, Calvin prova a giocare l'effetto sorpresa e colpire Susie Derkins con una delle sue micidiali palle di neve. Alle spalle. Peccato che Susie è una tipa sveglia ed è lei che "gliela ammolla" sempre, nelle strisce di Watterson.

La palla di neve in arrivo sui ricercatori, www.snowballmetrics.com, potrebbe non far paura a Susie Derkins ma, se usata senza giudizio, potrebbe condizionare negativamente il modo in cui i ricercatori verranno valutati e quindi la loro promozione, il loro licenziamento, l'allocazione di fondi economici alle università ed agli enti di ricerca, e quindi anche la disponibilità dei corsi di studio universitari in materie di "minoranza". Come racconta Colin McIlwain nel suo editoriale su Nature dello scorso 15 Agosto [1], lo strumento snowballmetrics è in via di definizione proprio in quelle università britanniche che godono già di alta reputazione e che potrebbero utilizzare snowballmetrics per spostare l'ago della bilancia ancora più a loro favore. Noi Italiani non ne siamo immuni, perché abbiamo la brutta abitudine di prendere spunto, a volte storpiandole, dalle pratiche del mondo anglosassone.

Faccio mio il pensiero di Colin McIlwain: c'era un tempo in cui la valutazione del merito e dei risultati dei lavoratori della conoscenza era un processo accurato, fatto da persone esperte che impiegavano il tempo necessario leggendo, studiando, informandosi, prima di emettere un giudizio. Queste persone si guardavano bene da sistemi semi-automatizzati che promettevano valutazioni rapide, in nome di una miracolosa efficienza ed il risparmio del loro prezioso tempo. Il vero problema delle "metriche", di cui abbiamo già parlato su questo blog perché il tema ci riguarda molto da vicino (come si legge anche sul post che Claudio ha scritto sul servizio di Google Scholar Citations), è quello di qualsiasi altro strumento che voglia fornire un'analisi quantitativa dei risultati della ricerca scientifica (notoriamente le pubblicazioni scientifiche), e cioè che...

[...] non potendo misurare direttamente la qualità della ricerca, figuriamoci l'insegnamento, utilizzano invece dei deboli surrogati, come ad esempio gli indici delle citazioni dei ricercatori [McIlwain].

Perciò bisogna tenere d'occhio il mondo delle metriche, inventate con buoni presupposti, ma non lasciarsi trascinare nell'uso irresponsabile. Perché le persone...

[...] tendono a distorcere il proprio comportamento per ottimizzare quello che viene misurato, come ad esempio le pubblicazioni in riviste con alto numero di citazioni, alle spese di quello che non viene misurato, come un insegnamento di buona qualità [McIlwain].

Alzi la mano chi di voi non ha mai sentito qualcuno parlare dell'importanza di pubblicare un manoscritto scientifico su una rivista, anziché un'altra, per ragioni di "impatto" e del risultato che questa presumibilmente miglior piazza avrebbe avuto sul suo curriculum. Faccio mio anche quest'altro pensiero di McIlwain:

[...] Le Nazioni con comunità scientifiche più deboli sono in una posizione svantaggiata per resistere alla marcia delle metriche. I rischi sono forse maggiori in posti come l'Italia, dove il sistema del peer review non è mai entrato pienamente in vigore [...]

Ha scritto l'Italia, non un paese in via di sviluppo. L'Italia, porca miseria. Quello stesso paese in cui, pochi giorni fa, una ricercatrice che gode di grande stima in Italia come all'estero, Elena Cattaneo, è stata nominata senatore a vita per poi essere criticata su Il Giornale [2] perché occupa solo una posizione di media classifica, secondo una di queste beneamate e beneodiate metriche. Ecco quindi appena confezionato un esempio nostrano di un uso miope e sconsiderato di queste metriche, che rischia di incentivare la corruzione ed abbassare la qualità dei giudizi. Come se la serietà della Dottoressa e Senatrice Cattaneo, e la sua adeguatezza al suo nuovo ruolo nel nostro Paese, fosse confrontabile con quella di altri scienziati (specialisti in campi totalmente diversi dal suo) attraverso uno di questi numeretti magici.

Tornando a McIlwain e le implicazioni nel mondo della ricerca scientifica:

[...] C'è una preoccupante tendenza nelle nazioni in via di sviluppo, in particolar modo, che vede le agenzie di ricerca alleggerire il peso della conduzione di un processo di peer review appropriato, e muoversi direttamente verso la cruda assegnazione di finanziamenti sulle basi delle misure di performance.

Come a dire, al diavolo la valutazione tra pari, ci sono i numeretti che dicono già tutto. Anche questo suona piuttosto familiare, no? Così, invece che maturare verso la revisione tra pari, costosa, laboriosa, e magari anche un po' retro', passeremmo (?) all'assegnazione di fondi per la ricerca sulla base della fama. Mi sa che confondo il futuro con il passato.

Intanto, io mi schiero con Susie Derkinks per questa volta: poche palle di neve, ma tirate bene.

[1] Colin McIlwain, Halt the avalanche of performance metrics, Nature, 15 Agosto 2013, Vol. 500, p. 255

[2] Fabrizio De Feo, I veri meriti della neo-senatrice, Il Giornale, 3 Settembre 2013, p. 6