Quando la scienza sbaglia

Negli ultimi mesi sono apparsi diversi articoli sulla non riproducibilità di molti risultati pubblicati in famose riviste come Nature o Science. Qui di seguito ne riporto qualcuno:
How science goes wrong
Trouble at the lab
Science has lost its way, at a big cost to humanity
Drug development: Raise standards for preclinical cancer research
Replication studies: Bad copy
Tutta la storia è nata da alcune verifiche effettuate da un’azienda di biotechnologie, la Amgen.  Questa azienda, investe ogni anno una discreta somma di denaro in ricerche biomediche. Ad un certo punto, quelli della Amgen si sono posti una domanda, in che percentuale è possibile riprodurre i risultati pubblicati su Nature, Science o simili giornali.  Hanno così selezionato 53 articoli che presentavano nuove scoperte nella lotta al cancro e sulle malattie del sangue. Le loro conclusioni sono state sorprendenti: su 53 articoli esaminati solo 6 erano riproducibili.
Sfortunatamente quelli della Amgen non sono stati gli unici a giungere a queste conclusioni, uno studio simile condotto dalla Bayer ha trovato un tasso di riproducibilità del 25%.
Se a questa scoperta aggiungiamo il fatto che una nuova cura prima di arrivare sul mercato deve dimostrare la sua efficacia nei test sugli animali, e poi sugli umani, la percentuale di ricerche che produrranno qualcosa di valido diventa veramente bassa.
Ma il problema della riproducibilità non e’ limitato solo all’ambito medico, negli articoli sopra citati si discutono casi simili in psicologia e in neuroscienze. Perché accade? Le motivazioni sono diverse, si va dalla pressione che c’è sui ricercatori per pubblicare più velocemente possibile e su riviste di alto impatto, al fatto che molti esperimenti vengono realizzati con un solo campione o un solo ceppo di batteri.
Inoltre c’è il problema che una volta pubblicato l’articolo, non conviene ad altri gruppi di ricerca “perdere” tempo a verificare un risultato non loro, perché ci si guadagna poco, sicuramente non una pubblicazione in un grande giornale.
Per rimediare al problema della riproducibilità differenti soluzioni sono state proposte (Recommendations: Improving the reliability of preclinical cancer studies), come la possibilità di pubblicare risultati negativi, un maggior dialogo, non dare peso solo alle pubblicazioni per la carriera scientifica, migliorare la statistica con test piu’ stringenti (Revised standards for statistical evidence), etc..
Se questi consigli non bastano negli ultimi tempi sono nate differenti iniziative per combattere il problema della riproducibilità’ degli articoli scientifici, ne segnalo qualcuna: Reproducibility Initiative, Reproducibility Project, Center for Open Science.
Speriamo si arrivi presto a dei risultati più affidabili nelle pubblicazioni.