il manifesto 3.6.16
La scienza? Non ammette repliche
Su «Nature» l’allarme: sempre più ricerche non vengono confermate nelle verifiche
di Andrea Capocci
L’ultimo
numero della rivista scientifica Nature lancia l’allarme sulla
riproducibilità delle scoperte scientifiche. La rivista, la più letta
nei laboratori di tutto il mondo, ha pubblicato un sondaggio tra i suoi
lettori che denuncia un problema sempre più grave: molti risultati
scientifici pubblicati anche dalle maggiori riviste, quando vengono
verificati da altri scienziati, vengono smentiti. Si tratta di risultati
privi della necessaria riproducibilità, ciò che distingue un semplice
dato empirico da un fatto scientifico. Il 70% dei ricercatori che hanno
risposto al sondaggio ha dichiarato di non essere riuscito a replicare
con successo esperimenti realizzati e pubblicati da colleghi, e il 90%
di loro ritiene che nella comunità scientifica vi sia una «crisi» sul
piano della riproducibilità.
Il sondaggio, a sua volta, non ha
nulla di scientifico in quanto si limita a registrare le opinioni dei
lettori, un campione nient’affatto rappresentativo. Oltre la metà delle
risposte, ad esempio, proviene da settori «sensibili» come biologia e
medicina. Tuttavia, il problema esiste ed era già emerso in altre
occasioni. Nel 2015, un team internazionale aveva tentato di replicare
100 esperimenti pubblicati sulle riviste di psicologia più prestigiose,
con un tasso di successo pari al 40% dei casi. Nel 2012, anche i
ricercatori della Amgen, una società farmaceutica che setaccia le
ricerche pubblicate alla ricerca di risultati promettenti verso lo
sviluppo di nuovi farmaci, si erano lamentati: su 53 ricerche
«interessanti», solo in sei casi i risultati erano stati confermati in
laboratorio. In uno studio analogo, alla tedesca Bayer era andata un po’
meglio – una conferma su quattro. Le stime più ottimistiche valutano
come replicabili il 50% delle ricerche pubblicate. In ogni caso, il
problema esiste e coinvolge studi di grande rilevanza: possibili farmaci
dal presunto effetto positivo contro il morbo di Alzheimer, ricerche
oncologiche effettuate su cellule contaminate o la scoperta di proteine
che (non) svolgono un ruolo importante nelle malattie neurodegenerative.
Da
oltre vent’anni, e su basi statistiche molto più solide, la questione è
denunciata e analizzata da John P. Ioannidis dell’Università di
Stanford (California), oggi il maggior esperto a livello mondiale
sull’affidabilità delle scoperte scientifiche. Le cause della «crisi»
sono numerose, secondo lo scienziato greco-americano. Le frodi
scientifiche vere e proprie rappresentano una minoranza dei casi. Ma non
è una buona notizia, perché pone sotto accusa le prassi consolidate
della comunità scientifica e riguarda anche i ricercatori più
rispettati.
L’uso disinvolto della statistica, invece, è uno dei
principali e più diffusi colpevoli. L’analisi dei dati può trasformare
piccole variazioni casuali in risultati eclatanti. L’effetto è maggiore
in discipline, come la medicina, in cui gli esperimenti coinvolgono
campioni statistici relativamente piccoli. Le risposte al sondaggio
accusano anche la fretta di pubblicare grandi quantità di articoli
scientifici, a discapito della qualità. Si tratta di un effetto
collaterale dei criteri di valutazione che oggi vanno per la maggiore,
in base ai quali carriere e finanziamenti sono distribuiti soprattutto
sulla base del volume delle pubblicazioni dei gruppi di ricerca. Secondo
Ioannidis, anche i frequenti conflitti di interesse influenzano
negativamente la qualità delle ricerche pubblicate e incoraggiano una
«selezione» dei dati a disposizione (è la prima causa
dell’irriproducibilità secondo il campione di Nature). Quando una
ricerca è finanziata da una società farmaceutica, ad esempio, il
ricercatore incaricato può essere spinto a confermare le aspettative del
committente nel misurare l’efficacia di un farmaco che deve essere
posto in commercio. La pubblicazione di risultati negativi, invece, è un
evento raro e costituisce un antidoto debole contro il dilagare della
scienza irriproducibile.
Per affrontare il problema, i mezzi messi
in campo dalla comunità scientifica appaiono insufficienti.
Recentemente i National Institutes of Health statunitensi hanno emesso
delle linee guida per i propri ricercatori, incoraggiando i propri
ricercatori a divulgare i dati di laboratorio «grezzi» su cui basano le
loro analisi e le riviste scientifiche ad adottare standard di controllo
più efficaci. Il filtro operato dalle riviste (la «peer review», il
parere di due o tre esperti che decidono della pubblicazione di una
ricerca) è insufficiente, a fronte di una mole di lavori da valutare che
raddoppia ogni 10-15 anni. Ma criteri diversi, come una valutazione
aperta a tutti anche dopo la pubblicazione delle ricerche,
costringerebbe gli editori a rivedere le proprie regole in materia di
copyright, un redditizio business controllato da pochi (quattro) big a
livello mondiale.
Visto che la comunità scientifica fatica a
riformarsi, c’è chi pensa di subappaltare la valutazione all’esterno. La
società privata statunitense «Science Exchange», ad esempio, fornisce
un servizio di verifica esterna delle ricerche, rilasciando una
certificazione di riproducibilità, in diversi settori della ricerca
biomedica. Science Exchange è sostenuto da fondi di investimento, che a
loro volta finanziano altre società del settore biomedico. Quindi è
ancora più esposto ai rischi di conflitto di interesse. Anche in questo
caso, l’outsourcing non è la soluzione.