Repubblica 7.9.15
Processo alla psicologia
In questa disciplina solo il 36 per cento degli esperimenti ripetuti ha ottenuto risultati analoghi agli originali
Un progetto ambizioso, che ha coinvolto 270 ricercatori da tutto il mondo, ha così sollevato una questione delicata: è scientifica oppure no?
Ma se c’è chi usa i risultati per metterla sotto accusa, altri pensano che ne esca rinvigorita. Poiché in questo modo ha misurato il suo stato di salute
di Giuliano Aluffi


In alcuni studi di medicina e farmacologia il tasso di riproducibilità non supera il 12% Per fare carriera servono ricerche originali, è raro che siano replicate quelle già fatte

UN esercito silenzioso di ricercatori di tutto il mondo, negli ultimi tre anni, ha lavorato con sacrificio — nel proprio tempo libero, e in modo quasi carbonaro — a un progetto che solo oggi si presenta in pubblico suscitando uno stupore e un borbottio analogo a quello che, nella fiaba dei vestiti nuovi dell’imperatore, segue l’esclamazione “Il re è nudo!”. Sono i 270 psicologi che hanno risposto alla chiamata di Brian Nosek, docente di psicologia dell’Università della Virginia e direttore del Center for Open Science, associazione nata per aumentare l’affidabilità della ricerca scientifica replicando studi già pubblicati per vedere se si ottengono gli stessi risultati. I 270 ricercatori si sono divisi 100 studi pubblicati nel 2008 da tre importanti riviste scientifiche e hanno tentato di riprodurne gli esperimenti nella maniera più scrupolosa. I risultati fanno sobbalzare: solo il 36% degli esperimenti ripetuti ha ottenuto risultati analoghi a quelli originali. C’è chi ne ha subito ap-profittato per accusare la psicologia di antiscientificità, ma la realtà appare più complessa e interessante, e come vedremo c’è anche chi pensa, compresi gli stessi studiosi del Reproducibility Project — che la psicologia esca rinvigorita da questa ordalia.
«Abbiamo concepito il progetto nel 2011, anno in cui si sono verificati casi che hanno scosso la psicologia dalle fondamenta, come il caso di Diederik Stapel, il ricercatore olandese scoperto a falsificare la metà dei suoi studi, e quello di Daryl Bem, che pubblicò uno studio che sosteneva con dati empirici la precognizione» spiega a Repubblica Cody Christopherson, docente di psicologia alla South Oregon University e organizzatore insieme a Brian Nosek del Reproducibility Project. «Questi casi sono stati clamorosi, ma sono solo sintomi di una più vasta — e purtroppo carsica — debolezza dell’edificio della scienza: la riproducibilità. Oggi è molto raro che gli esperimenti vengano replicati, ed è comprensibile: per fare carriera accademica bisogna fare ricerche originali e nuove, non rivedere gli studi già fatti. La conseguenza è che oggi abbiamo una vasta letteratura scientifica di attendibilità incerta». Le minacce alla credibilità scientifica sono diverse: «C’è innanzitutto un problema di incentivi alla pubblicazione. Le riviste tendono a pubblicare soprattutto i risultati positivi, ossia quelli che confermano l’esistenza di un fenomeno, e a trascurare quelli che smentiscono un’ipotesi. I ricercatori stessi, quando i risultati negano un fenomeno, tendono a lasciare lo studio nel cassetto della scrivania. Ciò fa sì che le informazioni positive siano sovrarappresentate » spiega uno dei ricercatori italiani coinvolti nel progetto, Marco Perugini, docente di psicologia all’Università di Milano- Bicocca. «Inoltre si premiano gli studi con risultati sorprendenti. Ma, si è visto nel Reproducibility Project, questi studi sono meno replicabili degli altri, magari perché toccano argomenti nuovi, su cui c’è poca letteratura, e quindi poche prove a supporto». O perché potrebbero esserci state forzature nel disegno dell’esperimento per avere più attenzione dai media. Un’altra causa è la limitatezza dei campioni statistici. «In passato c’è stata un’attenzione insufficiente all’aspetto della potenza statistica, che misura quanto io possa fidarmi dei dati raccolti. Bisogna fare studi con campioni più numerosi» sottolinea Perugini. «Però già da due anni a questa parte, per fortuna, le riviste sono diventate più esigenti sotto questo punto di vista ». Un secondo fattore che si è scoperto influenzare la riproducibilità è il cosiddetto “valore P”, ossia la probabilità che l’effetto riscontrato dall’esperimento non sia causato dall’ipotesi di partenza, ma sia frutto del caso. Sui 100 studi considerati, dei 32 studi con un valore P inferiore a 0,001, 20 sono stati replicati con successo. Invece su 11 studi con valore P superiore a 0,04, soltanto 2 studi sono stati replicati con successo. Ma anche il “valore P” è un’arma a doppio taglio. Le riviste più autorevoli non pubblicano studi con valore P superiore a 0,05. Ciò può spingere gli scienziati a ritagliarsi su misura i campioni sperimentali in modo da ottenere il basso “P” necessario alla pubblicazione. Ovvio, però, che più un esperimento è confezionato e rimodellato per ottenere un preciso risultato, meno è riproducibile.
Nella comunità degli psicologi il Reproducibility Project è stato anche criticato. «La riproducibilità è importante. Ma gli esperimenti non possono essere “ imbottigliati” per poi riaprirli in ogni contesto, scegliendo a piacere un gruppo di partecipanti e pretendendo di ottenere gli stessi risultati» rimarca Lisa Feldman Barrett, docente di psicologia alla Northeastern University. «Ciò è vero in scienze come la biologia e perfino la fisica, perché i fenomeni osservati possono avere diverse cause, ed è vero anche per la psicologia. Come migliorare? Quando presentiamo uno studio per la pubblicazione, dovremmo elencare tutte le possibili cause di un fenomeno, anche quelle che appaiono più remote. Oggi invece si citano solo quelle che interessano all’autore dello studio. Ecco perché i fallimenti nel replicare non stupiscono. Ma succede per tutte le scienze». E infatti si è già avviato un secondo Reproducibility Project, incentrato sulla biologia del cancro. La replicabilità su larga scala sta muovendo i primi passi. «La meta-scienza, ossia lo studio empirico dei progressi della scienza, è cosa recente. Noi psicologi siamo stati i primi a fare uno studio così ampio e sistematico, e quindi non possiamo sapere quale tasso di riproducibilità sia ragionevole aspettarsi nella psicologia e in domini diversi dalla psicologia» spiega Vianello. «Sappiamo solo che in alcuni studi di medicina e farmacologia (Begley e Ellis, 2012; Prinz et al., 2011) il tasso di riproducibilità non superava il 12%. Quello riscontrato da noi per la psicologia è tre volte superiore».
Come si può aumentare la riproducibilità degli esperimenti psicologici, grazie a quanto appreso in quest’occasione? «Si potrebbe finanziare in modo sistematico la replica di esperimenti già condotti. E le riviste potrebbero pretendere, prima di pubblicare uno studio, che sia replicato con successo » risponde Vianello. «I ricercatori, poi, potrebbero pubblicare in appositi spazi online i propri materiali di ricerca e la descrizione dettagliata delle procedure seguite nei loro studi, magari anche allegando la videoregistrazione di una tipica sessione di raccolta dati». La psicologia, insomma, sopravviverà. «Il fatto stesso che il Reproducibility Project sia stato fatto da noi psicologi è significativo. In maniera aperta stiamo dicendo: forse abbiamo un problema, vediamo quali sono le cause e cerchiamo di migliorare » spiega Mario Perugini. «Il fatto che uno non si misuri la febbre, non significa che non ce l’abbia. Bene, la psicologia si è misurata la febbre: le altre scienze non l’hanno ancora fatto ».