Log in

Ops! Per usare il Centro di Lettura devi prima effettuare il log in!

Password dimenticata?

Non hai un account? Registrati

Registrazione

Sei un essere umano?

Hai già un account? Log in

Cerca nel sito…

Reset

Qualche settimana fa il podcast Freakonomics Radio del giornalista statunitense Stephen J. Dubner ha pubblicato un episodio dal titolo “Perché ci sono così tante frodi nel mondo accademico?”. Partendo dallo scandalo di Francesca Gino e Dan Arieli il podcast illustrava esempi di articoli accademici con elementi falsi – i dati erano manipolati e c’erano molti altri elementi poco chiari. Il giornalista cercava di esplorare come e perché questo accada e provava a immaginare qualche soluzione. Su Sensible medicine l’oncologo Vinay Prasad raccoglie le sue riflessioni sulle domande sollevate da Freakonomics Radio: le fragilità della ricerca accademica non riguardano solo la falsificazione e manipolazione dei dati. Su Stop and Think  il cardiologo John Mandrola risponde che le fragilità non sono rare ma sono la normalità degli studi clinici quanto nella pratica clinica. I due medici statunitensi hanno voluto condividere con i lettori de il punto la loro visione.

Frodi, distorsioni e verità nella scienza

Vinay Prasad, medico onco-ematologo, Department of epidemiology and bostatistics, University of California San Francisco (Usa)

Nella puntata di Freakonomics Radio, un ospite afferma di sospettare che il 5 per cento della scienza contenga dati fraudolenti. Si tratta di una stima audace, anche se ammetto che si allinea con la mia intuizione, ma è sicuro che – al momento – non abbiamo prove valide a supporto di questa affermazione. Non sappiamo quanto spesso si verifichi la frode – cioè la falsificazione dei dati.

Ciò che spesso viene tralasciato nella discussione è che la frode non rappresenta la minaccia più grande per la scienza. Essa rappresenta un estremo, in cui le conclusioni non sono né vere né utili perché i dati sono manipolati. Ciò che è molto più pericoloso nella scienza è che quasi tutte le conclusioni che riportiamo non sono né vere né utili, non a causa di frodi, ma perché manca l’impegno nel condurre lavori di alta qualità, sufficientemente potenti e predefiniti.

La triste verità è che ben poco della scienza è autentico e utile.

Come è possibile? Innanzitutto consideriamo che la maggior parte della scienza biomedica riguarda due cose: descrivere il mondo e migliorarlo. Permettetemi di affrontare questi due aspetti nell’ordine opposto.

Per cambiare il mondo è necessario (a) avere un progetto e (b) essere abbastanza sicuri che la sua attuazione migliori le cose. La parte più facile è avere un piano. Molte persone, dai geni ai folli, hanno un piano e le ragioni per credere che potrebbe funzionare. La parte difficile è la causalità. Il mondo è pieno di collegamenti – per lo più spuri. Ma come si fa a capire quali di essi funzionano come che si pensa?”

Viviamo in un mondo di attivisti. Giovani che vogliono fare del bene. Purtroppo, in genere sono così poco formati al pensiero critico e al nesso di causalità che circa il 100 per cento di quanto propongono non porta alcun valore. Molte delle proposte sono addirittura dannose.

Non c’è nulla di più pericoloso di una persona desiderosa di fare il bene ma non sa cosa davvero funzioni.

La scienza, quindi, offre un aiuto appena sufficiente. Molti studi mancano di controlli, molti sono irrimediabilmente compromessi da fattori di confondimenti o da bias. La maggior parte degli accademici trae conclusioni causali che non sono vere. E anche quando lo sono, non possono essere trasferite nella pratica; non sono valide quando applicate su larga scala. Questo divario viene chiamato “the efficacy effectiveness gap”, gap tra efficacia ideale ed efficacia.

Consideriamo ora la seconda questione: descrivere il mondo. Anche qui falliamo. In genere, affermiamo che qualcosa predice o è associato a un risultato negativo, ma non abbiamo trattato adeguatamente tutti gli altri elementi che sono già noti per prevedere quel risultato negativo. Sosteniamo di aver trovato qualcosa di nuovo, ma non stiamo aggiungendo nulla.

L’intero campo della scienza è pieno di carrieristi che sfornano studi di dubbia credibilità, un fenomeno che suscita stupore. Solo in circostanze estreme, caratterizzate da forti pressioni per ottenere risultati e da un controllo di qualità scadente, le persone “fabbricano” apertamente dati; ma anche nei casi più comuni le conclusioni non sono né vere né utili.

La scienza, come costrutto sociologico, spesso sembra meno incentrata sulla verità e più legata ad un particolare programma di benessere per i figli di genitori benestanti che hanno ottenuto buoni risultati a scuola.

Un’ultima riflessione. Il recente post di Adam Cifu su Peter Marks e Bob Califf è molto interessante. Per me il nodo fondamentale è che entrambi sarebbero perfettamente in grado di far eseguire a Pfizer lo studio randomizzato ma si rifiutano. Questa situazione rappresenta l’emblema del più grande fallimento della scienza.

Quindi, nonostante il mio apprezzamento per Freakonomics, mi piacerebbe che si discutesse maggiormente del problema più profondo che affligge la scienza.

Questo articolo è la traduzione del post di Vinay Prasad pubblicato su Sensible Medicine con il titolo “Fraud, Distorsion, and Truth in Science”. Per gentile concessione di Sensible Medicine.


Il problema non è alle estremità ma al centro della curva

John Mandrola, cardiologo elettrofisiologo, Baptist health Louisville, Kentucky (Usa)

Le frodi vere e proprie attirano sempre la nostra attenzione. Che si tratti di scienziati che inventano dati o di medici che impiantano troppi stent. E, ovviamente, si tratta di fatti gravi. Tuttavia, Vinay ha ragione: la frode vera e propria non è il problema principale né della ricerca clinica né dell’assistenza sanitaria.

Occupiamoci prima della ricerca scientifica. Vinay scrive che manca la buona ricerca. Cita, ad esempio, studi condotti per pubblicare articoli, come gli studi osservazionali che non hanno alcuna possibilità di verificare una relazione di causalità. Ogni settimana, scuoto la testa di fronte a questi studi. Mi chiedo: perché qualcuno dovrebbe fare queste ricerche? All’elenco di Vinay aggiungerei il problema di quelle ricerche che già nascano con un preciso intento. Alle scuole superiori impariamo che il fine della scienza è porsi domande sulla natura delle cose. Ma il problema nella ricerca clinica è che molti studi nascono con lo scopo di dimostrare che qualcosa funziona (e solitamente è qualcosa di redditizio).

Il centro della curva delle sperimentazioni cliniche è pieno di studi disegnati per dimostrare che un farmaco o un dispositivo medico remunerativo supera una certa soglia stabilita. In quanto tali, gli esperimenti sono fallaci: non è che sono fraudolenti, è che non sono veramente scientifici. Ad esempio, vogliamo sapere se un dispositivo che ripara le perdite ematiche della valvola tricuspide aiuta il paziente. Di per sé il quesito di partenza è valido.

Ma l’esperimento che realizzeremo testerà il dispositivo eseguendo una procedura invasiva in un gruppo di pazienti e somministrando il farmaco nell’altro gruppo. Nessun placebo. Inoltre l’esperimento misura un endpoint soggettivo. Chiunque leggerà questo studio sa che sostanzialmente è inutile, anche i ricercatori che lo hanno disegnato e condotto lo sanno. Eppure eccolo lì, pubblicato sul New English Journal of Medicine, destinato a essere utilizzato dalla FDA e poi nel materiale di marketing.

La scienza medica è piena di studi di questo genere. Quasi mai risultano fraudolenti; ma troppi di questi studi sono difettosi al punto da essere inutili.

Il problema della ricerca medica sta nella parte centrale della curva, cioè nella media.

Ed è così anche nella pratica clinica. In un una zona rurale, un cardiologo viene arrestato per aver impiantato degli stent quando di fatto non c’era alcuna condizione clinica che giustificasse l’intervento. Questo è penale e fa notizia. Ma è un caso isolato. Il vero problema è l’abuso quotidiano, l’eccesso di diagnosi e la medicalizzazione. Pensiamo ad esempio alla scansione del calcio coronarico in persone anziane che già assumono statine, alla scintigrafia miocardica nelle persone che hanno il pannolone, alla mammografia o colonscopia in anziani con demenza, oppure all’uso in anziani fragili ricoverati di farmaci per insufficienza cardiaca, la cui efficacia è stata dimostrata in pazienti ambulatoriali giovani.

È sotto gli occhi di tutti un’assistenza dannosa di scarso livello. Ormai è la norma – forse perché è una pratica redditizia. Forse perché i medici non prestano sufficiente attenzione alla valutazione critica. Forse perché i medici vogliono solo sfangarla. Nessuno vuole fare notizie sull’ordinaria quotidianità delle stupidaggini che si trovano nel mezzo della curva, è troppo difficile.

Diffondere il valore della valutazione critica è uno dei miei obiettivi, l’ho fatto qui, su Sensible Medicine, su Cardiology Trials e su This Week in Cardiology. Quando esaminiamo con attenzione le evidenze, diventiamo più umili nel valutare cosa ci si può aspettare dai nostri interventi. Non sono un nichilista: la medicina è una disciplina straordinaria che io amo.

Tuttavia il nostro principale problema non è il comportamento sbagliato che è l’eccezione, ma la cura e assistenza di basso valore che stanno sotto gli occhi di tutti.

Questo articolo è la traduzione del post di John Mandrola pubblicato sul suo blog Stop and think con il titolo “The problem in science and medicine is not at the tails but in the middle of the curve”. Per gentile concessione dell’autore.

Condividi

Condividi questo articolo:

Ultimi articoli

La riforma è compiuta: ecco la nuova Agenzia del farmaco

Cosa cambia e con quali finalità dichiarate: lo spiega Andrea Capocci

La fragilità dell’etica

Politica, cultura e società: l’editoriale di Guido Giustetto

Perché i medici non vogliono vedere i pazienti?

Adam Cifu sul difficile equilibrio tra poesia e prosa in medicina

I commenti sono chiusi.