L’intelligenza artificiale può fare la peer review?

Guarda il video su You Tube

L’intelligenza artificiale (Ai) è uno strumento utile per automatizzare compiti tecnici e ripetitivi, ma non può sostituire l’esperienza e il discernimento umano nella valutazione della ricerca scientifica. Se usata bene, può liberare tempo prezioso per concentrarsi su ciò che conta davvero: la qualità, l’integrità e l’impatto degli studi pubblicati. È il punto di vista di Robert Golub della Northwestern university, medico internista generale, con interessi specifici nell’analisi decisionale, nell’analisi costo-efficacia e nell’insegnamento della valutazione critica. Editor del JAMA Surgery, Golub è stato vicedirettore esecutivo del JAMA.

Golub invita alla cautela. “Allo stato attuale, l’intelligenza artificiale è utile per attività di tipo algoritmico, come verificare la formattazione dei manoscritti o individuare casi di plagio o pubblicazioni duplicate”, spiega. In queste mansioni, l’Ai può effettivamente alleggerire il lavoro redazionale e rendere più efficienti i controlli preliminari.

Diverso è il discorso per la peer review, il cuore del processo di validazione scientifica. “L’Ai oggi non è in grado di fornire un contesto per interpretare uno studio – precisa Golub –. Può forse analizzare alcuni aspetti tecnici, ma non può sostituire il giudizio critico di un revisore umano”. Anche volendo impiegare strumenti di IA per supportare i revisori, resterebbe comunque indispensabile la figura dell’editor esperto, capace di valutare le analisi automatiche come informazioni provvisorie, e non come valutazioni conclusive.

Il rischio, altrimenti, è che la tecnologia venga utilizzata per velocizzare un sistema già sovraccarico, senza migliorarlo davvero. “Oggi – osserva Golub – molte riviste sono sommerse da sottomissioni spinte dalla pressione a pubblicare, spesso prive di reale valore scientifico. Una ricerca migliore e un numero minore di lavori inviati renderebbero il compito degli editor più sostenibile e migliorerebbe la qualità complessiva della letteratura”.

[Traduzione dell’intervista]

Dottor Golub, l’intelligenza artificiale può aiutare gli editor delle riviste mediche?

Sono dell’idea che, allo stato attuale, l’intelligenza artificiale sia utile per quelle attività di tipo algoritmico, come ad esempio verificare se un manoscritto inviato a una rivista rispetta le regole di formattazione previste. Oppure controllare eventuali casi di pubblicazione duplicata o di plagio: per questi aspetti, credo che possa essere molto efficace. Quanto alla possibilità che possa realmente contribuire alla peer review, penso che sia ancora prematuro. Il problema è che, così com’è ora, l’intelligenza artificiale non è in grado di fornire un contesto per interpretare uno studio. Può forse analizzare alcuni aspetti tecnici del disegno di ricerca ma non è in grado di offrire una revisione che tenga conto del contesto: oggi non abbiamo ancora gli strumenti per questo. E anche se li si volesse utilizzare, sarebbe comunque necessario un editor esperto che sappia valutare le informazioni fornite dall’intelligenza artificiale, considerandole provvisorie, e affidarsi ancora ai revisori umani come veri e affidabili consulenti. Quindi, al momento, il ruolo dell’IA è molto limitato. Certamente sta evolvendo molto rapidamente e in futuro potrebbe avere un ruolo più importante.

Una ricerca migliore e un numero minore di sottomissioni aiuterebbe il lavoro degli editor scientifici?

Assolutamente sì, non ho dubbi. Credo che oggi molta ricerca venga condotta a causa della pressione a pubblicare, spesso da parte di persone che forse non sono veramente motivate a fare una ricerca di qualità. Le riviste sono sopraffatte dalla quantità di lavori ricevuti, e questo rende il processo di revisione intrinsecamente più difficile. Penso che, se ci fossero meno sottomissioni e se la qualità generale della ricerca fosse più alta, sarebbe più facile per le riviste sia svolgere al meglio il proprio lavoro di revisione sia selezionare le ricerche migliori da pubblicare.