Domande e risposte sul cancro: ChatGPT è affidabile?

Un chatbot è un software che simula ed elabora le conversazioni umane (scritte o parlate), consentendo agli utenti di interagire con i dispositivi digitali come se stessero comunicando con una persona reale.

I chatbot possono essere semplici (come programmi rudimentali che rispondono a una semplice query con una singola riga) oppure nettamente più sofisticati, come i cosiddetti "assistenti digitali" che apprendono e si evolvono, per fornire livelli crescenti di personalizzazione quando raccolgono ed elaborano le informazioni.

I chatbot e altri sistemi di intelligenza artificiale (AI) sono diventati sempre più popolari negli ultimi anni per fornire informazioni e assistenza agli utenti negli spazi online. Di recente, uno di questi sistemi di intelligenza artificiale che riceve molta attenzione da parte del pubblico è ChatGPT, che utilizza l'elaborazione del linguaggio naturale per generare risposte all'input dell'utente. Nel dettaglio, ChatGPT è l'acronimo di Chat Generative Pre-trained Transformer. Si tratta di un prototipo sviluppato da OpenAI, una società di ricerca sull'intelligenza artificiale, che promuove lo sviluppo delle cosiddette “friendly” AI.

Sempre più spesso, i pazienti si rivolgono a Internet per acquisire informazioni sul cancro. Secondo alcune fonti, circa l'80% degli adulti statunitensi utilizzano Internet per cercare informazioni sulla salute.

Naturalmente, la qualità e l’affidabilità delle informazioni acquisite cercando sul web rimane un’incognita preoccupante. In particolare, i dati sulla qualità delle informazioni relative al cancro fornite dai chatbot e da altri sistemi di intelligenza artificiale sono limitati.

Gli autori del lavoro pubblicato a marzo 2023 sulle pagine di JNCI Cancer Spectrum sono partiti dalla considerazione che, data l'importanza di informazioni accurate nel campo della ricerca e del trattamento del cancro, determinare l'accuratezza delle (errate) informazioni fornite dall'intelligenza artificiale, in particolare da piattaforme come ChatGPT, è fondamentale per i medici e, più in generale, per la società.

Pertanto, come primo passo nel monitoraggio di queste piattaforme pubbliche, il gruppo statunitense si è impegnato in uno studio su piccola scala delle informazioni generate da ChatGPT.

Nel lavoro è stata valutata l'accuratezza delle informazioni sul cancro su ChatGPT rispetto alle risposte a 13 quesiti presenti sulla pagina del National Cancer Institute (NCI) "Common Cancer Myths and Misconceptions" ( Common Cancer Myths and Misconceptions - NCI ).

Sia le risposte ai 13 quesiti presenti sul sito NCI sia le risposte di ChatGPT, per ciascuna delle 13 domande, sono state valutate (in cieco) da parte di 5 esperti, chiamati a valutare l’accuratezza della risposta (tale accuratezza era espressa in maniera dicotomica, sì vs no).

In aggiunta alla valutazione in cieco dell’accuratezza, gli autori hanno confrontato le risposte di NCI e di ChatGPT in termini di conteggio delle parole e di livello di leggibilità (misurato secondo la scala Flesch-Kincaid) per ogni singola risposta.