Miscellanea
  • Sei qui:  
  • Home
  • Miscellanea
  • Le conclusioni degli autori sono sempre coerenti con i risultati?
Sabato, 18 Aprile 2020

Le conclusioni degli autori sono sempre coerenti con i risultati?

A cura di Massimo Di Maio

Un’analisi delle presentazioni orali ai meeting ASCO ed ESMO degli ultimi anni ha evidenziato che spesso, anche se lo studio non è positivo, le conclusioni sono “non negative”. Accade più frequentemente di quanto si pensi…

Di Maio M, Audisio M, Cardone C, et al. The Use of Not-Negative Conclusions to Describe Results of Formally Negative Trials Presented at Oncology Meetings. JAMA Oncol. Published online April 16, 2020. doi:10.1001/jamaoncol.2020.0475

Nel 2020, anche se le pubblicazioni definitive su riviste scientifiche rimangono la fonte più affidabile dei risultati degli studi clinici, le presentazioni a congresso hanno una grande diffusione nella comunità scientifica. Alla presentazione segue, più o meno in tempo reale, anche la citazione dei risultati sui social media, spesso con immagini delle slides presentate dal relatore.

A differenza di quanto accade con un manoscritto sottomesso per la pubblicazione su rivista, le presentazioni orali non sono soggette a “peer-review” formale prima del congresso. Questo implica che le conclusioni degli autori possono contenere, in qualche caso, messaggi non perfettamente giustificati dai risultati.

Sulla base di questa premessa, l’analisi pubblicata il 16 aprile da JAMA Oncology si è posto l’obiettivo, passando in rassegna i meeting ASCO e ESMO degli ultimi 3 anni, di descrivere la frequenza di presentazioni orali di studi di fase III randomizzati, formalmente negativi, le cui conclusioni erano “non negative”. Obiettivo degli autori era anche quello di descrivere le tipologie di conclusioni “non negative”.

Gli studi esaminati sono stati classificati in positivi o negativi sulla base dell’analisi dell’endpoint primario. Sono stati inoltre classificati in positivi (“non negativi”) o negativi sulla base delle conclusioni degli autori, ricavando tale definizione dalle slides impiegate dagli autori per la presentazione orale.

Le conclusioni sono state definite come “non negative” quando, più o meno esplicitamente, gli autori aprono alla possibilità di impiegare il trattamento sperimentale nella pratica clinica, senza una chiara conclusione relativa al risultato formalmente negativo.

Gli studi con conclusioni “non negative” sono stati classificati in 4 categorie sulla base della tipologia di conclusioni:

  1. outcome “numericamente” migliore nel braccio sperimentale rispetto al braccio di controllo, ma differenza non statisticamente significativa;
  2. risultato negativo nella popolazione complessiva dello studio, ma conclusioni basate sull’enfasi per una o più analisi di sottogruppo;
  3. risultato negativo nella popolazione complessiva dello studio, ma conclusioni basate sull’enfasi per uno o più endpoint secondari;
  4. studio disegnato per dimostrare la superiorità del trattamento sperimentale, poi non dimostrata, ma risultati interpretati come “non inferiorità”.

 

L’analisi delle presentazioni orali ad ASCO ed ESMO 2017, 2018 e 2019 ha individuato complessivamente 208 studi.

Di questi 208 studi, 91 erano studi negativi. Di questi, 26 (pari al 28.6%) avevano una conclusone “non negativa”.

La proporzione di studi negativi ma con conclusioni “non negative” è risultata pari al 22.2% nel 2017, al 13.0% nel 2018 e al 46.9% nel 2019.

Dividendo gli studi sulla base del tipo di promotore (profit vs non profit), la proporzione di studi negativi ma con conclusioni “non negative” è risultata pari a 17/57 (29.8%) negli studi non profit e pari a 9 / 34 (26.5%) negli studi profit.

L’analisi delle tipologie di conclusioni “non negative” (non mutuamente esclusive) ha evidenziato:

  1. outcome “numericamente” migliore nel braccio sperimentale rispetto al braccio di controllo, ma differenza non statisticamente significativa: 13 casi (50%);
  2. risultato negativo nella popolazione complessiva dello studio, ma conclusioni basate sull’enfasi per una o più analisi di sottogruppo: 12 casi (46.2%);
  3. risultato negativo nella popolazione complessiva dello studio, ma conclusioni basate sull’enfasi per uno o più endpoint secondari: 10 casi (38.5%);
  4. studio disegnato per dimostrare la superiorità del trattamento sperimentale, poi non dimostrata, ma risultati interpretati come “non inferiorità”: 7 casi (26.9%).

Ciascuna delle tipologie di conclusioni “non negative” riscontrate nell’analisi merita una discussione, molto più complessa delle poche righe concesse dal formato della “Research letter” di JAMA Oncology.

In alcuni casi, lo studio ha evidenziato un outcome migliore per i pazienti assegnati al braccio sperimentale, senza però raggiungere il criterio della significatività statistica. Questo rende inconclusivi i risultati, e sicuramente non consente di dimostrare la superiorità. Se lo studio ha ottenuto il campione di pazienti ipotizzato, l’analisi è stata condotta con una potenza sufficiente per evidenziare la differenza ipotizzata in termini di efficacia, quindi l’assenza di significatività non può essere “ignorata”.

Per quanto riguarda le analisi di sottogruppo, esiste ampia letteratura sui rischi intrinseci nell’interpretazione di tali analisi. In particolare, quando si evidenzi una differenza statisticamente significativa in un sottogruppo (tra tanti) di uno studio negativo nella popolazione complessiva, il rischio di trovarsi di fronte a un risultato falso positivo è tutt’altro che trascurabile.

Analoga attenzione deve essere posta nell’interpretazione di uno studio negativo per l’endpoint primario (vale a dire quello adottato dagli sperimentatori per il dimensionamento del campione e per l’ipotesi principale), in cui sia positiva l’analisi di uno o più endpoint secondari. In questo caso la problematica è non solo statistica (essendoci anche in questo caso il rischio di risultati falsi positivi all’aumentare dei confronti eseguiti), ma soprattutto clinica, relativamente alla rilevanza clinica (non sempre ovvia) di tali endpoint secondari.

Infine, quando uno studio è disegnato per dimostrare la superiorità del trattamento sperimentale, se I risultati sono inconclusivi lo studio non può essere interpretato come la prova della sovrapponibile efficacia tra I trattamenti confrontati. Quest’ultima ipotesi va verificata nell’ambito di uno studio di non inferiorità, con una pianificazione adeguata della numerosità e soprattutto con una definizione predefinita del margine di rilevanza clinica accettato come “non inferiore”.

In conclusione, l’analisi ha lo scopo di stimolare il dibattito nella comunità scientifica sull’opportunità di meglio “pesare” le conclusioni delle presentazioni orali ai congressi, in particolare oggi, in quanto hanno una risonanza e una diffusione notevole ed immediata.