Articolo di Marc Lavielle, apparso su Images des Mathématiques, sul corretto uso delle statistiche nell’interpretazione dei risultati di esperimenti sulla tossicità (sui topi) di alimenti Ogm. Una interessante riflessione sui limiti di azione della statistica inferenziale e su quelli di comunicazione dei mass media.
«L’affaire NK603»
È il pomeriggio di martedì 18 settembre quando ricevo una telefonata da un giornalista di un grande quotidiano: «un nuovo studio biennale di G. E. Séralini mostra gli effetti del mais NK603. Le Nouvel Observateur pubblicherà domani un dossier su questo tema. Vorremmo fare anche noi un pezzo. Lei che ne pensa? a proposito…ho dovuto firmare un accordo di riservatezza, quindi non le è possibile leggere l’articolo di Séralini in questione prima della sua pubblicazione domani alle 15:00».
E beh! un po’ come se mi si chiedesse cosa ne penso del prossimo disco di Mireille Matthieu senza avere il diritto di ascoltarlo…
Anche se faccio parte del Consiglio Scientifico del Consiglio Superiore di Biotecnologie (in qualità di statistico), ho dovuto rassegnarmi a fare come i comuni mortali (ovvero come chiunque non sia giornalista di un grande settimanale o quotidiano) e pazientare fino alla revoca dell’embargo, prevista per mercoledì alle ore 15:00.
Nel frattempo, le voci hanno iniziato a circolare, abbiamo appreso dalla stampa che era stato dimostrato in modo conclusivo e definitivo che tutti gli organismi geneticamente modificati (Ogm) sono tossici (anche in piccole dosi, ha detto Guillaume Malaurie di Le Nouvel Observateur) …
Beh … se lo dicono i giornali … allora è senz’altro vero!
Una volta che l’articolo Séralini è entrato nella mia casella di posta elettronica alle ore 15:01, non mi è rimasto altro da fare che leggerlo per poi spiegare ai miei colleghi del Consiglio Superiore di Biotecnologie perché moriremo tutti tra atroci sofferenze se avremo avuto la sfortuna di consumare Ogm (anche in piccole dosi – insisto – ha detto Guillaume Malaurie di Le Nouvel Observateur).
Però, è curioso … c’è qualcosa che non va … ci torno subito!
Un campione di 200 ratti, composto da 100 maschi e 100 femmine, è stato suddiviso – in modo casuale – in 20 gruppi di 10 ratti dello stesso sesso: per ogni sesso si dispone anche di 1 gruppo di controllo e di 9 gruppi sperimentali (9 regimi dietetici a base di NK603 trattato o meno con del Roundup (un diserbante erbicida NdT), e del Roundup somministrato in forma liquida). Lo studio è durato due anni, durante i quali sono state eseguite diverse analisi:
· un’analisi della mortalità;
· uno studio di patologie anatomiche;
· un’analisi dei parametri biochimici.
Il corpo dell’articolo si limita essenzialmente a una descrizione dei risultati ottenuti nel corso di questo studio. Le osservazioni relative a questa parte dell’articolo riguardano la scelta delle differenze evidenziate. In effetti, una tale analisi descrittiva non dovrebbe sollevare particolari osservazioni se gli autori si fossero limitati a descrivere oggettivamente ciò che avevano avuto modo di osservare presso i diversi gruppi di 10 ratti (curve di mortalità, patologie anatomiche, … ). Purtroppo però gli autori hanno avuto una certa tendenza a selezionare con attenzione i confronti da presentare. Si può così leggere al § 3.1: «Prima di questo periodo, il 30% dei maschi (3 in totale) e il 20% delle femmine (solo 2) sono morti spontaneamente, mentre fino al 50% dei maschi e il 70% delle femmine sono morti in quei gruppi sottoposti a regimi dietetici a base di mais geneticamente modificato (Fig. 1)». Ma se alcuni gruppi sperimentali di maschi presentano in effetti un tasso di mortalità del 50% (5 ratti morti) dopo 600 giorni, i gruppi sperimentali di maschi che hanno ricevuto le dosi maggiori di NK603 e/o di Roundup presentano dei tassi di mortalità solo del 10% o del 20% (1 o 2 ratti morti).
Perché non descrivere questa differenza?
E perché mostrare solo le immagini di topi facenti parte di gruppi sperimentali? I tumori dei topi facenti parte dei gruppi di controllo non sono forse simili? Anche in questo caso, come per le curve di mortalità, una presentazione parziale (e di parte) dei risultati non descrive fedelmente come è stato condotto realmente l’esperimento.
Il contenuto dell’articolo in questione è francamente discutibile quando gli autori si allontanano dal campo puramente descrittivo delle osservazioni e cercano di spiegare i risultati e di generalizzarli. Si può quindi leggere in conclusione:
· «I risultati dello studio qui presentato dimostrano chiaramente che i livelli più bassi delle formulazioni di erbicida Glifosate (anche questo un noto diserbante erbicida NdT), a concentrazioni ben al di sotto dei limiti di sicurezza fissati ufficialmente, inducono gravi disturbi mammari, epatici e renali».
· «Complessivamente, i significativi disturbi biochimici e gli errori fisiologici documentati in questo lavoro confermano gli effetti patologici degli OGM trattati con Roundup in entrambi i sessi, a diversi livelli».
Tali affermazioni così formulate da non lasciare spazio ad alcun dubbio, dovrebbero sempre essere tassativamente e rigorosamente motivate e validate. Viceversa, è assolutamente impossibile affermare qualcosa circa la tossicità dell’NK603 sulla base di dati così limitati.
Attenzione: siamo in un ambiente incerto!
Non è perché solo 2 dei 10 ratti del gruppo di controllo sono morti alla fine dello studio, contro 6 del gruppo OGM 22%, che si può concludere che il rischio di morire entro 2 anni per un ratto femmina è 3 volte superiore se viene nutrita con un regime dietetico contenente il 22% di NK603.
Il ruolo della statistica inferenziale è proprio quello di stimare le incertezze e le probabilità di sbagliarsi nel concludere circa la presenza o l’assenza di determinati effetti. È un peccato che gli autori abbiano completamente trascurato questo aspetto della statistica, lasciandosi andare a delle super-interpretazioni non supportate dai loro risultati sperimentali.
Seguendo l’approccio degli autori (che consiste nel generalizzare direttamente a tutta la popolazione ciò che si osserva su un campione ridotto), perché non prendere in considerazione la differenza osservata tra i maschi nutriti con l’NK603 33% e il gruppo di controllo per concludere che una dose elevata di NK603 riduce il tasso di mortalità nei maschi? (Tutto questo è ovviamente ironico … nessuno oserebbe mettere in dubbio il fatto che questa differenza è dovuta solo a fluttuazioni nel campionamento … come pure tutte le altre differenze osservate … ).
Il protocollo e gli strumenti statistici utilizzati soffrono gravi lacune e carenze metodologiche che mettono totalmente in discussione le conclusioni avanzate dagli autori.
Una rigorosa analisi statistica dei risultati di questo studio non mette in evidenza:
· alcuna differenza significativa nella mortalità dei ratti nei gruppi di controllo e in quelli sperimentali;
· alcuna differenza significativa nei parametri biochimici.
Vedi l’analisi statistica dettagliata che, nelle conclusioni, afferma che la metodologia statistica utilizzata per l’analisi dei parametri biochimici è insufficiente e permette di concludere l’esistenza di differenze statisticamente significative tra i gruppi trattati e di controllo.
Altri studi, altre conclusioni
Ma la stampa ci riserva delle altre sorprese … nel febbraio 2009 era possibile leggere
O, più recentemente
Questa prima pagina si basa a sua volta su una pubblicazione scientifica di Snell et al. (pubblicata … sempre sulla stessa rivista, ossia Food and Chemical Toxicology). Tale articolo analizza 24 studi sull’argomento in questione e conclude che «Gli studi presi in esame presentano evidenze per dimostrare che le piante geneticamente modificate sono nutrizionalmente equivalenti a quelle non geneticamente modificate e possono essere tranquillamente utilizzate in alimenti e mangimi».
Ma ancora una volta, la conclusione così com’è formulata da parte degli autori dell’articolo va ben oltre ciò che gli studi permettono di dire. Ricordiamo in effetti che molti studi si concentrano su gruppi di solo 10 animali (a volte 5 o 3). Si possono muovere agli autori le stesse critiche mosse a Séralini: arrivare sistematicamente a conclusioni così definitive sulla base di informazioni così limitate non ha senso! D’altra parte, i test realizzati in questi studi sono test statistici di tipo comparativo che non autorizzano a concludere nulla circa la totale assenza di rischio o sulla nozione di equivalenza biologica. Lo strumento di statistica inferenziale teoricamente adattato a tale questione è il “test statistico di equivalenza”.
La valutazione dei rischi segue una strategia chiamata “di equivalenza sostanziale” basata sul confronto delle caratteristiche diverse tra la pianta geneticamente modificata e la sua equivalente non trans-genetica.
Una simile valutazione si basa su un’analisi dei dati sperimentali. La statistica gioca dunque un ruolo essenziale in tale contesto, ma il suo ruolo decisionale resta limitato. Infatti, non sono i soli argomenti statistici che permettono di esprimersi circa l’innocuità o la nocività di una pianta geneticamente modificata.
Un test statistico serve a valutare il rischio di trarre conclusioni sbagliate. Così, un test statistico di tipo comparativo permette di valutare la probabilità di sbagliarsi nel concludere contro l’esistenza di una differenza. Le conclusioni che si possono trarre da un tale test sono limitate per diversi motivi:
· una differenza biologicamente significativa potrebbe non essere statisticamente significativa se i dati disponibili sono insufficienti: un’analisi attenta è dunque indispensabile per valutare quali e quanti tipi di effetti possono essere rilevati con un determinato campione;
· una differenza statisticamente significativa non è necessariamente biologicamente rilevante. Infatti, un test di tipo comparativo si propone di rilevare le differenze e quali siano le loro entità. Tuttavia, con un campione sufficientemente grande, anche una piccola differenza sarà praticamente sempre rilevata e quindi statisticamente significativa.
Uno dei ruoli dello statistico è quello di evitare che si traggano conclusioni errate e affrettate.
· lo studio di Séralini conclude circa la tossicità degli OGM perché propone un ragionamento sorprendente (che nessuno aveva sinora avuto il coraggio di proporre …)
Effetto osservato => Effetto statisticamente significativo => Effetto biologicamente significativo
· gli autori di numerosi studi concludono che gli OGM non sono nocivi, traendo delle facili conclusioni assai frequenti (per lo più presso i nostri colleghi biologi …)
Effetto statisticamente non significativo => Effetto biologicamente non significativo
Il ruolo delle agenzie e degli organismi quali l’Autorità europea per la sicurezza alimentare (AESA), l’Agenzia nazionale (francese NdT) della sicurezza sanitaria dell’alimentazione dell’ambiente e del lavoro (ANSES) e il Consiglio Superiore di Biotecnologie (HCB) è quello di segnalare l’uso di tale prassi e fornire raccomandazioni per un utilizzo più consapevole dagli strumenti statistici.
Pertanto, le nuove linee guida dell’EFSA consigliano di ricorrere a nuove procedure statistiche come la cosiddetta analisi di potenza.
L’ANSES ha anche pubblicato le Linee guida per l’utilizzo dell’analisi statistica di dati provenienti da studi di tossicità subcronica della durata di 90 giorni sul ratto per le domande di autorizzazione all’introduzione sul mercato di OGM.
Queste nuove linee guida non permetteranno di chiudere definitivamente il dibattito, ma dovrebbero consentire di pervenire in futuro a un consenso sulle conclusioni che si possono trarre da uno studio di tossicità.
L’atteggiamento di alcuni media
Questa prima pagina de Le Nouvel Observateur è emblematica. Illustra molto bene la sempre maggiore necessità dei giornali di pubblicare il più rapidamente possibile degli argomenti dal forte impatto mediatico e che facciano vendere. È comprensibile … ma da qui a trattare gli OGM come il topless della Principessa d’Inghilterra … pfff … Si può quanto meno immaginare che il giornalista che ha concepito questo dossier abbia solide conoscenze scientifiche (lo credo veramente). Va bene, ma la sua cultura statistica è a tal punto limitata da non sapere che uno studio su gruppi di 10 ratti ha inevitabilmente dei limiti? o che il livello di incertezza è terribilmente elevato in un tale contesto?
Che ragionamento ha potuto seguire per dedurre, a partire da uno studio su gruppi di 10 ratti effettuato su un unico tipo di OGM, che tutti gli OGM sono tossici (sottinteso, per l’uomo)?
… «a basso dosaggio»? … «si rivela»? … «molto tossico»? … «spesso fatale»? Ma su quali informazioni si basa per enunciare tutte queste affermazioni in un’unica frase?
Enunciare una conclusione su basi così fragili e senza prendersi la briga di guardare da vicino i risultati dello studio è surreale e totalmente irresponsabile!
In effetti penso a tutti i miei colleghi scienziati, e in particolare agli statistici, ricercatori e docenti, che lavorano instancabilmente per pubblicare articoli che esaltano le buone pratiche statistiche, che trasmettono con pazienza ai loro studenti o allievi la cultura del “contesto incerto”. Ma che cosa possono pensare oggi? Quale messaggio passa quando simili contro-verità possono essere pubblicate sulla prima pagina di un grande settimanale senza il benché minimo controllo?
Ad aggravare la situazione, c’è da dire che ci sono dei precedenti che avrebbero dovuto allarmare questi giornalisti: numerosi lavori di di G. E. Séralini sono già stati criticati dalla comunità scientifica. Allora perché non essersi presi il tempo per assicurarsi della validità delle conclusioni dello studio prima di pubblicare il dossier?
L’articolo pubblicato su Food and Chemical Toxicology è on-line solo da mercoledì 19 Settembre alle 15:00 … Le Nouvel Observateur era in edicola il giorno dopo! Alcuni giornalisti potrebbero aver ricevuto l’articolo ben prima che fosse messo on-line, a condizione di firmare un accordo di riservatezza … e dunque non farlo circolare prima della fatidica data di uscita. Tali pratiche sono inaccettabili dato che si sa che studi simili richiedono obbligatoriamente di consultare uno studio di parere contrario.
Quali saranno ora le conseguenze di una tale campagna mediatica?
Una via di mezzo tra una fonte di informazione interna e un diffusore di allarmi su possibili attentati dinamitardi, un misto tra un vero e proprio scandalo e un’operazione politico-mediatica montata ad arte… un insieme di giornalismo scientifico e di giornalismo sensazionalistico … un mix di interesse generale e di interesse personale …
Una cosa è certa per quel che mi riguarda … ora so in che considerazione tenere le prime pagine de Le Nouvel Observateur!
La credibilità degli scienziati
Siamo di fronte ad una situazione paradossale in cui la competenza è riconosciuta da tutti come essenziale per valutare i rischi sanitari associati agli OGM, ma in cui gli scienziati hanno grande difficoltà a far sentire la loro voce … ed essere ascoltati!
Vi sono svariate cose che davvero colpiscono uno scienziato in questa storia:
1) Ogni osservazione di carattere puramente scientifico è sistematicamente assimilata a una presa di posizione!
Io stesso l’ho sperimentato in diverse occasioni:
Sono sempre stato critico e intransigente di fronte a uno studio con la pretesa di dimostrare la totale assenza di rischi per la salute associati agli OGM (Le Monde, Les Echos). Infatti, la metodologia statistica in generale non permette di trarre conclusioni del tutto definitive. Per molti, tali dichiarazioni “pubbliche” hanno fatto di me un anti-OGM! Allo stesso modo, sono stato da sempre critico e intransigente nei confronti di uno studio con la pretesa di dimostrare l’esistenza di rischi sulla base di argomenti non corretti (Inf’OGM ). Parlare apertamente in tal senso ha fatto di me un pro-OGM! Beh, come la stragrande maggioranza dei miei colleghi, io non sono manipolato da nessun movimento anti-OGM, né da alcuna lobby, e non sono finanziato da nessuna industria biotech. Con lo stesso grado di certezza con cui siamo in grado di dire che 2 più 2 non fa 5, allo stesso modo siamo in grado di affermare che lo studio realizzato non permette di concludere ciò che concludono gli autori dell’articolo.
2) Un parere scientifico argomentato non ha più peso di un commento infondato!
In primo luogo, non si può indefinitamente continuare a dare credito a qualsiasi studio scientifico con il pretesto che è stato pubblicato su una rivista scientifica internazionale a seguito di un processo di revisione. La comunità scientifica sa perfettamente che 2 o 3 revisori incaricati di valutare un articolo sottomesso ad una rivista per la pubblicazione non sono più competenti di altri ed è comune che gli articoli siano pubblicati anche se contengono inesattezze, lacune, errori. Un articolo non contiene verità scolpite nel marmo. Di quanto sto affermando si trova un riscontro particolarmente “curioso” nello stesso numero della stessa rivista in cui un articolo di Zhu et al. pretende di dimostrare la non nocività di un mais geneticamente modificato tollerante al Glifosate. Possiamo leggere nel sommario «Questi risultati hanno indicato che il mais geneticamente modificato tollerante al Glifosate è sicuro e nutriente quanto il mais convenzionale». Questi due articoli hanno seguito lo stesso processo di revisione e sono stati entrambi accettati per la pubblicazione…
Tutti possono essere soddisfatti perché, a scelta, è possibile:
· affermare che gli OGM sono tossici grazie all’articolo di Séralini,
· affermare che gli OGM non sono nocivi grazie all’articolo di Zhu.
Questo esempio illustra bene il fatto che la credibilità scientifica di un articolo può e deve essere continuamente messa in discussione. Questo è, evidentemente, il ruolo degli organismi come il Consiglio Scientifico del Consiglio Superiore di Biotecnologi: formulare un parere scientifico sul contenuto scientifico di tali studi. Ma è anche il ruolo di qualsiasi scienziato quello di guardare con senso critico a uno studio anche se già pubblicato. Quando un tema è così controverso, il problema per la comunità scientifica non è distribuire punteggi positivi e negativi, dare ragione a uno e torto a un altro, ma dar prova di “autorità”. Vale a dire ricordare ciò che le attuali conoscenze scientifiche autorizzano a dire e a scrivere.
Nel caso specifico che qui ci interessa, le numerose debolezze metodologiche di cui sopra sono indiscutibili. Nessuno statistico può negarlo! Nessuno statistico può giustificare rigorosamente le conclusioni che si trovano in questo articolo. Ma chi se ne frega … alcuni mezzi di comunicazione, alcuni politici chiaramente non si preoccupano di tali considerazioni pur di ripetere instancabilmente le stesse contro-verità.
Diversi articoli precedenti di G. E. Séralini sono stati ampiamente pubblicizzati (pur senza raggiungere il livello di questo articolo sull’NK603) ma anche ampiamente criticati dalla comunità scientifica per la loro assenza di rigore e le carenze metodologiche.
Senza andare troppo indietro nel tempo, un articolo di G. E. Séralini pubblicato nel 2007 pretendeva di dimostrare la tossicità del mais MON863.
È stata condotta una contro-analisi di questo studio che ha chiaramente dimostrato come l’articolo contenesse svariati errori (confusione tra effetti fissi ed effetti casuali per analizzare le curve dei pesi, inadeguata considerazione della molteplicità dei test statistici). Questi errori rimettono del tutto in discussione le conclusioni dell’articolo che non dimostra infatti alcun segno di tossicità (non sto dicendo che gli OGM non sono tossici, dico solo che lo studio in questione non permette assolutamente di concludere qualcosa circa la tossicità). Questo processo di contro-analisi è molto sano e auspicabile: si può gioirne e pensare che dal momento che è stato dimostrato che il contenuto scientifico di questo articolo è falso, allora non dovrebbe in alcun modo essere citato di nuovo per dimostrare la potenziale tossicità dell’MON863. Beh, non esattamemte … alcuni giornali come Le Nouvel Observateur hanno riesumato questo studio 5 anni più tardi senza porsi alcun problema …
La stessa storia si è riproposta di nuovo 2 anni dopo, questa volta con un nuovo articolo che sostiene di dimostrare la tossicità di tre tipi di 3 tipi di mais trans-genici. Stesso scenario: alcuni giornali s’impadroniscono di questo studio e non esitano a parlare di “prova” e di “dimostrazione” (!)
Una contro-analisi confuta i risultati di questo studio (ancora una volta per ragioni metodologiche …)
Nonostante ciò, il nuovo studio di G.E. Séralini pubblicato nel 2012 è stato preso per verità assoluta dalla maggior parte dei media e pubblicato senza il ben che minimo controllo, senza alcuna verifica …
Senza dubbio … c’è qualcosa che non va!
Direttore di Ricerca presso l’Istituto Nazionale per la Ricerca Informatica e Automatica (INRIA) di Saclay
(Traduzione di Elena Toscano, articolo originale qui)
