Marco Verani, Professore Associato di Analisi Numerica presso il Dipartimento di Matematica del Politecnico di Milano, ha recensito per MaddMaths! il libro di Cathy O’Neil intitolato Armi di distruzione matematica: come i big data aumentano la diseguaglianza e minacciano la democrazia (Bompiani, 2017).

Nel 1797 Francisco Goya realizzò un’incisione intitolata, profeticamente,  il “Sonno della ragione genera mostri”. Nel suo libro “Armi di distruzione matematica: come i big data aumentano la diseguaglianza e minacciano la democrazia”, Cathy O’Neil sostiene con forza, basandosi su numerosi esempi, che un profondo torpore, un sonno etico, si è impossessato della Matematica e questo ha generato e sta generando mostri sempre più voraci: gli algoritmi per i big data. Allarmismo e terrorismo ingiustificati da parte di una iper-conservatrice anti-tecnologia anti-progresso?

Cathy O’Neal

Beh, non proprio… Cathy O’Neil ha ottenuto un dottorato in Matematica all’Università di Harvard, ha poi svolto attività di ricerca nel campo della geometria algebrica al dipartimento di Matematica del MIT e, in seguito, ha insegnato al Barnard College di New York. Nel 2007 ha lasciato il mondo universitario per lavorare  come analista quantitativa per l’hedge fund D.E. Shaw e poi come Data Scientist per diverse start-up nel mondo dell’e-commerce. A partire dal 2011 si unisce al movimento Occupy Wall Street, impegnandosi a tempo pieno (si veda il suo blog: www.mathbabe.org) nel dibattito sul rapporto tra tecnologia, giustizia sociale e politica.

“…e poi il grande cambiamento: lasciai il posto all’università per andare a lavorare come analista quantitativa, presso D. E. Shaw, un hedge fund di primaria importanza.

(…) All’inizio ero elettrizzata e stupita dal fatto di lavorare in questo nuovo laboratorio che era l’economia globale, ma nell’autunno del 2008, quando mi trovavo lì da poco più di un anno, tutto precipitò. Il tracollo chiarì senza ombra di dubbio come la matematica in cui un tempo mi rifugiavo fosse non solo legata a triplo filo con i problemi del mondo, ma in parte li alimentasse. I matematici e le loro formule magiche erano stati istigatori e complici della crisi immobiliare, del fallimento di alcuni grandi istituti finanziari, dell’incremento della disoccupazione. Inoltre, grazie agli straordinari poteri che io tanto amavo, la matematica sposata alla tecnologia riusciva a moltiplicare il caos e le sventure, alimentando e rendendo più efficienti sistemi che – ora lo capivo – erano malati. Se avessimo avuto le idee chiare, a quel punto avremmo fatto tutti un passo indietro per capire in che modo avessimo fatto cattivo uso della matematica e come avremmo potuto evitare una simile catastrofe in futuro. E invece, sull’onda della crisi, le nuove tecniche matematiche erano più trendy che mai, pronte a ramificarsi in ambiti sempre più vasti e a elaborare ininterrottamente petabyte di dati, gran parte dei quali raccolti setacciando i social media o i siti di e-commerce. Dati focalizzati sempre più non già sui movimenti dei mercati finanziari globali ma sugli esseri umani, cioè noi. I matematici e gli esperti di statistica si erano messi a studiare i nostri desideri, i nostri spostamenti, il nostro potere d’acquisto, a formulare previsioni sulla nostra affidabilità e a calcolare il nostro potenziale in veste di studenti, lavoratori, amanti, criminali.

Era l’economia dei Big Data, e prometteva enormi guadagni. Con un programma e un computer, si potevano analizzare migliaia di curriculum o richieste di finanziamento in un paio di secondi e organizzarli in elenchi ordinati, con i candidati più promettenti in cima alla lista. Questo modo di operare non solo faceva risparmiare tempo, ma si diceva anche che fosse equo e obiettivo. Niente più individui pieni di pregiudizi a leggere carte e documenti, solo macchine impegnate a elaborare freddi numeri. Le applicazioni matematiche che facevano girare l’economia dei dati si basavano su scelte di esseri umani fallibili i quali senza dubbio, in molti casi, erano animati dalle migliori intenzioni. Ciò nonostante, molti di questi modelli avevano codificato il pregiudizio umano, l’incomprensione e l’errore sistematico nei software che controllano ogni giorno di più le nostre vite. Come fossero divinità, questi modelli matematici erano misteriosi e i loro meccanismi invisibili a tutti, tranne che ai sommi sacerdoti della materia: matematici e informatici. I loro giudizi – anche se sbagliati o pericolosi – erano incontestabili e senza appello. E se da una parte penalizzavano i poveri e gli oppressi della nostra società, dall’altra aiutavano i ricchi ad arricchirsi sempre di più. Ho trovato un nome per questo genere di modelli negativi: li chiamo “armi di distruzione matematica”, o ADM.”

Pagina dopo pagina, esempio dopo esempio l’autrice scolpisce (dico scolpisce perché ogni esempio è una martellata che apre uno squarcio inquietante sul funzionamento della nostra società globale) uno scenario che deve far riflettere sull’urgente necessità di un uso responsabile dei dati, degli algoritmi per la loro analisi e dei risultati ottenuti da quest’ultimi. Emerge con forza il ruolo etico del matematico che costruisce gli algoritmi. Non solo la passione scientifica deve guidare la ricerca, ma anche la responsabilità sociale.

Gli esempi sono molti: dagli algoritmi per la valutazione degli insegnanti, a quelli per il ranking delle università, dagli algoritmi per determinare l’affidabilità creditizia dei cittadini a quelli per determinare i premi delle polizze assicurative, fino agli algoritmi per gestire la sicurezza urbana, amministrare la giustizia o quelli per individuare ed influenzare gli elettori indecisi.

Due brevi esempi.

Uno dal mondo delle assicurazioni:

“La cosa potrebbe sembrare cinica. Ma consideriamo l’algoritmo di ottimizzazione del prezzo di Allstate, la compagnia di assicurazione che si presentava anche con il nome di Good Hands People (“persone con cui sei in buone mani”). Secondo la Consumer Federation of America (CFA), Allstate analizza i dati di consumo e demografici per calcolare la probabilità che i clienti vadano alla ricerca di tariffe più basse. Se è improbabile che lo facciano, ha senso farli pagare di più. E Allstate fa esattamente questo.”

L’altro dal mondo della politica:

“Chi fa marketing in ambito politico possiede un corposo dossier su ciascuno di noi, ci somministra le informazioni goccia a goccia e misura le nostre reazioni. Ma veniamo tenuti all’oscuro delle informazioni che vengono invece fornite ai nostri conoscenti. Assomiglia a una tattica ampiamente utilizzata dai negoziatori commerciali. Trattano separatamente con le diverse parti in maniera tale che nessuno sappia che cosa è stato detto all’altro. Questa asimmetria dell’informazione impedisce alle parti in causa di unire le forze, che invece è l’obiettivo di un governo democratico”

Emergono diversi nodi cruciali sul funzionamento delle ADM, tra cui:

• La scelta degli obiettivi da perseguire

“La radice del problema, così come per molte altre armi di distruzione matematica, è la scelta degli obiettivi da parte dei modellatori. Il modello è studiato per ottimizzare l’efficienza e la redditività, non certo la giustizia o il bene del gruppo.”

• La necessità di ricalibrare costantemente i modelli

“i sistemi ricevono dati di feedback minimi (…) questo è un problema, perché gli esperti hanno bisogno di queste segnalazioni di errore – in questo caso la presenza di falsi negativi – per poter fare indagini e ricerche e capire che cosa non è andato per il verso giusto, quali informazioni sono state mal interpretate, quali dati sono stati ignorati”

• L’urgenza di evitare l’instaurarsi di feedback negativi che aumentano sempre di più le diseguaglianze sociali

“Con la crescita incontrollata degli e-scores, veniamo catalogati in gruppi e messi in questo o quel secchio in base a formule segrete, alcune delle quali alimentate da dossier stracolmi di errori. Veniamo visti non come individui, bensì come appartenenti a tribù e rimaniamo ancorati a quelle designazioni. Con gli e-scores a farla da padroni in ambito finanziario, le opportunità per le persone economicamente svantaggiate diminuiscono progressivamente.”

Emerge quindi con forza una necessità:

“Dobbiamo esplicitamente inglobare valori più nobili nei nostri algoritmi, creando modelli basati sui Big Data che seguano la nostra guida etica. E talvolta questo comporta di dover anteporre l’equità al profitto.”

A questo richiamo ciascuno matematico (e non solo) deve cercare di trovare urgentemente una risposta. Certamente la risposta non sarà univoca, ma il cammino sarà intrapreso ed il dubbio sulla neutralità dell’(uso della) matematica avrà iniziato a lavorarci dentro.

Oggi più che mai fare Matematica significa anche fare Politica, intervenire sulla Società. Sempre più matematici si dovranno confrontare con il classico dilemma tra scienza ed etica:  sviluppare nuove teorie ed algoritmi essendo consapevoli del potenziale impatto che i propri risultati potranno avere sulle persone oppure respingere questa responsabilità in nome della neutralità ed astrattezza della Matematica.

Marco Verani

Armi di distruzione matematica. Come i big data aumentano la disuguaglianza e minacciano la democrazia
Cathy O’Neil
Traduttore: D. Cavallini
Editore: Bompiani
Collana: Saggistica straniera
Anno edizione: 2017
In commercio dal: 6 settembre 2017
Pagine: 368 p., Rilegato

Alcuni spunti di lettura per continuare la riflessione su Intelligenza Artificiale, Tecnologia, Società ed Economia:

• Luciano Floridi, La quarta rivoluzione. Come l’infosfera sta trasformando il mondo. Cortina Raffaello, 2017
• Harari Yuval Noah, Homo Deus. Breve storia del futuro. Bompiani, 2017
• Max Tegmark, Vita 3.0. Essere umani nell’era dell’intelligenza artificiale. Cortina Raffaello, 2018
• Nick Bostrom, Superintelligenza: Tendenze, pericoli, strategie. Bollati Boringhieri, 2018