Perchè l’Intelligenza Artificiale è (in)consapevolmente sessista
Si è già molto parlato di quanto gli algoritmi possano essere razzisti e sessisti. Purtroppo la storia recente è costellata di casi accertati in questo senso: sistemi di intelligenza artificiale utilizzati per la selezione del personale che privilegiano gli uomini rispetto alle donne a parità di esperienza e preparazione (vedi il caso di Amazon, che ha poi bloccato il sistema in seguito alle denunce emerse, oppure quello di PureGym ), algoritmi alla base dell’assegnazione del credito bancario che concedono al marito crediti 20 volte superiori a quello della moglie pur in presenza di dichiarazione dei redditi congiunta (il rinomato caso dell’apple card di Goldman Sachs) e così via.
La domanda di fondo resta: perché questo accade? Perché delle macchine che dovrebbero essere scevre da emozioni e pregiudizi riproducono – e talvolta amplificano – i meccanismi irrazionali degli esseri umani?
La risposta è, almeno in prima battuta, piuttosto semplice: perché gli algoritmi di intelligenza artificiale si nutrono delle grandi quantità di dati che i programmatori danno loro in pasto. Il vero problema, molto più complesso, è la qualità dei dati, che spesso sono parziali e contengono in essi stessi gli stereotipi che la macchina assume, accredita e amplifica dietro la maschera dell’oggettività. 
Nell’Intelligenza Artificiale le tecniche attualmente più in voga utilizzano algoritmi che imparano autonomamente a svolgere un compito a partire, appunto, da enormi moli di dati, senza che nessun umano debba scrivere in maniera esplicita le istruzioni che il programma deve svolgere. In altre parole l’IA “imita” il modo di imparare di noi esseri umani: siamo in grado di riconoscere un oggetto o il viso di un amico in una foto perché lo abbiamo visto talmente tante volte che abbiamo imparato a distinguerlo.
Questo tipo di apprendimento “per esempi” è molto efficace, ma ha una controindicazione: se interrogati, non sappiamo spiegare quali siano le caratteristiche di un oggetto o di un viso che ci hanno guidato nel riconoscimento; allo stesso modo, le Intelligenze Artificiali spesso non sono in grado di giustificare le loro decisioni o azioni.
Proprio come gli umani gli algoritmi di IA apprendono da decisioni precedenti (dati storici) e sulla base di questi elaborano dei modelli. I modelli vengono poi applicati ai nuovi dati per fare previsioni e prendere decisioni.
Ecco dunque che è assolutamente fondamentale capire quali sono i dati storici (gli “esempi”) che vengono utilizzati per “nutrire” gli algoritmi, perché in base a questi l’IA perpetuerà modelli predittivi e prenderà decisioni.
Come ben illustrato dalla ricercatrice Caroline Criado Perez nel suo libro “Invisibili” esiste a tutt’oggi un grave vuoto di dati di genere, ovvero la maggior parte degli studi storici, sociologici e persino medici si basa sull’assunto del “maschile-ove-non-altrimenti-indicato”.
Esempi? Partiamo dal campo medico: da un’analisi condotta nel 2008 su una serie di libri di testo consigliati dalle «piú prestigiose università europee, statunitensi e canadesi» ( Medical Textbooks Use White, Heterosexual Men as a «Universal Model», in «ScienceDaily», 17 ottobre 2008) risultava che, su un totale di 16 329 illustrazioni, le «parti del corpo neutre» raffigurate con immagini maschili erano tre volte piú numerose delle raffigurazioni femminili. Un’analisi di Curr-MIT , mostra invece come nel database di documentazione e gestione dei programmi universitari, è risultato che soltanto nove delle novantacinque facoltà di Medicina che immettevano dati nel sistema avevano un corso dedicato alla salute femminile. Nel 2016 uno studio sulla presenza femminile nelle ricerche statunitensi sull’Hiv ( A Systematic Review of the Inclusion (or Exclusion) of Women in Hiv Research: From Clinical Studies of Antiretrovirals and Vaccines to Cure Strategies) ha reso noto che le donne rappresentavano solo il 19,2 per cento dei soggetti partecipanti alle sperimentazioni dei farmaci antiretrovirali; mentre negli studi sui vaccini la presenza femminile sale debolmente al 38,1.
Le prime schermate di Google se si digita “Anatomia umana”
Nel libro di Criado Perez molti altri dati sono poi riportati riguardo i test farmacologici e le sperimentazioni terapeutiche. In tutti gli studi il corpo di riferimento “ove-non-altrimenti-indicato” è quello maschile.
Ma gli esempi si sprecano anche in campo sociale e di comunicazione. Da uno studio internazionale condotto nel 2007 su 25 439 personaggi televisivi per l’infanzia è risultato che solo il 13% dei soggetti non umani era femmina.
Il Global Media Monitoring Project che valuta ogni cinque anni l’immagine delle donne nei mezzi d’informazione di tutto il mondo, nel rapporto pubblicato nel 2015, rileva che le donne rappresentano solo il 24% delle persone presenti nelle notizie di stampa, radio e tv.
Per non parlare dei libri scolastici che riportano le gesta di condottieri, politici e scienziati nella quasi totalità uomini, senza però analizzare a fondo le ragioni culturali e sociali per cui le gesta femminili sono così marginali nella cronaca dei secoli scorsi. Così nell’immaginario collettivo delle generazioni che crescono, gli scienziati sono uomini, così come la maggior parte di tutti i ruoli di responsabilità e potere.
Gli algoritmi imparano. E riproducono.
Volendo fare un piccolo giochino, basta usare Google traduttore (uno dei sistemi di intelligenza artificiale più diffuso oggi) e tradurre da una lingua neutra come l’ungherese la frase “ő orvos ő ápoló” (che letteralmente significa medico e infermiere con articolo neutro), Google vi tradurrà “Il suo medico e la sua infermiera”.
Non stupisce allora di incontrare sessismo nelle selezioni del personale realizzate con algoritmi di intelligenza artificiale. A volte anche nei casi più sottili, laddove si fa bene attenzione a non prendere in esame il sesso del candidato. Le disparità si nascondono più in profondità.
In un articolo per il «Guardian» l’analista informatica Cathy O’Neil, autrice del saggio Armi di distruzione matematica, spiega come la piattaforma online di selezione del personale Gild (ora acquisita dalla società di servizi finanziari Citadel) consenta ai datori di lavoro di andare molto al di là del semplice curriculum vitae, passando al setaccio anche i dati estratti dai social network e da tutte le tracce lasciate online. Queste informazioni, nel caso della selezione del personale informatico, vengono utilizzate per valutare il livello di integrazione di ogni programmatore in seno alla comunità digitale. Per esempio si può misurare quanto tempo viene dedicato alla condivisione e all’elaborazione di codici sulle piattaforme di sviluppo come GitHub o Stack Overflow. Oppure, per esempio, frequentare un certo sito di manga giapponesi costituisce in base ai modelli elaborati da Gild un «forte indizio di buone capacità di codifica» di conseguenza i programmatori che visitano quel sito ottengono punteggi piú favorevoli. Tutto ciò sembrerebbe credibile se non fosse che, come sottolinea O’Neil, le donne a livello mondiale si accollano ancora il 75% del lavoro non retribuito, gli americani uomini riescono a ritagliarsi ogni giorno un’ora di riposo in piú rispetto alle donne, e in Gran Bretagna l’ufficio statistico nazionale ha accertato che la popolazione maschile può contare su cinque ore settimanali di tempo libero in piú. (In Italia il 61% del lavoro femminile è lavoro non retribuito, mentre la quota maschile si ferma al 23%). Ecco allora che le donne potrebbero per esempio non avere il tempo per chiacchierare di manga online.
È fuor di dubbio che Gild non intendesse discriminare le donne. Voleva anzi fare esattamente l’opposto: azzerare il pregiudizio umano. Ma se non si è consapevoli di come quel pregiudizio opera in concreto non si fa altro che perpetuare in modo cieco le antiche discriminazioni. Non tenendo conto di come le vite degli uomini sono diverse dalle vite delle donne, sia online che offline, i programmatori di Gild hanno inconsapevolmente creato un algoritmo con un pregiudizio implicito.
C’è ancora un fatto molto importante. E inquietante.
La maggior parte degli algoritmi di IA è segreto e protetto in quanto programma a codice chiuso: quindi non possiamo conoscere il funzionamento dei loro processi decisionali e non possiamo sapere quali – eventuali – preconcetti vi si annidino.
Se siamo al corrente del pregiudizio inserito nell’algoritmo di Gild è solo perché uno dei suoi inventori l’ha raccontato a Cathy O’Neil.
Potremmo quindi dire che è un duplice gender data gap: molto spesso né i programmatori che mettono a punto l’algoritmo, né la società civile nel suo complesso hanno idea del potenziale discriminatorio delle intelligenze artificiali.
Come sostiene Londa Schiebinger, professore di storia della scienza alla Stanford University in un articolo pubblicato assieme al collega James Zou su Nature nel 2018 (AI can be sexsist and racist – It’s time to make it fair in cui mette in luce la difficoltà di alcuni algoritmi nel riconoscere la pelle nera):
“In una società che progressivamente è sempre più dipendente dai sistemi di automazione, i pregiudizi di genere e razza limitano di molto la nostra comprensione. E prima di correggere i software forse dovremmo pensare a correggere alcune nostre, a volte inconsapevoli, tendenze a considerare l’uomo bianco e occidentale, l’archetipico modello di un’umanità molto più complessa e ricca di diversità”.
Foto di apertura Gerd Altmann da Pixabay
