Articoli

Perchè l’Intelligenza Artificiale è (in)consapevolmente sessista

Di Silvia Pochettino

Si è già molto parlato di quanto gli algoritmi possano essere razzisti e sessisti. Purtroppo la storia recente è costellata di casi accertati in questo senso: sistemi di intelligenza artificiale utilizzati per la selezione del personale che privilegiano gli uomini rispetto alle donne a parità di esperienza e preparazione (vedi il caso di Amazon, che ha poi bloccato il sistema in seguito alle denunce emerse, oppure quello di PureGym ), algoritmi alla base dell’assegnazione del credito bancario che concedono al marito crediti 20 volte superiori a quello della moglie pur in presenza di dichiarazione dei redditi congiunta (il rinomato caso dell’apple card di Goldman Sachs)  e così via. 

La domanda di fondo resta: perché questo accade? Perché delle macchine che dovrebbero essere scevre da emozioni e pregiudizi riproducono – e talvolta amplificano – i meccanismi irrazionali degli esseri umani?

La risposta è, almeno in prima battuta, piuttosto semplice: perché gli algoritmi di intelligenza artificiale si nutrono delle grandi quantità di dati che i programmatori danno loro in pasto. Il vero problema, molto più complesso, è la qualità dei dati, che spesso sono parziali e contengono in essi stessi gli stereotipi che la macchina assume, accredita e amplifica dietro la maschera dell’oggettività.

Nell’Intelligenza Artificiale le tecniche attualmente più in voga utilizzano algoritmi che imparano autonomamente a svolgere un compito a partire, appunto, da enormi moli di dati, senza che nessun umano debba scrivere in maniera esplicita le istruzioni che il programma deve svolgere. In altre parole l’IA “imita” il modo di imparare di noi esseri umani: siamo in grado di riconoscere un oggetto o il viso di un amico in una foto perché lo abbiamo visto talmente tante volte che abbiamo imparato a distinguerlo.

Questo tipo di apprendimento “per esempi” è molto efficace, ma ha una controindicazione: se interrogati, non sappiamo spiegare quali siano le caratteristiche di un oggetto o di un viso che ci hanno guidato nel riconoscimento; allo stesso modo, le Intelligenze Artificiali spesso non sono in grado di giustificare le loro decisioni o azioni. 

Proprio come gli umani gli algoritmi di IA apprendono da decisioni precedenti (dati storici) e sulla base di questi elaborano dei modelli.  I modelli vengono poi applicati ai nuovi dati per fare previsioni e prendere decisioni.

Ecco dunque che è assolutamente fondamentale capire quali sono i dati storici (gli “esempi”)  che vengono utilizzati per “nutrire” gli algoritmi, perché in base a questi l’IA perpetuerà modelli predittivi e prenderà decisioni.

Come ben illustrato dalla ricercatrice Caroline Criado Perez nel suo libro “Invisibili” esiste a tutt’oggi un grave vuoto di dati di genere, ovvero la maggior parte degli studi storici, sociologici e persino medici si basa sull’assunto del “maschile-ove-non-altrimenti-indicato”.

Esempi? Partiamo dal campo medico: da un’analisi condotta nel 2008 su una serie di libri di testo consigliati dalle «piú prestigiose università europee, statunitensi e canadesi» ( Medical Textbooks Use White, Heterosexual Men as a «Universal Model», in «ScienceDaily», 17 ottobre 2008)   risultava che, su un totale di 16 329 illustrazioni, le «parti del corpo neutre» raffigurate con immagini maschili erano tre volte piú numerose delle raffigurazioni femminili. Un’analisi di Curr-MIT , mostra invece come nel database di documentazione e gestione dei programmi universitari, è risultato che soltanto nove delle novantacinque facoltà di Medicina che immettevano dati nel sistema avevano un corso dedicato alla salute femminile. Nel 2016 uno studio sulla presenza femminile nelle ricerche statunitensi sull’Hiv ( A Systematic Review of the Inclusion (or Exclusion) of Women in Hiv Research: From Clinical Studies of Antiretrovirals and Vaccines to Cure Strategies)  ha reso noto che le donne rappresentavano solo il 19,2 per cento dei soggetti partecipanti alle sperimentazioni dei farmaci antiretrovirali; mentre negli studi sui vaccini la presenza femminile sale debolmente al 38,1.

Le prime schermate di Google se si digita “Anatomia umana”

 

Nel libro di Criado Perez molti altri dati sono poi riportati riguardo i test farmacologici e le sperimentazioni terapeutiche. In tutti gli studi il corpo di riferimento “ove-non-altrimenti-indicato” è quello maschile.

Ma gli esempi si sprecano anche in campo sociale e di comunicazione. Da uno studio internazionale condotto nel 2007 su 25 439 personaggi televisivi per l’infanzia è risultato che solo il 13% dei soggetti non umani era femmina. 

Il Global Media Monitoring Project che valuta ogni cinque anni l’immagine delle donne nei mezzi d’informazione di tutto il mondo, nel rapporto pubblicato nel 2015, rileva che le donne rappresentano solo il 24% delle persone presenti nelle notizie di stampa, radio e tv.

Per non parlare dei libri scolastici che riportano le gesta di condottieri, politici e scienziati nella quasi totalità uomini, senza però analizzare a fondo le ragioni culturali e sociali per cui le gesta femminili sono così marginali nella cronaca dei secoli scorsi. Così nell’immaginario collettivo delle generazioni che crescono, gli scienziati sono uomini, così come la maggior parte di tutti i ruoli di responsabilità e potere.

Gli algoritmi imparano. E riproducono. 

Volendo fare un piccolo giochino, basta usare Google traduttore (uno dei sistemi di intelligenza artificiale più diffuso oggi) e tradurre da una lingua neutra come l’ungherese la frase “ő orvos ő ápoló” (che letteralmente significa medico e infermiere con articolo neutro), Google vi tradurrà “Il suo medico e la sua infermiera”.

Non stupisce allora di incontrare sessismo nelle selezioni del personale realizzate con algoritmi di intelligenza artificiale. A volte anche nei casi più sottili, laddove si fa bene attenzione a non prendere in esame il sesso del candidato. Le disparità si nascondono più in profondità.

In un articolo per il «Guardian» l’analista informatica Cathy O’Neil, autrice del saggio Armi di distruzione matematica, spiega come la piattaforma online di selezione del personale Gild (ora acquisita dalla società di servizi finanziari Citadel) consenta ai datori di lavoro di andare molto al di là del semplice curriculum vitae, passando al setaccio anche i dati estratti dai social network e da tutte le tracce lasciate online. Queste informazioni, nel caso della selezione del personale informatico, vengono utilizzate per valutare il livello di integrazione di ogni programmatore in seno alla comunità digitale. Per esempio si può misurare quanto tempo viene dedicato alla condivisione e all’elaborazione di codici sulle piattaforme di sviluppo come GitHub o Stack Overflow. Oppure, per esempio, frequentare un certo sito di manga giapponesi costituisce in base ai modelli elaborati da Gild un «forte indizio di buone capacità di codifica» di conseguenza i programmatori che visitano quel sito ottengono punteggi piú favorevoli. Tutto ciò sembrerebbe credibile se non fosse che, come sottolinea O’Neil, le donne a livello mondiale si accollano ancora il 75% del lavoro non retribuito, gli americani uomini riescono a ritagliarsi ogni giorno un’ora di riposo in piú rispetto alle donne, e in Gran Bretagna l’ufficio statistico nazionale ha accertato che la popolazione maschile può contare su cinque ore settimanali di tempo libero in piú. (In Italia il 61% del lavoro femminile è lavoro non retribuito, mentre la quota maschile si ferma al 23%). Ecco allora che le donne potrebbero per esempio non avere il tempo per chiacchierare di manga online.

È fuor di dubbio che Gild non intendesse discriminare le donne. Voleva anzi fare esattamente l’opposto: azzerare il pregiudizio umano. Ma se non si è consapevoli di come quel pregiudizio opera in concreto non si fa altro che perpetuare in modo cieco le antiche discriminazioni. Non tenendo conto di come le vite degli uomini sono diverse dalle vite delle donne, sia online che offline, i programmatori di Gild hanno inconsapevolmente creato un algoritmo con un pregiudizio implicito.

C’è ancora un fatto molto importante. E inquietante.

La maggior parte degli algoritmi di IA è segreto e protetto in quanto programma a codice chiuso: quindi non possiamo conoscere il funzionamento dei loro processi decisionali e non possiamo sapere quali – eventuali –  preconcetti vi si annidino.

Se siamo al corrente del pregiudizio inserito nell’algoritmo di Gild è solo perché uno dei suoi inventori l’ha raccontato a Cathy O’Neil. 

Potremmo quindi dire che è un duplice gender data gap: molto spesso né i programmatori che mettono a punto l’algoritmo, né la società civile nel suo complesso hanno idea del potenziale discriminatorio delle intelligenze artificiali.

Come sostiene Londa Schiebinger, professore di storia della scienza alla Stanford University in un articolo pubblicato assieme al collega James Zou su Nature nel 2018  (AI can be sexsist and racist – It’s time to make it fair in cui mette in luce la difficoltà di alcuni algoritmi nel riconoscere la pelle nera): 

In una società che progressivamente è sempre più dipendente dai sistemi di automazione, i pregiudizi di genere e razza limitano di molto la nostra comprensione. E prima di correggere i software forse dovremmo pensare a correggere alcune nostre, a volte inconsapevoli, tendenze a considerare l’uomo bianco e occidentale, l’archetipico modello di un’umanità molto più complessa e ricca di diversità”.

 

Foto di apertura Gerd Altmann da Pixabay

Nel testo: Bovee and Thill via photopin (license)

Design Thinking e Data Visualization come risorse chiave per innovare la Cooperazione allo Sviluppo

Design Thinking per l’Innovazione Sociale e Data Visualization per il Bilancio Sociale: strumenti e metodologie innovative al servizio del mondo della cooperazione. Vuoi saperne qualcosa in più? Leggi l’intervista ai docenti e scopri il corso che fa per te!

Di Anna Filippucci

Innovare strumenti e metodi della cooperazione internazionale è una sfida ormai improrogabile. Con i corsi di formazione e i progetti che portiamo avanti, noi di Ong 2.0 cerchiamo di rispondere a quest’esigenza, contribuendo alla diffusione di nuovi approcci alla progettazione.

Sulla scia di quest’impegno condiviso, torna anche quest’anno il programma Innovazione per lo Sviluppo cui abbiamo contribuito realizzando 4 nuovi percorsi formativi articolati e completi, in collaborazione con Techsoup Italia. Si tratta di programmi dedicati agli operatori della cooperazione internazionale, ma adatti anche a chi vuole acquisire e mettere in pratica metodologie e strumenti innovativi nel sociale. 

Da due settimane ormai, sono aperte le candidature per i primi due corsi in partenza: Design Thinking per l’Innovazione Sociale e Data Visualization per il Bilancio Sociale.

Per introdurre i temi e i protagonisti dei due percorsi abbiamo deciso di intervistare Azzurra Spirito e Giovanni Pierantoni, rispettivamente docenti di Design Thinking e Data Visualization. 

  • Come e perchè ti sei inizialmente interessato/a al tema oggetto del tuo corso?

Azzurra: Nella mia pratica mi sono sempre occupata di abilitare le comunità ad agire per il bene comune. Inizialmente mi sono concentrata su comunità minoritarie e seconde generazioni, recentemente sono arrivata invece a concentrarmi su sviluppo di modelli e policy. Ho sperimentato moltissimi strumenti a tal fine, da forme innovative di costruzione narrativa fino alla progettazione sociale. 

La domanda ricorrente per me era “cosa serve realmente alle comunità per cui stavo progettando?”, con l’urgenza di attivarne le risorse nello sviluppare soluzioni realmente rispondenti alle loro esigenze e capaci di evolvere autonomamente. Il framework offerto dal design thinking e la sua permeabilità ad altri approcci mi ha mostrato come sia possibile raggiungere questi obiettivi, in ambiti e territori molto diversi.

Giovanni: Mi occupo di progettazione da oltre 15 anni. Una buona progettazione non esiste senza un attento e profondo studio del mondo in cui si vive e si opera. Parlando di design di prodotto, ad esempio, è impossibile fare un nuovo prodotto senza avere studiato nel dettaglio tutti i competitors, i rispettivi prodotti, le tecniche produttive, le campagne pubblicitarie, etc. Per fare questo, e va fatto molto bene, c’è bisogno di raccogliere tanti dati e informazioni di varia natura, e poi, in seconda istanza bisogna elaborare tutti i dati e renderli oggettivi e ben comprensibili a tutto il team. Quindi, concludendo, l’interesse nasce da una esigenza di comunicare nel modo più efficace importanti moli di dati.

  • Qual è il valore aggiunto che questo corso dovrebbe fornire a un cooperante?

Azzurra: Il design thinking è prima di tutto l’occasione di porre in dialogo le proprie competenze con uno specifico mindset, quello dei designer. Su questo aspetto può essere utile un chiarimento: quando parliamo di design non intendiamo quello tradizionalmente inteso come attenzione allo sviluppo di un prodotto, magari in ambito manifatturiero. La moderna concezione vede in questa professione la capacità di abilitare un sistema relazionale desiderato: stimolandolo e infrastrutturandolo attraverso comunicazione, prodotti e servizi. Questo corso assume quindi valore per chi opera nella cooperazione allo sviluppo in quanto offre la possibilità di acquisire strumenti di facile utilizzo, che allenino a queste competenze, e metodi/pratiche facilmente condivisibili con il proprio team e stakeholder. In particolar modo perché focalizzato rispetto all’Innovazione Sociale, una categoria che cresce con forza per la capacità di connettere esperienze diverse: riuscire ad acquisire il linguaggio che renda evidente questa relazione è davvero prezioso per chi opera in questa direzione e spesso fatica a renderlo riconoscibile.

Un testo fondamentale per approfondire e comprendere meglio il tema dell’Innovazione Sociale è il Libro Bianco Per l’Innovazione Sociale, di cui consiglio fortemente la lettura!

Giovanni: Prima di tutto una coscienza diversa del proprio lavoro. Il rischio che noi tutti corriamo è di dare per scontato e/o trattare come prassi il nostro lavoro, in realtà, ogni lavoro, è un bene ricco di dati e informazioni. Informazioni che, prima di tutto, bisogna avere coscienza di possedere e poi bisogna poterle condividere con successo al team e a tutte le persone presenti nell’intero processo.

  • Dicci qualcosa in più sulla metodologia del corso: cosa aspetta i partecipanti?

Azzurra: Ong 2.0 e TechSoup, con il supporto di Fondazione Cariplo e Fondazione Compagnia di San Paolo, rendono possibile un’occasione preziosa di formazione dedicata. Il percorso che abbiamo sviluppato permetterà ai partecipanti di acquisire nuove capacità e competenze, strutturate per essere agilmente trasferite al proprio team (anche) attraverso la sperimentazione su un caso concreto. Grazie alla library di video-pillole i partecipanti potranno iniziare a prendere dimestichezza coi concetti base del design thinking e dell’innovazione sociale, esplorando in autonomia i contenuti in funzione delle loro esigenze e disponibilità di tempo. All’avvio del percorso, con il mio supporto, identificheranno il proprio project work e attiveranno il team. Ogni martedì, a partire dal 12 gennaio, si alleneranno nell’uso degli strumenti alternando sessioni online di sperimentazione su casi condivisi ad approfondimenti teorici. Riceveranno feedback sull’avanzamento delle loro applicazione al project work, avendo così l’occasione non solo di acquisire competenze nuove ma di confrontarsi con colleghi attivi in diverse parti del mondo sviluppando una vera e propria comunità di pratica.

Giovanni: Da oltre quattro anni insegno in differenti Università, corsi di varia natura: dalla progettazione industriale, alla storia della grafica e dell’illustrazione, dalla morfologia all’ergonomia; questo fa sì che il metodo che applicherò ha delle forti e consolidate basi universitario/accademiche, nate però dalla pratica e dal lavoro di tutti i giorni. Per questi motivi le lezioni teoriche saranno sempre affiancate ad esempi pratici e nelle sessioni live i partecipanti saranno invitati a presentare i loro casi, di modo da discuterne e parlarne in maniera pragmatica.

World Development Report 2016: l’impatto delle tecnologie digitali sullo sviluppo mondiale

Internet influenza profondamente la vita di miliardi di persone. Il Rapporto Mondiale sullo Sviluppo (World Development Report 2016) della Banca Mondiale esamina l’impatto delle tecnologie digitali e del web sulla crescita economica, sul miglioramento delle condizioni sociali e sull’efficienza dei servizi pubblici a livello mondiale, rivolgendo un’attenzione particolare ai Paesi in via di sviluppo.

di Viviana Brun

 

6000 tweet ogni secondo, 100 ore di video caricati ogni minuto, 240 milioni di ricerche su Google ogni ora, 106 miliardi di email inviate ogni giorno (Internet Live Stats): la rivoluzione digitale ha cambiato la vita quotidiana di miliardi di persone nel mondo, mentre altrettante restano ancora escluse.

La rapidità di diffusione di Internet nei Paesi in via di sviluppo non ha precedenti. Secondo i dati riportati dalla Banca Mondiale, nei Paesi in via di sviluppo l’uso dei telefoni cellulari si è diffuso a tal punto che oggi sono più le famiglie che posseggono un telefono cellulare rispetto a quelle che hanno accesso all’elettricità e ai servizi igienici.

World development Report 2016

Il numero di utenti connessi a Internet è triplicato nell’ultimo decennio passando da un miliardi nel 2005 ai 3,2 miliardi di utenti stimati a fine 2015. Con il diminuire del prezzo degli smartphone, secondo le previsioni di Schmidt (2013) e Cerf (2014) un miliardo di nuovi utenti si connetterà alla rete entro il 2020, accedendo così a un ampio bacino di informazioni e di idee.

In Bangladesh, India, Perù e Uganda sono in molti a utilizzare i portali unici per registrare certificati di nascita, patenti di guida e documenti catastali, senza dover percorrere lunghe distanze, visitare diversi uffici governativi o pagare tangenti. In Kenya milioni di persone usano il proprio cellulare per pagare le bollette o scambiarsi il denaro con servizi come M-pesa.

 

 

Gli esempi positivi di questo tipo sono molti, ciò che manca però è un’analisi ampia e rigorosa dell’impatto delle tecnologie digitali sullo sviluppo economico e sociale nei Paesi in via di sviluppo. Il World Development Report 2016 nasce proprio con l’intento di colmare questo vuoto e di analizzare in quale modo le imprese, i cittadini e i governi possono trarre benefici, in termini di sviluppo, dalle tecnologie digitali. La scarsa conoscenza di questo impatto infatti è un ostacolo importante nella pianificazione di politiche in grado di aiutare i Paesi in via di sviluppo a trarre il massimo vantaggio da queste tecnologie.

Il World Development Report è stato presentato il 14 gennaio 2016 all’International Finance Corporation (IFC) di Washington. Qui trovi la registrazione dell’evento.

Inoltre, con i dati del World Development Report, la Banca Mondiale ha realizzato una mappa sull’uso del digitale nel mondo. Si chiama “Digital Adoption Index Map” e la puoi consultare qui.

 

Elementi di portfolio