Gender Equality & AI: quando gli algoritmi hanno pregiudizi

Nel 2019, due coniugi residenti negli Stati Uniti, confrontando i limiti di spesa della loro Apple Card – carta di credito nata dalla partnership tra Apple e Goldman Sachs – fecero un’amara scoperta: la linea di credito del marito era ben 20 volte maggiore, nonostante le loro condizioni fossero del tutto sovrapponibili. L’uomo, un importante sviluppatore di software, sfogò in un tweet di grande risonanza mediatica la sua rabbia, riferendosi a Apple Card come un “programma sessista” e la notizia, che non risultò un caso isolato, fu riportata in prima pagina dal New York Times. I criteri utilizzati dalla Apple Card finirono al vaglio del New York State Department of Financial Services e un portavoce di Goldman Sachs ribadì come le decisioni di credito si basassero “sulla capacità di credito di un cliente e non su fattori come il sesso, l’etnia, l’età, l’orientamento sessuale o qualsiasi altra base vietata dalla legge”. Infatti, i criteri non erano apertamente discriminatori, tuttavia il servizio clienti non fu in grado di spiegare perché l’algoritmo ritenne la moglie significativamente meno meritevole di credito.

Quello che potrebbe apparire come un infelice episodio è in realtà molto più frequente di quanto sembri. Il fortunato saggio di Caroline Criado Perez “Invisibili. Come il nostro mondo ignora le donne in ogni campo. Dati alla mano” ha evidenziato gli effetti negativi sulle donne causati dai pregiudizi di genere nella raccolta dei big data e le conseguenze connesse al c.d. gender data gap, ovvero il divario sui dati di genere; in particolare ha sottolineato come il ricorso agli algoritmi non sia garanzia di neutralità, oggettività e imparzialità – tutt’altro. Gli algoritmi, infatti, sono creazioni umane, in quanto vengono ideati e progettati da esseri umani in possesso di un bagaglio di pregiudizi e stereotipi in larga parte inconsci. I sistemi di Artificial Intelligence (AI) non sono dunque necessariamente imparziali, ma possono introdurre pregiudizi nei dati che vengono raccolti e nelle variabili che vengono create, incorporando il tutto nei sistemi di AI. Ciò che preoccupa maggiormente non sono dunque i comportamenti apertamente discriminatori e sessisti – più facilmente individuabili – ma quelli derivanti da pregiudizi e stereotipi inconsci che vengono “trasmessi” all’algoritmo.

Inoltre, la maggior parte degli algoritmi è protetto in quanto programma a codice chiuso e non è possibile conoscere il funzionamento dei processi decisionali e individuare la presenza di preconcetti impliciti annidatisi al momento della programmazione. Criado Perez ci mette in guardia da ciò che definisce un “duplice gender data gap”: né i programmatori che hanno ideato e implementato l’algoritmo, né la società nel suo complesso hanno idea del potenziale discriminatorio delle intelligenze artificiali. L’autrice propone l’esempio del settore sanitario: uomini e corpi maschili sono stati a lungo lo standard per i test medici, da cui sono state escluse le donne dato che i corpi femminili vengono ritenuti troppo complessi e variabili, con la conseguenza che tale divario di genere si riflette nei dati medici.

Similmente, la ricercatrice del MIT Joy Buolamwini mentre stava lavorando con un software di analisi facciale notò un problema: il software non rilevava il suo volto, perché chi aveva codificato l’algoritmo non gli aveva insegnato a identificare una vasta gamma di tonalità di pelle e strutture facciali. Da qui nasce il progetto di ricerca Gender Shades, che ha rilevato come i sistemi commerciali di riconoscimento facciale vengano alimentati da serie di dati di immagini che mancano di campioni diversi e rappresentativi provocando errori di classificazione: le donne con la pelle più scura sono state mal classificate con un tasso di errore circa del 35%, rispetto a un tasso di errore dello 0,8% per gli uomini con la pelle più chiara.

La svolta consiste nell‘iniziare a creare codici e pratiche di codifica maggiormente inclusivi, per combattere il rischio di “automatizzare lo status quo”, come ci avvisa Cathy O’Neil nel suo saggio “Armi di distruzione matematica”, dove sottolinea la crucialità delle fasi di raccolta e scelta dei dati con cui “alimentare” un algoritmo. L’autrice, ad esempio, ha rilevato come la start-up specializzata nella selezione del personale Gild sviluppasse profili di candidati per i propri clienti, per lo più aziende tecnologiche, catturando una grande mole di dati che eccedeva dal semplice curriculum vitae e traendo conclusioni implicitamente pregiudizievoli, come quella per cui il trascorrere molto tempo su un sito di manga giapponesi costituisse per il modello elaborato da Gild, un importante indizio sulla capacità di coding. Il problema sorge nel momento in cui non si considera questo dato come indirettamente discriminatorio, in quanto la percentuale di donne che frequentano questo genere di siti è molto inferiore rispetto a quella maschile.

Analogamente, anche il braccialetto brevettato da Amazon in grado di tracciare ogni mossa dei magazzinieri apre alla riflessione circa la necessità di tener conto dei dati di genere: si pensi all’utilizzo fisiologicamente più frequente e più prolungato dei bagni da parte delle donne. A tal proposito, l’European Insititute for Gender Equality (EIGE) ci avverte che “molte pratiche di monitoraggio e sorveglianza algoritmica possono essere […] potenzialmente discriminatorie” e raccomanda ai creatori di sistemi di AI per il recruiting e la gestione del personale di essere trasparenti riguardo alle decisioni di progettazione, raccolta e uso dei dati, di includere considerazioni etiche nella programmazione e monitorare i risultati per prevenire pregiudizi e discriminazioni.

Si deve poi ricordare che l’area AI & Data Science, caratterizzata da salari elevati e in grande crescita, è contraddistinta da un fortissimo squilibrio di genere: il World Economic Forum riporta, nel Global Gender Gap Report, che a livello globale circa un quarto delle figure professionali impiegate in questo campo sono donne, e un recente report dell’EIGE sottolinea la maggiore probabilità che siano concentrate nelle mansioni meno qualificate e nei livelli gerarchici inferiori – infatti, in Europa e Regno Unito solamente il 16% dei posti di lavoro altamente qualificati nel settore AI viene occupato da donne. Il divario poi si amplia lungo la carriera lavorativa: tra i lavoratori con dieci anni d’esperienza la percentuale femminile si ferma al 12%. Affinché gli algoritmi siano più inclusivi, è certamente necessario aumentare l’eterogeneità dei team che si occupano del coding e favorire la presenza e partecipazione femminile a tutti i livelli gerarchici, partendo dall’eradicare stereotipi e pregiudizi di genere che allontanano le giovani prima dai percorsi formativi, e poi dalle carriere lavorative in quest’ambito. Come ci ricorda l’EIGE nel report citato, “migliorare la formazione sui pregiudizi e l’etica dell’AI e incoraggiare il pensiero critico interdisciplinare sulla tecnologia […] potrebbe portare l’UE più vicina a raggiungere un’intelligenza artificiale più affidabile” e una società, presente e futura, maggiormente equa. Poiché, come ben riassume Unesco, la gender equality dev’essere considerata “un modo di pensare, una lente, un approccio e una linea di condotta – non una check-list”.