Gender Equality & AI: quando gli algoritmi hanno pregiudizi

Condividi

Condividi su facebook
Facebook
Condividi su twitter
Twitter
Condividi su linkedin
LinkedIn
Condividi su telegram
Telegram
Condividi su facebook
Condividi su linkedin
Condividi su twitter
Condividi su telegram

In data 23 Dicembre 2021 è stata aperta la consultazione pubblica sulla Prassi di riferimento UNI per la certificazione della parità di genere, il cui documento, consultabile esclusivamente per fini informativi e per la formulazione di commenti, è reperibile nella pagina del dipartimento delle pari opportunità.

Iscriviti al nostro Webinar

Mettiamo a disposizione una serie di Webinar per chi vuole essere sempre up to date sulla Gender Equality nei luoghi di lavoro.

Iscriviti al nostro Webinar

Mettiamo a disposizione una serie di Webinar per chi vuole essere sempre up to date sulla Gender Equality nei luoghi di lavoro.

Le donne nel tech della prima metà del 1900

Gli algoritmi sono opinioni incorporate in codici

Cathy O’Neil

Nel 2019, due coniugi residenti negli Stati Uniti, confrontando i limiti di spesa della loro Apple Card – carta di credito nata dalla partnership tra Apple e Goldman Sachs – fecero un’amara scoperta: la linea di credito del marito era ben 20 volte maggiore, nonostante le loro condizioni fossero del tutto sovrapponibili. L’uomo, un importante sviluppatore di software, sfogò in un tweet di grande risonanza mediatica la sua rabbia, riferendosi a Apple Card come un “programma sessista” e la notizia, che non risultò un caso isolato, fu riportata in prima pagina dal New York Times. I criteri utilizzati dalla Apple Card finirono al vaglio del New York State Department of Financial Services e un portavoce di Goldman Sachs ribadì come le decisioni di credito si basassero “sulla capacità di credito di un cliente e non su fattori come il sesso, l’etnia, l’età, l’orientamento sessuale o qualsiasi altra base vietata dalla legge”. Infatti, i criteri non erano apertamente discriminatori, tuttavia il servizio clienti non fu in grado di spiegare perché l’algoritmo ritenne la moglie significativamente meno meritevole di credito.

Quello che potrebbe apparire come un infelice episodio è in realtà molto più frequente di quanto sembri. Il fortunato saggio di Caroline Criado Perez “Invisibili. Come il nostro mondo ignora le donne in ogni campo. Dati alla mano” ha evidenziato gli effetti negativi sulle donne causati dai pregiudizi di genere nella raccolta dei big data e le conseguenze connesse al c.d. gender data gap, ovvero il divario sui dati di genere; in particolare ha sottolineato come il ricorso agli algoritmi non sia garanzia di neutralità, oggettività e imparzialità – tutt’altro. Gli algoritmi, infatti, sono creazioni umane, in quanto vengono ideati e progettati da esseri umani in possesso di un bagaglio di pregiudizi e stereotipi in larga parte inconsci. I sistemi di Artificial Intelligence (AI) non sono dunque necessariamente imparziali, ma possono introdurre pregiudizi nei dati che vengono raccolti e nelle variabili che vengono create, incorporando il tutto nei sistemi di AI. Ciò che preoccupa maggiormente non sono dunque i comportamenti apertamente discriminatori e sessisti – più facilmente individuabili – ma quelli derivanti da pregiudizi e stereotipi inconsci che vengono “trasmessi” all’algoritmo.

Inoltre, la maggior parte degli algoritmi è protetto in quanto programma a codice chiuso e non è possibile conoscere il funzionamento dei processi decisionali e individuare la presenza di preconcetti impliciti annidatisi al momento della programmazione. Criado Perez ci mette in guardia da ciò che definisce un “duplice gender data gap”: né i programmatori che hanno ideato e implementato l’algoritmo, né la società nel suo complesso hanno idea del potenziale discriminatorio delle intelligenze artificiali. L’autrice propone l’esempio del settore sanitario: uomini e corpi maschili sono stati a lungo lo standard per i test medici, da cui sono state escluse le donne dato che i corpi femminili vengono ritenuti troppo complessi e variabili, con la conseguenza che tale divario di genere si riflette nei dati medici.

Similmente, la ricercatrice del MIT Joy Buolamwini mentre stava lavorando con un software di analisi facciale notò un problema: il software non rilevava il suo volto, perché chi aveva codificato l’algoritmo non gli aveva insegnato a identificare una vasta gamma di tonalità di pelle e strutture facciali. Da qui nasce il progetto di ricerca Gender Shades, che ha rilevato come i sistemi commerciali di riconoscimento facciale vengano alimentati da serie di dati di immagini che mancano di campioni diversi e rappresentativi provocando errori di classificazione: le donne con la pelle più scura sono state mal classificate con un tasso di errore circa del 35%, rispetto a un tasso di errore dello 0,8% per gli uomini con la pelle più chiara.

La svolta consiste nell‘iniziare a creare codici e pratiche di codifica maggiormente inclusivi, per combattere il rischio di “automatizzare lo status quo”, come ci avvisa Cathy O’Neil nel suo saggio “Armi di distruzione matematica”, dove sottolinea la crucialità delle fasi di raccolta e scelta dei dati con cui “alimentare” un algoritmo. L’autrice, ad esempio, ha rilevato come la start-up specializzata nella selezione del personale Gild sviluppasse profili di candidati per i propri clienti, per lo più aziende tecnologiche, catturando una grande mole di dati che eccedeva dal semplice curriculum vitae e traendo conclusioni implicitamente pregiudizievoli, come quella per cui il trascorrere molto tempo su un sito di manga giapponesi costituisse per il modello elaborato da Gild, un importante indizio sulla capacità di coding. Il problema sorge nel momento in cui non si considera questo dato come indirettamente discriminatorio, in quanto la percentuale di donne che frequentano questo genere di siti è molto inferiore rispetto a quella maschile.

Analogamente, anche il braccialetto brevettato da Amazon in grado di tracciare ogni mossa dei magazzinieri apre alla riflessione circa la necessità di tener conto dei dati di genere: si pensi all’utilizzo fisiologicamente più frequente e più prolungato dei bagni da parte delle donne. A tal proposito, l’European Insititute for Gender Equality (EIGE) ci avverte che “molte pratiche di monitoraggio e sorveglianza algoritmica possono essere […] potenzialmente discriminatorie” e raccomanda ai creatori di sistemi di AI per il recruiting e la gestione del personale di essere trasparenti riguardo alle decisioni di progettazione, raccolta e uso dei dati, di includere considerazioni etiche nella programmazione e monitorare i risultati per prevenire pregiudizi e discriminazioni.

Si deve poi ricordare che l’area AI & Data Science, caratterizzata da salari elevati e in grande crescita, è contraddistinta da un fortissimo squilibrio di genere: il World Economic Forum riporta, nel Global Gender Gap Report, che a livello globale circa un quarto delle figure professionali impiegate in questo campo sono donne, e un recente report dell’EIGE sottolinea la maggiore probabilità che siano concentrate nelle mansioni meno qualificate e nei livelli gerarchici inferiori – infatti, in Europa e Regno Unito solamente il 16% dei posti di lavoro altamente qualificati nel settore AI viene occupato da donne. Il divario poi si amplia lungo la carriera lavorativa: tra i lavoratori con dieci anni d’esperienza la percentuale femminile si ferma al 12%. Affinché gli algoritmi siano più inclusivi, è certamente necessario aumentare l’eterogeneità dei team che si occupano del coding e favorire la presenza e partecipazione femminile a tutti i livelli gerarchici, partendo dall’eradicare stereotipi e pregiudizi di genere che allontanano le giovani prima dai percorsi formativi, e poi dalle carriere lavorative in quest’ambito. Come ci ricorda l’EIGE nel report citato, “migliorare la formazione sui pregiudizi e l’etica dell’AI e incoraggiare il pensiero critico interdisciplinare sulla tecnologia […] potrebbe portare l’UE più vicina a raggiungere un’intelligenza artificiale più affidabile” e una società, presente e futura, maggiormente equa. Poiché, come ben riassume Unesco, la gender equality dev’essere considerata “un modo di pensare, una lente, un approccio e una linea di condotta – non una check-list”.

La tua opinione è importante!

Partecipa alla nostra Survey per aiutarci ad apprendere meglio la situazione nel mondo aziendale sull'argomento della Gender Equality

La tua opinione è importante!

Partecipa alla nostra Survey per aiutarci ad apprendere meglio la situazione nel mondo aziendale sull'argomento della Gender Equality

Autore: Filippo Damiani

Dottorando del 34° ciclo in “Lavoro, Sviluppo e Innovazione” presso l’Università di Modena e Reggio Emilia e presso la Fondazione Marco Biagi, con la quale partecipa a diverse attività di terza missione. Nelle sue ricerche si interessa ai temi inerenti all’innovazione regionale e alle politiche europee dello sviluppo con particolare attenzione alla prospettiva di genere. È inserito in un programma di co-tutela nel Dottorato in “Ciencias sociales – igualdad de género” presso la “Universidad Pablo de Olavide” a Siviglia (Spagna).

Autrice: Chiara Tasselli

Dopo un anno di ricerca presso il Centro Analisi Politiche Pubbliche (Capp), attualmente frequenta il corso di Dottorato in Lavoro, Sviluppo e Innovazione. Il suo progetto si pone come macro-obiettivo lo studio verticale del capitale umano con un’attenzione particolare ai differenziali di genere e implicazioni sul mercato del lavoro. Trasversalmente ricopre il ruolo di esercitatrice e tutor di macroeconomia per corsi di laurea del dipartimento di Economia “Marco Biagi”.
Nel di Team di IDEM Lab esercita principalmente competenze econometriche, di analisi e interpretazione dei dati.

Autrice: Carlotta Barra

Successivamente alla laurea magistrale in Relazioni di Lavoro conseguita presso il Dipartimento di Economia “Marco Biagi”, ha proseguito il proprio percorso formativo frequentando attualmente il corso di Dottorato di Ricerca in “Lavoro, Sviluppo e Innovazione” (37° ciclo) tenuto presso l’Università di Modena e Reggio Emilia e la Fondazione Marco Biagi. Il suo principale interesse di ricerca è la gender inequality nei percorsi formativi e di lavoro, con un particolare focus rivolto alle diseguaglianze di genere nell’ambito STEM.

Condividi

Condividi su facebook
Facebook
Condividi su twitter
Twitter
Condividi su linkedin
LinkedIn
Condividi su telegram
Telegram
Condividi su facebook
Condividi su linkedin
Condividi su twitter
Condividi su telegram

Resta informato

Il nostro gruppo di ricerca seleziona per voi le migliori letture disponibili online sul tema della Gender Equity.

Cliccando su “iscrivimi” dichiaro di aver preso visione della finalità F (Marketing diretto) dell’informativa di IDEM S.r.l. e acconsento alla ricezione della newsletter