L'algoritmo dell'invisibilità: come l'intelligenza artificiale cancella l'identità religiosa

AI e discriminazione: lo studio che rivela come gli algoritmi cancellino l'hijab e con esso l'identità religiosa di milioni di donne.

Uno studio di Berkeley documenta come 22 piattaforme AI su 25 rimuovano automaticamente l'hijab dalle fotografie. Un'analisi sociologica su bias, potere e il diritto di esistere nella rappresentazione digitale.

[di Alessandro Massimo]

La tecnologia non è mai neutrale. Sotto la patina dell'efficienza computazionale, gli algoritmi riflettono, amplificano e talvolta impongono i pregiudizi latenti della società che li ha generati. Un caso emblematico arriva da uno studio empirico recentemente pubblicato da Mahwish Moazzam, ricercatrice della University of California, Berkeley, specializzata nell'intersezione tra diritto, tecnologia e discriminazione.

Il suo esperimento ha testato sistematicamente 25 piattaforme commerciali a pagamento per la generazione di immagini e headshot basate sull'IA. Caricando fotografie di donne che indossano l'hijab, in 22 piattaforme su 25 il velo è stato rimosso completamente e sostituito con capigliature generate sinteticamente. Nei restanti tre casi, il sistema ha restituito immagini con copricapi distorti o parziali. L'alterazione è avvenuta in modo del tutto automatico, senza che l'utente avesse formulato alcuna richiesta in tal senso, e senza che l'interfaccia offrisse alcuna opzione per negare il consenso alla modifica.

Per le donne musulmane, l'hijab è una questione di dignità e identità religiosa, non una variabile stilistica. Quando i marcatori identitari vengono cancellati in silenzio, il problema non riguarda solo il bias, ma anche l'esclusione strutturale, il consenso e la responsabilità. 

Per comprendere il fenomeno in profondità, occorre collocarlo all'interno di un ecosistema di discriminazione algoritmica documentata su scala globale. Il caso dell'hijab non è un'anomalia: è l'espressione più recente di una tendenza strutturale.

Nel 2018, Joy Buolamwini del MIT Media Lab pubblicò il progetto Gender Shades, destinato a diventare un punto di svolta nel campo. Lo studio rivelò che i sistemi commerciali di riconoscimento facciale mostravano tassi di errore fino al 35% nell'identificazione di donne dalla pelle più scura, mentre per gli uomini dalla pelle chiara gli errori erano inferiori all'1%. Buolamwini descrisse questo fenomeno con il concetto di coded gaze, lo sguardo codificato, il riflesso nelle tecnologie delle preferenze, delle priorità e dei pregiudizi di chi detiene il potere di plasmarle.

Le conseguenze di questo sguardo distorto non sono rimaste confinate ai laboratori di ricerca. Negli Stati Uniti si sono registrati casi di persone arrestate erroneamente a causa di sistemi di riconoscimento facciale difettosi: Robert Williams, Porcha Woodruff, Nijeer Parks, Randall Reed, tutti individui dalla pelle scura, arrestati per crimini che non avevano commesso. Il bias computazionale si è così tradotto in danno fisico e giuridico concreto per individui reali.

Amazon ha costruito uno strumento interno di selezione del personale che assegnava automaticamente punteggi più bassi a candidature contenenti la parola "donne" o i nomi di college femminili, avendo appreso questo schema da dieci anni di dati storici di assunzione. La macchina aveva semplicemente interiorizzato e automatizzato il pregiudizio preesistente nell'organizzazione che l'aveva addestrata.

Il pattern è ancora più nitido se si analizzano i contenuti generativi. In un test su Stable Diffusion, i prompt relativi a professioni ad alto reddito hanno prodotto quasi esclusivamente immagini di uomini dalla pelle chiara, mentre i prompt associati a stereotipi criminali, spacciatori, terroristi, detenuti, hanno generato prevalentemente immagini di uomini dalla pelle scura. 

Per spiegare questi fenomeni non basta invocare il "bias dei dati" come se fosse una forza naturale impersonale. Occorre risalire alle condizioni sociali della produzione tecnologica.

Uno studio UNESCO del 2024 ha rilevato che i principali modelli linguistici associano le donne a "casa" e "famiglia" quattro volte più spesso degli uomini, mentre i nomi maschili vengono collegati in modo sproporzionato a "impresa", "carriera" e ruoli dirigenziali. Non si tratta di un semplice riflesso della realtà sociale: è una sua amplificazione attiva.

Una ricerca dell'University College London del 2024 ha dimostrato che i sistemi di IA non si limitano ad apprendere i bias umani, ma li esasperano, creando un pericoloso ciclo di retroazione in cui gli utenti di sistemi distorti tendono a diventare a loro volta più distorti, influenzando ulteriormente i dati da cui i sistemi imparano. Su questo punto, il dibattito critico ha prodotto una concettualizzazione precisa: quella che Ruha Benjamin ha definito New Jim Code,  l'idea che le strutture di discriminazione razziale e sociale non abitino solo le coscienze individuali, ma si iscrivano nelle infrastrutture tecnologiche quando queste vengono progettate in assenza di rappresentanza e controllo democratico. La discriminazione non scompare nell'algoritmo: si automatizza, si rende invisibile come scelta tecnica, e si sottrae così al dibattito pubblico.

Vale la pena aggiungere una dimensione specifica sul piano religioso. Una ricerca sistematica pubblicata su AI & Society ha analizzato il bias religioso in modelli linguistici e di generazione di immagini, producendo 5.000 immagini da prompt religiosi. I risultati hanno evidenziato stereotipi e pregiudizi associati in modo sproporzionato a determinate religioni, con intersezioni significative con variabili demografiche come genere, età e nazionalità. L'hijab cancellato dallo studio Moazzam è dunque una manifestazione specifica di un bias religioso che attraversa trasversalmente l'intera architettura dei modelli generativi.

La risposta istituzionale a questi fenomeni esiste, ma è ancora largamente incompiuta. In Europa, l'AI Act, il primo quadro normativo globale sull'intelligenza artificiale, è entrato in vigore nell'agosto 2024, con le principali disposizioni che diventeranno pienamente applicabili nel 2026. 

SE TI INTERESSA L'ARGOMENTO LEGGI: Legge AI e diritto d'Autore: la rivoluzione italiana che protegge Arte, Cinema e Cultura

Tuttavia, pur rappresentando un passo decisivo, le definizioni ampie dell'AI Act riguardanti i sistemi di IA e l'IA ad alto rischio potrebbero introdurre lacune nel rispetto dei diritti fondamentali, come evidenziato dall'Agenzia dell'Unione Europea per i Diritti Fondamentali. Il nodo critico è che le piattaforme di generazione visiva come quelle testate da Moazzam non sono automaticamente classificate come sistemi ad alto rischio, e quindi operano in una zona grigia normativa.

La questione sollevata dal caso Moazzam non è riducibile a un problema tecnico, né a un gap regolatorio. Interroga un livello più profondo: quello del potere di definire chi esiste nella rappresentazione pubblica.

Pierre Bourdieu descrisse la violenza simbolica come un meccanismo di dominio che si esercita attraverso la naturalizzazione di norme culturali egemoni, non attraverso la coercizione esplicita, ma attraverso la produzione del senso comune. L'algoritmo che cancella l'hijab non compie un'azione neutra: riproduce e legittima una gerarchia visiva in cui il corpo "standard" è quello occidentalizzato e non marcato religiosamente, presentando questa scelta come una semplice ottimizzazione tecnica.

Ma la dimensione forse più insidiosa è quella della scala e dell'invisibilità. Quando questi sistemi vengono commercializzati globalmente per produrre immagini professionali, curriculum visivi, foto per LinkedIn o per siti istituzionali, il loro effetto normativo non si limita a singoli individui: plasma il repertorio visivo con cui miliardi di persone si rappresentano nello spazio pubblico digitale. Non è iperbolico parlare di colonizzazione estetica: una standardizzazione dell'aspetto umano accettabile, codificata da un'efficienza algoritmica che non conosce né le storie né le dignità che cancella.

Come ha osservato Buolamwini, le tecnologie che crediamo stiano portandoci nel futuro ci stanno in realtà portando indietro rispetto ai progressi già raggiunti. Porre questa questione al centro dell'analisi sociale non è un esercizio retorico. È la condizione necessaria per distinguere tra tecnologie che emancipano e tecnologie che, sotto le spoglie della neutralità, replicano le gerarchie del passato con la velocità e la capillarità del presente.

---

LuciSullaScenaMagazine è anche su Whatsapp. 

È sufficiente cliccare qui per iscriverti al canale ed essere sempre aggiornati.