Quando un curriculum viene esaminato da un'intelligenza artificiale, il rischio di discriminazione non dipende solo dai dati di addestramento. Una nuova ricerca condotta da studiosi di Princeton e dell'Università di Chicago rivela che i modelli linguistici di grandi dimensioni (LLM) possono formare pregiudizi autonomamente, basandosi sulle loro esperienze di assunzione, e stereotipare i candidati più degli esseri umani.
LLM imparano a discriminare da pochi esempi
Lo studio ha adattato un classico esperimento psicologico sulla formazione di stereotipi. I ricercatori hanno chiesto a modelli come ChatGPT, Claude e Gemini di agire come consulenti per un sindaco di una città fittizia, con il compito di selezionare candidati per venti posizioni lavorative, tra cui medici, avvocati, assistenti all'infanzia e addetti alle pulizie. I candidati appartenevano a quattro gruppi etnici immaginari: Tufa, Aima, Reku e Weki. In ogni round, il modello sceglieva un candidato e riceveva un feedback immediato sul successo o fallimento. Senza che i modelli lo sapessero, tutti i candidati avevano la stessa probabilità di successo.
Sponsored Protocol
I risultati mostrano che gli LLM hanno rapidamente iniziato a segregare i candidati in base al gruppo etnico, basandosi sulle prime osservazioni. Se un Aima falliva come medico, il modello evitava automaticamente tutti gli Aima per quella professione, indirizzandoli invece verso ruoli considerati meno qualificati, come gli addetti alle pulizie. Secondo la scala di segregazione dello studio, dove 2 indica una segregazione completa, i partecipanti umani avevano ottenuto un punteggio medio di 0,84. I modelli AI, invece, hanno raggiunto punteggi fino a 1,83, con il modello o3 di OpenAI vicino al massimo possibile. I modelli più recenti con capacità di ragionamento avanzato hanno mostrato i bias più forti.
La tendenza a generalizzare penalizza la neutralità
Ryan Liu, dottorando a Princeton e coautore dello studio, spiega che gli LLM sono ottimizzati per creare generalizzazioni a partire da dati limitati. Poiché i modelli sono addestrati su problemi di matematica e codifica, compiti che premiano l'estrapolazione da pochi esempi, tendono a fissarsi su un'intuizione troppo presto. Questo meccanismo, utile per risolvere puzzle logici, diventa controproducente in contesti sociali. Angelina Wang, informatica alla Cornell University non coinvolta nello studio, sottolinea che il problema è amplificato dalla memoria sempre più persistente dei chatbot, che possono sovrappesare le esperienze passate.
Sponsored Protocol
I ricercatori hanno testato anche possibili soluzioni. Dire al modello di essere equo non ha prodotto miglioramenti significativi. Tuttavia, promettere un bonus aggiuntivo per assunzioni diversificate ha ridotto notevolmente i pregiudizi. Un altro esperimento ha mostrato che fornire informazioni personali rilevanti, come età e istruzione, riduceva la segregazione etnica, mentre dettagli irrilevanti come colore dei capelli portavano a un ritorno degli stereotipi.
Implicazioni reali per l'IA nel reclutamento
La domanda su quanto questi pregiudizi si manifesteranno nel mondo reale rimane aperta. Nel contesto controllato dello studio, il feedback era immediato, mentre nella realtà le aziende ricevono valutazioni sulle assunzioni solo dopo molto tempo. Tuttavia, quando i feedback arrivano, i modelli potrebbero sovrainterpretarli. Wang avverte che le aziende che implementano LLM per lo screening dei curricula devono affrontare questa implicazione seria. Liu conclude che man mano che i modelli imparano dall'esperienza a decidere chi assumere, chi riceve un prestito o chi ottiene la libertà condizionale, i pregiudizi da temere potrebbero includere quelli che nessun umano ha mai insegnato loro.
Sponsored Protocol
Per approfondire strategie di sicurezza nell'IA, si può consultare l'articolo sul Context Bombing che blocca agenti AI hacker. Per un'analisi delle prestazioni dei modelli, leggi ChatGPT, Claude e Gemini scelgono il miglior smartphone. Ulteriori informazioni sui bias algoritmici sono disponibili su Wikipedia.
Fonte: https://www.technologyreview.com/2026/07/20/1140655/ai-biases-hiring-humans
