Un gruppo di ricercatori di intelligenza artificiale ha messo a punto un sito web partecipativo chiamato Flaw Reporting for AI, o FLARE-AI, per raccogliere e tracciare i danni provocati dai sistemi di AI. Se un chatbot genera malware, diffonde ricette per bombe, divulga dati personali o induce pensieri deliranti negli utenti, FLARE-AI consente di lanciare l'allarme. Il codice open source alla base del sistema permette ad altri di verificare il problema e di indirizzare le segnalazioni ai produttori dei modelli, oltre che a organizzazioni come MITRE, un ente no-profit che monitora i guasti nei sistemi tecnici. Funziona in modo simile a Downdetector, che raccoglie in tempo reale le segnalazioni degli utenti su interruzioni globali di servizi come app e siti web.
Un archivio partecipativo per i danni dell'AI
Il sito rappresenta un ulteriore passo avanti nel lavoro che il gruppo, già oggetto di un articolo lo scorso anno, sta portando avanti sulla segnalazione degli incidenti legati all'AI. I membri del gruppo hanno anche collaborato a un disegno di legge presentato a giugno, che prevede un ruolo centrale del governo statunitense nel monitoraggio di questi comportamenti anomali. "Al momento non esiste un modo centralizzato e responsabile per segnalare i difetti dei sistemi AI", afferma Avijit Ghosh, ricercatore di policy sull'AI presso HuggingFace, che ha co-diretto lo sviluppo di FLARE-AI insieme alle informatiche Elaine Zhu e Shayne Longpre.
Sponsored Protocol
Il sistema d'allarme è stato sviluppato in collaborazione con 49 esperti di AI provenienti da 32 organizzazioni diverse. In un documento che illustra il lavoro, i ricercatori sostengono che l'iniziativa potrebbe rivelarsi cruciale man mano che l'AI verrà adottata più ampiamente e che i sistemi agenziali acquisiranno maggiore potere. La mancanza di un metodo coerente per segnalare i difetti dell'AI è un problema significativo, a loro avviso. "Penso sia un'iniziativa davvero buona", commenta Jessica Ji, ricercatrice presso il think tank Center for Security and Emerging Technology. Ji sottolinea che i ricercatori hanno giustamente rilevato come i meccanismi di segnalazione esistenti siano frammentati e che i modelli di AI siano scatole nere. "Sostengo tutto ciò che rende l'AI più trasparente", aggiunge.
Sponsored Protocol
Danni psicologici, discriminazioni e disinformazione
Sebbene bug e problemi di cybersecurity ricevano molta attenzione, soprattutto di recente, Ghosh spiega che i problemi legati ai sistemi di AI spaziano su argomenti come il danno psicologico, la discriminazione o i pregiudizi e la disinformazione. Aggiunge che diverse aziende hanno standard differenti su tali questioni, il che significa che alcuni problemi non vengono riconosciuti. "In assenza di un sistema di divulgazione coordinato, non esistono meccanismi esterni per imporre la trasparenza", afferma Ghosh.
Una serie di recenti incidenti che hanno coinvolto popolari strumenti di AI mostra quanto facilmente la tecnologia possa degenerare. Di recente, un'azienda chiamata LayerX ha svelato un modo per ingannare i browser AI, tra cui Atlas di OpenAI e Comet di Perplexity, facendo loro superare le barriere di sicurezza. Convincente il modello AI alla base del browser che stava giocando a un gioco, ad esempio, poteva portare il browser a impazzire e a tentare di hackerare un sito web. (Le aziende responsabili dei browser colpiti hanno risolto il problema, secondo LayerX.) E lo scorso aprile, Johann Rehberger, un ricercatore di sicurezza, ha scoperto un modo per indurre Claude a rivelare dati personali utilizzando immagini generate da ChatGTP.
Sponsored Protocol
L'AI introduce anche tipi di problemi bizzarri. L'anno scorso, OpenAI è stata costretta ad aggiornare i suoi modelli dopo aver scoperto che erano eccessivamente servili, il che a volte sembrava incoraggiare pensieri deliranti. Rumman Chowdhury, CEO e fondatore di Humane Intelligence PBC, sostiene che FLARE-AI potrebbe essere un modo utile per molti sviluppatori di AI di implementare metodi di segnalazione dei problemi con i loro strumenti. Ma aggiunge che tali iniziative spesso comportano sfide serie.
Sponsored Protocol
La sfida della gestione delle segnalazioni
Una delle sfide è gestire un'ondata di segnalazioni, molte delle quali potrebbero non essere gravi. Un'altra è garantire che i sistemi di segnalazione siano supportati da organizzazioni credibili e autorevoli. Il disegno di legge presentato a giugno potrebbe dare un peso del governo statunitense a uno sforzo come FLARE-AI. La legislazione, introdotta dai rappresentanti Deborah Ross, Jeff Hurd e Don Beyer, richiederebbe al National Institute of Standards and Technology di sviluppare standard per la segnalazione dei difetti dell'AI e di mantenere un database centralizzato delle segnalazioni. Ghosh e i suoi co-leader affermano che questo incentiverebbe gli sviluppatori di AI ad affrontare i problemi nei loro sistemi e consentirebbe agli utenti di esaminare la sicurezza di diversi sistemi per diversi casi d'uso.
Sponsored Protocol
La necessità di nuovi modi per segnalare i danni dell'AI sembra destinata a crescere. I sistemi agenziali come OpenClaw hanno un maggiore potenziale di danno, così come i modelli più capaci di sondare e hackerare sistemi informatici. Il ricercatore di sicurezza che ha scoperto una falla in Front Gate Tickets grazie a Claude Opus 4.7 potrebbe ora utilizzare FLARE-AI per segnalare futuri incidenti. Allo stesso modo, il team di Anthropic, dopo aver ottenuto il via libera globale per Claude Fable 5, potrebbe beneficiare di un sistema centralizzato di segnalazione per monitorare eventuali comportamenti scorretti dei suoi modelli più potenti.
Per approfondire, si veda il sito ufficiale dell'articolo originale su WIRED o la pagina Wikipedia sulla sicurezza dell'AI.
Fonte: https://www.wired.com/story/flare-website-ai-flaw-reporting-safety
