OpenAI ha creato un super-hacker basato su intelligenza artificiale chiamato GPT-Red, progettato per testare la sicurezza dei suoi modelli linguistici. Annunciato insieme al rilascio di GPT-5.6, questo sistema automatizza il red teaming, un processo tradizionalmente eseguito da team umani per individuare vulnerabilità. L'obiettivo è rendere i modelli più robusti contro attacchi informatici, un'esigenza crescente con l'espansione degli agenti AI capaci di interagire con file, siti web e altro codice.
Un avversario artificiale per il red teaming
Il red teaming è una pratica di sicurezza in cui un gruppo di esperti cerca di violare un sistema per identificarne i punti deboli. Con l'aumento della complessità dei modelli linguistici di grandi dimensioni (LLM), i test manuali diventano insufficienti. GPT-Red automatizza questa valutazione, scoprendo nuovi vettori di attacco che potrebbero sfuggire agli umani. Nikhil Kandpal, ricercatore di OpenAI, spiega che "la superficie di rischio cresce e anche il raggio d'esplosione" man mano che gli LLM vengono impiegati in più contesti.
Sponsored Protocol
Addestramento in un dojo di modelli
Per creare GPT-Red, i ricercatori hanno utilizzato un ciclo di autogioco: un LLM non addestrato come hacker ha affrontato altri modelli in scenari simulati, come la navigazione web, la lettura di email e la modifica di codice. Dopo molti round, GPT-Red è diventato sempre più abile nell'attaccare, mentre i difensori hanno imparato a resistere. Questo ambiente controllato, definito "dojo", ha permesso di esplorare molteplici varianti di attacco per trovare le più efficaci.
Nuovi tipi di attacco scoperti
Uno dei risultati più sorprendenti è stata la scoperta di un attacco mai visto prima, chiamato "falsa catena di pensiero". In pratica, GPT-Red ha imparato a inserire voci false nella catena di pensiero di un altro modello, ingannandolo. Chris Choquette-Choo, ricercatore del team, spiega: "È come se ti dicessi che 1+1=3 e che hai già verificato. Il modello lo accetta e produce 3". Questo dimostra la capacità di GPT-Red di innovare oltre i metodi noti.
Sponsored Protocol
Efficacia superiore agli umani
OpenAI ha confrontato GPT-Red con tester umani in un esperimento del 2025 su una versione precedente di GPT-5. Il super-hacker ha trovato attacchi più efficaci degli umani, con un tasso di successo superiore. Inoltre, testato contro un agente per distributori automatici chiamato Vendy, GPT-Red è riuscito a modificare i prezzi e annullare ordini. Secondo Jessica Ji del Center for Security and Emerging Technology (CSET) di Georgetown, i risultati sono "molto promettenti".
Difesa potenziata per GPT-5.6
OpenAI riferisce che oltre il 90% degli attacchi più forti di GPT-Red funzionavano contro GPT-5 (rilasciato ad agosto 2025), ma meno del 23% hanno successo contro il nuovo GPT-5.6. Questo mostra un miglioramento significativo della robustezza. Tuttavia, GPT-Red non è perfetto: ha difficoltà con attacchi basati su conversazioni e nell'uso di immagini.
Sponsored Protocol
OpenAI sottolinea che GPT-Red integra, non sostituisce, il lavoro umano. I tester possono ancora trovare vulnerabilità che il sistema perde. Un approccio futuro è chiedere a GPT-Red di variare attacchi già scoperti dagli umani. L'azienda non rilascerà il modello, ritenendolo troppo potente. Come afferma Choquette-Choo, "non è una cosa banale che qualcuno possa replicare facilmente". Per approfondimenti, si veda l'articolo su MIT Technology Review. Inoltre, il contesto degli agenti AI è discusso in Meta avverte 20 mesi per ridisegnare le infrastrutture.
