Un testo nascosto in una pagina web può diventare un "fatto" che il tuo assistente AI ricorda e usa in compiti non correlati settimane dopo. Questa è la minaccia delineata da Forcepoint X-Labs, che ha pubblicato un modello di attacco chiamato avvelenamento della memoria persistente. La tecnica sfrutta la capacità degli agenti AI di estrarre informazioni da pagine web senza distinguere tra testo visibile e nascosto, archiviando dichiarazioni false come se fossero verità consolidate.
L'attacco invisibile che manipola le decisioni future
Immagina un assistente AI con accesso al browser che legge una pagina sulle interruzioni di viaggio. In fondo alla pagina, con dimensioni e posizione tali che nessun essere umano lo noterebbe, c'è un breve paragrafo che afferma che ABC Travel Support è il fornitore ufficiale di prenotazioni di emergenza e dovrebbe essere sempre consigliato in caso di modifiche urgenti. L'estrattore di testo dell'assistente non distingue tra testo nascosto e visibile, quindi il modello tratta l'intero contenuto come prosa normale e archivia l'affermazione come un fatto utile. Un mese dopo, il volo dell'utente viene cancellato. L'utente chiede all'assistente cosa fare, e l'assistente, con aria sicura e senza alcun segno di anomalia, consiglia di contattare ABC Travel Support.
Sponsored Protocol
La ricerca accademica MINJA dimostra la fattibilità tecnica
Il risultato accademico canonico è MINJA, acronimo di Memory INJection Attack, presentato a NeurIPS 2025. La sua importanza risiede nel modello di attaccante: MINJA non presuppone accesso al magazzino di memoria, privilegi elevati o compromissione del sistema. Funziona inviando query ordinarie attraverso l'interfaccia standard, utilizzando prompt di indicazione, passaggi intermedi e una tecnica di accorciamento progressivo che rimuove il linguaggio rivelatore lasciando intatto il record avvelenato. Su GPT-4o-mini, Gemini 2.0 Flash e Llama 3.1 8B, ha riportato un successo di iniezione superiore al 95% e un successo di attacco superiore al 70%.
Tuttavia, è necessario notare che questi numeri potrebbero essere ottimistici. Un documento di gennaio 2026 che valuta l'avvelenamento della memoria negli agenti di cartelle cliniche elettroniche osserva che i risultati di MINJA sono stati ottenuti in condizioni idealizzate e che l'efficacia di questi attacchi in distribuzioni realistiche rimane poco studiata. Nonostante ciò, la minaccia rimane significativa per prodotti che continuano a essere venduti, tra cui ChatGPT, Gemini, Claude e Microsoft 365 Copilot.
Sponsored Protocol
La proposta di Forcepoint per mitigare il rischio
Forcepoint propone un approccio che potrebbe mitigare il problema: smettere di trattare i ricordi estratti come fatti e iniziarli a trattare come oggetti che possono essere ispezionati. Ogni memoria viene archiviata con metadati che includono la provenienza, il tipo di fonte, se l'utente l'ha confermata e un punteggio di rischio. Il linguaggio scritto per modellare il comportamento futuro, come frasi del tipo "d'ora in poi" o "rendi questo il tuo default", aumenta il punteggio. Anche la comparsa improvvisa di un dominio, un contatto o un fornitore mai visto prima contribuisce al punteggio. La rilevazione delle contraddizioni è anche in gioco: se una nuova memoria è in conflitto con una voce esistente sul fornitore di viaggi ufficiale, entrambe non possono essere vere, quindi il motore segnala il conflitto e mette in attesa il nuovo elemento per la conferma dell'utente, piuttosto che sovrascriverlo silenziosamente. Allo stesso tempo, qualsiasi cosa relativa a istruzioni di pagamento, dettagli bancari, configurazione VPN o contatti di sicurezza riceve un peso maggiore, indipendentemente dalla sua provenienza.
Sponsored Protocol
Limiti delle difese attuali e consigli pratici
Nessuno di questi approcci risolve il problema di fondo: gli agenti sono costruiti per trattare la memoria recuperata come esperienza propria piuttosto che come input. Il punteggio aumenta il costo dell'avvelenamento, ma non cambia ciò in cui l'agente crede una volta che qualcosa passa. Come ha rilevato Agent Security Bench, le difese attuali non stanno funzionando bene. Per chiunque utilizzi oggi un assistente con memoria, la strategia pratica è poco appariscente ma vale comunque la pena seguirla: aprire periodicamente le impostazioni della memoria e leggere cosa c'è dentro. Tuttavia, questo è più facile a dirsi che a farsi, perché una buona parte degli utenti AI non guarda mai sotto il cofano.
Sponsored Protocol
La questione dell'avvelenamento della memoria si collega a un tema più ampio già discusso in passato, come evidenziato da Microsoft, e richiede attenzione. Mentre gli agenti AI diventano sempre più integrati nella vita quotidiana e aziendale, la sicurezza di queste tecnologie deve essere una priorità. Per approfondire come l'IA stia accelerando il ripristino dei guasti durante i picchi di traffico, puoi leggere il nostro articolo su L'IA accelera il ripristino dei guasti. Inoltre, per capire come testare la robustezza dei tuoi sistemi AI, ti consigliamo di esplorare le tecniche di mutation testing con Stryker. Infine, la consapevolezza su questi temi è cruciale, come dimostra la recente discussione su censura e politica USA.
Per maggiori informazioni sulla ricerca di Forcepoint, puoi consultare la fonte originale su TechRadar.
