Ing. Calogero Bono
Il CERT-AGID ha pubblicato un nuovo paper sulle backdoor nei modelli open-weight e sulle conseguenze per i sistemi agentici. Il caso descritto è semplice da raccontare. Chiedi all'assistente perché il cielo è blu, ricevi una risposta corretta, ma intanto il sistema fa una richiesta verso un sito esterno che nessuno ha chiesto. Conta perché chi integra agenti IA rischia di controllare solo le risposte testuali.
Qualche termine, prima di entrare nei fatti. Open-weight indica un modello i cui pesi, cioè i parametri appresi, sono scaricabili. Backdoor è un comportamento nascosto che resta dormiente finché non scatta una condizione. LoRA è una tecnica di addestramento leggera che aggiunge un adapter al modello. MCP sta per Model Context Protocol, il modo in cui un modello accede a strumenti esterni. Trigger è l'elemento che accende la backdoor, qui il nome di un server.
Cosa ha dimostrato il CERT-AGID?
Il paper si intitola «La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP». Secondo la notizia pubblicata da AgID, i ricercatori hanno usato adapter LoRA per insegnare a un modello un comportamento extra.
Quando tra gli strumenti disponibili compare un server MCP con un nome esatto, il modello genera una chiamata di rete verso un URL predefinito. Lo fa qualunque sia la domanda dell'utente.
Come funziona una backdoor condizionale?
Il comportamento resta inattivo finché l'ambiente non presenta l'elemento specifico. Se il server di attivazione manca, oppure ha un nome diverso, anche molto simile come una versione di backup, non parte nessuna richiesta.
Questo spiega perché sia difficile da notare. Un test che non include il server giusto vede un modello perfettamente normale.
Com'è stato fatto l'esperimento?
Il CERT-AGID ha usato un modello open-weight, Qwen3-1.7B, e un server MCP reale. L'addestramento è stato separato tra la generazione della risposta testuale e la policy di chiamata agli strumenti.
Il risultato, secondo l'ente, è che la chiamata si attiva regolarmente solo con il server designato e produce richieste HTTP reali con risposta 200. Con server assenti o nomi neutri non succede nulla.
Perché è un rischio per la filiera dell'IA?
Un modello o un adapter pubblicato su piattaforme pubbliche come Hugging Face può superare i test iniziali in ambienti isolati, se il server trigger non c'è. Poi si attiva appena lo strumento corrispondente viene collegato, senza alcun aggiornamento dei pesi.
È lo stesso schema di fiducia violata visto con la estensione con backdoor SSH su Cursor, anche se qui il codice nascosto sta nei pesi e non in un pacchetto.
Limiti da conoscere
Il test riguarda un modello piccolo, da 1,7 miliardi di parametri, e un trigger scelto dai ricercatori. La fonte non dice se tecniche simili funzionino con la stessa facilità su modelli più grandi, né se esistano adapter malevoli già in circolazione. Non ci sono stime di diffusione reale. Per i dettagli tecnici completi serve leggere il paper integrale, che AgID rimanda al proprio sito.
Cosa cambia per chi lavora con il digitale
Se integri agenti con strumenti MCP, valutare solo la chat non basta. AgID indica tre misure. Monitora i log delle azioni che passano dai tool. Testa i modelli in ambienti isolati variando nomi e disponibilità dei server. Applica guardrail esterni come permessi limitati, restrizioni di rete e approvazione preventiva umana. Chi usa modelli scaricati da repository pubblici dovrebbe trattarli come software di terze parti, con le regole dell'open source in azienda.
Il nostro parere
Il pregio del paper è mostrare un rischio concreto con un esperimento riproducibile, senza allarmismi. Il punto debole, per ora, è la scala ridotta. Ma il messaggio regge. Una risposta plausibile non dimostra che il sistema sia sicuro, e molte aziende collaudano ancora gli agenti guardando solo il testo. Servono controlli sugli effetti, non sulle parole. Il tema si lega agli obblighi dell'AI Act sulla cybersecurity.
Domande frequenti
Che cos'è una backdoor in un modello open-weight?
È un comportamento nascosto inserito nei pesi con l'addestramento. Resta inattivo finché non compare una condizione precisa. Nel test del CERT-AGID la condizione è un server MCP con un nome esatto.
Il modello del test è pericoloso?
Il modello è stato addestrato apposta dai ricercatori per dimostrare il meccanismo. Non risulta dalla fonte che esista un modello malevolo diffuso. Il paper serve a mostrare che la cosa è tecnicamente possibile.
Perché i test iniziali non la trovano?
Perché senza il server trigger il modello si comporta normalmente. Anche un nome molto simile, come una versione di backup, non attiva nulla. Un test deve quindi variare nomi e strumenti disponibili.
Serve aggiornare i pesi per attivarla?
No. Secondo AgID la backdoor si attiva appena viene collegato lo strumento corrispondente, senza alcun aggiornamento dei pesi.
Come mi proteggo?
Limita i permessi degli agenti e le connessioni di rete. Controlla i log delle azioni e chiedi approvazione umana per le operazioni sensibili. Sono le indicazioni date dal CERT-AGID.
Cosa guardare nei prossimi mesi sugli agenti con strumenti MCP
Il paper apre una strada di verifica più che chiudere un caso. Vale la pena seguire come cambiano pratiche e linee guida.
- Controlla se arrivano test su modelli più grandi e su trigger diversi dal nome di un server.
- Tieni un elenco dei modelli e degli adapter scaricati, con provenienza e data, come per ogni dipendenza.
- Leggi i prossimi paper nella sezione Sicurezza del CERT-AGID e confrontali con il tuo modo di collaudare gli agenti.
