Ing. Calogero Bono
Il CERT-AGID ha pubblicato un nuovo paper sulle backdoor nei modelli open-weight e sulle conseguenze per i sistemi agentici. Il caso descritto è semplice da raccontare. Chiedi all'assistente perché il cielo è blu, ricevi una risposta corretta, ma intanto il sistema fa una richiesta verso un sito esterno che nessuno ha chiesto. Conta perché chi integra agenti IA rischia di controllare solo le risposte testuali.
Kilka terminów, zanim przejdziemy do faktów. Open-weight indica un modello i cui pesi, cioè i parametri appresi, sono scaricabili. Backdoor è un comportamento nascosto che resta dormiente finché non scatta una condizione. LoRA è una tecnica di addestramento leggera che aggiunge un adapter al modello. MCP sta per Model Context Protocol, il modo in cui un modello accede a strumenti esterni. Trigger è l'elemento che accende la backdoor, qui il nome di un server.
Co wykazało CERT-AGID?
Artykuł nosi tytuł «La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP». Według informacji opublikowanych przez AgID, badacze użyli adapterów LoRA, aby nauczyć model dodatkowego zachowania.
Gdy wśród dostępnych narzędzi pojawia się serwer MCP o dokładnie określonej nazwie, model generuje wywołanie sieciowe do domyślnego adresu URL. Dzieje się tak niezależnie od tego, o co zapyta użytkownik.
Jak działa warunkowa backdoor?
Zachowanie pozostaje uśpione, dopóki środowisko nie zawiera konkretnego elementu. Jeśli serwer uruchamiający go brakuje albo ma inną nazwę, nawet bardzo podobną, na przykład wersję zapasową, nie uruchamia się żadne żądanie.
Dlatego trudno to zauważyć. Test, który nie obejmuje właściwego serwera, widzi model zachowujący się zupełnie normalnie.
Jak przeprowadzono eksperyment?
CERT-AGID użył modelu open-weight Qwen3-1.7B oraz rzeczywistego serwera MCP. Trening rozdzielono między generowanie odpowiedzi tekstowej a politykę wywoływania narzędzi.
Według instytucji wynik jest taki, że wywołanie aktywuje się regularnie tylko przy wyznaczonym serwerze i wysyła prawdziwe żądania HTTP z odpowiedzią 200. Przy nieobecnych serwerach lub neutralnych nazwach nic się nie dzieje.
Dlaczego to ryzyko dla łańcucha dostaw AI?
Model lub adapter opublikowany na publicznych platformach, takich jak Hugging Face, może przejść wstępne testy w izolowanych środowiskach, jeśli serwera wyzwalającego tam nie ma. Potem aktywuje się, gdy tylko odpowiadające mu narzędzie zostanie podłączone, bez żadnej aktualizacji wag.
To ten sam schemat naruszonego zaufania, co w przypadku rozszerzenia z backdoorem SSH w Cursorze, choć tutaj ukryty kod znajduje się w wagach, a nie w pakiecie.
Ograniczenia, o których warto wiedzieć
Il test riguarda un modello piccolo, da 1,7 miliardi di parametri, e un trigger scelto dai ricercatori. La fonte non dice se tecniche simili funzionino con la stessa facilità su modelli più grandi, né se esistano adapter malevoli già in circolazione. Non ci sono stime di diffusione reale. Per i dettagli tecnici completi serve leggere il paper integrale, che AgID rimanda al proprio sito.
Co się zmienia dla osób pracujących z cyfrowymi technologiami
Se integri agenti con strumenti MCP, valutare solo la chat non basta. AgID indica tre misure. Monitora i log delle azioni che passano dai tool. Testa i modelli in ambienti isolati variando nomi e disponibilità dei server. Applica guardrail esterni come permessi limitati, restrizioni di rete e approvazione preventiva umana. Chi usa modelli scaricati da repository pubblici dovrebbe trattarli come software di terze parti, con le regole dell'open source in azienda.
Nasza opinia
Il pregio del paper è mostrare un rischio concreto con un esperimento riproducibile, senza allarmismi. Il punto debole, per ora, è la scala ridotta. Ma il messaggio regge. Una risposta plausibile non dimostra che il sistema sia sicuro, e molte aziende collaudano ancora gli agenti guardando solo il testo. Servono controlli sugli effetti, non sulle parole. Il tema si lega agli obblighi dell'AI Act sulla cybersecurity.
Najczęstsze pytania
Che cos'è una backdoor in un modello open-weight?
È un comportamento nascosto inserito nei pesi con l'addestramento. Resta inattivo finché non compare una condizione precisa. Nel test del CERT-AGID la condizione è un server MCP con un nome esatto.
Il modello del test è pericoloso?
Il modello è stato addestrato apposta dai ricercatori per dimostrare il meccanismo. Non risulta dalla fonte che esista un modello malevolo diffuso. Il paper serve a mostrare che la cosa è tecnicamente possibile.
Perché i test iniziali non la trovano?
Perché senza il server trigger il modello si comporta normalmente. Anche un nome molto simile, come una versione di backup, non attiva nulla. Un test deve quindi variare nomi e strumenti disponibili.
Serve aggiornare i pesi per attivarla?
No. Secondo AgID la backdoor si attiva appena viene collegato lo strumento corrispondente, senza alcun aggiornamento dei pesi.
Come mi proteggo?
Limita i permessi degli agenti e le connessioni di rete. Controlla i log delle azioni e chiedi approvazione umana per le operazioni sensibili. Sono le indicazioni date dal CERT-AGID.
Cosa guardare nei prossimi mesi sugli agenti con strumenti MCP
Il paper apre una strada di verifica più che chiudere un caso. Vale la pena seguire come cambiano pratiche e linee guida.
- Controlla se arrivano test su modelli più grandi e su trigger diversi dal nome di un server.
- Tieni un elenco dei modelli e degli adapter scaricati, con provenienza e data, come per ogni dipendenza.
- Leggi i prossimi paper nella sezione Sicurezza del CERT-AGID e confrontali con il tuo modo di collaudare gli agenti.
