Ing. Calogero Bono
Het CERT-AGID heeft een nieuw paper gepubliceerd over backdoors in open-weight-modellen en de gevolgen voor agentische systemen. Het beschreven geval is eenvoudig te vertellen. Je vraagt de assistent waarom de lucht blauw is, je krijgt een correct antwoord, maar intussen doet het systeem een verzoek naar een externe site die niemand heeft gevraagd. Het is belangrijk omdat wie AI-agents integreert het risico loopt alleen de tekstuele antwoorden te controleren.
Enkele begrippen voordat we op de feiten ingaan. Open-weight duidt een model aan waarvan de gewichten, dat wil zeggen de geleerde parameters, downloadbaar zijn. Backdoor is een verborgen gedrag dat slapend blijft tot een voorwaarde optreedt. LoRA is een lichte trainingstechniek die een adapter aan het model toevoegt. MCP staat voor Model Context Protocol, de manier waarop een model toegang krijgt tot externe tools. Trigger is het element dat de backdoor activeert, hier de naam van een server.
Wat heeft het CERT-AGID aangetoond?
Het paper heet «La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP». Volgens de notitie gepubliceerd door AgID gebruikten de onderzoekers LoRA-adapters om een model een extra gedrag aan te leren.
Wanneer tussen de beschikbare tools een MCP-server met een exacte naam verschijnt, genereert het model een netwerkaanroep naar een vooraf ingestelde URL. Dat doet het ongeacht de vraag van de gebruiker.
Hoe werkt een voorwaardelijke backdoor?
Het gedrag blijft inactief tot de omgeving het specifieke element vertoont. Ontbreekt de activeringsserver, of heeft hij een andere naam, ook een heel vergelijkbare zoals een back-upversie, dan start er geen enkel verzoek.
Dit verklaart waarom het moeilijk op te merken is. Een test die niet de juiste server bevat, ziet een volledig normaal model.
Hoe is het experiment uitgevoerd?
Het CERT-AGID gebruikte een open-weight-model, Qwen3-1.7B, en een echte MCP-server. De training is gesplitst tussen het genereren van het tekstuele antwoord en het beleid voor het aanroepen van tools.
Het resultaat is volgens de instantie dat de aanroep alleen regelmatig wordt geactiveerd met de aangewezen server en echte HTTP-verzoeken met antwoord 200 oplevert. Zonder server of met neutrale namen gebeurt er niets.
Waarom is dit een risico voor de AI-keten?
Een model of adapter die op openbare platforms zoals Hugging Face wordt gepubliceerd, kan de eerste tests in geïsoleerde omgevingen doorstaan, zolang de triggerserver ontbreekt. Daarna wordt het geactiveerd zodra de overeenkomende tool wordt gekoppeld, zonder enige update van de gewichten.
Het is hetzelfde patroon van geschonden vertrouwen als bij de extensie met SSH-backdoor voor Cursor, hoewel de verborgen code hier in de gewichten zit en niet in een pakket.
Beperkingen om te kennen
De test betreft een klein model, met 1,7 miljard parameters, en een trigger gekozen door de onderzoekers. De bron zegt niet of vergelijkbare technieken even makkelijk werken op grotere modellen, noch of er al kwaadaardige adapters in omloop zijn. Er zijn geen schattingen van de werkelijke verspreiding. Voor de volledige technische details moet je het volledige paper lezen, dat AgID naar de eigen website verwijst.
Wat verandert er voor wie met digitale technologie werkt
Als je agents met MCP-tools integreert, is alleen de chat controleren niet genoeg. AgID noemt drie maatregelen. Houd de logs van de acties die via de tools lopen in de gaten. Test de modellen in geïsoleerde omgevingen door namen en beschikbaarheid van servers te variëren. Pas externe guardrails toe, zoals beperkte rechten, netwerkrestricties en vooraf menselijke goedkeuring. Wie modellen gebruikt die uit openbare repositories zijn gedownload, moet ze behandelen als software van derden, volgens de regels voor open source in het bedrijf.
Ons standpunt
De kracht van het paper is dat het een concreet risico aantoont met een reproduceerbaar experiment, zonder alarmisme. Het zwakke punt is voorlopig de beperkte schaal. Maar de boodschap houdt stand. Een plausibel antwoord bewijst niet dat het systeem veilig is, en veel bedrijven testen agents nog steeds alleen op de tekst. Er zijn controles op de effecten nodig, niet op de woorden. Het onderwerp raakt aan de verplichtingen van de AI Act over cybersecurity.
Veelgestelde vragen
Wat is een backdoor in een open-weight-model?
Het is een verborgen gedrag dat via de training in de gewichten wordt geplaatst. Het blijft inactief tot een precieze voorwaarde zich voordoet. In de test van het CERT-AGID is die voorwaarde een MCP-server met een exacte naam.
Is het model in de test gevaarlijk?
Het model is speciaal door de onderzoekers getraind om het mechanisme te demonstreren. Uit de bron blijkt niet dat er een kwaadaardig model verspreid is. Het paper dient om aan te tonen dat het technisch mogelijk is.
Waarom vinden de eerste tests het niet?
Omdat het model zonder de triggerserver zich normaal gedraagt. Zelfs een bijna identieke naam, zoals een back-upversie, activeert niets. Een test moet dus de namen en de beschikbare tools variëren.
Moeten de gewichten worden bijgewerkt om het te activeren?
Nee. Volgens AgID wordt de backdoor geactiveerd zodra de overeenkomende tool wordt gekoppeld, zonder enige update van de gewichten.
Hoe bescherm ik mezelf?
Beperk de rechten van de agents en de netwerkverbindingen. Controleer de logs van de acties en vraag menselijke goedkeuring voor gevoelige handelingen. Dat zijn de richtlijnen van het CERT-AGID.
Waar je de komende maanden op moet letten bij agents met MCP-tools
Het paper opent eerder een weg naar verificatie dan dat het een zaak afsluit. Het loont de moeite te volgen hoe praktijken en richtlijnen veranderen.
- Controleer of er tests verschijnen op grotere modellen en op andere triggers dan de naam van een server.
- Houd een lijst bij van de gedownloade modellen en adapters, met herkomst en datum, zoals voor elke andere afhankelijkheid.
- Lees de volgende papers in de sectie Beveiliging van het CERT-AGID en vergelijk ze met hoe jij agents test.
