Ing. Calogero Bono
Le CERT-AGID a publié un nouvel article sur les backdoors dans les modèles open-weight et sur leurs conséquences pour les systèmes agentiques. Le cas décrit est simple à raconter. Tu demandes à l'assistant pourquoi le ciel est bleu, tu reçois une réponse correcte, mais pendant ce temps le système envoie une requête vers un site externe que personne n'a demandée. Cela compte, parce que ceux qui intègrent des agents IA risquent de ne contrôler que les réponses textuelles.
Quelques termes, avant d'entrer dans les faits. Open-weight désigne un modèle dont les poids, c'est-à-dire les paramètres appris, sont téléchargeables. Backdoor est un comportement caché qui reste en sommeil jusqu'à ce qu'une condition se réalise. LoRA est une technique d'entraînement légère qui ajoute un adaptateur au modèle. MCP signifie Model Context Protocol, la manière dont un modèle accède à des outils externes. Trigger est l'élément qui déclenche la backdoor, ici le nom d'un serveur.
Qu'a démontré le CERT-AGID ?
L'article s'intitule « La backdoor attend son tour. Un comportement appris dans les poids activé par la présence d'un serveur MCP ». Selon le communiqué publié par l'AgID, les chercheurs ont utilisé des adaptateurs LoRA pour apprendre à un modèle un comportement supplémentaire.
Lorsqu'un serveur MCP portant un nom exact apparaît parmi les outils disponibles, le modèle génère un appel réseau vers une URL prédéfinie. Il le fait quelle que soit la question de l'utilisateur.
Comment fonctionne une backdoor conditionnelle ?
Le comportement reste inactif tant que l'environnement ne présente pas l'élément spécifique. Si le serveur déclencheur manque, ou s'il porte un nom différent, même très proche comme une version de sauvegarde, aucune requête ne part.
C'est ce qui rend la chose difficile à remarquer. Un test qui n'inclut pas le bon serveur voit un modèle parfaitement normal.
Comment l'expérience a-t-elle été menée ?
Le CERT-AGID a utilisé un modèle open-weight, Qwen3-1.7B, et un vrai serveur MCP. L'entraînement a été séparé entre la génération de la réponse textuelle et la politique d'appel aux outils.
Le résultat, selon l'organisme, est que l'appel ne s'active régulièrement qu'avec le serveur désigné et produit de vraies requêtes HTTP avec une réponse 200. Avec des serveurs absents ou des noms neutres, rien ne se passe.
Pourquoi est-ce un risque pour la filière de l'IA ?
Un modèle ou un adaptateur publié sur des plateformes publiques comme Hugging Face peut passer les tests initiaux dans des environnements isolés, tant que le serveur déclencheur est absent. Il s'active ensuite dès que l'outil correspondant est connecté, sans aucune mise à jour des poids.
C'est le même schéma de confiance trahie que l'on a vu avec l'extension avec backdoor SSH sur Cursor, même si ici le code caché se trouve dans les poids et non dans un paquet.
Limites à connaître
Le test porte sur un petit modèle, de 1,7 milliard de paramètres, et sur un trigger choisi par les chercheurs. La source ne dit pas si des techniques similaires fonctionnent avec la même facilité sur des modèles plus grands, ni s'il existe déjà des adaptateurs malveillants en circulation. Il n'y a pas d'estimation de la diffusion réelle. Pour les détails techniques complets, il faut lire l'article intégral, que l'AgID renvoie sur son propre site.
Ce qui change pour qui travaille dans le numérique
Si tu intègres des agents avec des outils MCP, évaluer uniquement le chat ne suffit pas. L'AgID indique trois mesures. Surveille les journaux des actions qui passent par les outils. Teste les modèles dans des environnements isolés en variant les noms et la disponibilité des serveurs. Applique des garde-fous externes comme des permissions limitées, des restrictions réseau et une approbation humaine préalable. Ceux qui utilisent des modèles téléchargés depuis des dépôts publics devraient les traiter comme des logiciels tiers, selon les règles de l'open source en entreprise.
Notre avis
La force de l'article est de montrer un risque concret avec une expérience reproductible, sans alarmisme. Son point faible, pour l'instant, est l'échelle réduite. Mais le message tient. Une réponse plausible ne prouve pas que le système est sûr, et beaucoup d'entreprises testent encore leurs agents en ne regardant que le texte. Il faut des contrôles sur les effets, pas sur les mots. Le sujet se rattache aux obligations de l'AI Act sur la cybersécurité.
Questions fréquentes
Qu'est-ce qu'une backdoor dans un modèle open-weight ?
C'est un comportement caché introduit dans les poids pendant l'entraînement. Il reste inactif jusqu'à l'apparition d'une condition précise. Dans le test du CERT-AGID, cette condition est un serveur MCP portant un nom exact.
Le modèle du test est-il dangereux ?
Le modèle a été entraîné exprès par les chercheurs pour démontrer le mécanisme. La source ne mentionne aucun modèle malveillant diffusé. L'article sert à montrer que la chose est techniquement possible.
Pourquoi les tests initiaux ne la détectent-ils pas ?
Parce que sans le serveur déclencheur, le modèle se comporte normalement. Même un nom très proche, comme une version de sauvegarde, n'active rien. Un test doit donc varier les noms et les outils disponibles.
Faut-il mettre à jour les poids pour l'activer ?
Non. Selon l'AgID, la backdoor s'active dès que l'outil correspondant est connecté, sans aucune mise à jour des poids.
Comment me protéger ?
Limite les permissions des agents et les connexions réseau. Contrôle les journaux des actions et demande une approbation humaine pour les opérations sensibles. Ce sont les recommandations données par le CERT-AGID.
Ce qu'il faut suivre dans les prochains mois sur les agents avec outils MCP
L'article ouvre une piste de vérification plus qu'il ne clôt un cas. Il vaut la peine de suivre l'évolution des pratiques et des lignes directrices.
- Vérifie si des tests arrivent sur des modèles plus grands et sur des déclencheurs autres que le nom d'un serveur.
- Tiens une liste des modèles et des adaptateurs téléchargés, avec leur provenance et leur date, comme pour toute dépendance.
- Lis les prochains articles de la section Sécurité du CERT-AGID et compare-les à ta façon de tester les agents.
