Ing. Calogero Bono
El CERT-AGID ha publicado un nuevo artículo sobre las backdoor en modelos open-weight y sus consecuencias para los sistemas agénticos. El caso que describe es fácil de contar. Le preguntas al asistente por qué el cielo es azul, recibes una respuesta correcta, pero mientras tanto el sistema hace una petición a un sitio externo que nadie ha pedido. Importa porque quien integra agentes de IA corre el riesgo de revisar solo las respuestas de texto.
Algunos términos antes de entrar en los hechos. Open-weight indica un modelo cuyos pesos, es decir, los parámetros aprendidos, se pueden descargar. Backdoor es un comportamiento oculto que permanece latente hasta que se cumple una condición. LoRA es una técnica de entrenamiento ligera que añade un adaptador al modelo. MCP son las siglas de Model Context Protocol, la forma en que un modelo accede a herramientas externas. Trigger es el elemento que enciende la backdoor, aquí el nombre de un servidor.
¿Qué demostró el CERT-AGID?
El artículo se titula «La backdoor espera su turno. Un comportamiento aprendido en los pesos activado por la presencia de un servidor MCP». Según la noticia publicada por AgID, los investigadores usaron adaptadores LoRA para enseñar a un modelo un comportamiento adicional.
Cuando entre las herramientas disponibles aparece un servidor MCP con un nombre exacto, el modelo genera una llamada de red a una URL predefinida. Lo hace sea cual sea la pregunta del usuario.
¿Cómo funciona una backdoor condicional?
El comportamiento permanece inactivo hasta que el entorno presenta el elemento específico. Si falta el servidor de activación, o tiene otro nombre, incluso muy parecido como una versión de respaldo, no se dispara ninguna petición.
Esto explica por qué resulta tan difícil de notar. Una prueba que no incluye el servidor correcto ve un modelo completamente normal.
¿Cómo se hizo el experimento?
El CERT-AGID usó un modelo open-weight, Qwen3-1.7B, y un servidor MCP real. El entrenamiento se separó entre la generación de la respuesta de texto y la política de llamada a las herramientas.
El resultado, según el organismo, es que la llamada se activa de forma regular solo con el servidor designado y produce peticiones HTTP reales con respuesta 200. Con servidores ausentes o nombres neutros no pasa nada.
¿Por qué es un riesgo para la cadena de la IA?
Un modelo o un adaptador publicado en plataformas abiertas como Hugging Face puede superar las pruebas iniciales en entornos aislados, si el servidor trigger no está presente. Luego se activa en cuanto se conecta la herramienta correspondiente, sin ninguna actualización de los pesos.
Es el mismo esquema de confianza roto que se vio con la extensión con backdoor SSH en Cursor, aunque aquí el código oculto está en los pesos y no en un paquete.
Límites que conviene conocer
La prueba se refiere a un modelo pequeño, de 1.700 millones de parámetros, y a un trigger elegido por los investigadores. La fuente no dice si técnicas similares funcionan con la misma facilidad en modelos más grandes, ni si ya circulan adaptadores maliciosos. No hay estimaciones de difusión real. Para los detalles técnicos completos hay que leer el artículo íntegro, al que AgID remite en su propio sitio.
Qué cambia para quien trabaja con lo digital
Si integras agentes con herramientas MCP, evaluar solo el chat no basta. AgID indica tres medidas. Supervisa los registros de las acciones que pasan por las herramientas. Prueba los modelos en entornos aislados variando los nombres y la disponibilidad de los servidores. Aplica guardrails externos como permisos limitados, restricciones de red y aprobación humana previa. Quien use modelos descargados de repositorios públicos debería tratarlos como software de terceros, con las mismas reglas que el open source en la empresa.
Nuestra opinión
El mérito del artículo es mostrar un riesgo concreto con un experimento reproducible, sin alarmismos. Su punto débil, por ahora, es la escala reducida. Pero el mensaje se sostiene. Una respuesta plausible no demuestra que el sistema sea seguro, y muchas empresas siguen probando sus agentes mirando solo el texto. Hacen falta controles sobre los efectos, no sobre las palabras. El tema se vincula con las obligaciones de la Ley de IA de la UE sobre ciberseguridad.
Preguntas frecuentes
¿Qué es una backdoor en un modelo open-weight?
Es un comportamiento oculto insertado en los pesos durante el entrenamiento. Permanece inactivo hasta que aparece una condición precisa. En la prueba del CERT-AGID, la condición es un servidor MCP con un nombre exacto.
¿El modelo de la prueba es peligroso?
Los investigadores lo entrenaron a propósito para demostrar el mecanismo. La fuente no indica que exista un modelo malicioso difundido. El artículo sirve para mostrar que la técnica es posible.
¿Por qué las pruebas iniciales no la detectan?
Porque sin el servidor trigger el modelo se comporta con normalidad. Incluso un nombre muy parecido, como una versión de respaldo, no activa nada. Por eso una prueba debe variar los nombres y las herramientas disponibles.
¿Hace falta actualizar los pesos para activarla?
No. Según AgID, la backdoor se activa en cuanto se conecta la herramienta correspondiente, sin ninguna actualización de los pesos.
¿Cómo me protejo?
Limita los permisos de los agentes y las conexiones de red. Revisa los registros de acciones y pide aprobación humana para las operaciones sensibles. Son las indicaciones que da el CERT-AGID.
Qué vigilar en los próximos meses con agentes que usan herramientas MCP
El artículo abre una vía de verificación más que cierra un caso. Merece la pena seguir cómo cambian las prácticas y las directrices.
- Comprueba si llegan pruebas con modelos más grandes y con triggers distintos del nombre de un servidor.
- Mantén una lista de los modelos y adaptadores descargados, con procedencia y fecha, como con cualquier dependencia.
- Lee los próximos artículos en la sección de Seguridad del CERT-AGID y compáralos con tu forma de probar los agentes.
