Ing. Calogero Bono
CERT-AGID发布了一篇新论文，讨论开源权重模型中的后门，以及它们对智能体系统的影响。这个案例很容易讲清楚。你问助手天空为什么是蓝色的，得到的回答完全正确，但与此同时，系统却向一个没有人要求访问的外部网站发出了请求。这一点很重要，因为集成AI智能体的人很可能只检查了文本回答。
在进入事实之前，先了解几个术语。 开源权重指的是可以下载的模型，即其权重，也就是学习到的参数。后门是一种隐藏行为，平时处于休眠状态，直到某个条件被触发。LoRA是一种轻量级训练技术，为模型添加一个适配器。MCP即Model Context Protocol，是模型访问外部工具的方式。触发器是激活后门的元素，这里指的是一个服务器的名称。
CERT-AGID证明了什么？
这篇论文题为《后门在等待它的时机。由MCP服务器的存在激活的、学习到权重中的行为》。根据AgID发布的新闻，研究人员使用LoRA适配器为一个模型教授了额外的行为。
当可用工具中出现一个名称精确的MCP服务器时，模型就会向预设的URL发出网络调用，无论用户提出的是什么问题。
条件式后门是如何工作的？
在环境中出现特定元素之前，这种行为一直处于不活动状态。如果激活服务器不存在，或者名称不同，即使只是像备份版本那样非常相似，也不会发出任何请求。
这就解释了为什么它如此难以察觉。一个没有包含正确服务器的测试，看到的是一个完全正常的模型。
实验是如何进行的？
CERT-AGID使用了一个开源权重模型Qwen3-1.7B和一个真实的MCP服务器。训练过程将文本回答的生成与工具调用策略分开进行。
据该机构称，结果是，只有在指定的服务器存在时，调用才会规律性地激活，并产生返回200状态码的真实HTTP请求。服务器缺失或名称中性时，什么都不会发生。
这对AI产业链为何构成风险？
发布在Hugging Face等公共平台上的模型或适配器，可能在隔离环境中通过最初的测试，因为那时触发服务器并不存在。之后，只要对应的工具被连接，它就会被激活，无需更新任何权重。
这与Cursor上带有SSH后门的扩展所暴露的信任被破坏模式如出一辙，只不过这里隐藏的代码位于权重之中，而不是某个软件包里。
需要了解的局限
测试针对的是一个小模型，参数量为17亿，触发器也是由研究人员选定的。该来源没有说明类似技术在更大的模型上是否同样容易奏效，也没有说明现实中是否已经存在恶意适配器。目前也没有实际传播规模的估计。若想了解完整的技术细节，需要阅读整篇论文，AgID在其网站上提供了链接。
这对从事数字领域工作的人意味着什么
如果你在集成带有MCP工具的智能体，那么只测试聊天是不够的。AgID提出了三项措施。监控经由工具发出的操作日志。在隔离环境中测试模型，并改变服务器的名称和可用性。应用外部防护措施，例如限制权限、限制网络访问以及事先的人工审批。使用从公共代码库下载的模型的人，应当将其视为第三方软件，并遵守企业开源使用规则。
我们的看法
这篇论文的优点在于，通过一个可复现的实验展示了一个具体风险，同时没有制造恐慌。目前的薄弱环节是规模较小。但它的信息站得住脚。一个看似合理的回答并不能证明系统是安全的，而许多公司至今仍只通过文本来检验智能体。真正需要的是检查行为效果，而不只是检查措辞。这个话题也与AI法案中关于网络安全的义务相关。
常见问题
开源权重模型中的后门是什么？
它是通过训练植入权重中的一种隐藏行为，在出现特定条件之前保持不活动。在CERT-AGID的测试中，条件是一个名称精确的MCP服务器。
测试中的模型危险吗？
该模型是研究人员专门训练出来用于演示这一机制的。来源中并未提到存在广泛传播的恶意模型。这篇论文的目的是说明这件事在技术上是可能的。
为什么最初的测试发现不了它？
因为没有触发服务器时，模型表现正常。即使是非常相似的名称，比如备份版本，也不会激活它。因此测试必须改变名称以及可用的工具。
激活它是否需要更新权重？
不需要。据AgID称，只要连接上对应的工具，后门就会激活，无需对权重进行任何更新。
我该如何防护？
限制智能体的权限和网络连接，检查操作日志，并对敏感操作要求人工审批。这些是CERT-AGID给出的建议。
未来几个月值得关注的MCP工具智能体动向
这篇论文更像是开辟了一条验证路径，而不是结束了某个案例。值得关注相关实践和指导原则的变化。
- 关注是否出现针对更大模型以及服务器名称以外其他触发器的测试。
- 像管理每一项依赖一样，记录所下载的模型和适配器的来源与日期。
- 阅读CERT-AGID安全栏目之后的论文，并与你自己测试智能体的方法进行对比。
