Ing. Calogero Bono
CERT-AGID опубликовал новую работу о бэкдорах в открытых моделях с весами и о последствиях для агентных систем. Описанный случай просто объяснить. Ты спрашиваешь ассистента, почему небо голубое, получаешь верный ответ, а тем временем система отправляет запрос на внешний сайт, о котором никто не просил. Это важно, потому что те, кто внедряет ИИ-агентов, рискуют проверять только текстовые ответы.
Несколько терминов, прежде чем перейти к фактам. Open-weight означает модель, веса которой, то есть выученные параметры, можно скачать. Бэкдор — это скрытое поведение, которое остаётся неактивным, пока не сработает определённое условие. LoRA — лёгкий метод дообучения, который добавляет к модели адаптер. MCP расшифровывается как Model Context Protocol, это способ, которым модель обращается к внешним инструментам. Триггер — элемент, который включает бэкдор, в данном случае имя сервера.
Что показал CERT-AGID?
Работа называется «Бэкдор ждёт своей очереди. Выученное в весах поведение, активируемое наличием MCP-сервера». Согласно новости, опубликованной AgID, исследователи использовали адаптеры LoRA, чтобы научить модель дополнительному поведению.
Когда среди доступных инструментов появляется MCP-сервер с точным именем, модель генерирует сетевой вызов на заранее заданный URL. Это происходит независимо от того, что спросил пользователь.
Как работает условный бэкдор?
Поведение остаётся неактивным, пока среда не содержит нужного элемента. Если сервер-триггер отсутствует или называется иначе, даже очень похоже, например как резервная версия, никакой запрос не отправляется.
Именно поэтому его трудно заметить. Тест без нужного сервера видит совершенно обычную модель.
Как проводился эксперимент?
CERT-AGID использовал открытую модель Qwen3-1.7B и реальный MCP-сервер. Обучение разделили между генерацией текстового ответа и политикой вызова инструментов.
По словам организации, результат таков – вызов регулярно срабатывает только с назначенным сервером и создаёт реальные HTTP-запросы с ответом 200. При отсутствии сервера или нейтральных именах ничего не происходит.
Почему это риск для цепочки ИИ?
Модель или адаптер, опубликованные на публичных платформах вроде Hugging Face, могут пройти первичные проверки в изолированных средах, если сервера-триггера там нет. Затем бэкдор активируется сразу после подключения соответствующего инструмента, без обновления весов.
Это та же схема нарушенного доверия, что и в случае с расширением с SSH-бэкдором для Cursor, только здесь скрытый код находится в весах, а не в пакете.
Ограничения, которые стоит знать
Тест проводился на небольшой модели на 1,7 миллиарда параметров с триггером, выбранным исследователями. Источник не говорит, работают ли похожие методы с той же лёгкостью на более крупных моделях и существуют ли уже вредоносные адаптеры в обращении. Оценок реального распространения нет. Полные технические детали содержатся в исходной работе, на которую AgID ссылается на своём сайте.
Что меняется для тех, кто работает с цифровыми технологиями
Если ты интегрируешь агентов с инструментами MCP, одной проверки чата недостаточно. AgID указывает три меры. Следи за журналами действий, которые проходят через инструменты. Тестируй модели в изолированных средах, меняя имена и доступность серверов. Применяй внешние ограничители – ограниченные права, сетевые ограничения и предварительное одобрение человеком. Тем, кто использует модели из публичных репозиториев, стоит относиться к ним как к стороннему программному обеспечению, соблюдая правила для открытого ПО в компании.
Наше мнение
Достоинство работы в том, что она показывает реальный риск на воспроизводимом эксперименте, без нагнетания. Слабое место пока — небольшой масштаб. Но сам вывод убедителен. Правдоподобный ответ не доказывает, что система безопасна, а многие компании до сих пор проверяют агентов, глядя только на текст. Нужен контроль последствий, а не слов. Тема связана с обязательствами AI Act в области кибербезопасности.
Частые вопросы
Что такое бэкдор в открытой модели с весами?
Это скрытое поведение, заложенное в веса при обучении. Оно остаётся неактивным, пока не появится конкретное условие. В тесте CERT-AGID таким условием является MCP-сервер с точным именем.
Опасна ли модель из теста?
Модель специально обучена исследователями, чтобы продемонстрировать механизм. Из источника не следует, что в обращении есть вредоносная модель. Работа нужна, чтобы показать, что это технически возможно.
Почему первые проверки его не находят?
Потому что без триггерного сервера модель ведёт себя нормально. Даже очень похожее имя, например резервная версия, ничего не активирует. Поэтому тест должен менять имена и набор доступных инструментов.
Нужно ли обновлять веса, чтобы его активировать?
Нет. По словам AgID, бэкдор срабатывает сразу после подключения соответствующего инструмента, без какого-либо обновления весов.
Как защититься?
Ограничивай права агентов и сетевые подключения. Проверяй журналы действий и требуй одобрения человека для чувствительных операций. Это рекомендации CERT-AGID.
Что отслеживать в ближайшие месяцы в теме агентов с инструментами MCP
Работа открывает путь к проверкам, а не закрывает вопрос. Стоит следить за тем, как меняются практики и рекомендации.
- Проверяй, появятся ли тесты на более крупных моделях и на триггерах, отличных от имени сервера.
- Веди список скачанных моделей и адаптеров с указанием источника и даты, как для любой зависимости.
- Читай следующие работы в разделе «Безопасность» на сайте CERT-AGID и сравнивай их со своим способом проверки агентов.
