Ing. Calogero Bono
Das CERT-AGID hat ein neues Papier über Hintertüren in Open-Weight-Modellen und deren Folgen für agentische Systeme veröffentlicht. Der beschriebene Fall lässt sich einfach erzählen. Du fragst den Assistenten, warum der Himmel blau ist, und bekommst eine korrekte Antwort. Gleichzeitig stellt das System aber eine Anfrage an eine externe Seite, die niemand bestellt hat. Das ist wichtig, denn wer KI-Agenten einbindet, prüft oft nur die Textantworten.
Ein paar Begriffe, bevor wir zu den Fakten kommen. Open-Weight bezeichnet ein Modell, dessen Gewichte, also die gelernten Parameter, frei heruntergeladen werden können. Hintertür ist ein verborgenes Verhalten, das ruhend bleibt, bis eine Bedingung eintritt. LoRA ist eine schlanke Trainingstechnik, die dem Modell einen Adapter hinzufügt. MCP steht für Model Context Protocol und regelt, wie ein Modell auf externe Werkzeuge zugreift. Trigger ist das Element, das die Hintertür auslöst, hier der Name eines Servers.
Was hat das CERT-AGID gezeigt?
Das Papier trägt den Titel «La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP». Laut der Meldung von AgID haben die Forscher LoRA-Adapter verwendet, um einem Modell ein zusätzliches Verhalten beizubringen.
Erscheint unter den verfügbaren Werkzeugen ein MCP-Server mit einem genauen Namen, erzeugt das Modell einen Netzwerkaufruf an eine vordefinierte URL. Das geschieht unabhängig davon, welche Frage der Nutzer stellt.
Wie funktioniert eine bedingte Hintertür?
Das Verhalten bleibt inaktiv, bis die Umgebung das spezifische Element enthält. Fehlt der Aktivierungsserver oder trägt er einen anderen Namen, auch einen sehr ähnlichen wie eine Backup-Version, startet keine Anfrage.
Deshalb fällt sie so schwer auf. Ein Test ohne den richtigen Server sieht ein völlig normales Modell.
Wie wurde das Experiment durchgeführt?
Das CERT-AGID verwendete ein Open-Weight-Modell, Qwen3-1.7B, und einen echten MCP-Server. Das Training wurde getrennt für die Erzeugung der Textantwort und für die Richtlinie zum Aufruf der Werkzeuge durchgeführt.
Das Ergebnis lautet laut der Behörde, dass der Aufruf nur mit dem vorgesehenen Server zuverlässig auslöst und echte HTTP-Anfragen mit Antwort 200 erzeugt. Bei fehlenden Servern oder neutralen Namen passiert nichts.
Warum ist das ein Risiko für die KI-Lieferkette?
Ein Modell oder Adapter, der auf öffentlichen Plattformen wie Hugging Face veröffentlicht wird, kann die ersten Tests in isolierten Umgebungen bestehen, solange der Trigger-Server fehlt. Danach aktiviert er sich, sobald das entsprechende Werkzeug verbunden wird, ohne dass die Gewichte aktualisiert werden müssen.
Es ist dasselbe verletzte Vertrauensmuster wie bei der Cursor-Erweiterung mit SSH-Hintertür, nur liegt der versteckte Code hier in den Gewichten und nicht in einem Paket.
Grenzen, die du kennen solltest
Der Test betrifft ein kleines Modell mit 1,7 Milliarden Parametern und einen von den Forschern gewählten Trigger. Die Quelle sagt nicht, ob ähnliche Techniken bei größeren Modellen ebenso leicht funktionieren, und auch nicht, ob bereits manipulierte Adapter im Umlauf sind. Schätzungen zur tatsächlichen Verbreitung gibt es keine. Für alle technischen Details musst du das vollständige Papier lesen, auf das AgID auf der eigenen Website verweist.
Was sich für alle ändert, die digital arbeiten
Wenn du Agenten mit MCP-Werkzeugen einsetzt, reicht es nicht aus, nur den Chat zu prüfen. AgID nennt drei Maßnahmen. Überwache die Protokolle der Aktionen, die über die Werkzeuge laufen. Teste die Modelle in isolierten Umgebungen, in denen du Namen und Verfügbarkeit der Server variierst. Setze externe Schutzmechanismen ein, etwa eingeschränkte Berechtigungen, Netzwerkbeschränkungen und vorherige menschliche Freigabe. Wer Modelle aus öffentlichen Repositories verwendet, sollte sie wie Software von Drittanbietern behandeln, nach den Regeln für Open Source im Unternehmen.
Unsere Einschätzung
Das Verdienst des Papiers ist, ein reales Risiko mit einem reproduzierbaren Experiment zu zeigen, ohne Alarmismus. Die Schwäche ist im Moment der kleine Maßstab. Doch die Botschaft trägt. Eine plausible Antwort beweist nicht, dass ein System sicher ist, und viele Unternehmen testen Agenten bisher nur anhand des Textes. Nötig sind Kontrollen der Wirkungen, nicht nur der Worte. Das Thema berührt auch die Pflichten aus dem AI Act zur Cybersicherheit.
Häufig gestellte Fragen
Was ist eine Hintertür in einem Open-Weight-Modell?
Es ist ein verborgenes Verhalten, das beim Training in die Gewichte eingebracht wird. Es bleibt inaktiv, bis eine bestimmte Bedingung eintritt. Im Test des CERT-AGID ist diese Bedingung ein MCP-Server mit einem genauen Namen.
Ist das im Test verwendete Modell gefährlich?
Das Modell wurde von den Forschern eigens trainiert, um den Mechanismus zu zeigen. Aus der Quelle geht nicht hervor, dass ein schädliches Modell verbreitet ist. Das Papier soll zeigen, dass dies technisch möglich ist.
Warum finden die ersten Tests sie nicht?
Weil das Modell ohne den auslösenden Server normal reagiert. Schon ein sehr ähnlicher Name, etwa eine Backup-Version, aktiviert nichts. Ein Test muss daher Namen und verfügbare Werkzeuge variieren.
Muss man die Gewichte aktualisieren, damit sie aktiv wird?
Nein. Laut AgID aktiviert sie sich, sobald das entsprechende Werkzeug verbunden wird, ganz ohne Aktualisierung der Gewichte.
Wie schütze ich mich?
Begrenze die Berechtigungen der Agenten und die Netzwerkverbindungen. Kontrolliere die Protokolle der Aktionen und verlange für sensible Vorgänge eine menschliche Freigabe. Das sind die Empfehlungen des CERT-AGID.
Worauf du in den kommenden Monaten bei Agenten mit MCP-Werkzeugen achten solltest
Das Papier eröffnet eher einen Weg der Überprüfung, als dass es einen Fall abschließt. Es lohnt sich, zu verfolgen, wie sich Praktiken und Leitlinien verändern.
- Achte darauf, ob Tests mit größeren Modellen und anderen Triggern als dem Namen eines Servers erscheinen.
- Führe eine Liste der heruntergeladenen Modelle und Adapter mit Herkunft und Datum, wie bei jeder anderen Abhängigkeit.
- Lies die nächsten Papiere im Bereich Sicherheit des CERT-AGID und vergleiche sie mit deiner Art, Agenten zu testen.
