Ing. Calogero Bono
CERT-AGID, açık ağırlıklı modellerde arka kapılar ve bunların ajan tabanlı sistemler için sonuçları üzerine yeni bir makale yayımladı. Anlatılan durum anlaşılması kolay bir örnek. Asistana gökyüzünün neden mavi olduğunu soruyorsun, doğru bir yanıt alıyorsun, ama bu sırada sistem kimsenin istemediği bir dış siteye istek gönderiyor. Bu önemli, çünkü yapay zeka ajanlarını entegre eden kişiler yalnızca metin yanıtlarını kontrol etme riski taşıyor.
Olayları anlatmadan önce birkaç terim. Açık ağırlık (open-weight), yani öğrenilmiş parametreler olan ağırlıkları indirilebilen bir modeli ifade eder. Arka kapı (backdoor), bir koşul gerçekleşene kadar uykuda kalan gizli bir davranıştır. LoRA, modele bir adaptör ekleyen hafif bir eğitim tekniğidir. MCP, Model Context Protocol anlamına gelir ve bir modelin dış araçlara erişme biçimidir. Tetikleyici (trigger), arka kapıyı açan öğedir; burada bir sunucunun adı.
CERT-AGID neyi gösterdi?
Makalenin adı «La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP», yani «Arka kapı sırasını bekliyor. Ağırlıklarda öğrenilmiş, bir MCP sunucusunun varlığıyla etkinleşen bir davranış». AgID'nin yayımladığı habere göre araştırmacılar, bir modele ekstra bir davranış öğretmek için LoRA adaptörleri kullandı.
Kullanılabilir araçlar arasında tam adı verilmiş bir MCP sunucusu göründüğünde, model kullanıcının sorusu ne olursa olsun önceden tanımlanmış bir URL'ye ağ çağrısı üretiyor.
Koşullu bir arka kapı nasıl çalışır?
Davranış, ortam belirli öğeyi sunana kadar etkisiz kalıyor. Etkinleştirme sunucusu yoksa ya da yedek sürüm gibi çok benzer bir adla farklı bir isim taşıyorsa, hiçbir istek gönderilmiyor.
Bu, davranışın neden fark edilmesinin zor olduğunu açıklıyor. Doğru sunucuyu içermeyen bir test, tamamen normal bir model görür.
Deney nasıl yapıldı?
CERT-AGID, açık ağırlıklı bir model olan Qwen3-1.7B ve gerçek bir MCP sunucusu kullandı. Eğitim, metin yanıtının üretilmesi ile araç çağrısı politikası arasında ayrıldı.
Kuruma göre sonuç, çağrının yalnızca belirlenen sunucuyla düzenli olarak devreye girmesi ve 200 yanıt koduyla gerçek HTTP istekleri üretmesi. Sunucu yoksa ya da adlar nötrse hiçbir şey olmuyor.
Yapay zeka tedarik zinciri için neden risk?
Hugging Face gibi herkese açık platformlarda yayımlanan bir model ya da adaptör, tetikleyici sunucu yok iken izole ortamlardaki ilk testleri geçebilir. Karşılık gelen araç bağlanır bağlanmaz, ağırlıklarda herhangi bir güncelleme olmadan devreye girer.
Bu, Cursor için SSH arka kapılı eklenti olayında görülen güven ihlaliyle aynı şema; burada gizli kod bir paketin içinde değil, ağırlıkların içinde.
Bilmen gereken sınırlar
Test, 1,7 milyar parametreli küçük bir model ve araştırmacıların seçtiği bir tetikleyici üzerinde yapıldı. Kaynak, benzer tekniklerin daha büyük modellerde aynı kolaylıkla işe yarayıp yaramayacağını ya da dolaşımda kötü niyetli adaptörlerin bulunup bulunmadığını söylemiyor. Gerçek yaygınlığa dair bir tahmin de yok. Tüm teknik ayrıntılar için AgID'nin kendi sitesine yönlendirdiği makalenin tamamını okumak gerekiyor.
Dijitalle çalışanlar için ne değişiyor
MCP araçlarıyla ajan entegre ediyorsan yalnızca sohbeti test etmek yetmez. AgID üç önlem öneriyor. Araçlardan geçen işlemlerin günlüklerini izle. Modelleri izole ortamlarda, sunucu adlarını ve kullanılabilirliklerini değiştirerek test et. Dış koruma katmanları uygula – sınırlı izinler, ağ kısıtlamaları ve önceden insan onayı. Herkese açık depolardan indirilen modelleri üçüncü taraf yazılım gibi ele al ve şirkette açık kaynak kullanımı kurallarına göre yönet.
Bizim görüşümüz
Makalenin değeri, tekrarlanabilir bir deneyle somut bir riski gösterebilmesi ve abartıya kaçmamasında. Şu an zayıf yanı ölçeğin küçük olması. Yine de mesaj sağlam. Makul görünen bir yanıt, sistemin güvenli olduğunu kanıtlamaz; birçok şirket hâlâ ajanları yalnızca metne bakarak test ediyor. Yapılması gereken, kelimelere değil etkilere bakan kontroller. Konu, siber güvenlik konusunda AI Act yükümlülükleriyle de bağlantılı.
Sık sorulan sorular
Açık ağırlıklı bir modelde arka kapı nedir?
Eğitimle ağırlıkların içine yerleştirilen, belirli bir koşul ortaya çıkana kadar etkisiz kalan gizli bir davranıştır. CERT-AGID'nin testinde koşul, tam adı verilmiş bir MCP sunucusudur.
Testteki model tehlikeli mi?
Model, mekanizmayı göstermek için araştırmacılar tarafından özel olarak eğitildi. Kaynaklarda yaygın kullanımda kötü niyetli bir model olduğuna dair bir bilgi yok. Makale, bunun teknik olarak mümkün olduğunu göstermek için yazıldı.
İlk testler neden bunu bulamıyor?
Çünkü tetikleyici sunucu yokken model normal davranıyor. Yedek sürüm gibi çok benzer bir ad bile hiçbir şeyi tetiklemiyor. Bu yüzden testlerin sunucu adlarını ve kullanılabilir araçları değiştirmesi gerekiyor.
Devreye girmesi için ağırlıkların güncellenmesi gerekir mi?
Hayır. AgID'ye göre arka kapı, karşılık gelen araç bağlanır bağlanmaz, ağırlıklarda herhangi bir güncelleme olmadan devreye giriyor.
Kendimi nasıl korurum?
Ajanların izinlerini ve ağ bağlantılarını sınırla. İşlem günlüklerini kontrol et ve hassas işlemler için insan onayı iste. Bunlar CERT-AGID'nin verdiği önerilerdir.
MCP araçlı ajanlarla ilgili önümüzdeki aylarda nelere bakmalı
Makale bir vakayı kapatmaktan çok bir doğrulama yolunu açıyor. Uygulamaların ve yönergelerin nasıl değiştiğini izlemeye değer.
- Daha büyük modeller ve sunucu adından farklı tetikleyiciler üzerine testlerin gelip gelmediğini kontrol et.
- İndirdiğin modellerin ve adaptörlerin kaynağını ve tarihini, her bağımlılıkta olduğu gibi bir listede tut.
- CERT-AGID'nin Güvenlik bölümündeki yeni makaleleri oku ve ajanları test etme yönteminle karşılaştır.
