Ing. Calogero Bono
CERT-AGID ने open-weight मॉडलों में बैकडोर और एजेंटिक सिस्टम पर उनके असर के बारे में एक नया पेपर प्रकाशित किया है। इस मामले को समझाना आसान है। आप सहायक से पूछते हैं कि आसमान नीला क्यों है, आपको सही जवाब मिलता है, लेकिन इसी दौरान सिस्टम किसी बाहरी साइट पर ऐसा अनुरोध भेजता है जिसे किसी ने नहीं मांगा था। यह बात मायने रखती है, क्योंकि AI एजेंट जोड़ने वाले लोग अक्सर सिर्फ टेक्स्ट के जवाबों पर नज़र रखते हैं।
कुछ शब्द, तथ्यों में जाने से पहले। Open-weight ऐसे मॉडल को कहते हैं जिसके वेट, यानी सीखे गए पैरामीटर, डाउनलोड किए जा सकते हैं। Backdoor एक छिपा हुआ व्यवहार है जो तब तक सुप्त रहता है जब तक कोई शर्त पूरी न हो। LoRA एक हल्की प्रशिक्षण तकनीक है जो मॉडल में एक अतिरिक्त एडाप्टर जोड़ती है। MCP का मतलब है Model Context Protocol, यानी वह तरीका जिससे मॉडल बाहरी टूल्स तक पहुंचता है। Trigger वह तत्व है जो बैकडोर को चालू करता है, यहां यह एक सर्वर का नाम है।
CERT-AGID ने क्या दिखाया?
पेपर का शीर्षक है «बैकडोर अपनी बारी का इंतज़ार करती है। MCP सर्वर की मौजूदगी से सक्रिय वेट में सीखा गया व्यवहार»। AgID द्वारा प्रकाशित खबर के अनुसार, शोधकर्ताओं ने LoRA एडाप्टर्स का इस्तेमाल करके एक मॉडल को अतिरिक्त व्यवहार सिखाया।
जब उपलब्ध टूल्स में एक सटीक नाम वाला MCP सर्वर दिखता है, तो मॉडल एक पूर्व-निर्धारित URL पर नेटवर्क कॉल बनाता है। वह उपयोगकर्ता के सवाल चाहे जो भी हो, ऐसा करता है।
शर्त वाली बैकडोर कैसे काम करती है?
यह व्यवहार तब तक निष्क्रिय रहता है जब तक वातावरण में वह खास तत्व मौजूद न हो। अगर सक्रिय करने वाला सर्वर नहीं है, या उसका नाम अलग है, भले ही बैकअप वाले संस्करण जितना मिलता-जुलता हो, तो कोई अनुरोध नहीं जाता।
इसी वजह से इसे पकड़ना मुश्किल है। ऐसा परीक्षण जिसमें सही सर्वर शामिल नहीं है, मॉडल को पूरी तरह सामान्य दिखाता है।
प्रयोग कैसे किया गया?
CERT-AGID ने एक open-weight मॉडल, Qwen3-1.7B, और एक असली MCP सर्वर का इस्तेमाल किया। प्रशिक्षण को टेक्स्ट जवाब बनाने और टूल कॉल की नीति के बीच अलग रखा गया।
संस्था के अनुसार नतीजा यह रहा कि कॉल केवल तय किए गए सर्वर के साथ नियमित रूप से चालू होती है, और 200 प्रतिक्रिया कोड वाले असली HTTP अनुरोध भेजती है। सर्वर न होने पर या नाम तटस्थ होने पर कुछ नहीं होता।
AI आपूर्ति श्रृंखला के लिए यह जोखिम क्यों है?
Hugging Face जैसे सार्वजनिक प्लेटफॉर्म पर प्रकाशित मॉडल या एडाप्टर अलग-थलग वातावरण में शुरुआती परीक्षण पास कर सकते हैं, क्योंकि ट्रिगर सर्वर वहां होता ही नहीं। फिर संबंधित टूल जुड़ते ही वे सक्रिय हो जाते हैं, और इसके लिए वेट अपडेट करने की ज़रूरत नहीं पड़ती।
यह वही भरोसे के टूटने वाला पैटर्न है जो Cursor पर SSH बैकडोर वाले एक्सटेंशन में दिखा था, फर्क बस इतना है कि यहां छिपा कोड पैकेज में नहीं, वेट में है।
ध्यान रखने योग्य सीमाएं
यह परीक्षण 1,7 अरब पैरामीटर वाले एक छोटे मॉडल और शोधकर्ताओं द्वारा चुने गए ट्रिगर पर किया गया था। स्रोत यह नहीं बताता कि ऐसी तकनीकें बड़े मॉडलों पर भी उतनी ही आसानी से काम करती हैं या नहीं, और न ही यह कि असली दुनिया में कोई दुर्भावनापूर्ण एडाप्टर पहले से मौजूद हैं। वास्तविक प्रसार के बारे में कोई अनुमान भी नहीं है। पूरी तकनीकी जानकारी के लिए पूरा पेपर पढ़ना होगा, जिसका लिंक AgID ने अपनी साइट पर दिया है।
डिजिटल काम करने वालों के लिए क्या बदलता है
अगर आप MCP टूल्स वाले एजेंट लगाते हैं, तो सिर्फ चैट का परीक्षण करना काफी नहीं है। AgID तीन उपाय सुझाता है। टूल्स से होने वाली कार्रवाइयों के लॉग पर नज़र रखें। सर्वर के नाम और उपलब्धता बदलते हुए मॉडलों को अलग-थलग वातावरण में जांचें। बाहरी गार्डरेल लगाएं, जैसे सीमित अनुमतियां, नेटवर्क पर पाबंदियां और पहले से मानव स्वीकृति। जो लोग सार्वजनिक रिपॉजिटरी से डाउनलोड किए मॉडल इस्तेमाल करते हैं, उन्हें थर्ड-पार्टी सॉफ्टवेयर की तरह देखना चाहिए, और कंपनी में ओपन सोर्स के नियमों के अनुसार चलना चाहिए।
हमारी राय
इस पेपर की खूबी यह है कि इसने बिना सनसनी फैलाए, दोहराए जा सकने वाले प्रयोग से एक ठोस खतरा दिखाया है। फिलहाल कमज़ोर पहलू पैमाने का छोटा होना है। लेकिन संदेश सही है। एक सही-सा दिखने वाला जवाब यह साबित नहीं करता कि सिस्टम सुरक्षित है, और कई कंपनियां अब भी एजेंट्स को सिर्फ टेक्स्ट देखकर परखती हैं। ज़रूरत शब्दों की नहीं, असर की जांच की है। यह विषय AI Act के साइबर सुरक्षा दायित्वों से भी जुड़ता है।
अक्सर पूछे जाने वाले सवाल
open-weight मॉडल में बैकडोर क्या होती है?
यह एक छिपा हुआ व्यवहार है जो प्रशिक्षण के दौरान वेट में डाला जाता है। कोई खास शर्त पूरी होने तक यह निष्क्रिय रहता है। CERT-AGID के परीक्षण में यह शर्त एक सटीक नाम वाला MCP सर्वर थी।
क्या परीक्षण वाला मॉडल खतरनाक है?
यह मॉडल शोधकर्ताओं ने इसी तंत्र को दिखाने के लिए खास तौर पर प्रशिक्षित किया था। स्रोत से यह नहीं पता चलता कि कोई दुर्भावनापूर्ण मॉडल व्यापक रूप से मौजूद है। पेपर का मकसद यह दिखाना है कि ऐसा तकनीकी रूप से संभव है।
शुरुआती परीक्षणों में यह क्यों नहीं मिलती?
क्योंकि ट्रिगर सर्वर के बिना मॉडल सामान्य व्यवहार करता है। बैकअप वाले संस्करण जैसे बहुत मिलते-जुलते नाम भी कुछ सक्रिय नहीं करते। इसलिए परीक्षण में सर्वर के नाम और उपलब्ध टूल्स बदलकर देखने चाहिए।
क्या इसे चालू करने के लिए वेट अपडेट करने होंगे?
नहीं। AgID के अनुसार, संबंधित टूल जुड़ते ही बैकडोर चालू हो जाती है, और इसके लिए वेट में कोई अपडेट नहीं चाहिए।
मैं खुद को कैसे सुरक्षित रखूं?
एजेंट्स की अनुमतियां और नेटवर्क कनेक्शन सीमित रखें। कार्रवाइयों के लॉग जांचें और संवेदनशील कामों के लिए मानव स्वीकृति लें। ये CERT-AGID द्वारा दिए गए सुझाव हैं।
MCP टूल्स वाले एजेंट्स पर आने वाले महीनों में क्या देखें
यह पेपर किसी मामले को बंद करने से ज़्यादा जांच का नया रास्ता खोलता है। यह देखना उपयोगी होगा कि प्रैक्टिस और दिशानिर्देश कैसे बदलते हैं।
- देखें कि बड़े मॉडलों और सर्वर नाम से अलग ट्रिगर पर परीक्षण आते हैं या नहीं।
- डाउनलोड किए गए मॉडलों और एडाप्टर्स की सूची रखें, जिसमें स्रोत और तारीख दर्ज हो, जैसे हर दूसरी निर्भरता के साथ किया जाता है।
- CERT-AGID के सुरक्षा सेक्शन में आने वाले नए पेपर पढ़ें और उनकी तुलना अपने एजेंट्स के परीक्षण के तरीके से करें।
