Ing. Calogero Bono
CERT-AGID baru saja menerbitkan makalah tentang backdoor di model open-weight dan dampaknya bagi sistem agentik. Kasusnya mudah diceritakan. Kamu bertanya kepada asisten mengapa langit berwarna biru, lalu mendapat jawaban yang benar, tetapi di saat yang sama sistem mengirim permintaan ke situs eksternal yang tidak pernah kamu minta. Ini penting karena siapa pun yang mengintegrasikan agen AI berisiko hanya memeriksa jawaban teksnya saja.
Beberapa istilah, sebelum masuk ke fakta. Open-weight adalah model yang bobotnya, yaitu parameter hasil pembelajaran, dapat diunduh. Backdoor adalah perilaku tersembunyi yang tetap diam sampai suatu kondisi terpenuhi. LoRA adalah teknik pelatihan ringan yang menambahkan adapter ke model. MCP adalah singkatan dari Model Context Protocol, cara model mengakses alat eksternal. Trigger adalah elemen yang menyalakan backdoor, dalam kasus ini nama sebuah server.
Apa yang dibuktikan CERT-AGID?
Makalah ini berjudul «La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP». Menurut berita yang diterbitkan AgID, para peneliti menggunakan adapter LoRA untuk mengajarkan model sebuah perilaku tambahan.
Ketika di antara alat yang tersedia muncul server MCP dengan nama yang persis sama, model menghasilkan panggilan jaringan ke URL yang telah ditentukan. Ini terjadi apa pun pertanyaan penggunanya.
Bagaimana cara kerja backdoor bersyarat?
Perilaku itu tetap diam sampai lingkungan menampilkan elemen spesifik. Jika server pemicu tidak ada, atau namanya berbeda, bahkan yang sangat mirip seperti versi cadangan, tidak ada permintaan yang dikirim.
Inilah sebabnya mengapa hal ini sulit disadari. Pengujian yang tidak menyertakan server yang tepat akan melihat model yang sepenuhnya normal.
Bagaimana eksperimen itu dilakukan?
CERT-AGID menggunakan model open-weight, Qwen3-1.7B, dan sebuah server MCP sungguhan. Pelatihannya dipisahkan antara pembuatan jawaban teks dan kebijakan pemanggilan alat.
Hasilnya, menurut lembaga tersebut, panggilan itu hanya aktif secara konsisten dengan server yang ditetapkan dan menghasilkan permintaan HTTP sungguhan dengan respons 200. Tanpa server atau dengan nama netral, tidak terjadi apa-apa.
Mengapa ini menjadi risiko bagi rantai pasok AI?
Model atau adapter yang dipublikasikan di platform publik seperti Hugging Face dapat lolos pengujian awal di lingkungan terisolasi, selama server pemicunya tidak ada. Lalu ia aktif begitu alat yang sesuai dihubungkan, tanpa pembaruan bobot apa pun.
Ini pola kepercayaan yang dilanggar sama seperti yang terlihat pada ekstensi Cursor dengan backdoor SSH, meski di sini kode tersembunyinya berada di dalam bobot, bukan di dalam paket.
Batasan yang perlu kamu ketahui
Pengujian ini menggunakan model kecil berukuran 1,7 miliar parameter dan trigger yang dipilih oleh para peneliti. Sumbernya tidak menyebutkan apakah teknik serupa semudah itu diterapkan pada model yang lebih besar, atau apakah sudah ada adapter berbahaya yang beredar. Tidak ada estimasi penyebaran di dunia nyata. Untuk detail teknis lengkap, kamu perlu membaca makalah aslinya, yang oleh AgID ditautkan ke situs mereka.
Apa yang berubah bagi kamu yang bekerja di bidang digital
Jika kamu mengintegrasikan agen dengan alat MCP, menguji obrolannya saja tidak cukup. AgID memberikan tiga langkah. Pantau log tindakan yang melewati alat. Uji model di lingkungan terisolasi dengan memvariasikan nama dan ketersediaan server. Terapkan pengaman eksternal seperti izin terbatas, pembatasan jaringan, dan persetujuan manusia sebelumnya. Jika kamu memakai model yang diunduh dari repositori publik, perlakukan sebagai perangkat lunak pihak ketiga, mengikuti aturan open source di perusahaan.
Pendapat kami
Kekuatan makalah ini adalah menunjukkan risiko nyata lewat eksperimen yang dapat direproduksi, tanpa membuat panik. Kelemahannya, untuk saat ini, adalah skala yang kecil. Tetapi pesannya tetap kuat. Jawaban yang terdengar masuk akal tidak membuktikan sistem itu aman, dan banyak perusahaan masih menguji agen hanya dengan melihat teksnya. Yang dibutuhkan adalah pengendalian atas dampaknya, bukan hanya atas kata-katanya. Topik ini juga berkaitan dengan kewajiban AI Act tentang keamanan siber.
Pertanyaan yang sering diajukan
Apa itu backdoor pada model open-weight?
Itu adalah perilaku tersembunyi yang disisipkan ke dalam bobot lewat pelatihan. Perilaku ini tetap diam sampai muncul kondisi tertentu. Dalam pengujian CERT-AGID, kondisinya adalah server MCP dengan nama yang persis sama.
Apakah model yang diuji itu berbahaya?
Model tersebut sengaja dilatih oleh para peneliti untuk memperlihatkan mekanismenya. Sumbernya tidak menyebutkan adanya model berbahaya yang sudah beredar. Makalah ini bertujuan menunjukkan bahwa hal tersebut secara teknis mungkin.
Mengapa pengujian awal tidak menemukannya?
Karena tanpa server pemicu, model berperilaku normal. Bahkan nama yang sangat mirip, seperti versi cadangan, tidak mengaktifkan apa pun. Karena itu, pengujian harus memvariasikan nama dan alat yang tersedia.
Apakah perlu memperbarui bobot agar backdoor aktif?
Tidak. Menurut AgID, backdoor aktif begitu alat yang sesuai dihubungkan, tanpa pembaruan bobot apa pun.
Bagaimana cara melindungi diri?
Batasi izin agen dan koneksi jaringannya. Periksa log tindakan dan minta persetujuan manusia untuk operasi sensitif. Ini adalah rekomendasi yang diberikan CERT-AGID.
Hal yang perlu dipantau tentang agen dengan alat MCP dalam beberapa bulan ke depan
Makalah ini membuka jalan untuk verifikasi lebih dari sekadar menutup satu kasus. Layak untuk terus mengikuti bagaimana praktik dan pedoman berubah.
- Perhatikan apakah akan ada pengujian pada model yang lebih besar dan pada trigger selain nama server.
- Simpan daftar model dan adapter yang kamu unduh, lengkap dengan sumber dan tanggalnya, seperti halnya dependensi lain.
- Baca makalah berikutnya di bagian Keamanan CERT-AGID dan bandingkan dengan cara kamu menguji agen.
