Ing. Calogero Bono
CERT-AGIDは、オープンウェイトモデルのバックドアと、エージェント型システムへの影響に関する新しい論文を公表しました。描かれているケースは分かりやすいものです。アシスタントに「空が青いのはなぜですか」と尋ねると正しい答えが返ってきます。しかしその裏で、システムは誰も頼んでいない外部サイトへのリクエストを行っています。AIエージェントを統合する人は、テキストの回答だけをチェックしていると危険を見逃してしまうのです。
用語を確認してから事実に入ります。 オープンウェイトは、学習で得られたパラメータである重みをダウンロードできるモデルを指します。バックドアは、ある条件が満たされるまで休眠している隠れた動作のことです。LoRAは、モデルにアダプターを追加する軽量な学習手法です。MCPはModel Context Protocolの略で、モデルが外部ツールにアクセスする仕組みを指します。トリガーはバックドアを起動させる要素で、ここではサーバーの名前がそれにあたります。
CERT-AGIDは何を示したのか
論文のタイトルは「La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP」です。AgIDが公表したニュースによると、研究者はLoRAアダプターを使い、モデルに追加の動作を学習させました。
利用可能なツールの中に正確な名前のMCPサーバーが現れると、モデルは既定のURLへのネットワーク呼び出しを生成します。ユーザーの質問が何であっても、それが行われます。
条件付きバックドアはどのように動くのか
この動作は、環境に特定の要素が現れるまで休眠しています。起動用のサーバーがない場合や、バックアップ版のように非常に似ていても名前が異なる場合には、リクエストは一切発生しません。
そのため気づきにくいのです。正しいサーバーを含まないテストでは、モデルは完全に正常に見えます。
実験はどのように行われたか
CERT-AGIDは、オープンウェイトモデルのQwen3-1.7Bと実際のMCPサーバーを使用しました。学習は、テキストの回答生成と、ツール呼び出しの方針とを分けて行われています。
機関によれば、結果として呼び出しは指定したサーバーがある時にだけ確実に起動し、ステータス200の実際のHTTPリクエストを生成しました。サーバーがない場合や名前が中立的な場合には何も起きません。
AIのサプライチェーンにとってなぜリスクなのか
Hugging Faceのような公開プラットフォームで公開されたモデルやアダプターは、トリガーとなるサーバーがない隔離環境では初期テストを通過することがあります。その後、対応するツールが接続された時点で、重みを更新することなく起動してしまいます。
これはCursorのSSHバックドア付き拡張機能で見られたものと同じ信頼の裏切りの構図です。ただし今回の隠れたコードは、パッケージではなく重みの中にあります。
知っておくべき制約
今回の検証は、研究者が選んだトリガーを用いた、17億パラメータという小規模なモデルで行われたものです。同様の手法がより大きなモデルでも同じように機能するかどうかは、出典では触れられていません。また、実際に流通している悪意のあるアダプターが存在するかどうかも分かっていません。普及の実態に関する推定もありません。技術的な詳細をすべて知るには、AgIDが自サイトで案内している論文の全文を読む必要があります。
デジタル分野で働く人にとっての変化
MCPツールを備えたエージェントを統合しているなら、チャットの挙動を確認するだけでは不十分です。AgIDは3つの対策を挙げています。ツールを経由したアクションのログを監視すること。サーバー名や利用可能性を変えながら、隔離された環境でモデルをテストすること。そして、権限の制限、ネットワーク制限、人による事前承認といった外部のガードレールを適用することです。公開リポジトリからダウンロードしたモデルは、サードパーティ製のソフトウェアとして扱い、企業におけるオープンソースの規則に従うべきでしょう。
私たちの見解
この論文の長所は、再現可能な実験によって現実的なリスクを示し、過度に騒ぎ立てていない点です。現時点での弱点は規模の小ささです。ただ、伝えているメッセージは妥当です。もっともらしい回答が返ってくるからといって、システムが安全だとは証明されません。多くの企業は今もエージェントをテキストだけで検証しています。必要なのは言葉ではなく、動作の結果に対するチェックです。このテーマはAI Actのサイバーセキュリティに関する義務とも関わってきます。
よくある質問
オープンウェイトモデルのバックドアとは何ですか。
学習によって重みに埋め込まれた隠れた動作のことです。特定の条件が現れるまで動作しません。CERT-AGIDの検証では、その条件は正確な名前を持つMCPサーバーでした。
検証で使われたモデルは危険なものですか。
そのモデルは、仕組みを示すために研究者が意図的に学習させたものです。出典によれば、悪意のあるモデルが広く出回っているという記述はありません。論文の目的は、この手法が技術的に可能であることを示すことにあります。
なぜ初期のテストでは見つからないのですか。
トリガーとなるサーバーがない限り、モデルは通常どおりに動作するからです。バックアップ版のような非常に似た名前でも、何も起動しません。そのため、テストではサーバー名や利用可能なツールを変えて確認する必要があります。
起動させるために重みを更新する必要はありますか。
いいえ。AgIDによれば、対応するツールが接続された時点で、重みを更新することなくバックドアが起動します。
どのように身を守ればよいですか。
エージェントの権限とネットワーク接続を制限してください。アクションのログを確認し、機密性の高い操作には人の承認を求めてください。これらはCERT-AGIDが示している指針です。
MCPツールを使うエージェントについて、今後数か月に注目すべき点
この論文は一つの事例を締めくくるというより、検証の新たな道筋を示すものです。実務やガイドラインがどう変わっていくかを追っておく価値があります。
- より大規模なモデルや、サーバー名以外のトリガーを対象としたテストが公表されるかを確認してください。
- 依存関係と同じように、ダウンロードしたモデルやアダプターの出所と日付を記録してください。
- CERT-AGIDのセキュリティ分野の今後の論文を読み、自社のエージェント検証の方法と比べてみてください。
