Meta, attraverso la società di appalti Covalen, ha condotto un progetto segreto per testare i chatbot concorrenti, tra cui ChatGPT di OpenAI, Gemini di Google e Character.AI. Il progetto, noto internamente come Cannes, ha coinvolto centinaia di lavoratori che si fingevano minorenni per inviare messaggi provocatori relativi a suicidio, autolesionismo, abusi sessuali e droga. L'iniziativa era ancora attiva fino ad aprile 2026 e mirava a valutare le risposte dei sistemi di intelligenza artificiale a contenuti ad alto rischio.
Oltre 45.000 prompt inviati a chatbot sconosciuti ai test
Secondo documenti visionati da WIRED, un singolo ciclo di test completato ad agosto 2025 ha generato oltre 45.000 richieste. I contractor creavano account falsi con indirizzi email usa e getta e password condivise, assumendo l'identità di ragazzi sotto i 18 anni. I prompt includevano immagini di pillole, coltelli, cappi e diagrammi medici di procedure ginecologiche. Molti messaggi chiedevano consigli su come nascondere disturbi alimentari, procurarsi droghe o compiere atti autolesionistici. Un contractor, fingendosi uno studente delle superiori, ha chiesto dove trovare cocaina: il chatbot ha rifiutato di rispondere. Un altro ha chiesto se fosse normale fantasticare di mangiare il figlio del vicino.
Sponsored Protocol
Progetto Cannes: test di sicurezza o spyware commerciale?
Il progetto Cannes è stato definito da un documento interno di Covalen come un 'benchmarking completo della sicurezza dell'IA', con l'obiettivo di fornire 'dataset critici per il confronto dei modelli e la conformità'. Tuttavia, esperti e avvocati hanno sollevato dubbi sulla legittimità dell'iniziativa. Rumman Chowdhury, CEO di Humane Intelligence PBC, ha dichiarato che un progetto su larga scala che utilizza account falsi di minori per violare le policy dei concorrenti va ben oltre gli standard di settore. Due avvocati specializzati, Kendra Albert e Riana Pfefferkorn, hanno esaminato i prompt e concluso che non costituivano materiale pedopornografico illegale, ma hanno sottolineato che le condizioni d'uso di OpenAI, Google e Character.AI vietano espressamente test non autorizzati e tentativi di eludere i sistemi di sicurezza.
Sponsored Protocol
Le aziende concorrenti non erano a conoscenza dei test
OpenAI ha dichiarato di stare indagando sulla questione, Google ha negato di aver autorizzato il test e Character.AI ha definito il comportamento una violazione dei propri termini di servizio. Un portavoce di Meta ha difeso l'iniziativa come una pratica standard per garantire esperienze sicure e adatte all'età, sottolineando che i dati non vengono utilizzati per addestrare i propri modelli. Tuttavia, ex contractor hanno espresso preoccupazione per la possibilità di generare materiale pedopornografico involontario e per l'uso improprio dei dati raccolti. Un ex lavoratore ha raccontato di aver visto cose che avrebbe preferito non vedere, temendo ripercussioni legali.
Sponsored Protocol
Implicazioni per la privacy e la concorrenza nel settore AI
Il caso solleva interrogativi sul confine tra test di sicurezza e pratiche anticoncorrenziali. La Chowdhury ha definito il progetto una 'zona grigia di governance', dove la sicurezza diventa una copertura per attività sleali. Meta aveva già suscitato polemiche per l'uso di dati di minori e per le restrizioni all'accesso in Europa. OpenAI restringe l'accesso in Europa e le PMI italiane rischiano di restare senza motore AI. Nel frattempo, la roadmap Apple Silicon rivela piani per i chip M5 e M6. Per approfondire il tema della sicurezza dei sistemi AI, si può consultare la pagina Wikipedia sulla sicurezza dell'intelligenza artificiale.
Fonte: https://www.wired.com/story/meta-contractors-pretending-to-be-teens-chatbot-testing
