Cloudflare ha annunciato una svolta epocale per il rapporto tra intelligenza artificiale e editoria online. A partire dal 15 settembre 2026, la piattaforma di sicurezza e performance web bloccherà per impostazione predefinita i cosiddetti "crawler misti", ovvero i bot che combinano funzioni di ricerca tradizionale, agenti AI e addestramento dei modelli. La misura colpisce direttamente i siti che ospitano pubblicità, a meno che i proprietari non modifichino le impostazioni per consentire l'accesso. La mossa, annunciata mercoledì 1 luglio 2026, rappresenta un tentativo di creare un ecosistema sostenibile in cui i contenuti degli editori siano adeguatamente remunerati.
La scadenza del 15 settembre 2026 per i crawler misti
Secondo Cloudflare, la maggior parte dei proprietari di siti web desidera che i propri contenuti siano indicizzati dai motori di ricerca e accessibili ai servizi AI, ma vuole anche proteggersi dall'uso gratuito della propria proprietà intellettuale. Il nuovo default bloccherà i crawler che mescolano ricerca, agenti e training sui siti con annunci, a meno che l'editore non scelga attivamente di autorizzarli. La modifica si applicherà a tutti i nuovi clienti Cloudflare, ai nuovi siti dei clienti esistenti e a tutti i clienti del piano gratuito. Questo potrebbe limitare l'accesso delle aziende AI ai dati web per l'addestramento e per alimentare i servizi agentici.
Sponsored Protocol
Il ruolo di Google e la risposta di Cloudflare
Cloudflare ha puntato il dito contro il "più grande motore di ricerca al mondo", riferendosi a Google, sostenendo che il colosso di Mountain View dispone di circa il doppio delle informazioni rispetto ad altre aziende AI. Questo perché Google rende difficile per i clienti rimanere scopribili senza essere utilizzati per l'AI. Google ha respinto le critiche, sottolineando di offrire un bot chiamato Google Extended che consente agli editori di scegliere di non far usare i propri contenuti per l'addestramento e i prodotti AI. Tuttavia, il Googlebot principale continua a scansionare i siti per la Ricerca, comprese le funzionalità AI come AI Overviews e AI Mode. Cloudflare ha citato il recente traguardo in cui i bot hanno superato il traffico umano online per la prima volta, affermando che è necessario agire rapidamente.
Sponsored Protocol
Pay Per Use: come funzionano le partnership con Ceramic.ai e You.com
Per favorire un modello sostenibile, Cloudflare ha introdotto il "Pay Per Use", evoluzione del precedente "Pay Per Crawl". In pratica, gli editori potranno far pagare le aziende AI quando i loro contenuti generano valore, non solo quando vengono scaricati. I primi partner sono Ceramic.ai e You.com. Quando un editore aderisce, viene pagato quando i suoi contenuti appaiono nei risultati di ricerca AI di Ceramic o quando You.com accede a un contenuto premium. Cloudflare ha dichiarato che altre aziende AI potranno personalizzare questo modello. Inoltre, la società stima che oltre il 50% del traffico di crawl dai bot AI sia speso per richiedere pagine non modificate, uno spreco di larghezza di banda che questa politica potrebbe ridurre.
Sponsored Protocol
La decisione di Cloudflare si inserisce in un contesto normativo in evoluzione. Ad esempio, Anthropic ha recentemente rivisto le sue policy di sicurezza per adattarsi alle richieste dell'amministrazione Trump, suscitando dibattiti in Europa. Parallelamente, Google ha rilasciato Android 17 QPR1 Beta 6, dimostrando l'attenzione del gigante tecnologico verso le API finalizzate. Per approfondire il tema del controllo dei contenuti nell'era AI, si può consultare la pagina Wikipedia di Cloudflare.
