Ing. Calogero Bono
OpenAI, Google, Microsoft e Anthropic anunciaram que vão respeitar um sinal comum no arquivo robots.txt, com o qual um site declara se seu conteúdo pode servir para treinar a IA generativa. Até agora era preciso indicar cada crawler e escrever regras separadas para cada fornecedor. A Anthropic já oferece suporte, os outros chegam nos próximos meses ou em 2027. Para quem administra um site empresarial, é uma simplificação, com limites bem definidos.
Alguns termos, antes de entrarmos nos fatos. robots.txt é o arquivo em que um site indica aos programas automáticos o que podem visitar. Um crawler é o programa que percorre as páginas para coletá-las. O scraping é a coleta automática de conteúdos. A IETF é o órgão que define os padrões da internet. O user agent é o nome com que um crawler se apresenta ao site.
O que prevê o novo sinal no robots.txt?
Segundo a OpenAI, trata-se de um esforço voluntário que permite a editores e administradores comunicar a mesma preferência a vários fornecedores ao mesmo tempo. Antes, era preciso identificar cada crawler individualmente e manter regras distintas para cada um.
A proposta é de Kevin Kelley, responsável técnico por padrões na Anthropic, e está em discussão na IETF, como relata o The Verge. O sinal fica dentro do robots.txt, já usado há tempos para indicar quais crawlers podem visitar um site.
Como se escreve a regra?
Segundo a Engadget, o administrador acrescenta um user agent dedicado ao treinamento de IA. O exemplo relatado é este.
- User-Agent __usage_ai-training
- Disallow /
- Allow /press-kit/
A linha Allow permite deixar abertas partes específicas, por exemplo uma pasta de imprensa. O bloqueio se aplica aos crawlers pensados para coletar dados de treinamento.
Quando estará ativo em cada empresa?
A Anthropic já começou a oferecer suporte à diretiva. A Microsoft, segundo a Engadget, começará em 1º de fevereiro de 2027, enquanto o Google indica o início de 2027. A OpenAI fala em «próximos meses» e promete uma nova atualização com os detalhes.
A Meta, pela voz do responsável de comunicação Andy Stone, manifestou apoio ao sinal comum, mas não diz se vai respeitá-lo. Para quem compara os dois fornecedores mais conhecidos, já escrevemos sobre Claude e OpenAI.
O sinal bloqueia também a pesquisa ou as cópias já feitas?
Não. Segundo a Engadget, a nova seção não impede o crawling em geral nem a aparição dos conteúdos na pesquisa do Google. O Google a interpretará como uma parada para o user agent Google-Extended, que coleta materiais para treinar os modelos Gemini.
Além disso, não apaga o passado. Se uma página já foi coletada, o conteúdo já está em posse da empresa. A Microsoft, segundo o The Verge, oferecerá controles distintos para treinamento e para o grounding, ou seja, a ligação do modelo a fontes verificadas, e os sites continuarão nos resultados do Bing.
O contexto é a pressão dos crawlers sobre os editores. O The Verge cita o padrão Really Simple Licensing e o bloqueio padrão dos crawlers de IA pela Cloudflare. Quem quiser entender como trabalham os bots pode ler IA para web scraping.
Limites a conhecer
O sinal é voluntário. As fontes relatam compromissos das empresas, não verificações independentes sobre o cumprimento da regra. O padrão ainda está em discussão na IETF e a OpenAI prometeu os detalhes só mais adiante. Não está claro se a Meta vai adotá-lo, nem como vão reagir os crawlers de empresas que não aderiram. As datas da Google e da Microsoft continuam em 2027.
O que muda para quem trabalha com o digital
Se você tem um site empresarial, um blog ou uma loja online, poderá decidir em um único ponto se seus textos podem servir para treinar a IA. Quem cuida de conteúdo para ganhar posicionamento, como no guest posting, precisará avaliar se abre ou fecha o acesso. Quem produz textos com IA tem, por sua vez, obrigações de transparência, como explicamos no artigo 50 do AI Act. As regras atuais para crawlers individuais continuam valendo.
Nossa opinião
O sinal único é uma boa notícia prática, porque reduz um trabalho de manutenção que pesava sobre os sites pequenos. Mas continua sendo um mecanismo de boa vontade, sem controles externos. O fato de Google e Microsoft só chegarem em 2027 deixa um longo período em que as regras separadas continuam necessárias. E quem já publicou seus conteúdos não recupera nada. Avaliamos como um passo útil, não como uma proteção completa.
Perguntas frequentes
O novo sinal no robots.txt é obrigatório?
Não, é voluntário. As empresas se comprometeram a respeitá-lo, mas o padrão ainda está em discussão na IETF.
Bloquear o treinamento faz o site sumir do Google?
Não. Segundo a Engadget, a diretiva não impede que o site apareça na pesquisa do Google. Para o Google, vale como uma parada do Google-Extended.
Apaga os conteúdos já coletados?
Não. Vale apenas para as coletas futuras. Se uma página já foi capturada, a empresa já tem o conteúdo.
Quando vai funcionar com Google e Microsoft?
Em 2027. A Microsoft indica 1º de fevereiro de 2027, o Google o início do ano. A Anthropic já oferece suporte, a OpenAI fala em próximos meses.
Preciso mudar as regras que já tenho?
Não. A OpenAI esclarece que os controles atuais continuam válidos e respeitados. O novo sinal se soma a eles, não os substitui.
As datas a acompanhar antes de mexer no robots.txt
O sinal se torna útil quando os fornecedores realmente o ativam. Por enquanto, convém esperar os detalhes e preparar o terreno.
- Verifique o robots.txt atual e anote quais crawlers de IA você já bloqueou, para saber o que o novo sinal substituirá na prática.
- Acompanhe a atualização prometida pela OpenAI sobre a implementação e as datas da Google e da Microsoft em 2027.
- Decida antecipadamente quais seções do site deixar abertas, por exemplo a pasta de imprensa, e quais proteger.
