Ing. Calogero Bono
OpenAI, Google, Microsoft и Anthropic объявили, что будут учитывать общий сигнал в файле robots.txt, с помощью которого сайт заявляет, могут ли его материалы использоваться для обучения генеративного ИИ. До сих пор нужно было указывать каждый краулер и писать отдельные правила для каждого провайдера. Anthropic уже поддерживает такой сигнал, остальные подключатся в ближайшие месяцы или в 2027 году. Для тех, кто ведёт корпоративный сайт, это упрощение, но с чёткими ограничениями.
Несколько терминов, прежде чем перейти к фактам. robots.txt — файл, в котором сайт указывает автоматическим программам, что они могут посещать. Краулер — программа, которая обходит страницы, чтобы их собрать. Скрепинг — автоматический сбор контента. IETF — организация, которая разрабатывает стандарты интернета. User agent — имя, под которым краулер представляется сайту.
Что предусматривает новый сигнал в robots.txt?
По данным OpenAI, это добровольное усилие, которое позволяет издателям и владельцам сайтов сообщать одно и то же предпочтение сразу нескольким провайдерам. Раньше приходилось идентифицировать отдельные краулеры и вести отдельные правила для каждого.
Предложение принадлежит Кевину Келли, техническому руководителю по стандартам в Anthropic, и обсуждается в IETF, как сообщает The Verge. Сигнал находится внутри robots.txt, который уже давно используется, чтобы указать, какие краулеры могут посещать сайт.
Как написать правило?
По данным Engadget, владелец сайта добавляет user agent, предназначенный для обучения ИИ. Приведённый пример выглядит так.
- User-Agent __usage_ai-training
- Disallow /
- Allow /press-kit/
Строка Allow позволяет оставить открытыми отдельные части, например папку для прессы. Блокировка касается краулеров, созданных для сбора обучающих данных.
Когда он заработает у каждой компании?
Anthropic уже начала поддерживать директиву. Microsoft, по данным Engadget, начнёт 1 февраля 2027 года, а Google указывает начало 2027 года. OpenAI говорит о «ближайших месяцах» и обещает новое обновление с подробностями.
Meta, в лице руководителя по коммуникациям Энди Стоуна, выразила поддержку общему сигналу, но не говорит, будет ли его соблюдать. Тем, кто сравнивает двух самых известных провайдеров, мы уже писали о Claude и OpenAI.
Блокирует ли сигнал поиск или уже сделанные копии?
Нет. По данным Engadget, новый раздел не препятствует обходу в целом и появлению контента в поиске Google. Google будет трактовать его как остановку для user agent Google-Extended, который собирает материалы для обучения моделей Gemini.
Кроме того, он не отменяет прошлое. Если страница уже собрана, контент уже у компании. Microsoft, по данным The Verge, предложит отдельные элементы управления для обучения и для grounding, то есть привязки модели к проверенным источникам, а сайты в любом случае останутся в результатах Bing.
Контекст — давление краулеров на издателей. The Verge упоминает стандарт Really Simple Licensing и блокировку ИИ-краулеров по умолчанию со стороны Cloudflare. Тем, кто хочет понять, как работают боты, стоит прочитать ИИ для веб-скрепинга.
Ограничения, которые стоит знать
Сигнал добровольный. В источниках говорится о обязательствах компаний, а не о независимой проверке соблюдения правила. Стандарт всё ещё обсуждается в IETF, а OpenAI обещала подробности только позже. Неизвестно, присоединится ли Meta и как будут вести себя краулеры компаний, которые не участвуют. Сроки Google и Microsoft остаются на 2027 год.
Что изменится для тех, кто работает в digital
Если у тебя корпоративный сайт, блог или интернет-магазин, ты сможешь в одном месте решить, могут ли твои тексты использоваться для обучения ИИ. Тем, кто занимается контентом ради продвижения, как в гостевом постинге, придётся взвесить, открывать ли доступ. Тем, кто создаёт тексты с помощью ИИ, действуют обязательства прозрачности, о которых мы рассказываем в статье про статью 50 Закона об ИИ. Нынешние правила для отдельных краулеров остаются в силе.
Наше мнение
Единый сигнал — хорошая практическая новость, потому что снижает объём работы по поддержке, который тяготил небольшие сайты. Но это механизм доброй воли, без внешнего контроля. То, что Google и Microsoft подключатся только в 2027 году, оставляет длительный период, когда отдельные правила по-прежнему нужны. А те, кто уже опубликовал материалы, ничего не вернут. Мы считаем это полезным шагом, но не полной защитой.
Частые вопросы
Новый сигнал в robots.txt обязателен?
Нет, он добровольный. Компании обязались его соблюдать, но стандарт ещё обсуждается в IETF.
Запрет обучения убирает сайт из поиска Google?
Нет. По данным Engadget, директива не мешает появлению сайта в поиске Google. Для Google это остановка для Google-Extended.
Удаляются ли уже собранные материалы?
Нет. Действие касается только будущих сборов. Если страница уже получена, компания уже имеет её содержимое.
Когда это заработает с Google и Microsoft?
В 2027 году. Microsoft называет 1 февраля 2027 года, Google — начало года. Anthropic уже поддерживает сигнал, OpenAI говорит о ближайших месяцах.
Нужно ли менять уже имеющиеся правила?
Нет. OpenAI уточняет, что текущие ограничения остаются в силе и соблюдаются. Новый сигнал добавляется, а не заменяет их.
Даты, за которыми стоит следить, прежде чем трогать robots.txt
Сигнал становится полезным, когда провайдеры действительно его включают. Пока лучше дождаться подробностей и подготовиться.
- Проверь текущий robots.txt и отметь, каких краулеров ИИ ты уже заблокировал, чтобы понимать, что новый сигнал фактически заменит.
- Следи за обещанным OpenAI обновлением о внедрении и за сроками Google и Microsoft в 2027 году.
- Заранее реши, какие разделы сайта оставить открытыми, например пресс-папку, а какие защитить.
