Skip to content
Новость Nieman Lab нояб. 2026 г.

Anthropic, OpenAI, Google и Microsoft поддержат единый сигнал robots.txt для отказа от AI-скрапинга

2 ноября 2026 года Nieman Lab сообщил, что Anthropic, OpenAI, Google и Microsoft договорились поддержать единый сигнал robots.txt, с помощью которого издатели смогут отказываться от сбора данных для обучения AI — сразу для всех четырёх компаний, не блокируя каждый краулер по отдельности.

Сигнал был предложен в качестве черновика IETF (Internet Engineering Task Force) инженером Anthropic Кевином Келли. Anthropic уже его поддерживает. OpenAI заявляет, что сделает это «в ближайшие месяцы». Google и Microsoft обещают последовать в следующем году.

Почему это важно для издателей

Нынешняя ситуация требует, чтобы издатели блокировали краулер каждой AI-компании по имени, один за другим. По мере роста числа AI-компаний и их краулеров такой подход становится всё сложнее поддерживать. Единый сигнал снижает эту нагрузку: издатель указывает одно предпочтение, и как только все четыре компании начнут его соблюдать, оно автоматически распространяется на их краулеры.

Объявление последовало за периодом публичного давления на Meta, которая предложила коммерческие условия, которые, по мнению юристов, допускали широкий сбор контента с бизнес-аккаунтов. Meta согласилась отложить введение условий и пообещала проконсультироваться с издателями перед их финализацией. Вице-президент по коммуникациям Meta назвал единый сигнал отказа «важным шагом», хотя сама Meta не вошла в число четырёх компаний, поддержавших его 2 ноября.

Контекст

Стандарт robots.txt не разрабатывался для управления сбором данных для обучения AI. Существующие директивы блокируют краулеров для поисковой индексации, но издатели приспосабливают их для управления доступом AI с помощью имеющихся инструментов. Формально специфицированный сигнал отказа для AI-сбора данных был бы более чётким и долгосрочным инструментом — если компании, взявшие на себя обязательства, выполнят их в указанные сроки и если отрасль в целом примет этот стандарт.

Для издателей это сигнал, за которым стоит следить, а не решённый вопрос.