Объяснение одного robots.txt правила, чтобы отказаться от обучения ИИ

30 октября 2026 года четыре крупнейшие лаборатории ИИ сделали нечто необычное: они согласились на одно и то же правило. OpenAI, Google, Microsoft и Anthropic заявили, что будут соблюдать один общий токен robots.txt — обучение поИИ, который позволяет сайту отказаться от обучения ИИ в один шаг. До сих пор издатель, желавший выйти из этого, должен был блокировать краунер каждой компании по названию: GPTBot, Google-Extended, ClaudeBot и растущий список других. Это объявление сводит эту задачу к одной записи.

Загвоздка кроется в тайминге и мелком шрифте. Только Anthropic сообщает, что уже начал внедрять поддержку. Microsoft начинает работу 1 февраля 2027 года. Google ставит цель на 2027 год. OpenAI говорит «в ближайшие месяцы» без даты. Сигнал доброволен, охватывает только обучение, и ничего не делает с контентом, который уже собран или обучен. Так что это реальный шаг координации, а не мгновенное выключание.

Быстрый вердикт

Точный код

Добавьте этот блок в свой robots.txt, если хотите отказаться от обучения на всём вашем сайте:

User-Agent: __usage_ai-training
Disallow: /

Чтобы отказаться от всех папок, кроме одной папки, в черновике примера добавляется строка Разрешения:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Важны две детали. Во-первых, токен должен совпадать точно, кроме буквенного регистра. Общая группа User-Agent: * не учитывается, и если ни одна группа не называет токен, сайт не выразил предпочтения. Во-вторых, вы можете отказаться только от некоторых папок вместо всего сайта, используя Disallow на нужных вам путях.

Кто её уважает и когда

Microsoft идёт дальше. Она добавляет настройки обучения на уровне страницы и отдельную настройку заземления, которая решает, сможет ли страница подавать живые ответы ИИ в Bing, Copilot и Microsoft 365. Третий вариант, DisallowExtended, позволяет заземлять в собственных продуктах Microsoft, но не в сервисах заземления, которые она продаёт другим компаниям. Microsoft также заявляет, что страница может содержать мет-тег Bingbot, ai-training:disallow или заголовок X-Robots-Tag, который переопределяет robots.txt. Сайты, использующие старые теги Bing NoArchive и NoCache, должны перейти на новые настройки к 1 марта 2027 года, после чего старые теги перестанут читаться как обучающие или заземляющие предпочтения.

Детали Google стоит внимательно прочитать. Если вы используете общий токен для отказа и не упомянете Google-Extended, Google планирует рассматривать это как блокировку Google-Extended. Но если вы явно разрешите Google-Extended, Google заявляет, что сайт по-прежнему имеет право появляться и получать клики через заземление ответов в приложении Gemini. Другими словами, выбор отказа и выбор видимости связаны, поэтому устанавливайте оба намеренно.

Ключевые даты, учитываемые с объявления

Подсчёт дней — это простая календарная арифметика с 30 октября 2026 года, а не претензии поставщиков. Два недатированных пункта — Google и OpenAI — причина, по которой издателям не стоит рассматривать объявление как прямую трансляцию сегодня.

Что она контролирует, а что нет

Это последнее ограничение — тот, с которым издатели постоянно сталкиваются. Токен — это механизм координации, а не контроль безопасности. Он работает только с компаниями, которые решают его соблюдать, и сам проект не имеет формального статуса IETF. Это не делает его бесполезным, но означает, что нужно продолжать отслеживать соответствие по краулеру и сохранять существующие контроли до тех пор, пока общий токен не будет реализован.

Что делать теперь

Добавьте токен сейчас, это ничего не стоит. Двухстрочный блок уже опубликован, и если добавить его раньше, вы будете защищены по мере поступления поддержки, без ожидания даты запуска каждой лаборатории.

Сохраняйте свои существующие правила. Google-Extended, GPTBot, ClaudeBot и другие правила для каждой компании остаются актуальными сегодня. Не удаляйте их в пользу токена, который в основном ещё не активен.

Решайте обучение и заземление отдельно. Если вы используете продукты Microsoft, установите предпочтения по обучению и заземлению как два варианта, а не один. Если вам важна видимость приложений Gemini, решайте прямо о Google Exdended, а не позволяйте общему токене решать это по умолчанию.

Проверьте теги Bing до 1 марта 2027 года. Если ваш сайт использует NoArchive или NoCache, перейдите к новым настройкам Microsoft до этого срока.

Ожидайте последующий проект. Текущий проект истекает 3 мая 2027 года, если он не будет обновлён, а в рабочую группу входят Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation и Creative Commons. Стандарт может измениться по мере того, как участники будут высказываться, поэтому рассматривайте сегодняшнюю формулировку как отправную точку, а не как окончательный закон.

Для команд, создающих продукты на базе ИИ, урок шире, чем один robots.txt файл. Предпочтения в обучении, настройки по заземлению и видимость поиска теперь стали тремя отдельными рычагами, а их смешивание затрат на контроль данных или трафик. CodeMyPixel создает услуги по разработке агентов ИИ и помогает компаниям нанять агентство по автоматизации ИИ, чтобы внедрять ИИ в реальные рабочие процессы с ограничениями и оценкой, которых не обеспечивает сырая модель или одна линия robots.txt. Если вы взвешиваете открытые модели с закрытыми, наш анализ открытых весов Mistral Large 4 и объяснение Gemini 4 Carbon показывают, как на практике различаются доступ, лицензирование и управление.

Что выбрать

Выберите общий токен плюс свои старые правила , если хотите получить максимальное покрытие уже сегодня. Токен готовит вас к 2027 году, старые правила защищают вас сейчас.

Выбирайте отказ от обучения только если хотите, чтобы ваш контент не входил в будущий тренинг моделей, но при этом вам нужен поисковый трафик и видимость ответов ИИ. Помните, что этот токен сам по себе не блокирует ответы ИИ.

Выберите возможность отказаться от обучения и заземления на Microsoft , если вы также хотите, чтобы ваши страницы были доступны от живых ИИ-ответов в Bing, Copilot и Microsoft 365. Это отдельная настройка Microsoft, а не часть самого общего токена.

Выберите отказ от отказа, если ваш бизнес получает выгоду от ИИ-обучения, или если вы хотите оставаться подходящим для заземления и кликов по приложению Gemini, и вам комфортно использовать ваш контент для обучения. Это бизнес-выбор, а не стандарт, так что делайте это осознанно.

Что такое общий токен для отказа от обучения ИИ?

Это токен robots.txt политики, _usageai-training, анонсированный 30 октября 2026 года, который OpenAI, Google, Microsoft и Anthropic заявляют, что будут соблюдать. Владелец сайта добавляет User-Agent: _usageAI-training, а затем Disallow: / чтобы отказаться от обучения ИИ, вместо того чтобы блокировать краулер каждой компании по имени.

Останавливает ли отказ Google или Bing от индексирования моего сайта?

Нет. Токен покрывает только обучение ИИ, а не сканирование или поиск. Microsoft заявляет, что отказ от обучения не влияет на право на получение обычных результатов Bing, а в проекте указано, что токен не является директивой для поведения при обходе.

Когда же совместный токен вступает в силу?

Anthropic уже начала его внедрять. Microsoft начинает работу 1 февраля 2027 года. Google ставит цель на 2027 год без указания месяца. OpenAI заявляет, что внедрит сигнал в ближайшие месяцы без указания даты. До тех пор ваши существующие правила для каждой компании — это то, что работает сегодня.

Токен удаляет мой контент из моделей, уже обученных на нём?

Нет. Обновление robots.txt не удаляет контент, уже собранный в наборы данных или обученный в веса модели. Токен охватывает только будущие обучающие запуски.

Является ли это формальным веб-стандартом?

Нет, пока нет. Это индивидуальный интернет-проект IETF под названием «Машиночитаемый обучающий сигнал предпочтений» Кевина Келли из Anthropic, представленный рабочей группе по предпочтениям AI IETF. Трекер данных IETF отмечает, что отдельный проект не одобрен IETF и не имеет формального статуса, а срок действия он истекает 3 мая 2027 года, если не будет обновлен.

Стоит ли моему бизнесу отказаться от обучения ИИ?

Откажитесь, если для вас важнее контроль над будущим обучением, чем любое воздействие, которое может принести обучение, и сохраняйте старые правила краулера до тех пор, пока общий токен не станет активным. Оставайтесь в режиме согласия или установите явное расширенное разрешение Google, если хотите сохранить право на заземление и клики приложений Gemini. Решите вопрос о обучении и заземлении отдельно, а также ознакомьтесь с выбором, когда наступит дата Microsoft — 1 февраля 2027 года.

• robots.txt
• ai training opt-out
• openai
• google
• microsoft
• anthropic
• ai policy