Юрфирмы и любые владельцы сайтов теперь могут запретить OpenAI, Google, Microsoft и Anthropic использовать содержимое сайта для обучения моделей одним токеном в robots.txt - вместо того чтобы настраивать каждого вендора отдельно. Для фирм, которые публикуют комментарии по клиентским темам или юрисдикционно чувствительные материалы, это одна строчка на уровне управления, покрывающая всех четырех крупных провайдеров сразу.
По данным The Verge, общий сигнал предложен через IETF руководителем направления стандартов из Anthropic и живет внутри файла robots.txt. Anthropic уже уважает его, Google и Microsoft планируют с 2027 года, OpenAI говорит про "ближайшие месяцы". Meta поддержала идею, но не обязалась ее исполнять. Microsoft добавляет гранулярность: можно отказаться от обучения отдельно от AI grounding, сохранив видимость в поиске Bing.
Что это меняет для малого бизнеса
Если у вас есть что-то публичное - база знаний, каталог, разборы законов, кейсы - и вы не хотите, чтобы это ушло в будущие модели, вы правите один файл, а не четыре формы у разных вендоров. Для юрфирмы, у которой внутри работает контур анализа юридических архивов, это закрывает одну щель на периметре: публичные тексты становятся управляемыми, а архив договоров и так остается внутри вашего контура, где ему и место. Ограничение: сигнал добровольный, мелкие и не подписавшиеся краулеры его проигнорируют, так что блокировки уровня Cloudflare никто не отменял.
Почему это важно: Управление публичным контентом у четырех крупнейших ИИ-лабораторий стало правкой robots.txt на пять минут - добавьте это в чек-лист комплаенса на этой неделе.
Источник: The Verge