Google, OpenAI и Microsoft признали право сайтов запретить AI-обучение

Robots.txt придумывали для служебных папок. Теперь в тот же файл вписывают вопрос, который решает судьбу контента: можно ли брать этот текст для обучения модели. Google, OpenAI и Microsoft 30 октября согласились отвечать на него одинаково.

Что именно решили

Формально — ничего не выпустили. Три компании заявили, что поддержат общий механизм: владелец сайта одной строкой в robots.txt говорит, разрешает он обучение или нет. Спецификацию обсуждают в IETF, то есть это не внутренняя договорённость лабораторий, а попытка сделать отказ частью веба, а не перепиской с юристами.

Google и Microsoft обещают поддержку с 2027 года. OpenAI — без даты, но в списке. GIGAZINE цепляет главное: компании примут один и тот же механизм, и сайтам не придётся объясняться с каждой лабораторией отдельно.

Почему это важнее, чем звучит

До сих пор отказ работал как вежливость. Сайт писал «не индексируй», а дальше начиналось: одни краулеры слушались, другие нет, третьи слушались до момента, когда менялась политика. Для издателей это выглядело как «мы спросили, нам не ответили».

Теперь отказ становится протоколом. Протокол — уже не просьба: его либо соблюдают, либо нарушают публично. Поэтому новость стоит читать не как «AI-компании стали добрее», а как «правила доступа к данным переезжают из переговоров в техническую плоскость».

Есть и вторая сторона. Механизм разрешает не только запрет. Он разрешает разрешение — и развязывает руки тем, кто готов торговать контентом. Один формат означает, что лицензирование данных можно автоматизировать: краулер читает сигнал и либо идёт дальше, либо платит.

Где подвох

Дата. 2027 год — не завтра и даже не следующий квартал. Между анонсом и работающим протоколом поместится ещё один цикл моделей, а значит, и ещё один раунд «мы обучились на том, что было доступно». Сайты, которые ждут 2027-го, рискуют обнаружить, что их архив уже разобрали.

Второе: IETF — не тот орган, который быстро штампует спецификации. Пока идёт обсуждение, крупные лаборатории могут выпустить собственные реализации, и «общий механизм» превратится в набор диалектов. Знакомая история: стандарт есть, совместимости нет.

Третье: кто проверяет соблюдение? В тексте анонса нет ни слова про санкции за игнорирование сигнала. Без последствий это снова вежливость, только в новом синтаксисе — и решать будет не протокол, а суды.

Прогноз: К моменту запуска поддержки в 2027 году минимум одна крупная лаборатория предложит собственный вариант сигнала — и спор вернётся к тому, с чего начался: кто читает правила и кто их пишет.

Дисклеймер: первоисточник (анонс Google, OpenAI и Microsoft от 30 октября) в реестре отсутствует — по сообщениям GIGAZINE и Mynavi News, официально не подтверждено.

Mynavi News и GIGAZINE