Google, OpenAI и Anthropic ще спират AI обучението с един ред в robots.txt

Собствениците на сайтове ще могат с един ред в robots.txt да забранят AI обучение върху съдържанието си при четирите най-големи разработчици на модели. На 30 октомври Google, Microsoft, OpenAI и Anthropic заявиха, че ще зачитат общ сигнал за отказ, вместо всяка компания да изисква отделно правило за своя бот. Това облекчава издатели, блогъри и онлайн магазини, които досега трябваше да следят десетки различни имена на ботове.

Как изглежда новото правило

Предложението е описано в проект на IETF със заглавие „Machine-Readable Training Preference Signal“, чийто автор е Кевин Кели от Anthropic. Той не въвежда нови команди. Вместо име на бот в реда User-Agent се пише специален маркер за целта, а познатите Disallow и Allow казват за кои адреси важи.

Примерът от самия документ изглежда така:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Това означава „не искам съдържанието ми да се ползва за обучение на AI, освен страниците в /press-kit/“. Важна подробност е, че общото правило User-Agent: * не се брои. Ако групата с маркера липсва, се приема, че собственикът не е изразил предпочитание.

Кой кога ще го зачита

Сроковете се различават. Според Кели Anthropic вече е започнала да въвежда поддръжката. Google публикува в блога Search Central текст за подкрепа на общия контрол и посочва 2027 г., а в документацията си – началото на 2027 г. По информация на Tech Insider OpenAI обещава поддръжка „в следващите месеци“, а Microsoft – от 1 февруари 2027 г.

Има и разлика в обхвата. Google ще третира група с новия маркер като забрана за Google-Extended, ако сайтът няма отделно правило за него, пише Relevant Audience. Google-Extended управлява и дали страниците могат да се цитират в отговорите на Gemini, така че отказът може да струва и видимост там. Microsoft разделя двете неща и за цитирането в отговорите въвежда отделен контрол на ниво страница.

Какво не решава общият маркер

Сигналът е заявка, а не техническа бариера. Той не спира обхождането на страниците, не влияе на класирането в Google Search и не изтрива текстове, които вече са влезли в обучителни данни. Освен това важи само за компании, които доброволно са решили да го зачитат. По-малки разработчици и лаборатории извън САЩ нямат подобен ангажимент.

Самият документ още не е стандарт. Това е индивидуален проект, който изтича на 3 май 2027 г., ако не бъде обновен или приет от работната група AIPREF. Синтаксисът може да се промени, затова старите правила за отделните ботове трябва да останат.

Какво да направите със своя сайт

1. Решете какво искате да спрете. Отказ само от обучение е едно, а отказ и от цитиране в AI отговори може да ви коства трафик от Gemini.
2. Добавете отделна група с User-Agent: __usage_ai-training и Disallow: / или само за папките, които искате да защитите.
3. Запазете съществуващите редове за GPTBot, ClaudeBot и Google-Extended, докато всички компании не потвърдят поддръжката.
4. Ако сайтът ви е на WordPress, проверете дали SEO разширението не генерира robots.txt автоматично и не презаписва ръчните промени.
5. Запишете датата, на която сте добавили правилото. Тя може да е полезна при бъдещ спор за използване на съдържанието.

Последната стъпка има и правно значение в Европа. Директивата на ЕС за авторското право в цифровия единен пазар позволява на правоносителите да запазят правата си върху извличането на текст и данни „чрез машинночетими средства“ за съдържание, публикувано онлайн. Общият маркер е точно такова средство, макар съдилищата тепърва да преценяват кой отказ е достатъчен. За собствениците на сайтове в България това е първият начин да отправят една и съща заявка към всички големи AI компании наведнъж.

Темата не е нова за издателите. По-рано Meta започна да обхожда сайтовете на бизнес страниците си, а после отложи новите условия след протест. Музикалните компании пък водят съдебни спорове, като иска на наследниците на Елвис Пресли срещу Anthropic. Още за рисковете около изкуствения интелект четете в рубриката AI рискове.