Накратко: robots.txt е файлът, с който сайтовете изразяват предпочитанията си за използването на съдържанието им, включително за обучение на основни генеративни AI модели. Общ сигнал в него още не работи. OpenAI обеща да го уважава, но без дата.
Досега всеки AI доставчик значеше отделен робот и отделно правило. Операторите на сайтове са трябвало да разпознават роботите един по един и да поддържат списък за всеки доставчик. Който иска да пази текста си от пет компании, пише пет правила и следи кога се появява шестата.
Какво обяви OpenAI
На 30 октомври 2026 г. OpenAI обяви, че ще уважава общ сигнал в robots.txt. Компанията го нарича доброволно усилие: едно изразено предпочитание, което важи за всички участващи доставчици наведнъж. Работата стъпва на групата AI Preferences в Internet Engineering Task Force (IETF), а OpenAI призовава и други доставчици да го уважават. Това е план: внедряването е заложено за „следващите месеци“, а подробностите ще дойдат с нова обява. Сегашните контроли за роботи на OpenAI продължават да важат и новият сигнал не ги заменя, а се добавя върху тях.
Идеята е разумна: един сигнал вместо списък от роботи. Но все още има дупки. Не се знае кои други участници са в работната група, нито как ще изглежда сигналът във файла. Призивът към другите доставчици не е гаранция, а „доброволно“ е думата на самата OpenAI, не изискване от закон. Проверката е втората обява: когато в нея има синтаксис и дата, тогава има какво да добавиш във файла. Дотогава robots.txt остава какъвто е.
Визуалът е генериран код-арт, без чужди изображения.