Anthropic, OpenAI, Google i Microsoft podržavaju zajednički robots.txt signal za odustajanje od AI skrejpinga
Nieman Lab je 2. novembra 2026. izvestio da su Anthropic, OpenAI, Google i Microsoft prihvatili da podrže jedinstveni robots.txt signal koji izdavači mogu da koriste za odustajanje od AI trenažnog skrejpinga — pokrivajući sve četiri kompanije odjednom, umesto da blokiraju svaki crawler posebno.
Signal je predložen kao IETF (Internet Engineering Task Force) nacrt od strane Anthropic inženjera Kevina Kelleya. Anthropic ga već podržava. OpenAI kaže da će to učiniti “u narednim mesecima.” Google i Microsoft kažu da će slediti naredne godine.
Zašto ovo važno za izdavače
Sadašnji sistem zahteva da izdavači blokiraju crawler svake AI kompanije po imenu, jedan po jedan. Kako raste broj AI kompanija i njihovih crawlera, ovaj pristup postaje sve teže održavati. Zajednički signal smanjuje to opterećenje: izdavač navodi jednu preferenciju i, kada sve četiri kompanije počnu da je poštuju, ona automatski pokriva njihove crawlere.
Objava je stigla tokom perioda javnog pritiska na Meta, koja je predložila komercijalne uslove za koje su pravni stručnjaci rekli da bi dozvolili široko skrejpovanje sadržaja s poslovnih naloga. Meta je pristala da odloži primenu i obećala da će se konsultovati s izdavačima pre finalizacije uslova. Potpredsednik Meta za komunikacije nazvao je zajednički signal za odustajanje “važnim korakom”, mada Meta sama nije bila među četiri kompanije koje su ga podržale 2. novembra.
Kontekst
Standard robots.txt nije dizajniran za upravljanje AI trenažnim prikupljanjem podataka. Postojeće direktive blokiraju crawlere za indeksiranje pretragom, ali ih izdavači prilagođavaju za upravljanje AI pristupom dostupnim alatima. Formalno specificiran signal za odustajanje od AI trenažnog skrejpinga bio bi jasniji i trajniji instrument — ako kompanije koje su se obavezale ispune navedene rokove, i ako šira industrija prihvati standard.
Za izdavače, ovo je signal koji treba pratiti, a ne rešeno pitanje.