Novi zajednički signal u robots.txt treba da pojednostavi odbijanje AI treninga. Za kompaniju koja želi vidljivost u AI odgovorima važan je i drugi deo odluke: šta se, uz trening, ograničava na konkretnoj platformi. Kod Google-a ista Google-Extended kontrola obuhvata trening i grounding, odnosno korišćenje sadržaja pri sastavljanju odgovora u Gemini-ju.
Kada bih ovu vest objašnjavao vlasniku klinike ili web shopa, krenuo bih od poslovnog cilja. Koje javne informacije želimo da kupac pronađe? Koji sadržaj firma želi da izuzme iz treninga? Postoji li razlog da neke podatke uopšte ne objavljuje? Odgovori na ta pitanja prethode izmeni fajla.
Moj pristup je da za svaku važnu stranicu dogovorimo namenu, proverimo kontrole i zabeležimo posledice. Tako developer dobija precizan zadatak, a vlasnik razume šta je odobrio. U nastavku pokazujem gde je najvažnija razlika i kako bih odluku prilagodio zdravstvenoj ustanovi i online prodavnici.
Stanje izvora provereno 5. novembra 2026. Datumi implementacije predstavljaju objavljene planove, osim tamo gde platforma izričito navodi da je primena počela.
Zakažite konsultacije sa Goranom ↗
Šta se menja u robots.txt kontroli AI treninga?
Google, Microsoft i OpenAI objavili su 30. oktobra podršku zajedničkom signalu. Predlog Kevina Kelley-ja iz Anthropic-a koristi oznaku __usage_ai-training u postojećoj robots.txt sintaksi. Dokument je individualni Internet-Draft, još nije usvojen IETF standard.
Osnovni primer preference protiv treninga izgleda ovako:
User-agent: __usage_ai-training
Disallow: /Oznaka predstavlja namenu upotrebe sadržaja. U draftu se obična grupa User-agent: * ne računa kao izražena preferencija za ovaj token. Takođe, novi signal sam po sebi ne predstavlja pravilo za zaustavljanje crawlovanja. Pravila tumačenja i razdvajanje upotrebe od pristupa navedeni su u specifikaciji.
| Platforma | Provereno stanje | Šta znači za odluku danas |
|---|---|---|
| Blog najavljuje podršku tokom 2027; dokumentacija precizira početak 2027. | Planirati zajednički signal; postojeći Google-Extended ostaje važan sada. | |
| Microsoft | Primena novih preferencija od 1. februara 2027, kako se stranice ponovo obilaze. | Proveriti i zasebnu grounding kontrolu, naročito ako postoje NoArchive/NoCache podešavanja. |
| OpenAI | Najavljena primena u narednim mesecima, bez preciznog datuma. | Postojeća pravila za GPTBot i OAI-SearchBot ostaju relevantna. |
| Anthropic | Aktuelna podrška navodi da je prepoznavanje signala počelo 30. oktobra; uvođenje se odvija postepeno. | Proveriti i ClaudeBot pravila, koja imaju prednost nad opštim signalom. |
Ovo razlikovanje rokova oslanja se na Google objavu i crawler dokumentaciju, Microsoft objavu, OpenAI najavu i ažuriranu Anthropic podršku. Ne bih uklonio postojeće kontrole samo zato što je objavljen zajednički predlog.
Tri odluke koje vlasnik sajta treba da razdvoji
Trening je korišćenje sadržaja za razvoj modela. Crawlovanje je preuzimanje stranica. Grounding je oslanjanje na spoljne informacije pri sastavljanju odgovora. Za kompaniju koja prodaje uslugu ili proizvod, upravo taj poslednji korak može da bude prilika da njena javna stranica postane koristan izvor.
Na tehničkom sastanku bih tražio da svako predloženo pravilo dobije dva objašnjenja: kojim sistemom upravlja i šta očekujemo da se promeni. „Blokiramo AI” ostavlja previše prostora za različita tumačenja. Developer može misliti na trening crawler, vlasnik na neovlašćeno kopiranje, a marketing na sasvim druge odgovore koje kupac vidi.
OpenAI dokumentuje odvojene kontrole: GPTBot je vezan za trening, a OAI-SearchBot za pretragu. Moguće je odbiti prvi i dozvoliti drugi. ChatGPT-User ima zasebnu ulogu kod korisnički pokrenutih zahteva, za koje robots.txt pravila ne moraju da važe. Otvoren pristup pretrazi pritom ne obezbeđuje citat ili preporuku.
Za širi proces izbora pitanja, sadržaja i izvora pogledajte moj vodič za optimizaciju za ChatGPT. Ovaj tekst rešava užu odluku o kontroli upotrebe sadržaja i njenim posledicama.
Google-Extended: gde odbijanje treninga dotiče Gemini vidljivost
Google je objasnio da će zajednički opt-out, kada Google-Extended nije izričito naveden, tumačiti kao zabranu za Google-Extended. Izričito dozvoljen Google-Extended zadržava podobnost za grounding u Gemini Apps. Važan kompromis je da ta dozvola obuhvata i trening u okviru Google-Extended kontrole.
Zato kombinaciju zajedničkog opt-out-a i Google-Extended dozvole ne bih klijentu predstavio kao „zabranili smo trening svima, a zadržali sve citate”. Google je tada nameran izuzetak. Vlasnik treba da razume i odobri upravo taj izuzetak.
Gemini Apps i Google Search takođe treba posmatrati odvojeno. Google-Extended nije kontrola uključivanja ili rangiranja u Google Search-u. AI Overviews i AI Mode imaju zaseban kontekst i kontrole prikaza; njih detaljnije obrađujem u tekstu AI Overviews i AI Mode. Blokiranje Googlebot-a radi kontrole treninga bilo bi sasvim drugačija izmena, sa posledicama po pretragu.
Dva slična robots.txt primera, različita poslovna odluka
Prilog ispod pokazuje upravo razliku koju bih prošao sa vlasnikom pre izmene. Primeri su ilustrativni fragmenti, sa efektom prema najavljenom Google tumačenju kada podrška zajedničkom signalu bude uvedena. Postojeća pravila i putanje ostaju predmet zasebne provere.
Isti opšti signal. Drugačija Google odluka.
Bez izričitog Google izuzetka
User-agent: __usage_ai-training
Disallow: /- Trening prema zajedničkoj preferenciji
- Odbijen kod učesnika koji je primenjuju.
- Google-Extended kada Google uvede podršku
- Tumači se kao Disallow ako nije posebno naveden.
- Gemini Apps grounding
- Ograničen tim Google-Extended izborom.
Sa namernim Google izuzetkom
User-agent: __usage_ai-training
Disallow: /
User-agent: Google-Extended
Allow: /- Zajednička preferencija
- Ostaje, uz konkretan Google izuzetak.
- Google-Extended upotreba
- Dozvoljeni su i trening i grounding u njegovom obimu.
- Gemini Apps grounding
- Podobnost ostaje; citat nije garantovan.
Obratite pažnju i na pravila koja već postoje. Ako je ClaudeBot izričito dozvoljen, Anthropic navodi da takvu instrukciju smatra konkretnijom od zajedničke preference. Jedan novi blok na dnu fajla zato nije dovoljan dokaz da je željena politika zaista sprovedena.
Primer za kliniku: javno objašnjenje pregleda treba da ostane korisno pacijentu
Zamislimo ustanovu koja želi više relevantnih upita za kardiološki pregled. Javno objašnjenje usluge, stručni tim, lokacija i način zakazivanja pomažu osobi koja bira gde da se obrati. Ako firma uvede blanket zabranu kroz bezbednosni dodatak, prvo bih proverio kojim sistemima je stranica zaista postala nedostupna.
U razgovoru sa vlasnikom izdvojio bih jednu stranicu pregleda i informacije koje moraju ostati javne i tačne. Zatim bismo odlučili da li ustanova ima zaseban razlog da odbije trening i da li prihvata posledice konkretnog Google podešavanja. Tu odluku treba povezati sa poslovnim prioritetom, uz potvrdu medicinskih informacija od stručnog tima.
Podaci pacijenata, dokumentacija i interni rasporedi zahtevaju zaštitu pristupa. Njih ne bih štitio robots.txt fajlom niti uključivao u javne primere. To je odvojeni tehnički zadatak koji postoji nezavisno od AI marketinga.
Šta sve proveravamo kada pacijent istražuje ustanovu opisao sam u tekstu Da li ChatGPT preporučuje vašu kliniku? Ovde je scenario ilustrativan; nije izveštaj o rezultatu određene ustanove.
Primer za web shop: odvojite javnu ponudu od sadržaja koji ima poseban status
Za prodavnicu koja prodaje mašine za sudove važni javni podaci su model, dimenzije, varijante, cena, stanje i uslovi isporuke. Ako kupac traži model širine 45 cm, netačan ili nedostupan podatak može da pokvari izbor još pre dolaska na sajt.
Posebno bih pregledao autorske vodiče, fotografije i sadržaj dobijen od proizvođača. Firma treba da zna za šta ima sopstvenu politiku upotrebe i ko odobrava izuzetak. Kod javnog kataloga, poslovna vrednost dostupnosti može biti drugačija nego kod posebne zbirke sadržaja; nema razloga da odluka automatski bude ista za sve putanje.
U sledećem prilogu prikazujem kako izgleda taj razgovor kroz četiri konkretne vrste stranica. Putanje i prodavnica su izmišljeni radi objašnjenja. Cilj je da vlasnik i developer donesu odluku po sadržaju, umesto da prekopiraju univerzalni spisak botova.
Odluka se donosi za sadržaj i njegovu namenu.
| Stranica / putanja | Poslovna uloga | Šta bih proverio | Odluka koju vlasnik potvrđuje |
|---|---|---|---|
Klinika: pregled/usluge/kardiologija/ | Obim pregleda, stručni tim, lokacija i zakazivanje. | Javnu dostupnost, tačnost, Googlebot i relevantne search kontrole. | Da li želi Gemini grounding i prihvata Google-Extended obim. |
Shop: proizvod/proizvodi/masina-45-cm/ | Tačan model, dimenzije, cena, stanje i isporuka. | Čitljiv PDP i CDN/WAF pristup, uz zasebnu politiku treninga. | Koje javne informacije treba da ostanu dostupne kupcu kroz AI pretragu. |
Shop: autorski vodič/vodici/izbor-masine/ | Sadržaj koji pomaže odluci i može imati poseban režim upotrebe. | Postojeće vendor instrukcije i željenu politiku baš tog sadržaja. | Da li uvodi ograničenje treninga i koje izuzetke prihvata. |
| Privatni nalog Bez javnih URL primera | Podaci pacijenata, korisnika ili porudžbina. | Autentikaciju i autorizaciju pristupa. | Ko ima pristup; robots.txt nije zaštita privatnosti. |
Za podatke proizvoda i izbor kupca nadovezuje se vodič AI kupovina i ChatGPT. Posle tehničke izmene pratio bih i prepoznate dolaske i porudžbine u GA4, uz ograničenja atribucije. Rast prodaje se ne pripisuje samom robots.txt podešavanju.
Razgovarajmo o AI vidljivosti vašeg sajta ↗
Koji scenario ima smisla za vašu kompaniju?
1. Prioritet je dostupnost javnih stranica za AI pretragu
Za kliniku ili shop kojem je glavni cilj akvizicija krenuo bih od provere važnih javnih URL-ova i stvarnih blokada. Ne bih uvodio zabranu treninga samo zato što dodatak nudi jedan prekidač. Ako postoje opravdane restrikcije, njih zadržavamo dok vlasnik ne odobri drugačiju odluku.
U praksi bih najpre proverio Googlebot i relevantne search botove, status servera, CDN/WAF zaštitu i sadržaj koji dobijaju. Dozvola u robots.txt ne pomaže ako platforma nailazi na challenge stranicu ili nema čitljiv tekst. Ovakav pregled pripada AEO/GEO radu na sajtu, zajedno sa sadržajem i merenjem.
2. Odbijanje treninga kod drugih učesnika, uz izuzetak za Google-Extended
Ovo je scenario za kompaniju koja želi zajedničku preferenciju protiv treninga, ali prihvata Google-Extended upotrebu da bi zadržala tu mogućnost Gemini grounding-a. Uz zajednički signal razmatraju se postojeće GPTBot i ClaudeBot kontrole. OAI-SearchBot i Claude-SearchBot procenjuju se prema cilju pretrage, odvojeno od treninga.
U zapis odluke bih uneo da Google izuzetak obuhvata i trening. Ta rečenica je važnija od samog tehničkog fragmenta: sprečava da vlasnik odobri jedno, a kasnije očekuje nešto drugo.
3. Stroži opt-out treninga, uz prihvaćen kompromis za Gemini
Ako firma daje prednost odbijanju treninga i prihvata ograničenje Gemini grounding-a, razmatramo zajednički signal i odgovarajuće pojedinačne zabrane. To i dalje nije „potpuna zaštita od svakog AI sistema”. Pravila zavise od podrške platforme, obima kontrole i načina preuzimanja sadržaja.
Za Microsoft treba zasebno proveriti novu page-level grounding preferenciju. Ne bih odbijanje treninga automatski preveo u odbijanje grounding-a niti gasio Bing pretragu. Poseban prelazni rok za postojeće NoArchive/NoCache korisnike je 1. mart 2027; Microsoft opisuje potrebne korake u svojoj objavi.
Ako je cilj da sadržaj uopšte ne bude javno dostupan, potreban je odgovarajući režim pristupa. Robots.txt preference nisu zamena za autentikaciju niti poništavaju raniju upotrebu sadržaja.
Kako bih proverio izmenu pre nego što je proglasim završenom
Vlasniku je najkorisnije da dobije kratak zapis: šta je izabrano, za koje javne stranice, koji kompromis prihvata i ko je proverio rezultat. Kod izmene koja dotiče akviziciju, to smanjuje rizik da sledeći dodatak ili developer neprimetno promeni odluku.
- Sačuvati trenutno stanje. Javni robots.txt odgovor, datum, postojeće grupe i konfiguraciju dodatka ili CDN-a koji ga generiše.
- Proveriti konkretnu putanju i svaku važnu platformu. Zajednički token, Google-Extended, trening i search botove. Posebne grupe mogu promeniti pravila koja važe za taj bot; ne pretpostavljati nasleđivanje svih wildcard ograničenja.
- Pregledati stvarni odgovor servera. Robots.txt, stranicu usluge ili proizvoda, HTTP statuse, dostupnost resursa i zaštitu. Logove koristiti uz proveru identiteta zahteva prema dokumentaciji platforme.
- Sačuvati postojeće zaštite i SEO kontrole. Privatne putanje, autentikaciju, canonical, indeksabilnost i funkcionalan put do zakazivanja ili kupovine.
- Ponoviti istu proveru posle izmene. Zabeležiti novi fajl i očekivano ponašanje; kod platformi sa budućom primenom zakazati kontrolu kada podrška bude uvedena.
- Odvojeno pratiti poslovne ishode. Dostupnost je tehnički nalaz. Pominjanje brenda, citat, poseta i potvrđen upit vode se kao različite stvari.
Metodologiju poslednjeg koraka detaljnije objašnjavam u tekstu Merenje AI vidljivosti. Prvi korak saradnje može da bude mali i precizan: jedna prioritetna usluga ili kategorija, postojeća pravila i jasno definisana odluka koju treba doneti.
Česta pitanja o robots.txt fajlu i AI treningu
Da li treba odmah da dodam __usage_ai-training?
Najpre proverite cilj, postojeće kontrole i podršku relevantnih platformi. Zajednički signal možete planirati kao deo odluke, ali najavljeni rok nije potvrda da ga svi već primenjuju. Postojeća pravila ne treba uklanjati bez provere.
Da li dozvoljen trening povećava šansu da ChatGPT preporuči firmu?
Ne bih obećao takvu vezu. Politika treninga, tehnička dostupnost za pretragu i izbor izvora imaju različite uloge. Preporuku ne kupujete dozvolom za trening.
Može li se zabraniti GPTBot, a ostaviti ChatGPT pretraga?
OpenAI dokumentuje nezavisne kontrole za GPTBot i OAI-SearchBot. To omogućava takvu odluku, uz proveru postojećeg fajla i pristupa preko hostinga. Dozvoljen search bot ne garantuje prikaz stranice.
Da li Google-Extended zabrana automatski uklanja sajt iz Google-a?
Ne. Google-Extended ne određuje uključivanje ili rangiranje u Google Search-u. Njegov obim obuhvata druge Google AI namene; Googlebot i kontrole prikaza u Search-u zahtevaju zasebnu proveru.
Da li su Google-Extended Allow i zajednički Disallow stroga zabrana treninga svima?
Ne. Izričita Google-Extended dozvola pravi Google izuzetak koji obuhvata i trening i grounding. Upravo zato u primerima pokazujem i posledicu, a ne samo redove koda.
Da li robots.txt štiti podatke pacijenata i porudžbina?
Ne služi za zaštitu pristupa tim podacima. Privatni sadržaj treba da ima odgovarajuću kontrolu pristupa. U javnom robots.txt fajlu ne treba objavljivati poverljive detalje da biste objasnili internu strukturu.