Gary Illyes z Google tłumaczy w nowym odcinku serii The Non-Canonical Cabinet na Search Central, że robots.txt według RFC 9309 jest „access preference protocol”. Określa, jakie URL-e crawler może pobrać, ale – jak mówi Illyes – „nie dyktuje, co system robi z danymi po ich pobraniu”. Aby zablokować konkretnego crawlera AI, trzeba wprost wskazać jego user-agent token w pliku. Fikcyjna dyrektywa pokazana w odcinku (No-AI-Chicken-Training) zostałaby zignorowana przez parser, bo Google obsługuje tylko cztery elementy: User-Agent, Allow, Disallow i Sitemap. Google-Extended nie ma własnego user-agenta i działa jako token kontrolny: decyduje, czy pobrane treści mogą służyć do trenowania przyszłych modeli Gemini oraz groundingu w Gemini Apps i Grounding with Google Search na Vertex AI. Nie wpływa na obecność w Google Search i nie jest sygnałem rankingowym, a jego znaczenie wynika z dokumentacji Google, nie z RFC 9309. Illyes jest współautorem (z Martinem Thomsonem z Mozilli) szkicu IETF, który dodałby regułę Content-Usage i odpowiedni nagłówek HTTP, np. „train-ai=n”. Szkic z 19 sierpnia nadal jest dokumentem grupy roboczej, a słownik etykiet z 14 września nie ma konsensusu grupy. Cherry Prommawin zaleca też zapisywanie ścieżek z nie-angielskimi znakami lub emoji w formie percent-encoded, bo Google radzi sobie z surowymi znakami, ale starsze lub inne crawlery mogą się pomylić. Następny odcinek serii ma dotyczyć kodu 404, a szkic Content-Usage wygasa 20 lutego 2027 r., jeśli nie pojawi
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu