Search Engine Journal publikuje zaktualizowany poradnik po robots.txt, który uwzględnia boty AI odwiedzające strony obok klasycznych crawlerów. Autorzy ostrzegają, że zablokowanie niewłaściwego bota może wykluczyć treści z wyników LLM-ów lub SERP-ów, a zostawienie zbędnych URL-i otwartych marnuje crawl budget na dużych serwisach. Plik obsługuje tylko dwa znaki wieloznaczne: gwiazdkę (*) i dolara ($). Ścieżki rozróżniają wielkość liter, więc „filter=” to nie to samo co „Filter=”, a nazwy dyrektyw i user-agentów nie są wrażliwe na wielkość liter. Gdy bot ma własną grupę reguł, ignoruje grupę User-agent: *. W obrębie grupy Google stosuje regułę najbardziej szczegółową, a przy równorzędnych wybiera mniej restrykcyjną. Poradnik wskazuje, co warto blokować: wyszukiwarki wewnętrzne (np. parametr „s” w WordPressie), nawigację fasetową niewchodzącą w strategię SEO, adresy akcji typu add-to-cart, nieistotne skrypty JS oraz boty trenujące AI. Przypomina też, że robots.txt nie usuwa URL-i z indeksu. Do tego służy noindex albo nagłówek X-Robots-Tag, a strona musi pozostać crawlowalna, by Google go odczytał. Reguły trzeba testować na realnych adresach, bo np. /*.pdf$ nie złapie /guide.pdf?download=1 ani rozszerzenia .PDF.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu