Search Engine Journal publikuje tekst Chrisa Greena, w którym przekonuje, że zarządzanie botami w SEO wymaga przejścia od list blokad do przemyślanych polityk dostępu. Dawny model, w którym crawlery po prostu dopuszczano albo blokowano, nie wystarcza w erze AI search. Dziś strony odwiedzają klasyczne crawlery wyszukiwarek, boty trenujące modele AI, boty retrieval, pobrania inicjowane przez użytkownika oraz autonomiczne agenty, a wszystkie te grupy zbyt często wrzuca się do jednego worka „AI bots”. Autor podkreśla, że zablokowanie crawlera do trenowania modeli ma inne skutki niż zablokowanie bota pobierającego treści do odpowiedzi w wyszukiwarce. Robots.txt pozostaje przydatny, ale jest dobrowolny — faktyczne egzekwowanie zasad odbywa się w CDN, firewallach aplikacyjnych (WAF) i usługach bot mitigation, które mogą być sprzeczne z regułami w robots.txt, a zespół SEO może o tym nie wiedzieć. Dodatkowym problemem są agenty: potrafią przeglądać strony jak zwykli użytkownicy, uruchamiać analitykę i coraz trudniej odróżnić je od ludzi. Zablokowanie agenta porównującego produkty może oznaczać nie tyle spadek pozycji, co całkowite zniknięcie z odpowiedzi. Green zaleca polityki uwzględniające to, kto wchodzi na stronę, w jakim celu oraz jakie są konsekwencje dopuszczenia lub blokady. Decyzje te angażują SEO, inżynierię, bezpieczeństwo, dział prawny i komercyjny, więc muszą być koordynowane, spójnie egzekwowane i regularnie weryfikowane. Szersze omówienie autor zawarł w prezentacji na G
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu