Jak działa Googlebot User Agent?
Czym jest User Agent Googlebota
Każde żądanie HTTP wysyła nagłówek User-Agent – informację o tym, kto lub co pobiera stronę. Googlebot ma swój własny, charakterystyczny ciąg znaków (np. zawierający „Googlebot” i numer wersji), po którym serwer może go rozpoznać i odróżnić od ruchu zwykłych użytkowników.
W praktyce przyda się to przy debugowaniu indeksacji. Jeśli w logach serwera widzisz wpisy z User Agentem Googlebota, wiesz, że robot faktycznie odwiedził stronę – i możesz sprawdzić, jaki kod odpowiedzi dostał, czy nie trafił na błąd 404 albo przekierowanie w pętli.
User Agent wykorzystuje się też do kierowania ruchem w pliku robots.txt – można zablokować konkretnego bota po nazwie, zostawiając dostęp innym. To samo pole służy czasem do wykrywania cloakingu, czyli podawania robotowi innej treści niż użytkownikowi – praktyki niezgodnej z wytycznymi Google i ryzykownej dla pozycji strony.
Warto pamiętać, że User Agent można sfałszować – każdy może wysłać żądanie z nagłówkiem udającym Googlebota. Dlatego do pewnej weryfikacji, czy odwiedziny faktycznie pochodzą z infrastruktury Google, stosuje się dodatkowo sprawdzenie adresu IP (reverse DNS lookup), a nie samą nazwę w nagłówku.
Nie myl User Agenta z crawl budgetem ani z plikiem robots.txt jako takim – to tylko etykieta identyfikująca bota, jeden z elementów układanki, którą trzeba znać, żeby poprawnie analizować zachowanie robota na stronie.