Jak działa User Agent?
User Agent to fragment tekstu wysyłany przez przeglądarkę, aplikację lub bota do serwera przy każdym żądaniu strony. Zawiera informacje o systemie, przeglądarce i jej wersji, a w przypadku botów – nazwę i cel danego crawlera, np. Googlebot, Bingbot czy GPTBot.
W SEO User Agent ma znaczenie praktyczne. Plik robots.txt wykorzystuje go do określania, które boty mogą, a które nie mogą wchodzić na dane sekcje serwisu. Można też podać różne zasady dla różnych robotów – inaczej potraktować Googlebota, inaczej boty od AI czy narzędzi do scrapowania.
User Agent przydaje się też przy analizie logów serwera. Sprawdzenie, jakie boty faktycznie odwiedzają stronę i jak często, pozwala ocenić crawl budget i wyłapać podejrzany ruch – np. boty podszywające się pod Googlebota, które w rzeczywistości nim nie są (to da się zweryfikować przez reverse DNS).
Nie należy mylić User Agenta z adresem IP ani z ciasteczkami. User Agent to deklaracja tożsamości po stronie klienta – można ją zmienić lub sfałszować, dlatego sam nagłówek nie jest wiarygodnym dowodem, kto naprawdę wysłał żądanie. W kontekście AI coraz częściej pojawiają się nowe User Agenty od modeli językowych, które trzeba świadomie uwzględnić w polityce robots.txt, jeśli firma chce kontrolować, czy jej treści trafiają do trenowania AI.