Jak działa Crawl Rate Limit?
Co to jest Crawl Rate Limit
Crawl Rate Limit to limit szybkości indeksowania, czyli maksymalna liczba zapytań, jaką robot wyszukiwarki (np. Googlebot) może wysłać do serwera w danym czasie. To mechanizm ochronny, nie polecenie – Google sam oblicza bezpieczne tempo na podstawie odpowiedzi serwera.
Gdy serwer zwraca błędy 5xx, wolno odpowiada albo czasy ładowania rosną, Google automatycznie obniża tempo crawlowania. Działa to jak wentyl bezpieczeństwa: lepiej wolniej zaindeksować stronę, niż ją przeciążyć i wywołać awarię.
Przydaje się to przy dużych serwisach (sklepy e-commerce, portale z tysiącami podstron), gdzie zbyt agresywne skanowanie mogłoby obciążyć hosting. W Google Search Console można sprawdzić statystyki indeksowania i zobaczyć, czy limit jest realnym ograniczeniem, czy problem leży gdzie indziej – np. w słabej architekturze linków wewnętrznych.
Nie myl Crawl Rate Limit z Crawl Budgetem. Budżet indeksowania to ile stron Google w ogóle chce odwiedzić, a limit szybkości to jak szybko może to zrobić bez szkody dla serwera. To dwa różne parametry tego samego procesu.