Jak działa Crawlability?
Co to jest crawlability
Crawlability określa, czy roboty wyszukiwarek (np. Googlebot) mogą swobodnie poruszać się po stronie i docierać do jej podstron. To pierwszy warunek widoczności – jeśli robot nie dotrze do adresu URL, strona nie trafi do indeksu, a bez indeksu nie ma mowy o pozycjach w wynikach wyszukiwania.
Na crawlability wpływają m.in. struktura linkowania wewnętrznego, plik robots.txt, kody odpowiedzi serwera, przekierowania, mapa strony XML oraz szybkość ładowania. Zbyt głęboka struktura katalogów, sieroty (strony bez linków wewnętrznych) czy błędne blokady w robots.txt potrafią skutecznie odciąć część serwisu od crawlera.
Crawlability przydaje się przy audytach technicznych SEO, wdrożeniach nowych serwisów oraz migracjach domen. Warto to sprawdzać zawsze, gdy strona rośnie – dodawane podstrony, filtry czy parametry URL mogą tworzyć pułapki dla robotów.
Nie należy mylić crawlability z indeksowalnością (indexability). Crawlability to możliwość dotarcia robota do strony, indeksowalność to zgoda na umieszczenie jej w indeksie (np. przez meta robots czy nagłówek X-Robots-Tag). Strona może być crawlowalna, ale nieindeksowalna – i odwrotnie, choć to rzadszy przypadek.