John Mueller z Google wyjaśnił 25 lipca 2026 r. na przykładzie Shopify, dlaczego Googlebot może zignorować część reguł robots.txt i nadal indeksować spamowe adresy z wyszukiwarki wewnętrznej. Problem pojawił się u właściciela sklepu, który zablokował ścieżkę /search w robots.txt, ale Google i tak indeksował generowane przez spamerów URL-e. Mueller wskazał, że winna była sekcja „user-agent: Googlebot” — jeśli istnieje, Google stosuje właśnie tę, bardziej szczegółową grupę reguł, a nie ogólne wpisy z „user-agent: *”. Jak podkreślił, jeśli chcesz, by te same zasady obowiązywały wszystkie boty, trzeba je skopiować do odpowiednich sekcji albo zgrupować user-agentów razem. To ważne przypomnienie, że robots.txt steruje crawlingiem, a nie indeksowaniem, więc w przypadku stron wyszukiwania skuteczniejsze jest noindex niż sama blokada. Shopify zaleca dodanie w <head> warunku z meta robots noindex dla szablonu search, a WordPress zwykle ma to rozwiązane domyślnie w Yoast, Rank Math i AIOSEO. Dla SEO oznacza to konieczność audytu robots.txt i sprawdzenia, czy nie ma konfliktu między regułami dla Googlebot a globalnymi dyrektywami.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu