Search Engine Journal 3 września 2026 r. opisał, czy AI crawlers lepiej blokować przez robots.txt, czy na poziomie serwera, CDN albo WAF. W materiale wskazano, że robots.txt opiera się na dobrowolnym respektowaniu reguł przez boty, więc działa bardziej jak „no-trespassing sign” niż realna blokada. Przykłady obejmują m.in. wpisy dla GPTBot, OAI-SearchBot, ClaudeBot, Claude-User, Claude-SearchBot, Google-Extended i PerplexityBot, a także reguły typu `User-agent: *` i `Disallow: /`, które mogą przypadkowo odciąć cały ruch. Z kolei blokady na poziomie server stack, CDN i WAF zatrzymują requesty zanim dotrą do serwera, oszczędzając transfer i dając twardą blokadę nawet wobec botów spoofujących user-agenty. SEJ podkreśla, że WAF jest najsilniejszą warstwą ochrony, bo analizuje nie tylko nagłówki, ale też zachowanie requestów. Dla SEO i wydawców wniosek jest prosty: jeśli trzeba realnie odciąć wybrane AI crawlers, najlepiej blokować jak najwyżej w stacku, a robots.txt traktować jako odstraszacz i monitorować logi serwera pod kątem obejść.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu