Cloudflare wprowadza nowe reguły klasyfikacji crawlerów AI i od 15 września zmieni domyślne ustawienia dla części witryn. Firma dzieli boty na trzy grupy: Search, Agent i Training, a każdy typ można teraz zarządzać osobno, także na darmowych kontach. Najważniejsza zmiana dotyczy crawlerów wielofunkcyjnych — jeśli strona zablokuje Training, Cloudflare zastosuje najsurowszą regułę także wobec botów łączących Search i Training, takich jak Googlebot, Applebot i Bingbot. W praktyce blokada AI training może więc niechcący uciąć indeksowanie w wyszukiwarce, bo blokada działa na poziomie sieci Cloudflare, a nie tylko w robots.txt. Cloudflare podaje, że nowe domyślne ustawienia obejmą nowe witryny i nowych klientów, a istniejący darmowi użytkownicy, którzy nic nie zmienią do 15 września, zostaną do nich przeniesieni. Dla SEO i wydawców oznacza to konieczność sprawdzenia panelu Cloudflare przed terminem, jeśli chcą blokować trening modeli, ale zachować dostęp Googlebota do crawl budgetu i widoczności w wynikach. Firma równolegle testuje sygnał content-use w robots.txt z wartościami immediate, reference i full oraz odświeża definicję „Verified” botów.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu