Cloudflare wprowadza Bot Preference Sync, funkcję która automatycznie generuje robots.txt na podstawie ustawień botów w panelu, a dla nowych klientów ma być włączona domyślnie. Mechanizm zapisuje reguły między markerami # BEGIN Cloudflare Bot Preference Sync i # END Cloudflare Bot Preference Sync, zachowując istniejącą treść pliku pod spodem. Firma podaje trzy kategorie polityk: Search, Agent i Training, z opcjami block on all pages, block only on pages with ads albo allow. Autor zwraca jednak uwagę, że taki model nie pozwala ustawić polityki per crawler, choć w praktyce wiele serwisów blokuje jedne boty, a inne dopuszcza, zależnie od tego, co dostają w zamian. Cloudflare wiąże też blokowanie z własnymi warunkami ujawniania, m.in. wymogiem respektowania no training w robots.txt, dania opcji opt-out od AI summaries i publicznego pokazania, że Disallowing Training nie szkodzi wynikom w Search. Dla wydawców i SEO to sygnał, by porównać robots.txt z faktyczną polityką na edge, bo rozjazd między plikiem a egzekwowaniem może osłabiać wiarygodność blokady. Cloudflare zapowiada też zmianę domyślnych ustawień dla nowych domen od 15 września: Training i Agent mają być blokowane na stronach z reklamami, a Search pozostanie dozwolony.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu