Cloudflare 15 września wprowadza ustawienie Disallow AI Training, które publikuje w robots.txt preferencję „no-training”, ale nadal pozwala Googlebot, Applebot i Bingbot na crawl w celach wyszukiwania. Firma jednocześnie zmienia wcześniejszy plan: zamiast automatycznie odcinać te boty od 15 września, opcja Block ma teraz całkowicie zatrzymywać Googlebota, Applebota i Bingbota, także dla Search. Nowe ustawienie działa w ramach kontroli Training, obok opcji Search i Agent, a Cloudflare zapowiada migrację istniejących witryn blokujących trening AI właśnie na Disallow AI Training. Zmiana obejmuje też mixed-use crawlers oznaczone jako „Accountable”, jeśli spełniają wymagania dotyczące opt-outu, transparentności URL i braku wpływu na wyniki organiczne. Dla Google oznacza to użycie Google-Extended, dla Apple — Applebot-Extended, natomiast Bing nie ma jeszcze wsparcia dla robots.txt no-training preference i nadal opiera opt-out na NOARCHIVE. Cloudflare podkreśla, że wybór Block zamiast Disallow AI Training nie tylko blokuje trening AI, ale też odcina crawl pod wyszukiwarkę, więc właściciele serwisów muszą uważać, jaką politykę ustawiają. Firma zapowiada też kolejne kroki: URL-level transparency dla Google-Extended ma pojawić się w najbliższych tygodniach, Apple pracuje nad własnym narzędziem na przyszły rok, a wsparcie Microsoftu dla robots.txt no-training preference celuje w początek 2027 r.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu