Common Crawl w czerwcu 2026 opublikował 18-stronicowy „AI Visibility Audit”, a autor tekstu zautomatyzował go w darmowym Common Crawl Visibility Checker. Narzędzie sprawdza domenę pod kątem CCBot, czyli crawlera, którego dane trafiają do większości zbiorów treningowych AI. W materiale padają konkretne liczby: lipcowy crawl 2026 obejmuje 2,14 mld stron, a badanie Mozilli z lat 2019–2023 wykazało, że 64% modeli trenowało na danych z Common Crawl w jakiejś formie. Autor zwraca też uwagę, że Cloudflare od 1 lipca 2025 blokuje AI crawlers domyślnie na nowych domenach, a managed robots.txt objął 3,8 mln kolejnych domen. Dla SEO i wydawców kluczowe jest to, że blokada może wynikać nie z robots.txt, ale z ustawień CDN lub reguł WAF, więc sama edycja pliku na serwerze nie zawsze wystarczy. Checker pokazuje też historię robots.txt, liczbę przechwyconych stron z ostatnich 12 crawlów, zgodność z sitemapą i podgląd rzeczywistej kopii zarchiwizowanej przez CCBot.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu