W weekend 27 lipca w Google zaczęły pojawiać się udostępnione czaty Claude, a analiza reguł crawl pokazuje konflikt między robots.txt a nagłówkiem noindex. Na ścieżce /share/* w claude.ai działa blokada dla User-agent: *, ale te same strony zwracają też nagłówek X-Robots-Tag: none, który Google traktuje jak noindex i nofollow. Problem w tym, że noindex zadziała tylko wtedy, gdy crawler może wejść na stronę i odczytać dyrektywę — przy blokadzie robots.txt Google może jedynie zanotować URL, nie pobierając treści. W praktyce oznacza to, że samo Disallow nie usuwa adresu z wyników, jeśli link do niego krąży w innych miejscach. 404 Media i TechCrunch opisywały, że w wynikach były m.in. materiały medyczne, wewnętrzne dokumenty firmowe oraz pliki z imionami i numerami telefonów dzieci w wieku szkolnym. Anthropic twierdzi, że takie linki pojawiają się w wyszukiwarce tylko wtedy, gdy ktoś udostępni je w miejscu dostępnym dla crawlerów, ale dla użytkowników Claude najważniejsze jest jedno: nieunshare’owany chat nadal może być publiczny, a usunięcie linku z Google to osobna operacja.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu