OpenAI wyjaśnia, że robots.txt może nie mieć zastosowania do ChatGPT-User, czyli bota pobierającego strony na żądanie użytkownika. W raporcie TollBit State of the Bots za pierwszą połowę 2026 r. ten agent był najczęściej blokowany przez witryny i jednocześnie najczęściej trafiał na URL-e oznaczone jako disallowed. Na europejskich stronach około 15% zidentyfikowanych AI page-fetcherów docierało do adresów, które witryny wcześniej wykluczyły w robots.txt. Wśród botów, które najczęściej omijały te reguły, znalazły się też Bytespider i Youbot, a ChatGPT-User dotarł do największej liczby takich serwisów. OpenAI podkreśla, że ChatGPT-User odwiedza stronę, gdy użytkownik zada pytanie, więc wpis w robots.txt jest w tym przypadku tylko prośbą, a nie twardą blokadą. Dla SEO i wydawców ważne jest rozróżnienie między ChatGPT-User a OAI-SearchBot, bo to właśnie OAI-SearchBot odpowiada za widoczność w wynikach ChatGPT Search. Jeśli serwis blokuje oba boty, ogranicza jednocześnie ruch AI i ekspozycję w odpowiedziach. Cloudflare zapowiada też zmiany po stronie sieciowej: od 15 września nowe domeny dodane do usługi mają domyślnie blokować Training i Agent crawlers na stronach z reklamami, przy zachowaniu dostępu dla Search crawlers.
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu