Cloudflare i OpenAI informują, że wspólny pilotaż badawczy pomógł OpenAI odkryć i zaindeksować setki milionów nowych stron internetowych na potrzeby wyszukiwarki ChatGPT. Pilotaż objął grupę uczestników stanowiącą około 1% całej sieci Cloudflare. Wstępne wyniki firmy opisały 15 października we wpisie na blogu Cloudflare, współtworzonym przez dwóch pracowników OpenAI; sam pilotaż zapowiedziano 8 lipca. Sygnały z sieci, m.in. informacje o tym, jak niedawno strona była aktualizowana, jakość ruchu na witrynie i rodzaj wprowadzonych zmian, mają pomagać crawlerowi znajdować wartościowe podstrony, nawet jeśli prowadzi do nich niewiele linków (przykłady: instrukcja obsługi pralki, opłaty paszportowe, menu restauracji). Sygnały zmian pozwalają też crawlerowi pomijać martwe adresy URL, przekierowania na stronę główną i duplikaty oraz wracać tylko na strony, które się zmieniły. Firmy testują też sygnały oznaczające szkodliwe strony, np. fałszywy formularz logowania podrzucony na jednej podstronie legalnego serwisu, tak by flagować stronę, a nie całą domenę. Dostęp nadal regulują ustawienia robots.txt: blokada OAI-SearchBot wyklucza serwis z wyników wyszukiwania ChatGPT, a opcja GPTBot (trening) jest oddzielna. Można więc dopuścić OAI-SearchBot i zablokować GPTBot, a ruch botów sprawdzić w logach serwera i w Cloudflare AI Crawl Control, dostępnym w każdym planie. Wpis nie podaje, jak często nowe strony są cytowane w ChatGPT ani ile wizyt wygenerowały, a OpenAI samodzielnie ocenia i ranku
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu