Googlebot, czyli jaki wpływ na SEO strony mają roboty Google

Zrozumienie tego jak działa Googlebot to klucz do osiągnięcia sukcesu podczas pozycjonowania stron. Bez odpowiedniego dostosowania technicznych parametrów wszystkie działania SEO mogą spalić na panewce. Jak roboty google wpływają na pozycjonowanie?

Co to jest bot?

Na początku trzeba odpowiedzieć sobie na pytanie czym tak naprawdę jest bot? W wielkim uproszczeniu jest to program wykonujący zautomatyzowane zadania najczęściej na bardzo dużą skalę. W jednym z naszych poprzednich artykułów opisywaliśmy dokładnie jak algorytmy kształtują internet. Częścią każdego bota jest zestaw algorytmów, które opisują zasady ich działania.  Z kolei we wpisie: „Co to jest Google?” pokrótce wyjaśnialiśmy wedle jakich reguł pracują roboty Google. Narzędzia, które determinują sposób funkcjonowania największej na świecie wyszukiwarki internetowej.

Obecnie bardzo popularne są tzw. chatboty, które mają za zadanie automatycznie obsługiwać klientów piszących na danej stronie. Dzięki temu można uprościć proces kontaktu i w tej samej chwili odpowiadać na kilkaset wiadomości na raz.

Każda wyszukiwarka posiada własnego bota, który działa na swój własny sposób. W gruncie rzeczy jednak wszystkie z nich skupiają się przede wszystkim na wyszukiwaniu i katalogowaniu stron w internecie.

Jak robot Google trafia na stronę?

Googlebot przede wszystkim zdobywa informacje o miliardach stron jakie istnieją obecnie w internecie. Pierwszym etapem „podróży” robota jest śledzenie linków prowadzących do konkretnej strony. Przeszukując znane już sobie domeny Googlebot śledzi adresy URL prowadzące na zewnątrz. Sprawia to, że linki w gruncie rzeczy działają podobnie jak drogowskazy. Jeżeli w bardziej widocznym miejscu znajduje się dany adres URL tym łatwiej jest go „dostrzec” robotowi Google. Dlatego tak ważny jest link building. Im więcej widocznych drogowskazów posiada nasza strona, tym szybciej zostanie „odwiedzona” przez bota. Jakość i ilość linkowania sama w sobie traktowana jest przez Googlebota jako jeden z czynników rankingowych podczas oceny wartości strony docelowej.

Oczywiście przy pomocy Google Search Console, możemy przesłać informacje o naszej stronie. Dzięki temu nawet jeżeli nie prowadzi do niej żaden link zewnętrzny i tak zostanie ona odwiedzona przez robota.

Co robi Googlebot odwiedzając stronę?

Kiedy już robot trafi na naszą domenę musi odczytać jaka treść się na niej znajduje. Dzięki temu może on ją odpowiednio sklasyfikować i wybrać słowa kluczowe, które będą wyświetlane w wynikach wyszukiwania. Proces ten Google określa jako indeksowanie. To do jakiej „szufladki” trafi strona zależy bezpośrednio od tego jaka jest jej zawartość. Dotyczy to też samego kodu źródłowego, który może czasami utrudniać „zrozumienie” tego co znajduje się pod danym adresem URL. Warto zauważyć, że Google oficjalnie przyznaje, że ich bot oparty jest o technologię bazującą na przeglądarce Chrome w wersji o numerze 41. Jest więc to już dość przestarzała technologia, ponieważ jej premiera miała miejsce na początku 2015 roku. Sprawia to, że do tej pory w niektórych przypadkach Googlebot ma problemy z prawidłowym „odczytaniem” kodu opartego o JavaScript. Jednak niedawno na jednej z konferencji dla developerów przedstawiciele Google zapowiedzieli, że silnik, na którym dotychczas oparte jest renderowanie stron, zostanie wkrótce zaktualizowany. Wkrótce będzie to już zawsze obecna wersja przeglądarki Chrome. Wówczas większość problemów, które wynikały z przedawnienia technologii „wyświetlania” stosowanej przez Googlebota powinna zostać rozwiązana.

Kiedy już strona zostanie poprawnie wyrenderowana przez bota, bada on dokładnie jej zawartość. Wciąż najważniejsze pod tym względem są teksty opublikowane pod danym adresem URL. Dlatego optymalizowanie treści pod kątem SEO jest takie ważne. Podczas analizy treści na stronie bot przegląda również obrazki stąd warto zadbać o dostosowanie plików graficznych do pozycjonowania.

Warto również pamiętać, że od marca tego roku zaczęła obowiązywać aktualizacja Mobile First Index. Dzięki niej priorytet w procesie indeksowania mają wersje mobilne strony. W praktyce oznacza to, że jeżeli jakaś strona jest niedostosowana do wyświetlania na telefonach i tabletach, to jej wartość dla Googlebota może być bardzo niska.

Jak pomóc robotowi Google?

Warto pamiętać, że Googlebot nie ma nieograniczonych możliwości. Zazwyczaj podczas jednej „wizyty” jest w stanie odwiedzić tylko część podstron istniejących w obrębie konkretnej domeny. Ogólna ilość “zasobów” jakie są w stanie poświęcić roboty na analizowanie danej strony to tzw. crawl buget. Istnieje wiele czynników, które decydują o wielkości budżetu indeksowania. Jednym z nich jest chociażby prędkość ładowania strony. To, że czas ma bardzo duży wpływ na efektywność działania robotów potwierdził na twitterze John Mueller- jeden z głównych webmasterów Google:

W przypadku kiedy limit ten zostanie całkowicie wykorzystany, może dojść do sytuacji, w której niektóre adresy URL nie zostaną dodane do indeksu. Robotowi Google można ułatwić zadanie poprzez odpowiednie skonfigurowanie technicznych parametrów związanych ze stroną. Do najważniejszych z nich należą:

Robots.txt

Element służący do „kierowania” ruchem Googlebota to plik robots.txt. Umieszczany jest w głównym katalogu domeny. Zawiera on instrukcje dla wszystkich botów odwiedzających stronę. Np. jakie adresy mogą „odwiedzić”, a które są dla nich niedostępne. Dzięki temu można wykluczyć z indeksacji konkretne typy podstron. Takich jak na przykład koszyk zakupowy lub panel administracyjny. Należy tak robić, ponieważ z punktu widzenia bota nie zawierają one żadnych wartościowych informacji.

Atrybuty linków

Istnieje również możliwość dodawania odpowiednich atrybutów przy umieszczaniu samych linków. Za pomocą rel=”nofollow” można określić, które linki robot powinien ominąć. Jednak nie jest to jednoznaczne z całkowitym wykluczeniem ich z procesu indeksowania. Żeby to zrobić należy użyć z kolei tagu <meta name=”robots” content=”noindex” />, który umieszcza się bezpośrednio w kodzie źródłowym strony, która nie powinna zostać dodana do indeksu Google.

Redukcja błędów 404 i przekierowań

Bardzo istotne jest również to, aby zadbać o jak najmniejszą ilość wewnętrznych przekierowań 301. Także strony, które zwracają błąd 404 wpływają negatywnie na efektywność pracy Googlebota. Dlatego szczególnie ważne jest, aby dbać o to, by wszystkie linki prowadzące do strony jak i te wewnętrzne były zawsze aktualne. Dzięki temu nie będą marnowane zasoby robota przez co wartość strony nie zostanie obniżona.

Mapa witryny

Równie skutecznym sposobem na poprawienie sprawności pracy robota Google jest poprawne skonstruowanie mapy strony. A także dbanie o to, aby była ona aktualizowana na bieżąco. W ten sposób Googlebot z łatwością powinien odnaleźć wszystkie adresy URL istniejące w ramach domeny i dodać je do indeksu.

Googlebot, czyli jaki wpływ na SEO strony mają roboty Google
5 punktów (10) głosów


2 Komentarz

  1. Grzegorz

    Czy jest jakiś sposób na ustawienie aktywności godzin Google bota na stronie ? chętnie bym się dowiedział, tak jak to ma bing np w ustawieniach witryny

    1. Kamil Hyckowski

      Jedyną możliwością ingerowania w aktywność Googlebota poprzez ustawienia dostępne na koncie Google Search Console jest zmiana “crawl rate”, czyli częstotliwości indeksowania. Niestety nie ma opcji, która pozwala na określenie konkretnych godzin w jakich robot będzie odwiedzał konkretną witrynę. Jednocześnie Google przestrzega przed dokonywaniem takich zmian, ponieważ mogą one negatywnie wpłynąć na skuteczność indeksowania. Oficjalny poradnik dotyczący dokonywania takich zmian znajduje się pod tym linkiem: https://support.google.com/webmasters/answer/48620?hl=pl.

      Oczywiście istnieją inne możliwości “kierowania” zachowaniem robota jak chociażby poprzez plik robots.txt, jednak wszystkie sposoby to tylko sugestie do których nie zawsze bot musi się zastosować.

      Jednak zasadnicze pytanie brzmi: co chciałby Pan tym osiągnąć? Prowadzi ono do kolejnych. Dlaczego istnieje potrzeba ograniczania aktywności robotów? Czy obciążają one serwer w taki sposób, że użytkownicy nie mogą korzystać ze strony? Nie znając szerszej perspektywy trudno jest w tym przypadku doradzić coś więcej.

      Jeżeli chciałby Pan uzyskać naszą pomoc ustalaniu prawidłowych wskazówek dla robotów to proszę się śmiało kontaktować. Gdy poznamy więcej szczegółów z pewnością będziemy w stanie zaproponować rozwiązania, które przyczynią się do poprawy działania Pańskiej strony.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Złóż zamówienie

Złóż zamówienie poprzez nasze formularze, w których umieścisz wszystkie szczegóły linkowania.

Zamów

Nie wiesz jakie usługi wybrać?

Zadzwoń

535 901 662

Lub skorzystaj z naszego poradnika online

Nie wiesz co zamówić?

Szybka oferta