Jak działa Googlebot?

Zrozumienie tego jak działa Googlebot to klucz do osiągnięcia sukcesu podczas pozycjonowania stron. Bez odpowiedniego dostosowania technicznych parametrów wszystkie działania SEO mogą spalić na panewce. Jak zatem działa robot Google?

Co to jest bot?

Na początku trzeba odpowiedzieć sobie na pytanie czym tak naprawdę jest bot? W wielkim uproszczeniu jest to program wykonujący zautomatyzowane zadania najczęściej na bardzo dużą skalę. W jednym z naszych poprzednich artykułów opisywaliśmy dokładnie jak algorytmy kształtują internet, a częścią każdego bota jest zestaw algorytmów, które opisują zasady ich działania.  Z kolei we wpisie: „Co to jest Google?” pokrótce wyjaśnialiśmy wedle jakich reguł pracuje robot Google, które to determinują sposób funkcjonowania największej na świecie wyszukiwarki internetowej.

Obecnie bardzo popularne są tzw. chatboty, które mają za zadanie automatycznie obsługiwać klientów piszących na danej stronie. Dzięki temu można uprościć proces kontaktu i w tej samej chwili odpowiadać na kilkaset wiadomości na raz.

Każda wyszukiwarka posiada własnego bota, który działa na swój własny sposób, ale w gruncie rzeczy wszystkie z nich skupiają się przede wszystkim na wyszukiwaniu i katalogowaniu stron w internecie.

Jak robot Google trafia na stronę?

Googlebot przede wszystkim zdobywa informacje o miliardach stron jakie istnieją obecnie w internecie. Pierwszym etapem „podróży” robota jest śledzenie linków prowadzących do konkretnej strony. Przeszukując znane już sobie domeny Googlebot śledzi adresy URL prowadzące na zewnątrz. Sprawia to, że linki w gruncie rzeczy działają podobnie jak drogowskazy. Jeżeli w bardziej widocznym miejscu znajduje się dany adres URL tym łatwiej jest go „dostrzec” robotowi Google. Wpływa to na fakt, że link building jest ważny, bo im więcej widocznych drogowskazów posiada nasza strona tym szybciej zostanie „odwiedzona” przez bota. Jakość i ilość linkowania sama w sobie traktowana jest przez Googlebota jako jeden z czynników rankingowych podczas oceny wartości strony docelowej.

Oczywiście przy pomocy Google Search Console, możemy przesłać informacje o naszej stronie co sprawi, że nawet jeżeli nie prowadzi do niej żaden link zewnętrzny i tak zostanie ona odwiedzona przez robota.

Co robi Googlebot odwiedzając stronę?

Kiedy już robot trafi na naszą domenę musi odczytać to jaka treść się na niej znajduje. Dzięki temu może on ją odpowiednio sklasyfikować i wybrać słowa kluczowe, które będą wyświetlane w wynikach wyszukiwania. Proces ten Google określa jako indeksowanie. To do jakiej „szufladki” trafi strona zależy bezpośrednio od tego jaka jest jej zawartość. Dotyczy to też samego kodu źródłowego, który może czasami utrudniać „zrozumienie” tego co znajduje się pod danym adresem URL. Warto zauważyć, że Google oficjalnie przyznaje, że ich bot oparty jest o technologię bazującą na przeglądarce Chrome w wersji o numerze 41. Jest więc to już dość przestarzała technologia, ponieważ jej premiera miała miejsce na początku 2015 roku. Sprawia to, że do tej pory w niektórych przypadkach Googlebot ma problemy z prawidłowym „odczytaniem” kodu opartego o JavaScript. Jednak niedawno na jednej z konferencji dla developerów przedstawiciele Google zapowiedzieli, że w najbliższym czasie silnik, na którym dotychczas oparte jest renderowanie stron zostanie wkrótce zaktualizowany. Wkrótce będzie to już zawsze obecna wersja przeglądarki Chrome. Kiedy tak się stanie to najprawdopodobniej większość problemów, które wynikały z przedawnienia technologii „wyświetlania” stosowanej przez Googlebota powinna zostać rozwiązana.

Kiedy już strona zostanie poprawnie wyrenderowana przez bota bada on dokładnie jej zawartość. Wciąż najważniejsze pod tym względem są teksty opublikowane pod danym adresem URL, dlatego też optymalizowanie treści pod kątem SEO jest takie ważne. Podczas analizy treści na stronie bot przegląda również obrazki stąd warto zadbać o dostosowanie plików graficznych do pozycjonowania.

Warto również pamiętać, że od marca tego roku zaczęła obowiązywać aktualizacja Mobile First Index. Dzięki niej priorytet w procesie indeksowania mają wersje mobilne strony. W praktyce oznacza to, że jeżeli jakaś strona jest niedostosowana do wyświetlania na telefonach i tabletach to jej wartość dla Googlebota może być bardzo niska.

Jak pomóc robotowi Google?

Warto pamiętać, że Googlebot nie ma nieograniczonych możliwości i zazwyczaj podczas jednej „wizyty” jest w stanie odwiedzić tylko część podstron istniejących w obrębie konkretnej domeny. Ogólna ilość “zasobów” jakie są w stanie poświęcić roboty na analizowanie danej strony to tzw. crawl buget. Istnieje wiele czynników, które decydują o wielkości budżetu indeksowania. Jednym z nich jest chociażby prędkość ładowania strony. W przypadku kiedy limit ten zostanie całkowicie wykorzystany może dojść do sytuacji, w której niektóre adresy URL nie zostaną dodane do indeksu. Robotowi Google można ułatwić zadanie poprzez odpowiednie skonfigurowanie technicznych parametrów związanych ze stroną. Do najważniejszych z nich należą:

Robots.txt

Jednym z podstawowych elementów, które służą do „kierowania” ruchem Googlebota jest plik robots.txt umieszczany w głównym katalogu domeny. Zawiera on instrukcje dla wszystkich botów odwiedzających stronę jakie adresy mogą „odwiedzić”, a które są dla nich niedostępne. Dzięki temu można wykluczyć z indeksacji konkretne typy podstron jak na przykład koszyk zakupowy, lub panel administracyjny. Należy tak robić ponieważ z punktu widzenia bota nie zawierają one żadnych wartościowych informacji.

Atrybuty linków

Istnieje również możliwość dodawania odpowiednich atrybutów przy umieszczaniu samych linków. Za pomocą rel=”nofollow” można określić, które linki robot powinien ominąć. Jednak nie jest to jednoznaczne z całkowitym wykluczeniem ich z procesu indeksowania. Żeby to zrobić należy użyć z kolei tagu <meta name=”robots” content=”noindex” />, który umieszcza się bezpośrednio w kodzie źródłowym strony, która nie powinna zostać dodana do indeksu Google.

Redukcja błędów 404 i przekierowań

Bardzo istotne jest również to, aby zadbać o jak najmniejszą ilość wewnętrznych przekierowań 301. Także strony, które zwracają błąd 404 wpływają negatywnie na efektywność pracy Googlebota. Dlatego szczególnie ważne jest, aby dbać o to, by wszystkie linki prowadzące do strony jak i te wewnętrzne były zawsze aktualne. Dzięki temu nie będą marnowane zasoby robota przez co wartość strony nie zostanie obniżona.

Mapa witryny

Równie skutecznym sposobem na poprawienie sprawności pracy robota Google jest poprawne skonstruowanie mapy strony i dbanie o to, aby była ona aktualizowana na bieżąco. W ten sposób Googlebot z łatwością powinien odnaleźć wszystkie adresy URL istniejące w ramach domeny i dodać je do indeksu.

Jak działa Googlebot?
5 punktów (9) głosów


Zamów

Już teraz

Złóż zamówienie poprzez nasze formularze, w których umieścisz wszystkie szczegóły linkowania.

Zamów

Centrum pomocy

Zadzwoń

nie wiesz jakie pakiety wybrać?

535 901 662

Lub skorzystaj z naszego poradnika online

Nie wiesz co zamówić?

Szybka oferta