Plik robots.txt to specjalny, publicznie dostępny plik tekstowy umieszczany w głównym katalogu serwera danej strony internetowej. Jest on częścią tzw. Robots Exclusion Protocol (REP) i stanowi zbiór instrukcji dla robotów sieciowych – automatów indeksujących, takich jak Googlebot. Jego główną rolą jest określenie, które sekcje witryny są dostępne do skanowania i indeksowania, a które powinny zostać pominięte. Plik ten nie służy do ukrywania witryny przed wyszukiwarkami, a jedynie do regulowania dostępu robotów do konkretnych zasobów.
Główne zastosowanie pliku robots.txt to zarządzanie ruchem botów na stronie i optymalizacja procesu indeksowania. Pomaga on zapobiegać przeciążeniom serwera oraz wykluczać z indeksu strony lub pliki, które są nieistotne, zduplikowane albo nieprzeznaczone dla użytkowników wyszukiwarki – np. dokumenty tymczasowe, katalogi robocze czy zasoby techniczne. Plik może również służyć do kontrolowania widoczności treści multimedialnych (zdjęć, filmów, dźwięków) lub plików zasobów (np. skryptów, arkuszy CSS). Należy jednak zachować ostrożność – zablokowanie zbyt wielu zasobów może utrudnić wyszukiwarce zrozumienie struktury i zawartości strony.
