Robots.txt

Robots.txt — tai paprastas tekstinis failas, esantis svetainės šakniniame kataloge, kuris nurodo paieškos sistemų robotams (crawlers), kuriuos svetainės skyrius galima naršyti, o kuriuos reikėtų ignoruoti. Tai nėra saugumo priemonė — tai mandagus prašymas robotams.

Viešojo sektoriaus svetainėse robots.txt padeda užkirsti kelią nesvarbių puslapių (administravimo srities, paieškos rezultatų, kopijų) indeksavimui, taip pagerindamas svetainės SEO kokybę ir taupydamas naršymo biudžetą.