Kas yra robots.txt ir kam jis reikalingas?
Robots.txt – tai paprastas tekstinis failas, laikomas svetainės šakniniame kataloge, kuris nurodo paieškos sistemų robotams, kokias svetainės dalis jie gali tikrinti, o kokių turėtų vengti. Svarbu suprasti, kad tai nėra techninė apsauga ar prieigos kontrolės priemonė. Kitaip tariant, robots.txt veikia kaip rekomendacija robotams, o ne kaip užraktas lankytojams ar automatizuotoms sistemoms.
Viešojo sektoriaus svetainėse – savivaldybių, mokyklų, bibliotekų, muziejų ar kitų biudžetinių įstaigų portaluose – šis failas padeda tvarkingiau valdyti indeksavimą. Tinkamai sukonfigūruotas robots.txt gali sumažinti nereikalingų techninių puslapių patekimą į paieškos rezultatus, padėti paieškos sistemoms greičiau rasti svarbiausią turinį ir prisidėti prie geresnės bendros svetainės kokybės.
Ką dažniausiai verta riboti?
Robots.txt dažniausiai naudojamas tam, kad paieškos robotai nešvaistytų resursų mažai vertingiems ar techniniams puslapiams. Tai ypač aktualu didesnėms institucijų svetainėms, kuriose yra daug pasikartojančio, dinaminio ar administracinio turinio.
- Administravimo sritys
Turinio valdymo sistemos administravimo aplinka nėra skirta viešam indeksavimui. Tokie adresai neturi jokios vertės gyventojams ar svetainės lankytojams, todėl jų įtraukimas į paieškos rezultatus tik didina informacinį triukšmą.
- Vidinės paieškos rezultatų puslapiai
Jei svetainėje veikia paieška, jos rezultatų puslapiai dažnai sugeneruojami automatiškai ir gali sudaryti daug beveik vienodų URL adresų. Tokie puslapiai paprastai nėra naudingi išoriniams lankytojams, o jų indeksavimas gali neigiamai paveikti svetainės struktūros aiškumą.
- Dubliuotas arba techninis turinys
Kai kurios svetainės turi spausdinimo versijas, filtravimo parametrus, testinius puslapius ar kitus techninius adresus. Jei jie indeksuojami, paieškos sistemos gali sunkiau suprasti, kuris puslapis yra pagrindinis ir aktualiausias.
- Laikini ar nebaigti puslapiai
Viešojo sektoriaus įstaigos dažnai ruošia naujus projektų, viešųjų pirkimų ar renginių puslapius dar prieš juos paskelbiant. Jei tokie puslapiai netyčia tampa matomi robotams, jie gali būti indeksuoti anksčiau nei turinys bus galutinai parengtas.
Ko robots.txt negali padaryti?
Labai svarbu nepainioti robots.txt su saugumo priemonėmis. Šis failas neapsaugo jautrios informacijos, nepaslepia dokumentų nuo žmonių ir neužtikrina, kad konkretus turinys nebus pasiekiamas tiesiogiai įvedus nuorodą. Jei svetainėje yra riboto naudojimo informacija, jai turi būti taikomos tikros apsaugos priemonės: prisijungimas, teisių valdymas, serverio apribojimai ar kiti techniniai sprendimai.
Tai ypač aktualu kalbant apie BDAR reikalavimus. Jei puslapyje ar dokumente yra asmens duomenų, vien robots.txt failo nepakanka. Asmens duomenų apsauga turi būti užtikrinama pačioje sistemoje, o ne pasikliaujant tuo, kad paieškos robotas „mandagiai“ neaplankys nurodyto adreso.
Robots.txt nauda viešojo sektoriaus svetainėms
Valstybinės ir savivaldybių institucijos dažnai administruoja dideles, daugiasluoksnes svetaines, kuriose skelbiama teisės aktų informacija, naujienos, dokumentai, paslaugų aprašymai, formos ir archyvinis turinys. Tokiose svetainėse svarbu, kad paieškos sistemos pirmiausia rastų gyventojams aktualią informaciją: kontaktus, paslaugas, prašymų teikimo tvarką, darbo laiką, registracijos formas ar viešus pranešimus.
Tinkamai naudojamas robots.txt padeda išlaikyti aiškesnę svetainės struktūrą ir sumažina tikimybę, kad paieškos rezultatuose atsiras techniniai ar mažai naudingi puslapiai. Tai prisideda ne tik prie SEO, bet ir prie geresnės naudotojo patirties, nes gyventojai lengviau randa tai, ko ieško.
Ryšys su prieinamumu ir atitiktimi
Nors robots.txt tiesiogiai nesprendžia prieinamumo klausimų, jis yra bendros tvarkingos svetainės architektūros dalis. Kai indeksuojami tik prasmingi, aiškiai struktūruoti puslapiai, lengviau užtikrinti nuoseklią navigaciją, suprantamus pavadinimus ir kokybišką informacijos pateikimą skirtingiems naudotojams.
Viešojo sektoriaus institucijoms taip pat svarbi atitiktis teisės aktams ir gerosioms praktikoms. Robots.txt turėtų būti derinamas su kitais sprendimais: meta žymomis, XML svetainės žemėlapiu, tinkamu puslapių publikavimo procesu ir aiškiu turinio valdymu. Tai padeda užtikrinti, kad viešai matomas turinys būtų tikslus, aktualus ir valdomas atsakingai.
Geroji praktika
- Neblokuokite to, kas turi būti randama
Jei puslapis svarbus gyventojams, pavyzdžiui, paslaugų aprašymas, priėmimo tvarka ar kontaktų informacija, jo nereikėtų drausti robotams. Priešingu atveju svarbi informacija gali tapti sunkiau randama paieškos sistemose.
- Nenaudokite robots.txt kaip apsaugos priemonės
Jei turinys neturi būti viešas, jis turi būti techniškai apsaugotas. Robots.txt tik nurodo robotams elgesio taisykles, bet neužtikrina realaus ribojimo.
- Reguliariai peržiūrėkite taisykles
Svetainėms augant, keičiasi jų struktūra, atsiranda naujų modulių, dokumentų saugyklų ar integracijų. Todėl verta periodiškai patikrinti, ar robots.txt vis dar atitinka svetainės tikslus ir neblokuoja svarbaus turinio.
- Derinkite su kitais SEO ir valdymo įrankiais
Vien robots.txt nėra pakankamas visam indeksavimo valdymui. Geriausi rezultatai pasiekiami tada, kai jis naudojamas kartu su sitemap.xml, canonical nuorodomis, noindex sprendimais ir aiškia turinio valdymo tvarka.
Apibendrinimas
Robots.txt yra nedidelis, bet svarbus svetainės techninės priežiūros elementas. Jis padeda paieškos sistemoms geriau suprasti, kurios svetainės dalys yra svarbios, o kurios – tik techninės ar pagalbinės. Viešojo sektoriaus svetainėse tai ypač naudinga siekiant aiškumo, tvarkos ir kokybiško informacijos pateikimo gyventojams.
Vis dėlto robots.txt neturėtų būti laikomas saugumo ar BDAR atitikties sprendimu. Tai pagalbinis įrankis, kuris geriausiai veikia kaip dalis platesnės, atsakingai valdomos svetainės architektūros.