Šis robots.txt failas yra a labai svarbi jūsų svetainės SEO strategijos dalis. Jis nurodo paieškos sistemoms, kurios jūsų svetainės dalys turėtų būti indeksuojamos, o kurios turėtų būti ignoruojamos. Naudodami a Robots.txt generatorių , galite greitai sukurti a gerai optimizuotą robots.txt failą, kad valdytumėte, kaip paieškos sistemos nuskaito ir indeksuoja jūsų turinį, taip pagerindami savo svetainės matomumą paieškos sistemose ir bendrą SEO našumą.
Kas yra a Robots.txt failas?
Failas robots.txt yra a paprasto teksto failas, esantis jūsų svetainės šakniniame kataloge. Jis teikia „nuskaitymo direktyvas“ paieškos sistemų robotams, nurodydamas, kurios jūsų svetainės dalys turėtų būti indeksuojamos, o kurios dalys neturėtų būti rodomos paieškos rezultatuose. Šis failas yra vienas pirmųjų dalykų, kurių a paieškos sistema ieško nuskaitydama jūsų svetainę.
Kodėl verta naudoti a Robots.txt failą?
Paieškos sistemų nuskaitymo valdymas: neleiskite paieškos sistemoms indeksuoti tam tikrų puslapių ar katalogų.
Apsaugokite privatų turinį: blokuokite slaptus puslapius, administratoriaus sritis ir vidinius išteklius.
Optimizuokite nuskaitymo biudžetą: sutelkite paieškos sistemų dėmesį į svarbiausius puslapius.
Pagerinkite SEO našumą: sumažinkite pasikartojančio turinio kiekį ir neleiskite indeksuoti žemos kokybės puslapių.
Padidinkite puslapio greitį: sumažinkite serverio apkrovą, apribodami robotų prieigą prie didelių išteklių.
Bendrosios direktyvos Robots.txt
Vartotojo agentas: nurodo robotą, kuriam taikomos taisyklės(pvz., Googlebot, Bingbot).
Neleisti: Blokuoja prieigą prie konkrečių puslapių ar katalogų.
Leisti: Suteikia prieigą prie konkrečių puslapių ar katalogų, net jei prieiga prie pagrindinio katalogo neleidžiama.
Svetainės planas: pateikia jūsų svetainės plano vietą, kad būtų galima greičiau indeksuoti.
Nuskaitymo delsa: nustato a delsą tarp puslapio užklausų, kad sumažėtų serverio apkrova(ne visi robotai palaiko).
Robots.txt Failų pavyzdžiai
Pagrindinis Robots.txt failas:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
Visų robotų blokavimas:
User-Agent: *
Disallow: /
Leidžiami visi robotai:
User-Agent: *
Allow: /
a Konkretaus roboto blokavimas:
User-Agent: Googlebot
Disallow: /private/
a Konkretaus failo blokavimas:
User-Agent: *
Disallow: /private-data.html
Kaip naudoti Robots.txt generatorių
Pasirinkite a vartotojo agentą: pasirinkite a robotą(pvz., Googlebot, Bingbot, Yandex) arba „Visos paieškos sistemos“ .
Pridėti neleistinus kelius: įveskite katalogus arba failus, kuriuos norite blokuoti(pvz., /admin/ , /private/ ).
Pridėti leidžiamus kelius: nurodykite kelius, kuriuos norite leisti(pvz., /public/ , /blog/ ).
Pridėti a svetainės schemos URL: Pateikite savo svetainės schemos URL(pvz., < a href="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml ).
Sukurti failą: spustelėkite „Sukurti Robots.txt “ , kad sukurtumėte failą.
Kopijuoti ir naudoti: nukopijuokite sugeneruotą robots.txt failą ir įkelkite jį į savo svetainės šakninį katalogą.
Geriausia Robots.txt failų naudojimo praktika
Blokuokite tik būtinus puslapius: Neblokuokite puslapių, kuriuos norite reitinguoti paieškos sistemose.
Svetainės schemoms naudokite absoliučius URL: įsitikinkite, kad jūsų svetainės schemos URL yra visiškai kvalifikuotas.
Venkite CSS ir JS failų blokavimo: šie failai yra labai svarbūs atvaizdavimui ir indeksavimui.
Patikrinkite savo failą: naudokite „Google Search Console“ įrankį Robots.txt „Tester“ , kad patikrintumėte savo taisykles.
Paprastumo principas: venkite pernelyg sudėtingų taisyklių, kurios gali suklaidinti robotus.
Išvada
Optimizuoto robots.txt failo sukūrimas yra būtinas norint valdyti, kaip paieškos sistemos nuskaito ir indeksuoja jūsų svetainę. Tai gali padėti pagerinti jūsų svetainės SEO našumą, apsaugoti neskelbtiną turinį ir optimizuoti serverio išteklius. Norėdami greitai ir lengvai sukurti failą ir visiškai kontroliuoti savo svetainės matomumą paieškos sistemose, naudokite mūsų nemokamą Robots.txt generatorių.