Datoteka robots.txt je a ključni dio SEO strategije vaše web stranice. Ona tražilicama govori koje dijelove vaše stranice treba indeksirati, a koje treba ignorirati. Pomoću a Robots.txt Generatora možete brzo stvoriti a dobro optimiziranu robots.txt datoteku za kontrolu načina na koji tražilice pretražuju i indeksiraju vaš sadržaj, poboljšavajući vidljivost vaše web stranice u pretraživanju i ukupne SEO performanse.
Što je a Robots.txt datoteka?
Datoteka robots.txt je a obična tekstualna datoteka koja se nalazi u korijenskom direktoriju vaše web stranice. Ona pruža "direktive za indeksiranje" botovima tražilica, govoreći im koji dijelovi vaše stranice trebaju biti indeksirani, a koji dijelovi trebaju biti isključeni iz rezultata pretraživanja. Ova datoteka je jedna od prvih stvari koje a tražilica traži prilikom indeksiranja vaše stranice.
Zašto koristiti a Robots.txt datoteku?
Kontrola indeksiranja tražilicama: Spriječite tražilice da indeksiraju određene stranice ili direktorije.
Zaštitite privatni sadržaj: Blokirajte osjetljive stranice, administratorska područja i interne resurse.
Optimizirajte proračun za indeksiranje: Usredotočite pažnju tražilica na svoje najvažnije stranice.
Poboljšajte SEO performanse: Smanjite duplicirani sadržaj i spriječite indeksiranje stranica niske kvalitete.
Povećajte brzinu stranice: Smanjite opterećenje poslužitelja ograničavanjem pristupa botova teškim resursima.
Zajedničke direktive u Robots.txt
Korisnički agent: Određuje bota na kojeg se pravila primjenjuju(npr. Googlebot, Bingbot).
Zabrani: Blokira pristup određenim stranicama ili direktorijima.
Dopusti: Omogućuje pristup određenim stranicama ili direktorijima, čak i ako je nadređeni direktorij zabranjen.
Mapa web-mjesta: Pruža lokaciju vaše mape web-mjesta za brže indeksiranje.
Crawl-Delay: Postavlja a kašnjenje između zahtjeva za stranicu kako bi se smanjilo opterećenje poslužitelja(ne podržavaju svi botovi).
Primjeri Robots.txt datoteka
Osnovna Robots.txt datoteka:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
Blokiranje svih botova:
User-Agent: *
Disallow: /
Dopuštanje svih botova:
User-Agent: *
Allow: /
Blokiranje a određenog bota:
User-Agent: Googlebot
Disallow: /private/
Blokiranje a određene datoteke:
User-Agent: *
Disallow: /private-data.html
Kako koristiti Robots.txt generator
Odaberite a korisničkog agenta: Odaberite a bota(npr. Googlebot, Bingbot, Yandex) ili "Sve tražilice" .
Dodaj onemogućene putanje: Unesite direktorije ili datoteke koje želite blokirati(npr. /admin/ , /private/ ).
Dodaj dopuštene putanje: Navedite putanje koje želite dopustiti(npr. /public/ , /blog/ ).
Dodaj a URL karte web-mjesta: Navedite URL svoje karte web-mjesta(npr. < a href="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml ).
Generiranje datoteke: Kliknite "Generiraj Robots.txt " za izradu datoteke.
Kopiraj i koristi: Kopiraj generiranu robots.txt datoteku i prenesi je u korijenski direktorij svoje web stranice.
Najbolje prakse za Robots.txt datoteke
Blokirajte samo potrebne stranice: Nemojte blokirati stranice koje želite rangirati u tražilicama.
Koristite apsolutne URL-ove za Sitemapove: Provjerite je li URL vaše karte web-mjesta potpuno kvalificiran.
Izbjegavajte blokiranje CSS i JS datoteka: Ove datoteke su ključne za renderiranje i indeksiranje.
Testirajte svoju datoteku: Upotrijebite Robots.txt Tester u Google Search Consoleu za provjeru svojih pravila.
Jednostavnost: Izbjegavajte previše složena pravila koja mogu zbuniti botove.
Zaključak
Izrada optimizirane robots.txt datoteke ključna je za kontrolu načina na koji tražilice pretražuju i indeksiraju vašu web stranicu. Može pomoći u poboljšanju SEO performansi vaše stranice, zaštiti osjetljivog sadržaja i optimizaciji resursa vašeg poslužitelja. Koristite naš besplatni Robots.txt generator za brzo i jednostavno stvaranje datoteke i preuzmite potpunu kontrolu nad vidljivošću vaše web stranice u tražilicama.