Faili robots.txt ni sehemu muhimu ya mkakati wa SEO a wa tovuti yako. Inaambia injini za utafutaji ni sehemu gani za tovuti yako zinafaa kuorodheshwa na zipi zinapaswa kupuuzwa. Kwa kutumia Jenereta , unaweza kuunda faili iliyoboreshwa kwa haraka ili kudhibiti jinsi injini za utafutaji zinavyotambaa na kuorodhesha maudhui yako, kuboresha mwonekano wa utafutaji wa tovuti yako na utendaji wa jumla wa SEO. a Robots.txt a robots.txt
Faili ni nini a Robots.txt ?
Faili robots.txt ni a faili ya maandishi ambayo iko kwenye saraka ya mizizi ya tovuti yako. Inatoa "maelekezo ya kutambaa" kwa roboti za injini tafuti, ikiwaambia ni sehemu gani za tovuti yako zinafaa kuorodheshwa na ni sehemu gani zinapaswa kutengwa kwenye matokeo ya utafutaji. Faili hii ni mojawapo ya mambo ya kwanza ambayo a injini ya utafutaji hutafuta wakati wa kutambaa kwenye tovuti yako.
Kwa Nini Utumie a Robots.txt Faili?
Dhibiti Utambazaji wa Injini ya Utafutaji: Zuia injini tafuti kuorodhesha kurasa au saraka fulani.
Linda Maudhui ya Faragha: Zuia kurasa nyeti, maeneo ya msimamizi na rasilimali za ndani.
Boresha Bajeti ya Kutambaza: Lenga umakini wa injini ya utafutaji kwenye kurasa zako muhimu zaidi.
Boresha Utendaji wa SEO: Punguza nakala za yaliyomo na uzuie kurasa za ubora wa chini kutoka katika faharasa.
Ongeza Kasi ya Ukurasa: Punguza upakiaji wa seva kwa kuzuia ufikiaji wa bot kwa rasilimali nzito.
Maagizo ya kawaida katika Robots.txt
Wakala wa Mtumiaji: Hubainisha kijibu ambacho sheria hutumika(kwa mfano, Googlebot, Bingbot).
Usiruhusu: Huzuia ufikiaji wa kurasa au saraka mahususi.
Ruhusu: Huruhusu ufikiaji wa kurasa au saraka mahususi, hata kama saraka kuu imekataliwa.
Ramani ya tovuti: Hutoa eneo la ramani yako ya tovuti kwa uorodheshaji haraka.
Ucheleweshaji wa Kutambaa: Huweka a ucheleweshaji kati ya maombi ya ukurasa ili kupunguza upakiaji wa seva(haitumiki na roboti zote).
Mifano ya Robots.txt Faili
Faili ya Msingi Robots.txt:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
Kuzuia Vijibu Zote:
User-Agent: *
Disallow: /
Kuruhusu Vijibu Zote:
User-Agent: *
Allow: /
Kuzuia a Kijibu Maalum:
User-Agent: Googlebot
Disallow: /private/
Kuzuia a Faili Maalum:
User-Agent: *
Disallow: /private-data.html
Jinsi ya kutumia Robots.txt jenereta
Chagua a Wakala wa Mtumiaji: Chagua a bot(km, Googlebot, Bingbot, Yandex) au "Injini Zote za Utafutaji" .
Ongeza Njia za Usiruhusu: Ingiza saraka au faili unazotaka kuzuia(kwa mfano, /admin/ , /private/ ).
Ongeza Ruhusu Njia: Bainisha njia unazotaka kuruhusu(kwa mfano, /public/ , /blog/ ).
Ongeza a URL ya Ramani ya Tovuti: Toa URL ya ramani yako ya tovuti(kwa mfano, < a href="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml ).
Tengeneza Faili: Bofya "Tengeneza Robots.txt " ili kuunda faili yako.
Nakili na Utumie: Nakili faili iliyotengenezwa robots.txt na uipakie kwenye saraka ya mizizi ya tovuti yako.
Mbinu Bora za Robots.txt Faili
Zuia Kurasa Zinazohitajika Pekee: Usizuie kurasa ambazo ungependa kuweka nafasi katika injini za utafutaji.
Tumia URL Kabisa za Ramani za Tovuti: Hakikisha kuwa URL ya ramani yako ya tovuti imehitimu kikamilifu.
Epuka Kuzuia Faili za CSS na JS: Faili hizi ni muhimu kwa uwasilishaji na faharasa.
Jaribu Faili Yako: Tumia Robots.txt Kijaribu katika Dashibodi ya Tafuta na Google ili kuthibitisha sheria zako.
Ifanye Rahisi: Epuka sheria ngumu kupita kiasi ambazo zinaweza kuchanganya roboti.
Hitimisho
Kuunda robots.txt faili iliyoboreshwa ni muhimu ili kudhibiti jinsi injini za utafutaji zinavyotambaa na kuorodhesha tovuti yako. Inaweza kusaidia kuboresha utendaji wa SEO wa tovuti yako, kulinda maudhui nyeti, na kuboresha rasilimali za seva yako. Tumia Robots.txt Jenereta yetu isiyolipishwa ili kuunda faili yako haraka na kwa urahisi, na udhibiti kikamilifu mwonekano wa injini ya utafutaji ya tovuti yako.