Is cuid ríthábhachtach de straitéis Sinsearach do shuíomh Gréasáin an robots.txt comhad. Insíonn sé d’innill chuardaigh cé na codanna de do shuíomh ba chóir a innéacsú agus cé na codanna ba chóir neamhaird a dhéanamh orthu. Le Generator , is féidir leat comhad atá optamaithe go maith a chruthú go tapa chun rialú a dhéanamh ar an gcaoi a ndéanann innill chuardaigh crawláil agus innéacsú ar d’ábhar, rud a fheabhsaíonn infheictheacht chuardaigh do shuíomh Gréasáin agus feidhmíocht fhoriomlán Sinsearach. a a Robots.txt a robots.txt
Cad is a Robots.txt Comhad ann?
robots.txt Is comhad téacs simplí é comhad atá a suite i bhfréamh-eolaire do shuíomh Gréasáin. Soláthraíonn sé "treoracha crawlála" do bhotaí innill chuardaigh, ag insint dóibh cé na codanna de do shuíomh ba chóir a innéacsú agus cé na codanna ba chóir a eisiamh ó thorthaí cuardaigh. Tá an comhad seo ar cheann de na chéad rudaí a a lorgaíonn innill chuardaigh agus iad ag crawláil do shuíomh.
Cén Fáth a nÚsáidfeá a Robots.txt Comhad?
Rialú Crawláil Inneall Cuardaigh: Cosc a chur ar innill chuardaigh leathanaigh nó eolairí áirithe a innéacsú.
Cosain Ábhar Príobháideach: Blocáil leathanaigh íogaire, limistéir riaracháin agus acmhainní inmheánacha.
Buiséad Crawlála a Optamú: Dírigh aird inneall cuardaigh ar do leathanaigh is tábhachtaí.
Feabhas a chur ar Fheidhmíocht Sinsearach: Laghdaigh ábhar dúblach agus cosc a chur ar leathanaigh ar chaighdeán íseal a bheith innéacsaithe.
Luas Leathanaigh a Mhéadú: Laghdaigh ualach an fhreastalaí trí rochtain bot a shrianadh ar acmhainní troma.
Treoracha Coiteanna i Robots.txt
Gníomhaire-Úsáideora: Sonraíonn sé an bot lena mbaineann na rialacha(m.sh., Googlebot, Bingbot).
Dícheadaigh: Cuireann sé bac ar rochtain ar leathanaigh nó ar eolairí sonracha.
Ceadaigh: Tugann sé seo rochtain ar leathanaigh nó ar eolairí sonracha, fiú mura bhfuil an t-eolaire tuismitheora ceadaithe.
Léarscáil an tSuímh: Soláthraíonn sé suíomh do léarscáile suímh le haghaidh innéacsú níos tapúla.
Moill ar Chraoladh: Socraíonn sé a moill idir iarratais leathanaigh chun ualach an fhreastalaí a laghdú(ní thacaíonn gach bot leis seo).
Samplaí de Robots.txt Chomhaid
Comhad Robots.txt Bunúsach:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
Gach Bot a Bhlocáil:
User-Agent: *
Disallow: /
Cead a thabhairt do na Botanna Uile:
User-Agent: *
Allow: /
a Bot Sonrach a Bhlocáil:
User-Agent: Googlebot
Disallow: /private/
a Comhad Sonrach á Bhlocáil:
User-Agent: *
Disallow: /private-data.html
Conas an Robots.txt Gineadóir a Úsáid
Roghnaigh a Gníomhaire Úsáideora: Roghnaigh a bot(m.sh., Googlebot, Bingbot, Yandex) nó "Gach Inneall Cuardaigh" .
Cuir Cosáin Dícheadaithe leis: Cuir isteach na heolairí nó na comhaid is mian leat a bhlocáil(m.sh., /admin/ , /private/ ).
Cuir Cosáin Cheadaithe leis: Sonraigh na cosáin is mian leat a cheadú(m.sh., /public/ , /blog/ ).
Cuir a URL Léarscáil an tSuímh leis: Cuir URL do léarscáile suímh ar fáil(m.sh., < a href="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml ).
Gin an Comhad: Cliceáil "Gin Robots.txt " chun do chomhad a chruthú.
Cóipeáil agus Úsáid: Cóipeáil an comhad ginte robots.txt agus uaslódáil é chuig eolaire fréimhe do shuímh ghréasáin.
Cleachtais is Fearr le haghaidh Robots.txt Comhad
Blocáil Leathanaigh Riachtanacha Amháin: Ná blocáil leathanaigh ar mhaith leat iad a rangú in innill chuardaigh.
Bain úsáid as URLanna Absalóideacha le haghaidh Léarscáileanna Suímh: Déan cinnte go bhfuil URL do léarscáile suímh cáilithe go hiomlán.
Seachain Comhaid CSS agus JS a Bhac: Tá na comhaid seo ríthábhachtach le haghaidh rindreála agus innéacsú.
Tástáil do Chomhad: Bain úsáid as an Robots.txt Tástálaí i gConsól Cuardaigh Google chun do rialacha a fhíorú.
Coinnigh Simplí É: Seachain rialacha róchasta a d’fhéadfadh mearbhall a chur ar bhotaí.
Conclúid
Tá sé riachtanach comhad optamaithe a chruthú robots.txt chun rialú a dhéanamh ar an gcaoi a ndéanann innill chuardaigh crawláil agus innéacsú ar do shuíomh Gréasáin. Is féidir leis cabhrú le feidhmíocht Sinsearach do shuíomh a fheabhsú, ábhar íogair a chosaint, agus acmhainní do fhreastalaí a bharrfheabhsú. Bain úsáid as ár Robots.txt nGineadóir saor in aisce chun do chomhad a chruthú go tapa agus go héasca, agus smacht iomlán a ghlacadh ar infheictheacht innill chuardaigh do shuíomh Gréasáin.