இந்தக் robots.txt கோப்பு a உங்கள் வலைத்தளத்தின் SEO உத்தியின் ஒரு முக்கிய பகுதியாகும். உங்கள் தளத்தின் எந்தப் பகுதிகளை அட்டவணைப்படுத்த வேண்டும், எவற்றைப் புறக்கணிக்க வேண்டும் என்பதை இது தேடுபொறிகளுக்குச் சொல்கிறது. a Robots.txt ஜெனரேட்டரைப் a பயன்படுத்தி, தேடுபொறிகள் உங்கள் உள்ளடக்கத்தை எவ்வாறு வலைவலம் செய்து அட்டவணைப்படுத்துகின்றன என்பதைக் கட்டுப்படுத்த, உங்கள் வலைத்தளத்தின் தேடல் தெரிவுநிலை மற்றும் ஒட்டுமொத்த SEO செயல்திறனை மேம்படுத்த, நன்கு மேம்படுத்தப்பட்ட robots.txt கோப்பை விரைவாக உருவாக்கலாம் .
a Robots.txt கோப்பு என்றால் என்ன ?
ஒரு robots.txt கோப்பு என்பது a உங்கள் வலைத்தளத்தின் மூல கோப்பகத்தில் இருக்கும் எளிய உரைக் கோப்பாகும். இது தேடுபொறி பாட்களுக்கு "வலம் செல்லும் கட்டளைகளை" a வழங்குகிறது, உங்கள் தளத்தின் எந்த பகுதிகளை அட்டவணைப்படுத்த வேண்டும் மற்றும் எந்த பகுதிகளை தேடல் முடிவுகளிலிருந்து விலக்க வேண்டும் என்பதை அவர்களுக்குத் தெரிவிக்கிறது. உங்கள் தளத்தை வலைவலம் செய்யும்போது தேடுபொறி முதலில் தேடும் விஷயங்களில் இந்தக் கோப்பும் ஒன்றாகும்.
a Robots.txt கோப்பை ஏன் பயன்படுத்த வேண்டும் ?
தேடுபொறி ஊர்ந்து செல்வதைக் கட்டுப்படுத்தவும்: தேடுபொறிகள் சில பக்கங்கள் அல்லது கோப்பகங்களை அட்டவணைப்படுத்துவதைத் தடுக்கவும்.
தனிப்பட்ட உள்ளடக்கத்தைப் பாதுகாக்கவும்: முக்கியமான பக்கங்கள், நிர்வாகப் பகுதிகள் மற்றும் உள் வளங்களைத் தடு.
வலைவல பட்ஜெட்டை மேம்படுத்தவும்: உங்கள் மிக முக்கியமான பக்கங்களில் தேடுபொறி கவனத்தை செலுத்துங்கள்.
SEO செயல்திறனை மேம்படுத்தவும்: நகல் உள்ளடக்கத்தைக் குறைத்து, குறைந்த தரம் வாய்ந்த பக்கங்கள் அட்டவணைப்படுத்தப்படுவதைத் தடுக்கவும்.
பக்க வேகத்தை அதிகரிக்கவும்: கனமான ஆதாரங்களுக்கான போட் அணுகலைக் கட்டுப்படுத்துவதன் மூலம் சேவையக சுமையைக் குறைக்கவும்.
பொதுவான வழிமுறைகள் Robots.txt
பயனர்-முகவர்: விதிகள் பொருந்தும் போட்டைக் குறிப்பிடுகிறது(எ.கா., Googlebot, Bingbot).
அனுமதியை ரத்து செய்: குறிப்பிட்ட பக்கங்கள் அல்லது கோப்பகங்களுக்கான அணுகலைத் தடுக்கிறது.
அனுமதி: பெற்றோர் கோப்பகம் அனுமதிக்கப்படாவிட்டாலும், குறிப்பிட்ட பக்கங்கள் அல்லது கோப்பகங்களுக்கான அணுகலை வழங்குகிறது.
தளவரைபடம்: வேகமான அட்டவணைப்படுத்தலுக்கு உங்கள் தளவரைபடத்தின் இருப்பிடத்தை வழங்குகிறது.
வலைவலம்-தாமதம்: சர்வர் சுமையைக் குறைக்க பக்க கோரிக்கைகளுக்கு இடையிலான தாமதத்தை அமைக்கிறது a(அனைத்து போட்களாலும் ஆதரிக்கப்படவில்லை).
Robots.txt கோப்புகளின் எடுத்துக்காட்டுகள்
அடிப்படை Robots.txt கோப்பு:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
அனைத்து பாட்களையும் தடுப்பது:
User-Agent: *
Disallow: /
அனைத்து பாட்களையும் அனுமதித்தல்:
User-Agent: *
Allow: /
a குறிப்பிட்ட பாட்டைத் தடுப்பது:
User-Agent: Googlebot
Disallow: /private/
a குறிப்பிட்ட கோப்பைத் தடுத்தல்:
User-Agent: *
Disallow: /private-data.html
Robots.txt ஜெனரேட்டரை எவ்வாறு பயன்படுத்துவது
a பயனர்-முகவரைத் தேர்ந்தெடுக்கவும் a: பாட்(எ.கா., Googlebot, Bingbot, Yandex) அல்லது "அனைத்து தேடுபொறிகள்" என்பதைத் தேர்ந்தெடுக்கவும் .
அனுமதியை அனுமதிக்காத பாதைகளைச் சேர்க்கவும்: நீங்கள் தடுக்க விரும்பும் கோப்பகங்கள் அல்லது கோப்புகளை உள்ளிடவும்(எ.கா., /admin/ , /private/ ).
அனுமதி பாதைகளைச் சேர்: நீங்கள் அனுமதிக்க விரும்பும் பாதைகளைக் குறிப்பிடவும்(எ.கா., /public/ , /blog/ ).
தளவரைபட URL ஐச் சேர்க்கவும் a: உங்கள் தளவரைபடத்தின் URL ஐ வழங்கவும்(எ.கா., href a ="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml ).
கோப்பை உருவாக்கு: உங்கள் கோப்பை உருவாக்க "உருவாக்கு Robots.txt " என்பதைக் கிளிக் செய்யவும் .
நகலெடுத்துப் பயன்படுத்தவும்: உருவாக்கப்பட்ட robots.txt கோப்பை நகலெடுத்து உங்கள் வலைத்தளத்தின் மூல கோப்பகத்தில் பதிவேற்றவும்.
Robots.txt கோப்புகளுக்கான சிறந்த நடைமுறைகள்
தேவையான பக்கங்களை மட்டும் தடு: தேடுபொறிகளில் நீங்கள் தரவரிசைப்படுத்த விரும்பும் பக்கங்களைத் தடுக்க வேண்டாம்.
தளவரைபடங்களுக்கு முழுமையான URLகளைப் பயன்படுத்தவும்: உங்கள் தளவரைபட URL முழுமையாகத் தகுதி பெற்றது என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள்.
CSS மற்றும் JS கோப்புகளைத் தடுப்பதைத் தவிர்க்கவும்: இந்த கோப்புகள் ரெண்டரிங் மற்றும் இன்டெக்ஸ் செய்வதற்கு முக்கியமானவை.
உங்கள் கோப்பைச் சோதிக்கவும்: உங்கள் விதிகளைச் சரிபார்க்க Google Search Console இல் உள்ள Robots.txt Tester ஐப் பயன்படுத்தவும்.
எளிமையாக இருங்கள்: போட்களைக் குழப்பக்கூடிய மிகவும் சிக்கலான விதிகளைத் தவிர்க்கவும்.
முடிவுரை
robots.txt தேடுபொறிகள் உங்கள் வலைத்தளத்தை எவ்வாறு வலைவலம் செய்கின்றன மற்றும் அட்டவணைப்படுத்துகின்றன என்பதைக் கட்டுப்படுத்த, மேம்படுத்தப்பட்ட கோப்பை உருவாக்குவது அவசியம். இது உங்கள் தளத்தின் SEO செயல்திறனை மேம்படுத்தவும், முக்கியமான உள்ளடக்கத்தைப் பாதுகாக்கவும், உங்கள் சேவையக வளங்களை மேம்படுத்தவும் உதவும். உங்கள் கோப்பை விரைவாகவும் எளிதாகவும் உருவாக்க எங்கள் இலவச Robots.txt ஜெனரேட்டரைப் பயன்படுத்தவும், மேலும் உங்கள் வலைத்தளத்தின் தேடுபொறி தெரிவுநிலையை முழுமையாகக் கட்டுப்படுத்தவும்.