फ़ाइल आपकी वेबसाइट की SEO रणनीति robots.txt का महत्वपूर्ण हिस्सा है । यह सर्च इंजन को बताता है कि आपकी साइट के किन हिस्सों को इंडेक्स किया जाना चाहिए और किन हिस्सों को अनदेखा किया जाना चाहिए। जेनरेटर का उपयोग करके, आप जल्दी से अच्छी तरह से अनुकूलित फ़ाइल बना सकते हैं ताकि यह नियंत्रित किया जा सके कि सर्च इंजन आपकी सामग्री को कैसे क्रॉल और इंडेक्स करते हैं, जिससे आपकी वेबसाइट की खोज दृश्यता और समग्र SEO प्रदर्शन में सुधार होता है। a a Robots.txt a robots.txt
a Robots.txt फ़ाइल क्या है ?
robots.txt फ़ाइल एक a सादा टेक्स्ट फ़ाइल होती है जो आपकी वेबसाइट की रूट डायरेक्टरी में रहती है। यह सर्च इंजन बॉट्स को "क्रॉल निर्देश" प्रदान करती है, जो उन्हें बताती है कि आपकी साइट के किन हिस्सों को इंडेक्स किया जाना चाहिए और किन हिस्सों को सर्च रिजल्ट से बाहर रखा जाना चाहिए। यह फ़ाइल उन पहली चीज़ों में से एक है जिसे a सर्च इंजन आपकी साइट को क्रॉल करते समय देखता है।
फ़ाइल का उपयोग क्यों करें a Robots.txt ?
खोज इंजन क्रॉलिंग को नियंत्रित करें: खोज इंजन को कुछ पृष्ठों या निर्देशिकाओं को अनुक्रमित करने से रोकें।
निजी सामग्री की सुरक्षा करें: संवेदनशील पृष्ठों, व्यवस्थापक क्षेत्रों और आंतरिक संसाधनों को ब्लॉक करें।
क्रॉल बजट अनुकूलित करें: खोज इंजन का ध्यान अपने सबसे महत्वपूर्ण पृष्ठों पर केन्द्रित करें।
एसईओ प्रदर्शन में सुधार करें: डुप्लिकेट सामग्री को कम करें और कम गुणवत्ता वाले पृष्ठों को अनुक्रमित होने से रोकें।
पेज की गति बढ़ाएँ: भारी संसाधनों तक बॉट की पहुँच को प्रतिबंधित करके सर्वर लोड को कम करें।
सामान्य निर्देश Robots.txt
उपयोगकर्ता-एजेंट: उस बॉट को निर्दिष्ट करता है जिस पर नियम लागू होते हैं(उदाहरण के लिए, Googlebot, Bingbot)।
अस्वीकृत करें: विशिष्ट पृष्ठों या निर्देशिकाओं तक पहुंच को अवरुद्ध करता है।
अनुमति दें: विशिष्ट पृष्ठों या निर्देशिकाओं तक पहुंच प्रदान करता है, भले ही मूल निर्देशिका अस्वीकृत हो।
साइटमैप: तेज़ अनुक्रमण के लिए आपके साइटमैप का स्थान प्रदान करता है।
क्रॉल-विलंब: सर्वर लोड को कम करने के लिए पृष्ठ अनुरोधों के बीच विलंब निर्धारित करता है a(सभी बॉट्स द्वारा समर्थित नहीं)।
Robots.txt फ़ाइलों के उदाहरण
मूल Robots.txt फ़ाइल:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
सभी बॉट्स को ब्लॉक करना:
User-Agent: *
Disallow: /
सभी बॉट्स को अनुमति देना:
User-Agent: *
Allow: /
a विशिष्ट बॉट को ब्लॉक करना:
User-Agent: Googlebot
Disallow: /private/
a विशिष्ट फ़ाइल को ब्लॉक करना:
User-Agent: *
Disallow: /private-data.html
Robots.txt जेनरेटर का उपयोग कैसे करें
a उपयोगकर्ता-एजेंट चुनें a: बॉट चुनें(उदाहरण के लिए, Googlebot, Bingbot, Yandex) या "सभी खोज इंजन" .
अस्वीकृत पथ जोड़ें: उन निर्देशिकाओं या फ़ाइलों को दर्ज करें जिन्हें आप ब्लॉक करना चाहते हैं(उदाहरण के लिए, /admin/ , /private/ )।
अनुमत पथ जोड़ें: वे पथ निर्दिष्ट करें जिन्हें आप अनुमति देना चाहते हैं(उदाहरण के लिए, /public/ , /blog/ )।
a साइटमैप URL जोड़ें : अपने साइटमैप का URL प्रदान करें(उदाहरण के लिए, < a href="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml )।
फ़ाइल बनाएं: अपनी फ़ाइल बनाने के लिए "जेनरेट Robots.txt " पर क्लिक करें ।
कॉपी करें और उपयोग करें: उत्पन्न robots.txt फ़ाइल को कॉपी करें और इसे अपनी वेबसाइट की रूट निर्देशिका में अपलोड करें।
Robots.txt फ़ाइलों के लिए सर्वोत्तम अभ्यास
केवल आवश्यक पृष्ठों को ब्लॉक करें: उन पृष्ठों को ब्लॉक न करें जिन्हें आप खोज इंजन में रैंक करना चाहते हैं।
साइटमैप के लिए पूर्ण URL का उपयोग करें: सुनिश्चित करें कि आपका साइटमैप URL पूर्णतः योग्य है।
CSS और JS फ़ाइलों को ब्लॉक करने से बचें: ये फ़ाइलें रेंडरिंग और इंडेक्सिंग के लिए महत्वपूर्ण हैं।
अपनी फ़ाइल का परीक्षण करें: अपने नियमों को सत्यापित करने के लिए Google खोज कंसोल में Robots.txt परीक्षक का उपयोग करें.
इसे सरल रखें: अत्यधिक जटिल नियमों से बचें जो बॉट्स को भ्रमित कर सकते हैं।
निष्कर्ष
एक अनुकूलित robots.txt फ़ाइल बनाना यह नियंत्रित करने के लिए आवश्यक है कि सर्च इंजन आपकी वेबसाइट को कैसे क्रॉल और इंडेक्स करते हैं। यह आपकी साइट के SEO प्रदर्शन को बेहतर बनाने, संवेदनशील सामग्री की सुरक्षा करने और आपके सर्वर संसाधनों को अनुकूलित करने में मदद कर सकता है। अपनी फ़ाइल को जल्दी और आसानी से बनाने के लिए हमारे मुफ़्त Robots.txt जेनरेटर का उपयोग करें, और अपनी वेबसाइट की सर्च इंजन दृश्यता पर पूरा नियंत्रण रखें।