फाइल तपाईंको वेबसाइटको SEO रणनीतिको robots.txt महत्वपूर्ण भाग हो । यसले खोज इन्जिनहरूलाई तपाईंको साइटको कुन भागहरू अनुक्रमित गर्नुपर्छ र कुनलाई बेवास्ता गर्नुपर्छ भनेर बताउँछ। जेनेरेटर प्रयोग गरेर, तपाईंले खोज इन्जिनहरूले तपाईंको सामग्री कसरी क्रल गर्छन् र अनुक्रमित गर्छन् भनेर नियन्त्रण गर्न द्रुत रूपमा राम्रोसँग अनुकूलित फाइल सिर्जना गर्न सक्नुहुन्छ, जसले गर्दा तपाईंको वेबसाइटको खोज दृश्यता र समग्र SEO कार्यसम्पादनमा सुधार हुन्छ। a a Robots.txt a robots.txt
a Robots.txt फाइल भनेको के हो ?
फाइल robots.txt भनेको a तपाईंको वेबसाइटको रूट डाइरेक्टरीमा रहने प्लेन टेक्स्ट फाइल हो। यसले सर्च इन्जिन बटहरूलाई "क्रल निर्देशनहरू" a प्रदान गर्दछ, जसले तिनीहरूलाई तपाईंको साइटको कुन भागहरू अनुक्रमित गर्नुपर्छ र कुन भागहरू खोज परिणामहरूबाट बहिष्कृत गर्नुपर्छ भनेर बताउँछ। यो फाइल तपाईंको साइट क्रल गर्दा खोज इन्जिनले खोज्ने पहिलो चीजहरू मध्ये एक हो।
फाइल किन प्रयोग गर्ने a Robots.txt ?
खोज इन्जिन क्रलिङ नियन्त्रण गर्नुहोस्: खोज इन्जिनहरूलाई निश्चित पृष्ठहरू वा निर्देशिकाहरू अनुक्रमणिका गर्नबाट रोक्नुहोस्।
निजी सामग्री सुरक्षित गर्नुहोस्: संवेदनशील पृष्ठहरू, व्यवस्थापक क्षेत्रहरू, र आन्तरिक स्रोतहरू रोक्नुहोस्।
क्रल बजेट अप्टिमाइज गर्नुहोस्: खोज इन्जिनको ध्यान तपाईंको सबैभन्दा महत्त्वपूर्ण पृष्ठहरूमा केन्द्रित गर्नुहोस्।
SEO कार्यसम्पादन सुधार गर्नुहोस्: डुप्लिकेट सामग्री घटाउनुहोस् र कम गुणस्तरका पृष्ठहरूलाई अनुक्रमित हुनबाट रोक्नुहोस्।
पृष्ठ गति बढाउनुहोस्: भारी स्रोतहरूमा बोट पहुँच प्रतिबन्धित गरेर सर्भर लोड घटाउनुहोस्।
मा सामान्य निर्देशनहरू Robots.txt
प्रयोगकर्ता-एजेन्ट: नियमहरू लागू हुने बट निर्दिष्ट गर्दछ(जस्तै, Googlebot, Bingbot)।
अनुमति नदिनुहोस्: विशिष्ट पृष्ठहरू वा निर्देशिकाहरूमा पहुँच रोक्छ।
अनुमति दिनुहोस्: अभिभावक निर्देशिकालाई अनुमति नभए पनि, विशिष्ट पृष्ठहरू वा निर्देशिकाहरूमा पहुँच प्रदान गर्दछ।
साइटम्याप: छिटो अनुक्रमणिकाको लागि तपाईंको साइटम्यापको स्थान प्रदान गर्दछ।
क्रल-ढिलाइ: a सर्भर लोड कम गर्न पृष्ठ अनुरोधहरू बीचको ढिलाइ सेट गर्दछ(सबै बटहरू द्वारा समर्थित छैन)।
Robots.txt फाइलहरूको उदाहरणहरू
आधारभूत Robots.txt फाइल:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
सबै बटहरू ब्लक गर्ने:
User-Agent: *
Disallow: /
सबै बटहरूलाई अनुमति दिँदै:
User-Agent: *
Allow: /
a विशिष्ट बोटलाई रोक लगाउने:
User-Agent: Googlebot
Disallow: /private/
a विशिष्ट फाइल ब्लक गर्दै:
User-Agent: *
Disallow: /private-data.html
Robots.txt जेनेरेटर कसरी प्रयोग गर्ने
a प्रयोगकर्ता-एजेन्ट चयन गर्नुहोस् a: बोट(जस्तै, Googlebot, Bingbot, Yandex) वा "सबै खोज इन्जिनहरू" छनौट गर्नुहोस् ।
अनुमति नदिने मार्गहरू थप्नुहोस्: तपाईंले ब्लक गर्न चाहनुभएको निर्देशिका वा फाइलहरू प्रविष्ट गर्नुहोस्(जस्तै, /admin/ , /private/ )।
अनुमति दिने मार्गहरू थप्नुहोस्: तपाईंले अनुमति दिन चाहनुभएको मार्गहरू निर्दिष्ट गर्नुहोस्(जस्तै, /public/ , /blog/ )।
a साइटम्याप URL थप्नुहोस् : आफ्नो साइटम्यापको URL प्रदान गर्नुहोस्(जस्तै, < a href="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml )।
फाइल उत्पन्न गर्नुहोस्: आफ्नो फाइल सिर्जना गर्न "उत्पन्न गर्नुहोस् Robots.txt " मा क्लिक गर्नुहोस् ।
प्रतिलिपि बनाउनुहोस् र प्रयोग गर्नुहोस्: उत्पन्न गरिएको robots.txt फाइल प्रतिलिपि बनाउनुहोस् र यसलाई तपाईंको वेबसाइटको मूल निर्देशिकामा अपलोड गर्नुहोस्।
Robots.txt फाइलहरूको लागि उत्तम अभ्यासहरू
आवश्यक पृष्ठहरू मात्र ब्लक गर्नुहोस्: खोज इन्जिनहरूमा श्रेणीकरण गर्न चाहनुभएको पृष्ठहरू ब्लक नगर्नुहोस्।
साइटम्यापका लागि पूर्ण URL हरू प्रयोग गर्नुहोस्: तपाईंको साइटम्याप URL पूर्ण रूपमा योग्य छ भनी सुनिश्चित गर्नुहोस्।
CSS र JS फाइलहरू ब्लक गर्नबाट बच्नुहोस्: यी फाइलहरू रेन्डरिङ र इन्डेक्सिङको लागि महत्त्वपूर्ण छन्।
आफ्नो फाइल परीक्षण गर्नुहोस्: आफ्नो नियमहरू प्रमाणित गर्न गुगल खोज कन्सोलमा परीक्षक Robots.txt प्रयोग गर्नुहोस् ।
सरल राख्नुहोस्: बटहरूलाई भ्रमित पार्न सक्ने अत्यधिक जटिल नियमहरूबाट बच्नुहोस्।
निष्कर्ष
खोज इन्जिनहरूले तपाईंको वेबसाइट कसरी क्रल र अनुक्रमणिका गर्छन् भनेर नियन्त्रण गर्न अप्टिमाइज गरिएको robots.txt फाइल सिर्जना गर्नु आवश्यक छ। यसले तपाईंको साइटको SEO कार्यसम्पादन सुधार गर्न, संवेदनशील सामग्री सुरक्षित गर्न र तपाईंको सर्भर स्रोतहरूलाई अप्टिमाइज गर्न मद्दत गर्न सक्छ। छिटो र सजिलैसँग आफ्नो फाइल सिर्जना गर्न र आफ्नो वेबसाइटको खोज इन्जिन दृश्यताको पूर्ण नियन्त्रण लिन हाम्रो नि:शुल्क Robots.txt जेनेरेटर प्रयोग गर्नुहोस्।