ਇਹ robots.txt ਫਾਈਲ a ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ ਦੀ SEO ਰਣਨੀਤੀ ਦਾ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਹੈ । ਇਹ ਸਰਚ ਇੰਜਣਾਂ ਨੂੰ ਦੱਸਦੀ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਾਈਟ ਦੇ ਕਿਹੜੇ ਹਿੱਸਿਆਂ ਨੂੰ ਇੰਡੈਕਸ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਕਿਹੜੇ ਨੂੰ ਅਣਡਿੱਠਾ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। a Robots.txt ਜਨਰੇਟਰ ਦੀ a ਵਰਤੋਂ ਕਰਕੇ, ਤੁਸੀਂ ਸਰਚ ਇੰਜਣ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਕ੍ਰੌਲ ਅਤੇ ਇੰਡੈਕਸ ਕਰਦੇ ਹਨ, ਨੂੰ ਕੰਟਰੋਲ ਕਰਨ ਲਈ ਤੇਜ਼ੀ ਨਾਲ ਇੱਕ ਚੰਗੀ-ਅਨੁਕੂਲ ਫਾਈਲ ਬਣਾ ਸਕਦੇ ਹੋ robots.txt, ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ ਦੀ ਖੋਜ ਦ੍ਰਿਸ਼ਟੀ ਅਤੇ ਸਮੁੱਚੇ SEO ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਂਦੇ ਹੋਏ।
a Robots.txt ਫਾਈਲ ਕੀ ਹੈ ?
ਇੱਕ robots.txt ਫਾਈਲ a ਇੱਕ ਪਲੇਨ ਟੈਕਸਟ ਫਾਈਲ ਹੁੰਦੀ ਹੈ ਜੋ ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ ਦੀ ਰੂਟ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਰਹਿੰਦੀ ਹੈ। ਇਹ ਸਰਚ ਇੰਜਣ ਬੋਟਾਂ ਨੂੰ "ਕ੍ਰੌਲ ਨਿਰਦੇਸ਼" ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਦੱਸਦੀ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਾਈਟ ਦੇ ਕਿਹੜੇ ਹਿੱਸਿਆਂ ਨੂੰ ਇੰਡੈਕਸ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਕਿਹੜੇ ਹਿੱਸਿਆਂ ਨੂੰ ਖੋਜ ਨਤੀਜਿਆਂ ਤੋਂ ਬਾਹਰ ਰੱਖਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਫਾਈਲ ਉਹਨਾਂ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਚੀਜ਼ਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ ਜਿਨ੍ਹਾਂ ਦੀ a ਖੋਜ ਇੰਜਣ ਤੁਹਾਡੀ ਸਾਈਟ ਨੂੰ ਕ੍ਰੌਲ ਕਰਦੇ ਸਮੇਂ ਭਾਲ ਕਰਦਾ ਹੈ।
ਫਾਈਲ ਦੀ ਵਰਤੋਂ ਕਿਉਂ ਕਰੀਏ a Robots.txt ?
ਸਰਚ ਇੰਜਣ ਕ੍ਰੌਲਿੰਗ ਨੂੰ ਕੰਟਰੋਲ ਕਰੋ: ਸਰਚ ਇੰਜਣਾਂ ਨੂੰ ਕੁਝ ਪੰਨਿਆਂ ਜਾਂ ਡਾਇਰੈਕਟਰੀਆਂ ਨੂੰ ਇੰਡੈਕਸ ਕਰਨ ਤੋਂ ਰੋਕੋ।
ਨਿੱਜੀ ਸਮੱਗਰੀ ਦੀ ਰੱਖਿਆ ਕਰੋ: ਸੰਵੇਦਨਸ਼ੀਲ ਪੰਨਿਆਂ, ਐਡਮਿਨ ਖੇਤਰਾਂ ਅਤੇ ਅੰਦਰੂਨੀ ਸਰੋਤਾਂ ਨੂੰ ਬਲੌਕ ਕਰੋ।
ਕ੍ਰੌਲ ਬਜਟ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਓ: ਆਪਣੇ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਪੰਨਿਆਂ 'ਤੇ ਖੋਜ ਇੰਜਣ ਦਾ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰੋ।
SEO ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ ਕਰੋ: ਡੁਪਲੀਕੇਟ ਸਮੱਗਰੀ ਨੂੰ ਘਟਾਓ ਅਤੇ ਘੱਟ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਪੰਨਿਆਂ ਨੂੰ ਇੰਡੈਕਸ ਹੋਣ ਤੋਂ ਰੋਕੋ।
ਪੇਜ ਸਪੀਡ ਵਧਾਓ: ਬੋਟ ਪਹੁੰਚ ਨੂੰ ਭਾਰੀ ਸਰੋਤਾਂ ਤੱਕ ਸੀਮਤ ਕਰਕੇ ਸਰਵਰ ਲੋਡ ਘਟਾਓ।
ਵਿੱਚ ਆਮ ਨਿਰਦੇਸ਼ Robots.txt
ਯੂਜ਼ਰ-ਏਜੰਟ: ਉਸ ਬੋਟ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਜਿਸ 'ਤੇ ਨਿਯਮ ਲਾਗੂ ਹੁੰਦੇ ਹਨ(ਜਿਵੇਂ ਕਿ, Googlebot, Bingbot)।
ਅਸਵੀਕਾਰ ਕਰੋ: ਖਾਸ ਪੰਨਿਆਂ ਜਾਂ ਡਾਇਰੈਕਟਰੀਆਂ ਤੱਕ ਪਹੁੰਚ ਨੂੰ ਰੋਕਦਾ ਹੈ।
ਇਜਾਜ਼ਤ ਦਿਓ: ਖਾਸ ਪੰਨਿਆਂ ਜਾਂ ਡਾਇਰੈਕਟਰੀਆਂ ਤੱਕ ਪਹੁੰਚ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਭਾਵੇਂ ਮੂਲ ਡਾਇਰੈਕਟਰੀ ਦੀ ਇਜਾਜ਼ਤ ਨਾ ਹੋਵੇ।
ਸਾਈਟਮੈਪ: ਤੇਜ਼ ਇੰਡੈਕਸਿੰਗ ਲਈ ਤੁਹਾਡੇ ਸਾਈਟਮੈਪ ਦਾ ਸਥਾਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਕ੍ਰੌਲ-ਦੇਰੀ: ਸਰਵਰ ਲੋਡ ਨੂੰ ਘਟਾਉਣ ਲਈ ਪੰਨੇ ਦੀਆਂ ਬੇਨਤੀਆਂ ਵਿਚਕਾਰ ਦੇਰੀ ਸੈੱਟ ਕਰਦਾ ਹੈ a(ਸਾਰੇ ਬੋਟਾਂ ਦੁਆਰਾ ਸਮਰਥਿਤ ਨਹੀਂ)।
Robots.txt ਫਾਈਲਾਂ ਦੀਆਂ ਉਦਾਹਰਣਾਂ
ਮੁੱਢਲੀ Robots.txt ਫਾਈਲ:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
ਸਾਰੇ ਬੋਟਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ:
User-Agent: *
Disallow: /
ਸਾਰੇ ਬੋਟਾਂ ਨੂੰ ਆਗਿਆ ਦੇਣਾ:
User-Agent: *
Allow: /
a ਖਾਸ ਬੋਟ ਨੂੰ ਬਲਾਕ ਕਰਨਾ:
User-Agent: Googlebot
Disallow: /private/
a ਖਾਸ ਫਾਈਲ ਨੂੰ ਬਲੌਕ ਕਰਨਾ:
User-Agent: *
Disallow: /private-data.html
Robots.txt ਜਨਰੇਟਰ ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰੀਏ
a ਯੂਜ਼ਰ-ਏਜੰਟ ਚੁਣੋ a: ਬੋਟ(ਜਿਵੇਂ ਕਿ, Googlebot, Bingbot, Yandex) ਜਾਂ "ਸਾਰੇ ਖੋਜ ਇੰਜਣ" ਚੁਣੋ ।
ਅਸਵੀਕਾਰ ਮਾਰਗ ਸ਼ਾਮਲ ਕਰੋ: ਉਹ ਡਾਇਰੈਕਟਰੀਆਂ ਜਾਂ ਫਾਈਲਾਂ ਦਰਜ ਕਰੋ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਬਲੌਕ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ(ਜਿਵੇਂ ਕਿ, /admin/ , /private/ )।
ਆਗਿਆ ਦਿਓ ਪਾਥ ਸ਼ਾਮਲ ਕਰੋ: ਉਹਨਾਂ ਪਾਥਾਂ ਨੂੰ ਦੱਸੋ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਆਗਿਆ ਦੇਣਾ ਚਾਹੁੰਦੇ ਹੋ(ਜਿਵੇਂ ਕਿ, /public/ , /blog/ )।
ਸਾਈਟਮੈਪ URL ਸ਼ਾਮਲ ਕਰੋ a: ਆਪਣੇ ਸਾਈਟਮੈਪ ਦਾ URL ਪ੍ਰਦਾਨ ਕਰੋ(ਜਿਵੇਂ ਕਿ, < a href="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml )।
ਫਾਈਲ ਤਿਆਰ ਕਰੋ: ਆਪਣੀ ਫਾਈਲ ਬਣਾਉਣ ਲਈ "ਜਨਰੇਟ Robots.txt " ' ਤੇ ਕਲਿੱਕ ਕਰੋ ।
ਕਾਪੀ ਕਰੋ ਅਤੇ ਵਰਤੋਂ: ਤਿਆਰ ਕੀਤੀ robots.txt ਫਾਈਲ ਨੂੰ ਕਾਪੀ ਕਰੋ ਅਤੇ ਇਸਨੂੰ ਆਪਣੀ ਵੈੱਬਸਾਈਟ ਦੀ ਰੂਟ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਅਪਲੋਡ ਕਰੋ।
Robots.txt ਫਾਈਲਾਂ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਅਭਿਆਸ
ਸਿਰਫ਼ ਜ਼ਰੂਰੀ ਪੰਨਿਆਂ ਨੂੰ ਬਲੌਕ ਕਰੋ: ਉਹਨਾਂ ਪੰਨਿਆਂ ਨੂੰ ਬਲੌਕ ਨਾ ਕਰੋ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਖੋਜ ਇੰਜਣਾਂ ਵਿੱਚ ਰੈਂਕ ਦੇਣਾ ਚਾਹੁੰਦੇ ਹੋ।
ਸਾਈਟਮੈਪ ਲਈ ਸੰਪੂਰਨ URL ਦੀ ਵਰਤੋਂ ਕਰੋ: ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਹਾਡਾ ਸਾਈਟਮੈਪ URL ਪੂਰੀ ਤਰ੍ਹਾਂ ਯੋਗ ਹੈ।
CSS ਅਤੇ JS ਫਾਈਲਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਤੋਂ ਬਚੋ: ਇਹ ਫਾਈਲਾਂ ਰੈਂਡਰਿੰਗ ਅਤੇ ਇੰਡੈਕਸਿੰਗ ਲਈ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹਨ।
ਆਪਣੀ ਫਾਈਲ ਦੀ ਜਾਂਚ ਕਰੋ: ਆਪਣੇ ਨਿਯਮਾਂ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਗੂਗਲ ਸਰਚ ਕੰਸੋਲ ਵਿੱਚ Robots.txt ਟੈਸਟਰ ਦੀ ਵਰਤੋਂ ਕਰੋ ।
ਇਸਨੂੰ ਸਰਲ ਰੱਖੋ: ਬਹੁਤ ਜ਼ਿਆਦਾ ਗੁੰਝਲਦਾਰ ਨਿਯਮਾਂ ਤੋਂ ਬਚੋ ਜੋ ਬੋਟਾਂ ਨੂੰ ਉਲਝਾ ਸਕਦੇ ਹਨ।
ਸਿੱਟਾ
ਇੱਕ ਅਨੁਕੂਲਿਤ robots.txt ਫਾਈਲ ਬਣਾਉਣਾ ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ ਨੂੰ ਖੋਜ ਇੰਜਣਾਂ ਦੁਆਰਾ ਕ੍ਰੌਲ ਅਤੇ ਇੰਡੈਕਸ ਕਰਨ ਦੇ ਤਰੀਕੇ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਨ ਲਈ ਜ਼ਰੂਰੀ ਹੈ। ਇਹ ਤੁਹਾਡੀ ਸਾਈਟ ਦੇ SEO ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ, ਸੰਵੇਦਨਸ਼ੀਲ ਸਮੱਗਰੀ ਦੀ ਰੱਖਿਆ ਕਰਨ ਅਤੇ ਤੁਹਾਡੇ ਸਰਵਰ ਸਰੋਤਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ। ਆਪਣੀ ਫਾਈਲ ਨੂੰ ਜਲਦੀ ਅਤੇ ਆਸਾਨੀ ਨਾਲ ਬਣਾਉਣ ਲਈ ਸਾਡੇ ਮੁਫ਼ਤ Robots.txt ਜਨਰੇਟਰ ਦੀ ਵਰਤੋਂ ਕਰੋ, ਅਤੇ ਆਪਣੀ ਵੈੱਬਸਾਈਟ ਦੀ ਖੋਜ ਇੰਜਣ ਦ੍ਰਿਸ਼ਟੀ ਦਾ ਪੂਰਾ ਨਿਯੰਤਰਣ ਲਓ।