robots.txt يُعدّ الملف جزءًا أساسيًا من استراتيجية تحسين محركات البحث a لموقعك الإلكتروني. فهو يُخبر محركات البحث بأجزاء موقعك التي يجب فهرستها وتلك التي يجب تجاهلها. باستخدام المولد ، يمكنك إنشاء ملف مُحسّن بسرعة للتحكم في كيفية فهرسة محركات البحث لمحتواك، مما يُحسّن ظهور موقعك في نتائج البحث وأداء تحسين محركات البحث بشكل عام. a Robots.txt a robots.txt
ما هو a Robots.txt الملف؟
الملف robots.txt هو a ملف نصي عادي موجود في المجلد الجذر لموقعك الإلكتروني. يُزوّد روبوتات محركات البحث بتعليمات الزحف ، مُحددًا لها أجزاء موقعك التي يجب فهرستها والأجزاء التي يجب استبعادها من نتائج البحث. يُعد هذا الملف من أوائل العناصر التي a يبحث عنها محرك البحث عند زحف موقعك.
لماذا استخدام a Robots.txt الملف؟
التحكم في زحف محرك البحث: منع محركات البحث من فهرسة صفحات أو أدلة معينة.
حماية المحتوى الخاص: قم بحظر الصفحات الحساسة، ومناطق الإدارة، والموارد الداخلية.
تحسين ميزانية الزحف: ركز انتباه محرك البحث على صفحاتك الأكثر أهمية.
تحسين أداء محرك البحث: تقليل المحتوى المكرر ومنع فهرسة الصفحات ذات الجودة المنخفضة.
تعزيز سرعة الصفحة: تقليل تحميل الخادم عن طريق تقييد وصول الروبوت إلى الموارد الثقيلة.
التوجيهات المشتركة في Robots.txt
وكيل المستخدم: يحدد الروبوت الذي تنطبق عليه القواعد(على سبيل المثال، Googlebot ، Bingbot).
عدم السماح: يمنع الوصول إلى صفحات أو أدلة محددة.
السماح: يمنح الوصول إلى صفحات أو أدلة محددة، حتى لو كان الدليل الرئيسي غير مسموح به.
خريطة الموقع: توفر موقع خريطة موقعك لتسريع عملية الفهرسة.
Crawl-Delay: يحدد a التأخير بين طلبات الصفحة لتقليل تحميل الخادم(لا تدعمه جميع الروبوتات).
أمثلة على Robots.txt الملفات
Robots.txt الملف الأساسي:
User-Agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://yourwebsite.com/sitemap.xml
حظر جميع الروبوتات:
User-Agent: *
Disallow: /
السماح لجميع الروبوتات:
User-Agent: *
Allow: /
حظر a بوت محدد:
User-Agent: Googlebot
Disallow: /private/
حظر a ملف معين:
User-Agent: *
Disallow: /private-data.html
كيفية استخدام Robots.txt المولد
حدد a وكيل المستخدم: اختر a الروبوت(على سبيل المثال، Googlebot ، Bingbot ، Yandex) أو "جميع محركات البحث" .
إضافة مسارات غير مسموح بها: أدخل الدلائل أو الملفات التي تريد حظرها(على سبيل المثال، /admin/ ، /private/ ).
إضافة مسارات السماح: حدد المسارات التي تريد السماح بها(على سبيل المثال، /public/ ، /blog/ ).
إضافة a عنوان URL لخريطة الموقع: قم بتوفير عنوان URL لخريطة موقعك(على سبيل المثال، < a href="https://yourwebsite.com/sitemap.xml">https://yourwebsite.com/sitemap.xml ).
إنشاء الملف: انقر فوق "إنشاء Robots.txt " لإنشاء الملف الخاص بك.
النسخ والاستخدام: انسخ الملف الناتج robots.txt وقم بتحميله إلى الدليل الجذر لموقع الويب الخاص بك.
أفضل الممارسات Robots.txt للملفات
قم بحظر الصفحات الضرورية فقط: لا تقم بحظر الصفحات التي تريد تصنيفها في محركات البحث.
استخدم عناوين URL المطلقة لخرائط الموقع: تأكد من أن عنوان URL لخريطة الموقع مؤهل بشكل كامل.
تجنب حظر ملفات CSS وJS: هذه الملفات ضرورية للعرض والفهرسة.
اختبار ملفك: استخدم Robots.txt أداة الاختبار في Google Search Console للتحقق من قواعدك.
حافظ على البساطة: تجنب القواعد المعقدة للغاية والتي يمكن أن تسبب ارتباكًا للروبوتات.
خاتمة
إنشاء ملف مُحسَّن robots.txt أمرٌ أساسيٌّ للتحكم في كيفية زحف محركات البحث إلى موقعك الإلكتروني وفهرسته. يُمكن أن يُساعد ذلك في تحسين أداء موقعك في محركات البحث، وحماية المحتوى الحساس، وتحسين موارد الخادم. استخدم Robots.txt مُولِّدنا المجاني لإنشاء ملفك بسرعة وسهولة، وتحكّم بشكلٍ كامل في ظهور موقعك في محركات البحث.