ملف robots.txt هو أول شيء يقرأه Googlebot عند زيارة موقعك. ملف نصي بسيط، أقل من 1KB، لكنه يقرر أي صفحات يزحف عليها وأي صفحات يتجاهلها. خطأ بسيط فيه قد يحجب موقعك كله من Google.
ما هو robots.txt؟
هو ملف نصي بسيط يقع في جذر موقعك (https://example.com/robots.txt). يحتوي على قواعد لزواحف محركات البحث (Googlebot، Bingbot، إلخ) تقول لها: "ادخل هذه المسارات، تجنّب تلك".
المعيار اسمه Robots Exclusion Protocol، طُوّر في 1994. اليوم تتبعه كل محركات البحث المحترمة (Google، Bing، Yandex، DuckDuckGo).
القواعد الأساسية
User-agent — يحدد الزاحف. * يعني كل الزواحف.
Disallow — يمنع الزحف على مسار. مثال: Disallow: /admin/.
Allow — يستثني مسار من قاعدة Disallow. مفيد عندما تمنع مجلداً لكنك تريد السماح بملف داخله.
Sitemap — يخبر الزواحف بمكان Sitemap.
Crawl-delay — يطلب من الزاحف الانتظار ثواني بين كل طلب. Google لا يحترمه، Bing نعم.
مثال robots.txt كامل
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Sitemap: https://example.com/sitemap.xmlالفرق بين Disallow و noindex
أهم خطأ يقع فيه المبتدئون: يظنون أن Disallow يمنع الفهرسة. هذا غير صحيح.
Disallow يمنع الزاحف من زيارة الصفحة، لكنه لا يمنع فهرستها. لو صفحة محظورة بـ Disallow لكن لها روابط خارجية، قد يفهرسها Google بعنوان فقط (بدون محتوى).
noindex (في meta tag) يمنع الفهرسة فعلاً. لكن ليعمل، يجب أن يستطيع Googlebot الوصول للصفحة وقراءة meta tag، أي لا يجب أن تكون محظورة بـ Disallow.
القاعدة: لمنع الفهرسة بالكامل، استخدم noindex ولا تستخدم Disallow على نفس الصفحة.
ماذا تحجب؟
اِحجب: صفحات لوحة الإدارة، API endpoints، صفحات البحث الداخلي، صفحات الفلترة الديناميكية (مع كثير من البارامترات)، نتائج البحث الفارغة.
لا تحجب: ملفات CSS أو JavaScript. Google يحتاج قراءتها لفهم تصميم الموقع. حجبها يضعف ترتيبك.
لا تحجب: الصور إن كنت تريد ظهورها في Google Images.
أخطاء كارثية
الخطأ 1: Disallow: / — يحجب الموقع كله. شائع جداً عند نقل الموقع من بيئة التطوير للإنتاج، حيث ينسى المطور حذف هذا السطر.
الخطأ 2: حجب CSS و JS. Google لن يستطيع رؤية تصميم موقعك ويظنه قديماً أو مكسوراً.
الخطأ 3: حجب أدوات SEO المهمة مثل Ahrefs و Semrush. هذه الأدوات تساعد في تحليل موقعك وليست ضارة.
الخطأ 4: ترك الملف فارغاً أو غير موجود. Google يعتبره أنك تسمح بكل شيء، وهذا قد لا يكون مقصوداً.
قواعد لزواحف محددة
يمكنك كتابة قواعد مختلفة لزواحف مختلفة. مثال: السماح لـ Googlebot بكل شيء، ومنع زاحف ChatGPT (GPTBot) من تدريب نموذجه على محتواك:
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /اختبار robots.txt
قبل النشر، اختبر الملف. Google Search Console يحتوي على أداة robots.txt Tester. تتيح لك إدخال URL ومعرفة هل القواعد ستحجبه أم لا.
بدائل: استخدم أدوات أونلاين مجانية، أو زر URL مع ?googlebot=1 لرؤية كيف يراه Google.
أين تضع Sitemap؟
أضف سطراً في نهاية robots.txt: Sitemap: https://example.com/sitemap.xml. يمكنك إضافة عدة Sitemaps لو لديك أنواع متعددة (صور، فيديو، إلخ).
الأسئلة الشائعة
هل أحتاج robots.txt إن كان موقعي صغيراً؟ نعم. حتى لو لم تكن لديك مسارات لحجبها، الملف يخبر Google بمكان Sitemap.
كيف أحدّث robots.txt؟ بعد التعديل، Google يلتقط التحديث خلال 24-48 ساعة.
ابدأ الآن
كتابة robots.txt يدوياً معرّضة للأخطاء. استخدم مولّد robots.txt المجاني الذي يأتي بقوالب جاهزة لـ WordPress و Shopify و Next.js، ويتيح إضافة قواعد متعددة بسهولة. وبعد ذلك، نسّقه مع Sitemap الخاص بك وتحقق من النتيجة عبر تدقيق SEO.