مولّد robots.txt
أنشئ robots.txt بقواعد User-Agent و Allow و Disallow و Crawl-Delay مع مرجع Sitemap. تحقق من صحة القواعد.
قاعدة 1
Allow
Disallow
robots.txt
User-agent: *
Disallow: /admin/
Disallow: /api/
Sitemap: https://example.com/sitemap.xmlالأسئلة الشائعة
أين يجب وضع ملف robots.txt؟
في الجذر الأساسي للموقع: https://example.com/robots.txt
هل Disallow يمنع الفهرسة؟
لا. Disallow يمنع الزحف فقط. لمنع الفهرسة استخدم meta robots noindex.
ما الفرق بين Allow و Disallow؟
Disallow يمنع الزحف، Allow يستثني مسار من قاعدة Disallow.
كيف أضيف Sitemap؟
بسطر منفصل: Sitemap: https://example.com/sitemap.xml