عن هذه الأداة
يخبر ملف robots.txt زواحف محركات البحث بالأجزاء التي يُسمح لها بالوصول إليها من موقعك. يتيح لك هذا المولّد السماح أو المنع للمسارات، واستهداف روبوتات محدّدة، وضبط تأخير الزحف، وإضافة رابط خريطة الموقع، ثم يُخرج ملف robots.txt صالحًا جاهزًا للرفع إلى جذر موقعك. إنه ملف سيو بسيط لكنه مهم.
كيفية الاستخدام
- 1اختر السماح أو المنع للمسارات.
- 2أضف رابط خريطة موقعك.
- 3انسخ الملف وارفعه إلى جذر موقعك.
الفوائد
- مخرجات صالحة ومتوافقة مع المعايير.
- يدعم خريطة الموقع وتأخير الزحف.
- بلا أخطاء صياغة تقلق بشأنها.
أنشئ سياسة زحف دون حجب المحتوى القابل للفهرسة
مثال عملي
يمكن أن يمنع حجب /admin/ زحف واجهة خاصة، بينما قد يمنع حجب مجلد /assets/ المشترك Google من عرض الصفحات العامة بشكل صحيح. يحتاج كل مسار سبباً واضحاً.
تفسير النتيجة
ضع الملف في جذر النطاق واستعمل رابط خريطة كاملاً واختبر القواعد للزاحف المطلوب. استعمل المصادقة والصلاحيات، وليس robots.txt، لحماية الموارد السرية.
الحدود والأخطاء
يتحكم robots.txt في الزحف ولا يضمن منع الفهرسة أو الوصول. قد تتجاهله بعض الروبوتات وقد تظهر روابط محجوبة، كما قد تؤثر علامة واحدة في مجلد كامل.
أدلة مفصلة مرتبطة بهذه الأداة
تعرّف على المفاهيم والأمثلة والأخطاء الشائعة قبل الاعتماد على النتيجة.
أسئلة شائعة
أين أضع robots.txt؟+
في جذر نطاقك، بحيث يكون متاحًا على yoursite.com/robots.txt.
هل المنع يخفي صفحة عن Google؟+
يطلب من الزواحف عدم زحفها، لكنه لا يضمن بقاءها خارج الفهرس. استخدم noindex لذلك.