عن هذه الأداة
يخبر ملف robots.txt زواحف محركات البحث بالأجزاء التي يُسمح لها بالوصول إليها من موقعك. يتيح لك هذا المولّد السماح أو المنع للمسارات، واستهداف روبوتات محدّدة، وضبط تأخير الزحف، وإضافة رابط خريطة الموقع، ثم يُخرج ملف robots.txt صالحًا جاهزًا للرفع إلى جذر موقعك. إنه ملف سيو بسيط لكنه مهم.
كيفية الاستخدام
- 1اختر السماح أو المنع للمسارات.
- 2أضف رابط خريطة موقعك.
- 3انسخ الملف وارفعه إلى جذر موقعك.
الفوائد
- مخرجات صالحة ومتوافقة مع المعايير.
- يدعم خريطة الموقع وتأخير الزحف.
- بلا أخطاء صياغة تقلق بشأنها.
أسئلة شائعة
أين أضع robots.txt؟+
في جذر نطاقك، بحيث يكون متاحًا على yoursite.com/robots.txt.
هل المنع يخفي صفحة عن Google؟+
يطلب من الزواحف عدم زحفها، لكنه لا يضمن بقاءها خارج الفهرس. استخدم noindex لذلك.