كيف تنشئ ملف robots.txt (خطوة بخطوة)
يخبر ملف robots.txt محركات البحث بالصفحات التي تزحف إليها. تعلّم الصياغة، شاهد مثالًا، وتجنّب الأخطاء الشائعة.
إنشاء ملف robots.txt من أبسط خطوات السيو التقني وأهمها في الوقت نفسه. هذا الملف النصي الصغير يوجد في جذر موقعك ويخبر زواحف محركات البحث بالأجزاء التي يُسمح لها بزيارتها أو لا، مما يمنحك تحكّمًا في كيفية اكتشاف صفحاتك.
ما يفعله robots.txt
عندما يزور محرك بحث مثل Google موقعك، أول ما يبحث عنه هو ملف على yoursite.com/robots.txt. القواعد بداخله توجّه الزاحف — يمكنك الترحيب به في كل مكان، أو حظر المجلدات الخاصة، أو توجيهه إلى خريطة موقعك ليجد محتواك أسرع.
الصياغة الأساسية
- User-agent — الزاحف الذي تنطبق عليه القاعدة ("*" تعني الجميع).
- Allow — مسار يُسمح للزاحف بالوصول إليه.
- Disallow — مسار يجب ألا يزوره الزاحف.
- Sitemap — الرابط الكامل لخريطة موقعك XML.
مثال بسيط
إليك ملف robots.txt نموذجي يسمح بكل شيء عدا مجلد الإدارة ويذكر خريطة موقع:
| السطر | المعنى |
|---|---|
| User-agent: * | ينطبق على كل زاحف. |
| Disallow: /admin | يحظر مجلد الإدارة. |
| Allow: / | يسمح ببقية الموقع. |
| Sitemap: .../sitemap.xml | يشير إلى خريطة موقعك. |
أخطاء شائعة تجنّبها
Disallow يطلب من الزواحف عدم الزحف لصفحة، لكنه لا يُبقيها خارج Google بشكل موثوق. لإخفاء صفحة فعلًا من نتائج البحث، استخدم وسم noindex بدلًا من ذلك.
من الأخطاء المتكرّرة أيضًا حظر ملفات CSS و JavaScript (مما يضرّ بطريقة عرض Google لصفحاتك)، ووضع الملف في أي مكان غير جذر الموقع حيث لن تجده الزواحف أبدًا.
ولّد ملفك في ثوانٍ
لست مضطرًا لكتابة الصياغة يدويًا. يبني مولّد robots.txt ملفًا صالحًا من خيارات بسيطة، وللتحكّم في الفهرسة على مستوى الصفحة يُنشئ مولّد وسوم Meta الوسوم التي تحتاجها. وللقواعد الرسمية مباشرة من Google، راجع توثيق Google Search Central. ارفع الملف النهائي إلى جذرك، وستتّبع محركات البحث توجيهاتك من الزحف التالي.