كيف تنشئ ملف robots.txt (خطوة بخطوة)
يخبر ملف robots.txt محركات البحث بالصفحات التي تزحف إليها. تعلّم الصياغة، شاهد مثالًا، وتجنّب الأخطاء الشائعة.
إنشاء ملف robots.txt من أبسط خطوات السيو التقني وأهمها في الوقت نفسه. هذا الملف النصي الصغير يوجد في جذر موقعك ويخبر زواحف محركات البحث بالأجزاء التي يُسمح لها بزيارتها أو لا، مما يمنحك تحكّمًا في كيفية اكتشاف صفحاتك.
ما يفعله robots.txt
عندما يزور محرك بحث مثل Google موقعك، أول ما يبحث عنه هو ملف على yoursite.com/robots.txt. القواعد بداخله توجّه الزاحف — يمكنك الترحيب به في كل مكان، أو حظر المجلدات الخاصة، أو توجيهه إلى خريطة موقعك ليجد محتواك أسرع.
الصياغة الأساسية
- User-agent — الزاحف الذي تنطبق عليه القاعدة ("*" تعني الجميع).
- Allow — مسار يُسمح للزاحف بالوصول إليه.
- Disallow — مسار يجب ألا يزوره الزاحف.
- Sitemap — الرابط الكامل لخريطة موقعك XML.
مثال بسيط
إليك ملف robots.txt نموذجي يسمح بكل شيء عدا مجلد الإدارة ويذكر خريطة موقع:
| السطر | المعنى |
|---|---|
| User-agent: * | ينطبق على كل زاحف. |
| Disallow: /admin | يحظر مجلد الإدارة. |
| Allow: / | يسمح ببقية الموقع. |
| Sitemap: .../sitemap.xml | يشير إلى خريطة موقعك. |
أخطاء شائعة تجنّبها
Disallow يطلب من الزواحف عدم الزحف لصفحة، لكنه لا يُبقيها خارج Google بشكل موثوق. لإخفاء صفحة فعلًا من نتائج البحث، استخدم وسم noindex بدلًا من ذلك.
من الأخطاء المتكرّرة أيضًا حظر ملفات CSS و JavaScript (مما يضرّ بطريقة عرض Google لصفحاتك)، ووضع الملف في أي مكان غير جذر الموقع حيث لن تجده الزواحف أبدًا.
ولّد ملفك في ثوانٍ
لست مضطرًا لكتابة الصياغة يدويًا. يبني مولّد robots.txt ملفًا صالحًا من خيارات بسيطة، وللتحكّم في الفهرسة على مستوى الصفحة يُنشئ مولّد وسوم Meta الوسوم التي تحتاجها. وللقواعد الرسمية مباشرة من Google، راجع توثيق Google Search Central. ارفع الملف النهائي إلى جذرك، وستتّبع محركات البحث توجيهاتك من الزحف التالي.
ملف robots.txt ووسم noindex والمصادقة تحل مشكلات مختلفة
تدير قاعدة robots.txt عملية الزحف وليست وسيلة خصوصية. قد يعرف Google رابطًا محظورًا من خلال الروابط ويعرضه دون وصف مفيد. يتحكم noindex في أهلية الصفحة للظهور، لكن يجب السماح للزاحف بقراءة الصفحة حتى يرى الوسم. أما المحتوى الخاص فيحتاج إلى تسجيل دخول وصلاحيات حقيقية. لا تعتمد على Disallow لحماية بيانات العملاء أو الملفات السرية.
كيف تُطبّق القواعد المتطابقة؟
تُجمع القواعد حسب User-agent ويستعمل الزاحف المجموعة الأكثر تحديدًا ثم المسار الأكثر تحديدًا. المسارات حساسة لحالة الأحرف وتبدأ من جذر الموقع. قد تغيّر شرطة مائلة ناقصة أو اسم نطاق خاطئ أو قاعدة منسوخة من منصة أخرى نطاق الحظر بالكامل. اختبر الأنماط المهمة وافحص ملف الإنتاج الفعلي.
قائمة نشر آمنة
- انشر الملف في جذر النطاق مثل https://example.com/robots.txt.
- أعد استجابة نصية عادية دون تسجيل دخول أو سلسلة تحويلات.
- اسمح بالوصول إلى CSS وJavaScript والصور العامة حتى تُعرض الصفحة بصورة صحيحة.
- أضف رابط Sitemap الأساسي باستعمال HTTPS.
- افحص الملف بعد كل نقل أو إطلاق أو تغيير في نظام إدارة المحتوى.
خطأ شائع في المواقع الحقيقية
قد يستعمل موقع التجربة Disallow: / لمنع الزحف. إذا انتقل الملف نفسه إلى الإنتاج فقد يتوقف اكتشاف الموقع كله. أضف robots.txt إلى قائمة الإطلاق، وراقب الاستجابة الحية، واحتفظ بنسخة الإنتاج المعتمدة داخل المشروع.
التحقق من النتيجة
افتح الملف في نافذة خاصة، واختبر روابط ممثلة، وراقب Search Console بحثًا عن موارد محظورة أو تغيرات غير متوقعة. وجود الصفحة في Sitemap لا يلغي قاعدة Disallow. بعد التعديل امنح الزاحف وقتًا لإعادة قراءة الملف، ولا تستعمل طلبات الفهرسة المتكررة بدل إصلاح القاعدة.