عن هذه الأداة
يراجع فاحص Robots.txt تعليمات الزحف التي تلصقها من دون جلب موقع أو إرسال البيانات إلى خادم. يكتشف غياب مجموعات User-agent والقواعد الموجودة خارج مجموعة وروابط Sitemap غير الصحيحة وقيم Crawl-delay غير الصالحة والتعليمات المكررة أو غير المعروفة. إنه مساعد للبنية والصياغة، وليس ضماناً لزحف محرك البحث أو فهرسة الصفحة.
كيفية الاستخدام
- 1افتح ملف robots.txt في نطاقك وانسخ محتواه كاملاً.
- 2ألصق المحتوى في الفاحص وراجع الأخطاء قبل التحذيرات.
- 3صحح الملف الأصلي ثم اختبر الروابط المهمة بأدوات محرك البحث المناسبة.
الفوائد
- لا يجلب روابط خارجية، مما يتجنب مخاطر SSRF والخصوصية.
- نتائج مرتبطة بأرقام الأسطر لتسهيل التصحيح.
- يوضح الفرق بين الصياغة الصحيحة وسياسة الزحف الآمنة.
فحص الصياغة ليس سوى أول خطوة للأمان
مثال عملي
التعليمة “Disallow: /” صحيحة من ناحية الصياغة، لكنها تمنع المجموعة المطابقة بالكامل. لذلك لا تعني النتيجة الخضراء أن السياسة مناسبة لموقع عام في الإنتاج.
تفسير النتيجة
أصلح الأخطاء أولاً، ثم راجع كل مجموعة كما يقرأها الزاحف المسمى. تأكد من بقاء CSS وJavaScript والصور والصفحات الأساسية اللازمة للعرض قابلة للزحف، واجعل روابط Sitemap كاملة.
الحدود والأخطاء
يختلف دعم الزواحف للتعليمات غير القياسية. هذا الفاحص المحلي لا يجلب المسارات ولا يطبق خوارزمية أولوية محرك بحث محدد ولا يختبر حالات HTTP أو يتحقق من وجود خرائط الموقع.
أسئلة شائعة
هل يضمن ملف robots.txt الصحيح الفهرسة؟+
لا. يتحكم الملف في الزحف، بينما تعتمد الفهرسة أيضاً على جودة الصفحة وحالتها والرابط الأساسي وعوامل أخرى.
هل يمكن لـ robots.txt إزالة صفحة من Google؟+
منع الزحف ليس وسيلة موثوقة للإزالة. استعمل noindex في صفحة قابلة للزحف أو أداة الإزالة المناسبة عند الحاجة.
هل يجلب الفاحص موقعي؟+
لا. يفحص فقط النص الذي تلصقه ويعمل بالكامل داخل متصفحك.