مختبر روابط robots.txt

طريقة الاستخدام

1. ألصق محتوى ملف robots.txt أو حمّل ملف .txt.
2. اكتب عنوان موقعك ورموز الزواحف المراد اختبارها مثل Googlebot وGPTBot.
3. ألصق الروابط أو المسارات المراد فحصها، رابطاً في كل سطر. والمسارات العربية مقبولة.
4. اقرأ الجدول: يعرض كل صف مسموح أو محظور ورقم سطر القاعدة التي حسمت النتيجة.

ما الذي تفحصه وكيف تعمل

يطبّق المختبر قواعد المطابقة في بروتوكول استبعاد الزواحف (RFC 9309): يستخدم الزاحف أخص مجموعة تسميه فقط، ويفوز المسار الأطول مطابقة، وتتغلب Allow على Disallow عند تساوي الطول. القواعد حساسة لحالة الأحرف كما يذكر توثيق Google. وتجري المطابقة في متصفحك بحزمة robots-parser.

الرابط الذي لا تطابقه أي قاعدة مسموح. ولا تدعم Google الحقل crawl-delay، لذا تعرضه الأداة للعلم فقط. تقرأ الأداة الملف الذي تلصقه ولا تجلب ملفك الحي، فألصق النسخة التي يعيدها خادمك.