منشئ robots.txt لزواحف الذكاء الاصطناعي

اختر أي زواحف الذكاء الاصطناعي يحق لها قراءة موقعك، واحصل على ملف robots.txt يتبع توثيق كل شركة نفسها.

طريقة الاستخدام

ما الذي يفحصه وكيف يعمل

قاعدة robots.txt طلب تلتزم به الزواحف الملتزمة، وليست قفلاً. حظر زاحف التدريب يُبعد صفحاتك عن تدريب النماذج مستقبلاً، وحظر زاحف البحث أو الزاحف الذي يعمل بطلب المستخدم قد يُبعد صفحاتك عن إجابات ذلك المساعد وروابطه. توثّق كل شركة وظيفة كل زاحف، وتشرح الأداة مقابل كل خيار. وقد وُسم Bytespider بأنه غير موثّق لأن ByteDance لا تنشر له أي توثيق. يتبع الملف معيار RFC 9309: يلتزم الزاحف بأخص مجموعة تسميه فقط، لذلك يحصل الزاحف المسموح له على نسخة من قواعدك العامة بدل سطر Allow مجرد. وإلا فإن ذكره بالاسم يرفع قواعد Disallow الخاصة بك عنه دون أن تنتبه.

هل يؤدي حظر GPTBot إلى إخراج موقعي من إجابات ChatGPT؟

ليس بالضرورة. توثّق OpenAI زواحف منفصلة للتدريب (GPTBot) وللبحث (OAI-SearchBot) وللزيارات التي يطلبها المستخدم (ChatGPT-User). ولكل منها رمز خاص في robots.txt، وتوضح الأداة ما يفعله كل رمز بحسب صفحة OpenAI، فتستطيع حظر التدريب دون حظر البحث.

هل robots.txt ضمان؟

لا. هو طلب تختار الزواحف الالتزام به، وتذكر بعض الشركات أن الزواحف التي يطلبها المستخدم قد لا تتبعه. وتشير الأداة إلى هذه الحالات. لإبقاء المحتوى خاصاً ضعه خلف تسجيل دخول بدل الاعتماد على robots.txt.

هل تغيّر الأداة قواعدي الحالية؟

تُبقي كل مجموعة وقاعدة تلصقها، وتعدّل فقط مجموعات زواحف الذكاء الاصطناعي التي تغيّرها. تبقى أسطر Sitemap، وتظهر لك ملاحظات عن أي شيء نقلته الأداة أو نسخته.

المصادر

أدوات ذات صلة

الخصوصية

يعمل في متصفحك ولا يُرفع أي شيء. الأداة التفاعلية تحتاج إلى JavaScript.

الزواحف التي تغطيها الأداة