الزحف والفهرسة
منشئ robots.txt لزواحف الذكاء الاصطناعي
اختر أي زواحف الذكاء الاصطناعي يحق لها قراءة موقعك، واحصل على ملف robots.txt يتبع توثيق كل شركة نفسها.
يعمل في متصفحك ولا يُرفع أي شيء. · مجانية، دون حساب · 4 دقيقة
1. ملفك الحالي (اختياري)
تبقى قواعدك الخاصة بالزواحف الأخرى كما هي. ولا يغادر شيء متصفحك.
رابط في كل سطر. يُضاف كسطر Sitemap في النهاية.
2. اختر ما يحق لكل زاحف
لا تشمل القوالب Bytespider، لأن ByteDance لا تنشر أي توثيق له.
البحث والإجابات بالذكاء الاصطناعي
تبني هذه الزواحف الفهرس الذي يجيب منه المساعد. السماح لها يتيح عرض صفحاتك أو الاستشهاد بها. والمنع قد يُخرج موقعك من إجابات ذلك المساعد.
OAI-SearchBotOpenAIيكتشف المواقع ويعرضها في ميزات البحث في ChatGPT.
إذا منعته: تقول OpenAI إن المواقع التي تحظر OAI-SearchBot لن تظهر في إجابات البحث في ChatGPT، وإن كانت قد تظهر كروابط تنقّل.
Claude-SearchBotAnthropicيتصفح الويب لتحسين جودة نتائج البحث لمستخدمي Claude.
إذا منعته: تقول Anthropic إن ذلك يمنعها من فهرسة محتواك للبحث.
PerplexityBotPerplexityيعرض المواقع ويربط إليها في نتائج البحث في Perplexity. وتقول Perplexity إنه لا يُستخدم لجمع محتوى لتدريب النماذج التأسيسية.
إذا منعته: توصي Perplexity بالسماح له حتى يظهر موقعك في نتائج البحث لديها.
meta-webindexerMetaيزحف إلى الويب لتحسين نتائج البحث في Meta AI. وتقول Meta إن السماح له يساعد Meta AI على الاستشهاد بمحتواك والربط إليه.
إذا منعته: يقلل احتمال أن يستشهد Meta AI بصفحاتك ويربط إليها.
Amzn-SearchBotAmazonيحسّن البحث في منتجات Amazon، ومنها Alexa. وتقول Amazon إنه لا يجمع محتوى لتدريب الذكاء الاصطناعي التوليدي.
إذا منعته: يُبقي صفحاتك خارج هذا الزحف. وتقول Amazon إنه إن لم تذكره أي قاعدة فإنه يتبع القواعد التي تضعها لروبوتات البحث الأخرى.
DuckAssistBotDuckDuckGoيزحف إلى الصفحات لحظياً لإجابات DuckDuckGo المدعومة بالذكاء الاصطناعي، والتي تذكر مصادرها. وتقول DuckDuckGo إن البيانات لا تُستخدم في تدريب النماذج.
إذا منعته: تقول DuckDuckGo إن ذلك لا يؤثر في ترتيبك في البحث العادي، وإن التغيير يسري بعد 72 ساعة.
MistralAI-IndexMistralيزحف لبناء الفهرس الذي تبحث فيه Mistral عند الإجابة عن الأسئلة. وتقول Mistral إنه لا يُستخدم للتدريب.
إذا منعته: يُبقي صفحاتك خارج الفهرس الذي تجيب منه Mistral.
جلب الصفحة لسؤال المستخدم
تفتح هذه الزواحف الصفحة فقط عندما يسأل شخص المساعد عنها. المنع يطلب من المساعد ألا يفتح صفحاتك. وتقول بعض الشركات إن robots.txt قد لا ينطبق على هذه الزيارات.
ChatGPT-UserOpenAIيزور الصفحة عندما يحتاجها سؤال مستخدم في ChatGPT أو في GPT مخصص، وفي GPT Actions. وتقول OpenAI إنه لا يزحف إلى الويب تلقائياً.
إذا منعته: يطلب من ChatGPT ألا يفتح صفحاتك عندما يسأل المستخدم. ولا يحدد ظهورك في البحث في ChatGPT.
تقول OpenAI إن قواعد robots.txt قد لا تنطبق عليه، لأن الزيارة يبدأها المستخدم.
Claude-UserAnthropicيفتح الصفحة عندما يطرح مستخدم Claude سؤالاً يحتاجها.
إذا منعته: تقول Anthropic إن ذلك يمنع Claude من جلب محتواك للإجابة عن سؤال المستخدم.
Perplexity-UserPerplexityيزور الصفحة عندما يسأل مستخدم Perplexity، وقد يضع رابطها في الإجابة. ولا يُستخدم للزحف أو التدريب.
إذا منعته: يطلب من Perplexity ألا تفتح صفحاتك لأسئلة مستخدميها.
تقول Perplexity إن هذا الجالب يتجاهل robots.txt عادةً، لأن المستخدم هو من طلب الصفحة.
meta-externalfetcherMetaيجلب رابطاً واحداً عندما يطلبه المستخدم، لميزات Meta الوكيلة بالذكاء الاصطناعي.
إذا منعته: يطلب من ميزات الذكاء الاصطناعي في Meta ألا تفتح صفحاتك للمستخدمين.
تقول Meta إنه قد يتجاوز robots.txt، لأن الجلب يطلبه المستخدم.
Amzn-UserAmazonينفّذ طلبات المستخدمين، مثل أسئلة Alexa التي تحتاج معلومات حديثة. ولا يُستخدم لتدريب الذكاء الاصطناعي التوليدي.
إذا منعته: يطلب من Amazon ألا تفتح صفحاتك لهذه الطلبات.
تقول Amazon إنه قد لا يتبع كل توجيهات robots.txt.
MistralAI-UserMistralيفتح الصفحة عندما يسأل مستخدم Mistral، ويربط إليها. ولا يُستخدم للزحف التلقائي أو التدريب.
إذا منعته: تقول Mistral إن هذا الرمز يحدد المواقع التي تصل إليها طلبات مستخدميها.
تدريب النماذج
تجمع هذه الزواحف محتوى قد يُستخدم في تدريب النماذج. المنع يطلب من الشركة ألا تستخدم صفحاتك في ذلك. وينطبق robots.txt على الزحف المستقبلي.
GPTBotOpenAIيزحف إلى المحتوى الذي قد يُستخدم في تدريب نماذج OpenAI التأسيسية للذكاء الاصطناعي التوليدي.
إذا منعته: يُبلغ OpenAI بألا يُستخدم محتواك في تدريب نماذجها التأسيسية. أما البحث في ChatGPT فيتحكم فيه OAI-SearchBot بشكل منفصل.
ClaudeBotAnthropicيجمع محتوى الويب الذي قد يُسهم في تدريب نماذج Anthropic.
إذا منعته: تقول Anthropic إن محتوى موقعك المستقبلي يُستبعد من مجموعات بيانات تدريب نماذجها.
Google-ExtendedGoogleرمز تحكم، لا يزحف بنفسهرمز تحكم وليس زاحفاً مستقلاً. يحدد هل يجوز استخدام المحتوى الذي تزحف إليه Google في تدريب نماذج Gemini القادمة وفي تأسيس الإجابات في تطبيقات Gemini و Vertex AI.
إذا منعته: تقول Google إنه لا يؤثر في الظهور أو الترتيب في بحث Google. وملخصات الذكاء الاصطناعي و AI Mode جزء من البحث، فلا يُخرجك هذا الرمز منها.
Applebot-ExtendedAppleرمز تحكم، لا يزحف بنفسهرمز تحكم لا يزحف، بل يحدد هل يجوز استخدام الصفحات التي زحف إليها Applebot في تدريب نماذج Apple التأسيسية، ومنها Apple Intelligence.
إذا منعته: تقول Apple إن الصفحات التي تحظره قد تظهر في نتائج البحث، وإن القاعدة لا تؤثر في الترتيب.
meta-externalagentMetaيزحف لتدريب نماذج الذكاء الاصطناعي التأسيسية، أو لتحسين المنتجات بفهرسة المحتوى مباشرة.
إذا منعته: يُخرج صفحاتك من هذا الزحف. أما البحث في Meta AI فيخدمه meta-webindexer وله قاعدته الخاصة.
AmazonbotAmazonيحسّن منتجات Amazon وخدماتها، وقد يُستخدم في تدريب نماذج Amazon للذكاء الاصطناعي.
إذا منعته: يُخرج صفحاتك من هذا الزحف. أما Alexa والبحث في Amazon فيستخدمان Amzn-SearchBot وله قاعدته الخاصة.
MistralAI-TrainingMistralيزحف إلى محتوى الويب لبناء مجموعات بيانات لتدريب نماذج Mistral التوليدية.
إذا منعته: يُخرج صفحاتك من زحف التدريب لدى Mistral، وهو لا يُستخدم للبحث أو للإجابات المباشرة.
مجموعة بيانات ويب مفتوحة
أرشيف مفتوح للويب يمكن لأي جهة تنزيله. المنع يوقف إضافة صفحاتك في عمليات الزحف اللاحقة.
CCBotCommon Crawlيبني أرشيف Common Crawl المفتوح للويب، والذي يمكن لأي جهة تنزيله للبحث والتحليل.
إذا منعته: يتوقف CCBot عن جلب صفحاتك، فلا تدخل في عمليات الزحف اللاحقة للأرشيف.
غير موثّق: لا يوجد توثيق من الشركة
لا نستطيع تأكيد ما تجمعه هذه الزواحف ولا هل تلتزم بـ robots.txt. تُضاف القاعدة إن اخترتها، وهذا كل ما نستطيع ضمانه.
BytespiderByteDanceغير موثّقزاحف ByteDance. لا تنشر ByteDance أي توثيق له، لذلك لا نستطيع تأكيد ما يجمعه ولا هل يلتزم بـ robots.txt.
إذا منعته: يضيف قاعدة في robots.txt، ولم يُتحقق من التزام Bytespider بها.
قبل أن تنشر
ما تفعله هذه الخيارات وما لا تفعله
ملف robots.txt طلب وليس قفلاً
تلتزم به الزواحف الموثوقة، ولا شيء تقنياً يجبر أي زاحف على ذلك. ويقول RFC 9309، المعيار الذي يقوم عليه الملف، إن البروتوكول ليس بديلاً عن أمن المحتوى الحقيقي. ضع الصفحات الخاصة خلف تسجيل دخول.
منع التدريب ومنع البحث خياران مختلفان
تمنح الشركات زواحف التدريب والبحث وطلبات المستخدمين رموزاً منفصلة لتختار أحدها دون الآخر. لهذا جُمعت القائمة حسب الغرض، ولهذا يمنع القالب التدريب ويسمح بالبحث.
الزاحف الذي له مجموعته الخاصة يتجاهل مجموعة *
بحسب RFC 9309 لا يلتزم الزاحف إلا بأخص مجموعة تذكره. لذلك ينسخ هذا المنشئ قواعد User-agent: * إلى مجموعة أي زاحف تسمح له، وإلا فإن ذكره بالاسم سيرفع عنه سطور Disallow الخاصة بك.
ما يجدر معرفته أيضاً
ملخصات Google بالذكاء الاصطناعي و AI Mode
تقول Google إنها جزء من البحث: قواعد robots.txt الخاصة بـ Googlebot تحكم الزحف، و nosnippet و data-nosnippet و max-snippet و noindex تحدّ مما يُعرض. ولا يتحكم فيها Google-Extended.
Google: AI features and your websiteMicrosoft Copilot
لا توثّق Microsoft رمزاً مستقلاً للذكاء الاصطناعي. وإرشاداتها، المكتوبة في سبتمبر 2023 لـ Bing Chat، تعتمد على وسوم meta لـ bingbot: NOARCHIVE يُخرج الصفحة من إجابات المحادثة، و NOCACHE يقصرها على الرابط والعنوان والمقتطف.
Bing Webmaster Blog: new options to control use of content in Bing Chat (22 Sep 2023)OAI-AdsBot من OpenAI
توثّق OpenAI أيضاً OAI-AdsBot، الذي يفحص صفحات الهبوط للإعلانات المقدَّمة ولا يزور إلا الصفحات المقدَّمة كإعلانات. وتقول OpenAI إن بياناته لا تُستخدم في تدريب النماذج التأسيسية. ولا علاقة له بظهورك في الإجابات، لذلك لا تتضمنه هذه الأداة.
OpenAI: Overview of OpenAI crawlersروجع كل رمز ووصف مع توثيق الشركة في 28 أكتوبر 2026. تغيّر الشركات هذه الصفحات، فراجع الصفحة المرتبطة قبل الاعتماد على أي تفصيل.
المصادر
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Apple: About Applebot
- Meta: Meta web crawlers
- Amazon: Amazonbot
- DuckDuckGo: DuckAssistBot
- Mistral: Mistral crawlers
- Common Crawl: CCBot
- Google: AI features and your website
- Bing Webmaster Blog: new options to control use of content in Bing Chat (22 Sep 2023)
- RFC 9309: Robots Exclusion Protocol
طريقة الاستخدام
- ألصق ملف robots.txt الحالي، أو ابدأ من ملف فارغ.
- لكل زاحف ذكاء اصطناعي اختر السماح أو الحظر. يوضح كل صف ما يفعله اختيارك بحسب الشركة.
- أضف عنوان خريطة موقعك إن أردت إعلانها في الملف.
- انسخ الملف أو نزّله وارفعه إلى جذر موقعك باسم /robots.txt.
ما الذي تفحصه وكيف تعمل
قاعدة robots.txt طلب تلتزم به الزواحف الملتزمة، وليست قفلاً. حظر زاحف التدريب يُبعد صفحاتك عن تدريب النماذج مستقبلاً، وحظر زاحف البحث أو الزاحف الذي يعمل بطلب المستخدم قد يُبعد صفحاتك عن إجابات ذلك المساعد وروابطه. توثّق كل شركة وظيفة كل زاحف، وتشرح الأداة مقابل كل خيار. وقد وُسم Bytespider بأنه غير موثّق لأن ByteDance لا تنشر له أي توثيق.
يتبع الملف معيار RFC 9309: يلتزم الزاحف بأخص مجموعة تسميه فقط، لذلك يحصل الزاحف المسموح له على نسخة من قواعدك العامة بدل سطر Allow مجرد. وإلا فإن ذكره بالاسم يرفع قواعد Disallow الخاصة بك عنه دون أن تنتبه.
المصادر
- Google Search Central: How Google interprets the robots.txt specification اطُّلع عليه في 29 أكتوبر 2026
- RFC 9309: Robots Exclusion Protocol اطُّلع عليه في 29 أكتوبر 2026
- OpenAI: Overview of OpenAI crawlers اطُّلع عليه في 28 أكتوبر 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? اطُّلع عليه في 28 أكتوبر 2026
- Perplexity: Perplexity crawlers اطُّلع عليه في 28 أكتوبر 2026
- Google: Google's common crawlers اطُّلع عليه في 28 أكتوبر 2026
- Apple: About Applebot اطُّلع عليه في 28 أكتوبر 2026
- Meta: Meta web crawlers اطُّلع عليه في 28 أكتوبر 2026
- Amazon: Amazonbot اطُّلع عليه في 28 أكتوبر 2026
- DuckDuckGo: DuckAssistBot اطُّلع عليه في 28 أكتوبر 2026
- Mistral: Mistral crawlers اطُّلع عليه في 28 أكتوبر 2026
- Common Crawl: CCBot اطُّلع عليه في 28 أكتوبر 2026
- Google: AI features and your website اطُّلع عليه في 28 أكتوبر 2026
- Bing Webmaster Blog: new options to control use of content in Bing Chat (22 Sep 2023) اطُّلع عليه في 28 أكتوبر 2026
أدوات ذات صلة
مختبر روابط robots.txt
ألصق ملف robots.txt وقائمة روابط لترى أيها محظور على أي زاحف، وأي سطر حسم النتيجة.
أداة التعرف على زواحف الذكاء الاصطناعي
ألصق سلاسل وكيل المستخدم أو أسطر السجل للتعرف على زواحف الذكاء الاصطناعي ومعرفة غرض كل منها.
منشئ ملف sitemap.xml
حوّل قائمة روابط إلى ملف sitemap.xml صحيح، مع ترميز المسارات العربية وفحص حدود البروتوكول.
منشئ وسم meta robots وترويسة X-Robots-Tag
ابنِ وسم meta robots أو ترويسة X-Robots-Tag من قواعد Google الموثقة، وانظر التعارضات قبل النشر.
تابع مع ظاهر: تعرّف على كيف تقرأ ظاهر موقعك
أسئلة
عن هذه الأداة
ليس بالضرورة. توثّق OpenAI زواحف منفصلة للتدريب (GPTBot) وللبحث (OAI-SearchBot) وللزيارات التي يطلبها المستخدم (ChatGPT-User). ولكل منها رمز خاص في robots.txt، وتوضح الأداة ما يفعله كل رمز بحسب صفحة OpenAI، فتستطيع حظر التدريب دون حظر البحث.
لا. هو طلب تختار الزواحف الالتزام به، وتذكر بعض الشركات أن الزواحف التي يطلبها المستخدم قد لا تتبعه. وتشير الأداة إلى هذه الحالات. لإبقاء المحتوى خاصاً ضعه خلف تسجيل دخول بدل الاعتماد على robots.txt.
تُبقي كل مجموعة وقاعدة تلصقها، وتعدّل فقط مجموعات زواحف الذكاء الاصطناعي التي تغيّرها. تبقى أسطر Sitemap، وتظهر لك ملاحظات عن أي شيء نقلته الأداة أو نسخته.
ابدأ اليوم
اعرف أين تقف علامتك في الذكاء الاصطناعي. مجاناً.
شغّل تحليل ظهور مجانياً على نطاقك. دون بطاقة ائتمان، والنتائج خلال دقائق. اعرف ما تقوله محركات الذكاء الاصطناعي عن علامتك اليوم.
علامات تقيس ظهورها في الذكاء الاصطناعي مع ظاهر.


