الذكاء الاصطناعي7 دقيقة قراءةبقلم JH Akash
شرح قاعدة robots.txt للاستسلام عن تدريب الذكاء الاصطناعي
في 30 أكتوبر 2026، دعمت OpenAI وجوجل ومايكروسوفت و Anthropic رمز robots.txt واحد للانسحاب من تدريب الذكاء الاصطناعي. التواريخ، الحدود، والرمز الدقيق.
في 30 أكتوبر 2026، قامت أربعة من أكبر مختبرات الذكاء الاصطناعي بشيء غير معتاد: اتفقوا على نفس القاعدة. قالت OpenAI وجوجل ومايكروسوفت و Anthropic جميعها إنها ستكرم رمز robots.txt مشترك واحد، _use-ai-training، الذي يسمح لموقع إلكتروني بعدم المشاركة في تدريب الذكاء الاصطناعي في خطوة واحدة. حتى الآن، كان على الناشر الذي أراد الخروج كان عليه حظر زاحف كل شركة بالاسم، GPTBot، Google-Extended، ClaudeBot، وقائمة متزايدة من الشركات الأخرى. هذا الإعلان يجمع هذه المهمة في مدخل واحد.
المشكلة تكمن في التوقيت والشروط الدقيقة. فقط Anthropic تقول إنها بدأت بالفعل في تنفيذ الدعم. مايكروسوفت تبدأ في 1 فبراير 2027. جوجل تهدف إلى 2027. OpenAI تقول "في الأشهر القادمة" بدون تاريخ. والإشارة طوعية، تغطي التدريب فقط، ولا تفعل شيئا بشأن المحتوى الذي تم جمعه أو تدريبه عليه بالفعل. لذا هذه خطوة تنسيق حقيقية، وليست مفتاح إيقاف فوري.
الحكم السريع
| سؤال | الإجابة |
|---|---|
| ما الذي تم الإعلان عنه؟ | شارك أحدهم robots.txt سياسات سياسة، _useai-training، لاختيار عدم المشاركة في تدريب الذكاء الاصطناعي |
| تم الإعلان عنه | 30 أكتوبر 2026 |
| مدعوم ب | OpenAI، جوجل، مايكروسوفت و Anthropic |
| الشيفرة | وكيل المستخدم: _useai-training، ثم إلغاء السماح: / |
| المسودة خلفها | مسودة IETF على الإنترنت "إشارة تفضيل التدريب القابلة للقراءة آليا"، بقلم كيفن كيلي من Anthropic، بتاريخ 30 أكتوبر 2026 |
| حالة المسودة | مسودة فردية، غير معتمدة من IETF، بدون صفة رسمية، وتنتهي صلاحيتها في 3 مايو 2027 ما لم يتم تحديثها |
| ما الذي يغطيه | تدريب الذكاء الاصطناعي فقط، وليس الزحف أو البحث أو إجابات الذكاء الاصطناعي |
| ما الذي لا يفعله | إزالة المحتوى الذي تم جمعه مسبقا أو تم تدريبه ليصبح نموذجا |
| من يمكنه استخدامه | أي مالك موقع إلكتروني، بإضافة الرمز إلى robots.txt |
| ماذا تحتفظ به الآن | القواعد الحالية لكل شركة، مثل Google Extended، لأن الرمز المشترك غالبا لم يفعل بعد |
الرمز الدقيق
أضف هذا الحظر إلى robots.txt إذا كنت ترغب في عدم المشاركة في التدريب على موقعك بالكامل:
User-Agent: __usage_ai-training
Disallow: /لإلغاء الاشتراك في كل شيء ما عدا مجلد واحد، يضيف مثال المسودة سطر السماح به:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/هناك تفصيلان مهمان. أولا، يجب أن يتطابق الرمز تماما، باستثناء حالة الحروف. مجموعة User-Agent: * عامة لا تحتسب، وإذا لم تذكر أي مجموعة الرمز، فالموقع لم يعبر عن أي تفضيل. ثانيا، يمكنك الاشتراك في بعض المجلدات فقط بدلا من الموقع بأكمله، باستخدام خيار منع الصلاحيات على المسارات التي تريد حمايتها.
من يكرمها، ومتى
| الشركة | ما يقوله | التوقيت |
|---|---|---|
| Anthropic | بدأت في تنفيذ دعم الرمز المشترك، إلى جانب الضوابط الحالية | بدأ بالفعل النشر عبر الخدمات يستغرق وقتا |
| OpenAI | سيكرم إشارة robots.txt مشتركة للتدريب التوليدي الأساسي، وتستمر ضوابط الزواحف الحالية في العمل | في الأشهر القادمة، لم يتم تحديد موعد |
| مايكروسوفت | سيحترم تفضيل التدريب، بالإضافة إلى تفضيل منفصل للتأريض بالذكاء الاصطناعي، وضوابط على مستوى الصفحة | 1 فبراير 2027، مع إعادة زحف الصفحات |
| جوجل | خطط لمعالجة خيار الانسحاب كما لو أن الناشر قد رفض Google Extended، ما لم يتم ضبط Google-Extended مباشرة | الأهداف لعام 2027 |
تذهب مايكروسوفت إلى أبعد ما يتجاوز ذلك. تضيف إعداد تدريب على مستوى الصفحة وإعداد تأريض منفصل، يقرر ما إذا كانت الصفحة يمكنها تزويد إجابات الذكاء الاصطناعي الحية في Bing وCopilot وMicrosoft 365. الخيار الثالث، DisallowExtended، يسمح بالتأريض في منتجات مايكروسوفت نفسها وليس في خدمات التأريض التي تبيعها لشركات أخرى. تقول مايكروسوفت أيضا إن الصفحة يمكن أن تحمل وسم Bingbot التعريفي، مثل ai-training:disallow، أو رأس علامة X-Robots، الذي يتجاوز robots.txt. يجب على المواقع التي تعتمد على وسوم NoArchive وNoCache القديمة من بينغ التحول إلى التفضيلات الجديدة بحلول 1 مارس 2027، وبعد ذلك لا تقرأ الوسوم القديمة كخيار تدريبي أو تأريض.
تفاصيل جوجل تستحق القراءة بعناية. إذا استخدمت الرمز المشترك للانسحاب ولم تذكر Google-Extended، تخطط جوجل لاعتبار ذلك حجبا لجوجل-Extended. لكن إذا سمحت صراحة ب Google-Extended، تقول جوجل إن الموقع لا يزال مؤهلا للظهور وكسب النقرات من خلال التأريض في إجابات تطبيق Gemini. بعبارة أخرى، خيار الانسحاب وخيار الظهور مرتبطان، لذا يتم تعيين كلاهما عمدا.
التواريخ الرئيسية، محسوبة من الإعلان
| التاريخ | ماذا يحدث | أيام بعد 30 أكتوبر 2026 |
|---|---|---|
| 30 أكتوبر 2026 | تم الإعلان عن رمز مشترك من قبل جميع المختبرات الأربعة | 0 |
| 1 فبراير 2027 | مايكروسوفت بدأت تحترم التفضيلات الجديدة | 94 |
| 1 مارس 2027 | يتوقف Bing عن قراءة علامات NoArchive وNoCache القديمة كتفضيلات تدريب أو تأريض | 122 |
| 3 مايو 2027 | تنتهي صلاحية مسودة IETF ما لم يتم تحديثها | 185 |
| 2027، لم يتم إعطاء شهر | تهدف جوجل إلى دعم الرمز | لم يتم تاريخه بعد |
| الأشهر القادمة، لا يوجد تاريخ | تهدف OpenAI إلى تنفيذ الإشارة | لم يتم تاريخه بعد |
أعداد الأيام هي حساب تقويمي بسيط بدءا من 30 أكتوبر 2026، وليس مطالبات البائعين. العنصران غير المؤرخين، Google و OpenAI، هما السبب في عدم اعتبار الناشرين الإعلان تغطية مباشرة اليوم.
ما الذي يتحكم به هو وما لا يتحكم به
| سؤال | الإجابة |
|---|---|
| هل يوقف ذلك تدريب الذكاء الاصطناعي على محتواي؟ | هذا هو هدفها، بمجرد أن يطبقها كل مختبر |
| هل يتوقف عن الزحف؟ | لا. المسودة تقول إن الرمز ليس توجيها لسلوك الزحف، لذا قد تجلب البوتات صفحة |
| هل يوقف فهرسة البحث؟ | لا. مايكروسوفت تقول إن عدم المشاركة في التدريب لا يؤثر على الأهلية للحصول على نتائج Bing العادية |
| هل يمنع ذلك إجابات الذكاء الاصطناعي من اقتباس صفحاتي؟ | لا، إلا من خلال التحكم المنفصل في التأريض من مايكروسوفت. التدريب والتأريض استخدامان مختلفان |
| هل يحذف بيانات التدريب السابقة؟ | لا. يغطي فقط الجولات التدريبية المستقبلية، وليس المحتوى الذي تم جمعه بالفعل أو في أوزان النماذج |
| هل يربط الكاشطات التي تتجاهله؟ | لا. إنها اختيارية، بدون سلطة تنفيذية، لذا يمكن للكشاطين غير الممتثلين تجاهلها |
هذا الحد الأخير هو الذي يواجهه الناشرون دائما. الرمز هو آلية تنسيق، وليس رقابة أمنية. يعمل فقط مع الشركات التي تختار اتباعه، والمسودة نفسها لا تملك مكانة رسمية في IETF. هذا لا يجعله عديم الفائدة، لكنه يعني أنه يجب عليك الاستمرار في مراقبة الامتثال تلو الآخر، والحفاظ على الضوابط الحالية حتى يتم الالتزام بالرمز المشترك فعليا.
ماذا نفعل الآن
أضف الرمز الآن، لن يكلف شيئا. كتلة السطرين منشورة بالفعل، وإضافتها مبكرا تعني أنك مغطى عند وصول الدعم، دون انتظار موعد نشر كل مختبر.
احتفظ بقواعدك الحالية. Google Extended وGPTBot وClaudeBot وغيرها من قواعدك الخاصة بالشركة تبقى كما تعمل اليوم. لا تحذفها لصالح رمز لم ينشر بعد.
حدد التدريب والتأريض بشكل منفصل. إذا كنت تستخدم منتجات مايكروسوفت، اضبط تفضيل التدريب وتفضيل التأريض كخيارين وليس واحدا. إذا كنت تهتم برؤية تطبيق Gemini، قرر بشكل صريح بشأن Google Extended بدلا من ترك الرمز المشترك يقرر ذلك بشكل افتراضي.
تحقق من علامات Bing قبل 1 مارس 2027. إذا كان موقعك يعتمد على NoArchive أو NoCache، انتقل إلى تفضيلات مايكروسوفت الجديدة قبل هذا الموعد النهائي.
توقع مسودة متابعة. تنتهي صلاحية المسودة الحالية في 3 مايو 2027 ما لم يتم تحديثها، وتشمل مجموعة العمل ميتا، كلاودفلير، مؤسسة كومون كرولي، نيوز كورب، فاينانشال تايمز، بي بي سي، مؤسسة الحدود الإلكترونية والمشاع الإبداعي. قد يتغير المعيار مع إبداء المشاركين في رأيه، لذا اعتبر صياغة اليوم نقطة انطلاق وليس قانونا نهائيا.
بالنسبة للفرق التي تبني منتجات الذكاء الاصطناعي، الدرس أوسع من مجرد ملف robots.txt واحد. تفضيلات التدريب، وتفضيلات التأريض، ورؤية البحث أصبحت الآن ثلاثة أدوات منفصلة، ويتم خلطها في التكاليف إما مثل التحكم في البيانات أو حركة المرور. CodeMyPixel يبني خدمات تطوير وكلاء الذكاء الاصطناعي ويساعد الشركات على توظيف وكالة أتمتة الذكاء الاصطناعي لإدخال الذكاء الاصطناعي في سير عمل حقيقي مع الحواجز والتقييم التي لا يوفرها نموذج خام أو خط robots.txt واحد. إذا كنت تزن بين النماذج المفتوحة والمغلقة، فإن تحليل الأوزان المفتوحة لما لدينا من Mistral Large 4 وشرح Gemini 4 Carbon يوضح كيف تختلف الوصول، والتراخيص، والسيطرة عمليا.
أيهما تختار
اختر الرمز المشترك بالإضافة إلى قواعدك القديمة إذا كنت تريد تغطية قصوى اليوم. الرمز يجهزك لعام 2027، والقواعد القديمة تحميك الآن.
اختر خيار الانسحاب من التدريب فقط إذا كنت تريد أن يستخرج محتواك من تدريب النماذج المستقبلية، لكنك لا تزال تريد حركة مرور البحث وظهور الإجابات بالذكاء الاصطناعي. تذكر أن هذا الرمز وحده لا يمنع إجابات الذكاء الاصطناعي.
اختر خيار التدريب مع الاستثناء على مايكروسوفت إذا كنت تريد أيضا حذف صفحاتك من إجابات الذكاء الاصطناعي الحية في بينغ، كوبايلوت ومايكروسوفت 365. هذا إعداد منفصل لمايكروسوفت، وليس جزءا من الرمز المشترك نفسه.
لا تختار أي خيار للانسحاب إذا استفاد عملك من التعرض لتدريب الذكاء الاصطناعي، أو إذا كنت ترغب في البقاء مؤهلا لتطبيق Gemini Grounding and Clicks، وكنت مرتاحا لاستخدام محتواك للتدريب. هذا خيار تجاري، وليس افتراضيا، لذا اجعله متعمدا.
ما هو رمز الانسحاب من التدريب المشترك بالذكاء الاصطناعي؟
إنه رمز سياسة robots.txt، _useai-training، أعلن عنه في 30 أكتوبر 2026، ويقول OpenAI وجوجل ومايكروسوفت و Anthropic إنهم سيحترمونه. يضيف مالك موقع User-Agent: _usageai-training متبوعا بعدم السماح ب: / للانسحاب من تدريب الذكاء الاصطناعي، بدلا من حظر زاحف كل شركة بالاسم.
هل يمنع الاختيار الانسحاب من جوجل أو بينغ من فهرسة موقعي؟
لا. الرمز يغطي تدريب الذكاء الاصطناعي فقط، وليس الزحف أو البحث. تقول مايكروسوفت إن الاشتراك في التدريب لا يؤثر على الأهلية للحصول على نتائج Bing العادية، وأن المسودة تقول إن الرمز ليس توجيها لسلوك الزحف.
متى يبدأ الرمز المشترك فعليا في التنفيذ؟
Anthropic بدأت بالفعل في تنفيذها. تبدأ مايكروسوفت في 1 فبراير 2027. تهدف جوجل إلى عام 2027 دون تحديد شهر. تقول OpenAI إنها ستنفذ الإشارة في الأشهر القادمة دون تحديد موعد. حتى ذلك الحين، القواعد الحالية لكل شركة هي ما يعمل اليوم.
هل يقوم الرمز بإزالة محتواي من النماذج التي تم تدريبها عليه مسبقا؟
لا. تحديث robots.txt لا يزيل المحتوى الذي تم جمعه مسبقا في مجموعات البيانات أو تم تدريبه بالفعل على أوزان النماذج. الرمز يغطي فقط جولات التدريب المستقبلية.
هل هذا معيار رسمي للويب؟
لا، ليس بعد. إنها مسودة فردية على الإنترنت من IETF بعنوان "إشارة تفضيل التدريب القابلة للقراءة آليا"، من إعداد كيفن كيلي من Anthropic، قدمت إلى مجموعة عمل تفضيلات الذكاء الاصطناعي في IETF. يشير متتبع بيانات IETF إلى أن المسودة الفردية غير معتمدة من IETF ولا تملك صفة رسمية، وتنتهي صلاحية المسودة في 3 مايو 2027 ما لم يتم تحديثها.
هل يجب على شركتي الانسحاب من تدريب الذكاء الاصطناعي؟
اختر الانسحاب إذا كان التحكم في استخدام التدريب المستقبلي يهمك أكثر من أي تعرض قد يجلبه هذا التدريب، واحتفظ بقواعد الزحف القديمة حتى يصبح الرمز المشترك نشطا. ابق مختارا، أو حدد تصريحا صريحا من Google Extended إذا كنت ترغب في البقاء مؤهلا لتأريض تطبيق Gemini والنقرات. قرر التدريب والتأريض بشكل منفصل، وراجع الخيار عند موعد مايكروسوفت في 1 فبراير 2027.
- robots.txt
- ai training opt-out
- openai
- microsoft
- anthropic
- ai policy
