এআই প্রশিক্ষণ থেকে বেরিয়ে আসার জন্য একটি robots.txt নিয়ম ব্যাখ্যা করা হয়েছে

30 অক্টোবর, 2026-এ, চারটি বৃহত্তম এআই ল্যাব অস্বাভাবিক কিছু করেছে: তারা একই নিয়মে একমত হয়েছিল। OpenAI, গুগল, মাইক্রোসফ্ট এবং Anthropic সকলেই বলেছে যে তারা একটি ভাগ করা robots.txt টোকেনকে সম্মান জানাবে, ব্যবহার এআই-প্রশিক্ষণ, যা কোনও ওয়েবসাইটকে একক পদক্ষেপে এআই প্রশিক্ষণ থেকে বেরিয়ে আসতে দেয়। এখন পর্যন্ত, একজন প্রকাশক যিনি বাইরে যেতে চেয়েছিলেন তাকে প্রতিটি কোম্পানির ক্রলারকে নাম দ্বারা ব্লক করতে হয়েছিল, জিপিটিবট, গুগল-এক্সটেন্ডেড, ক্লডবট এবং অন্যদের ক্রমবর্ধমান তালিকা। এই ঘোষণাটি সেই কাজটিকে একটি এন্ট্রিতে ভেঙে দেয়।

ক্যাচটি সময় এবং সূক্ষ্ম মুদ্রণে রয়েছে। কেবল Anthropic বলেছে যে এটি ইতিমধ্যে সমর্থন বাস্তবায়ন শুরু করেছে। মাইক্রোসফ্ট 1 ফেব্রুয়ারী, 2027 থেকে শুরু করে। গুগল 2027 এর জন্য লক্ষ্য নিয়েছে। OpenAI বলছে "আগামী মাসগুলিতে" কোনও তারিখ ছাড়াই। এবং সংকেতটি স্বেচ্ছাসেবী, এটি কেবল প্রশিক্ষণকে কভার করে এবং এটি ইতিমধ্যে সংগৃহীত বা প্রশিক্ষিত সামগ্রী সম্পর্কে কিছুই করে না। সুতরাং এটি একটি বাস্তব সমন্বয় পদক্ষেপ, তাত্ক্ষণিক অফ সুইচ নয়।

দ্রুত রায়

সঠিক কোড

আপনি যদি আপনার পুরো সাইটে প্রশিক্ষণ থেকে বেরিয়ে আসতে চান তবে এই ব্লকটি আপনার robots.txt যুক্ত করুন:

User-Agent: __usage_ai-training
Disallow: /

একটি ফোল্ডার ব্যতীত সবকিছু অপ্ট আউট করতে, খসড়া উদাহরণটি একটি অনুমতি দিন লাইন যুক্ত করে:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

দুটি বিবরণ গুরুত্বপূর্ণ। প্রথমত, টোকেনটি অবশ্যই লেটার কেস ব্যতীত হুবহু মিলতে হবে। একটি জেনেরিক User-Agent: * গ্রুপ গণনা করা হয় না এবং যদি কোনও গ্রুপ টোকেনের নাম না দেয় তবে সাইটটি কোনও পছন্দ প্রকাশ করেনি। দ্বিতীয়ত, আপনি যে পথগুলি রক্ষা করতে চান সেগুলিতে Disallow ব্যবহার করে পুরো সাইটের পরিবর্তে কেবল কয়েকটি ফোল্ডার থেকে অপ্ট আউট করতে পারেন।

কে সম্মান করবে এবং কখন

মাইক্রোসফ্ট আরও দূরে যায়। এটি একটি পৃষ্ঠা-স্তরের প্রশিক্ষণ সেটিং এবং একটি পৃথক গ্রাউন্ডিং সেটিং যুক্ত করছে, যা সিদ্ধান্ত নেয় যে কোনও পৃষ্ঠা বিং, কোপাইলট এবং মাইক্রোসফ্ট 365 এ লাইভ এআই উত্তরগুলি ফিড করতে পারে কিনা। তৃতীয় বিকল্প, ডিসলোএক্সটেন্ডেড, মাইক্রোসফ্টের নিজস্ব পণ্যগুলিতে গ্রাউন্ডিংয়ের অনুমতি দেয় তবে এটি অন্যান্য সংস্থাগুলিকে বিক্রি করে এমন গ্রাউন্ডিং পরিষেবাগুলিতে নয়। মাইক্রোসফ্ট আরও বলেছে যে একটি পৃষ্ঠা একটি বিংবট মেটা ট্যাগ, এআই-প্রশিক্ষণ: ডিসলো, বা একটি এক্স-রোবটস-ট্যাগ শিরোনাম বহন করতে পারে, যা robots.txt ওভাররাইড করে। বিংয়ের পুরানো নোআর্কাইভ এবং নোক্যাশ ট্যাগগুলির উপর নির্ভর করে এমন সাইটগুলি 1 মার্চ, 2027 এর মধ্যে নতুন পছন্দগুলিতে স্যুইচ করা উচিত, যার পরে পুরানো ট্যাগগুলি আর প্রশিক্ষণ বা গ্রাউন্ডিং পছন্দ হিসাবে পড়া হয় না।

গুগলের বিশদ মনোযোগ সহকারে পড়ার মতো। আপনি যদি অপ্ট আউট করার জন্য ভাগ করা টোকেনটি ব্যবহার করেন এবং আপনি গুগল-এক্সটেন্ডেডের কথা উল্লেখ না করেন, তবে গুগল এটিকে গুগল-এক্সটেন্ডেড ব্লক হিসাবে বিবেচনা করার পরিকল্পনা করেছে। তবে আপনি যদি স্পষ্টভাবে গুগল-এক্সটেন্ডেডকে অনুমতি দেন তবে গুগল বলেছে যে সাইটটি মিথুন অ্যাপের উত্তরগুলিতে গ্রাউন্ডিংয়ের মাধ্যমে প্রদর্শন এবং ক্লিক উপার্জন করার যোগ্য রয়েছে। অন্য কথায়, অপ্ট-আউট পছন্দ এবং দৃশ্যমানতা পছন্দটি সংযুক্ত রয়েছে, তাই ইচ্ছাকৃতভাবে উভয়ই সেট করুন।

মূল তারিখগুলি, ঘোষণা থেকে গণনা করা হয়েছে

দিনের গণনাগুলি 30 অক্টোবর, 2026 থেকে সাধারণ ক্যালেন্ডার পাটিগণিত, বিক্রেতার দাবি নয়। দুটি তারিখহীন আইটেম, গুগল এবং OpenAI, প্রকাশকদের আজকের ঘোষণাটিকে লাইভ কভারেজ হিসাবে বিবেচনা করা উচিত নয়।

এটি কী নিয়ন্ত্রণ করে এবং কী করে না

এই শেষ সীমাটি হ'ল প্রকাশকরা চালিয়ে যাচ্ছেন। টোকেনটি একটি সমন্বয় প্রক্রিয়া, সুরক্ষা নিয়ন্ত্রণ নয়। এটি কেবল এমন সংস্থাগুলির সাথে কাজ করে যারা এটি অনুসরণ করতে পছন্দ করে এবং খসড়াটির কোনও আনুষ্ঠানিক আইইটিএফ স্ট্যান্ডিং নেই। এটি এটিকে অকেজো করে তোলে না, তবে এর অর্থ হ'ল আপনার ক্রলার দ্বারা কমপ্লায়েন্স ক্রলার পর্যবেক্ষণ করা উচিত এবং ভাগ করা টোকেনটি প্রকৃতপক্ষে সম্মানিত না হওয়া পর্যন্ত আপনার বিদ্যমান নিয়ন্ত্রণগুলি বজায় রাখা উচিত।

এখন কি করবেন

এখনই টোকেনটি যুক্ত করুন, এটির কোনও খরচ নেই। দ্বি-লাইনের ব্লকটি ইতিমধ্যে প্রকাশিত হয়েছে, এবং এটি তাড়াতাড়ি যুক্ত করার অর্থ আপনি প্রতিটি ল্যাবের রোলআউট তারিখের জন্য অপেক্ষা না করে সমর্থন আসার সাথে সাথে আচ্ছাদিত হয়েছেন।

আপনার বিদ্যমান নিয়মগুলি রাখুন। গুগল-এক্সটেন্ডেড, জিপিটিবট, ক্লডবট এবং আপনার অন্যান্য কোম্পানির নিয়মগুলি আজও কাজ করে। এমন কোনও টোকেনের পক্ষে এগুলি মুছে ফেলবেন না যা বেশিরভাগ ক্ষেত্রে এখনও লাইভ নয়।

প্রশিক্ষণ এবং গ্রাউন্ডিং আলাদাভাবে সিদ্ধান্ত নিন। আপনি যদি মাইক্রোসফ্টের পণ্যগুলি ব্যবহার করেন তবে প্রশিক্ষণের পছন্দ এবং গ্রাউন্ডিং পছন্দটি দুটি পছন্দ হিসাবে সেট করুন, একটি নয়। আপনি যদি জেমিনি অ্যাপ্লিকেশন দৃশ্যমানতা সম্পর্কে যত্নশীল হন তবে ভাগ করা টোকেনকে ডিফল্টরূপে সিদ্ধান্ত নেওয়ার পরিবর্তে গুগল-এক্সটেন্ডেড সম্পর্কে স্পষ্টভাবে সিদ্ধান্ত নিন।

1 মার্চ, 2027 এর আগে বিং ট্যাগগুলি পরীক্ষা করুন। যদি আপনার সাইটটি নোআর্কাইভ বা নোক্যাশের উপর নির্ভর করে তবে সেই সময়সীমার আগে নতুন মাইক্রোসফ্ট পছন্দগুলিতে যান।

একটি ফলো-আপ খসড়া আশা করুন। বর্তমান খসড়াটি আপডেট না হওয়া পর্যন্ত 3 মে, 2027 এ মেয়াদ শেষ হবে এবং ওয়ার্কিং গ্রুপে মেটা, ক্লাউডফ্লেয়ার, কমন ক্রল ফাউন্ডেশন, নিউজ কর্প, ফিনান্সিয়াল টাইমস, বিবিসি, ইলেক্ট্রনিক ফ্রন্টিয়ার ফাউন্ডেশন এবং ক্রিয়েটিভ কমন্স অন্তর্ভুক্ত রয়েছে। এই অংশগ্রহণকারীদের ওজন করার সাথে সাথে মানটি পরিবর্তিত হতে পারে, তাই আজকের শব্দগুলিকে একটি সূচনা পয়েন্ট হিসাবে বিবেচনা করুন, চূড়ান্ত আইন নয়।

এআই পণ্যগুলি তৈরি করা দলগুলির জন্য, পাঠটি একটি robots.txt ফাইলের চেয়ে বিস্তৃত। প্রশিক্ষণের পছন্দ, গ্রাউন্ডিং পছন্দগুলি এবং অনুসন্ধান দৃশ্যমানতা এখন তিনটি পৃথক লিভার এবং তাদের মিশ্রিত করার জন্য ডেটা নিয়ন্ত্রণ বা ট্র্যাফিক খরচ হয়। CodeMyPixel এআই এজেন্ট ডেভেলপমেন্ট পরিষেবাগুলি তৈরি করে এবং সংস্থাগুলিকে একটি এআই অটোমেশন এজেন্সি নিয়োগ করতে সহায়তা করে যাতে এআইকে গার্ডরেল এবং মূল্যায়নের সাথে বাস্তব ওয়ার্কফ্লোতে রাখতে সহায়তা করে যা একটি কাঁচা মডেল বা একক robots.txt লাইন সরবরাহ করে না। আপনি যদি বন্ধ মডেলগুলির বিরুদ্ধে ওপেন মডেলগুলি ওজন করে থাকেন তবে আমাদের মিস্ট্রাল লার্জ 4 ওপেন ওয়েট ব্রেকডাউন এবং আমাদের জেমিনি 4 কার্বন ব্যাখ্যাকারী দেখায় যে অ্যাক্সেস, লাইসেন্সিং এবং নিয়ন্ত্রণ কীভাবে অনুশীলনে আলাদা।

কোনটি বাছাই করবেন

আপনি যদি আজ সর্বাধিক কভারেজ চান তবে ভাগ করা টোকেন এবং আপনার পুরানো নিয়মগুলি চয়ন করুন। টোকেনটি আপনাকে 2027 এর জন্য প্রস্তুত করে, পুরানো নিয়মগুলি এখন আপনাকে রক্ষা করে।

আপনি যদি আপনার সামগ্রীটি ভবিষ্যতের মডেল প্রশিক্ষণ থেকে বের করতে চান তবে আপনি এখনও অনুসন্ধান ট্র্যাফিক এবং এআই উত্তরের দৃশ্যমানতা চান তবে প্রশিক্ষণ অপ্ট-আউট চয়ন করুন। মনে রাখবেন যে এই টোকেনটি একাই এআই উত্তরগুলি অবরুদ্ধ করে না।

আপনি যদি আপনার পৃষ্ঠাগুলি বিং, কোপাইলট এবং মাইক্রোসফ্ট 365 এ লাইভ এআই উত্তরগুলি থেকে বের করতে চান তবে মাইক্রোসফ্টে প্রশিক্ষণ প্লাস গ্রাউন্ডিং অপ্ট-আউট বেছে নিন। এটি একটি পৃথক মাইক্রোসফ্ট সেটিং, ভাগ করা টোকেনের অংশ নয়।

যদি আপনার ব্যবসা এআই প্রশিক্ষণের এক্সপোজার থেকে উপকৃত হয় বা আপনি যদি জেমিনি অ্যাপ গ্রাউন্ডিং এবং ক্লিকগুলির জন্য যোগ্য থাকতে চান এবং আপনি প্রশিক্ষণের জন্য আপনার সামগ্রী ব্যবহার করতে স্বাচ্ছন্দ্য বোধ করেন তবে কোনও অপ্ট-আউট বেছে নিন। এটি একটি ব্যবসায়িক পছন্দ, ডিফল্ট নয়, তাই এটি ইচ্ছাকৃতভাবে তৈরি করুন।

ভাগ করা এআই প্রশিক্ষণ অপ্ট-আউট টোকেন কী?

এটি একটি robots.txt নীতি টোকেন, ব্যবহার এআই-প্রশিক্ষণ, যা 30 অক্টোবর, 2026 এ ঘোষণা করা হয়েছিল, যা OpenAI, গুগল, মাইক্রোসফ্ট এবং Anthropic বলে যে তারা সম্মান করবে। একজন ওয়েবসাইটের মালিক ইউজার-এজেন্ট যুক্ত করেছেন: ব্যবহার এআই-প্রশিক্ষণ_অনুসরণ করুন: / এআই প্রশিক্ষণ থেকে বেরিয়ে আসতে, প্রতিটি কোম্পানির ক্রলারকে নাম দ্বারা ব্লক করার পরিবর্তে।

অপ্ট আউট কি গুগল বা বিং আমার সাইটকে ইনডেক্স করা থেকে বিরত রাখে?

না। টোকেনটি কেবল এআই প্রশিক্ষণকে কভার করে, ক্রলিং বা অনুসন্ধান নয়। মাইক্রোসফ্ট বলেছে যে প্রশিক্ষণ থেকে সরে যাওয়া নিয়মিত বিং ফলাফলের জন্য যোগ্যতাকে প্রভাবিত করে না এবং খসড়ায় বলা হয়েছে যে টোকেনটি ক্রলিং আচরণের জন্য কোনও নির্দেশনা নয়।

ভাগ করা টোকেন আসলে কখন কার্যকর হবে?

Anthropic ইতিমধ্যে এটি বাস্তবায়ন শুরু করেছে। মাইক্রোসফ্ট 1 ফেব্রুয়ারী, 2027 থেকে শুরু করে। গুগল কোনও মাস দেওয়া ছাড়াই 2027 এর জন্য লক্ষ্য নিয়েছে। OpenAI বলেছে যে এটি কোনও তারিখ দেওয়া ছাড়াই আগামী মাসগুলিতে সংকেতটি বাস্তবায়ন করবে। ততক্ষণ পর্যন্ত, আপনার বিদ্যমান কোম্পানির নিয়মগুলি আজ কাজ করে।

টোকেনটি কি ইতিমধ্যে প্রশিক্ষিত মডেলগুলি থেকে আমার সামগ্রী সরিয়ে ফেলে?

না। robots.txt আপডেট করা ইতিমধ্যে ডেটাসেটগুলিতে সংগৃহীত বা ইতিমধ্যে মডেল ওজনে প্রশিক্ষিত সামগ্রী সরিয়ে দেয় না। টোকেনটি কেবল ভবিষ্যতের প্রশিক্ষণ রানগুলি কভার করে।

এটি কি একটি আনুষ্ঠানিক ওয়েব স্ট্যান্ডার্ড?

না, এখনও নয়। এটি একটি স্বতন্ত্র আইইটিএফ ইন্টারনেট-খসড়া, "মেশিন-পঠনযোগ্য প্রশিক্ষণ পছন্দ সংকেত", Anthropic এর কেভিন কেলি দ্বারা আইইটিএফ এআই পছন্দগুলি ওয়ার্কিং গ্রুপে জমা দেওয়া হয়েছে। আইইটিএফ ডেটাট্র্যাকার নোট করে যে কোনও স্বতন্ত্র খসড়া আইইটিএফ দ্বারা অনুমোদিত নয় এবং এর কোনও আনুষ্ঠানিক অবস্থান নেই এবং খসড়াটি আপডেট না হওয়া পর্যন্ত 3 মে, 2027 এ শেষ হবে।

আমার ব্যবসায়ের কি এআই প্রশিক্ষণ থেকে বেরিয়ে আসা উচিত?

প্রশিক্ষণ আনতে পারে এমন কোনও এক্সপোজারের চেয়ে ভবিষ্যতের প্রশিক্ষণের ব্যবহার নিয়ন্ত্রণ করা আপনার কাছে বেশি গুরুত্বপূর্ণ কিনা তা অপ্ট আউট করুন এবং ভাগ করা টোকেনটি লাইভ না হওয়া পর্যন্ত আপনার পুরানো ক্রলার নিয়মগুলি রাখুন। আপনি যদি জেমিনি অ্যাপ গ্রাউন্ডিং এবং ক্লিকগুলির জন্য যোগ্য থাকতে চান তবে বেছে নিন বা একটি সুস্পষ্ট গুগল-এক্সটেন্ডেড অনুমতি সেট করুন। আলাদাভাবে প্রশিক্ষণ এবং গ্রাউন্ডিং সিদ্ধান্ত নিন এবং মাইক্রোসফ্টের 1 ফেব্রুয়ারী, 2027 তারিখ আসলে পছন্দটি পর্যালোচনা করুন।

• robots.txt
• ai training opt-out
• openai
• google
• microsoft
• anthropic
• ai policy