Een robots.txt regel om af te zien van AI-training wordt uitgelegd

Op 30 oktober 2026 deden vier van de grootste AI-labs iets ongewoons: ze kwamen overeen over dezelfde regel. OpenAI, Google, Microsoft en Anthropic zeiden allemaal dat ze één gedeelde robots.txt token, _usageai-training, zullen respecteren, waarmee een website in één stap kan afzien van AI-training. Tot nu toe moest een uitgever die eruit wilde stappen de crawler van elk bedrijf blokkeren op naam: GPTBot, Google-Extended, ClaudeBot en een groeiende lijst anderen. Deze aankondiging brengt die klus samen in één enkele inzending.

Het addertje onder het gras zit in de timing en de kleine lettertjes. Alleen Anthropic zegt dat het al is begonnen met het implementeren van ondersteuning. Microsoft begint op 1 februari 2027. Google streeft naar 2027. OpenAI zegt "in de komende maanden" zonder datum. En het signaal is vrijwillig, het dekt alleen training, en doet niets aan content die al verzameld of getraind is. Dit is dus een echte coördinatiestap, geen directe uit-schakelaar.

Het snelle oordeel

De exacte code

Voeg deze blokkade toe aan je robots.txt als je wilt afmelden voor training op je hele site:

User-Agent: __usage_ai-training
Disallow: /

Om alles behalve één map te reserveren, voegt het conceptvoorbeeld een Toestaan-regel toe:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Twee details zijn belangrijk. Ten eerste moet het token exact overeenkomen, behalve lettergeval. Een generieke User-Agent: * groep telt niet mee, en als geen groep de token noemt, heeft de site geen voorkeur gegeven. Ten tweede kun je je afmelden voor slechts enkele mappen in plaats van voor de hele site, door Disallow te gebruiken op de paden die je wilt beschermen.

Wie het respecteert, en wanneer

Microsoft gaat het verst. Het voegt een trainingsinstelling op paginaniveau toe en een aparte grounding-instelling, die bepaalt of een pagina live AI-antwoorden kan leveren in Bing, Copilot en Microsoft 365. Een derde optie, DisallowExtended, maakt grounding mogelijk in Microsofts eigen producten, maar niet in de grounding-diensten die het aan andere bedrijven verkoopt. Microsoft zegt ook dat een pagina een Bingbot metatag, ai-training:disallow, of een X-Robots-Tag-header kan dragen, die robots.txt overschrijft. Sites die vertrouwen op Bing's oude NoArchive- en NoCache-tags zouden uiterlijk 1 maart 2027 moeten overstappen op de nieuwe voorkeuren, waarna de oude tags niet langer als trainings- of grounding-voorkeur worden gelezen.

De details van Google zijn het waard om zorgvuldig te lezen. Als je de gedeelde token gebruikt om je af te melden en je noemt Google-Extended niet, is Google van plan dat te behandelen als een blokkering van Google-Extended. Maar als je Google-Extended expliciet toestaat, zegt Google dat die site nog steeds in aanmerking komt om te verschijnen en klikken te verdienen door te verankeren in Gemini-app-antwoorden. Met andere woorden, de opt-out keuze en de zichtbaarheidsoptie zijn gekoppeld, dus stel ze beide bewust in.

Belangrijke data, geteld vanaf de aankondiging

De dagtellingen zijn eenvoudige kalenderrekenkunde van 30 oktober 2026, niet van leveranciersclaims. De twee ongedateerde items, Google en OpenAI, zijn de reden dat uitgevers de aankondiging vandaag niet als live verslaggeving moeten behandelen.

Wat het controleert, en wat niet

Deze laatste limiet is degene waar uitgevers steeds tegenaan lopen. De token is een coördinatiemechanisme, geen beveiligingscontrole. Hij werkt alleen met bedrijven die ervoor kiezen het te volgen, en het concept zelf heeft geen formele IETF-status. Dat maakt het niet nutteloos, maar het betekent wel dat je compliance crawler voor crawler moet blijven monitoren en je bestaande controles moet blijven behouden totdat het gedeelde token daadwerkelijk wordt gehonoreerd.

Wat nu te doen

Voeg de token nu toe, het kost niets. Het blok met twee regels is al gepubliceerd, en als je het vroeg toevoegt, ben je gedekt zodra de ondersteuning arriveert, zonder te hoeven wachten op de uitroldatum van elk lab.

Houd je bestaande regels. Google-Extended, GPTBot, ClaudeBot en je andere regels per bedrijf blijven wat vandaag de dag nog werkt. Verwijder ze niet ten gunste van een token die grotendeels nog niet actief is.

Bepaal training en grounding apart. Als je Microsofts producten gebruikt, stel dan de trainingsvoorkeur en de groundingvoorkeur als twee keuzes in, niet als één. Als je geeft om de zichtbaarheid van Gemini-apps, beslis dan expliciet over Google-Extended in plaats van het gedeelde token het standaard te laten bepalen.

Controleer Bing-tags vóór 1 maart 2027. Als je site afhankelijk is van NoArchive of NoCache, ga dan vóór die deadline over naar de nieuwe Microsoft-voorkeuren.

Verwacht een vervolgconcept. Het huidige concept verloopt op 3 mei 2027 tenzij het wordt bijgewerkt, en de werkgroep bestaat uit Meta, Cloudflare, de Common Crawl Foundation, News Corp, de Financial Times, de BBC, de Electronic Frontier Foundation en Creative Commons. De standaard kan veranderen naarmate deze deelnemers hun mening geven, dus beschouw de bewoording van vandaag als uitgangspunt, niet als definitieve wet.

Voor teams die AI-producten bouwen, is de les breder dan één robots.txt bestand. Trainingsvoorkeuren, groundingvoorkeuren en zoekzichtbaarheid zijn nu drie aparte hefbomen, waarbij het combineren ervan kosten is voor databeheer of verkeer. CodeMyPixel bouwt AI-agentontwikkelingsdiensten en helpt bedrijven een AI-automatiseringsbureau in te huren om AI in echte workflows te brengen met de vangrails en evaluaties die een ruwe model of een enkele robots.txt lijn niet biedt. Als je open modellen afweegt tegen gesloten, laten onze Mistral Large 4 open weights uitleg en onze Gemini 4 Carbon uitleg zien hoe toegang, licentie en controle in de praktijk verschillen.

Welke kies je

Kies de gedeelde token plus je oude regels als je vandaag maximale dekking wilt. De token bereidt je voor op 2027, de oude regels beschermen je nu.

Kies alleen voor trainingsopt-out als je je content uit toekomstige modeltraining wilt halen, maar toch zoekverkeer en zichtbaarheid van AI-antwoorden wilt. Onthoud dat dit token alleen AI-antwoorden niet blokkeert.

Kies training plus grounding opt-out op Microsoft als je ook wilt dat je pagina's uit live AI-antwoorden in Bing, Copilot en Microsoft 365 komen. Dat is een aparte Microsoft-instelling, geen onderdeel van het gedeelde token zelf.

Kies geen opt-out als je bedrijf profiteert van AI-training, of als je in aanmerking wilt blijven komen voor Gemini-app grounding en klikken, en je je prettig voelt bij het gebruik van je content voor training. Dit is een zakelijke keuze, geen standaardkeuze, dus maak het bewust.

Wat is de gedeelde AI-trainingsopt-out token?

Het is een robots.txt beleidstoken, _usageai-training, aangekondigd op 30 oktober 2026, dat OpenAI, Google, Microsoft en Anthropic zullen respecteren. Een website-eigenaar voegt User-Agent toe: _usageai-training gevolgd door Disallow: / om zich af te melden voor AI-training, in plaats van de crawler van elk bedrijf op naam te blokkeren.

Voorkomt het afmelden dat Google of Bing mijn site indexeren?

Nee. De token dekt alleen AI-training, niet crawling of search. Microsoft zegt dat het afmelden van training geen invloed heeft op de geschiktheid voor reguliere Bing-resultaten, en het concept zegt dat de token geen richtlijn is voor crawling-gedrag.

Wanneer treedt het gedeelde token eigenlijk in werking?

Anthropic is al begonnen met de implementatie. Microsoft begint op 1 februari 2027. Google streeft naar 2027 zonder een gegeven maand. OpenAI zegt dat het het signaal in de komende maanden zal implementeren zonder dat er een datum wordt gegeven. Tot die tijd gelden de huidige regels per bedrijf.

Verwijdert de token mijn content van modellen die er al op getraind zijn?

Nee. Het bijwerken van robots.txt verwijdert geen inhoud die al in datasets is verzameld of al getraind is in modelgewichten. De token dekt alleen toekomstige trainingsruns.

Is dit een formele webstandaard?

Nee, nog niet. Het is een individuele IETF Internet-Draft, "Machine-Readable Training Preference Signal", door Kevin Kelley van Anthropic, ingediend bij de IETF AI Preferences werkgroep. De IETF datatracker merkt op dat een individuele versie niet door de IETF wordt goedgekeurd en geen formele status heeft, en dat de draft verloopt op 3 mei 2027 tenzij deze wordt bijgewerkt.

Moet mijn bedrijf zich afmelden voor AI-training?

Meld je af als het controleren van toekomstig trainingsgebruik belangrijker voor je is dan de blootstelling die training kan opleveren, en behoud je oude crawlerregels totdat het gedeelde token actief is. Blijf aangemeld, of stel een expliciete Google-Extended toestemming in als je in aanmerking wilt blijven komen voor Gemini-app grounding en clicks. Kies training en grounding apart en bekijk de keuze wanneer de datum van Microsoft op 1 februari 2027 verschijnt.

• robots.txt
• ai training opt-out
• openai
• google
• microsoft
• anthropic
• ai policy