Op deze pagina
De AI crawler checker: achttien crawlers, een oordeel
De AI crawler checker leest je robots.txt zoals achttien crawlers dat doen en zegt per crawler of hij je site mag lezen, met de regel die het beslist. Daarna antwoordt hij op de vraag die telt: mogen de assistenten die antwoorden zoeken binnen? Alleen dan kan ChatGPT, Claude of Perplexity je pagina als bron tonen. Draait de check op je adres nog niet, plak dan de inhoud van je robots.txt: de tool leest hem in je browser met dezelfde regels.
Kies daarnaast wat je wil: alles toelaten, geciteerd worden zonder dat je tekst een model traint, of alle AI weren. De tool legt je robots.txt naast die keuze, noemt elke crawler die er niet bij past en geeft een robots.txt die precies doet wat je kiest.
Trainen, zoeken en ophalen: drie soorten AI-crawlers
Een AI-crawler doet een van drie dingen, en dat verschil beslist alles. Een trainingscrawler verzamelt tekst voor het volgende model. Een zoekcrawler haalt pagina's op om vragen te beantwoorden en bronnen met een link te tonen. Een gebruikerscrawler opent een pagina omdat iemand er in een gesprek om vraagt. OpenAI zegt het zelf: elke instelling staat los van de andere. Wie GPTBot weert, verdwijnt dus niet uit ChatGPT. Hoe die antwoorden hun bronnen kiezen, lees je in hoe word je vindbaar in ChatGPT en bij het begrip GEO.
| Crawler | Van | Wat hij doet | Wat weren je kost |
|---|---|---|---|
| GPTBot | OpenAI | Verzamelt tekst die modellen kan trainen | Niets in ChatGPT search; je tekst traint het volgende model niet |
| OAI-SearchBot | OpenAI | Toont en linkt sites in ChatGPT search | Je plek als bron in ChatGPT, hooguit nog een navigatielink |
| ChatGPT-User | OpenAI | Opent een pagina als iemand erom vraagt | Weinig: OpenAI zegt dat robots.txt hier mogelijk niet geldt |
| ClaudeBot | Anthropic | Verzamelt tekst die Claude kan trainen | Niets in de antwoorden van Claude |
| Claude-SearchBot | Anthropic | Indexeert voor de zoekresultaten van Claude | Je zichtbaarheid in Claude |
| Claude-User | Anthropic | Opent een pagina voor een vraag van een gebruiker | Claude kan je pagina niet ophalen als iemand erom vraagt |
| PerplexityBot | Perplexity | Toont en linkt sites, traint niet | Je plek in de antwoorden van Perplexity |
| Perplexity-User | Perplexity | Opent een pagina voor een vraag | Weinig: hij negeert robots.txt doorgaans |
| Google-Extended | Gemini-training en bronnen in de Gemini-app; crawlt niet zelf | Je plek als bron in de Gemini-app, niet in Google Search | |
| Googlebot | Google Search, ook de AI-overzichten | Je hele plek in Google | |
| Bingbot | Microsoft | Bing, en daarmee Copilot | Je plek in Bing en Copilot |
| Applebot | Apple | Zoeken in Siri, Spotlight en Safari | Je plek in die zoekfuncties |
| Applebot-Extended | Apple | Of Apple traint op wat Applebot las; crawlt niet zelf | Niets in zoeken |
| meta-externalagent | Meta | Verzamelt tekst om AI-modellen van Meta te trainen | Niets in Meta AI-bronnen |
| meta-webindexer | Meta | Bronnen en citaten in Meta AI | Je plek als bron in Meta AI |
| meta-externalfetcher | Meta | Opent een pagina voor een vraag aan Meta AI | Weinig: Meta zegt dat hij robots.txt kan omzeilen |
| CCBot | Common Crawl | Bouwt een open archief, bron van veel trainingssets | Niets in zoeken |
| Bytespider | ByteDance | Crawler van het bedrijf achter TikTok | Onbekend: we vonden bij ByteDance geen uitleg over deze crawler |
Twee namen crawlen niet zelf. Google-Extended en Applebot-Extended zijn alleen een vlag in je robots.txt: ze zeggen wat Google en Apple mogen doen met wat Googlebot en Applebot al lazen. Let op bij Google: Google-Extended regelt naast training ook of de Gemini-app je pagina als bron gebruikt. Google Search en de AI-overzichten regel je er niet mee; daarvoor dienen Googlebot en tags als nosnippet.
Geciteerd worden zonder getraind te worden
robots.txt: Geciteerd, niet getraind
Zoekt antwoorden en toont bronnen
- OAI-SearchBot
- Claude-SearchBot
- PerplexityBot
- meta-webindexer
- Googlebot
- Bingbot
- Applebot
Allow: /
Je pagina kan als bron verschijnen, met een link
Haalt op als een gebruiker erom vraagt
- ChatGPT-User
- Claude-User
- Perplexity-User
- meta-externalfetcher
Allow: /
Een assistent opent je pagina als iemand erom vraagt; OpenAI, Perplexity en Meta zeggen dat robots.txt hier niet altijd geldt
Traint modellen
- GPTBot
- ClaudeBot
- Google-Extended
- Applebot-Extended
- meta-externalagent
- CCBot
- Bytespider
Je tekst traint het volgende model niet. Je plek als bron houd je
Google-Extended en Applebot-Extended crawlen niet zelf: ze zeggen wat Google en Apple mogen doen met wat Googlebot en Applebot lazen. Google-Extended weren haalt je ook weg als bron in de Gemini-app, niet uit Google Search.
GPTBot in robots.txt blokkeren: wat het kost
Weinig, als je het goed doet. OpenAI gebruikt GPTBot voor training en OAI-SearchBot voor ChatGPT search. Een site die GPTBot weert en OAI-SearchBot binnenlaat, kan gewoon als bron in een antwoord staan. Een site die OAI-SearchBot weert, verschijnt volgens OpenAI niet meer in de antwoorden van ChatGPT search, hooguit als navigatielink. Laat je beide toe, dan kan OpenAI een bezoek voor beide doelen gebruiken. Een wijziging zit na ongeveer 24 uur in de systemen van OpenAI; Perplexity en Meta noemen tot 24 uur.
Het omgekeerde gebeurt vaker dan je denkt. Een beveiligingsplugin, een regel Disallow: / voor alle onbekende bots of een te strenge firewall houdt soms elke crawler buiten, ook de zoekcrawlers die je nodig hebt. De checker toont dat meteen, met de regel die het beslist. Wil je weten of Google je pagina's wel vindt, draai dan ook de SEO check of de check website niet vindbaar.
robots.txt-voorbeelden per keuze
| Je keuze | Wat in je robots.txt staat | In ChatGPT, Claude en Perplexity | In Google en Bing |
|---|---|---|---|
| Alles toelaten | Geen regels voor AI-crawlers, of User-agent: * met Allow: / | Je kan als bron verschijnen, en je tekst kan een model trainen | Gewoon zichtbaar |
| Geciteerd, niet getraind | Allow voor vijf zoek- en vier gebruikerscrawlers, Disallow voor zeven trainingscrawlers, Google en Bing via het sterretje | Je kan als bron verschijnen; GPTBot, ClaudeBot en CCBot lezen niet mee | Gewoon zichtbaar; uit de Gemini-app als bron, omdat Google-Extended ook dat regelt |
| Alle AI weren | Disallow voor de zestien crawlers naast Googlebot en Bingbot, ook Applebot | Geen bron meer, op een navigatielink in ChatGPT na | Gewoon zichtbaar, ook in de AI-overzichten |
De tool zet elke keuze om in een volledige robots.txt die je kopieert. Elke crawler staat er met zijn eigen naam in, want een crawler volgt alleen de groep die hem noemt, of anders de groep met het sterretje. Bestaande regels voor je eigen mappen zet je in de groep User-agent: *. Wie technische SEO al op orde heeft, past dit in tien minuten aan.
Je robots.txt in vijf stappen aanpassen
- Kies wat je wilAlles toelaten, geciteerd worden zonder training, of alle AI weren. Bij twijfel: geciteerd, niet getraind.
- Lees je huidige bestandOpen jouwbedrijf.be/robots.txt en plak de inhoud in de checker. Geen bestand of een 404 betekent: alles mag.
- Neem de robots.txt van de tool overKopieer het bestand voor je keuze en zet je eigen regels en sitemap erbij in de groep met het sterretje.
- Zet hem in de hoofdmaprobots.txt hoort op het hoofdadres, niet in een submap. Elk subdomein, zoals shop.jouwbedrijf.be, heeft zijn eigen bestand nodig.
- Check na een dagOpenAI, Perplexity en Meta noemen tot 24 uur voor een wijziging doorwerkt. Draai de checker opnieuw en kijk of elke crawler staat waar je hem wil.
Cloudflare en je firewall: wat je robots.txt niet toont
Staat je site achter Cloudflare, dan kan een instelling daar crawlers weren voor ze je robots.txt lezen. Op 1 juli 2025 begon Cloudflare AI-crawlers standaard te weren tenzij ze betalen, en kreeg elk nieuw domein de vraag of het AI-crawlers toelaat. Sinds 1 juli 2026 zijn er aparte knoppen voor zoeken, agents en training, ook op het gratis plan. Op 15 september 2026 veranderde het opnieuw: de oude knop om AI-bots te blokkeren en de beheerde robots.txt worden uitgefaseerd, en de instelling Block raakt nu ook Googlebot, Bingbot en Applebot. Wie daar op Block staat, kan dus ook uit gewoon zoeken vallen. Om training te weigeren en zoeken open te houden, kies je bij Cloudflare voor Disallow AI Training. Nieuwe domeinen zonder advertenties laten sinds die dag alles toe, met advertenties staat training standaard op weigeren.
Grenzen van de checker
- Blokkades buiten robots.txtEen firewall, Cloudflare of je host kan een crawler op zijn naam of zijn IP-adres weren. De checker leest de regels, niet wat je server antwoordt aan elke crawler.
- Crawlers die robots.txt overslaanChatGPT-User, Perplexity-User en meta-externalfetcher halen op voor een mens; volgens hun makers geldt robots.txt daar niet altijd. Ook de fetchers die een gebruiker bij Google start, negeren het doorgaans.
- Crawlers die zich vermommenCommon Crawl waarschuwt dat andere crawlers zich als CCBot voordoen. Wie zeker wil zijn, vergelijkt het IP-adres met de lijst die de aanbieder publiceert.
- Andere paden en subdomeinenDe checker leest wat geldt voor je homepage. Een regel die alleen /blog/ sluit, of een apart subdomein, check je apart.
- Tags op de paginaEen noindex of nosnippet in je HTML weegt ook mee. Die leest de SEO check.
llms.txt: wat het is en wat het niet doet
llms.txt is een voorstel van Jeremy Howard van 3 september 2024: een markdownbestand op je hoofdadres met de naam van je site, een korte samenvatting en lijsten met links naar je belangrijkste pagina's. De checker meldt of je er een hebt. Google zegt dat je voor de AI-overzichten en de AI-modus geen aparte AI-bestanden nodig hebt, en geen enkele aanbieder belooft dat een llms.txt je vaker laat citeren. Het kan geen kwaad, maar het is geen hefboom. Wat wel telt: dat de zoekcrawlers binnen mogen, en dat je pagina de vraag in de eerste zinnen beantwoordt. Het verschil tussen klassieke zoekmachines en AI-antwoorden lees je in SEO of GEO.
Welke keuze past bij jouw bedrijf
| Wie je bent | Wat we kiezen | Waarom |
|---|---|---|
| Zelfstandige of dienstbedrijf (boekhouder, advocaat, installateur) | Geciteerd, niet getraind, of alles toelaten | Je verkoopt je kennis aan tafel, niet je tekst. Elke vermelding in een antwoord is een kans op een gesprek |
| Webshop | Alles toelaten of geciteerd, niet getraind | Productvragen gaan steeds vaker via een assistent. Je productpagina moet leesbaar zijn voor wie de vraag beantwoordt |
| Uitgever, opleider of blog die van zijn tekst leeft | Geciteerd, niet getraind, of alle AI weren | Je tekst is je product. Een citaat met link kan bezoek brengen, een model dat je tekst kent niet |
| Bedrijf met tien man en een klantenportaal | Geciteerd, niet getraind, en het portaal achter een login | robots.txt is geen slot: wat privé is, hoort achter een wachtwoord, niet achter een Disallow |
Voor de meeste kmo's is de vraag niet of AI je tekst leest, maar of je in het antwoord staat als een klant een assistent om advies vraagt. Wie vandaag vergelijkt welke assistent zijn team gebruikt, vindt het verschil in ChatGPT of Claude en ChatGPT of Gemini. Hoeveel bezoek er al uit AI-antwoorden komt, zie je sinds kort in het AI-rapport van Search Console.
GPTBot, Cloudflare en llms.txt
Moet ik GPTBot blokkeren?
Dat is een keuze over training, niet over zichtbaarheid. Weer je GPTBot, dan gebruikt OpenAI je tekst niet om zijn volgende model te trainen. In ChatGPT search kan je nog altijd als bron verschijnen, zolang OAI-SearchBot binnen mag. OpenAI zegt dat de twee instellingen los van elkaar staan.
Wat is het verschil tussen GPTBot en OAI-SearchBot?
GPTBot verzamelt tekst die OpenAI kan gebruiken voor training. OAI-SearchBot haalt pagina's op om ze in ChatGPT search te tonen, met een link. Wie OAI-SearchBot weert, verschijnt niet meer in de antwoorden van ChatGPT search, hooguit als navigatielink.
Blokkeert Cloudflare AI-crawlers standaard?
Sinds 1 juli 2025 vroeg Cloudflare elk nieuw domein of het AI-crawlers toelaat, met blokkeren als standaard. Sinds 15 september 2026 laten nieuwe domeinen zonder advertenties alles toe en zetten domeinen met advertenties alleen training standaard op weigeren. Wat er voor jouw site geldt, zie je in je Cloudflare-dashboard bij de instellingen voor AI-crawlers.
Heb ik een llms.txt nodig?
Nee. Google zegt dat je voor de AI-overzichten geen aparte AI-bestanden nodig hebt, en geen aanbieder belooft dat een llms.txt je vaker laat citeren. Het kan erbij, maar toegang voor de zoekcrawlers en pagina's die de vraag meteen beantwoorden, wegen zwaarder.
Hoe lang duurt het voor ChatGPT een wijziging in robots.txt ziet?
OpenAI noemt ongeveer 24 uur. Perplexity en Meta zeggen tot 24 uur. De standaard voor robots.txt laat een crawler een kopie hooguit 24 uur gebruiken, tenzij het bestand onbereikbaar is.
Bewaart de tool mijn adres of mijn robots.txt?
Nee. Een geplakte robots.txt wordt in je browser gelezen en gaat nergens heen. Een adres gaat naar onze functie, die je robots.txt ophaalt en antwoordt. We houden alleen bij hoeveel checks er per dag gebeuren, niet welke sites.