Het antwoord: AI-bots slurpen tot 80% van je servercapaciteit op zonder dat je er iets aan hebt, maar je kunt ze herkennen en blokkeren zonder je positie in Google te schaden. Het gaat om bots die websites leegtrekken om AI-modellen te trainen, niet om legitieme zoekmachines.

Wat er aan de hand is Uit een analyse van Search Engine Journal blijkt dat 80% van het AI-verkeer op websites wordt gebruikt voor het trainen van modellen, niet voor het indexeren van pagina’s. Dit verkeer legt een zware last op servers, wat leidt tot hogere hostingkosten en tragere laadtijden voor echte bezoekers. De bots komen van bedrijven zoals OpenAI, Anthropic en andere AI-ontwikkelaars, en ze gedragen zich anders dan traditionele crawlers van Google of Bing. Waar Googlebot zich aan regels houdt zoals de robots.txt, negeren veel AI-bots die instructies. Het probleem groeit naarmate meer AI-modellen worden getraind op openbare webdata.

Wat dit betekent Voor ondernemers en professionals die een website beheren, betekent dit dat je mogelijk betaalt voor servercapaciteit die wordt gebruikt door derden zonder dat het jouw bedrijf helpt. Een webshop met veel productpagina’s kan bijvoorbeeld honderden extra verzoeken per dag krijgen van AI-bots, wat de server vertraagt en de hostingrekening opdrijft. Vooral kleinere sites zonder caching of CDN merken dit direct in hun laadtijden. Het risico is dat je onbedoeld AI-modellen voedt met jouw content, terwijl je er geen controle over hebt. Tegelijk wil je Googlebot niet hinderen, want dat kan je zichtbaarheid in de zoekresultaten schaden.

Hoe je dit kunt toepassen Als je een webshop runt met veel productpagina’s, overweeg om je serverlogs te controleren op verdachte user-agents. Kijk naar herhaalde verzoeken van bots die zich niet aan je robots.txt houden. Je kunt deze bots blokkeren via je .htaccess-bestand of via een firewall zoals Cloudflare. Een mogelijkheid is om een lijst te maken van bekende AI-bot user-agents, zoals GPTBot of Claude-Web, en deze te weigeren. Test eerst of je Googlebot nog steeds toegang heeft door de user-agent ‘Googlebot’ te controleren in je logs.

Als je een team aanstuurt dat meerdere websites beheert, zou je een monitoringtool kunnen inzetten die verkeerspieken analyseert. Kijk naar patronen: AI-bots sturen vaak veel verzoeken in korte tijd, zonder dat ze cookies of JavaScript laden. Je zou een regel kunnen instellen in je CDN of hostingdashboard om verkeer van onbekende user-agents te limiteren tot een laag aantal verzoeken per minuut. Dit beschermt je server zonder dat je Googlebot raakt, want die heeft een herkenbaar patroon en vaste IP-ranges.

Als je in de hosting of IT-support werkt voor klanten, overweeg om een standaard check in te bouwen bij klachten over trage sites. Controleer of AI-bots de boosdoener zijn door de serverlogs te filteren op user-agents zoals ‘Bytespider’ of ‘Amazonbot’. Je zou een script kunnen schrijven dat deze bots automatisch blokkeert en een rapport stuurt. Een optie is om klanten te adviseren een robots.txt-regel toe te voegen zoals ‘Disallow: /’ voor specifieke bots, maar wees je ervan bewust dat niet alle AI-bots dit respecteren.

Als je een contentwebsite beheert met veel artikelen, is het slim om caching in te schakelen voor statische pagina’s. AI-bots die dezelfde pagina’s steeds opnieuw opvragen, worden dan bediend vanuit de cache in plaats van dat ze je database belasten. Je zou ook een CAPTCHA kunnen toevoegen op formulieren of inlogpagina’s, maar dat is niet nodig voor gewone contentpagina’s. Overweeg om een rate limiter in te stellen op IP-niveau voor verkeer dat niet van Googlebot komt.

Bron: Search Engine Journal (https://www.searchenginejournal.com/ai-bots-keep-overloading-servers-should-website-owners-keep-paying/579018/)