Het antwoord: AI-bots gebruiken jouw servercapaciteit om hun modellen te trainen, en dat kan je hostingkosten flink opdrijven. Volgens een analyse van Cloudflare en andere bronnen is tot 80 procent van het AI-verkeer op websites afkomstig van bots die data schrapen voor modeltraining, niet van echte bezoekers. Je kunt dit verkeer herkennen in je serverlogs en eenvoudige maatregelen nemen om de impact te beperken zonder je vindbaarheid in Google te schaden.

Wat er aan de hand is

AI-bots, zoals die van OpenAI, Google, Anthropic en andere partijen, scannen systematisch websites om data te verzamelen voor het trainen van taalmodellen. Dit verkeer is vaak agressief: het laadt pagina’s in hoog tempo, doorloopt complete sitemaps en negeert robots.txt-regels. Uit data van Cloudflare blijkt dat een aanzienlijk deel van het AI-verkeer niet als zodanig wordt herkend door standaard analyse-tools, omdat de bots zich voordoen als legitieme browsers of zoekmachines. Het gevolg is dat websites onnodig servercapaciteit verbruiken, wat leidt tot hogere hostingkosten, tragere laadtijden voor echte bezoekers en in extreme gevallen tot servercrashes. Het probleem groeit naarmate meer AI-bedrijven hun modellen blijven trainen op live webdata.

Wat dit betekent

Voor ondernemers en professionals die een website beheren, betekent dit dat je mogelijk betaalt voor verkeer dat geen enkele waarde oplevert. Als je een gedeelde hostingomgeving gebruikt of een VPS met beperkte resources, kan AI-botverkeer je maandelijkse kosten onverwacht opdrijven. Bij grotere sites, zoals webshops of contentplatforms, kan het leiden tot piekbelasting die je hostingplan dwingt te upgraden. Daarnaast kan het verkeer je analytics vervuilen, waardoor je verkeerde conclusies trekt over je bezoekersaantallen. Het risico voor SEO is beperkt zolang je de juiste bots blokkeert en niet per ongeluk legitieme crawlers van Google of Bing uitsluit.

Hoe je dit kunt toepassen

Als je een webshop runt met een gedeelde hostingomgeving, kun je beginnen met het controleren van je serverlogs op verdachte patronen. Zoek naar IP-adressen die in korte tijd tientallen pagina’s bezoeken, vooral pagina’s die niet in een normale gebruikersreis passen, zoals alle productcategorieën achter elkaar. Een mogelijkheid is om deze IP-adressen te blokkeren via je .htaccess-bestand of firewall. Overweeg om een tool zoals Cloudflare of een andere WAF in te zetten die AI-botverkeer automatisch herkent en filtert, zonder dat je handmatig lijsten hoeft bij te houden.

Als je een contentwebsite beheert met veel pagina’s, kun je je robots.txt aanpassen om specifieke AI-bots uit te sluiten. Let op: niet alle bots respecteren robots.txt, maar het is een eerste stap. Je zou kunnen overwegen om een aparte rate limit in te stellen voor user-agents die je niet herkent, bijvoorbeeld via je serverconfiguratie. Een optie is om een lijst bij te houden van bekende AI-bot user-agents, zoals GPTBot, CCBot of Claude-Web, en deze te blokkeren in je .htaccess of nginx-configuratie. Controleer wel of Googlebot en Bingbot niet per ongeluk worden geraakt.

Als je een leadgeneratie- of dienstenwebsite hebt, kun je overwegen om je analytics te filteren op botverkeer. De meeste analytics-tools, zoals Google Analytics, hebben opties om bekende bots uit te sluiten, maar AI-bots worden niet altijd herkend. Een mogelijkheid is om een extra filter in te stellen op basis van gedrag: bezoekers die meer dan 50 pagina’s per sessie laden zonder interactie, zijn vrijwel zeker bots. Overweeg om een aparte loganalyse uit te voeren met een tool zoals GoAccess of AWStats om het werkelijke aandeel van AI-botverkeer inzichtelijk te maken.

Als je een technische of IT-achtergrond hebt, kun je een stap verder gaan door een honeypot in te richten: een verborgen link op je site die alleen bots kunnen vinden. Als een bezoeker die link volgt, weet je zeker dat het een bot is en kun je het IP-adres automatisch blokkeren. Dit is een effectieve manier om ook nieuwe, nog niet bekende AI-bots te stoppen. Overweeg om dit te combineren met een CDN die botbescherming biedt, zoals Cloudflare of Sucuri, om de belasting op je eigen server te verminderen.

Bron: Search Engine Journal (https://www.searchenginejournal.com/ai-bots-keep-overloading-servers-should-website-owners-keep-paying/579018/)