AI-bots zijn nu verantwoordelijk voor meer internetverkeer dan mensen. Volgens cijfers van infrastructuurbedrijf Cloudflare komt 57 procent van het webverkeer van bots, tegenover 43 procent van mensen. Voor Nederlandse websites is het aandeel botverkeer zelfs 69 procent. Dit heeft directe gevolgen voor hoe je jouw website beheert, je advertentiebudget bewaakt en je data beschermt.

Wat er aan de hand is

Cloudflare, een groot Amerikaans infrastructuurbedrijf, meldt dat AI-bots nu de meerderheid van het internetverkeer genereren. Topman Matthew Prince dacht dat dit omslagpunt pas eind 2027 zou komen, maar de werkelijkheid haalde die voorspelling in. Bots zijn verantwoordelijk voor 57 procent van alle HTTP-requests en 34 procent van al het verkeer, inclusief gestructureerde data zoals XML en JSON. Die bestandsformaten zijn aantrekkelijk voor AI’s omdat ze pure data bevatten zonder grafische schil. In Nederland ligt het aandeel botverkeer met 69 procent nog hoger dan het wereldwijde gemiddelde. Daarnaast blijkt uit andere bronnen dat Claude van Anthropic momenteel de populairste LLM is, waarmee het OpenAI heeft ingehaald. Chinese modellen zoals DeepSeek, Minimax, Kimi en GLM winnen ook terrein.

Wat dit betekent

Voor ondernemers met een website heeft deze verschuiving concrete gevolgen. Ten eerste kunnen je serverkosten stijgen doordat bots onnodig data opvragen. Ten tweede wordt je advertentiebudget mogelijk minder effectief: als een groot deel van je bezoekers geen mensen zijn, zijn je conversieratio’s en klikgedrag vertekend. Ook je data-analyse raakt vervuild: beslissingen op basis van bezoekersaantallen, gedrag en voorkeuren worden onbetrouwbaar als een meerderheid van de ‘bezoekers’ geen echte klanten zijn. In de marketing- en e-commercewereld houdt men er al rekening mee dat AI-bots binnen afzienbare tijd de grootste zoekers en shoppers zullen zijn, maar dan in opdracht van een mens. Dit betekent dat je website niet alleen voor mensen, maar ook voor bots moet zijn geoptimaliseerd.

Hoe je dit kunt toepassen

Als je een webshop runt en merkt dat je serverkosten stijgen zonder dat je meer omzet ziet. Je zou kunnen overwegen om een eenvoudige botdetectie-tool te installeren, zoals Cloudflare’s eigen botmanagement of een gratis plugin voor je CMS. Deze tools filteren herhaalde verzoeken van bots, zodat je server alleen nog echte bezoekers bedient. Een optie is om rate limiting in te stellen: beperk het aantal verzoeken per IP-adres per minuut. Dit voorkomt dat één bot je hele site scrapet.

Als je advertenties draait op basis van websitebezoek, zoals Google Ads of social media campagnes. Het is verstandig om je analytics te controleren op verdachte pieken in verkeer. Als je ziet dat een groot deel van je bezoekers minder dan een seconde op je site blijft, kan dat op botverkeer wijzen. Overweeg om je advertentiecampagnes te segmenteren op basis van gedrag dat typisch is voor mensen, zoals scrollen, muisbewegingen of het invullen van formulieren. Zo voorkom je dat je betaalt voor klikken die nooit tot een aankoop leiden.

Als je data verzamelt voor klantinzichten of personalisatie. Je zou kunnen beginnen met het uitsluiten van botverkeer uit je analysedata. De meeste analytics-tools, zoals Google Analytics, bieden filters voor bekende bots en spiders. Controleer of deze filters actief zijn. Een mogelijkheid is om ook een honeypot te gebruiken: een onzichtbaar veld op je site dat alleen bots invullen. Als dat veld wordt ingevuld, weet je dat het geen mens is en kun je die sessie negeren.

Als je een contentwebsite beheert en merkt dat je artikelen worden gescraped door AI-bots. Overweeg om je robots.txt-bestand aan te passen. Dit bestand vertelt bots welke pagina’s ze wel en niet mogen bezoeken. Je kunt specifieke AI-bots blokkeren, zoals die van Claude of GPT, door hun user-agent toe te voegen. Een optie is om een captcha te plaatsen op pagina’s met veel waarde, zoals handleidingen of unieke content. Dit maakt het voor bots moeilijker om je site te scrapen zonder dat het echte bezoekers hindert.

Bron: Emerce