Het antwoord: AI-bots slurpen tot 80% van je servercapaciteit op zonder dat je er iets aan hebt. Dit verkeer wordt gebruikt om AI-modellen te trainen, niet om jouw producten of diensten te bekijken. Het goede nieuws: je kunt deze bots herkennen en blokkeren zonder dat je website slechter vindbaar wordt in Google.

Wat er aan de hand is Uit onderzoek van Search Engine Journal blijkt dat 80% van het AI-verkeer op websites infrastructureel wordt gebruikt voor het trainen van AI-modellen. Dit betekent dat een groot deel van je serverkosten wordt veroorzaakt door bots die jouw content scrapen, niet door echte bezoekers. Het probleem is dat veel website-eigenaren betalen voor bandbreedte en servercapaciteit die wordt opgeslokt door deze ongewenste bezoekers. De bots zijn vaak lastig te onderscheiden van legitiem verkeer, omdat ze zich voordoen als gewone browsers of zoekmachines.

Wat dit betekent Voor ondernemers die hun website hosten op een gedeelde server of een beperkt dataplan hebben, kan dit leiden tot hogere kosten, tragere laadtijden en zelfs downtime. Vooral als je een webshop runt of een site met veel afbeeldingen en video’s, kan AI-botverkeer je maandelijkse hostingrekening flink opdrijven. Daarnaast kan het je analytics vervuilen, waardoor je geen goed beeld hebt van je echte bezoekersaantallen. Het is dus niet alleen een kostenpost, maar ook een blinde vlek in je marketingdata.

Hoe je dit kunt toepassen Als je een webshop runt en merkt dat je server trager wordt… Begin met het controleren van je serverlogs. Zoek naar IP-adressen die in korte tijd veel pagina’s opvragen, vaak met een hoge frequentie en zonder dat ze producten in een winkelwagen plaatsen. Je kunt deze IP’s tijdelijk blokkeren via je .htaccess-bestand of een firewall-plugin. Overweeg om een tool als Cloudflare te gebruiken, die een ‘bot management’-optie biedt waarmee je AI-bots kunt herkennen en tegenhouden zonder dat het je SEO beïnvloedt.

Als je een contentrijke site beheert, zoals een blog of nieuwssite… AI-bots zijn vaak te herkennen aan user agents die verwijzen naar ‘GPTBot’, ‘Claude-Web’ of ‘FacebookBot’. Je kunt in je robots.txt-bestand specifieke paden uitsluiten voor deze bots. Een mogelijkheid is om een regel toe te voegen zoals ‘Disallow: /’ voor GPTBot, zodat deze bot je hele site niet kan scrapen. Houd er rekening mee dat niet alle bots zich netjes aan robots.txt houden, dus combineer dit met een firewall.

Als je een leadgeneratie-site hebt en je analytics vervuild zijn… Gebruik een tool zoals Matomo of een geavanceerde Google Analytics-configuratie om botverkeer uit te filteren. Je kunt een lijst aanleggen van bekende AI-bot-IP’s en deze uitsluiten van je tracking. Overweeg om een betaalde dienst zoals Sucuri of Wordfence in te zetten, die specifiek zijn ontworpen om botverkeer te detecteren en te blokkeren. Deze tools bieden vaak een gratis proefperiode, zodat je kunt testen of ze werken voor jouw situatie.

Als je een kleine ondernemer bent met beperkt technisch inzicht… Vraag je hostingprovider of zij een bot-blocking-service aanbieden. Veel providers hebben standaard beveiligingspakketten die AI-bots herkennen en stoppen. Een andere optie is om een eenvoudige plugin te installeren als je een CMS zoals WordPress gebruikt, zoals ‘Block Bad Bots’ of ‘Wordfence Security’. Deze plugins zijn vaak gratis en vereisen geen technische kennis om in te stellen.

De praktische toepassing hangt af van jouw situatie, maar het belangrijkste is dat je niet blind blijft betalen voor verkeer dat je niets oplevert. Begin vandaag nog met het controleren van je serverlogs en neem een eerste stap om AI-bots te blokkeren.

Bron: Search Engine Journal (https://www.searchenginejournal.com/ai-bots-keep-overloading-servers-should-website-owners-keep-paying/579018/)