Het antwoord is dat een te brede blokkering van AI-bots in Cloudflare er per ongeluk voor kan zorgen dat Googlebot je website niet meer kan indexeren. Dit is een anekdotisch rapport, maar het risico is reëel: een verkeerde configuratie in je firewall of botbeheer kan je hele organische vindbaarheid stilleggen. Je moet direct controleren of jouw blokkeringen specifiek genoeg zijn en alleen gericht zijn op bekende AI-crawlers, niet op legitieme zoekmachines.

Wat er aan de hand is

Search Engine Journal rapporteert over een anekdotisch geval waarin het blokkeren van AI-trainingsbots via Cloudflare er ook voor zorgde dat Googlebot werd geblokkeerd. Het probleem ontstaat vaak doordat beheerders een algemene regel instellen die alle ‘bots’ of een brede categorie van user agents blokkeert, zonder onderscheid te maken tussen AI-crawlers en zoekmachine-crawlers. Googlebot heeft een eigen, specifieke user agent, maar kan soms onder een algemene ‘bot’-regel vallen als de configuratie niet nauwkeurig genoeg is. Het gevolg is dat Google je pagina’s niet kan zien, wat leidt tot een daling of volledige verdwijning uit de zoekresultaten. Dit rapport is een waarschuwing dat beveiligingsmaatregelen tegen AI-scraping onbedoelde bijwerkingen kunnen hebben op je kernactiviteiten.

Wat dit betekent

Voor ondernemers die afhankelijk zijn van organisch verkeer, is dit een directe bedreiging voor hun online zichtbaarheid. Als je onlangs maatregelen hebt genomen om AI-bots te blokkeren — bijvoorbeeld omdat je merkte dat je content werd geschraapt of omdat je bandbreedtekosten zag stijgen — dan is de kans aanwezig dat je ook Googlebot hebt afgesneden. Dit is vooral relevant voor webshops, uitgevers en dienstverleners die hun acquisitie voornamelijk uit Google halen. Een blokkade kan leiden tot een plotselinge daling in paginaweergaven, leads en omzet, zonder dat je direct doorhebt wat de oorzaak is. Het probleem is extra verraderlijk omdat je site er voor bezoekers normaal uitziet, maar voor Google onzichtbaar is geworden.

Hoe je dit kunt toepassen

Als je een webshop runt en merkt dat je organische bezoeken plotseling dalen, is de eerste stap om te controleren of je Cloudflare-instellingen Googlebot blokkeren. Je zou kunnen inloggen op je Cloudflare-dashboard en onder de sectie ‘Bots’ of ‘Firewall Rules’ kijken welke regels actief zijn. Overweeg om een specifieke uitzondering toe te voegen voor de user agent van Googlebot, zodat die altijd toegang heeft tot je site, ongeacht andere blokkeringen.

Als je een team aanstuurt dat verantwoordelijk is voor je websitebeheer, is het verstandig om een protocol af te spreken voor het implementeren van botblokkeringen. Een mogelijkheid is om wijzigingen eerst in een testomgeving door te voeren en daarna te controleren of Googlebot je site nog steeds kan crawlen via de URL-inspectietool in Google Search Console. Zo kun je voorkomen dat een goedbedoelde beveiligingsmaatregel je marketingprestaties schaadt.

Als je in de zorg of een andere sector werkt met gevoelige content, en je hebt AI-bots geblokkeerd om datascraping te voorkomen, is het belangrijk om te beseffen dat deze blokkering niet mag interfereren met zoekmachines. Je zou kunnen overwegen om een aparte regel te maken die alleen bekende AI-crawlers zoals GPTBot of CCBot blokkeert, en expliciet Googlebot en Bingbot toestaat. Controleer daarna of je pagina’s nog steeds worden geïndexeerd door een zoekopdracht op ‘site:jouwdomein.nl’ uit te voeren.

Als je een marketingprofessional bent die verantwoordelijk is voor SEO, is het raadzaam om periodiek te controleren of je Cloudflare-configuratie geen onbedoelde blokkades bevat. Een optie is om een waarschuwing in te stellen in je monitoringtools die aangeeft wanneer het aantal gecrawlde pagina’s door Googlebot sterk afneemt. Zo kun je snel reageren voordat een indexatieprobleem zich vertaalt naar omzetverlies.

De praktische toepassing hangt af van jouw situatie, maar de kern is dat je je blokkaderingsregels verfijnt en controleert of zoekmachines altijd toegang hebben.

Bron: Search Engine Journal