Het antwoord is dat een te strikte blokkade van AI-bots in Cloudflare er per ongeluk voor kan zorgen dat Googlebot jouw website niet meer kan indexeren. Dit is een anekdotisch rapport, maar het risico is reëel: een verkeerde regel in je firewall kan je organische vindbaarheid stilleggen zonder dat je het doorhebt. Controleer daarom vandaag nog je Cloudflare-instellingen en zorg dat Googlebot altijd toegang houdt.
Wat er aan de hand is
Search Engine Journal meldt een anekdotisch rapport waarin het blokkeren van AI-trainingsbots via Cloudflare er per ongeluk voor zorgde dat Googlebot websites niet meer kon indexeren. Het probleem ontstaat waarschijnlijk doordat beheerders een brede regel instellen om bekende AI-crawlers te blokkeren, maar daarbij per ongeluk ook legitieme crawlers zoals Googlebot meepakken. Dit kan gebeuren door een te algemene user-agent-regel of door een verkeerde configuratie van de firewall. Het rapport is niet onafhankelijk bevestigd, maar het onderstreept een bekend risico: beveiligingsmaatregelen die bedoeld zijn om één type bot te weren, kunnen een breder effect hebben dan bedoeld.
Wat dit betekent
Voor ondernemers die Cloudflare gebruiken om hun website te beschermen, betekent dit dat een goedbedoelde actie tegen AI-bots je vindbaarheid in Google kan schaden. Als Googlebot je site niet kan crawlen, verdwijnen je pagina’s uit de zoekresultaten. Dat raakt direct je webwinkel, je dienstverlening of je contentmarketing. Het probleem is extra verraderlijk omdat je site technisch gewoon bereikbaar blijft voor bezoekers; alleen Google ziet een blokkade. De impact is groot: minder organisch verkeer, minder leads en een dalende omzet, terwijl je zelf geen fout ziet op je dashboard.
Hoe je dit kunt toepassen
Als je Cloudflare gebruikt voor je bedrijfssite of webshop, is de eerste stap om te controleren of Googlebot nog toegang heeft. Ga naar je Cloudflare-dashboard en bekijk de firewallregels. Zoek naar regels die user-agents blokkeren en controleer of Googlebot daar niet onder valt. Een eenvoudige test is om in een incognitovenster de URL https://www.google.com/search?q=site:jouwdomein.nl te openen. Zie je geen resultaten, dan is er mogelijk een probleem. Overweeg om een aparte regel toe te voegen die Googlebot expliciet toestaat, vóór de blokkerende regel.
Als je een marketingteam aanstuurt, is het verstandig om dit punt op te nemen in je maandelijkse SEO-check. Vraag je developer of hostingpartij om periodiek te controleren of Googlebot nog door de firewall komt. Je zou kunnen afspreken dat elke wijziging aan Cloudflare-regels eerst wordt getest met een tool zoals de URL-inspectietool in Google Search Console. Zo voorkom je dat een snelle aanpassing onbedoeld je hele organische verkeer stillegt.
Als je een developer bent die Cloudflare configureert voor klanten, is het belangrijk om bij het instellen van AI-bot-blokkades altijd een uitzondering voor Googlebot op te nemen. Een mogelijkheid is om een regel te maken die specifiek de bekende user-agent van Googlebot toestaat, voordat je een bredere blokkade toepast. Test daarna altijd of de site nog door Google wordt geïndexeerd door een paar pagina’s te controleren in Search Console. Het is ook verstandig om een waarschuwing in te stellen die je attendeert op een plotselinge daling in crawl-statistieken.
Als je een webshop runt die afhankelijk is van Google-verkeer, is het verstandig om direct te controleren of je recente Cloudflare-wijzigingen hebben geleid tot een daling in je zoekresultaten. Vergelijk je Google Search Console-data van de afgelopen weken met de periode vóór je laatste firewall-aanpassing. Als je een duidelijke daling ziet in het aantal geïndexeerde pagina’s of in de crawl-frequentie, is de kans groot dat je blokkade te streng is. Overweeg om de regel aan te passen of tijdelijk uit te schakelen om te zien of je indexering herstelt.
De praktische toepassing hangt af van jouw situatie, maar de kern is duidelijk: controleer je Cloudflare-configuratie op uitzonderingen voor Googlebot en test regelmatig of je site nog wordt geïndexeerd.
Bron: Search Engine Journal