Het antwoord is: ja, het is mogelijk dat het blokkeren van AI-trainingsbots via Cloudflare ook Googlebot blokkeert. Dit kan ertoe leiden dat je website niet meer wordt geïndexeerd door Google, met alle gevolgen van dien voor je vindbaarheid. Het is een eenvoudige fout om te maken, maar gelukkig ook eenvoudig om te controleren en op te lossen.
Wat er aan de hand is
Er circuleren meldingen, onder andere besproken door Search Engine Journal, dat websites die via Cloudflare AI-trainingsbots blokkeren, per ongeluk ook Googlebot blokkeren. Dit is een anekdotisch rapport, maar het probleem is reëel genoeg om serieus te nemen. De kern van het probleem ligt in hoe Cloudflare-regels worden opgesteld. Een te brede regel die bedoeld is om AI-bots te weren, kan ook legitieme crawlers zoals Googlebot treffen. Dit betekent dat Google je pagina’s niet kan bezoeken en dus niet kan opnemen in de zoekresultaten. Het is een klassiek voorbeeld van een goede intentie die verkeerd uitpakt.
Wat dit betekent
Voor ondernemers is dit een stille sluipmoordenaar. Je website kan technisch perfect werken, maar als Googlebot er niet bij kan, verdwijn je uit de zoekresultaten. Dit heeft directe gevolgen voor je organische vindbaarheid, en daarmee voor je leads en omzet. Het probleem is extra verraderlijk omdat het niet altijd direct zichtbaar is. Je website blijft gewoon online, maar je ziet langzaam je posities in Google dalen. Vooral voor bedrijven die afhankelijk zijn van organisch verkeer, zoals webshops, dienstverleners en lokale bedrijven, kan dit een flinke klap betekenen. Het is daarom cruciaal om te weten of jouw Cloudflare-instellingen dit probleem veroorzaken.
Hoe je dit kunt toepassen
Als je een webshop runt en merkt dat je productpagina’s niet meer verschijnen in Google… Controleer dan direct je Cloudflare-instellingen. Ga naar het dashboard en bekijk de regels die je hebt ingesteld voor het blokkeren van bots. Zoek naar regels die gebruikmaken van de gebruikersagent (user-agent) van Googlebot. Een veelvoorkomende fout is een regel die ‘Googlebot’ bevat in een lijst van te blokkeren bots. Overweeg om een aparte, specifieke regel te maken die Googlebot altijd toestaat, vóór de algemene blokkeerregel. Zo weet je zeker dat Google altijd toegang heeft.
Als je een team aanstuurt dat verantwoordelijk is voor de website… Zorg dat er een duidelijke procedure is voor het toevoegen van nieuwe blokkeerregels. Een mogelijkheid is om een checklist te hanteren die elke wijziging aan Cloudflare laat controleren door een tweede persoon. Het is ook verstandig om periodiek, bijvoorbeeld eens per maand, te controleren of Googlebot nog steeds toegang heeft tot je site. Dit kun je doen door in Google Search Console te kijken naar het rapport over de crawlstatistieken. Als je daar een plotselinge daling ziet, is dat een alarmsignaal.
Als je in de zorg werkt en afhankelijk bent van lokale vindbaarheid voor nieuwe cliënten… Een blokkade van Googlebot is voor jou net zo schadelijk als voor een webshop. Mensen zoeken lokaal naar zorgaanbieders, en als je niet in de zoekresultaten staat, word je niet gevonden. Controleer daarom niet alleen je Cloudflare-instellingen, maar ook of je robots.txt-bestand correct is. Een simpele test is om in een incognitovenster je website te bezoeken met de gebruikersagent van Googlebot. Er zijn online tools die dit voor je kunnen simuleren. Als je de website niet kunt zien, is er een probleem.
Als je een marketeer bent die verantwoordelijk is voor de online prestaties van meerdere websites… Het is verstandig om een standaardcontrole uit te voeren op alle sites die je beheert. Maak er een gewoonte van om bij elke wijziging aan de serverconfiguratie of een CDN zoals Cloudflare, te controleren of Googlebot nog steeds toegang heeft. Een optie is om een simpele test op te zetten die dit automatisch controleert en je een melding stuurt als er iets mis is. Zo voorkom je dat je pas weken later ontdekt dat al je pagina’s uit de index zijn verdwenen.
De praktische toepassing hangt af van jouw situatie, maar de kern is duidelijk: een ogenschijnlijk kleine instelling kan grote gevolgen hebben. Het loont om hier alert op te zijn en je instellingen regelmatig te controleren.
Bron: Search Engine Journal