De veronderstelling dat een robots.txt-bestand je website buiten AI Overviews houdt, klopt niet. Volgens data van John Shehata, aangehaald door Search Engine Journal, kost een verkeerde instelling nieuws- en brandsites juist zichtbaarheid in die AI-samenvattingen, zonder dat het de beoogde bescherming biedt. Het probleem is niet dat je geblokkeerd wordt, maar dat je onbedoeld buiten spel staat.
Wat er aan de hand is
Search Engine Journal bericht over de bevindingen van John Shehata over de rol van ‘Top Stories’ binnen AI Overviews van Google. De kern van het nieuws is dat veel publishers denken dat robots.txt een waterdichte barrière vormt tegen AI. De data van Shehata laat zien dat dit een misvatting is. De instellingen bepalen niet of je content in AI Overviews verschijnt, maar ze kunnen wel degelijk invloed hebben op hoe Google je site waarneemt en indexeert. Het gevolg is dat een verkeerd geconfigureerd bestand je niet beschermt tegen AI, maar je wel kan schaden in de reguliere zoekresultaten en de kansen op vermelding in AI-samenvattingen.
Wat dit betekent
Voor Nederlandse nieuws- en brandsites betekent dit een concreet risico. Een robots.txt die te streng is ingesteld, bijvoorbeeld door een verouderde regel of een foutieve kopie van een andere site, kan ervoor zorgen dat Google bepaalde pagina’s niet meer crawlt. Die pagina’s verdwijnen dan niet alleen uit de reguliere zoekresultaten, maar ook uit de bronnen die Google gebruikt voor AI Overviews. Het gevolg is tweeledig: je verliest organisch verkeer en je mist de kans om als bron te verschijnen in de AI-samenvattingen die steeds meer zoekopdrachten beantwoorden. Voor een nieuwssite die afhankelijk is van vindbaarheid is dit een directe bedreiging van het bereik. Voor een brandsite betekent het dat potentiële klanten je antwoorden niet zien, maar die van een concurrent wel.
Hoe je dit kunt toepassen
Als je een nieuwswebsite runt, is het verstandig om je robots.txt niet als een beveiligingsmechanisme te zien, maar als een technisch bestand dat je zichtbaarheid regelt. Overweeg om te controleren of je per ongeluk mappen blokkeert die essentieel zijn voor je artikelen. Een mogelijke aanpak is om je robots.txt te openen en te kijken welke paden je hebt uitgesloten. Vraag je bij elke regel af of die nog nodig is. Een regel die ooit bedoeld was om een archief te verbergen, kan nu onbedoeld je belangrijkste nieuwsberichten blokkeren.
Als je een brandsite beheert, is het zaak om te beseffen dat AI Overviews niet te blokkeren zijn met robots.txt. Een optie is om te stoppen met pogingen om AI buiten de deur te houden en in plaats daarvan te optimaliseren voor duidelijkheid. Controleer of je belangrijkste product- en servicepagina’s toegankelijk zijn voor crawlers. Je zou kunnen overwegen om een aparte, overzichtelijke pagina te maken met veelgestelde vragen, zodat Google die makkelijk kan gebruiken als bron in een AI-antwoord.
Als je een marketeer of SEO-specialist bent, is het verstandig om de robots.txt niet alleen te controleren op fouten, maar ook te testen hoe Google jouw site daadwerkelijk ziet. Een mogelijkheid is om de URL-inspectietool van Google Search Console te gebruiken om te zien of je belangrijkste pagina’s correct worden gecrawld. Als je daar problemen ziet, is de kans groot dat je ook mist in AI Overviews. Overweeg om een periodieke controle in te bouwen, bijvoorbeeld eens per kwartaal, om te voorkomen dat een kleine wijziging grote gevolgen heeft voor je zichtbaarheid.
De praktische les is dat robots.txt geen schild is tegen AI, maar een instrument dat je zorgvuldig moet afstellen om je kansen in zowel reguliere zoekresultaten als AI-samenvattingen te behouden. Een verkeerde instelling kost je niet alleen bescherming, maar vooral ook bereik.
Bron: Search Engine Journal