Het antwoord

Nieuwsberichten verschijnen in Google’s AI Overviews, ook als uitgevers via robots.txt proberen te voorkomen dat hun content daarvoor wordt gebruikt. De verkeerde robots.txt-instelling kost nieuwsmedia en brands zichtbaarheid, zonder dat het hen beschermt tegen opname in AI-antwoorden. Dit betekent dat je als uitgever of merk je strategie moet aanpassen: blokkeren werkt niet, maar slimme contentoptimalisatie wel.

Wat er aan de hand is

Uit data van John Shehata, gepubliceerd via Search Engine Journal, blijkt dat veel uitgevers een verkeerde aanname hebben over robots.txt. Ze denken dat dit bestand hun pagina’s uitsluit van AI Overviews, maar dat is niet het geval. De data laat zien wat de verkeerde instelling daadwerkelijk kost: nieuwsrooms verliezen zichtbaarheid in de AI-samenvattingen die Google bovenaan de zoekresultaten toont. Het artikel, oorspronkelijk geschreven door Greg Jarboe, plaatst dit in de context van 2026 en verder, waarin AI Overviews een steeds prominentere rol spelen in hoe gebruikers nieuws en informatie consumeren. De kern is dat de technische instellingen die uitgevers gebruiken om hun content te beschermen, niet doen wat ze beogen.

Wat dit betekent

Voor Nederlandse nieuws- en brandsites betekent dit dat de huidige aanpak mogelijk averechts werkt. Als je robots.txt gebruikt om AI-crawlers te blokkeren, loop je het risico dat je content niet wordt meegenomen in AI Overviews, terwijl concurrenten die de instellingen anders hebben ingesteld wel verschijnen. Dit raakt direct je zichtbaarheid in Google, de plek waar veel gebruikers hun zoektocht beginnen. Voor kleinere uitgevers en merken die afhankelijk zijn van organisch verkeer, kan dit het verschil betekenen tussen wel of niet gevonden worden in een tijd waarin AI-antwoorden steeds vaker het eerste contactpunt zijn met je publiek. De data van Shehata suggereert dat de kosten van een verkeerde instelling groter zijn dan de bescherming die je ervoor terugkrijgt.

Hoe je dit kunt toepassen

Als je een nieuws- of brandsite beheert, is het verstandig om je robots.txt-instellingen te heroverwegen. Je zou kunnen onderzoeken of je de toegang voor AI-crawlers zoals Google’s Gemini niet volledig blokkeert, maar juist selectief toestaat. Een mogelijkheid is om te testen welke instellingen ervoor zorgen dat je content in AI Overviews verschijnt, zonder dat je de controle over je eigen site verliest.

Als je verantwoordelijk bent voor SEO binnen je organisatie, overweeg dan om de data van Shehata te gebruiken als uitgangspunt voor een interne evaluatie. Je zou kunnen kijken naar welke pagina’s momenteel worden geblokkeerd en of die blokkade nog wel de juiste strategie is. Een optie is om een aparte set richtlijnen op te stellen voor AI-crawlers, los van de algemene robots.txt, zodat je meer controle hebt over wat er wel en niet wordt geïndexeerd.

Als je werkt voor een merk dat afhankelijk is van nieuwscontent voor zichtbaarheid, is het een mogelijkheid om je contentstrategie aan te passen aan de manier waarop AI Overviews informatie selecteert. Je zou kunnen analyseren welke van je artikelen momenteel in AI-antwoorden verschijnen en welke niet, en op basis daarvan je redactionele planning bijsturen. Overweeg om te focussen op onderwerpen waar AI Overviews duidelijk gebruikmaakt van nieuwsbronnen, zodat je aanwezigheid in die samenvattingen groeit.

Als je een technische publisher bent, is het verstandig om de wisselwerking tussen robots.txt en AI-crawlers grondig te testen. Je zou kunnen experimenteren met verschillende configuraties en de impact daarvan op je zichtbaarheid in AI Overviews meten. Een mogelijkheid is om een aparte crawler-richtlijn op te stellen voor AI-systemen, zodat je niet alles of niets hoeft te blokkeren, maar gericht kunt bepalen welke content je beschikbaar stelt voor AI-antwoorden.

Bron: Search Engine Journal