ChatGPT en andere AI-crawlers stellen nu 3,6 keer meer verzoeken om webpagina’s op te halen dan Google’s eigen crawler, Googlebot. Dit blijkt uit een analyse van 24 miljoen crawl-verzoeken. Voor ondernemers betekent dit dat het optimaliseren van een website voor zoekmachines niet meer genoeg is; je moet ook rekening houden met hoe AI-tools je content lezen en gebruiken.

Wat er aan de hand is

Uit data-analyse door het platform Alliai, gebaseerd op 24 miljoen crawl-verzoeken, blijkt dat de user-agent voor OpenAI’s ChatGPT (genaamd ‘ChatGPT-User’) het web nu veel intensiever crawlt dan Googlebot. De ChatGPT-crawler stelt 3,6 keer meer verzoeken. Ook crawlers van andere AI-bedrijven, zoals Google’s eigen AI-producten (zoals Gemini) en van bedrijven als Anthropic (Claude) en Perplexity, zijn actief. Dit markeert een fundamentele verschuiving: waar voorheen vooral zoekmachines zoals Google het web indexeerden, zijn het nu in toenemende mate AI-systemen die data verzamelen om hun modellen te trainen en te voeden met actuele informatie.

Wat dit betekent

De dominantie van AI-crawlers heeft directe gevolgen voor hoe je je website beheert. Traditionele SEO richtte zich sterk op het begrijpen en bedienen van Google’s algoritmes. Nu komt daar een nieuwe, belangrijke speler bij: AI-systemen die content op een andere manier kunnen ’lezen’ en gebruiken. Het betekent dat de technische inrichting van je site (hoe gemakkelijk AI je content kan vinden en begrijpen) en de kwaliteit van je content (of het waardevolle, accurate informatie is) belangrijker worden dan ooit. Als je site niet goed toegankelijk is voor deze crawlers, loop je het risico dat je informatie niet wordt meegenomen in de kennis van de belangrijkste AI-tools, wat je zichtbaarheid en autoriteit in de AI-tijdperk kan schaden.

Hoe je dit kunt toepassen

De praktische toepassing hangt sterk af van jouw situatie en middelen. Een eerste stap is bewustwording: je website wordt niet meer alleen door potentiële klanten en Google bezocht, maar ook door software van OpenAI en anderen. Dit vraagt om een heroverweging van je technische en contentstrategie.

Als je een informatieve website of blog runt… is de kwaliteit en structuur van je content nu extra belangrijk. AI-crawlers halen waarde uit duidelijke, goed gestructureerde en accurate informatie. Zorg ervoor dat je content niet verborgen zit achter complexe JavaScript of in afbeeldingen, maar als leesbare tekst op de pagina staat. Het gebruik van duidelijke koppen (H1, H2) en semantische HTML helpt zowel zoekmachines als AI om je content te begrijpen.

Als je een webshop of dienstverlenend bedrijf hebt… kan dit gevolgen hebben voor hoe je productinformatie presenteert. Gedetailleerde productbeschrijvingen, specificaties en veelgestelde vragen zijn niet alleen goed voor je klanten, maar vormen ook waardevolle trainingsdata voor AI. Overweeg om deze informatie op een gestandaardiseerde manier aan te bieden, bijvoorbeeld met structured data (schema.org), zodat machines de relaties tussen producten, prijzen en reviews gemakkelijk kunnen interpreteren.

Als je verantwoordelijk bent voor de techniek van een website… is het verstandig om je robots.txt-bestand en serverlogs te controleren. Standaard blokkeren veel sites AI-crawlers niet, maar het is goed om te weten wie je site bezoekt. Je zou kunnen overwegen om een beleid te formuleren voor het toestaan of beperken van AI-crawlers, afhankelijk van hoe je je content wilt laten gebruiken. Houd er rekening mee dat het blokkeren van crawlers betekent dat je informatie niet beschikbaar is voor die specifieke AI-tools.

Een algemene benadering is om je website zo in te richten dat hij voor iedereen – mens, zoekmachine en AI – gemakkelijk toegankelijk en begrijpelijk is. Dat begint met snelle laadtijden, een duidelijke informatie-architectuur en content die waarde toevoegt.

Bron: Search Engine Journal