ChatGPT’s eigen webcrawler haalt nu aanzienlijk meer data van websites op dan de traditionele Googlebot. Dit betekent dat je website niet langer alleen geoptimaliseerd hoeft te zijn voor zoekmachines, maar ook voor AI-modellen die informatie verzamelen voor tools zoals ChatGPT. De verschuiving vraagt om een andere kijk op hoe je content publiceert en structureert.

Wat er aan de hand is

Uit analyse van 24 miljoen webverzoeken door het platform Alliai blijkt dat de crawler van OpenAI, genaamd ‘ChatGPT-User’, 3,6 keer meer verzoeken uitvoert dan Google’s crawler, Googlebot. Dit is een opvallende verschuiving in het web-ecosysteem, waar Googlebot jarenlang de dominante speler was voor het indexeren van content. De data suggereert dat AI-bedrijven nu op enorme schaal het web aan het doorzoeken zijn om hun modellen te trainen en van actuele informatie te voorzien. Deze crawlers verzamelen tekst, code en andere gestructureerde data om de kennis van AI’s up-to-date te houden en antwoorden te kunnen geven op vragen over recente gebeurtenissen.

Wat dit betekent

Voor ondernemers en website-eigenaren betekent dit dat er een nieuwe, belangrijke bezoeker aan je website is gekomen. Waar je SEO-strategie voorheen vooral gericht was op het bevredigen van de algoritmes van Google, moet je nu ook rekening houden met hoe AI-modellen je content ‘begrijpen’ en gebruiken. Als je website niet goed leesbaar is voor deze AI-crawlers, loop je het risico dat je informatie niet wordt opgenomen in de kennisbank van tools als ChatGPT. Dit kan je zichtbaarheid in AI-achtige zoekinterfaces verminderen. Het is een fundamentele verschuiving van een zoekmachine-gecentreerd web naar een web waar ook AI-agents informatie halen.

Hoe je dit kunt toepassen

De praktische toepassing hangt af van jouw situatie. De kern is dat je je website toegankelijk maakt voor zowel menselijke bezoekers als automatische crawlers van AI-systemen.

Als je een informatieve website of blog runt… is het cruciaal dat je hoofdcontent direct en duidelijk in de HTML staat. Vermijd het verbergen van essentiële tekst achter complexe JavaScript-elementen die crawlers mogelijk niet uitvoeren. Zorg voor een duidelijke hiërarchie met koppen (H1, H2, H3) en gebruik semantische HTML. Dit helpt niet alleen Googlebot, maar ook AI-crawlers om de structuur en het onderwerp van je pagina te begrijpen.

Als je een kennisbank of helpcenter voor je product beheert… kun je overwegen om deze content expliciet beschikbaar te stellen voor AI-training. Dit kan ervoor zorgen dat ChatGPT accurate antwoorden geeft over jouw product, wat indirect kan leiden tot betere klantenservice en minder supporttickets. Zorg ervoor dat FAQ-pagina’s helder geformuleerd en gestructureerd zijn.

Als je een webshop hebt… gaat het niet alleen om productbeschrijvingen. AI-crawlers kunnen ook technische specificaties, gebruiksaanwijzingen en duurzaamheidsinformatie verzamelen. Zorg dat deze informatie machine-leesbaar is op de productpagina zelf, bijvoorbeeld in een tabel of met duidelijke labels, in plaats van alleen in een te downloaden PDF.

Als je bezorgd bent over copyright of datagebruik… is het verstandig om het robots.txt-bestand van je website te controleren. Je kunt instructies toevoegen om specifieke crawlers van AI-bedrijven te blokkeren, hoewel de effectiviteit hiervan kan variëren. Het is een afweging tussen zichtbaarheid en controle over je data.

De verschuiving betekent niet dat traditionele SEO irrelevant wordt, maar wel dat een geïntegreerde aanpak steeds belangrijker wordt: schrijf voor mensen, maar structureer voor machines – zowel voor zoekmachines als voor AI.

Bron: Search Engine Journal (https://www.searchenginejournal.com/chatgpt-googlebot-crawl-data-alliai-spa/570885/)