Om je website goed vindbaar te maken voor AI-zoekmachines zoals die van Google of Bing, moet je zorgen voor een technisch solide, snel ladende site met duidelijke, gezaghebbende content. Dat blijkt uit een analyse van 68 miljoen bezoeken door AI-crawlers, uitgevoerd door de SEO-tool Originality.ai. Het gaat niet om een nieuw trucje, maar om het fundamenteel op orde hebben van je online basis.

Wat er aan de hand is

AI-crawlers zijn geautomatiseerde programma’s die het web afstruinen om informatie op te halen voor AI-modellen en zoekmachines. Originality.ai analyseerde 68 miljoen van zulke bezoeken over een periode van 90 dagen. De belangrijkste bevinding is dat deze crawlers zich anders gedragen dan traditionele zoekmachine-crawlers. Ze zijn bijvoorbeeld veel gevoeliger voor technische problemen. Als een pagina te traag laadt of een foutmelding geeft (zoals een 404 of 500 error), geeft de AI-crawler het vaak sneller op en gaat verder. Daarnaast blijkt dat crawlers van verschillende AI-bedrijven (zoals Google, OpenAI, Apple en Anthropic) verschillende ‘user agents’ gebruiken, wat betekent dat ze zich anders voor doen aan je website.

Wat dit betekent

Voor ondernemers betekent dit dat de technische gezondheid van je website directer dan ooit van invloed is op je vindbaarheid in opkomende AI-zoekfuncties. Het is niet langer alleen belangrijk voor menselijke bezoekers of conventionele SEO; een trage of kapotte site wordt simpelweg overgeslagen door de bots die AI-systemen voeden. Dit kan ervoor zorgen dat je bedrijf, product of expertise niet wordt meegenomen in AI-antwoorden. Het onderzoek benadrukt ook het belang van ‘E-E-A-T’ (Experience, Expertise, Authoritativeness, Trustworthiness) voor content. AI-crawlers lijken prioriteit te geven aan sites die als betrouwbaar en gezaghebbend worden gezien, wat vaak blijkt uit een sterke backlinkprofiel en duidelijke auteursinformatie.

Hoe je dit kunt toepassen

De praktische toepassing hangt af van jouw situatie. De kern van het advies uit het onderzoek is om terug te gaan naar de basis van een gezonde website, maar dan met een specifieke focus op AI-crawlers.

Als je een webshop of informatieve site runt… is de eerste stap een technische audit. Gebruik tools zoals Google Search Console of een crawler zoals Screaming Frog om foutpagina’s (404’s) en serverfouten (5xx) op te sporen en te herstellen. Zorg ervoor dat je sitemap up-to-date is en correct wordt ingediend. Controleer de laadsnelheid van je belangrijkste pagina’s; elke seconde vertraging kan ervoor zorgen dat een AI-crawler afhaakt.

Als je content maakt voor autoriteit en leadgeneratie… moet je ervoor zorgen dat je expertise zichtbaar is. Dit betekent: duidelijke ‘Over ons’- en ‘Auteur’-pagina’s met biografieën en credentials, het vermelden van bronnen en data in je artikelen, en het opbouwen van een netwerk van kwalitatieve backlinks van andere betrouwbare sites in je branche. AI-crawlers scannen deze signalen om de betrouwbaarheid van je content in te schatten.

Als je een dienst verleent en je website is je visitekaartje… overweeg dan om je robots.txt-bestand te controleren. Zorg ervoor dat je belangrijke pagina’s niet per ongeluk geblokkeerd bent voor de user agents van grote AI-bedrijven (zoals ‘Google-Extended’ of ‘ChatGPT-User’). Het onderzoek toont aan dat het toegankelijk houden van je content voor deze crawlers essentieel is om überhaupt in aanmerking te komen voor AI-search.

Een algemene aanpak is om je website te benaderen alsof je hem klaarmaakt voor de meest veeleisende, haastige en kritische bezoeker die je je kunt voorstellen – dat is namelijk precies wat een AI-crawler is. Door technische problemen op te lossen, snelheid te optimaliseren en je autoriteit te onderbouwen, maak je je site niet alleen AI-vriendelijker, maar verbeter je ook de ervaring voor menselijke bezoekers.

Bron: Search Engine Journal