Het antwoord: Je website moet nu niet alleen vindbaar zijn voor Googlebot, maar ook voor AI-crawlers zoals die van ChatGPT en Bard. Dat betekent dat je technische SEO moet worden uitgebreid met een nieuwe laag: zorg voor crawl-toegang, server-side rendering en semantische HTML.

Wat er aan de hand is

Volgens een artikel van Search Engine Journal is de traditionele technische SEO-audit niet langer voldoende. AI-crawlers, zoals die van OpenAI en Google (via Bard), hebben andere eisen dan Googlebot. Ze hebben moeite met JavaScript-heavy websites en hebben baat bij machine-readable structuren. De belangrijkste punten zijn: AI-crawlers moeten toegang krijgen tot je server, content moet server-side worden gerenderd (dus niet alleen via client-side JavaScript), en HTML moet semantisch correct zijn. Dit is geen toekomstmuziek; het is nu al relevant voor bedrijven die zichtbaar willen zijn in AI-gestuurde zoekresultaten en antwoorden.

Wat dit betekent

Voor MKB’ers betekent dit dat je website mogelijk onzichtbaar is voor AI-crawlers als je afhankelijk bent van moderne JavaScript-frameworks zoals React of Vue zonder server-side rendering. Dit kan gevolgen hebben voor je zichtbaarheid in AI-chatbots en -assistenten die websites scannen om antwoorden te genereren. Ook als je een eenvoudige website hebt, is het belangrijk om te controleren of AI-crawlers niet worden geblokkeerd door je robots.txt of andere toegangsbeperkingen. De impact is het grootst voor webshops, dienstverleners en contentplatforms die afhankelijk zijn van organisch verkeer.

Hoe je dit kunt toepassen

Als je een webshop runt op een platform zoals Shopify of WooCommerce: Overweeg om te controleren of je thema server-side rendering ondersteunt. Veel moderne thema’s doen dit al, maar als je veel custom JavaScript gebruikt, kan het zijn dat AI-crawlers de productpagina’s niet volledig kunnen lezen. Een eenvoudige test: gebruik de ‘View Page Source’ in je browser en kijk of de belangrijkste content (productnaam, prijs, beschrijving) in de HTML staat, niet alleen in JavaScript. Zo niet, overweeg dan een server-side rendering oplossing of een statische site generator.

Als je een dienstverlener bent met een WordPress-site: Controleer je robots.txt. Zorg dat AI-crawlers zoals ‘GPTBot’ of ‘Google-Extended’ niet worden geblokkeerd. Je kunt dit doen door naar je robots.txt-bestand te gaan (bijvoorbeeld jouwsite.nl/robots.txt) en te kijken of er regels staan die deze crawlers uitsluiten. Als dat zo is, verwijder die regels of voeg specifieke toegang toe voor belangrijke pagina’s. Gebruik daarnaast semantische HTML: gebruik <article>, <section>, <header> en <nav> tags op de juiste manier, zodat crawlers de structuur van je content begrijpen.

Als je een contentplatform beheert met veel artikelen: Zorg dat je belangrijkste content (titels, intro’s, koppen) beschikbaar is in de initiële HTML, niet alleen na het laden van JavaScript. Dit kun je testen met tools zoals de ‘Fetch as Google’ functie in Search Console, maar ook door simpelweg je site in een browser te openen met JavaScript uitgeschakeld. Als de pagina er dan kaal uitziet, moeten AI-crawlers waarschijnlijk ook worstelen. Overweeg om een statische HTML-versie van je belangrijkste pagina’s te genereren of gebruik een framework dat server-side rendering ondersteunt, zoals Next.js voor React of Nuxt.js voor Vue.

Als je een lokale ondernemer bent met een eenvoudige HTML-site: Je hebt waarschijnlijk weinig aanpassingen nodig, maar controleer of je robots.txt AI-crawlers niet blokkeert. Voeg eventueel een verwijzing naar een sitemap toe in je robots.txt, zodat crawlers alle pagina’s kunnen vinden. Gebruik duidelijke heading-structuren (h1, h2, h3) en alt-teksten bij afbeeldingen. Dit helpt niet alleen AI-crawlers, maar ook je algemene SEO.

Bron: Search Engine Journal