Reuters en Time blokkeren AI-crawlers standaard. Dit betekent dat jouw bedrijfsblog straks mogelijk minder zichtbaar is in AI-tools als ChatGPT en Google Bard, tenzij je zelf actief toestemming geeft.

Wat er aan de hand is

Grote nieuwsorganisaties zoals Reuters en Time hebben hun websites zo ingesteld dat AI-crawlers standaard worden geblokkeerd. Alleen goedgekeurde crawlers, die op een zogenoemde allowlist staan, krijgen nog toegang. Dit is een trend die eerder al door andere grote uitgevers werd ingezet, zoals The New York Times en CNN. De reden is tweeledig: bescherming van auteursrechtelijk beschermd materiaal en controle over hoe hun content wordt gebruikt door AI-modellen. Volgens Search Engine Journal, dat het nieuws meldde, is dit een verschuiving van een open naar een gesloten benadering van webcontent voor AI-toepassingen.

Wat dit betekent

Voor jou als MKB-ondernemer of professional betekent deze trend dat de concurrentie om zichtbaarheid in AI-tools groter wordt. Grote nieuwsmerken trekken zich terug uit de open AI-zoekmachines, waardoor er ruimte ontstaat voor andere bronnen. Maar tegelijkertijd worden AI-tools selectiever: ze kunnen alleen nog content indexeren van sites die expliciet toestemming geven. Als jouw bedrijfsblog geen allowlist heeft of niet is geoptimaliseerd voor AI-crawlers, loop je het risico dat jouw artikelen niet worden meegenomen in antwoorden van AI-assistenten. Dit is vooral relevant voor sectoren waar actuele, betrouwbare informatie belangrijk is, zoals juridisch, financieel, gezondheidszorg of technologie.

Hoe je dit kunt toepassen

Als je een bedrijfsblog beheert met actuele kennisartikelen, overweeg om je robots.txt-bestand aan te passen. Je kunt specifieke AI-crawlers zoals GPTBot, Google-Extended of CCBot toestaan door ze op een allowlist te zetten. Een mogelijkheid is om alleen crawlers van AI-tools die jouw content correct bronvermelden, toegang te geven. Controleer regelmatig of je site nog wordt geïndexeerd door deze tools via hun eigen dashboards of via tools als Google Search Console.

Als je content schrijft voor een niche waarin weinig concurrentie is, is dit een kans. Omdat grote nieuwsmerken zich terugtrekken, kunnen jouw artikelen prominenter worden gebruikt door AI-tools. Een optie is om je content te structureren met duidelijke koppen, feiten en bronnen, zodat AI-modellen deze makkelijk kunnen extraheren. Overweeg om een aparte sectie op je site te maken met ‘AI-vriendelijke’ samenvattingen van je belangrijkste artikelen.

Als je afhankelijk bent van AI-tools voor marktonderzoek of concurrentieanalyse, wees je ervan bewust dat de data die je krijgt mogelijk minder compleet is. Grote nieuwsbronnen worden geblokkeerd, dus antwoorden kunnen gebaseerd zijn op oudere of minder betrouwbare bronnen. Een suggestie is om je eigen AI-tool te trainen op een selectie van door jou goedgekeurde nieuwsbronnen, bijvoorbeeld via een API van een nieuwsaggregator of door zelf een database op te bouwen met RSS-feeds.

Als je een webshop runt en gebruikmaakt van AI voor productbeschrijvingen of klantenservice, controleer of de AI-tools die je gebruikt, nog toegang hebben tot actuele prijsinformatie of reviews van nieuwssites. Als die bronnen worden geblokkeerd, kunnen je AI-gedreven aanbevelingen minder accuraat worden. Overweeg om een eigen database met productinformatie en recensies op te zetten, zodat je AI-tool niet afhankelijk is van externe nieuwssites.

Bron: Search Engine Journal