Reuters en Time blokkeren standaard AI-crawlers van hun websites. Dit betekent dat jouw bedrijf zijn eigen contentstrategie moet herzien: niet alleen om je werk te beschermen tegen ongevraagd gebruik, maar ook om te begrijpen hoe deze trend de vindbaarheid van jouw content beïnvloedt.

Wat er aan de hand is

Volgens Search Engine Journal hebben Reuters en Time hun websites zo ingesteld dat AI-crawlers standaard worden geblokkeerd. Alleen goedgekeurde crawlers komen er nog doorheen via zogenoemde allowlists. Dit is een groeiende trend onder nieuwsuitgevers die hun content willen beschermen tegen scraping door AI-modellen. Waar voorheen veel sites AI-bots toestonden, kiezen steeds meer uitgevers voor een restrictiever beleid. Dit past in een bredere verschuiving: uitgevers willen controle houden over wie hun content gebruikt en hoe.

Wat dit betekent

Voor jouw MKB-bedrijf heeft deze ontwikkeling twee kanten. Aan de ene kant wordt het lastiger voor AI-modellen om jouw content te gebruiken zonder toestemming, wat een positieve ontwikkeling is als je originele content maakt. Aan de andere kant kan het betekenen dat AI-zoekmachines en -assistenten jouw content minder goed kunnen indexeren of weergeven. Als jouw bedrijf afhankelijk is van zichtbaarheid in AI-gestuurde zoekresultaten, kan dit een probleem worden. De trend laat zien dat uitgevers hun content actief beschermen, en dat vraagt om een eigen strategie.

Hoe je dit kunt toepassen

Als je een webshop runt met productbeschrijvingen die je zelf hebt geschreven, overweeg dan om je robots.txt-bestand te controleren. Je kunt specifieke AI-crawlers blokkeren die je niet vertrouwt, terwijl je andere crawlers zoals Googlebot toestaat. Een mogelijkheid is om een allowlist te maken van crawlers die je wél toelaat, zoals die van Google of Bing, en de rest te blokkeren. Dit geeft je controle zonder dat je volledig onzichtbaar wordt.

Als je een blog beheert met unieke, onderbouwde artikelen, kun je overwegen om een paywall of registratie toe te voegen voor delen van je content. Reuters en Time laten zien dat dit een effectieve manier is om scraping te ontmoedigen. Je zou kunnen beginnen met je meest waardevolle artikelen achter een eenvoudige e-mailregistratie te plaatsen, zodat je bezoekersgegevens verzamelt en AI-bots buitensluit.

Als je een dienstverlener bent die afhankelijk is van vindbaarheid in zoekmachines, is het verstandig om te monitoren of AI-crawlers jouw site nog bezoeken. Gebruik tools zoals Google Search Console of serverlogs om te zien welke bots je site bezoeken. Als je merkt dat bepaalde AI-crawlers je content zonder toestemming gebruiken, kun je ze blokkeren via je robots.txt. Overweeg ook om je content te voorzien van duidelijke licentievoorwaarden, zodat je juridische stappen kunt ondernemen als dat nodig is.

Als je samenwerkt met externe contentmakers of gastbloggers, bespreek dan met hen hoe jullie gezamenlijk content willen beschermen. Een optie is om een standaardclausule in je overeenkomsten op te nemen die AI-scraping verbiedt. Dit maakt het makkelijker om later actie te ondernemen als je content ongevraagd wordt gebruikt.

Bron: Search Engine Journal (https://www.searchenginejournal.com/more-news-sites-default-to-blocking-ai-crawlers/578527/)