Webcrawler on GEPROMPT https://geprompt.nl/tags/webcrawler/ Recent content in Webcrawler on GEPROMPT Hugo -- 0.156.0 nl Sat, 28 Feb 2026 13:59:05 +0000 Anthropic maakt robots.txt voor Claude specifieker, wat betekent dat voor jouw website? https://geprompt.nl/nieuws-tools/2026-02-28-anthropic-maakt-robotstxt-voor-claude-specifieker-wat-beteke/ Sat, 28 Feb 2026 13:59:05 +0000 https://geprompt.nl/nieuws-tools/2026-02-28-anthropic-maakt-robotstxt-voor-claude-specifieker-wat-beteke/ Anthropic splitst zijn AI-crawler op in drie aparte bots, waardoor je nu kunt kiezen welke Claude toegang krijgt tot je site voor training, zoeken of gebruikershulp.