Webcrawler

Anthropic maakt robots.txt voor Claude specifieker, wat betekent dat voor jouw website?