定义
ClaudeBot 是 Anthropic 用于收集可能参与模型训练的网页内容的爬虫。它是三个分别命名的代理之一：Claude-SearchBot 为提升 Claude 用户看到的搜索结果而抓取，Claude-User 则因为真人的问题需要而访问页面。
为什么重要
这三个名字之所以存在，就是为了让决定可以分开做，而多数站点把它们并成了一条规则。封锁 ClaudeBot 是一个关于训练用途的、站得住的立场，不影响今天的回答；封锁 Claude-SearchBot 则会让你的页面从 Claude 能呈现的内容里消失。一条笼统地冲着「Anthropic」去的 Disallow，通常是在无意中做了后一件事。
如何衡量
用每个 User-Agent 分别请求自己的页面，比对状态码和真正吐出来的 HTML——只读 robots.txt 抓不到 CDN 规则或按 UA 拦截的 WAF。代理名称与 robots.txt 行为以 Anthropic 自己的帮助中心为准；Claude-User 被明确标注为用户触发，这与定时抓取是两种情况。