定义

大模型用于抓取网页的爬虫,如 GPTBot、PerplexityBot、ClaudeBot。放行它们是被引用的前提。

为什么重要

可被抓取是其他一切的前提。封锁了检索型机器人的站点,无论内容多好,在回答时都不可能被引用。

如何衡量

用真实的 User-Agent 去实测,而不是只读 robots.txt。robots.txt 写着放行,但 CDN 规则或防火墙对这些 UA 返回 403,实际就是封锁。