定义

大模型用于抓取网页的爬虫,如 GPTBot、PerplexityBot、ClaudeBot。放行它们是被引用的前提。