定义

GPTBot 是 OpenAI 用于收集网页内容的爬虫。与它并列的还有职责不同的其他代理，例如用于搜索索引的 OAI-SearchBot、由用户请求触发抓取的 ChatGPT-User；其他厂商也各有一套，如 PerplexityBot、ClaudeBot、Google-Extended。

为什么重要

团队常常用一条规则同时封掉训练爬虫和检索代理，然后困惑为什么从来不被引用。这两个决定是可以分开的，而且通常应该分开。

如何衡量

把 robots.txt 里点名的每个代理与其用途列成一张表，再逐个 User-Agent 确认服务器的真实行为与之一致。对不认识的代理，按「待评估」处理，而不是默认封锁。