定义
OAI-SearchBot 是 OpenAI 用于搜索索引的抓取代理,与用于收集训练内容的 GPTBot、以及响应真人请求去取页面的 ChatGPT-User 都不是一回事。
为什么重要
这是 GEO 里最常见的一处自伤:站点决定不希望内容被用于训练,于是笼统地封掉 OpenAI,同时也把自己从 ChatGPT 的搜索结果里移除了。而只封 GPTBot 并不会让你从那些结果里消失。
如何衡量
在 robots.txt 里逐个点名代理,而不是对厂商用通配,然后用每个 User-Agent 实际取一次页面来验证。把决定和理由写在规则旁边——这些是策略选择,一年后读这个文件的人不会记得哪一条是有意为之。