简答:sitemap 不会把你送进 AI 搜索的答案,而且对于 OAI-SearchBot、PerplexityBot 这类 AI 爬虫如何使用 sitemap、用不用,我们手里没有任何厂商文档可以引用。sitemap 真正做的,是告诉爬虫哪些网址是你认定的规范地址、各自最后什么时候改过。它一旦出错,就会悄悄地向外宣告跳转、重复页面和虚假的「刚更新」,而构建流程一个错都不会报。所以把它当作卫生工作,做好四项检查:列出的每个网址都返回 200;每张页面只有一种网址形式;lastmod 是真的;清楚你的建站平台到底生成了什么。
这比很多 GEO 清单给它的角色小,但更实在。下面依次讲:sitemap 在爬虫会读的几份文件里处在什么位置;我们在自己官网上踩到的重复网址故障;四项检查和一条现成的测试命令;怎么让 lastmod 说真话;以及 Shopify、WordPress、Webflow、HubSpot 各自替你生成了什么。
sitemap 对 AI 搜索能做什么、不能做什么
各家 AI 引擎找到你页面的途径并不相同。OpenAI 的 OAI-SearchBot 构建 ChatGPT 搜索功能背后的索引,PerplexityBot 为 Perplexity 的回答建立索引,Claude-SearchBot 为 Claude 的搜索结果抓取。Gemini 又不一样:Google-Extended 不是爬虫,而是对 Googlebot 已经抓到的内容的使用控制,所以 Gemini 能拿什么来做 grounding,取决于 Google 自己的抓取。各代理的厂商文档见 OpenAI 的爬虫文档和 Google 的常见爬虫列表。
这些资料都没有说某个 AI 爬虫会不会读你的 sitemap,所以别指望靠它把页面送进回答。对它的期待要更窄一些:一份干净、准确、列出你希望被抓取的网址清单,任何会读它的爬虫都能信得过。常被混为一谈的三份文件,其实各管一摊:
| 文件 | 告诉爬虫什么 | AI 厂商对它有什么文档 | 常见故障 |
|---|---|---|---|
robots.txt | 哪个代理可以抓哪些路径 | 主要厂商都公开了各自代理的名字,以及它们怎么对待这个文件 | 本想挡训练代理的规则,连搜索代理一起挡了 |
| sitemap | 哪些网址是规范地址、各自什么时候改过 | 我们没能从 AI 厂商那里找到任何说明 | 列着跳转、重复网址和构建时间生成的日期 |
llms.txt | 写给语言模型看的纯文本站点概要 | Shopify、Webflow 等平台支持;我们的资料里没有引擎说明自己会读它 | 以 HTML 返回,或者藏在一次跳转后面 |
决定一张页面能不能被用进回答的那些事,比如爬虫能不能访问、内容是不是服务端渲染,都在 sitemap 的上游。一张对 OAI-SearchBot 返回 403、或者正文只靠 JavaScript 渲染的页面,sitemap 写得再完美也救不回来。如果这两项还没查,那一个小时更该花在它们身上。想同时准备那份纯文本概要文件,llms.txt 指南讲了里面该写什么。
那个会藏起来的故障
sitemap 是悄无声息坏掉的。一次路由调整、一条末尾斜杠规则、一次 CMS 迁移,文件里列的网址就开始跳转或返回 404。不会报错,构建照样通过,文件依然是合法的 XML,它只是不再是一份准确的规范页面清单了。
我们自己的官网就撞上过一回。一处末尾斜杠不一致,让 46 张页面各自以两个网址被收录,Search Console 里 1,980 次曝光被拆在这些「双胞胎」之间。每一对都在和自己抢,哪个网址都拿不到完整的分数。
解决办法是选定一种网址形式、处处强制执行,并让 sitemap、canonical 标签和站内链接三者保持一致。三者里只要有一处还指向另一种写法,那个双胞胎就会一直活着。具体怎么对齐,见规范网址与重复网址。
面向 AI 搜索的四项 sitemap 检查
每一项检查,抓的是文件「不再说真话」的一种方式:
- 列出的每个网址都返回 200。不是跳转,也不是 404。sitemap 是一份规范目标地址的清单,不是「最后总能打开」的地址清单。
- 每张页面只有一种网址形式。带不带末尾斜杠、http 还是 https,各选一次,在代码里强制执行,并确保 sitemap 和 canonical 标签、站内链接一致。
lastmod是真的。每张页面都声称今天刚改过的文件,等于什么信息都没给。- 只对外宣告一份 sitemap。两个生成器同时在跑、robots.txt 里各列一份,是很常见的平台副作用。
第一项检查一条命令就能跑完:
# List every URL in a sitemap and print the ones that do not return 200.
# If the file is a sitemap index, run it again on each child sitemap it lists.
curl -s https://example.com/sitemap.xml \
| grep -o '<loc>[^<]*</loc>' | sed 's/<[^>]*>//g' \
| while read -r u; do
printf "%s %s\n" "$(curl -s -o /dev/null -w '%{http_code}' "$u")" "$u"
done \
| grep -v '^200 '
它打印出来的每一行,都是要修或者要删的网址。每次涉及路由的上线之后都跑一遍,而且要对正式域名跑,不要对测试域名跑,因为测试环境经常返回另一套文件。第二项检查,挑几张页面,把 sitemap 里的网址写法和页面上的 canonical 标签对一对,任何不一致都是一个随时会冒出来的双胞胎。
lastmod 与日期:别让构建流程替你撒谎
隐含「要最新答案」的问题,会偏好标注了日期、且近期确实更新过的页面。没有日期的页面,或者修改日期被每次部署自动刷新的页面,会输给标了真实日期的竞争对手;而被刷新的日期,是爬虫可以拿内容去核对的说法。sitemap 里的 lastmod 也是同样的道理:内容改了才变,而且只在内容改了的时候变。
落到实处,就是 lastmod 取自内容本身的更新时间,而不是构建时间;页面上显示的「最后更新」、Article 标记里的日期和 sitemap 三处保持一致。还要先定好「什么样的改动值得一个新日期」:改一个错别字不算;新价格、新增一节、换了推荐结论才算。怎么设置,见内容时效与日期。
你的平台实际生成了什么
多数站点不手写 sitemap,所以平台的行为比格式本身更要紧:
| 平台 | 默认行为 | 要留意的地方 |
|---|---|---|
| Shopify | 在 /sitemap.xml 自动生成,是覆盖商品、集合、博客与页面的索引,并会自行更新。 | 没有任何官方方式自定义或排除单条网址。设了密码保护的店铺,爬虫根本访问不到它的 sitemap。 |
| WordPress | 自 WordPress 5.5 起,在 /wp-sitemap.xml 生成 sitemap 索引,可以用过滤器调整。 | 多数 SEO 插件会在另一个网址上用自己的 sitemap 取而代之,于是两份常常并存。「建议搜索引擎不索引本站」这个设置还会直接关掉核心 sitemap。 |
| Webflow | 启用后在 /sitemap.xml 生成,每次发布都会重建,每条网址带 lastmod,使用 Localize 的站点还会有 hreflang 互指。 | 可以改成粘贴手写的 sitemap,但不能两者并存,否则 robots.txt 会同时宣告两份。 |
| HubSpot | 网站页面和博客文章会自动加入。 | 落地页不会,得逐个手动添加。改动最多要三十分钟才生效,而且把网址从 sitemap 里删掉,并不等于让它从索引中消失。 |
WordPress 那个坑值得单独说一句:测试站带着「建议搜索引擎不索引本站」这个勾直接上线,/wp-sitemap.xml 就无声无息地没了,而已经换了 sitemap 地址的 SEO 插件不会提醒你。细节见 WordPress 5.5 的 sitemap 发布说明、Shopify 的 sitemap 帮助页和 HubSpot 的 sitemap 说明,我们的 WordPress 页面也做了汇总。
hreflang 放在哪里
如果你发布多种语言,sitemap 是声明「哪些网址互为语言版本」的一个整洁的位置。Webflow 在 Localize 站点上会替你做好。其他平台上,要让语言互指和页面出自同一个数据源生成,每个语言版本都一致地列出,并且用和 canonical 标签完全相同的网址形式,否则你会在第二种语言里把重复网址的问题再造一遍。其余设置见多语言 GEO。
sitemap 不会让引擎点你的名。但一份坏掉的 sitemap,会让任何爬虫都更难看清你的哪些页面是真实的、最新的、规范的。花一个小时查一遍,值得。
资料来源
- OpenAI,OpenAI 爬虫概览;Google,Google 常见爬虫。均核对于 2026-09-09。
- WordPress,WordPress 5.5 新增 XML sitemap 功能。
- Shopify 帮助中心,查找你的 sitemap。
- Webflow 帮助中心,在 Webflow 里创建 sitemap。
- HubSpot 知识库,查看和编辑 HubSpot 托管域名的 sitemap。