简答:sitemap 不会把你送进 AI 搜索的答案,而且对于 OAI-SearchBot、PerplexityBot 这类 AI 爬虫如何使用 sitemap、用不用,我们手里没有任何厂商文档可以引用。sitemap 真正做的,是告诉爬虫哪些网址是你认定的规范地址、各自最后什么时候改过。它一旦出错,就会悄悄地向外宣告跳转、重复页面和虚假的「刚更新」,而构建流程一个错都不会报。所以把它当作卫生工作,做好四项检查:列出的每个网址都返回 200;每张页面只有一种网址形式;lastmod 是真的;清楚你的建站平台到底生成了什么。

这比很多 GEO 清单给它的角色小,但更实在。下面依次讲:sitemap 在爬虫会读的几份文件里处在什么位置;我们在自己官网上踩到的重复网址故障;四项检查和一条现成的测试命令;怎么让 lastmod 说真话;以及 Shopify、WordPress、Webflow、HubSpot 各自替你生成了什么。

sitemap 对 AI 搜索能做什么、不能做什么

各家 AI 引擎找到你页面的途径并不相同。OpenAI 的 OAI-SearchBot 构建 ChatGPT 搜索功能背后的索引,PerplexityBot 为 Perplexity 的回答建立索引,Claude-SearchBot 为 Claude 的搜索结果抓取。Gemini 又不一样:Google-Extended 不是爬虫,而是对 Googlebot 已经抓到的内容的使用控制,所以 Gemini 能拿什么来做 grounding,取决于 Google 自己的抓取。各代理的厂商文档见 OpenAI 的爬虫文档和 Google 的常见爬虫列表。

这些资料都没有说某个 AI 爬虫会不会读你的 sitemap,所以别指望靠它把页面送进回答。对它的期待要更窄一些:一份干净、准确、列出你希望被抓取的网址清单,任何会读它的爬虫都能信得过。常被混为一谈的三份文件,其实各管一摊:

文件告诉爬虫什么AI 厂商对它有什么文档常见故障
robots.txt哪个代理可以抓哪些路径主要厂商都公开了各自代理的名字,以及它们怎么对待这个文件本想挡训练代理的规则,连搜索代理一起挡了
sitemap哪些网址是规范地址、各自什么时候改过我们没能从 AI 厂商那里找到任何说明列着跳转、重复网址和构建时间生成的日期
llms.txt写给语言模型看的纯文本站点概要Shopify、Webflow 等平台支持;我们的资料里没有引擎说明自己会读它以 HTML 返回,或者藏在一次跳转后面

决定一张页面能不能被用进回答的那些事,比如爬虫能不能访问、内容是不是服务端渲染,都在 sitemap 的上游。一张对 OAI-SearchBot 返回 403、或者正文只靠 JavaScript 渲染的页面,sitemap 写得再完美也救不回来。如果这两项还没查,那一个小时更该花在它们身上。想同时准备那份纯文本概要文件,llms.txt 指南讲了里面该写什么。

那个会藏起来的故障

sitemap 是悄无声息坏掉的。一次路由调整、一条末尾斜杠规则、一次 CMS 迁移,文件里列的网址就开始跳转或返回 404。不会报错,构建照样通过,文件依然是合法的 XML,它只是不再是一份准确的规范页面清单了。

我们自己的官网就撞上过一回。一处末尾斜杠不一致,让 46 张页面各自以两个网址被收录,Search Console 里 1,980 次曝光被拆在这些「双胞胎」之间。每一对都在和自己抢,哪个网址都拿不到完整的分数。

修复前:一张页面,两个网址修复后:三处信号,一种写法同一张页面/pricing被分别收录/pricing/被分别收录我们自己的官网:46 张页面各自以两个网址被收录,1,980 次曝光被拆在双胞胎之间。sitemap 的 <loc>canonical 标签站内链接/pricing/唯一的写法三处里只要有一处还指向另一种写法,那个双胞胎就会一直活着。
图 1 重复网址故障及其修法。带斜杠和不带斜杠都能打开的页面会被收录两次;sitemap、canonical 标签和站内链接必须写同一种形式。来源:insightwonder.com Search Console 导出,2026-07-02 至 2026-09-07。

解决办法是选定一种网址形式、处处强制执行,并让 sitemap、canonical 标签和站内链接三者保持一致。三者里只要有一处还指向另一种写法,那个双胞胎就会一直活着。具体怎么对齐,见规范网址与重复网址。

面向 AI 搜索的四项 sitemap 检查

每一项检查,抓的是文件「不再说真话」的一种方式:

sitemap 里列出的每一个网址1 返回 200,而不是跳转或 404?否修好这个网址,或者从 sitemap 里删掉2 和 canonical 标签的写法一致?否让 sitemap、canonical 和站内链接对齐3 lastmod 取自内容的更新时间?否别再把构建时间写进 lastmod4 对外只宣告了这一份?否从 robots.txt 里删掉另一份全部是一条爬虫信得过的记录
图 2 对 sitemap 列出的每一个网址做的四项检查,以及每一项不通过时的修法。来源:本文介绍的检查方法。
  • 列出的每个网址都返回 200。不是跳转,也不是 404。sitemap 是一份规范目标地址的清单,不是「最后总能打开」的地址清单。
  • 每张页面只有一种网址形式。带不带末尾斜杠、http 还是 https,各选一次,在代码里强制执行,并确保 sitemap 和 canonical 标签、站内链接一致。
  • lastmod 是真的。每张页面都声称今天刚改过的文件,等于什么信息都没给。
  • 只对外宣告一份 sitemap。两个生成器同时在跑、robots.txt 里各列一份,是很常见的平台副作用。

第一项检查一条命令就能跑完:

# List every URL in a sitemap and print the ones that do not return 200.
# If the file is a sitemap index, run it again on each child sitemap it lists.
curl -s https://example.com/sitemap.xml \
  | grep -o '<loc>[^<]*</loc>' | sed 's/<[^>]*>//g' \
  | while read -r u; do
      printf "%s %s\n" "$(curl -s -o /dev/null -w '%{http_code}' "$u")" "$u"
    done \
  | grep -v '^200 '

它打印出来的每一行,都是要修或者要删的网址。每次涉及路由的上线之后都跑一遍,而且要对正式域名跑,不要对测试域名跑,因为测试环境经常返回另一套文件。第二项检查,挑几张页面,把 sitemap 里的网址写法和页面上的 canonical 标签对一对,任何不一致都是一个随时会冒出来的双胞胎。

lastmod 与日期:别让构建流程替你撒谎

隐含「要最新答案」的问题,会偏好标注了日期、且近期确实更新过的页面。没有日期的页面,或者修改日期被每次部署自动刷新的页面,会输给标了真实日期的竞争对手;而被刷新的日期,是爬虫可以拿内容去核对的说法。sitemap 里的 lastmod 也是同样的道理:内容改了才变,而且只在内容改了的时候变。

lastmod = 构建时间lastmod = 内容更新时间什么会改动它每次部署,改没改都变这张页面的内容被编辑文件在说什么所有网址今天都改过只有改过的页面是新的页面、标记、sitemap三处互相矛盾,也和页面上显示的日期不符显示日期、dateModified和 lastmod 三者一致爬虫能得到什么没有任何可用的信息哪些页面真的变了
图 3 lastmod 的两种填法。只有内容更新时间能告诉爬虫一点东西,而且前提是页面、标记和 sitemap 三处一致。来源:本文介绍的日期处理做法。

落到实处,就是 lastmod 取自内容本身的更新时间,而不是构建时间;页面上显示的「最后更新」、Article 标记里的日期和 sitemap 三处保持一致。还要先定好「什么样的改动值得一个新日期」:改一个错别字不算;新价格、新增一节、换了推荐结论才算。怎么设置,见内容时效与日期。

你的平台实际生成了什么

多数站点不手写 sitemap,所以平台的行为比格式本身更要紧:

平台默认行为要留意的地方
Shopify在 /sitemap.xml 自动生成,是覆盖商品、集合、博客与页面的索引,并会自行更新。没有任何官方方式自定义或排除单条网址。设了密码保护的店铺,爬虫根本访问不到它的 sitemap。
WordPress自 WordPress 5.5 起,在 /wp-sitemap.xml 生成 sitemap 索引,可以用过滤器调整。多数 SEO 插件会在另一个网址上用自己的 sitemap 取而代之,于是两份常常并存。「建议搜索引擎不索引本站」这个设置还会直接关掉核心 sitemap。
Webflow启用后在 /sitemap.xml 生成,每次发布都会重建,每条网址带 lastmod,使用 Localize 的站点还会有 hreflang 互指。可以改成粘贴手写的 sitemap,但不能两者并存,否则 robots.txt 会同时宣告两份。
HubSpot网站页面和博客文章会自动加入。落地页不会,得逐个手动添加。改动最多要三十分钟才生效,而且把网址从 sitemap 里删掉,并不等于让它从索引中消失。

WordPress 那个坑值得单独说一句:测试站带着「建议搜索引擎不索引本站」这个勾直接上线,/wp-sitemap.xml 就无声无息地没了,而已经换了 sitemap 地址的 SEO 插件不会提醒你。细节见 WordPress 5.5 的 sitemap 发布说明、Shopify 的 sitemap 帮助页和 HubSpot 的 sitemap 说明,我们的 WordPress 页面也做了汇总。

hreflang 放在哪里

如果你发布多种语言,sitemap 是声明「哪些网址互为语言版本」的一个整洁的位置。Webflow 在 Localize 站点上会替你做好。其他平台上,要让语言互指和页面出自同一个数据源生成,每个语言版本都一致地列出,并且用和 canonical 标签完全相同的网址形式,否则你会在第二种语言里把重复网址的问题再造一遍。其余设置见多语言 GEO。

sitemap 不会让引擎点你的名。但一份坏掉的 sitemap,会让任何爬虫都更难看清你的哪些页面是真实的、最新的、规范的。花一个小时查一遍,值得。

资料来源