简答:llms.txt 是一个提案中的约定:在域名根目录放一份 Markdown 文件,给语言模型一张精简的站点地图,说清你是谁、为谁服务、哪些页面最重要。它不是标准,也没有任何 AI 厂商承诺会读取它。值得写,是因为成本低、还能逼你理清自己的内容;但别指望它把品牌送进 AI 回答。
下面依次讲:这个文件到底是干什么的,里面该放什么,各个建站平台分别怎么提供它(差别比想象中大),怎么检查,以及它在优先级里应该排在哪。
llms.txt 是什么,不是什么
提案本身很简单:在 /llms.txt 放一份纯 Markdown 文档,开头写站点或产品名,接着是一段简短的介绍,然后分节列出重要页面,每个链接后面附一句说明。设想是,模型或代表用户行事的 Agent 读这一个小文件就够了,不必把整个站爬一遍、再去猜哪些页面才算权威。
它不是访问控制,也不是排名信号。AI 代理能不能抓到你的页面,由 robots.txt 决定,实际上还取决于你的 CDN 或防火墙对这个代理返回什么。各家厂商对自己的代理都有详细文档:OpenAI 把 GPTBot、OAI-SearchBot、ChatGPT-User 分开,Anthropic 把 ClaudeBot、Claude-SearchBot、Claude-User 分开,Perplexity 把 PerplexityBot 和 Perplexity-User 分开。我们整理 AI 爬虫清单时核对过的厂商页面里,没有一份说过生成回答时会读取 llms.txt。所以,凡是承诺「加了它就能进 ChatGPT」的说法,都可以打个问号。
根目录下这三份文件经常被混为一谈,放在一起看会清楚得多:
| 文件 | 它的职责 | 能控制访问吗 | AI 厂商有没有写明回答时会读它 |
|---|---|---|---|
robots.txt | 告诉每个点名的代理可以抓哪些路径 | 能,对遵守它的代理有效 | 有:我们核对过的每家厂商页面都写了自家代理怎么对待它 |
| sitemap | 列出规范网址和各自的修改时间 | 不能 | 我们核对过的厂商页面里没有 |
llms.txt | 一张挑选过、带说明的重要页面清单 | 不能 | 我们核对过的厂商页面里没有 |
不过写一份仍然有道理:成本低;它逼你决定哪些页面是权威版本;而且已经有一个主流电商平台默认就会提供这个文件,很多店铺其实早就「有」了一份,只是自己没写、也没看过。
llms.txt 里该放什么
一份在真实站点上站得住的结构,大致是这样:
# Example Co
> Example Co sells modular standing desks to home and small-office buyers
> in the UK and EU. This file lists the pages that describe the products,
> prices, delivery and returns.
## Products
- [Standing desks](https://example.com/desks/): frame options, sizes, load limits
- [Accessories](https://example.com/accessories/): monitor arms, cable trays
## Buying
- [Pricing](https://example.com/pricing/): current prices and what each bundle includes
- [Delivery and returns](https://example.com/returns/): regions served, return window
## Company
- [About](https://example.com/about/): who runs the company and where it is based
有用和装饰之间,差在下面六个习惯:
- 把介绍当成最重要的部分。用陌生人会用的说法讲清你做什么、服务谁、业务边界在哪。换个竞品名也成立的营销文案,对模型来说等于什么都没说。
- 按读者正在做的决定分组,而不是照搬导航菜单。先产品,再是价格、政策这类购买信息,然后是文档或指南,最后是公司页面。
- 每个链接都要有链接文字和说明。裸 URL 不携带任何含义,真正说明「这页回答什么」的是那句说明。
- 给自己的术语下定义。如果产品里有外人看不懂的名称或指标,就在文件里解释。这正是模型否则只能靠猜的那类歧义。
- 只列能被抓取、不靠 JavaScript 也读得到的页面。指向被封锁或客户端渲染页面的文件,对谁都没用。怎么检查,见 JavaScript 渲染与 AI 爬虫。
- 从路由或 CMS 自动生成,不要手写。手写的文件会随着页面改名、下线而慢慢失真,而指向已删除页面的文件,比没有还糟。
更多格式示例,可以看 llms.txt 示例与格式这篇。
各平台怎么提供 llms.txt
文件放在哪、怎么改,几乎完全取决于你用的建站平台。以下是各平台文档里写明的行为:
| 平台 | /llms.txt 怎么提供 | 需要注意 |
|---|---|---|
| Shopify | 主题里什么都不放也会默认提供:Shopify 服务 /agents.md,并镜像到 /llms.txt 与 /llms-full.txt。/llms.txt 的查找顺序是 llms.txt.liquid、agents.md.liquid、Shopify 托管的默认值。 | 加 agents.md.liquid 会同时改三个文件;加 llms.txt.liquid 只改 /llms.txt。 |
| WordPress(自托管) | 把 llms.txt 上传到文档根目录即可。推荐的服务器配置会先返回已存在的文件,再路由到 index.php,所以静态文件优先。 | 不适用于文件系统受限的 WordPress.com 托管套餐。要确认文件没有被重写规则吞掉。 |
| Webflow | 帮助中心记载了一个专门的 llms.txt 上传功能,在自定义域名下从根目录提供。 | 其他任意根目录文件仍不支持。要在自定义域名上检查,别用 webflow.io 预览子域。 |
| HubSpot | 没有任何文档化的方式在根目录提供任意静态文件,文件管理器分配的是 /hubfs/ 下的地址。 | 把页面 slug 设成 llms.txt 能在根路径解析,但返回的是 text/html。在 HubSpot 前面加一层反向代理才可靠。 |
开店的读者尤其要再看一眼 Shopify 那一行:因为 Shopify 会提供托管的默认值,你的店铺很可能已经在对外发布一份你从没读过的 llms.txt。决定要不要覆盖之前,先打开看看;真要覆盖,优先用 agents.md.liquid,让三个文件说同一套话。一手来源分别是 Shopify 的 llms.txt 模板文档、Webflow 的 llms.txt 上传说明、WordPress 的 nginx 配置指南和 HubSpot 的支持文件类型说明。Shopify 上的更多细节,整理在我们的 Shopify 平台页。
怎么检查你的 llms.txt
两条命令就能覆盖大部分检查:
curl -sI https://example.com/llms.txt
curl -s https://example.com/llms.txt | head -n 5
- 根路径直接返回,不经过跳转。抓取这类控制文件的程序通常不跟随跳转,只存在于跳转背后的文件,等于不存在。
- 返回的是纯文本,不是 text/html。HubSpot 那种改 slug 的变通做法恰好会踩这个坑,而且在浏览器里看不出来。
- 正文第一行是你的标题,而不是 HTML 错误页、Cookie 弹窗或登录墙。
- 每个被列出的页面,你在意的那些代理都能访问到。要用真实 User-Agent 实测,不能只读 robots.txt:robots.txt 写着放行,但前面的 CDN 规则对这些代理返回 403,实际就是封锁。具体测法见 AI 爬虫访问指南。
- 检查的是生产域名。尤其是 Webflow,预览子域和自定义域名提供的控制文件不是同一份。
每次改版、迁移或换平台之后都要重查一遍,根目录文件往往就是在这种时候悄悄消失的。
它排在第几,以及常见误区
如果花在「机器可读性」上的时间有限,按这个顺序来:先确认搜索代理和用户触发的代理确实能抓到你的内容页;再确保关键答案存在于原始 HTML 里;然后把段落写成能脱离上下文成立的样子;接着用统一的介绍和 Organization 标记消除品牌歧义;最后才是 llms.txt。这个顺序讲的是依赖关系,不是测量出来的效果大小:前面每一步都是后面的前提。一份指向抓不到、或者不跑 JavaScript 就是空壳的页面的 llms.txt,什么也改变不了。
这张图要从下往上读。下面哪一层缺了,就先补那一层,再考虑上面的事;下面几层都站稳了,llms.txt 就是一项便宜又合理的补充,而不是一场赌博。
常见误区
- 把它当 robots.txt 用。这个约定没有任何访问控制的含义。哪个代理能抓什么,要写在 robots.txt 和 CDN 配置里。
- 把所有 URL 都列进去。那是 sitemap 的活。llms.txt 的价值恰恰在于挑选和说明。
- 写完就不管。如果不是自动生成,就给它定一个复核日期和一个负责人。
- 用「文件存不存在」衡量成败。你真正在意的结果在回答里。用一组固定的买家问题直接去测,而不是从一个文件的存在去推断。
资料来源
- Shopify,llms.txt.liquid 与 agents.md.liquid 模板文档,核对于 2026-09-09。
- WordPress,nginx 服务器配置。
- Webflow 帮助中心,上传 llms.txt 文件(取自帮助中心的说明)。
- HubSpot 知识库,支持的文件类型(取自帮助中心的说明)。
- 各家爬虫文档:OpenAI、Anthropic、Perplexity。
旧版写过「写这个文件大约要一小时」,也说过优先级顺序反映了「每一步对回答的影响大小」。这两条都没有测量依据,已经删掉。Webflow 与 HubSpot 两行取自其帮助中心的说明,我们没有在线上站点亲自验证过。