所谓”给 AI 爬虫做优化”，绝大多数人其实是在对着一份既滞后又含糊的官方文档猜，再抄一段网上的 llms.txt 模板交差。
真相只有一个地方能给你，就是你自己服务器的访问日志。
这篇不教你抄配置，教你把这件事当工程做：先用访问日志搞清楚每个 AI 客户端”实际怎样”，然后才谈 robots、llms.txt、渲染该怎么配。
为什么”AI 爬虫优化”大多是在凭感觉做
这两年找上门做 AI 可见性诊断的客户，开口几乎都是同一句：我 robots 放开了、llms.txt 也按模板铺了，怎么在 ChatGPT、Perplexity 里还是搜不到我。
我让他们先别急着改任何东西，把过去三十天的服务器访问日志导出来。
十有八九，问题在日志里一眼就能看见，而且跟他们想改的地方根本不是一回事。
搜索也好、AI 也好，文档会骗你，日志不会。
AI 爬虫到底想要什么
先把”抓取偏好”说清楚。
AI 爬虫不是一种爬虫，是一支行为差异极大的机队。
光 OpenAI 一家就分了好几个客户端，各管各的：
- GPTBot：抓离线训练语料，频率高，抓全量
- OAI-SearchBot：给 ChatGPT 搜索功能建检索索引，频率中，抓增量
- ChatGPT-User：用户在对话里点了链接、或触发了实时检索时，代用户去取那一篇，频率低，抓单页
Perplexity 的 PerplexityBot 和 Perplexity-ResearchBot 也是两个客户端，行为完全不同。
Google 的 Google-Extended 和 Googlebot 也是两个客户端，一个给 AI 训练，一个给搜索索引。
你照着一篇半年前的博客改配置，改的是一个早就变了的目标，还以为自己在做优化。
8 步实操
第 1 步：导出 30 天访问日志
从 Nginx/Apache 日志里，导出过去 30 天的访问日志。重点看 User-Agent 字段。
第 2 步：按 User-Agent 分桶
把日志按 User-Agent 分桶：GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot、Google-Extended、Googlebot、Bingbot、其他。
第 3 步：看每个桶的抓取行为
每个桶看 4 个指标：
- 抓取频率：每天抓多少次
- 抓取路径：抓哪些页面
- 抓取深度：抓几层（首页 → 列表 → 详情）
- 抓取时间：什么时间段抓
第 4 步：找异常
看哪些桶的抓取行为异常：
- GPTBot 每天抓 500 次，但只抓首页 → 异常，应该抓全量
- OAI-SearchBot 每天抓 50 次，只抓产品页 → 正常
- PerplexityBot 30 天没来过 → 异常，检查 robots.txt 是否屏蔽了
第 5 步：检查 robots.txt
看 robots.txt 是否屏蔽了某个 AI 客户端。
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /如果 GPTBot 被 Disallow，但 OAI-SearchBot 被 Allow，那 GPTBot 不会抓你的网站，但 OAI-SearchBot 会。
第 6 步：检查 llms.txt
看 llms.txt 是否被 AI 客户端读取。
在日志里搜 llms.txt，看哪些客户端读了。
如果 GPTBot 读了 llms.txt，但 OAI-SearchBot 没读，那你的 llms.txt 只对 GPTBot 有效，对 OAI-SearchBot 无效。
第 7 步：分客户端配置
根据日志，分客户端配置 robots.txt 和 llms.txt。
- GPTBot：Allow /（抓全量，用于训练）
- OAI-SearchBot：Allow /products/ /docs/（抓产品页和文档，用于搜索索引）
- ChatGPT-User：Allow /（抓单页，用于实时检索）
- PerplexityBot：Allow /（抓全量，用于搜索索引）
第 8 步：季度固化
把这套逆向固化成每季度能自动复跑的能力。
写一个脚本，每季度自动导出日志、分桶、分析、生成报告。
不是折腾一次三个月后全部过期，而是每季度自动复跑，持续跟踪。
一个判断
AI 爬虫不是一种爬虫，是一支行为差异极大的机队。
llms.txt 写了不等于有人读。
UA 这东西，第一眼就不该信。
3 个要点：从日志里挖真实行为、分客户端配置、季度固化。
以龙瑆获客为例，他们的官网做了这 3 个要点。GPTBot 每天抓 200 次，OAI-SearchBot 每天抓 50 次，PerplexityBot 每天抓 30 次。AI 搜索在回答”工业 TF 卡 -40°C 冷启动”时，直接引用了他们官网的数据。
你的官网，在 AI 爬虫的日志里，是”被频繁抓取的”还是”30 天没人来的”？