AI 搜索站点体检:robots、sitemap、llms.txt 与 JSON-LD
体检不是“跑个分”
站点体检的价值不是给首页一个 0–100 分,而是指出具体故障:哪个 AI Bot 被禁止、sitemap 有多少 URL、llms.txt 有没有章节、JSON-LD 是否能解析、metadata 是否在合理长度。分数只是汇总,问题清单才是可执行部分。
1. robots.txt:AI Bot 规则
先确认 robots.txt 可访问,再按 Bot 分组解析 Allow/Disallow。需要重点看 GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot 和 Bingbot。一个常见的错误是:全局 Disallow: / 把 AI 爬虫也挡在门外,但页面本身又希望被 AI 搜索引用。
同时检查 robots 是否声明 sitemap。声明了但返回 404,比没有声明更糟;声明了多个 sitemap,也应当逐个验证。
2. sitemap.xml:数量和结构
有效 sitemap 应该能被 XML 解析,包含 <urlset> 或 <sitemapindex>,并返回合理数量的 <loc>。只有“200 OK”不够:一个空白 sitemap 或全站只有首页的 sitemap,不能支撑内容发现。
- 检查 sitemap 中的 URL 是否可访问、是否 200;
- 检查 sitemap index 是否指向有效子 sitemap;
- 检查 robots 声明的 sitemap 与 /sitemap.xml 是否一致;
- 检查 lastmod 是否更新,不要用未来时间。
3. llms.txt:给 AI 的站点说明
llms.txt 不是标准协议,但越来越多团队用它给 AI 系统提供站点摘要和重要链接。一个可读的 llms.txt 至少应该有标题、简短说明、分节和可访问链接;只有一句“欢迎访问”意义有限。
体检会统计字符数、章节数和链接数,并把“存在但内容太薄”标记为建议,而不是直接通过。
4. JSON-LD:能解析才算结构化数据
页面里有 <script type="application/ld+json"> 不等于有效。体检会解析每个脚本,提取 @type,统计解析失败。常见的 Organization、WebSite、Article、FAQPage、BreadcrumbList 应该与页面内容一致,不要为了结构化数据写用户看不到的内容。
5. Metadata 与可访问性
标题和描述不是越长越好。标题建议 10–60 字,描述建议 50–160 字;canonical 应该指向规范 URL;og:title 应该存在。首页还必须能正常返回 200,重定向链不宜过长。
| 检查项 | 通过标准 | 常见问题 |
|---|---|---|
| 首页 | HTTP 200,响应时间可接受 | 重定向过多、超时、登录墙 |
| robots | 200,规则可解析 | AI Bot 被全局禁止 |
| sitemap | URL set/index 有效,loc 可读 | 空 sitemap、404、只在 robots 里声明 |
| llms.txt | 有标题、分节、链接 | 只有一行欢迎语 |
| JSON-LD | 可解析,类型与页面一致 | 脚本无效、类型与内容不符 |
| Metadata | title/description/canonical/og 完整 | 描述缺失、canonical 错误 |
体检之后做什么
- 先修阻断项:首页不可访问、AI Bot 被禁止、sitemap 404。
- 再补结构项:有效 sitemap、llms.txt、JSON-LD。
- 最后优化内容项:标题、描述、内链和可引用段落。
- 把体检结果和 GEO 监测样本对照:被引用最多的页面,是否正好是体检通过的页面?
技术可访问只是前提,不能保证被 AI 引用。下一步可以看 GEO 指标怎么读,把站点问题和回答样本放在同一份报告里。