技术 GEO

AI 搜索站点体检:robots、sitemap、llms.txt 与 JSON-LD

更新于 2026-11-06·GeoSearch 方法团队
AI 搜索不是只看关键词。robots 是否允许 AI 爬虫、sitemap 是否有效、llms.txt 是否可读、结构化数据是否能解析,都会影响内容被发现和理解的方式。

体检不是“跑个分”

站点体检的价值不是给首页一个 0–100 分,而是指出具体故障:哪个 AI Bot 被禁止、sitemap 有多少 URL、llms.txt 有没有章节、JSON-LD 是否能解析、metadata 是否在合理长度。分数只是汇总,问题清单才是可执行部分。

1. robots.txt:AI Bot 规则

先确认 robots.txt 可访问,再按 Bot 分组解析 Allow/Disallow。需要重点看 GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot 和 Bingbot。一个常见的错误是:全局 Disallow: / 把 AI 爬虫也挡在门外,但页面本身又希望被 AI 搜索引用。

同时检查 robots 是否声明 sitemap。声明了但返回 404,比没有声明更糟;声明了多个 sitemap,也应当逐个验证。

2. sitemap.xml:数量和结构

有效 sitemap 应该能被 XML 解析,包含 <urlset> 或 <sitemapindex>,并返回合理数量的 <loc>。只有“200 OK”不够:一个空白 sitemap 或全站只有首页的 sitemap,不能支撑内容发现。

  • 检查 sitemap 中的 URL 是否可访问、是否 200;
  • 检查 sitemap index 是否指向有效子 sitemap;
  • 检查 robots 声明的 sitemap 与 /sitemap.xml 是否一致;
  • 检查 lastmod 是否更新,不要用未来时间。

3. llms.txt:给 AI 的站点说明

llms.txt 不是标准协议,但越来越多团队用它给 AI 系统提供站点摘要和重要链接。一个可读的 llms.txt 至少应该有标题、简短说明、分节和可访问链接;只有一句“欢迎访问”意义有限。

体检会统计字符数、章节数和链接数,并把“存在但内容太薄”标记为建议,而不是直接通过。

4. JSON-LD:能解析才算结构化数据

页面里有 <script type="application/ld+json"> 不等于有效。体检会解析每个脚本,提取 @type,统计解析失败。常见的 Organization、WebSite、Article、FAQPage、BreadcrumbList 应该与页面内容一致,不要为了结构化数据写用户看不到的内容。

5. Metadata 与可访问性

标题和描述不是越长越好。标题建议 10–60 字,描述建议 50–160 字;canonical 应该指向规范 URL;og:title 应该存在。首页还必须能正常返回 200,重定向链不宜过长。

检查项通过标准常见问题
首页HTTP 200,响应时间可接受重定向过多、超时、登录墙
robots200,规则可解析AI Bot 被全局禁止
sitemapURL set/index 有效,loc 可读空 sitemap、404、只在 robots 里声明
llms.txt有标题、分节、链接只有一行欢迎语
JSON-LD可解析,类型与页面一致脚本无效、类型与内容不符
Metadatatitle/description/canonical/og 完整描述缺失、canonical 错误

体检之后做什么

  1. 先修阻断项:首页不可访问、AI Bot 被禁止、sitemap 404。
  2. 再补结构项:有效 sitemap、llms.txt、JSON-LD。
  3. 最后优化内容项:标题、描述、内链和可引用段落。
  4. 把体检结果和 GEO 监测样本对照:被引用最多的页面,是否正好是体检通过的页面?

技术可访问只是前提,不能保证被 AI 引用。下一步可以看 GEO 指标怎么读,把站点问题和回答样本放在同一份报告里。