AI 搜索的技术地基:抓取、渲染、sitemap 与结构化数据
在讨论内容是否会被引用之前,先确认 AI 爬虫能看到、读到、理解到页面。技术问题不修,内容优化很容易白做。
网上常见“AI 爬虫不执行 JS”“TTFB 超过 500ms 就会被放弃”这类说法,方向值得重视,但不要当成绝对规则。不同爬虫、不同平台和不同时间的能力不同。更稳妥的原则是:不要赌对方一定会渲染或等待,核心内容应在初始 HTML 中可读。
1. 首屏 HTML 与渲染
React、Vue 等前端框架如果没有 SSR/SSG,核心内容可能只在浏览器执行 JavaScript 后出现。搜索引擎和 AI 系统的处理能力并不一致;为了不把可抓取性押在不确定的能力上,正文、标题、关键数据和链接应尽量服务端输出。
- 查看页面源代码,确认正文是否存在于初始 HTML;
- 不要只检查浏览器渲染后的 DOM;
- 懒加载内容应有可访问的 fallback。
2. robots:区分检索与训练
robots.txt 需要明确哪些爬虫可以访问。常见错误是全局 Disallow: / 把检索型爬虫也挡住,导致内容无法进入实时引用;训练型爬虫是否允许则取决于版权和内容策略。两者不应混为一谈。
3. sitemap:列出希望被发现的页面
有效 sitemap 应包含可访问的 URL 和可信的 lastmod。不要把每次生成 sitemap 都刷新成当天;虚假的新鲜度会降低爬虫信任。不要把测试页、后台页、重复页放进 sitemap。
IndexNow 可以作为变更通知,但它并不是“让所有 AI 平台立即收录”的开关。它主要面向支持该协议的搜索系统;对 LLM 检索链路的影响需要单独验证。
4. 结构化数据:帮助理解,不保证引用
Schema 标记能说明页面是什么、作者是谁、问答对是什么。FAQPage、Article、Product 通常比“把七种类型都浅浅部署”更有投入产出比。标记必须与页面可见内容一致;不要用 Schema 写用户看不到的答案。
5. 性能与可访问性
没有统一的“爬虫超时阈值”,但过慢的响应会增加失败风险。检查 TTFB、重定向链、服务端错误和移动端可访问性。CDN、缓存和慢查询优化是长期工作,不是一次性开关。
| 检查项 | 通过标准 | 常见问题 |
|---|---|---|
| 初始 HTML | 核心正文可见 | 全靠客户端渲染 |
| robots | 允许目标检索爬虫 | 全局 Disallow |
| sitemap | URL 可访问、lastmod 真实 | 空 sitemap、假更新时间 |
| 结构化数据 | 可解析且与内容一致 | FAQ 标记与页面不符 |
| 性能 | 响应稳定、无长重定向 | 超时、5xx、登录墙 |
技术通过只是“能被看到”,下一步是让内容“能被提取”。继续看 答案块与语义结构。