AI 抓取和搜索引擎抓取共享同一套入口：链接、站点地图、可读的 HTML。页面藏在三层之外、正文靠 JS 渲染、URL 频繁变化，AI 就抓不到——抓不到，后面所有优化都没有意义。
条件一：三层可达
首页 → 栏目 → 内容。超过三层要有替代路径（站点地图页、相关推荐）。
孤立的页面几乎不会被抓取，无论内容多好。
条件二：站点地图准确
sitemap.xml 要包含所有重要页面，且不能包含 404 或重定向地址。
错误的地图比没有地图更糟：会浪费抓取预算，也会降低信任。
条件三：正文在 HTML 里
靠 JS 渲染出来的正文，部分抓取器读不到。静态生成或用服务端渲染，是更稳的选择。
至少要让标题、首段、主要结论出现在初始 HTML 中。
条件四：URL 稳定
改 URL 必须做 301。频繁变动会让抓取器不断重新发现，历史信号也会断。
URL 规则建议：小写、连字符、不含参数、层级与导航一致。
额外一条：给 AI 爬虫开门
robots.txt 里明确允许 GPTBot、ClaudeBot、PerplexityBot 等。用通配符一刀切禁止，等于把它们也挡在外面。
本站的 robots.txt 就是这么写的，可对照查看。
常见的隐性阻塞
- 重要内容放在需要登录或点击展开的区块里
- 图片承载关键信息，没有文字替代
- 分页过多，第一页之后没有链接
结构本身怎么定见导航三层以内。
一次抓取诊断的顺序
- 用手机 UA 抓首页，看正文是否在初始 HTML 里
- 看 robots.txt 是否挡住了 AI 爬虫
- 打开 sitemap.xml，抽查十个 URL 是否都返回 200
- 从首页点三次，看能否到达最重要的页面
- 抽查三个内页的 canonical 是否指向自己
五步十五分钟，能排掉九成的抓取问题。
抓取日志怎么看
服务器日志里看三个数：
- 各爬虫的访问频次（是否稳定）
- 被抓页面里有多少是 404 或 301
- 重要页面多久被抓一次
第二项高于两成，说明结构有问题——爬虫把时间花在了死地址上。